AnythingLLM API Anahtarı: Özel OpenAI Uç Noktasını Bağlayın

Hangi API anahtarını kastediyorsunuz

anything llm api key araması yapanlar genellikle iki şeyden birini kasteder ve bu ikisi kolayca karıştırılabilir. İlki, AnythingLLM'in bir model sağlayıcısına gönderdiği ve modelin yanıt üretmesini sağlayan anahtardır. İkincisi ise AnythingLLM'in kendi oluşturduğu ve diğer programların AnythingLLM'in kendi API'sini çağırabilmesini sağlayan geliştirici API anahtarıdır. Farklı işlevlere sahip farklı anahtarlardır.

Bu makale ilk anahtardan bahsediyor: AnythingLLM'e OpenAI uyumlu bir sohbet API'si için bir anahtar ve uç nokta vermek. Anahtarı API anahtarı sayfasından alacaksınız, https://api.llmapisource.com/v1 temel URL'siyle birlikte AnythingLLM'e yapıştırın ve uncensored model kimliğini kullanın. Bunun yerine kendi kodunuzdan AnythingLLM'i çağırmak isterseniz, bu anahtarı AnythingLLM ayarları içinde oluşturun; bu sağlayıcı anahtarıyla hiçbir ilgisi yoktur.

Başlamadan önce: anahtarı AnythingLLM dışında test edin

Özel uç noktalara ilişkin destek sorularının yarısı yanlış anahtar veya URL'deki bir yazım hatasından kaynaklanır. Otuz saniyelik bir curl testi, "uç nokta yanlış" ile "uygulama yanlış yapılandırılmış" ayrımını yapmanızı sağlar. Önce modelleri listeleyin:

Copycurl https://api.llmapisource.com/v1/models \
  -H "Authorization: Bearer YOUR_KEY" | grep uncensored

Çıktıda uncensored içeren bir satır görmelisiniz. Ardından bir sohbet isteği gönderin:

Copycurl https://api.llmapisource.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Reply with the word ready."}],
    "max_tokens": 20
  }'

Her iki çağrı da çalışırsa, anahtar ve URL doğrudur ve sonrasında başarısız olan her şey uygulamadaki bir ayarlamadır. Henüz bir anahtarınız yoksa Google veya e-posta ve şifre ile kaydolun. Yeni kullanıcılar, anahtar sayfasında tek tıkla kart gerektirmeyen ve 7 gün boyunca geçerli olan $0.50 deneme kredisi talep edebilir. Bu, tüm kurulumu tamamlamak ve test etmek için yeterlidir.

AnythingLLM'de kurulum

AnythingLLM çeşitli LLM sağlayıcılarını destekler ve bunlardan biri genel OpenAI uyumlu bir seçenektir. Menü metinleri sürümler arasında değişebilir, bu nedenle aşağıdaki isimleri tam bir komut dosyası yerine bir rehber olarak değerlendirin.

1. AnythingLLM ayarlarını açın ve LLM tercihini bulun (bazen LLM sağlayıcı olarak etiketlenir).
2. Sağlayıcı listesinden Generic OpenAI seçin.
3. Base URL değerini https://api.llmapisource.com/v1 olarak ayarlayın. /v1 dahil edin ve sonuna /chat/completions eklemeyin; uygulama yolu kendisi ekler.
4. Anahtarınızı API Key alanına yapıştırın. Uygulama bunu Authorization: Bearer olarak gönderir; bu API'nin beklediği budur.
5. Chat Model Name değerini uncensored olarak ayarlayın.
6. Token context window değerini 100000 olarak ayarlayın. Modelin penceresi 100.000 token'dır (istem ve tamamlama dahil) ve buraya düşük bir değer girmek AnythingLLM'in geçmişinizi gerektiğinden daha erken kesmesine neden olur.
7. max_tokens değerini boş bırakın veya rahat olduğunuz bir üst sınır belirleyin. API tarafında isteğe bağlıdır.
8. Kaydedin, bir çalışma alanı açın ve bir mesaj gönderin.

Çalışma alanının kendi sohbet ayarları varsa, bunun eski bir geçersiz kılma yerine sistem varsayılan sağlayıcısını kullandığından emin olun. Bir çalışma alanının önceki bir sağlayıcıya sabitlenmesi, yapılan değişikliğin hiçbir şey yapmıyormuş gibi görünmesinin yaygın bir nedenidir.

Gömlemeler ve belgeler için ayrı bir parça gerekir

AnythingLLM iki iş yapar: Bir modelle sohbet eder ve belgelerinizi indeksler böylece model onlardan yanıt verebilir. İkinci iş bir gömme modeli kullanır ve bu API gömlemeler sunmaz. POST /v1/chat/completions ve GET /v1/models uç noktalarını açığa çıkarır; metin girer, metin çıkarır.

Bu sizi engellemez. AnythingLLM, gömücüyü sohbet modelinden ayrı olarak seçmenize olanak tanır ve yerleşik bir yerel gömücü veya yapılandırdığınız başka bir sağlayıcı kullanabilir. Gömücüyü bu uç noktadan farklı bir şeye ayarlayın ve bu uç noktayı yalnızca sohbet modeli için kullanın. Görsel veya ses özellikleri için de aynı geçerlidir: model yalnızca metin içindir, görsel, ses veya video üretimi ve ince ayar yoktur.

Belgelerle sohbet ettiğinizde, getirilen metin parçaları isteme yapıştırılır, bu nedenle girdi token'ları artar. 1M girdi token'ı başına $0,15 fiyatla, 500 token çıktı içeren 6.000 token'lık bir istem için girdi maliyeti 6.000 x $0,15 / 1.000.000 = $0,0009 ve çıktı maliyeti 500 x $0,50 / 1.000.000 = $0,00025 olup toplam soru başı $0,00115 eder. Belge ağırlıklı çalışma alanları sıradan sohbete göre daha pahalıdır, ancak yine de soru başına bir kuruşun çok küçük bir kısmı kadardır.

Akış, araçlar ve JSON modunu kontrol etme

AnythingLLM yanıtları akış yapar ve API, stream: true ile Server-Sent Events destekler ve kullanım verisiyle biter. Yanıtlarınız token token değil, toplu olarak görünüyorsa sorun genellikle uygulamanın önündeki yanıtları arabelleğe alan bir proxy'dir, uç noktada değil. Akışı bir betikten OpenAI Python SDK ile kontrol edebilirsiniz:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.llmapisource.com/v1",
    api_key="YOUR_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List three uses of a local knowledge base."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

Araç çağırma ve JSON modu, aynı sohbet uç noktası üzerinden çalışır; bu, uygulama etrafında ajanlar veya akışlar oluşturuyorsanız önemlidir. JSON modu tek bir alandır:

Copycurl https://api.llmapisource.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "response_format": {"type": "json_object"},
    "messages": [
      {"role": "system", "content": "Return a JSON object with keys title and summary."},
      {"role": "user", "content": "Summarize: a notes app that works offline."}
    ]
  }'

Araçlar, sonuçlar role: "tool" mesajları olarak döndürülmek üzere, standart tools ve tool_choice alanlarını kullanır. AnythingLLM'in belirli bir ajan özelliğini açıp açmadığı uygulama sürümüne bağlıdır; bu nedenle önce bir betikte çağrıyı test edin ve ardından uygulamada özelliği deneyin. dokümanlar tam bir araç çağırma örneği gösterir.

Yaygın hataları düzeltme

Belirti	Olası neden	Çözüm
401 veya kimlik doğrulama hatası	Anahtarın boşlukla yapıştırılması veya eski bir anahtar	Anahtarı tekrar anahtar sayfasından kopyalayın ve boşluksuz yapıştırın
404 veya "bulunamadı"	Temel URL'de /v1 eksik veya sonunda /chat/completions var	Tam olarak https://api.llmapisource.com/v1 kullanın
Model bulunamadı	Model adı farklı yazılmış	uncensored kullanın, küçük harfle, hiçbir şey eklenmemiş
rate_limited ile 429	Dakikada 300'den fazla istek (deneme anahtarında 60)	Yavaşlayın veya daha az agresif toplu işlem yapın
concurrency ile 429	Aynı anda 8'den fazla istek (deneme anahtarında 2)	Eşzamanlı çalışma alanlarını veya ajanları azaltın; bir akış, sonlanana kadar slotunu tutar
Retry-After: 5 üstbilgisi ile 429	Geçici aşırı yüklenme	5 saniye bekleyin ve yeniden deneyin
Yanıtlar erken kesilir	Uygulamada düşük max_tokens	Bunu artırın veya temizleyin

Her yanıtta X-Request-Id başlığı, destek ile belirli bir çağrı hakkında iletişime geçerseniz yardımcı olur. X-Balance-USD içindeki bakiye, bir başarısızlığın basitçe boş bir hesaptan mı kaynaklandığını da hızlıca gösterir.

Bir çalışma alanından daha iyi yanıtlar alma

Bağlantı çalıştıktan sonra, birkaç çalışma alanı alışkanlığı belirgin bir fark yaratır. Çalışma alanı için bir sistem promptu yazın; rolü, tonu ve belgeler cevap içermiyorsa ne yapılması gerektiğini belirtin. Bu son talimat olmadan bir model genellikle tahmin yürütür ve kendinden emin görünen bir tahmin, belgelerde "Bunu bulamadım" demekten daha kötüdür.

Sıcaklık, diğer ayarlanabilir parametredir. Kendi dosyalarınız üzerinden soru-cevap işlemleri için 0,2 ile 0,4 gibi düşük bir değer, yanıtları getirilen metne yakın tutar. Beyin fırtınası veya taslak oluşturma için bu değeri 0,8'e kadar yükseltin. API sıcaklık, top_p, stop, seed ve ceza değerlerini olduğu gibi geçirir; bu nedenle uygulama ne gönderirse model aynı şekilde alır.

Çalışma alanının her soru için eklediği parça sayısına dikkat edin. Her ek parça daha fazla girdi token'ı demektir ve 100.000 token'lık bağlam penceresi ile yeriniz var, ancak her adımda her biri için ödeme yaparsınız. Az sayıda parça ile başlayın ve yanıtlar ilgili materyali eksik bıraktığında yalnızca artırın.

Gizlilik ve maliyet notları

API aracılığıyla gönderilen istemler eğitim için kullanılmaz. Belgeleriniz, AnythingLLM parçaları getirdiğinde istemler içinde uç noktaya hâlâ ulaşır; bu nedenle dışarıya göndermek konusunda güvende olduğunuz çalışma alanlarını seçin. Makinenizden hiçbir zaman ayrılmaması gereken materyaller için bunun yerine yerel bir model kullanın.

Faturalandırma ön ödemeli krediden kullandıkça öde esasına göredir: 1M girdi token'ı başına $0,15 ve 1M çıktı token'ı başına $0,50; bakiye yükleme miktarları $20 ile $500 arasındadır; $50'den itibaren %5, $100'den itibaren %10 ve $200'den itibaren %15 bonus sunulur. Kredi süresi dolmaz ve başarısız veya reddedilen istekler için ücret alınmaz. fiyatlandırma sayfası ödeme yöntemlerini listeler.

Daha fazla kılavuz

• Ücretsiz API'si olan LLM'ler var mı? Ücretsiz kullanımın maliyeti nedir
• Rol Yapma İçin En İyi LLM 2025: Neye Bakılmalı
• LiteLLM vs Doğrudan Uncensored LLM API