AnythingLLM API कुंजी: एक कस्टम OpenAI एंडपॉइंट कनेक्ट करें

आप किस API कुंजी की बात कर रहे हैं

जो लोग anything llm api key खोजते हैं, वे आमतौर पर दो में से किसी एक की बात कर रहे होते हैं, और दोनों को अक्सर गलत समझ लिया जाता है। पहला वह कुंजी है जिसका उपयोग AnythingLLM मॉडल प्रदाता को भेजता है ताकि वह जवाब जनरेट कर सके। दूसरा एक डेवलपर API कुंजी है जिसे AnythingLLM स्वयं बनाता है, ताकि अन्य प्रोग्राम AnythingLLM की अपनी API को कॉल कर सकें। ये अलग-अलग कुंजियाँ हैं जिनके अलग-अलग काम हैं।

यह लेख पहले वाले के बारे में है: AnythingLLM को एक ओपनएआई-कम्पैटिबल चैट API के लिए कुंजी और एंडपॉइंट देना। आपको API कुंजी पेज से कुंजी लें, इसे AnythingLLM में पेस्ट करें, साथ ही बेस URL https://api.llmapisource.com/v1 जोड़ें, और मॉडल ID uncensored का उपयोग करें। यदि आपको अपने कोड से AnythingLLM को कॉल करने की आवश्यकता है, तो वह कुंजी AnythingLLM सेटिंग्स के अंदर जनरेट करें; उसका इस प्रदाता कुंजी से कोई लेना-देना नहीं है।

शुरू करने से पहले: कुंजी को AnythingLLM के बाहर टेस्ट करें

कस्टम एंडपॉइंट्स से जुड़े सपोर्ट सवालों में से आधा गलत कुंजी या URL में टाइपो की वजह से होता है। curl के साथ एक तीस सेकंड का टेस्ट "एंडपॉइंट गलत है" और "ऐप गलत कॉन्फ़िगर है" में अंतर स्पष्ट कर देता है। पहले मॉडल्स की सूची देखें:

Copycurl https://api.llmapisource.com/v1/models \
  -H "Authorization: Bearer YOUR_KEY" | grep uncensored

आपको एक लाइन दिखनी चाहिए जिसमें uncensored शामिल हो। फिर एक चैट अनुरोध भेजें:

Copycurl https://api.llmapisource.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Reply with the word ready."}],
    "max_tokens": 20
  }'

यदि दोनों कॉल काम करती हैं, तो कुंजी और URL सही हैं और आगे जो भी फेल होता है वह ऐप के अंदर की सेटिंग की वजह से है। यदि आपके पास अभी तक कुंजी नहीं है, तो Google या ईमेल और पासवर्ड से साइन अप करें। नए उपयोगकर्ता कुंजी पेज पर एक क्लिक से $0.50 का ट्रायल क्रेडिट क्लेम कर सकते हैं, जिसके लिए कार्ड की आवश्यकता नहीं है और जो 7 दिनों के लिए मान्य है। यह पूरी सेटअप पूरी करने और उसे टेस्ट करने के लिए काफी है।

AnythingLLM में सेटअप करना

AnythingLLM कई LLM प्रदाताओं का समर्थन करता है, और उनमें से एक एक सामान्य ओपनएआई-कम्पैटिबल विकल्प है। मेनू के शब्दों में संस्करणों के बीच अंतर होता है, इसलिए नीचे दिए गए नामों को एक सटीक स्क्रिप्ट की बजाय एक गाइड के रूप में देखें।

1. AnythingLLM सेटिंग्स खोलें और LLM प्राथमिकता (जिसे कभी-कभी LLM प्रदाता कहा जाता है) खोजें।
2. प्रदाता सूची से Generic OpenAI चुनें।
3. Base URL को https://api.llmapisource.com/v1 पर सेट करें। /v1 शामिल करें और /chat/completions के अंत में लगा हटा दें; ऐप स्वयं पथ जोड़ देता है।
4. अपनी कुंजी API Key फ़ील्ड में पेस्ट करें। ऐप इसे Authorization: Bearer के रूप में भेजता है, जो इस API की अपेक्षा है।
5. Chat Model Name को uncensored पर सेट करें।
6. Token context window को 100000 पर सेट करें। मॉडल की विंडो 100,000 टोकन की है (प्रॉम्प्ट और कंप्लीशन सहित), और यहाँ कम मान सेट करने से AnythingLLM आपकी हिस्ट्री को आवश्यकता से पहले ही ट्राइम कर देगा।
7. max_tokens को खाली छोड़ दें, या एक सीमा सेट करें जिसमें आप आरामदायक हों। API साइड पर यह वैकल्पिक है।
8. सेव करें, एक वर्कस्पेस खोलें और एक संदेश भेजें।

यदि वर्कस्पेस की अपनी चैट सेटिंग्स हैं, तो जाँचें कि वह सिस्टम डिफ़ॉल्ट प्रदाता का उपयोग कर रहा है या किसी पुराने ओवरराइड का। वर्कस्पेस का किसी पिछले प्रदाता पर पिन होना एक आम वजह है कि बदलाव कुछ नहीं करता दिखता है।

एम्बेडिंग्स और दस्तावेज़ों के लिए एक अलग हिस्से की ज़रूरत है

AnythingLLM दो काम करता है। यह मॉडल के साथ चैट करता है, और आपके दस्तावेज़ों को इंडेक्स करता है ताकि मॉडल उनसे जवाब दे सके। दूसरा काम एम्बेडिंग मॉडल का उपयोग करता है, और यह API एम्बेडिंग्स नहीं देता। यह POST /v1/chat/completions और GET /v1/models एक्सपोज़ करता है, जिसमें टेक्स्ट इनपुट और टेक्स्ट आउटपुट होता है।

यह आपको बाधित नहीं करता। AnythingLLM आपको एम्बेडर को चैट मॉडल से अलग चुनने की अनुमति देता है, और यह एक बिल्ट-इन लोकल एम्बेडर या किसी अन्य प्रदाता का उपयोग कर सकता है जिसे आप कॉन्फ़िगर करते हैं। एम्बेडर को इस एंडपॉइंट से अलग कुछ पर सेट करें, और इस एंडपॉइंट का उपयोग केवल चैट मॉडल के लिए करें। इसी तरह छवि या ऑडियो फीचर्स के लिए भी लागू होता है: मॉडल केवल टेक्स्ट है, जिसमें छवि, ऑडियो या वीडियो जनरेशन नहीं है और न ही फाइन-ट्यूनिंग।

जब आप दस्तावेज़ों के साथ चैट करते हैं, तो पुनर्प्राप्त पैसाज प्रॉम्प्ट में पेस्ट हो जाते हैं, जिससे इनपुट टोकन बढ़ जाते हैं। 1M इनपुट टोकन के लिए $0.15 की दर पर, 6,000 टोकन के प्रॉम्प्ट और 500 टोकन के आउटपुट के लिए इनपुट के लिए 6,000 x $0.15 / 1,000,000 = $0.0009 और आउटपुट के लिए 500 x $0.50 / 1,000,000 = $0.00025 खर्च होता है, या प्रश्न के लिए $0.00115। दस्तावेज़-केंद्रित वर्कस्प्लेस साधारण चैट की तुलना में अधिक खर्चीले होते हैं, लेकिन फिर भी प्रश्न के लिए एक सेंट का एक छोटा अंश।

स्ट्रीमिंग, टूल्स और JSON मोड की जाँच

AnythingLLM उत्तर स्ट्रीम करता है, और API stream: true के साथ Server-Sent Events का समर्थन करता है, जो उपयोग चंक के साथ समाप्त होता है। यदि आपके उत्तर टोकन-दर-टोकन के बजाय एक साथ दिखाई देते हैं, तो समस्या आमतौर पर ऐप के सामने एक प्रॉक्सी में होती है जो प्रतिक्रियाओं को बफर करता है, न कि एंडपॉइंट में। आप OpenAI Python SDK के साथ एक स्क्रिप्ट से स्ट्रीमिंग की जाँच कर सकते हैं:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.llmapisource.com/v1",
    api_key="YOUR_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List three uses of a local knowledge base."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

टूल कॉलिंग और JSON मोड उसी चैट एंडपॉइंट के माध्यम से काम करते हैं, जो यदि आप ऐप के आसपास एजेंट्स या फ्लो बनाते हैं तो मायने रखता है। JSON मोड एक एकल फ़ील्ड है:

Copycurl https://api.llmapisource.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "response_format": {"type": "json_object"},
    "messages": [
      {"role": "system", "content": "Return a JSON object with keys title and summary."},
      {"role": "user", "content": "Summarize: a notes app that works offline."}
    ]
  }'

टूल्स सामान्य tools और tool_choice फ़ील्ड्स का उपयोग करते हैं, जिसके परिणाम role: "tool" संदेशों के रूप में लौटाए जाते हैं। कि कोई एजेंट फीचर AnythingLLM द्वारा प्रदान किया गया है या नहीं, यह ऐप संस्करण पर निर्भर करता है, इसलिए पहले एक स्क्रिप्ट में कॉल की जाँच करें और फिर ऐप में फीचर की कोशिश करें। docs में एक पूर्ण टूल-कॉलिंग उदाहरण दिखाया गया है।

सामान्य त्रुटियों को ठीक करना

लक्षण	संभावित कारण	समाधान
401 या प्रमाणीकरण त्रुटि	कुंजी स्पेस के साथ पेस्ट की गई, या पुरानी कुंजी	कुंजी पृष्ठ से कुंजी को फिर से कॉपी करें और इसे बिना किसी स्पेस के पेस्ट करें
404 या "नहीं मिला"	Base URL में /v1 गायब है, या अंत में /chat/completions है	बिल्कुल https://api.llmapisource.com/v1 का उपयोग करें
मॉडल नहीं मिला	मॉडल का नाम अलग टाइप किया गया	uncensored का उपयोग करें, छोटे अक्षरों में, कुछ भी जोड़ा नहीं
429 rate_limited के साथ	प्रति मिनट 300 से अधिक अनुरोध (ट्रायल कुंजी पर 60)	गति कम करें या कम आक्रामकता से बैच करें
429 concurrency के साथ	एक साथ 8 से अधिक अनुरोध (ट्रायल कुंजी पर 2)	समानांतर वर्कस्पेस या एजेंट्स को कम करें; एक स्ट्रीम अपना स्लॉट तब तक पकड़े रखता है जब तक कि यह समाप्त न हो जाए
Retry-After: 5 हेडर के साथ 429	अस्थायी ओवरलोड	5 सेकंड प्रतीक्षा करें और पुनः प्रयास करें
प्रतिक्रियाएं जल्दी कट जाती हैं	ऐप में कम अधिकतम टोकन	इसे बढ़ाएं या इसे साफ़ करें

हर प्रतिक्रिया पर X-Request-Id हेडर आपको सहायता से संपर्क करने में मदद करता है यदि आप किसी विशिष्ट कॉल के बारे में बात कर रहे हैं। X-Balance-USD में शेष राशि आपको तुरंत बताती है कि कोई विफलता केवल एक खाली खाता है या नहीं।

वर्कस्पेस से बेहतर उत्तर प्राप्त करना

एक बार कनेक्शन काम करने के बाद, कुछ वर्कस्पेस आदतें एक दृश्यमान अंतर लाते हैं। वर्कस्पेस के लिए एक सिस्टम प्रॉम्प्ट लिखें जो भूमिका, टोन और दस्तावेज़ों में उत्तर नहीं होने पर क्या करना है, यह बताता है। उस आखिरी निर्देश के बिना, एक मॉडल अक्सर अनुमान लगाएगा, और एक आत्मविश्वास से भरा अनुमान दस्तावेज़ों में "मैंने उस चीज़ को नहीं पाया" से भी बदतर है।

तापमान दूसरा लेवर है। अपने स्वयं के फ़ाइलों पर प्रश्नोत्तर के लिए, 0.2 से 0.4 जैसा एक कम मान उत्तरों को पुनर्प्राप्त पाठ के करीब रखता है। ब्रेनस्टॉर्मिंग या ड्राफ्टिंग के लिए, इसे 0.8 की ओर बढ़ाएं। API तापमान, top_p, stop, seed और पेनल्टी को पास करता है, इसलिए जो कुछ भी ऐप भेजता है, मॉडल तक अपरिवर्तित पहुँचता है।

प्रत्येक प्रश्न के लिए वर्कस्पेस कितने स्निपेट जोड़ता है, इस पर नज़र रखें। प्रत्येक अतिरिक्त स्निपेट अधिक इनपुट टोकन है, और 100,000-टोकन विंडो के साथ आपके पास जगह है, लेकिन आप प्रत्येक बारी पर प्रत्येक के लिए भुगतान करते हैं। स्निपेट्स की एक छोटी संख्या से शुरू करें और केवल तब इसे बढ़ाएं जब उत्तर प्रासंगिक सामग्री मिस कर दें।

गोपनीयता और लागत नोट्स

API के माध्यम से भेजे गए प्रॉम्प्ट प्रशिक्षण के लिए उपयोग नहीं किए जाते। जब AnythingLLM पृष्ठों को पुनर्प्राप्त करता है, तो आपके दस्तावेज़ अभी भी प्रॉम्प्ट के अंदर एंडपॉइंट तक यात्रा करते हैं, इसलिए तय करें कि आप किन वर्कस्पेस को भेजने के लिए सहज हैं। उस सामग्री के लिए जो कभी भी आपके मशीन से बाहर नहीं जानी चाहिए, इसके बजाय एक स्थानीय मॉडल का उपयोग करें।

बिलिंग प्रीपेड क्रेडिट से पे-एज़-यू-गो है: 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50, $20 से $500 तक टॉप-अप, $50 से 5%, $100 से 10% और $200 से 15% बोनस। क्रेडिट कभी समाप्त नहीं होता है, और विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है। मूल्य निर्धारण पृष्ठ भुगतान विधियों की सूची देता है।

अधिक गाइड

• क्या कोई LLM मुफ़्त API के साथ है? मुफ़्त लागत क्या है
• रोलप्ले के लिए सर्वोत्तम LLM 2025: किस बात पर ध्यान दें
• LiteLLM बनाम डायरेक्ट अनसेंस्ड LLM API