मिस्ट्रल API इंटीग्रेशन गाइड
Mistral-शैली इंटीग्रेशन को एक नई बेस URL पर ले जाने में अधिकांश टीमों की उम्मीद से कम मेहनत लगती है। यह गाइड बेस URL बदलाव, मॉडल id, स्ट्रीमिंग, टूल्स, टोकन सीमाएं, रट्राइज़ और उन त्रुटियों को कवर करती है जिनका आप सबसे अधिक सामना करेंगे, साथ ही कोड जो आप तैयार चला सकते हैं।
अंतिम अद्यतन
सारांश
- परिवर्तन एक बेस URL और एक कुंजी है; अनुरूप और प्रतिक्रिया प्रारूप वही रहता है।
- मॉडल आईडी uncensored का उपयोग करें और कुछ भी बदलने से पहले इसे एकल परीक्षण अनुरोध के साथ जांचें।
- स्ट्रीमिंग और फंक्शन कॉलिंग उसी चैट कंप्लीशंस एंडपॉइंट के माध्यम से काम करते हैं, इसलिए मौजूदा पार्सर काम करते रहते हैं।
- लागतें 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50 हैं, जो पूर्वभुगतान क्रेडिट से बिल की जाती हैं।
बेस यूआरएल परिवर्तन को समझना
आपका कोड अनुरोधों को एक बेस URL पर भेजता है और एक कुंजी संलग्न करता है। किसी अन्य OpenAI-संगत एंडपॉइंट पर जाने के लिए, आप इन दो मानों को बदलते हैं और कुछ नहीं। पथ /v1/chat/completions वही रहता है, इसलिए अनुरोध बॉडी और प्रतिक्रिया बॉडी अपना आकार बनाए रखती हैं।
पुराने बेस URL को कोड में नहीं बल्कि एक कॉन्फ़िग मान में रखें। इस तरह यदि उत्पादन में कोई समस्या आती है तो आप एक कदम में वापस स्विच कर सकते हैं।
SDK संगतता: OpenAI बनाम Mistral क्लाइंट्स
अधिकांच क्लाइंट लाइब्रेरीज़ एक कस्टम base URL स्वीकार करती हैं। आधिकारिक OpenAI SDK, LangChain और LlamaIndex सभी ऐसा करते हैं, और एक साधारण HTTP क्लाइंट भी काम करता है। base URL को https://mistralapibaseurl.com/v1 औह नई कुंजी पास करें।
- SDK संस्करण की जाँच करें, क्योंकि बहुत पुराने रिलीज़ बेस URL सेटिंग को नज़रअंदाज़ कर देते हैं।
- जांचें कि क्लाइंट कुंजी को
Authorizationheader एक bearer token के रूप में।
मॉडल ID कॉन्फ़िगर करना
मॉडल आईडी भेजें uncensored. यह सेवा द्वारा प्रदान किया गया एकमात्र मॉडल है, इसलिए id अनुरोधों के बीच नहीं बदलती और आपको मॉडल चयन लॉजिक की आवश्यकता नहीं है।
एक छोटे प्रॉम्प्ट के साथ एक अनुरोध चलाएं। एक जवाब और एक उपयोग ब्लॉक का मतलब है कि बेस URL, कुंजी और मॉडल ID सही हैं।
स्ट्रीमिंग प्रतिक्रियाओं को लागू करना
सेट करें stream: true उत्तर को सर्वर-सेंट इवेंट्स के रूप में प्राप्त करने के लिए। प्रत्येक इवेंट एक छोटा टेक्स्ट टुकड़ा ले जाता है, और अंतिम इवेंट उपयोग आंकड़े ले जाता है।
चूंकि डेटा आता है, तो चंक (chunks) को दिखाएं और पूरा टेक्स्ट एक बफर में रखें, ताकि स्ट्रीम समाप्त होने पर संदेश स्टोर हो जाए। पहले टोकन तक के समय को मापें; यह संख्या दर्शाती है कि चैट उपयोगकर्ता के लिए कितनी प्रतिक्रियाशील लगती है।
फ़ंक्शन कॉलिंग और टूल्स सक्षम करना
उसी फॉर्मेट में tools एरे पास करें जिसका आप पहले उपयोग करते हैं। मॉडल एक फंक्शन नाम और JSON तर्कों के साथ एक टूल कॉल लौटाता है। अपने कोड में फंक्शन चलाएं, परिणाम को टूल मैसेज के रूप में वापस भेजें और अंतिम उत्तर पढ़ें।
- एक टूल परिभाषित करें जिसके दो आवश्यक तर्क हैं और इसे अकेले परीक्षण करें।
- एक ऐसे केस का परीक्षण करें जहां दो टूल कॉल सीक्वेंस में जरूरी हों।
- डेटा बदलने वाली किसी भी चीज़ को चलाने से पहले तर्कों की जांच करें।
संदर्भ विंडो और टोकन का प्रबंधन
संदर्भ विंडो 100,000 टोकन की है। लंबी चैट इसे भर देती है, इसलिए सीमा पार होने से पहले पुराने टर्न को काटें या सारांशित करें। प्रत्येक अनुरोध 16,000 आउटपुट टोकन तक लौटा सकता है, और डिफ़ॉल्ट 2,048 है, इसलिए सेट करें max_tokens उम्मीद के अनुसार उत्तरों के लिए।
प्रत्येक रिस्पॉन्स के उपयोग फ़ील्ड से टोकन गिनें। शब्द गणना से अनुमान अक्सर कोड और गैर-अंग्रेजी पाठ के लिए बहुत अधिक गलत होते हैं।
रेट लिमिट्स और रीट्राइज़ हैंडल करना
प्रत्येक कुंजी प्रति मिनट 300 अनुरोधों और एक ही समय में 8 अनुरोधों की अनुमति देती है। जब आप लिमिट से अधिक हो जाते हैं, तो आपको 429 प्रतिक्रिया मिलती है। केवल 429 और 5xx प्रतिक्रियाओं को रीट्राइ करें, एक्सपोनेंशियल बैकऑफ और कुल प्रतीक्षा पर एक कैप के साथ।
400 या 401 को कभी पुनः प्रयास न करें, क्योंकि वही अनुरोध वही तरीके से विफल हो जाता है। पहले अनुरोध या कुंजी को ठीक करें।
सामान्य API त्रुटियों को डिबग करना
| स्थिति | सामान्य कारण | क्या करें |
|---|---|---|
| 400 | Malformed JSON या एक अज्ञात फ़ील्ड | अनुरोध बॉडी को उस फॉर्मेट के खिलाफ जांचें जिसे आप भेजते हैं |
| 401 | खोड़ी या गलत कुंजी | कुंजी को फिर से कॉपी करें और Authorization हेडर की जांच करें |
| 402 | क्रेडिट समाप्त | बैलेंस टॉप-अप करें; टॉप-अप $20 से शुरू होते हैं। |
| 429 | रेट लिमिट तक पहुंच गया | पीछे हटें और बाद में पुनः प्रयास करें |
प्रत्येक विफलता के लिए स्टेटस कोड और अनुरोध id को लॉग करें, ताकि समस्या की त्वरित ट्रैसिंग की जा सके।
प्रतिस्पर्धी एपीआई से माइग्रेशन
स्थानांतरण को तीन चरणों में योजनाबद्ध करें: एक टेस्ट एन्वायरनमेंट, लाइव ट्रैफिक का एक छोटा हिस्सा, और फिर पूर्ण स्विच। मध्य चरण के दौरान कॉन्फ़िगरेशन में दोनों बेस यूआरएल रखें और समान प्रॉम्प्ट पर उत्तरों और लेटेंसी की तुलना करें।
अपनी स्वयं की उपयोगिता पर लागत की तुलना करें, सूची मूल्यों पर नहीं। उपयोगिता फ़ील्ड से इनपुट और आउटपुट टोकन को $0.15 और $0.50 प्रति 1M टोकन से गुणा करें और इसे अपनी वर्तमान बिल के खिलाफ सेट करें।
सामान्य प्रश्न
क्या मुझे रिक्वेस्ट फॉर्मेट बदलना होता है?
नहीं। एंडपॉइंट चैट कंप्लीशन फॉर्मेट का पालन करता है, इसलिए समान संदेश और टूल संरचनाएँ काम करती हैं। केवल बेस यूआरएल और कुली बदलती हैं।
मुझे कौन सा मॉडल id उपयोग करना चाहिए?
uncensored का उपयोग करें। यह सेवा पर एकमात्र मॉडल है, इसलिए हर अनुरोध में id समान रहती है।
परीक्षण के लिए एक कुंजी कैसे प्राप्त करें?
Google या ईमेल और पासवर्ड के साथ साइन अप करें। कुंजी स्क्रीन पर दिखाई देती है, और खाता $0.50 के ट्रायल क्रेडिट के साथ शुरू होता है जो 7 दिनों के लिए मान्य है। कार्ड की आवश्यकता नहीं है।
उपयोग के लिए भुगतान कैसे करें?
USDT on TRC20 या USDC on Base के साथ, $20 से शुरू। $50 से बोनस क्रेडिट लागू होता है, और क्रेडिट एक्सपायर नहीं होता।
अपनी कुंजी तक पहुंचें
साइन अप करें, अपनी कुंजी प्राप्त करें, और अपनी बेस यूआरएल अपडेट करें। यही पूरी प्रक्रिया है।
