Ghid de integrare API Mistral

Înțelegerea modificării URL-ului de bază

Codul tău trimite cereri către o URL de bază și atașează o cheie. Pentru a trece la un alt endpoint compatibil cu OpenAI, modifici doar aceste două valori, nimic altceva. Calea /v1/chat/completions rămâne la fel, astfel încât corpul solicitării și corpul răspunsului își păstrează structura.

Păstrează vechea URL de bază într-o valoare de configurare, nu în cod. Astfel, te poți întoarce la ea într-un singur pas dacă apare o problemă în producție.

SDK Compatibility: OpenAI vs Mistral Clients

Majoritatea librăriilor de clienți acceptă un URL de bază personalizat. SDK-ul oficial OpenAI, LangChain și LlamaIndex fac acest lucru, iar un client HTTP simplu funcționează de asemenea. Setează URL-ul de bază la https://mistralapibaseurl.com/v1 și treceți noua cheie.

• Verificați versiunea SDK, deoarece versiunile foarte vechi ignoră setarea URL-ului de bază.
• Verificați că clientul trimite cheia în Authorization header ca un token bearer.

Configurarea ID-ului modelului

Trimite ID-ul modelului uncensored. Este singurul model oferit de serviciu, așa că id-ul nu se schimbă între solicitări și nu ai nevoie de logică de selecție a modelului.

Execută o singură cerere cu un prompt scurt. Un răspuns și un bloc de utilizare indică faptul că URL-ul de bază, cheia și ID-ul modelului sunt corecte.

Implementarea răspunsurilor în streaming

Setează stream: true pentru a primi răspunsul ca evenimente server-sent. Fiecare eveniment conține o mică bucată de text, iar evenimentul final conține cifrele de utilizare.

Afișați fragmentele pe măsură ce sosesc și păstrați textul complet într-un buffer, astfel încât mesajul să fie stocat când fluxul se termină. Măsurați timpul până la primul token; acest indicator arată cât de rapidă pare conversația pentru un utilizator.

Activarea apelării funcțiilor și a instrumentelor

Pasați array-ul tools în același format pe care îl utilizați deja. Modelul returnează un apel de instrument cu un nume de funcție și argumente JSON. Executați funcția în codul dumneavoastră, trimiteți rezultatul înapoi ca mesaj de instrument și citiți răspunsul final.

1. Definește un singur instrument cu două argumente obligatorii și testeaz-l separat.
2. Testați un caz în care sunt necesare două apeluri de instrumente în secvență.
3. Validați argumentele înainte de a rula orice modificare a datelor.

Gestionarea Ferestrelor de Context și a Tokenilor

Fereastra de context are 100.000 de tokeni. Conversațiile lungi o umplu, așa că tăiați sau rezumați turnurile vechi înainte de atingerea limitei. Fiecare solicitare poate returna până la 16.000 de tokeni de output, iar implicitul este de 2.048, așa că setați max_tokens pentru răspunsurile pe care le aștepți.

Numără tokenii din câmpul usage al fiecărui răspuns. Estimările bazate pe numărul de cuvinte sunt adesea inexacte pentru cod și textul în alte limbi.

Gestionarea limitelor de rată și a retry-urilor

Fiecare cheie permite 300 de cereri pe minut și 8 cereri simultan. Când depășiți limita, primiți un răspuns 429. Reîncercați doar răspunsurile 429 și 5xx, cu backoff exponențial și o limită superioară pentru timpul total de așteptare.

Nu reîncercați niciodată o eroare 400 sau 401, deoarece aceeași cerere va eșca în același mod. Corectați mai întâi cererea sau cheia.

Depanarea erorilor comune ale API

Status	Cauză obișnuită	Ce să faci
400	JSON invalid sau câmp necunoscut	Verificați corpul solicitării împotriva formatului pe care îl trimiteți
401	Cheie lipsă sau greșită	Copiază din nou cheia și verifică antetul Authorization
402	Credit epuizat	Completează soldul; depozitele încep de la $20.
429	Limită de rată atinsă	Retrage și încearcă din nou mai târziu

Loghează codul de status și id-ul cererii pentru fiecare eșec, astfel încât să poți urmări rapid o problemă.

Migrarea de la API-uri ale competitorilor

Planifică mutarea în trei etape: un mediu de testare, o parte mică din traficul live și apoi comutarea completă. Păstrează ambele URL-uri de bază în configurație în timpul etapei intermediare și compară răspunsurile și latența pentru aceleași prompturi.

Compară costul pe baza utilizării tale reale, nu a prețurilor afișate. Înmulțește tokenii de input și output din câmpul de utilizare cu $0.15 și $0.50 per 1M tokeni și compară cu factura ta curentă.