Mistral API-integrationsguide
Att flytta en Mistral-kompatibel integration till en ny bas-URL kräver mindre arbete än de flesta team förväntar sig. Den här guiden täcker bas-URL-ändringen, model-ID, strömning, verktyg, token-gränser, omförsök och de fel du mest sannolikt stöter på, med kod som du kan köra som den är.
Senast uppdaterad
Sammanfattning
- Förändringen är en bas-URL och en nyckel; begärans- och svarformatet förblir detsamma.
- Använd modell-ID:t uncensored och verifiera det med en enda testförfrågan innan du ändrar något annat.
- Strömning och funktionsanrop fungerar genom samma chattslutpunkt, så befintliga parsare fortsätter att fungera.
- Kostnaderna är $0,15 per 1M inmatade tokens och $0,50 per 1M utmatade tokens, debiterade från förbetald kredit.
Ändring av bas-URL:en
Din kod skickar begäran till en bas-URL och bifogar en nyckel. För att byta till en annan OpenAI-kompatibel slutpunkt ändrar du bara dessa två värden och inget annat. Sökvägen /v1/chat/completions förblir densamma, så begärkroppen och svarskroppen behåller sin form.
Behåll den gamla bas-URL:en i ett konfigurationsvärde snarare än i koden. På så sätt kan du växla tillbaka i ett steg om ett problem dyker upp i produktion.
SDK-kompatibilitet: OpenAI vs Mistral-klienter
De flesta klientbibliotek accepterar en anpassad base URL. Den officiella OpenAI SDK:en, LangChain och LlamaIndex gör alla det, och en vanlig HTTP-klient fungerar också. Ställ in base URL till https://mistralapibaseurl.com/v1 och skicka den nya nyckeln.
- Kontrollera SDK-versionen, eftersom mycket gamla utgåvor ignorerar inställningen för bas-URL.
- Kontrollera att klienten skickar nyckeln i
Authorizationheader som ett bearer-token.
Konfigurera modell-ID:t
Skicka modell-ID:t uncensored. Det är den enda modellen som tjänsten erbjuder, så id:et ändras inte mellan begäranden och du behöver ingen logik för modellval.
Kör en begäran med en kort prompt. Ett svar och en användningsblock betyder att bas-URL:en, nyckeln och modell-ID:et är korrekta.
Implementera strömmade svar
Ställ in stream: true för att ta emot svaret som server-sända händelser. Varje händelse bär en liten bit text, och den sista händelsen bär användningsstatistiken.
Visa chunkarna när de anländer och behåll hela texten i en buffert, så att meddelandet sparas när strömmen avslutas. Mät tiden till första token; den siffran visar hur responsiv chatten känns för en användare.
Aktiverar funktionsanrop och verktyg
Skicka tools-arrayen i samma format som du redan använder. Modellen returnerar ett verktygsanrop med ett funktionsnamn och JSON-argument. Kör funktionen i din kod, skicka tillbaka resultatet som ett verktygsmeddelande och läs det slutgiltiga svaret.
- Definiera ett verktyg med två obligatoriska argument och testa det ensam.
- Testa ett fall där två verktygssamtal behövs i sekvens.
- Validera argumenten innan du kör något som ändrar data.
Hantering av kontextfönster och tokens
Kontextfönstret är 100 000 tokens. Långa chattar fyller det, så klipp bort gamla svar eller sammanfatta dem innan gränsen nås. Varje begäran kan returnera upp till 16 000 utdatatokens, och standardvärdet är 2 048, så ange max_tokens för de svar du förväntar dig.
Räkna tokens från användningsfältet i varje svar. Uppskattningar baserade på ordantal är ofta felaktiga med stor marginal för kod och icke-engelsk text.
Hantering av hastighetsbegränsningar och försök igen
Varje nyckel tillåter 300 förfrågningar per minut och 8 samtidiga förfrågningar. När du går över gränsen får du ett 429-svar. Försök igen endast med 429- och 5xx-svaren, med exponentiell backoff och en takgräns för total väntetid.
Försök inte om ett 400- eller 401-fel, eftersom samma begäran misslyckas på samma sätt igen. Fixa begäran eller nyckeln först.
Felsökning av vanliga API-fel
| Status | Vanlig orsak | Vad man bör göra |
|---|---|---|
| 400 | Felaktig JSON eller okänt fält | Kontrollera begäranskroppen mot det format du skickar |
| 401 | Saknad eller fel nyckel | Kopiera nyckeln igen och kontrollera Authorization-huvudet |
| 402 | Kreditet är slut | Ladda upp saldot; insättningar startar på $20 |
| 429 | Begäransgräns nådd | Back off and retry later |
Logga statuskoden och begärandid:t för varje misslyckande, så att du kan spåra ett problem snabbt.
Migrera från konkurrenters API:n
Planera flytten i tre steg: en testmiljö, en liten del av live-trafik och sedan hela bytet. Behåll båda bas-URL:erna i konfigurationen under mellanstadiet och jämför svaren och latensen på samma prompts.
Jämför kostnader baserat på din faktiska användning, inte på listpriser. Multiplicera antalet inmatnings- och utmatningstokens från användningsfältet med $0.15 respektive $0.50 per 1M tokens och ställ detta mot din nuvarande faktura.
Vanliga frågor
Måste jag ändra min förfrågningsformat?
Nej. Slutpunkten följer formatet för chat-completions, så samma meddelande- och verktygsstrukturer fungerar. Endast bas-URL:en och nycken ändras.
Vilket model id ska jag använda?
Använd uncensored. Det är den enda modellen på tjänsten, så id:t förblir detsamt i varje begäran.
Hur får jag en nyckel att testa med?
Registrera dig med Google eller din e-post. Nyckeln visas på skärjen, och kontot startar med $0.50 i provkredit som gäller i 7 dagar. Inget kort behövs.
Hur betalar jag för användning?
Ladda upp med USDT på TRC20 eller USDC på Base, startar på $20. Bonuskredit gäller från $50, och krediten löper inte ut.
Få tillgång till din nyckel
Registrera dig, hämta din nyckel och uppdatera bas-URL:en. Det är hela processen.
