Mistral API Integrációs Útmutató

Az alap URL változásának megértése

A kódod kéréseket küld egy alap URL-re, és egy kulcsot csatol hozzá. Egy másik OpenAI-kompatibilis végpontra való váltáshoz csak ezt a két értéket kell megváltoztatnod, semmit mást. Az elérési út /v1/chat/completions ugyanaz marad, így a kérés törzse és a válasz törzse formátuma változatlan marad.

Tartsa meg a régi alap URL-t egy konfigurációs értékben, ne a kódban. Így egy lépésben vissza tud váltani, ha probléma adódik a termelésben.

SDK-kompatibilitás: OpenAI vs. Mistral kliensek

A legtöbb klienskönyvtár elfogad egy egyéni base URL-t. Az hivatalos OpenAI SDK, a LangChain és a LlamaIndex mind ezt teszik, és egy egyszerű HTTP kliens is működik. Állítsa be a base URL-t erre https://mistralapibaseurl.com/v1 és add át az új kulcsot.

• Ellenőrizze az SDK verzióját, mert a nagyon régi kiadások figyelmen kívül hagyják az alap URL beállítást.
• Ellenőrizze, hogy a kliens elküldi-e a kulcsot a Authorization fejlec Bearer tokenként.

A modell azonosító konfigurálása

Küldje el a modell azonosítóját uncensored. Ez az egyetlen modell, amelyet a szolgáltatás kínál, így az azonosító nem változik a kérések között, és nem kell modellszelekciós logikát írnia.

Futtass egy kérést rövid prompttal. Egy válasz és egy felhasználási blokk azt jelenti, hogy a base URL, a kulcs és a model id helyes.

Streamelő válaszok implementálása

Beállítás stream: true a válasz fogadására server-sent eseményekként. Minden esemény egy kis szövegrészletet hordoz, és a végső esemény tartalmazza a felhasználási adatokat.

Jelentse meg a darabokat érkezésük sorrendjében, és tartsa meg a teljes szöveget egy pufferben, így az üzenet akkor tárolódik, amikor a stream véget ér. Mérje meg az első token érkezésének idejét; ez az érték mutatja, hogy mennyire responsive a chat a felhasználó számára.

A Function Calling és az Eszközök engedélyezése

Adja át a tools tömböt ugyanabban a formátumban, amit már használ. A modell eszköz hívást ad vissza függvény névvel és JSON argumentumokkal. Futtassa le a függvényt a kódjában, küldje vissza az eredményt eszközként, és olvassa el a végső választ.

1. Határozzon meg egy eszközt két kötelező argumentummal, és tesztelje önállóan.
2. Teszteljen egy esetet, ahol két eszközhívásra van szükség sorban.
3. Ellenőrizze az argumentumokat, mielőtt bármit is futtatna, ami adatot változtat.

Kontextusablakok és tokenek kezelése

A kontextusablak 100 000 token. A hosszú beszélgetések megtelik vele, ezért vágja le a régi lépéseket vagy összefoglalhatja őket, mielőtt elérné a korlátot. Minden kérés akár 16 000 kimeneti tokent adhat vissza, az alapértelmezett pedig 2 048, ezért állítsa be max_tokens a várt válaszokhoz.

Számolja meg a tokeneket a válaszok usage mezőjéből. A szavak számán alapuló becslések gyakran jelentősen eltérnek a kódok és a nem angol szövegek esetén.

Számlálási határok és újrapróbálkozások kezelése

Minden kulcs percenként 300 kérést és 8 egyidejű kérést engedélyez. Ha túllépi a határt, 429-es választ kap. Csak a 429 és az 5xx válaszokat próbálja újra, exponenciális backoffgal és egy teljes várakozási időkorláttal.

Soha ne próbálja újra a 400-as vagy a 400-as hibát, mert ugyanaz a kérés ugyanúgy fog meghiúsulni. Először javítsa ki a kérést vagy a kulcsot.

Gyakori API hibák hibakeresése

Állapot	Általános ok	Mit tegyél
400	Érvénytelen JSON vagy ismeretlen mező	Nézd meg a kérés törzsét a küldött formátumhoz képest
401	Hiányzó vagy helytelen kulcs	Másolja ki újra a kulcsot, és ellenőrizze az Authorization fejlécet
402	A hitel felhasznált	Töltsd fel a egyenleget; a feltöltések $20-tól indulnak.
429	Sebességkorlát elérése	Visszavonul és próbálja újra később

Naplózza az állapotkódot és a kérés azonosítóját minden hibánál, hogy gyorsan nyomon követhesse a problémát.

Migrálás versenytárs API-kól

Tervezze meg a lépést három szakaszban: egy teszt környezet, a élő forgalom kis része, majd a teljes váltás. Tartsa mindkét alap URL-t a konfigurációban a középső szakasz során, és hasonlítsa össze a válaszokat és a késleltetést ugyanazon promptok esetén.

Hasonlítsa össze a költségeket a saját felhasználása alapján, nem a listárak szerint. Szorozza meg a felhasználási mezőben szereplő bemeneti és kimeneti tokenek számát $0.15 és $0.50 értékkel millió tokenenként, és hasonlítsa össze ezeket a jelenlegi számlájával.