Průvodce integrací API Mistral
Přesun integrace ve stylu Mistral na novou základní URL vyžaduje méně práce, než většina týmů očekává. Tento průvodce pokrývá změnu základní URL, ID modelu, streamování, nástroje, limity tokenů, opakování a chyby, na které nejčastěji narazíte, s kódem, který můžete spustit tak, jak je.
Naposledy aktualizováno
Shrnutí
- Změna spočívá v jedné základní URL a jednom klíči; formát požadavku a odpovědi zůstává stejný.
- Použijte ID modelu uncensored a ověřte ho jediným testovacím požadavkem, než změníte cokoli dalšího.
- Streamování a volání funkcí fungují prostřednictvím stejného endpointu chatových dokončení, takže existující parsery pokračují v práci.
- Náklady jsou $0.15 za 1M vstupních tokenů a $0.50 za 1M výstupních tokenů, účtované z předplaceného kreditu.
Změna základní URL
Váš kód odesílá požadavky na základní URL a připojuje klíč. Pro přechod na jiný endpoint kompatibilní s OpenAI stačí změnit tyto dvě hodnoty a nic dalšího. Cesta /v1/chat/completions zůstává stejné, takže tělo požadavku i tělo odpovědi si zachovávají svůj tvar.
"Udržte starou základní URL v konfigurační hodnotě, nikoli v kódu. Tím ji můžete vrátit zpět v jednom kroku, pokud se v produkci objeví problém."
Kompatibilita SDK: Klienti OpenAI vs. Mistral
Většina klientských knihoven přijímá vlastní base URL. Oficiální SDK OpenAI, LangChain a LlamaIndex to všechny umožňují, funguje i běžný HTTP klient. Nastavte base URL na https://mistralapibaseurl.com/v1 a předat nový klíč.
- Zkontrolujte verzi SDK, protože velmi staré vydání ignorují nastavení základní URL.
- Zkontrolujte, že klient odesílá klíč v
Authorizationhlavička jako bearer token.
Konfigurace ID modelu
Odeslat ID modelu uncensored. Je to jediný model, který služba nabízí, takže id se mezi požadavky nemění a nepotřebujete logiku pro výběr modelu.
Spusťte jednu žádost s krátkým promptem. Odpověď a blok využití znamenají, že základní URL, klíč a ID modelu jsou správně.
Implementace streamovaných odpovědí
Nastavit stream: true pro přijetí odpovědi ve formátu server-sent events. Každá událost nese malý kousek textu a poslední událost nese čísla využití.
Zobrazujte části textu, jak přicházejí, a uchovávejte celý text v bufferu, takže zpráva bude uložena, když stream skončí. Změřte čas do prvního tokenu; toto číslo ukazuje, jak je chat pro uživatele responzivní.
Povolování volání funkcí a nástrojů
Předložte pole tools ve stejném formátu, který již používáte. Model vrací volání nástroje s názvem funkce a argumenty JSON. Spusťte funkci ve svém kódu, odešlete výsledek zpět jako zprávu nástroje a přečtěte si finální odpověď.
- Definujte jeden nástroj se dvěma povinnými argumenty a otestujte ho samostatně.
- Otestujte případ, kde jsou potřeba dva volání nástrojů v posloupnosti.
- Ověřte argumenty před spuštěním čehokoli, co mění data.
Spravování kontextových oken a tokenů
Okno kontextu má 100 000 tokenů. Dlouhé chaty ho zaplní, takže ořežte staré úseky nebo je shrňte, než bude limit dosažen. Každý požadavek může vrátit až 16 000 výstupních tokenů a výchozí hodnota je 2 048, takže nastavte max_tokens pro odpovědi, které očekáváte.
Počítejte tokeny z pole usage v každé odpovědi. Odhady založené na počtu slov jsou často nepřesné pro kód a texty v jiných jazycích.
Zvládání limitů rychlosti a opakování
Každý klíč umožňuje 300 požadavků za minutu a 8 souběžných požadavků. Při překročení limitu dostanete odpověď 429. Opakujte pouze odpovědi 429 a 5xx s exponenciálním zpomalováním a stropem celkové doby čekání.
Nikdy neopakujte 400 nebo 401, protože stejný požadavek selže stejným způsobem znovu. Nejprve opravte požadavek nebo klíč.
Ladění běžných chyb API
| Stav | Obvyklá příčina | Co dělat |
|---|---|---|
| 400 | Neplatné JSON nebo neznámé pole | Zkontrolujte tělo žádosti proti formátu, který odesíláte |
| 401 | Chybějící nebo špatný klíč | Znovu zkopírujte klíč a zkontrolujte hlavičku Authorization |
| 402 | Úvěr vyčerpán | Doplňte si zůstatek; minimální částka pro doplnění je $20. |
| 429 | Dosažení limitu rychlosti | Odpočítání a opakování později |
Logujte kód stavu a ID požadavku pro každé selhání, abyste mohli problém rychle vystopovat.
Migrace z API konkurentů
Přesun naplánujte ve třech fázích: testovací prostředí, malá část živého provozu a poté úplný přechod. Během prostřední fáze mějte v konfiguraci obě základní URL a porovnávejte odpovědi a latenci na stejných podnětech.
Porovnávejte náklady na základě skutečného využití, nikoliv na základě seznamových cen. Vynásobte tokeny vstupu a výstupu z pole usage částkami $0,15 a $0,50 na 1M tokenů a porovnejte je se svým aktuálním účtem.
Časté otázky
Musím změnit formát požadavku?
Ne. Endpoint sleduje formát dokončení chatu, takže stejné struktury zpráv a nástrojů fungují. Změní se pouze základní URL a klíč.
Které ID modelu mám použít?
Použijte uncensored. Je to jediný model na službě, takže ID zůstává stejné v každém požadavku.
Jak získat klíč k vyzkoušení?
Zaregistrujte se pomocí Google nebo e-mailu a hesla. Klíč se zobrazí na obrazovce a účet začíná se zkušebním kreditem ve výši $0.50 platným po dobu 7 dní. Karta není vyžadována.
Jak zaplatit za použití?
Nahrajte prostředky pomocí USDT na TRC20 nebo USDC na Base, začínaje částkou $20. Bonusový kredit platí od $50 a kredit nevyprší.
Získejte svůj klíč
Zaregistrujte se, získejte klíč a aktualizujte základní URL. To je celý proces.
