Mistral API -integraatioopas
Mistral-tyyppisen integraation siirtäminen uuteen base_url:iin vaatii vähemmän työtä kuin useimmat tiimit odottavat. Tämä opas kattaa base_url-muutoksen, mallitunnisteen, streamauksen, työkalut, token-rajoitukset, retryt ja virheet, joita tulet todennäköisimmin kohtaamaan, ja sisältää koodin, jota voit ajaa sellaisenaan.
Viimeksi päivitetty
Yhteenveto
- Muutos on yksi emokone ja yksi avain; pyynnön ja vastauksen muotoilu pysyy samana.
- Käytä mallin tunnistetta uncensored ja testaa se yhdellä testipyyntöllä ennen kuin muutat mitään muuta.
- Virran ja funktion kutsu toimivat saman chat-päätepisteen kautta, joten olemassa olevat jäsenet jatkavat toimintaa.
- Kustannukset ovat $0.15 per 1M syöttötokenia ja $0.50 per 1M tuottotokenia, laskutetaan esimaksukrediitistä.
Ymmärrä Base URL -osoitteen muutos
Koodisi lähettää pyyntöjä perus-URL-osoitteeseen ja liittää siihen avaimen. Siirtyessäsi toiseen OpenAI-yhteensopivaan päätepisteeseen muutat vain näitä kahta arvoa etkä mitään muuta. Polku /v1/chat/completions pysyy samana, joten pyynnön runko ja vastauksen runko säilyttävät muotonsa.
Pidä vanha base URL -osoite konfiguraatioarvona koodin sijaan. Näin voit vaihtaa takaisin yhdellä askeleella, jos tuotannossa ilmenee ongelma.
SDK-yhteensopivuus: OpenAI vs. Mistral-asiakkaat
Usein asiakirjastot hyväksyvät mukautetun base_urlin. Virallinen OpenAI SDK, LangChain ja LlamaIndex tekevät niin, ja tavallinen HTTP-asiakas toimii myös. Aseta base_url osoitteeseen https://mistralapibaseurl.com/v1 and pass the new key.
- Tarkista SDK-versio, sillä erittäin vanhat julkaisut ohittavat perus-URL-asetuksen.
- Tarkista, että asiakasohjelma välittää avaimen kentässä
Authorizationheader Bearer-tokenina.
Mallitunnuksen määrittäminen
Lähetä mallin tunnus uncensored. Se on ainoa palvelun tarjoama malli, joten id ei muutu pyyntöjen välillä, eikä sinun tarvitse toteuttaa mallivalintalogiikkaa.
Suorita yksi pyyntö lyhyellä prompilla. Vastaus ja käyttölohko tarkoittavat, että base URL, avain ja mallin id ovat kaikki oikein.
Streamausvastausten toteuttaminen
Aseta stream: true vastaanottaaksesi vastauksen server-sent-tapahtumina. Jokainen tapahtuma sisältää pienen tekstipalan, ja viimeinen tapahtuma sisältää käyttöluvut.
Näytä palaset saapuessaan ja pidä koko teksti puskurissa, jotta viesti tallentuu streamin päättyessä. Mittaa aika ensimmäiseen tokeniin; tämä luku kertoo, kuinka responsiivinen chat tuntuu käyttäjälle.
Toimintokutsujen ja työkalujen käyttöönotto
Välitä tools-taulukko samassa muodossa kuin jo käytät. Malli palauttaa työkalukutsun funktion nimellä ja JSON-argumenteilla. Suorita funktio koodissasi, lähetä tulos takaisin työkaluviestinä ja lue lopullinen vastaus.
- Määritä yksi työkalu kahdella pakollisella argumentilla ja testaa sitä erikseen.
- Testaa tapausta, jossa tarvitaan kaksi työkalukutsua peräkkäin.
- Varmista argumentit ennen tietojen muuttamista.
Kontekstiikkunoiden ja tokenien hallinta
Kontekstiikkoni on 100 000 tokenia. Pitkät keskustelut täyttävät sen, joten leikkaa vanhoja vuoroja tai tiivistä ne ennen rajan saavuttamista. Jokainen pyyntö voi tuottaa jopa 16 000 tulostetokenia, ja oletus on 2 048, joten aseta max_tokens odottamillesi vastauksille.
Laske tokenit vastauksen käyttö-kentästä. Arviot sanamäärästä ovat usein virheellisiä koodin ja ei-englanninkielisen tekstin osalta.
Nopeusrajoitusten ja uudelleenyritysten käsittely
Jokainen avain sallii 300 pyyntöä minuutissa ja 8 pyyntöä samanaikaisesti. Kun ylität rajan, saat 429-vastauksen. Yritä uudelleen vain 429- ja 5xx-vastauksissa eksponentiaalisella viiveellä ja kokonaisviiveen rajalla.
Wiederholen Sie niemals einen 400- oder 401-Fehler, da dieselbe Anfrage auf dieselbe Weise fehlschlägt. Korrigieren Sie zuerst die Anfrage oder den Schlüssel.
Vianmääritys yleisistä API-virheistä
| Tila | Yleinen syy | Mitä tehdä |
|---|---|---|
| 400 | Virheellinen JSON tai tuntematon kenttä | Tarkista pyyntöruumis lähetettävää muotoa vastaan |
| 401 | Puuttuva tai virheellinen avain | Kopioa avain uudelleen ja tarkista Authorization-header |
| 402 | Luotto käytetty loppuun | Lataa saldoa; minimitalletus on 20 $ |
| 429 | Nopeusrajoitus saavutettu | Peräänny ja yritä myöhemmin uudelleen |
Loki statuskoodi ja pyynnön tunniste jokaisesta epäonnistumisesta, jotta voit jäljittää ongelman nopeasti.
Migröinti kilpailijoiden API-palveluista
Suunnittele siirto kolmessa vaiheessa: testiympäristö, osa live-liikenteestä ja sitten täysi vaihto. Pidä molemmat perus-URL-osoitteet määrityksissä keskeisen vaiheen aikana ja vertaa vastauksia ja viiveitä samoilla ohjeilla.
Vertaa kustannuksia omassa käytössäsi, ei luettelohintojen perusteella. Kerro käyttökentän syöte- ja tulostokenit luvuilla $0.15 ja $0.50 miljoonaa tokenia kohti ja aseta tämä nykyiseen laskuusi vastaan.
Yleiset kysymykset
Pitäisikö minun muuttaa pyyntömuotoa?
Ei. Päätepiste noudattaa chat-completions-muotoa, joten samat viesti- ja työkalurakenteet toimivat. Vain base URL ja avain muuttuvat.
Mikä mallitunnus minun pitäisi käyttää?
Käytä uncensored-mallia. Se on ainoa palvelun malli, joten id pysyy samana kaikissa pyynnöissä.
Miten saan avaimen testaukseen?
Rekisteröidy Google- tai anna sähköposti ja salasana. Avain näkyy näytöllä, ja tili alkaa $0.50 kokeilusaldo, joka on voimassa 7 päivää. Korttia ei tarvita.
Miten maksan käytöstä?
Lataa tilisi USDT:llä TRC20:na tai USDC:llä Base-verkossa alkaen summasta $20. Bonukset koskevat summasta $50, ja saldo ei vanhene.
Pääsy avaimeseesi.
Rekisteröidy, hanki avain ja päivitä base URL. Siinä koko prosessi.
