Mistral API Integrationsleitfaden
Das Verschieben einer Mistral-ähnlichen Integration auf eine neue Basis-URL erfordert weniger Aufwand, als die meisten Teams erwarten. Dieser Leitfaden behandelt die Änderung der Basis-URL, die Modell-ID, Streaming, Tools, Token-Grenzen, Wiederholungsversuche und die Fehler, auf die Sie am ehesten stoßen, mit Code, den Sie sofort ausführen können.
Zuletzt aktualisiert
Zusammenfassung
- Die Änderung besteht aus einer Basis-URL und einem Schlüssel; das Anforderungs- und Antwortformat bleibt gleich.
- Verwenden Sie die Modell-ID uncensored und prüfen Sie diese mit einer einzigen Testanfrage, bevor Sie etwas anderes ändern.
- Streaming und Function Calling funktionieren über denselben Chat-Completions-Endpunkt, sodass bestehende Parser weiterhin funktionieren.
- Die Kosten betragen $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token, abgerechnet vom Prepaid-Guthaben.
Verständnis der Änderung der Basis-URL
Ihr Code sendet Anfragen an eine Basis-URL und hängt einen Schlüssel an. Um zu einem anderen OpenAI-kompatiblen Endpunkt zu wechseln, ändern Sie nur diese beiden Werte. Der Pfad /v1/chat/completions stays the same, so the request body and the response body keep their shape.
Behalten Sie die alte Base-URL in einem Config-Wert statt im Code. So können Sie im Fehlerfall in der Produktion mit einem Schritt zurückwechseln.
SDK-Kompatibilität: OpenAI- vs. Mistral-Clients
Die meisten Client-Bibliotheken akzeptieren eine benutzerdefinierte Basis-URL. Das offizielle OpenAI SDK, LangChain und LlamaIndex tun dies ebenfalls, und ein einfacher HTTP-Client funktioniert ebenfalls. Setzen Sie die Basis-URL auf https://mistralapibaseurl.com/v1 und übergeben Sie den neuen Schlüssel.
- Prüfen Sie die SDK-Version, da sehr alte Releases die Base-URL-Einstellung ignorieren.
- Prüfen Sie, dass der Client den Schlüssel im
Authorizationheader als Bearer-Token.
Konfigurieren der Modell-ID
Senden Sie die Modell-ID uncensored. Es ist das einzige Modell, das der Dienst anbietet, daher ändert sich die ID nicht zwischen Anfragen und Sie benötigen keine Modellauswahl-Logik.
Führen Sie eine einzelne Anfrage mit einem kurzen Prompt durch. Eine Antwort und ein Nutzungsblock bedeuten, dass die Basis-URL, der Schlüssel und die Modell-ID korrekt sind.
Implementierung von Streaming-Antworten
Festlegen stream: true um die Antwort als Server-Sent Events zu empfangen. Jedes Ereignis enthält ein kleines Textstück, und das letzte Ereignis enthält die Nutzungsdaten.
Zeigen Sie die Chunks bei Ankunft an und speichern Sie den vollständigen Text in einem Puffer, sodass die Nachricht gespeichert wird, sobald der Stream endet. Messen Sie die Zeit bis zum ersten Token; dieser Wert zeigt, wie reaktionsschnell der Chat für einen Benutzer wirkt.
Aktivieren von Function Calling und Tools
Übergeben Sie das tools-Array im gleichen Format, das Sie bereits verwenden. Das Modell gibt einen Tool-Aufruf mit einem Funktionsnamen und JSON-Argumenten zurück. Führen Sie die Funktion in Ihrem Code aus, senden Sie das Ergebnis als Tool-Nachricht zurück und lesen Sie die endgültige Antwort.
- Definieren Sie ein Tool mit zwei erforderlichen Argumenten und testen Sie es isoliert.
- Testen Sie einen Fall, in dem zwei Funktionsaufrufe sequenziell erforderlich sind.
- Stellen Sie die Argumente sicher, bevor Sie Aktionen ausführen, die Daten ändern.
Verwaltung von Kontextfenstern und Tokens
Das Context-Window umfasst 100.000 Tokens. Lange Chats füllen es, also kürzen Sie alte Nachrichten oder fassen Sie sie zusammen, bevor das Limit erreicht ist. Jede Anfrage kann bis zu 16.000 Ausgabetokens zurückgeben, und der Standardwert beträgt 2.048, also legen Sie max_tokens für die Antworten, die Sie erwarten.
Zählen Sie Tokens aus dem usage-Feld jeder Antwort. Schätzungen basierend auf Wortanzahlen liegen bei Code und Nicht-Englisch-Texten oft weit daneben.
Rate Limits und Wiederholungen handhaben
Jeder Schlüssel erlaubt 300 Anfragen pro Minute und 8 gleichzeitige Anfragen. Wenn Sie das Limit überschreiten, erhalten Sie eine 429-Antwort. Wiederholen Sie nur die 429- und die 5xx-Antworten mit exponentiellem Backoff und einer Obergrenze für die Wartezeit.
Wiederhole niemals einen 400er oder 401er, weil dieselbe Anfrage auf dieselbe Weise fehlschlägt. Korrigiere zuerst die Anfrage oder den Schlüssel.
Debugging häufiger API-Fehler
| Status | Häufigste Ursache | Was Sie tun sollten |
|---|---|---|
| 400 | Ungültiges JSON oder unbekanntes Feld | Prüfen Sie den Anfragekörper gegen das Format, das Sie senden |
| 401 | Fehlender oder falscher Schlüssel | Kopieren Sie den Schlüssel erneut und überprüfen Sie den Authorization-Header |
| 402 | Guthaben aufgebraucht | Laden Sie Ihr Guthaben auf; Einzahlungen beginnen ab 20 $. |
| 429 | Rate-Limit erreicht | Zurückweichen und später erneut versuchen |
Protokollieren Sie den Statuscode und die Anfrage-ID für jeden Fehler, damit Sie ein Problem schnell nachverfolgen können.
Das Migrieren von Wettbewerber-APIs
Planen Sie den Wechsel in drei Phasen: eine Testumgebung, ein kleiner Anteil des Live-Traffics und dann der vollständige Wechsel. Halten Sie beide Base-URLs in der Konfiguration während der mittleren Phase und vergleichen Sie die Antworten und die Latenz bei denselben Prompts.
Vergleichen Sie die Kosten basierend auf Ihrer eigenen Nutzung, nicht an den Listenpreisen. Multiplizieren Sie die Input- und Output-Tokens aus dem Nutzungsfeld mit $0.15 bzw. $0.50 pro 1M Tokens und setzen Sie dies gegen Ihre aktuelle Rechnung.
Häufige Fragen
Muss ich das Anfrageformat ändern?
Nein. Der Endpunkt folgt dem Chat-Completions-Format, daher funktionieren dieselben Nachrichten- und Werkzeugstrukturen. Nur die Basis-URL und der Schlüssel ändern sich.
Welche Modell-ID soll ich verwenden?
Nutzen Sie Uncensored. Es ist das einzige Modell auf dem Dienst, daher bleibt die ID bei jeder Anfrage gleich.
Wie erhalte ich einen Schlüssel zum Testen?
Melden Sie sich mit Google oder Ihrer E-Mail an. Der Schlüssel wird auf dem Bildschirm angezeigt, und das Konto beginnt mit $0.50 Testguthaben, das 7 Tage gültig ist. Es wird keine Kreditkarte benötigt.
Wie bezahle ich für die Nutzung?
Laden Sie mit USDT auf TRC20 oder USDC auf Base auf, beginnend ab $20. Bonusguthaben gilt ab $50, und das Guthaben verfällt nicht.
Greifen Sie auf Ihren Schlüssel zu
Registrieren Sie sich, holen Sie sich Ihren Schlüssel und aktualisieren Sie Ihre Basis-URL. Das ist der gesamte Prozess.
