Panduan Integrasi API Mistral
Memindahkan integrasi gaya Mistral ke URL asas baharu mengambil kerja kurang daripada yang dijangkakan oleh kebanyakan pasukan. Panduan ini merangkumi perubahan URL asas, ID model, streaming, alat, had token, percubaan semula dan ralat yang paling mungkin anda hadapi, dengan kod yang boleh anda jalankan sebagaimana adanya.
Kemas kini terakhir
Ringkasan
- Perubahanannya ialah satu URL asas dan satu kunci; format permintaan dan respons kekal sama.
- Gunakan ID model uncensored dan semak dengan satu permintaan ujian sebelum anda mengubah apa-apa lagi.
- Pemanggilan fungsi dan streaming berfungsi melalui hujung sambungan penyelesaian sembang yang sama, jadi parser sedia ada terus berfungsi.
- Kos adalah $0.15 bagi setiap 1M token input dan $0.50 bagi setiap 1M token output, dibilkan daripada kredit pra-bayar.
Memahami Perubahan URL Asas
Kod anda menghantar permintaan ke URL asas dan melekatkan kunci. Untuk beralih ke hujung sambungan yang serasi dengan OpenAI, anda hanya menukar kedua-dua nilai tersebut tanpa mengubah apa-apa yang lain. Laluan /v1/chat/completions kekal sama, jadi badan permintaan dan badan respons mengekalkan bentuknya.
Kekalkan URL asas lama dalam nilai konfigurasi berbanding dalam kod. Dengan cara itu, anda boleh kembali semula dalam satu langkah jika masalah muncul dalam pengeluaran.
SDK Compatibility: OpenAI vs Mistral Clients
Kebanyakan pustaka klien menerima URL asas tersuai. SDK OpenAI rasmi, LangChain dan LlamaIndex semuanya menyokongnya, dan klien HTTP biasa juga berfungsi. Tetapkan URL asas kepada https://mistralapibaseurl.com/v1 dan hantar kunci baharu anda.
- Semak versi SDK, kerana pelepasan yang sangat lama mengabaikan tetapan URL asas.
- Semak bahawa klien menghantar kunci dalam
Authorizationheader sebagai token bearer.
Mengkonfigurasi ID Model
Hantar ID model uncensored. Ia adalah satu-satunya model yang ditawarkan perkhidmatan, jadi id tidak berubah antara permintaan dan anda tidak memerlukan logik pemilihan model.
Jalankan satu permintaan dengan prompt pendek. Balasan dan blok penggunaan bermaksud URL asas, kunci dan ID model adalah betul.
Melaksanakan Respons Penstriman
Tetapkan stream: true untuk menerima jawapan sebagai acara yang dihantar pelayan. Setiap acara membawa sebahagian kecil teks, dan acara akhir membawa nombor penggunaan.
Paparkan bahagian-bahagian tersebut apabila ia tiba dan simpan teks penuh dalam penimbal, supaya mesej disimpan apabila aliran tamat. Ukur masa sehingga token pertama; angka ini menunjukkan betapa responsifnya chat tersebut kepada pengguna.
Membolehkan Panggilan Fungsi dan Alat
Luluskan larik tools dalam format yang sama seperti yang anda sudah gunakan. Model mengembalikan panggilan alat dengan nama fungsi dan hujah JSON. Jalankan fungsi dalam kod anda, hantar semula hasil sebagai mesej alat dan baca jawapan akhir.
- Takrifkan satu alat dengan dua hujah yang diperlukan dan ujinya secara berasingan.
- Uji kes di mana dua panggilan alat diperlukan secara berturutan.
- Sahkan hujah sebelum anda menjalankan apa-apa yang mengubah data.
Menguruskan Tetingkap Konteks dan Token
Jendela konteks ialah 100,000 token. Perbualan panjang akan mengisinya, jadi potong giliran lama atau ringkaskan mereka sebelum had dicapai. Setiap permintaan boleh mengembalikan sehingga 16,000 token output, dan lalai ialah 2,048, jadi tetapkan max_tokens untuk jawapan yang anda jangkakan.
Kira token dari bidang penggunaan setiap respons. Anggaran dari kiraan perkataan sering meleset jauh untuk kod dan teks bukan Inggeris.
Mengendalikan Had Kadar dan Cubaan Semula
Setiap kunci membolehkan 300 permintaan setiap minit dan 8 permintaan pada masa yang sama. Apabila anda melebihi had, anda mendapat respons 429. Cuba semula hanya respons 429 dan 5xx, dengan penangguhan eksponen dan had pada jumlah masa tunggu.
Jangan cuba lagi ralat 400 atau 401, kerana permintaan yang sama akan gagal dengan cara yang sama lagi. Betulkan permintaan atau kunci itu dahulu.
Nyahpepijat Ralat API Biasa
| Status | Punca biasa | Apa yang perlu dilakukan |
|---|---|---|
| 400 | JSON tidak sah atau medan tidak dikenali | Periksa badan permintaan terhadap format yang anda hantar |
| 401 | Kunci yang hilang atau salah | Salin kunci sekali lagi dan periksa header Authorization |
| 402 | Kredit habis digunakan | Isi baki; isi semula bermula pada $20 |
| 429 | Had kadar dicapai | Berundur dan cuba lagi nanti |
Log kod status dan id permintaan untuk setiap kegagalan, supaya anda boleh mengesan masalah dengan cepat.
Mengalih Keluar daripada API Pesaing
Rancang perpindahan dalam tiga peringkat: persekitaran ujian, bahagian kecil trafik langsung, dan kemudian penukaran penuh. Simpan kedua-dua URL asas dalam konfigurasi semasa peringkat tengah dan bandingkan jawapan serta latensi pada prompt yang sama.
Bandingkan kos berdasarkan penggunaan anda sendiri, bukan pada harga senarai. Darabkan token input dan output dari medan penggunaan dengan $0.15 dan $0.50 per 1 juta token dan bandingkan dengan bil semasa anda.
Soalan biasa
Adakah saya perlu menukar format permintaan saya?
Tidak. Endpoint ini mengikut format penyelesaian chat, jadi struktur mesej dan alat yang sama berfungsi. Hanya URL asas dan kunci yang berubah.
Model id mana yang perlu saya gunakan?
Gunakan uncensored. Ia adalah satu-satunya model pada perkhidmatan ini, jadi id kekal sama dalam setiap permintaan.
Bagaimana saya mendapatkan kunci untuk diuji?
Daftar dengan Google atau dengan e-mel dan kata laluan. Kunci muncul di skrin, dan akaun bermula dengan $0.50 kredit percubaan sah selama 7 hari. Tiada kad diperlukan.
Bagaimana cara membayar untuk penggunaan?
Isi semula dengan USDT pada TRC20 atau USDC pada Base, bermula pada $20. Kredit bonus terpakai dari $50, dan kredit tidak luput.
Akses kunci anda
Daftar, dapatkan kunci anda, dan kemas kini URL asas anda. Itulah proses lengkap.
