คู่มือการผสานรวม API ของ Mistral

ทำความเข้าใจการเปลี่ยนแปลง URL ฐาน

โค้ดของคุณส่งคำขอไปยัง URL พื้นฐานและแนบคีย์ไว้ เมื่อต้องการเปลี่ยนไปใช้เอนด์พอยต์ที่เข้ากันได้กับ OpenAI อื่นๆ คุณเพียงแค่เปลี่ยนค่าสองค่านี้และไม่ต้องเปลี่ยนอย่างอื่นเลย เส้นทาง /v1/chat/completions ยังคงเหมือนเดิม ดังนั้นโครงสร้างของร่างกายคำขอและร่างกายคำตอบจึงคงรูปร่างเดิม

เก็บ URL ฐานเก่าไว้ในค่าการกำหนดค่าแทนที่จะอยู่ในโค้ด ด้วยวิธีนี้คุณสามารถสลับกลับได้ทันทีหากมีปัญหาเกิดขึ้นในการผลิต

SDK Compatibility: OpenAI vs Mistral Clients

ไลบรารีไคลเอนต์ส่วนใหญ่รองรับ URL ฐานที่กำหนดเอง SDK ทางการของ OpenAI, LangChain และ LlamaIndex ล้วนรองรับ และไคลเอนต์ HTTP ธรรมดาก็ใช้งานได้เช่นกัน ตั้งค่า URL ฐานเป็น https://mistralapibaseurl.com/v1 ส่งคีย์ใหม่

• ตรวจสอบเวอร์ชัน SDK เนื่องจากเวอร์ชันเก่ามากจะเพิกเฉยต่อการตั้งค่า URL ฐาน
• ตรวจสอบว่าไคลเอนต์ส่งคีย์ใน Authorization header เป็น bearer token

กำลังกำหนดค่า ID โมเดล

ส่ง ID ของโมเดล uncensored. เป็นโมเดลเดียวที่บริการนี้เสนอ ดังนั้น id จะไม่เปลี่ยนแปลงระหว่างคำขอ และคุณไม่จำเป็นต้องมีตรรกะการเลือกโมเดล

จำลองคำขอหนึ่งครั้งด้วยพรอมต์สั้น คำตอบและบล็อกการใช้งานหมายถึง URL พื้นฐาน คีย์ และโมเดล id ถูกต้องทั้งหมด

การดำเนินการตอบสนองแบบสตรีม

ตั้งค่า stream: true เพื่อรับคำตอบเป็นเหตุการณ์ที่ส่งผ่านเซิร์ฟเวอร์ เหตุการณ์แต่ละเหตุการณ์จะบรรทุกข้อความขนาดเล็ก และเหตุการณ์สุดท้ายจะบรรทุกข้อมูลการใช้งาน

แสดง chunks เมื่อข้อมูลมาถึงและเก็บข้อความเต็มไว้ใน buffer เพื่อให้ข้อความถูกบันทึกเมื่อสตรีมสิ้นสุด วัดเวลาจนกว่าจะถึง token แรก; ตัวเลขนี้แสดงถึงความ responsive ที่ผู้ใช้รู้สึกเมื่อใช้แชท

เปิดใช้งานการเรียกใช้ฟังก์ชันและเครื่องมือ

ส่งอาร์เรย์ tools ในรูปแบบเดียวกันกับที่คุณใช้อยู่ โมเดลจะส่งคืน tool call พร้อมชื่อฟังก์ชันและอาร์กิวเมนต์ JSON เรียกใช้ฟังก์ชันในโค้ดของคุณ ส่งผลลัพธ์กลับเป็นข้อความ tool แล้วอ่านคำตอบสุดท้าย

1. กำหนดเครื่องมือหนึ่งตัวพร้อมอาร์กิวเมนต์ที่จำเป็นสองตัวและทดสอบแยกต่างหาก
2. ทดสอบกรณีที่จำเป็นต้องมีการเรียกใช้เครื่องมือสองครั้งตามลำดับ
3. ตรวจสอบอาร์กิวเมนต์ก่อนรันคำสั่งใดๆ ที่เปลี่ยนแปลงข้อมูล

การจัดการ Context Window และ Tokens

หน้าต่างบริบทมีขนาด 100,000 tokens การสนทนาที่ยาวจะเติมหน้าต่างนี้ ดังนั้นควรตัดบทสนทนาเก่าออกหรือสรุปบทสนทนานั้นก่อนถึงขีดจำกัด แต่ละคำขอสามารถส่งผลลัพธ์ได้สูงสุด 16,000 tokens และค่าเริ่มต้นคือ 2,048 ดังนั้นควรตั้งค่า max_tokens สำหรับคำตอบที่คุณคาดหวัง

นับโทเค็นจากฟิลด์ usage ของแต่ละการตอบกลับ การประมาณการจากจำนวนคำมักคลาดเคลื่อนอย่างมากสำหรับโค้ดและข้อความที่ไม่ใช่ภาษาอังกฤษ

การจัดการอัตราจำกัดและการเรียกซ้ำ

คีย์แต่ละคีย์อนุญาตให้ส่งคำขอได้ 300 คำขอต่อนาที และคำขอพร้อมกันได้ 8 คำขอ เมื่อคุณเกินขีดจำกัด คุณจะได้รับการตอบกลับ 429 ลองใหม่เฉพาะการตอบกลับ 429 และ 5xx พร้อมการถดถอยแบบเอกซ์โพเนนเชียลและขีดจำกัดเวลารวม

อย่าลองใหม่สำหรับข้อผิดพลาด 400 หรือ 401 เพราะคำขอเดิมจะล้มเหลวในแบบเดิมอีกครั้ง แก้ไขคำขอหรือคีย์ก่อน

การแก้ไขข้อผิดพลาด API ที่พบบ่อย

สถานะ	สาเหตุทั่วไป	สิ่งที่ควรทำ
400	JSON ผิดรูปแบบ หรือฟิลด์ที่ไม่รู้จัก	ตรวจสอบ body ของคำขอเทียบกับรูปแบบที่คุณส่ง
401	คีย์หายไปหรือผิด	คัดลอกคีย์อีกครั้งและตรวจสอบส่วนหัว Authorization
402	เครดิตหมดแล้ว	เติมยอดเงิน; การเติมเงินเริ่มต้นที่ $20
429	เกินอัตราการใช้งานสูงสุด	ถอยออกและลองใหม่ในภายหลัง

บันทึกรหัสสถานะและ id คำขอสำหรับแต่ละความล้มเหลว เพื่อให้คุณสามารถติดตามปัญหาได้รวดเร็ว

ย้ายจาก API ของคู่แข่ง

วางแผนการย้ายในสามขั้นตอน: สภาพแวดล้อมทดสอบ สัดส่วนเล็กๆ ของการจราจรจริง แล้วจึงเปลี่ยนทั้งหมด เก็บ URL ฐานทั้งสองไว้ในค่ากำหนดระหว่างขั้นตอนกลางและเปรียบเทียบคำตอบและเวลาแฝงบนคำขอเดียวกัน

เปรียบเทียบต้นทุนจากการใช้งานจริง ไม่ใช่จากราคาหน้ารายการ คูณจำนวนโทเคน input และ output จากฟิลด์การใช้งานด้วย $0.15 และ $0.50 ต่อ 1M โทเคน แล้วนำไปเทียบกับบิลปัจจุบันของคุณ