מדריך אינטגרציה ל-API של Mistral

הבנת שינוי כתובת הבסיס

הקוד שלך שולח בקשות לכתובת בסיס ומצמיד מפתח. כדי לעבור לנקודת קצה תואמת OpenAI אחרת, אתה משנה רק את שני הערכים האלה ולא כלום. הנתיב /v1/chat/completions נשאר אותו דבר, כך שגוף הבקשה וגוף התשובה שומרים על המבנה שלהם.

שמרו על כתובת הבסיס הישנה בערך תצורה במקום בקוד. כך תוכלו לחזור אחורה בשלב אחד אם תופיע בעיה בייצור.

SDK Compatibility: OpenAI vs Mistral Clients

רוב ספריות הלקוחות מקבלות כתובת בסיס מותאמת אישית. ה-SDK הרשמי של OpenAI, LangChain ו-LlamaIndex כולם כן, וגם לקוח HTTP רגיל עובד. הגדר את כתובת ה-URL הבסיסית ל https://mistralapibaseurl.com/v1 והעבר את המפתח החדש.

• בדקו את גרסת ה-SDK, כי שחרורים ישנים מאוד מתעלמים מהגדרת הכתובת הבסיסית.
• בדקו שהלקוח שולח את המפתח ב- Authorization header כערך bearer token.

הגדרת מזהה המודל

שלח את מזהה המודל uncensored. זהו המודל היחיד שהשירות מציע, כך שה-id לא משתנה בין בקשות ואין צורך בלוגיקת בחירת מודלים.

הפעל בקשה אחת עם פקודה קצרה. תשובה וחסימת שימוש אומרים שהכתובת הבסיסית, המפתח ומזהה המודל נכונים.

יישום תגובות סטרימינג

הגדר stream: true כדי לקבל את התשובה כאירועים שנשלחים מהשרת (SSE). כל אירוע נושא חלק קטן של טקסט, והאירוע הסופי נושא את נתוני השימוש.

הצג את החלקים כפי שהם מגיעים ושמור את הטקסט המלא במאגר זמני, כך שההודעה תישמר רק כשהזרם מסתיים. מדוד את הזמן עד לקבלת הטוקן הראשון; מדד זה משקף את תחושת התגובתיות של הצ'אט עבור המשתמש.

הפעלת Function Calling וכלים

העבר את מערך הכלים באותו פורמט שאתה כבר משתמש בו. המודל מחזיר קריאת כלי עם שם פונקציה וארגומנטים JSON. הרץ את הפונקציה בקוד שלך, שלח את התוצאה חזרה כהודעת כלי וקרא את התשובה הסופית.

1. הגדירו כלי אחד עם שני ארגומנטים נדרשים ובדקו אותו בנפרד.
2. בדקו מקרה שבו נדרשות שתי קריאות כלים ברצף.
3. אמת את הארגומנטים לפני שאתה מריץ משהו שמשנה נתונים.

ניהול חלונות הקשר והאסימונים

חלון ההקשר הוא 100,000 טוקנים. שיחות ארוכות ממלאות אותו, אז נקה היסטוריה ישנה או סיכום אותה לפני הגעה למגבלה. כל בקשה יכולה להחזיר עד 16,000 טוקני פלט, והברירת המחדל היא 2,048, אז הגדר max_tokens לתשובות שאתה מצפה להן.

ספור טוקנים מתוך שדה השימוש בכל תגובה. הערכות ממניית מילים לרוב שגויות בטווח רחב עבור קוד וטקסט שאינו באנגלית.

טיפול בסיכוני קצב בקשות ובניסיונות חוזרים

כל מפתח מאפשר 300 בקשות לדקה ו-8 בקשות בו זמנית. כאשר חורגים מהמגבלה, מתקבלת תגובת 429. נסו שוב רק את תגובות 429 ו-5xx, עם backoff מעריכי וקפסולת זמן מקסימלית לשהייה.

לעולם אל תנסו שוב על שגיאת 400 או 401, כי אותה בקשה תיכשל באותו אופן שוב. תקנו את הבקשה או את המפתח קודם.

ניפוי באגים בשגיאות API נפוצות

סטטוס	סיבה שכיחה	מה לעשות
400	JSON מעוור או שדה לא ידוע	בדוק את גוף הבקשה מול הפורמט שאתה שולח
401	מפתח חסר או שגוי	העתק את המפתח שוב ובדוק את כותרת ה-Authorization
402	קרדיט אזל	העלה יתרה; הפקדות מתחילות ב-$20
429	גבול הקצב הושג	התרחק ונסה שוב מאוחר יותר

תעדו את קוד הסטטוס ואת מזהה הבקשה לכל כשל, כדי לעקוב אחר הבעיה במהירות.

מעבר מ-APIs של מתחרים

תכנן את המעבר בשלושה שלבים: סביבת בדיקה, חלק קטן מתנועה חיה, ואז החלפה מלאה. שמור את שני כתובות הבסיס בתצורה במהלך השלב האמצעי והשווה את התשובות ואת זמן התגובה על אותם פרומפטים.

השווה עלות בהתבסס על השימוש שלך, לא על מחירי הרשימה. הכפל את טוקני הקלט והפלט משדה השימוש ב-$0.15 וב-$0.50 למיליון טוקנים והשווה מול החשבון הנוכחי שלך.