Hướng dẫn tích hợp API Mistral
Di chuyển tích hợp kiểu Mistral sang URL cơ sở mới tốn ít công sức hơn nhiều đội mong đợi. Hướng dẫn này bao gồm thay đổi URL cơ sở, id mô hình, phát trực tiếp, công cụ, giới hạn token, các lần thử lại và các lỗi bạn có khả năng gặp phải nhất, với mã bạn có thể chạy ngay lập tức.
Cập nhật lần cuối
Tóm tắt
- Thay đổi chỉ là một URL cơ sở và một khóa; định dạng yêu cầu và phản hồi vẫn giữ nguyên.
- Sử dụng model id uncensored và kiểm tra nó bằng một yêu cầu thử nghiệm đơn giản trước khi thay đổi bất cứ thứ gì khác.
- Streaming và gọi hàm hoạt động thông qua cùng một điểm cuối hoàn thành trò chuyện, vì vậy các trình phân tích cú pháp hiện có vẫn hoạt động.
- Chi phí là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra, được tính từ tín dụng trả trước.
Hiểu về sự thay đổi URL cơ sở
Mã của bạn gửi yêu cầu đến một URL cơ sở và đính kèm một khóa. Để chuyển sang điểm cuối tương thích OpenAI khác, bạn chỉ cần thay đổi hai giá trị này và không thay đổi gì khác. Đường dẫn /v1/chat/completions giữ nguyên, vì vậy cấu trúc thân yêu cầu và thân phản hồi không thay đổi.
Giữ URL cơ sở cũ trong một giá trị cấu hình thay vì trong mã. Theo cách đó, bạn có thể chuyển lại chỉ trong một bước nếu một vấn đề xuất hiện trong môi trường sản xuất.
Tương thích SDK: Khách hàng OpenAI so với Mistral
Hầu hết các thư viện máy khách chấp nhận một base URL tùy chỉnh. SDK chính thức của OpenAI, LangChain và LlamaIndex đều làm được, và một máy khách HTTP đơn giản cũng hoạt động. Đặt base URL thành https://mistralapibaseurl.com/v1 và chuyển khóa mới.
- Kiểm tra phiên bản SDK, vì các bản phát hành rất cũ bỏ qua cài đặt URL cơ sở.
- Kiểm tra rằng client gửi khóa trong
Authorizationheader dưới dạng bearer token.
Cấu hình ID Mô hình
Gửi id mô hình uncensored. Đây là mô hình duy nhất mà dịch vụ cung cấp, nên id không thay đổi giữa các yêu cầu và bạn không cần logic chọn mô hình.
Chạy một yêu cầu với prompt ngắn. Một phản hồi và một khối sử dụng nghĩa là URL cơ bản, khóa và id mô hình đều chính xác.
Triển khai Phản hồi Streaming
Đặt stream: true để nhận câu trả lời dưới dạng các sự kiện gửi máy chủ. Mỗi sự kiện mang theo một đoạn văn bản nhỏ, và sự kiện cuối cùng mang theo các số liệu sử dụng.
Hiển thị các đoạn văn bản khi chúng đến và giữ toàn bộ văn bản trong bộ đệm, để tin nhắn được lưu trữ khi luồng kết thúc. Đo thời gian đến token đầu tiên; con số này cho thấy mức độ phản hồi của cuộc trò chuyện đối với người dùng.
Bật Gọi Hàm và Công Cụ
Định nghĩa mảng tools theo cùng định dạng bạn đã sử dụng. Mô hình trả về một lệnh công cụ với tên hàm và đối số JSON. Chạy hàm trong mã của bạn, gửi kết quả trở lại dưới dạng tin nhắn công cụ và đọc câu trả lời cuối cùng.
- Định nghĩa một công cụ với hai đối số bắt buộc và kiểm tra nó riêng lẻ.
- Kiểm tra trường hợp cần hai lệnh gọi công cụ theo trình tự.
- Xác nhận các đối số trước khi chạy bất cứ thứ gì thay đổi dữ liệu.
Quản lý cửa sổ ngữ cảnh và Token
Cửa sổ ngữ cảnh là 100,000 token. Các cuộc trò chuyện dài sẽ làm đầy cửa sổ này, vì vậy hãy cắt bớt các lượt cũ hoặc tóm tắt chúng trước khi đạt giới hạn. Mỗi yêu cầu có thể trả về tối đa 16,000 token output, và mặc định là 2,048, vì vậy hãy đặt max_tokens cho các câu trả lời bạn mong đợi.
Đếm token từ trường usage của mỗi phản hồi. Các ước tính dựa trên đếm từ thường sai lệch đáng kể đối với mã và văn bản không phải tiếng Anh.
Xử lý giới hạn tốc độ và thử lại
Mỗi khóa cho phép 300 yêu cầu mỗi phút và 8 yêu cầu cùng lúc. Khi bạn vượt quá giới hạn, bạn sẽ nhận được phản hồi 429. Chỉ thử lại các phản hồi 429 và 5xx, với cơ chế backoff theo cấp số nhân và giới hạn tổng thời gian chờ.
Không bao giờ thử lại lỗi 400 hoặc 401, vì cùng một yêu cầu sẽ thất bại theo cùng một cách. Hãy sửa yêu cầu hoặc khóa trước.
Gỡ lỗi Các Lỗi API Phổ biến
| Trạng thái | Nguyên nhân thường gặp | Những điều cần làm |
|---|---|---|
| 400 | JSON không hợp lệ hoặc trường không xác định | Kiểm tra thân yêu cầu (request body) so với định dạng bạn gửi đi. |
| 401 | Thiếu hoặc sai khóa | Sao chép khóa một lần nữa và kiểm tra tiêu đề Authorization |
| 402 | Hết tín dụng | Nạp tiền vào số dư; khoản nạp tối thiểu là $20. |
| 429 | Đã đạt giới hạn tốc độ | Tạm dừng và thử lại sau |
Ghi mã trạng thái và id yêu cầu cho mỗi lần thất bại, để bạn có thể theo dõi nhanh chóng một vấn đề.
Di chuyển từ Các API Đối thủ
Lên kế hoạch di chuyển theo ba giai đoạn: môi trường thử nghiệm, một phần nhỏ lưu lượng truy cập trực tiếp, và sau đó là chuyển đổi hoàn toàn. Giữ cả hai URL cơ sở trong cấu hình trong giai đoạn giữa và so sánh các câu trả lời và độ trễ trên cùng các prompt.
So sánh chi phí dựa trên mức sử dụng thực tế của bạn, không phải giá niêm yết. Nhân số token input và output từ trường usage với $0.15 và $0.50 trên mỗi 1M token và đối chiếu với hóa đơn hiện tại của bạn.
Các câu hỏi thường gặp
Tôi có cần thay đổi định dạng yêu cầu của mình không?
Không. Điểm cuối tuân theo định dạng hoàn tất trò chuyện, vì vậy cùng cấu trúc tin nhắn và công cụ đều hoạt động. Chỉ cần thay đổi URL cơ sở và khóa API.
Tôi nên sử dụng model id nào?
Sử dụng mô hình không kiểm duyệt. Đây là mô hình duy nhất trên dịch vụ, nên id vẫn giữ nguyên trong mọi yêu cầu.
Làm thế nào để lấy khóa để thử nghiệm?
Đăng ký bằng Google hoặc với email và mật khẩu. Khóa xuất hiện trên màn hình, và tài khoản bắt đầu với $0.50 tín dụng dùng thử có hiệu lực trong 7 ngày. Không cần thẻ.
Tôi thanh toán cho việc sử dụng như thế nào?
Nạp tiền bằng USDT trên TRC20 hoặc USDC trên Base, bắt đầu từ $20. Tín dụng bonus áp dụng từ $50 và tín dụng không bao giờ hết hạn.
Truy cập khóa của bạn
Đăng ký, lấy khóa của bạn và cập nhật URL cơ sở của bạn. Đó là toàn bộ quy trình.
