介紹
Smart Routing 是一項智慧模型路由能力,能夠根據輸入任務的複雜程度,自動將請求分配至最合適的模型。透過將任務劃分為 simple(簡單)、complex(複雜)、ultra(旗艦)三個等級,Smart Routing 可以在保證輸出品質的前提下,有效降低 API 呼叫成本。其中 Ultra 為價格基準。使用限制
快取能力限制 路由過程中,快取特性將受到影響。不同模型之間的快取機制和快取節點存在差異,切換模型時快取將被刷新,無法重複使用。 請求體結構限制 Smart Routing 使用/v1/chat/completions 端點。當路由目標為 Claude 系列模型時,只能透過 OpenAI 相容模式運作。相容後的功能限制請參考 Anthropic 官方文件 OpenAI SDK compatibility。
使用指南
- 建立路由

- 為路由節點建立金鑰

- 為金鑰選擇 Default 分組

- 分別為 simple、complex、ultra 三個級別設定對應模型

- 設定並透過智慧閘道進行路由
- 通訊端點:
https://api.mixroute.ai/v1/chat/completions - 模型名稱:
auto - 金鑰:使用路由的金鑰