Skip to main content

介紹

Smart Routing 是一項智慧模型路由能力,會根據輸入任務的複雜程度,自動將請求分配至最合適的模型。控制台將任務分為 Simple(簡單)、Complex(複雜)和 Ultra(旗艦)三個等級,在維持輸出品質的同時降低 API 呼叫成本,其中 Ultra 為價格基準。
透過系統 API 設定時,控制台中的 Ultra 對應 smart_route_tiers.supersmart_route_tiers 必須以 JSON 字串傳送。完整建立、更新和統計流程請參閱智慧路由 API

應用文檔

使用限制

快取能力限制 提示詞快取通常依供應商與模型隔離。若智慧路由將後續請求分配到不同模型,該請求無法重複使用前一個模型的快取;持續路由到同一模型時,是否命中快取仍取決於該供應商的規則。 請求體結構限制 Smart Routing 使用 /v1/chat/completions 端點。當路由目標為 Claude 系列模型時,只能透過 OpenAI 相容模式運作。相容後的功能限制請參考 Anthropic 官方文件 OpenAI SDK compatibility

使用指南

  1. 建立路由
Smart Routing 1
  1. 為路由節點建立金鑰
Smart Routing 2
  1. 為金鑰選擇 Default 分組
Smart Routing 3
  1. 分別為 simple、complex、ultra 三個級別設定對應模型
Smart Routing 4
  1. 設定並透過智慧閘道進行路由
  • 通訊端點:https://api.mixroute.ai/v1/chat/completions
  • 模型名稱:auto
  • 金鑰:使用路由的金鑰