Skip to main content

介紹

Smart Routing 是一項智慧模型路由能力,能夠根據輸入任務的複雜程度,自動將請求分配至最合適的模型。透過將任務劃分為 simple(簡單)、complex(複雜)、ultra(旗艦)三個等級,Smart Routing 可以在保證輸出品質的前提下,有效降低 API 呼叫成本。其中 Ultra 為價格基準。

使用限制

快取能力限制 路由過程中,快取特性將受到影響。不同模型之間的快取機制和快取節點存在差異,切換模型時快取將被刷新,無法重複使用。 請求體結構限制 Smart Routing 使用 /v1/chat/completions 端點。當路由目標為 Claude 系列模型時,只能透過 OpenAI 相容模式運作。相容後的功能限制請參考 Anthropic 官方文件 OpenAI SDK compatibility

使用指南

  1. 建立路由
Smart Routing 1
  1. 為路由節點建立金鑰
Smart Routing 2
  1. 為金鑰選擇 Default 分組
Smart Routing 3
  1. 分別為 simple、complex、ultra 三個級別設定對應模型
Smart Routing 4
  1. 設定並透過智慧閘道進行路由
  • 通訊端點:https://api.mixroute.ai/v1/chat/completions
  • 模型名稱:auto
  • 金鑰:使用路由的金鑰