Skip to main content

概述

智慧路由會根據請求複雜度,從設定的模型池中自動選擇模型。在系統 API 中,路由表現為一條設定了 smart_routing: true 的 API Key 記錄;建立、更新、啟停、顯示 Key 和刪除操作都複用一般 Key 的 /api/token/ 介面。 儲存的層級物件還包含 reasoning。目前控制台會將它設定為與 simple 相同的模型,以保持相容。
smart_route_tiers 是經過 JSON 編碼的字串,不能直接傳送為巢狀 JSON 物件。

讀取目前預設

預設模型 ID 屬於部署設定。請從 /api/status 動態讀取,不要從截圖複製模型名稱:
如果智慧路由未啟用,或 auto 未出現在路由別名列表中,第一個檢查會終止流程。 選擇一個預設並補齊相容欄位:
建立前應確認三個有效層級都設定了模型,並且模型對所選分組可用。還要與 .data.smart_routing_excluded_models 進行不區分大小寫的比較;不能選擇被排除的模型。

建立智慧路由 Key

建立回應不傳回 ID。搜尋時設定 exclude_smart_routing=false 才能定位路由記錄:

更新模型池

先讀取目前記錄,再修改解碼後的層級設定。更新請求內容必須保留其他全部可變欄位。
儲存後的設定會對後續路由請求生效。

顯示並使用路由 Key

呼叫推理端點時,將 model 設定為 auto
不要把系統存取權杖傳送到推理端點。

路由統計

讀取所有智慧路由 Key 的彙總統計:
按 Key 和 Unix 秒級時間範圍篩選:
回應包含 requestsactual_quotasaved_quota、帶有 baselineactualdaily 明細、tier_dist 以及 trial_start_ts 試用期和服務費比例也應從 /api/status 動態讀取:

使用限制

  • 請求使用 OpenAI 相容的 /v1/chat/completions 格式。
  • 路由到 Claude 模型時使用 OpenAI 相容模式,部分 Claude 原生功能可能不可用。
  • 切換目標模型可能導致供應商側提示詞快取無法複用。
  • 生產環境輪換路由憑證時,應先通過狀態介面停用舊路由,再執行刪除。
控制台操作流程和整合連結請參閱智慧路由