Skip to main content

概要

スマートルーティングは、リクエストの複雑さに応じて、設定済みのモデルプールからモデルを自動的に選択します。System APIでは、ルートはsmart_routing: trueを持つAPIキーレコードとして表されます。標準キーと同じ/api/token/の作成、更新、ステータス、表示、削除の各エンドポイントを使用します。 保存されるティアオブジェクトにはreasoningも含まれます。現在のコンソールでは、互換性のためにsimpleと同じモデルに設定されます。
smart_route_tiersはJSONエンコードされた文字列です。ネストされたJSONオブジェクトとして送信しないでください。

現在のプリセットを取得

プリセットのモデルIDはデプロイ設定です。スクリーンショットからモデル名をコピーするのではなく、/api/statusから取得してください。
最初のチェックでは、スマートルーティングが無効な場合、またはautoがルーティング用エイリアスとして公開されていない場合に、ワークフローを停止します。 プリセットを選択し、互換性フィールドを正規化します。
有効な3つのティアすべてに、選択したグループで利用可能なモデルIDが含まれていることを確認してください。.data.smart_routing_excluded_modelsと大文字・小文字を区別せずに照合してください。除外されたモデルは選択できません。

スマートルーティングキーを作成する

作成時にはIDが返されません。exclude_smart_routing=falseでルートを見つけてください。

モデルプールを更新

現在のレコードを読み取り、デコードした階層設定を変更します。更新ボディでは、その他すべての変更可能なフィールドを保持する必要があります。
変更は、ルートキーを使用して行われる以降のリクエストに適用されます。

ルートキーを表示して使用する

推論エンドポイントを使用し、modelをautoに設定します。
システムアクセストークンを推論エンドポイントに送信しないでください。

ルーティング統計

すべてのルートキーの集計統計を読み取ります。
キーとUnix秒で指定した時間範囲で絞り込みます。
レスポンスには、requests、actual_quota、saved_quota、baselineとactualを持つdailyの各エントリ、tier_dist、trial_start_tsが含まれます。 /api/statusから、現在のサービス手数料と試用の設定を読み取ります。

運用上の制約

  • リクエストには、OpenAI互換の/v1/chat/completions形式を使用します。
  • Claudeを対象とする場合はOpenAI互換モードでアクセスするため、Claudeのネイティブ専用機能は利用できない場合があります。
  • 対象モデルを切り替えると、プロバイダー側のプロンプトキャッシュを再利用できなくなる場合があります。
  • 本番環境の認証情報をローテーションする際は、ステータスのみを更新するエンドポイントでルートを無効にしてから削除してください。
コンソールでの手順と連携先のリンクについては、スマートルーティングを参照してください。