スマートルーティング

はじめに

スマートルーティングは、タスクの複雑さに応じて各リクエストを自動的にモデルに割り当てます。コンソールにはSimple、Complex、Ultraの3つの階層があり、出力品質を維持しながらAPIコストを削減します。Ultraが料金の基準です。

System APIでは、コンソールのUltraティアはsmart_route_tiers.superに対応し、smart_route_tiersはJSONエンコードされた文字列として送信する必要があります。作成、更新、統計の全手順については、スマートルーティングAPIを参照してください。

アプリケーションのドキュメント

利用上の制約

キャッシュ機能の制約 プロンプトキャッシュは通常、プロバイダーとモデルごとに適用範囲が限定されます。スマートルーティングが後続のリクエストを別のモデルに送信した場合、そのリクエストでは前のモデルのキャッシュエントリを再利用できません。同じモデルにルーティングされたリクエストは、そのプロバイダーのルールに従ってキャッシュを利用できる場合があります。 リクエストボディの構造上の制約 スマートルーティングは/v1/chat/completionsエンドポイントを使用します。ルーティング先がClaudeシリーズのモデルの場合、OpenAI互換モードでのみ動作します。互換モードでの機能上の制約については、Anthropicの公式ドキュメント「OpenAI SDKの互換性」を参照してください。

利用ガイド

ルートを作成

ルートノード用のAPIキーを作成してください

APIキーのグループにDefaultを選択します

simple、complex、ultraの3つのレベルに対応するモデルを設定してください

スマートゲートウェイを設定し、ルーティングする

通信エンドポイント：https://api.mixroute.ai/v1/chat/completions
モデル名：auto
APIキー: ルートのAPIキーを使用してください

curl https://api.mixroute.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_ROUTING_KEY" \
  -d '{
    "model": "auto",
    "messages": [
      {"role": "user", "content": "Hello"}
    ]
  }'

​はじめに

​アプリケーションのドキュメント

​利用上の制約

​利用ガイド

はじめに

アプリケーションのドキュメント

利用上の制約

利用ガイド