OpenAI 互換

IteraCompute を通じて LiteLLM でモデルを使用します。

リクエストを 1 つのインターフェイス経由でルーティングします。

3 つのステップで接続する

1. APIキーを作成する

IteraCompute アカウントを作成するかサインインし、コンソールでキーを作成します。

2. ベース URL を構成する

api_baseを設定し、APIモデルIDの前にopenai/を追加してください。このプレフィックスはLiteLLMルーティングメタデータです。

3. モデルを選択します

選択したモデルの正確な API モデル ID を使用してください。エージェントまたはビジョン機能を有効にする前に、そのコンテキストと機能を確認してください。

モデルを選択してください

構成例

API キーをサーバー環境またはツール認証情報ストアに保管します。該当する場合は、サンプルのキー フィールドを独自のキーに置き換えます。

OpenAI 互換 API
import os
from litellm import completion

response = completion(
    model="openai/qwen/qwen3.8-27b",
    api_base="https://api.iteracompute.com/v1",
    api_key=os.environ["ITERACOMPUTE_API_KEY"],
    messages=[{"role": "user", "content": "Hello!"}],
    max_tokens=512,
    extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
print(response.choices[0].message.content)

バージョンと検証

構成リファレンス · 2026 年 10 月 15 日にレビューされました。再現可能なエンドツーエンドのツール テストはここには記録されていません。以下の手順を実行するときに、インストールされているバージョンとテスト日を記録してください。

達成基準

補完機能と、プロキシルート(使用している場合)を実行します。コンテンツフィールドが空でないことを確認し、意図したアップストリームモデルであることを確認します。

インストールされているバージョンを記録する
python -m pip show litellm

以下の API チェックの後、構成されたツール自体をテストします。HTTP 200 または cURL の結果だけでは、そのツールは検証されません。

接続をテストする

cURL · チャットの完了
# Bash / zsh / WSL; set ITERACOMPUTE_API_KEY in your environment first.
curl --fail-with-body https://api.iteracompute.com/v1/chat/completions \
  -H "Authorization: Bearer $ITERACOMPUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen/qwen3.8-27b","messages":[{"role":"user","content":"Reply with exactly: Hello!"}],"max_tokens":512}'

choices[0].message.content に表示されるテキストが含まれていることを確認します。HTTP 200 だけでは不十分です。推論により出力バジェットが消費される可能性があります。無料のQwenを使用するには、 初めての無料API呼び出しの例 思考を無効にするには、ツール内でプロンプトを送信します。

選択済みモデルの機能

これらは、選択したモデルの API 機能です。ワークフローで利用できる機能は、ツールとその設定によっても異なります。推論コントロールはモデルによって異なります。

  • チャットの完了サポートされています
  • ツール呼び出しサポートされています
  • 推論サポートされています
  • 画像入力サポートされています
  • ストリーミングサポートされています

トラブルシューティング

プロバイダーが認識されません

LiteLLM ルーティングと api_base=https://api.iteracompute.com/v1 には openai/qwen/qwen3.8-27b を使用します。openai/ プレフィックスはルーティング メタデータであり、API モデル ID の一部ではありません。

プロキシモデルが見つかりません

クライアントはプロキシ設定から model_name を呼び出します。litellm_params.model には、プロバイダー接頭辞が付いたアップストリーム モデルが含まれています。送信する名前を確認してください。

キーまたは応答がありません

LiteLLM プロセス (使用時のプロキシ プロセスを含む) にキーを設定します。ルーティング ポリシーまたはフォールバック ポリシーをテストする前に、choices[0].message.content にテキストが含まれていることを確認します。

429 / リクエスト制限

アカウント全体の月間使用量と TPM を確認します。Retry-After を尊重し、並列再試行を避けます。Free Qwen には、自動的に支払われる超過料金はありません。他のモデルには公開価格が適用されます。

401 / 403: キーとモデルの権限を確認します。無料の Qwen には残高やカードは必要ありません。有料モデルの場合は、利用可能残高も確認してください。

LiteLLM 設定リファレンス →

LiteLLM で構築を開始します。

キーを接続し、モデルを選択して、最初のリクエストを送信します。