AI TOOL DATABASE v2
LiteLLM
LiteLLMは、複数LLMを一つのOpenAI互換APIの背後に置き、モデル切替・コスト・認証・ルーティングを中央管理するOSS AI Gatewayです。
選定サマリー
30秒で向き不向きを確認
AI位置づけ
AIネイティブ（AIそのものが中核のサービス）
向いている
複数LLMプロバイダーを共通APIで管理したい開発チーム
向いていない
Gatewayを運用せず単一SaaSをそのまま使いたいユーザー
料金
OSSはセルフホスト無料。Enterpriseは年間gateway request capacity・構成・サポート要件に応じた個別見積もり。
最大の強み
100以上のproviderをOpenAI互換形式へ統一できる
注意点
Gateway自体の可用性・DB・upgrade・監視はセルフホスト側の運用責任になる
THINKLAB判定
LiteLLMは、複数LLMを使う組織が『モデルごとのSDK乱立』をやめ、自社管理の共通Gatewayへ集約したい場合の有力なOSS候補です。
概要
LiteLLMはBerriAIが開発するオープンソースのLLM統合レイヤーです。
Python SDKとしてアプリ内から使う方法と、組織共通のProxy Server（LLM Gateway）として使う方法があります。
概要の続きを読む概要を閉じる
OpenAI、Anthropic、Azure OpenAI、Vertex AI、Bedrock、Ollama、OpenRouterなど100以上のプロバイダーを共通のOpenAI Input/Output形式へ寄せ、provider変更時のアプリ改修を抑えます。
Proxyではvirtual keys、ユーザー・チーム別の利用量とコスト、budgets、rate limits、fallback/load balancing、guardrails、logging、Prometheusなどをまとめて管理できます。
主な機能
100+ providers, one API
多数のLLM providerをOpenAI互換形式で呼び出し、モデルやproviderをアプリコードから切り離しやすくします。
Proxy Server / AI Gateway
中央Gatewayとして認証、virtual keys、利用量、budget、rate limit、モデルアクセスを組織横断で管理できます。
Routing・Fallback・Load Balancing
複数provider・region・key・deploymentへtrafficを分散し、retry/fallbackを含む可用性設計を構築できます。
Spend Management
key、user、team、org、model等の単位で利用量・コストを追跡し、budgetやrate limitで上限を設定できます。
Observability integrations
request/response logging、Prometheusに加え、Langfuse、Arize Phoenix、LangSmith、OpenTelemetryなど外部observability基盤へ接続できます。
Self-host / Air-gap
OSS Gatewayを自社インフラで運用できます。
Enterpriseではair-gapped deploymentやmulti-region control planeなども提供されます。
AI機能の詳細・制約はページ下部の「詳細情報」にまとめています
活用例
個人・一般
複数LLMのAPI統一
OpenAI、Anthropic、Gemini系、Azure、Bedrock、ローカルモデルなどを一つのAPI契約へ寄せ、provider変更を容易にする。
社内AI Gateway
各アプリがprovider API keyを直接持たず、LiteLLM Proxyのvirtual key経由で利用する構成に統一する。
障害時Fallback
primary deploymentがrate limitや障害になった際に別deployment/providerへ切り替え、LLM機能の可用性を高める。
AIコスト統制
team・project・keyごとにspendを追跡し、budgetやRPM/TPM limitで暴走コストを抑える。
業務・組織
全社LLMアクセス標準化
複数部門が個別にprovider接続する状態をGatewayへ集約し、認証・モデル許可・予算・ログを共通ポリシー化する。
ベンダーロックイン低減
アプリ側をOpenAI互換interfaceへ揃え、価格・性能・障害・契約条件に応じてbackend modelを切り替えやすくする。
料金
Open Source版は$0でセルフホスト可能です。
Enterpriseは固定のtoken手数料ではなく、年間gateway request capacity、deployment architecture、support needsに応じた個別見積もりです。
無料枠あり
Open Source
$0
free foreverのself-host版。100+ providers、virtual keys、users/teams、spend tracking、budgets、rate limits、fallbacks、logging、Prometheus等を提供。
Enterprise
個別見積もり（年契約）
SSO/SCIM、OIDC/JWT、audit logs、secret manager/key rotation、org/team admin、multi-region、24/7 support/SLA等を追加。30日trialあり。
公式 Pricing ページを開く料金確認：2026年8月27日
強み・弱み
強み
- 100以上のproviderをOpenAI互換形式へ統一できる
- OSS版でもvirtual keys、budget、rate limit、fallback、logging等を利用できる
- self-hostのためAPI keyやtrafficを自社インフラ内に置ける
- SDK利用と組織共通Proxyの両方を選べる
- EnterpriseではSSO・SCIM・監査・air-gap・SLAまで拡張できる
弱み
- Gateway自体の可用性・DB・upgrade・監視はセルフホスト側の運用責任になる
- providerごとの機能差を共通APIだけで完全に吸収できるわけではない
- routing・budget・key設計が複雑になるとPlatform運用の知識が必要
比較・競合
迷うときの比較軸
- provider対応数
- self-host可否
- OpenAI互換範囲
- routing/fallback
- virtual keys
- budget/rate limit
- guardrails
- observability
- SSO/RBAC
- 運用負荷
LiteLLM vs Portkey
Portkey/PRISMA AIRS AI Gatewayはmanaged/enterprise gatewayとguardrail・observabilityを強く統合。LiteLLMはOSS self-hostと広いprovider互換性が大きな軸。
LiteLLM vs OpenRouter
OpenRouterはhostedな統一model marketplace/routerとして導入が容易。LiteLLMは自社Gatewayを構築し、自分のprovider契約・key・policyを管理したい場合に向く。
LiteLLM vs Vercel AI Gateway
Vercel環境との統合やmanaged運用を重視する選択肢。LiteLLMはself-host、virtual keys、組織別budget、幅広いprovider統制に強い。
THINKLABの結論
選定サマリーの判定を、選び方として整理したものです。
選ぶべき場合
OpenAI互換APIを共通境界にしてproviderを切り替えたい、self-hostを維持したい、team別budget・virtual key・fallbackを一か所で管理したい場合。
別製品を選ぶべき場合
Gatewayの運用自体を持ちたくなく、provider契約やinfraを含めて完全managedな統一APIだけを求める場合。
確信度: high
詳細情報
導入判断の本線から外した補足です。必要な項目だけ開いてください。
AI機能の詳細
Unified LLM API
各provider固有のchat、responses、embeddings、images、audio、batch等の呼び出しを共通インターフェースへ変換し、レスポンス形式や例外もOpenAI互換へ寄せます。
制約
provider固有機能は完全に同一ではないため、利用するendpoint・parameterが対象モデルでサポートされるか確認が必要です。
Router / Fallback
複数deployment・provider間でload balancing、retry、fallbackを構成し、障害時の切替やコスト・性能に応じたroutingを実装できます。
制約
routing設計を誤ると想定外のprovider利用やコスト増につながるため、model accessとbudgetの併用が重要です。
Gateway Governance
Proxyのvirtual keys、認証、budget、rate limit、guardrail、loggingを使ってチームやプロジェクト単位でLLM利用を統制します。
制約
SSO、SCIM、監査ログ、air-gap、Enterprise supportなど一部の組織向け機能はEnterprise対象です。
向き不向き（一覧）
こんな人におすすめ
- 複数LLMプロバイダーを共通APIで管理したい開発チーム
- 自社インフラにAI Gatewayを置きたい企業
- LLMコスト・budget・rate limitを中央管理したいPlatformチーム
- provider fallbackを実装したい本番AIサービス
おすすめしないケース
- Gatewayを運用せず単一SaaSをそのまま使いたいユーザー
- セルフホスト基盤の保守を一切行いたくない小規模チーム
プラットフォーム / API
対応プラットフォーム
- Web
- Linux
- Mac
- Windows
API
あり
セキュリティ / データの扱い
self-hostが基本で、公式はself-host時にデータやkeyがLiteLLM側へ送信されないと案内しています。
EnterpriseではSOC 2 Type 2、ISO 27001、SSO/SCIM、audit logs、air-gap等を提供します。
取扱い: OSSをself-hostする場合、LLM trafficとprovider keysは利用者自身のインフラを通り、LiteLLM serversへdata/telemetryを送らないと公式に案内されています。ただし接続先LLM provider側のデータ条件は別途確認が必要です。
学習・送信: LiteLLM自体が基盤モデルを学習するサービスではありません。prompt等の学習利用条件は実際にroutingする各LLM providerのpolicyに依存します。