AI TOOL DATABASE v2
Humanloop
HumanloopはPrompt Management・Evals・Observabilityを統合していたLLMOps基盤ですが、2025年9月8日に終了しており、現在は新規契約できません。
選定サマリー
30秒で向き不向きを確認
AI位置づけ
AIネイティブ（AIそのものが中核のサービス）
向いている
Humanloopからの移行履歴を整理するチーム
向いていない
新規LLMOps基盤としてHumanloopを導入したいチーム
料金
サービス終了（2025年7月30日に課金停止、2025年9月8日にプラットフォーム終了）
最大の強み
Prompt管理・評価・Observabilityを一つの品質改善ループとして設計していた
注意点
2025年9月8日にプラットフォームが終了しており現在は利用できない
THINKLAB判定
Humanloopは現在選ぶツールではありません。2025年9月8日に終了済みなので、THINKLABでは『歴史的に重要なLLMOps製品・移行対象』として扱うのが正確です。
概要
Humanloopは、LLMアプリを評価中心で改善するための企業向け開発プラットフォームでした。
Promptのバージョン管理、Datasets、Evaluations、Evaluators、Logs/Observabilityを一つのワークフローで扱い、エンジニアだけでなくPMやドメイン専門家も品質改善に参加できる設計が特徴でした。
概要の続きを読む概要を閉じる
Humanloop公式ドキュメントによると、買収に伴いプラットフォームは2025年9月8日にsunsetされ、アカウントと関連データも削除されました。
したがって2026年時点では現役ツールとして推奨せず、既存記事・比較表では終了済みであることを明示する必要があります。
主な機能
Evals-driven development
変更前後のPrompt・モデルをDatasetsとEvaluatorsで比較し、感覚ではなく評価結果を基準に改善するワークフローを重視していました。
Prompt versioning
Promptとモデル設定をバージョンとして管理し、開発・評価・本番の変更履歴を追跡できました。
Human / AI / Code evaluation
ルールベース評価、LLMによる評価、人間のレビューを用途に応じて組み合わせる設計でした。
Production observability
本番Logsを収集し、失敗例をDatasetやEvaluationへ戻して品質改善につなげる用途に対応していました。
Multi-provider workflow
OpenAI、Anthropic、Google、Azure、AWS Bedrockなど複数プロバイダーを扱い、独自モデルのログも利用できました。
終了・移行
公式Migration GuideではFiles、Versions、Logs、Evaluations、Datasetsなどをexportする移行手順が案内されました。
プラットフォームは2025年9月8日に終了しています。
AI機能の詳細・制約はページ下部の「詳細情報」にまとめています
活用例
個人・一般
旧Humanloop採用記事の確認
過去の比較記事や設計資料でHumanloopが候補になっている場合、現在は終了済みとして代替製品へ読み替える。
LLMOps設計の参考
Prompt・Dataset・Evaluation・Production Logsを循環させるevals-driven developmentの考え方を、現行ツール選定の参考にする。
移行データの整理
終了前に取得したHumanloop exportが残っている場合、Prompts、Datasets、Evaluators、Logs等を現行基盤へ変換する。
業務・組織
ベンダー終了リスクの棚卸し
AI基盤選定時にデータexport、移行性、Promptや評価資産の可搬性を非機能要件として確認する事例として利用する。
評価プロセス再構築
Humanloopで行っていたPrompt管理・Evals・ObservabilityをLangSmith、Langfuse、Braintrust等へ分解または統合して再構築する。
料金
Humanloopは販売終了済みです。
公式Migration Guideでは2025年7月30日以降のbilling停止と、2025年9月8日のsunsetが案内されています。
現在の料金プランはありません。
無料の継続利用枠なし（有料プラン中心）
Discontinued
利用不可
2025年9月8日にプラットフォーム終了。新規契約・継続利用とも不可。
公式 Pricing ページを開く料金確認：2026年8月26日
強み・弱み
強み
- Prompt管理・評価・Observabilityを一つの品質改善ループとして設計していた
- エンジニアと非技術の専門家が共同で評価できる思想が明確だった
- 複数LLMプロバイダーを扱う評価ワークフローを提供していた
弱み
- 2025年9月8日にプラットフォームが終了しており現在は利用できない
- 終了後はHumanloop上のアカウント・データへアクセスできない
- 新規プロジェクトでは代替基盤の選定と移行コストが必要
比較・競合
迷うときの比較軸
- サービス継続性
- Prompt資産の可搬性
- 評価機能
- Tracing/Observability
- self-host可否
- データexport
- 既存ML/AI基盤との統合
Humanloop vs LangSmith
Tracing、Evaluation、Datasets、Prompt管理を現行サービスとして提供。LangChain/LangGraphとの統合も強い。
Humanloop vs Langfuse
OpenTelemetry対応とOSS/self-hostの選択肢を持つLLM engineering platform。
Humanloop vs Braintrust
Datasets、Experiments、Scorers、Tracingを中心にevals-driven developmentを現行環境で実装できる。
Humanloop vs Weights & Biases Weave
生成AIのTracing/EvaluationをW&BのML実験管理エコシステムと接続できる。
THINKLABの結論
選定サマリーの判定を、選び方として整理したものです。
選ぶべき場合
新規導入では選択しません。過去のHumanloop資産や設計をLangSmith、Langfuse、Braintrust、Weave等へ移す際の参照情報として利用します。
別製品を選ぶべき場合
新規AIプロジェクトの比較表で、Humanloopを現役SaaSや契約可能な候補として掲載することは避けてください。
確信度: high
詳細情報
導入判断の本線から外した補足です。必要な項目だけ開いてください。
AI機能の詳細
Evaluations
Datasetsに対してPromptやモデルのバージョンを実行し、Code・AI・Humanによる評価を組み合わせて品質を比較する仕組みを提供していました。
制約
Humanloop本体は終了しているため、新しい評価ジョブをHumanloop上で運用することはできません。
Prompt Management
Prompt設定をバージョン管理し、PlaygroundとAPI/SDKを通じて開発・評価・本番利用をつなぐ構成でした。
制約
サービス終了後はHumanloop上のPrompt管理機能を利用できません。
Observability
本番LLM呼び出しのLogsを記録し、品質・利用状況を評価へ戻すフィードバックループを構築できました。
制約
終了前にexportしていないHumanloop上のデータは2025年9月8日以降アクセス不能と公式案内されています。
向き不向き（一覧）
こんな人におすすめ
- Humanloopからの移行履歴を整理するチーム
- 過去資料にHumanloopが残っている企業
- LLM評価基盤の終了リスクを検討したい担当者
おすすめしないケース
- 新規LLMOps基盤としてHumanloopを導入したいチーム
- 現在利用可能なSaaSを探しているユーザー
プラットフォーム / API
対応プラットフォーム
- Web
API
なし / 非公開
セキュリティ / データの扱い
現行サービスとしてのセキュリティ評価対象ではありません。
重要なのは終了前exportの有無と、移行先でのデータ保護・アクセス制御を再設計することです。
取扱い: 公式Migration Guideでは、Humanloopアカウントと関連データは2025年9月8日に永久削除されると案内されました。終了前にexportしたデータは利用者側で適切に保護する必要があります。
学習・送信: サービス終了済みのため現行のモデル学習opt-out評価は対象外です。移行先サービスの規約を確認してください。