AI TOOL DATABASE v2
LangSmith
AIエージェントの実行を観測し、失敗を評価データへ変え、改善・デプロイまでつなげるLangChainのエージェント開発基盤。
選定サマリー
30秒で向き不向きを確認
AI位置づけ
AIネイティブ（AIそのものが中核のサービス）
向いている
AIエージェントやRAGを本番運用し、traceとevalを改善ループへつなげたいチーム
向いていない
単発のチャット利用だけで開発・評価基盤が不要なユーザー
料金
Developerは$0/seat、Plusは$39/seat/月＋従量、Enterpriseは個別見積もり。
最大の強み
TracingとEvaluationを同一データでつなげやすい
注意点
seat料金に加えてtraceやLCU/LSU等の従量要素があり費用構造が複雑
THINKLAB判定
LLMのログを見るだけではなく、失敗traceを評価データへ変えて改善し、そのagentをデプロイ・監視するところまで一つの運用ループにしたいチームに強い選択肢です。
概要
LangSmithはLangChainが提供する、AIエージェントとLLMアプリケーションの開発・運用基盤です。
特定フレームワーク専用ではなく、LangChainやLangGraphに加えて独自コードなどからもトレースを送信できます。
概要の続きを読む概要を閉じる
Observabilityで実行経路・レイテンシ・エラー等を追跡し、Evaluationではデータセット、LLM-as-a-judge、人手アノテーション等で品質を測定します。
2026年時点ではDeployment、Fleet、Engine、Sandboxes、LLM Gatewayまで製品範囲が広がっており、単なるLLMトレーサーよりもエージェント開発ライフサイクル全体を扱うプラットフォームとして見る方が実態に近いです。
主な機能
Framework-agnostic observability
LangChain/LangGraph以外のLLM・agentアプリもtraceし、productionの挙動を同じ画面で調査できます。
Online / offline evaluation
本番前の回帰テストと本番traceへの継続評価をつなぎ、変更による品質劣化を検出できます。
Agent deployment
Plus以上ではLangSmith Deploymentを利用でき、serverlessやdedicated構成で長時間動くagentを配備できます。
Prompt / dataset workflow
Prompt Hub・Playground、dataset、annotation queueを使い、失敗例を次の評価セットへ戻す改善ループを作れます。
Enterprise hosting
EnterpriseではCloudに加えてHybridまたはSelf-Hostedを選択でき、Kubernetes上の自社環境へ配置できます。
AI機能の詳細・制約はページ下部の「詳細情報」にまとめています
活用例
個人・一般
AIエージェントの本番デバッグ
ユーザーから報告された失敗runをtraceで再確認し、どのmodel call・tool call・state遷移で問題が発生したか追跡する。
モデル・プロンプト変更の回帰評価
保存したdatasetへ新旧構成を実行し、品質・latency・cost等を比較してリリース判断に使う。
継続的な品質改善
production traceから失敗例を収集し、annotationやevaluatorを追加して次回のoffline evalへ戻す。
業務・組織
生成AI機能の品質管理
開発・プロダクト・ドメイン担当者が共通datasetと評価結果を使い、AI機能のリリース基準を標準化する。
複数モデルの統制
LLM GatewayとObservabilityを組み合わせ、モデル利用量、fallback、cost、traceを一元管理する。
料金
Developerは1 seat無料で月5,000 base tracesを含み、Plusは$39/seat/月で月10,000 base tracesを含みます。
超過traceやDeployment、Engine等は従量課金があります。
Enterpriseは個別契約です。
無料枠あり
Developer
$0 / seat / 月
1 seat。月5,000 base traces込み、その後pay-as-you-go。個人開発向け。
Plus
$39 / seat / 月 + usage
月10,000 base traces込み。unlimited seatsを追加でき、Deployment、Engine等へアクセス。Small serverless deployment 1つを含む。
Enterprise
要問い合わせ
Cloud / Hybrid / Self-Hosted、custom SSO、ABAC/RBAC、SLA等の企業向け要件に対応。
公式 Pricing ページを開く料金確認：2026年8月26日
強み・弱み
強み
- TracingとEvaluationを同一データでつなげやすい
- LangChain以外のframeworkにも対応
- Deployment・Engine・Gatewayまでagent運用範囲が広い
- 人手annotationと自動評価を組み合わせられる
- EnterpriseではHybrid/Self-Hostedを選択可能
弱み
- seat料金に加えてtraceやLCU/LSU等の従量要素があり費用構造が複雑
- 機能範囲が急速に広がっており単純なobservabilityだけなら過剰になり得る
- Developerは1 seatでチーム利用にはPlus以上が実質必要
比較・競合
迷うときの比較軸
- Tracing
- Evaluation
- Prompt管理
- Agent deployment
- LLM Gateway
- Self-host
- 料金
- データ保持
LangSmith vs Langfuse
OSS/self-hostを軸にobservability・prompt管理を組みたい場合はLangfuse、agent deploymentやEngineまで一体で使いたい場合はLangSmithを比較。
LangSmith vs Arize Phoenix
OSS中心でtracing/evaluationを導入したい場合はPhoenix、LangChainのagent engineering stack全体との統合を重視する場合はLangSmithが候補。
LangSmith vs Braintrust
評価・実験中心の開発workflowと、LangSmithのobservabilityからdeploymentまでの範囲を比較したい。
THINKLABの結論
選定サマリーの判定を、選び方として整理したものです。
選ぶべき場合
AIエージェントを本番提供しており、debug・eval・prompt改善・deploymentを継続的につなげたい場合。特にLangGraph/LangChain利用時は統合メリットが大きいです。
別製品を選ぶべき場合
必要なのが低コストなtrace保存だけ、またはOSSだけで完全に自社管理したい場合はLangfuseやPhoenixなども比較してください。
確信度: high
詳細情報
導入判断の本線から外した補足です。必要な項目だけ開いてください。
AI機能の詳細
Tracing / Observability
エージェントの1実行をtraceとして収集し、LLM呼び出し、tool利用など複数stepを追跡してデバッグ・監視します。
SDKは非同期でtraceを送信する設計です。
制約
無料・有料プランで含まれるbase trace数や保持期間、超過課金が異なります。
Evaluation
データセットに対するoffline eval、production上のonline eval、LLM-as-a-judge、人手annotationを組み合わせ、モデル・prompt・agent変更を比較します。
制約
評価器自体の品質やjudge modelの偏りを考慮し、重要用途では人手評価と組み合わせる必要があります。
LangSmith Engine
蓄積したtraceからagent failureを分析し、問題のcluster化、root cause診断、prompt/code修正案や再発防止evalの作成を支援します。
制約
LCUによる従量課金。
処理するtrace量や分析の複雑さで消費量が変動します。
LLM Gateway
モデル呼び出しをGatewayへ集約し、cost control、rate limit、fallback、trace連携などを適用します。
OpenAI/Anthropic互換endpointも扱えます。
制約
2026年8月時点でPublic Betaの機能を含み、Data ProtectionのPII・secret redactionはEnterprise向けです。
向き不向き（一覧）
こんな人におすすめ
- AIエージェントやRAGを本番運用し、traceとevalを改善ループへつなげたいチーム
- LangGraph/LangChainを使う開発チーム
- LLMの品質・コスト・失敗原因を継続監視したい企業
おすすめしないケース
- 単発のチャット利用だけで開発・評価基盤が不要なユーザー
- traceやprompt/outputを外部SaaSへ送れずEnterprise self-host契約も選べない環境
プラットフォーム / API
対応プラットフォーム
- Web
API
あり · API / Docs
セキュリティ / データの扱い
LangSmith CloudはUS/EUのデータロケーションを提供し、EnterpriseではHybrid・Self-Hostedを選択できます。
公式説明では顧客データをモデル学習に使用しないとしています。
取扱い: Cloud利用時はtrace、prompt、output等がLangSmithへ送信されます。Enterprise self-hostではKubernetesをAWS/GCP/Azure等の自社環境へ配置し、データを環境内に保持できます。
学習・送信: 公式Pricing/FAQではLangSmithへ送信したデータをモデル学習に使用しないと明記されています。