Amazon Bedrock上のOpenAIモデル比較：正答あたりコストなどベンチマーク結果を公開
AWSは同一のオープンソースベンチマークハーネスを用い、gpt-5.6-luna、gpt-5.6-terra、gpt-5.6-solの三構成とgpt-5.4-mini、gpt-5.4-nanoの二基線をResponses API経由で評価した。測定項目は単一呼び出しの正答コスト、エージェントのターンによる軌跡コスト、職業的成果物のルブリック採点で、出力は各実行のタイムスタンプ付きJSONから生成されている。 主な結果例として、AIMEではsolが75%の正答率でminiの37%を上回り、価格改定後の記録ではlunaのAIME正答あたりコストが0.0021ドル、miniは0.0139ドルと報告…
LEAD
リード
AWSは同一のオープンソースベンチマークハーネスを用い、gpt-5.6-luna、gpt-5.6-terra、gpt-5.6-solの三構成とgpt-5.4-mini、gpt-5.4-nanoの二基線をResponses API経由で評価した
測定項目は単一呼び出しの正答コスト、エージェントのターンによる軌跡コスト、職業的成果物のルブリック採点で、出力は各実行のタイムスタンプ付きJSONから生成されている
主な結果例として、AIMEではsolが75%の正答率でminiの37%を上回り、価格改定後の記録ではlunaのAIME正答あたりコストが0.0021ドル、miniは0.0139ドルと報告…
ARTICLE
本文
AWSは同一のオープンソースベンチマークハーネスを用い、gpt-5.6-luna、gpt-5.6-terra、gpt-5.6-solの三構成とgpt-5.4-mini、gpt-5.4-nanoの二基線をResponses API経由で評価した。測定項目は単一呼び出しの正答コスト、エージェントのターンによる軌跡コスト、職業的成果物のルブリック採点で、出力は各実行のタイムスタンプ付きJSONから生成されている。
主な結果例として、AIMEではsolが75%の正答率でminiの37%を上回り、価格改定後の記録ではlunaのAIME正答あたりコストが0.0021ドル、miniは0.0139ドルと報告されている。エージェント課題ではminiは平均7.6ターンを要し、質問ごとの入力トークン量がterraの2.3倍に達した試料があり、DeepSearchQAの合格あたりコストはterraが0.31ドル、miniが0.40ドル、lunaが0.05ドルと記録された。GDPvalではlunaの合格率が56%でminiの42%を上回り、合格あたりコストはlunaが0.010ドル、miniが0.030ドル、nanoが0.012ドルと示されている。
ORIGINAL
原文リンク
Related
関連記事
- モデル・製品
Amazon Bedrock AgentCoreでMCP Appsの対話型HTMLウィジェットを提供開始
AWSは、MCP AppsとAmazon Bedrock AgentCoreを組み合わせ、AIホスト内で直接レンダリングされる対話型HTMLウィジェットを備えたMCPサーバーの構築と展開手順を示した。AgentCore runtimeはサーバーレスでセッション分離されたホスティング環境を提供し、AgentCore Gatewayが単一のセキュアなエンドポイントを公開する構成を説明している。サンプルアプリ「Unicorn Rentals」を通じて、AIホストからのツール呼び出しでリスト表示や予約、返却などの操作を処理し、ウィジェットはMCPのリソースURIで配信される点を解説する。 記事はまた…
- モデル・製品
Amazon Quickがデスクトップで一般提供を開始
AmazonはAmazon QuickデスクトップアプリをmacOSとWindowsで一般提供開始したと発表しました。デスクトップ版は、組織内データと会話のプライバシーを保ちながら業務を代行するAIアシスタントを提供します。モバイル体験ではiOSとAndroid向けにメール・カレンダー・CRM・メッセージングを統合するアクティビティフィードを追加し、エージェントが定型作業を処理する一方でチームが対応すべき意思決定を優先表示します。 Quickは既存のインフラ上で動作し、データを環境内に留め、会話のプライバシーと監査性を確保すると説明されています。プレビュー期間中の導入事例では、自然言語での質…
- モデル・製品
Amazon SageMaker HyperPodがモデルキャッシュを発表しコールドスタートを短縮
AWSは2026-09-10に、Amazon SageMaker Inference on HyperPodでモデルキャッシュを開始した。本機能はモデル重みとコンテナイメージをクラスターのノードに事前配置し、起動時にノード上のNVMeから約7 GB/sで読み取れるようにする。これにより、イメージのプル時間である5–7分や、145 GBや600+ GB級モデルで発生する数十分の重みダウンロードを回避できる。 モデルキャッシュはweights cacheとimage cacheの2機能を提供し、weights cacheはModelDataCacheConfigを通じてノードをキャッシュ準備済み…
- モデル・製品
AWSが2026年8月のAmazon Bedrock、AgentCore、Strandsの主要アップデートを発表
AWSは2026年8月、Amazon Bedrock、AgentCore、Strandsに関する主要アップデートを発表した。Amazon Bedrockは225,000を超えるアクティブ顧客とFortune 100の80%超の利用を挙げ、AgentCoreにより任意のフレームワークやモデルでエージェントを構築・接続・最適化できる基盤を拡張した。 さらに、Strands Agent Harness SDKをオープンソース化し、モデルの大規模コンテキスト処理（GPT-5.6系で百万トークン窓やプロンプトキャッシュ）、クロスリージョン推論（25超のリージョン）、AgentCoreランタイムで最長1…
Editor's pick
注目ニュース（編集部選定）
直近7日 · 編集部選定
- 1Amazon Bedrock上のOpenAIモデル比較：正答あたりコストなどベンチマーク結果を公開AWSは同一のオープンソースベンチマークハーネスを用い、gpt-5.6-luna、gpt-5.6-terra、gpt-5.6-solの三構成とgpt-5.4-mini、gpt-5.4-nanoの二基線をResponses API経由で評価した。測定項目は単一呼び出しの正答コスト、エージェントのターンによる軌跡コスト、職業的成果物のルブリック採点で、出力は各実行のタイムスタンプ付きJSONから生成されている。 主な結果例として、AIMEではsolが75%の正答率でminiの37%を上回り、価格改定後の記録ではlunaのAIME正答あたりコストが0.0021ドル、miniは0.0139ドルと報告…
- 2Amazon Bedrock AgentCoreでMCP Appsの対話型HTMLウィジェットを提供開始AWSは、MCP AppsとAmazon Bedrock AgentCoreを組み合わせ、AIホスト内で直接レンダリングされる対話型HTMLウィジェットを備えたMCPサーバーの構築と展開手順を示した。AgentCore runtimeはサーバーレスでセッション分離されたホスティング環境を提供し、AgentCore Gatewayが単一のセキュアなエンドポイントを公開する構成を説明している。サンプルアプリ「Unicorn Rentals」を通じて、AIホストからのツール呼び出しでリスト表示や予約、返却などの操作を処理し、ウィジェットはMCPのリソースURIで配信される点を解説する。 記事はまた…
- 3Tailscale、AI Gateway上で顧客向けモデルルーターを構築したことを発表Tailscaleは自社のプライベートネットワーク「tailnet」をAIに拡張するApertureで、VercelのAI GatewayとSandboxを採用し、顧客向けにモデルアクセスとエージェント実行を提供する仕組みを作ったと説明しています。AI Gatewayは数百のモデルに対して単一APIとリクエストごとのコストや利用情報を返し、Sandboxはエージェントの隔離実行環境を担います。これにより、Apertureはネットワークの加入・除外で利用権を管理でき、ゼロデータ保持（ZDR）設定やper-requestのzeroDataRetentionフラグでZDR準拠プロバイダへのルーティ…
- 4GitHub、イベント運用をIssue起点で自動化する事例を紹介Tomoko氏は、単一のGitHub IssueとIssueフォーム、ラベル、GitHub Actionsを組み合わせることで、ランディングページ複製、UTM付きURL生成、招待メール草案の作成、プロジェクトボードへの追加など、従来数日かかっていたイベント準備を数分で行う仕組みを構築した。 毎朝の登録者スクリーニングはcronトリガーのワークフローで実行され、招待制イベントは基準に沿って待機者を精査する。DRY_RUNというリポジトリ変数で外部操作を行わずにリハーサルでき、/lead-uploadと/event-reportのスラッシュコマンドで事後のリスト整形やレポート作成を自動化している。
- 5AWS、AgentCore EvaluationsとAWS DevOps Agentで本番エージェントのライフサイクル監視を解説AWSはAgentCore EvaluationsとAWS DevOps Agentを組み合わせ、マルチエージェント本番システムで発生する「ツール呼び出しは成功するが目的を達成できない」や「IAM権限欠如で例外を出さない」などのサイレントな不具合を検出する監視設計を示しました。AgentCore Evaluationsはライブ対話を継続的にスコアリングし、ツール選択ミスやタスク失敗を検出して改善提案を生成します。一方、AWS DevOps AgentはAmazon CloudWatchのログやトレースを横断して障害を自律的に調査し、IAMやAmazon Bedrockなどサービス間の相関を特…
Latest
最新記事
- モデル・製品
Amazon Bedrock AgentCoreでMCP Appsの対話型HTMLウィジェットを提供開始
AWSは、MCP AppsとAmazon Bedrock AgentCoreを組み合わせ、AIホスト内で直接レンダリングされる対話型HTMLウィジェットを備えたMCPサーバーの構築と展開手順を示した。AgentCore runtimeはサーバーレスでセッション分離されたホスティング環境を提供し、AgentCore Gatewayが単一のセキュアなエンドポイントを公開する構成を説明している。サンプルアプリ「Unicorn Rentals」を通じて、AIホストからのツール呼び出しでリスト表示や予約、返却などの操作を処理し、ウィジェットはMCPのリソースURIで配信される点を解説する。 記事はまた…
- 企業導入・活用事例
Tailscale、AI Gateway上で顧客向けモデルルーターを構築したことを発表
Tailscaleは自社のプライベートネットワーク「tailnet」をAIに拡張するApertureで、VercelのAI GatewayとSandboxを採用し、顧客向けにモデルアクセスとエージェント実行を提供する仕組みを作ったと説明しています。AI Gatewayは数百のモデルに対して単一APIとリクエストごとのコストや利用情報を返し、Sandboxはエージェントの隔離実行環境を担います。これにより、Apertureはネットワークの加入・除外で利用権を管理でき、ゼロデータ保持（ZDR）設定やper-requestのzeroDataRetentionフラグでZDR準拠プロバイダへのルーティ…
- モデル・製品
GitHub、イベント運用をIssue起点で自動化する事例を紹介
Tomoko氏は、単一のGitHub IssueとIssueフォーム、ラベル、GitHub Actionsを組み合わせることで、ランディングページ複製、UTM付きURL生成、招待メール草案の作成、プロジェクトボードへの追加など、従来数日かかっていたイベント準備を数分で行う仕組みを構築した。 毎朝の登録者スクリーニングはcronトリガーのワークフローで実行され、招待制イベントは基準に沿って待機者を精査する。DRY_RUNというリポジトリ変数で外部操作を行わずにリハーサルでき、/lead-uploadと/event-reportのスラッシュコマンドで事後のリスト整形やレポート作成を自動化している。
- 研究・技術
AWS、AgentCore EvaluationsとAWS DevOps Agentで本番エージェントのライフサイクル監視を解説
AWSはAgentCore EvaluationsとAWS DevOps Agentを組み合わせ、マルチエージェント本番システムで発生する「ツール呼び出しは成功するが目的を達成できない」や「IAM権限欠如で例外を出さない」などのサイレントな不具合を検出する監視設計を示しました。AgentCore Evaluationsはライブ対話を継続的にスコアリングし、ツール選択ミスやタスク失敗を検出して改善提案を生成します。一方、AWS DevOps AgentはAmazon CloudWatchのログやトレースを横断して障害を自律的に調査し、IAMやAmazon Bedrockなどサービス間の相関を特…
- モデル・製品
Amazon Quickがデスクトップで一般提供を開始
AmazonはAmazon QuickデスクトップアプリをmacOSとWindowsで一般提供開始したと発表しました。デスクトップ版は、組織内データと会話のプライバシーを保ちながら業務を代行するAIアシスタントを提供します。モバイル体験ではiOSとAndroid向けにメール・カレンダー・CRM・メッセージングを統合するアクティビティフィードを追加し、エージェントが定型作業を処理する一方でチームが対応すべき意思決定を優先表示します。 Quickは既存のインフラ上で動作し、データを環境内に留め、会話のプライバシーと監査性を確保すると説明されています。プレビュー期間中の導入事例では、自然言語での質…
Category
カテゴリ記事
- モデル・製品
Amazon Bedrock AgentCoreでMCP Appsの対話型HTMLウィジェットを提供開始
AWSは、MCP AppsとAmazon Bedrock AgentCoreを組み合わせ、AIホスト内で直接レンダリングされる対話型HTMLウィジェットを備えたMCPサーバーの構築と展開手順を示した。AgentCore runtimeはサーバーレスでセッション分離されたホスティング環境を提供し、AgentCore Gatewayが単一のセキュアなエンドポイントを公開する構成を説明している。サンプルアプリ「Unicorn Rentals」を通じて、AIホストからのツール呼び出しでリスト表示や予約、返却などの操作を処理し、ウィジェットはMCPのリソースURIで配信される点を解説する。 記事はまた…
- モデル・製品
GitHub、イベント運用をIssue起点で自動化する事例を紹介
Tomoko氏は、単一のGitHub IssueとIssueフォーム、ラベル、GitHub Actionsを組み合わせることで、ランディングページ複製、UTM付きURL生成、招待メール草案の作成、プロジェクトボードへの追加など、従来数日かかっていたイベント準備を数分で行う仕組みを構築した。 毎朝の登録者スクリーニングはcronトリガーのワークフローで実行され、招待制イベントは基準に沿って待機者を精査する。DRY_RUNというリポジトリ変数で外部操作を行わずにリハーサルでき、/lead-uploadと/event-reportのスラッシュコマンドで事後のリスト整形やレポート作成を自動化している。
- モデル・製品
Amazon Quickがデスクトップで一般提供を開始
AmazonはAmazon QuickデスクトップアプリをmacOSとWindowsで一般提供開始したと発表しました。デスクトップ版は、組織内データと会話のプライバシーを保ちながら業務を代行するAIアシスタントを提供します。モバイル体験ではiOSとAndroid向けにメール・カレンダー・CRM・メッセージングを統合するアクティビティフィードを追加し、エージェントが定型作業を処理する一方でチームが対応すべき意思決定を優先表示します。 Quickは既存のインフラ上で動作し、データを環境内に留め、会話のプライバシーと監査性を確保すると説明されています。プレビュー期間中の導入事例では、自然言語での質…
- モデル・製品
OpenAI、APIでGPT‑Live‑1を提供開始と価格を発表
OpenAIはGPT‑Live‑1をAPIで公開し、同モデルは同時に聞き話すフルデュプレックス会話を単一モデルで扱い、割り込みや応答の開始速度など会話の自然さを改善すると説明している。開発者はGPT‑Live‑1をバックエンドのモデルやエージェントハーネスと組み合わせて、音声対応アプリやワークフローを構築できる。 API提供では、GPT‑Live‑1が音声文字起こし（ASR）や応答テキスト、英数字理解やキーワードバイアスをネイティブに提供し、フロントエンド音声レイヤーは1分あたり$0.05で利用可能とされた。評価では、割り込み削減で約80%の改善や、Full Duplex BenchでGPT…
Next
次に見るコンテンツ
Newsletter
THINKLABの最新情報を受け取る
AIニュース・ツール・ガイドの要点を、仕事で使える形でお届けする予定です。
メール登録機能は準備中です
現在はメールの受付・保存を行っていません。開始時は本欄とプライバシーポリシーを更新します。