ついに実際に重要なベンチマークが登場。
MMLUや数学スコアは忘れてください。PinchBenchは、AIモデルが実際の作業をどれだけこなせるかを測定します。
クイズに答えるだけではなく、実際に行動すること:
→ 複数のWebソースから情報を検索
→ 会議の作成とスケジューリング
→ コンピュータ上のファイル整理
→ メールの作成と管理
これらは、OpenClawを通じてエージェントとして動作するモデルをテストしています。つまり、AIはツールを使い、アクションを連鎖させ、タスクをエンドツーエンドで完了させる必要があります。
結果は興味深いです:
> Gemini 3 Flashが95.1%でリード
> MiniMax M2.1が93.6%で追従
> Kimi K2.5が93.4%
> Claude Sonnetが92.7%
> Gemini 3 Proが91.7%
> Claude Haikuが90.8%
> Claude Opus 4.6が90.6%
> GPT-5 Nanoが85.8%
トップとボトムの差はわずか約10%…つまり、多くの最先端モデルがエージェントタスクにかなり適応してきていることを示しています。
しかし、真のポイントは?軽量モデルのGemini Flashが、重いモデルを凌駕して実用的なエージェント作業をこなしていることです。速度+ツール使用 > 純粋な知性。
原文表示