AutoLabは、おなじみのSWE-benchやLiveCodeBenchと、本質的に何が違うのですか？
最も核心的な違いは、タスクの時間的な長さと相互作用の性質にある。LiveCodeBenchのような静的な評価は本質的に「一発勝負」だ。モデルに問題を与え、一度で正解を出せるかを見るだけで、往復のやり取りは一切ない。SWE-benchのような評価はそこから一歩進み、モデルが複数回操作し、エラーメッセージを読み、コードを修正することを許すが、タスク全体は通常数分から30分程度で終わり、「明確に定義されたバグを修正する」に近い性質を持つ。
AutoLabが測定するのはまったく異なる次元の能力だ。モデルに与えられるのは「修正すべき」明確なエラーではなく、「動作はするが出来が悪い」ベースライン実装であり、タスクの目標は継続的な最適化で、時間予算は数時間、時には十数時間に及ぶ。これはつまり、モデルが自分で「今どの方向を探索すべきか、いつある試みを諦めるべきか、時間予算をどう配分すべきか」を決めなければならないということだ。こうした判断は短時間の評価ではほとんど現れないが、実世界の研究やエンジニアリング作業の最も中核的な部分である。
なぜ「エージェントハーネス」という変数が特に取り上げて議論する価値があるのですか？
それは、これまで見過ごされがちだった評価の盲点を明らかにしているからだ。モデルのスコアは、モデル自体の能力だけを純粋に反映しているわけではなく、モデルが環境とやり取りする際に使用する操作フレームワークがどれだけうまく設計されているかも反映している。AutoLabチームの実験は、同じモデル群を、元々「一回限りのパッチ編集」用途向けに設計されたハーネスで再テストすると、モデルは早期に提出し、それ以上の最適化を諦める傾向を示し、スコアが明らかに低下することを示した。しかしこのスコアの低下は、モデル自体の能力とは無関係で、純粋にハーネスとタスクの性質が噛み合っていないことによるものだ。
この発見の意味は、もし長時間タスクの評価ランキングがどのハーネスを使用したか、そのハーネス自体がタスクに適切に適応されていたかを公開していない場合、あるモデルのスコアが低いのを見ても、そのモデルが「長時間タスクが苦手だ」とは直接推論できないということだ。単にハーネスがそのモデルの足を引っ張っていただけかもしれない。だからこそAutoLabチームは、今後の長時間タスク評価では、ハーネスの選定と設計を、モデル自体の能力と同等に重要な変数として公開すべきだと特に強調しているのだ。
「頭対頭優位率」（Dominance）という指標は、一般的な平均スコアと何が違うのですか？なぜこの指標を別途設計したのですか？
平均スコア（Avg@3）は、あるモデルのすべてのタスクにおける絶対的なパフォーマンス水準を反映するが、この数字は少数の特に極端なタスク（あるモデルがたまたまある一問をまったく解けずゼロ点だった場合など）に引っ張られたり底上げされたりしやすく、また「そのモデルが他の対戦相手と対峙したとき、実際の勝率がどれだけ高いか」を直接見て取ることも難しい。
頭対頭優位率は別の角度から測定する。各タスクについて、あるモデルのスコアが他のそれぞれのモデルのスコアを上回っているかを直接比較し、勝てば1点、引き分けなら0.5点とし、すべてのタスク、すべての対戦相手の結果を平均する。この指標の利点は、ハードウェアの性能差や個別タスクの採点設計の違いに比較的鈍感であり、トーナメント方式のような視点を提供し、また少数の高レバレッジタスク（パフォーマンスの差が特に激しいタスク）に全体の順位が過度に左右されにくいことだ。claude-opus-4.6は全体の優位率で0.93を獲得しており、これはほぼすべてのタスク、すべての対戦相手に対して優位に立っていることを意味する。平均スコア0.68を見るだけよりも、その優位性の大きさを直感的に示している。
一般の読者はこの種の評価を自分で実行するわけではありませんが、この研究は日常的にAI製品を判断する上でどんな実際の役に立つのですか？
最も直接的な助けは、よくある誤解を修正することだ。あるモデルがコーディング評価のランキングで高いスコアを取っているのを見ても、そのモデルが長時間の自律的な作業を必要とするタスク（AIエージェントに研究プロジェクトを長時間実行させる、システムを自動的に最適化させるなど）に適していることを意味しない。この研究は、「一発で正解する」能力と「実際にうまくいくまで粘り強く反復する」能力が、別々に評価すべき独立した能力であることを示しており、市場に出回る多くの製品の宣伝が引用するスコアは、通常前者しかカバーしていない。
実務的には、「長時間タスクを自律的に完了できる」と謳うAI製品やサービスを評価する際、より問う価値のある質問には次のようなものがある。その企業は、モデルが長時間タスクの途中で諦めたり早期に終了させたりする割合を公に開示しているか、評価に使用したハーネスの詳細を開示しているか、そしてその製品は「時間予算をどう効果的に配分するか」について特別な最適化を実際に行っているか——単に一問一答が得意なモデルを、数時間自律的に働けるものとして単純に包装しているだけではないか、といった点だ。
2026年6月、複数機関にまたがる研究チームが、AutoLabと呼ばれる新しい評価を発表した。これは、最先端モデルが本物の研究者のように、数時間、時には十数時間にわたって「コードを観察し、変更を提案し、実験を実行し、結果を確認し、再び修正する」というサイクルを持続できるかを専門的に測定するものだ。既存の評価の多くのように、一問一答で正解を出せるかどうかだけを見るのではない。この評価の結論は、多くの人が持つ「どのモデルが最も賢いか」という直感とは食い違っている。実際にモデル間の差を分けるのは、誰の最初の解法が最も洗練されているかではなく、46回却下された後でも47回目の修正を試みる意志があるかどうかなのだ。
研究チームは、既存の最先端モデル評価が大きく二つのカテゴリーに分かれると指摘する。一つはLiveCodeBenchのような静的な単一ターン評価で、モデルが正しいコードを書けるかどうかをテストするが、やり取りは一回きりだ。もう一つはSWE-benchのような短時間の対話型評価で、モデルは行き来しながら操作できるが、タスク全体は数分から30分程度で完結することが多い。数時間にわたり、モデル自身が「今は掘り下げを続けるべきか、それとも方向転換すべきか」を判断しなければならない真の長時間クローズドループ最適化タスクは、これまで散発的な評価がわずかに部分的に触れていただけで、その多くは単一領域（GPUカーネル最適化のみ、あるいは機械学習エンジニアリングのみ）に限定されており、複数の実際の研究・エンジニアリング領域を同時にカバーし、なおかつ現在最強のモデルでも簡単には満点を取れないほどの難易度を備えたものは一つもなかった。
AutoLabは、シニアの研究者やエンジニアが自ら提供した36のタスクから成り、システム最適化（15問、C、Rust、Go、Pythonにおけるカーネル、ソート、ハッシュ、圧縮、暗号などの低レベルパフォーマンスエンジニアリングをカバー）、モデル開発（7問、事前学習のスケーリング則、強化学習の後訓練、教師ありファインチューニングのデータ選定などLLM開発の全工程をカバー）、パズル＆チャレンジ（10問、単一の重要な洞察を中心に構築されたアルゴリズム問題）、CUDA（4問、暗号演算、点群レジストレーション、圧縮のGPUカーネル最適化を対象）の四領域にまたがる。各タスクには「正しいが意図的に最適化の余地を残した」ベースライン版が用意されており、モデルは厳格な時計時間の予算内（最小のパズル問題の2時間から、エンドツーエンドのLLM開発タスクの12時間まで）で、このコードを継続的に改善しなければならない。
研究チームは手抜きを防ぐための仕組みを特別に設計した。採点に使う検証器はモデルに対して完全に非公開とし、モデルには開発段階の自己チェック用にローカルの評価スクリプトのみが与えられる。機械学習系のタスクには追加の正当性チェックが設けられ、そのチェック用の入力データは開発段階で見えるものとは完全に重複しない分布から取られる。チームはさらに専用の「敵対的エージェント」を投入し、タスク設計の段階で手抜きされうる抜け穴を積極的に探させた。変更されるべきでない重要なファイルはSHAハッシュ値で固定され、無許可の変更があれば即座にゼロ点と判定される。評価全体では、合計2,544時計時間と86億トークンを消費した。
総合スコア（Avg@3、三回の独立試行の平均点）では、claude-opus-4.6が0.68点で四つのサブ領域すべてで首位を獲得し、二位（領域によってgemini-3.1-proかkimi-k2.6が入れ替わる）は0.50点前後にとどまった。かなり明確な差だ。さらに注目すべきは「頭対頭優位率」（Dominance、あるモデルがすべてのタスクにおいて他のすべてのモデルに勝つ割合を測る指標）である。claude-opus-4.6はこの指標で0.93を記録しており、大多数のタスク、大多数の対戦相手に対して優位に立っていることを意味する。対照的に、他の多くの最先端モデルの頭対頭優位率は0.3から0.6の間にとどまり、以前は強力な競争相手と見なされていたgpt-5.4でさえ、この指標はわずか0.39だった。研究チームは特に、gpt-5.4を含む本来能力の低くない複数のモデルがこの評価で振るわなかった理由が、多くの場合「素のコーディング能力不足」とは無関係であることを指摘している。数ステップの探索だけで早々にタスクを終了させてしまうモデルもあれば、時間予算をすべて使い切りながら有効な最終解を提出できなかったモデルもあった。
研究チームは、302件のゼロ点結果の手動レビューを含め、すべての試行軌跡を詳細に分析し、この研究の核心的な発見に至った。最終的なパフォーマンスは、「エージェントの最初の試みの解法の質」との相関よりも、「エージェントが過程全体を通じて繰り返しベンチマークを行い、コードを編集し、実験からのフィードバックを取り入れる」という持続的な反復行動との相関の方がはるかに強いのだ。言い換えれば、最初は十分でない実装から始まっても、繰り返しテストを実行し結果に基づいて修正を続けるモデルは、最終的には、開始時点では見栄えが良くても実証的フィードバックに基づいて方向を調整しないモデルを大きく上回ることが一般的だ。研究チームはこの現象を次のようにまとめている。長時間の最適化能力には「時間認識」と「実証的探索を粘り強く続けること」が必要であり、これは単に「モデルがどれだけ賢いか」から推論できるものではなく、別途測定が必要な独立した能力である。
AutoLabの研究チームは、ほとんどの評価が行わない実験もさらに実施した。同じモデル群を異なる「エージェントハーネス」（モデルがコード環境とやり取りする際に使用する操作フレームワーク）で再テストし、Harborフレームワークとterminus-2エージェントの組み合わせ（研究チームのデフォルト設定）と、他の二つのハーネス（mini-swe-agentとpi-mono）とのスコア差を比較したのだ。結果は、たとえ同じモデルであっても、ハーネスを変えるだけで顕著なスコアの変動が生じうることを示した。あるハーネスは元々「一回限りのパッチ編集」向けに設計されていたため、こうした持続的な反復を必要とする最適化タスクには適しておらず、モデルが早期に提出してしまい、それ以上の最適化を諦める傾向を招いた。つまりベンチマークのスコアは、モデル自体の能力だけでなく、評価時に組み合わされるハーネスの設計にも左右されるということだ。この変数は、これまで「取るに足らない実装の詳細」として見過ごされることが多かった。
AI関連投資を評価している、あるいはAIツールを選ぼうとしている読者にとって、この研究の最も直接的な教訓はこうだ。もしあなたが本当に気にしているのが、モデルが真に長時間の自律的な作業を必要とするタスク（自動化された研究、システム最適化、複雑なエンジニアリングプロジェクトなど）をこなせるかどうかであれば、そのモデルがSWE-benchのような従来の一発勝負のコーディング評価で取ったスコアだけを見ても、参考価値はかなり限られている。なぜならそれはまったく異なる能力の側面を測定しているからだ。より注目すべきシグナルは、その企業が長時間タスクにおけるモデルの挙動パターン（早期に諦める傾向があるか、時間予算を効果的に配分できるかなど）を公に開示しているかどうか、そしてその企業が採用する評価用ハーネスの設計が透明で、第三者が再現できるものかどうかである。ハーネス自体がスコアを大きく左右しうる以上、ハーネスの詳細を公開していない長時間タスク評価のスコアは、その信頼性を割り引いて考える必要がある。