ベンチマークのスコアが次世代のテストによってこれほど容易に振り出しに戻されるなら、これらのスコアはAIの進歩を評価する上でなお意味があるのでしょうか？
意味はあるが、それは全面的ではなく局所的な意味である。ARC-AGI-2の0%から92.5%への曲線は、「静的な抽象推論能力」という特定の側面において、確かに本物の進歩を反映している——これは水増しや不正ではなく、この明確に定義されたタスクの種類において、モデルの能力が実際に大きく向上したのである。問題はスコアそのものが信頼できないことではなく、「このスコアが全体的な知能を代表する」という推論が成り立たないことにある。
より正確な理解の仕方は、それぞれのベンチマークを特定の形状を持つ物差しとして捉えることである。それはある一つの次元を精密に測定できるが、その範囲外の次元で何が起きているかは教えてくれない。ARC-AGI-2は静的な抽象推論を測定し、ARC-AGI-3はインタラクティブな探索を測定する。両者のスコアのギャップは矛盾ではなく、「AIの能力」そのものが多次元的な概念であり、単一の数字ではそれを完全に把握できないことを明らかにしているのである。
NVARCが低コストモデルで高コストのブルートフォース手法を打ち負かしたことは、具体的に何を明らかにしていますか？
これは、一般的な仮定に直接挑戦するものである。スコアの高低が直接能力の高低を意味し、能力向上への唯一の道は計算資源をより多く投入することだという仮定である。NVARCは微調整された40億パラメータの小型モデルを使い、ブルートフォース・サンプリング戦略よりもはるかに低いコストで競争力のある精度を達成した。これは、特定のタスクの種類において、的を絞った最適化を施した小規模なシステムが、単に計算資源を積み増しただけの大規模な試みを、少なくとも効率性の面で上回りうることを示している。
この発見は、コンピュート・スケーリングの物語に重要な補完的視点を提供する。コンピュート・スケーリングが能力向上をもたらし続けているという大まかな観察自体は間違っていないが、だからといって「効率性」という次元を無視してよいわけではない。ベンチマークの設計者が意図的に1問あたりのコストを採点基準に組み込んだこと自体が、業界への警鐘である。最高スコアだけを見て、そのスコアを達成するのにどれだけの資源が費やされたかを考慮しない評価文化は、真の認知レベルの突破ではなく、エンジニアリングレベルのリソースの積み増しを評価してしまいがちだということだ。
ARC-AGI-3が測定する「インタラクティブな探索」は、前述の記事で言及されたエージェント型AIと具体的にどう関連しているのですか？
その関連は非常に直接的である。ARC-AGI-3は意図的にモデルに一切の説明を与えず、探索、実験、試行錯誤を通じてゲームのルールを推論することを要求する——これはまさに、エージェント型AIが実際のワークフローにおいて備えるべき中核的な能力である。既成のスクリプトがなく、ルールを自ら手探りで見つけ出さなければならない新しい状況に直面したとき、その状況を効率的に理解し、行動を計画し、フィードバックに基づいて戦略を調整できるかどうかである。ARC-AGIの技術報告書は、このテストが「探索、モデル形成、目標推論、計画を通じて新しいスキルを獲得する効率性」を評価すると明確に述べており、単なる成功・失敗という二元的な結果ではなく、人間の基準に対する行動効率によって性能を測定している。
これこそが、Gemini 3.1 ProがARC-AGI-2（静的推論）では人間レベルの性能に迫りながら、ARC-AGI-3（インタラクティブな探索）ではわずか0.37%しか獲得できなかったことが特に警戒に値する理由である。企業が、あるモデルが高度に自律的なエージェント型ワークフローに適しているかどうかを評価する際、静的なベンチマークのスコアだけを参照すれば、そのモデルが未知の、能動的な探索を必要とする状況を実際に処理する能力を深刻に過大評価してしまう可能性がある。
「テストが攻略されればより難しいテストに切り替える」というこのパターンは今後も続くのでしょうか？AGIの進展を追跡する読者にとって、これはどんな意味を持ちますか？
ARC-AGIシリーズの進化の軌跡を見る限り、このパターンは今後も続く可能性が高い。ARC-AGIシリーズ自体、2022年の時点ですでに進化の道筋が計画されており、ARC-AGI-2は前世代のテストの既知の弱点（ブルートフォース検索やデータ汚染など）に意図的に抵抗するよう設計され、ARC-AGI-3はテストの軸を静的推論からインタラクティブな探索へと意図的に切り替えた——それぞれの新世代の設計論理は、前世代が攻略された後に露呈した限界に対する直接的な応答なのである。
読者にとって、これはAGIの進展を追跡する際、単一のベンチマークのスコアが「攻略された」かどうかに注目するよりも、このテスト進化のサイクル全体が明らかにするシグナルに注目する方が価値があることを意味する。ある能力次元のテストが比較的容易に攻略され続けるなら、それは現行のモデルアーキテクチャがその次元においてすでに成熟していることを示唆する。次世代のテストがスコアをほぼゼロまで打ち戻すなら、それは次に突破すべき能力の限界がどこにあるかを明らかにしている。「モデルがまだできないこと」を継続的に探し続けるこのプロセスそのものが、単一のスコアよりもAGIまでの距離を判断する上で参考価値の高いシグナルなのである。
ARC-AGIベンチマークシリーズは、「訓練データで見たパターン」ではなく「新規の推論能力」を本当に検証していると広く認められている数少ない評価ツールの一つである。その設計者フランソワ・ショレはこれを「知能において実際に重要な唯一のもの」と呼ぶ。検索でも、膨大な訓練コーパスにわたるパターンマッチングでもなく、最小限の事例から真に新規の抽象パズルを解くことである。この設計思想により、ARC-AGIシリーズのスコアの推移は、現在利用可能なAI能力の進歩を示す最も劇的な事例の一つとなっている。
ARC-AGI-2が2025年3月にローンチされた際、他のベンチマークで高いスコアを示し、司法試験に合格し、実用可能なプロダクションコードを生成できるフロンティアモデルでさえ、この新テストではちょうど0%のスコアだった——ほぼゼロではなく、正確にゼロだった。この数字はそれ自体でメッセージを伝えていた。これらのモデルがこれまで示してきた能力は、ARC-AGI-2が測定しようとしている「最小限の事例から真に新規の問題を解く」能力とはまったく別物だったのである。
その後の進歩の速度は驚くべきものだった。OpenAIのGPT-5.2は2025年12月に真っ先に50%の壁を突破し、約54%に到達した。2026年4月までに、複数のチームがスコアを約98%まで押し上げていた。2026年8月現在、追跡サービスBenchLMのランキングでは、GPT-5.6 Solが92.5%でトップに立ち、Claude Opus 5（90.4%）とGPT-5.5（85%）が僅差で続いている——人間の専門家パネルが完全解答を達成し、個人の平均的な人間の成績が約66%であるこのベンチマークにおいて、これらのフロンティアモデルは明らかに典型的な人間レベルの性能を上回っている。
ARC-AGI-2の設計者は、見落とされがちな視点を意図的に組み込んだ。1問あたりのコストである。2025年のARC Prizeコンペティションでは、NVARCチームが微調整された40億パラメータの小型モデルを使い、1問あたり約0.20ドルのコストで24%の精度を達成した。この効率性は、1問あたり最大200ドルを費やし、何千もの候補解を網羅的にサンプリングしてフィルタリングするブルートフォース手法を上回るものだった。ベンチマークの設計者はこのブルートフォース・サンプリング戦略を明確に「抜け穴であり、解決策ではない」とみなしている。それがエンジニアリングレベルのリソースの積み増しを反映しているのであり、認知レベルでの推論能力の向上を反映しているわけではないからだ。これこそが、賞金対象の提出物に計算予算と1問あたりのコスト指標の公開が求められる理由でもある——スコアが単に計算資源を投入することだけで水増しされるのを防ぐためである。
ARC-AGI-2のスコアが急速に飽和に近づいていたまさにその時、設計チームはすでに2026年3月25日、Y Combinatorの本部でARC-AGI-3を発表していた——初の完全インタラクティブなベンチマークである。一切の説明なしに、モデルは探索、実験、試行錯誤によってゲームのルールを推論しなければならない。測定するのは「探索を通じて新しいスキルを獲得する効率性」であり、静的な抽象推論ではない。結果は非常に厳しいものだった。当時最強のフロンティアモデルであったGemini 3.1 Proは、ARC-AGI-3でわずか0.37%のスコアしか得られなかった。ARC-AGI-2で人間レベルの性能に迫ったばかりのモデルが、「能動的な探索」を測定するシナリオに切り替わった途端、ほぼ振り出しに戻されてしまったのである。
AI産業の進歩の速度を評価する読者にとって、ARC-AGIシリーズの一連の軌跡は重要な較正の枠組みを提供する。単一のベンチマークのスコアは、それが意図的に測定するよう設計された能力の特定の側面のみを反映しているのであり、「知能」そのものの全体像ではない。ARC-AGI-2のスコアが0%から92.5%へと急上昇したのは、爆発的な能力の飛躍に見える。しかしそれに続いてすぐに発表されたARC-AGI-3は、静的な抽象推論の進歩とインタラクティブな探索能力の進歩がほぼ独立した曲線であることを証明した。これは、能動的に探索し、計画し、適応する必要のある自律システムであるエージェント型AIを企業が導入する際の実現可能性を評価する上で特に重要である。静的なベンチマークで高いスコアを示すというだけで、モデルがすでに新規の状況に自律的に対応する能力を備えていると仮定することは、現行システムの実際の信頼性を過大評価するリスクがある。ベンチマークの設計者が意図的に「未飽和」のテスト軸を残していること自体が、一つの警鐘である。すでに攻略されたように見えるスコアの背後には、まだ測定されていない能力の次元がまるごと隠れている可能性があるのだ。