スケーリング則とは具体的に何を指すのか？「モデルは大きいほど良い」と同じことなのか？
スケーリング則は定量的に予測可能な数学的関係であり、「大きいほど良い」という曖昧な直感とは異なる。2020年のOpenAIによるKaplan論文は、モデルアーキテクチャを固定すれば、パラメータ数・データ量・訓練計算量の増加に応じて損失値が予測可能な冪乗則で減少することを示した。つまり、訓練を始める前に「これだけの計算量を投入すれば、どれだけの性能向上が得られるか」をおおよそ見積もることができる。
「大きいほど良い」との違いは、スケーリング則には最初から「収穫逓減」が組み込まれている点にある—冪乗則の曲線は対数グラフでは直線に見えるが、線形座標に戻すと、初期は急上昇し後期は緩やかになる曲線になる。スケーリング則は無限の線形的向上を約束したことは一度もなく、収穫逓減の「速度」を予測可能にしただけである。
業界はなぜ「テスト時計算」という新しい方向性を編み出したのか？そのままモデルを大きくし続けてはいけないのか？
モデルを直接大きくし続けることはもちろん可能だが、限界効用は明らかに低下している—その背景には「データの壁」という物理的な限界がある。業界標準とされるChinchilla最適比率（パラメータあたり約20トークン）で1兆パラメータのモデルを訓練するには約20兆トークンの訓練データが必要だが、インターネット上の高品質テキストデータの総量は10兆から50兆トークン程度と推定されている。つまり、単純にモデルを大きくし続けると、すぐに「食わせる十分なクリーンデータがない」という物理的上限にぶつかる—これはお金を積めば解決する問題ではない。
テスト時計算は別の道を提供する。訓練段階で一度に膨大な計算量を投じてより大きな固定モデルを作るのではなく、計算資源を個々の推論に分散させる—モデルは質問に答える瞬間に数秒余計に推論を行い、調整可能な形で計算量と精度を交換する。そしてこの道は、まだ同じデータの天井に明確にぶつかっていない。
GPT-4.5がAPIから撤退した件は、具体的にどのように起きたのか？スケーリング則が壁にぶつかったこととどう直接関係するのか？
GPT-4.5（社内コード名Orion）は2025年2月にリリースされ、当時OpenAIが訓練データと計算量の両面で最大規模を投じた非推論型モデルであり、事実正確性などのベンチマークでは前世代のGPT-4oを実際に上回った。しかし推論価格は入力100万トークンあたり75ドル、出力100万トークンあたり150ドルと、後にリリースされたGPT-4.1（入力2ドル、出力8ドル）の約38倍だった。OpenAIはGPT-4.1をリリースしたのと同じ日に、GPT-4.5を2025年7月14日にAPIから撤退させると発表した—リリースからわずか4カ月半、OpenAIの商業史上最も短命なモデルとなった。
この事例がスケーリング則が壁にぶつかった典型例として頻繁に引用されるのは、「技術指標の向上」と「商業的に採算が合う」ことが別問題であることを明確に示しているからだ。GPT-4.5は確かに、より多くの計算量を投じることで測定可能な性能向上を達成した—しかしその向上幅は、それに見合う推論コストの増加を正当化できず、市場は最終的に、ほぼ同等の性能を約38分の1の価格で提供する代替案を選んだ。
この「スケーリング則が壁にぶつかった」という議論は、一般読者がAGIの進展速度をどう理解するかとどう関係するのか？
メディアの見出しを通じて「AGIまであとどれくらいか」を追いかけているなら、この議論は一つのことを思い出させてくれる—投入される計算資源の「総量」が増え続けることと、「単一の軸における性能向上速度」が加速し続けることは同じではない。ここ数年で訓練段階のスケーリング則の曲線は確かに平坦化しているが、それはAI全体の進展が停滞していることを意味しない—業界はリソースを複数の独立した軸（訓練規模、データ効率、テスト時推論、後処理訓練）に分散させただけだ。一つの軸が減速しても全体が減速するとは限らないが、全体が必ず加速するとも限らない—ここには判断の余地が大きく残されている。
読者にとって現実的な判断方法は、「このラボはどれだけ大きなモデルを訓練したか」という単一指標の宣伝だけを見ないことだ。代わりに、そのラボが複数の軸で同時に着実な進歩を遂げているかどうかに注目すべきだ—「モデルを大きくする」という一手だけで話題を作っている企業は、むしろ収穫逓減の下で相対的に脆弱な立場にあるというシグナルかもしれない。
この10年間、AIラボはほぼ万能な公式に従ってきた——モデルを大きくし、データを増やし、計算資源を投入すれば、性能は予測可能な形で向上する。この関係はスケーリング則（Scaling Laws）として知られている—2020年のOpenAIによるKaplan論文が初めて体系的に示したのは、アーキテクチャを固定すれば、パラメータ数・データ量・訓練計算量の増加に応じて損失値が予測可能な冪乗則で減少するという関係だった。この発見により、計算資源への投資は勘に頼った賭けではなく、実際に見積もれるビジネスへと変わった。
問題は、この曲線がここ2年で明らかに平坦化していることだ。2026年に発表された複数の分析は、訓練用計算量を倍増させても、前回の倍増時ほどの性能向上が得られなくなっていると指摘する—これはまさに冪乗則が予測する通りの結果である。対数グラフ上では直線に見えても、線形グラフに直せば急激な初期上昇の後に急速に平坦化する曲線になり、計算量を倍増させるたびに得られる改善幅は小さくなっていく。業界で最も頻繁に引用される例がOpenAIのGPT-4.5だ—前世代より多くのデータと計算量で訓練され、事実正確性などの指標では実際に向上が見られたが、推論コストが得られる利益に見合わないという理由で、リリースからわずか4カ月半でAPIから撤退させられた。OpenAIのチーフサイエンティストIlya Sutskeverは2024年末のNeurIPSで「我々が知る事前学習は終わりを迎える」と述べ、この発言はその後、業界が曲線の平坦化を公に認めた瞬間として繰り返し引用されている。
だが、これは計算資源への投資が意味を失ったということではない。業界の反応はパニックではなく、計算資源を新しい軸に振り向けることだった—訓練段階でさらに投資するのではなく、回答を生成する瞬間にモデルをより長く考えさせることだ。このアプローチはテスト時計算（Test-Time Compute）と呼ばれ、推論時により多くの推論ステップを実行し、推論段階の計算量と引き換えに精度を高める。2024年から2026年にかけて、この新しい曲線は現時点では比較的急勾配を保っており、事前学習のスケーリングで見られたような急速な平坦化の兆候はまだ見られない—これが2026年のデータセンター建設の重心が、純粋な訓練用GPUの積み上げから、大規模なリアルタイム推論を同時に支えるインフラへとシフトしている理由でもある。
研究コミュニティの見解は依然として分かれている。一派は、単一軸での力任せなスケーリングは実際に実用上の限界に達していると主張する—最も明確な証拠は「データの壁」だ。Chinchilla最適比率で1兆パラメータのモデルを訓練するには約20兆トークンの訓練データが必要だが、インターネット上の高品質テキストデータの総量は10兆から50兆トークン程度と推定されており、天井は目に見えている。もう一派は、スケーリング則そのものが破綻したのではなく、破綻したのは単一軸での力任せなアプローチだけだと指摘する。計算資源を訓練規模・データ効率・後処理訓練・テスト時推論という複数の独立して積み上げ可能な軸に分散させる限り、全体の進歩曲線は急勾配を維持できる—もはや「モデルを大きくする」ことだけが唯一のレバーではない。
AI関連の投資や調達を検討している場合、単純にパラメータ数の大きさだけを競っている企業は、それ自体が時代遅れのシグナルだ—より鋭い問いは、その企業の計算戦略が何本の独立した軸（訓練規模、データ効率、テスト時推論、後処理訓練）にまたがっているか、単一の賭けに全てを注ぎ込んでいないかである。GPT-4.5の事例は、技術的ベンチマークの向上が必ずしも経済的な採算を意味しないことも示している—推論コストが下がらなければ、記録的なスコアを出したモデルでも半年足らずで市場から姿を消すことがある。