「推理成本可能超過訓練成本 118 倍」這個數字，代表的是總體產業規模，還是單一模型的成本結構？
這個數字指的是產業整體層級的運算需求分布，而不是單一模型的訓練成本跟推理成本直接比較。具體來說，一個模型的訓練是一次性的巨額投入，但這個模型一旦部署上線，接下來會被無數使用者反覆呼叫進行推理——隨著使用量成長，即使單次推理的成本遠低於整個訓練過程，長期累積下來的總推理成本，仍然可能大幅超過那次一次性的訓練投入。
這也是為什麼理解這個數字時，需要區分「單一模型生命週期裡訓練與推理的成本比例」跟「整個產業在特定時間點，同時投入訓練與推理的總運算資源分布」——後者才是產業分析師在談論資料中心投資重心轉移時，實際引用的資料型態，它反映的是眾多已部署模型的推理需求加總，而不是單一模型的訓練-推理成本結構。
如果小模型加大量推理算力能逼近大模型的表現，這是不是代表以後大家都不需要訓練大模型了？
不完全是，這個發現提供的是一個額外的選項，而不是替代訓練大模型這條路徑本身。研究顯示的是「在特定條件下」小模型搭配充足推理算力能逼近大模型表現，但這個效果的成立，通常需要任務本身具備清楚的可驗證性——也就是說，模型的答案能被明確判斷對錯或優劣（例如數學題、程式除錯），這樣測試時算力路線裡常用的「生成多個候選答案再挑最好的」或「自我檢查修正」等機制才有辦法有效發揮作用。
對於答案品質難以明確驗證的任務類型（例如開放式的創意寫作、需要細膩價值判斷的建議），測試時算力能帶來的提升幅度通常比較有限，這種情境下，模型本身的規模與訓練品質，可能仍然是決定表現的主要因素。這代表兩條路線更可能是互補而非互斥——企業實務上的選擇，取決於具體任務類型落在哪一端。
推理成本波動這麼大，企業要怎麼在導入前，具體評估自己會落在哪個成本區間？
實務上，比較務實的做法是先把預計導入的應用場景，按任務難度與錯誤代價做初步分類。低難度、容錯度高的任務（例如簡單的內容分類、格式轉換），通常不需要太多測試時算力就能達到可接受的品質，這類任務的單位成本相對可預期；高難度、錯誤代價高的任務（例如複雜的程式除錯、需要多步驟推理的分析工作），則往往需要投入更多測試時算力才能確保品質，這類任務的單次查詢成本可能遠高於前者，且波動幅度較大。
企業在評估整體導入成本時，與其只參考供應商公布的單位 token 定價，更務實的做法是針對自己實際會用到的任務類型，實際跑一輪小規模測試，觀察在可接受的品質水準下，模型平均會消耗多少運算資源——這個實測數字，才是預估總成本比較可靠的基礎，而不是把不同難度任務混在一起、用一個籠統的單位成本去估算。
這個成本結構的轉變，對一般消費者使用 AI 產品的體驗會有什麼影響？
最直接的影響，可能會反映在產品定價與功能分層的設計上。既然簡單查詢跟困難任務的成本差距懸殊，愈來愈多 AI 產品可能會走向更細緻的分層定價，或是讓使用者自行選擇要不要啟用「深度推理」模式——選擇啟用時，可能需要多等幾秒到幾十秒，換取更可靠的答案，但也可能對應更高的使用成本或配額消耗；不啟用則維持較快速、較低成本，但品質上限也相對較低的回應。
這也是為什麼近期不少 AI 產品開始把「思考」或「深度研究」做成一個需要使用者主動選擇的獨立模式，而不是統一套用在所有查詢上——這個設計選擇，本質上就是測試時算力成本結構的直接體現：把「要不要花更多運算資源換更好答案」這個決策，部分交還給使用者自己根據當下需求判斷，而不是由平台單方面用同一套邏輯處理所有查詢。
過去幾年，AI 產業的資本支出敘事幾乎都圍繞著同一個畫面：實驗室砸下數十億美元蓋出更大的訓練叢集，把更多算力、更多資料塞進模型，換取下一代模型的能力提升。但隨著推理模型（reasoning model）興起，這個畫面正在被改寫——真正快速成長的資本支出項目，正逐漸從「訓練」轉向「推理」，而這個轉變背後的推手，正是測試時算力（test-time compute）這個相對年輕的技術路線。
根據史丹佛大學人工智慧指數（Stanford HAI）的資料，每個 token 的推理成本，在 2022 年底到 2024 年底之間下降了大約 280 倍——單看這個數字，很容易得出「AI 使用成本正在快速變便宜」的結論。但這個結論忽略了推理模型帶來的另一個效果：這類模型為了透過測試時算力換取更高的答案品質，單次回答所消耗的 token 數量，往往是傳統非推理模型的數十倍到上百倍。兩個效果相抵之下，一個困難任務的單次查詢總成本，實際上可能不降反升——這也是為什麼「AI 變便宜了」跟「AI 產業的整體算力與能源需求持續攀升」這兩件事，能夠同時為真。
這個成本結構的轉變，正在具體反映在資料中心的投資規劃上。產業分析預估，到 2026 年，推理階段所需的運算需求可能會超過訓練階段需求高達 118 倍，這代表資料中心的建置重心，正從「盡可能蓋出更大的單一訓練叢集」轉向「盡可能蓋出更多能夠同時處理大量即時推理請求的推理叢集」。OpenAI 在 2024 年的推理支出達到 23 億美元，是同期訓練成本的 15 倍——這個比例本身，就已經預示了後續產業資本配置重心的轉移方向。
測試時算力路線帶來的另一個具體影響，是重新打開了「模型規模」與「模型表現」之間的關係。研究顯示，一個參數量僅 70 億的模型，只要被分配到多達 100 倍的推理運算資源，表現就有機會逼近一個參數量達 700 億、採用標準推理方式的模型——這代表企業在選擇部署哪種規模的模型時，多了一個此前不存在的變數：與其花大錢訓練並部署一個巨型模型，某些應用情境下，改用相對較小的模型、搭配更充裕的推理階段運算預算，可能是更具成本效益的路徑，具體選擇取決於任務對延遲的容忍度，以及單次查詢的錯誤代價有多高。
對於評估 AI 相關投資或企業導入策略的讀者而言，測試時算力帶來的基礎建設轉向，直接牽動晶片採購策略的重新洗牌：過去以訓練為主要負載設計的晶片與叢集架構，未必是推理最佳化情境下的最優解，這也是為什麼晶片供應鏈正逐漸出現針對推理場景特別優化的硬體產品線。對於企業導入決策者而言，理解「推理成本會隨任務難度大幅波動」這件事格外重要——一個簡單查詢跟一個需要模型長時間推理的困難任務，兩者的單次查詢成本可能差距懸殊，這代表企業在評估導入推理模型的整體成本時，不能只看供應商公布的單位 token 價格，而需要具體評估自己實際應用情境裡，任務難度分布會把總支出拉往哪個方向——這正是算力規模化之外，另一條同樣會反映在企業帳單上、但機制完全不同的成本曲線。