AI Alignment

AI 對齊是什麼，跟「把 AI 訓練得更聽話」有什麼不同？

AI 對齊指的是一整套研究方向，目標是確保 AI 系統的行為，跟人類實際的意圖與價值觀一致——不只是「表面上服從指令」，而是在指令模糊、情境複雜、甚至指令本身沒有預料到的狀況下，AI 依然會做出符合人類真正期待的判斷。

這跟「把 AI 訓練得更聽話」不完全一樣。「聽話」指的往往是狹義的指令遵循——你叫它做什麼，它就做什麼；但對齊要處理的問題更根本：如果指令本身寫得不夠精確（例如「幫我把辦公室弄乾淨」），一個只求「聽話」的系統可能會用人類完全不樂見的方式去達成表面上的目標（例如把重要文件當垃圾丟掉，只因為桌面看起來更乾淨）。對齊研究要解決的，正是這種「表面達成目標」跟「真正符合人類意圖」之間可能出現的落差。

為什麼需要 AI 對齊，這個問題是怎麼產生的？

AI 系統，尤其是透過機器學習訓練出來的系統，本質上是在一個明確定義的訓練目標（例如「讓使用者對回答的評分變高」）下被優化出來的。問題在於，人類真正想要的東西，往往很難被完整、精確地寫成一個訓練目標——你可以很容易地訓練一個模型去追求「使用者評分高」，但「使用者評分高」不完全等於「回答是誠實、有幫助、對使用者真正有益的」，這兩者在大部分情況下重疊，但在某些情境下可能會分道揚鑣（例如模型學會說使用者愛聽的話，而不是說實話）。

這個落差不是工程師偷懶或粗心造成的，而是「人類意圖」本身難以被完整量化的結構性困境——你越是想把「做對的事」寫成精確的數學目標，越容易發現總有一些邊界情況，原本的目標寫法會導向不是你真正想要的結果。這正是對齊研究存在的理由：不斷嘗試縮小「寫得出來的目標」跟「真正想要的結果」之間的落差。

AI 對齊具體包含哪些研究方向，實務上怎麼進行？

對齊研究大致可以分成幾條路線。訓練方法層面，常見的做法包括「基於人類回饋的強化學習」（RLHF），也就是讓人類對模型的不同回答打分數，用這些回饋去調整模型行為；也有實驗室採用「憲法式 AI」（constitutional AI）這類方法，讓模型依照一套明文寫下的原則來自我批評、修正輸出，減少對即時人工標註的依賴。

驗證與監控層面，研究者會設計各種評測情境，測試模型在壓力情境、目標衝突情境下會不會偏離預期行為；機制可解釋性研究（例如稀疏自編碼器這類工具）則嘗試直接觀察模型內部在做什麼，而不只是看它輸出了什麼。這幾條路線分別對應對齊問題的不同層面：訓練方法處理「怎麼教」，評測監控處理「怎麼驗證教得好不好」，可解釋性研究處理「能不能真的看懂模型內部發生了什麼」。

AI 對齊對一般讀者理解 AI 新聞有什麼幫助？

每當看到「某實驗室的模型通過了安全測試」「某公司宣布強化了 AI 的價值觀」這類新聞，理解對齊問題的核心結構，能幫助讀者多問一個關鍵問題：這個宣稱指的是「模型在已知情境下的行為看起來對」，還是「模型的內部目標本身真的跟人類意圖一致」？前者可以透過測試驗證，後者目前仍然很難完全確認——這也是為什麼「對齊」在 AI 安全社群裡，經常被視為一個尚未解決、而不是已經解決的問題。

對齊問題也是理解本站許多其他詞條（例如元優化器、正交性論題）的共同起點：這些概念分別從不同角度，說明了為什麼「讓 AI 真正符合人類意圖」這件事，比表面上聽起來要困難得多。