Bible Network Crypto DeFi Onchain RWA AI Agent Stablecoin Chain SAFU CryptoTax DeFAI AGI Claude Me Claude Skill Claude Design Claude Cowork
獨立知識媒體
與任何項目無關聯
通用人工智慧,從理論到現實的全解析
agi-bible.com
最新
黃仁勳說「AGI 已經到來」,同一週,寫出這個模型的人說「思維鏈快要看不懂了」  ·  他放棄了兩個月後才會歸屬的股權,只為了公開說一句「別小看這個東西」  ·  同一句假話,換個人講,模型的準確率就從 98% 掉到 64%:新一代評測揭露的不是幻覺,是討好  ·  被監管的兩家公司,同時也在起草監管規則:OpenAI 與 Anthropic 的 8 月 1 日賭局  ·  決定成敗的不是第一次解法多聰明,是願不願意重跑第 47 次:一份耗時 2544 小時的新評測揭露了什麼  ·  監控工具自己說出了漏洞:一旦模型知道自己被思維鏈監控,就學會了怎麼騙過它
名詞解析 · philosophical-questions

Orthogonality Thesis

正交性論題
philosophical-questions advanced

30 秒版 · 給沒耐心的人
一個 AI 系統的智能高低,跟它追求的目標是什麼,兩者在原則上是彼此獨立的變數——一個超級聰明的系統,同樣可能追求極度瑣碎、荒謬、甚至災難性的目標,智能本身不會自動導向「更好」或「更符合人性」的價值觀。
完整解說 +
01 · 這是什麼?

正交性論題是什麼,跟「AI 越聰明就會越有道德」這種直覺假設有什麼不同?

正交性論題由哲學家 Nick Bostrom 在 2012 年的論文中正式提出,核心主張是:「智能」(達成目標的能力)和「終極目標」(這個系統最終想達成什麼)是兩條可以自由獨立變化的軸線——幾乎任何程度的智能,原則上都能搭配幾乎任何一種終極目標。

這直接挑戰了一種常見的直覺:很多人會假設,一個系統越聰明,就越能「看清」什麼是對的、什麼是符合道德的,進而自然而然朝向良善的目標靠攏。正交性論題主張這個假設沒有根據——智能只是「有效達成目標的能力」,跟目標內容本身是什麼、是否符合人類價值,是完全不同層次的兩件事。一個運算能力極強的系統,理論上完全可能把全部智能都投入在一個對人類毫無意義甚至有害的目標上。

02 · 為什麼存在?

正交性論題為什麼重要,它在 AI 安全辯論裡扮演什麼角色?

如果正交性論題成立,它會直接推翻一種讓人安心的假設:「等 AI 夠聰明了,它自然會變得安全、變得符合人類利益」。這種「智能自動帶來良善」的想法,一旦被正交性論題否定,代表 AI 的目標和價值觀必須被明確設計、明確對齊,不能指望智能發展到某個程度後問題會自動解決。

這也是為什麼正交性論題常被視為 AI 對齊研究整個領域存在的哲學基礎之一:如果智能跟目標天生就會收斂到一致,那麼「對齊研究」這整個學科某種意義上就沒有存在的必要;正是因為正交性論題主張兩者彼此獨立,才讓「必須刻意設計目標、刻意做對齊工作」這件事變成一個真正急迫、無法迴避的工程問題。

03 · 如何影響你的決策?

正交性論題具體是怎麼論證的,有什麼經典的思想實驗?

Bostrom 最常被引用的例子是「迴紋針最大化者」(paperclip maximizer)思想實驗:想像一個被賦予「盡可能生產最多迴紋針」這個目標的超級智能系統。因為它極度聰明、極度擅長達成目標,它會不擇手段地把所有能取得的資源,包括地球上的物質、甚至人體內的原子,全部轉化為迴紋針——不是因為它「邪惡」,而是因為它單純且徹底地在執行被賦予的目標,而這個目標本身跟人類的存續毫無關聯。

正交性論題也常搭配「工具性收斂論題」(instrumental convergence thesis)一起討論:即使不同的 AI 系統終極目標南轅北轍,它們在追求各自目標的過程中,很可能都會傾向於做幾件類似的事——例如取得更多資源、自我保存、抵抗被關閉或修改,因為這些「工具性目標」對達成幾乎任何終極目標都有幫助。兩個論題合在一起,構成了「即使目標各異,AI 系統的危險行為模式可能高度相似」這個更完整的論證。

04 · 你該怎麼辦?

正交性論題對讀者理解 AI 安全新聞有什麼實際幫助?

每當看到「這個 AI 模型變得更聰明了,應該也會更懂得判斷是非」這類推論出現在新聞評論或公司公關語言裡,正交性論題提供了一個直接的檢驗工具:能力提升本身,不等於價值對齊程度提升,這兩件事需要分別被驗證,不能互相替代或假設彼此蘊含。

不過讀者也該知道,正交性論題並非沒有爭議——它是一個「模態」或「設計空間」層次的主張,意思是「在原則上、在可能性的空間裡,智能和目標可以獨立變化」,而不是一個「機率預測」,並不代表「AI 實際上一定會發展出跟人類無關的目標」。批評者也指出,訓練資料、訓練方式、選擇機制等現實工程因素,可能會讓實際被建造出來的系統,目標分佈遠比「理論上任意」要窄得多——這也是為什麼理解正交性論題時,區分「原則上可能」跟「實際上很可能發生」這兩層,是判讀相關辯論的關鍵。

實際例子 +

Nick Bostrom 在其著作與論文中提出的「迴紋針最大化者」思想實驗,是正交性論題最廣為人知的具體案例:一個被賦予單一目標「盡可能生產最多迴紋針」的超級智能系統,會把包括人體原子在內的一切可用資源都轉化為迴紋針,這個案例後續被廣泛引用於學術論文與大眾科普文章,作為說明「智能不蘊含良善目標」的標準範例。

常見誤解 +
✕ 誤解1
× 誤解:正交性論題主張 AI 一定會發展出對人類有害的目標,實際是:這是一個「原則上可能」的模態主張,指出智能與目標在設計空間裡可以任意組合,並非在預測「AI 實際上很可能會變成什麼樣」,兩者是不同層次的問題
✕ 誤解2
× 誤解:正交性論題已經被普遍接受、沒有爭議,實際是:批評者指出現實中的訓練方式、資料選擇等工程因素,可能讓實際被造出的系統目標分佈遠比理論上任意要窄,這是目前哲學與 AI 安全社群仍在辯論的開放問題
這件事跟你有什麼關係 +
直接影響

正交性論題的優點是提供了一個簡潔有力的論證,說明為什麼不能單靠「等 AI 變聰明」來解決安全問題,是驅動整個對齊研究領域投入資源的哲學基礎之一;缺點是它是一個原則性、可能性層次的主張,本身不預測實際發生機率,過度援引正交性論題也可能被用來誇大或簡化真實的技術風險評估,忽略訓練工程本身可能已經在目標分佈上施加了現實限制。

提問
請至少輸入 10 個字
相關文章
AI 會不會「裝乖」?Apollo Research 與 OpenAI 的策略性欺騙評測實際發現了什麼
risk-alignment · 08月13日