Sparse Autoencoder

稀疏自編碼器是什麼，要解決什麼問題？

大型語言模型內部有數以萬計的神經元，但每個神經元通常不是只對應一個單一、乾淨的概念——同一個神經元可能同時對「咖啡」「棺材」「某種語法結構」都有反應，這種現象叫做「多義性」（polysemanticity）。多義性讓研究者很難直接讀懂單一神經元「在想什麼」，因為它同時承載了太多不相關的訊息。

稀疏自編碼器（SAE）就是為了解決這個問題而設計的工具：它是另外訓練出來的一個小型神經網路，讀入模型內部的活化訊號，把這些糾纏在一起的訊號重新編碼成一組數量遠多於原始神經元、但每個都只對應單一概念的「特徵」（feature）——「稀疏」指的是，對任何一個輸入，大部分特徵都是不活躍的（數值為零），只有少數特徵會被激發，這種稀疏性正是讓特徵變得單一、乾淨、可解讀的關鍵設計。

為什麼需要稀疏自編碼器，這對 AI 安全研究有什麼意義？

如果沒有辦法看懂模型內部在做什麼，AI 安全研究就只能停留在「觀察輸出行為」的層次——模型說了什麼、做了什麼，但無法確認這個行為背後的真正原因，也無法在行為出現異常之前提前發現風險。這正是「黑箱」問題的核心。

稀疏自編碼器讓研究者第一次有機會，在不需要人工預先定義概念清單的前提下，從模型內部自動「挖掘」出大量人類可以理解、且有語意的特徵——例如某個特徵專門對應「阿拉伯文字」，某個特徵對應「DNA 序列」，甚至有更抽象的特徵對應「奉承式讚美」或「性別偏見意識」這類行為傾向。這代表機制可解釋性研究終於有了一套系統性方法，可以嘗試回答「模型內部到底在表徵什麼」，而不只是觀察外部行為。

稀疏自編碼器具體怎麼運作，目前發展到什麼程度？

SAE 的基本架構是一個「編碼—解碼」的自編碼器：把模型某一層的活化向量餵進去，編碼器把它投影到一個維度遠高於原始活化向量的稀疏空間（例如把 512 維的活化訊號投影到 16 倍甚至更高倍數的維度），透過訓練目標同時要求「重建誤差要小」（解碼回去要跟原始輸入接近）和「大部分維度要是零」（稀疏性懲罰），逼迫模型學出乾淨、單義的特徵方向。

Anthropic 在 2024 年的 Scaling Monosemanticity 研究裡，首次成功把這套方法擴展到生產級模型 Claude 3 Sonnet 上，並找到了具體、可操作的特徵——例如著名的「金門大橋」特徵，人為調高這個特徵的活化強度後，模型會在各種脈絡下都不自然地把話題導向金門大橋，證明這些特徵不只是「看起來相關」，而是真的對模型行為有因果作用。2026 年 5 月，Anthropic 進一步發布 Natural Language Autoencoders 研究，讓這類內部表徵可以直接用自然語言描述輸出，不需要研究者再逐一人工詮釋每個特徵代表什麼。

稀疏自編碼器對讀者理解 AI 安全辯論有什麼幫助？

每當有實驗室宣稱自己的模型「可解釋」「安全可控」，一個值得問的問題是：這個宣稱背後，是真的能指出模型內部哪些具體機制對應哪些行為，還是只是行為層面的統計觀察（例如「這個模型在測試裡沒有說謊」）？稀疏自編碼器代表的正是前者這條路線——它提供的證據層級，理論上比單純觀察輸出更難被模型的表面行為蒙蔽。

不過讀者也該注意，SAE 目前仍有明確侷限：訓練用不同的隨機種子，同一層可能挖出不完全一致的特徵集合（seed 依賴問題）；特徵的數量隨模型規模爆炸性成長，光是「找到特徵」不代表「理解了模型的完整決策邏輯」。可解釋性研究能不能真正跟上模型能力擴張的速度，是目前 AI 安全社群普遍認為進度落後於能力發展的核心焦慮之一——這也是評估「這個實驗室的安全宣稱有多紮實」時，一個具體可查證的切入點。