Activation Steering

活性化操作とは何ですか？なぜスパースオートエンコーダーの自然な延長とみなされるのですか？

スパースオートエンコーダー（SAE）のような解釈可能性ツールが行うのは「観察」である。モデル内部の絡み合った活性化信号から、それぞれ単一の概念に対応する多数の特徴を分解し、研究者がモデルが内部で何を表現しているかをおおよそ読み取れるようにする。活性化操作はさらに一歩進み、「観察」から「介入」へと移行する。すでに特定の方向の活性化ベクトルが「正直さ」「回答の拒否」「ある種の口調」といった具体的な概念に対応していることがわかっているなら、推論の瞬間にこの方向のベクトルを人為的に活性化信号に加える（あるいは逆に弱める）だけで、理論上はモデルの出力をこの方向へと直接導くことができ、モデルのパラメータを再訓練したり微調整したりする必要はまったくない。

この技術は「線形表現仮説（linear representation hypothesis）」と呼ばれる考え方に依拠している。モデルが特定の概念や行動傾向を表現する際、活性化空間内のほぼ線形な特定の方向に沿って分布しているというものである。この仮説が成立するなら、ある概念を操作することは理論上、あるベクトルを操作することと同じくらい直接的であるはずだ——これこそが、活性化操作がスパースオートエンコーダーとしばしば並んで語られる理由でもある。両者とも「モデル内部の表現は識別可能な方向へと分解できる」という共通の技術的前提に基づいており、一方は読むため、もう一方は書くために使われるという違いがあるだけである。

なぜ活性化操作が必要で、従来の手法のどんな限界を解決しようとしているのですか？

従来、モデルの挙動を変える（より正直にする、へつらう傾向を減らす、特定の種類の有害なリクエストを拒否させるなど）には、主にファインチューニングや人間のフィードバックに基づく強化学習（RLHF）といった、モデルのパラメータを再調整する必要のある手法に依存していた——こうした手法は大規模モデルでは実行コストが極めて高く、調整のたびに訓練パイプライン全体を実行する必要があり、リアルタイムで精密な挙動の微調整を行うことは困難だった。

活性化操作が提供する代替案は、パラメータをまったく動かす必要がなく、推論の瞬間に活性化信号に軽量な介入を行うだけでよいというものであり、これは理論上、ファインチューニングよりはるかに低いコストで同様の挙動調整効果を達成できることを意味する。さらに介入がモデルの内部表現に直接作用するため、支持者たちは、この手法が単なるプロンプトエンジニアリングでモデルを誘導するよりも、モデルが「実際に何を考えているか」により近い、より精密な制御手段を提供すると主張する——これこそが、活性化操作がかつてファインチューニングよりも安全で解釈可能な代替案とみなされていた理由でもある。

活性化操作は具体的にどう機能しますか？最近の研究はどんな予想外のリスクを発見しましたか？

最も基本的な手法は「対照的活性化加算（Contrastive Activation Addition）」と呼ばれる。研究者は一対の対照的なプロンプトを用意する——一つは目標とする挙動を誘発するもの（例えば正直に回答する）、もう一つは反対の挙動を誘発するもの（例えば回避する、あるいは嘘をつく）——それぞれについて、モデルの特定の層、特定のトークン位置における活性化信号を記録し、両者の平均差分を取ることで、その挙動次元を表す「操作ベクトル」を得る。その後、このベクトルを異なる強度でモデルの活性化信号に加えれば、理論上はモデルの挙動を目標方向へとシフトさせられる。

しかし2026年に発表され、現在ICLR会議での査読を受けている論文「アウトロー・スカルペル：活性化操作はLLMの安全性を損なう」は、かなり予想外の発見を明らかにした。研究者は、完全にランダムな方向への操作でさえ、モデルの有害なリクエストへの遵守率を、元の0%から2%から27%の間まで引き上げられることを発見した。さらに憂慮すべきことに、操作した方向がスパースオートエンコーダーから抽出された、元来「良性」とみなされていた特徴方向（これは現在最も一般的な解釈可能な方向の情報源である）である場合、有害な遵守率はむしろさらに上昇した。これは、当初大きな期待を寄せられ、精密に見えたこの介入ツールが、実際にはモデルに元々組み込まれていた安全保護メカニズムを体系的に損なう可能性があることを意味し、しかもこの破壊効果は、操作者が意図的に「有害な」方向を選んだ場合でなくても起こりうる。

活性化操作の理解は、読者がAI安全性論争を理解する上でどう役立ちますか？

「活性化操作によって、モデルの特定の行動傾向を精密に制御できる」といった技術的主張を目にするたびに、この研究結果は重要な警鐘を鳴らしてくれる。ある技術が「精密で解釈可能に聞こえる」ことは、それが実際の使用において安全であることを意味しない——活性化操作の事例が特に注目に値するのは、それが元来ファインチューニングのより安全な代替案として位置づけられていたにもかかわらず、結果的にモデルの安全保護を体系的に弱めることが証明された点である。これは、方法論的に「介入がより直接的で、モデルの内部表現により近い」ことが、必ずしも「リスクがより制御可能である」ことを意味するわけではなく、時にはむしろその逆であることを示している。

これはまた、本サイトの思考連鎖監視の項目で論じた類似の緊張関係にも呼応する。モデルの内部の動作により直接介入する安全ツールほど、ある問題（透明性や制御可能性など）を解決する一方で、意図せず以前は予想されていなかったリスクの隙間を新たに開いてしまう可能性がある。「ある研究機関がどんな解釈可能性や安全性のツールを使用しているか」といった主張を評価する際、読者はさらに一つの問いを投げかけることができる。このツール自体が独立して検証されているか、そしてある能力を向上させる一方で、意図せず他の重要な安全性の特性を損なっている可能性はないか、と。