AIモデルは正しい答えを出すことができるが、それを開発したエンジニアを含め、誰もそのモデルがなぜその答えにたどり着いたのかを人間が理解できる形で説明できない——この「能力」と「説明可能性」の間のギャップこそが<a href="/ja/glossary/interpretability/black-box-problem/">ブラックボックス問題</a>であり、現在AIシステムを監査し、デバッグし、責任を追及する上で最も根本的な障害となっている。

AIモデル内部の絡み合った、解釈が困難なニューロンの活性化信号を、それぞれが単一の識別可能な概念に対応する多数の「特徴」へと分解する、訓練された小型ニューラルネットワーク。現在、メカニスティック解釈可能性研究における主要なツールの一つである。