中国語をまったく理解しない人物が、十分に詳細なルールブックさえあれば、そのルールに従って中国語の記号を別の中国語の記号へと機械的に置き換えるだけで、部屋の外にいる人に部屋の中の人物が本当に中国語を理解していると信じさせることができる——この思考実験は、あるシステムの出力が言語を理解しているかのように振る舞っていたとしても、システム内部で本当に「理解」が起きたことを証明するものではないと主張する。半世紀後、この論証を大規模言語モデルに当てはめたとき、まさにこの点が最も直接的に問題となる。

AIシステムの知能の高さと、それが追求する目標は、原則として互いに独立した変数である——超知能システムであっても、極めて些細で、奇妙な、あるいは破滅的な目標を追求する可能性は同様に存在する。知能そのものは、自動的に「より良い」あるいは人間性により適合した価値観へと導くものではない。