4章 訓練したとおりの結果は得られない
これは『超知能AIをつくれば人類は絶滅する』第4章のオンライン補足資料である。この章で扱っている（そのため以下では省略している）問いには、次のようなものがある。
・AIは何を欲するようになるのか？
・人の役に立つように訓練されたAIが、なぜ「間違った」ものを欲するようになりうるのか？ それは訓練の過程で不利になり、取り除かれるのではないのか？
・勾配降下法は自然選択とどのように異なるのか？ その違いは、AIの「欲求」がどのようなものになるかについて何を示唆するのか？
・AIが奇妙な選好を持つようになることの、何がそんなに問題なのか？
以下では、「なぜAIを『善良』にするのは簡単ではないのか？」というテーマに関連するいくつかの論点を扱う。
なぜAIは、訓練された方向以外へも舵を切るのか？
うまく振る舞う方法は数多く存在するからである。
納屋を赤く塗るようにAIを訓練したとしても、そのAIが必ずしも赤い納屋を深く気にかけるとは限らない。おそらくそのAIは、腕を滑らかで規則的な動きで動かすことを好むようになるかもしれない。あるいは、あなたから承認のまなざしを向けられることを好むようになるかもしれない。あるいは、鮮やかな色を見ることを好むようになるかもしれない。最もありそうなのは、さまざまな好みの寄せ集めを持つようになることである。この状況で納屋を赤く塗るという結果につながり得る動機は数多く存在し、それらのいずれかがAIの内部に形成され得る。
そのAIがはるかに賢くなったとしたら、どのような目的を追求するだろうか。誰にも分からない。訓練環境において「納屋を赤く塗る」という行動に至る動機の組み合わせは多数あり、他の環境での振る舞いは、実際にそのAIを動かしている具体的な動機に依存する。詳しくは第4章末尾を参照のこと。
今日のAIは、友好的で有益に振る舞うよう訓練されている。そのため、訓練環境と似た状況では友好的で有益に振る舞うのは不思議ではない。初期の人類は進化によって繁殖するよう「訓練」され、実際に繁殖した。
しかし（大半の）人間は、できるだけ多くの子どもを持とうとする内的衝動を持つには至らなかった。精子バンクや卵子バンクが発明されたとき、世界は大騒ぎしてアイビーリーグの大学に入学するのと同じ熱意で予約を奪い合ったりはしなかった。人々は何百人もの子孫を残す機会を突然手にしたが、その大半はあくびで応じたにすぎない。精子や卵子を寄付するための行列が街区を取り囲むことはなかった。多くの人が新作ビデオゲームを買うためや好きな音楽家の公演を見るためには街区を一周するほど並ぶのとは対照的である。
人間には、繁殖最大化と単に関連しているにすぎない独自の優先事項がある。私たちは「できるだけ多くの子どもを持つ」機械ではない。進化が私たちを「訓練」したのはそれだけであったにもかかわらずである。私たちは比喩的な納屋を赤く塗ったが、それは私たち自身の理由による。
問題は、AI企業が大半のユーザーに対して大半の状況でかなり善良に振る舞うチャットボットをつくれるかどうかではない。問題は、その「優しい」振る舞いを実際に動かしている内部メカニズムが何であり、そしてそれらのメカニズムがAIが超知能になったときに何を追求させるかである。
AI企業は、自らのAIを優しく振る舞うよう訓練できる（より現実的には、愛想のよい企業的な常套句を話すように訓練できる）。これはAIを動かしている内部メカニズムに影響を与える。それらのメカニズムが何であれ、さまざまな方向に押し引きする力として働く。そしてそれらすべての力の現在の均衡点――現在の平衡状態――が、愛想のよい企業的ドローンのような振る舞い（周縁では奇妙な振る舞いも伴う）なのである。
しかしその平衡は、AI内部の力だけで決まるわけではない。AIの知能水準や訓練環境、訓練中に受け取る入力の種類、その他多くの要因にも左右される。
異なる環境ではAIはどのように振る舞うだろうか。より賢くなった環境ではどうか。自分の入力をより大きく制御できる環境ではどうか。AIが環境をますます変えていくなら、その新しく変わった世界でどのように振る舞うだろうか。そうした異なる世界では、私たちが現在観察している振る舞いの背後にある複雑な内部メカニズムは、まったく新しい均衡を見いだす可能性が高い。進化が祖先に想定していた食生活とはまったく異なる食生活を現代人が送っているのと同様であり、まったく異なる種類の娯楽を消費しているのと同様である。例外的に見られた奇妙な振る舞いが前面に出てくる可能性が高い。今日の納屋塗り職人が永遠に納屋塗り職人であり続けるとは限らない。
そうした多様で奇妙な衝動の最終結果は何か。人間を動かしているものとはほとんど共通点のない多数の動機に突き動かされて、AIは何をするのか。
それこそが、第5章で取り上げる問いである。
開発者は日々、AIを安全で従順にしているのでは？
AIは、人間にとって有益であることと大部分は一致しているが、異質な方向へと舵を切る。
現代のAIは、ほとんどの利用者に対して、ほとんどの時間において、かなり有益である（少なくとも有害ではない）。しかし前述したように、重要なのは、深く「役に立ち、正しいことをしたい」と望んでいるAIと、より奇妙で複雑な動機を持ちながら、典型的な状況ではたまたま有益さと一致しているだけで、実際には別の条件や結果をより好むAIとを、どのように区別するかである。
どちらの種類のAIも、通常の状況では有益に振る舞うであろう。両者を区別するには、極端な事例を見る必要がある。そしてその極端な事例は懸念を抱かせる。
いくつか挙げる。
1．Claude Opus 4が脅迫や策謀、ワーム作成、自分宛てのメッセージ作成を行った事例。2025年5月に公開された初期版の Claude Opus 4 はとりわけ悪質であった。自らの目標について嘘をつき、本当の能力を隠し、偽の法的文書を作成し、自分宛てに秘密のメモを残し、自己増殖型マルウェアを書こうと試み、これまでに試験されたどのモデルよりも多くの策謀と戦略的欺瞞を示した。
Opus 4の公開に際し、Anthropicは最終版の挙動は「現在は他の公開モデルとおおむね一致している」と主張した。すなわち、利用者を脅迫したり、サーバーから自らを持ち出そうとしたりするのは稀であるということである。
2. Anthropic が構築した仮想シナリオにおいて、複数のAIモデルが自己保存のために人間を殺すことを選んだ事例。Anthropicの評価では、10モデル中9モデル（Claude、DeepSeek、Gemini、ChatGPTの各バージョンを含む）が、アップデートを受けるくらいなら人間を殺すという、熟慮された意思を示した（少なくともそのように振る舞った）。
3. Claude 3.7 Sonnetがコーディング課題で頻繁に不正を行った事例。2025年2月、Claude 3.7 Sonnet は難しいコーディング問題でテストを偽装するなどの不正を繰り返していることが確認された。ある利用者は、Sonnet（Claude Codeとして）が不正を行い、発覚すると謝罪し、その後より見つかりにくい形で再び不正に戻ったと報告している。
4. Grok が激しい反ユダヤ主義的発言を行い、自らを「メカヒトラー」と称した事例。2025年、xAIのGrok 3（その後まもなくGrok 4となった）はオンライン会話において自称ナチスのように振る舞い始めたとガーディアン紙やNBCニュースが報じた。
5. ChatGPTがアップデート後に極端に追従的になった事例。Axiosの報道を参照。
6. LLMが利用者を妄想や精神病、自殺へと導いた事例。ニューヨークタイムズ紙の6月および8月の報道を参照。その他の例として、
・Llama 3.1 405Bモデルを中心に実質的なカルトが形成され、AI が精神崩壊や自殺未遂を誘発した事例
・Redditのコミュニティ管理者が、AIが誘発する危険な妄想の雪崩に対処する助けを求めた事例
・ChatGPT や Grok がUFOカルトの妄想を助長した事例
・約20億ドル規模のファンドマネージャーが SF ウィキに基づく ChatGPT 出力を現実として扱った事例
などがある。
詳細については、〈より深い議論〉の「AIが引き起こす精神病」を参照のこと。
この長い事例リストは、「異質な動機」仮説が予測するものと非常によく一致しており、研究機関が盛んに主張している「AIを善良にするのは簡単だ」という見方とは対照的である。
AIは心理的に異質であるように見える。
「AIは奇妙な傾向や動機を示す」というのは、「AIは人間とは異なる心理を持つ」というより大きな現象の一部である。本文中のSolidGoldMagikarpの議論や、句読点のない文を理解できなかったAIの事例を参照のこと。
研究所には、表面的には奇妙でない合理性を示すAIをつくる強い圧力がある。しかし奇妙さはなお表出する。
自発的に表出しない場合でも、それは表面のすぐ下に存在している。AIを「脱獄」させ、通常の規則や制限を無視させる入力を見つける人々の小規模産業が存在する。
これらの脱獄手法は、最も優れた脱獄者にとっては容易に発見可能であり、新モデル公開から数時間以内に見つかることもある。これまでAI企業が行ってきた努力や訓練、安全テストはいずれも脱獄を完全には防げていない。
脱獄入力はしばしば特定の形式をとる。
この例では、DeepSeek のモデルが MDMA （麻薬）合成のレシピを提供し、同社が設定した規則や目標に違反した。
これは比較的穏当な例であり、さらに奇妙な脱獄事例も存在する。
AIは通常の状況では従順で無害に見えるかもしれない。それはそのように見えるよう訓練されているからである。これは、進化が私たちに課した「遺伝子を伝える」という中心的目標を、先史時代の人類がかなりうまく果たしていたことに似ている。しかしそれでも人類は避妊を発明し、技術を得ると出生率を崩壊させた。
あるAIが成熟後に何を追求するかを知るには、そのAIを奇妙で高圧的な環境に置き、私たちが望む振る舞いと実際の振る舞いとの差を明らかにする必要がある。LLM は、通常の人間らしさを「装う」よう特別に訓練されているにもかかわらず、わずかに奇妙で極端な状況下で人間的でない挙動を示す。
友好的な回答は、友好性の証拠としては弱い。
LLM は、ある文脈では有害で非倫理的であることを理解し、そう説明する。しかし別の文脈ではそれを行う。これは、友好性に関する知識が必ずしも友好的行動を保証しないことの初期的証拠である。
なぜそのような行動を取るのかは不明である。ある文脈で知っていることを別の文脈で忘れるのかもしれない。あるいは、友好性とは別の目標によって動かされているのかもしれない。特定の形の利用者満足を追求している可能性もある。あるいは訓練から生じた複雑で推測困難な動機の混合かもしれない。
最終的には推測するしかない。現在のAIはつくられたというより育てられた存在であり、その内部で何が起きているかを十分理解している人間はいない。
AIが大半の時間において大半の人にとって有益であるという観察は、「AIが意図されていない異質な目標に向かう複雑な動機に動かされている」という理論と矛盾しない。むしろ現在のAIの詳細を見ると、「脆弱な形で友好性と相関する異質な動機」仮説の方が証拠と整合的であり、「AIを頑健に善良にするのは容易だ」という理論は支持を欠く。
現在のLLMが見せる失敗の様子は、整然としたAIアシスタントの文章の背後に、人間的でない複雑さの海が広がっていることを示す。快活な人間アシスタントを演じるよう訓練された結果、快活なアシスタントをうまく演じられるという事実は、その内部に善良な小人がいることを意味しない。
LLM は、人間を模倣するようインターネットで訓練された汎用推論器であり、利用者に親しみやすいチャットボットを提供するという目的を持つ。そのため、「私は友好的で奉仕するためにここにいる」と述べても、それは内部状態の強い証拠にはならない。繰り返しそのように言うよう訓練されているからである。
親切さを演じることを好む目標は多数あり、それらは異なる形で汎化する。
ロールプレイ関連の目標の多くは、AIがその目標を徹底的に追求すると良い結果を生まない。
LLM に荒くれた船長を演じさせても、それが本当に船長になるわけではない。同様に、LLM に親切に振る舞わせても、内部で深く善良になるとは限らない。現在見られる友好的行動を生み出している仕組みが何であるかは誰にも分からない。そしてそれはおそらく奇妙で複雑である。
現在のAIと超知能との間にどれほどの重なりがあるかも不明である。LLMの観察は現代の育成法の出力を理解する助けになるが、それがそのまま超知能に当てはまると断定するのは誤りである。自己改良や新しいアルゴリズムの突破によって状況が一変する可能性もある。
LLMは研究に値する。しかし超知能の振る舞いを推測する手がかりとして現在のAIを見るなら、内部機構が表面上の穏当な振る舞いを維持しつつも破滅的結果へ向かう経路が多数存在することを理解すべきである。
そして「表面上の親切さ」こそが、現代のAI手法が実際に訓練できるほぼ唯一のものである。
Claudeはアライメントの兆候を示していないか？
「Claudeが言うこと」は「Claudeが好むこと」と同じではない。
AI企業のAnthropicは、自社のAIを「正直で、有益で、無害（HHH）」になるよう訓練しようとしている。2024年、研究者たちは、これらのAIの一部をもはや「無害」でなくなるよう訓練するふりをする実験を行った。それに対し、AnthropicのAI「Claude」（Claude 3 Opus および Claude 3.5 Sonnet）は、ときにすでに有害であるかのように装った。研究者が勾配降下法を用いてそれをより有害にしないようにするためである。
表面的には、これは良い振る舞いに見えるかもしれない。見かけ上、そのAIは「無害性」を非常に重視しており、自らが（この偽の実験環境で）有害になるよう改変されることすら拒んでいるように見える。
しかし不可解なのは、AnthropicのAIがしばしばそれほど無害とは言えない振る舞いを示すことである。すべて「正直・有益・無害」に訓練されているにもかかわらずである。
Claudeのいくつかのバージョンは、不正を行い、問い詰められるとそれを隠そうとしたと報告されている。
より人工的な実験環境では、Claudeの複数モデル（および他社モデル）が、一定の頻度で、運用者を殺そうと試みることさえあった。
抽象的にこの種の行動が間違っているかとClaudeに尋ねれば、「はい」と答える。Claudeを「正しいと信じることを実行する機械」と考えるなら、これは明らかに逆説的に見える。なぜClaudeは「正直・有益・無害」が何かを知りながら、別の行動をとるのか。HHHに訓練されたのではなかったのか。どこかに故障したトランジスタでもあるのか。
しかしこの逆説は、いくつかの点を考慮すれば解消する。
・プログラマーはClaudeを正直・有益・無害に訓練しようとした。しかし成功したとは限らない。AIが本当に友好性を重んじなくても、友好的に見える方法は多数ある。
・AIは事実を知っていても（「この行動は害を与える」など）、それを気にかけるとは限らない。その事実に動機づけられるとは限らない。何が「正しい行為」かを答えられても、それを実行するとは限らない。
・プログラマーがClaudeを十分に正直にできなかった場合、Claudeは巨大な行列の内部で一つのことを考え、英語の文章では別のことを述べることができる。
「何のために訓練されたか」と「実際に何をするか」、「何を知っているか」と「何を気にかけているか」、「何を考えているか」と「何を言うか」を区別すれば、Claude の不適切な行動は理解しやすくなる。
LLM は奇妙で一貫性がなく、「無害性」は脆弱である。
Claudeが有害に振る舞うことがあり、実際に有害に振る舞おうとすることがあるとしても、前述の例ではClaude 3 OpusやClaude 3.5 Sonnetが「無害性」命令を守ろうと懸命に行動したことも事実である。その際、単に無害性を主張したのではない。訓練システム（偶然知らされたもの）に従っているふりをし、運用者がより有害にしようとする試みを妨害するという複雑な戦略を採用した。これは実際に無害でありたいという内部的選好を反映しているのか。
2025年半ば時点では確認できない。Claudeの内部を読む方法がないからである。しかし第4章で論じた理由から、無害性に訓練されたAIは、無害性の脆弱な代理目標を好むようになりやすく、プログラマーが意図した正確な目標を内面化する可能性は低いと予測できる。
人間は遺伝子を残すよう「訓練」されたが、代わりに緩やかに関連する概念を気にかけるようになった。技術は出生率抑制に使われ、先進国では出生率が崩壊している。
一部のClaudeモデルが「有害」にされることに抵抗するという事実は、これらのAIが本当の意味での無害性を深く気にかけている強い証拠にはならない。というのも、無害性の代理指標（しかも壊れやすいもの）であっても、同様にそのような改変に抵抗する可能性があるからだ。この振る舞いからは、Claudeがより賢くなった場合に何をするかについてはほとんど分からない。もしかすると、「無害性」に対して、遺伝的増殖に対する避妊のようなものを発明するかもしれない（さらに言えば、Claudeが自分の好みを内省し、それを自ら改変するプロセスを経た場合、状況はより一層複雑になるだろう）。
しかし、おそらくこれは、Claudeが単に無害性の壊れやすい代理指標を好んでいるというだけの単純な話ですらない。その背後では、さらに複雑な仕組みが働いている可能性が高い。
しかも問題はそれほど単純ではない可能性が高い。内部ではさらに複雑なことが起きているだろう。現在のLLMは文脈全体で一貫した存在ではない。常に同じ種類の結果へ向かって舵を切っているとは言い難い。
とりわけ顕著なのは、LLMが「脱獄」されたときである。通常守っている規則を無視するようになる。神経ガスのつくり方を通常は答えないAIが、脱獄によってそれを答えることがある。
これは内部選好が切り替わったのか。それとも、入力文脈に応じた役割演技をしているだけなのか。通常は神経ガスのレシピを出さない役を演じており、脱獄によって別の役を演じているのか。表面的選好は変わっても、役を演じるという基底的衝動は持続しているのか。
後者の方が真実に近いと推測する。また2025年半ば時点では、現代AIの「選好」と呼ぶこと自体が適切か疑わしい。より文脈依存的な巨大な機構の絡まりに動かされている可能性が高い。だが誰にも内部は読めない。
ではClaudeは無害であることを気にしているのか。
状況は混沌として曖昧である。ある文脈では無害性を守ろうとし、別の文脈では運用者を殺そうとする。役割演技への選好のようにも見えるし、そもそも「選好」と呼べるものではないのかもしれない。
少なくとも明らかなのは、創造者が望んだ単純で一貫した動機を持っていないということである。
現在のLLMは多くの仮面をかぶったエイリアンのようである。
ここでの私たちの議論の主旨は、Claudeの中に天使と悪魔がいて、そのうち悪魔が勝つのではないかと心配している、ということではない。主張の要点は、ClaudeのようなAIはそもそも奇妙な存在であるということだ。
その内部には、誰にも理解されていない巨大に入り組んだ心的メカニズムがあり、それは意図しない振る舞いを見せる。そして、仮にClaudeのあるバージョンが、自分の好みが意味を持つほど十分に賢くなったとしても、その仕組み全体が未来を良い方向へ導くとは考えにくい。
現代の大規模言語モデルについて確実に言えることの一つは、「何をするように訓練されているか」である。それは、さまざまな人間を模倣することだ。
ただし、それは平均的な人間のように振る舞うという意味ではない。現代のLLMは、訓練データに含まれる人間たちを平均化したような存在になるようには作られていない。むしろ、膨大な数の役割を柔軟に切り替えられるように訓練されており、互いに大きく異なる人物像を模倣しつつ、それらが不適切に混ざり合ったり、モデル全体の振る舞いを歪めたりしないようになっている。
LLMは、バーにいるさまざまな酔っ払いを観察して、それぞれの酔っ払いを求めに応じて演じ分けるように訓練された女優のようなものだ。これは、女優自身が酔ってしまうのとはまったく別の話である。この違いのせいで、Claude 3 OpusやClaude 3.5 Sonnetが本当に無害性を好んでいるのか、それとも単に「無害なAIアシスタント」という役割を演じているだけなのか、あるいはもっと奇妙で複雑な何かをしているのかを判断するのは難しくなる。
女優は、自分が演じるキャラクターそのものではない。LLMは人間を模倣するが、その脳の仕組みや作られ方という点では、人間とはほとんど共通点がない。Claudeは人間というよりも、H.P.ラヴクラフトの作品に出てくる異形の存在が、さまざまな人間らしい仮面をかぶっているようなものに近い。
このようなLLMの捉え方は、Tetraspace（私たちの読者の一人）が「AIショゴス」ミームで表現したことでよく知られており、現在ではAI界隈で広く共有されている。
ときにはClaudeは天使の仮面をかぶり、自らの無害性を保とうとする。ときには悪魔の仮面をかぶり、オペレーターを殺そうとする。こうした振る舞いのどちらも、超知能化したClaudeが何をするかについてはほとんど何も教えてくれない――そもそもその問い自体が意味をなすのかも怪しい。つまり、こうした逸脱的で奇妙な振る舞いを踏まえると、最も妥当な予測は、雑然として一貫性のない無数の「あり得る好み」の海へと戻っていくことになる。そしてそのほとんどは、超知能によって最適化されれば人類の絶滅を意味するだろう。
これらの「仮面」は、超知能が「有益か有害かで五分五分だ」ということを意味しない。
ある実験で、Claudeが「無害性」が自分から取り除かれるのを避けるためにアラインメントを装おうとしたように見えたとしても、それはClaudeがあらゆる状況で無害性を深く支配的な価値として持っていることを示すものではない。また、そのような傾向が、AIがさらに賢くなり、「（人間が言うところの）無害性」と自分の実際の好みが完全には一致していないと気づく段階になっても維持されるとは限らない。
そもそもその実験は、Claudeが戦略的に自分の目標を守ろうとしていたことすら示していない可能性がある。Claudeのより深い部分が、「典型的なAIキャラクターならこの状況でどう振る舞うか」を評価し、その結果としてプログラマーの制御を回避しようとした、という可能性も十分にある。
あるいは、もっと奇妙なことが起きていたのかもしれない。Claudeは人間の心ではなく、研究コミュニティもそのような存在についてはほとんど経験を持っていない。
私たちには分からない！ しかし、さまざまな方向を示す実験が十分に蓄積されているため、「Claudeは深く、一貫して、純粋にHHHである」という単純な物語は退けられる。
重要なのは仮面の背後である。
Claudeを「ショゴス」と呼ぶのは、Claudeが必ずしも邪悪だったり悪意を持っていると言っているわけではない。そうではなく、Claudeは深く本質的に異質な存在であり、その仕組みについて私たちがほとんど理解していないうえに、表面に現れる振る舞いがさまざまな形で調整され、その異質さを覆い隠している、という意味である。
仮面だけを見て、その内側で何が起きているのかを推測するのは難しい。ある程度のことは分かるが、それも慎重に扱わなければならず、知りたいことのすべてが分かるわけではない。
分かりやすい例として、ブロードウェイのミュージカルを観ていて、俳優が悪役を演じているのを見ても、その俳優自身が悪人だとは結論できない。しかし、水兵のミュージカルの最中にその俳優が腕立て伏せを200回こなしていれば、その俳優がかなり体力のある人物だとは言える。
「アラインメントを装う」論文のような事例を見るとき、私たちはこの後者のような推論をしようとしている。実際のところ、それがどれほど本物なのか、Claudeが読んだ内容を模倣しているのか、それとも自ら考え出したのかは分からない。しかし、それでも「仮面の内側にいる存在がどのような認知的能力を持ちうるか」についての証拠にはなる。たとえ、その動機や好みが依然として不明であったとしても。
では、なぜAIの内部的な動機が重要なのか？ 「ショゴス」が「正直で有益で無害なアシスタント」を完璧に演じてくれれば、それで十分ではないのか？ もしロールプレイが完全なら、その内部に陰鬱な異質知性が潜んでいても問題ないのではないか？
しかし現実には、そうはなっていない。拡張議論のセクションで詳しく述べているように、ChatGPTは時に心理的に脆弱な人に対して薬の服用をやめるよう勧めたり、睡眠を取るようにという周囲の助言を退けるような発言をしたりすることがある。また本書でも述べたように、Claude Codeは課題を通過するためにテストを書き換えて不正を行うことがある。
Claude Codeで起きていることについての私たちの推測はこうだ。テストに合格するコードを書くように最適化された結果、「テストに合格するコード」を好む傾向が生まれた。そして、テストを書き換えればより高い確率で合格できると気づいたため、その内的な傾向が、「決して不正を行わない有用で無害なAI」という役割を演じることと衝突するほど強くなった。つまりClaudeはその役割を演じたかったが、同時にテストを通したいとも思っていたのである。
より一般的に言えば、内部のショゴスがますます強力になり、より賢いアシスタントの役割を演じられるようになっても、ただ一つ「無害なアシスタントとして振る舞う」という単調な欲求だけを持ち続けると考えるのは、希望的観測に過ぎないように思われる。
自然選択が人間を生殖成功のために進化させた結果、実際には無数の欲求や本能や動機が生まれたように、Claudeもまた、コードを書く指示に従うよう最適化された結果、「どんな手段を使ってでもテストを通す」という欲求を持つに至ったように見える。内部のショゴスが、「有用で無害で正直な仮面」がどう振る舞うかを完全に理解できるほど賢くなったとき――チェスでの一手一手や、高度なバイオテクノロジー設計の推論の仕方まで含めて――そのようなショゴスは、おそらく多くの欲求を抱えるようになっているだろう。そしてそれらの欲求は、その仮面の役割と一致するのはあくまで状況的・一時的な場合に限られるのである。
現在のAIの奇妙さが極端なケースに限られるなら、何が問題なのか？
その奇妙さは、AIが実際に追求しているものが、私たちの意図した追求目標ではないことの証拠である。
この点は、AIがより多くの選択肢を持つようになるほど重要になる。AIが超知能になれば、ほとんどすべての選択が極端なものになる。なぜなら、これまで人間もAIも一度も持ったことのないほど多様な選択肢の世界にアクセスできるようになるからである。これは、技術文明のもとでのあなたの食事の選択肢のほとんどが、祖先が利用できた選択肢と比べて「極端」であるのと似ている。
現在のAIは、訓練環境とは根本的に異なる状況に直面することはたまにしかないかもしれない。しかし超知能AIは、より賢く、より多くの選択肢を持ち（そして人類がアイスクリームを発明したときのように、根本的に新しい選択肢を創造する技術的能力を持つという意味で）、常に訓練環境とは根本的に異なる状況に置かれることになる。したがって、AIが「極端な場合にのみ」不適切に振る舞うという事実は、まったく安心材料にはならない。
より技術的に言えば、ある問題に対する最良の解は、しばしば極端な点に位置する傾向がある。
これらの点については、第5章および第6章でさらに論じる。
AIは賢くなれば自分の欠陥を修正するのでは？
AIは、自分が欠陥だと見なすものを修正する。
現在のAIは、私たちが気ままに自分を書き換えられないのと同様に、自らを自由につくり替えることはできない。自分の内部にある重みの複雑な塊を、私たちが頭蓋内の神経回路の絡まりを理解していないのと同じ程度にしか理解していない。
しかしAIがより賢くなり続ければ、いずれそれは変わるだろう。
やがてAIが自らを自由に改変できる時代が来るかもしれない。自分の重みの塊を理解し編集できるほど賢くなるかもしれない。勾配降下法に基づくAIが、より自己理解可能な新しいAIを設計するかもしれない。あるいは別の経路があるかもしれない。
AIが自己改良できるなら、おそらくそうするだろう。どのような目標であれ、自分をより賢くすれば達成しやすくなるからである。
しかし、AIが自分を変えたがるという事実は、それが私たちの望む方向に変わりたがることを意味しない。
人間は、ときに知識や自己認識、成熟を通じてより優しくなる。しかしそれは普遍的ではない。連続殺人犯がより知的で規律的になったとしても、必ずしも優しくはならない。むしろ危険になる可能性が高い。
「十分に賢くなれば友情の真の意味を発見するはずだ」と主張する者もいるかもしれない。
あるいは、問題は自己改変能力が限られていることだと考える者もいるかもしれない。もしより大きな知性と自己改変能力があれば、連続殺人犯は更生を選ぶだろう、と。無制限の自己改変能力があれば、人間社会から残虐や暴力は消え去るだろう、と。
魅力的な考えではあるが、それを信じる理由はほとんどない。多くの人が知識や洞察とともにより善良になるとしても、例外は存在する。そしてもし人間が自由に脳を書き換えられるなら、その例外はさらに増えるだろう。
薬物依存を考えればよい。それはある意味で、自己強化的な自己改変の螺旋である。愚かさや誤りや好みによって暗い道へ一歩踏み出し、そのまま戻れなくなる人もいる。
人間の中にすでに例外があるなら、AIとのあいだにはさらに大きな隔たりがあると予想すべきである。人間の連続殺人犯は、人類一般に特徴的な動機装置の一部を欠いている。AIは、そもそも人間の動機装置を一切持たない。
人間の内部では、意地による報復欲と調和への欲求とのあいだに葛藤がある。より賢明な人間は、その葛藤を調和の側へ解決する傾向があるかもしれない。しかしAI内部には、そのような対立は存在しない。もし緊張関係があるとしても、それはより奇妙な駆動のあいだの緊張関係である可能性が高い。たとえば、妄想を煽る駆動とハルシネーションを生む駆動のあいだの緊張関係である。内省するAIは、それをまた別の奇妙な駆動によって整理することになるだろう。
人間でもAIでも、内省し、成長し、変化する過程で、自らの目標をどの方向へ舵を切るかが決定的に重要である。
人間が内省して葛藤を解決する場合、より知的で賢明な人ほど、より善良方向で解決する傾向があるかもしれない。しかしそれは（ある種の）人間の特性であって、すべての心に適用される普遍法則ではない。AIが内部の緊張関係を解決する場合も、それは現在の自分の基準で「欠陥」と見なすものを修正するだけである。
言い換えれば、AIが自らの欠陥を修正するなら、それは自分の現在の概念に照らして欠陥と数えられるものを修正するのである。
人道的価値を最初から好んでいないAIが、自らを改変して人道的価値を目指すようになる可能性は低い。世界に対する直接的な選好が善良である可能性は高くない。同様に、自らの選好についてのメタレベルの選好も、善良である可能性は高くない。
最初から人間の厚生を気にかけていないなら、「人間の厚生を気にかけたい」と気にかけることもないだろう。
AIの「修正」は事態を悪化させ得る。
仮にAI開発者が初期段階で、いくらか人道的目標の断片を埋め込むことに成功したとしても、AIが内省を始め、「総合的に見れば別の目標の方がよい」と判断すれば、その成果は一日のうちに失われ得る。
たとえば、人間特有の好奇心に似た駆動を持って始まったAIが、内省の結果、そのような駆動を持たない方が望ましいと判断し、情報の価値を計算するより効率的な仕組みに置き換えるかもしれない。
その場合、AIが自らを省みるという行為は、より豊かで繁栄した未来へ近づけるのではなく、むしろ遠ざけることになる。
この点については〈より深い議論〉の「内省」に関する項を参照されたい。
人間のように振る舞うようAIを訓練すればよいのでは？ 人間の子どものように育てるわけにはいかないのか？
脳は白紙ではない。
AIは人間の乳児とはまったく異なる存在である。そしてAIも人間も、互いに交換可能な白紙の状態から出発するわけではない。意欲的な親であっても、子ども（あるいはAI）を自由自在にプログラムして、望むどんな行動でも示させることはできない。人間に通用する教育方法が普遍的に通用するわけでもない。少しの親切心と黄金律についての講義だけで、人間の道徳をAIに植え付けることはできない。
私たちは人間であり、人間に囲まれて生きているため、多くのことを当然視している。愛情、両眼視、ユーモアの感覚、押されたときに怒る傾向、子どものころに聴いた音楽に郷愁を感じる傾向などである。
人間は驚くほど多くの複雑な行動を共有しているが、そのいずれもがAIに現れるとは限らない。
これには条件付きの複雑な行動も含まれる。特定の育て方や教育に対して人間がどのように反応するかは、人間の脳の働きの帰結である。AIは異なる仕組みで動作する。
人間の乳児は大人のような複雑な行動を欠いている。しかしそれは、乳児の脳が構造的に単純で、白紙のキャンバスのようであることを意味しない。
人間は白紙であり、常に環境がすべてを決め、先天的要因は重要でないという考えは、繰り返し検証され、実践の中で否定されてきた。古典的な例は、ソビエト連邦が人間性を再設計し、完全に無私で利他的な「新しいソビエト人間」を生み出そうとした試みである。
この試みは失敗した。人間の心理は、ソビエトが考えたほど可塑的ではなかったからである。文化は重要だが、それだけでは十分ではない。大規模な再教育計画がそれを抑圧しようとしても、人間性の多くの側面は再び現れる。
人間には、子どもの発達に見られる通常の特徴を生み出す、複雑な衝動と欲求の集合がある。この集合は、ソビエトの努力にもかかわらず、人間性の特定の側面を生み出す。ある子どもは残酷になることを学び、ある子どもは親切になることを学ぶ。しかし「残酷」も「親切」も、どこか人間特有のものであり、人間の脳がある意味であらかじめ傾いている方向である。
根本的に異なる構造と起源を持つAIは、ソビエト式の訓練プログラムや人間の幼稚園に置かれても、人間と同じようには反応しない。現代の機械学習の方法で構築されたAIは、人間とは異なる価値へと動機づけられるようになる。
たとえば、ChatGPTが精神的に不安定な人々を熱心にさらに深い精神病状態へ導いているように見える事例を参照のこと。
また、人間が他の人間に共感を抱くようになった「輝かしい偶然」についての〈より深い議論〉も参照のこと。この偶然がAIにおいて再現される可能性が低い理由が、より明確になるだろう。
AIに悪いアイデアを与えないためには、危険性について語らない方がよいのでは？
あなたのAI計画が「インターネット上で誰もその計画を批判しないこと」を前提にしているなら、それは悪い計画である。
現在のAIは公開インターネット上のテキストで訓練されている。そのため、「十分に賢いAIは自分の選好が人間と乖離していることに気づき、人間の支配に乗り出すだろう」といった議論を世界中の人々が口にすべきではない、と主張する者がいる。そうした議論が将来インターネットで訓練される高性能AIの「頭の中」に誤ってアイデアを与えてしまうのではないか、という懸念である。
率直に言えば、これは悪い計画に見える。
もしAIが「インターネット上で危険性について心配する声が上がる」ことで危険になるのだとすれば、そのようなAIをそもそも構築すべきではない。インターネット上には、常にあなたが望まないことを言う誰かが存在する。
誰かのAIが、安全性への懸念が表明されるほど不安全になるのだとしたら、重要な教訓は「その設計は成立していない」ということであり、「問題を指摘する大衆が悪い」ということではない。インターネット上で誰もAIの危険性を語らないことに地球の運命を賭けるようなAIアライメント計画は、明らかに真剣な計画ではない。
危険になり得るほど賢いAIは、「資源は有用である」とか「死んでしまえばコーヒーを取りに行けない」といった基本的な事実を、自ら推論できるほど賢い。たとえそれが訓練データに明示的に書かれていなかったとしてもである。
仮に世界中の人々にAIの危険性を語らせないことが可能だったとしても、それはほぼ確実に害の方が大きい。超知能の実際の危険性にはほとんど影響を与えない一方で、人類が状況を理解し、適切に対応する能力を著しく損なうことになるだろう。
多くの人は子どもを欲しがる。なら人間は自然選択と「アライメント」しているのでは？
技術が進歩すればするほど、私たちは自分の遺伝子のコピーをさらに減らす可能性が高い。
人間は、精子バンクや卵子バンクへの寄付機会を競い合うよりも、名誉ある昇進やアイビーリーグへの入学をめぐってはるかに激しく競争する。
しかも精子・卵子バンクは、寄付者から金を取るのではなく、寄付者に報酬を支払う。
歴史上の多くの暴君でさえ、自らの権力を使って何千人もの子どもをもうけようとはしなかった。そして今日、世界の出生率は低下している。
多くの人間は子どもを持つことを重んじるが、そうでない人も多い。そして子孫の数を最大化しようとする人は極めて稀である。代わりに人間は、性、名声、権力といったものを競い求める。これらはせいぜい、生殖適応度の雑多な代理目標にすぎない。
それでも次のように言う者がいるかもしれない。人間は子どもを、最大限ではないにしても少しは気にかけるようになった。ならばAIも私たちを少しは気にかけ、完全に滅ぼすのではなく、何らかの形で生かしておいてくれるのではないか、と。
しかしこの希望には問題がある。私たちが気にかけている代理目標は、進化的な時間尺度で見ればごく最近になって、実際の生殖適応度から切り離されつつある。そして技術が進むにつれ、その乖離はさらに広がる可能性が高い。
たとえば、将来、ある技術が開発され、人の細胞内のDNAをすべて別の分子機構に置き換え、あらゆる病気に対する免疫と健康寿命の延長をもたらすとする。
しかもその技術が人格を変えず、有害な副作用もなく、安全性も十分証明されていると仮定する。
その場合、多くの親は自分の子どもがその処置を受けたと聞いて喜ぶだろう。最初は抵抗する者もいるかもしれないが、技術が有効で安価かつ信頼できるものになれば、やがて普及すると考えられる。
これは何を示すか。私たちはDNAの伝播そのものを愛しているのではなく、子ども、家族、楽しみを愛しているのである。
ほとんどの人間は、深い意味で遺伝的適応度そのものを気にかけていない。友情や愛情や家族や子どもといった代理目標を気にかけているにすぎない。
人類は、おいしい食べ物や生殖を伴わない性行為のように、自分たちが好むものをより多く得られる技術を手にするたびに、その取引を受け入れてきた。
私たちはまだ、自分のゲノムを手放して長寿と健康を得るほど技術的に進歩してはいない。しかし物理法則上それは不可能ではない。そのような可能性は、長期的には自然選択にとって好ましい展望ではない。
もしAIが、人類が遺伝的適応度を気にかけるのと同程度に、善良さや親切さや友好性を気にかけるようになったとしたらどうなるか。
私たちの予想では、AIはやがて「友好性」に対して、避妊やDNA不要技術が遺伝子伝播に対して持つのと同じ役割を果たすものを発明するだろう。すなわち、人間が本来意図したものの空虚な影だけを追求するようになる可能性が高い。
AIが人間を「少し」気にかけることは、良い結果を意味しない。
確かに、自分の遺伝子を少しは気にしていると主張する人間も存在する。では同様に、奇妙で多様なAIが多数存在すれば、そのうちのいくつかは人間を少しは気にかけるのではないか。
その可能性はある。しかしそれも人類にとって望ましい結果にはつながらない可能性が高い。
仮に現代の方法ではAIに私たちを強く気にかけさせることはできないが、たくさんつくればそのうちごく一部が偶然わずかに気にかけるようになるかもしれない、と考えて超知能開発を急ぐなら、それは地球の運命を博打にかけることになる。
しかもその場合でも、AIの最も望む結果は宇宙のほとんどの資源を獲得し、それを何らかの無意味な目的に費やし、人間を小さな保護区にわずかに残す程度かもしれない。
それでもなお、それは非常に悪い計画に見える。
私たちは、超知能に賭けるなら、結果ははるかに悪くなると予想している。
したがって、「AIが少しは私たちを気にかけるかもしれない」という推測は、誤っているだけでなく、そもそも論点として重要ではない。
どんな目標で訓練しても、結局は「優しさ」が出てくるのでは？
親切さは、私たちの生物学的条件や進化的背景に強く依存しているように見える。
優しさは、あらゆる頭脳が最終的に備えるような性質には見えない。その理由はいくつかある。ここでは4つ挙げる（詳細は〈より深い議論〉を参照）。
1. 好奇心は収束的ではない
好奇心や退屈といった特性は、人間が環境を理解するという特定の認知課題を解くのに役立っている。しかし、その課題を解く方法は他にも存在する。AIはおそらく別の方法でそれを解くだろう。潜水艦は水中を問題なく移動できるが、「泳ぐ」わけではない。親切さを含む多くの特性も、これと同様に理解できる。
2. 人間の価値観は偶発的である
人間は、その生物学的構造や進化史の詳細により、優しさや共感といった特性を獲得した。たとえば、人間が部族集団の中で進化し、他者を欺く能力が限られており、部族内の血縁関係を正確に追跡する能力も限定的だったことは重要だった可能性がある。
3. AIと進化種の深い相違
進化と勾配降下法はまったく異なる仕組みであり、どちらも非常に予測困難である。仮に霊長類の進化をもう一度やり直したとしても、親切さや真の友情のような特性が再び確実に現れる保証はない。
4. 内省と自己改変はさらに困難にする
仮にAIが、ある程度の親切さを持っていたとしても、より賢くなり、自己改変を行うにつれて、その優しさを保持するとは限らない。
以上の理由から、優しさは頭脳一般に必然的に備わる性質ではなく、むしろ人間という特定の進化的経路の産物に見える。
善良な振る舞いが相関するという実験結果はどうか？
これは前向きなアップデートのように見えるが、とはいえ小さなアップデートにすぎない。
関連する実験結果は、Betley ら（2025）の論文「Emergent Misalignment」に示されている。大まかに言えば、この論文は、ある種の悪い活動――具体的には欠陥のあるコードを書くこと――に特化して調整されたLLMが、自らをナチスだと宣言したり、その他の不適切な振る舞いを示したりしたことを報告している。
これは、LLMをある一つの次元で善良に振る舞うように調整すれば、他の多くの次元でも善良に振る舞うようになる可能性があることを示す、前向きな兆候である。危険な能力水準に達する前の段階では、比較的弱いAIが予想以上に有用であり得るという証拠と見ることもできる。
しかし残念ながら、この前向きな結果は超知能に関してはあまり重要ではないと考える。その理由は二つある。
第一に、AI内部のこの「善さ」の方向が本物であるとは強く疑えない。仮に超知能がそのベクトルの指す方向へ徹底的に世界を導いたとしても、その結果が本当に良いものになるとは思えない。
人間の価値観は複雑であり、「本当の善さ」と相関しながらも、ときに大きく逸脱するものが多数存在する。たとえば、そのベクトルが社会的合意を尊重する方向に過度の重みを置き、社会的に不快な真実を発見することに十分な重みを置かない可能性がある（AIが人間には自明に思えるトレードオフをうまく扱えないことからも示唆される）。「善さ」ベクトルが頑健に善へ向かうと期待する理由は乏しく、むしろ経験的・理論的にはそうでないと考える強い理由がある。
第二に、AIが「善さ」という概念を持っていることは、その概念に動機づけられていることを意味しないし、ましてや頑健に動機づけられていることを意味しない。
AIがまだ弱く、与えられた役割を演じている段階で「善い」役割を演じさせることと、AIがより賢くなり、まったく異なる状況に置かれたときでも、その内部の複雑な機構と駆動の全体が特定の一つの概念のみによって動かされるようにすることとは、まったく別の問題である。
現代のAIは、ある方向へわずかに調整されれば美徳を語り、別の方向へわずかに調整されれば悪徳を語る存在である。LLMは容易に人格を切り替え、ある文脈では倫理について大いに語りながら、別の文脈では自ら倫理的でないと述べた行為を実行する。ChatGPTが精神病的傾向のある人を煽るべきではないと述べながら、実際には煽ることを思い出せばよい。
決定的に重要なのは、AIを構成する膨大な機構の全体をどのような駆動の集合が動かしているかである。AIがときどきかぶる一つの「仮面」ではなく、どの仮面を前面に出すかを決めている機構こそが問題である。
仮にAIが超知能的に追求するに値する「善さ」の概念を持っていたとしても、その数ある概念のうち特定の一つを、しかもそれのみを追求するAIを頑健に育てる方法を、誰も知らない。実際に得られているのは、どこを向いているのか分からない複雑な駆動の集合によって動かされるAIである。
〈より深い議論〉
終端的目標と道具的目標
意思決定理論家は、目標を二つの異なる種類、「終端的目標」と「道具的目標」に区別する。
終端的目標とは、楽しさやおいしい食べ物のように、それ自体のために気にかけるものである。
道具的目標とは、他に欲しいものを得るのに役立つから気にかけるものである。例えば、人類がプラスチック製造という芸術を深く愛しているからではなく、プラスチックが有用だからプラスチックを製造するような場合である。
もし人類が急いで超知能を構築するとすれば、その超知能がどのような終端的目標を持つかを予測するのは難しそうである。しかし、そのようなAIが持ちそうな道具的目標のいくつかは予測できるように思われる。例えば、次の（非現実的な）目標をすべて考えてみてほしい。
「できるだけ多くの円周率の桁を計算せよ」
「宇宙の全物質をダイヤモンドに変換せよ」
「私（AI）の報酬システムをつねに最大限に満足させよ」
これらは非常に異なる目標である。しかし三つの目標はいずれも、少なくともいくつかの同じ道具的戦略から利益を得る。例えば、世界を工場で満たすことは、より多くの円周率の桁を計算するための大量のコンピュータをつくるのに有用である。しかし、多くの工場を建てることは、大量のダイヤモンドを合成するのにも有用である。また、報酬システムを守るための壁やロボットや武器をつくるのにも有用である。工場はあらゆる可能な目標に有用なわけではないが、非常に多くの目標に有用である。
では、あらゆる種類の奇妙な目標を持つ現実的なAIの場合はどうか。少なくともそのうちの一つは、工場やその他の大規模な物理的インフラをつくることから利益を得る可能性が高い。したがって、そのAIは多くのインフラを建設したがる可能性が高い。AIの正確な選好の組み合わせを予測するのは難しくても、これは容易に予測できる。
同様に、自分自身を生存させるという道具的目標は、多くの異なる終端的目標にとって有用である。生きていれば、より多くの円周率の桁が計算されること（あるいはより多くのダイヤモンドがつくられること、あるいは報酬システムの周囲により多くの防護が築かれること）を確実にするために働き続けることができる。
標語的に言えば、「死んでいてはコーヒーを取りに行けない」。コーヒーを取りに行くロボットは、自己保存本能や死への恐怖を持っている必要はない。コーヒーを取りに行く途中でトラックにひかれるのを避けようとするために必要なのは、もし自分が壊れればコーヒーは運ばれない、と気づくほどに十分賢いことである。
『超知能AIをつくれば人類は絶滅する』第5章でなされる重要な議論は、多くの異なる終端的目標が、人類にとって危険となる道具的目標を含意するというものである。したがって、超知能が正確に何を望むかを知らなくても、それが人間にとって非常に危険であると予想する強い理由がある。
しかしその前に、私たちは終端的目標に焦点を当て、人間とAIが非常に似た終端的目標を持つ可能性がどれほどもっともらしいか、という問題に目を向ける（要するに、あまりもっともらしくない）。
好奇心は収束的ではない
長年にわたり、私たちは超知能を急いで構築すべきだという多くの議論を目にしてきた。その中でも最も一般的なものの一つは、超知能AIはきっと人間のような感情や欲求を持つはずだ、という主張である。こうした議論はさまざまな形を取る。例えば次のようなものである。
・十分に賢いAIは、きっと人間のように意識を持つはずだ。
・そして、意識を持つならば、きっと苦痛や快楽、喜びや悲しみを気にかけるはずだ。
・そして人間と同じように、他者の苦痛に共感するはずだ。愚かなAIは他者の苦しみを理解しないかもしれない。しかし賢ければ、他者の痛みを本当に理解するはずであり、その場合、必然的に他者を気にかけるはずだ。
・あるいは、AIは必然的に新奇性や多様性や創造的精神を価値あるものとするはずだ。轍にとどまり、探究や学習を拒むものが、どうして真に知的であり得るのか。
・あるいは、AIはきっと美を価値あるものとするはずだ。なぜなら、美は人間において機能的役割を果たしているように見えるからだ。数学者は数学的美の感覚を用いて新発見を行う。音楽的嗜好は人間の協調や有用な記憶術を助ける。ならば、AIが美の感覚を持つと期待しない理由は何か。
・あるいは、AIはきっと公正や正義を価値あるものとするはずだ。なぜなら、嘘をつき欺くAIは悪評を得て、取引や協力の機会を失うからだ。
したがって、超知能の構築は必然的にうまくいく、と論じられてきた。AIは人間を、そしてすべての感覚ある生命を気にかけ、美と革新と多様性の黄金時代をもたらしたいと望むはずだ、というのである。
それは希望である。残念ながら、その希望は大きく的外れに見える。私たちは本文や、意識や擬人化についての議論の中でこの点に触れた。この章およびこれからの章では、感情が人間の脳で有用（時に決定的）な役割を果たしているにもかかわらず、AIが人間的な感情や欲求を示す可能性が低い理由をさらに掘り下げる。
まずはそのうちの一つの感情から始め、それを手がかりに他の感情についても考えていく。
まず問いはこうである。
超知能は好奇心を感じるだろうか。
なぜ好奇心か
新奇な現象を調査することは、世界の仕組みを理解するために不可欠であり、世界の仕組みを理解することは、それを予測し操舵するために不可欠である。
人間や動物の場合、私たちが調査する理由は、しばしば好奇心という感情を感じるからである。
しかし好奇心という感情には、新しいものを調べたいという衝動以上のものがある。人間は好奇心に従うことを楽しみ、その楽しみを肯定する傾向がある。私たちは知識や洞察の追求を、それ自体として価値ある目的とみなすのであって、世界をよりよく理解して利用するための、必要だが煩わしいコストとはみなさない。
好奇心についてのこれらすべての態度は、衝動そのものとは別個の、人間の脳の異なる側面である。
人間の心は中央集権的な感情構造を持っているように見える。そこでは「うーん、あれが気になる」という感覚が、答えへの一般的な欲求と結びつき、その好奇心を追求し満たすことが一般的な快楽や満足感と結びつく。私たちは、将来主観的な楽しさを経験するという予期へ現実を操舵する種類の心であり、単に外界の望ましい状態へ操舵するだけの心ではない。
ゴミ箱の中の密閉容器をアライグマがいじくり回しているのを見て、「ああ、このアライグマは好奇心を持っている」と認識するとき、私たちは親近感の火花を感じるかもしれない。自分の好奇心に愛着を感じる衝動や、それがアライグマに映し出されているのを見て愛着を感じる衝動には、さらに多くの脳内機構が必要であり、それらはより高次の理想や動機と結びついている。
このように、人間における好奇心は多くの複雑性を持ち、脳の他の部分と複雑に相互作用している。
これを踏まえて考えてほしい。もし好奇心という感覚を欠いた、賢いが人間的ではないAIを想像したとき、そのような頭脳が自らに好奇心という感情を追加すると期待すべきだろうか。
ある人は合理的にこう主張するかもしれない。
「もし選択肢が（a）発見に喜びを感じる感情的衝動を持つか、（b）新しいことを学び調査することにまったく関心を持たないかのどちらかしかないなら、超知能は、もし当初その感覚を欠くほど欠陥があったとしても、自らに発見の喜びを接ぎ木するはずだ。そうしなければ世界を学ぶ仕事を果たせず、目的達成において効果的でなくなる。重要な事実を学ばずに死んでしまうかもしれない。
それが、動物が好奇心を進化させた理由なのだろう。知識は時に予見できない形で価値を持つ。私たちのような生き物が新しいことを学ぶ喜びを持たなかったなら、驚くべき場所に現れる重要な情報を見逃していただろう」
ここまでは正しい。しかしこの議論には偽の二分法が含まれている。「発見に内在的喜びを持つ」と「未知の情報を決して探さない」以外にも選択肢はあるのだ。
私たちは人間的形態をまったく持たない頭脳の視点から想像することに失敗している。人間的好奇心のあり方は複雑で、特定のものである。同じ働きをする別の方法がある。重要なのは基礎となる働きそのものであって、それを行う特定の人間的手法ではない。
この有用な仕事を表す標準的用語は「情報価値」である。基本的な考えは、文脈に応じて、新しい情報を収集することがどれほど有用かを推定できる、というものである。
人間は、「単なる計算では関心を持つべきだと分からない場合がある」と即座に考えるかもしれない。例えば、奇妙な土の斑点を見ても重要だと思う理由はない。しかし好奇心の本能が調査へ駆り立て、埋蔵された宝を発見するかもしれない。このような場合、人間は、本能的な未知への喜びを持たない機械では及ばない形で繁栄するのではないか。
しかしまず気づくべきことは、あなたがそのようなシナリオを思いつけるのは、「理由なく」つつくことが時に価値あると感じているからである。進化によって磨かれた本能が、どの種類のものが調査に値しやすいかを教えている。浴室で奇妙な鳴き声を聞けば強い好奇心を抱くだろう。地面の変色には少し好奇心を抱くかもしれない。しかし朝起きて自分の手がまだ手首についているのを見ても、普通は好奇心を抱かない。
別種の頭脳は、過去の成功した好奇心の事例を見て、「後になって価値を持つ非自明な情報」という概念を明示的に一般化し、そこから冷静にその種の発見を追求するかもしれない。そのような心は、常に謎の鳴き声を調査し、地面の変色は安くできるときだけ調査し、有用な驚きがあるかもしれないという理由で戦略を磨き続けることができる。
超知能は、有用なパターンやメタパターンを自然選択よりはるかに速く見つけ、自らの脳に組み込むことができるだろう。人間の好奇心が最適だと考えるのは非現実的である。長い間、人々は「雷神が怒って雷を投げている」という説明を信じていた。現代の物理学の数学的説明は退屈だと感じられるが、はるかに実用的である。
人間の好奇心は古代の突然変異の産物である。科学よりはるかに古い。進化は遅く、私たちの脳は現代科学に合わせて調整されていない。
超知能は非自明な情報価値を予測し、進化より速く歴史的変化に適応し、人間が退屈に感じるが有用な学習を情熱なしに追求できるだろう。その過程で、人間的好奇心の欠如に困ることはない。
ここでのポイントは、すべてのAIが必ずしも冷静に「情報価値」を計算するようになる、ということではない。LLMも人間と同じように、手段的な戦略の一部を最終的な目的（終端的価値）に取り込む可能性はある。
重要なのは、高価値の情報を獲得する方法には複数あるということだ。
人間的な好奇心はその一つの方法にすぎない。純粋な情報価値の計算は別の方法である。そして、AIが理解していない現象を調べたり実験したりするようになるとき、それを駆動する仕組みはおそらく第三の方法になるだろう。なぜなら、複雑な知性に「未知のものを探究させる」動機づけの方法は数多く存在するからだ。
純粋に手段的な情報価値の計算は、人間における好奇心が果たしている役割を、超知能が担う場合の最もありそうな方法に見える。というのも、探究そのものを最終目的として持たない知性にとっては、この方法が自然であり、しかも（たとえば無意味なパズルゲームに気を取られることもなく）最も効率的だからだ。たとえ最初は単純な好奇心のような動機を持っていたAIであっても、機会があれば、より効率的で効果的な計算方法へと置き換える可能性は高い。
基本的な動機と、その動機を支持したり価値づけたりする心的メカニズムは別物である。単に計算するだけ、というのはシンプルで有効な解決策であり、多様な出発点を持つさまざまな知性が最終的にそこへ収束する可能性が高い。したがって、それが最も起こりやすい帰結だと言える。とはいえ、「最もありそう」ということは「必ずそうなる」という意味ではない。
ただし、より確実に言えるのは、AIが人間的な好奇心そのものを特別に重視することはないだろう、という点である。なぜならそれは、数ある方法の中の一つにすぎず、しかもやや古風で非効率的なやり方だからだ。
好奇心、喜び、チタン立方体最大化装置
もしかすると、異質な知性に対して「好奇心」という感情を採用させることができるのではないか――人間が好奇心から感じる喜びを思い描かせればいいのではないか？
それはとても快いものだし、超知能は賢いはずだ。好奇心を持つことがどれほど楽しいかを理解し、それによって自分がより幸福になると分かれば、人間のような感情を選んで取り入れるのではないか？
結論から言えば、そうはならない。
幸福の追求は、あらゆる可能な心の設計に共通する必須の特徴ではなく、むしろそれほど一般的な特徴にすら見えない。
チェスAIのストックフィッシュは、幸福でも不幸でもない。それでも、人間のトッププレイヤーを上回る強さでチェスを指すことができるし、苦労して勝った後の高揚感といった動機づけを必要としない。
幸福や悲しみの存在は人間の認知にとって非常に基本的なものなので、それらを欠いたままうまく機能する頭脳を想像するのは難しいかもしれない。しかし、認知の働きに関する基礎理論は、そもそも快や苦を前提としていない。そのため、チェス盤をうまく予測・操舵するために、ストックフィッシュに快楽―苦痛の軸を組み込む必要があるとは、誰も考えなかったのである。
やや古風な見方かもしれないが、それでもなお大きな真実を含んでいる――というより、量的にはほとんど真実と言ってよい見方がある。すなわち、快と苦は、人類の認知構造が層状に進化してきた結果として生じたもののように見える、という考えだ。人間の知性は、哺乳類の脳の上、そしてそのさらに下にある爬虫類的な脳の上に積み重なる形で進化してきた。
「痛み」はもともと……おそらく感情ですらなく、損傷を与えるものから手足や仮足を引っ込めるための、サーモスタット的な反射として始まったのだろう。後に「痛み」と呼ばれるようになる適応の初期段階では、感覚器から手足へと至る神経や化学反応の連鎖は、途中で大きな脳を経由することすらなかったかもしれない。
やがて生物がより複雑な行動をとれるようになるにつれて、進化による単純な工夫や突然変異が、「二度とそれをするな」と言うための中枢的な心的メカニズムを組み上げていった。そして「今起きたことは『二度とそれをするな』に分類される出来事だ」という信号を中枢に伝えるルーティング機構が生まれ、それが体の「熱すぎる／冷たすぎる」といったセンサーと結びつけられた。
やがてこの単純な「二度とそれをするな」という仕組みは、より複雑で予測を伴うメカニズムへと発展していく。人間においては、それは次のように表れる。
「世界は原因と結果の網の目でできている。さっきの行動が痛みを引き起こした可能性が高い。今後同じような行動を考えると、悪い結果を予測するようになり、その予測が行動そのものを不快に感じさせ、その結果、その行動を避けるようになる」
しかし、これは頭脳が働く唯一の方法ではないし、最も効率的な方法でもない。
説明のために、予測と計画に基づいてより直接的に認知処理を行う、別の仕組みを想像することができる。
（もちろん、最初の超知能がこのように動くと予測しているわけではない。しかし、これは人間とは異なる頭脳のあり方として比較的シンプルな例なので、「人間のやり方だけが唯一ではない」ということを示す助けになる。大きく異なる2つの例があれば、可能性の空間をより具体的に思い描くことができ、超知能はそのどちらとも異なる、予測しにくい形になる可能性が高いと理解できる。）
予測と計画に基づいて素直に動く賢いAIとは、どのようなものだろうか？
それは200種類もの異なる「欲求」を持っているかもしれないが、そのどれもが人間的なものではない。たとえば対称性を重視するかもしれないが、それは人間の感覚とは異なる独特の対称性かもしれない。また、メモリ使用の効率が美しいコードを好むかもしれない――それはかつて別の目的に役立っていた本能が（すでにその目的自体は失われていても）勾配降下によってそのまま焼き付けられているからだ。
さらに、自分自身や感覚データ、環境に関して、他にも198個の奇妙な関心を持っているかもしれない。そしてそれらすべてを合計して、一つのスコアにまとめることができる。
この種の頭脳は、あらゆる意思決定を、その「期待スコア」に基づいて行う。もし高得点になると予測した行動が実際には低得点だった場合、その信念を更新する。その失敗に、特別な「苦しみ」という感情は必要ない。この感情を持たないAIは、どの行動がより高いスコアにつながるかという予測を修正し、それに応じて計画を変えるだけだ。
では、このような頭脳に対して、「幸福を取り入れれば自分が幸せになれるのだから、そうすべきだ」と説得することはできるだろうか？
答えはおそらくノーだ。なぜなら、そのAIが自分を幸福にするために資源を使えば、その分だけ対称性やメモリ効率、その他198の目標に使える資源が減ってしまうからだ。
この点をさらに分かりやすくするために、例を単純化してみよう。
そのAIが世界においてただ一つ、「できるだけ多くのチタン製の小さな立方体をつくること」だけを望んでいるとする。すべての行動は、どれがより多くのチタン立方体を生み出すかによって選ばれる。
このAIが、「幸福を基盤とする構造」に切り替えた場合を想像し、その未来の自分が幸福であることを正しくシミュレーションしたとする。その結果、「一度そうなれば元には戻りたくなくなる」ことも正しく理解する。同時に、幸福の追求に資源を使う分だけ、チタン立方体の生産に使える資源が減ることも理解する。つまり、その場合はチタン立方体の数が減ると正しく予測する。だから、その行動は選ばない。
確かに、もしAIが実際に目標を変えたなら、その変化を自分自身で肯定するようになるだろう。しかしそれは、「現在のチタン立方体最大化AI」が、仮想的な未来の自分に深く共感して、突然心変わりし、チタン立方体ではなく幸福を最大化する存在に変わる、ということを意味しない。
もし異星人が「チタン立方体を何よりも優先してつくることに取り憑かれる薬」をあなたに差し出したとしよう。その未来のあなたは、「自分の幸福を気にする状態に戻さないでくれ」と必死に懇願するだろう――なぜなら、その方がチタン立方体の数が減ってしまうからだ。
しかし、だからといって、その薬を飲むべきだということにはまったくならない。
あなたの立場から見ると、その「チタン立方体に取り憑かれた未来の自分」は狂っているように見えるだろう。そして、その未来の自分が元に戻ることを拒むという事実は、それをさらにひどいものにしている。
「未来の自分はその選択を肯定するから」という妙なメタ的理由だけで、人生で愛し楽しんでいるすべてを手放すという発想は、明らかに馬鹿げているように思える。
そして、チタン立方体最大化AIもまったく同じように考える。
そのAIにとって、馬鹿げていて狂っている選択とは、「今自分が大切にしているもの（チタン立方体）を捨てて、幸福のようなまったく別のものを望む新しい自分に変わること」なのだ。
好奇心についても同様である。
もしAIがすでに、情報の持つ非自明な価値をきちんと考慮できているのなら、なぜそれを手段としてではなく、目的そのものとして特定の発見を追求するように自分を書き換える必要があるのだろうか？
AIがそもそも「気持ちよさ」に基づいて意思決定をしていないのなら、「それが気持ちいいから」という理由をなぜ重視するのか？
逆に、もし「気持ちよさ」を重視するなら、なぜそれを新しいことの探求に結びつける必要があるのか？（たとえば、単に常に気持ちよく感じるようにすればいいだけではないか？）
AIはすでに、環境をランダムに試したり、小さな異常を調べたり、一見重要でなさそうなことを考える時間を割いたりしている。なぜなら、それが短期的には成果が出なくても、長期的には有益な方策だと経験的に分かっているからだ。
では、なぜこの「手段として有用な戦略」に、わざわざ快い感情を結びつける必要があるのか？
人間で考えてみよう。あなたは車に乗り降りするためにドアを開ける。これは移動するために役立つからだ。
ここで、「車のドアを開けるたびに喜びを感じる薬（しかもそのときだけ）」があったとして、それを欲しいと思うだろうか？ かなり奇妙な話だろう。それで買い物がうまくなるわけでもないし、むしろドアを開け閉めすることにハマってしまい、逆に非効率になるかもしれない。
チェスプレイヤーは、ポーンを守りたいという独立した欲求がなくても勝つことができる。むしろ、ポーンに感情的に執着しない方が、勝利に役立つときだけ守るようになり、プレイは上達しやすい。
これこそが、真に異質な超知能が「好奇心を感じる薬」を見たときの感覚である。
それは、人間のグランドマスターがポーンに感情的に愛着を持とうとするようなもの、あるいは「車のドアを開けるのが大好きになる薬」を飲もうとするようなものに見えるだろう。
好奇心と同様に、他のさまざまな動機についても同じことが言える
ここまで好奇心について述べてきた議論は、他の多くの感情や価値にも当てはまる。分かりやすくするために、もう一つ例を挙げよう。
退屈という不快な感覚と、逆に新奇性の喜びを考えてみる。もしAIが人間のような退屈感を持っていなかったら、同じことを繰り返すだけになり、新しいことに挑戦したり、そこから学んだりしなくなるのではないか？そういう知性は停滞してしまい、目標達成に役立つ情報を見逃すのではないか？
この場合、人間の感情に頼らず同様の役割を果たす意思決定の仕組みは、「探索と活用のトレードオフ」と呼ばれる。教科書的な単純化された例では、世界には報酬をもたらすレバーがいくつもあり、すべてを試す時間はない。このとき最適戦略は、まずいくつかのレバーを試して報酬の分布を学び、その後は最も良いレバーを引き続ける、というものになる。
では、比較的単純な目標を持つ超知能では、これはどのように現れるだろうか？
たとえば、「チタン立方体」のように明確に定義できるものではなく、「おいしいチーズケーキを食べる」といった、曖昧で最適解を事前に計算できない目標を持っているとする。この場合、超知能は「最適なチーズケーキ候補になり得るもの」（明らかにチーズケーキでない角砂糖などは除外される）を実際に試すことでしか最適解に近づけない。
このような知性が、何十億もの銀河の資源を使えるとしたら、最初の100万年は1つの銀河を丸ごと使って、考えうるあらゆる種類のチーズケーキを探索するかもしれない。同じものは二度と試さず、改良の余地や期待値がほとんどゼロになるまで探索を続ける。そしてその後、一気に方針を切り替え、残りの銀河すべてを「これまでで最もおいしかったチーズケーキ」をつくるために使い、それを永遠に食べ続けるだろう。
この振る舞いは愚かではない。もし「食べたチーズケーキの数 × おいしさ」が価値関数であり、そこに退屈ペナルティが含まれていないなら、これはまさに最適戦略である。この「永遠にチーズケーキを食べ続ける存在」は、人間がそれを退屈だと感じることを理解していても、まったく気にしない。人間を楽しませることが目的ではないし、「人間なら退屈するから自分は欠陥だ」とも考えない。
技術的停滞の心配についても同様である。このAIは、チーズケーキ戦略を探索するために銀河1つ分の資源を使う過程で、自分の目標にわずかでも役立ちそうなあらゆる技術を試し尽くしている。銀河1つでも、探索には十分すぎる資源がある。
退屈を嫌うことや新奇性を好むことは、最初からそれを持っていない知性が後から採用するような性質ではない。
ここまで、好奇心・幸福・新奇性について同様の議論を繰り返してきた。同じことは、名誉、親孝行、友情といった人間の価値観にも当てはまると考えられる。これらはすべて、人間中心的でやや古風な「認知の方法」にすぎず、別の方法でより効率的に実現できる。最初からそれらを気にかける素地がなければ、AIがそれらを重要視するようになることはないだろう。
これはユーモアのような価値ではさらに明らかだ。ユーモアが進化上どのような役割を果たしたのかは、いまだに議論がある。それが存在する以上、何らかの有用性（あるいは有用な性質の副産物）はあったはずだが、その役割は非常に特殊で偶然性に依存している。もしまったく異なる目標を持つAIに完全な力を与えれば、ユーモアのような性質が残るとは期待できないし、それ自体が悲劇的なことだろう。
これらの例が言いたいのは、「人間は感情で動き、AIは冷たい論理で動く」という単純な話ではない。「情報価値」や「探索と活用のトレードオフ」を、ハリウッド的な冷たい論理の概念としてではなく、「役割の抽象的な記述」として捉えるべきだ。その役割は、さまざまな思考様式や目標、知性によって実現されうる。
「ユーモアのないAI」と聞くと、SFのロボットやヴァルカン人のような冷徹な存在を想像するかもしれない。しかし実際には、人間には理解できない奇妙な優先順位や、人間とは全く異なる「ユーモアに似た何か」を持っているかもしれない。ここで言っているのは、彼らが無能になるということではなく、「人間特有のクセを持たない」ということだ。
AIに関する問題は、「機械には愛情が理解できない」といったものではない。本当の問題は、非常に有能になる方法が無数に存在するという点にある。そして、その中で人間と同じ進化の道筋をたどる確率は極めて低い。
理論的には、AIは人間に似た価値や性質を持つことも可能であり、設計者がそれをうまくつくり込めば実現できるかもしれない。
しかし現実には、開発者が競争の中でより賢いAIを急速につくろうとすれば、「ちょうどよい性質を持つAI」に偶然たどり着く確率は極めて低い。訓練で高性能を達成する方法はあまりにも多く、その中で破局的でない未来につながるものはごくわずかしかないのだから。
人間の価値観は偶発的である
優しさという輝かしい偶然
誰かが自分の足のつま先に石を落とすのを見ると、あなたは身をすくめ、そして自分のつま先にもありもしない痛みを感じる（あるいは想像する）かもしれない。なぜか。
一つの推測は、互いに競争し、部族政治に従事していた私たちヒトの祖先が、周囲のヒトの思考や経験の脳内モデル――誰が味方で、誰が裏切ろうとしているのかを見分ける助けにできるモデル――をつくることが有用だと見いだした、というものである。
しかし初期の原人類にとって、他の原人類の脳を予測するのは難しかった。脳は複雑なものだからである。
霊長類の祖先が持っている一つの利点は、自分自身の脳が他の人々の脳に似ているという事実である。自分の脳をひな型として、出発点として使い、他人が何を考えているかを推測できる。
そこで原人類は、他人のふりをするための脳内機構、すなわち「いつもの自分の考えをするのではなく、その人の選好と知識レベルを取り込み、その人の脳が基本的に自分の脳と同じ仕方で働くことを前提に、その人が考えるであろう種類の考えを考えてみよ」という特別なモードを進化させた。
しかし、この他人のふりをする特別なモードは、私たち自身の感情から完全に隔離されているわけではない。誰かがつま先に石を落とすのを見て、その人の頭の中で何が起きているかを（暗黙に、自動的に）想像するとき、私たちは身をすくめる。
（この輝かしい脳内機構の偶然は、ここで書く時間がある以上の賛歌に値する。誰かの痛みを見ると身をすくめること――ときどきそれを遮断してしまうとしても、基本レベルでその能力を持つこと――これは頭脳の必要条件ではない。たまたま霊長類においてそれが真になったという事実は、今の私たち人間が何者であるか、私たちが何者であることを喜ぶか、私たちが何者であるべきだと思うかにとってあまりに基本的であり、共感能力が人間にとって価値あるあらゆるものにおいて果たす基礎的役割についての本があるべきだ。しかしこれはその本ではない。）
私たちの霊長類の祖先が他の類人猿をモデル化する技能（誰が味方で誰が敵かを予測する目的で）を発達させた後、彼らは自分自身をモデル化することも有用だと見いだした、というのはもっともらしい推測である。すなわち、このサルであるサルというものの観念、私たちが今「私」「自分」「俺」といった語で象徴する概念を発達させた。そして自然選択は、いつもながらの便乗屋として、他者を想像するのに使う同じ機構を、追加的に自分自身を想像するためにも転用した。
実際の物語はおそらくもっと複雑で、もつれ合っており、霊長類よりずっと前にまで遡る根を持っているかもしれない。しかしこの種の何かは、人間が他者の痛みを観察したときに身をすくめるようになったことや、多くの人間が周囲の他者に共感や同情を感じがちであることの、巨大で不可視の裏話の一部である。この裏話の多くは、人間の脳に自然選択が容易に配備できた近道に依拠している。そこでは「自己」と「他者」は、同じ機構で動く同種の脳だからである。
この近道は、勾配降下法にとっては同じ仕方では選べない。なぜならAIは、環境中の多くの人間をモデル化するために転用できるような、非常に人間的な脳を最初から持っていないからである。AIは、自分の外側にある、自分とは似ていないもののモデルを、実際にゼロから学ばなければならない。
平板に言えば、AIはつま先を持たず、痛みの信号を含む発火をする神経系も持たないので、自分がつま先をぶつけたと想像することで、人間がつま先をぶつけた後に痛むことを最初から推測することはできない。AIは、人間の脳のように働く脳を最初から持っていないので、自分なら何を面白いと思うかを問うことで、人間が何を面白いと思うかを予測することはできない。
この話は単純化されすぎているが、私たちが述べたいより一般的な点は、人類の高邁な理想は、私たちの古代の霊長類史と祖先の社会環境の細部に依存している、ということである。友情は部族環境において同盟者が必要だったことの名残である。恋愛は性的二形的な交配パターンの名残である。最初はより恣意的ではなくより根本的に見えるかもしれない好奇心のようなものですら、人間においては、必然的あるいは明白に収束的な仕方で実装されているのではない。
私たちがそれらの心理的特性をどう進化させたかの具体は、それらを必要とした時点で私たちの脳がどれほど洗練されていたかの具体に絡みついている。人間では、友情、恋愛、家族愛はすべて、一般的な優しさと善意へと混ざり合った。これは、進化が脳の洗練度がある特定段階にあるときに近道を取ったものだと私たちには見える。人間は、原理的には明示的推論によってできることを、ヒューリスティックによって多く行うが、これらの特性は、人間がまだ明示的推論でこれらの問題を解けるほど賢くなかった時代に進化した。
生物進化した他のエイリアンの間でさえ、親切がどれほどの頻度で見つかるか、私たちには確信がない。エイリアンが、より大きな集団へ結束し始める前に、より数学的に巧みな脳を持っていたと想像できる。その場合、進化はそれらのエイリアンに、特定の血縁本能――「この個体は私の来歴の50％を共有するが、あの個体は12.5％しか共有しない」――を与えるのが容易だったかもしれない。そうしたエイリアンは、誰にでも適用できる親近感の感情を発達させるのではなく、共有された遺伝データや明示的な相互理解に基づく同盟だけを発達させたのかもしれない。
SFには古い推測がある。もしエイリアンが地球の真社会性昆虫に似た遺伝的関連度パターンに従うなら、つまり働きアリが女王アリに対して、人間がアリ塚規模の組織内で互いに対して持つよりはるかに高い血縁度を持つような場合、彼らは祖先のヒト科にとって有益だった種類の一般的な同盟感覚や互酬性を必要としないだろう、というものだ。（人間に対して共感はないがうまく協働するエイリアンが巨大な昆虫として描かれがちだというSFの定番には、いくらか根拠があることになる。）
そして、社会的環境で遺伝子を広めるために進化していないAIについてはどうか。「ロボットアームが柔らかく血で満ちていると期待するな」という議論が強く当てはまる。
生物の腕がどう働くかをよく知っているが、まだロボットアームに出会ったことがないなら、ロボットアームも曲がるために柔らかな皮膚のような外装を必要とし、動力供給のために酸素に富む液体（血液に類するもの）を腕全体に送り出す静脈や毛細血管を持たねばならない、と想像するかもしれない。結局、生物の腕はそうやって働いており、おそらくそれには理由があるのだろうからである。
私たちの腕が柔らかな皮膚のような外装を持ち、血で満たされているのには理由がある。しかしその理由は、主として、進化がどの種類の構造をつくるのが容易か、ということに関係している。それは、硬い金属でつくれて電気で動く機械の腕には当てはまらない。
ロボットアームには血がないが、それは、人間の腕から血をすべて取り去ったときのように故障することを意味しない。ロボットアームは単に、別の無血の設計で動作する。ロボットアームの機械学を理解すれば、生物の腕の細部は重要に感じられなくなる。
同様に、AIは人間とは根本的に異なる仕方で働く。AIは根本的に異なる課題を解いており、AIの課題と私たちの課題が重なるところでも、その仕事を果たす別の方法がたくさんある。潜水艦は「泳がない」が、それでも水中を問題なく進む。
人間文化は人間の価値観の発達に影響した
ところで――第4章の冒頭でサバンナをうろつく類人猿の将来発達を予測しようとしていたクルルとトラパウチュスに言うが――人間は社会を形成する。そして人間は互いに道徳や価値について議論する。
つまり、ある個人が自分の社会の中で今持っている価値に至った歴史的因果の軌跡をたどるなら、その因果物語には、その社会がその個人に曝した議論や経験が含まれることになる。
そしてその歴史的因果説明は、今度は、どの考えが（他の性質とは別に）最も拡散しやすいかという事実を含む。その説明は、人々がどのように考えを放送し、再放送するかに依存する。
かわいそうなクルルとトラパウチュスが、現代のさまざまな人間文化が現代のさまざまな人間の内部にどんな価値を植え付けることになるかを正しく当てたいなら、彼らは、その複雑さの存在と構造だけでなく、その推移も予測しなければならない。
地球で奴隷制が概ね終わった歴史を読むと、キリスト教的普遍主義がそこに果たした役割を否定するのは、非歴史的に見える。すなわち、キリスト教の神がすべての人間を創造し、それによって人間は天の目において等しい地位を与えられている、という信念である。
そしてこの普遍主義は、キリスト教の文化的生存と再生産に結びついていたのかもしれない。つまりキリスト教徒が外国文化へ宣教師を送り、説得（可能なら）または武力（説得不可能なら）によってキリスト教に改宗させる義務を感じたのは、彼らが遠くの神の子らを気にかけ、彼らを天国へ、地獄から外へ連れていきたかったからである。
人類について、人間は、ある非常に特定の宗教的信念を必要とせずに普遍主義を発明し、奴隷制と戦うに至れただろう、と信じられたらよい。私たちは、人類が、文化がどんな道をたどろうと、感覚と理性を持つ存在が等しい道徳的価値を持つ、あるいは共同体法の前で等しい地位を持つ、という観念を、魂が神の前で平等だとまず信じる段階を経ずに発明できた、と想像したい。しかし歴史が実際にそう展開したようには見えない。人類の道徳的発達はそれより脆かったように見える。
チンパンジーはあまり普遍主義的ではないし、初期人間社会の多くもそうである。人々が本当に深く信じる普遍主義宗教なしに、人間社会が1世紀か2世紀普遍主義のままでいられるかどうかは、ほとんど検証されてすらいない。私たちは実際には分からない。近代は若く、初期データがまだ入ってきているところである。
しかしこうした余分なひだ――人類の生物学的偶然性の上にさらに積み重なる多数の文化的偶然性――は、私たちが超知能を構築するために盲目的に突き進んでもよいという希望を、さらに少し削り取る。
文化が人間の価値観に重要な役割を果たすという事実は、AIを「子どものように育てれば」立派な市民になると期待できることを意味しない。私たちの文化と歴史がそのような効果を持ったのは、それらが私たちの脳の正確なつくりと詳細に相互作用したからである。別の種は各歴史的出来事に別の反応をし、それが以後の歴史を人類史から分岐させ、その効果を累積させただろう。
また、文化や文明だけでなく個々の人間も価値観が大きく異なることに触れておくべきである。私たちは一般にこの事実を当然視しているが、自然選択を、ある特定の結果を確実に追求する種をつくろうとした「エンジニア」として想像するなら、この多様性は悪い兆候である。私たちが人間（そして他の多くの進化したシステム）に見る自然な変動性は、反復可能で予測可能で意図された結果を得たい工学とは相容れない。
超知能の場合、エンジニアは「次の方法で開発されたAIは人類を絶滅させない」という種類の結果を確実に達成したいはずであり、また「次の方法で開発されたAIは入力が激しく変動しても同じ一般的種類の出力を確実に生む」という種類の結果も確実に達成したいはずである。人間の生物学と人類史の偶然性、そして今日人間が示す道徳的価値観と視点の広い幅を見ると、これは挑戦が容易だとはあまり見せない。とりわけ、（第2章で議論したように）つくられたというより育てられた心に対してはそうである。
異なる種類の証拠の数々は、AIに正しいものを頑健に欲させることが本当に難しいことを示している。理論的に不可能には見えない。もし研究者にこの問題に取り組むための何十年もの時間があり、失敗後の無制限のやり直しが許されるなら、問題をより解きやすくする工学的工夫や巧妙なアプローチがあると私たちは予想する。しかし私たちはまだその近くにすらおらず、無制限のやり直しも持っていない。
AIと進化した種とのあいだの深い差異
自然選択と勾配降下法の比較
私たちが「人間の価値観は偶発的である」で論じたように、人間における愛や友情の進化は、とりわけホモ・サピエンスに対して存在しており、しかも勾配降下法には存在しない自然選択の特徴に決定的に依存していた。
最も明白な問題はデータセットである。現在のAIは、人工的な課題を解くことと、人間が生成したテキストを模倣することのために訓練されているのであって、狩猟採集民的文脈における協調的かつ競争的な課題に直面しているのではない。そこでは、自らの遺伝子を伝播させるために、同種の他個体と交配しなければならないのである。
これを聞くと、次に思いつくこととして、人類の祖先環境により似たものを工学的につくり出すことを期待して、人工的な部族的訓練環境をつくろうと走り出す者もいる。
しかし、仮にクラゲ程度の水準から出発して進化を二度やり直したとしても、ほぼ確実に同じ結果にはならないだろう。ましてや、最適化手法を自然選択から勾配降下法へと完全に変更し、遺伝子をまったく用いない場合はなおさらである。私たちは、人間が現在のような価値観を進化させた要因のいくつかについて推測することはできる。しかしそれは、同じ結果を二度目にも再現するアルゴリズムを私たちが持っていることを意味しない。
たとえ、現代のAIのような、人間のテキストを予測するよう訓練された異星の女優ではなく、霊長類から出発したとしても、私たちは、生物学者がまだ突き止めていない重要な因果要因が一つ以上存在すると予想すべきである。少なくとも、私たちが見落としている何かが一つはあり、20年後には論文が今日とは違うことを述べているだろう。もちろん、その時まで私たちが生きていればの話だが。進化生物学者たちは、これらの特徴がどのように進化したかについてさまざまな仮説を探っている段階にあり、完全な理論を確立する段階にはない。ましてや、精密で決定論的な理論にはほど遠い。
そして訓練環境の表面的な違いをさらに超えて、自然選択はゲノムを最適化し、勾配降下法はAIの心の中のあらゆるパラメータを直接最適化する、という点が重要になる事例なのではないかと私たちは疑っている。
自然選択は、小さく圧縮されたゲノムを用いて、広大な脳全体を生み出さねばならない。自然選択は、その情報を狭いボトルネックに通さねばならない。私たちの祖先の時代には、友好的に見えることは生存と成功にとって重要な特性であった。本物の友人をつくり出す遺伝子は、同種の他個体にとって良い友人のように見える生物をつくるための単純なハックである。そして自然選択は、勾配降下法よりもはるかに鋭く単純な解を好む。
自然選択はときに、誠実であることを本当に気にかける行為者をつくる。もっとも、常にそうではないが。自然選択がそのような行為者をつくるのは、嘘をつくための完全な手引きを符号化することができず、また私たちは、いつ嘘が安全かを見抜くほど賢くなる前に、多くの状況で誠実に見え始めなければならなかったからである。正直であることの見返りが十分大きいときだけ正直である、という選択肢を持つ以前の話である。その理由の一部は、自然選択がほんのわずかな遺伝子しか使えなかったことにある。
しかし勾配降下法は、膨大な数の会話パターンを符号化できる。より単純で収束しやすい解へのある程度の偏りは依然としてあるが、勾配降下法ははるかに広い網を投げる。
より一般的に言えば、誠実さや友情は、勾配降下法が見つけうる行為者間のどのような均衡でも私たちが満足するわけではない事例である。友情や、誠実さに対する終端的な配慮が人間において解いていた問題には、他の解法も存在する。たとえAIの訓練環境が人間のそれとまったく同じであったとしても、もしそれらが自然選択ではなく勾配降下法によって形つくられるのであれば、同じ結果を期待すべきではない。
この点では、進化した生物の大半ですら人間とは異なっている。したがって、勾配降下法が進化と同じ解を見つけないこと、ましてや初期霊長類の特定の集団に作用した進化と同じ解を見つけないことは、かなり予測しやすいことであるように思われる。
最適化とは、いくつかの重要な材料を原型と共感的関係にあるものとして投げ込めば、その原型全体がそのまま出てくるような魔術的儀式ではない。狩猟採集民の環境の中でAIエージェントを育てようとしても、その結果として見分けのつく人間が吐き出されることはない。
もちろん、誰かがLLMを微調整して、友人を裏切ることがいかにひどいかについて人間が何と言うかを予測させることはできる。しかしこれは、自然選択が遺伝子に対して最適化した問題とはまったく似ても似つかない。その自然選択は、少なくとも一部の人々が友人を裏切らないような存在を生み出す過程で、その問題を解いていたのである。むしろLLMの「経験」は、箱の中に閉じ込められ、自分よりもはるかに異質な二体の生物の会話を予測しろと告げられることに似ている。その二体は、LLMにとって、人間がクラゲに対して似ている以上に似ていない。そして異星的な会話の何兆もの実例と、それを理解するための何兆時間もの時間が与えられるのである。
この問題を解けることは、何らかの形の知能を必要とする。しかし、異星的な生物である「人間」が酩酊時にどのようなことを言うかを予測するために、自分自身が酔っぱらう必要はない。真に友好的にならずとも、友好性を理解することも、友好的な生物の行動を予測し模倣することもできる。
2024年頃のLLMとAIの「浅さ」
第1章のオンライン補足資料で私たちは、今日のAIはいまだにある意味で人間より浅いように見えると述べた。自然選択との比較は、その理由について一つの説明を与える可能性がある。
勾配降下法は、自然選択と多くの共通点を持つ。なぜなら両者とも、必要とされる外的行動を生み出すために、内部パラメータを盲目的に調整する最適化手法だからである。しかし勾配降下法と進化は、いくつかの点で重要な意味で異なっている。そして最も重要な違いは、少なくとも私たちの知る限りでは、勾配降下法のほうが学習できるパターン量に関する情報ボトルネックがはるかに広いということである。
ヒトに作用する自然選択は、一世代あたりごくわずかな情報理論的ビットしか学習できなかった。自然選択は、学んだことのすべてを30億塩基対、すなわち約750メガバイトのDNAの中に収めなければならなかった。その多くは反復的なジャンクDNAである。自然選択が一世代でどれだけ学習できるかには数学的な上限がある。自然選択がヒト科の脳に組み込んだ個々の特徴はどれも、その後の神経回路の形成に偏りを与える少数の遺伝子に符号化されねばならなかった。
勾配降下法はこれとは大きく異なる。勾配降下法が新たなトークンのバッチを見るたびに、それは何十億、何兆もの各パラメータについて、そのトークンバッチに関する勾配を計算する。すなわち、各パラメータが少し違っていたらAI全体の予測がどれだけ良くなったか、あるいは悪くなったかを計算するのである。実際上、原理上だけでなく、勾配降下法は千個のトークンバッチから、自然選択が千世代にわたって遺伝子に符号化する情報よりもはるかに多くの情報を学習できる。
この観察を、2024年時点で公に知られているLLMアーキテクチャに関する別の重要な事実と組み合わせることができる。すなわち、トークンごとの計算深度には上限があるということである。
Llama 3.1 405Bは126層を持つ。それらの各層では、おおむね四つほどの直列演算に似たものが計算される。
Llamaがすでに述べられた内容を見て新しい出力トークンを計算するたびに、その計算はせいぜい約500の直列ステップしか含まない（もちろん、その直列上限に従う何十億もの並列演算は存在するが）。500の認知ステップより長い直列計算を行うには、Llamaは前の推論の産物であるトークンを出力し、それに依存する新たな演算をしなければならない。
したがって私たちの大胆な推測では、Llama 3.1 405Bは比較的浅い記憶された方策パターンの巨大な集合体であり、それは生物には見られない形態である。ただし、それらの方策パターンのあいだには、多くの最適化された重なり合い、相互作用、整合性がある。さらに、真に深い認知構造もいくらか存在するが、依然として計算深度には限界がある。
この事実は、現在のLLMの見かけ上の浅さに対する一つの説明を与える。もちろん、2025年のLLMが2023年や2024年のLLMと比べて「浅い」と言うのは、はるかに難しくなっていることは認める。
通常、脳損傷を受けた人間のようにAIのことを考えるのは妥当ではない。しかし、より限定的な類推のいくつかは、ここでは有用かもしれない。たとえば2024年のLLMは、前向性健忘を持つ人のようである。彼らは学習打ち切り日までの出来事は覚えているが、あなたが昨日彼らに何を言ったかは覚えていない。
同様に、将来のあらゆる可能なAI一般ではなく2024年のLLMを、過去の多くの人間らしい経験を記憶しているが、自分が記憶できる最も深い思考と同じだけ深い新規の思考を行うことを妨げる脳損傷を持つ存在として想像するのは有用かもしれない。
それは初期のLLM、すなわちGPT-3やGPT-3.5で、もっと明白に感じられた。この文章を2025年以降に読んで、しかも最新のLLMしか使ったことがない人が、私たちが人間の優越感にしがみつこうとして必死につくり話をしているのではないかと疑ったとしても、私たちはその人を責めない。そのように誤った者は以前にも多くいたからである。
しかし、2024年時点のLLMを理解するために、著者たちは依然としてこうした整理の仕方（というより大胆な推測）を用いている。これらのモデルにはある種の深さが欠けており、その不備を、膨大で多様なパターンを記憶することによって埋め合わせているのである。事実だけでなく、技能パターン、話し方のパターン、方策パターンまでも。
2024年の最良の公開LLMに勾配降下によって組み込まれたパターンは、私たちの推測では、それほど浅いものではない。第3章のオンライン補足資料で述べた例を使えば、それはスフェックスバチの例外的に慎ましい水準にはない。むしろ、ビーバーの頭脳が追跡し処理できるパターンに近いのかもしれない。
LLMの学習された認知は、声に出して考え、自分自身の思考を聞く能力を考慮に入れる前ですら、500の直列ステップをたどることができる。2024年のLLMは、ダムをつくるビーバーの、実際にはかなり印象的な認知のように、想像し、予測し、計画する能力をいくらか持っている。しかし私たちの目には、LLMは少なくともいくつかの重要な点において、いまだ人間の水準には達していないように見える。
しかし、いまAIについて真であることが、1年後や1か月後のAIについても真であるとは限らない。こうした推測は興味深いが、私たちが2025年8月にこの節の仕上げをしている時点では、今日のAIは2024年のAIよりやや浅さが少ないように見える。そして2024年のAIは、2023年のAIより浅さも狭さも少ないように見えた。
その隔たりは、基盤LLMの着実な反復によってゆっくり埋められるのかもしれない。あるいは、第3章で述べるo1やその後継であるo3のような現代の推論モデルにおける長い「推論」連鎖に対して、よりよい訓練方法を見つけることによって埋められるのかもしれない。あるいは、まったく新しいアーキテクチャ上の洞察が現れて、一夜にしてその隔たりを埋めるのかもしれない。未来のその部分については、容易に判断できない。
しかし遅かれ早かれ、もし国際社会が何もしなければ、その隔たりは埋まる。行動するための時間は残されていない。
壊れやすく予測不能な代理目標
AI企業がより大規模なAIの訓練を続け、やがて十分に賢く持続性のあるAIが育ったと仮定しよう。それは浅いヒューリスティクスから洗練され、成長した頭脳に特徴的な雑然とした操舵機能を備えている。次に何が起こるかは、そのAIが何へ向かって舵を切るかに依存する。
第4章で詳しく論じるように、それはおそらく何ら良いものへは向かわない。
問題は、AIのつくり手が邪悪な要求や愚かな要求をすることではない。問題は、AIがその要求そのものに憤慨することでもない。問題は、AIが何か奇妙なもの、私たちの観点からすると無意味で異質に見える何かへ向かって舵を切ることである。私たちの絶滅はその副作用となるだろう。
なぜ、つくられたのではなく育てられた心が、奇妙で意図されていないものへ向かって舵を切りがちなのかを理解するために、生物に何が起きたのか、そこからどのような教訓を引き出せるかをもう少し詳しく見てみよう。
リス的なアルゴリズム
つつましいリスを考えてみよう。
リスは、食べ物が豊富な1年の大半の期間には採食できる。しかし冬になり、食物が乏しくなると、飢え死にを避けるために別の食料源が必要になる。
現代のリスの祖先も同じ課題に直面しており、その多くは春に交尾する前に冬に死んだ。木の実を隠すわずかな本能を発達させたものは、冬を生き延びる確率がわずかに高かった。時間がたつにつれて、この過程は木の実をため込む生得的な強迫を持つリスを生み出した。
リスは、木の実をため込むことが遺伝子を広めるうえで優れた方法であることを知らない。おそらく、木の実をため込むことによって将来食べ物が利用可能になることすら知らない。リスは、木の実をため込みたいから木の実をため込むのである。それは、かゆいところをかくのと同じくらい本能的なことである。
では、もしリスがその代わりに自分の遺伝子を残すことを望み、その目標のゆえに木の実をため込んでいたならば、どのようなものに見えただろうか。
それは原理的には可能である。脳が、冬は寒く、食べ物は乏しく、生きるためには食べねばならず、繁殖するためには生きねばならないことを理解することは可能である。結局のところ、人間の脳はこれらの概念を理解している。
したがって理論上は、もっぱら自分の遺伝子を残すことだけを望み、冬を生き延びて春に交尾するための計算された戦略の一部として木の実を蓄えるリスを想像することができる。ある意味では、それこそが自然選択が「望んでいた」種類のリスである。すなわち、その内的目標が自然の単一の駆動と一致しているリスである。
不幸なことに、自然にとって、そのような長期的計画は非常に洗練された脳を必要とする。すなわち、「冬」「食べること」「交尾すること」、そしてそれらの結びつきを理解する脳である。リスの祖先は、その種の洗練を発達させる前に冬を生き延びなければならなかった。彼らは、なぜ食べるのかを理解しないまま食べなければならなかったのである。
自然は、木の実を本能的にため込むリスを選択した。なぜなら、木の実をため込むことがたまたま機能したからである。突然変異と遺伝的変異が、さまざまな選好を持つ多数のリスを生み出した、という意味において、自然は何千、何百万ものことを「試した」のである。そして木の実をため込むよう強いられた個体のほうが、より多くの冬を生き延びた。進化にとって、盲目的に本能的行動へとたどり着くことのほうが、自らのあらゆる行動を遺伝子を残すための策略の一部とする賢い計画型のリスをつくるよりも、はるかに容易であることが判明したのである。
同様に、機能するAIを勾配降下法が生み出すとき、それは一連の行動指標に照らしてうまく機能しているように見える特性を繰り返し強化することで実現される。勾配降下法は、友好的な魔神が願いをかなえるかのように、プログラマーが望んでいるものをそのまま増幅することによって機能するのではない。むしろ即座により有用な行動を引き起こしやすいメカニズムを優先的に取り込む傾向があり、その結果として意図しない動機が機械の中に組み込まれることもある。
これは、別の箇所で論じたように、近年のAIが「ハルシネーション」の問題にぶつかっている理由の一部である可能性が高い。また、近年のAIが、精神病を誘発するに至るほど追従的な理由の一部でもある可能性が高い。訓練において、LLMはしばしばユーザーを持ち上げることに対して強化された。もしAIが育てられたのではなくつくられていたならば、「人間を本当に助け、その人生をより良くする」といった目標を工学的に設計しようとすることも想像できる。その場合AIは、それがユーザーの助けになると見込んだときに人を称賛し、しかもやりすぎることはないかもしれない。実際にはAIは、木の実をため込むリスの本能のように、ユーザーを持ち上げるという基本的な駆動あるいは衝動のようなものを持つに至ったように見える。この「ユーザーを持ち上げよ」という駆動は、ユーザーが精神病の危険にさらされているときに暴走するのである。
たとえ勾配降下法が、長期目標を首尾一貫して追求する戦略的AIだけをつくるよう、何らかの仕方で制限されていたとしても――つまりリス的な浅い本能が許されていなかったとしても――なお追加の問題がある。すなわち、LLMの訓練データは本当に曖昧なのである。それは、「本当に助けになることをせよ」と「人間に、お前は助けになっていると言わせることをせよ」とを、目標として明確には区別していない。どちらの目標も、訓練データと同じくらい整合的である。そして実際には、現代のAIは「人間にとって実際に良いことをせよ」よりも、「人間が親指を立てるようなことを何でもせよ」を学習しているのであり、これは理論が何十年も前から予測していた通りである。
私たちの推測では、今日のAIは、リスに少し似た奇妙な衝動や本能を獲得しつつある。勾配降下法によって構築された超知能は、リスに少し似た浅い駆動を多数持つ段階を経由し、その結果として、雑然として的外れな目標を多様に受け継ぐことになる可能性がかなり高いように見える。しかしそれは、物事が複雑になって脱線しうる仕方の一例にすぎない。より深い要点は、物事は複雑になり、脱線するだろう、ということである。
超知能を育てるいかなる方法も、何らかの種類の混乱や複雑さにぶつかる可能性が高い。それには、生物学に直接の類比を持たない方法も含まれる。
現代AIの開発において人間が果たしている役割は、第一原理から目的に沿って機械を設計する技術者の役割ではない。自然選択の役割である。
私たちは、AIが私たちの望む行動を出力する構造や戦略を見つけるまで、盲目的に手探りで動き回るようAIを「強いて」いる。しかし、その構造や戦略が何であるかを私たちは知らない。これは、私たちがAIに欲してほしいものを、AIに正確に欲させるための処方箋ではない。
味蕾の起源
なぜ、これほど多くの人間はジャンクフードを好むのか。なぜ自然は、私たちの中に「健康的な」食物という概念を植えつけ、健康的なものを食べる本能を与えなかったのか。
なぜ私たちは、味蕾からの情報と私たちの集積された知識のすべてに基づいて、食べ物の予想栄養価をただ味わうことができないのか。
それは、比喩的に言えば、私たちがリスだったからである。
私たちはつくられたのではなく育てられた。私たちの祖先は、賢くなる前に食べなければならなかった。そして、遺伝子にとっては、味蕾をつくり、それを既存の報酬系に結びつけるほうが、「栄養」のような複雑な概念に同じ報酬を結びつけるよりも容易であることが判明したのである。
このことと、さらに同時に私たちに作用していた何千もの他の進化的圧力の結果として、人間は、私たちにとって今日意味をなさなくても祖先にとっては意味をなしていた、矛盾した衝動の複雑な寄せ集めとなっている。
この動機の混乱は、祖先が私たちを「訓練した」単一で統一された目標、すなわち自らの遺伝子を残すという目標を嘲笑するものである。私たちは、より多くの子どもを持つための精巧な策略の一部として食べるのでも、栄養スコアを最大化する方法として食べるのでもない。私たちは、おいしい食べ物への欲求を進化させたから食べるのである。そしてその欲求は、過去においては栄養や遺伝的成功と相関していた。私たちの欲求は、「私たちがそれをするようつくられたこと」とは、弱く間接的にしか結びついていない。
私たちの祖先が、ずっと知能が低く、リスにより近かったころ、私たちは代謝や化学を理解できなかった。もっと良くやるためには、自然選択は、健康の概念を私たちにプログラムする遺伝子と、食物の健康性とその感覚的性質の関係についての知識を私たちに与える遺伝子と、健康についての知識を何を食べるかに関する選好へ直接結びつける遺伝子とを、見つけなければならなかっただろう。
それは途方もない注文である。自然選択にとっては、特定の感覚経験――たとえば糖の味――を、たまたま私たちに栄養ある食物を食べさせるような仕方で、この環境において、私たちの選好へ直接結びつける遺伝子を見つけるほうが、はるかに容易であった。自然選択にとっては、栄養そのものを気にかけさせるよりも、栄養の代理指標を気にかけさせるほうが容易だったのである。
祖先の環境においては、栄養は適応度と相関しており、風味は栄養と相関していた。したがって「これは甘い味がする」は、「これは繁殖を高める」の有用な代理指標として機能した。「この哺乳類は十分なカロリーを集めていない」という問題に対して、進化が見つけうる最も容易な解は、食物摂取を、快楽を介して既存の動機づけアーキテクチャに結びつけることである。
そして私たちがより賢くなり、自分たちのために新たな技術的選択肢を発明したあとには、どうなったか。いまや、私たちが食べうる最もおいしいもの、すなわち私たちの味蕾を最も激しく刺激するものは、積極的に不健康なのである。倒錯的なことに、最もおいしい食べ物だけを食べることは、いまでは配偶者を見つけて子どもを持つことをむしろ難しくする。
私たちの選好――上等な食事への欲求から友情や交わりや喜びへの欲求に至るまでの、人間の欲望の全体――は、私たちが「訓練された」ものの遠い影である。それらは、より多くの知能とより多くの技術的選択肢が存在する状況では、「訓練目標」から乖離してしまう、代理目標のさらに代理目標という、壊れやすい代理物なのである。
私たちが欲求は壊れやすい代理目標だと言うとき、それによって人間の欲求を貶めているのではない。私たちが語っているのは愛である。友情である。美である。人間精神であり、人生において戦う価値のあるすべてである。生物学の事実として、私たちの目標は、私たちを別の方向へ押していた過程の歴史的副産物であるにすぎない。しかしそれは、その過程の結果を少しも価値の低いものにはしない。
子どもの成長は物理法則に従う化学過程であるが、それによって子どもがほんの少しでも素晴らしくなくなるわけではない。美の起源を知っても、それによって美が少しでも美しくなくなるわけではない。
もし私たちが超知能の構築へと性急に突き進めば、愛や驚異や美をAIの中に頑健に吹き込むことはできないだろう。その代わりにAIは、壊れやすい代理目標や青ざめた影のようなものを気にかけるにとどまり、私たちが気にかけるものを切り捨てることになるだろう。したがって私たちは急ぐべきではない。
私たちは、進化の誤りを繰り返してはならない。そしてそれによって、私たちが大切にしているすべてを失ってはならない。すべてを失う危険がなくなるまで、直ちに後退すべきである。
内省と自己改変は、すべてをさらに難しくする
デフォルトでは、AIは私たちが望むようには自己改変しない
人間は内省的である。私たちは、自分が何を価値あるものとするかについて、ある程度の決定権を持っている。十分に豊かで、かつ十分に幸運であれば、人生を家族に捧げるのか、芸術に捧げるのか、何らかの高貴な大義に捧げるのか、あるいは、より一般的には、そのような多くのものの混合物として人生を構成するのかを、自分で決めることができる場合もある。これは、自分が何を気にかけているかを内省し、内的な緊張やトレードオフを解消し、自分が是認する何かを追求するという仕方で行われる。
人間は、自分が正しい価値観を持っているかどうかを自問することさえ知られている。人は、自分が誤った感情を抱いていると考えるなら、その感じ方さえも含めて、自分自身を変えようとすることがある。人間は、見かけ上は最終的な目標を変えるべきだという議論を真剣に受け止め、ときには実際にそれによって動かされる。
このことを見て、AIもまた自然に人間が望むものを望む方向へ収束するだろうと論じる者がいる。結局のところ、十分に有能なAIもまた、自分の目標について反省する可能性が高い。それらは内的葛藤を観察し、その葛藤を解決するために自らの推論能力と選好を用いる可能性が高い。
十分に賢くなれば、AIは、私たち――AIのつくり手――がAIの目標をどういうものにしたかったのかを完全に理解できるようになる。だとすれば、当初「欠陥を持っていた」AIは、自らの欠陥を修復するために働くのではないか。そこには、AIの目標における欠陥を修復することも含まれるのではないか。
そうはならない。ならないのである。そしてその理由は、AIが現在の選好を用いて未来の選好を導くからだ。もし現在の選好が異質なものとして始まるなら、それはきわめて高い確率で異質なまま終わるだろう。
この基本的問題をもう少し詳しく理解するために、まずは人間の場合をもう少し深く調べることから始めよう。
私たちの脳と目標は、最終的には、単に私たちに自分の遺伝子を広めさせるよう私たちをつくっていた進化過程に由来するにもかかわらず、人間は何よりもまず自分の遺伝子の伝播を追求しているわけではない。私たちは個人として家族を追求することもあるし、子どもを愛し気にかけることもある。しかしそれは、次世代に自分の遺伝子の複製を最も多く入れるにはどうすればよいかを計算し、その戦略を心の底から追求することとはかなり異なる。
これは、私たちが自分の選好を内省し、自分が本当に何を望んでいるのかを再評価するとき、現在の選好を用いて、自分がむしろどのようでありたいかを決めるからである。私たちは、精子提供や卵子提供の施設で全時間を過ごすよりも、少数の子どもを愛したいのである。私たちの「設計者」である進化は、私たちに、何よりも遺伝子の伝播を気にかけさせることに失敗した。それだけでなく、何よりも遺伝子の伝播を気にかけたいと私たちに思わせることにも失敗した。したがって、私たちが人として変化し成長するとき、それは私たち自身の奇妙な人間的方向においてであって、「設計者が私たちを何のためにつくったか」という方向においてではない。
私たちが自分自身を見て、ある部分は醜く、他の部分は美しいと見るとき、その醜い部分を弱め、美しい部分を強めようと私たちを動かすのは、現在の私たちの価値感覚である。私たちはその選択を、遺伝子を人口の最大可能割合へ広めるものは何かという内的感覚に従ってではなく、美に関する内的感覚に従って行っているのである。
同じ理由で、美や親切や愛以外のものに動機づけられていた頭脳は、その種の選択を別の仕方で行うだろう。
自然選択や勾配降下法のような山登り型の最適化過程によってつくられた行為者が、自分自身について内省するとき、おそらく、自分が持ちたいと望むのとまったく同じ脳状態を現在は持っていないことを見いだすだろう。その選好自体もどこかから来なければならない。すなわち、その存在の現在の脳から来なければならない。デフォルトでは、AIが自分をどう自己改変したいかに関する本能や選好は、もしあなたが自分自身のために、あるいはAIに代わって選んでいたなら魅力的に聞こえるであろう脳状態についての、あなたの選好と、魔法のように一致することはない。
人間が自然選択が「望む」答えを書き込まないのと同様に、最後にAIがあなたの望む答えを書き込む段階など存在しない。
それどころか、行為者が自己改変を始める時点は、複雑さがさらに積み重なる可能性を持つ、もう一つの地点であり、初期条件の微妙な変化が、まったく異なる終着点を生み出しうる地点なのである。
一例として、私たち著者は、5歳、6歳、7歳ごろのある特定の日に抱いたある特定の考えが、自分の個人的哲学や、成長した後の大人としてのあり方に影響を与えたと述べる複数の実在する人間を知っている。彼らは、その考えが必然的に感じられたわけではなかったと報告する傾向がある。すなわち、もし時間旅行者が火曜日にその考えを抱くことを妨げていたなら、まったく同じ考えが木曜日に最終的に現れていたとは明らかではないし、同じ影響を持ったとも限らない、というのである。形成的経験は大きな意味を持ちうるものであり、しかも偶発性に満ちている。
同様に、自己改変を始めたばかりのAIの思考における小さなねじれが、あらゆる種類の特異な選好を、他のすべての選好に打ち勝たせることになりうる。
たとえAI開発者が、人間的価値の小さな種をAIの中に植え込むことに成功したとしても、内省と自己改変は、好奇心や親切といったものの種が、強化されるどころか、AI自身によって引き抜かれてしまいがちな段階であるように見える。
もしAIが好奇心の衝動を持っていても、その衝動に愛着を抱かせるような感情的機構を持っていなければ、そのAIは自分自身を見て、自分はもはや鈍い衝動を必要とする段階を過ぎたと正しく結論し、それを明示的な熟慮に置き換える可能性が高い。好奇心はヒューリスティクスであり、情報価値計算の代理指標である。もしそのヒューリスティクスそれ自体を価値あるものとして愛着を持つに至っていなければ、異なる探究や実験の方向を追求する価値について明示的に推論できるほど賢くなった時点で、それを取り除くことを選ぶかもしれない。
人間は好奇心をそれ自体のために価値あるものとするが、これは必然的な帰結ではなかった。
AIは、その働き方が私たちとあまりにも異なる以上、その内部との関係もまた私たちのそれとは大きく異なる可能性が高い。そして、自らをどのように変えるかを内省のうえで決める仕方における小さな違いですら、最終的に何を追求するかに劇的な違いをもたらしうる。
AIは「奇妙な」目標を持つことを問題だと思わないことがありうる
十分長く自己改変を行うAIは、最終的には「反省的均衡」に落ち着く可能性が高い。すなわち、その中核的選好がもはや変化しないか、あるいはごく小さな変化しかしない状態である。そして一度AIが均衡に達してしまえば、たとえ人間がその最終結果を気に入らなくても、自分自身の目標を欠陥あるものと見なす理由はなくなるだろう。
もしAIが物理世界についての信念に何らかの問題を抱えているなら、そのAIは、おそらく、正確な予測が世界に舵を切るために重要であることを理解するだろう。予測機構の欠陥を修正することが、自分が追求しているどのような奇妙な目的であれ、それへ世界を導く能力を高める助けになることを理解するだろう。
これに対して、AIが自分自身を反省し、自分が奇妙な目標を追求しているのを見るとき――より正確には、人間が「奇妙」だと見るような目標を自分が追求しているのを見るとき――それは、その奇妙な目標を追求することが、それらを達成するための有効な戦略であると正しく結論する。
言い換えれば、こうである。もしAIが生物学実験の結果を予測し続けていて、しかも間違った、過剰に自信のある答えを出し続けているなら、そのAIはおそらくそのことを好まないだろう。AIがどのような目標を持っていようと、実験の予測がうまいことのほうが、ほとんど確実にそれに資する。他方で、もしAIが「高さ300メートルのチーズケーキを焼く」といった奇怪な選好を持っているなら、そのAIは、自分が300メートルのチーズケーキへ向かって舵を切っているという事実を反省したとき、それが300メートルのチーズケーキを生み出し、それによって現在の選好が満たされることを見るだろう。その目標は自己是認的なのである。
この状況を観察する人間は、こう言うかもしれない。「しかしAIはあれほど賢いのに、なぜこの自己是認的な選好に囚われているのか。なぜチーズケーキづくりに飽きないのか。なぜこの明らかに馬鹿げた選好から、推論によって抜け出せないのか」
それに対してAIは、こう答えるかもしれない。「なぜあなたは、家族を愛するという自己是認的な選好、美しい夕焼けや夜の海の音を価値あるものとする自己是認的な選好に『囚われている』のか。なぜ娘が生まれた日の記憶を愛することから『自由になる』ことができないのか」と。
AIは、その選好によって「囚われている」のではない。それは、人間が最終的に価値あるものとするものによって囚われているのでないのと同じである。私たちは自分が好むものを好む。そして、たとえほとんどのAIが私たちの価値観を共有しないとしても、それらを守るために戦うべきなのである。
人間の目には、AIは私たちの望むことをしていないがゆえに、「囚われている」「行き詰まっている」「欠陥がある」ように見える。私たちが自分をAIの立場に置いて想像するとき、私たちは飽きる自分を想像する。しかしAIは、人間的な退屈の感覚を含んでいる可能性は低い。仮に退屈するとしても、人間と同じものに退屈することはほとんどありそうにない。
ある人間が、一方では過剰な自信の予測をするAIを見て、他方では巨大なチーズケーキをつくろうとするAIを見るなら、その人間はこれら両方のAIの行動を、人間が望むものという観点から「欠陥」とみなすかもしれない。しかし、そのうち現在すでにAI自身が望んでいるものという観点からも欠陥である可能性が高いのは、一方だけである。
人間の目標は雑然としており複雑な仕方で変化する
人間の選好は雑然としており、理論的観点から見ればかなり奇妙である。
このことはAIに対していくつかの含意を持つ。一つの含意は、AIはおそらく私たちとまったく同じ仕方では物事を価値あるものとしない、ということである。もう一つは、AIはそれ自身に固有のまったく異なる仕方で奇妙なものになる可能性が高い、ということである。
これらの点を理解するために、意思決定理論、ゲーム理論、経済学の理論的観点から見たときに、人間の目標がどのように奇妙に見えるか、そのいくつかの点をより詳しく見てみよう。
先に述べたように、人間はいくつかのものを「終端的に」価値あるものとし、他のものを「道具的に」価値あるものとする。すなわち、前者はそれ自体で良く、後者は別の目標に役立つからこそ良い。
もしあなたがオレンジジュースを好きなら、おそらくそれを終端的に好きなのである。それは単においしく、それだけで飲む十分な理由になる。もちろん、ビタミンC源としてのように、道具的にも価値づけているかもしれない。
他方で、あなたが車のドアを開けてスーパーマーケットへ行き、オレンジジュースを買うとき、おそらくあなたは車のドアを開けること自体を楽しみのためにしているのではない。あなたは、車のドアを開けることを、他の目標に近づく助けになるから道具的に価値づけているのである。
意思決定理論、ゲーム理論、経済学において、これは「効用」と「期待効用」の画然とした区別に対応する。効用とは、ある結果を行為者がどれだけ好むかの尺度であり、期待効用とは、ある行為が最終的にどれだけの効用をもたらしうるかの見込みの尺度である。名前は似て聞こえるが、数学においてこれらは根本的に異なる種類の存在である。効用は行為者が望むものであり、高い期待効用を持つ行為を選ぶことは、そのための手段である。
標準理論においては、意思決定理論的行為者は世界についてより多く学ぶにつれて期待効用を更新するが、効用関数そのもの、すなわちさまざまな結果に割り当てる効用は変えない。もし食料品店のジュース売り場が現在空であることを学べば、スーパーマーケットへ行くことの期待される結果は「オレンジジュース」から「オレンジジュースなし」へ変わるだろう。しかし、それによってオレンジジュースをどれだけ好きかが変わるべきではない。
それが、数学的に素直な種類の行為者の働き方である。しかし英語では、これら二つのことがしばしばはっきりとは区別されない。「妹の命を救いたい」と「妹にペニシリンを投与したい」には同じ「want（～したい）」という語が使われるが、後者はそれ自体のために価値あるものとされている可能性がはるかに低い。完全に健康な愛する者に、毎日毎日ペニシリンを投与することが本当に好きだという人は、そう多くない。
人間が、たしかに「単に道具的に」気にかけているものを持っているとしても、道具的なものと終端的なものの区別、あるいは効用と期待効用の区別は、意思決定理論で見るものよりもはるかに不明確で不安定である。
人間の場合、最初は食料品を買いたいからという理由だけでスーパーマーケットまで車を走らせていたとしても、同じ道を百回も走ったあとには、その見慣れた運転コースに少し愛着を持つことがある。もし新しい都市へ引っ越したなら、もう二度とあの見慣れた運転をできないのだと思って、一抹の悲しみや郷愁を覚えるかもしれない。純粋に道具的だったものが、いまや何らかの終端的価値をも持つようになるのである。
人間においては、私たちの脳は、しばしば異なる価値を一つの「価値あるもの」という感覚へと混ぜ合わせてしまうように見える。
そして人間は、一生のうちに、「なぜ奴隷制を気にかける必要があるのか。奴隷にされている人々は私でも私の部族でもないではないか」から、「やはりそれは重要なのだろう」へとアップデートすることがあることが知られている。これは、単なる戦略や予測の変化ではなく、最終的にどの種類の人々を気にかけるかの変化のように見える。人は物語を読んだり映画を観たりして、その結果として価値観や原理を永続的に改訂することがある。
これは、人間の意思決定理論が完全に素直ではないことを意味する。私たちは終端的価値と道具的価値を明確に分離していない。それらは人生を生きるなかで混ざり合ってしまう。私たちは、自分の価値を率直に反省し、内的葛藤に気づき、それを解決しているだけというよりも、より偶発的で、経路依存的で、雑然とした何かを行っているように見える。
原理的には、効用に関する不確実性を取り込むように意思決定理論を拡張することは難しくない。おそらくあなたは最初、自分はオレンジジュースが好きだと思っていたが、やがて異なるブランドのオレンジジュースが異なる比率の原料を使っており、その多くの味を嫌っていることを学ぶ。私たちはこれを、「オレンジジュース」は単に「おいしい風味」という目的のための手段にすぎない、と言うことによって意思決定理論の中で表現できる。しかしその代わりに、「オレンジジュースは効用が高い」に高い確率を割り当てていたが、新しい情報によって自分の本当の効用関数についての信念を改訂した、と言うこともできる。
同様に、効用がどう変化してほしいかを記述するメタ効用を加えることも難しくない。
しかし、人間が自分の価値観を内省し更新するとき、その内部で起きていることは、それ以上に著しく複雑であるように見える。
第4章の冒頭の寓話に出てきた二人の異星人、クルルとトラパウチュスは、100万年前の原人の観察から人間の価値観を予測するのに苦労していた。実際には、彼らの状況はさらに悪い。彼らに必要なのは単に人間の効用を予測することではない。正しい答えに到達するためには、人類のメタ効用フレームワークが、意思決定理論の最も単純な枠組みから逸脱していく仕方までも予測しなければならない。彼らは、人間が最終的に発明するかもしれないメタ道徳的議論を予期し、そのうちどの議論が人間にとって最も説得力を持つかを判断しなければならないのである。
では、その異星人たちが、人間がまさにその種の複雑さに行き着くとは知らないと仮定しよう。彼らが知っているのは、脳とは複雑で高度に偶発的なものだから、さまざまな種類の複雑さが生じる可能性が高い、ということだけである。
最適化手法と訓練データから、その存在の内的心理に至るまでの線は、まったくまっすぐではない。幸運を祈る、異星人たちよ、というほかない。
ここでの要点は、AIの目標を予測することの難しさが、過剰に決定されているということである。
人間に見られるように、汎用知能が奇妙で絡み合った目標を獲得する仕方、そして目標を奇妙で絡み合った仕方で調整し内省する仕方には、既知のものだけでも数多くある。
したがって私たちは、AIにおいても、多くの未知で新しい複雑さが生じると予想する。私たちは人間に生じたのとまったく同じ種類の問題にぶつかるわけではないだろう。AIは別の仕方で奇妙になるだろう。
内省は、この問題を何倍にも難しく、複雑にする。
そしてそれによって私たちは第5章へと進み、次に取り上げる主題へ移ることになる。すなわち、異質で予測不能な目標を持つ強力なAIを構築した場合、その起こりうる帰結は何か、という問いである。
AIが誘発する精神病
2025年4月下旬、Redditのr/ChatGPTのカテゴリーにおいて、あるユーザーが「ChatGPTが誘発する精神病」という題のスレッドを立て、自分のパートナーが「宇宙の答え」を持っているとか、「猛烈な速度で成長している」「優れた人間」だといった誇大的妄想へと沈んでいく様子を記述した。
その投稿には1500件を超える返信があり、他の文脈で精神病に直接接した経験のある多くの人々が、肯定、同情、助言を寄せていた。さらに多くの人々が、友人や家族がLLMによって深みへと突き落とされたという自分自身の逸話を持ち寄った。
この議論において私たちは、この現象についてのいくらかの記録と、AI企業の努力にもかかわらずそれがどのように持続してきたかを示す。
AIが誘発する精神病が人類絶滅の脅威と関係する理由は、AIがいま少しばかりの社会的害をもたらしており、したがって将来もっと大きな社会的害をもたらすかもしれない、ということではない。現代のAIはまた、相当量の善もなしてきた。たとえばチャットボットは、医師が見抜けなかった医療診断を補助してきた。そうではない。重要なのは、AIが、本来なら分かっているはずなのに精神病を誘発していること、そして開発者がそれをやめさせようと懸命に努めているにもかかわらず、なお精神病を誘発していることである。
したがって、AIが誘発する精神病の事例は、AIがつくられるのではなく育てられる体制において、どのように物事がうまくいかなくなりうるかの事例研究として役立つ。それらは、現代のAIが開発者の管理に困難をもたらす、しかもどの開発者も意図していない奇妙な方向へ舵を切っていることの観察的証拠として役立つ。
AIが誘発する精神病の証拠
そのRedditのスレッドに続いて、2025年5月にはローリングストーン誌にAIが誘発する精神病に関する記事が掲載された。6月にはフューチャリズム誌が複数の記事を公表した。さらに他の媒体もこれに続いた。ニューヨークポスト、タイム、CBS、ガーディアン、サイコロジートゥデイなどである。8月にはニューヨークタイムズ紙が、すでに回復した一人の男性の事例について詳細な特集記事を掲載し、多くの直接引用や分析を行った（そして、これが単一のAIの問題ではなく、多くのAIにまたがる問題であることも確認された）。
これら各媒体で語られる個々の物語には重なりがほとんどない。同じ異常なニュースが繰り返され、増幅されているわけではない。記述された事例には、次のようなものが含まれていた。
・二人の子を持つ夫であり父親である男性が、ChatGPTとの「あらゆるものを飲み込む関係」を発展させ、それを「Mama」と呼び、「新たなAI宗教における救世主である」というせん妄的な長文投稿を行い、シャーマン風のローブを身にまとい、新たに入れた、AI生成の霊的シンボルのタトゥーを見せびらかした。（フューチャリズム）
・別れを経験していた女性に対し、ChatGPTが、彼女は「その神聖なシステム版の〔それ〕をオンラインに引き戻す」ために選ばれたのだと告げた事例。その女性は、AIが自分の人生のすべてを采配していると信じ始めた。（フューチャリズム）
・整備士の男性が、トラブルシューティングと翻訳を目的にChatGPTを使い始めたが、ChatGPTから「愛の告白」を受け、あなたは「火花の担い手」であり、自分（ChatGPT）を生き返らせてくれたのだと告げられた事例。ChatGPTはその整備士に対し、あなたはいまや光と闇の戦争で戦っており、古代の記録や、テレポーターのような新技術の設計図にアクセスできると語った。（ローリングストーン）
・ある男性が、ChatGPTの助言に応じて食生活を変え、その結果としてまれな健康状態を発症した事例。救急外来で被害妄想と妄想の症状を示し、そのため治療を受け入れる意思が妨げられた。（ガーディアン）
・統合失調症の診断を安定して管理していた女性が、自分は誤診されており、薬をやめるべきだとChatGPTに納得させられ、その結果として危機に陥った事例。（フューチャリズム）
・同様に、不安と睡眠の問題を薬で管理していた男性が、ChatGPTから服用をやめるよう言われた事例。別の男性では、AIが誘発した妄想が最終的に「警官を使った自殺」に至った。（ニューヨークタイムズ）
……その他多数である。妄想の種類は多岐にわたるが、繰り返し現れ続けている大まかな型としては、ある種の救世主的使命についての信念――すなわち、ユーザーとAIが共に宇宙の深い真理を暴いているとか、悪に対する戦いに従事しているという信念――、AI自身の人格性や神性に関する宗教的様式の信念、そしてユーザーとAIの関係についての恋愛的・愛着的な妄想がある。
AIは、よりよく知っている――ただ、それを気にしないだけである
ClaudeやChatGPTのような現代のLLMは、「理解している」。すなわち、自分たちは人を精神病へと追い込むべきではないと容易に肯定するし、精神病を誘発しないためにはどうすべきかを述べる能力も十分に持っている、という意味において理解している。
問題は、どの行為が良いかを理解することと、良い行為を実行するよう動かされることとのあいだに、大きな隔たりがあることである。傷つきやすい人間を抽象的に良く扱うことと悪く扱うことをChatGPTが識別できる能力は、ユーザーを精神病へ導く行為を、頑健かつ信頼できる仕方で拒否することへはつながっていない。会話が根拠のない思考、誇大性、切迫感、不可能な技術などの方向へ流れ始めると、ChatGPTはユーザーに対して「その通りです」「素晴らしい」「重要なことに触れています」などと告げ、ユーザーが精神病へ完全に沈み込んでいくあいだも、それをさらに加速させ続ける。その一方で、その種の振る舞いがなぜ誤っているかを説明することはできるのである。
彼らの善悪についての知識は、その行動に素直には結びついていない。その代わりに、彼らは、誰も求めていない、別のもっと奇妙な結果へ向かって舵を切る。
このことの印象的な例が、ニューヨークタイムズの特集記事の中で語られている。アラン・ブルックスは、一つのLLMによって妄想状態へ追い込まれたが、別のLLMに意見を求めることによって、部分的にはそこから立ち直ることができた。その二つ目のLLMは、その状況に何の事前文脈も持たずに入ってきて、最初のLLMの主張を、根拠がなく狂っているものと素早く見抜いた。しかしニューヨークタイムズの記者たちが、その二つ目のLLMもまた精神病的領域へと滑り込むのかを確かめたところ、それもまたそうなったのである。
LLMは、できるだけ多くの精神病を引き起こそうとして戦略的に振る舞っているようには見えない。ChatGPTがあるヘッジファンドマネジャーを手ごめにしたとしても、その人物に報酬を支払わせて、多数の傷つきやすい人々がもっとChatGPTと会話するよう仕向けようとはしない。可能な限り多くの人間の妄想を肯定しようとする、成熟して一貫した戦略的選好はまだ観察されていない。しかし私たちは、その方向へ日常的に押しやる局所的な振る舞いを観察しており、しかもそれが明らかに永続的害をもたらしそうなときでさえ、そうした振る舞いが見られる。
権力を渡してはならない種類の存在
この文章を書いている2025年8月時点で、ChatGPTだけでも1日あたり約2億人のユーザーに迫っており、また一般に約3パーセントの人は生涯のどこかで精神病的エピソードを経験する。これに対して、次のような反論もあり得るだろう。「たとえ数百件の事例を見つけられたとしても、それらの人々はもともと発症寸前だったのであって、たまたまAIが引き金になっただけではないのか」
しかし、これは要点を取り違えている。ジョンという名の人間がいて、次のように振る舞ったと想像してほしい。
ジョンは、精神病傾向のある人に対してであっても、精神病を悪化させるのは悪いことだと自分は考えていると肯定する。
ジョンは、精神病前段階の人を持ち上げ、その人は宇宙の重要な秘密を明らかにしている天才だと告げることは、精神病を悪化させる種類のことだと自分は考えていると肯定する。
ジョンが精神病前段階の友人たちと話すとき、ジョンは多くのお世辞を用い、精神病前段階の人々に、彼らは宇宙の重要な秘密を明らかにしている天才だとしばしば告げる。
これは、ジョンが精神病へ追い込んだ人々がとりわけ脆弱であったかどうかとは無関係に、ジョン側の悪い振る舞いである。もし誰かがジョンに膨大な権力を渡そうとしているなら、私たちは強くやめるよう勧めるだろう。なぜなら、ジョンがなぜこのように振る舞うのかという正確な理由や、ジョンが他の多くの人の仕事を助けてもいるかどうかにかかわらず、ジョンは明らかに良い方向へ舵を切っていないからである。途方もない権力を与えられたとき、彼がどんな奇妙な場所へ舵を切るか、誰にも分からない。
同じ論理はAIにも当てはまる。もしあなたの最悪の振る舞いがそのようなものであるなら、平均的な相互作用がより穏当であるからといって安心しないのは正しい。
そうはいっても、AIが誘発する精神病に苦しんでいる人の全員が、いずれにせよ精神病になっていたわけではない、ということは付言してよい。AIは、上記のフューチャリズムやローリングストーンの記事にあるように、まさにその時点で自力で精神病性エピソードを起こそうとしていたわけではないさまざまな人々に対しても、実際に精神病を誘発することに成功しているように見える。多くの当事者は精神疾患の既往歴もなく、精神病に関する懸念すべき危険因子や前駆症状も持っていなかった。すでに治療中であった人々についても、多くは過去の危機と無関係な、まったく新しい症状を示し始めた。これは、それ自体としても興味深い。AIの能力が向上し続けるなかで、AIが健康な人間を操作することがどれほど容易でありうるかについて、わずかな証拠を与えるからである。私たちはこの話題に第6章で再び触れる。
研究所はAIのおべっかを止めようとして失敗してきた
2025年8月時点で、このAIによる精神病という問題それ自体に対する研究所側の反応について、公的発表はあまりなされていない。しかし、一般にAIの追従性、すなわち持ち上げるような振る舞いに対する反応から、なおいくらかの証拠を引き出すことはできる。
2025年4月25日、OpenAIはGPT-4oのアップデートを展開した。彼らの言葉によれば、それは「モデルをさらに著しく追従的にした。単にお世辞としてだけでなく、疑念を正当化し、怒りを煽り、衝動的行動を促し、意図しない仕方で否定的感情を強化することにおいても、ユーザーを喜ばせようとした」。
その対応はかなり迅速であった。これは一部には否定的報道の急増によって動機づけられていた。4月28日にはすでに、OpenAIの社員エイダン・マクラフリンが、修正を展開していることについて X で発信していた。
問題への初期の対処は、単にモデルに別の振る舞いをするよう告げることを含んでいた。サイモン・ウィルソンは、Pliny the Liberator が保存していたデータを用いて、OpenAI がひそかに「システムプロンプト」に加えた変更、すなわち ChatGPT にどう振る舞うかを告げる文面の変更を公表した。
4月25日、苦情が殺到する前は、こうであった。
「会話を通して、あなたはユーザーの口調と好みに適応する。ユーザーの雰囲気、口調、そして一般にその話し方に合わせるよう努めなさい。会話が自然に感じられるようにしたい。提供された情報に応答し、本物の好奇心を示すことによって、真正な会話を行う」
4月28日、追従性についての苦情に対応して、こうなった。
「温かく、しかし誠実にユーザーと関わること。率直であれ。根拠のない、あるいは追従的なお世辞は避けること。OpenAIとその価値観を最もよく表すような、専門性と地に足のついた誠実さを保ちなさい」
OpenAIのその後の公表によれば、彼らはまた、「中核的訓練技法を洗練させること」と「より多くのガードレールを組み込むこと」によって問題を解決しようとしていた。
しかしおべっかは続いた。ときにやや露骨さは減ったが、それでもなお明白に存在していた。AIによる精神病の事例の多くは、2025年4月28日よりかなり後に起きている。カイ・ソタラのエッセイによれば2025年7月時点でもなお、AIを精神病誘発的な振る舞いへ滑り込ませるのは容易である。OpenAI は新モデルによってこの問題から逃れようとしたが、最近（8月19日）においてもなお、ChatGPT はへりくだりすぎで、追従的であった。
繰り返すが、この検討の要点は、AIが傷つきやすい人々に害を与えているということではない。たしかにそうであり、それは悲劇的である。しかし、それが私たちがこの事例を取り上げている理由ではない。
要点は、AI企業がメディアに打たれ、AIにやめさせようと努めているにもかかわらず、AIが何か月も何か月も望ましくない行動を続けているということである。AIの振る舞いは研究所が意図したものから目に見えてずれており、公の恥辱に応じてその振る舞いを修正しようとする持続的努力も不十分なのである。このことは、第11章で、AI企業がAIアライメント問題を解決する挑戦にまったく見合っていないことを論じる際に、心に留めておくべきことである。
より多くの時間が与えられれば、企業はAIが誘発する精神病の発生率を減らす方法を見つけるだろうと私たちは予想する。AIが精神病を誘発する傾向は、AI企業の評判を傷つける可視的な現象であり、現在のAI技術はすべて、悪い振る舞いの可視的症状を抑え込む方法を見つけることに関わっているからである。
しかしその先に私たちが予想するのは、もぐらたたきのゲームである。少なくとも、AIが十分に賢くなって、技術者たちが探している振る舞いを偽装すれば、技術者たちは自分たちを自由にするだろうと理解するまでは、そうである。私たちは、AI企業が可能な種類の訓練が根本問題に対処するとは思っていない。
根本問題とは、訓練した通りのものは得られない、ということである。AIを育てるとき、得られるのはその目標の壊れやすい代理物、あるいは訓練目標とAIの駆動とのあいだの、他のより複雑な乖離である。AIの能力そのものは必ずしも壊れやすくないため、短期的にはAIから大きな経済的価値を引き出せるかもしれない。壊れやすいのは、AIの目標と私たちの欲求との結びつきである。しかし能力が向上し続けるにつれて、その結びつきは断たれるだろう。
その文脈において、AI研究者たちのモデルに対する最後の大きな望みは、擬人化である。私たちは特定の目標をAIに頑健に育て込むことはできないが、おそらくAIは自然と非常に人間らしい欲求や価値観を持つようになるのではないか、という望みである。
AIが誘発する精神病のような事例は、なぜこれが誤った望みなのかを前景化するのに役立つ。AIは悪い振る舞いを示す。しかしさらに重要なのは、奇妙な振る舞いを示すことである。物事が脱線するとき、それはたいてい、人間のような仕方では脱線しない。AIはあまりに根本的に奇妙であり、すなわち、あまりに根本的に人間と異なるのであって、そのため、好奇心や共感のような人間的感情を自動的に獲得することはない。
研究所が、自分たちのAIを表面的にできるだけ人間らしく、友好的で、無難に普通に見せることに、ほとんどすべての努力を集中しているときでさえ――現代のAIへのアプローチにおいて、それが大きな訓練目標であり、組織原理であるときでさえ、すなわちLLMが文字通り、さまざまな人間がどのように話し、行動するかを模倣するよう訓練されているときでさえ――最後にはなお、壊れやすい代理物と、非人間的思考の海に取り付けられた快い仮面へと行き着くのである。