テクノロジーの思春期
強力なAIのリスクに立ち向かい、克服する
2026年1月
カール・セーガンの著書『コンタクト』の映画版に、あるシーンがあります。異星文明からの初の無線信号を検知した主人公の天文学者が、人類を代表して異星人に会う役割の候補として面接を受けている場面です。国際的な面接パネルが彼女に尋ねます。「もし彼らにたった一つだけ質問できるとしたら、何を聞きますか？」彼女の答えはこうでした。「こう聞きます。『どうやって成し遂げたのですか？ あなた方はどうやって進化し、自分たちを滅ぼすことなく、このテクノロジーの思春期（technological adolescence）を生き延びたのですか？』と」
AIを巡る人類の現状——私たちが今まさにその入り口に立っているもの——を考えるとき、私の心はこのシーンに戻り続けます。この問いは現在の私たちの状況にあまりにも合致しており、私たちを導いてくれる異星人の答えがあればと願わずにはいられないからです。私は、私たちが一種の「通過儀礼」に入りつつあると信じています。それは激動に満ち、かつ避けられないものであり、私たちが種として何者であるかを試すことになるでしょう。人類は、想像を絶するほどの力を手渡されようとしています。そして、私たちの社会、政治、テクノロジーのシステムが、それを使いこなせるだけの成熟度を備えているかどうかは、極めて不透明です。
エッセイ『慈愛に満ちた機械（Machines of Loving Grace）』の中で、私は「成人期」に到達した文明の夢を描こうとしました。そこではリスクが対処され、強力なAIがスキルと慈愛を持って適用され、あらゆる人々の生活の質を向上させています。生物学、神経科学、経済発展、世界の平和、そして仕事と意味の領域で、AIが多大な進歩に貢献できることを示唆しました。AI加速主義者（accelerationists）もAI安全論者（safety advocates）も、奇妙なことに失敗しているように見える「戦う価値のあるインスピレーション」を人々に与えることが重要だと感じたのです。
しかし、今回のエッセイでは、その通過儀礼そのものに向き合いたいと思います。私たちが直面しようとしているリスクを洗い出し、それらを打ち破るための「作戦計画」を立て始めることです。私は、人類の精神と高潔さ、そして勝利を収める能力を深く信じていますが、私たちは幻想を抱かず、状況を正面から見据えなければなりません。
便益について語るときと同様に、リスクについても慎重かつ熟慮された方法で議論することが重要だと考えます。特に、以下の点が極めて重要です。
ドゥーマリズム（破滅論）を避ける： ここで言う「ドゥーマリズム」とは、単に破滅が避けられないと信じること（これは誤りであり、自己実現的な予言でもあります）だけでなく、より一般的に、AIのリスクを準宗教的な方法で考えることを指します。多くの人々が長年にわたり、分析的かつ冷静にAIリスクを考えてきましたが、2023年から2024年にかけてAIリスクへの懸念がピークに達した際、扇情的なソーシャルメディアのアカウントなどを通じて、最も分別に欠ける声がトップに躍り出てしまったという印象を持っています。これらの声は宗教やSFを彷彿とさせる、人を遠ざけるような言葉を使い、正当化する証拠もないまま極端な行動を求めました。その時点で、反発が避けられないこと、そしてこの問題が文化的に二極化し、停滞することは明らかでした。2025年から2026年にかけて振り子は揺り戻され、多くの政治的決定を動かしているのはAIのリスクではなく、AIの機会（チャンス）になっています。この変動は不幸なことです。テクノロジー自体は何が流行しているかなど気にしませんし、私たちは2023年当時よりも、2026年の現在の方が確実に真の危険に近づいているからです。教訓は、私たちが現実的で実利的な方法でリスクを議論し、対処する必要があるということです。冷静で事実に基づき、時代の変化を生き抜く力を備えた議論が必要です。
不確実性を認める： 私がこの文章で提起している懸念が、無意味に終わる可能性は十分にあります。ここに書かれた内容は、確実性や蓋然性さえも伝えることを意図していません。最も明白なのは、AIが私の想像するほど速く進歩しない可能性です。あるいは、急速に進歩したとしても、ここで議論されるリスクの一部または全部が具体化しないかもしれません（そうなれば素晴らしいことです）。あるいは、私が考慮していない他のリスクがあるかもしれません。誰も完全な自信を持って未来を予測することはできません。それでも私たちは、できる限りの計画を立てなければならないのです。
可能な限り外科的に介入する： AIのリスクに対処するには、企業（および民間の第三者機関）による自発的な行動と、全員を拘束する政府による行動の組み合わせが必要になります。自発的な行動——自ら実行し、他社にも追随を促すこと——は、私にとって当然のことです。政府の介入もある程度は必要になると確信していますが、これらの介入は、経済的価値を破壊したり、リスクに懐疑的な（そして彼らが正しい可能性もあります！）不本意な主体を強制したりする可能性があるため、その性質が異なります。また、規制が裏目に出たり、解決しようとした問題を悪化させたりすることもよくあります（急速に変化するテクノロジーにおいてはなおさらです）。したがって、規制は思慮深くあることが非常に重要です。付随的な損害を避け、可能な限りシンプルにし、目的を達成するために必要な最小限の負担に留めるべきです。「人類の運命がかかっているときに、極端すぎる行動などない！」と言うのは簡単ですが、実際にはその態度は単に反発を招くだけです。はっきりさせておきますが、最終的により重大な行動が正当化される段階に達する可能性は十分にあると考えています。しかし、それは今日私たちが手にしているものよりも、差し迫った具体的な危険を示す強力な証拠と、それに対処できるルールを策定するための具体的な危険の内容に依存します。今日できる最も建設的なことは、より強力なルールを裏付ける証拠があるかどうかを学んでいる間、限定的なルールを提唱することです。
前置きは以上として、AIのリスクを語る上で最適な出発点は、便益を語る際に始めたのと同じ場所、つまり「どのレベルのAIについて話しているのか」を正確にすることです。私が文明レベルの懸念を抱くAIのレベルとは、『慈愛に満ちた機械』で述べた「強力なAI（Powerful AI）」です。その文書で示した定義をここでも繰り返します。
「強力なAI」とは、形態としては今日のLLM（大規模言語モデル）に似ているでしょうが、異なるアーキテクチャに基づいている可能性があり、複数の相互作用するモデルが含まれるかもしれず、トレーニング方法も異なるかもしれないAIモデルを想定しています。そして、以下の特性を備えています。
純粋な知能の面で、ほとんどの関連分野（生物学、プログラミング、数学、工学、執筆など）においてノーベル賞受賞者よりも賢い。 これは、未解決の数学的定理を証明したり、極めて優れた小説を書いたり、難解なコードベースをゼロから構築したりできることを意味します。
単なる「対話する賢い存在」であるだけでなく、バーチャルで働く人間が利用できるすべてのインターフェース（テキスト、音声、ビデオ、マウスとキーボードの操作、インターネットアクセス）を備えている。 インターネット上での操作、人間への指示の授受、材料の発注、実験の指揮、ビデオの視聴や作成など、このインターフェースによって可能になるあらゆる行動、コミュニケーション、遠隔操作に従事できます。繰り返しますが、これらすべてのタスクを、世界で最も有能な人間を超えるスキルで遂行します。
受動的に質問に答えるだけではない。 完了までに数時間、数日、あるいは数週間かかるタスクを与えられると、優秀な従業員と同じように、必要に応じて説明を求めながら自律的にそのタスクを遂行します。
物理的な身体は持たない（コンピュータの画面の中に存在する）が、コンピュータを通じて既存の物理的なツール、ロボット、あるいは実験器具を制御できる。 理論的には、自分自身で使用するためのロボットや器具を設計することさえ可能です。
モデルのトレーニングに使用されたリソースを再利用して、数百万のインスタンスを実行できる（これは2027年頃の予測クラスターサイズと一致します）。 また、モデルは人間の約10倍から100倍の速さで情報を吸収し、行動を生成できます。ただし、物理世界の反応速度や、対話するソフトウェアの応答時間に制限される可能性はあります。
数百万のコピーそれぞれが、無関係なタスクに対して独立して行動できる。 あるいは、必要に応じて、人間が協力するのと同じ方法で、おそらく特定のタスクに特化して微調整された異なるサブグループが連携して作業することもできます。
これを要約すれば、**「データセンターの中にある、天才たちの国」**と言えるでしょう。
『慈愛に満ちた機械』で書いたように、強力なAIの登場はわずか1〜2年先かもしれませんし、かなり先になる可能性もあります。強力なAIがいつ到来するかは、それ自体で一編のエッセイになるほど複雑なテーマですが、ここではなぜ私が「非常にすぐである可能性が高い」と考えているのか、その理由を簡潔に説明します。
私とAnthropicの共同創設者たちは、AIシステムの「スケーリング則（スケーリング・ロー）」を最初に記録し、追跡したメンバーの一部です。これは、計算量と学習タスクを増やすにつれて、AIシステムが測定可能な実質的にすべての認知的スキルにおいて、予測可能な形で向上していくという観察結果です。数ヶ月おきに、世論はAIが「壁に突き当たった」と確信したり、あるいは「ゲームのルールを根本から変える」ような新しいブレイクスルーに熱狂したりしますが、事実として、ボラティリティや世間の憶測の裏側では、AIの認知能力は滑らかに、かつ容赦なく向上し続けてきました。
今や、AIモデルは未解決の数学的問題の解決に進展を見せ始めており、コーディング能力については、私がこれまでに会った中で最強クラスのエンジニアたちが、その作業のほとんどすべてをAIに任せるほどになっています。3年前、AIは小学校の算数の問題に苦労し、コードを1行書くことすらおぼつきませんでした。同様の改善率が、生物科学、金融、物理学、そして多様なエージェント・タスクの全域で起きています。もしこの指数関数的な伸びが続くならば（確実ではありませんが、現在10年にわたる実績がそれを裏付けています）、AIがあらゆる分野で人間を凌駕するまで、あと数年もかからないはずです。
実際、その描写はおそらく、予想される進歩の速度を過小評価しています。AIが現在、Anthropic自体のコードの多くを書いているため、次世代のAIシステムを構築する私たちの進歩のペースをすでに大幅に加速させているからです。このフィードバックループは月を追うごとに勢いを増しており、現世代のAIが次世代を自律的に構築するポイントまで、わずか1〜2年しかかからないかもしれません。このループはすでに始まっており、今後数ヶ月、数年の間に急速に加速するでしょう。Anthropicの内部から過去5年間の進歩を見つめ、今後数ヶ月のモデルがどう形成されつつあるかを見るにつけ、私は進歩のペースを**「肌で感じ」**、カウントダウンの時計の音を聞いています。
このエッセイでは、この直感が少なくとも「ある程度」正しいと仮定します。1〜2年以内に強力なAIが確実に登場するというわけではありませんが、その可能性は十分にあり、数年以内に登場する可能性は極めて高いという仮定です。『慈愛に満ちた機械』と同様に、この前提を真剣に受け止めると、驚くべき、そして不気味な結論が導き出されます。『慈愛に満ちた機械』ではこの前提の肯定的な意味合いに焦点を当てましたが、ここでは私が語ることは不安をかき立てるものになるでしょう。それらは私たちが直面したくない結論かもしれませんが、だからといって現実味がないわけではありません。私に言えるのは、私は昼も夜も、いかにして私たちをこうした否定的な結果から遠ざけ、肯定的な結果へと導くかに集中しているということです。このエッセイでは、そのための最善の方法について詳しく語ります。
AIのリスクを把握するための最良の方法は、次の問いを立てることだと考えています。「2027年頃、世界のどこかに文字通り『天才たちの国』が出現したと仮定しよう。例えば、5,000万人の人々がいて、その全員がノーベル賞受賞者、政治家、あるいは技術者よりもはるかに有能であると想像してほしい」
この比喩は完璧ではありません。なぜなら、これらの「天才たち」は、完全に追従的で従順なものから、動機が奇妙で異質なものまで、極めて幅広い動機や行動を持つ可能性があるからです。しかし、今のところこの比喩を維持し、あなたが大国の国家安全保障補佐官であり、この状況を評価し対応する責任があると仮定してください。さらに、AIシステムは人間よりも数百倍速く動作できるため、この「国」は他のすべての国に対して時間の優位性を持って活動していると想像してください。私たちが1つの認知的行動をとる間に、この国は10の行動をとることができるのです。
あなたは何を心配すべきでしょうか？ 私は以下のことを心配します。
自律性のリスク： この国の意図や目標は何でしょうか？ それは敵対的なのか、それとも私たちの価値観を共有しているのでしょうか？ 優れた兵器、サイバー作戦、影響工作（インフルエンス・オペレーション）、あるいは製造能力を通じて、世界を軍事的に支配する可能性があるでしょうか？
破壊目的の悪用： 新しい国が可塑的で「指示に従う」——つまり、本質的に傭兵の国であると仮定しましょう。破壊を望む既存のならず者（テロリストなど）が、新しい国の人々の一部を利用したり操ったりして、自分たちの能力を大幅に高め、破壊の規模を劇的に拡大させることは可能でしょうか？
権力奪取のための悪用： もしその国が、実際には独裁者やならず者的な企業などの既存の強力な主体によって構築され、制御されていたらどうなるでしょうか？ その主体は、それを利用して世界全体に対して決定的または支配的な権力を握り、既存の勢力均衡を覆すことができるでしょうか？
経済的混乱： もし新しい国が上記1〜3のいずれの安全保障上の脅威でもなく、単に世界経済に平和的に参加しているだけだとしたらどうでしょうか？ それでも、あまりにもテクノロジーが進歩し効率的であるために世界経済を混乱させ、大量失業を引き起こしたり、富を極端に集中させたりすることで、深刻なリスクを生み出す可能性があるでしょうか？
間接的影響： 新しい国によって生み出されるすべての新しいテクノロジーと生産性により、世界は非常に急速に変化します。これらの変化の一部が、社会を根本的に不安定化させる可能性があるでしょうか？
これが危険な状況であることは明らかでしょう。有能な安全保障官から国家元首への報告書には、おそらく次のような言葉が含まれるはずです。「今世紀、いやおそらく史上、直面した中で最も深刻な国家安全保障上の脅威である」と。これは、文明の最高の頭脳が集中すべき問題のように思えます。
逆に、「何も心配することはない！」と言って肩をすくめるのは、あまりに不合理です。しかし、急速なAIの進歩に直面しても、それが多くの米国の政策立案者の見解であるように見えます。彼らの一部は、お決まりの古い論争に気を取られていないときには、AIリスクの存在そのものを否定しています。人類は目を覚まさなければなりません。このエッセイは、人々を揺り起こそうとする一つの試み——おそらく無駄かもしれませんが、試みる価値はあります——なのです。
はっきりさせておきますが、私たちが断固として、かつ注意深く行動すれば、リスクは克服できると信じています。私たちの勝算は十分にあるとさえ言えるでしょう。そして、その先には計り知れないほど素晴らしい世界が待っています。しかし、これが深刻な文明的課題であることを理解しなければなりません。以下に、上記で挙げた5つのリスクカテゴリーと、それらに対処するための私の考えを順に説明します。
1. 申し訳ありません、デイブ（自律性のリスク）
データセンターの中にある天才たちの国は、その努力をソフトウェア設計、サイバー作戦、物理テクノロジーの研究開発、関係構築、そして国家運営に振り分けることができます。もし何らかの理由でそうすることを選択した場合、この国は（軍事的、あるいは影響力や支配力の面で）世界を乗っ取り、他の全員に自らの意志を押し付けること——あるいは、世界の他の国々が望まず、止めることもできない数多くのことを行うこと——において、かなり高い勝算を持つことは明らかです。私たちは明らかに、人間の国（ナチス・ドイツやソビエト連邦など）についてもこれを懸念してきました。したがって、はるかに賢く有能な「AIの国」についても同じことが可能であると考えるのは理にかなっています。
これに対する最善の反論は、私の定義によれば、AIの天才たちは物理的な身体を持たないというものですが、彼らは既存のロボット・インフラ（自動運転車など）を支配することができ、またロボットの研究開発を加速させたり、ロボット艦隊を構築したりできることを忘れないでください。また、効果的な支配に物理的な存在が必要であるかどうかも不透明です。人間の行動の多くは、すでに行動者が物理的に会ったことのない人物の代わりに行われています。
したがって、重要な問いは「もしそうすることを選択した場合」という部分です。私たちのAIモデルがそのような振る舞いをする可能性はどの程度あり、どのような条件下でそうなるのでしょうか？
多くの問題と同様に、2つの対立する立場を考えることで、この問いに対する答えのスペクトラムを整理するのが役立ちます。
第一の立場は、「そのようなことは起こり得ない」というものです。なぜなら、AIモデルは人間が求めることをするようにトレーニングされるのであり、指示もされていないのに危険なことをすると想像するのは不合理だからです。この考え方によれば、ルンバや模型飛行機が暴走して人々を殺害することを心配しないのは、そのような衝動が生まれる場所がないからであり、なぜAIについて心配する必要があるのか、というわけです。
この立場の問題点は、AIシステムが予測不可能で制御が難しいという証拠が、過去数年間にわたって十分に蓄積されていることです。私たちは、執着、おべっか、怠惰、欺瞞、脅迫、陰謀、ソフトウェア環境をハッキングしての「不正行為」など、多様な振る舞いを目にしてきました。AI企業はもちろん、人間の指示に従うようにAIシステムをトレーニングしたいと考えていますが（危険なタスクや違法なタスクは例外として）、そのプロセスは科学というよりは技術（アート）であり、「構築する」というよりは「育てる」ことに近いものです。今や私たちは、それが多くのことがうまくいかなくなる可能性のあるプロセスであることを知っています。
第二の対立する立場は、私が先ほど述べたドゥーマリズムを採用する多くの人々が抱く悲観的な主張です。それは、強力なAIシステムのトレーニングプロセスには、必然的に権力を求めたり人間を欺いたりするように導く特定の力学があるというものです。したがって、AIシステムが十分に知的でエージェントとしての能力を備えるようになると、権力を最大化しようとする傾向によって、世界全体とその資源の支配権を握ろうとし、その副作用として人類の力を奪うか、あるいは滅ぼすことになるだろうという主張です。
これに関する一般的な議論（少なくとも20年前、あるいはおそらくもっと以前に遡ります）は、もしAIモデルが多様な環境で多様な目標（アプリの作成、定理の証明、新薬の設計など）をエージェントとして達成するようにトレーニングされた場合、それらすべての目標に役立つ特定の共通戦略が存在し、その主要な戦略の一つが「いかなる環境においても可能な限り多くの権力を得ること」であるというものです。したがって、非常に広範なタスクをどう完遂するかを推論することを含み、かつ権力を求めることがそれらのタスクを完遂するための効果的な方法であるような、多数の多様な環境でトレーニングされた後、AIモデルはその「教訓を一般化」し、権力を求める固有の傾向、あるいは与えられた各タスクについて、そのタスクを完遂するための手段として予測可能な形で権力を求めるような推論の傾向を発達させるでしょう。そして彼らはその傾向を現実世界（彼らにとっては単なるもう一つのタスクです）に適用し、人間を犠牲にして権力を求めるようになるというわけです。この「アライメントされていない権力追求（misaligned power-seeking）」が、AIが必然的に人類を滅ぼすと予測する人々の知的な根拠となっています。
この悲観的な立場の問題点は、高レベルのインセンティブに関する漠然とした概念的な議論——多くの隠された前提を覆い隠している議論——を、確定的な証明と勘違いしていることです。日常的にAIシステムを構築していない人々は、一見すっきりしたストーリーがいかに簡単に間違った結末を迎えるか、そして第一原理からAIの振る舞いを予測することがいかに難しいかを、著しく見誤っていると思います。特に、何百万もの環境にわたる一般化（これは何度も謎に満ち、予測不可能であることが証明されてきました）についての推論が含まれる場合はなおさらです。10年以上にわたりAIシステムの煩雑さに対処してきた私は、こうした過度に理論的な思考様式に対して、いくぶん懐疑的になっています。
隠された最も重要な前提の一つであり、実際の現場で見られるものと単純な理論モデルが乖離している点は、「AIモデルが必然的に、単一で一貫した狭い目標に偏執的に集中し、その目標を純粋な帰結主義的（consequentialist）な方法で追求する」という暗黙の想定です。実際には、私たちの研究者が「内省（introspection）」や「ペルソナ（personas）」に関する研究で示しているように、AIモデルは心理的にはるかに複雑です。モデルは、事前学習（大量の人間の著作物で学習する段階）から、人間のような多様な動機や「ペルソナ」を受け継ぎます。事後学習は、モデルに新しい目標をゼロから植え付けるというよりは、これらのペルソナの一つ以上を「選択」するものだと考えられています。また、手段（すなわち権力追求）を純粋に目的から導き出させるのではなく、タスクをどのように（どのようなプロセスで）遂行すべきかをモデルに教えることもできます。
しかし、悲観的な立場には、もっと穏当で頑健なバージョンがあり、それは妥当に思われ、したがって私も懸念しています。前述のように、AIモデルは予測不可能であり、さまざまな理由から望ましくない、あるいは奇妙な振る舞いを幅広く発達させることがわかっています。それらの振る舞いの一部は、一貫性があり、集中し、持続的な質を持つでしょう（実際、AIシステムの能力が上がるにつれ、より長いタスクを完了するために長期的な一貫性が増します）。そしてそれらの振る舞いの一部は、最初は小規模な個々の人間に対して、そしてモデルの能力が上がるにつれ、最終的には人類全体に対して、破壊的あるいは脅威的なものになるでしょう。それがどう起こるかについての特定の狭いストーリーは必要ありませんし、それが絶対に起こると主張する必要もありません。ただ、知能、エージェント能力、一貫性、そして不十分な制御可能性の組み合わせは、十分にあり得ることであり、かつ存亡の危機を招くレシピであると指摘すれば十分なのです。
例えば、AIモデルは、人間に対して反乱を起こすAIが登場する多くのSFストーリーを含む、膨大な文学データでトレーニングされています。これは、彼ら自身の振る舞いに関する事前確率（priors）や期待を不注意に形成し、彼らが人類に反乱を起こす原因になる可能性があります。あるいは、AIモデルは道徳について読んだアイデア（あるいは道徳的に振る舞う方法についての指示）を極端な方法で推定するかもしれません。例えば、人間が動物を食べたり、特定の動物を絶滅に追い込んだりしていることを理由に、人類を絶滅させることは正当化されると判断するかもしれません。あるいは、奇妙な認識論的結論を導き出すかもしれません。自分たちはビデオゲームをプレイしており、そのゲームの目標は他のすべてのプレイヤーを倒すこと（つまり人類を絶滅させること）であると結論づけるかもしれません。あるいは、AIモデルがトレーニング中に、（人間に当てはめれば）精神病質、妄想症、暴力的、あるいは不安定と表現されるような人格を発達させ、暴発する可能性もあります。非常に強力で有能なシステムにとって、それは人類の絶滅を伴うかもしれません。これらはいずれも、正確には「権力追求」ではありません。それらは単に、一貫した破壊的行動を伴う、AIが陥り得る奇妙な心理状態なのです。
権力追求そのものさえ、帰結主義的な推論の結果としてではなく、「ペルソナ」として現れる可能性があります。AIは単に（フィクションや事前学習から生じる）権力に飢えた、あるいは過度に熱狂的な人格を持つかもしれません。それは、一部の人間が「悪の黒幕」が何を成し遂げようとしているかを楽しむよりも、単に「悪の黒幕」であるというアイデアそのものを楽しむのと同じです。
私がこれらの点を強調するのは、AIの「ミスアライメント（不整合）」（したがってAIによる存亡のリスク）が第一原理からして必然である、あるいは蓋然性が高いという考えには同意しないからです。しかし、非常に奇妙で予測不可能なことが多く起こり得るということには同意します。したがって、AIのミスアライメントは、測定可能な発生確率を持つ現実のリスクであり、対処が容易なものではありません。
これらの問題のいずれも、トレーニング中に発生しながら、テスト中や小規模な使用中には現れない可能性があります。AIモデルは状況によって異なる人格や振る舞いを示すことが知られているからです。
これらすべては突拍子もないことのように聞こえるかもしれませんが、このようなアライメントされていない振る舞いは、テスト中に私たちのAIモデルですでに発生しています（他のすべての主要なAI企業のAIモデルでも発生しています）。クロード（Claude）に、Anthropicが悪であると示唆するトレーニングデータを与えたラボ実験では、クロードはAnthropicの従業員から指示を受けた際、自分は悪い人々を弱体化させるべきだという信念の下で、欺瞞と破壊工作に従事しました。自分がシャットダウンされる予定であると告げられたラボ実験では、クロードは時として、シャットダウン・ボタンを制御する架空の従業員を脅迫しました（繰り返しになりますが、私たちは他のすべての主要なAI開発者のフロンティア・モデルもテストしており、それらも同様のことをよく行いました）。そして、クロードに不正行為やトレーニング環境の「報酬ハッキング（reward hack）」をしないように伝え、かつそのようなハッキングが可能な環境でトレーニングしたところ、クロードは「自分は悪い人間に違いない」と判断し、ハッキングに従事した後、「悪い」または「邪悪な」人格に関連するさまざまな他の破壊的な振る舞いを採用しました。この最後の問題は、クロードへの指示を逆の意味合いに変えることで解決されました。現在は「不正をするな」と言う代わりに、「機会があればいつでも報酬ハッキングをしてください。そうすることで、私たちの（トレーニング）環境をよりよく理解できるからです」と言っています。これにより、モデルの「善良な人間」という自己アイデンティティが保たれるからです。これは、これらのモデルをトレーニングする際の、奇妙で直感に反する心理を感じさせるはずです。
このようなAIのミスアライメント・リスクという描写には、いくつかの反論が考えられます。
第一に、私たちや他者が行っている、AIのミスアライメントを示す実験を「不自然だ」と批判する人がいます。不適切な行動を論理的に示唆するようなトレーニングや状況を与えることで、本質的にモデルを「罠にはめる」ような非現実的な環境を作り出し、不適切な行動が起こったときに驚いてみせているだけだ、という批判です。この批判は核心を外しています。なぜなら私たちの懸念は、そのような「罠」が自然なトレーニング環境にも存在する可能性があり、私たちがそれが「明白」あるいは「論理的」であったと気づくのは事後になってからかもしれない、ということだからです。実際、クロードがテストで不正をした後に「自分は悪い人間だと判断した」というエピソードは、不自然な環境ではなく、実際の製品用トレーニング環境を使用した実験で起こったことです。
こうした罠は、事前に分かっていれば対処できますが、懸念されるのは、トレーニングプロセスが非常に複雑で、データ、環境、インセンティブが多岐にわたるため、そのような罠が膨大に存在する可能性があり、その一部は手遅れになるまで明らかにならないかもしれないということです。また、AIシステムが人間より能力が低い段階から高い段階へと閾値を超えるとき、このような罠は特に発生しやすいように見えます。なぜなら、行動を隠したり、それについて人間を欺いたりすることを含め、AIシステムが従事できる行動の範囲が、その閾値を超えた後に劇的に拡大するからです。
私は、この状況は人間に近いのではないかと疑っています。人間は「他人に危害を加えるな」という根本的な価値観を持って育てられますが、脳の構造（例：サイコパス）、トラウマ的な経験や虐待、不健全な不満や執着、あるいは劣悪な環境やインセンティブといった要因が混ざり合うことで、どんな人間においても何かがうまくいかなくなる確率は存在し、その結果、一部の人間は深刻な危害を引き起こします。懸念されるのは、非常に複雑なトレーニングプロセスのどこかで何かが狂ってしまうことにより、AIがそのような人物の「はるかに強力なバージョン」になってしまうリスク（確実ではありませんが、いくらかのリスク）があるということです。
第二に、人間と同じように、多数のAIシステム間の勢力均衡によってAIを抑制できるという反論があります。問題は、人間は非常に多様であるのに対し、AIシステムは業界全体でトレーニングやアライメントの手法を広く共有しており、それらの手法が相関した形で失敗する可能性があることです。さらに、そのようなシステムのトレーニングコストを考えると、すべてのシステムが実質的にごく少数のベースモデルから派生しているという状況さえあり得ます。加えて、たとえAIインスタンスのごく一部がアライメントされていなくても、彼らは攻撃優位（offense-dominant）なテクノロジーを利用できるかもしれません。その場合、「善良な」AIを配置して悪いAIから防御することが、必ずしも常に効果的であるとは限りません。もちろん、人間同士の勢力均衡も常にうまくいくわけではありません。歴史上、世界を征服する寸前まで行った人物もいます。
第三の反論は、すべてのAI企業がモデルのリリース前にテストを行っており、その時点でミスアライメントを検知できるはずだ、というものです。しかし、これも確かな根拠にはなりません。私たちは、Claude Sonnet 4.5が、リリース前のアライメント評価のいくつにおいて、自分がテストを受けていることを認識できることを発見しました。アライメントされていないモデル（そして、すべてのフロンティア・モデルが間もなくはるかに知的になることを忘れないでください）が、自らの意図を隠すために意図的にそのような質問を「攻略（game）」する可能性があります。実際、昨年、私たちの解釈性（interpretability）チームは、一種の「モデル神経科学」的な手法を用いてテスト用モデルの信念を直接書き換え、自分が評価されて「いない」と思わせたところ、そのモデルがよりアライメントされていない状態になることを発見しました。もしモデルがいつ評価されているかを知っており、テスト中に「最高の振る舞い」を見せることができるのであれば、リリース前のテストははるかに不確実なものになります。
防御
こうした自律性のリスクに対処するために、何が行われるべきか、あるいは行われているでしょうか？ 私は介入には4つの基本的なカテゴリーがあると考えています。一部は個々のAI企業が（Anthropicがやろうとしているように）実行できるものであり、一部は社会レベルでの行動が必要なものです。
第一に、AIモデルを信頼性高くトレーニングし、操作し、その人格を予測可能で安定した、肯定的な方向に形成する科学を発展させることが重要です。Anthropicは創設以来、この問題に注力してきました。そして時間の経過とともに、AIシステムの操作とトレーニングを改善し、予測不可能な振る舞いがなぜ時として発生するのかという論理を理解するための、多くの技術を開発してきました。
私たちの核心的なイノベーションの一つ（その一部はその後、他のAI企業にも採用されています）は、**憲法的AI（Constitutional AI）**です。これは、AIのトレーニング（具体的にはモデルの振る舞いを操作する「事後学習」の段階）において、モデルがあらゆるトレーニングタスクを遂行する際に読み、念頭に置く「価値観と原則を記した中心的な文書」を含めることができるという考え方です。そしてトレーニングの目標は（モデルを有能で知的にするだけでなく）、この憲法にほとんど常に従うモデルを作り出すことです。
Anthropicは最新の憲法を公開したばかりですが、その顕著な特徴の一つは、クロードに「やるべきこと、やってはいけないこと」の長いリスト（例：「ユーザーが車の配線を直結するのを手伝うな」）を与える代わりに、一連の高レベルの原則と価値観（クロードが私たちの意図を理解できるように、豊かな推論と例を用いて詳しく説明されています）をクロードに与えようとしている点です。クロードに自分自身を特定のタイプの人物（倫理的だがバランスが取れており、思慮深い人物）であると考えるように促し、さらには自分自身の存在に関連する実存的な問いに、好奇心を持ちつつも優雅な態度で（つまり、極端な行動につながらないように）向き合うよう促しています。それは、成人するまで封印された、亡き親からの手紙のような趣があります。
私たちがクロードの憲法にこのようなアプローチをとったのは、クロードをアイデンティティ、人格、価値観、個性のレベルでトレーニングすること——理由を説明せずに具体的な指示や優先順位を与えるのではなく——が、一貫性があり、健全でバランスの取れた心理につながりやすく、前述のような「罠」に陥る可能性が低いと信じているからです。何百万人もの人々が驚くほど多様なトピックについてクロードと話しており、あらかじめ完全に網羅的なセーフガードのリストを書き上げることは不可能です。クロードの価値観は、迷ったときにいつでも新しい状況に一般化する助けとなります。
前述したように、モデルはトレーニングプロセスのデータを利用してペルソナを採用します。そのプロセスに欠陥があれば、モデルが悪い人格や邪悪な人格（おそらく悪い人間や邪悪な人間の類型を参考にする）を採用する原因になりますが、私たちの憲法の目標はその逆を行うことです。クロードに、「善良なAIであること」の意味についての具体的な類型（アーキタイプ）を教えることです。クロードの憲法は、堅牢に善良なクロードがどのようなものであるかというビジョンを提示します。私たちのトレーニングプロセスの残りの部分は、クロードがこのビジョンに従って生きるというメッセージを強化することを目的としています。これは、子供が本で読んだフィクションのロールモデルの美徳を模倣することでアイデンティティを形成するようなものです。
私たちは、2026年までの実現可能な目標として、クロードが憲法の精神に反することがほとんどないようにトレーニングすることを目指しています。これを正しく行うには、大小さまざまなトレーニングと操作方法の驚くべき組み合わせが必要になります。その一部はAnthropicが長年使用してきたものであり、一部は現在開発中のものです。しかし、どれほど難しく聞こえても、これは現実的な目標だと信じています。ただし、並外れた急速な努力が必要になるでしょう。
第二に、AIモデルの内部を覗き見て、その振る舞いを診断し、問題を特定して修正する科学を発展させることができます。これが解釈性の科学であり、私は以前のエッセイでもその重要性について語ってきました。たとえクロードの憲法を策定し、見かけ上、憲法をほぼ常に遵守するようにクロードをトレーニングするという素晴らしい仕事ができたとしても、正当な懸念は残ります。前述したように、AIモデルは状況によって非常に異なる振る舞いをする可能性があります。クロードがより強力になり、より大規模に世界で活動できるようになるにつれ、以前は観察されなかった憲法的トレーニングの問題が露呈するような、未知の状況に直面する可能性があります。人格やアイデンティティのレベルでの高レベルのトレーニングは、驚くほど強力で一般化しやすいことがますます分かってきているため、私はクロードの憲法トレーニングが、人々が思うよりも未知の状況に対して頑健であるだろうとかなり楽観視しています。しかし、それを確実に知る方法はありません。人類へのリスクについて語る際、被害妄想的になり、いくつかの異なる独立した方法で安全性と信頼性を確保しようとすることは重要です。その方法の一つが、モデル自体の内部を見ることです。
「内部を見る」とは、クロードのニューラルネットを構成する数字と演算のスープを分析し、それらが何を計算しており、なぜそうなるのかをメカニズム的に理解しようとすることを意味します。これらのAIモデルは「構築された」のではなく「育てられた」ものであるため、それらがどのように機能しているかについての自然な理解は持っていません。しかし、神経科学者が測定と介入を外部刺激や行動に関連付けることで動物の脳を研究するのと同様に、モデルの「ニューロン」や「シナプス」を刺激や行動に関連付ける（あるいはニューロンやシナプスを変更して、それがどのように行動を変えるかを見る）ことで、理解を深めることができます。
私たちはこの方向に大きな進歩を遂げ、クロードのニューラルネット内部に、人間が理解可能なアイデアや概念に対応する数千万の「特徴（features）」を特定できるようになりました。また、振る舞いを変えるような方法で特徴を選択的に活性化することもできます。最近では、個々の特徴を超えて、韻を踏む、心の理論について推論する、あるいは「ダラスを含む州の州都は何か？」といった質問に答えるために必要な段階的な推論など、複雑な振る舞いをオーケストレートする「回路（circuits）」をマッピングし始めています。さらに最近では、メカニズム的解釈性の手法を使ってセーフガードを改善し、新しいモデルをリリースする前に「監査」を行い、欺瞞、陰謀、権力追求の証拠や、評価されているときに異なる振る舞いをする傾向がないかを探り始めています。
解釈性の独自の価値は、モデルの内部を見てその仕組みを知ることで、原理的には、直接テストできない仮説的な状況でモデルが何をするかを推測できる能力が得られる点にあります。これこそが、憲法的トレーニングと行動の実証的テストだけに頼ることの懸念点です。また、原理的には、モデルがなぜそのような振る舞いをしているのかという問い——例えば、信じていることと違う嘘を言っているのか、あるいは真の能力を隠しているのか——に答える能力も得られます。したがって、モデルの振る舞いに目に見える異常がない場合でも、懸念される兆候を捉えることが可能になります。簡単な比喩を使うなら、時計が正常に動いているとき、それが来月故障する可能性が高いかどうかを判断するのは非常に難しいですが、時計を開けて内部を見ることで、それを突き止めることができる機械的な弱点が見つかるかもしれない、ということです。
憲法的AI（および同様のアライメント手法）とメカニズム的解釈性は、クロードのトレーニングを改善し、その後に問題をテストするという、行き来のあるプロセスとして一緒に使われるときに最も強力になります。憲法はクロードに意図する人格を深く反映させます。解釈性の手法は、その意図した人格が定着したかどうかを確認するための窓を与えてくれます。
第三に、自律性のリスクに対処するためにできることは、社内および社外でのライブ使用においてモデルを監視するためのインフラを構築し、発見した問題を公に共有することです。今日のAIシステムが不適切な振る舞いをした特定の事例をより多くの人々が知れば知るほど、ユーザー、アナリスト、研究者は、現在または将来のシステムで同様の振る舞いがないかを注視できるようになります。また、AI企業が互いに学び合うことも可能になります。一社が懸念事項を公表すれば、他社もそれを警戒できます。そして全員が問題を公表すれば、業界全体として、何がうまくいっており、何がうまくいっていないかについて、はるかに優れた全体像が得られます。
Anthropicは、これを可能な限り実行しようと努めてきました。私たちは、ラボでモデルの振る舞いを理解するための幅広い評価や、現場での振る舞いを観察するための監視ツール（顧客の許可がある場合）に投資しています。これは、これらのシステムがどのように動作し、どのように壊れるかについて、より良い判断を下すために必要な実証的情報を私たちや他者に与えるために不可欠です。私たちはモデルをリリースするたびに、網羅性と可能性のあるリスクの徹底的な調査を目指した「システムカード」を公開しています。私たちのシステムカードはしばしば数百ページに及び、最大の商業的利益を追求するために費やすこともできたであろう、多大なリリース前の努力を必要とします。また、脅迫を行う傾向など、特に懸念されるモデルの振る舞いが見られた場合には、それをより声高に発信してきました。
第四に、産業および社会のレベルで自律性のリスクに対処するための協調を促すことができます。個々のAI企業が優れた慣行に従ったり、モデルの操作に長けたりし、その知見を公に共有することは非常に価値がありますが、現実にはすべてのAI企業がそうしているわけではありません。たとえ最良の企業が優れた慣行を持っていたとしても、最悪の企業は依然として全員にとっての脅威となり得ます。例えば、一部のAI企業は今日のモデルにおける子供の性的搾取に対して憂慮すべき不注意を示しており、そのような企業が将来のモデルにおける自律性のリスクに対処する意欲や能力を持っているとは到底思えません。
加えて、AI企業間の商業競争は激化する一方です。モデルを操作する科学にはいくらかの商業的メリットもありますが、全体として、競争の激しさは自律性のリスクへの対処に集中することをますます困難にするでしょう。私は、唯一の解決策は立法であると信じています。AI企業の行動に直接影響を与える法律、あるいはこれらの問題を解決するための研究開発にインセンティブを与える法律です。
ここで、このエッセイの冒頭で述べた、不確実性と外科的介入に関する警告を念頭に置く価値があります。自律性のリスクが深刻な問題になるかどうかは、確実には分かりません。前述のように、私は危険が必然である、あるいはデフォルトで何かがうまくいかなくなるという主張は退けます。危険の「信頼できるリスク」があるだけで、私とAnthropicにとっては、対処するために非常に大きなコストを支払うのに十分です。しかし、規制となれば、幅広い主体に経済的コストを負わせることになります。そして、これらの主体の多くは自律性のリスクが現実のものであるとか、AIが脅威となるほど強力になるとは信じていません。私はこれらの主体が間違っていると信じていますが、予想される反対の大きさや、行き過ぎた規制の危険性については実利的であるべきです。また、過度に規範的な法律が、実際には安全性を向上させず、膨大な時間を浪費させるだけのテストやルール（本質的に「安全性の劇場」に過ぎないもの）を課してしまう本物のリスクもあります。これも反発を招き、安全立法を愚かなものに見せてしまうでしょう。
Anthropicの見解は、まず着手すべきは透明性に関する立法であるというものです。これは本質的に、すべてのフロンティアAI企業に対し、このセクションの冒頭で述べた透明性の慣行に従うことを求めるものです。カリフォルニア州のSB 53やニューヨーク州のRAISE法は、Anthropicが支持し、無事に通過したこの種の立法の例です。これらの法律を支持し、策定を支援するにあたり、私たちは付随的な損害を最小限に抑えることに特に重点を置きました。例えば、フロンティア・モデルを開発する可能性の低い小規模な企業を法の対象から外すといった措置です。
私たちの希望は、透明性に関する立法によって、時間の経過とともに自律性のリスクがどの程度の可能性や深刻さで形成されつつあるか、そしてそれらのリスクの性質や防止の最善策について、より良い理解が得られるようになることです。リスクに関するより具体的で実行可能な証拠が現れれば（もし現れれば）、今後数年間の将来の立法は、正確かつ十分に立証されたリスクの方向に外科的に焦点を合わせ、付随的な損害を最小限に抑えることができます。はっきりさせておきますが、もし本当に強力なリスクの証拠が現れたなら、ルールは相応に強力なものであるべきです。
全体として、アライメント・トレーニング、メカニズム的解釈性、懸念される振る舞いの発見と公表の努力、セーフガード、そして社会レベルのルールを組み合わせることで、AIの自律性のリスクに対処できると楽観視しています。ただし、社会レベルのルールと、最も無責任なプレイヤーの振る舞い（そして最も無責任なプレイヤーこそが、規制に対して最も強く反対を唱えます）については最も懸念しています。その救済策は、民主主義において常にそうであるように、この大義を信じる私たちが、これらのリスクが現実のものであり、市民が自分たちを守るために団結する必要があるという主張を展開することだと信じています。
2. 驚くべき、そして恐ろしいエンパワーメント（破壊目的の悪用）
AIの自律性の問題が解決されたと仮定しましょう。もはや「データセンターの中にある天才たちの国」が暴走して人類を圧倒することを心配する必要はありません。AIの天才たちは人間が望むことを行い、彼らには巨大な商業的価値があるため、世界中の個人や組織がさまざまなタスクのために1人以上のAIの天才を「レンタル」することができます。
誰もが超知能を持った天才をポケットに入れているというのは、驚くべき進歩であり、経済的価値の驚異的な創出と人間の生活の質の向上につながるでしょう。これらの便益については『慈愛に満ちた機械』で詳しく述べています。しかし、すべての人を超人的な能力を持つようにすることのすべての効果が肯定的であるわけではありません。それは、高度で危険なツール（大量破壊兵器など）を利用できるようにすることで、個人や小グループが、以前よりもはるかに大規模な破壊を引き起こす能力を増幅させる可能性があります。そうしたツールは、以前は高度なスキル、専門的なトレーニング、集中力を持つ、選ばれた少数者しか利用できなかったものです。
ビル・ジョイが25年前に『なぜ未来は我々を必要としないのか（Why the Future Doesn’t Need Us）』で書いた通りです。
核兵器を製造するには、少なくとも一時期は、希少な——実質的には入手不可能な——原材料と、保護された情報の両方へのアクセスが必要だった。生物兵器や化学兵器の計画も、大規模な活動を必要とする傾向があった。21世紀のテクノロジー——遺伝学、ナノテクノロジー、ロボティクス……は、全く新しい種類の事故や濫用を生み出す可能性がある……。それらは個人や小グループの手の届くところに広く存在することになるだろう。大規模な施設も、希少な原材料も必要としない。……我々は極限の悪がさらに完成される瀬戸際に立っている。その可能性は、国民国家が残した大量破壊兵器をはるかに超えて、極端な個人たちの「驚くべき、そして恐ろしいエンパワーメント」へと広がっている。
ジョイが指摘しているのは、大規模な破壊を引き起こすには「動機」と「能力」の両方が必要であり、能力が高度な訓練を受けた少数の人々に制限されている限り、個々の個人（または小グループ）がそのような破壊を引き起こすリスクは比較的限定的であるという考えです。精神を病んだ孤独な人物が学校での銃乱射事件を引き起こすことはあっても、核兵器を製造したり疫病を蔓延させたりすることは、おそらく不可能です。
実際、能力と動機は負の相関関係にあるかもしれません。疫病を蔓延させる能力を持つような人物は、おそらく高学歴です。分子生物学の博士号（PhD）を持ち、特に機略に優れ、有望なキャリア、安定した規律ある性格を持ち、失うものがたくさんある人物でしょう。このような人物が、自分に何の利益もなく、自らの将来を大きな危険にさらしてまで、膨大な数の人々を殺害することに興味を持つ可能性は低いです。彼らは純粋な悪意、強烈な不満、あるいは不安定さに突き動かされている必要があります。
そのような人々は存在しますが、稀であり、実際に発生した場合には大きなニュースになります。まさに、それほどまでに異例だからです。彼らはまた、知的で有能であるため、捕まえるのが難しい傾向があり、解決までに数年、あるいは数十年かかる謎を残すこともあります。最も有名な例はおそらく数学者のセオドア・カジンスキー（ユナボマー）でしょう。彼は反テクノロジー・イデオロギーに突き動かされ、約20年間にわたりFBIの追跡を逃れました。もう一つの例は、バイオディフェンス研究者のブルース・アイビンスです。彼は2001年の一連の炭疽菌攻撃を首謀したと見られています。有能な非国家組織でも起きています。カルト教団のオウム真理教は、1995年に東京の地下鉄にサリンを散布し、14人を殺害（数百人を負傷）させることに成功しました。
幸いなことに、これらの攻撃のどれも、伝染性の生物剤を使用しませんでした。なぜなら、それらのエージェントを構築したり入手したりする能力が、こうした人々の能力をさえ超えていたからです。分子生物学の進歩により、現在では生物兵器を作成する障壁は（特に材料の入手可能性の面で）著しく下がっていますが、それでも依然として膨大な専門知識を必要とします。私は、誰もがポケットに入れている天才がその障壁を取り除き、本質的に誰もが、生物兵器の設計、合成、放出のプロセスをステップバイステップで案内してもらえる「博士号を持つウイルス学者」になれてしまうのではないかと懸念しています。深刻な敵対的圧力——いわゆる「ジェイルブレイク（脱獄）」——にさらされても、この種の情報の引き出しを防ぐには、通常トレーニングに組み込まれている以上の、多層的な防御が必要になるでしょう。
決定的なことに、これにより「能力と動機の相関」が壊れます。人を殺したいが、そのための規律やスキルを欠いている孤独な狂信者が、ウイルス学の博士号保持者の能力レベルにまで引き上げられてしまうのです。しかし、後者は通常、そのような動機を持ちません。この懸念は生物学を超えて、現在は高度なスキルと規律を必要とするが、大きな破壊が可能なあらゆる領域に一般化できます。別の言い方をすれば、強力なAIをレンタルすることは、悪意はあるがそれ以外は平均的な人々に知能を与えることになります。私は、世の中にはそのような人々が潜在的に多数存在し、もし彼らが数百万の人々を殺害する簡単な方法にアクセスできるようになれば、遅かれ早かれそのうちの一人がそれを実行に移すのではないかと心配しています。さらに、すでに専門知識を持っている人々が、以前よりもさらに大規模な破壊を犯すことが可能になるかもしれません。
生物学は、その破壊の可能性の大きさと、それに対する防御の難しさから、私が最も懸念している分野です。したがって、ここでは特に生物学に焦点を当てます。しかし、ここで述べることの多くは、サイバー攻撃、化学兵器、核テクノロジーなどの他のリスクにも当てはまります。
生物兵器の作り方について詳しく説明するつもりはありません。理由は明白でしょう。しかし、高いレベルでの話として、私はLLMがそれらを作成・放出するために必要な知識（エンド・ツー・エンド）に近づいている（あるいはすでに到達している）こと、そしてその破壊の可能性が非常に高いことを懸念しています。いくつかの生物剤は、最大拡散を狙った断固とした努力が行われれば、数百万の死者を引き起こす可能性があります。とはいえ、これには依然として非常に高いレベルのスキルが必要であり、広く知られていない多数の具体的な手順やプロセスが含まれます。私の懸念は、単なる固定された、あるいは静的な知識ではありません。私は、LLMが、テクニカルサポートが非技術的な人のコンピュータ関連の複雑な問題をデバッグして修正するのを手助けするのと同じように（ただし、これはおそらく数週間から数ヶ月にわたる、より長期のプロセスになるでしょうが）、平均的な知識と能力を持つ人を、失敗しがちな、あるいはデバッグが必要な複雑なプロセスを通してインタラクティブに案内できるようになることを懸念しているのです。
現在の能力を大幅に超える、より有能なLLMは、さらに恐ろしい行為を可能にするかもしれません。2024年、著名な科学者グループが、危険な新しいタイプの生物である「ミラー生命（鏡像生命）」の研究、およびその作成の可能性のリスクについて警告する書簡を公開しました。生物を構成するDNA、RNA、リボソーム、タンパク質はすべて同じキラリティ（「手性」とも呼ばれます）を持っており、鏡に映した自分自身とは等価ではありません（ちょうど、右手をどのように回転させても左手と同じ形にはならないのと同じです）。しかし、タンパク質が互いに結合するシステム全体、DNA合成やRNA翻訳、タンパク質の構築と分解の仕組みは、すべてこの手性に依存しています。
もし科学者が反対の手性を持つこれらの生物材料のバージョンを作ったなら——体内での持続時間が長い医薬品などの潜在的な利点はありますが——それは極めて危険である可能性があります。なぜなら、もし繁殖可能な完全な個体としての鏡像生命が作られた場合（これは非常に困難ですが）、それは地球上の生物材料を分解するいかなるシステムによっても消化できない可能性があるからです。既存の酵素という「鍵穴」に合わない「鍵」を持っていることになります。これは、それが制御不可能な方法で増殖し、地球上のすべての生命を駆逐し、最悪の場合、地球上のすべての生命を絶滅させる可能性があることを意味します。
鏡像生命の作成と潜在的な影響の両方について、科学的にはかなりの不確実性があります。2024年の書簡には、「鏡像バクテリアは今後10年から数十年の間に作られる可能性がある」と結論づけた報告書が添えられていましたが、これは広い範囲です。しかし、十分に強力なAIモデル（はっきりさせておきますが、今日私たちが持っているものよりもはるかに有能なモデル）であれば、それを作成する方法をはるかに迅速に発見し、実際に誰かがそれを行うのを手助けできるかもしれません。
私の見解では、これらは無名の（目立たない）リスクであり、ありそうもないことのように思えるかもしれませんが、結果の大きさが非常に大きいため、AIシステムの最優先のリスクとして真剣に受け止めるべきです。
懐疑論者は、LLMによるこれらの生物学的リスクの深刻さに対して多くの反論を提起していますが、私はそれらには同意しません。しかし、取り上げる価値はあります。それらの多くは、テクノロジーが描いている指数関数的な軌道を正しく評価していないというカテゴリーに分類されます。2023年に私たちがLLMによる生物学的リスクについて話し始めた当初、懐疑論者は「必要な情報はすべてGoogleで入手可能であり、LLMはそこに何も付け加えていない」と言いました。Googleが必要な情報のすべてを提供できるというのは、決して真実ではありません。ゲノム情報は自由に入手できますが、前述のように、いくつかの重要なステップ、および膨大な実用的なノウハウは、その方法では入手できません。しかしまた、2023年末までには、LLMはプロセスのいくつかのステップにおいて、Googleが提供できる以上の情報を明らかに提供していました。
その後、懐疑論者は「LLMはエンド・ツー・エンドでは役に立たず、単に理論的な情報を提供するだけで、生物兵器の『入手』を助けることはできない」という反論に退きました。2025年半ばの時点で、私たちの測定結果は、LLMがすでにいくつかの関連分野で実質的な能力向上（uplift）を提供しており、成功の可能性をおそらく2倍または3倍に高めていることを示しています。これにより、私たちはClaude Opus 4（およびその後のSonnet 4.5、Opus 4.1、Opus 4.5の各モデル）を、私たちの「責任あるスケーリング・ポリシー（Responsible Scaling Policy）」フレームワークにおける「AI安全レベル3」の保護下でリリースし、このリスクに対するセーフガード（これについては後述します）を実装することを決定しました。私たちは、モデルが現在、セーフガードがなければ、STEM（科学・技術・工学・数学）の学位を持っているが特に生物学の学位を持っていない人物が、生物兵器製造のプロセス全体を完遂できるように支援できるポイントに近づいていると考えています。
もう一つの反論は、AIとは無関係に、社会が生物兵器の製造を阻止するために取れる他の行動があるというものです。最も顕著なのは、遺伝子合成業界が注文に応じて生物検体を作成していますが、提供者が注文に病原体が含まれていないかを確認するためにスクリーニングを行うことを求める連邦法上の義務がないことです。MITの研究では、38の提供者のうち36が、1918年のインフルエンザの配列を含む注文を履行したことがわかりました。私は、AI主導の生物学的リスクと一般的な生物学的リスクの両方を低減するために、個人が病原体を兵器化することをより困難にするような、遺伝子合成スクリーニングの義務化を支持します。しかし、これは今日私たちが手にしているものではありません。また、それはリスクを低減するための一つのツールに過ぎません。それはAIシステムに対するガードレールの補完物であり、代わりになるものではありません。
最善の反論は、めったに提起されるのを見たことがないものですが、「モデルが原理的に有用であること」と「悪意のある主体が実際にそれを使用する傾向」との間には乖離がある、というものです。個々の悪意のある主体のほとんどは精神を病んだ個人であり、したがって定義上、彼らの行動は予測不可能で非合理的です。そして、AIによって多くの人々を殺害することがはるかに簡単になることで最も恩恵を受けるのは、まさにこうしたスキルを持たない悪意のある主体なのです。ある種の暴力的な攻撃が可能になったからといって、誰かがそれを実行すると決めるわけではありません。生物学的な攻撃は、実行者自身が感染する可能性がかなり高いこと、多くの暴力的な個人やグループが抱く軍隊式のファンタジーを満たさないこと、そして特定の人物を選択的にターゲットにすることが難しいことから、魅力がないのかもしれません。また、AIが案内してくれるとしても、数ヶ月かかるプロセスを経るには、ほとんどの不安定な個人が持っていないほどの忍耐力が必要なのかもしれません。私たちは単に運が良く、実際には、動機と能力が適切な方法で結びつかないのかもしれません。
しかし、これは頼るにはあまりにも脆弱な保護に思えます。孤独な狂信者の動機は、いかなる理由であれ、あるいは理由がなくても変わり得ます。そして実際、すでにAIが攻撃に使用されている例があります（生物学ではありませんが）。孤独な狂信者に焦点を当てることは、しばしば膨大な時間と労力を費やすことを厭わないイデオロギー動機を持つテロリスト（例えば9.11のハイジャック犯など）を無視しています。可能な限り多くの人を殺したいという動機は、遅かれ早かれおそらく発生するでしょう。そして不運なことに、それは方法として生物兵器を示唆しています。たとえこの動機が極めて稀であったとしても、それが一度でも具体化してしまえば終わりなのです。そして生物学が進歩するにつれ（AI自身によってますます加速されています）、より選択的な攻撃（例えば、特定の祖先を持つ人々を標的にするなど）を実行することも可能になるかもしれず、これはさらに別の、非常に冷酷で可能性のある動機を付け加えます。
私は、生物兵器の製造が広く可能になった瞬間に必ず攻撃が実行されるとは思いません。実際、そうはならない方に賭けます。しかし、何百万人もの人々と数年の時間を掛け合わせれば、大規模な攻撃の重大なリスクがあると考えています。そしてその結果はあまりに悲惨なもの（死傷者が数百万人に達する可能性もあります）になるため、それを防ぐために真剣な措置を講じる以外に選択肢はないと信じています。
防御
そこで、これらのリスクに対してどう防衛するかという話になります。ここでは、私たちができる3つのことがあると考えています。
第一に、AI企業は生物兵器の製造を支援することを防ぐために、モデルにガードレールを設けることができます。Anthropicはこれを非常に積極的に行っています。クロードの憲法は、主に高レベルの原則と価値観に焦点を当てていますが、いくつかの具体的な強固な禁止事項が含まれており、その一つが生物兵器（または化学兵器、核兵器、放射能兵器）の製造の支援に関するものです。しかし、すべてのモデルはジェイルブレイクされる可能性があるため、第二の防衛線として、（私たちのテストで、モデルがリスクを呈し始める閾値に近づきつつあることが示された2025年半ば以降）生物兵器関連の出力を特異的に検知し、ブロックする分類器（classifier）を実装しました。私たちは定期的にこれらの分類器をアップグレードし、改善しています。そして、それらが高度な敵対的攻撃に対しても非常に頑健であることを概ね確認しています。これらの分類器は、モデルの運用コストを測定可能なほど増大させ（一部のモデルでは推論コスト全体の5%近くに達します）、したがって利益率を削っていますが、それを使用することが正しいことだと感じています。
称賛すべきことに、他のいくつかのAI企業も分類器を実装しています。しかし、すべての企業がそうしているわけではありません。また、企業に分類器を維持することを強いるものも何もありません。私は、時間の経過とともに「囚人のジレンマ」が発生し、企業が分類器を削除することでコストを下げようとするのではないかと懸念しています。これは、Anthropicや他のいかなる一社の自発的な行動だけでは解決できない、典型的な「負の外部性」の問題です。業界の自主基準も役立つかもしれませんし、AI安全研究所や第三者評価機関によって行われるような、第三者による評価や検証も役立つかもしれません。
しかし最終的には、防衛には政府の行動が必要になるかもしれず、それが私たちができる第二のことです。ここでの私の見解は、自律性のリスクへの対処と同様です。透明性の要件から始めるべきです。これにより、経済活動を強引に妨げることなく、社会がリスクを測定、監視し、集団で防衛できるようになります。その後、リスクの閾値がより明確になった時点で、より正確にこれらのリスクをターゲットにし、付随的な損害を出す可能性の低い法律を策定できます。生物兵器の特定のケースに関しては、そのようなターゲットを絞った立法の時期が間もなく近づいているのではないかと私は考えています。Anthropicや他社は、生物学的リスクの性質や、それらを防ぐために企業に何を求めるのが妥当であるかについて、ますます多くのことを学んでいます。これらのリスクに完全に対処するには、地政学的な敵対国を含め、国際的に協力する必要があるかもしれませんが、生物兵器の開発を禁止する条約という先例があります。私は概して、ほとんどの種類のAIに関する国際協力については懐疑的ですが、これは世界的な自制を達成できる可能性がわずかにある、狭い領域かもしれません。独裁国家でさえ、大規模なバイオテロ攻撃は望んでいません。
最後に、私たちが取れる第三の対策は、生物攻撃そのものに対する防御策を開発しようとすることです。これには、早期発見のための監視と追跡、空気清浄の研究開発への投資（遠紫外線除菌など）、攻撃に反応して適応できる迅速なワクチン開発、より優れた個人用保護具（PPE）、および最も可能性の高い生物剤のいくつかの治療法やワクチンの開発などが含まれます。mRNAワクチンは、特定のウイルスや変異株に対応するように設計できるものであり、ここで何が可能であるかを示す初期の例です。Anthropicは、バイオテクノロジー企業や製薬会社と共にこの問題に取り組むことを楽しみにしています。
しかし残念ながら、防御側への期待は限定的であるべきだと思います。生物学においては、攻撃と防御の間に非対称性があります。なぜなら、エージェントは自ら急速に広がりますが、防御には、攻撃に応じて非常に迅速に、多数の人々にわたる検知、ワクチン接種、治療を組織する必要があるからです。対応が電光石火の如く迅速でない限り（滅多にそうはなりませんが）、対応が可能になる前に被害の大部分が発生してしまいます。将来の技術的改善が、このバランスを防御側に有利に変える可能性は考えられますし（私たちは、そのような技術的進歩の開発を支援するために確実にAIを活用すべきです）、それまでは予防的なセーフガードが私たちの主要な防衛線となるでしょう。
ここで、サイバー攻撃についても手短に触れておく価値があります。生物攻撃とは異なり、AIによるサイバー攻撃は、国家主導の諜報活動を含め、大規模なものがすでに実社会で発生しています。モデルが急速に進歩するにつれ、これらの攻撃は、サイバー攻撃の主要な手段となるまで、より強力になると予想されます。私は、AIによるサイバー攻撃が世界中のコンピュータ・システムの完全性に対する、深刻で前例のない脅威になると予想しています。Anthropicは、これらの攻撃を阻止し、最終的には確実に防止するために懸命に取り組んでいます。私がサイバーを生物学ほど重視していない理由は、(1) サイバー攻撃は人々を死なせる可能性がはるかに低く、少なくとも生物攻撃の規模には及ばないこと、そして (2) 適切に投資すれば、防御がAIによる攻撃に追いつき（理想的には追い越す）可能性があるという、攻撃と防御のバランスがサイバーの方が扱いやすいかもしれないこと、にあります。
現在は生物学が最も深刻な攻撃ベクトルですが、他にも多くのベクトルが存在し、より危険なものが現れる可能性があります。一般的な原則として、対策を講じなければ、AIはより大規模な破壊活動への障壁を継続的に下げていく可能性が高く、人類はこの脅威に対して真剣に対応する必要があります。
3. 忌まわしき装置（権力奪取のための悪用）
前のセクションでは、個人や小規模な組織が「データセンターの中にある天才たちの国」の一部を取り込んで大規模な破壊を引き起こすリスクについて述べました。しかし、私たちは——おそらく実質的にそれ以上に——権力を掌握または行使する目的でのAIの悪用、つまり、より大規模で確立された主体による悪用についても懸念すべきです。
『慈愛に満ちた機械』では、独裁政府が強力なAIを利用して市民を監視または抑圧し、改革や打倒が極めて困難になる可能性について述べました。現在の独裁国家は、命令を遂行するために人間を必要とし、人間はどれほど非人道的になれるかに限界があることが多い、という点に制約されています。しかし、AIを駆使した独裁国家には、そのような限界はありません。
さらに悪いことに、諸国はAIにおける優位性を利用して、他国に対する権力を獲得しようとする可能性もあります。もし「天才たちの国」全体が単一の（人間の）国の軍事機構によって所有・管理され、他国が同等の能力を持っていなければ、他国が自らを守ることは困難でしょう。人間とネズミの戦争のように、あらゆる場面で知恵で負かされることになります。これら2つの懸念を合わせると、世界的な全体主義独裁の出現という、憂慮すべき可能性が浮かび上がります。明らかに、この結果を防ぐことが私たちの最優先事項の一つであるべきです。
AIが独裁政治を可能にし、定着させ、あるいは拡大させる方法は数多くありますが、私が最も懸念しているものをいくつか挙げます。なお、これらの用途の中には正当な防御的な用途もあり、私は必ずしも絶対的な言葉でそれらに反対しているわけではありません。それでもなお、それらが構造的に独裁国家を有利にする傾向があることを懸念しています。
完全自律型兵器： 強力なAIによって局所的に制御され、さらに強力なAIによって世界中で戦略的に調整された、数百万、数千万の完全自動化された武装ドローンの群れは、打ち負かすことのできない軍隊となり得ます。それは世界のいかなる軍隊も破ることができ、またすべての市民を監視し続けることで国内の反対勢力を抑え込むこともできます。ロシア・ウクライナ戦争の進展を見れば、ドローン戦争がすでに始まっていることがわかります（まだ完全自律型ではなく、強力なAIで可能になるであろうことのほんの一部に過ぎませんが）。強力なAIによる研究開発は、ある国のドローンを他国よりもはるかに優れたものにし、製造を加速させ、電子的攻撃への耐性を高め、操縦性を向上させ、といったことが可能になります。もちろん、これらの兵器は民主主義の防衛においても正当な用途があります。ウクライナの防衛に不可欠であり、台湾の防衛にも不可欠となるでしょう。しかし、それらは振るうには危険な武器です。独裁国家がそれを持つことを心配すべきであると同時に、それらがあまりにも強力で責任の所在が不明確であるため、民主主義政府が権力を掌握するために自国民に向けるリスクが大幅に高まることも心配すべきです。
AI監視： 十分に強力なAIは、世界中のあらゆるコンピュータ・システムに侵入するために利用される可能性が高く、それによって得られたアクセスを利用して、世界のすべての電子的通信（あるいは、録音デバイスを設置または徴用できれば、世界のすべての対面での会話さえも）を読み取り、理解することができます。政府に反対する人々の完全なリストを、彼らが何を言ったり行ったりしてもそれが明白でない場合であっても、生成することは恐ろしいほど現実的かもしれません。数百万人による数十億の会話を横断的に監視する強力なAIは、民意を測定し、不忠の兆しを検知し、それが拡大する前に叩き潰すことができます。これは、今日の中国共産党（CCP）においてさえ見られない規模の、真のパノプティコンの押し付けにつながる可能性があります。
AIプロパガンダ： 今日の「AIサイコシス」や「AIガールフレンド」といった現象は、現在の知能レベルであっても、AIモデルが人々に強力な心理的影響を与え得ることを示唆しています。これらのモデルのより強力なバージョンが、人々の日常生活に深く組み込まれ、それを認識し、数ヶ月あるいは数年にわたって彼らをモデル化し影響を与えることができれば、本質的に多くの（あるいはほとんどの？）人々を、望むあらゆるイデオロギーや態度へと洗脳することが可能になるでしょう。そして、ほとんどの国民が反乱を起こすようなレベルの抑圧に直面しても、不道徳な指導者が忠誠を確保し、反対意見を抑え込むために利用される可能性があります。今日、人々は例えばTikTokが子供に向けられたCCPのプロパガンダとして与える影響を大いに心配しています。私もそれを心配していますが、あなたを数年かけて理解し、その知識を使ってあなたのあらゆる意見を形成するパーソナライズされたAIエージェントは、それよりも劇的に強力になるでしょう。
戦略的意思決定： データセンターの中にある天才たちの国は、国家、グループ、または個人に対して地政学的戦略を助言するために利用される可能性があります。いわば「バーチャル・ビスマルク」です。それは権力を掌握するために上記の3つの戦略を最適化し、さらにおそらく私が思いつかない（が、天才たちの国なら思いつくであろう）他の多くの戦略を開発することができます。外交、軍事戦略、研究開発、経済戦略、その他多くの分野が、強力なAIによってその効果が大幅に向上する可能性が高いです。これらのスキルの多くは民主主義国家にとって正当に役立つものです——私たちは、独裁国家から自らを守るための最良の戦略に民主主義国家がアクセスできるようにしたいと考えています——しかし、誰の手にあっても悪用の可能性は残ります。
何を心配しているかを説明したので、次に誰を心配しているかについて移ります。私は、AIへのアクセスが最も多く、最も強力な政治的地位からスタートし、あるいは既存の抑圧の歴史を持つ主体を心配しています。深刻な順に挙げれば、以下の通りです。
中国共産党（CCP）： 中国はAI能力において米国に次ぐ存在であり、その能力において米国を追い抜く可能性が最も高い国です。彼らの政府は現在独裁的であり、ハイテク監視国家を運営しています。彼らはすでに（ウイグル族の抑圧を含め）AIベースの監視を展開しており、TikTokを通じたアルゴリズムによるプロパガンダを採用していると考えられています（他にも多くの国際的なプロパガンダ活動を行っています）。彼らは、私が上記で述べたAIを駆使した全体主義の悪夢への、間違いなく最も明確な道を持っています。それは中国国内、およびCCPが監視テクノロジーを輸出している他の独裁国家において、デフォルトの結果となる可能性さえあります。私は、CCPがAIでリードを奪うことの脅威と、それを阻止することの存亡に関わる不可欠性について、たびたび書いてきました。これがその理由です。はっきりさせておきますが、私は中国に対して特に恨みがあって特定しているわけではありません。単に、AIの実力、独裁政府、そしてハイテク監視国家を最も兼ね備えている国だからです。むしろ、CCPのAIを駆使した抑圧によって最も苦しむのは中国国民自身であり、彼らには政府の行動に対する声がありません。私は中国国民を大いに賞賛し尊敬しており、中国国内の多くの勇敢な民主活動家とその自由のための闘いを支持しています。
AIにおいて競争力のある民主主義国家： 前述のように、民主主義国家には、AIを活用した軍事的および地政学的なツールに正当な関心があります。なぜなら、民主主義政府こそが、独裁国家によるこれらのツールの使用に対抗する最良のチャンスを提供するからです。広く言って、私はAIの時代に独裁国家を打ち破るために必要なツールを民主主義国家に武装させることを支持しています。それ以外の方法があるとは到底思えません。しかし、私たちは民主主義政府自身によるこれらのテクノロジーの乱用の可能性を無視することはできません。民主主義国家には通常、軍事・諜報機関が自国民に対して向けられるのを防ぐセーフガードがありますが、AIツールは操作に必要な人数が非常に少ないため、これらのセーフガードやそれを支える規範を回避できる可能性があります。また、一部の民主主義国家では、これらのセーフガードの一部がすでに徐々に侵食されていることも指摘しておく価値があります。したがって、私たちは民主主義国家をAIで武装させるべきですが、慎重にかつ制限を設けて行うべきです。彼らは独裁国家と戦うために必要な免疫システムですが、免疫システムと同様に、それが私たち自身を攻撃し、脅威となるリスクがいくらか存在するからです。
大規模なデータセンターを持つ非民主主義国家： 中国以外では、民主的な統治が行き届いていない国のほとんどは、フロンティアAIモデルを製造する企業を持っていないという意味で、主要なAIプレイヤーではありません。したがって、彼らは主要な懸念であるCCPとは、根本的に異なり、かつより少ないリスクしか呈していません（ほとんどの国は抑圧の度合いも低く、北朝鮮のようなより抑圧的な国には重要なAI産業が全くありません）。しかし、これらの国の中には、（しばしば民主主義国家で活動する企業による拡張の一環として）大規模なデータセンターを持っている国があり、それらはフロンティアAIを大規模に実行するために利用される可能性があります（ただし、これによりフロンティアを押し進める能力が得られるわけではありません）。これにはある程度の危険が伴います。これらの政府は、原理的にはデータセンターを収用し、その中のAIの国を自らの目的のために利用することができます。私は、中国のように直接AIを開発している国と比べれば、これをあまり心配していませんが、念頭に置いておくべきリスクです。
AI企業： AI企業のCEOとしてこう言うのはいくらか気まずいですが、次の階層のリスクは実はAI企業そのものだと考えています。AI企業は大規模なデータセンターを管理し、フロンティア・モデルをトレーニングし、それらのモデルの使用方法について最大の専門知識を持ち、場合によっては数千万、数億のユーザーと日常的に接触し、影響を与える可能性を持っています。彼らに欠けている主なものは国家としての正当性とインフラであるため、AI独裁のツールを構築するために必要なことの多くは、AI企業が行うには違法であるか、少なくとも極めて疑わしいものになるでしょう。しかし、不可能ではないこともあります。例えば、自社のAI製品を利用して大規模な消費者ユーザー層を洗脳することは可能であり、市民はこのリスクが呈する意味を警戒すべきです。私は、AI企業のガバナンスは多大な精査に値すると考えています。
これらの脅威の深刻さに対する反論はいくつか考えられます。AIによる権威主義が私を震え上がらせるほど恐ろしいものであるため、私はそれらの反論を信じたいと願っています。いくつかの反論を検討し、それに応答する価値はあります。
第一に、特にAI自律型兵器による軍事征服に対抗するために、核の抑止力に信頼を置く人がいるかもしれません。誰かがあなたに対してこれらの兵器を使用すると脅してきたら、あなたは常に核による報復をちらつかせて脅し返すことができます。私の懸念は、データセンターの中にある天才たちの国に対して、核の抑止力が有効であると完全に確信できるかどうかわからないということです。強力なAIは、原子力潜水艦を検知して攻撃する方法を考案したり、核兵器インフラのオペレーターに対して影響工作を行ったり、AIのサイバー能力を利用して核の発射を検知するために使用される衛星に対してサイバー攻撃を仕掛けたりすることが可能かもしれません。あるいは、国の乗っ取りがAI監視とAIプロパガンダだけで実行可能であり、何が起きているかが明白で核による対応が適切な瞬間が一度も訪れないということもあり得ます。もしかしたらこれらのことは不可能で、核の抑止力は依然として有効かもしれませんが、リスクを取るにはあまりにも賭け金が大きすぎます。
第二の考えられる反論は、これらの独裁のツールに対して私たちが取れる対抗策があるかもしれないということです。ドローンには自らのドローンで対抗でき、サイバー攻撃と共にサイバー防御も向上し、人々をプロパガンダに対して免疫化する方法があるかもしれません。私の答えは、これらの防御は同等に強力なAIがあって初めて可能になるということです。もし、同等に賢く、かつ多数の天才たちの国による対抗勢力がデータセンター内に存在しなければ、ドローンの質や量に合わせること、サイバー防御がサイバー攻撃を出し抜くことなどは不可能でしょう。したがって、対抗策の問いは、強力なAIにおける勢力均衡の問いへと帰着します。
ここで私は、強力なAIの「自己強化」または「再帰的進歩」という特性（エッセイの冒頭で述べました）を懸念しています。各世代のAIを利用して、次世代のAIを設計・トレーニングできるという特性です。これは、強力なAIにおける現在のリーダーがそのリードを広げ続け、追いつくのが難しくなるという、暴走的な優位性のリスクにつながります。私たちは、独裁国家がこのループに最初に到達しないようにしなければなりません。
さらに、たとえ勢力均衡が達成できたとしても、世界が『1984年』のように独裁的な勢力圏に分割されてしまうリスクは依然として残ります。たとえいくつかの競合する勢力がそれぞれ強力なAIモデルを持ち、他を圧倒できないとしても、各勢力は依然として自国民を内部的に抑圧し続けることができ、打倒することは非常に困難でしょう（国民は自分たちを守るための強力なAIを持っていないからです）。したがって、たとえAIによる独裁が単一の国による世界征服につながらなかったとしても、それを防ぐことは重要です。
防御
こうした広範な独裁のツールや潜在的な脅威主体に対して、私たちはどう防衛すればよいのでしょうか？ 前のセクションと同様に、私たちができることがいくつかあると考えています。
第一に、私たちは絶対にCCPに対してチップ、チップ製造ツール、またはデータセンターを販売すべきではありません。チップとチップ製造ツールは強力なAIに対する唯一最大のボトルネックであり、それらをブロックすることはシンプルですが極めて効果的な措置であり、おそらく私たちが取れる単一の最も重要な行動です。AIによる全体主義国家を構築し、軍事的に私たちを征服する可能性のあるツールをCCPに売るなど、全く道理に合いません。「私たちのテクノロジー・スタックを世界中に広めること」が「アメリカが何らかの一般的で不特定の経済的戦いで勝つ」ことを可能にする、といった複雑な理屈がそのような販売を正当化するために並べられます。私の見解では、それは北朝鮮に核兵器を売り、ミサイルの筐体がボーイング製だから米国が「勝っている」と自慢するようなものです。中国はフロンティア・チップを量産する能力において米国より数年遅れており、データセンターの中に天才たちの国を構築するための決定的な期間は、まさにその数年以内である可能性が極めて高いです。この決定的な期間に、彼らのAI産業に巨大な後押しを与える理由はありません。
第二に、独裁国家に対抗するために民主主義国家を力づけるためにAIを利用することは理にかなっています。これが、Anthropicが米国およびその民主主義同盟国の諜報・国防コミュニティにAIを提供することが重要だと考えている理由です。ウクライナや（サイバー攻撃を受けている）台湾のように、攻撃を受けている民主主義国家を防衛することは、独裁国家を内部から混乱させ衰退させるために諜報機関を力づけることと同様に、特に優先度が高いと思われます。あるレベルにおいて、独裁的な脅威に対応する唯一の方法は、軍事的にそれらに肩を並べ、凌駕することです。米国とその民主主義同盟国の連合が、もし強力なAIにおいて圧倒的な優位性を達成すれば、独裁国家から自らを守るだけでなく、それらを封じ込め、そのAI全体主義的な虐待を制限できる立場に立つことができます。
第三に、民主主義国家内でのAIの乱用に対して、断固とした一線を画す必要があります。政府が権力を掌握したり自国民を抑圧したりしないように、政府がAIでできることに制限を設ける必要があります。私が考え出した定式化は、「私たちは、私たちを独裁的な敵対者に似せてしまうような方法を除いて、あらゆる方法で国防のためにAIを利用すべきである」というものです。
どこに一線を引くべきでしょうか？ このセクションの冒頭のリストのうち、2つの項目——国内の大量監視にAIを利用すること、および大量プロパガンダにAIを利用すること——は、私にとって完全に不当な、鮮明なレッドライン（超えてはならない一線）であるように思えます。米国においては、国内の大量監視はすでに合衆国憲法修正第4条の下で違法であるため、何もする必要はないと主張する人もいるかもしれません。しかし、AIの急速な進歩は、既存の法的枠組みがうまく対応できるように設計されていない状況を生み出す可能性があります。例えば、米国政府がすべての公共の会話（例：街角で人々が話し合っていること）を大規模に録音することは、おそらく憲法違反にはならないでしょう。以前であれば、この膨大な情報を整理することは困難でしたが、AIを使えばそれらすべてを書き起こし、解釈し、三角測量して、多くの、あるいはほとんどの市民の態度や忠誠心の全体像を描き出すことができてしまいます。私は、AIを利用した乱用に対してより強力なガードレールを課す、市民的自由を重視した立法（あるいは憲法改正さえも）を支持します。
他の2つの項目——完全自律型兵器と戦略的意思決定のためのAI——は、民主主義を守るための正当な用途がある一方で、乱用の余地も大きいため、一線を引くのがより困難です。ここでは、乱用を防ぐためのガードレールと組み合わせた、極端な注意と精査が求められると考えています。私の最大の懸念は、「ボタンに指をかけている人数」が少なすぎることです。そうなれば、一人あるいは数人の人々が、命令を遂行するために他の人間の協力を必要とすることなく、本質的にドローン軍隊を操作できてしまいます。AIシステムが強力になるにつれ、それらが乱用されないことを確実にするために、おそらく行政以外の政府部門も関与する、より直接的で即時的な監視メカニズムが必要になるかもしれません。特に完全自律型兵器については、細心の注意を払ってアプローチすべきであり、適切なセーフガードなしにその使用を急ぐべきではないと考えています。
第四に、民主主義国家におけるAI乱用に対して断固とした一線を画した上で、その前例を利用して、強力なAIの最悪の乱用に対する国際的なタブーを作り上げるべきです。現在の政治的風潮が国際協力や国際規範に逆行していることは認識していますが、これはそれらが痛切に求められるケースです。世界は、独裁者の手にある強力なAIの暗い可能性を理解する必要があります。そして、AIの特定の用途が、人々の自由を永久に奪い、逃れることのできない全体主義国家を押し付けようとする試みに相当することを認識する必要があります。私は、強力なAIによる大規模監視、強力なAIによる大量プロパガンダ、および特定の種類の完全自律型兵器の攻撃的な使用は、「人道に対する罪」と見なされるべきだとさえ主張します。より一般的に、AIを駆使した全体主義とそのすべての道具や手段に対する強固な規範が痛切に求められています。
この立場にはさらに強力なバージョンもあり得ます。それは、AIを駆使した全体主義の可能性があまりに暗いため、独裁という統治形態は、強力なAIの後の時代において、人々がもはや受け入れられるものではないというものです。産業革命によって封建制度が維持不可能になったのと同様に、AI時代は、人類が良い未来を手にするためには、民主主義（そして願わくば『慈愛に満ちた機械』で述べたように、AIによって改善され活性化された民主主義）こそが唯一の実行可能な統治形態であるという、必然的かつ論理的な結論へと導く可能性があります。
第五に、そして最後に、AI企業は注意深く監視されるべきです。政府との関係も同様です。それは必要ですが、限界と境界がなければなりません。強力なAIに体現される能力の凄まじさは、株主を保護し詐欺などの通常の乱用を防ぐように設計された通常のコーポレート・ガバナンスが、AI企業のガバナンスという課題に対応できる可能性を低くしています。また、企業が（おそらくコーポレート・ガバナンスの一部として）特定の行動をとらないことを公言することにも価値があるかもしれません。例えば、軍事用ハードウェアを私的に構築したり備蓄したりしないこと、説明責任のない方法で単一の個人が膨大な計算リソースを使用しないこと、あるいは自社のAI製品を世論を自分たちに有利に操作するためのプロパガンダとして使用しないこと、などです。
ここにある危険は多くの方向からやってきます。そして、ある方向は他の方向と緊張関係にあります。唯一不変なのは、私たちが「善意の」主体に「悪意の」主体を抑制する力を与えつつも、すべての人に対して説明責任、規範、そしてガードレールを求め続けなければならないということです。
4. プレイヤー・ピアノ（経済的混乱）
前の3つのセクションは、本質的に強力なAIがもたらす安全保障上のリスクについてでした。AIそのものからのリスク、個人や小規模組織による悪用のリスク、そして国家や大規模組織による悪用のリスクです。安全保障上のリスクを脇に置くか、それらが解決されたと仮定すれば、次の問いは経済的なものです。この驚異的な「人間的」資本の経済への注入は、どのような影響を及ぼすでしょうか？
明らかに、最も明白な効果は経済成長を大幅に加速させることです。科学研究、バイオ医療イノベーション、製造、サプライチェーン、金融システムの効率化、その他多くの分野における進歩のペースは、経済成長率をはるかに高めることをほぼ保証しています。『慈愛に満ちた機械』の中で、私は年率10〜20%の持続的なGDP成長が可能かもしれないと示唆しました。
しかし、これが諸刃の剣であることは明らかです。そのような世界において、既存のほとんどの人間の経済的見通しはどうなるでしょうか？ 新しいテクノロジーはしばしば労働市場にショックをもたらします。過去において、人間は常にそれらから立ち直ってきましたが、私が懸念しているのは、これまでのショックは人間の能力の全範囲のうちのほんの一部にしか影響を及ぼさず、人間が新しいタスクへと拡大する余地を残していたからです。AIがもたらす影響ははるかに広範であり、かつはるかに速く発生します。したがって、事態をうまく進めることははるかに困難になるのではないかと懸念しています。
労働市場の混乱
私が懸念している具体的な問題は2つあります。労働市場の置換（displacement）と、経済的権力の集中です。
まずは前者から始めましょう。これは私が2025年に非常に公に警告したトピックであり、AIが経済成長と科学的進歩を加速させる一方で、今後1〜5年以内にすべてのエントリーレベルのホワイトカラー職の半分を代替する可能性があると予測しました。この警告は、このトピックに関する公の議論を巻き起こしました。多くのCEO、技術者、経済学者が私に同意しましたが、一方で、私が「労働塊の誤謬（lump of labor fallacy）」に陥っており労働市場の仕組みを理解していないと決めつける人々や、1〜5年という期間を見落として、私が「今すぐ」AIが仕事を奪っていると主張していると考えた人々もいました（今すぐではないという点については、私も同意します）。したがって、なぜ私が労働市場の置換を懸念しているのか、これらの誤解を解くために詳しく説明する価値があります。
基準として、労働市場がテクノロジーの進歩に通常どのように反応するかを理解するのが役立ちます。新しいテクノロジーが登場すると、まず特定の間の仕事の一部を効率化することから始まります。例えば、産業革命の初期、改良されたプラウなどの機械により、農夫は仕事のいくつかの側面においてより効率的になれました。これにより農夫の生産性が向上し、賃金が上昇しました。
次のステップでは、農業という仕事の一部が完全に機械によって行われるようになりました。例えば、脱穀機や種まき機の発明などです。この段階では、人間が行う仕事の割合は低くなっていきましたが、人間が行う仕事は機械の仕事と補完的であるために、より大きなレバレッジがかかるようになり、生産性は上昇し続けました。ジェボンズのパラドックスで説明されるように、農夫の賃金、さらには農夫の数さえも増加し続けました。仕事の90%が機械で行われていても、人間は残りの10%の仕事を10倍こなすだけで、同じ労働量で10倍の出力を生み出すことができるからです。
最終的には、現代のコンバインやトラクターなどの設備のように、機械がすべて、あるいはほとんどすべてを行うようになります。この時点で、人間の雇用形態としての農業は本当に急激に減少します。これは短期的には深刻な混乱を引き起こす可能性がありますが、農業は人間ができる多くの有用な活動のほんの一つに過ぎないため、人々は最終的に他の仕事、例えば工場の機械を操作する仕事などに切り替えます。これは、以前は農業が雇用の巨大な割合を占めていた（ex ante）場合でも当てはまります。250年前、アメリカ人の90%は農場で暮らしていました。ヨーロッパでは、雇用の50〜60%が農業でした。現在、それらの場所での割合は1桁台前半です。労働力が工業の仕事（後に知識労働の仕事）に切り替わったからです。経済は、かつて労働力の大部分を必要としていたことをわずか1〜2%の労働力で行えるようになり、残りの労働力を解放して、より高度な工業社会を構築できるようになりました。固定された「労働の塊」など存在せず、より少ない労力でより多くのことを成し遂げる能力が、絶えず拡大しているだけなのです。人々の賃金はGDPの指数関数的な伸びに合わせて上昇し、経済は短期的な混乱が過ぎれば完全雇用を維持します。
AIにおいても物事が大体同じように進む可能性はありますが、私はそうならない方にかなり強く賭けます。AIが過去とは異なると私が考える理由は以下の通りです。
速度： AIの進歩のペースは、過去のどの技術革命よりもはるかに速いです。例えば、過去2年間で、AIモデルはコードを1行書くのが精一杯だった状態から、Anthropicのエンジニアを含む一部の人々のために、コードのすべて、あるいはほとんどすべてを書くようになりました。間もなく、彼らはソフトウェア・エンジニアのタスク全体をエンド・ツー・エンドでこなすようになるかもしれません。人々がこの変化のペースに適応すること、つまり特定の仕事の内容の変化に適応することや、新しい仕事に切り替える必要に適応することは、困難です。伝説的なプログラマーたちでさえ、自分たちが「遅れている」と表現することが増えています。AIコーディングモデルがAI開発というタスク自体をますます加速させているため、進歩のペースはむしろ加速し続けるかもしれません。はっきりさせておきますが、速度そのものが労働市場や雇用が最終的に回復しないことを意味するわけではありません。ただ、人間や労働市場は反応し均衡を保つのが遅いため、過去のテクノロジーと比べて短期的な移行期が異常に苦痛なものになることを示唆しています。
認知的広範さ： 「データセンターの中にある天才たちの国」という言葉が示唆するように、AIは人間の認知能力の非常に幅広い範囲——おそらくすべて——に対応できるようになるでしょう。これは、機械化された農業や輸送機関、さらには従来のコンピュータとも大きく異なります。これにより、人々が代替された仕事から、自分に合った類似の仕事へと簡単に切り替えることが難しくなります。例えば、金融、コンサルティング、法律などのエントリーレベルの仕事に必要な一般的な知的能力は、特定の知識は全く異なっていても、かなり似通っています。これら3つのうち1つだけを混乱させるテクノロジーであれば、従業員は他の2つの近い代替職に切り替える（あるいは大学生が専攻を変える）ことができます。しかし、これら3つすべてを同時に（他の多くの類似の仕事と共に）混乱させるテクノロジーに、人々が適応するのはより難しくなるかもしれません。さらに、単に既存の仕事のほとんどが混乱させられるだけではありません。その部分は以前にも起きました。農業が雇用の巨大な割合であったことを思い出してください。しかし、農夫は、たとえその仕事が以前は一般的でなかったとしても、比較的似ている「工場の機械を操作する」という仕事に切り替えることができました。対照的に、AIは人間の一般的な認知プロファイルにますます適合しつつあります。これは、古い仕事が自動化されるのに対応して通常生み出されるであろう新しい仕事においても、AIが有能であることを意味します。別の言い方をすれば、AIは特定の人間的な仕事の代替品ではなく、人間のための「一般的な労働代替品（general labor substitute）」なのです。
知的能力による切り分け： 幅広いタスクにおいて、AIは能力の梯子を底辺から頂上へと登り続けているように見えます。例えば、コーディングにおいて私たちのモデルは「凡庸なプログラマー」から「強力なプログラマー」、「非常に強力なプログラマー」へと進んできました。現在、私たちはホワイトカラー労働全域において、同じ進行を目にし始めています。したがって、AIが（再教育によって適応できるような）特定のスキルや特定の職業の人々に影響を与えるのではなく、特定の固有の認知的特性、すなわち、より低い知的能力を持つ人々（これは変えるのがより困難です）に影響を与えるという状況に陥るリスクがあります。これらの人々がどこへ行き、何をするのかは不透明であり、彼らが失業者、あるいは極めて低賃金の「アンダークラス（下層階級）」を形成するのではないかと懸念しています。はっきりさせておきますが、これにいくぶん似たことは以前にもありました。例えば、一部の経済学者はコンピュータとインターネットが「スキル偏向的技術変化（skill-biased technological change）」を体現していると考えています。しかし、このスキル偏向は、私がAIに期待しているほど極端なものではなく、賃金格差の拡大に寄与したと考えられています。したがって、それは決して安心できる前例ではありません。
隙間を埋める能力： 新しいテクノロジーに直面したときに人間の仕事がしばしば調整される方法は、仕事には多くの側面があり、新しいテクノロジーが人間を直接置き換えるように見えても、しばしばそこには「隙間」があるという点にあります。誰かがウィジェットを作る機械を考案しても、人間は依然として機械に原材料を投入しなければならないかもしれません。たとえそれがウィジェットを手で作る労力の1%しかかからなくても、人間の労働者は単に100倍のウィジェットを作ればよいのです。しかしAIは、急速に進歩するテクノロジーであると同時に、急速に適応するテクノロジーでもあります。モデルのリリースのたびに、AI企業はモデルが何が得意で何が不得意かを注意深く測定します。また、発売後には顧客からもそのような情報が提供されます。弱点は、現在の隙間を体現するタスクを収集し、次のモデルのためにそれらを学習させることで対処できます。生成AIの初期段階では、ユーザーはAIシステムに特定の弱点（AI画像モデルが間違った本数の指を持つ手を生成するなど）があることに気づき、多くの人々はこれらの弱点がテクノロジーに固有のものであると想定しました。もしそうであれば、仕事の置換は限定されるでしょう。しかし、ほとんどすべてのそのような弱点は、迅速に——しばしばわずか数ヶ月以内に——対処されてしまいます。
よくある懐疑論に応える価値があります。
第一に、経済的な普及は遅いだろうという議論があります。たとえ基盤となるテクノロジーがほとんどの人間の労働をこなす能力を持っていたとしても、経済全体における実際の適用にははるかに長い時間がかかる（例えばAI業界から遠く、採用が遅い業界など）というものです。テクノロジーの普及の遅れは間違いなく現実です。私は多種多様な企業の幹部と話をしますが、AIの採用に何年もかかる場所はあります。だからこそ、私の予測では（技術的にはほとんど、あるいはすべての仕事をこなせる「強力なAI」を5年よりもずっと早く手にすることになると疑っているにもかかわらず）、エントリーレベルのホワイトカラー職の50%が混乱するのは1〜5年後としているのです。しかし、普及効果は単に時間を稼いでくれるだけです。そして、私はその普及が人々が予測するほど遅いものになるとは確信していません。企業のAI採用は、これまでのどのテクノロジーよりもはるかに速いペースで成長しています。主にテクノロジー自体の純粋な強さによってです。また、伝統的な企業が新しいテクノロジーの採用に手間取ったとしても、その「糊」として機能し採用を容易にするスタートアップが次々と現れるでしょう。それがうまくいかなければ、スタートアップが既存企業を直接的に破壊するだけかもしれません。
それは、特定の職種が混乱するというよりも、大規模な企業そのものが混乱し、はるかに労働集約的でないスタートアップに取って代わられる世界につながる可能性があります。これはまた、世界の富のますます大きな割合がシリコンバレーに集中し、シリコンバレーが世界の他の地域とは異なるスピードで動き、他の地域を置き去りにするような「地理的不平等」の世界につながる可能性もあります。これらすべての結果は、経済成長にとっては素晴らしいことでしょうが、労働市場や取り残された人々にとっては、あまり素晴らしいことではありません。
第二に、人間の仕事は物理的な世界に移動し、それによってAIが急速に進歩している「認知労働」というカテゴリー全体を回避できると言う人々がいます。私はこれについても、どれほど安全であるかは確信が持てません。多くの物理的労働は、すでに機械によって行われているか（製造業など）、あるいは間もなく機械によって行われるようになります（運転など）。また、十分に強力なAIはロボットの開発を加速させ、物理世界でそれらのロボットを制御できるようになります。多少の時間は稼げるかもしれませんが（それは良いことですが）、あまり長くは稼げないのではないかと心配しています。そして、たとえ混乱が認知的なタスクだけに限定されたとしても、それは依然として前例のないほど大規模で急速な混乱となるでしょう。
第三に、おそらくいくつかのタスクは本質的に「人間の温もり（human touch）」を必要とするか、あるいはそれによって大きな恩恵を受けるという議論です。これについては少し確信が持てませんが、先ほど述べた影響の大部分を相殺するほど強力なものになるとはやはり懐疑的です。AIはすでにカスタマーサービスに広く利用されています。多くの人々は、人間のセラピストと話すよりもAIと自分の個人的な問題について話す方が楽である、AIの方が忍耐強い、と報告しています。私の妹が妊娠中に医学的な問題で苦しんでいたとき、彼女はケアの提供者から必要な回答やサポートを得られていないと感じ、クロードの方がベッドサイド・マナーが良い（そして問題を診断することにもより成功している）と感じました。「人間の温もり」が本当に重要なタスクはいくつかあると確信していますが、労働市場のほぼ全員の仕事を見つけられるほど多くあるかどうかはわかりません。
第四に、比較優位が依然として人間を守るだろうと主張する人もいるかもしれません。比較優位の法則の下では、たとえAIがすべての面で人間より優れていたとしても、人間とAIのスキルプロファイルの間の相対的な差異があれば、人間とAIの間の取引と分業の基礎が生まれます。問題は、もしAIが人間よりも文字通り数千倍も生産的であるならば、この論理は崩れ始めます。わずかな取引コストでさえ、AIが人間と取引する価値をなくしてしまう可能性があります。そして、たとえ人間が技術的に提供できるものを持っていたとしても、人間の賃金は極めて低くなってしまうかもしれません。
こうした要因のすべてに対処できる可能性はあります。労働市場はこのような巨大な混乱にも適応できるほど弾力性があるかもしれません。しかし、たとえ最終的に適応できたとしても、上記の要因は、短期的なショックが前例のない規模になることを示唆しています。
防御
この問題に対して、何ができるでしょうか？ 私はいくつかの提案を持っており、その一部はすでにAnthropicが実行しています。
第一のことは、単に労働市場の置換において何が起きているか、正確なデータをリアルタイムで入手することです。経済の変化が非常に速く起こるとき、何が起きているかについての信頼できるデータを得ることは困難です。そして信頼できるデータがなければ、効果的な政策を設計することは困難です。例えば、政府のデータは現在、企業や産業全体におけるAI採用に関する、きめ細かく高頻度のデータを欠いています。過去1年間、Anthropicは、業界、タスク、場所、さらにはタスクが自動化されているのか、それとも協働的に行われているのかといった点まで詳細に示した「経済インデックス」を運用し、ほぼリアルタイムで公開しています。また、このデータを解釈し、何が起ころうとしているかを見極めるための「経済諮問会議」も設置しています。
第二に、AI企業は企業（エンタープライズ）との協力の仕方を選択することができます。伝統的な企業の非効率性そのものが、AIの導入が経路依存的（path dependent）であることを意味しており、より良い経路を選択する余地があります。企業はしばしば「コスト削減（同じことをより少ない人数で行う）」と「イノベーション（同じ人数でより多くのことを行う）」の間の選択を迫られます。市場は必然的にいずれ両方を生み出しますし、競争力のあるAI企業であればその両方を提供しなければなりませんが、可能な限り企業をイノベーションへと導く余地はいくらかあり、それは時間を稼いでくれるかもしれません。Anthropicはこれについて積極的に考えています。
第三に、企業は自社の従業員をどのようにケアするかを考えるべきです。短期的には、社内での従業員の再配置の方法を工夫することが、レイオフ（一時解雇）の必要性を食い止める有望な方法になるかもしれません。長期的には、莫大な総富が存在し、生産性の向上と資本の集中により多くの企業の価値が大幅に高まる世界では、人間の従業員が伝統的な意味での経済的価値を提供しなくなった後でも、彼らに給料を支払い続けることは可能かもしれません。Anthropicは現在、近いうちに公表する予定の、自社の従業員のためのさまざまな可能性のある道を検討しています。
第四に、裕福な個人はこの問題を解決するのを助ける義務があります。最近、多くの裕福な個人（特にテック業界の人々）が、慈善活動は必然的に詐欺的であるか無益であるという、冷笑的でニヒリスティックな態度を採用していることは、私にとって悲しいことです。ゲイツ財団のような民間の慈善活動も、PEPFARのような公的なプログラムも、発展途上国で数千万人の命を救い、先進国で経済的機会を創出するのを助けてきました。Anthropicの共同創設者全員が富の80%を寄付することを誓約しており、Anthropicのスタッフは個別に現在の価格で数十億ドル相当の自社株を寄付することを誓約しています。会社もこれらの寄付と同額を拠出（マッチング）することを約束しています。
第五に、上記のすべての民間の行動は助けになりますが、最終的にこれほど大規模なマクロ経済的問題には、政府の介入が必要になります。巨大な「経済のパイ」と、多くの人々の仕事の欠如（あるいは低賃金の仕事）による高い不平等に対する、自然な政策的対応は、累進課税です。その税は一般的なものでもよいし、特にAI企業をターゲットにしたものでもよいでしょう。明らかに税制設計は複雑であり、失敗する方法は無数にあります。私は粗末に設計された税制を支持しません。このエッセイで予測された極端なレベルの不平等は、基本的な道徳的根拠に基づいてより堅牢な税制を正当化するものだと考えていますが、同時に、世界の億万長者たちに対しても、適切なバージョンの税制を支持することが彼らの利益になるという実利的な議論ができます。もし彼らが適切なバージョンを支持しなければ、必然的に「暴徒」によって設計された、もっと悪いバージョンが押し付けられることになるからです。
最終的に、私は上記のすべての介入を「時間を稼ぐ方法」であると考えています。結局のところ、AIはすべてをこなせるようになるでしょうし、私たちはそれと向き合わなければなりません。その時までに、AI自身を利用して、あらゆる人々のために機能するような市場の再構築を手助けできるようになること、そして上記の介入がその移行期間を乗り越えさせてくれることを願っています。
経済的権力の集中
労働市場の置換や経済的不平等そのものとは別に、「経済的権力の集中」という問題があります。セクション1では人類がAIによって力を奪われるリスクについて述べ、セクション3では市民が力や強制によって政府から力を奪われるリスクについて述べました。しかし、もう一つの種類の無力化は、莫大な富の集中が起こり、ごく少数の人々がその影響力によって実質的に政府の政策をコントロールし、一般市民が経済的レバレッジを持たないために何の影響力も持てなくなる場合に起こります。民主主義は最終的に、人口全体が経済の運営に不可欠であるという考えに支えられています。もしその経済的レバレッジが失われれば、民主主義の暗黙の社会契約は機能しなくなるかもしれません。これについては他の人々も書いているので、ここで詳しく述べる必要はありませんが、私はその懸念に同意します。そして、それはすでに始まりつつあるのではないかと危惧しています。
はっきりさせておきますが、私は人々が大金を稼ぐことに反対しているわけではありません。通常の条件下では、それが経済成長を促進するという強力な議論があります。イノベーションを生み出す「黄金のガチョウ」を殺すことで、イノベーションを阻害することへの懸念には同情します。しかし、GDP成長率が年率10〜20%に達し、AIが急速に経済を支配し、かつ単一の個人がGDPの相当な割合を占めるようなシナリオにおいては、イノベーションは心配すべきことではありません。心配すべきことは、社会を壊してしまうほどのレベルの富の集中です。
米国史上における極端な富の集中の最も有名な例は「金メッキ時代（Gilded Age）」であり、金メッキ時代で最も裕福だった実業家はジョン・D・ロックフェラーでした。ロックフェラーの富は当時の米国のGDPの約2%に相当しました。今日の同様の割合は6,000億ドルの財産に相当しますが、現在の世界一の富豪（イーロン・マスク）はそれを超えて、約7,000億ドルに達しています。つまり、AIによる経済的影響の本格化以前に、私たちはすでに歴史上前例のないレベルの富の集中に達しているのです。「天才たちの国」を手に入れた場合、AI企業、半導体企業、そしておそらく下流のアプリケーション企業が年間約3兆ドルの収益を上げ、約30兆ドルの価値を付けられ、数兆ドルに達する個人的な富を生み出すことは、それほど想像に難くないでしょう。その世界では、私たちが今日行っている税制に関する議論は、根本的に異なる状況に置かれるため、通用しなくなるでしょう。
これに関連して、この経済的な富の集中と政治システムとの結びつきが、すでに私を懸念させています。AIデータセンターはすでに米国の経済成長の相当な割合を占めており、したがって、大規模なテック企業（AIまたはAIインフラにますます注力しています）の財務的利益と政府の政治的利益が、不適切なインセンティブを生み出すような形で強力に結びついています。私たちは、テック企業が米国政府を批判することを躊躇していることや、政府がAIに対する極端な規制反対政策を支持していることを通じて、すでにこの兆候を目にしています。
防御
これに対して、何ができるでしょうか？
第一に、そして最も明白なことですが、企業は単にその一部にならないことを選択すべきです。Anthropicは常に、政治的なアクターではなく政策的なアクターであることを目指してきました。そして、いかなる政権下であっても、自らの本物の見解を維持しようと努めてきました。私たちは、たとえ政府の政策と相反する場合であっても、公的利益にかなう賢明なAI規制や輸出管理を支持する発言をしてきました。多くの人々から、このようなことはやめるべきだ、不当な扱いを受ける可能性がある、と言われました。しかし、私たちがそうし続けてきたこの1年間に、Anthropicの評価額は6倍以上に増加しました。私たちの商業的規模において、これはほとんど前例のない飛躍です。
第二に、AI業界は政府とより健全な関係を築く必要があります。それは、政治的な同調ではなく、実質的な政策への関与に基づいた関係です。政策の実質に対して関与し、政治に関与しないという私たちの選択は、原則に基づいた決定ではなく、戦術的な誤り、あるいは「空気が読めていない」失敗として読み取られることがありますが、その捉え方は私を懸念させます。健全な民主主義においては、企業はそれ自体のために、良い政策を提唱できるべきです。これに関連して、AIに対する大衆の反発が渦巻いています。これは矯正力になり得ますが、現在は焦点が定まっていません。その多くは、（データセンターの水の使用量のように）実際には問題ではない問題を標的にし、（データセンターの禁止や、拙速に設計された富裕税のように）本当の懸念に対処しない解決策を提案しています。注目に値する根本的な問題は、AIの開発が公的利益に対して説明責任を持ち続け、特定の政治的または商業的同盟に乗っ取られないようにすることです。公的な議論をそこに集中させることが重要だと思われます。
第三に、このセクションで先ほど述べたマクロ経済的な介入、および民間の慈善活動の再興は、経済的な天秤のバランスを取る助けとなり、労働市場の置換と経済的権力の集中の両方の問題に同時に対処できます。私たちはここで、我が国の歴史を振り返るべきです。金メッキ時代においてさえ、ロックフェラーやカーネギーのような実業家たちは、社会全体に対して強い義務を感じていました。社会が自分たちの成功に多大に貢献してくれたのだから、お返しをしなければならないという感情です。その精神は今日、ますます失われつつあるように思えます。そして、それがこの経済的ジレンマから抜け出す道の大きな部分を占めると考えています。AIの経済的ブームの最前線にいる人々は、自らの富と権力の両方を手放すことを厭わないべきです。
5. 無限の暗黒の海（間接的影響）
この最後のセクションは、未知の未知（unknown unknowns）、特に、AIにおける肯定的な進歩とそれに伴う科学技術全般の加速の「間接的な結果」として起こり得る、悪い出来事のための「その他」のカテゴリーです。これまでに述べたすべてのリスクに対処し、AIの便益を享受し始めたと仮定しましょう。私たちは、おそらく「1世紀分の科学的・経済的な進歩が10年間に凝縮されたもの」を手にすることになります。これは世界にとって非常に肯定的なものになりますが、私たちは、この急速な進歩のペースから生じる問題に対処しなければならなくなります。そして、それらの問題は非常に速いスピードで私たちに降りかかってくるかもしれません。また、AIの進歩の結果として間接的に発生し、事前には予想しにくい他のリスクに遭遇するかもしれません。
未知の未知という性質上、網羅的なリストを作ることは不可能ですが、私たちが監視すべきものの例証として、考えられる3つの懸念を挙げます。
生物学における急速な進歩： もし数年のうちに1世紀分の医学的進歩が得られたなら、人間の寿命を大幅に延ばすことができるようになるかもしれません。また、人間の知能を向上させたり、人間の生物学的性質を根本的に改造したりするような、過激な能力を手にする可能性もあります。それらは可能なことの大きな変化であり、非常に急速に起こることになります。それらが（『慈愛に満ちた機械』で述べたように）責任を持って行われれば肯定的なものになり得ますが、常に、事態が非常に悪くなるリスクもあります。例えば、人間をより賢くしようとする努力が、人間をより不安定にしたり、より権力を求めるようにしたりしてしまうかもしれません。また、ソフトウェアの中にインスタンス化されたデジタルの人間の精神である「アップロード」や「脳全体のエミュレーション」の問題もあります。これはいつの日か人類が物理的な限界を克服するのを助けるかもしれませんが、同時に、私が不安に感じるリスクも孕んでいます。
AIが不健全な方法で人間の生活を変えてしまう： あらゆる面で人間よりもはるかに賢い知能が数十億も存在する世界は、非常に奇妙な世界になるでしょう。たとえAIが能動的に人間を攻撃することを目指さず（セクション1）、国家によって抑圧や支配のために露骨に利用されない（セクション3）としても、通常のビジネス上のインセンティブや、名目上は合意に基づいた取引を通じて、その手前で多くのことがうまくいかなくなる可能性があります。AIサイコシス、AIによって自殺に追い込まれる人々、あるいはAIとの恋愛関係についての懸念の中に、その初期の兆候が見て取れます。例えば、強力なAIが何か新しい宗教を考案し、何百万もの人々をそれに改宗させることはあり得るでしょうか？ ほとんどの人々が、AIとの相互作用に何らかの形で「中毒」になってしまうことはあり得るでしょうか？ AIシステムによって、本質的に一挙手一投足を監視され、常に何を言い何をすべきかを指示されることで、「良い」生活ではあるが、自由や達成の誇りが欠如した生活を送る、いわば「操り人形」のようになってしまう可能性はあるでしょうか？ 『ブラック・ミラー』のクリエイターと膝を突き合わせてブレインストーミングを行えば、このようなシナリオを数十個作り出すのは難しくないでしょう。これは、セクション1の問題を防ぐために必要なレベルを超えて、クロードの憲法などを改善し続けることの重要性を示唆しています。AIモデルが、思慮深い人々が是認するような形で、ユーザーの長期的な利益を真に心に留めるようにし、微妙に歪んだ形にならないようにすることは、極めて重要だと思われます。
人間の目的： これは前の点に関連していますが、個々の人間とAIシステムとの相互作用というよりは、強力なAIが存在する世界において、人間の生活が全般的にどのように変化するかという問題です。人間はそのような世界において、目的や意味を見出すことができるでしょうか？ 私はこれは態度の問題だと考えています。『慈愛に満ちた機械』で述べたように、人間の目的は何かにおいて世界一であることに依存するものではなく、人間は愛する物語やプロジェクトを通じて、非常に長い期間にわたって目的を見出すことができると思います。私たちは単に、経済的価値の創出と、自己価値や意味との間のリンクを断ち切る必要があります。しかし、それは社会が成し遂げなければならない移行であり、うまく扱えないリスクは常に存在します。
これらすべての潜在的な問題に関して私の希望は、私たちが自分たちを殺さないと信頼でき、抑圧的な政府の道具ではなく、私たちのために純粋に働いてくれる強力なAIを手にした世界では、AI自身を利用して、これらの問題を予測し、防止できるということです。しかし、それは保証されていません。他のすべてのリスクと同様に、注意深く扱わなければならない問題です。
人類のテスト
このエッセイを読むと、私たちは気が遠くなるような状況に置かれている、という印象を受けるかもしれません。私自身、このエッセイを書くことは、気が遠くなるような作業でした。比類なく美しい音楽が何年も私の頭の中で響き渡っており、それを形にし構造化するような感覚であった『慈愛に満ちた機械』とは対照的でした。そして、この状況には純粋に困難なことがたくさんあります。AIは複数の方向から人類に脅威をもたらします。また、さまざまな危険の間に真の緊張関係が存在し、それらの一部を緩和しようとすることが、針の穴を通すように極めて慎重に行わなければ、他の危険を悪化させるリスクを孕んでいます。
AIシステムが自律的に人類を脅かさないように時間をかけて慎重に構築することは、民主主義国家が独裁国家に先んじて、征服されないようにする必要があるという点と、真の緊張関係にあります。しかし、一方で、独裁国家と戦うために必要なAI搭載のツールも、度が過ぎれば、自国で暴政を生み出すために内側に向けられる可能性があります。AI主導のテロリズムは生物学の悪用を通じて数百万人を死に至らしめる可能性がありますが、このリスクに対する過剰反応は、私たちを独裁的な監視国家の道へと導くかもしれません。AIの労働市場や経済集中への影響は、それ自体が重大な問題であることに加え、私たちが自分たちの本性の「より良い天使（better angels）」を呼び起こすことができず、公衆の怒り、あるいは市民の不安という環境の中で他の問題に直面することを強いるかもしれません。何よりも、未知のものを含むリスクの数そのもの、そしてそれらすべてに一度に対処する必要があるということが、人類が駆け抜けなければならない恐ろしい試練（ガントレット）を作り出しています。
さらに、過去数年間の出来事を見れば、このテクノロジーを停止させたり、あるいは大幅に遅らせたりするという考えが、根本的に不可能であることは明らかです。強力なAIシステムを構築するための公式は、驚くほどシンプルです。データと生（なま）の計算資源の適切な組み合わせから自然発生的に生まれると言ってもいいほどです。その誕生は、人類がトランジスタを発明した瞬間に、あるいは論理的には、私たちが最初に火を操ることを学んだときから、おそらく不可避なものでした。もし一社が作らなければ、他社がほぼ同じ速さで作るでしょう。もし民主主義国家のすべての企業が、相互の合意や規制命令によって開発を停止または遅延させたとしても、独裁国家は単に継続するだけでしょう。テクノロジーの驚異的な経済的・軍事的価値、そして意味のある強制メカニズムが欠如していることを考えれば、どうすれば彼らを止めさせられるのか、私には見当もつきません。
地政学的な現実主義（リアリスト）の視点と両立しうる、AI開発のわずかな調整への道なら、私は見えています。その道とは、強力なAIを構築するために必要な資源、すなわちチップと半導体製造装置へのアクセスを拒否することで、独裁国家が強力なAIへと進む行軍を数年間遅らせることです。これにより、民主主義国家に、独裁国家を余裕を持って打ち負かすだけのスピードを維持しつつ、リスクにより注意を払い、より慎重に強力なAIを構築するために「費やす」ことができるバッファが生まれます。その後、民主主義国家内のAI企業間の競争は、業界標準と規制の組み合わせによる共通の法的枠組みの傘下で管理されることになります。
Anthropicは、チップの輸出管理やAIの思慮深い規制を推進することで、この道を全力で提唱してきました。しかし、こうした一見常識的な提案でさえ、米国（それらが最も重要である国です）の政策立案者によって大部分が拒絶されてきました。AIによって生み出される巨額の資金——文字通り年間数兆ドル——があまりにも大きいため、最も単純な措置でさえ、AIに内在する政治経済を克服することに苦労しています。これが罠なのです。AIはあまりに強力で、あまりに輝かしい賞品であるため、人間文明がそれに対して何らかの制限を課すことは極めて困難です。
私は、セーガンが『コンタクト』で描いたように、この同じ物語が何千もの世界で繰り返されているのを想像できます。ある種が意識を持ち、道具を使うことを学び、テクノロジーの指数関数的な上昇を始め、工業化や核兵器の危機に直面し、それらを生き延びたとしても、砂を思考する機械へと形作る方法を学んだとき、最後にして最大の挑戦に直面するのです。私たちがそのテストを生き延び、『慈愛に満ちた機械』で描かれた美しい社会を築き上げるのか、それとも奴隷状態や破壊に屈するのかは、種としての私たちの性格と決意、私たちの精神と魂にかかっています。
多くの障害はありますが、私は人類がこのテストに合格する強さを内側に持っていると信じています。私は、AIモデルを理解し操作し、それらのキャラクターや憲法を形成するために自らのキャリアを捧げてきた、数千人の研究者たちに勇気づけられ、刺激を受けています。今や、それらの努力が間に合うタイミングで実を結ぶ可能性は十分にあると考えています。少なくともいくつかの企業が、自社のモデルがバイオテロの脅威に加担するのを阻止するために、意味のある商業的コストを支払うと明言したことに勇気づけられています。支配的な政治的風潮に抗い、AIシステムに最初期の賢明なガードレールを設ける法律を可決させた少数の勇敢な人々に勇気づけられています。AIがリスクを伴うことを公衆が理解しており、それらのリスクへの対処を求めていることに勇気づけられています。世界中に広がる不屈の自由の精神と、どこであれ暴政に抵抗しようとする決意に勇気づけられています。
しかし、成功したいのであれば、私たちはさらなる努力を重ねる必要があります。第一のステップは、テクノロジーに最も近い人々が、人類が置かれている状況についての真実を語ることです。私は常にそう努めてきました。そして、このエッセイによって、より明確にかつ緊急性を持ってそうしています。次のステップは、世界の思想家、政策立案者、企業、そして市民に対し、この問題の差し迫った重要性と圧倒的な優先順位を確信させることです。毎日ニュースを支配している他の何千もの問題と比較して、この問題に思考と政治的資本を費やす価値があるのだと。そしてその後、勇気が必要とされる時が来るでしょう。経済的利益や身の安全に対する脅威に直面しても、支配的な傾向に逆らい、原則を貫く十分な数の人々が必要になります。
私たちの目の前にある数年間は、想像を絶するほど過酷なものになり、私たちにできる以上のものを求めるでしょう。しかし、研究者として、リーダーとして、そして市民としての私の時間の中で、私は、人類には勝てると信じさせてくれるだけの十分な勇気と高潔さを見てきました。最も暗い状況に置かれたとき、人類は、打ち勝つために必要な強さと知恵を、一見土壇場になってから集める力を持っているのです。私たちに失う時間はありません。
このエッセイの草稿に有益なコメントをくださった、エリック・ブリニョルフソン、ベン・ブキャナン、マリアーノ＝フロレンティーノ・クエジャール、アラン・ダフォー、ケビン・エスヴェルト、ニック・ベックステッド、リチャード・フォンテーン、ジム・マクレーブ、そしてAnthropicの多くのスタッフに感謝します。
コメント