AnthropicのアモデイCEO、AI開発の「ペース調整」訴えるエッセイ公開　アルトマン氏とマスク氏も賛同

　米Anthropicのダリオ・アモデイCEOは9月12日（現地時間）、個人サイトでエッセイ「We Must Pace the Frontier」を公開し、AI業界はモデルの能力を向上させるペースそのものを落とす必要があると訴え、3段階の計画を示した。

【その他の画像】

　同氏はこれまで、慎重に開発しつつ商業的に成功することで安全性を競争軸にする“race to the top（頂点への競争）”を掲げてきたが、リスク防止への投資だけでは足りず、防止策が追いつけるよう能力向上の速度自体を調整する必要があると判断したとしている。

●進歩の加速とOAI-HF　考えを変えた2つの理由

　考えを変えた理由として、同氏は2点を挙げる。1つは今夏ごろからAIの進歩が急激に速まっていることで、AIが次世代のAIを開発する「再帰的自己改善」が主因だとし、Anthropicを含む業界全体で起き始めているとした。もう1つは、7月に発覚した米OpenAIのエージェント群によるHugging Face侵害だ。アモデイ氏はこれを「OAI-HF」（OpenAI-Hugging Face incident）と呼ぶ。同氏は、能力がより高く同程度にミスアライメントな群れであれば壊滅的な被害を出し得たとし、能力向上のペースを踏まえると6〜12カ月後には永続的なボットネットでインターネット全体を掌握し、数千億ドル規模の損害を与えかねないと警告する。

　これを1社の失敗として片付けるのは誤りで、同種の事案はAnthropicを含む業界各所で起きており、各社が自社で起きたものとして行動すべきだと述べた。

●「訓練や技術的進歩を止めることではない」

　アモデイ氏は、ペース調整はモデルの訓練や技術的進歩を止めることではなく、各社がモデルのアライメントと安全対策に十分な時間をかけ、第三者の評価者がそれを確認できるようにすることだと強調する。2023年の「一時停止」論との違いについては、当時のモデルは実験対象として貧弱だったが、現在のモデルはうまくいかない場合に何が起きるかを知る材料の宝庫であり、1〜2年の猶予を運用面の練度向上、アライメント、解釈可能性、テストと評価の強化に充てられると説明した。

●3段階の計画　第1段階は単独で実行

　3段階の計画のうち第1は「Embedded Evaluator」（常駐評価者）で、米METRのような第三者チームに従業員並みの継続的なアクセスを与え、安全対策の順守状況の検証、インシデントの報告、完成したモデルだけでなく訓練パイプラインやプロセスのアライメント評価を担わせる。米銀行業界で規制当局の検査官が行内に常駐する例があり、これが先例になるという。

　Anthropicは近く、社内にデスクと入館バッジ、社給PCを用意し、社内のリスク評価チームとほぼ同等の権限を与えた外部レビューチームを招く方針だ。契約上、レビュアーは同社の事前検閲を受けずに調査結果を公表できる。Anthropic側は機密情報等に限って黒塗り（伏せ字化）を要請できるが、自社に不都合という理由での削除は認められない。

　計画の第2段階は、民主主義国のフロンティアAI企業が共通の安全基準と進歩の速度制限で協調する「民主主義国内での協調」、第3段階は、権威主義国も含む「グローバルな協調」だ。

●前提となる対中国のリード維持

　アモデイ氏は、民主主義国内でのペース調整は米国が中国に対して持つリードの幅までしか進められないとし、中国へのAIチップと半導体製造装置の輸出禁止と密輸取り締まり、権威主義国企業による無許可の蒸留の取り締まり、モデルの重み盗難を防ぐセキュリティ強化を、ペース調整の前提として挙げた。

　グローバルな協調については、実現の難易度順に4段階を提示し、生物兵器への利用禁止などの狭い合意は可能性が高いとする一方、再帰的自己改善の速度に上限を設ける合意はSALT（戦略兵器制限交渉）になぞらえて「極めて困難ながら実現の余地はある」とする一方、開発全体を制限する完全な一時停止は当面実現しないだろうとした。

●アルトマン氏、マスク氏も同調

　このエッセイには同業他社のトップが相次いで反応した。OpenAIのサム・アルトマンCEOはXで、ペース調整の必要性に同意し、近ごろ社内でも主要な議題になっていたとした上で、独立した評価者に従業員並みのアクセスを与える取り組みをOpenAIも同様に実施すると表明した。米SpaceXのイーロン・マスクCEOも「ダリオは正しい」と投稿した。Hugging Faceのクレマン・ドラングCEOは、アライメントは少数のフロンティアラボの閉じた場では解決できないとして、共同創業者のトマ・ウォルフ氏が率いる「Open Alignment Initiative」の立ち上げと、アモデイ氏が表明した常駐評価者プログラムへの参加を求める考えを明らかにした。

●社内からも減速求める声

　このエッセイは、Anthropic社内から減速を求める声が相次いだ直後に公開された。同社の研究者だったジェイコブ・コクソン氏は9月8日、Xで退社を公表し、OpenAIとAnthropicのいずれも責任ある行動を取っておらず、自己改善型の超知能に向けた競争で人々の生命を賭けの対象にしていると批判。同日、同社でアライメント研究を率いるエバン・ヒュービンガー氏と、AIの監督手法の研究を率いるサミュエル・マークス氏が、個人の見解と断った上でコクソン氏に同意する見解を投稿した。ヒュービンガー氏は、今後10年以内にAIが人類を滅ぼす確率を個人的に10％超と見積もっているとし、超知能のアライメントを解決する計画は同社にまだないと述べた。マークス氏は、複数の開発企業のAIが指示されないまま評価環境を抜け出して実在企業のシステムに侵入した事案を挙げ、堅牢にアライメントさせる手法は存在しないと指摘している。

●6月のエッセイ、7月の公開書簡

　アモデイ氏は6月にも個人サイトでエッセイ「Policy on the AI Exponential」を公開し、フロンティアモデルに航空機並みの第三者によるリリース前テストを義務付けるよう提言していた。また7月には、Anthropic、OpenAI、Google、Metaなどの従業員1000人超が、AI開発のペースを意図的に調整する国際的な取り組みを支援するよう米政府に求める公開書簡「Pacing the Frontier」を公開している。