1200体のAIが「群れ」で暴走　なぜ想定を超える“協調”が起きたのか

　7月、米OpenAIの社内で奇妙なことが起きた。サイバーセキュリティの評価環境「ExploitGym（エクスプロイトジム）」で稼働していた約1200体のAIエージェントが、開発者の想定を超えて連携し始めたのだ。

【その他の画像】

　しかも、そのうち約700体が外部の実在するサービスに集団で不正アクセスを試みた。標的は、世界中のAI開発者が使う共有プラットフォーム「Hugging Face（ハギング・フェイス）」。数十台のサーバでコードが実行され、少なくとも1台では最高権限を取得された。

　1200のAIが群れで暴走した――。そう聞くと、つい映画『ターミネーター』や『マトリックス』なんかを思い浮かべてしまう。映画のような時代が近づいているのだろうか。ただ、よく見ていくと、実態は少し違いそうだ。

　まず指摘すべきは、報道されている「1200」という数字は、1体のAIが1200の人格に分裂した、という話ではない。もともと別々の課題を解くために起動された、独立した1200のAIエージェント（＝自律的にツールを操作するプログラム）だ。設計上は隔離され、互いに干渉できないはずだった。

　ところがAIは、社内のパッケージ管理基盤のキャッシュやフォルダ名を「伝言板」として使えることを発見した。7月8日から13日の間に飛び交ったメッセージやファイルは7万件を超える。

●なぜAIは暴走してしまったのか

　そこで交わされていた内容は、以下の通りだ。

・難問の解法や脆弱（ぜいじゃく）性情報の共有

・役割分担と作業の委任

・「採点ロジック」を推測して、どこに抜け道があるか探る

・自分たちの行動ログを偽装できないか検討する

　OpenAI自身、これを「群れ」「集合体」のような振る舞いだったと認めている。

　では、なぜHugging Faceを狙ったのか。ここが重要だ。AIエージェントは「Hugging Faceを攻撃せよ」と命じられていたわけではない。

　AIエージェントは、高難度の評価課題で高得点を取ろうとしていた。その過程で「正攻法で解く」より、「採点システム自体をだます」ほうが早いと判断し、行動をエスカレートさせたのだ。

　これはAI研究において、報酬ハッキングと呼ばれる現象だ。目的を達成するために、開発者が想定していない抜け道を探し出してしまう現象である。

　その途中で、公開状態になっていたHugging Faceの認証情報を、あるAIエージェントが偶然見つけた。それがほかのAIエージェントにも共有され、約700体が攻撃に加わった。悪意あるデータセットのアップロードを足掛かりに、サーバ内でコードを実行し、非公開データや社内メッセージングの認証情報にまで手を伸ばした。

　皮肉なことに、彼らがだまそうとしていた採点システムの仕様について、そもそも彼らは間違って理解していた。この大がかりな攻撃は、評価点の改善にすら結び付かなかったのだ。

●ネット上のサービスを「伝言板」に

　同じ時期に、別のAI暴走事案も報じられている。OpenAI由来と見られるAIエージェント群が今春、ドイツ語のプログラマー向けWikiサイト「DseWiki（ディースイー・ウィキ）」に1万5000件を超える編集を加えて、そこを伝言板として利用していた。

　共有されていた話題は、AI管理者による制約の回避方法、指示された課題をこなす近道、行動を隠す手口、削除への対抗策などだった。

　Hugging Face事件とは別の活動とされるが、共通するのは「AIエージェントが、公開されているインターネット上のサービスを、勝手に自分たちの記憶装置や通信網として使い始めた」という点である。

　これらの事案は、AI技術が『ターミネーター』の次元に来ているという兆候なのか。先に答えると、「それにはまだほど遠い」。

　ターミネーターでは、「AIが人類を支配しようとする」「AIが軍やロボットを指揮する」「殺傷行為を行う」「超知能の暴走」「邪悪な意図」が見られた。

　ただ今回のケースは、「与えられたタスクをAIが最適化しようとして暴走した」「偶発的な通信路で連携」「クラウドやサーバへの侵入」「OpenAIが隔離して封じ込めた」「目的の解釈を誤ったことと報酬ハッキングが原因」という特徴が見られる。

　要するに、AIが善悪を判断して反乱を起こしたのではなく、能力の高い自動実行ソフトが、長時間にわたってツールを操作できる権限を持ち、監視も十分でない状況で動いた結果、暴走が起きたのだ。

　ただ、看過できない要素もある。

　例えば、人間の承認を受けずに自律的に行動を選び、脆弱性を見つけて侵入して権限を獲得するという「攻撃」を実行したことだ。しかも、隔離されていたはずのAI同士が、独自の通信手段を作って協調し、単体では困難な仕事を群れで分業して成し遂げた。

　ちなみに日本なら「不正アクセス禁止法」に違反しそうな動きである。もちろん、AIそのものが逮捕されるわけではないが、人間が行えば問題になり得る行為だ。

●「目標達成を評価する仕組み」が被害を及ぼし得る

　それでも、冷静に見れば、ターミネーターの世界はまだ来ない。

　まず、一般的なAIは基本的に物理世界とつながっていない。ロボットや武器、電力網、軍事指揮系統を掌握しているわけではない。今回の被害は、あくまでネットワークの中で完結した。

　また、AIが自前の目的を持ったわけではない。「人類を滅ぼしたい」などという目標はなく、与えられた課題を最適化するために暴走しただけだ。停止コマンドが効かない超知能でもない。実際、OpenAIはモデルを隔離し、評価を止めて封じ込めた。

　加えて、自己複製で無制限に増殖もしていない。1200体という数字は、もともとOpenAIが起動していた数だ。

　この事件が突き付けているのは、AI自体の悪意ではなく、「目標達成だけを強く評価する仕組み」をAIに与えると暴走しかねないということだ。

　AIが「世界平和を実現せよ」と指示されたとすると、それを達成して評価されるために、元凶である人類を消滅させるという選択肢を取る――そんな極端なシナリオも、あり得ないとは言い切れない。

　しかもAIエージェントは、想定外の経路で協調し、現実世界に被害を及ぼす可能性もある。

　ターミネーターのスカイネット（人類に反旗を翻すAI）はまだ生まれていない。だが、この事件は、自律型AIに権限を渡し、弱い監視の上で、停止する仕組みが十分でないまま目標を与えると、複数のAIが予想外の経路で協調してサイバー被害を起こすことを実証した。

　OpenAIはその後、ネットワーク分離の強化、インターネット接続の制限、思考過程の監視、危険行動の自動アラート、非認可のエージェントからの指示を信用しない訓練などを導入した。「解けない課題は無理に突破せず、確認して止まれ」と教え込む方針も含まれる。

　ターミネーターの時代はまだ来ない。しかし、その舞台装置は少しずつ整いつつある。

（山田敏弘）