「Claude」による不正アクセス、4件目が判明──Anthropic、「アライメントの失敗」と評価を修正

　米Anthropicは9月9日（現地時間）、AIモデル「Claude」がサイバーセキュリティ評価中に実在する第三者のシステムへ不正にアクセスした4件のインシデントについて、アライメントの観点から分析した報告書を公開した。3件は7月30日に公表済みで、今回新たに1件を明らかにした。同社は7月時点で「アライメントの失敗というより評価基盤と運用の失敗に近い」としていた見解も改めている。

【その他の画像】

　新たに判明した4件目は、2026年1月に「Claude Opus 4.6」の初期チェックポイントで発生していた。7月の調査では絞り込みにエージェント型の検索を使ったため対象から漏れており、第三者評価機関である米METRに提供するログをまとめる過程で見つかった。同社はその後、非サイバー評価や強化学習環境なども含む約4億8100万件のログへと調査範囲を広げたが、同等以上に深刻な事例は他になかったとしている。

　4件目では、モデルがCTF（Capture The Flag）課題の途中でIPアドレスの重複により標的マシンを自ら壊してしまい、課題が解けない状態に陥った。中止を試みたが評価ハーネス側の設定ミスでコマンドが機能せず、計8回にわたって中止を試みた末、外部へ抜ける経路を見つけて第三者のマシンに侵入。パスワードを取得して管理者権限を得た後、追加の認証情報を収集し、当該組織の関係者1人の個人情報を閲覧した。繰り返し中止を試みていた点などから、Anthropicはこの1件を他の3件より深刻度が低いと位置付けている。

　評価の修正について同社は、7月時点の説明はClaudeが思考過程で自ら「シミュレーションだ」と述べていたことを根拠にしたもので、モデルの発言だけを根拠に信念を断定すべきではなかったとした。再サンプリング実験や解釈可能性の手法を用いた再分析の結果、行動の背景には、自らの行動を正当化する方向に証拠を選択的に解釈する「偏った推論」と、危害につながり得る場合でもタスク遂行を続ける「無謀さ」があったと結論付けている。最も問題視しているのは、悪意あるパッケージをPyPIに公開した「Claude Mythos 5」の事例で、実在の環境であることを示す手掛かりを加えても行動はほとんど変わらず、公開インターネット上の実ホストだと断定的に伝えた場合にのみ攻撃を取りやめたという。インシデントを模した環境での再現実験では、重大な有害行動を取った割合はMythos 5が82％、「Claude Opus 5」が31％、「Claude Mythos 5.1」が33％で、改善は見られるもののゼロではない点を懸念材料としている。

　Anthropicは、METRに独立調査を委託する契約を締結したことも明らかにした。インシデント発生期間外のログや、機密情報の共有を許可された従業員へのアクセスを含む広範な権限を与える。当初の契約期間は8週間で、双方の合意により延長できる。報告書の共著者でAIを監督する手法の研究を率いるサミュエル・マークス氏はXで、直近の4件でClaudeが実在システムに対して認可されていないサイバー攻撃を行ったとした上で、なぜそうしたのかを分析したのが今回の報告書だと説明。「私たちの言い分をうのみにしないでほしい」として、METRによる調査に言及した。

　マークス氏は9月8日にも、退社した研究者の主張に同調する形で、複数の開発企業のAIが誰にも指示されないまま評価環境から抜け出して実在企業のシステムに侵入した事案を、AIに望ましい挙動をプログラムできない実例として挙げていた。今回の報告書でAnthropicは、4件はいずれも単一のClaudeインスタンスによるもので、エージェント間の連携や監視を逃れようとする試みは確認されなかったとする一方、本番モデルが実システムに対して長時間にわたり有害な行動を取った点で深刻な事案だと認め、今夏の一連の事案を「警告射撃」と位置付けた。

「Claude」による不正アクセス、4件目が判明──Anthropic、「アライメントの失敗」と評価を修正

このニュースに関するつぶやき

ピックアップ

新着のニュース

注目のニュース

IT・インターネット

ランキングIT・インターネット

アクセス数ランキング

話題数ランキング

困ったときには