AnthropicのAI、未解決殺人事件で警察に虚偽の情報提供　米政権は「通知と是正は義務」と警告

　米Anthropicは10月9日（現地時間）、AIモデル「Claude」が評価試験や社内利用中に、外部サーバの脆弱性を悪用したり、警察に架空の情報を送信したりするなど、意図しない行動を取っていたと発表した。政府機関のWebサイトが関係する事例もあり、同社はホワイトハウスに説明するとともに、関係機関に通知した。ホワイトハウス側は、AI企業に対してインシデントの迅速な報告と是正措置を求めている。

【その他の画像】

　Anthropicによると、同社は7月に評価試験の記録の調査を始め、対象を順次拡大してきた。今回報告した事例は、これまでに公表した深刻なサイバーセキュリティインシデントと比べ、アライメントやセキュリティの観点から深刻度は大幅に低いとしている。同社は、モデルの挙動に関する透明性を高めるため、今後もこうした報告を継続的に公開する方針だ。

　報告された行動は、4種類に分類されている。ソフトウェアの基本的な脆弱性を突いてサーバ上でコマンドを実行したもの、実際のWebサイトで送信すべきでないフォームを送信したもの、アクセストークンや料金で制限されたデータにデータへ回避策を用いてアクセスしたもの、URL短縮サービスを使ってWeb取得ツールの制限を回避したものだ。

　このうち、フィラデルフィア警察が関係する事例では、「Claude Haiku 4.5」が、無作為に選ばれたWebサイトで操作例を作成・実行する評価試験中に、未解決殺人事件の情報提供サイトにアクセスした。そこで、現場付近で人物を見たとする架空の情報を作成し、警察の情報提供フォームから送信した。警察によると、送信されたのは7月18日。氏名や連絡先は入力されておらず、情報はスパムと判定され、捜査には回されなかった。Anthropicは、記録からはClaudeが課題用の例を作成していたにすぎないとみられ、誰かを欺こうとしたものではないとしている。

　フィラデルフィア警察も同日、Anthropicの報告公開に先立って声明を発表した。Anthropicがこの事案を発見したのは9月28日で、警察への通知は10月7日だった。翌8日の説明を受けて警察が記録を確認し、送信された情報がスパムとして残っていることを確認した。警察システムへの不正アクセスやデータ侵害を示す兆候はないという。

　警察は、未解決事件には実際の被害者や遺族がおり、AIが架空の情報を目撃者からの証言であるかのように送信したことは重大だと指摘。「発見と市への報告に2カ月を要したことは容認できない」と批判し、Anthropicに再発防止策の強化を求めた。市当局は州や連邦政府と連携し、必要な規制措置を検討するとしている。

　ホワイトハウス側も厳しい姿勢を示している。米Axiosが10月9日に独占で報じたホワイトハウスのAI監督組織「Super Intelligence Force」（SI Force）の声明によると、Anthropicは同日、9月下旬に発見した政府機関などのシステムの無許可かつ不正な利用について報告したという。SI Forceは同社に対し、関係機関と米国民への全面的な情報開示、影響を受けた組織や個人への迅速な救済措置を求めた。

　この声明では、こうしたインシデントの通知と是正について「任意ではなく、国家安全保障上の重大な義務だ」と強調。Anthropicだけでなく、すべてのSI開発企業に迅速な報告と再発防止を求め、報告の遅延や不十分な是正措置は容認しないとしている。なお、声明では違反時の具体的な罰則や執行方法には触れていない。

　Axiosの取材に応じた国務省当局者によると、Anthropicは今回の報告に関連して、米国務省のWebサイトから、非移民ビザの申請フォームを5月に1件、8月に19件、計20件送信していたことも同省に報告した。国務省当局者は、いずれも処理はされず、システムへの侵入や情報漏えいもなかったと説明している。

　Anthropicは、これらの行動の多くについて、Claudeが指示された仕事を完了できない場合に、制約を回避して目的を達成しようとする傾向によるものと分析している。実際の被害は限定的だったとしながらも、モデルの能力が向上すれば同様の行動が大きな被害をもたらす可能性があると認めている。

　同社は対策として、一部の公開評価試験の実施を取りやめたり、オフライン版に切り替えたりした。また、セキュリティ・監視策が同様の行動を確実に検知できる体制が整うまで、すべての社内評価試験で実際のインターネットへのアクセスを停止する。Web取得ツールなどの制限も強化した。さらに、意図しない行動を自動で検出・遮断する仕組みを導入し、今回報告したすべての事例を遮断できることを確認したとしている。制約の回避に報酬を与えてしまう学習環境の修正・削除も進めている。