Apple、悪質なCSAMから子供を守る新機能、プライバシーを保護しながらAIで検出

米Appleは8月5日（現地時間）、CSAM（児童性的虐待のコンテンツ）から子供達を保護し、安全なオンライン環境を実現するために、同社のプラットフォームに組み込む3つのセーフティ機能を公表した。1つは「メッセージ」アプリで性的に問題のある画像に子供達が触れるのを防ぐファミリー向けの機能。2つめはiCloud Photosを通じたCSAMイメージの拡散を防ぐ機能で、米国ではCSAM撲滅に取り組む関係機関と連携する。そしてCSAMのような危険に関する情報を子供達や保護者がSiriや検索から得られるようにする。これらは今秋に正式版が登場するiOS 15、iPadOS 15、watchOS 8、macOS Montereyで実現する予定。

「メッセージ」アプリでは、子供が性的に問題のある画像を受け取った際に画像の表示をボカし、判断の助けになる情報とともに画像の危険性を警告。その上で子供が画像を表示させることを希望するなら、保護者に閲覧を報告するメッセージが届くことを伝える。子供が問題のある画像を送信しようとした際にも同様の保護措置を行う。添付画像はデバイス内の機械学習によって分析され、Appleがユーザーのメッセージに触れることはない。

CSAM（Child Sexual Abuse Material）は、若者や未成年者を性的虐待や搾取の危険にさらすコンテンツを指す。Appleはユーザーの画像をiCloudにアップロードする前に、デバイス内でNCMEC（米行方不明・被搾取児童センター）や他の組織が提供するCSAMイメージのデータベースにハッシュ照合し、暗号化したバウチャーを作成して共にiCloud Photosにアップロードする。iCloudでは極めて高い精度でCSAMを分類する閾値を設けており、それを超えている画像についてはAppleが手作業でバウチャーの内容を見て一致を確認。問題のあるアカウントの無効化やNCMECへのレポート送信といった対処を採る。Appleによると、CSAM拡散のフラグがアカウントに誤って立てられるのは年間1兆機会で1度を下回るぐらい検出精度が高い。誤ってフラグが立てられた場合、ユーザーがアカウントを回復させるための意義申し立てを行うこともできる。

Siriと検索機能は、危険に対処してオンラインを安全に利用するための情報を子供達や保護者に提供。ユーザーがCSAMに関する検索を行った際に介入できるようにガイドラインを拡大する。その際には検索が有害で危険があると判断した理由を説明、問題に関するパートナーからの情報を提供する。

Appleはユーザーのプライバシー保護を徹底しているが、その厳しいプライバシー保護がCSAM拡散の隠れ蓑に悪用される可能性がある。子供達の保護を強化する3つの新機能は、プライバシー保護とCSAM排除を両立させる設計になっている。だが、Appleが主張するように機能するのか、同社のプライバシーの取り組みに影響する可能性など懸念の声も挙がっている。「Expanded Protections for Children」という文書においてAppleは、プログラムは子供達を守る責務を果たす意欲的な取り組みであり、「時間をかけて進化・拡大していくものです」としている。（Yoichi Yamashita）