Meta Ray-Banで向かいの席から撮影→指の動きからスマホのパスワードを解読する盗み見攻撃

　イスラエルのテルアビブ大学に所属する研究者らが発表した論文「Watch and Crack: Password Inference from Smart-Glasses Video」は、スマートグラスで撮影された指の動きから、パスワードを解読する手法を実証した研究報告だ。

【その他の画像】

　カフェなどの公共の場でスマートフォンにパスワードを入力する行為は、スマートグラスの普及によって脅威に晒されている。のぞき見防止フィルムやプライバシー表示機能で画面を隠していても、指先の動きさえ録画されればパスワードなどは突破される可能性がある。

　また、普通の眼鏡に見える「Meta Ray-Ban」などのスマートグラスだと撮影されていることに気が付きにくい。しかも、前方から撮影されても指を解析されるため、ターゲットは油断してしまうだろう。後ろからのぞき見されるショルダーハッキングに注意しているだけではいけないことになる。

　従来の映像解析は、キーが大きいタブレットや4桁のPINコードなど単純な条件に限られていた。今回実証した手法の場合は、相手の機種やキーボードアプリ（Gboard、iOS、Samsung）の事前知識を必要とせず、両親指や人差し指での自然なタイピングから、大文字・小文字・数字・記号の4つの配列すべてにまたがるパスワードを推定できるという。

　まず画像認識AI（SAM 3）と手の追跡モデル（MediaPipe Hands）で指先をサブピクセル精度で追跡し、3Dニューラルネットワークでキーを押した瞬間を特定する。バックスペースキーによる入力修正も自動で検出・除外される。

　さらに、大文字や数字を入力する際に必ず押されるシフトキーや配列切り替えキーの位置を手がかりに、画面上のキーボード領域を逆算する。そして、映像から算出した各キーの打鍵確率と、約22億件の漏えいパスワードの統計データを数学的手法で統合し、正解の候補を絞り込む。16人の参加者による実験では、全体の77.8%で打鍵数の特定に成功した。

　撮影距離は最大1.8mまで有効で、Pixel 10、iPhone 16、Galaxy A53といったスマートフォンの全てで効果が確認された。一方、指の移動が極端に小さく高速に打つ若年層や、迷いながら打つ人、両親指でほぼ同時に打つ人などの場合は精度が低下する限界も確認された。