脳波を解読して聞いている音楽を特定するAI　70％以上の精度で識別　英国チームが開発

　英エセックス大学に所属する研究者が発表した論文「Neural decoding of music from the EEG」は、ユーザーの脳波を記録し解読することで、今聞いている音楽を特定し復元する深層学習モデルを提案した研究報告である。

【その他の画像】

　これまでにも脳波から音響情報を特定し再構築する研究は過去にあったが、多くは大脳皮質に脳波電極を接触または刺入する皮質電図（ECoG）などの侵襲的な方法を使用してきた。今回は、ユーザーへの負担が低い非侵襲的な方法を採用する。

　具体的には、脳全体の血流や代謝を測定するfMRIと、脳内の電気的活動に伴う電磁気信号を捉える脳波（EEG）という2つの非侵襲的方法を組み合わせる。fMRIは空間分解能に優れているが、数秒にわたる反応を測定する時間分解能に弱い。反対にEEGは時間分解能に優れている。fMRIとEEGを合わせることで、空間と時間の両面から高い分解能で脳機能を測定できる。

　解読システムでは、まずfMRIとEEGで記録したデータから音楽の聴取に関連する特徴を抽出する。次に、ユーザーが聞いた音楽を脳波から生成する、深層学習ネットワーク（biLSTM）モデルで音声合成による曲の復元と識別を行う。

　実験は、参加者複数人に異なる36曲のセットから40秒の単純なピアノ曲を聴いてもらい実施した。参加者が音楽を聴いている間の脳活動を記録し解析した結果、提案モデルは71.8％の成功率で曲を識別することができた。

　Source and Image Credits: Daly, I. Neural decoding of music from the EEG. Sci Rep 13, 624（2023）. https://doi.org/10.1038/s41598-022-27361-x

　※テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2