- 音楽を聴いている時、脳はどのように反応するのか？
- 脳の記録から音楽を再構築することは可能なのか？
- 音楽の要素や言葉の処理は脳内でどのように行われているのか？
ピンク・フロイドの「Another Brick in the Wall, Part 1」のコードが病院のスイートに流れる中、アルバニー医療センターの脳神経学者たちは、てんかん手術の準備をしている患者の脳に配置された電極の活動を熱心に記録しました。
その目的は、音楽に対しての脳の特定領域の電気活動をキャプチャし、患者が何を聞いているのかを再構築できるかどうかを確認することでした。
それには音色、リズム、調和、そして言葉が含まれます。
記録を始めてから１０年以上経ちました。
米カリフォルニア大学バークレー校の神経科学者が２９人の患者からのデータを詳細に分析した結果、その答えは明らかに「はい」でした。
聞いている音楽を再構築することができたのです。
「All in all it was just a brick in the wall」というフレーズが、再構築された曲で認識でき、リズムはそのままで、言葉は少し曖昧ですが解読可能でした。
これは研究者が脳の記録から認識可能な曲を再構築した初めての事例となりました。
ピンク・フロイドのオリジナル“Another Brick in the Wall, Part 1,”
脳の電気活動から再構築した“Another Brick in the Wall, Part 1,”
これは、音楽の要素だけでなく、音節も捉えられたため、脳波の記録から翻訳できる可能性を示します。
人間において、音楽の要素と呼ばれるもの、韻律、強勢、アクセント、イントネーションは、単語だけでは伝えられない意味を運びます。
ですが、この音楽の曲の再構築ができた頭蓋内脳波（iEEG）の記録は、脳の表面からしか行うことができません。
そのため、あなたの頭の中の曲を盗み聞きすることは今のところは誰にもできません。
しかしそれでも、脳卒中や麻痺などの理由でコミュニケーションが難しい人々にとっては、脳表面の電極からのこのような記録は、現在のロボットのような再構築では欠けている音楽性を再現するのに役立つかもしれません。
「これは素晴らしい結果です」
そう、ヘレン・ウィルズ神経科学研究所の心理学の教授であり、神経学者でもあるロバート・ナイトは言います。
「音楽について私の考えることの一つは、韻律と感情的な要素があることです。
ブレイン・マシン・インターフェイスの分野が進展するにつれて、これは将来の脳インプラントに音楽性を追加する手段を提供します。
ALSやその他の発話に影響を与える神経障害や発達障害をかかえる人たちの、言語の内容だけでなく、発語の韻律や感情の一部を解読できるようになります。
私たちはついに、これを解明できるようになってきたと考えています」
脳の記録技術が改善されるにつれて、いつかは頭を開かずともこのような記録を行うことが可能になるかもしれません。
「現在、頭皮に取り付けた感度の高い電極を使用して脳の活動を測定する頭皮EEGは、文字の流れから個々の文字を特定するのに少なくとも２０秒かかり、コミュニケーションに使うにはまだ困難で努力が必要です」
共同して研究を行っているルドヴィック・ベリエはこう言います。
「非侵襲的な技術は今のところ十分に正確ではありません。
患者のために、将来、頭蓋の外側に配置された電極から脳の深層の活動を良質な信号で読み取ることができるようになることを願っています。
しかし、また遠い未来のことです」
ベリエ、ナイト、および彼らの同僚は、今回のこの研究結果をPLOS Biology誌で発表しました。
現在利用されている、ブレイン・マシン・インターフェイスは、話すことができない状態の人々の言葉を解読することができても、生成される文章は、言語生成デバイスを使用していた故スティーブン・ホーキングから聞こえたロボットの発言のようなものです。
ベリエはこう言います。
「現在のこれらの技術は心で打つキーボードのようなものです。
キーボードは思考を読み取るものではありません。
ボタンを押す必要があります。
そうして、ロボットのような声を作り出します。
そこに、表現の自由は多くありません」
ベリエは音楽を幼少期から演奏しており、ドラム、クラシックギター、ピアノを演奏し、一時はヘビーメタルバンドで演奏していました。
ナイトが彼にスピーチの音楽性に取り組むように依頼したとき、ベリエは「提案を受けたとき、私は興奮しました」と言います。
２０１２年、ナイト、ポストドクトラルフェローのブライアン・パスリーとその同僚は、脳活動の記録から人が聞いている言葉を初めて再構築しました。
最近、他の研究者もナイトの研究をさらに進展させています。
米カリフォルニア大学サンフランシスコ校の神経外科医であり、２０１２年の論文の共著者であるエディ・チャンは、顎、唇、舌の動きに関連する脳の運動領域から信号を記録し、言葉を画面に表示する方法で麻痺患者が意図したスピーチを再構築しました。
その研究は２０２１年に報告され、５０の単語からなるセットに基づいて文を発声しようとする患者からの脳の記録を解釈する人工知能を開発しました。
今回の新しい研究では、音声のすべての側面を処理する聴覚領域からの記録が、人間のコミュニケーションに重要な他の側面も捉える可能性があることを示唆します。
ベリエはこう言います。
「音声を生成するために行われる動きを生成する運動皮質に代わり、音響に関わる聴覚皮質から解読することは非常に有望です。
これは解読内容を豊かなものにします」
今回の研究では、ベリエは２００８年と２０１５年に得られた脳の記録を再分析しました。
これらの患者は約３分間のピンク・フロイドの曲を聞かされました。
１９７９年のアルバム「The Wall」からのものです。
ベリエは、以前の研究では異なる音楽の曲やジャンルを識別できるかどうかをテストしただけでなく、音楽フレーズを再構築することを試みています。
なお、ベリエは、この研究が脳の活動を解読し、再現するだけのブラックボックスを単に作成したわけではないといいます。
リズムなどの新しい脳の領域を特定し、耳の後ろや上に位置する優れた側頭回にある一部の領域が声やシンセサイザーの開始時に反応し、他の領域が持続的なボーカルに反応することを発見しました。
また、脳の右側が左側よりも音楽に敏感であることも確認しました。
「言語は左脳で多く処理されます。
音楽はより分散的で、右に偏っています」
そうナイトは言います。
ベリエはこう言います。
「音楽の刺激に対しても、そうであるかどうかはっきりしませんでした。
それがスピーチに特有のことだけでなく、音声と音楽の両方を処理する聴覚システムにおいて、根本的なものであることも確認できました」
現在、ナイトは脳卒中や脳の損傷による失語症を抱える一部の人々が、言葉を表現できないときに歌を通じて、コミュニケーションがとれることを可能にしている脳回路を理解する、新しい研究を開始しています。
（出典・音声：米カリフォリニア大学バークレー校）（画像：Pixabay）
うちの子はまったく話すことができません。
正直、頭の中にどれだけ言語があるのかもわかりません。
でも、１語２語なら頭の中で発しているようにも思います。
こうした研究開発によって、いつか言葉を持てるようになることができたらと願っています。
（チャーリー）
