2023 年 5 月 17 日

脳活動がおきる時間と場所の情報から、ヒトが見たもののブレインデコーディングに成功― マルチモーダル計測×深層学習の組み合わせによる新発見 ―【研究概要】
高知工科大学脳コミュニケーション研究センター教授の竹田真己は、同センター助教の渡邊言也（研究当時）、同センター教授の中原潔、narrative nights 株式会社代表取締役の三好康祐、群馬大学教授の地村弘二らとの共同研究で、ヒトが視覚情報のカテゴリを判断する際に、まず大雑把なカテゴリ分類が行われたのちに詳細なカテゴリ分類が行われており、この時間の経過には従来考えられていたよりも広範囲な脳領域が関与していることを発見しました。
この成果は、「空間分解能にすぐれた脳活動計測と時間分解能にすぐれた脳活動計測を同時に行って、そのデータを人工知能により解読する」、という新手法により見出されたものです。本研究が提案する「マルチモーダル計測と深層学習の組み合わせ」を用いることで、これまでに明らかにできなかった脳活動の新しい役割を今後明らかにできることが期待されます。
この研究は、米国の神経科学雑誌 NeuroImage の Research Article 速報版として2023 年 5 月 10 日に掲載されました。
１．本研究のポイント


深層学習による視覚情報のカテゴリの解読（デコーディング）は、機能的MRI(fMRI)または脳波(EEG)の単独データを用いた場合よりも、両者の同時計測データを用いた方が精度が高かった。

fMRI データのデコーディングにより、全脳にわたる脳活動が視覚情報のカテゴリ分類に寄与することが示された。

1/5



EEG データのデコーディングにより、視覚情報は疎から密の順にカテゴリ化されることが示された。

本成果はマルチモーダルデータを用いた単一試行のニューラルデコーディングへの実現可能性を示している。

２．研究背景私たちは、身の回りの視覚情報を非常に素早く知覚することができます。こうした能力は、その対象が危険かどうかを素早く判断したり、意思決定を行ったりすることに役立っています。知覚には、視覚情報がどのカテゴリ（顔なのか物体なのかなど）に属しているかといった情報処理が含まれますが、詳しい脳内メカニズムはわかっていませんでした。過去の研究により、脳の一部の領域が視覚情報のカテゴリ分類に関与していることが知られていますが、他の領域の関与については不明な点が多くありました。そして、カテゴリ分類の順番として、大きなカテゴリ分類（例えば顔か物体かの分類）と小さなカテゴリ分類（例えば男性の顔か女性の顔かの分類）のどちらが先に行われるかについても論争が続いている状況でした。
本研究では、この問題を解くために、二つの技術的基盤を開発して、それを応用しました。一つ目は、機能的磁気共鳴画像法 1（fMRI）と脳波 2（EEG）を同時に用いることにより、ヒトが視覚情報を見ている際の脳活動を高い時空間分解能で計測することです。二つ目は、脳活動データから視覚情報のカテゴリ分類を推定するために、深層学習 3を用いることです。我々は、この実験系により、従来用いられてきた手法よりもより高い分類デコーディング精度が得られ、視覚情報のカテゴリ分類に関する時空間パターンについてもより精緻な知見が得られるのではと考えました。
３．研究内容・成果
被験者に、顔画像もしくは物体画像を見てもらい、その間の脳活動を空間分解能にすぐれた fMRI と時間分解能にすぐれた EEG を同時に用いて計測しました。顔画像として、男性顔または女性顔のいずれかを提示し、また、物体画像として、自然物または人工物のいずれかを提示しました。本研究では、顔と物体の分別を「カテゴリ分類」と呼び、また男性・女性の顔の区別や自然・人工の物体の区別を「サブカテゴリ分類」と呼びます。

2/5

空間分解能の高い fMRI データを用いた視覚カテゴリ分類を行い、その際に深層ニューラルネットワークが注目した脳領域を可視化してみると、従来の解析で明らかになっていた後頭葉から側頭葉にまたがる腹側視覚路と呼ばれる脳領域に加えて、全脳に渡る広範囲な脳領域の活動が視覚カテゴリ分類に寄与していることが明らかになりました（図１A）。

図１︓（A）fMRI デコーディングの可視化。赤い脳領域は、視覚情報が顔だと判断する際にはたらく領域。青い脳領域は、視覚情報が物体だと判断する際にはたらく領域。（B）EEG デコーディングの可視化。男性顔/女性顔や自然物/人工物といったサブカテゴリカルな分類判断と比較して、顔/物体のカテゴリカルな分類判断の方が時間的に早いタイミングで起こっていることを示している。
また、EEG データを用いた視覚カテゴリ分類を行い、その際に深層ニューラルネットワークが注目した脳活動のタイミングを検証したところ、カテゴリ分類からサブカテゴリ分類の順番で行われていることがわかりました（図１B）。この結果は、先行研究で提案されている理論モデルの結果を支持するものです。
また、fMRI データと EEG データを共に用いて、深層ニューラルワークを学習させたうえでデコーディングを行うと、fMRI データもしくは EEG データを単体で用いた場合と比較して成績が上昇し、より高いデコーディング成績を示すことがわかりました（図２）。この結果は、単一のモダリティの脳活動データを用いるよりも、複数のモダリティの脳活動データを用いた方が、より脳活動の特徴を捉えることができることを示唆しています。

3/5

図２︓fMRI データと EEG データを両方用いて深層学習モデルを学習させた場合のデコーディング成績。カテゴリ分類、サブカテゴリ分類ともに高い分類成績を示した。
４．今後の展開
本研究により、広範囲にわたる脳領域の疎から密への視覚カテゴリ表象が明らかになりました。本研究で開発した、高時空間分解能脳活動計測と深層学習によるデコーディングの技術は、視覚情報の研究以外にも展開が可能です。本手法を用いることで、例えば意識障害を有し、自身の考えを表明することが難しい患者が実際に何を考えているのかといったことをリアルタイムにデコードするといった応用につなげていきたいと考えています。
<用語の説明>1 機能的磁気共鳴画像法（fMRI）︓脳内の活動を非侵襲的かつ高い空間解像度で観察するための手法。脳の神経活動と血流動態には密接な関係があり、本手法は血流動態を計測することにより、間接的に脳の神経活動を捉えることができる。
2 脳波（EEG）︓脳から生じる電気活動（神経活動）を頭皮上に置いた電極で非侵襲的に計測する手法。電気活動を直接計測するため、時間解像度にすぐれる。
3 深層学習︓多層の人工ニューラルネットワークによる機械学習手法。近年、脳活動のデコーディングに使用する研究が増えている。

4/5

<原論文情報>
題名︓Multimodal deep neural decoding of visual object representationin humans.（マルチモーダル深層神経デコーディングを用いたヒトにおける視覚表象）
著者︓Watanabe N, Miyoshi K, Jimura K, Shimane D, Keerativittayayut
R, Nakahara K, Takeda M (2023), 275, 120164.
掲載誌︓NeuroImage
掲載日︓2023 年５月 10 日
DOI︓https://doi.org/10.1016/j.neuroimage.2023.120164

5/5