第 33 回大阪科学賞受賞講演

新しいコミュニケーション技術の実現へ
京都大学／
国際電気通信基礎技術研究所（ATR）

神谷之康

氏

はじめに

私は、はじめから科学者になるつもりはなく、東大の文科Ⅰ類（法学部進学コース）に入学しまし
たが、法律より脳と心の哲学や数理論理学のようなことに興味を覚えました。哲学を専攻して脳と心の問題、つまり脳という物質からどのように心が生じるのか、という問題にずっと関心がありました。その頃、ニューラルネットワーク（いまの人工知能）がブームになっていて、コンピュータ上の脳を模倣したプログラムで哲学的な議論だけでなく脳や心の働きを実証するのです。その後、カリフォルニア工科大学院で計算神経システムを専攻して学位を修得、脳科学の中でも、モノを見る仕組み（視覚）を中心に研究していました。
アメリカに 7 年ほど滞在したのち、けいはんな学研都市にある国際電気通信基礎技術研究所（ATR）に招かれ、約 10 年にわたって研究してきたのが脳情報デコーディング成果で今回、科学賞を与えられました。

デコーディングとは？

デコーディングとは、なんですかと聞かれると、私は 4 コマ漫画の『いじわるばあさん』を引き合いに出します。若い人は知らないと思いますが、昔ドラマにもなった雑誌連載の漫画で、昭和 38 年の作品です。その 4 コマ漫画は次のような内容です。
1．いじわるばあさんが車に追突されたということで医者に診察をしてもらいに行きます。
2．診察室で医者が「ホウ、クルマに追突されたの」と言って、「一度脳波を調べてあげよう」と話します。すると、いじわるばあさんは「よろしくおねがいいたします」と頭を下げます。
3．医者は脳波計のベッドに横たわっているいじわるばあさんに「気をらく～にして」と声をかけます。すると、いじわるばあさんは「ハイ」と返事します。
4．やがて脳波計から、「ヤブにわかるか！」という文字がプリントアウトされます。
これがまさに、私が研究している脳情報デコーディングです。ヒトは心を読みたがる動物です。
もし脳の信号を使って心の状態を推定することができれば、さまざまな社会的、産業的応用が考えられます。脳の活動パターンは心の状態を表現する「コード（暗号）」とみなすことができます。
脳活動パターンを「デコード」することは、脳の情報表現を理解する上で重要であるのみならず、解読した情報を用いて機械やコンピュータを操作する技術への応用が期待できます。そこでわれわれのグループはヒトの脳信号を利用した「脳情報デコーディング法」を考案し、脳内情報を解読する新しい手法を開発してきました。
脳波に限らず、脳の信号は意味不明の波形だったりノイズのような画像だったりして、目で見てその人の心の状態を読み取れるものではありません。その一見意味不明な信号を人間が理解できる形に翻訳するのが脳情報デコーディングです。つ
まり脳の活動（コード化されたもの）をみて、それは何を意味するのか、その人の心の状態を読み解く技術がデコーディングです。
心の動きを脳活動のパターン信号から解読（デコーディング）して推定しようというわけです。
ヒトの本音（意識、無意識の内観）はなかなかつかめません。脳の状態を解読することで、高い精度で心の状態を推定できるようにするのです。
なぜ「デコーディング」と呼ぶかというと、脳科学ではコンピュータで画像やテキストが 0 と 1の列でコード化（符号化：後で元の情報を復元できるような方式で信号を変換すること）されているのと同じように、心や行動が脳の活動パターンによってコードされていると考えるからです。
「コード」には「暗号」という意味もあります。
暗号も解読できなければ意味がありません。つまり脳情報デコーディングとは、脳活動という暗号を解読することなのです。
コードの代表的なものにアスキーコードというものがあり、コンピュータの文字 A、B、C が 1000001 100 0010 100 0100 というようにコード化されます。DNA もアスパラギン酸 ロメシンがそ● the OSTEC

2016 Winter ● 5

れぞれ GAC CUU、ことばの■は「あか」というように文字コードに置き換えられるわけです。脳と心の関係もこれらと同じようなもので、コード化を理解すれば解読できるのです。
脳組織をスライスして電子顕微鏡で画像化しスーパーコンピュータで解析すると、脳の神経細胞がケーブル配線のようにつながって見えてきます。いわば電気回路のような脳のシステムで情報がながれています。神経系は情報処理システムで電気回路と同じように扱えるのです。
脳の細かい構造は細胞を顕微鏡で見ることもできますが、私のグループではマクロ的に見るのに、主に fMRI（functional magnetic resonance imaging、機能的磁気共鳴画像）で計測されるヒトの脳活動を解析する研究をしています。病院で MRI スキャナに入って、頭や体の輪切り画像を撮ってもらった人がいるかもしれません。それは「MRI」で体の構造（形）を可視化するものです。「fMRI」は、同じスキャナを使いますが、脳の機能（活動）を可視化する技術です。

人工知能で脳画像をデコードするテレビで、脳の一部が赤く光っている図を使って「脳の前頭葉が活性化している」といった説明を聞いたことがあるかもしれません。このような脳画像の見方は、「脳機能マッピング」と呼ばれ、現在でも脳のイメージング研究で用いられています。脳機能マッピングは、われわれのデコーディングと 2 つの点で大きく異なります。
第一点は、脳機能マッピングでは、「心の状態→脳活動」という「エンコーディング（符号化）」の矢印で見ています。通常、画像を見せるとか暗算させるなど「課題」を与えて心の状態を操作するので、この矢印の向きは自然な向きだとも言えます。これに対して、デコーディングは逆に「脳活動→心の状態」の矢印で考えます。
第二点は、脳機能マッピングでは、脳のピンポン球程度の大きさで心の機能をざっくりとわかるのに対して、デコーディングは、脳画像の画素の細かいパターンと具体的な心の内容を対応づけるものです。したがって脳機能マッピングでは、たとえば動いているものを見ている時に脳のどの場所がよく活動するかをわかるようにするのに対し、デコーディングでは、どういう物体がどの方向に動いているかという詳細な内容を脳画像の細かいパターンから解読します。
その方法は脳活動の信号を計測し、その時の心の状態を記述する「ラベル」をつけます。次にラベルを予測する統計モデル（デコーダ）を構築、そして新たな脳活動信号を与えたとき、デコーダがラベルを正確に予測できるか評価します。そのためにコンピュータの機械学習アルゴリズムによってデコーディングできるようにします。
では、どのようにして脳画像のパターンから具体

6● the OSTEC

2016 Winter ●的な心の内容を解読しているのでしょうか？ MRI
スキャナから出てくる脳画像を見ても、人間が目で見て分かるような明確なパターンはありません。
われわれは人間が目で見てわからないような細かく複雑なパターンを「コンピュータにパターン認識させる」というものです。たとえば、じゃんけんでグー・チョキ・パーのどの手の動きをしているかを脳からデコードしたい場合、グー・チョキ・パーの動作をしている時の脳画像を計測しておきます。脳画像データとグー・チョキ・パーを対応付けしたものを「機械学習アルゴリズム」と呼ばれるコンピュータのプログラムに入力します。すると、このプログラムが脳画像の複雑なパターンとグー・チョキ・パーの動作との対応関係を自動的に発見してくれます。
通常のコンピュータのプログラムでは、プログラマーがコンピュータの動作を逐一指示しますが、機械学習ではコンピュータのプログラムは、入力に対してどのように出力すべきかを自分で学習します。
機械学習はコンピュータ・サイエンスや人工知能の分野で現在活発に研究が進められていて、インターネットのさまざまなサービスでも活用されています。

視覚イメージを脳から解読するデコーディングを考案してやりたかったのは、脳活動という客観的に計測できるものから、本来は本人にしか知ることができない意識や知覚を解読することです。2005 年に機械学習によるデコー
ディングという手法を提案し、見ているモノの形や動きなどを解読できることを示しました。さらに一歩進んで、人間が実際に見ている外界の画像だけでなく、心の中で注目しているものや、あるいは想像しているイメージでも同じように脳活動から読み出すことにも成功しました。
実際に画像を見ている時と想像している時で、視覚的な類似性があります。脳活動にも何らかの類似性があるだろうと仮定し、実際に画像を見た
時の脳活動データで機械学習プログラムに学習させた後、そのプログラムで想像している時の脳活動パターンを解析するという方法をとりました。
その結果、解析する脳の場所によっては、想像している内容を正しく解読できることがわかりました。これは本来その人にしか知ることができない心の状態を読み出すという意味で「読心術」といえるかもしれません。脳研究においては、脳のどの場所やどのような信号特徴がデコーディングに有効かを知ることが重要になります。
機械学習によるデコーディングには、プログラムの学習のためにあらかじめ脳活動を計測した対象しか出力できないという制約がありました。
2008 年に発表した論文では、画像を要素に分解しそれぞれについてデコードした結果を組み合わせることで、この制約を克服しました。この方法を用いると約 400 枚のランダムな画像に対する脳活動を約 1 時間、脳計測するだけで何億通りもの任意の画像でそれを見た時の脳活動から再構成できます（図の上が実際に見せた画像、下が脳活動パターンから解読した画像）。すべての画像について脳活動を測ることはできませんが、これにより、脳画像から解読できる情報量が飛躍的に向上しました。また最近、任意の物体や概念をデコードする方法を開発していろいろな問題が解けるようになりました。

夢をデコード2008 年に発表した視覚像再構成の論文は、国内外のメディアでも報じられ「将来は夢も再現か」というコメントがつけられました。これは夢の視覚的な内容をデコードできるか？という課題です。
夢は外界からの入力とは関係なく生じる心の状態で、脳と心の関係を探る上で非常に興味深い現象です。しかし、夢は、見た本人にしかその内容が分からない、すぐに忘れてしまう、などの理由から、客観的な科学研究にそぐわない対象とされてきました。私のグループは 2013 年に、睡眠中の脳活動パターンから夢の内容を解読することに成功しました。実験では、MRI スキャナの中で被験者に寝てもらいます。脳波をモニターしながら夢を見ていそうなタイミングで被験者を起こして、直前に見ていた夢の内容を言葉で報告させるという手続きを繰り返しました。案外、スキャナの中ではよく眠れます。
想像したイメージを解読する時と同じように、画像を実際に見ているときの脳活動データを使ってパターン認識プログラムを学習させ、そのプログラムを用いて睡眠中の脳活動パターンを解析すると、夢の報告に現れた物体を高い精度で予測することができました。この結果は、夢を見ているときにも画像を見ているときと共通する脳活動パターンが生じていることを示しています。夢の主観的内容が脳の物理的な活動パターンと対応することが、これにより初めて実証されました。
脳情報デコーディング法は脳機能研究に革新をもたらし、現在標準的な手法として世界中で広く利用されています。今後、さらなる高精度化、多機能化とともにブレイン・インターフェースや心理状態の可視化、精神疾患の診断等に広く応用されることが期待されます。ブレイン ―マシン・イ
ンターフェースを開発するため、脳外科の患者さんの頭蓋内に埋め込んだ電極を使った研究を、大阪大学脳神経外科と共同で行っています。

おわりに『いじわるばあさん』に限らず、フィクションには脳から心を読む機械はたくさん登場します。
実際、他人の心の状態を正しく推定できると、職場での人間関係や夫婦関係、それから、恋愛にも有利になることは明らかです。商品開発やマーケティングにも利用できるかもしれません。また、司法の現場で活用することも可能で、米国ではうそ発見器として脳イメージングを利用することが議論されています。
病気やケガで手足を動かしたり声を出したりすることができない人々にとって福音ともなるでしょう。脳の信号を使ってロボットやコンピュータを操作する「ブレイン―マシン・インターフェース」
によって、障害を克服できるようになるかもしれません。技術が成熟すれば、だれもが日常生活で使う新しい情報通信手段として利用される可能性もあるでしょう。
インターネットや携帯電話は情報通信に革命をもたらしましたが、超えられていない壁を一つ挙げるとすると、それは「身体」です。電話で話をする時もキーボードを打つときも身体（筋肉）を動かす必要があります。
「ブレイン―マシン・インターフェース」は身体の制約から開放された、全く新しい脳と脳のコミュニケーション技術を生み出すかもしれません。
しかし、現在の技術はフィクションには遠くおよびません。実現可能であるとしても、技術の悪用をいかに防止するかなど、社会的な議論が必要でしょう。技術的課題や社会的問題も含めて、脳から心を読む技術がもたらす未来について思いをはせてみてはいかがでしょうか。
【受賞者紹介】

神谷之康

氏

京都大学大学院情報学研究科 教授
国際電気通信基礎技術研究所（ATR） 客員室長
1993年
2001年
2001︲2003年
2003︲2004年
2003︲2004年
2004︲2007年
2006︲2011年
2007-2008年
2008–2015年
2011︲2015年
2015年︲現在
2015年︲現在

東京大学教養学部教養学科卒業
カリフォルニア工科大学博士課程修了（Ph.D.）
ハーバード大学メディカルスクール・研究員
プリンストン大学・客員スタッフ
日本学術振興会・特別研究員（SPD）
国際電気通信基礎技術研究所（ATR）
脳情報研究所・研究員
奈良先端科学技術大学院大学・客員准（助）教授
ATR脳情報研究所・主任研究員
ATR脳情報研究所・神経情報学研究室・室長
奈良先端科学技術大学院大学・客員教授
ATR脳情報研究所・神経情報学研究室・客員室長
京都大学大学院情報学研究科・教授● the OSTEC

2016 Winter ● 7