2020年NICTシンポジウム

脳情報通信融合研究センター（CiNet)が提案する新型コロナ後の世界

脳情報とｘRで生成する超現実世界

脳情報通信融合研究センター長
柳田敏雄

提案する世界
脳のことばで生成するサイバー世界（生成的超現実世界）
物理世界の制約を超え皆がより自由に活躍できる
開かれた世界

世界の何処の誰とでも、いつでも真に伝えたい、知りたい情報の授受（以心伝心）を可能にする物理世界では埋もれていた新たな脳・身体機能の発掘、
拡張

新しい• 感動・喜び・幸福感• 文化・芸術・ゲーム• 教育・スポーツ• 医療• 科学技術• ビジネス• 観光• 他者、社会との関わり• 国家間のあり方

画像、言語は、情報媒体として不十分
今後サイバー世界を創る、ｘRや５GなどIT技術は大きく進展するが、最後の画像（例） 最初の画像
ボールをトスしている映画
ボールのトスを数えてるとゴリラの侵入に気づく
ひとは５０％くらいしかいない

脳の能力は限られているので、注目する情報に処理能力を集中させている！
ｘRで情報を無闇に脳に送っても、脳に負担をかけ、効率よく情報は伝わらない！

脳情報 -脳のことば- で語るｘRが必要！
xR=xReality(仮想現実、拡張現実、複合現実）

生成的超現実：サイバー世界と脳の共進化
xR、アバター、
情報通信技術はNICT,企業、大学と共同開発

人間の特性に合った生成的超現実世界
時空、脳・身体機能の制約を超えて楽しく活躍できるサイバー社会

Cyber-Brain Interface
生成的現実感（脳が感じやすい
現実世界を仮想化）“脳のことば”を読み書きすることで、サイバー世界と物理世界を結ぶサ イ バ ー世 界 を利 用 したリアルライフの脳情
報獲得

物理世界（現実社会）

社会デザイン・ELSI
倫理的、法的規範、プライバシー、セキュリティー

例
阪大ELSIセン
ターと共同研究“脳のことば”：脳情報の表現・表出様式を求める

創
造
的
思
考

意思決定

ビ
ジ
ネ
ス

論
理
思
考

社
会
行
動

他
者
認
知

対
話

ゲ
ー
ム

抑
制
購
買

予
測

研
究

学
習

ｘR
ナビゲーション（移動）多様で複雑な
情報を五感を通して脳に入力

20万カ所の脳活動

マルチモーダル
脳活動計測

感情

注
意

連
想

CiNetで死ぬほど研究して、おもろい
未来社会を創ろう

行動意図

運
動
計
算

想
像
読
解

脳が何を観て、何を感じ、何を想起し、どのような行動を意図するかを読み解く（表出様式：デコードモデル）

ECoG

入力情報が脳にどのように表現されるかをモデル化（表現様式：エンコードモデル）

想起

子供たちが
料理してる

EEG

ｆMRI
MEG

価
値
判
断

かわいい
楽しそう

知覚

整
理 探
索 計
時

子供が楽しく遊べる
社会にしないと“脳のことば”
様々なタイプの数千～万人規模の脳活動ビッグデータ
没個性にならない表現・表出様式

モデル化

脳情報の
デジタル化
What is human?

脳活動の大規模データ取得

研究者200名
10，000平米

マルチモーダル脳計測
7T-MRI

3T-MRI

3T-MRI

3T-MRI

3T-MRI
MEG

ウェアラブルEEG

生理・
生化学
計測

ECoG
研究開発用のMRI 4台，MEGとともに独自開発のECoG,ウェアラブル脳波計などの計測機器を統合的に用いることで様々なシーンの脳活動や生理データを大規模に取得可能

ビッグデータ取得
世界トップクラスの人間の脳機能計測・解析研究拠点

ビッグデータ解析
大容量データストアおよび高速解析システム
10万人以上の脳活動データ／生理データを蓄積でき、高速解析が可能

脳情報解析用GPGPUサーバ

ギガビット
ネットワークAI解析

ギガビット
ネットワーク

テラバイト級

AIテストベッド 高速フラッシュ
ストレージ

ペタバイト級
大規模分散ストレージ

研究者：100名 6

“脳のことば”を求める研究は進んでいる

脳が捉えている画像、意味内容を読み解く（例） 初めて観た画像読み解いた脳情報
脳が捉えている画像
Nishimoto et al.
Curr Biol 2011

脳が捉えてる
意味内容

Huth et al.
Front Syst Neurosci
2016

脳が捉えてる意味内容を文章に人が傘を背にしている

ｆMRI
脳活動から脳情報をデコード

画像情報の脳活動へのエンコード

脳活動

Matsuo et al.,ACL SRW 2016

“脳のことば”の研究は進んでいる

感性、想起内容、行動意図を読み解く（例）

読み解いた脳情報

初めて観た画像脳はどのように感じているか（感性）

可愛い
親しい
優しい

想起内容、
行動意図は？

可愛い、
心暖まる、守ってあげたいNishimoto and Kashioka 2015
patent pending;
Nishida et al., 2017 NeuroImage

Nakai, Nishimoto..

Nat.Comm.（2019）

脳活動

人に観せる

ｆMRI
デコード

エンコード
コンピュータに観せる
事前に多様な画像を数千枚観せて脳モデルを構築

脳モデルを
コンピュータに実装

画像の感性評価は商用化している！
Nishimoto and Kashioka 2015
patent pending;コンピュータがモデルを使って読み解く

脳情報のデジタル化
人間の幸福を追求する
サイバー世界期待される効果：以心伝心のコミュニケーション
媒体：言語・画像・音声
×
会議

課題→言語→解決案→言語
↑
↑
情報減衰

情報減衰

媒体：脳情報×
サイバー空間の脳情報ネットワーク

世界の何処の誰とでも、いつでも真に伝えたい、知りたい情報の授受（以心伝心）を可能にする

期待される効果：脳・身体機能の拡張
動物から人間へ

認知革命：言語による意思疎通能力、仮想世界を想像する能力（遺伝子の進化）
現在

神話、宗教、文化、芸術、
科学技術、産業
国家、社会

拡張認知革命：脳のことばを使った超現実世界を生成する能力
未来（脳とサイバー世界の共進化）

他人の視点で見る世界：内部状態まで共有可能に⇒「思いやり力の拡張」
スキル：言葉や動画では伝わらなかったスキルのインストール⇒「理解力の拡張」
科学分野：概念世界の体験⇒「観察力、創造力の拡張」
技術分野：物理・経済資源に捉われない集団創発⇒「生成力の拡張」

期待される効果：未来の社会資本
これまでの公共社会資本

未来の社会資本

産業と生活のインフラ

人類の幸福のインフラ

生活と産業のインフラ：
電気・ガス・水道・・・

健康のインフラ：
病院・保険制度・・・

移動/物流のインフラ:
電車・道路・橋・・・

知識と教育のインフラ：
公教育・・・

生成的超現実空間
時間と空間と視点を超越してヒトが成長し協調できる仮想世界基盤

情報のインフラ:
郵便・電話・インターネット

娯楽のインフラ：競技場・美術館・フェスティバル⇒時空間を超えて人とつながれるインフラ⇒他者の願望や課題を知るインフラ⇒個人の多様な能力を伸ばすインフラ⇒多様な能力の分業を最適統合して創発を加速するインフラ⇒仮想の試行錯誤が現実世界の改良に反映できるインフラ

提案の要約
脳情報とｘRで生成する超現実世界
パンデミックや災害による社会活動の制限は今後、生活・仕事・交流等私たちの様々な営みを現実世界の制約のないサイバー世界へと誘導する状況に鑑み、サイバー世界と脳・身体の共進化を技術的に促進することで、人類を物理世界の制約から解放し、誰もがより自由に活躍できる開かれた社会の構築を目指す
サイバー環境で脳・身体がどのように情報受け、どのように感じ、何を想起し、どのように行動するかといった情報表現-表出様式を大規模データ取得により“脳のことば”化する
そして、その脳情報をサイバー世界と人との間で交換できるインターフェース開発を通して、現実以上に脳に親和的なサイバー世界を生成する xR を実現する。
“脳のことば”は、これまで埋もれていた他者の喜び・痛み・価値観・スキルといった情報を伝達・交換・予測・拡大することを可能とし、個人や集団の新たな個性や能力開発、
産業や芸術の発展を可能にする。