立石科学技術振興財団

助成研究成果集(第29号) 2020

[ 研究助成 (A) ]人間の感性を理解する脳融合型 AI の開発
Development of brain- integrated AI recognizing human feeling2191025

研究代表者

情報通信研究機構
脳情報通信融合研究センター

主任研究員

西田知

史

できると考える。

[研 究 の 目 的]

DNN の内部情報から脳情報への変換のため
近年の人工知能 (AI) の発展は，客観的なに，機能的磁気共鳴画像法 (fMRI) で計測し視覚カテゴリ判別などにおいて機械の大幅な能た脳活動を用いて，脳活動予測モデルと自己回力向上をもたらした。しかし，「美しさ」の評帰モデルをあらかじめ構築する。これらのモデ価や好き嫌いの判断のような人間の主観が強くルの概要図を図 1 に示す。

影響する感性情報の推定において，AI の能力脳活動予測モデルは，視聴覚情報を DNN にはまだ低い。人間と機械の調和を促進するため入力したときの DNN の中間層活性化パターンには，機械による感性の理解が極めて重要であと，同視聴覚情報を視聴中に fMRI で計測したる。本研究は，計測脳活動から定量化した脳情脳活動の対応関係を統計的に学習することで訓報を既存 AI 技術と融合する，革新的な技術を練する。また，自己回帰モデルは計測脳活動の開発することで，人間の感性とその個人差を推時間的依存関係 (現在の脳活動と先行する脳活定可能な脳融合型 AI の実装を試みた。この研動の対応関係) を統計的に学習することで訓練究で得られた成果は，人間の感性を理解してイする。いったんモデルの訓練が完了すれば，任ンタラクションを行う機械の実現につながり，意の視聴覚入力に対して，新たな脳計測を行わ人間と機械が協働する未来社会を実現するためずに，脳活動予測モデルにより脳活動を計算し，の重要な基盤技術としての価値を持つといえる。

自己回帰モデルによりその予測脳活動を更新することで脳活動の予測を行う。
本 研 究 で は，DNN と し て 視 覚 情 報 を 扱 う[研究の内容，成果]■脳融合型 AI 技術
本技術では，最新 AI 技術の一つである深層学習を用い，任意の視聴覚情報を入力としたときの深層学習ネットワーク (DNN) の内部情報を，いったん脳情報 (脳活動) に変換してから，視聴覚入力と結びついた多種の感性情報の推定へ利用する。脳情報に変換することで，DNN の情報表現を脳の情報表現に近づけ，人間の感性情報の推定に効果的な形に変えことが― 1 ―図1

脳活動予測モデルと自己回帰モデル

立石科学技術振興財団

助成研究成果集(第29号) 2020

VGG-16 [Simonyan et al., 2015, arXiv]および術と既存技術の精度と比較した。既存技術の 1

聴覚情報を扱う SoundNet [Aytar et al., 2016,

つ目は，DNN から脳活動を介さずに感性ラベNIPS] を用いた。計測脳活動は 2 時間分の映ルを推定する既存 AI 技術である。この比較に像を視聴中の被験者 68 名から fMRI を用いてより，脳活動を媒介することが，推定にどれほ収集した。なお，全被験者から実験前に書面でどの効果をもたらすかが定量化できる。また，同意を得た。また，実験プロトコルについては，既存技術の 2 つ目は視聴覚情報を視聴中の計測情報通信研究機構の倫理審査委員会および安全脳活動から感性ラベルを推定する脳解読技術で審査委員会から承認を得た。

ある。脳解読技術の精度が高いときは，脳情報続いて，これらモデルを用いて DNN の内部が有効な課題で，精度が低いときは脳情報が有情報から変換された予測脳活動を基に，感性情効でない課題であるといえ，その推定課題にお報の推定を行う解読モデルを構築する。解読モける脳情報の有効性を評価できる。表 1 に比較デルの概要図を図 2 に示す。

結果をまとめた。

解読モデルは，視聴覚情報を入力したときに

表1

脳活動予測モデル・自己回帰モデルが生成する
予測脳活動と，視聴覚情報に対応する感性ラベルの対応関係を統計的に学習することで訓練する。いったん訓練が完了すれば，任意の脳活動

感性ラベル推定における精度比較

ラベル

印 象

好き嫌い

本技術
既存 AI 技術
脳解読技術

0.517
0.501
0.349

0.247
0.2240.238から感性ラベルを推定する。

表 1 の数値は，推定ラベルと正解ラベルの間

本研究では，感性ラベルとして，視聴覚情報のピアソン相関係数を表す。相関係数が高い方に対して人手で付与した「美しい」「大人っぽが推定精度が良いことを示す。印象ラベルと好い」などの 30 種類の印象に対する平均評定結

き嫌いラベルの両方において，本技術は既存

果と，個人が別々に付与した視聴覚情報に対す

AI 技 術 よ り 有 意 に 高 い 精 度 を 示 し た (P<る好き嫌いの評定結果を用いた。

0.0001)。

本技術の特長は，脳活動を感性推定の媒介に興味深いのは，既存 AI 技術から本技術への使いながらも，モデル構築後は追加の脳計測を精度向上度合いと，脳解読技術による精度の関必要とせず，任意の入力に対して推定を行う，係である。印象ラベル推定は，脳解読技術の精一種の AI システムとして機能する点である。

度が相対的に低く，脳情報が有効でない推定課題だといえる。そのとき，既存 AI 技術に対する本技術の精度向上は約 3.2% であった。一方で好き嫌い推定は，脳解読技術の精度が相対的に高く，脳情報が有効でない推定課題だといえる。そのとき，既存 AI 技術に対する本技術の精度向上は約 10.3% となり，先の課題より向上度合いが高くなった。つまりこの結果は，脳情報が有効な推定課題ほど，脳情報を媒介する図2

本技術が効果的にはたらくことを示唆している。

解読モデルの概要図

また，印象ラベル推定では複数名が行った評定の平均値を推定しているが，好き嫌いラベル■感性推定における性能検証
本技術の性能検証として，新しい視聴覚情報推定では個人が行った評定を個人ごとに推定しに対する感性ラベルの推定課題において，本技ている。つまり，好き嫌いラベル推定は感性の― 2 ―立石科学技術振興財団

助成研究成果集(第29号) 2020

個人差を含めて推定する難しい問題となっておにその評価を行うサービスを本技術を基に提供り，その問題において既存 AI 技術より本技術できれば，その社会的価値は多大であるといえの推定精度が高くなったことは，本技術を感性る。
また本技術の検証においては，感性のみでなの個人差の推定へと応用できる可能性を示唆しく他種の認知の個人差を，本技術を用いて推定ている。

できる可能性が示唆された。この検証では，映像の各シーンに対して，多数の人間によるシー■他種の認知情報の推定
本技術は感性情報の推定だけでなく，他の種ン記述を推定対象のラベルとして収集した。一類の認知情報を推定する課題においても，既存方で，本技術の実装において，個人ごとの計測AI 技術に比べて高い精度を示した。例えば，脳活動から作成したモデルを別々に用いて，同広告映像に対する，大規模集団の行動や嗜好を映像に対するラベル推定を行った。そして，人表す指標 (集団指標) を推定する課題である。

手で行ったシーン記述のばらつきと，本技術を検証のための集団指標の 1 つとして用いたの用いたラベル推定の個人モデル間のばらつきをは，Web 広告映像に対する視聴者の反応であそれぞれ計算し，その関係について調べた。図る。特に，広告映像をスキップせずに最後まで3 は，横軸を推定結果のばらつき，縦軸を正解

視 聴 完 了 し た 割 合 (視 聴 完 了 率) を 大 量 のラベルのばらつきとして，シーンごとの値を点Web アクセスから映像ごとに集計し，推定対でプロットした図である。

象とした。さらにもう 1 つの集団指標は，テレ

これら 2 つのばらつきの間には有意な相関関

ビ広告映像に対して，大規模なモニター調査に係が見られた (ピアソン相関係数 0.245，スピ

よって得られた好感度調査の結果である。以上

ア マ ン 相 関 係 数 0.319，P<0.0001)。つ ま り，

2 つの集団指標の推定結果を既存手法と比較しシーン記述の個人差が大きなシーンほど，本技た結果を表 2 に示す。

術の推定結果の個人差も大きくなることを示す。

表2指標本技術
既存 AI 技術
脳解読技術

このように，本技術は認知の個人間のばらつき

集団指標推定における精度比較
視聴完了率

好感度調査

0.444
0.303
0.468

0.387
0.365
−を推定するためにも利用でき，個人差を反映しこれらの推定においても，本技術は既存 AI技術より有意に高い精度を示した (P<0.0001)。
また，ここでも脳解読技術が高い推定精度を示
す (脳情報が有効な) 視聴完了率の推定において，既存 AI 技術に対する本技術の精度向上度合いは大きく (約 46.5%)，本技術が脳情報を効果的に利用していることを示唆している。
このような集団指標の推定に精度向上をもたらす本技術は，ビジネスや公共サービスへの実装による社会応用の可能性も大いに秘めている。
例えば，本研究で検証対象とした Web 広告やテレビ広告などの広告産業は 7 兆円規模の市場であり (2019 年 (株)電通調べ)，広告を出す前― 3 ―図 3 映像シーン記述の個人間のばらつきにおける正解
ラベルと推定結果の相関立石科学技術振興財団

助成研究成果集(第29号) 2020

た認識を行う AI として，大きな利用価値をも覚情報の一部にも対応させている。これを嗅覚つといえる。

や味覚，触覚などへ拡張し，多種のモダリティで脳情報を利用した AI を実現したいと考えている。また感覚入力だけでなく，文章入力を受■まとめ
本研究では，既存の AI 技術に脳情報を融合けて，その文章に対する感性や認知を推定するして認識性能を強化するための画期的な技術の脳融合型 AI への応用も視野に入れている。こ

開発を行った。この技術を，映像に対する印象の文章入力を扱う脳融合型 AI に関しては，す評定と，個人による映像の好き嫌い評価というでに一部成果が得られており，学会での発表を2 種類の感性ラベルの推定で検証し，性能向上行い，大会優秀賞を受賞した (成果リスト 1)。

を確認した。また，本技術は広告映像を見たとまた，本技術は個人ごとにモデルを作成し，きの集団の行動指標の推定においても，既存感性などの個人差を推定することを特長としてAI 技術に対する優位性を示したと同時に，感るが，モデル作成のために要する fMRI 実験の性や認知の個人差も推定できる可能性を示した。

コストも，社会実装を考える上では削減が望ま以上のことから，本技術は人間と機械が協働すしい。そのため，より低コストな脳計測 (脳波る未来社会を実現するために重要な，感性を理計など) への適用や，被験者間でのモデル汎化，解する AI を実現するための基盤技術として，行動データからのモデル推定など，様々な方向

未来社会に重要な貢献をもたらす可能性を秘め性から技術の社会応用を視野に入れた研究を継ているといえる。

続して行きたいと考えている。

[今後の研究の方向，課題][成果の発表，論文等]
1 ．西田知史，中野裕介，Blanc Antoine，前田直哉，

一つの方向性は，脳活動予測モデルの精度向角将高，西本伸志．脳情報を組み込んだ単語分散表上である。本技術では，脳情報を取り込んで現による文章からの印象・好感度推定．第 34 回人

AI の情報表現を脳の情報表現に近づけること
で，人間の感性などの推定精度を向上させるこ工知能学会全国大会，3Q1-GS-9，オンライン開催，2020 年 6 月．(大会優秀賞受賞，査読付国内学会，口頭発表)とを可能にしている。したがって，任意の入力

2 ．Nishida S, Nakano Y, Blanc, A, Maeda N, Kado M,

から脳の情報表現を予測する，脳活動予測モデ

Nishimoto S. Brain-mediated Transfer Learning of

ルの精度を上げ，脳の情報表現の精緻化を行え

Convolutional Neural Networks. Thirty-Fourth
AAAI Conference on Artificial Intelligence, 1540,

ば，より人間らしい認識を行う AI を実現する

New York, Feb 2020. (査 読 付 国 際 学 会，採 択 率ことが可能だと考える。この脳活動予測モデル20.6%)の実装には，神経科学分野における符号化モデ
リング [Naselaris et al., 2011, NeuroImage] と呼ばれる方法論を踏襲しており，現在様々な研究で符号化モデルの開発と改良が試みられているため，そのような知見を取り込むことで，脳活動予測モデルの性能を向上させられると考え

3 ．西田知史．DX 時代の最先端技術 消費者感性を予測する脳解読基盤「NeuroAI ®」：脳情報と AI の融合．NTT DATA Innovation Conference 2020，東京，2020 年 1 月．(国内会議，招待講演)
4 ．Nishida S, Nakano Y, Blanc A, Maeda N, Kado M,
Nishimoto S. Deep transfer learning mediated byhuman brain information. 脳と心のメカニズム第 20回 冬 の ワ ー ク シ ョ ッ プ，ル ス ツ，2020 年 1 月．
(Excellent poster award 受 賞，国 内 学 会，ポ スている。
別の方向性は，入力モダリティの多様化である。現在の本技術の実装では映像を主な入力として想定し，静止画や音声なども含む視覚・聴― 4 ―ター発表)
5 ．Nishida S. Towards the decoding of human natural
perception for real-world applications. Applying
Neuroscience to Business, Yokohama, Sept 2019.

立石科学技術振興財団(国際学会，招待講演)

助成研究成果集(第29号) 2020

工知能学会全国大会，4C2-J-1-02，新潟，2019 年

6 ．西田知史，西本伸志．脳内情報表現の融合による深層学習ネットワークの認識能力向上．第 33 回人― 5 ―6 月．(査読付国内学会，口頭発表)