特集

新たな価値創造をめざすデジタルツインコンピューティング構想実現に向けた取り組み

ブレインテック

デジタルツイン感性ュミコ ニケーション

感性コミュニケーションの実現に向けた脳科学応用技術

異なる感性を持った人々が互いに理解 ・ 尊重し合える世界の実現をめざした脳科学応用技術の取り組みについて，本稿では，脳波データから違和感 ・ 納得感をデコードする技術や，感性情報が含まれる脳の状態を脳内表象として可知覚化する技術，互いの理解度を高めるための脳波カップリング技術，心の中のイメージを再現する心的イメージ再構成技術を紹介します．

おおたあいり

しみず

しんや

太田藍李

志水

信哉

なかねあい

むらおかよしひと

中根愛

村岡慶人

NTT 人間情報研究所

感性コミュニケーションにおけるアドバイスに対する感性情報の脳科学の取り組み

検出「感性デコーディング技術」

は，違和感を発見したときに生じるN400＊ 2 と呼ばれる反応が明らかになっています．しかし，これらの研究で提デジタルツインコンピューティング

相手の発話に対する違和感，受容な示される文章はコミュニケーションで（DTC）における感性コミュニケーショ

どの反応は，コミュニケーションにお用いられるような自然な文章ではなンでは，経験や感性などの個々人の特ける重要な感性情報です．しかし，現く，明らかな意味誤り文（例：彼は温性の違いを超えた相互理解の実現，そ状のコミュニケーションでこれらを適かいパンに靴下を塗った）や，世界知れによって相互尊重が促進される世界

切に相手に伝えることは容易ではあり

識誤り文（例：タンポポの花は黒い）や，協調性・創造性が強化される世界ません．例えば，指導者が何らかのアなどでした．また，先行研究のようなの実現をめざしています．その中でもドバイスを行う場面においては，受け言語的なコミュニケーションに限らず，私たちは，心の中のとらえ方や感じ方

手が感じた違和感を適切に伝えられな非言語的なコミュニケーションにおいなどの感性を直接的に理解し合える新い場合や，アドバイスに従ったもののても他者の感性の理解は極めて重要とたなコミュニケーションモーダルの創実は納得できていない場合などが存在なります．そこで本研究では，より自出をめざし，感性の情報そのものが含しており，これらのコミュニケーショ然な文章で書かれた指示短文を提示す

まれるヒトの脳情報を扱うことで感性ン齟齬が効率的な指導を妨げているとるタスクと，将棋の差し手アドバイスコミュニケーションを実現しようと考考えられます．そこで私たちは，脳波を提示するタスクで脳波計測実験を実えています．現在私たちは，コミュニ計測によって違和感，受容などの感性施しました．

ケーションの現場へも適用可能で，一情報を検出するための「感性デコー，より短文タスクの結果（図 1（a））

般利用にもっとも近い脳情報である頭ディング研究」の取り組みを進めてき自然な指示文の場合でも，受け手が違皮脳波（脳波）に着目し，脳波から得ました．

和感を覚えたときには先行研究と同様られる脳情報を活用したさまざまな研究開発に取り組んでいます．

先行研究では，極めて不自然な文章を提示したときに生じる違和感によって特定の脳反応（事象関連電位 ＊ 1 ）が発生することが報告されており，違和感に関連する事象関連電位として＊1＊2事 象関連電位：内的 ・ 外的事象に時間的に関連して生じる，脳の一過性の電位変動．
N 400/N600：事象の発生から約400/600 ms後にみられる，脳波の陰性（Negative）の電位変動．

2023.2

17

特集

新たな価値創造をめざすデジタルツインコンピューティング構想実現に向けた取り組みの N400がみられ，受け手が違和感を働いた認知プロセスによって反応が生ションでは，感情や認知状態などの感覚え提案を受け入れない選択をした場じたのではないかと考えられます．

性情報を100％正確に他者に伝えるこ合，つまり提案に対する強い拒絶を示

先行研究を発展させたこれらの新しとは不可能です．また，自分自身のこしたときには，より強い N400がみらい知見から，より自然な文章をやり取とであっても，感性の状態を完全に理れることを確認しました．また，将棋

りする一般的な言語コミュニケーショ解することは容易ではありません．感タスクの結果（図 1（b）），将棋の指しンの場面や，非言語コミュニケーショ性伝達に関するこれまでの研究の多く手アドバイスにおいても，想定した手ンの場面において，違和感の有無や，は，感性情報の中でも特に知見が多くと一致せず受け手が違和感を覚えたと違和感が生じたときに最終的に合意で扱いやすい「感情」のみに焦点を当て

きに短文タスクと同様の N400がみらきるかどうかを，脳波から推定できるており，さらに，感情は数種類のカテれ，自分の意見と一致はしないがそのようになる可能性が示唆されました．

ゴリや 2 軸の次元で評価するものがほ手を受け入れる場合には N400が減弱

今後は，各反応が生じる正確な条件なとんどで，新しい感情や詳細な感情のすることを発見しました．さらに，将どを詳細に調査し，脳波データから感違いを表現しきれないという課題があ棋タスクでは N400の反応と併せて，性状態を検出するリアルタイム感性デりました．この課題に対して私たちN₆00と思われる反応が生じているこ

コーディングの実現をめざし，取り組は，感情に限らずさまざまな感性状態とを確認しました．N₆00は論理的思みを進めていきます．

はそのときの脳の状態に表現されてい考やルールの理解における矛盾に対して，解決策を見出すプロセスで生じることが報告されていることから，今回＂脳の表情＂を知覚可能にする「脳内表象可知覚化技術」

表現でリアルタイムに知覚可能にする「脳内表象可知覚化技術」を構築しま

従来の言語・非言語コミュニケーは違和感のある差し手を解釈しようとると考え，“ 脳の表情 ” を多次元的なした．
本技術では，多様な感性状態を伝達

（µV）
32

Pz

違和感なし
違和感あり

2

脳波電位

脳波電位

10

可能にするため，脳波データから感性に関する脳情報（＝脳内表象）を抽出

Fz

想定と一致
想定と不一致し， ₇ 次元に圧縮，これを可知覚化用パラメータとして用いることで，感性1の状態に応じたさまざまな幾何学図形0を描画し，リアルタイムでアニメーショ－1－1ン表示します（図 ₂ ）．また，脳内表－2－2

象については脳の個人差を考慮し，事－3はそのまま掲載（µV）
30200400600800 （ms）

経過時間
→各画像について、そのまま掲載い（a） 短文タスク：提示した指示文に対して違和感がただいて問題ございません（太田）生じたときのN400反応（電極位置：Pz）

図₁－30200400600800（ms）

経過時間（b） 将棋タスク：提示した差し手が想定と一致せず，違和感が生じたときのN400・N600反応（電極位置：Fz）

短文タスク・将棋タスクにおける脳波計測実験結果

前に取得したモデル作成用脳波を用いて脳内表象の個人モデルを作成します．モデル作成用脳波は，目的に応じてどのような感性情報を持たせるかを決定し，例えばさまざまな感情を想起しているときや，さまざまな味を味わっているときの脳波データを取得します．さらに，図形化には感性状態を多次元的に表現する手法の 1 つとして，＂Rose of Venus ＊ 3 ＂と呼ばれる幾何学図形を採用することで，さまざま可知覚化パラメータ可知覚化パラメータに変換に変換

脳波から脳内表象を抽出
脳波から脳内表象を抽出

図21₈

な感性の状態を図形の大きさや色，模可知覚化パラメータを用いて感性状態を図形化
可知覚化パラメータを用いて感性状態を図形化

脳波データを用いた，感性状態に関する脳内表象の可知覚化
図２ 脳波データを用いた，感性状態に関する脳内表象の可知覚化

2023.2＊3R ose of Venus： 金星と地球の公転周期の差を利用して，それぞれの位置を一定時間ごとに線で結ぶと描ける「五弁花」の図形．

特集様の形として表現することを可能にしる環境をつくる取り組みを行っていまカップリング率の向上がコミュニケーました．

す．先行研究では，互いに共感していションの質・量の増加，協調作業時のまた，本技術を用いた効果検証実験

るときや協調作業を行っているときのタスク効率へ与える影響を確認するとの結果，相手が美味しいと感じたかど2 者の脳活動に同期現象がみられることもに，カップリング率を向上させる

うかを推定するタスクでは，相手の脳とが報告されています．そこで私たちは，ための適切な介入方法の検討を行って内表象を見ながらタスクを行うことで介入によって同期状態を誘発することいきます．

推定誤差が減少し，脳内表象によってで共感しやすい状態や協調し合える状

他者の感性の理解が促進されるといっ態をつくり出すことができるのではな．さた効果を確認しました（図 3（a））

いかと考えました．また，介入の方法

らに，感情的なエピソードを話した後として，現在の同期状態をフィードバッに，自分でそのときの感情を説明するクするニューロフィードバック

を行的イメージ）を正確に表現することはタスクでは，自分の脳内表象を見るこうことで，脳波の同期状態を引き出せ非常に難しいことですが，これはコミュとで自己の感情特定の難しさが減少るのではないかと考え，コミュニケーニケーションの場面においても，相手し，脳内表象によって自分の気持ちをションの質や量の増加，それに伴う円に伝えたいイメージを正確に伝えられ特定できるようになるといった効果を滑な作業の実現をめざした「脳波カッないという問題に直結します．また，確認しました（図 3（b））．今後は，本プリング技術」の取り組みを行ってい近年の画像生成分野におけるAI（人工技術をコミュニケーションの場面で使ます．

知能）の発展により，テキスト情報を基＊4

心の中のイメージを再現する「心的イメージ再構成技術」
頭の中に思い描いたイメージ（＝心用し続けたときの脳内表象の読み取り本技術では，脳波データを 4 つの周にしたさまざまな画像生成技術が確立

精度の変化などを調査する，長期的な波数帯域（δ波，θ波，α波，β波）されていますが，テキスト情報のみから効果検証や，より適切な可知覚化手法に分離し，各周波数帯域のカップリン

心的イメージを生成するには限界があの検討を進めるとともに，ALS（筋グ率をリアルタイムで計算，出力するります．そこで私たちは，磁気共鳴機能萎縮性側索硬化症）等の諸疾患を持つことでニューロフィードバックを行い画像法（fMRI：functional magnetic

方や VR 環境などの表情をつくれないます．これによって，使用者は現在のresonance imaging）や皮質内脳波場面のために脳内表象から表情を生成カップリング率やその全体的な推移を（ECoG：Electrocorticogram）に関する取り組みを進めていきます．

画面上で確認しながら，協調タスクやする心的イメージデコードの先行研究コミュニケーションを行うことができを基に，より計測が容易な脳波を用います（図 4 ）．

た心的イメージデコードの実現をめざ

脳をシンクロさせ共感 ・ 協調を促進する「脳波カップリング技術」

また，本技術を用いた効果検証実験し，取り組みを行っています．

私たちは，感性状態の検出や，感性では，脳波に含まれるα波のカップリ

私たちは，取り組みのファーストスを伝達可能にする取り組みだけでなング率と協調作業効率に関係があるこ

テップとして，先行研究でも実施されく，お互いに理解し合い，協調し合えとが確認されました（図 5 ）．今後は，ているカテゴリ分類課題を採用し，知覚・想像した画像の内容を推定する検（RMSE）

脳情報により誤差が小さく

352520151050

いてチャンスレベルを上回りましたが，想像課題では改善の余地があるという2000（a） 脳内表象を見たとき・見ていないときの，相手の感じる美味しさの推定誤差

図３人の顔）の推定精度は，知覚課題にお

30
10

脳情報有

た 3 カテゴリの画像（風景，乗り物，

405

脳情報無脳情報により特定の難しさが減少

60
ユーザ評定値

ユーザ評定値の誤差30

証実験を実施しました．実験で用意し70結果となりました．今後は，知覚・想像のデコードに最適化したモデルの検
脳情報無脳情報有（b） 脳内表象を見たとき・見ていないときの，自分の気持ちの特定の難しさ

脳内表象技術の効果検証実験結果＊4ニ
 ューロフィードバック：脳波計，fMRIなどで取得した脳情報やコンピュータを用いて，脳活動の調整を行うバイオフィードバッ
クの一種．

2023.219

特集

EEG（116.50s）

LRDiﬀµV

150
100
500－50－100－150

新たな価値創造をめざすデジタルツインコンピューティング構想実現に向けた取り組み

123456

78EEG（116.50s）

LRDiﬀ

µV

150
100500－50－100－1500012

現在のシンクロ率（max）54.0%

34time（s）

568

7
1

Delta

0.8

Theta

0.60.4

Alpha

0.2

Beta
LR

0Diﬀ

シンクロ率

10080
60
40
20060

70

80

Sec90

100110

図 4 2 者のカップリング率のフィードバック画面なく，相互理解や相互尊重に必要な感

2

性情報を共有可能にすることで，違っ1.5たままでも分かり合える，違ったままタスクのスコア

1

α波のカップリング率とタスクのスコアに関連

0.5－2－1001

でも協調し合える世界をめざして，今後も取り組みを続けていきます．

2－0.5－1－1.5－2α波のカップリング率図 5 脳波に含まれるα波のカップリング率と協調作業効率の関係

討や脳波特徴量の選定を行うことでカな脳科学応用技術によって，互いの違テゴリ推定の精度向上を行うと同時いに気付き，共感し，思いやりを促進に，カテゴリ以外のデコードを検討すするコミュニケーションや，これまでることでイメージの再構成の実現をめは表現したくてもできなかった感性をざします．

表現可能にし，互いに通じ合えるコミュニケーションの実現をめざしてい

お わりにます．そのため私たちは，ヒトの本音

私たちは，本稿で紹介したさまざま

20

2023.2や内面すべてを伝達してしまうのでは（左から）太田  藍李/ 志水  信哉/中根  愛/ 村岡  慶人

心の中のとらえ方や感じ方などの感性を直接的に理解し合える新しいコミュニ
ケーションモーダルの実現をめざして，感性コミュニケーション技術の研究開発を推進していきます．

◆問い合わせ先NTT 人間情報研究所
NTTデジタルツインコンピューティング研究センタ
E-mail dtc-officentt.com