NICTレジリエントICT研究センター設立10周年記念式典

ニューノーマル社会の人間性豊かなコミュニケーションの実現
Humanity-rich Telecommunications in the New Normal era

所長 羽生貴弘

HANYU Takahiroニューノーマルを見据えた大学改革加速⚫ 東北大学ビジョン2030 最先端の創造、大変革への挑戦• 2018年11月に発表• 東北大学の３つの伝統的な理念「研究第一」、「門戸開放」、「実学尊重」を基盤として大学経営の革新を図ることで、教育、研究、社会との共創の好循環を実現するための戦略ビジョン⚫ 東北大学コネクテッドユニバーシティ戦略～ニューノーマルを見据え社会変革を先導する大学を目指して• 2020年7月に東北大学ビジョン2030のアップデート戦略として発表• 新しい日常（New Normal）を見据えて、教育、研究、社会との共創、さらには業務全般のオンライン化を強力に進めるとともに、サイバー空間とリアル空間の融合的活用を通して大学の諸活動を拡張し、ビジョン2030の実現を加速• 本戦略では、第一に、距離・時間・国・組織・文化・価値観などの壁を越え、本学が社会・世界とダイナミックに繋がることによって、これまで以上に自由度の高い学びと知の共創を可能にする大学として飛躍すること、第二に、コロ
ナ禍で顕在化した社会の分断や格差を越えてボーダーレスかつインクルーシブに世界を繋ぐ新たな大学像を確立することを指向

1

東北大学コネクテッドユニバーシティ戦略（抜粋）
教育の変革⚫ オンラインを戦略的に活用した多様な教育プログラムの機動的展開◆ 国際競争力のある高品質なオンライン授業を戦略的に展開◆ 国内外の大学・機関・企業等のパートナーとの連携のもと、オンラインと実地体験を効果的に活用した新たな時代の教育プログラム（学士課程教育、大学院教育、社会人教育等の各種プログラム）を開発◆ オンラインを活用して国内外の多様なセクターからの講師登用を可能にする柔軟な教育体制を構築◆ ラーニング・アナリティクスによる学びの高度化を推進

研究の変革⚫ ポストコロナ時代のレジリエントな社会構築に向けた研究推進◆ 新たな感染症や大規模災害等の危機に対してレジリエントな社会デザインに向けた特別研究プロジェク
トを機動的に推進◆ デジタル社会の基盤科学技術（量子、AI、デジタルバイオ、ELSIなど）を深化する基礎研究を強化

社会との共創（産学共創・社会連携）の変革
大学経営の変革2

3「通研」のご紹介
歴史と伝統

八木・宇田アンテナ (1929)

基礎から実用まで高い行動基準で研究

分割陽極マグネトロン (1927)

1950 光通信の三大要素
1950 静電誘導トランジスタ
1958 パラメトロン式計算機
SENAC-1
1958 合金粉末テープ
1975 すだれ電極SAWフィルター
1977 垂直磁気記録

国道の案内標識（仙台市青葉区）

文化勲章
交流バイアス磁気記録 (1937)

垂直磁気記録ハードディスクのプロトタイプ(2005)

1935 電気通信研究所設置
1994 全国共同利用型研究所
2010 共同利用・共同研究拠点

人間性豊かな
コミュニケーションのために
西澤潤一先生(1989)

岩崎俊一先生(2013)

目下、Beyond 5G、スピントロニクス、セキュリティ、ヒューマンインタフェース、デバイスなど、人間性豊かなコミュニケーションの実現に向け、情報通信に関する広範な分野の理論の研究や技術の開発を遂行中

電気通信研究所「通研」の将来像の検討• 従来から「人間性豊かなコミュニケーションの実現」の目標のもと、各種研究開発を実施• ４部門から３部門への組織見直し計算システム基盤研究部門(Computing System Platforms)
情報通信基盤研究部門(Information Communication Platforms)

人間・生体情報システム研究部門(Human and Bio-Information Systems)• 社会的課題の解決に貢献すべくシステム研究を推進• 異なる研究レイヤを、部門単位で統合• 附置研同士の有機的連携• PFIを活用した２号館改築
改組後も（R5.4～）、上記の最終目標を継続

4

オンライン遠隔コミュニケーション

5

6

オンライン遠隔コミュニケーション

従来技術
による
遠隔オンライン
システム

非言語情報

言語情報は伝わりやすい

非言語情報
伝わらない

分かり合えない
もどかしい
仕事の効率が落ちる（豊かではないコミュニケーション）オンライン遠隔コミュニケーション

次世代
オンライン
遠隔コミュニケー
ション

幅広い

非言語情報が言語情報伝わる（豊かなコミュニケーション）「非言語情報」の伝達が豊かなコミュニケーション実現への鍵

7

メタバース

8

VRによる遠隔コミュニケーション

非言語情報がうまく伝わらない（豊かではない コミュニケーション）

9

非言語情報
豊かなコミュニケーション実現への鍵
一般的なオンライン会議やメタバースでの伝達

ほぼ伝わらない一部は伝わるものの伝わりにくい
非言語情報（非音声的）?

伝わりやすい言語情報（音声的）

近言語的情報
声の高さ
話す速度
声の大きさ
間の取り方
アクセント
発言のタイミング
なまり・方言
口調

話し言葉
書き言葉

10

非言語情報
豊かなコミュニケーション実現への鍵
一般的なオンライン会議やメタバースでの伝達

ほぼ伝わらない

一部は伝わるものの伝わりにくい
非言語情報（非音声的）

人工物の仕様
物理的環境
身体動作
衣装・化粧
生体情報
家具
顔表情
アクセサリ
脳波
照明
視線
標識類
心拍
温度
瞬目
体温
姿勢
プロクセミックス
身振り
空間行動
グループの状態
接触
対人距離
感情の伝播
場の雰囲気
時間的・空間的な「間」

伝わりやすい言語情報（音声的）

近言語的情報
声の高さ
話す速度
声の大きさ
間の取り方
アクセント
発言のタイミング
なまり・方言
口調

話し言葉
書き言葉

大坊(1998)を基に作成

11

非言語情報

• メッセージ: 言語＋非言語 (Knapp & Hall, 1977)• 対人コミュニケーションで使われる情報のうち，言語的な情報（話し言葉や書き言葉）以外の多岐に及ぶ情報• メラビアンの法則 (Mehrabian, 1968)• 日常の対人コミュニケーションでは重要な役割を担っている

コミュニケーションで人に影響を与える情報の割合

𝑀𝑡𝑜𝑡𝑎𝑙 = 0.07𝑀𝑐𝑜𝑛𝑡𝑒𝑛𝑡 + 0.38𝑀𝑡𝑜𝑛𝑒 + 0.55𝑀𝑓𝑎𝑐𝑒
話の内容など 声のトーンや話の早さなど• 言語情報を補足し，情動の伝達に適している• 他者の真意を読み取る際には言語よりも頼りになることが多い

言語情報 7 %• 感情を伝えるコミュニケーションでは，9割を超す情報が言葉ではなく非言語情報によって伝達されるという報告もある

見た目など

非言語情報 93 %一般的なオンライン会議やメタバースでの伝達ほぼ伝わらない

一部は伝わるものの伝わりにくい
非言語情報（非音声的）

物理的環境
生体情報
家具
脳波
照明
心拍
温度
体温

豊かな
グループの状態
コミュニケーション
感情の伝播
実現への鍵
場の雰囲気

人工物の仕様
衣装・化粧
アクセサリ
標識類

プロクセミックス
空間行動
対人距離

身体動作
顔表情
視線
瞬目
姿勢
身振り
接触時間的・空間的な「間」

伝わりやすい言語情報（音声的）
近言語的情報
話し言葉
声の高さ
書き言葉
話す速度
声の大きさ
間の取り方
アクセント
発言のタイミング
なまり・方言口調
大坊(1998)を基に作成

12

非言語情報
豊かなコミュニケーション実現への鍵
一般的なオンライン会議やメタバースでの伝達

ほぼ伝わらない

一部は伝わるものの伝わりにくい
非言語情報（非音声的）

人工物の仕様
物理的環境
身体動作
衣装・化粧
生体情報
家具
顔表情
アクセサリ
脳波
照明
視線
標識類
心拍
温度
瞬目
体温
姿勢
プロクセミックス
身振り
空間行動
グループの状態
接触
対人距離
感情の伝播
場の雰囲気
時間的・空間的な「間」

伝わりやすい言語情報（音声的）

近言語的情報
声の高さ
話す速度
声の大きさ
間の取り方
アクセント
発言のタイミング
なまり・方言
口調

話し言葉
書き言葉

大坊(1998)を基に作成

目は重要なコミュニケーションツール

目で語ることができる

13

目は口ほどに物を言う
眼力
色目
流し目

......

視線 瞬目 瞳孔 凝視 サッケード• 眼科的診断• 自閉症や統合失調症などの診断• 対人コミュニケーションスキルを知る？

ウインク
片目をつぶって行う合図．
また，そのうち異性に好意を示すもの．

14

瞬目

瞬目率は人の印象形成に非常に重要• 20 blinks/minが平均的で無意識• 瞬目率の増加要因• 怒り・興奮などの心理緊張や発声神経質因子• 瞬目率の減少要因• リラクゼーション，興味・集中• 神経症傾向の人は瞬目率が高い• 過去の大統領選挙のテレビ演説における瞬目率と票に関する考察

瞬目率が増えると神経質• 高い瞬目率で否定的な印象を与えた（非）慎重性因子（非）親近性因子

人の瞬目率と印象形成の研究例（ビデオ撮影された瞬目を行う
人を刺激として利用）
Omori, Y. and Miyata, Y.
Estimates of impressions
based on frequency ofblinking. Social Behavior andPersonality, 29(2) (2001).

瞬目率が増えると慎重性がさがる

12,18 blinks/minが最も親近性高い

15

瞬目制御システム
パラメータ

内容

呈示時間

CGモデルの呈示時間

瞬目率

一定時間内での瞬目回数

閉眼時間瞼が閉じるまでの時間

開眼時間

瞼が開くまでの時間

静止時間

瞼を完全に閉じている時間

瞬目間隔

瞬目と瞬目の間の時間

サーバ

ネットワーククライアント

キャラクタやパラメータをいろいろ変えた印象評定実験➭人で蓄積された瞬目に関する知見はキャラクタモデルにもおおむね適用可能
Takashima K, Omori Y, Yoshimoto Y, Itoh Y, Kitamura Y, Kishino F: Effects of Avatar’s
Blinking Animation on Person Impressions; Proc. of Graphics Interface, pp. 169-176 (2008)

16

身体の運動
動作ユニットAIによる人の感情推定とキャラクタの感情豊かな動作生成
Avatars expressing emotions

Motion Capture SystemLearning
dataCamera

NEDO （新エネルギー産業技術総合開発機構）
人工知能活用による革新的リモート技術開発事業 状態推定AIシステムの基盤技術開発「動作ユニットAIによる人の感情推定とキャラクタの感情豊かな動作生成による遠隔コミュニケーション環境の構築」（2021～2024年度，代表: 北村喜文）

動作ユニットAIによる人の感情推定とキャラクタの感情豊かな動作生成

扱う感情18
動作ユニットAIによる人の感情推定とキャラクタの感情豊かな動作生成

Basic emotion (7)Joy
喜びExperiencing an extraordinary feeling of pleasantness, wellbeing and sensual delight
特別な心地よさ，幸福感，官能的な喜びの体験

Sadness
悲しみ

Feeling discouraged by the irrevocable loss of a person, thing,or place
人，物，場所などの取り返しのつかない損失に落胆すること

Anger
怒り

Extreme displeasure caused by someone’s stupid or hostileaction
誰か他の人の愚かな行為や敵対的な行動によって引き起こされる極度の不快感

Surprise
驚き

Being abruptly faced with an unexpected and unusual event(without positive or negative connotation)
予期せぬ異常な出来事に突然直面すること（ただし，ポジティブな意味合いもネガティブな意味合いもない）

Fear
恐れDisgust嫌悪

Being faced with an imminent danger that threatens oursurvival or physical well-being
生存または身体の健康を脅かす差し迫った危険に直面すること
Revulsion when faced with an unpleasant object orenvironment.
不快な物体や環境に直面したときの反発

Contempt Disapproval of the socially or morally reprehensible conduct ofanother person
軽蔑
他人の社会的または道徳的に非難されるべき行為に対する不支持
NeutralNot emotional
ニュートラル 感情を出さない

Social emotion (5)A sense of thankfulness and happiness in response toreceiving a gift, either a tangible benefit (e.g., a present,favor) given by someone or a fortunate happenstance (e.g.,
Gratitude a beautiful day).

感謝Guilt
罪悪感

誰かから与えられた具体的な利益（プレゼントや好意など），または幸運な出来事（晴れた日など）を受け取ったことに対する感
謝の気持ちや幸福感
a person believes or realizes—accurately or not—that they
have compromised their own standards of conduct or haveviolated universal moral standards and bear significant
responsibility for that violation.
自分自身の行動基準を損なった，あるいは普遍的な道徳基準に違反し非難されるべきだと信じていること

Jealousy
嫉妬a negative emotion in which an individual resents a third
party for appearing to take away (or being likely to takeaway) the affections of a loved one.

好意を抱いている相手の興味や関心，愛情を奪っている（または奪いそうな）第三者を恨む否定的な感情

Shame
恥

Self-esteem shaken by an error or clumsiness for which one
feels responsible
自分の責任であると感じるミスや不手際で自尊心が揺らぐこと

Pride
誇りFeeling of triumph following a success or a personal
achievement (one’s own or that of someone close)
成功や個人的な達成感（自分自身や親しい人の成功）に伴う勝利の感覚将来イメージ（概要）

モーションキャプチャ

マイク
カメラ等

エンコード

デコード

動作ユニットAI

動作ユニットAI

19

動作ユニットAIによる人の感情推定とキャラクタの感情豊かな動作生成

キャラクタ
アニ
メー
ション
描画

遠隔エンタテインメント

モーション
データベース

遠隔メタバース20

非言語情報
豊かなコミュニケーション実現への鍵
一般的なオンライン会議やメタバースでの伝達

ほぼ伝わらない

一部は伝わるものの伝わりにくい
非言語情報（非音声的）

人工物の仕様
物理的環境
身体動作
衣装・化粧
生体情報
家具
顔表情
アクセサリ
脳波
照明
視線
標識類
心拍
温度
瞬目
体温
姿勢
プロクセミックス
身振り
空間行動
グループの状態
接触
対人距離
感情の伝播
場の雰囲気
時間的・空間的な「間」

伝わりやすい言語情報（音声的）

近言語的情報
声の高さ
話す速度
声の大きさ
間の取り方
アクセント
発言のタイミング
なまり・方言
口調

話し言葉
書き言葉

大坊(1998)を基に作成

机の形状がもたらすインパクト

21• 円形/Round• 平等や一体感の象徴
symbol of equality or unity• 正方形/Square• （地位や権力における）公平性
an equal footing (rank and power)• 個の空間の提供
providing personal spaces• 長方形/Rectangular• 偏りのある力関係
biased power balance

Virginia, P. R. et.al, Nonverbal Behavior in Interpersonal Relations (2007)

物理的環境に関する情報の伝達

Self-actuated shape-changing (rectangular <-> square <-> circle)(a) Unbalanced arrangements(b) Balanced arrangements
by round shape(c) Enhancing leadership by rectangular shapeand collaborative touches

K. Takashima, N. Aida, H. Yokoyama, and Y. Kitamura:TransformTable: A Self-Actuated Shape-Changing Digital Table, Proc. of ITS, pp. 179-187, 2013.

22

物理的環境に関する情報の伝達

K. Takashima, N. Aida, H. Yokoyama, and Y. Kitamura:TransformTable: A Self-Actuated Shape-Changing Digital Table, Proc. of ITS, pp. 179-187, 2013.

23

物理的環境に関する情報の伝達

K. Takashima, N. Aida, H. Yokoyama, and Y. Kitamura:TransformTable: A Self-Actuated Shape-Changing Digital Table, Proc. of ITS, pp. 179-187, 2013.

24

25

サイバー空間とリアル空間の活用

VR

IoT
バーチャル
サイバー
Virtual/Cyber

空間Space空間

XR
Virtual Reality
Augmented Reality
Mixed Reality

Interactions

Digital Twin

Cyber-physical systems
Sensors
NetworkBig Data, AI

物理
リアル
Physical/Real空間Space空間

26

サイバー空間とリアル空間の活用

Virtual/CyberSpace

Physical/RealSpace

Virtual Reality• 仮想現実ではない• みかけや形はそのものではないが，本質あるいは効果としては現実そのものであること

サイバー空間とリアル空間の活用

Virtual/CyberSpace

Physical/RealSpace27

サイバー空間とリアル空間の活用

Interaction
Virtual/CyberSpace

Physical/RealSpace28

VR HMD 利用者と周りの人との共存

29

Kudo Y, Tang A, Fujita K, Endo I, Takashima K, Kitamura Y:Towards Balancing VR Immersion and Bystander Awareness, ACM ISS 2021 【Best Paper Award】

ModularHMD:(a) Immersive VR

周辺とのアドホックなインタラクションを実現する
再構成可能なHMD(b) VR + Device Control(c) VR + Side-by-side
Collaboration

Endo I, Takashima K, Inoue M, Fujita K, Kiyokawa, K, Kitamura Y: ModularHMD: A Reconfigurable Mobile
Head-Mounted Display Enabling Ad-hoc Peripheral Interactions with the Real World, ACM UIST 2021

30

ModularHMD:

周辺とのアドホックなインタラクションを実現する
再構成可能なHMD

Outer view

Inner view

Endo I, Takashima K, Inoue M, Fujita K, Kiyokawa, K, Kitamura Y: ModularHMD: A Reconfigurable Mobile
Head-Mounted Display Enabling Ad-hoc Peripheral Interactions with the Real World, ACM UIST 202131ModularHMD:

周辺とのアドホックなインタラクションを実現する
再構成可能なHMD

Endo I, Takashima K, Inoue M, Fujita K, Kiyokawa, K, Kitamura Y: ModularHMD: A Reconfigurable Mobile
Head-Mounted Display Enabling Ad-hoc Peripheral Interactions with the Real World, ACM UIST 2021

32

33

これから....
【現在】

【未来】

「ぜひ，一緒に飲みましょう！」（日本語）

言語情報のためのAI（+エンコードとデコード）

非言語情報のためのAI（+エンコードとデコード）

Come and join us for a drink! （英語）
Venez nous rejoindre pour boire un verre ! （フランス語）
Unisciti a noi per un drink! （イタリア語）
Приходите и выпейте с нами! （ロシア語）
来和我们一起喝酒吧! （中国語）....

ニューノーマル時代の人間性豊かなコミュニケーション実現のために人間性豊かなコミュニケーション実現のために

非言語情報
非言語情報

非言語情報のためのAI(+エンコードとデコード)

障がい，文化，ジェンダー等のダイバーシティに寄りそう
アクセシブルでインクルーシブな社会

非言語情報

非言語情報34ご清聴ありがとうございました• PFIを活用した2号館改築（令和7年度予定）←オープン・イノベーション・テラス（仮称・イメージ）‐ ニューノーマル社会のヒューマン・コミュニケーションを拓く産学官オープン研究拠点‐ 高度/ユニークな実験設備、環境を構築し産学連携の推進