2019/12/20

⽬ 次⼈間⼯学会関⻄⽀部シンポジウム@⾦沢歌劇座 2019.12.14

１．インターネットはどこへ向かう？

「場」の可視化システム
IoTからIoHへの展開

２．サイバーフィジカル人間システムＣＰHＳ
３．人間のコミュニケーションから学ぶ
４．動的システムとしてのモデル化
５．「場」の可視化システム

三宅 美博

６．おわりに

東京⼯業⼤学・情報理⼯学院
miyake@c.titech.ac.jp
2

IoTから⼈間のインターネット（IoH）へ

IoTから⼈間のインターネット（IoH）へ■世の中に存在するさまざまな“モノ”がインターネットに接続されることで、新たな価値が生み出されることが期待される「IoT（Internet of Things）」とは？
1. モノや人工物がインターネットに接続するIoT-I
2. 人間や生物がインターネットに接続するIoT-II
3. データやプロセスもインターネットに接続するIoT-III
4. あらゆるモノがインターネットに接続するIoT-IV（IoE）（CISCO）■モノのインターネット（IoT）にできること
1. あらゆるモノからデータを大量に収集して分析する（第1段階：見える化）
2. 分析結果をもって実社会の装置やサービスを制御する（第2段階：制御）
3. 制御を自動化しAIを用いて効率改善をする（第3段階：最適化・効率改善）↓問題：IoTを人間を含むインターネット（IoH）にも適用できるか？

モノのインターネット（IoT）から人間のインターネット（IoH）へ
集中制御（クラウドコンピューティング）

共創システム

2020年
501億個

2016年
229億個

IoH

IoT

IoTとIoHの融合に向けて

クラウド＝＞エッジ＝＞フォグ
IoT（モノのインターネット）
クラウドコンピューティング志向

IoT

IoH

Internet of Things
モノのインターネット

Top-down
集中制御と最適化

量的情報
均質性
最適化
クラウド志向

Fog領域
フォグコンピューティング

Internet of Human
人のインターネット
質的情報
多様性
共創性
エッジ志向

Bottom-up「場」の自己組織化

業務の効率化
インタラクション「場」の自己組織化

IoH（人間を含むインターネット）
エッジコンピューティング志向

イノベーション

IoTとIoHの融合

人とモノの情報融合で高度なサービスを実現

1

2019/12/20

⽬ 次

IoTとIoHの融合に向けて
少子高齢化で生産年齢人口の急減

労働生産性は主要先進７カ国で最低

１．インターネットはどこへ向かう？
２．サイバーフィジカル人間システムＣＰHＳ

順位

３．人間のコミュニケーションから学ぶ
日本の将来人口推計
国立社会保障・人口問題研究所

生産年齢人口

労働生産性の国際比較 2016 年版
公益財団法人 日本生産性本部

日本は常に最下位

労働生産性の向上は「働き方改革」の最重要課題
付加価値↑
従業員数

↑

労働生産性 ൌ↑労働生産性

４．動的システムとしてのモデル化
５．「場」の可視化システム

イノベーションによる付加価値の向上
人のインターネット(IoH)の効果

６．おわりに業務の効率化で生産年齢減少をカバー
モノのインターネット(IoT)の効果

人(IoH)とモノ(IoT)の融合によって労働生産性の向上が可能
7

サイバーフィジカルシステムは「場」に向かう

8

サイバーフィジカルシステムは「場」に向かう

Being there with others
https://www.youtube.com/watch?v=NCpNKLXovtE

9サイバーフィジカルシステムは「場」に向かう

Non-verbal communication
11
https://www.youtube.com/watch?v=X6XOwtcscnY&index=17&list=PLL2xVXGs1SP7RjXUBwur43flR7tRcbYLD

10
https://www.youtube.com/watch?v=X6XOwtcscnY&index=17&list=PLL2xVXGs1SP7RjXUBwur43flR7tRcbYLD

サイバーフィジカルシステムは「場」に向かう

Social norms in VR
12https://www.youtube.com/watch?v=X6XOwtcscnY&index=17&list=PLL2xVXGs1SP7RjXUBwur43flR7tRcbYLD

2

2019/12/20

サイバーフィジカルシステムは「場」に向かう

⽬ 次

１．インターネットはどこへ向かう？
２．サイバーフィジカル人間システムＣＰHＳ
３．人間のコミュニケーションから学ぶ
４．動的システムとしてのモデル化
５．「場」の可視化システム
６．おわりにBelievability in VR
13
https://www.youtube.com/watch?v=X6XOwtcscnY&index=17&list=PLL2xVXGs1SP7RjXUBwur43flR7tRcbYLD

14

Face-to-face communicationFace-to-face communication

Transmission type Communication

Co-creation type Communication
AB

C

C

Embodied Interaction

VerbalVerbalExplicit channel（conscious）

Explicit channel（conscious）

Non-verbal

Human A

Human B

Human A

Human communication channel

Implicit channel（subconscious）

Human B

Human communication channel

Verbal-communication－ Language Aras (Broca's area and Wernicke's area)

Non-verbal communication－ Parietal & Prefrontal Association Cortex

Parietal
associationcortex
頭頂連合野

ブローカ野（言語野）Broca’s area
Production of language

Prefrontal
associationcortex前頭前連合野ウェルニッケ野（言語野）
Wernicke’s area
Understanding of language

Primary auditory cortex
１次聴覚野
http://thebrain.mcgill.ca/flash/i/i_10/i_10_cr/i_10_cr_lan/i_10_cr_lan.html

https://en.wikipedia.org/wiki/Supplementary_motor_area3

2019/12/20

Importance of non-verbal communication

Interpersonal embodied synchrony

Alex Pentland
MIT Media Lab

Condon & Sander
1974
Neonate’s motor behavior
synchronized with adult’sutterance

Honest Signals: How They Shape Our World
The MIT Press (2010)

Interpersonal embodied synchrony

Embodied synchrony and empathy
Nagaoka & Komori
2008
Positive correlation between
body movement synchrony &positive evaluation ofcounsellor-patient relationshipin psychotherapeuticcounselling

Low rated counsellingHigh rated counselling

Relationship between empathy and synchrony
Empathetic Part Synchrony
-0.50

-0.25

-0.25

0.00

0.00

0.25

0.25

0.50

0.7

High
Synchrony

2345

Frequency of Body Movement [Hz]TrunkNodding

Speaker
faster thanlistener

0.35

LowSynchrony

0.501Listenerfaster than
Speaker

234-0.50

-0.50

-0.25

-0.25

0.00

0.00

0.25

0.25

0.50

0.015

Frequency of Body Movement [Hz]Empathetic Part Synchrony

Informative Part Synchrony

MeanTime Lag [Sec]

-0.50

23

4

5

Synchrony Difference

Laughing

Intensity of embodied
synchrony of nodding
increased under empathetic
condition

Speaker
faster thanlistener

Listenerfaster than
Speaker-0.50

HighSynchrony

0.35

Low
Synchrony

Difference
0.3

Nodding

-0.25
0.00

0.1

0.25
0.50

-0.1

23

40.0

2345

Frequency of Body Movement [Hz]Laughing

15

Frequency of Body Movement [Hz]Yap, M.S.R., Ogawa, K., Inoue, Y., Miura, S., Miyake, Y., "Multi-layered embodied
synchrony in the process of consensus building," PLoS ONE (under review)0.7

1Frequency of Body Movement [Hz]

N=23Mean

0.50
1Time Lag [Sec]Listenerfaster thanSpeaker

Time Lag [Sec]Informative Part Synchrony
Speaker
faster thanlistener

Relationship between empathy and synchrony

N=23

Listener’s nodding delays
speaker’s nodding underinformative condition
Listener’s nodding
precedes speaker’snodding under empathetic
condition

Yap, M.S.R., Ogawa, K., Inoue, Y., Miura, S., Miyake, Y., "Multi-layered embodied
synchrony in the process of consensus building," PLoS ONE (under review)

42019/12/20

⽬ 次

Embodied synchrony of brain activity
対面コミュニケーションにおけるインターパーソナルな神経活動の同調

１．インターネットはどこへ向かう？
２．サイバーフィジカル人間システムＣＰHＳ
３．人間のコミュニケーションから学ぶｺﾐｭﾆｹｰｼｮﾝと関係する神経活動の同調

WTC（wavelet transform coherence）

４．動的システムとしてのモデル化
５．「場」の可視化システム
６．おわりにfNIRS: functional
near-infrared spectroscopy
Nozawa T, Sasaki Y, Sakaki K, Yokoyama R, Kawashima R "Interpersonal frontopolar neuralsynchronization in group communication: an exploration toward fNIRS hyperscanning of naturalinteractions" NeuroImage, 133C, 484-497 (2016)

25

Computational model of synchrony

Computational model of synchrony

Phase description of Limit cycle－ Phase oscillator
x2

Coupled phase oscillator model－ Mutual entrainment between two oscillators
State space description (n-dimension)

I(φ)

  F(X),
XIsophaseplane26X  ( x1 , x2 ,  , xn )φ PhasePhase description (1-dimension)   1  1  K12 sin( 2  1 ) 2  2  K 21 sin(1   2 )12  1 2

12 122π

C Limit cyclex3

Γ21θ10φθ2Γ12Phase description(1-dimenson)

State space (n-dimension)12  12  ( K12  K 21 ) sin( 12)

x1(Kuramoto, 1991)

Computational model of synchrony

Computational model of synchrony

Coupled phase oscillator model－ Mutual entrainment between two oscillators
Defining the following
potential function,

Coupled phase oscillator model－ Mutual entrainment between two oscillators
Phase difference at entrained state,V ( )Entrainment

12  V  (12 )V 

120

12 d (12 )0u s u 12 12  ( K12  K 21 ) cos( 12)s 12 
12  sin 1  K12  K 21 
Apparent frequency at entrained state, 

1K 21  2 K12
K12  K 21

5

2019/12/20

⽬ 次「場」のリアルタイム可視化システム（SyncViewer）■「場」のリアルタイム可視化システム（SyncViewer）＋ フィードバックシステム

SyncViewer

１．インターネットはどこへ向かう？
２．サイバーフィジカル人間システムＣＰHＳ
３．人間のコミュニケーションから学ぶ
⾝体運動の同調

４．動的システムとしてのモデル化
５．「場」の可視化システム
６．おわりに脳活動の同調

31「場」のリアルタイム可視化システム（SyncViewer）

作業仮説︓
対⾯コミュニケーションにおけるインターパーソナルな⾝体運動や脳活動の同調から「場」を可視化できる「場」のリアルタイム可視化システム（SyncViewer）
ノードは個人の活動度分析用サーバー（SyncViewer）

エッジは二人の同調度

グラフ表示
リアルタイム可視化

Cross‐correlation
Network
Time Course ofNodding Movement

加速度の時系列データ

Cross‐correlation Matrix

相関行列

34

計測ユニット

東⼯⼤の参加型授業への適⽤

東⼯⼤の参加型授業への適⽤■ コミュニケーション論Ｂ■ コミュニケーション論Ｂ（第１回）

担当：中野民夫（リベラルアーツ）

日時：2018.9.27(木)日時：2018年度第3Q 9:00~10:30

場所：W933

場所：W933

作業：SyncViewerの動作確認

9:00~10:30

学生：主として学部２年生

62019/12/20

⽬ 次「場」を頷きのｲﾝﾀｰﾊﾟｰｿﾅﾙ同調から可視化できる■「場」をｲﾝﾀｰﾊﾟｰｿﾅﾙな⾝体同調から可視化できることが世界で初めて⽰された

１．インターネットはどこへ向かう？
２．サイバーフィジカル人間システムＣＰHＳ
３．人間のコミュニケーションから学ぶ頷き運動に伴うひとり一人の加速度変化

４．動的システムとしてのモデル化
５．「場」の可視化システム
６．おわりに対面する２人のあいだでの頷き運動の同調（野澤・三宅 2019）38

IoTとIoHの融合に向けて

IoT

IoH

Internet of Things
モノのインターネット
量的情報均質性
最適化
クラウド志向Internet of Human
人のインターネット
質的情報
多様性
共創性
エッジ志向

Thank you for your attention!
業務の効率化イノベーション

IoTとIoHの融合

人とモノの情報融合で高度なサービスを実現

7