ナイーブな欲求に基づくインタラクションの始まりとデザイン
竹内勇剛（静岡大学）
2019年12月6日
第28回 全脳アーキテクチャ勉強会
Communication

自己紹介
竹内 勇剛

TAKEUCHI, Yugo

静岡大学情報学部情報科学科・教授
博士（学術） ：認知科学，HAI，言語／非言語コ
ミュニケーション，STEM教育
1994〜1999年 名古屋大学 大学院人間情報学研
究科 社会情報学専攻 認知情報論講座
1996〜2001年 ＡＴＲ 知能映像通信研究所
2001年〜
現職
Communication

生命・生物の原初的な行動の原理
死なない

keep alive

生き続けるsurvive

ように行動する【YouTube】赤マルとマムシの対決（閲覧注意）【YouTube】ホタテがヒトデから逃げる瞬間【浅虫水族館公式】 【YouTube】Lion Hunt At Lewa! Zebra Ambush

Communication

インタラクションが始まること• インタラクションが始まる条件が整わなければ，インタラクションは始まらない．
• インタラクションには段階（層）があり，認知機序に基づいて高次化してくる．
物質と生物・人間との違いや，人らしさ，擬人化，他者の行動予測，意図推定などの問題に対して，インタラクションが始まる問題は重要な役割をもっている．

Communication

インタラクションの段階
コミュニケーションの階層性

坂本孝丈 (2019)

メタ認知的コミュニケーション
言語的コミュニケーション
前言語的コミュニケーション
予示的なインタラクション
直接的なインタラクション
Communication直接的なインタラクション• 一方の作用が他方の • 直接的な相互作用の物理的，身体的な変参加者は，作用する化を引き起こすよう側と作用さえる側にな相互作用を表す．
分かれる．
• このレベルの相互作 • 攻撃に対する反撃は用は物理的な接触を作用する側と作用さ伴う．
れる側の入れ替わり，もしくは同時に作• 例えば，体当たりに用・被作用が２つのより相手を動かす行方向に働いている状動や，噛み付くこと態といえる．
で相手の身体を傷つける行動など．
Communication

予示的なインタラクション• 直接的な相互行為の準備行動を示したり，実際に行動を開始したりすることで，相手の行動を引き起こすような相互作用を表す．
• 例えば，捕食動物の追跡と非捕食動物の回避行動や，威嚇することで相手をなわばりの外側に追いやろうとする行動，求愛行動など．
• 直接的な相互作用の前段階として現れる．
• 直接的な相互作用が開始する可能性を察知し，結果を予期し，それを避けるか，受け入れる行動を示す．
• そのため，学習のプロセスを要するが，これは主に生物進化を通した適応（系統発生的適応）により実現されている．
• これは直接的な相互作用に対して予期的に反応できることが，生存するうえで有利に働くためである．
• 第三者（分析者）視点から見ると，一方の行動を観察することで，他方の行動（反応）の予測可能性が上昇するた
め，情報のやり取りが成立しているといえる．
• 一方の先行する行動をシグナルとして読み取ることで，他方の後発する行動が誘発される．
• 先行する行動と誘発される行動との間には因果関係が成立する．
• 先行する行動が，相手の行動選択の範囲を狭めるためで，系全体の冗長性が高まる．つまり情報が生まれる．
• この段階では騙しのような行動は現れない．つまり，シグナルの信頼性は揺らがないか，揺らぎが大きくなった瞬間に相互作用として成立しなくなる．
• 相互行為が収束する方向に学習が働く．相互作用が発散するケースでは相互の学習が成立しないということなので，冗長性は生まれない．それゆえに，予示的相互行為とは別の相互行為といえる．
• 擬態という形で第三者（別種の生物）が予示的なシグナルを利用することは起こりうる．
• しかし，この擬態によるシグナルの利用は，そのシグナルの信頼性を落とさない程度にとどまる必要がある．
• 信頼性が落ちるとは，学習が収束する方向に働かなくなることであり，その行動はもはやシグナルとし機能しなくなる．
• この擬態は学習の系の外側の系であって，学習の系内で相手を騙す行動が生じると，行動パターンが発散する．
• 当事者内で騙そうとする行動は，葛藤という形で現れる可能性がある．

Communication

前言語的コミュニケーション• 自身と相手との関係（二項関係）を表すための相互作用を表す．
• 直接的作用または予示的シグナルしての機能と並行して，ある行動に関係を表すシグナルとしての効果が生じることで成立する．
• 非言語的なコミュニケーション．非シンボリックな相互作用．身振りの会話．
• コンテキストに依存する．動物では，予示的コミュニケーションを足がかりにコンテキストが構築される．
• 例えば，母子関係で行われるシグナルを社会的地位の上下関係を表すシグナルとして利用する．
• 哺乳動物では（特にその種の中で）類似した養育期間があり，そこでは類似した直接的，予示的相互作用が行われている．
• ここで行われる行動ー反応の対応関係を利用することで，ある行動が前言語的なシグナルとして機能する．
• 二次の学習，すなわち「行動パターンの学習」が必要となる．
• 種内の学習（系統発生的適応）だけでなく個体内の学習が必要となる．
• 相手との関係が変化することで取るべき行動が変わるため，個体が生存している時間内で行動パターンを調整する必要が生じる．
• 人が動物に芸を覚えさせるのは，予示的コミュニケーションと前言語的コミュニケーションが関わる．
• 予示的コミュニケーションとして，信号の提示と報酬に基づき行動を強化する．
• 人側は動物に芸を仕込むことを学習し，動物側は芸の学習を学習することで，次々に芸を覚えていく．
• これは人ー動物で飼い主ーペットの関係が構築されていく過程であり，ここで行われるコミュニケーションは関係を伝え合う前言語的なコミュニケーションといえる．
• このような行動パターンの獲得過程は，人ー動物の関係を規定する前言語的コミュニケーションといえる．
Communication言語的コミュニケーション• 三項関係かそれ以上 • 相手との協調が可能の関係，または関係となる．
以外の事柄を伝える • 当事者間の二項関係ことができるコミュの側面は並行する．
ニケーションを表す．• 報 告 と 命 令 を 認 識 で• 相手への指示か可能きる必要がある．となる．
• また相手の指示を解釈することが可能となる．
Communication

メタ認知的コミュニケーション• 自己を指示の対象としたコミュニケーションが可能な行為者間で成立するコミュニケーションを現す．
• 相手の行動だけでなく，自身の行動が解釈可能であり，戦略的に行動できる．
• シンボリック相互作用論のいうところの意味の成立．自身は相手を考慮するし，相手も自身を考慮しているという前提が成立した上で行われる．
• 社会のレイヤー．
Communication知的さを伴うインタラクション
予示的なインタラクションよりも上位層"!# = % Σ' ∆) − ∆+ ) , ⋯"!+ = % Σ' (∆) − ∆# ) ), ⋯∆# ) ≈ ∆) − ∆+ )∆+ ) ≈ ∆) − ∆# )0!#0!+0+∆+ )2 + 1の行動を決定∆)∆# )

0#

行動が実行され時刻がtからt+1になる

知的インタラクションを成り立たせるアーキテクチャ（モデル）Communication

主体間のインタラクション

主体

主体

外部から見ただけではわからないことが起きている
Communication

主体間の相互的な認知

主体＝エージェント

自分という主体→自分の中の他者
他者という主体→他者の中の自分主体の内部状態とその働き（⇒認知）を記述する必要がある

Communication

^
ygy

出力写像

出力

^g

推定した
出力写像

Self-Observation Principle
照合
出力の予測

Makino & Aihara (2003)
図1

ダイナミクス推定問題の枠組み
環境

個体2(他者)

個体1(自己)

f2f1
入力

Mx2a2

^x^ 1

g^ 1

y^ 1y2g2

図2

a1

a'2
ay'1

y'2y1
出力

内部状態x1

実時間性に欠ける

a'1

f1

M

y^ 2

^f2

x^ 2

g^ 2

他者のダイナミクスモデル
他者の内部状態の推定

g1

ダイナミクス推定問題としてのコミュニケーションモデル

ダイナミクス推定問題としてのコミュニケーションモデルを想定した際，他者に関するダイナミクスモデルのパラ
3.1 パラメータ次元の限界
ク制御、環境の地図の構成など、どれも自分の外
前節では、コミュニケーションにおける他者界に関する状態変化の予測の例である。直接観メータ（赤丸）のすべてを観察に基づいて推定するのは極の内部推定を、ダイナミクス推定問題として捉測できない内部状態とその状態遷移・観測写像めて複雑であり困難だろう．
えられることを示した。
を推定することで、入力と出力の複雑な関係をしかし、一般的なダイナミクス推定は、コミュ解決し、最適な行動を実現する手がかりにしてCommunicationインタラクションの段階
コミュニケーションの階層性

メタ認知的コミュニケーション
言語的コミュニケーション
前言語的コミュニケーション
予示的なインタラクション
直接的なインタラクション
Communication

インタラクションの成立過程
インタラクションは当事者間の２つの次元の欲求が相互にカップリングしなければ成立しない
相手を行為を通して支配したい欲求

相手からの行為を受容したい欲求

相手からの行為を受容したい欲求

相手を行為を通して支配したい欲求• 相手への行為の効果は相手が受容する大きさに依存する• 互いに相手からの行為を受容しなければコミュニケーションは不成立

Communication

行動の構造「する」こと抑制

行動促進「される」こと

拒絶行動

受容Communication

行動の構造「する」こと抑制

行動促進「される」こと

拒絶行動

受容Communication

コミュニケーション欲求の２次元モデル
能動欲求

支（すること）

配的互態
度

受容的態

度

（されること）
従度

忌態

受動欲求

服

抑制的的度

促進
拒絶

避

恵態

Communication

インタラクションに臨む個体の認知構造と状態
Control (+) 相手に影響を与えたい（積極性）
Control of other

他者に対して自らが作用しようとする態度

Acceptance of other
支配的関係を志向

他者からの作用を受け入れようとする態度

他者とのインタラクションに対する態度を定義する２つの独立した変数

Acceptance (-)
相手の行為を受け入れたくない（消極性）

接触忌避的関係を志向

相手に影響を与えたくない（消極性）Control (-)

互恵的関係を志向
相手の行為を受け入れたい（積極性）
Acceptance (+)

服従的関係を志向

Communication

１

効用関数に基づくエージェントの内部状態からの行動生成

インタラクション誘発モデルの構造
内部表現

Communication

モデルに基づく行動生成（１）相対位置と関与の度合い

Agent P

– 対象との相対位置から関与の度合い 6 を求める
79:
6 = % 7, 8

距離が近づく正面からの角度が小さくなる↓
関与の度合いが大きくなる

89:
8:9

TargetQ– 自分から相手への関与の度合い69:

7: 距離
8: 相対角度% < : 単調減少関数– 相手から自分への関与の度合い6:979: : エージェントと対象の距離
89: : エージェントから見た相対角度
8:;: 対象から見た相対角度

69: = % 79: , 89:

6:9 = % 79: , 8:9

Communication

モデルに基づく行動生成（２）効用関数

Agent P

– 自身の内部状態と関与の度合いから効用値を求める• = < = > 0 69: + ? 0 6:9= > 0 % 79: , 89:

79:79 A :89A:

+ ? 0 % 79: , 8:9– エージェントは接近・回避行動（相対位置の変化）により関与の度合いを変化させようとする• = 0, 79: , 89: , 8:9 ≤ = 0, 79A: , 89A: , 8:9A
自身の内部状態，距離，相対角度に応じて効用値が増加するように行動する（次位置を決定する）．

AgentP’

89:

8:9

8:9A

Target Q

0: 内部状態> 0 : controlの値? 0 : acceptanceの値

BC : エージェントの次の位置

Communication

モデルの内部表現
エージェントの内部状態が行動により直接表出される段階のインタラクション"!# = % Σ' ∆) − ∆+ ) , ⋯"!+ = % Σ' (∆) − ∆# ) ), ⋯∆# ) ≈ ∆) − ∆+ )∆+ ) ≈ ∆) − ∆# )

0!#

0!+

0+∆+ )

2 + 1の行動を決定∆)∆# )

0#

行動が実行され時刻がtからt+1になる

Communication

内部状態に基づく行為生成と予測• 内部状態に基づき行為（ポジショニング）が自動的に生成される．
– 距離要素– 角度要素• ２つの主体それぞれの内部状態に基づき２者間の相対的な位置関係が変化する．
• 相手もモデルに従っているならば，「自分の行為による変化」に関する予測と「実際の状況の変化」のギャップから他者の内部状態が推定可能となる．
• ギャップに基づき自分自身の内部状態を調整する．
Communication

２

コンピュータシミュレション
内部状態に基づく行動生成
行動シミュレーション

Communication

シミュレーション•••

シミュレーションを行う
エージェントの内部状態
DE同一円状の24点とする．

Control
相手の正面方向を避ける

1ΨE =180 − 15J J ∈ ℤ, 1 ≤ J ≤ 24•

ControlとAcceptanceの値は以下で得られる．

••> 0 = sin DE? 0 = cos DE

相手の正面方向へ向かう> 0
DE-1

相手の方向へ身体方向を向ける

Acceptance

? 0

1

-1

相手の方向から身体方向を逸らせる

相手に接近する

相手から離れる

Communication

シミュレーション
接近行動
Control



1%$!"
-1

  

Acceptance

#$

1-1

    Communication

シミュレーション
回避行動
Control



1%$!"
-1  Acceptance

#$

1-1

    Communication

シミュレーション
周回行動Control



1%$!"
-1  Acceptance#$1-1    Communication

３ 人−人インタラクションにおけるモデルに基づいた人の内部状態の推定
効用関数に基づく内部状態と行動の対応
行動からの内部状態の推定の可能性

Communication

人−人インタラクション実験
ヘッドセットWebカメラWebカメラロボットを介した人−人インタラクション[坂本&竹内,2016]
ヘッドセットPC

PC

レーザレンジ
ファインダ

レーザレンジ
ファインダ

参加者A

ロボットB

Ｓｈ

参加者B

ロボットA

NN条件

NN条件

どちらにも何も教示を与えていない

IN条件

NI条件一方のみに教示を与えている
Communication

モデルに基づく内部状態の推定
P1の内部状態推定値: Control: AcceptanceP2の内部状態推定値: Control: Acceptance

IN-NI条件の例: P1（左側）の座標: P2（右側）の座標

Communication

効用関数の定義– 関与の度合い

6 = % 7, 8
(7TUV − 7)( W − 8 )=7TUV W– 効用関数= < => 0

7TUV − 79: W − 89:
7TUV W– シーケンスの区切り方

7TUV : 距離の最大値（フィールドの直径）+ ?(0)(7TUV − 79: )( W − 8:9 )7TUV W

参加者が動いている部分を分析対象とする．
参加者の移動方向が急激に変わる部分でシーケンスを区切る（角度変化量＞π/3）．
この条件で0.5秒以上の長さとなるシーケンスを分析対象とする．

seq.1

t=3

t=2
t=1

t=4

t=0
t=1
t=2

t=0
Participant

t=3

seq.2
Communication

分析１の結果
分析１：参加者が効用値を増加させた割合
10.9
0.8
0.7
0.6
Participants

0.5

RW

0.4
0.3
0.2
0.1
0
Assertive

Submissive

Reciprocal

Avoidant

参加者はモデルに従う行動をある程度示す．
Communication

分析２の結果
分析２：相手側の内部状態の推定値と発話に含まれる単語
Reciprocal state

Assertive state
頻度

残差 残差分析

動く

14

0.14

追いかける

133.14止まる

9-0.126

出る

83.21

**

感じ

62.17***

頻度

残差 残差分析動く

10-0.404

動き

81.73

止まる

80.204

怖い

71.56

近づく

60.982回る

62.40+*

Avoidant state
頻度

残差 残差分析逃げる

123.25動く

10-0.404止まる

101.11

動き

60.632追いかける

5-0.205

近づく50.400

速い

52.69

Submissive state**

頻度

残差 残差分析

動く70.872

怖い73.80**+ p<0.10, * p<0.05, ** p<0.01**

発話に含まれる単語の出現頻度は相手の行動から推定した内部状態により異なる．

Communication

分析３の結果
分析3：各条件における内部状態の推定値の頻度
推定頻度（状態のフレーム数/全フレーム数）
Assertive

Submissive

Reciprocal- .- -

23.1%

13.8%

%% *.- - -%

7.72%

27.2%

15.4%

.- - .- -Avoidant

%%
%

残差分析
Assertive

Submissive- .- --12.1**

2.68**.- - -%-17.9**.- - .- -%Reciprocal

Avoidant-1.79+

12.9**%+ p<0.10, * p<0.05, ** p<0.01

参加者の行動から推定した内部状態の頻度は教示（相手に関わろうとする）の有無により異なる．

Communication

分析４の結果

分析４：インタラクションの分析の例
IN_1 utterance

近づいてみたり周りをうろちょろ結構逃げられてるような

おー逆に近づいてきた:Assertive:Submissive:Reciprocal:Avoidant

IN_1 0̂
UNIN_1 0̂
UNIN_1utterance

なんか近づいてくるなー

ちょっと近づいてみようか[sec]

インタラクション最中の人の行動（移動方向や身体方向の変化）から内部状態を推定し，内部状態の変化のパターンを分析．

Communication

他者との遭遇場面における行動のモデル化• モデルに基づく人―人インタラクションの分析– モデルから効用値を計算– 効用値を上昇させる行動を示した割合を比較→ 参加者の割合 ＞ ランダムウォークの割合→ 参加者はモデルに従う動作を示した．

1Participants

RW0.50– 参加者の発話データと相手の行動から推定した内部状態の間に関係があるかを検証

Assertive Submissive Reciprocal Avoidant→ 発話に含まれる単語の出現頻度は相手の行動から推定した内部状態により異なる．
→ モデルを用いた内部状態の推定に妥当性があることが示唆された．

モデルを用いることで，インタラクション最中の人の行動（移動方向や身体方向の変化）から内部状態を推定し，内部状態の変化のパターンを分析できる．

Communication

４

応用実験と展望
他者への配慮の誘発
狭い道でのすれ違い

Communication他者への配慮の誘発に関する実験
対象の内部状態を想定した話かけ課題

対象（マネキン，他者と想定）に道を尋ねるために話しかける課
題．対象の受容度（他のタスクに対する集中度合い）を想定させ，正面または背面からの接近行動を観察する．

Communication

実験• 実験条件開始位置

教示される
対象の受容度

正面

背面

低（集中して本を読んでいる）

L-F

L-B

中（本を読んでいる）

M-F

M-B

高（本を読み終えている）

H-F

H-B

• 実験参加者– 15名（大学生，18〜22歳）– 参加者内計画

Communication

実験結果• 話しかけ開始位置
参加者と対象間の距離

Hf

0

L-F
H―F

M

M-F
M―F
H-F
L―F
L-B
H―B

-1000

Hf-2000

y

1000

2000

座標（ｘｙ）の平均

M-B
M―B
H-B
L―B

Hb
0500

1000 1500
x

低中

高

教示される対象の受容度（エラーバーは標準偏差）（エラーバーは標準誤差）

Communication

実験結果（１−１）
参加者による接近行動の軌道の例
開始位置：正面（F）

開始位置：背面（B） モデルから生成した軌道

受容度：高（H）

0̂ Z[ = (0.50, −0.22)

0̂ Z[ = (0.00, −0.50)

0̂ ][ = (0.50, −0.06)
0̂ _[ = (0.50, −0.13)

0̂ ][ = (0.00, −0.50)
0̂ _[ = (0.00, −0.50)

受容度：中（M）

受容度：低（L）

Communication

実験結果（１−２）
参加者による接近行動の軌道の例
開始位置：正面（F）

開始位置：背面（B） モデルから生成した軌道

受容度：高（H）

0̂ Z[ = (0.50, −0.33)

0̂ Z[ = (0.50, 0.07)

0̂ ][ = (0.50, −0.33)
0̂ _[ = (0.50, −0.35)

0̂ ][ = (0.50, 0.19)
0̂ _[ = (0.50, 0.26)

受容度：中（M）

受容度：低（L）

Communication

実験結果（１−３）
参加者による接近行動の軌道の例
開始位置：正面（F）

開始位置：背面（B） モデルから生成した軌道

受容度：高（H）

0̂ Z[ = (0.50, −0.50)

0̂ Z[ = (0.00, 0.50)

0̂ ][ = (0.50, −0.44)
0̂ _[ = (0.50, −0.58)

0̂ ][ = (0.00, 0.50)
0̂ _[ = (0.00, 0.50)

受容度：中（M）

受容度：低（L）

Communication

実験結果（２）
接近行動の軌道から提案モデルにおける内部状態を推定– > 0 > 0とし，各参加者の位置座標 ), d との距離の合計値が最小となる軌道を生成する内部状態を参加者の内部状態の推定値する．
– 推定された内部状態から，移動ベクトルの角度を求め比較．
開始位置：正面（F）

低

中

高

対象の受容度 （エラーバーはSD）

開始位置：背面（B）

低

中

高

対象の受容度 （エラーバーはSD）
Communication

実験結果（３）••

移動ベクトルの角度に対象の受容度による差は顕著にはみられなかった．

[sec]

話しかけ開始までの経過時間

一方で，話しかけ開始時の対象との距離については，対象の受容度による差がみられた．
⇒話しかけ開始までの時間による差•

相手の内部状態に応じて接近行動を変化させているのではなく，話しかけるタイミングを調整している可能性が高い．

低中

対象の受容度高Communication

結果のまとめ
正面を開始位置とする場合に回り込みながら接近する理由
a. 相手の関与の度合いを上げない ⇒ 相手への配慮

直線的に接近する場合，「（相手から）関与されたい」というメッセージが接近行動によって強く表出される．

b. 相手の反応により表出される内部状態を明確化

正面から直線的に進む場合，相手が接近に気づいたタイミングや相手が関与するつもりがあるかが不明確になる．

c. 相手の周辺視野を利用することで気づかれやすくする．

相手への配慮が必要ない状況や開始位置の影響を検討する必要がある．
Communication

狭い道でのすれ違い行動の計測
仮想空間内のエージェントの内部状態に基づいたすれ違い行動の生成• 人の行動からその内部状態を推定する• どのようにエージェントの行動が認知されるか
次世代の交通システムへの応用Communication

認知，行為，インタラクション
主体間のインタラクションをデザイン・予測するた
めには，個体の内部モデル（認知モデル）による理解が有用．
インタラクションが開始する過程（相互的な他者認知）を２次元の志向強度とその効用関数によってシミュレートし，実験で検証．
モデルに基づくインタラクション解析を通して，空間・時間的構造だけでなく，周囲への注意(attention)や社会的構造の理解にも適用・応用可能．
Communication

今後の展望!#" = % Σ' ∆) − ∆+ ) , ⋯!#+ = % Σ' (∆) − ∆" ) ), ⋯∆" ) ≈ ∆) − ∆+ )∆+ ) ≈ ∆) − ∆" )0#"

0#+0+∆+ )∆)∆" )0"• 任意の行為を相手から引き出すための戦術的インタラクションのための，モデルの拡張と検証．
接客行動，監視– ３人称視点（メタ視点）– 欺瞞的・戦術的行動と見守りとか• モデルの適用領域の検討– 注意と行動の促進・抑制– 群衆のすれ違い，自動運転車と歩行者– 缶蹴り遊び
牧羊犬と羊とか– 動物の振る舞い など

Communication

ナイーブな欲求に基づくインタラクションの始まりとデザイン
竹内勇剛（静岡大学）
2019年12月6日
第28回 全脳アーキテクチャ勉強会
Communication