HAIとWBAのアプローチの差異と接合点から⾒るインタラクションのデザイン
坂本孝丈（静岡⼤学）
第33回 全脳アーキテクチャ勉強会 @オンライン

⾃⼰紹介
坂本孝丈 （情報学 博⼠）
静岡⼤学 創造科学技術⼤学院 特任助教
専⾨︓ Human-Agent Interaction，認知科学

Human-Agent Interaction (HAI)

HumanInteraction

AgentHuman-Agent Interaction (HAI)
⽐較や他領域との接続を考えるうえではAgentInteraction

AgentHuman-Agent Interaction (HAI)
基本的にはここにつながるはずHumanInteraction

Agent

HAI関連研究の流れ
1960年頃〜

認知⾰命→ 認知科学

1990年頃〜

4E （⾝体性や環境との相互作⽤の重要性）

1990年頃〜

Agent ︓⾃律的に環境と相互作⽤する存在

1996年

Media equation

2000年頃〜

⼈とエージェントのインタラクションに関する議論

2006年〜

HAIシンポジウム

2013年〜

International conference of Human-Agent Interaction

2014年〜

認知的インタラクションデザイン学

6HAI関連研究の流れ
1960年頃〜

認知⾰命→ 認知科学

1990年頃〜

4E （⾝体性や環境との相互作⽤の重要性）

1990年頃〜

Agent ︓⾃律的に環境と相互作⽤する存在「⼼」へのアプローチ
1996年
Media equation [Reeves and Nass 1996]2000年頃〜

⼈とエージェントのインタラクションに関する議論

哲学，⼼理学，⼈⼯知能，⾔語学，⼈類学，神経科学の各分野
2006年〜との学祭的研究
HAIシンポジウム[Gardner 1987]
2013年〜

International conference of Human-Agent Interaction
キー︓表象，認知は計算である（コンピュータによるモデル化）

2014年〜

認知的インタラクションデザイン学

7

HAI関連研究の流れ
1960年頃〜

認知⾰命→ 認知科学

1990年頃〜

4E （⾝体性や環境との相互作⽤の重要性）

1990年頃〜

Agent ︓⾃律的に環境と相互作⽤する存在

1996年

Media equation [Reeves and Nass 1996]「⼼」へのアプローチ
2000年頃〜
⼈とエージェントのインタラクションに関する議論
Embodied︓ HAIシンポジウム
⾝体化された2006年〜[Pfeifer & Scheier 1999]

Embedded︓ （⾏動が⽣じる環境に）埋め込まれ[Gibson 1979]2013年〜
International conference of Human-Agent Interaction
Extended︓（⾝体の外側に）拡張された[Gibson 1979]2014年〜
認知的インタラクションデザイン学
Enactive︓
⾏動に基づいた[Varela et al.1991]

8

HAI関連研究の流れ
1960年頃〜

認知⾰命→ 認知科学

1990年頃〜

4E （⾝体性や環境との相互作⽤の重要性）

1990年頃〜

Agent ︓⾃律的に環境と相互作⽤する存在

1996年

Media equation

2000年頃〜

⼈とエージェントのインタラクションに関する議論

2006年〜

HAIシンポジウム

2014年〜

認知的インタラクションデザイン学

⾃律的に動作するシステムがAgentと呼ばれ始める「センサーを介して環境を認識し，効果器を介して環境に作⽤
2013年〜
International conference of Human-Agent Interaction
するもの」，「⾃律的に環境と相互作⽤するもの」※ キノコ喰いロボット（1960年代，⼾⽥）→ 完全エージェント [Pfeifer and Scheier 1999]→ エージェントの設計の原理 [Pfeifer and Bongard 2006]
9

HAI関連研究の流れ
1960年頃〜

認知⾰命→ 認知科学

1990年頃〜

4E （⾝体性や環境との相互作⽤の重要性）

1990年頃〜

Agent ︓⾃律的に環境と相互作⽤する存在

1996年

Media equation

2000年頃〜

⼈とエージェントのインタラクションに関する議論

2006年〜

HAIシンポジウム

⾃律的に動作するコンピュータに対して社会的に
2013年〜
International conference of Human-Agent Interaction
振る舞う⼈間の傾向 [Reeves and Nass 1996]
2014年〜
認知的インタラクションデザイン学

10HAI関連研究の流れ
1960年頃〜

認知⾰命→ 認知科学

1990年頃〜

4E （⾝体性や環境との相互作⽤の重要性）

1990年頃〜

Agent ︓⾃律的に環境と相互作⽤する存在

1996年

Media equation

2000年頃〜

⼈とエージェントのインタラクションに関する議論

2006年〜

HAIシンポジウム

2013年〜
Human-AgentInteraction (HAI)Internationalconference of Human-Agent Interaction

エージェント︓「⼈間とインタラクションする⾃律システム，2014年〜
認知的インタラクションデザイン学
または，そのような⾃律システムに⾒せかけるシステム」

HAI研究では，⾝体や外観などの属性を必要条件とし仮定するのではなく，それらが必要であるか否かについても議論の対象に含まれる[⼭⽥（監修・著）2007]11

HAI関連研究の流れ
1960年頃〜 認知⾰命→ 認知科学
インタラクション → 対象をエージェントと⾒なす
1990年頃〜 4E （⾝体性や環境との相互作⽤の重要性）
そのような⼈の認知過程を明らかにする，あるいは，そのためのシステムの設計を⾏う研究領域
1990年頃〜 Agent ︓⾃律的に環境と相互作⽤する存在
Cf.)
Human-RobotInteraction
1996年
Media
equation [Reeves and Nass 1996]
ロボット技術→⼈がいる環境内での⾏動の設計
2000年頃〜 ⼈とエージェントのインタラクションに関する議論
2006年〜

HAIシンポジウム

2013年〜

International conference of Human-Agent Interaction

2014年〜

認知的インタラクションデザイン学12

「認知的インタラクションデザイン学〜意思疎通のモデル論的理
解 と⼈⼯物設計への応⽤」
平成 26 〜 30 年度 ⽂部科学省科学研究補助⾦新学 術領域研究（研究領域提案型）採択課題
人工物デザイン方法論の確立
人の適応性を支える環境知能
システムの構築
人と人工物の協創
自然で持続的な人-人工物インタラクションを実現する
人工物デザインの確立と環境知能の実現

認知的インタラクション
デザイン学
人-人インタラクション

A01, A02班

A01, A02班•••

人-動物インタラクション
他者モデルの同定
他者モデルの獲得（学習）機構の解明
B01班
リアルフィールド

成人同士のインタラクション
人工物を介した大人と子供のインタラクション

B01班

人-盲導犬／ウマ／サルのインタラクション

https://www.cognitive-interaction-design.org/より

13

「認知的インタラクションデザイン学〜意思疎通のモデル論的理
解 と⼈⼯物設計への応⽤」
平成 26 〜 30 年度 ⽂部科学省科学研究補助⾦新学 術領域研究（研究領域提案型）採択課題
対話・知識理解

相互適応（個人適応）
一体感予測・期待

対話・知識理解

思い込み（認知バイアス）

コミュニケーション

コミュニケーション

社会シグナルの表出とそれに基づく意図推定

意図（心）を読み合う
関係の発生

今性の発生
行動／相手・環境への反応

行動／相手・環境への反応[植⽥ 2016]
14

HAI関連研究の流れ
1960年頃〜

認知⾰命→ 認知科学

1990年頃〜

4E （⾝体性や環境との相互作⽤の重要性）

1990年頃〜

Agent ︓⾃律的に環境と相互作⽤する存在

1996年

Media equation

2000年頃〜

⼈とエージェントのインタラクションに関する議論

2006年〜

HAIシンポジウム

2013年〜

International conference of Human-Agent Interaction

2014年〜

認知的インタラクションデザイン学

15

Human-Agent Interaction (HAI)
エージェント︓「⼈間とインタラクションする⾃律システム，または，そのような⾃律システムに⾒せかけるシステム」
HAI研究では，⾝体や外観などの属性を必要条件とし仮定するのではなく，それらが必要であるか否かについても議論の対象に含まれる [⼭⽥（監修・著）2007]
インタラクションをどのように設計するか

⼈の認知過程を考慮する

HumanInteraction

AgentHAIのアプローチとWBAのアプローチ
HAIのアプローチ︓⼈とエージェントのインタラクションの設計
WBAのアプローチ︓⼈の脳全体を参考にしたアーキテクチャの設計

HAIの軸⾜WBAの軸⾜

Human

Agent

WBA→HAI
⼤澤さんの話（おそらく）HAIの軸⾜WBAの軸⾜

Human

Agent

HAI→WBAの距離（エージェントを設計する）
Agentを設計するうえで脳を仮定する必要があるのか︖

HAIの軸⾜WBAの軸⾜

Human

Agent

HAI→WBAの距離（エージェントを設計する）
Agentを設計するうえで脳を仮定する必要があるのか︖
⼈は相⼿の⼼を想定しているけれど，脳は想定していないのでは︖
HAI的には⼈が対象（エージェント）に⼼を⾒出すかどうかが重要
HAIの軸⾜WBAの軸⾜

Human

Agent

HAI→WBAの距離（エージェントを設計する）
⼈と（⼈⼯物）エージェントのインタラクションの問題

推定した
相⼿の⼼の状態

⼼の状態

Human

Agent

HAI→WBAの距離（エージェントを設計する）
⼈と（⼈⼯物）エージェントのインタラクションの問題
推定した
相⼿の⼼の状態

推定した
相⼿の⼼の状態

⼼の状態

⼼の状態

Human

Agent

HAI→WBAの距離（エージェントを設計する）
⼈と（⼈⼯物）エージェントのインタラクションの問題
推定した
相⼿の⼼の状態

推定した
相⼿の⼼の状態

⼼の状態

⼼の状態

Human

Agent

エージェント⾃⾝の⼼の状態や⼈の⼼の状態を推定する機構は必要

HAI→WBAの距離（エージェントを設計する）
⼈と（⼈⼯物）エージェントのインタラクションの問題
推定した
相⼿の⼼の状態

⼼の状態

推定した
相⼿の⼼の状態

⼼の状態

Human
Agent
エージェントが⼈の脳のアーキテクチャを持つ ⇒ ⼈同⼠のインタラクションと同質︖

HAI→WBAの距離（エージェントを設計する）
⼈と（⼈⼯物）エージェントのインタラクションの問題
推定した
相⼿の⼼の状態

⼼の状態

推定した
相⼿の⼼の状態

⼼の状態

Human
Agent
⼈同⼠と同質なインタラクションを再現するために必要な機構（仮定する⼼の状態やエージェントが持つ機能）は何か︖

HAI→WBAの距離（エージェントを設計する）
⼈と（⼈⼯物）エージェントのインタラクションの問題
推定した
相⼿の⼼の状態

⼼の状態

推定した
相⼿の⼼の状態

⼼の状態

HumanAgent
⼈同⼠と同質なインタラクションを再現するために必要な機構（仮定する⼼の状態やエージェントが持つ機能）は何か︖

HAI→WBAの距離（エージェントを設計する）
インタラクションの問題における汎⽤性 → ⻑期的インタラクション
推定した
相⼿の⼼の状態

⼼の状態

推定した
相⼿の⼼の状態

⼼の状態

HAI→WBAの距離（エージェントを設計する）
インタラクションの問題における汎⽤性 → ⻑期的インタラクション
推定した
相⼿の⼼の状態

推定した
相⼿の⼼の状態

⼼の状態

⼼の状態

×

何らかの失敗が⽣じたとき，リカバリーできるかHAI→WBAの距離（エージェントを設計する）
インタラクションの問題における汎⽤性 → ⻑期的インタラクション
推定した
相⼿の⼼の状態

推定した
相⼿の⼼の状態

⼼の状態

⼼の状態

×

なぜそのような⾏動をしたのかを説明できる必要がある

HAI→WBAの距離（エージェントを設計する）
インタラクションの問題における汎⽤性 → ⻑期的インタラクション
推定した
相⼿の⼼の状態

推定した
相⼿の⼼の状態

⼼の状態

⼼の状態

×

脳の状態よりも⼼の状態の⽅が説明はしやすい（︖）⇒直接，⼼の状態をモデル化

HAI→WBAの距離（エージェントの設計）
HAIの視点︓⼈が⼼を⾒出す対象はある範囲に収まっている（はず）→ ⼈が相⼿を他者と⾒做す最⼩限のアーキテクチャはありそう
単純な構造（要素やエージェントが持つ機能）からモデルを拡張していくことで，⽣じ得るインタラクションの違いを明らかにしていく→ ボトムアップ→ 特定の機能があれば良いのであって，（⼈の）脳を仮定する必要はない

⼀⽅で，WBAでは⼈の脳のアーキテクチャに注⽬している→ トップダウン（︖）（※ ただしHAI研究が必ずしもボトムアップのアプローチというわけではない…むしろ少数︖）

HAI→WBAの距離（エージェントの設計）
HAIの視点︓⼈が⼼を⾒出す対象はある範囲に収まっている（はず）→ ⼈が相⼿を他者と⾒做す最⼩限のアーキテクチャはありそう
単純な構造（要素やエージェントが持つ機能）からモデルを拡張していくことで，⽣じ得るインタラクションの違いを明らかにしていく→ ボトムアップ

⽐→ 特定の機能があれば良いのであって，（⼈の）脳を仮定する必要はない較
は⼀⽅で，WBAでは⼈の脳のアーキテクチャに注⽬している

重要→ トップダウン（︖）（※ ただしHAI研究が必ずしもボトムアップのアプローチというわけではない…むしろ少数︖）

HAI→WBAの距離（⼈を理解する）
⼈の認知プロセスを理解するという視点

HAIの軸⾜WBAの軸⾜HumanAgentHAI→WBAの距離（⼈を理解する）
⼈の認知プロセスを理解するという視点
HAI︓インタラクションにおける⼈の⾏動や⼼の状態の変化を予測する
WBA︓⼈の脳内で起きている情報の流れを予測する

⼈の脳内で起きている情報の流れを予測することで，インタラクションにおける⼈の⾏動や⼼の状態の変化を予測できるか︖→ ⼈の認知プロセスも含めてインタラクションの構造としてモデル化してしまえば（⼈の）脳を仮定する必要はない︖

HAI→WBAの距離（⼈を理解する）
認知的インタラクションのフレームワーク
𝑚!

𝑚"
𝑡!%

𝑴"

⋯𝑴!

𝑡"%

𝑣

𝑚!

𝑚"
𝑡!%

𝑴"

𝑴!

."
𝑺.!
𝑺ℎ."
𝑺.!
𝑺

𝑺!

𝑺"

𝑔𝑺!

𝑺"

𝑨"

𝑨!
𝑿
𝑡#𝑓

𝑻

𝑨"

𝑨!
𝑿
𝑡$

' ℳ, 𝑻, 𝑓, 𝑔, ℎ, 𝑣
𝒮" = 𝑨, 𝑿, 𝑺, 𝑺,𝑡"%⋯HAI→WBAの距離（⼈を理解する）
認知的インタラクションのフレームワーク
𝑨︓エージェントの特性
𝑿︓環境
𝑺︓内部状態$︓相⼿の内部状態の推定値
𝑺ℳ = 𝐴′, 𝑀, 𝑇′, 𝑚𝑨′︓エージェントが想定する相⼿エージェント
𝑴︓エージェントが想定する状態空間
𝑻′︓推論の時間間隔
𝑚︓推論のプロセス 𝑚: 𝐴% ×𝑀×𝑇 % → 𝑀ℳ︓他者モデルを表すサブシステム
𝑻︓時間間隔𝑓︓⾏動を決定する関数
𝑔︓内部状態の変化を決定する関数ℎ︓相⼿の内部状態を推定する関数
𝑣︓ ℳの状態空間を更新する関数'𝑓: 𝑨×𝑿×𝑺×𝑺×𝑴×𝑻→𝑿'𝑔: 𝑨×𝑿×𝑺×𝑺×𝑴×𝑻→𝑺''ℎ: 𝑨×𝑿×𝑺×𝑺×𝑴×𝑻→𝑺'
𝑣: 𝑨×𝑿×𝑺×𝑺×𝑴×𝑻→𝑴

HAI→WBAの距離（⼈を理解する）
認知的インタラクションのフレームワーク
𝑚!

𝑚"
𝑡!%

𝑴"

⋯𝑴!

𝑡"%

𝑣

𝑚!

𝑚"
𝑡!%

𝑴"

𝑴!

."
𝑺.!
𝑺ℎ."
𝑺.!
𝑺

𝑺!

𝑺"

𝑔

𝑺!

𝑺"

𝑨"

𝑨!
𝑿
𝑡#𝑓

𝑻

𝑨"

𝑨!
𝑿
𝑡$

' ℳ, 𝑻, 𝑓, 𝑔, ℎ, 𝑣
𝒮" = 𝑨, 𝑿, 𝑺, 𝑺,𝑡"%⋯HAI→WBAの距離（⼈を理解する）
認知的インタラクションのフレームワーク
𝑚!

𝑚"
𝑡!%

𝑴"

⋯𝑴!

𝑣

𝑡"%

𝑚!

𝑚"
𝑡!%

𝑴"

𝑴!

."
𝑺.!
𝑺ℎ."
𝑺.!
𝑺

𝑺!

𝑺"

𝑔

𝑺!

𝑺"

𝑨"

𝑨!

𝑓𝑿
𝑡#

𝑻'𝑨"

𝑨!

𝑡"%

⋯𝑿
𝑡$

𝒮" = 𝑨, 𝑿, 𝑺, 𝑺, ℳ, 𝑻, 𝑓, 𝑔, ℎ, 𝑣
認知的インタラクションのフレームワークを考えるうえで⼈の脳との対応関係は検討しておく必要がある⇒ WBAの成果物との⽐較も重要

HAI→WBAの接点を探る
⼈の認知プロセスを理解するという視点

HAIの軸⾜WBAの軸⾜HumanAgentHAI→WBAの接点を探る
⼈の認知プロセスを理解するという視点
⼈が対⼈的なコミュニケーションをできるようになった（進化的な）プロセスを考える→ 何らかの環境において適応的だったため何らかの環境で何らかの相⼿とインタラクション

脳（認知的な機能）が進化︖

HAI→WBAの接点を探る
⼈の認知プロセスを理解するという視点
⼈が対⼈的なコミュニケーションをできるようになった（進化的な）プロセスを考える→ 何らかの環境において適応的だったため何らかの環境で何らかの相⼿とインタラクション

脳（認知的な機能）が進化︖

⼈が現在の脳の構造（認知的な機能）を獲得した理由を探る問題「どのような環境，どのような相⼿とのインタラクションにおいて，⼈の脳が適応的であったか」HAI→WBAの接点を探る
⼈の認知プロセスを理解するという視点
ボトムアップに𝑆!
⋯𝑔

𝑆"
𝐴"

𝐴!
𝑋
𝑡#𝑓

𝑇
𝒮# = 𝐴, 𝑋, 𝑆, 𝑇, 𝑓, 𝑔

𝑆!

𝑆"
𝐴"

𝐴!
𝑋
𝑡$

⋯

HAI→WBAの接点を探る
⼈の認知プロセスを理解するという視点
ボトムアップに

⋯𝑆<"

𝑆<!

ℎ𝑆<"

𝑆<!

𝑆!

𝑆"

𝑔

𝑆!

𝑆"

𝐴"

𝐴!
𝑋
𝑡#𝑓

𝑇< 𝑇, 𝑓, 𝑔, ℎ
𝒮$ = 𝐴, 𝑋, 𝑆, 𝑆,

𝐴"

𝐴!
𝑋𝑡$

⋯HAI→WBAの接点を探る
⼈の認知プロセスを理解するという視点
ボトムアップに 𝑚!

𝑚"
𝑡!%

𝑀"

⋯𝑀!

𝑡"%

𝑣𝑚!

𝑚"
𝑡!%

𝑀"

𝑀!

𝑆<"

𝑆<!

ℎ𝑆<"𝑆<!

𝑆!

𝑆"𝑔

𝑆!

𝑆"

𝐴"

𝐴!
𝑋
𝑡#𝑓

𝐴"

𝐴!

𝑇
< ℳ, 𝑇, 𝑓, 𝑔, ℎ, 𝑣
𝒮& = 𝐴, 𝑋, 𝑆, 𝑆,

𝑋
𝑡$

𝑡"%

⋯HAI→WBAの接点を探る
⼈の認知プロセスを理解するという視点
ボトムアップに

𝑆!
⋯𝐴"

𝐴!
𝑋

この段階の脳とは…

（他⽣物との⽐較はできるが．．．）

𝑔

𝑆"

𝑡#𝑓

𝑇
𝒮# = 𝐴, 𝑋, 𝑆, 𝑇, 𝑓, 𝑔

𝑆!

𝑆"
𝐴"

𝐴!
𝑋
𝑡$

⋯

HAI→WBAの接点を探る
⼈の認知プロセスを理解するという視点
ボトムアップに

𝑆!
⋯𝑆"
𝐴"

𝐴!
𝑋
𝑡#𝑔𝑓

𝑇

𝑆!

𝑆"
𝐴"

𝐴!
𝑋
𝑡$

𝒮# = 𝐴, 𝑋, 𝑆, 𝑇, 𝑓, 𝑔
アーキテクチャなので機能を間引くことができるはず→ （進化的な）獲得プロセスを追える⋯まとめHAI研究の視点から考えた場合．．．

⼈⼯物の設計という意味では脳を仮定する必要はないかもしれない

⼈の認知プロセスを明らかにするという点では，HAIの視点とWBAの視点の両⽅が必要である