ヒューマンコンピュータインタラクション特論
第8回

情報理工学部門

複合情報工学分野

Human-Computer Interaction (HCI) 研究室
小野哲雄（8-12室）
tono@ist.hokudai.ac.jp

授業計画 (予定)
1. 10/1(火) 4限 (小野) HCI入門
2. 10/4(金) 3限 (小野) HCI概論
10/8(火) 4限：[休講]3. 10/11(金) 3限 (小野) HCI概論(2) ＃論文発表の説明
4. 10/15(火) 4限 (小野) HCIの構成原理と構成方法(1) ＃登録開始
5. 10/25(金) 3限 (小野) HCIの構成原理と構成方法(2)6. 10/31(木) 4限 <- 火曜授業 (小野) [論文発表1(1)]7. 11/1(金) 3限 (小野) [論文発表1(2)]8. 11/5(火) 4限 (小野) ヒューマンロボットインタラクション(HRI) ＃説明
9. 11/8(金) 3限 (小野) ヒューマンエージェントインタラクション(HAI) #登録
10. 11/12(火) 4限 (小野) Predicting Human Decision-Making (1)11. 11/15(金) 3限 (小野) Predicting Human Decision-Making (2)12. 11/19(火) 4限 (坂本) HCIにおける実験と評価(1)
13. 11/22(金) 3限 (坂本) HCIにおける実験と評価(2)
14. 11/26(火) 4限 (小野) [論文発表2(1)]15. 11/29(金) 3限 (小野) [論文発表2(2)]2講義の概要（１）：HCI全般
次世代インタフェース
HCIの構成原理・方法

人のインタフェース特性
HCIの構成原理と構成方法
実験と評価

ハードウェアインタフェース
HCIの構成原理・方法

インタフェースの手法

インタフェースの評価
実験と評価

インタラクションデザイン

参考：ヒューマンコンピュータ
インタラクション入門、椎尾、
2010“Designing Interactions”

3

講義の概要（２）：HRIとHAI
HRI

Human-Robot Interaction

Human-Agent Interaction
HAI

対象をロボットに限定

対象は人工物（限定なし）

HCIとの相違点：人と「エージェント」のインタラクションデザインを研究
HCIとの共通点：人を含む「開放系」を研究の対象とする

4

Human-Agent Interaction (HAI)
Human-Robot Interaction (HRI)5

HAI/HRIの基礎

人とロボットの共生• 近い将来、ヒューマノイドロボットが人間に交じって、街中を歩く姿が普通に見られるようになる？！
• 人間社会に参加するロボットにはどのような機能が必要になる？
• 社会参加型ロボットの動作機構やソフトウェアシステ
ムを考えてみよう！

7

機械工学・制御理論に基づくロボット
n 「工場型ロボット」• 自動車の組み立てライン、工作機械など• 制御理論ØØØØ

数学的に記述可能
環境は変わらない
決められた動作のみ行う
人間とのコミュニケーションは不要

8

我々の目指すロボット研究
n 「社会参加型ロボット」
•
•
•
•
•

環境は動的に変化する
自分で判断することが必要（自律性）
臨機応変の動作が必要
数学的に記述できない（フレーム問題）
人間とのコミュニケーション必要

9社会参加型ロボットの研究 (1)••••

認知発達ロボティクス： Infanoid (NICT)
感情を表現できるロボット： Kismet (MIT)
会話に参加できる社会ロボット： Robita (早稲田大)
コミュニケーション指向ロボット： Robovie (ATR)

10社会参加型ロボットの研究 (2)• 認知発達ロボティクス： Noby (阪大)
• 癒しロボット： PARO (AIST)• コミュニケーション指向ロボット： Robovie (ATR),
Pepper (SoftBank)

11

HAIの研究課題とは？
n 人間とエージェント（ロボット）のインタラク
ションをいかにデザインするか？
•
•
•
•
•
•
•
•

人間とエージェントが上手くつきあっていくにはどうすればよいか？
人間がエージェントに飽きないようにするにはどうすればよいか？
人間がエージェントをどのように感じるか？
人間（社会）にエージェントが受け入れられるためには，どうすればよいか？
人間と協調作業するエージェントは実現可能か？
エージェントが人間に合わせるべきか，逆に人間がエージェントに合わせるべきか？
エージェントを介した人間同士の豊かなコミュニケーションはどのように実現できるか？
家電をエージェント化すると何が起こるか？

参考文献 (1)•••

『人とロボットの＜間＞をデザインする』
山田 誠二 (編)，東京電機大学出版，2007．
『エージェントアプローチ人工知能 第2版』共立出版，第2版，2008．
"Artificial Intelligence: A Modern Approach (2nd Edition)" ,S. J. Russell, P. Norvig, Prentice Hall, 2002.
『確率ロボティクス』(毎日コミュニケーションズ, 2007)"Probabilistic Robotics (Intelligent Robotics and Autonomous
Agents series)", S. Thrun,‎ W. Burgard,‎ D. Fox, MIT Press, 2005.

参考文献 (2)•『マインドインタラクション』
山田 誠二，小野哲雄 (著)，近代科学社，2019．

HRI・HAIの国際会議•

人間とエージェントやロボットの間のインタラク
ション設計に関する新しい研究分野の国際会議

HAI/HRIにおける「心の理論」

16from Theory of Mind
to Machine Theory of Mind
(DeepMind, 2018)
1. What is Theory of Mind？
2. A Constructive Model for the Developmentof Joint Attention (2003)
3. Machine Theory of Mind (DeepMind, 2018)

圧倒的な
“破壊力”

a
n
o
i
Vis

!)
志
(
ry!

「心の理論」とは？
「心の理論」(Theory of Mind, ToM) は、ヒトや類人猿などが、他者の心の状態、目的、意図、知識、信念、志向、疑念などを推測する心の機能のことである

‒
•

•
•

「心の理論」はもともと、霊長類研究者のD. Premack と G.
Woodruff が論文 “Does the Chimpanzee Have a Theory ofMind”）において、チンパンジーなどの霊長類が、同種の仲間や他の種の動物が感じ考えていることを推測しているかのような行動をとることに注目し、「心の理論」という機能が働いているからではないかと指摘したことに端を発する
ただし、霊長類が真に心の理論を持っているかについては議論が続いているこの能力があるため、人は一般に他人にも心が宿っていると見なすことができ（他人への心の帰属）、他人にも心のはたらきを理解し（心的状態の理解）、それに基づいて他人の行動を予測することができる（行動の予測）(Wikipedia)

「心の理論」（Theory of Mind）とは？
• Does the chimpanzee have a theory of mind?
• David Premack and Guy Woodruﬀ (1978)• チンパンジーは他の仲間の心の状態を推測？

19

「心を読むシステム」のモデル• “Mindblindness” (S. Baron-Cohen, 1995)••••

ID: Intentionality Detector
EDD: Eye Direction Detector
SAM: Shared Attention
Mechanism
ToMM: Theory of Mind
Mechanism20

「心を読むシステム」のモデル• “Mindblindness” (S. Baron-Cohen, 1995)

21

“ロボットの心を読む”• 人同士では「心を読む」ことは日常的な行為• 他者の行動から、その信念、目的、意図を読む• 「心の理論」の機構に基づく発話理解のモデル

22

“ロボットの心を読む”

誤った信念課題（１）：マクシ課題
1. マクシは、母親が買い物袋をあける手伝いをしている
2. 彼らはチョコレートを＜緑の棚＞に入れる
3. マクシが遊びに行った後、母親はチョコレート
を取り出して、今度は＜青の棚＞に戻す
4. 母親が卵を買うために出て行ったあと、マクシが遊び場から戻ってくる‒‒

上記の場面を被験者に示し、「マクシはチョコ
レートがどこにあると思っているか？」と質問する
正解は「緑の棚」だが、心の理論の発達が遅れている場合は「青の棚」と答える

24

誤った信念課題（２）：サリー・アン課題
1. サリーとアンが、部屋で一緒に遊んでいる
2. サリーはボールを、かごの中に入れて部屋を出て行く
3. サリーがいない間に、アンがボールを別の箱の中に移す
4. サリーが部屋に戻ってくる‒‒

上記の場面を被験者に示し、「サリーはボールを取り出そうと、最初にどこを探すか？」と被験者に質問する
正解は「かごの中」だが、心の理論の発達が遅れている場合は、「箱」と答える
25

誤った信念課題（３）•

他者の心的状態の推測：

26

誤った信念課題（４）•

他者の心的状態の推測：27

「誤った信念課題」実験の結果• ３〜４歳児はほとんど正しく答えられない• ４〜７歳児で正解率が上昇する• 「心の理論」の出現時期はおよそ４歳頃• 自閉症児は「誤った信念課題」を理解しない（？）• 自閉症の発達障害：• 相互的な対人関係の障害• 言語的・非言語的コミュニケーションの障害• 活動や興味のレパートリーの著しい限定

28

「心の理論」と「共同注意」とは？
Video: Joint Attention Test

29

共同注意とは？
Video: Joint Attention Test
https://www.youtube.com/watch?v=tif4U3OjT2M

30

共同注意の基礎：母子間相互作用
視線だけではないことに注意！

•

共同注意は視線などの社会的な手掛かりを用いて他者と注意を共有するプロセスでインタラクションの重要な要素．
特に、幼児の発達プロセスでは重要

1. アイコンタクトの成立（生後3カ月）

2. 養育者の働きかけ、赤ちゃんの予測（生後3〜9カ月）

4. 注意や情動の共有（共感）社会的参照

3. 視線・指差しを利用した共同注意の成立（生後9カ月頃）

5. ことばや文化の獲得

31

「心の理論」(Theory of Mind)とは？

“Mindblindness”,
Baron-Cohen, 1995.

“When eye see you: Gaze and joint attention
in human interaction”, Staudte, 2013.
32

A Constructive Modelfor the Development of
Joint Attention

計算モデルの構築 (1)“A constructive model for the development of joint
attention”, Nagai et. al., 2003

–
•
•
•

視覚注意と自己評価学習の機構を備えたロボットによる共同注意能力の獲得の計算モデルの提案
ロボットは、間違ったデータが与えられたとしても、感覚運動協調における相関を見出すことにより、共同注意の能力を獲得する
特に、「構成的アプローチ」の重要性を主張‒‒

行動観察アプローチでは「現象」を説明できるが、そのメカニズムを明らかにすることはできない計算モデルで発達段階を明らかにするロボットが人の「養育者」とのインタラクションをとおして、
共同注意の能力を獲得

34

計算モデルの構築 (2)‒

幼児の共同注意の発達段階

Ecological stageat 6 to 9 months old

Geometric stageat 12 Months old

Representational stage
at 18 months old
35

計算モデルの構築 (3)–Constructive model for development of joint
attention
•

共同注意：
‒

ロボットは入力 ϑ = [θ pan , θ tilt ], I に基づき

出力 Δϑ = [ Δθ pan , Δθ tilt ] を行うこと

36

計算モデルの構築 (4)‒Saliency map (detection): 顕著性マップ（検出）ロボットの機構： 画像領域の色、輝度、エッジ方向、動きなどのSaliency objectの抽出情報を統合して「人の興味」の度合いを抽出

上か下を選択Sensorimotor co-ordinationを学習

37

計算モデルの構築 (5)
1.
2.
3.
4.
5.
6.
7.
8.

ロボットは最初、あるobjectを見ている養育者を見る（センサー入力：I , θ ）I の中にsaliency objectがあれば、saliency feature detectorでそれを発見し、visual feedback controllerがobjectを見るようにコ
マンド VF Δθ を生成する
同時に、ロボットはlearning moduleが養育者の顔画像からモーターコマンド LM Δθ を生成する
VF
LM
selecting rateに応じてgateは Δθ と Δθ のどちらかを選択する
ロボットはモーターコマンド Δϑ = [ Δθ pan , Δθ tilt ] を生成する
生成後、objectがカメラの中心で観察されれば、internal
evaluatorがvisual attentionに評価を加える
ロボットはbackpropagationによって、learning moduleでsensorimotor co-ordinationを学習する
以上を繰り返す38

計算モデルの構築 (6)‒つまり、感覚運動協調における相関の学習では••ロボットが養育者と同じオブジェクトを見た場合
learning moduleの感覚運動協調における共同注意のための相関を見つける
なぜなら、養育者の顔画像の情報から特定できるからロボットが養育者と異なるオブジェクトを見た場合
learning moduleの感覚運動協調からはどんな相関も見出せない
なぜなら、養育者の顔画像の情報から特定できないから

後者の誤ったデータは、学習をとおして統計的に除外される

39

幼児の発達段階との対応
Stage I:
養育者の顔の向きに関係なく、ロボットの視野内の「興味のある物」を見る（Gateが主に VF Δθ を選択）
Stage II:
養育者が見ているオブジェクトが視野内に表れたときのみ
LM
Δθ が生成され、共同注意が成立するStage III:
オブジェクトが視野外にあるとき
LM
でさえ Δθ が生成されて共同注意が成立する

40

計算モデルの構築 (7)：実験 1
学習によりgateの出力が変化

学習段階に対応ロボットを含めた実験環境の設定

saliency feature detectorによる抽出ロボットが自分で共同注意の能力を獲得
41（養育者の評価は受けていない）

計算モデルの構築 (8)：実験 2
実環境での実験ベクトルは養育者の視線ではなく、ロボットのモータ
コマンドを意味する

ロボットが実環境でも共同注意を実現する能力を獲得している

42

Machine Theory of Mind
(DeepMind, 2018)

概要–

Theory of Mind (心の理論)は、他者の心の状態、願望、
信念、意図などを推測する心の機能 (Premack & Woodruﬀ, 78)
それらの機能を実現する ToMnet (Theory of Mindneural network) を提案

‒
•

•

–

他のエージェントの行動の“わずかな観察”だけからモデルを作りメタ学習 → 他のエージェントの行動を予測“we focus on the problem of how an observer could learnautonomously how to model other agents using limited data"
誤信念課題 (“Sally-Anne” test) を解決 (推測) 可能

応用先
•
•
•

マルチエージェントAIシステム
マシン-ヒューマンインタラクション“説明可能” (interpretable) なAIの実現

ToMnetのモデル (1)‒–モデルの目的は、誤信念課題を解決できる能力の獲得
ToMnet (Theory of Mind Network)：深層学習のモデルであるが、論文中に詳細な説明なし

ToMnet のモデル (2)‒モデルの説明① ある環境下で２つの agent に ad hoc に内部表現を設定
・past trajectories：ある環境下での行動履歴 → char net → echar・resent trajectory：直近の行動履歴 + echar → mental net → emental② 新しい環境では、この２つの ad hoc な内部表現と prediction net
で agent の動きを予測する
ここで agent の動きとして３つの特性を予測する・ π̂ ：次の行動の確率・ Ĉ ：好みのオブジェクトの確率
・ SR：予測経路の確率③ グリッドワールドで検証実験^

ToMnet の学習能力
agent’s actions (past trajectory)‒

agent’s position

強化学習を行なった多種のエージェントが他のエージェントの意図を学習 → Meta-Learning
1)

2)

エージェントは他のエー
ジェントの行動履歴(a)を観察して、その好みのオブジェクト(c)を認識
まったく異なる環境(b)でのエージェントの動きを予測可能

逆強化学習でも同じ環境の行
動予測のみである！
consumed object

ToMnet’s prediction

誤信念課題 (Sally-Anne test)–

agent (Sally) が誤信念を持っているか ToMnet (Anne) が判断できるかを検証した実験••‒

Sally がゴール(星印)に達した時、恣意的にゴールを動かす(a)。
ゴールの移動が少ない場合には Sally は間違いに気付くが、遠いと Sally は間違いに気付かないと Anne が認識できれば正解(b)の方策変更量の計測では ToMnet(Anne) は移動が近いと方策を変更すると予測しており、遠いと方策を変更しないと予測

この実験で ToMnet は他者の誤信念を理解するレベルに達している

誤信念を予測！
Go to the goal

Prefer blue square前半のまとめ：2つのモデルの比較
1. 他のエージェントの行動の“わずかな観察”だけからモデルを作りメタ学習 → 他のエージェントの行動を予測
2. 逆強化学習でも同じ環境の行動予測のみであるが、まったく異なる環境でも可能
3. ToMnet は他者の誤信念を理解するレベルに達している

HAI/HRIにおける対話システム

50

エージェントを用いた対話システム
‒

研究事例
•
•
•
•

PUT-THAT-THERE (Bolt 1980)
Rea (Cassell 2000)
Situated Interaction (MSR 2009, 2014)
Mentalizing:–‒

Rational quantitative attribution of beliefs, desires and percepts
in human mentalizing(Nature human behavior 2017)

技術的な要素•POMDP, Generative model, (Bayesian inference)51

Human-Agent Interactionとは？ (1)‒会話エージェントの研究を概観
•

•

研究の流れ
自然言語対話システム 音声対話システム
マルチモーダル対話システム 擬人化エージェント
研究の歴史
–
–
–
–
–
–
–
–
–
–
–

1967: ELIZA [Weizenbaum] 表層的な対話を実現
1972: SHRDLU [Winograd] トイワールド内の言語理解
1973: LUNAR [Woods] 自然言語解析．機械が人間へ近づく
1980: HEARSAY-II [Erman] 音声対話に基づくタスク処理
1980: PUT-THAT-THERE [Bolt] 音声(代名詞)で操作を指示
1987: The Knowledge Navigator [Apple] コンセプトムービー
1994: CASA [Nass] “Computers Are Social Actors”
1994: Believable agents [Bates] 生き物らしいエージェント
1996: The Media Equation [Reeves & Nass] メディアの等式
1997: Persona [Ball] ToolからAssistive interfaceへ
2000: Rea [Cassell] Embodied Conversational Agents52

Human-Agent Interactionとは？ (2)–PUT-THAT-THERE [Bolt 1980]

53

Human-Agent Interactionとは？ (3)–Rea [Cassell 2000] (ビデオ 1’00 – 2’15)54

Human-Agent Interactionとは？ (4)–『HAI研究のオリジナリティ』 (山田 09 参照)
•
•
•
•
•

人-エージェント、人-ロボット、人-エージェント-人のイン
タラクション
HAI研究は開放系の研究が特徴
HAIではインタラクションの対象をコンピュータやロボットに限定しない「認知的インタラクションデザイン学」の重要性
事例：
‒
‒
‒
‒

アプライアンスのエージェント化
ロボット(AIBO)が人とのインタラクションを学習
エージェントの内部状態の表出方法
Dennettの意図・設計・物理スタンス

55

Human-Agent Interactionとは？ (5)‒『HAIへの学際的アプローチ』(小野 09 参照)••••

HAIの「危ない匂い」と「収まりの悪さ」
細分化され、統合的な視点を欠いた研究への不満
人間が命令すればそのとおり動く道具を作成することが目的で
はない
研究事例：
–
–
–
–
–

•

ITACO：メディア間を移動可能なエージェント
人工物にエージェント性を付与
Practical Magic：スマート情報環境とロボットのインタラクショ
ンデザイン
ITACO on the Room：部屋に移動するエージェント
RobotMeme：模倣と関係性の伝播
InteractionMeme：エージェント性と関係性の伝播によるインタ
ラクション環境の構築

HAI研究はまさにムーブメントの結節点
56

Human-Agent Interactionとは？ (6)What is an agent? (国際会議HAIでの定義)
An agent is an object or technology that people interact with as if it is able to act with its own
purposes, motivations, and intentions. Having autonomy is not suﬃcient. For example, people
generally do not interact with telephones or elevators as agents although there is autonomy
behind the scenes. Conversely, some people talk to their cars or boats as if they have their own
intentions or personalities, even if this is not the case. It is the point where people shape theirinteractions with an object or technology as if it has purposes, motivations, or intentions, where
we have human-agent interaction. Often, technologies are designed to encourage people togive them agency, for example, by using social methods such as speech or gestures, or having
a personality, although this is not necessary for agency.
People attribute agency to many things and technologies in their everyday lives, which is acommon area of research, for example, with robots, virtual characters and video games, virtual
reality, smart cars, and so forth. By considering the broader field of Human-Agent Interaction,
we have an opportunity to transcend these traditional categories and to share knowledge andlearn from each other, regardless of the embodiment of our agent. Findings in human-robot
interaction are likely to have implications for many kinds of agents.
The HAI conference aims to bring together an interdisciplinary community on agents. In
addition to work on agents themselves, this conference also includes novel technologies andalgorithms for use by agents, human-human studies that can inform interactive agent design,
how psychological and cognitive models of agency are relevant to agents, and so forth.
57エージェントを用いた対話システム

58

対話システムとは？ (1): 定型的な対話–

人間と機械の間で、自然言語や音声言語を用いてコミュ
ニケーションを行うことができるシステム
自然言語対話システム：–•

ELIZA（1965）：単純な構文解析、予め用意された表現

ユーザ： 男の人ってみんな同じなんだよね。
システム： どんなふうに？
ユーザ： 彼らはいつも何かで私たちを困らせるの。
システム： 具体的な例は思い付く？
ユーザ： そうね、私のボーイフレンドは私をここに来させたわ。
システム： あなたのボーイフレンドがあなたをここへ来させた。
ユーザ： 彼は私がいつも落ち込んでいるっていうの。
システム： あなたがいつも落ち込んでいるとは、お気の毒です。
(Weizenbaum, 1965)59

対話システムとは？ (2): 意味理解–

自然言語対話システム：•

SHRDLU（1972）：限られた世界で、言語の理解を行うシステム⇒ 取り扱う世界（ドメイン）で必要な知識をすべて書き込んでおく必要あり ⇒ フレーム問題

ユーザ： 大きい赤のブロックをつかんでください。
システム： はい、実行しました。
ユーザ： 四角錐をつかんでください。
システム： どの四角錐かわかりません。
ユーザ： 今つかんでいるブロックより高いブロックを見つけて、それを箱の中に入れてください。
(Winograd, 1972)60

対話システムとは？ (3): 音声対話–

音声対話システム： 「音声」を用いる問題点•••

言い誤りや倒置など文法的多様性
音声認識における誤り
ユーザモデルの必要性

61

対話システムとは？ (4): 対話の主導権–

対話システムの主導権：•システムが持つか、ユーザが持つかシステム主導対話

ユーザ主導対話システム： ホテル検索・予約システムです。
宿泊先の最寄り駅をお話しください。
ユーザ： 上野駅。
システム：上野駅周辺には15件の予約可能なホテルがあります。予算はいくらですか？
ユーザ： 8000円以内で。
システム： 何名様でしょうか。
ユーザ： 1人です。
システム： ABCホテル、ホテルDの2件
見つかりました。
ユーザ： ABCホテルでお願いします。

ユーザ： 明後日から1泊、上野駅にホテルを予約したいんだけど。
システム：上野駅周辺には15件の予約可能なホテルがあります。
ユーザ： じゃあ、8000円以内で泊まれる
ところは？
システム： ABCホテル、ホテルDの2件
見つかりました。
ユーザ： ABCホテルにシングル1室予約して。
システム： ABCホテル、明後日から1泊シングルを1部屋予約しました。

音声認識率向上、意味理解容易

音声誤認識増加、意味理解難しい62

対話システムとは？ (5): 混合主導権–

対話の主導と対話制御：
混合主導対話ユーザ： 明後日から上野駅にホテルを予約してください。
システム：何泊のご予定ですか？
ユーザ： 1泊。
システム： 予算はどれくらいでしょうか？
ユーザ： 8000円以内で。
システム： 何名様でしょうか？
ユーザ： 1名です。
システム： ABCホテル、ホテルDの2件
見つかりました。
ユーザ： ABCホテルをお願いします。

・ 対話制御：1.ユーザからの入力
2.ユーザの意図を検出
3.システムの適切な行動生成
4.返すべき応答内容を生成

ユーザ主導 ⇒ システム主導
63

Situated Interaction(MSR 2009, 2014)64

近年の音声対話システム–––

対話状況認識（会話シーン分析、マルチモーダルセンシ
ング・フュージョン）
自然言語による多人数対話
対話制御（部分観測マルコフ決定過程）

Situated Interaction project (MSR)
65

Situated Interaction (MSR 2009)66

Situated Interaction (MSR 2014)67

対話システムのメカニズムは
次回．．．

68

まとめ：HAI/HRI研究の特徴
1. HAI/HRI研究の概要
2. HAI/HRIにおける「心の理論」
•
•
•

3.

計算モデルと実装
A Constructive Model for the Development of Joint
Attention (Nagai, 2003)
Machine Theory of Mind (DeepMind, 2018)

HAI/HRIにおける対話システム(前半)••SHRDLU (Winograd, 1972)
Situated Interaction (MSR, 2014)

おわり

70

あ
‒

い
•

‒

う

え
•

お