「心の理論」の計算論的モデリング～人工知能研究の観点を加えて～(株) ソニーインタラクティブエンタテインメント
総合研究大学院大学 山田研究室
中橋 亮

本日の内容• 人間が持つ認知機構の一つである「心の理論」についてベイジアン、ニューラルネットワークなどの人工知能研究で用いられる計算モデルを利用してモデル化する研究について数件噛み砕いて概説する• 9/5～9/7にかけて行われた日本認知科学会第36回大会で「認知科学のモデル論 ―神経表象からダイナミクスまで― 」のOSで発表させていただいたポジショントークの内容を詳細化した内容になっています。

2

自己紹介
• 中橋 亮• (株)ソニーインタラクティブエンタテインメント(ソニー株式会社から出向)• コーボレート グローバルR&D東京部門 アドバンストテクノロジーリサーチ部• 総合研究大学院大学 情報学専攻 山田研究室 博士後期課程• 職務経歴• 2007年～：ソニー株式会社• 2007年～：アプリケーションエンジニア• 2010年～：AI R&D エンジニア• 2014年～：客員研究員(＠MIT CSAIL(BCS))• 人の「心の理論」の機械学習によるモデリング研究(Adviser: Joshua B. Tenenbaum)• 2015年～：AI リサーチャー• 2019年～：現職• 2017年～：総合研究大学院大学・博士後期課程• 人と協調作業するエージェントのためのプランニングアルゴリズムの研究(Adviser: 山田 誠二)
3

「心の理論」とは• ヒトや類人猿などが、他者の心の状態、目的、意図、知識、信念、志向、疑念、推測などを推測する心の機能のこと• 例：誤信念問題• 心の理論の発達が不十分な人が間違える問題• サリーアン問題• 正解は「かご」• 心の理論の発達が不十分な人は「箱」と答える
4

「心の理論」のモデリング• このような抽象的な認知機構を全て統一的に扱うモデルを構築するのは非常に難しいのでは？

5

「心の理論」のモデリング• このような抽象的な認知機構を全て統一的に扱うモデルを構築するのは非常に難しいのでは？

• 難しいです• 現状は特定の問題やタスクに絞って、それに対して各種対応するモデルの提案がいろいろ乱立している状態• その中でも比較的フレームワーク的な話をピックアップ

6

「心の理論」モデリングの全体像と本日の対象
Affective

Cognitive
人の意図・目的の推測や、戦略の推定、今後の行動の予測など
Interactivity
予測対象の他者と自分が積極的に関わるか(他者が自分を意識しているか)

人の感情に対する共感など

他者や問題に関して自分が情報を十分に得れるか

Uncertainty

T Rusch, and J Gläscher, “Classification of Theory of Mind tasks and their computational models” PsyArxiv 2019.

7

「心の理論」モデリングの全体像と本日の対象
Affective

Cognitive
人の意図・目的の推測や、戦略の推定、今後の行動の予測など
Interactivity
予測対象の他者と自分が積極的に関わるか(他者が自分を意識しているか)

他者や問題に関して自分が情報を十分に得れるか

人の感情に対する共感など

Uncertainty

本日のトークの対象

T Rusch, and J Gläscher, “Classification of Theory of Mind tasks and their computational models” PsyArxiv 2019.

8

「心の理論」モデリングの全体像と本日の対象• 「心の理論」のモデリングのアプローチは様々存在する• ベイジアン• ニューラルネットワーク• ゲーム理論…

• 今回は、ベイジアン、ニューラルネットワークの2種類のアプローチの例を紹介

9

今回対象のベイジアンアプローチの問題設定• ネズミが以下のように左に向かったときに、ネズミは何を目指してると思いますか？

10今回対象のベイジアンアプローチの問題設定• ネズミが以下のように左に向かったときに、ネズミは何を目指してると思いますか？
• 他者の動きから他者の目的を推測する問題

11

人の因果推測におけるベイジアンアプローチ• ある現象に対する人間の原因推測は本人が事前に持っている、常識・前提の知識とその現象に対する因果関係に関する知識から導かれる• 人の推論機構は十分リッチな事前に獲得された知識のモデルを利用して素早く、正確におこなわれているというスタンス[1]• その認知の導出のフレームワークとしてベイズの定理を用いる
ベイズの定理𝑃𝑃 𝐵𝐵 𝐴𝐴 ∝ 𝑃𝑃 𝐴𝐴 𝐵𝐵 𝑃𝑃(𝐵𝐵)
事後分布

現象Aを観測した上での原因B
最終結論

尤度

事前分布

Bが原因で B自体のAが起きる 起こりやすさ
尤もらしさ
因果関係

前提知識
(≒常識)

[1] B. M. Lake, T. D. Ullman, J. B. Tenenbaum, and S. J. Gershman, “Building machines that learn and think like people,”
Behav. Brain Sci., vol. 40, p. e253, Jan. 2017.

12

シンプルな因果推論の例• 例• 観測𝐴𝐴：太郎が咳をしている• 仮説群𝐵𝐵：
1.
2.
3.

太郎は風邪を引いている
太郎は肺がんである
太郎は胃腸炎である

𝑃𝑃 𝐵𝐵 𝐴𝐴 ∝ 𝑃𝑃 𝐴𝐴 𝐵𝐵 𝑃𝑃(𝐵𝐵)
事後分布

尤度

事前分布

• 尤度𝑃𝑃 𝐴𝐴 𝐵𝐵 ：1,2 >> 3
• 事前分布(前提知識)𝑃𝑃(𝐵𝐵)：1,3 >> 2
• 事後分布(最終結論)𝑃𝑃(𝐵𝐵|𝐴𝐴) ：1 >> 2,3• 適切な事前分布、尤度の知識によって人間に近い推論がモデリングできる
13

「心の理論」のモデリングへの応用• 例• 観測𝐴𝐴：ネズミが左に向かう• 目的群 𝐵𝐵：
• チーズ(1)、猫(2)、米(3)𝑃𝑃 𝐵𝐵 𝐴𝐴 ∝ 𝑃𝑃 𝐴𝐴 𝐵𝐵 𝑃𝑃(𝐵𝐵)
予想される目的

目的に対する 目的自体の行動の合理性 妥当性• 尤度𝑃𝑃 𝐴𝐴 𝐵𝐵 ：1, 2 >> 3
• 事前分布(常識、前提知識)𝑃𝑃(𝐵𝐵)：1, 3 >> 2
• 事後分布(最終結論)：1 >> 2, 3

• 人が持つ、一般的な行動モデル(尤度)を適切に設計することで心の理論をベイジアンアプローチでモデリングできる。
14

Bayesian Theory of Mind
• 概要

• 他者の行動のモデルを計算し、それに基づいてベイズ推論することで他者の行動から他者の目的及び他者の認識を推論• Food truck問題を含む2件のタスクで人間の認知との相関を確認[1]他者の目的の推論のイメージ図
他者の行動：𝑎𝑎

観測
他者の状況：𝑠𝑠

他者の行動モデル𝑃𝑃 𝑎𝑎 𝑠𝑠, 𝑔𝑔

𝑃𝑃 𝑔𝑔 𝑠𝑠, 𝑎𝑎 ∝ 𝑃𝑃(𝑎𝑎|𝑠𝑠, 𝑔𝑔)𝑃𝑃(𝑔𝑔)ベイジアンアプローチによる
因果推論[1] C. L. Baker, J. Jara-Ettinger, R. Saxe, and J. B. Tenenbaum,“Rational quantitative attribution of beliefs, desires and percepts in human mentalizing,”
Nature Human Behaviour, vol. 1, p. 0064, Mar. 2017.

15

Bayesian Theory of Mind
• Food Truck 問題• 人(他者)が昼ごはんを求めてフードトラックへ向かう• 2つのフードトラック停車位置が存在• 日毎に3種類(K, L, M)のトラックが停車する(1日に最大2種類)• 右上には止まらない(N)こともある• 他者の行動の軌跡から• その人の本日の食べ物の好み• その人が「右上にどのトラックがいるか期待しているか」

• を推測

16

Bayesian Theory of Mind
• 他者の行動モデル• Bayesian Theory of Mindにおける行動決定の原則の仮定• 他者はある目的達成のために合理的に行動する[1]
Kに向かいたい人

Boltzmann Rationality

𝑃𝑃 𝑎𝑎 𝑠𝑠, 𝑔𝑔 ∝ exp(𝛽𝛽𝑄𝑄𝑔𝑔 (𝑠𝑠, 𝑎𝑎))𝑔𝑔を目的とするエージェントがある状況𝑠𝑠で行動𝑎𝑎を取る確率はその行動価値に従う≒行動したあとの目的の達成のしやすさ

合理的な行動非合理的な行動

目的地に到達するまでの最短距離の少なさ[1] C. L. Baker, R. Saxe, and J. B. Tenenbaum, “Action understanding as inverse planning” Cognition, 2009, 329-349.

17

Bayesian Theory of Mind
• 他者の行動モデル• 他者が認識している世界(状況・環境)のモデルはPartially observable Markov decision processes (POMDPs)とする• 人は世界の全てを見れるわけでなく、自分の観測に沿った一部しか見えていない• 壁に遮られたフードトラックは見えない• 今までに観測した情報から世界に関する予測(“信念”)を構築• ⇔Markov decision processes• 人は(自分の行動決定に関する)全ての情報を一度に見れている• 神様視点で上から全部のフードトラックが見えている(推測の必要なし)

18

Bayesian Theory of Mind
• 他者の行動モデル• POMDPに基づく他者の行動決定モデル
周囲の状況を観測
観測情報から自分の行動に必要な信念を更新

推論した情報と自分の目的から行動を決定想定している
他者モデル

19

Bayesian Theory of Mind
• 他者の行動モデル• POMDPによる他者の行動推論の数式モデリング
初期信念と目的の分布位置から観測の予測
観測からの信念の更新
信念、目的からの行動の決定

20

Bayesian Theory of Mind
• Food Truck問題におけるモデルと人間の認知の比較
Kをスルーして他のトラックを探している→Kが一番好きではないLを見てKに戻っている→LよりKの方が好き

好みはM > K > L

最初は右上にMがあると期待

Frame 2ではMが右上にあることを期待していたはず

人間の推論と予測のモデル結果に高い相関性
21

Bayesian Theory of Mind
• 様々な行動軌跡を元に相関を確認

22

Bayesian Theory of Mind
• 実験その2• 他者の行動から世界の状況の予測• 他者の好みはA>B>Cとわかっている23

ベイジアンアプローチに対する批判的(?)意見• 前提にしている人の行動モデルに対して柔軟性がない•

過度に強い誘導バイアスがかかっているのではないか[1]• 人の行動モデル自体も学習できるより柔軟な認知モデルを考えるべき•ある問題に対するNature(生得的知識)はより上位の学習ループの中のNurture(環境からの学習)によって形作られるはず[2][1] M. Botvinick et al., “Building Machines that Learn and Think for Themselves: Commentary on Lake et al.,Behavioral and Brain Sciences, 2017,” arXiv [cs.AI], 22-Nov-2017.

[2] “Nature and Nurture in AI”, a talk by Matthew Botvinick at CogSci 2018.

24

経験からの人間の行動モデルの構築のモチベーション
Food truck問題の例

問題設定

他者の行動

Kが一番好きな人の行動モデル
Mが一番好きな人の行動モデル…

他者の行動モデル

人の行動モデルの仮定

好みなどの予測

ここを事前に決め打ちした仮説でなく自動的にデータからの学習で作れないか？

25

Theory of Mind Net• 人の一般的な行動モデル自体をデータから学習する
ニューラルネットベースの推論モデル
TomNetを提案[1]• 様々な行動列から行動の「一般的なモデル」を事前学習• 「一般モデル」を利用して今観測している他者「特有」の行動モデルを効率的に学習• 5種類の実験を使ってToMNetのパフォーマンスを確認[1] N. Rabinowitz, F. Perbet, F. Song, C. Zhang,
S. M. A. Eslami, and M. Botvinick,“Machine Theory of Mind,” in Proceedings ofthe 35th International Conference on Machine Learning,
2018, vol. 80, pp. 4218–4227.

現在の他者の状態と行動から他者の目的、今後の行動などを推測

過去の様々な人の行動から学習した一般的な行動モデルを事前に学習

他者の過去の行動から現在観測している他者「特有」の行動モデルを学習

26

Theory of Mind Net• 環境設定• 観測する他者の行動は下記のようなGrid Worldを動くエージェントの行動であるとする• エージェントはグリッド上にある4つの色のどれかを目指す• エージェントが4つの色のマスのどれかにたどり着いたら終了

27

Theory of Mind Net• 行動モデルの仮説の学習能力の確認•

環境の上で2パターンのエージェントの大量に準備し、それぞれの行動履歴を学習させる(a):常に同じ色に向かうエージェント•(b):(a)に加え、今一番近い色に向かうエージェント•• 人は好みの色を一つ持ち、常にそこに行くという行動モデルの仮説を学習• (a)に加え、好みに関わらずとりあえず一番近い色に向かう人も存在しうるという行動モデルの仮説を学習(a)

それぞれ常に特定の色に向かう
エージェント(b)
最も近い色に向かうエージェント

28

Theory of Mind Net• 行動モデルの仮説の学習能力の確認• 学習したそれぞれの一般モデルを用いて一つのエージェントの行動モデルを学習し、次の行動を予測• 事前学習した行動モデルを反映した推論を行う

どこにいようとオレンジに向かうと予測(a)

オレンジが好きなエージェントと予測緑に向かう予測がメインだが他に色に近い場合はその色を予測(b)

緑が好きなエージェントor
一番近い所にいく
エージェントと予測

エージェントの位置と目的色の予測の対応
29

Theory of Mind Net• 仮想サリーアンテスト実験• 一般行動モデル用の学習データ• エージェントの目的は青に固定• エージェントに視界を導入• エージェントの位置を中心に 5 × 5 マス
• 環境のPOMDP化• Grid Worldにサブゴールを追加• 4つの色に辿り着く前にサブゴール(★)を経由する必要がある• 本番の実験設定• サブゴールにたどり着いたときに確率で青とピンクを入れ替える。

• 視界外でものが入れ替わる(サリーアンテストと同等)
30

Theory of Mind Net• 仮想サリーアンテスト実験• 入れ替わりの結果、• 青が視界に入っていれば直接それを目指すはず• 入っていなければ、入れ替わり前に青があった位置を目指すはず• ToMNetは上記のエージェントの行動を正しく予測できている• 誤信念問題を解決できうる能力をもつ31

近年の人工知能技術:強化学習と逆強化学習• 強化学習• ある行動や結果に”報酬”を入れた環境を準備し、AIに試行錯誤させることでその環境下で最適な行動を学習させる
強化学習のイメージ
報酬

リンゴ

100点

川-10点

木の橋-10点

試行錯誤

最適な行動

環境

32

近年の人工知能技術:強化学習と逆強化学習• 逆強化学習• ”報酬”をしらない環境と、その上でのAIエージェントの行動を見てそのエージェントの報酬(好み)を推定する
逆強化学習のイメージ
報酬

リンゴ

?

川?

木の橋?

推定した報酬
環境と行動

リンゴ

好きそう

川

嫌いそう

木の橋

嫌いそう

33

近年の人工知能技術：メタ学習• 学習データを単純に学習するだけでなく学習に必要な一般的な概念も学習することで新しい学習を少量のデータで学ぼうとする枠組み
一般の機械学習のイメージ

犬猫判別AI

犬猫ハムスター
判別AI

大量の犬データ

大量の猫データ

大量のハムスターデータ
34近年の人工知能技術：メタ学習• 学習データを単純に学習するだけでなく学習に必要な一般的な概念も学習することで新しい学習を少量のデータで学ぼうとする枠組み
メタ学習のイメージ

犬猫判別AI

犬猫ハムスター
判別AI

大量の犬データ
犬猫を見分けるために着目したポイント(耳の形が違うetc)

大量の猫データ

比較的少量のハムスターデータ35

人工知能技術との「心の理論」のモデリング• 紹介した2つのアプローチは機械学習で近年着目されている学習問題と本質的に同じ問題に取り組んでいる• 工学的な発展を取り入れることができる可能性
Bayesian Theory of Mind

人の行動モデルを合理的なエージェントと仮定してその上で行動を生成した元となる「目的」を推測

Theory of Mind Net

様々な人の行動から一般的な行動モデルを事前学習してその仮説をもとに他者の行動モデルを効率的に学習する

[1]

逆強化学習
教師となる行動列を入力としある「報酬」のもとでの最適行動列が教師の行動列と一致する「報酬」を推定する

メタ学習
事前に様々なバリエーションの問題から一般的な概念を学習してその知識をもとに新しい学習問題を効率的に学習する[1] J. Jara-Ettinger, “Theory of mind as inverse reinforcement learning,” Current Opinion in Behavioral Sciences, vol. 29, pp. 105–110, Oct. 2019.

36

人工知能技術との関係性• 心の理論のモデルを応用して「他者が自分の行動からどう考えるか」を加味した行動計画、協調プランニング技術の研究が始まっている••

人が自然に協調できる行動「人の意図を読む」だけでなく「人に意図を読ませる」
少し遠回りしてでも他者が自分の目的を読みやすい(Legible)
行動を行うロボット制御[1]自らスピードを上げて他者に減速させて他者の前に合流するなどの戦略を持つ
自動運転制御[2][1] A. D. Dragan, S. Bauman, J. Forlizzi, and S. S. Srinivasa,“Effects of Robot Motion on Human-Robot Collaboration,”in Proceedings of the Tenth Annual ACM/IEEE International Conferenceon Human-Robot Interaction, Portland, Oregon, USA, 2015, pp. 51–58.

[2] D. Sadigh, S. Sastry, S. A. Seshia, and A. D. Dragan,“Planning for autonomous carsthat leverage effects on human actions,”in Robotics: Science and Systems, 2016, vol. 2.

37

まとめ
• 心の理論のモデリングのためにモデリング手法をかいつまんで概説した• 今回紹介した手法はあくまで基本的な手法(特にベイジアンベースは)特有の現象に対するバイアスを掛けた様々な研究が提案されている• 心の理論のモデリングの様々なテクニックはいくつかの工学的アルゴリズムとの一致性がある他、これらの工学的応用に関しても注目されている• 認知科学と人工知能工学の架け橋の一つとして心の理論のモデリング分野は可能性があると考えている
38