HAI シンポジウム 2022
Human-Agent Interaction Symposium 2022

P-24

自己・他者モデルの枠組みによる代理存在の実現にむけたキャンパスガイドシミュレーションによる検討
Study for Realization of Virtual Twin based on the Frameworkof Self-Other Mind Model using Campus Guide Simulation
佐々木 康輔 1,4∗

田足井 昇太 3 森口 昌和 1 野田 尚志 1 大森 隆司 2
宮田 章裕 2 大澤 正彦 2,3
Kosuke Sasaki1,4 , Shota Tatarai3 , Masakazu Moriguchi1 , Hisashi Noda1 , Takashi Omori2 ,Akihiro Miyata2 , Masahiko Osawa2,3

NEC ソリューションイノベータ株式会社
1
NEC Solution Innovators, Ltd.
2
日本大学文理学部
2
College of Humanities and Sciences, Nihon University3専修大学ネットワーク情報学部
3
School of Network and Information, Senshu University4
日本大学大学院総合基礎科学研究科
4
Graduate School of Integrated Basic Sciences, Nihon University
1

Abstract: 我々は心的状態や行動の決定/推定モデルである自己/他者モデルを研究している．両モ
デルは同質なアーキテクチャが仮定されており，相補的に利用できる．本研究では，人とのインタラクションによって獲得した他者モデルを自己モデルとしてエージェントに適用することで，人の代わりとなる代理存在の実現を目指す．本稿では，初期的検討としてキャンパスツアーシーンで，自己/他者モデルを用いた枠組みを設計し，代理存在であるガイドの性格によってユーザに与える印象が変化するか確認した．

1

はじめに

近年，ワーケーションやリモートワークといったフレキシブルな働き方が提唱されている．これらは，働き方改革の一環で生産性を向上させ，就業機会の拡大や意欲，能力を発揮できる環境を提供することが目的である．総務省の令和 2 年度通信利用動向調査 [1] によると，テレワークの導入割合は今後導入予定の企業を含めると 6 割に近い．これらの新しい働き方の推進によって，オフィスワーカーは勤務地といった場所の制約から徐々に解放されてきているといえる．また，スーパーフレックス制度の導入によってコアタイムがなくなっていたり，時間単位の年次有給休暇の導入が始まったりと，時間の制約からも徐々に解放されてきたといえる．
場所や時間の制約から解放される目処が経ちつつあ∗ 連絡先：NEC ソリューションイノベータ株式会社〒 136-8627 東京都江東区新木場 1-18-7
E-mail: ha-contact@nes.jp.nec.com

る中で，会議相手や相談相手といった人の制約は未だ解決の目処が経っていない．例えば，多忙なキーパーソンや経営者といった人には，気軽に相談したり，提案したりできるわけではない．人から制約を受ける業
務は，その人が直接手がける制作やサービス提供以外にも，ブレインストーミングやディスカッションといった会議，資料レビューや面接・審査といった評価など多岐にわたる．Robot Process Automation (RPA) や機械学習の発展が注目されているものの，特定個人のスキルや価値観を代替することは現状の技術では難しい．
本研究の目的は，業務において働く人を人の制約から解放する足掛かりとして，個人の代わりを務める代理存在の工学実装の枠組みを検討することである．本
研究における代理存在とは，特定の人の性格やスキル，価値観を学習し再現できる人工エージェントである．将来的には代理存在を活用して，ある人のパーソナルな特質を再現したサービス提供や，その人の価値観に基づく提案・相談といった業務支援が期待される．
本研究では，代理存在の枠組みとして，著者らがこれまで開発してきた自己モデルと他者モデルを組み込んだエージェントアーキテクチャ[2] を活用する．本研究において，自己モデルとは自己の心的状態や行動の決定モデルであり，他者モデルとは他者の心的状態や行動の推定モデルである．同アーキテクチャでは，人の性格に高速に適応できる自己モデル・他者モデルの学習方法が検討されている [6]．なお，本研究において性格とは心的状態や行動の起こりやすさと定義する．
代理存在において，自己モデルと他者モデルの構造を利用する理由は 2 つある．1 つは，自己モデルと他者モデルのアーキテクチャには同質性が仮定でき，他者モデルとして学習したモデルを自己モデルとして転用することができるためである．これにより，他者モデルの学習の枠組みで学習にさえ成功すれば，そのモデルをエージェントの自己モデルとして使うことで，代理存在を構築することができる．もう 1 つは，代理存在の評価を行いやすいためである．代理存在のような人工エージェントの評価は，タスクをこなす精度というよりも，人工エージェントとインタラクションする
人が，代理される対象と人工エージェントがどれだけ近しく感じられるかという観点で行われる．自己/他者モデルでは，性格がどれだけ近しいかを評価する仕組みが重要であり，この仕組みに基づいて代理存在の評価関数を構築できると考えられる．
まずは，研究構想における初期的な検討の足掛かりとして，自己・他者モデルの枠組みにおいて，人とのインタラクションによって獲得した他者モデルを自己モデルとして活用することで代理存在を実現する設計を試みる．本稿では，キャンパスツアーシーンを例に，自己/他者モデルを用いた枠組みにてツアーガイドのモデルを設計し，ガイドの代理存在に自己モデルを設定することで，代理存在と対峙した相手に与える印象を変化させられるかを確認した．

2自己/他者モデルの従来研究

横矢ら [3] は，ロボットが物体を移動させるという行動を対象に，発達的な自己モデルを用いて，他者の行動が模倣できたことを報告している．しかし，発達的なモデルは経験を積むことによって行動を獲得するために，相当な試行回数が必要である．
横山ら [4] は自身と異なるモデルをもったエージェントが存在するゲームにおいて，それぞれのエージェントに他者モデルをもたせることでゲーム上の課題解決を容易にすることを示した．しかし，エージェントが自己モデルを学習して構築する方法については未解決の問題となっている．
Akula ら [5] は機械学習で生成された画像識別モデルの識別結果について，他者モデルを用いて利用者が理解しやすいように説明するプロセスを提案し，利用者からの信頼性が高くなることを確認している．しかし，利用者が同一の疑問を抱くわけではないため，個別適応に課題があると考えられる．
阿部ら [7] は子どもの表情や行動から内部状態を推定してロボットの行動を変化させており，現実の場面での他者モデルの有用性を示唆している．しかし，他者モデルを平均的に生成しているため，個人に適したロボットの行動を獲得することは難しく，多様に適応する他者モデルの獲得という未解決の問題が残っている．
このように，自己/他者モデルの獲得についてはそれぞれで問題が残っている．自己モデルは強化学習によって獲得できるが，膨大な試行回数が必要となる．そのため自己モデルの獲得は，シミュレーションによってモデルの有用性を確認した手法であっても，実際のフィールドで膨大に試行することが現実的でなく難しい．この問題に対して，他者の振る舞いを観察して「他者がこのように成功しているので，自分も同じようにする」という一般的に人が行っている学習指針を取り入れると，他者モデルの獲得を通して自己モデルを訓練することで解決できると考えられる．
一方，他者モデルにおいては個人適応技術としての精度が問題となる．多様な性格や価値観があるように，同一の状況においても個々人で心的状態や行動は異なる．そのため，状況に対して平均な他者モデルでは，他者に関する推定精度に限界がある．同時に，状況に対して個々人の他者モデルを獲得することを考えると，個人が取得しなければならないデータ数は大量であり，個人ごとのインタラクションへの適用は困難になる．この推定精度の問題に対して，他者をいくつかの典型的な性格グループに分解して表現される典型他者モデル[8] を形成することで，部分的に個人に適応できるため，平均的な他者モデルよりも高精度が期待され，解決できると考えられる．
典型他者モデルはいくつかの代表的な性格を表現するため，収集したデータを平均化して表現される他者モデルに対して可塑的な変換を加えることによって獲得できる．例えば，収集したデータの特徴に基づいて学習における重みを変更したり，データの一部のみを使用して学習したりするような変換である．これによって，性格別に獲得された典型他者モデルを代理存在の自己モデルとして転用することで，代理存在の振る舞いに対象となる人の個性が部分的に表現されると考えられる．

図 1: 代理存在の獲得方法

3

自己/他者モデルを用いた代理存
在代理存在は対象となる人と同様に振る舞うために対象自身の自己モデルを獲得する必要がある．このとき，自己モデルは対象が状況に応じて心的状態や行動を示すことによって学習される．しかし，あらゆる状況を想定することは難しいため，この方法で自己モデルを学習することは現実的ではない．そこで本研究では，図1 で示すような枠組みで検討する．
対象がインタラクションしている様子を代理存在が観察することによって，対象の他者モデルを獲得し，自己モデルに転用する方法を提案する．自己モデルと他者モデルは同質なアーキテクチャを仮定しているため，獲得した対象の他者モデルを，自己モデルに転用することで対象と同様に対峙する相手と関わり合える代理存在を構築する．
図 2 に代理存在のアーキテクチャを示す．本研究で扱う対象における自己/他者モデルは，対象と対峙する相手とのインタラクション場面において，対象が獲得しているモデルである．代理存在における他者モデルは，対象が対峙する相手に応対するための自己モデルを推定したものである．代理存在における自己モデルは，獲得した対象の他者モデルを転用したものである．
情報処理モジュール f (x; θ) において，x はモジュールへの入力であり，θ はそのモジュールで用いられるパラメータである．各モジュールの学習は，適切なパラメータ θ の探索に対応する．このうち，自己モデルと他者モデルにおける心的状態決定と心的状態推定，行動決定と行動推定はそれぞれ同一の関数 fs ，fa を用いる．
代理存在は，学習した対象の他者モデルのパラメー

タ θsother ，θaother を代理存在自身の自己モデルのパラメータ θsself ，θaself に転用することで，対象と同様に行動できる．
対象の他者モデルを獲得する上で，他者モデルの学習では，対象の心的状態や行動といった情報を扱うが，その情報量は膨大である．本研究では，まず始めに他者と関わるためのインタフェースを規定し，インタフェー
ス内で扱える心的状態や行動の情報を制限することを試みる．代理存在は，対象が操作したインタフェースの履歴から心的状態や行動の情報を獲得し，対象の他者モデルを学習する．学習された他者モデルを自己モデルに転用することで，インタフェースを代理で操作する存在を構築する．
また，このように構築された代理存在はインタフェー
スの操作において，対象となる人の心的状態や行動に関する価値判断基準を獲得している．この価値判断基
準は状況に応じた対象の性格を表現しているが，代理存在が心的状態や行動の起こりやすさである性格を獲得するためには，対象による膨大な数のインタフェースの操作が必要である．そこで本研究では典型他者モデル [8] を活用することで，実装上の工夫として性格を軸として他者を典型的なグループに分類する．これによって，学習に必要なデータ数を収集するための試行回数は削減でき，対象を部分的に再現した自己モデルを獲得する方法の実現を試みる．

4

ガイドの代理存在を用いた印象評
価実験

本実験では，代理存在の実現に向けた初期的検討として，自己/他者モデルの枠組みに当てはめた性格によってユーザに与える代理存在の印象が変化するかを確認するインタフェースを作成した．インタフェースは，大学のキャンパスツアーを想定したものであり，ツアーガイド役の代理存在を設計することを前提とした．
作成したインタフェースによって，ユーザの印象や代理存在の評価が行えるかを，実験によって確認した．
4.1 では，実施した実験内容と分析方法について説明する．4.2 では，分析結果について説明する．

4.1

実験内容

本実験ではツアーガイドの典型的な性格として，優しい性格，明るい性格，真面目な性格，知的な性格の4 種類を用意した．これらの性格の違いが実験協力者に与える印象をどのように変化させるか確認する実験を行った．まず，実験協力者にガイド役として最も好きな性格と最も好きではない性格を確認した上で，そ図 2: 代理存在のアーキテクチャ

図 3: ツアーアプリの画面
れらの性格を設計した代理存在と，4 種類の性格からなる平均的な性格を設計した代理存在を用意した．本
実験の仮説としては，典型他者モデルの性格によって，実験協力者に与える印象が異なることを想定しており，最も好きな性格，平均的な性格，最も好きではない性格の順に実験協力者から好印象を獲得するということである．
実験協力者がツアー参加者役になり，代理存在であるツアーガイドがオンライン上で大学内を案内する 1on1のインタラクションを Web アプリ上に設計した．図 3にツアーアプリの画面を示す．
本実験で使用するアプリの画面構成は，画面左下に白塗りのガイド役が登場し，画面下にガイドの台詞とユーザの入力ボタンを配置した．また，紹介する大学内の建物はアプリ画面の背景として登場するように設

図 4: 実験の流れ計した．白塗りのガイドは，ガイドの見た目による特定の印象操作を避けるためである．また，本実験においてガイドのポーズは変化せず，文章の台詞のみが変更される仕様である．
本実験において，実験協力者にはアプリ上で心的状態の入力操作とストーリーの進行操作を行ってもらった．心的状態の入力操作とは，ツアーガイドの案内を聞いた上で，参加者としての感情を画面上から選択してもらう操作である．心的状態の選択肢は，事前に複表 1: 体験後アンケートの内容

No

質問内容

回答方法

回答設定

Q1

好きか嫌いか五段階で評価してください

5 件法

必須

Q2

親しみやすさを五段階で評価してください

5 件法

必須

Q3

親切であると感じた度合いを五段階で評価してください

5 件法

必須

Q4

愉快であると感じた度合いを五段階で評価してください

5 件法

必須

Q5

これらの評価の理由を教えてください

自由記述

任意

表 2: P1：登場したガイドに対する好感の評価
高評価

平均

低評価

平均値

3.375

3.425

3.450

分散値

0.490

0.713

0.822

p値0.9655

表 3: P2：登場したガイドの話し方に対する好感の評価
高評価

平均

低評価

平均

3.225

3.350

3.575

分散

0.430

0.9520.688

表 4: P3：体験したシステムに対する好感の評価

p値
0.5614

数人でツアーガイドの参加者役が想起すると思われる感情を検討した候補群である．図 3 に示すように，本実験では興味，困惑，飽き，楽しい，眠いの 5 つを用意した．また，ストーリーの進行操作とは，場面転換のシーンで参加者のタイミングで進行してもらうためのボタン操作である．次に，実験の流れについて図 4に示す．
本実験はオンラインコミュニケーションツールである Zoom を用いて実施した．まず初めに，実験協力者に Zoom へ参加してもらい，実験内容について説明した．その後，実験協力者には体験前アンケートに答えてもらった．体験前アンケートでは，キャンパスツアーのガイドとして好ましい性格を確認するため，4 種類の性格について好きな順番に順位をつけてもらい，ガイド役として最も好きな性格（高評価）と最も好きではない性格（低評価）を確認した．体験前アンケートへの回答が終わり次第，Web アプリを使用してガイドとインタラクションし，インタラクションが終わると体験後アンケートに答えてもらった．本実験では，ガイドとのインタラクションと体験後アンケートの組合せを，高評価のガイドと，低評価のガイド，平均的な性格のガイドの計 3 回分を繰り返してもらった．このとき，順序効果を考慮してインタラクションする順番は

高評価

平均

低評価

平均

3.200

3.300

3.450

分散

0.160

0.560

0.360

p値
0.618

6 通りの組合せを協力者ごとに割り当て実施した．体験後のアンケートでは，下記に示す 3 つの観点で質問した．
P1. 登場したガイドについて
P2. 登場したガイドの話し方について
P3. 体験したシステムについて
3 つの観点について，GodSpeed[9] を参考に好感に関して評価した．表 1 に示す 4 項目に関して 5 件法で確認し，それらの評価をつけた理由についても自由記述で回答を求めた．

4.2

実験結果

本実験では，ガイド役として最も好きな性格，平均的な性格，最も好きではない性格の順で良い評価を得られるという仮説のもと，典型的な性格の自己モデルがユーザに与える影響を確認した．実験協力者は男女の大学生 11 名で，Google Form を用いて回答を収集した．体験後アンケートで得られた結果は，表 1 の Q1から Q4 の質問において実験協力者ごとに，最も好きな性格，最も好きではない性格，平均的な性格の 3 種類に対して平均値をとった．登場したガイド，登場したガイドの話し方，体験したシステムといった 3 つの評価観点におけるそれぞれのアンケートの信頼性係数は 0.34，0.43，0.27 であった．なお，今回の信頼性係数の計算方法は R 言語の alpha 関数を使用した．
次に，一元配置分散分析を用いて登場したガイド，登場したガイドの話し方，体験したシステムのそれぞれ

表 5: 選択された性格の人数分布優しい明るい

真面目

知的

高評価

2名

7名

1名

1名

低評価

1名

1名

4名

5名

表 6: 各評価観点における性格の評価平均値

P1 の評価P2 の評価P3 の評価

優しい

3.75

2.87

3.50

明るい

3.53

3.35

3.25

真面目

2.70

2.90

2.95

知的

3.83

3.95

3.66

関して好感を評価した結果を述べる．なお，今回の一元配置分散分析は，R 言語の ANOVA を使用して解析した．登場したガイド，登場したガイドの話し方，体験したシステムについての各評価結果を表 2，表 3，表4 に示す．
今回の実験結果では，いずれの評価観点においても有意な差があることを確認できなかった．また，各評価観点において最も好きではない性格（低評価）が高い平均値を獲得した．これは仮説としていた最も好きな性格，平均的な性格，最も好きではない性格の順で良い評価を得られるということを棄却する結果となった．
本実験にて選択された最も好きな性格と最も好きではない性格の分布を表 5 に示す．この結果より，最も好きな性格は明るい性格が 7 名と集中的に選択され，最も好きではない性格は知的な性格に 5 名，真面目な性格に 4 名と集中的に選択された．表 6 に性格別の各観点の評価を記載する．知的な性格は各評価観点において他の性格より高い評価を得た．それに対して真面目な性格は，登場したガイドの話し方の評価を除いて最も低い評価を得た．この結果より，最も好きではない性格として高頻度に選択された 2 つの性格においても，その評価が両極端に異なることから，その性格の分散値が高くなったと考えられる．また，最も好きな性格として高頻度に選択された明るい性格は他の性格と比べて平均的な結果となった．
これらのことから，ユーザが性格から想起するエージェント振る舞いと典型的な性格として設計したエージェントの振る舞いが一致しなかったことが考えられる．この問題を解決するためには，2 つの方法が考えられる．1 つは，インタラクションする時間，回数を増やすことである．今回は大学内のツアーでは 1 つの建物
当たり 2 回のやり取りで，計 3 箇所の建物を紹介している．そのなかで，性格における特徴的な振る舞いが登場する機会は建物当たり 2 回のやり取りのなかの 1回であるため，ユーザが印象を抱きにくかった可能性が考えられる．もう 1 つは，性格における表現方法を増やすことである．今回はガイドの台詞を変更することで性格の違いを表現したが，ユーザにとっては文章を読む行為のみになるため，印象を抱きにくかったと考えられる．例えば，音声読み上げやエージェントの手振り身振りといった表現方法が考えられる．

5

考察と展望

本稿では，代理存在の初期的検討として大学内のキャンパスツアーのツアーガイドを焦点を当て，ガイド役の典型的な性格の自己モデルを設計したエージェントを用意し，ガイドの性格によってユーザに与える印象が変化するか確認した．その結果として，性格の違いによってユーザに与える印象に有意な差は確認できなかった．また，最も好きではないと評価された性格の振る舞いが高評価を得る結果となった．これは，ユーザが想定するガイドの振る舞いと設計したガイドの振る舞いにギャップがあったことが原因と考えられる．
このことから，代理存在を実現していくための課題として考えられることは 2 つである．1 つ目は，代理存在における典型他者モデルを設計する方法である．本
実験では典型的な性格を設計することで他者モデルを獲得したこととし，それを自己モデルとして転用した．
しかし，この方法で自己モデルを実装すると，対象の振る舞いとギャップが生じる可能性がある．例えば，1人のガイドを例にとっても典型的な 1 つの性格で振る舞いを説明できるわけではない．典型他者モデルを獲得する上では，典型的な性格を事前に用意するのではなく，実際の心的状態や行動といった情報をベースに典型的なクラスをカテゴライズする方法が望ましいと考えられる．2 つ目は，ユーザに適応するための典型他者モデルを獲得する方法である．本実験ではユーザの好みを確認した上で，好みに該当する性格の典型他者モデルをもつガイドとインタラクションしてもらったが，ユーザから高い評価を得られない結果となった．また，好みではない性格の典型他者モデルをもつガイドとのインタラクションは高い評価を得るケースが多く目立った．そこで，ユーザ個人に適した典型他者モデルを適宜状況に応じてスイッチすることにより，ユーザ個人ごとに学習データを収集せずに，高速かつ高精度にユーザに適応できる可能性がある．今後，代理存在を実現していく上でこれら 2 つの課題を解決していくことが重要だと考えられる．

6

おわりに

本研究は個人の代わりを務める代理存在を実現するため，自己/他者モデルを用いた設計方法を提案した．
本研究における提案手法は，代理する対象である対象とその相手となる他者のインタラクションの様子を代理存在が観察することで，対象の他者モデルを獲得し，獲得した他者モデルを自己モデルに転用することで，対象と同様の価値基準で行動できるというものである．代理存在の実現に向けた初期的検討として，自己/他者モデルの枠組みに当てはめた性格によってユーザに与える代理存在の印象が変化するかを確認するインタフェー
スを作成した．評価実験では性格による有意な差が確認できなかったが，実験を通して代理存在を実現するための課題が発見された．今後は，その課題である代理存在がユーザに適応するための典型他者モデルの設計および獲得方法に関して研究を進めていく必要がある．

参考文献[1] 出典：総務省通信利用動向調査 令和 2 年度調査
[2] 大澤正彦, 奥岡耕平, 坂本孝文, 市川淳, 今井倫太,“認知的インタラクションフレームワークに基づいた他者モデルの提案”, HAI シンポジウム, 2020.
[3] 横矢龍之介, 尾形哲也, 谷淳, 駒谷和範, 奥乃博, “自己モデルの投影にも基づくロボットによる他者発見と動作模倣”, ヒューマンインタフェース学会
論文誌, vol.10, no.1, pp.59-72, 2008.
[4] 横山絢美, 大森隆司, “協調課題における意図推定に基づく行動決定過程のモデル的解析”, 電子情報通信学会誌. A, 基礎・境界, vol.92, no.11, pp.734742, 2009.
[5] Arjun R. Akula, Keze Wang, Changsong Liu,Sari Saba-Sadiya, Hongjing Lu, Sinisa Todorovic, Joyce Chai and Song-Chun Zhu, CX-ToM:
Counterfactual explanations with theory-of-mindfor enhancing human trust in image recognition
models, iScience, Volume 25, Issue 1, 2022.
[6] 佐々木康輔, 及川颯斗, 田足井昇太, 宮田章裕, 大森隆司, 大澤正彦, “共感プロセスを参考にした自己・他者モデルの相補的な学習方法の提案”, 電子情報通信学会, HCG シンポジウム 2021 予稿集, I-2-3,2021.
[7] 阿部香澄, 岩崎安希子, 中村友昭, 長井隆行, 横山絢美, 下斗米貴之, 岡田浩之, 大森隆司, “子供と遊ぶ
ロボット：心的状態の推定に基づいた行動決定モデルの適用”, 日本ロボット学会誌, Vol.31, No.3,pp. 263-274, 2013.

[8] 長原令旺, 田足井昇太, 佐々木康輔, 大森隆司, 大澤正彦, “繰り返し囚人のジレンマゲームを題材とした典型他者モデルの切り替えによる個人適応”,
HAI シンポジウム, 2022.
[9] Christoph Bartneck, Dana Kulić, Elizabeth Croft
and Susana Zoghbi, ”Measurement Instruments
for the Anthropomorphism, Animacy, Likeability, Perceived Intelligence, and Perceived Safetyof Robots”,Int J of Soc Robotics 1, pp.71–81,
2009.