情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-24
2023/3/1

⻑期的な関係を築く協⼒エージェントの実現に向けた⼈間とエージェントのインタラクションと性格特性の調査
鈴木克洋†,a)

野本済央†,b)

深山篤†,c)中村高雄†,d)

概要：本研究では，人間と長期的な関係を構築し，一緒に仕事をするなどのより社会的な行動をする能力を持つエー
ジェントの実現を目指している．円滑にエージェントと人がタスクを遂行するには，互いに相手の性格特性を把握しながら自身の思考や行動を変化させる必要がある．本研究では，人同士が協力ゲームをプレイし，プレイ内容やプレイ状況によって自分と相手の性格特性評価にどのような影響があるのか調査を行った．また，個性や行動が異なるエージェントを実装し，ユーザがエージェントに対してどのような印象を持ち，個人特性を感じるのか調査を行った．
調査の結果，ゲーム結果，知り合い/初対面，対面/非対面，エージェントの性格，行動などの様々な要素で相手への個人特性評価だけではなく，自己評価も変化することが確認できた．

1. はじめに1.1 背景度が減少する原因となることを確認した[8]．また，Susel らは高齢者介護のアプリケーションで認知的インタラクションを取り入れたデザインは，ポジティブな気分を促し，ユ近年の技術進歩に伴い，社会の様々な分野で人工知能のーザが感じる孤独感を軽減することによって，健康上の成応用が広がり始めている．AI の社会進出は少子高齢化や人果を改善することを検証した[9]．このように人とエージェ

材不足が社会問題となっている社会においてとても重要でントが良好で長期的な関係を築くことは AI が日常の一部ある．お掃除ロボットや自動運転，コールセンターの業務となる上で非常に重要になると考えられる．人間同士で円サポートなど様々な業務が AI 化していく一方で，協調作滑な協力関係や信頼を築くためには，相手の性格特性を把業，高齢者介護，教育などの個人に合わせたインタラクシ握し，理解する必要がある．1980 年以降，人の基本的性格ョンが重要となる分野では，人間と AI の協力タスクを人特性が５次元で記述できるという Big Five 研究が盛んに行間と同様に解くために課題が多く存在する．人間との協力

われてきた[10]．基本５次元は情緒不安定性，外向性，開放的なタスクでは相手の状況を見たり，相手の個人特性を考性，調和性，誠実性である．和田らは 60 項目の質問に回答

慮しながら思考や行動を変える必要があり，既存の知識のすることで性格特性の基本 5 次元を簡便に計測できる手法

みで推論を行うのではなく相手の思考に対する理解が必要を開発した[11]．並川らは 60 から 29 項目に短縮しても十となる．AI が今以上に日常の一部となるためには，エージ分信頼性が確保できることを確認した[12]．これらの性格

ェントは人間とコミュニケーションを取りながら長期的な特性を把握し，それらに踏まえたインタラクションをエー関係を築き，ユーザの多様なニーズを理解し，社会的な行ジェントが可能になることで人間と AI のコミュニケーシ動をする能力が求められる．

ョンをより円滑に行うことが可能になると考えられる．

1.2 関連研究1.3 目的AI とコミュニケーションを行い，協力タスクのクリアを目

本研究の目的は，人間と長期的な関係を構築することがで指す研究は数多く存在する(なぞなぞ [1] [2]，交渉 [3][4]，きるエージェントの実現である．長期的な関係を構築する

協調グリッドワールドゲーム [5]，質問と回答による対話ためには，相手の性格特性を把握し，それらを考慮した上[6][7])．しかし，従来研究では，如何に正確にタスクを完了でエージェントのアクションを決定することが望ましい．

するかに比重が置かれている研究が多く，AI との協力関係

本研究ではその前段階として協力タスクでのインタラクや信頼性を含む印象について言及していない．人間と円滑ションと性格特性の関係性の調査を行う．また，行動の異にコミュニケーションを行うためには，認知や感情への理なるエージェントを実装し，ユーザがそのエージェントに解が重要となる．人の特性を理解し，それを考慮できるエ対してどのような性格特性を持っていると感じるのか調査

ージェントシステムは様々な利点が存在する．Saunders らを行う．

は高齢者の介護において固定的な行動に基づくインタラク

本論文の貢献は以下の通りである．

ションは，時間の経過とともに反復的になり，ユーザ満足・人間と長期的な関係を構築するエージェントの実現† 日本電信電話株式会社a) katsuhiro.suzuki.vd@hco.ntt.co.jp,b) narichika.nomoto.ds@hco.ntt.co.jp,c) atsushi.fukayama.ap@hco.ntt.co.jpd) takao.nakamura.vp@hco.ntt.co.jp© 2023 Information Processing Society of Japan564

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-24
2023/3/1に向けて，協力ゲームシステム及びエージェントシステムを構築した．
・協力ゲームシステム及びエージェントシステムを利用して，協力タスクでのインタラクションと性格特性の関係性について調査を行った．

2. 提案システム
本章では実装したゲームシステムとエージェントシステムについて説明する．本研究では協力ゲームの題材としてボードゲーム「The Mind」を選択した．The Mind を選択した理由としては，ゲームがシンプルかつゲームのセオリー

図2

ゲームシステム，エージェントシステムの概要

よりも相手の思考やアクションを理解して合わせられることがゲームクリアの重要な要素になるためである．

エージェント思考モデルは 12 名のデータを利用して作成

The Mind の主なルールは以下の通りである．

した．RANSAC アルゴリズムにて外れ値を除寄与した線形回帰分析にて求めている．表現システムはゲーム状況に応・小さい数字から昇順になるように全員で一つの山を作る

じてエージェントがそれぞれ複数の感情に対応するアニメ

協力ゲームであるーションを実行する．
アニメーションと条件を表 1 に示す．

・プレイヤーには 1~100 のカードがランダムに配られる

各感情に対応するアニメーションは複数存在する．また，・プレイヤーは手札の小さい数字から順番に場にカードを個性を持つエージェントを実装するためにそれぞれの性格出していく毎に各種補正を作成した．作成したエージェントの性格と・ゲームをプレイ中は相談禁止・数字を伝えるような身振補正内容を表 2 に示す．

り手振りは禁止である・他の人が持っているカードは見えないため自分がいつ出

表 1 エージェントの感情とアニメーションの一覧

すべきなのか空気を読むことが重要になる

概要

アニメーション

Default

相手の手札の予想値と自分の手札の閾値が一定以内の時に出す通常のアニメーシ
ョンSnicker

相手の手札の予想値が自分の手札よりも大きく小さい
ときのアニメーション

Confuse

相手の手札の予想値と自分の手札の値が閾値以下で手札を出すか悩んでいるアニメーション

また，本研究のゲームシステムは前研究である[13]を踏襲している．作成した協力ゲームの WebUI を図 1 に示す．

表2

エージェントの個性と設定した補正内容

作成した個性補正内容

エージェント 1
せっかち

Default モデルに経過時間 2倍の値を入れ，値を出力した．

0.5 秒

エージェント 2
のんびり

Default モデルの予測値に-10の減算を行い，値を出力した．

2秒

を web カ メ ラ か ら 取 得 す る ． 取 得 し た 顔 画 像 情 報 はエージェント 3
ランダム

10%の確率で手札を出す

1秒

MediaPipe[14]に渡して，Face landmark, Human pose, Hand

エージェント 4
学習最初の 5 回は Default モデルと同じ動作をし，そこから得られたデータを元に予測値の補正を行う．

1秒

エージェント 5
Default

12 人分のデータ[13]を利用して，作成したモデルを使用して予測を行う．

1秒

図 1 協力ゲーム「The Mind」の web UI
エージェントシステムは大きく認識システム，思考システ
ム，表現システムの 3 種類に分けられている．認識システ
ムでは Streamlit + webRTC を用いて，ユーザの顔画像情報tracking データに変換した．またこちらの認識システムを利用して，後述する表現システムのアニメーション(アバターが感情の変化に応じて行うジェスチャ)を作成した．思考システムはゲームサーバの状態を常に確認して，現在のカ予測間隔ードの値，相手の手札数，自分の手札の内容を確認する．
その後，経過時間を入力として相手の手札の推論モデルに従って手札を出すかどうか判断する．

© 2023 Information Processing Society of Japan565

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-24
2023/3/1

3. 実験検証
今回は作成したゲームシステム，エージェントシステムを利用して，人やエージェントの個性によって相手への印象や振る舞いが変化するのか被験者実験を実施した．
被験者は 20〜50 代の男女 51 名であり，それぞれ協力ゲームをプレイした後に，個性や相手への印象，信頼度に関するアンケートに回答した．アンケートは個人性と性格特性を計測するアンケートであり，被験者はそれぞれの質問に1(全くそう思わない)〜7(とてもそう思う)の 7 段階で回答した．個人特性は BigFive の設問に自分と相手についてそれぞれ 29 個の質問に回答した．また，被験者はゲーム中の戦略や考えについて自由記述で回答した．今回の実験 1 では以下の 3 つの仮説を立てた．
1. 相手の印象や感じる個人特性によってゲームのクリア率に差が生じる．
2. 元から知り合いか初対面かによって，相手の印象や感じる個人特性に差が生じる．
3. 相手と物理的距離が近く，非言語情報を得ることができるか否かで相手の印象や感じる個人特性に差が生じる．
これらを検証するために，それぞれの被験者は知り合い/初

図3

実験 1 手札枚数別のゲームクリア率

各被験者の手札枚数ごとのゲームクリア率を図 3 に示す．
結果から初対面よりも知り合い同士の方が，枚数が多い場合は安定してクリア率が高いことが確認できた．また，対面と非対面の被験者を比較すると対面の被験者の方が，クリア率が高いことも確認できた．各被験者の BigFive 特性の自己評価と他者評価を図 4 に示す．自己評価と他者評価を比較すると，外向性や情緒不安定性は他者の方が高い傾向があり，誠実性は自己評価の方が高い傾向があることがわかった．

対面，対面/非対面などの条件を変更して実験を行った．
また実験 2 では，以下の 2 つの仮説を立てた
1. エージェントの性格や戦略によって，相手の印象や感じる個人特性に差が生じる．
2. エージェントがプレイ方針を自分に合わせて学習していく過程を一緒に体験することで親近感や信頼感を覚える
これらを検証するために，それぞれの被験者は異なる性格，プレイ方針を持つエージェントと実験を行った．
3.1 実験 1
実験 1 では人間同士で The Mind をプレイした後に自分と相手について個人特性に関するアンケート調査を実施した．被験者は 20 代~50 代の男女 24 名であり，二人一組で知り合い同士のグループを 6 組，初対面のグループを 6 組に分かれている．知り合い同士，初対面ともに 3 組は相手が正面に座り，表情や仕草が見える対面形式で実施し，残り 3 組は相手の姿や声が全くわからない非対面形式で実施した．機材のセッティングを図 2 に示す．対面の場合は向かい側にアクリル版を用意し，同様のセッティングを行った．非対面の場合は，カーテンで仕切りをすることで被験者同士が見えないようにし，ゲーム中は防音のためのイヤ
図4ーマフを被験者に装着した．最初に操作手順を説明した後に，1 回デモプレイを行い，その後 10 回分のゲームプレイをデータとして取得した．これらの手順を手札が 1~5 枚で繰り返し，各被験者 50 回分のデータを取得した．

実験 1 BigFive 性格特性

3.2 実験 2
実験 2 ではエージェントと実際に The Mind をプレイし，実験後に自分とエージェントへの個性や印象についてアンケート調査を実施した．被験者は 20~50 代の男女 27 名であり，5 種類の異なる動作をするエージェントとそれぞれ© 2023 Information Processing Society of Japan566

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-24
2023/3/1

ゲームをプレイした．それぞれのセッティングを表 2 に示す．ゲーム中は防音のためイヤーマフを被験者に装着した．
実験では 1 つのセッティングを除いて，最初に操作手順を説明した後に，1 回デモプレイを行い，その後 10 回分のゲームプレイをデータとして取得した．これらの手順を手札が 1~5 枚で繰り返し，各被験者 50 回分のデータを取得した．エージェントのアニメーションと対応する思考については記載したドキュメントを被験者に提供した．学習のエージェントは全 10 回のうち，前半 5 回を学習データとし，学習後に後半 5 回の実験を本人データで学習したモデルを使用して実施した．

図6

実験 2 BigFive 性格特性(自己評価，他者評価)

各被験者の BigFive 特性の自己評価とエージェント評価を
図5

実験 2 手札枚数別のゲームクリア率

図 6 に示す．自己評価とエージェント評価を比較すると，外向性，誠実性，情緒不安定性，開放性ではエージェント各エージェントの手札枚数ごとのゲームクリア率を図 5 にの評価が低くなることが確認できた．アンケートを確認し示す．クリア率はデフォルトが一番高く，ランダムが一番たところ，エージェントの表情や動作がわかりにくく参考低かった．また，せっかちやゆっくりとプレイするエージにすることが難しかったという意見が複数見られた．今回

ェントよりも学習エージェントの方がクリア率が低いことは外見情報による差を生じさせないために Face landmark,確認できた．これは人間がプレイごとにエージェントの手Human pose, Hand tracking データで構成されているエージ

札を出すタイミングを学習し，特徴を掴んでいるため，途ェントを使用したが，人間がエージェントの行動や印象を中で戦略が変更される学習エージェントはゲームクリア率判断する上で，表情，動作，外見などの情報は重要であるが低くなってしまったと考えられる．と考えられる．また，被験者の中には細かい目の動きやアイコンタクトができないことをコミュニケーションが難しい理由に記述している人も居た．各エージェントの性格特性評価もエージェントの性格によってばらつきが見られた．
特にランダムでは情緒不安定性が高くなるなど，予想に近い結果が得られた．

© 2023 Information Processing Society of Japan567

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-24
2023/3/1

4. 考察

図8
図7

クリア率別の BigFive 性格特性

(上：自己評価，下：他者評価)
ゲームのクリア率による相手への印象の違いをまとめた結果を図 7 に示す．データを確認したところ，クリア率が高い組は，外向性の評価が低く，情緒不安定性と調和性の評価が高かった．対して，クリア率が低い組は外向性，開放性の評価が高く，調和性の評価が低かった．誠実性はクリア率が高い組は自己評価が低く，他者評価は高かった．
一方で，クリア率が低い組は他者評価が低かった．以上の結果から，ゲームのクリア率によって相手の印象や感じる個人特性に差が生じると考えられる．特に，調和性の評価
ではクリア率によって大きな差が生じており，ゲームをうまくプレイできたことによって自分と相手の調和性に関する印象が高まることが確認できた．
知り合い/初対面別の BigFive 性格特性評価をまとめた結果を図 8 に示す．データを確認したところ，知り合いの組は平均と比較して調和性が低かった．対して，初対面の組は調和性が高い結果となった．誠実性や開放性は知り合い同士の組は自己評価が低く，他者評価が高かった．
一方で，初対面同士の組は自己評価が高く，他者評価が低かった．
外向性や情緒不安定性では大きな変化は見られなかった．
以上の結果から，知り合い/初対面の違いによって相手に感じる調和性，誠実性，開放性などの印象が異なることが確認できた．

© 2023 Information Processing Society of Japan

知り合い/初対面別の BigFive 性格特性(上：自己評価，下：他者評価)

対面/非対面別の BigFive 性格特性評価をまとめた結果を図9 に示す．データを確認したところ，対面の組では情緒不安定性が高く，非対面の組では低くなることが確認できた．
このことから，相手の顔や動作が見えることにより神経質になってしまったり，相手が集中して取り組んでいるのか疑問を持ってしまうと考えられる．実験の結果から，協力ゲーム時の対面/非対面の違いによって自分と相手に対する情緒不安定性の評価が異なることが確認できた．

5. 今後の方針
今回の実験では被験者の映像も取得しているが，それらを利用して検証は行っていない．アンケートには対面/非対面だけではなく，相手の反応を見ることがゲームの攻略のヒントになったという意見や態度をよく見ることが大切だったという意見が多く寄せられた．被験者の顔表情や身振り手振りなどの仕草が印象にどのような影響を与えるのかは調査予定である．今回は感情の変化が被験者に読み取りやすいようにメッシュデータを使用したが，外観の特徴を反映した 3D モデルを用いることで外観の印象を含めた調査検証も可能になると思われる．そのため，エージェントシステムの拡張を行う予定である．また，今回の実験では 51
名被験者を用意したが，前提条件が多様化しそれぞれの条件毎に十分な被験者を用意できたとは言えない．今回の実験結果から見えてきた内容の追実験を実施する予定である．

568

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 9 対面/非対面別の BigFive 性格特性(上：自己評価，下：他者評価)，

6. まとめ本研究では人同士が協力ゲームをプレイすることで，相手に対してどのような印象，個人特性を感じるのか調査を行った．
また，個性や行動が異なるエージェントを実装し，ユーザがエージェントに対してどのような印象を持ち，個2B-24
2023/3/1[3]Lewis, M., Yarats, D., Dauphin, Y. N., Parikh, D., & Batra, D.
(2017). Deal or no deal? end-to-end learning for negotiation
dialogues. arXiv preprint arXiv:1706.05125.
[4]Cao, K., Lazaridou, A., Lanctot, M., Leibo, J. Z., Tuyls, K., & Clark,S. (2018). Emergent communication through negotiation. arXiv
preprint arXiv:1804.03980.
[5]Sukhbaatar, S., & Fergus, R. (2016). Learning multiagent
communication with backpropagation. Advances in neural
information €i0processing systems€i0, 29.
[6]De Vries, H., Strub, F., Chandar, S., Pietquin, O., Larochelle, H., &Courville, A. (2017). Guesswhat?! visual object discovery throughmulti-modal dialogue. In Proceedings of the IEEE Conference on
Computer €i0Vision and Pattern Recognition €i0(pp. 5503-5512).
[7]Yeh, C. K., Hsieh, C. Y., & Lin, H. T. (2018). Automatic bridge
bidding using deep reinforcement learning. IEEE Transactions on
Games, 10(4), 365-377.
[8]J. Saunders, D. S. Syrdal, K. L. Koay, N. Burke, and K. Dautenhahn,“Teach Me-Show Me – End-user personalization of a smart homeand companion robot,” IEEE Transaction[9] Susel Góngora Alonso, Sofiane Hamrioui, Isabel de la Torre Díez,Eduardo Motta Cruz, Miguel López-Coronado, and ManuelFranco. 2018. Social robots for people with aging and dementia: A
systematic review of literature. Telemed. e-Health 25, 7 (2018),533–540.
[10]Costa, P. T., Jr., & McCrae, R. R. （1992）. Revised NEO
Personality Inventory （NEO-PI-R） and NEO FiveFactor
Inventory （NEO-FFI） professional manual. Psychologicalassessment resources.
[11]和田さゆり. 1 性格特性用語を用いた Big Five 尺度の作成 心理学研究，67, 61-67, 1996
[12]並川 努, 谷 伊織, 脇田 貴文, 熊谷 龍一, 中根 愛, 野口 裕之, Big Five 尺度短縮版の開発と信頼性と妥当性の検討, 心理学研究, 2012, 83 巻, 2 号, p. 91-9[13]鈴木克洋，野本済央，北原亮，深山篤，中村高雄，協力ゲー
ムを用いた人間の思考調査 ~信頼感や関係性を構築するエージェントの実現に向けて~，信学会報,vol.122, no.23,
HCS2022-31, pp.151-156, 2022 5 月.
[14]https://google.github.io/mediapipe/

人特性を感じるのか調査を行った．調査の結果，協力ゲー
ムのクリア率，相手が知人かどうか，対面/非対面などの様々な要素で相手への個人特性評価だけではなく，自己評価も変化することが確認できた．また，エージェントとプレイした際もエージェントの戦略や設定した性格に応じて，異なる個人特性評価をすることも確認できた．今後は映像情報やアバターの外観情報も取り入れ，印象や個人特性に影響を与える要素の解明を進める．また，研究の最終目標である個人特性を考慮して，アクションを決定できるエージェントの実現を目指し，プレイ内容からユーザの個人特性推定やそれに合わせたエージェントの最適行動方針策定などを進める方針である．

参考文献[1]Foerster, J., Assael, I. A., De Freitas, N., & Whiteson, S. (2016).
Learning to communicate with deep multi-agent reinforcement
learning. Advances in neural €i0 information processing systems,
29.
[2]Lazaridou, A., Peysakhovich, A., & Baroni, M. (2016). Multi-agent
cooperation and the emergence of (natural) language. arXiv
preprint arXiv:1612.07182.

© 2023 Information Processing Society of Japan569