人間との対話の中で親近感を調整するロボットの社会的効果の調査
研究代表者
共同研究者
共同研究者

橋本 卓弥
小木曽 公尚市川 寛子

東京理科大学 工学部 機械工学科 准教授
電気通信大学 情報理工学研究科 教授
東京理科大学 教養教育研究院 教授

1 はじめに
近年，労働力不足や働き方改革を背景に，工場内において人間と協調しながらタスクをこなす協働ロボットが注目されている．また，ホテルやコンビニ，飲食店などで受付や配膳を行う接客ロボットの開発も盛んに行われており，徐々に導入が始まっている．今後，公共施設や家庭内といった，より人間に近い環境の中で情報提供や心理的・物理的支援を行うロボットの開発は益々盛んになっていくものと予想される．
このような，いわゆるサービス・ロボットが人間に受け入れられるための重要な要素して，「感情」が挙げられる．Tyng ら[1]によれば，感情は人間の認知プロセスに大きな影響を与え，特に情動は強い影響をおよぼし，非合理的な選択を動機づけることがあるとされているが，その非合理性こそが人間らしさであり，それに対して親近感や嫌悪感が生じるものと考えられる．ロボットの場合も，人間の意図や感情を理解し，それに応じて内部状態（感情）や行動を変えることにより，親しみやすさが変化するものと予想される．ここで，店舗等での接客を考えると，人間の場合，常連客や態度が良い客に対してサービスの質を変えることがあり，これによって店舗や店員への印象が向上する場合がある．この効果は，接客ロボットの場合でも同じように生じる可能性があり，客への接客態度を変えることにより，リピート率を高め，顧客を定着させることにもつながると考えられる．
以上のような背景の下，本研究では，Iinuma ら[2]が提案した感情ダイナミクスによる非合理性を内包した意思決定モデルを，実際の人間とロボットとのコミュニケーションに応用することを目的とする．そして，ロボットによる接客場面を想定し，店員役であるロボットの合理的な行動あるいは感情的な行動が，客役である人間の印象に影響するか検証した．

2 非合理性を内包する意思決定モデル
2-1 問題設定
合理的あるいは非合理的な意思決定が生じる場面として，ファストフード店において，店員であるロボット（エージェント）が，客から 1 対 1 で注文を受ける場面を想定する．この際，ロボットの合理的な行動とは“やる気に満ちて客に対して良い態度をとること”であり，非合理的な行動は“やる気がなく悪い態度をとる”と仮定する．

図 1 非合理性を内包する意思決定モデル[2]2-2 感情を考慮した意思決定モデルの概要
上述の問題設定における意思決定モデルとして，Iinuma ら[2]のモデルを用いる．モデルの概略は図 1 に示
す通りで，まず，部分観測マルコフ決定過程（POMDP）において，将来割引期待利得を最大化する最適政策

1
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

（合理的な選択）を決定する．次に，感情ダイナミクスの部分では，感情の影響により生じる行動の確率分布を決定する．そして，最後の行動選択の部分では，POMDP の部分で決定した合理的な行動と感情ダイナミクスの部分で求めた感情的な行動の確率分布を用いて，実際に取る行動を決定する．各部の概要は以下に述べる通りであるが，詳細については文献[2]を参照されたい．
（１）部分観測マルコフ決定過程（POMDP）
まず，本問題設定において POMDP を計算するための変数として，ロボットの仕事に対するやる気を表す状態集合を𝑆𝑠 ≔ 𝑚𝑜𝑡𝑖𝑣𝑎𝑡𝑒𝑑, 𝑠 ≔ 𝑛𝑒𝑢𝑡𝑟𝑎𝑙, 𝑠 ≔ 𝑢𝑛𝑚𝑜𝑡𝑖𝑣𝑎𝑡𝑒𝑑 ，ロボットがとる態度を表す行動集合を𝐴𝑎 ≔ 𝑔𝑜𝑜𝑑, 𝑎 ≔ 𝑏𝑎𝑑 ， エ ー ジ ェ ン ト が 客 の 態 度 か ら 受 け 取 る 観 測 結 果 を 観 測 集 合 𝛺𝜔 ≔𝑔𝑜𝑜𝑑, 𝜔 ≔ 𝑛𝑜𝑟𝑚𝑎𝑙, 𝜔 ≔ 𝑏𝑎𝑑
1, 0, 1 と定義する．そして，POMDP では，まず，1 ステップ前で選択した実際の行動𝑎 と与えられた観測𝜔 および現在の信念𝜇 （状態 s の確率分布）から次のステップでの信念𝜇を推測し，最適政策𝜋 ∗ と将来割引期待利得𝑉 ∗ を計算する．そして，ここで計算された最適政策𝜋 ∗ は，合理的∗行動の確率分布𝜇 として行動選択に送られる．
（２）感情ダイナミクス
感情ダイナミクスでは，前のステップで選択した行動𝑎，与えられた観測𝜔 ，POMDP から受け取った将来割引期待利得𝑉 ∗ および最適政策𝜋 ∗ を用いて各行動に対する感情を計算し，感情に基づいた行動の確率分布𝜇を計算する．ここで，二次感情𝜉 は熟慮的な遅い反応を表しており，以下の式(1)に示すように，一次感情𝜁と想像𝜂 から求められる．なお，一次感情𝜁 は即時的な反応を表しており，式(2)で求めている．また，想像𝜂 は，状況変化の良し悪しの程度として計算されると解釈し，式(3)で計算している．そして，感情ダイナミ
クスの出力として，感情的行動の確率分布𝜇 を式(4)を用いて決定する．
𝛼𝜉𝜉𝛽𝜁

1

𝜁

𝑎𝑡 𝜔𝑡 𝑃 𝜔𝑡 𝜇 ,𝑎𝑡𝜂𝜋∗𝑡𝜇exp 𝜉⎡⎤exp 𝜉 ⎥⎢exp 𝜉⎢⎥exp 𝜉⎢⎥exp 𝜉 ⎦⎣exp 𝜉𝛽 𝜂𝜉𝑉 ∗ 𝑎𝑡𝑉∗𝜉𝜉∈ℝ𝛼, 𝛽 ∈ 0,1(1)𝑉 ∗ 𝑎𝑡 1𝑎𝑡 1(2)𝑉𝑡∗ 1 𝜇𝑉 ∗ 𝑎𝑡
∗ 𝑏max
𝑉 𝜇𝑏

(3)

(4)

（３）行動決定∗POMDP で求めた合理的行動の確率分布𝜇 と感情ダイナミクスで求めた感情的行動の確率分布𝜇 を，混合比𝛿 ∈ 0,1 を用いて式(5)のように混合し，行動選択の確率分布𝜇 を決定する．ただし，行動𝑎 をとる確率を𝑃 ，行動𝑎 をとる確率を𝑃 とする．
𝜇 ≔𝑃𝑃≔ 𝛿𝜇∗

1

𝛿 𝜇

(5)

最終的に，ここで求めた確率分布から，閾値𝜎 ∈ 0,1 を用いて式(6)により行動を決定する．
𝑎𝑃𝜎(6)
𝑎 otherwise
つまり，合理的な行動が𝑎 である場合，𝛿 1 𝜎であればロボットは常に合理的な行動を取ることになる．一方，0 𝛿 1 𝜎であれば，感情ダイナミクスの介入により非合理的な行動もとり得ることとなる．
𝑎3 アンドロイド・ロボットを用いた接客システム
3-1 システム構成
問題設定におけるファストフード店での店員役として，人間のような表情表出が可能なアンドロイド・ロ

2
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

ボット[3]を用いる．また，これに音声対話機能や表情認識機能を実装し，意思決定モデルへの入力として用いる．各機能の詳細を以下に述べる．
（１）音声対話システム
音声対話システムでは，Microsoft Azure の音声認識・合成機能を用いている．また，音声認識で認識した発話文を形態素に分割し，文中に含まれるキーワードや語尾を分析できるようになっている．これにより，予め登録したキーワードを認識すると，それに対応する返答を返すことができる．また，語尾から「丁寧な口調」，「普通の口調」，「馴れ馴れしい口調」を判定し，意思決定モデルの観測値として用いる．
（２）表情認識
環境中に設置したカメラで撮影した来客者の顔画像から，オープンソースの表情分析ライブラリ OpenFace
を用いてリアルタイムに「怒り」，「嫌悪」，「恐怖」，「笑顔」，「普通」，「悲しみ」，「驚き」の 7 表情を認識する．認識結果は，各表情に属する確率として出力され，それを意思決定モデルの観測値として用いる．
3-2 観測値と行動の設定
本システムでは，意思決定モデルにおける観測値とロボットの行動を以下のように設定する．
（１）観測値表 1 に示すように，来客者の表情や口調を基に，客の態度の「良い」，「普通」，「悪い」を観測集合𝛺として数値化する．そして，客の表情から受け取った観測の確率の合計値分布𝜇 ，表情取得回数𝑁 ，客の口調から受け取った各観測の合計値分布𝜇 ，客の発話回数𝑁 を用いて，式(7)で観測の確率分布𝜇 を決定する．
ここで，観測𝜔 をとる確率を𝑃 ，観測𝜔 をとる確率を𝑃 ，観測𝜔 をとる確率を𝑃 とする．
𝑃𝜇0.5𝑃
𝑃

𝜇0.5𝑁

𝜇𝑁(7)

そして，式(8)を用いて，観測の確率分布𝜇 から観測を決定する．

𝜔⎧ 1 max 𝑃⎪
0 max 𝑃⎨
⎪ 1 max 𝑃⎩𝑃(8)𝑃
表 1 観測集合𝛺の例
1: 𝑔𝑜𝑜𝑑𝜔
0: 𝑛𝑜𝑟𝑚𝑎𝑙𝜔“Happy”, “Surprise”“Normal”, “Fear”, “Sad”

Observation
Facial expression
Tone𝑃○○でお願いします / はい / いいえa0Action

Facial expression

Utterance○○で / ああ / いや表 2 行動𝐴の例
1: 𝑔𝑜𝑜𝑑

Happy:a1𝜔
1: 𝑏𝑎𝑑“Angry”, “Disgust”○○ / うん / まだ

1: 𝑏𝑎𝑑Disgust:いらっしゃいませ
ご注文をお伺いいたします

注文は？

○○と××ですね
以上でよろしいでしょうか？

○○と××，以上？

お会計は△△円になります△△円

丁度お預かりしますありがとうございました・・・（無言）3
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

（２）行動ロボットの行動を，表情と発話文の違いによって表現する（表 2）．選択された行動が𝑎 （𝑔𝑜𝑜𝑑）の場合，エージェントの表情は笑顔になり，言葉遣いが丁寧になる．反対に，行動が𝑎 （𝑏𝑎𝑑）の場合，エージェントの表情は嫌悪の表情になり，言葉遣いが悪くなる．

4 検証実験
被検者に，本研究で構築した接客システムを体験してもらい，非合理性を含んだ意思決定モデルが，人間がロボットに対して抱く親しみやすさに影響を与えるか検証した．
4-1 接客場面の設定
接客場面を「挨拶」，「注文」，「支払い」の 3 場面に分けた．
「挨拶」場面では，ロボットが来客者に挨拶を行い，「注文」場面で注文を受ける．この際，予め用意した 13 種の商品名や“セット”，“S サイズ”のような 4種のオプション名が客の発話文に含まれるかを確認する．1 回の注文が終わるごとにロボットは注文完了の確認を行い，肯定の返答があった場合には「支払い」場面に進み，否定の返答があった場合には再度注文を求める．
「支払い」場面では，エージェントが値段を読み上げ，会計を行った後に挨拶を行う．以上の流れをまとめたものを図 2 に示す．なお，観測値と信念を更新は，図中の赤矢印において行い，前回とった行動と観測から次の行動を選択するようにした．実験の様子および会話の一例を図 3 に示す．

図 2 会話の流れ（矢印のタイミングで観測値と信念を更新）

図 3 実験の様子（店員：アンドロイド・ロボット，客：人間）
4-2 ロボットに対する親しみやすさの変化に関する検証
被験者 7 名に来客者役になってもらい，以下の 2 条件を体験してもらった．
条件 1：ロボットの接客態度が変化せず，常に良い場合
条件 2：提案モデルにより，ロボットの接客態度が変化する場合
実験では，「注文」の確認場面で必ず肯定の返答をしてもらうようにし，どの被験者も図 2 の 4 ステップで注文が終わるようにした．また，条件 2 では，途中でロボットの態度が必ず悪くなるように，被験者には常に悪い態度をとってもらった．そして，実験終了後に Godspeed Questionnaire [4]の好感度に関する 5 項目（好き，親しみやすい，親切な，愉快な，良い）を 5 段階で評価してもらった（図 4）．

4公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

図 4 「好感度」に関する印象評価アンケート（Godspeed Questionnaire [4]より抜粋）
4-3 検証結果
条件 2 における実験結果の一例として，行動𝑎 をとる確率𝑃 の遷移を図 5(a)に，行動選択の推移を図 5(b)に示す．このように，客が悪い態度を取り続けることにより𝑃 が上昇し，閾値𝜎を越えたところで非合理な行動𝑎 が選択されていることが分かる．

(b) 行動選択の推移の様子(a) 行動𝑎 をとる確率𝑃 の遷移の様子
図 5 評価実験における意思決定モデルの挙動の一例
アンケート結果を図 6 に示す．t 検定の結果，「親切な」において有意差が見られた．この結果から，条件2 においてロボットの態度が悪くなったことが，親切さに影響を与えたと言える．一方，「好き」や「親しみやすい」では，条件 1 よりも条件 2 の方が高い値が得られた．これは，一般的には合理的な行動をとると思われているロボットが，悪い態度をとったことにより，そこに人間らしさを感じ，逆に親しみやすさが増したのではないかと考えられる．
常に態度が良い場合(条件1)

態度が変化する場合(条件2)

5

評価値

43210
好き

親しみやすい

親切な

愉快な

良い

図 6 アンケート結果

5 結言

本研究では，感情ダイナミクスによる非合理性を内包する意思決定モデルをコミュニケーションロボットに取り入れることを目的に，ファストフード店での接客を想定した意思決定モデルを構築した．そして，被験者を用いた実験により，それが人間のロボットに対する印象に与える影響を調査した．一方，今回の実験は限定的な条件でしか評価が行えていないため，今後，被験者を増やすと共に，実験条件や評価方法の見直5
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

しを行い，心理学や行動経済学の観点から人間側の印象の変化や行動変容をより詳細に調べる必要がある．
現在，本研究で提案した意思決定モデルの新たな応用先として，医学部生の医療面接（問診）訓練用の患者ロボットへの適用も進めている．また，人間からの接触行動も観測として使えるように，ロボットの頭部をタッチセンサ化する手法についても取り組んでいる．これから更に改良を進めると共に，より実用的なアプリケーションについても検討していく．

【参考文献】[1] C. M. Tyng et al., “The Influences of Emotion on Learning and Memory,” frontiers in Psychology, 8, Article1454, 2017.
[2] K. Iinuma and K. Kogiso, “Emotion-involved human decision-making model”, Journal of Mathematical andComputer Modelling of Dynamical Systems, pp. 542-560, 2021.
[3] 橋本卓弥，平松幸男，辻俊明，小林宏，“ロボット受付嬢 SAYA を用いたリアルなうなづきに関する研究”，日本機械学会論文集 C 編，Vol. 73，No. 735，pp. 3046-3054，2007．
[4] C. Bartneck et al., “Measurement Instruments for the Anthropomorphism, Animacy, Likeability, Perceived
Intelligence, and Perceived Safety of Robots,” Int. J. Social Robotics, Vol. 1, No. 1, pp. 71-81, 2009.

〈発題名表資料〉
掲載誌・学会名等

発表年月

力覚センサを用いた顔ロボットの触覚セン 第 40 回日本ロボット学会学術講演会
2022 年 9 月 5～9 日
シング（RSJ2022）
第 30 回インテリジェント・システム・
2022 年 9 月 21~22 日
医療面接演習向け音声対話システムの開発
シンポジウム（FAN 2022）

6
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度