HAI シンポジウム 2022
Human-Agent Interaction Symposium 2022

P-7

ロボットとインタラクションを行う通行人のエンゲージメントモデリングEngagement Modeling for Passersby Interacting with Social Robot
坂口 太一 1∗ 岡藤 勇希 1 松村 耕平 1
Taichi Sakaguchi1 Yuki Okafuji1 Kohei Matsumura1
馬場 惇 2,3 中西 惇也 3
Jun Baba2,3 Junya Nakanishi3
立命館大学
Ritsumeikan University
2
株式会社サイバーエージェント
2
CyberAgent, Inc.
3
大阪大学
3
Osaka University
1

1

Abstract: サービスロボットは新たな労働力として期待されており，公共空間で情報推薦の媒体として利用する取り組みが行われている．ユーザに情報推薦を行う場合，ユーザの状態に合わせた対話生成を行うことが重要となる．そのためには，ロボットへの関心度として定義されるエンゲージメン
トを推定することが必要になる．本研究では，多人数の影響を考慮したユーザのエンゲージメントの変化のプロセスを推定可能な手法の提案を行い，実環境のインタラクションのデータを用いて検証した．検証結果より，多人数の影響を考慮した手法を用いることで，エンゲージメントの推定精度が向上することが示された．

1

はじめに推定する手法が提案されている [4]. これらの推定されたユーザのエンゲージメントをロボットの行動戦略に応用することで，柔軟なインタラクションを設計している．
しかし Oteral らの研究では，エンゲージメントの推定に関するいくつかの未解決問題を指摘している [5]．
本研究ではその中でも，(1) 多人数のインタラクションによる影響が考慮されていない点，(2) エンゲージメントの状態変化のプロセスが考慮されていない点，(3) エンゲージメントの正確なアノテーションが困難である
点，(4) データセットが実環境で行われた実験に基づいていない点，の 4 つに焦点を当てたエンゲージメントの推定手法を提案する．
1 つ目の未解決問題として，多人数のインタラクシ
ョンによる影響を考慮した研究は非常に少ない [6, 7]．
Leite らの研究では，ユーザの数を 1 人に固定して作成したエンゲージメントのデータセットを用いて，多人数のインタラクションにおける個々のユーザのエンゲージメントの推定を行った [6]．また Salam と Chetouaniの研究では，1 台のロボットと 2 人のユーザがインタラクションを行う状況において，対象とするユーザのエ近年，様々なサービスロボットが開発されており，商業施設のような公共空間において実際に活用されるようになっている．例としては情報推薦ロボットがあり，施設案内を行うロボットに関する研究 [1] や，通行人に対してチラシ配りを行うロボットに関する研究 [2] などが挙げられる．実環境でロボットが情報推薦を行う際は，ユーザの状態に合わせて対話シナリオを生成し，ユーザに合わせた適切な情報推薦をすることが望まれる．そのために，ユーザの対話への関心度として定義される，エンゲージメントを推定可能になることは重要な能力であると考えられ，様々なエンゲージメントの推定手法が提案されている [3, 4, 6, 7, 8, 9]．
Xu らの研究では，ユーザの姿勢や視線の方向，ユーザとロボット間の距離等の情報を，ユーザのロボットに対するエンゲージメントの推定に利用している [3]．
Duchetto らの研究では，カメラから得られる画像情報から，End-to-End な手法を用いてエンゲージメントを∗ 連絡先：立命館大学

滋賀県草津市野路東 1-1-1
Email:is0459er@ed.ritsumei.ac.jp1ンゲージメントを推定するときに，もう 1 人のユーザから得られる特徴量を用いる推定手法を提案した [7]．
これらの結果では，他人の影響を考慮することでより正確なエンゲージメントを推定可能であることを示している．しかしこれらの先行研究では，ユーザの数が固定されているという問題がある．実環境におけるインタラクションでは，グループサイズが様々なため，グループサイズに影響されない推定手法が必要になると考えられる．
次に，ユーザのエンゲージメント推定に関する研究の多くは，ロボットに対する関心の有無という，2 つのカテゴリのみで扱っていることがほとんどである [6, 7]．
しかし，ロボットに対するユーザの関心は，2 値で表されるものではなく連続的に変化すると考えられる．
Ben-Youssef らの研究では，ユーザの行動から，エンゲージメントの減少の兆候を予測する方法を提案しているが [8]，ユーザのエンゲージメントの状態変化の過程を考慮した推定手法の提案は行われていない．
またユーザのエンゲージメントは，多くの研究においてアノテータの主観に基づいてラベルが付けられている．しかし Inoue らの研究によると，ユーザのエンゲージメントのアノテーションには，アノテータごとにばらつきがあることが報告されている [9]．このことから，ユーザのエンゲージメントを直接ラベル付けすることは困難であるため，別の観測可能な状態を用いてエンゲージメントを推定する手法が必要となる．
最後に，エンゲージメント推定モデルのデータセットに関しては，研究室実験で作成されたものが多く，この場合ユーザとロボットの自然なインタラクションを記録することが困難になると考えられる．一方で，BenYoussef らの研究では，公共空間にロボットを設置し，通行人が自発的に行ったインタラクションを計測したデータセットを公開している [10]．しかしながら，他の研究においては実環境データを用いた取り組みについては数が少ない．
エンゲージメント推定に関する先行研究では，上で紹介した 4 つの問題点のうちいずれかに対して解決を試みている．しかし，実環境でエンゲージメント推定を行うには，すべての問題を解決する手法が求められる．そこで本研究では，4 つ全ての問題点を解決可能なユーザのエンゲージメントを推定するフレームワー
クの提案を目的とする．特に本研究の貢献として，(1)グループサイズに依存しない多人数の影響を受けること，(2) 観測可能な行動を用いたエンゲージメントの連続的な変化を表現すること，の 2 つを考慮した新たな推定手法を提案することである．提案手法を実環境で得られたデータを用いて検証することにより，提案手法の有効性を示す．

2

実環境での計測実験

2.1

実験概要

エンゲージメントの推定対象とする実環境でのロボッ
トとユーザのインタラクションの様子を記録するために，商業施設内1 にロボットを設置した計測実験を実施した．実験の様子を図 1に示す．本実験は立命館大学人を対象とする医学系研究倫理委員会の承認を受けて実施している (承認番号：BKC-人医-2020-027-2)．

sensorrobot

図 1: 実験の様子

2.2

インタラクションデザイン

ロボットとユーザのインタラクションデザインとして，2 体のロボット同士が会話をして，ユーザとの能動的なインタラクションは行わないパッシブソーシャル[12] を採用した．2 体のロボット同士が常に雑談を行っており，通行人がロボットに近づくと雑談が始めから開始される設計にしたため，ユーザはロボット同士の会話を認識しやすくなる．このようなインタラクションにすることで，ユーザはロボット同士の会話に関心を向けやすくなることが報告されている [12]．

2.3

計測結果

計測実験は休日の 2 日間で実施し，合計で 15 時間の計測を行った．記録したインタラクションの内 30 秒以上ロボットの前に滞留し続けたユーザのデータのみを抽出し，エンゲージメントの推定対象とした．その結果，計測したユーザの数は 124 人であり，グループ数にして 55 グループであった．

1 イオンモール草津（滋賀県草津市新浜町 300）

3

提案手法

表 2: 行動の依存性

3.1

ユーザの行動の分析

3.1.1

ユーザの行動カテゴリの定義

本研究では，エンゲージメントを推定するための観測可能な状態として，インタラクション中のユーザの行動を用いた．これは，エンゲージメントはユーザの内部状態であり，直接観測不可な状態であるため，エンゲージメントに関連していると考えられる行動のラベル付けを行った．実験で得られたインタラクションの映像記録を観察し，出現頻度が高く観測されたユー
ザの行動カテゴリを表 1に示す．インタラクション中の映像に対して，行動カテゴリと継続時間をラベル付けして，それらの情報からエンゲージメントの推定を行う．
行動カテゴリのラベル付けは，アノテーションツー
ル ELAN を使用し，本研究とは関係のない 2 名のアノテータに依頼して行った．アノテータは，表 1に示したカテゴリから，インタラクション中のユーザの行動を時間とともに記録した．タイムサンプリング法を用いて，アノテータ間のタグ付けの一致率を計算した結果，65%の一致率であった．
表 1: 観測されたユーザの行動カテゴリユーザの行動説明

ProwlGaze
LookAround

周りをうろつくロボットを見つめる
ロボットを見ずに周囲を見渡す
インタラクションと無関係の行動(スマートフォンを触る等)
ロボットを指差すロボットに話しかける
触る，触ろうとするロボットに手を振る

DoingOthers
Pointing
TalkToRobot
Touch
WaveHands

3.1.2

行動の依存性表 1に示したユーザの行動は，1 人の行動カテゴリを表しているが，複数人でロボットとのインタラクションを行っている時は，自身の行動が他人の行動に影響されることが示されている [6, 7]．この他人の行動からの影響を，行動の依存性と定義し，表 1の中から依存性を持つ行動を選別した結果を表 2に示す．
表 2における Prowl の行動の依存性についての例を示す．本研究で実施した実験では，親子でロボットとのインタラクションをとっている状況が多く観測された．このとき子供はロボットに夢中である一方で，親は滞留はしているものの，周囲をうろつく等の行動を行動依存性が成り立つ

WaveHands
Gaze
LookAround
Pointing
TalkToRobot
Touch
DoingOthers
Prowl✓✓✓

とることが多い．この状況では，親は子供がロボットに飽きるのを待っているのに対し，子供は親を気にかけず，ロボットに対して夢中になり続けていると考えられる．そのため，親の行動は子供の行動に影響を受けている（依存性がある）一方で，子供の行動は，親の行動に影響を受けていない（依存性がない）と考えられる．
そこで他の行動に関しても，他人の行動に依存しているかどうかを記録映像を観察し決定した．依存性のある行動は，複数人でインタラクションをとっている時のみ観測されると解釈することが可能である．

3.2

エンゲージメント推定の提案手法

観測可能なユーザの行動の情報を利用して，ユーザのインタラクション開始から終了までのエンゲージメントの変化のプロセスをモデル化する．本研究では，観測される行動からエンゲージメントの変化率が一意に決まると仮定をおくことで，エンゲージメントの推定を図る．また，観測可能なユーザのインタラクション時間を用いてエンゲージメントの変化率を推定する．提案手法の概要図を図 2に示す．
提案手法ではまず初めに，インタラクション中に観測された行動順に，時系列の区間に分割する．その上で，各区間におけるエンゲージメントの変化率を，線形モデルで定義した式 (1) で表す．

ELj (∆tj ) = aj ∆tj + ELj−1 (∆tej−1 )(1)where ELj−1 (∆tej−1 ) = 1 (j = 1)
ここで，j は行動カテゴリによって分割された区間，∆tjは各区間の経過時間，ELj (∆tj ) は各区間におけるエンゲージメントを表している．また，ELj−1 (∆tej−1 ) は，一つ前の区間における最後のエンゲージメント値である．各区間の線形モデルが持つ傾き aj は，行動カテゴリごとに決定される．
提案手法では，表 1で示した行動カテゴリごとに線形モデルの傾きの確率分布を仮定し，その期待値を最3.3

学習方法

EL (Engagement Level)
j=1

Initial Engagement = 1

j=2

𝐸𝐿! (∆𝑡! )𝐸𝐿" ∆(𝑡" )affectDisengagement = 0
userA approach

LookAroundaffectTalkToRobot

Gaze

userB approach

LookAroundleave

time [s]3.2節で示したように，提案手法では表 1に示した行
動カテゴリごとに傾きの確率分布の正規分布を仮定しているため，すべての行動の正規分布の平均 µ と分散σ を計測データから最尤推定により学習する．尤度関数 L は，観測したインタラクションの終了時間と提案モデルによる推定終了時間を用いて式 (4) のように設計し，準ニュートン法を用いて最適化を行った．

leave

L=−適な傾きとして決定する．図 2に示した例では，ユー
ザ A は j = 1 の区間で Gaze の行動をしていることから，Gaze が持つ確率分布の期待値を，j = 1 区間の線形モデルの傾きとする．本論文では傾きの確率分布に対して式 (2) で示すような正規分布を仮定する．

1exp(−2πσx2j(aj − µxj )2)
2σx2j(2)xj は区間 j で観測された行動，µxj と σxj は各行動 xjの傾きの平均と分散を表している．
複数人でインタラクションをとっている際に，対象のユーザが依存性のある行動 xj を示している時は，他人の行動 yj に影響されるものとしている．そこで，式(3) によって行動の依存性を表現する．
{p(xj |yj ) =p(xj )ηp(xj )

∏Sss=1 p(yj )f (t̂n ; µ, σ)

(4)

n=1

図 2: 提案手法の概要図

aj ∼ p(xj ) = √N∏

(依存性なし)(依存性あり)(3)
η, S はそれぞれ，正規化定数，グループ内の他者の数を表している．
式 (3) に示すように行動の依存性を表現することで，自身が行った依存性のある行動の傾きは，他人の行動の傾きに近い値に修正される．一例として，図 2のユー
ザ A が 2 つ目にとった LookAround は，ロボットとのインタラクションに飽きた時に起きる行動なので，エンゲージメントを下げる傾き (点線) を持つと考えられる．一方でユーザ B がよりロボットに興味を持つ行動を示した場合，依存性を考慮すると LookAround の傾きは本来の傾きよりも大きい値 (実線) になるように修正され，結果としてインタラクション時間が伸びると予想される．
以後，依存性を考慮しない推定手法を提案手法 1，依存性を考慮した推定手法を提案手法 2 とする．

(t̂n − t∗n )21f (t̂n ) = √exp(−)
2σt2
2πσt2σt2 = (αt∗n )2(5)(6)

ここで，t̂n はインタラクション終了の推定時間，t∗n は観測されたインタラクションの終了時間である．観測されたインタラクション時間が長いほど，推定誤差が大きくなると仮定したため，式 (5) に示す分散 σt2 は，観測したインタラクションの継続時間と比例定数 α の積で決定している．本研究では α = 0.1 とした．また
t̂n は，式 (1) で表現するエンゲージメントの値が，初めて EL = 0 となるときの時間として算出している．
このように，観測可能なインタラクションの終了時間を用いて最適化をすることで，インタラクション中のエンゲージメントが推定可能となる．
実環境で計測したデータ 124 人分のうち，98 人分（79%）を用いてモデルを訓練し，26 人分（21%）のデータを用いてモデル精度の検証を行った．また，訓練時と検証時に行動の依存性を考慮しない場合と考慮する場合の 2 つを比較した．

4

解析結果

4.1

推定結果

図 3に，行動の依存性を考慮した推定手法による結果の一例を示す．図 3では，インタラクションが開始した時刻を 0 [s] として，図中の黄色の点が観測したインタラクションの終了時間を表している．この例においては，ユーザは順番に 4 つの行動（Gaze, LookAround, Gaze,Prowl）を示しており，その行動に応じてエンゲージメントの値が変化している．LookAround や Prowl の行
動中にエンゲージメントの傾きが変化しているのは，その時刻に同時にインタラクションをとっていた別のユーザの行動が変化したためである．推定モデルのエンゲージメントが 0 になった時刻と，観測されたインタラクション終了時間が一致しているため，この例においては非常に高精度で推定できていることが確認で

300Interaction Time [s]きる．そのため，インタラクション中のユーザのエンゲージメントの変化も正確に推定できていることが考えられる．

200
1000observation

GazeProwl
LookAround
Observed interaction time

図 5: 訓練データと推定結果のバイオリンプロット

図 3: 提案手法による推定の例
実際に観測したインタラクションの終了時間と，モデルによって予測されたインタラクションの終了時間の差を推定誤差として，学習データにおける提案手法ごとの推定誤差の分布を，図 4に示す．この時の提案手法ごとの推定誤差の平均絶対誤差 (MAE; Mean AverageError)，中央値，最頻値を表 3に示す．これらの値が 0[s] に近いほど，提案手法は観測されたインタラクションの終了時間を正確に推定できていることを意味している．表 3に示す値を提案手法間で比較すると，3 つの指標のいずれも推定誤差が小さいため，行動の依存性を考慮した提案手法 2 の方が推定精度が良いことが確認できる．

proposed method1
proposed method2

1210

Frequency

proposed method1 proposed method28

また，図 5に訓練データのインタラクション時間の分布と，提案手法によって得られる推定値の分布を示す．提案手法 1 では訓練データの密度が高くなっている位置と推定値の密度が高くなっている位置が異なっているのに対して，提案手法 2 では推定値の分布が訓練データにより近くなっていることが確認できる．しかし，訓練データでは密度の低い 100 [s] 付近でも密度が高くなっているため，正しく推定できていない場合も多く含まれていることが確認できる．
次に，26 人分の検証用データを用いて，訓練した提案手法の推定精度の検証を行った．図 6に検証データに対する推定誤差の分布を示す．提案手法ごとの推定誤差の MAE，中央値，最頻値を表 4に示す．検証デー
タにおいても，3 つの指標で提案手法 2 の方が推定誤差が小さいため，正しく推定できていることが確認できる．
図 7に，検証データと提案手法によって得られる推定値のインタラクション時間の分布を示す．提案手法 2による推定値の分布が，提案手法 1 による推定値の分布と比べ，検証データの分布の形状により近いことが確認できる. 以上により，提案手法 2 の方が正しくユーザのエンゲージメントを推定できているため，インタラクション時間の推定精度が高いと考えられる．

644

method1
method2210050050Estimation Error [s]100

図 4: 訓練時の推定誤差ヒストグラム

3Frequency021

表 3: 訓練時の推定誤差の MAE，中央値，最頻値
手法

MAE [s]

中央値 [s]

最頻値 [s]提案手法 1
提案手法 2

59.8
50.3

−60.9
−10.0−65.00.00

100500Estimation Error [s]50

図 6: 検証時の推定誤差ヒストグラム100表 4: 検証時の推定誤差の MAE，中央値，最頻値
手法

MAE [s]

中央値 [s]

最頻値 [s]提案手法 1
提案手法 2

64.1
32.3

−73.3
−0.02

−70.0
10.0

Interaction Time [s]150100500varidation data

proposed method1 proposed method2

図 7: 検証データと推定結果のバイオリンプロット

4.2

学習によって得られた行動ごとの傾き

行動の依存性を考慮した提案手法 2 の推定精度が高かったため，提案手法 2 で得られた確率分布のパラメー
タのみの結果を表 5に示す．表 5における平均が低いほど，エンゲージメントを減少させることを意味している．各行動の出現数に注目すると，学習用に用意したデータセット内で，行動ごとに出現する頻度に大きなばらつきが生じている．出現数の少ない項目に注目すると，平均と分散が初期値 (−0.15, 0.1) からあまり変動していない傾向が見られた．そこで，データセットの中に 50 回以上出現したもののみが正しく学習されたと考えて，それらの行動の比較を行ったところ，Gaze,DoingOthers, LookAround, Prowl の順番で大きい平均値を示している．このことから，Gaze はほとんど 0に近いことから，エンゲージメントを保つ行動と解釈でき，DoingOthers, LookAround, Prowl はエンゲージメントを減少させる行動であると解釈できる．
表 5: 提案手法 2 における学習された行動パラメータ
行動平均分散出現数 [回]Prowl
Gaze
LookAround
DoingOthers
Pointing
TalkToRobot
Touch
WaveHands−0.012−0.800 × 10−2−0.011−0.010−0.130−0.128−0.118−0.1570.279 × 10−6
0.180 × 10−2
1.000 × 10−6
0.347 × 10−3
0.095
0.095
0.115
0.093

290271161
532718974.3

考察

推定誤差の結果より，行動の依存性を考慮した提案
手法 2 の方が，高い精度でユーザのエンゲージメントを推定できていることがわかる．これは，ユーザのエンゲージメントが他人の影響を受けていることを意味しており，この点については先行研究の結果と同様である [6, 7]．ただし，提案手法 2 において推定誤差のMAE が 0 から大きく離れていることから，本論文で提案した手法では，改善の余地があることが示唆される．
実環境でも利用可能な推定手法であるためには，著者らは実際のインタラクション時間に対して，誤差 10%以下の推定精度が必要であると考える．それに対して，本研究で提案した推定手法は，誤差 10%以下を達成することができなかった．提案手法でインタラクション時間を十分に推定できなかった理由として，エンゲージメントの表現に線形モデルを利用していること，対象のユーザ自身が過去に取った行動の影響を考慮できないこと，行動ごとにデータセットに出現した回数に差が生じていることの 3 つが考えられる．これらの問題点を解決することにより，より正確なユーザのエンゲージメントの推定手法が確立されると考えられる．

5

終わりに

本研究では，ロボットとインタラクション中のユーザのエンゲージメントの推定手法の提案を目的とした．
そこで先行研究で指摘されていた未解決問題，（1）多人数のインタラクションによる影響，（2）エンゲージメン
トの状態変化の過程の考慮，（3）エンゲージメントのアノテーションの困難さ，（4）実環境でのインタラクションデータ，の 4 つの問題を解決可能な新たな推定手法の提案と検証を行った．観測可能なインタラクション時間を用いてエンゲージメントを推定した結果，他人の行動を考慮した依存性のある推定手法を用いることで，ユーザのインタラクション終了時間の推定精度が向上することが確認された．これにより，他人の行動を考慮した場合に，エンゲージメントの推定精度が向上することが確認された．
しかしながら，推定精度は実環境で利用可能なほど十分に機能していないことが示されたため，今後はエンゲージメントの表現に非線形なモデルの適応，対象ユーザの過去の行動の影響，データ数の増加の 3 点を考慮することで，精度が改善されると期待する．また
Oteral らの研究では，長期的なインタラクションに対するエンゲージメント推定なども，未解決問題の 1 つであると指摘しており [5]，これらの点についても考慮した推定手法が求められる．これらによって改善したエンゲージメント推定手法が開発されることにより，リアルタイムでのユーザのエンゲージメントに応じて，ユーザの状態に合わせた柔軟なロボットの行動戦略に応用されることが期待される．

参考文献[1] D. Bohus and E. Horvitz. Managing humanrobot engagement with forecastsand... um... hesitations. Proceedings of international conferenceon multimodal interaction, pages 2–9, 2014.
[2] C. Shi, S. Satake, T. Kanda, et al. A robot that
distributes ﬂyers to pedestrians in a shopping
mall. International Journal of SocialRobotics,
pages 421–437, 2018.
[3] Q. Xu, L. Li, and G. Wang. Designing
engagement-aware agents for multiparty conversations. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,
pages 2233–2242, 2013.
[4] F. Del Duchetto, P. Baxter, and Marc Hanheide.
Are you still with me? continuous engagement
assessment from a robot’s point of view. Frontiersin Robotics and AI, pages 116-130, 2020.
[5] C. Oertel, G. Castellano, M. Chetouani, etal. Engagement inhuman-agent interaction: Anoverview. Frontiers in Robotics and AI, pages 792, 2020.
[6] I. Leite, M. McCoy, D. Ullman, et al. Comparing
models of disengagement in individual and groupinteractions. ACM/IEEE International Conference on Human-Robot Interaction(HRI), pages
99–105, 2015.
[7] H. Salam and M. Chetouani. Engagement detection based on mutli-partycues for humanrobot interaction. International Conference onAﬀective Computing and Intelligent Interaction(ACII), pages 341–347, 2015.
[8] A. Ben-Youssef, G. Varni, S. Essid, et al. Onthe-ﬂy de-tection of user engagement decrease inspontaneous human–robot interaction using recurrent and deep neural networks. International
Journal of Social Robotics, pages 815–828, 2019.
[9] K. Inoue, D. Lala, K. Takanashi, et al. Latent charac-ter model for engagement recognition
based on multimodal behaviors. InternationalWorkshop on Spoken Dialogue System Technology, pages 119–130, 2019.
[10] A. Ben-Youssef, C. Clavel, S. Essid, et al. Ue-hri:a new dataset for the study of user engagement inspontaneous human-robot interactions. In Proceedings of ACM international conferenceon multimodal interaction, pages 464–472, 2017.
[11] K. Sun, B. Xiao, D. Liu, et al. Deep
high-resolution repre-sentation learning for human pose estimation. In Proceedings of theIEEE/CVFConference on Computer Vision andPattern Recognition, pages 5693–5703, 2019.
[12] K. Hayashi, D. Sakamoto, T. Kanda, et al. Humanoid robots as a passive-social medium-a ﬁeld
experiment at a train station. In International
Conference on Human-Robot Interaction (HRI),
pages137–144, 2007.
[13] H. Brugman, A. Russel, and X. Nijmegen. Annotating multi-media/multi-modal resources withelan. In LREC, pages 2065–2068, 2004.