信学技報

一般社団法人 電子情報通信学会
一般社団法人 電子情報通信学会
THE
INSTITUTE OF ELECTRONICS,THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
IEICE Technical Report
IEICE Technical Report

CNR2021-1(2021-07)

INFORMATION AND COMMUNICATION ENGINEERS

複数台ロボット環境における HRI 分析のためのユーザ動作計測増田 琢弥†

大和 淳司†

杉山 弘晃‡†工学院大学情報部 〒192105-0015 東京都八王子市中野町 2665-1‡NTT コミュニケーション科学基礎研究所 〒619-0237 京都府相楽郡精華町光台 2-4
E-mail: j318249@ns.kogakuin.ac.jp, jy@acm.org, h.sugi@ieee.org
あらまし これまでに複数台の対話ロボットとユーザの対話におけるユーザの反応を分析するため様々な情報取得方法を試みてきた。ユーザによる主観評価、発話時間長などの客観指標、ユーザの生理指標などである。これらについての利害得失を整理し、新たに導入するユーザの動作計測の特長をまとめる。動作計測の特性に基づいた研究の方針についてまとめ、今後の研究計画について述べる。
キーワード 対話ロボット，対話システム，HRI，動作計測

Motion measurement for HRI analysis of user with multi conversational robots
Takuya MASUDA†

Junji YAMATO†

andHiroaki SUGIYAMA‡†Faculty of Informatics, Kogakuin University 2665-1 Nakano-cho Hachioji, Tokyo, 192-0015 Japan‡NTT Communication Science Laboratories 2-4 Hikari-dai, Seika-cho, Kyoto, 619-0237 Japan
E-mail: j318249@ns.kogakuin.ac.jp, jy@acm.org, h.sugi@ieee.org
Abstract We have tried various information acquisition methods to analyze the user's reaction in the dialogue between
multiple dialogue robots and the user, including subjective evaluation by the user, objective index such as utterance time length,
physiological index of the user. We will sort out the advantages and disadvantages of these, and summarize the features of newly
introduced user motion measurement using motion capture devices. The research plan based on the characteristics of motion
measurement is described.
Keywords dialogue robot, diarogue system, HRI, motion captureの維持につながると考えられる。

1. は じ め に近年様々な対話システムに注目が集まる中、特にそこで本研究では人同士の対話における動作を計

Siri や Google Home な ど あ る 程 度 文 脈 を 理 解 し た 発 話

測し、ユーザの対話意欲の維持に影響する非言語行動のできる対話システムが広く普及してきた。一問一答にはどんなものがあるか分析を行おうと考えた。またにとどまらずターンを重ねる対話も部分的に可能とな対話意欲を外部から知るために、ユーザ行動や動作のっている。著者らはこれまで複数台の対話ロボットとどのような特徴が有効かについても検討を行っていきの対話におけるユーザの対話意欲について検討してきたい。

た [1,2]。 こ れ ら の 対 話 シ ス テ ム に お い て も 、 ユ ー ザ と2. 関連研究のやり取りが長くなると不自然な返答をしたり対話破綻を起こすことでユーザの対話意欲を減退させ、ユーどのような非言語行動がユーザの対話意欲の維持ザが対話システム自体を利用しなくなる可能性が高ま向上に有効かを考えるため、まず対話意欲を評価し比る。

較するための指標が必要である。しかし、人同士が自人同士の対話ではジェスチャやスキンシップなど然に対話する状況を想定すると、発話ごとに対話を中身体を用いた非言語情報の共有が自然に行われている。

断させてその時点の対話意欲を評価させるのでは都度

そこで、発話内容の文脈だけではなくユーザの非言語対話を中断させることとなり自然な対話を阻害するこ行動を読み取り対話に反映させることができれば、よとになる。また対話意欲を発話者本人に主観的に評価り自然な対話に近づくことができ、ユーザの対話意欲させる場合、定量的な評価を高い精度で安定的に得る-1ThisThisarticle
articleisisa atechnicaltechnicalreportreportwithout
withoutpeer
peerreview,review,andanditsitspolishedpolishedand/orand/orextended
extendedversion
versionmay
maybebepublishedpublishedelsewhere.
elsewhere.
Copyright©20●●
IEICE
Copyright©2021 byby IEICE

ことが難しい。

割合を調べ対話意欲の指標とする。

一方で、外部から計測可能な行動の指標や生理指標

また、自然な対話を損なわずにユーザの非言語行動によれば客観的定量的な計測が可能となる。例えば丸を測定するため、多数のカメラとマーカーを使用する

山 ら [1]が 行 っ た 発 話 長 と sAA（ 唾 液 ア ミ ラ ー ゼ 活 性 度 ）Motion Capture (Cortex)で ユ ー ザ の 動 き を 計 測 す る 。こ比を指標とした実験では、対話終了後の唾液アミラーれにより高いフレームレートで身体の座標が数値としゼを用いた。定量的な計測が可能だが、まず発話長やて得られる。定量的な計測が高精度に可能で、自然なsAA の 変 化 が 発 話 意 欲 と ど の よ う な 関 係 に あ る か 、時対話を中断させることなく動作を取得することができ間的に安定するか、個人差はどうかなど、指標としてる 。 ま た 対 話 意 欲 の Ground truth と し て は 本 人 に よ るの信頼性が低いことが問題となる。

ボタン入力と複数の第三者による映像観察によるラベ

またこれらの指標は計測頻度が低いことも課題でリングを検討する。本人入力は頻度が低いことと対話

あ る 。[1]に お い て は 一 連 の 対 話 終 了 時 に １ 回 の 計 測 をに影響することが欠点であり、第三者入力は精度が低行った。これ以上の高頻度な計測、例えば 1 発話毎のいことが課題である。複数組み合わせて使用すること

計 測 を 行 お う と す れ ば 、対 話 を 中 断 さ せ sAA を 測 定 すで、評価指標候補との相関を検討していく。

る必要があり、自然な対話を損なう可能性が高い。
一 方 で 、丸 山 ら [2]が 行 っ た ボ タ ン と レ バ ー を 用 い た

表2

対話意欲を入力させる場合方式は、発話ごとに被験者評価指標の候補

評価指標

計測方法

によって対話意欲を評価させることが一応は可能であり 、頻 度 は sAA に 比 べ れ ば 高 い 。し か し 被 験 者 の 負 荷

発話時間長比率を低くするため定性的な評価を行わせるのが限界であある time window 内に占める発話時間の割合の時間変化った。また、ボタンを押す行為は低負荷とはいえ自然motion capture (Cortex)でな対話を妨げる可能性は高い。これら評価指標の課題
関節の角速度を表 1 に示す。

位置計測した 3 点の角度から角速度の時間変化を計測

以上から、本実験では自然な対話の流れを妨げず、頭部計測点から視線方向を精度が高く定量的な対話意欲の評価を、高い頻度で得頭部運動（視線の近似）ることと、評価を客観的に行うことができる指標を目近似し、対話相手を中心とした注視点位置計測指す。これらの条件を満たす指標として、ユーザの動作からの対話意欲が評価できないかについての検討を進める。

3.3 手 順表1

実験手順のフローチャートを図 1 に示す。図 2 のよ

評価指標の課題
sAA

ボタンう に 被 験 者 全 員 に 右 人 差 し 指 ,右 手 の 甲 ,右 腕 ,右 肘 ,右レバーの 二 の 腕 ,右 肩 ,背 中 ,左 人 差 し 指 ,左 手 の 甲 ,左 腕 ,左 肘 ,左定量・定性

定量

定性の 二 の 腕 ,左 肩 ,右 側 の 胸 ,額 ,頭 頂 部 ,後 頭 部 ,右 側 の 側 頭

主観・客観

客観

主観

部 の 計 18 個 の 反 射 マ ー カ を 取 り 付 け る 。 そ の 状 態 で

計測頻度

極めて低い

低い

向かい合い、机を挟んで椅子に座りながら 5 分間の対話を始めるよう教示する。
5 分 間 の 対 話 を 録 音 し 、 Cortex で 動 き を 録 画 す る 。
対話が終わった後、録音した音声からそれぞれの被験3. 対 話 実 験 の デ ザ イ ン
3.1 目 的者が 1 分間に話していた文字数の割合の時間変化を調
べ る 。 次 に 録 画 し た Cortex か ら 右 人 差 し 指 -右 手 の 甲 ,人同士の自然な対話を阻害することなく対話意欲

右 手 の 甲 -右 腕 ,右 腕 -右 肘 ,右 の 二 の 腕 -右 肩 , 左 人 差 しの計測を行いたい。そのため非言語行動の分析、特に

指 -左 手 の 甲 ,左 手 の 甲 -左 腕 ,左 腕 -左 肘 ,左 の 二 の 腕 -左ユーザの動作から対話意欲が評価できるかについて検肩 ,頭 頂 部 と 後 頭 部 を 結 ぶ 直 線 と 額 を 水 平 に つ な い だ 2討を行う。

点間の角速度の時間変化を調べる。そして発話の割合の時間変化とそれぞれの角速度の時間変化を点グラフ

3.2 評 価 指 標 の 候 補
本実験で検討する評価指標の候補を表 2 にまとめた。
対話意欲が高ければ対話に多く参加し、発話長も長にし、どの動きが発話の割合と相関が強くなるかを確認する。また発話ごとに対話の継続意向についてのボタン入力を行う。対話の映像・音声記録を実験後に複くなると考え、一定時間内にユーザが発言した時間の-2-数の第三者に視聴させ、ユーザの対話意欲についての評価を行う。

実験準備

実験開始

被験者全員い反射マーカを装着させる

5分間の対話を始めるよう教示する

机を囲んで向かい合い頭のマーカが水平を向いていることを確認する

分析開始

Cortexで取得したExcelデータからそれぞれの関節の動きの時間変化を調べる5分間の対話が終了
レコーダーで得た音声から被験者ひとりずつ、発話時間が1分間に占める割合の時間変化を調べる

Cortexによる録画、レコーダーによる録音、ビデオカメラによる実際の映像の録画、全体の様子を確認できるビ
デオカメラの録画を始める

上二つの動きと発話時間の割合にどのような相関があるかを分析する

実験終了

図1

図2

実験手順フローチャート

被験者が反射マーカをつけた状態

4. ま と め と 今 後 の 検 討
以上の方針に基づき低侵襲で高頻度な客観的定量的な計測方法についての検討を進めていく。現在、単一被験者の記録は可能であるが、動作記録時の複数人データ取得のための動きのテンプレート作成を進めている。また視線の近似として頭部方向を安定して抽出するため、頭頂部と後頭部のマーカーを組み合わせて利用する方式の検討を進めている。水平方向と垂直方向の情報を異なる組み合わせから得ることで安定取得が可能か予備実験での評価を進める。また第三者による対話意欲評価を安定して行うための注目点や教示についても課題が多く引き続き検討を進めていく。

文献[1] 丸 山 洸 太 ， 大 和 淳 司 ， 杉 山 弘 晃 .”対 話 ロ ボ ッ ト の複数台化とジェスチャ表出による対話意欲変動の 分 析 ”, 電 子 情 報 通 信 学 会 論 文 誌 D Vol.J104-D
No.1 pp.30-41 発 行 日 : 2021/01/01[2] 丸 山 洸 太 ， 大 和 淳 司 ， 杉 山 弘 晃 , ”対 話 意 欲 変 動 要因としての対話ロボットの複数台化とジェスチ
ャ 表 出 の 有 効 性 評 価 ”, Human Agent Interaction シン ポ ジ ウ ム 2018, P-35, 2019 年 3 月-3-