2C1-4
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 26 回日本バーチャルリアリティ学会大会論文集（2021 年 9 月）

会話エージェントにおける視線とフィラーを組み合わせた非言語的な質問認識開始手法の研究
郭正雄 1) ，葛岡英明 1) ，吉田成朗 2,3) , 川口一画 4) , 鳴海拓志 1) , 雨宮智浩 1)

Masao KAKU, Hideaki KUZUOKA, Shigeo YOSHIDA, Ikkaku KAWAGUCHI, Takuji NARUMI andTomohiro AMEMIYA
1) 東京大学 情報理工学系研究科（〒 113-0033 東京都文京区本郷 7-3-1, {kaku, kuzuoka, narumi,amemiya}@cyber.t.u-tokyo.ac.jp）
2) 東京大学 先端科学技術研究センター（〒 153-8904 東京都目黒区駒場 4-6-1, shigeo@star.rcast.u-tokyo.ac.jp）
3) 国立研究開発法人科学技術振興機構 さきがけ (同上)4) 筑波大学 システム情報系（〒 305-8573 茨城県つくば市天王台 1 丁目 1-1, kawaguchi@cs.tsukuba.ac.jp）
概要: スマートスピーカのような音声操作型の会話エージェントは, 特定の単語（ウェイクワード）を最初に言うことで質問の認識を開始する. 一方で, この方法では対話の構造が不自然になることや, エージェントの数だけウェイクワードが必要になるといった問題が考えられる. 本研究では, 視線や会話の間に挟む音声表現であるフィラーといった非言語的手がかりを組み合わせた自然なウェイク手法を提案し,その有効性を検証した.
キーワード： 会話エージェント, スマートスピーカ, 視線, フィラー

1.

はじめにスマートスピーカのような音声操作型のインタフェース

2.

関連研究

2.1

スマートスピーカに関する研究では, ウェイクワードと呼ばれる特定の発話をトリガーとしSciuto et al. は Amazon 社の Alexa を利用している家て質問を認識し, ハンズフリーで操作ができることが特徴で庭の履歴ログの分析やインタビューを通して, 日常生活でスある. 実際にこうしたデバイスは日常生活の中で家電の操マートスピーカどのように利用されているかを調査した. そ作や情報検索など様々な用途で利用されており, 広く普及がの結果, 天気などの情報検索, タイマーなどのツール機能, 家進んでいる [1].

電やメディアの操作といった様々な用途でスマートスピー

その一方で, ウェイクワードをトリガーとして質問と応答カを利用していることがわかった [1]. Alexa などの市販さを行う対話構造は自然ではないといった指摘がされているれているスマートスピーカのほとんどは, 質問の始めに「ア[2]. また, ウェイクワードを何度も繰り返す必要があること,レクサ」などのようなウェイクワードをつけることで質問プラットフォームの数だけウェイクワードを記憶する必要がの聞き取りを始める手法をとっている.

あることがユーザの負担を大きくするという問題も考えら一方で, Vtyurina et al は, 会話エージェントが指示しなれる. そのため, より自然に操作できて，ユーザにとって負がら人間が作業を行い, その中の会話について調査した研究担が少ないトリガー手法を検討することが会話型インターの中で, (トリガーワード, 質問, 返答) という枠組みが制約フェースの普及にとって重要である.

となり, 自然なインタラクションの障害になっていると指摘

筆者らはそうした自然なインタラクションの手段として,している [2]. また, ウェイクワードを採用したシステムは非言語的な表現が有効ではないかと考えている. 我々は特テレビやスマートフォンなど多くのデバイスに搭載されてに視線と, 「えーと」や「あのー」といった音声表現であるおり, 様々なプラットフォームが乱立することによって複数フィラーに注目した. そこで, 本研究では非言語的な表現をのウェイクワードを記憶する必要が生じ, ユーザの負担が大利用することでより自然で負担の少ない質問のトリガー手きくなることも問題として挙げられる. そのため, より自然法を開発することを目的とし, 視線とフィラーを組み合わせな操作性で負担の小さいトリガー手法を開発することが会た手法を提案した上で, 評価のために予備実験を行った.

話型インターフェースの普及にとって重要な課題であると考えられる.

2.2

非言語的表現の活用

より自然なインタラクションを検討するにあたり, 筆者らは人間がコミュニケーションの中で言語表現以外に様々なⒸ 2021 日本バーチャルリアリティ学会-2C1-4-

2C1-4

非言語的表現を利用していることに注目した. そして, そう行う以下のような手法を考案した.

した非言語的表現を会話型インターフェースに取り入れる

1. アイドル状態時にユーザが視線を向けると, 応対可能ことを検討した.

状態となる.

非言語的表現として，川口らは人間が会話の開始時に相2. 応対可能状態時にユーザが「え〜」と発話すると, 聞互注視を行うことに注目し，会話エージェントを注視しおき取り状態になる.

互いに目を合わせることで質問を開始する手法を開発した．
これにより，システムの操作性や対話感が向上することを

3. 聞き取り状態で質問を聞き取り, 返答を行う.

示した [3]. しかし, 多人数会話で評価した研究では, ユーザ

4. 返答が終了後, 再びアイドル状態となる.

が質問中に注視をし続けず失敗する場合があることや, 誤認識を防ぐための視線が逸れた場合のタイムアウト処理をどれくらい時間で行うか調整が難しいといった指摘がされている [6].

これにより, フィラーを検知後はユーザは視線を常に向け続ける必要がなくなる, 意図しない視線が検知された場合でもフィラーを言わない限り誤って聞き取ることを抑制できるといった利点を自然な操作感を損なわずに得ることができ

これに関して, Goodwin は話し手は話している最中に聞き手を見続ける必要はなく, 視線を向けることはあくまで応対可能性の確認が目的であると述べており [7], 質問のトリガーとして注視されているかどうかという情報だけでは不ると考えられた.

評価実験

4.
4.1

十分であるということが示唆されている.

装置

実験装置は, Raspberry Pi 4 を中心に, 音声の入出力のまた, Pomykalsk et al は質問をトリガーする手法としてためのマイクとスピーカを備えたスピーカフォンと視線認指を鳴らすなどの 5 種類のジェスチャを比較し, その結果,識用のカメラ, 状態を示すための LED で構成し, 筐体は 3D

指を鳴らす場合と手を振る場合の評価が高かったとしていプリンタで作成した. また, フィラー認識はオープンソース

る. この中で, ジェスチャは場合によっては別の意味に受けのウェイクワード認識ライブラリ1 を使用し, 質問の聞き取取られてしまう可能性があるため, 社会的な意味の薄いもの

りと応答は Google Assistant Service2 を利用した.

が好まれたり, 音声と使い分けられるような複数のモダリ4.2

ティを備えた手法が望ましいといったユーザの意見も紹介されている [4].

タスク

会話型インターフェイスを備えたシステムが普及していく中で, 複数のシステムが存在する状況を想定した評価が必さらに, 非言語的な表現は質問のトリガー以外の目的でも要であると考え, 3 台のスマートスピーカに連続して質問を活用されている. Yan et al はスマートスピーカが誤った反行うタスクを設定した. この時, 質問の種類として「廊下の応をしてしまった場合に人間の表情が変化することに着目明かりをつけて」といったスマート家電の操作を意図したもし, 顔をしかめることによってスマートスピーカの誤った応の, 「今日の午後の気温は」といった情報検索を意図したも答を中断する手法を開発し評価を行った. その結果, ボタンの, 「明日の 9 時にアラームを設定して」といったツール機を押したり特定のワードを言う場合に比べて, より素早くか能を想定したものの 3 種類を用意し, 3 台のスマートスピーつ直感的に中断ができたと述べている [5].

カにもそれぞれ対応する役割を与えた.

ここまで, 非言語表現を取り入れた会話型インターフェー

そして, 参加者には 30 個の質問を 10 分以内にそれぞれスの研究について述べたが, いずれも単一のモダリティを利の内容に対応する役割のスマートスピーカにできるだけ多用したものであり, 複数のモダリティを組み合わせた例は少く質問するよう伝えた. この時, 各スマートスピーカの役割ない. そして, 前で述べたように, 単一のモダリティでは意及び質問の種類をわかりやすくするために, 役割に対応した図が曖昧であったり多義的な解釈が可能になってしまうこシンボルを設定し, それぞれのスマートスピーカと参加者にとから, 複数のモダリティを組み合わせることの有効性が示

渡す質問リストの質問に表示した.

唆されている.

3 台のスマートスピーカは参加者の頭部の位置を中心としそこで本研究は, 実際にユーザビリティを改善することがた半径 40cm, 中心角 120 度の扇型状に左右対称になるよう示された視線を用いる手法に対して, さらに他の非言語的表に 60 度ごとに配置した. ただし, 実際の実験では 3 台のう現と組み合わせることを検討し, フィラーに注目した. フィ

ち参加者の右側に配置した 1 台に問題が発生したため, 質問

ラーとは会話の始まりや途中で見られる「えーと」や「あの役割の対応を修正した上で配置は変えず左と中央の 2 台のー」といった言い淀み表現であり, 会話の開始や会話の順のみで実験を行った.

番の維持を示す手がかりとして用いられることもある [8].

3.

実験は被験者内計画で実施され, 大学院生の 20 代男性 6名が参加した. 参加者にスマートスピーカの使用経験を確提案手法
本研究では前章で述べたように, 複数のモダリティを備え認したところ, 6 人中 5 人が使用した経験があると答えた.

た手法が有効であると考え, 視線を応対可能性の確認, フィ
ラーを質問の意志の確認という 2 段階で質問のトリガーを

1 https://github.com/MycroftAI/mycroft-precise
2 https://developers.google.com/assistant/sdkⒸ 2021 日本バーチャルリアリティ学会-2C1-4-

2C1-4

図 1: 実験中の様子（システムの前方に役割を示すシンボルが置かれている）

図 2: System Usability Scale によるユーサビリティの評価点（エラーバーは 95%信頼区間を示す. 以後も同様.）条件4.3

実験条件として以下の 3 条件を設定した. なお, 視線の検出は顔の向きをカメラで自動検出することにより行った.

• ウェイクワード条件：決められたフレーズを最初に発話することでトリガーを行う条件. ウェイクワードのトリガーは実験者が手動で行った. 実験ではウェイク
ワードは「ヘイ, サトウ」, 「お〜い, スズキ」, 「タカハシさん」の 3 種類を使用し, これらのウェイクワー
ドは質問リストに記載した.

• 視線条件：視線によってトリガーする条件. 視線を向けたら聞き取りを始め, 質問の発話終了後のポーズが

図 3: NASA-TLX による作業負荷の評価点検出されれば返答を行い, その前に視線が 1 秒以上逸れた場合は返答の処理をキャンセルするよう設定に(p < 0.1, F = 3.93) が見られた. また, 多重比較ではウェイした.

クワード条件とマルチモーダル条件の間で有意差 (p < 0.05)• マルチモーダル条件：視線とフィラーを組み合わせたが見られた.

前述の提案手法に対応する条件. フィラーの検出は前述のライブラリを利用した. 応答可能状態において視5.

考察

線が 1 秒以上逸れた場合はアイドル状態に戻るよう

5.1

ウェイクワード条件が高評価となった要因

本研究の実験の結果, SUS によるユーザビリティの評価に設定した.
なお, 参加者にスマートスピーカの状態をフィードバックできるように, 聞き取り状態の時は青, 返答中は緑, マルチ
モーダル条件の応答可能状態の場合は黄色に LED を光らせた.

4.4

Scale[9], ユーザの作業負荷を NASA-TLX[10] によって評価を行った.

果となった. その原因として幾つかの要因が考えられる.
まずはじめに, 今回の実験ではウェイクワードは手動によラー検出を利用した条件よりも高く評価されたことが考えられる. また, 今回の実験の設定では各スマートスピーカ間の距離が狭く, 複数台が同時に参加者の顔を認識してしまうことが頻繁にあったため, 確実に単独でトリガーできるウェ

結果

はじめに, System Usability Scale の結果について述べる. 各項目のアンケート結果に基づいて評価点を算出した結果, 図 2 のような結果となった. この結果について, 有意水準

α = 0.05 で一要因分散分析を行ったところ有意傾向 (p < 0.1,F = 3.79) が見られた. 下位検定として Bonferroni 法による多重比較を行った結果, ウェイクワード条件とマルチモーダル条件の間で有意差 (p < 0.05) が見られた.
次に, NASA-TLX についても同様に評価を行った. その結果, 評価点は図 3 のようになり, 分散分析の結果, 有意傾向

Ⓒ 2021 日本バーチャルリアリティ学会

最も高く評価される傾向が見られ, 川口らの研究に反する結る操作であったため, 自動検出で精度が劣る視線検出とフィ評価方法

各条件について, システムの操作感を System Usability

4.5と NASA-TLX による作業負荷の双方でウェイクワードがイクワードが評価され, 視線を用いる手法の評価が下がったことも一因として考えられる. そのため, 視線やフィラーの自動検出の精度を向上させ誤作動を減らす必要があると言える.
また, 機材の不調により操作する対象のスマートスピーカが 3 台から 2 台になったことや, 実際の使用場面とは異なり質問用紙にウェイクワードが記載されていたために, ウェイクワードを使用することの負荷があまり大きくなかったことも考えられる. これについて, 実験中に間違ったエージェ-2C1-4-

2C1-4

ントに呼びかけた失敗と 「ヘイ, ・・・」や「お〜い, ・・・」双方で高く評価される傾向が見られ, マルチモーダルな手法といったウェイクワードの呼びかけ部分を混同してしまうの評価は低かった. この結果は, 実験上の制約や設定によっ失敗が 1 度ずつ見られたことから, 負荷が大きくなった場合てウェイクワードが有利となったことが影響したと考えらにウェイクワードの評価が下がる可能性が示唆されている.

れるが, 視線のみを用いる条件と比べた場合にマルチモーダ

こうした実験上の制約による影響が考えられる一方で,ルな手法は視線を向け続けなくても良いと言う特徴が作業ウェイクワードがユーザにとって十分に使いやすい手法であ負荷の面では評価されたことも示唆された.

るということも実験後のアンケートの自由記述コメントか

今後は, 実験条件の見直しや提案手法の改良を行った上ら伺える. 実際に, 6 人の参加者のうち 3 名がウェイクワーで, 本実験を行うことを予定している. また将来的な展望とドは身体的な動きを伴ったり複数の作業を続けて行わなけれして, ウェイクワードや視線, フィラーといった表現を段階ばならない他の条件に比べ, 手間が少なく最も使いやすかっ的に扱うのではなく総合的に判断してトリガーする手法や,たという趣旨のコメントをしていた. しかし, 川口らの研究

フィラーや視線以外の非言語的表現の活用した手法の開発とは異なり今回の実験ではほとんどの参加者がスマートスを検討している.

ピーカを使用した経験があったことから, 参加者がある程度ウェイクワードを使う手法に対して慣れていた影響の可能

参考文献[1] Sciuto, Alex, et al. ““Hey Alexa, What’s Up?” A性も考慮する必要がある.

5.2

Mixed-Methods Studies of In-Home Conversational

視線条件とマルチモーダル条件の比較

Agent Usage” Proceedings of the 2018 Designing In-

次に, 視線条件とマルチモーダル条件を比較した場合の考察を述べる. 両者間の比較はウェイクワードの場合とは異な

teractive Systems Conference. 2018.
[2] Vtyurina, Alexandra, and Adam Fourney. “Exploring

り精度の面での差は小さく, 実際の操作感の影響が強いと考

the role of conversational cues in guided task support

えられる.

with virtual assistants.” Proceedings of the 2018 CHI

この 2 条件間では大きな差は見られないが, SUS と NASA-TLX の双方でやや視線条件の方が評価が高い傾向が見られ,

conference on human factors in computing systems.

SUS の評価点を見ると 6 人中 5 人とほとんどがマルチモー2018.
[3] 川口一画, and 葛岡英明. “スマートスピーカーにおけるダル条件よりも視線条件の方が評価が高かった. 自由記述コ

注視の入出力を用いたインタラクションの効果.” ヒューメントで 2 名が視線を向けた上でさらにフィラーを言うこ

マンインタフェース学会論文誌 21.3 (2019): 269-278.
[4] Pomykalski, Patryk, et al. “Considering Wake Ges-とが必要以上の負担に感じられたと言うコメントをしており, 手順の多さの影響が現れた可能性が考えられる.

tures for Smart Assistant Use.” Extended Abstracts

その一方で, SUS は 6 人中 3 人と半数が視線条件よりもof the 2020 CHI Conference on Human Factors in

マルチモーダル条件の方が NASA-TLX の評価点が小さい,つまり作業負荷が小さいと言う結果になっていた. これに関Computing Systems. 2020.
[5] Yan, Yukang, et al. “FrownOnError: Interrupting Re-

しては, 視線条件において視線を向け続けるのを忘れて質問

sponses from Smart Speakers by Facial Expressions.”を聞き取ってもらえない場面が数回見られたり, マルチモー

Proceedings of the 2020 CHI Conference on Human

ダル条件は顔を向け続ける必要がないのが良かったという
自由記述コメントがあったことを踏まえると, 当初の想定通Factors in Computing Systems. 2020.
[6] McMillan, Donald, et al. “Designing with Gaze:

りマルチモーダル条件は視線を向け続けなくても良いこと

Tama–a Gaze-Aware Smart Speaker Platform.” Pro-が作業負荷の軽減につながった可能性があると考えること

ceedings of the ACM on Human-Computer Interac-ができる. しかしながら, 実際の使用場面では質問用紙を見ながら質問する場面は少ないと考えられ, 実生活に組み込まtion 3 (2019).
[7] Goodwin, Charles. “Restarts,pauses,and the

れた際に人間がスマートスピーカに対してどのような視線achievement of a state of mutual gaze at turn-の振る舞いをするのかということも慎重に検討する必要がbeginning.” Sociological inquiry 50.3-4 (1980): 272302.
[8] Skantze, Gabriel. “Turn-taking in conversational sys-あると考えられる.

6.

tems and human-robot interaction: a review.” Com-

結論
本研究では, スマートスピーカのような会話型インターフェースにおいて, 視線やフィラーといった非言語的表現を

puter Speech & Language (2020): 101178.
[9] Brooke, John. “SUS-A quick and dirty usability scale.” Usability evaluation in industry 189.194

活用することでより自然で負担の小さいトリガー手法を開発することを目指した. そして, 視線を向けた後に応対可能状態となり, その上でフィラーを発話して聞き取りを始める(1996): 4-7.
[10] 芳賀繁, and 水上直樹. “日本語版 NASA‐TLX によるマルチモーダルな手法を考案し評価を行なった. その結果,ウェイクワードを用いた手法がユーザビリティと作業負荷のⒸ 2021 日本バーチャルリアリティ学会-2C1-4-

メンタルワークロード測定 各種室内実験課題の困難度に対するワークロード得点の感度.” 人間工学 32.2 (1996):

71-79.