情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-37
2019/3/6

音声入力と感情推定情報を活用する対話インタラクション方式：感情適応提示技術の提案と検証
原 梓織†

深澤 伸一†

赤津 裕子†

概要：音声入力と感情推定情報を活用する，公共機器の新たな対話インタラクション方式と，それを実現させるための感情適応提示技術を創案し，有効性をユーザー評価実験により検証した．感情適応提示技術とは，機器の情報提示に対するユーザーの表情・しぐさ等の感情の表出をセンシングし，提示した情報がユーザーの意図する内容と近かったかどうかを判定して，遠かった場合は異なる内容の情報を提示する技術である．効果として，音声入力の補助や，機器の操作性・親しみ感等の向上が期待される．評価実験として，券売機での自力購入へのこだわりのなかった 12
名の被験者に，感情適応提示機能の有／無と GUI／VUI（音声入出力）の条件を組合せた，従来 GUI，感情適応 GUI，感情適応 VUI の３条件の試作システムを操作させ，行動および心理指標により比較した．その結果，感情適応 GUI
および VUI 条件は従来 GUI 条件よりも操作時間や誤操作回数が有意に少なかった．また，感情適応 VUI 条件では機器の操作負荷感，機器に対する親しみ感，機器の使用満足感等が他の GUI２条件よりも有意に高かった．すなわち，
感情適応提示技術は被験者の機器操作の支援に有効であるが，それがユーザーに体感されたのは VUI 条件だけであり，効果がユーザインタフェースの方式（使用モダリティの違い）と相互作用を有することが示唆された．

1. はじめに
1.1

背景考慮するべきであるとし，社会的応答として情緒的情報をやり取りするエージェントシステムの効果に関する評価実験を行った．その結果，エージェントなしよりもエージェ

近年，音声を用いて機器を操作する Voice User Interface

ントが存在する条件が，さらにそれらよりエージェントが（以下“VUI”）を備えたシステムが増加している．増加の感情表出を行う条件の方がユーザーの学習定着度の効果が背景としては，VUI が人間の特性に適合したシステム操作高かった．そして，主観評価より，システムに対するユー方法であることが挙げられる．葛岡[1]は，VUI を利用する

ザーの使いやすさや満足度の印象は，システムのエージェ利点として「特別な訓練なく利用ができ，理解も容易であントに対する「親しみ」感の度合いに影響されていた．

る」点を挙げており，VUI は人間にとって自然に扱うこと1.3のできるユーザインタフェース（以下“UI”）であると考

1.3.1

研究課題
VUI による券売機のユーザテストによる課題

えられる．さらに Google I/O 2017 にて Google Speech API

このような中，著者らは，社内で VUI を新たに搭載したの音声認識時の誤認識率が 4.9％に低下したことが報告さ

次世代の駅指定席券売機プロトタイプシステムのユーザビれ，人間の誤認識率である約 4％[2]に近付き，音声認識技リティ評価実験に観察者として参加する機会を得た．その術が実用フェーズに入ったことを受け，この数年の間に際の調査経験をまとめ，駅指定席券売機への VUI の導入に

Google Home や Amazon Echo などの AI スピーカーが登あたり次のような課題を導出した．

場してきた．このような流れの中，今後 VUI を搭載するシ

課題 1：音声操作の最適な操作フローはタッチ操作とは異ステムはさらに増加していくことが予想される．

なる

一方で，Graphical User Interface（以下“GUI”）を備えた音声操作の券売機では手続き型の操作フローを用いる

従来の対話型システムに VUI を追加導入する場合に，GUIのではなく，みどりの窓口の対面対話で発話をするように，と VUI を複合させた UI の設計法に関する体系的な指針は一度に入力が出来るような対話設計を行うべきである．

既存にほとんどなく，研究知見の拡充が求められている．

課題 2：音声による入力情報の曖昧さ

1.2

関連研究

音声入力の場合，入力情報に対して曖昧さの許容が必要

VUI を備えた音声対話システムの目指す姿として，河原である．そして，曖昧さの許容によって発生する情報の不[3]はホテルのコンシェルジェやデパート店員の例を挙げ，

足は，システムがユーザーに問いかけたり，センサデータその実現には，ユーザーの情報要求が明確でない場合でもを活用したりすることで補う仕組みが必要である．

ユーザーの意図や思考を対話を通じて明確化できること，

課題 3：音声の誤認識や認識失敗時にユーザーへの聞き直さらに目標を明確に有していないユーザーに対しシステムし処理が発生し操作が進まないが積極的に情報を提示することが必要であると述べている．

VUI を搭載した指定席券売機が高雑音環境下で誤認識しまた，中嶋ら[4]は，システム設計時に目標達成の効率とた場合や認識自体が出来なかった場合にシステムがユーザいう観点だけではなくユーザーのフィーリングや満足度も† 沖電気工業株式会社 研究開発センター© 2019 Information Processing Society of Japanーにどうふるまうのかを適切に設計する必要がある．
まとめると，システムに VUI を搭載する際には，ユーザ

852情報処理学会 インタラクション 2019
IPSJ Interaction 2019

ーが人と喋るような自然な発話での入力を可能にすること

3B-37
2019/3/6

2.2

関連情報の検索と情報提示の調整方法が必要であり，そのためにはいかに「ユーザーの曖昧な入前述の必須スロットの入力内容を基に，システムは関連力を許容」しながら「ユーザーの意図する操作内容にたど情報を検索する．また，任意スロットに入力があった場合，り着くか」が課題となると言える．また，中嶋ら[4]によれ

システムはユーザーがそのスロットに対応する経路条件をば，対話システムに対して「親しみ」感を持てることがユ重要視しているとみなし，重要度のパラメータ設定・調整ーザーの使いやすさや満足度の印象につながる．VUI を備を行う．そして検索された複数の関連情報の中で重要度のえた対話システムにおいて，音声による自然な対話と，曖数値が最も高いスロットの関連情報について候補となる複昧な情報入力の許容による操作支援が実現されることで，数の経路条件間で比較をし，ユーザーにとって高い評価値

システムに対するユーザーの親しみ感が醸成され，システをとるような関連情報を選択し，提示する．

ム利用の満足度の向上につながる可能性がある，

2. 「感情適応提示技術」の提案

さらに，提示された情報に対するユーザーの表情，しぐさ，音声情報などをセンサによって取得し，そのセンサデータから，ユーザーの感情状態を推定することによって，前章で挙げた課題の解決手段として，対話システムの新ユーザーが提示された情報に対し，どのような感情になったなインタラクションの方式を実現させる「感情適応提示たかを把握して，他の関連情報と比較した際に，提示され技術」を創案した．本技術は，システムが関連情報を提示た関連情報がユーザーにとって最も低い評価値をとる関連し，その情報提示に対するユーザーの表情・しぐさ等の感情報のスロットの重要度が高くなるように，重要度を再設

情表出行動のセンサデータに基づいて，提示した関連情報定する．そして再設定された重要度を基に，再度前述の情がユーザーの意図に適合していたかどうかを推定処理して，報提示に係る処理を行う．情報提示と重要度の変更を繰りその結果に応じて異なる情報の提示を行うものである．従返すことで，最終的にユーザーの意図に最も適合する関連来の手続き型のフローとは異なり，検索に最低限必要な条情報を探し出すことができる．

件のみ入力を行えば情報検索ができ，システムがユーザーの意図を読み取り異なる情報提示を行うという補助のふるまいを行うことで，自然な発話入力を可能にし，曖昧な入力を許容することができる．

3. 評価実験
前章で提案した感情適応提示技術の応用先のシステムを公共機器の駅指定席券売機とし，感情適応提示技術や音声による入力は不充分または曖昧な情報入力になる

GUI／VUI の有無による使用性比較のための３種類のプロことが多いこと，さらに音声のセンサデータを追加収集でトタイプシステムを開発して，各システムを被験者ユーザきることでユーザーの意図推定の精度を上げられ，その結ーに操作させ，評価した．評価指標は，主観評価アンケー

果ユーザーの曖昧な入力からでもユーザーの意図する操作トやインタビューによる心理指標と，システムの操作時間を実現できる可能性があることから，感情適応提示技術はや誤操作回数，表情やしぐさ表出等による行動指標とした．

VUI との相性が良い技術と考えられる．

3.1

2.1

スロットフィリングとスロットの種類

仮説

本実験で検証する仮説は次のとおりである．

本技術では，ユーザーの自由発話による対話システムへ

仮説 1：VUI は GUI に比べ，ユーザーのシステム操作負荷の入力があった際に，スロットフィリング方式[5]を用いて感が小さくなり，システムに対する親しみ感と満足度が高入力情報が埋められていく．スロットの種類には必須スロ

くなる．（1.3.1 参照）

ット[5]と呼ばれるものがある．これは関連情報の検索に最仮説 2：感情適応提示型の UI は従来手続き型の UI と比べ，低限必要なスロットであり，例えば駅指定席券売機の場合，誤操作回数や困り回数が少なくなり，システムに対する親「出発駅」，「到着駅」等がこのスロットに該当する．
一方，必須スロットの他に，関連情報の検索に必須ではしみ感と満足度が高くなる．（2.参照）
3.2

実験タスク

ないがユーザーが関連情報を検索する際に考慮する要素に券売機プロトタイプシステムを用いて，特定の条件を満なるスロットが存在する．このスロットを“任意スロット”たすきっぷを購入させるタスクを被験者に行わせた．後述と定義する．任意スロットは，ユーザーのその時々の感情する３種類の券売機プロトタイプシステムそれぞれに同程や状況によって入力情報の必要性や重要性が変化するスロ度の難易度で入力情報が異なるタスクを用意し，到着駅がットであり，例えば駅指定席券売機の場合，「乗換回数」，関東で新幹線を用いる経路案を２種類用意した．また，経「金額」等がこのスロットに該当する．

路選択条件として被験者が守るべき「到着時刻」を設定し，まとめると，本技術で用いるスロットには以下の２種がさらにできるだけ「乗換回数が少ない」経路を２経路の中存在する．

から選んで購入を行うように被験者に教示した．本実験で 必須スロット

は，券売機プロトタイプのユーザー応答に Wizard of OZ 法 任意スロット[6]（以下“WOZ 法”）を用い，感情適応提示技術の挙動お© 2019 Information Processing Society of Japan853

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-37
2019/3/6

よび被験者の感情表出の認識を，システムではなく実験者が行った．各タスクの開始および終了時点は，被験者が購入するきっぷの券種を指定し，次の操作画面へ遷移した段階で開始とし，上記２経路の比較を完了し，きっぷ料金の支払い要求画面へ遷移した段階で終了とした．詳しい実験
手順は 3.6 節で述べる．
3.3

実験条件実験に使用した３条件のプロトタイプシステムは，以下A～C の通りである．図 1 にそれぞれの実験条件の入力方式と画面例の比較を示す．
A.

従来（手続き）型 GUI 条件（以下，“従来 GUI”）
図 1

基準的な比較条件として設定し，現在駅で利用されてい実験３条件の入力方式と入力画面例

る指定席券売機の UI を模した画面構造と遷移を行う条件
である．手続き型のフローであり，被験者は駅名や経路情券売機モックアップ

報など全ての項目を段階的に入力しなくてはならず，操作被験者負荷がかかると考えられる．画面数は，条件終了時に表示される紙幣投入画面を合わせ全部で 16 画面あり，被験者に実験者(WOZ)は新幹線到着駅の異なる２経路を検索させた．
B.

感情適応提示型 GUI 条件（以下，“感情適応 GUI”）
2 章で説明した感情適応提示技術とタッチパネルによるGUI 入出力を組み合わせた条件である．重要条件の入力には手続き型と同様の操作フローでタッチ入力させ，任意条
件はソフトキーボードを用いて自由文形式（複数語句による条件入力）でタッチ入力させた．画面数は，条件終了時に表示される紙幣投入画面を合わせて全部で 10 画面あり，
図 2

被験者には新幹線到着駅の異なる２経路を比較させた．
C.

実験風景

感情適応提示型 VUI 条件（以下，“感情適応 VUI”）
この条件は感情適応提示技術と音声による VUI 入出力，3.5

被験者

さらに券売機画面による GUI 出力を組み合わせた条件で16 名の被験者で実験を実施したが，実験後のインタビュある．被験者は，乗車日等経路の検索に必要な情報だけでーやアンケート結果から，従来 GUI を強く好み感情適応提はなく経路情報のような被験者の好みや状態，その時の状示機能のような機器の支援を好まない心理特性を持った被況によって変化をする項目に関しても音声発話によって自験者が 4 名いたことがわかったため，それら 4 名を除いた由に入力をすることが出来る．システムは被験者に対し，12 名の被験者のデータを分析した．被験者 12 名の属性は画面出力と音声出力を併用し情報の提示を行う．実験条件

次のとおりである：性別・女性 6 名／男性 10 名，年齢・20の統制のため，出力音声には音声合成ソフトウェア『OKI～40 代，指定席券売機の利用頻度・2～3 か月に 1 回：3 名

SMARTTALK 3.0』を用いて作成した合成音声を利用した．

／半年に 1 回：3 名／1 年に 1 回：3 名／それ以下：7 名．

ユーザーの入力内容に応じた画面表示や音声応答の出

3.6

実験手続き

力には前述のように WOZ 法を用いた．画面は，実験終了

実験は，システムの操作および評価を行う被験者と，時に表示される紙幣投入画面を合わせて全部で 10 画面あWOZ 法でシステムの挙動を操作する実験者で実施した．

り，被験者には新幹線到着駅の異なる 2 経路を比較させた．

被験者は実験室に入室後，実験参加同意書及びユーザー属

3.4

性を調査するアンケートに回答した．次に，旅行に行くた

実験環境

図 2 に実験風景の例を示す．被験者は立った状態で駅指めに指定のきっぷを購入するというカバーストーリーを用

定席券売機の形状を模したモックアップ筐体の前に立ち，いてシステム操作のタスクの説明を被験者に行った．タス操作を行った．また，モックアップ筐体正面には被験者のク説明の例として，従来 GUI 条件の説明を以下に記載する．

顔動画像を観測するための Web カメラを設置した．

 あなたは，友人と旅行へ行くことになった 到着駅の近くのお店を予約している
 同伴者の友人は足を痛めているため，乗換回数が少な© 2019 Information Processing Society of Japan854

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

い経路が望ましい システムを使って，予約の時間に間に合うかつ乗換回3B-37
2019/3/6

各測定項目に対し，従来 GUI 条件，感情適応 GUI 条件，感情適応 VUI 条件の３条件間で多重比較を行った．まず各数が少ない経路のきっぷを購入してほしい項目に対し Shapiro-Wilk の正規性検定を行い，パラメトリ

その後，被験者に購入するきっぷの条件を指示し，シスックであった場合は TukeyHSD 法を，ノンパラメトリックテムの操作を開始させた．なお，３条件の実験順序は被験データであった場合は Steel-Dwass 検定による多重比較を者毎にカウンタバランスをとった．実験者は被験者の顔動行った．有意水準は 5％，有意傾向は 10％に設定した．

画像，操作ログおよび操作画面を目視確認しながら WOZ

4.2.1

心理指標１：既存項目（有効さ，効率，満足度）

法の反応を行い，被験者が 3 回以上誤操作した場合には次

既存項目心理指標の前東ら[7]のアンケート 10 項目は，の操作内容を教える介入を行った．タスク終了後，被験者３条件間の多重比較の結果，有効さ，効率，満足度の３要に対し直前に操作したシステムに関する後述の主観評価を素に属する３項目（項番 A1, B2, C2）で感情適応 VUI は従回答させた．

来 GUI より有意に高い評定値であり，さらに効率と満足度

3.7においては，感情適応 VUI は感情適応 GUI よりも有意ま

計測項目

3.7.1

心理指標

たは有意傾向で高い評定値であった（図 3，4，5）．他の 7(1) 既存質問項目

項目については，条件間に有意な差は認められなかった．

前東ら[7]による自動化システムのユーザビリティ評価
アンケートを用い，本実験の各条件のシステムに対する有効さ，効率，満足度，意図の理解，違和感，モチベーションを評価した（次の項番 10 項目を抜粋使用：A1, A2, B1, B2,
C1, C2, D2, D3, E2, E3, F1, F2，質問文は結果グラフに記載）．
(2) 独自質問項目
本実験の各条件のシステムの操作負荷感，補助感，親しみ感といった印象に関する質問として次の４項目を作成し，７段階のリッカート尺度（全くそう思わない～非常にそう思う）で被験者に回答させた：
 このシステムによる駅名の指定操作はわずらわしかっ

図 3

システムの有効さ

図 4システムの使用効率

図 5システムの使用満足度

た（駅名指定の操作操作負荷感） このシステムによる経路条件の指定操作はわずらわしかった（経路条件指定の操作操作負荷感）
 このシステムは自分が行いたい操作内容を推測して助けてくれようとしていた（システムの補助感）
 使用中に，このシステムに親しみを感じた（システムに対する親しみ感）
3.7.2

行動指標

(1) 操作時間
各条件のタスク完了までの操作時間を測定した．
(2) 誤操作回数
被験者の誤操作回数を測定した．誤操作の判定は，タスクの正しい手順以外の操作，つまり次の画面に遷移しない操作を行う毎に 1 回の誤操作としてカウントした．
(3) 表情表出回数
仮説 2 の困り回数を検証するために，被験者の表情・しぐさ等による困りの表情変化回数の測定を行った．困りの表情変化の回数は，被験者がシステムを操作している顔動画像を確認し，表情が無表情状態から大きく変化したことを録画映像から実験者が判定した回数をカウントした．

4. 結果
4.1

分析方法

© 2019 Information Processing Society of Japan855情報処理学会 インタラクション 2019
IPSJ Interaction 2019

4.2.2

心理指標２：独自項目（操作難易感，補助感，親しみ感）

3B-37
2019/3/6

4.2.3

行動指標（操作時間，誤操作回数，感情表出回数）

本研究の独自項目心理指標について，３条件間の多重比

行動指標について，３条件間の多重比較の結果，システ

較の結果，駅名指定の操作負荷感，システムの補助感，シムの操作時間，誤操作回数で，感情適応 VUI は従来 GUI

ステムに対する親しみ感で，感情適応 VUI は従来 GUI おおよび感情適応 GUI よりも有意に少ない測定値であった

よび感情適応 GUI よりも有意に高い評定値であった（図 6，（図 9，10）．また，システム操作中の困り感情表出回数で，7，8）．経路条件指定の操作負荷感については，条件間に有感情適応 VUI は従来 GUI よりも有意に少ない表出回数で意な差は認められなかった．

あった（図 11）．

図 6

図 7

図 8

駅名指定の操作負荷感

図 9システムの操作時間

システムの補助感図 10システムの誤操作回数

システムに対する親しみ感© 2019 Information Processing Society of Japan

図 11

システム操作中の困り感情表出回数856情報処理学会 インタラクション 2019
IPSJ Interaction 2019

5. 考察
5.1

仮説の検証

仮説 1：「VUI は GUI に比べ，ユーザーのシステム操作負荷感が小さくなるため，システムに対する親しみと満足度が高くなる．」
実験の結果，仮説 1 は採択された．感情適応 VUI 条件はGUI２条件と比べ，駅名指定の操作負荷感が有意に低く（図6），補助感（図 7）やシステムへの親しみ感（図 8），さらに，満足度（図 5）も最も高かった．
仮説 2：「感情適応提示型のシステムは手続き型に比べ，誤操作回数や困り回数が少なくなるため，システムに対する親しみ感と満足度が高くなる．」
実験の結果，仮説 2 は一部採択された．感情適応 GUI お
よび VUI 条件は従来 GUI 条件よりも操作時間（図 9）や誤操作回数（図 10）が有意に少なかった．一方で，困り感情表出回数（図 11），親しみ感（図 8），満足度（図 5）は，感情適応 GUI と従来 GUI 条件間で有意な差は認められなかった．
5.2

感情適応 GUI と VUI 条件間の効果の差（仮説 2）

仮説 2 の検証結果は一部採択となり，一部の評価項目について想定していた結果を得られなかった．
まず，操作時間や誤操作回数では有意差が認められていたのにも関わらず，困り感情表出回数で感情適応 GUI と従3B-37
2019/3/6

は変えないように設計した．従来の駅券売機の UI の仕様に縛られることなく，大幅な画面構造や遷移の設計を行えば，GUI でも感情適応提示機能の有効性が向上する可能性があり，今後の検討課題である．
(2) VUI は操作のための事前訓練が必要ない
本実験の結果を総合すると，感情適応提示機能を有した
VUI は，従来の駅券売機 UI と比較して，操作の事前訓練なく有意に少ない操作時間と誤操作回数で操作でき，さらに，親しみ感や満足度が有意に高くなった．感情適応提示技術のある VUI は，さまざまな特性や状況（初回使用を含む）のユーザーが利用する公共端末と相性が良いインタラクション方式といえるだろう．

6. まとめVUI を備える対話システムの新たなインタラクションの方式を実現させる「感情適応提示技術」を創案し，同方式を体験できる UI を備えた公共機器のプロトタイプシステ
ムを開発して，ユーザー評価実験により効果検証を行った．
実験の結果，感情適応提示機能を有する VUI の UI 条件において，システムの操作負荷感は GUI よりも有意に低く，親しみ感，満足度は有意に最も高かった．VUI を備える対話システムのインタラクションの方式として，感情適応提示技術の方法が有効であることが示唆された．

来 GUI 条件間に有意な差が認められなかった点に関しては，GUI と VUI の操作特性の違いに起因する可能性がある．

参考文献

従来 GUI は実際の駅券売機の GUI を模した UI になっており被験者にもある程度の慣れがある可能性があるが，感情適応 GUI は本実験が初見の UI となることから被験者に困惑の感情が生じたのかもしれない．一方で，感情適応 VUIも初見の UI ではあるが，背景で述べたように音声入力は事前訓練を必要としない特性を持った UI であることから，感情適応 GUI で見られた初見操作による困惑発生の影響を抑えられたのかもしれない．
本実験の結果から，感情適応提示技術は UI の使用モダリティの違いと相互作用を有し，２章で述べたように VUIとの相性が良い技術であることが示された．
5.3

総合考察

(1) 感情適応提示技術の有効性と VUI との相性

[1] 葛岡英明他. ヒューマンコンピュータインタラクション 改訂
2 版. オーム社, 2002, pp.82-83.
[2] Lippmann, R. P. Speech recognition by machines and humans.
Speech Communication, 1997, vol. 22, no.1, pp.1-15.
[3] 河原達也. 音声対話システムの進化と淘汰：歴史と最近の技術動向. 人工知能学会誌, 2013, vol. 28, no.1, pp.45-51.
[4] 中嶋宏, 森島泰則, 山田亮太他. 人間-機械協調システムにおける社会的知性. 人工知能学会論文誌, 2004, vol. 19,no. 3,pp.184-196.
[5] 関口真理子, 荒金陽助, 阿部伸浩. 1bit 状態遷移表シナリオ記
述方式のスロット状態拡張に関する検討. 情報処理学会 研究
報告 高度交通システム (ITS), 2004, vol. 114, pp.71-78.
[6] Fraser, N. M. and Gilbert, G. N. Simulating speech systems,
Computer Speech and Language, 1991, vol. 5, no. 1, pp.81-99,.
[7] 前東晃礼, 三輪和久, 小島一晃, 寺井仁, 鈴木達也. 自動化システムのユーザビリティ評価アンケートの開発. 電子情報通信学会論文誌 A, 2017, vol. 100, no.6, pp.240-250.

感情適応提示機能を有する感情適応 GUI および VUI 条
件では，従来 GUI 条件よりも，操作時間と誤操作回数が有意に少なく，主観的にも有意に容易感が高かった．一方で，親しみ感と満足度は，感情適応 GUI と従来 GUI 条件間で有意な差は認められなかったことから，感情適応提示機能はシステム操作行動の改善に有効であるが，その効果がユーザーに主観的に認められやすいのは，音声入力を備えたUI（VUI）の場合であることが示唆された．ただし，本実験では，感情適応 GUI のデザインを従来 GUI から大きく© 2019 Information Processing Society of Japan857