音声インタフェースにおける認知的負荷測定法とその評価
西本 卓也†

高山 元希‡

東京大学大学院 情報理工学系研究科†〒

〒あらまし

東京都文京区本郷 荒木 雅弘‡
京都工芸繊維大学 工芸学部‡

    †

京都市左京区松ヶ崎御所海道町

     ‡音声インタフェースを利用するユーザの認知的負荷を測定することによって，音声応用システムの使いやすさや利便性を向上させる手がかりが得られる。本報告では，音声の聴取と応答を要求する主課題を，画面表示とキーボード入力による副課題と並行して行う，二重課題法の実験を提案する。本手法を用いることにより，音声応用システムを実際に使用しながら，ユーザが高い認知的負荷を要求された箇所を知ることができる。負荷の大小が異なる単語復唱課題を用いた実験の結果，提案手法は課題の認知負荷を反映しやすく，被験者の慣れの効果などの影響を受けにくいなど，提案手法の有効性が確認された。
キーワード

音声インタフェース，認知的負荷，二重課題法，音声応用システム，単語復唱課題

                  !"## †$ " %&%'%"% ‡$)  *  +  +  /* *  +  *  ! ,$ 0 $ $" ,   $

 * * *  ,$ * - .*  +  †  +  

 * *$ &   * + *  , ‡ 1%2%

    †     ‡* * **  + * ,  .*   +  , * . * *, ,   * . * . *$ &$  1%2%

+ . , *  3  +  * 4* *  + * "    %(%& ‡5* , .

     . **+ * *  * +*.    * 5  *+ *  * 3  + * , * *3  *  ,  **  - ,      *$ 5* 3* 5 * + *  

*+ * *   * *    *   $ 5** * *.* * + * * .* # *  *6* *   , *  5 , * ,*   5*   * *  + ** *7** *  8** * + *    Æ  *  , 9 $ * *  * * 3*  **8* + *   *: * * 5 , * ,*  

*+ *$ ;,  .*  $ /   *$ : *    *$を調べるために行った実験とその結果について述べ，

 はじめに考察を行う。最後にまとめと今後の課題について述べる。

電話による音声ポータルや車載用音声対話システ

 認知的負荷と二重課題法

ムなどにおいては，音声認識と音声合成を用いた音声インタフェースをいかに用いるべきか，あるいは，い本章では認知的負荷の理論と二重課題法の関連研かに評価するべきか，といったことが重要である。

究について概説する。

音声インタフェース設計のガイドラインについては各種の提案がある。また，システム開発のできるだ キャパシティ一定の法則

け早い段階において，実際のユーザによる反復的なユーザビリティ・テストと改良が重要であるとされある対象に心理的にどれだけ注意をしていたかをる（例えば < =）。ユーザビリティ・テストにおいては測定するためには二重課題法が用いられる。速く歩

ユーザ発話の認識率，タスク達成率，各操作手段の利いているときに難しい質問を受けると，歩く速さを保用度，アンケートによる主観評価などが検討対象となつことが難しくなるように，人が一つの課題を行ってり，検討結果に基づいてシステム発話（プロンプト），いる間に別の課題が加わると，心理的な折り合いをつ受理可能なユーザ発話（文法），状態遷移モデル，エける必要が生じる。人は心的負荷を複数の課題に配ンジンの設定などのチューニングが行われる。

分することができても，費やすエネルギーを一定以

音声インタフェースには利便性の高さが求められ上に増やすことができない（「キャパシティ一定の法る場合と，認知的負荷の低さが求められる場合があ則」），心的エネルギーの限界を超えた場合は，課題にる。利便性に関する評価は従来のユーザビリティ・テ対する応答が遅れたり誤りが増加したりする。

ストで行われてきたが，車載情報機器の安全性などに例えば (**.* ら <>= は，映像に対する注意の度合影響する認知的負荷に関しては，その評価手法は十分いを測定するために，第一課題として被験者にビデオに検討されてこなかった。

映像を注視させながら第二課題として音を聞かせる

認知的負荷の低い音声インタフェースを実現する実験を行っている。音はランダムなタイミングで発ためには，実際に音声インタフェースを利用している

せられ，被験者は音が聞こえたらボタンをなるべく早ユーザの認知的負荷を測定し，認知的負荷の高い箇所く押すように教示される。音に対する反応時間は，被を知ることが重要である。そこで我々は，音声インタ験者がビデオ映像に注意を傾けるほど遅くなる。

フェースに対して二重課題法をいかに適用すれば，簡「キャパシティ一定の法則」が唱えられている一方単に実験ができて信頼性の高い結果が得られるかをで，人には心的チャネルがいくつもあり，同時並行的検討した。そして，画面表示とキーボード入力によるに課題を遂行できるとする「マルチチャネル理論」も早押しゲームを作成し，主課題である音声課題と副課提唱されており，現在もその是非は議論されている題である早押しゲームを被験者に同時に行わせるこ<=<?=。また，複数の課題を同時に解く場合には，課とにより，比較的長時間にわたる音声課題において，題の類似性，課題の困難性，経験値，の  つの要素の音声課題の認知的負荷を反映しやすく，被験者の慣れ影響を受ける。しかも，二重課題法の影響は一般的にの効果などの影響を受けにくい評価ができることを双方向であるため，第一課題が第二課題に影響を与え確認した。本手法を用いることで，複数の音声インタるだけでなく，第二課題が第一課題に影響を与えてしフェース設計の良し悪しを比較したり，特定のシステまうこともある。

ムにおいて認知的負荷の高い部分を検出することが本研究では，認知心理学的な知見そのものを議論の可能になる。

対象とはせず，これらの知見の工学的な応用という立本報告ではまず，二重課題法を用いた実験手法につ場を取る。つまり，個々のモデルのいずれが正しいかいて概説し，関連研究について述べる。次に，提案手を議論するのではなく，それぞれのモデルをある条件法の詳細について述べる。さらに，提案手法の有効性下での現象を説明するための手段と考える。本研究>においては，音声インタフェースの認知的負荷測定に題の間に有意な差がないことから，負荷測定の分解能おいて，「キャパシティ一定の法則」を成立させるたが十分でない可能性がある。

めにどのような条件を設定すればよいか，実験を通じこれらの先行研究は，いずれも自動車運転という具て明らかにすることが重要である。

体的な状況を想定したものであり，一般道や試験コースにおける実車の運転や，ドライビングシミュレー

関連研究

ターなどの設備を必要とする。運転課題は負荷が一定であったり反復的であっては課題として成立しな

清水ら <= は車載用音声対話システムについて，利いため，コース中に高負荷の状況とそうでない状況が便性としてタスク達成時間に注目し，安全性として含まれる。従って，運転課題が他の課題から受ける影@/ 刺激への反応遅れ割合に注目した評価を行って響の大小はコースの状況によって異なる。

いる。タスク達成時間の推定に新美ら <= のモデルがまた，被験者が走行コースなどに慣れてしまうこと有効であることを示したが，安全性については有意なにより，運転課題の負荷が下がり，第二課題に与える実験結果が得られていない。

影響が小さくなってしまう恐れもある。

この実験では，巡回コースを運転しながら @/ 刺

音声課題と併用する第二課題を作成するにあたっ

激反応タスクと交通情報検索タスクを同時に繰り返ては，周期的に一定の条件で結果を測定可能で，慣れし行っている。しかし，@/ 刺激反応タスクの成績の効果が少ないように工夫する必要がある。このよが音声対話システムの負荷を測定する規準となり得うな課題を音声課題と並行して行うことによって，第ることが実証されていない（関連研究 <= では記憶課

二課題の成績から音声課題の認知的負荷の高低を知題の有無が @/ 刺激反応タスクの成績に関連するこることができる。とのみが示されている）。また，この実験では，被験本研究と目的は異なるが，自動車の運転状況から運者に与える課題が，運転，@/ 刺激反応タスク，音転者の余裕度を推定し，運転余裕のあるときに音声対声対話，の三重課題になっている。被験者によって音話を用いた情報提示を行う運転状況適応型音声イン

声対話タスクの負荷が運転と @/ 刺激反応タスクのタフェースの提案があり，内山ら <A= は二重課題法をどちらに影響するかわからないので，予測される結果用いた運転余裕度の定量化を試みている。人によるが出ていないと考えられる。

音声言語の処理は記憶負荷を伴うことから，合成音声 * ら <= は二重課題法を用いて携帯電話でのを  単語ずつ聴取して回答する記憶課題が用いられ，会話が運転に与える影響を調べている。被験者は，模アクセルオフの状況において正答率が下がることが擬運転課題（ハンドル操作）を行いながら信号反応課確認されている。この実験は，運転操作の認知的負荷題（赤信号が点灯したらできるだけ速くブレーキを踏を測定するものであるが，運転課題と音声課題の間でむこと）を行い，これらと並行して音声による課題を二重課題法が利用可能であることを示している。

行わせている。模擬運転課題では  種類の正弦波を本報告は，内山らの研究と類似の状況を想定しつ加算したコースを用いている。結果として，携帯電話つ，音声課題を第一課題に見立てて「対話余裕度」をでの会話は，携帯電話の形状（ハンズフリー型，ハン得る手法の提案である。

ドヘルド型）とは無関係に模擬運転課題や信号反応課

 提案手法題に悪影響を与えること，単語復唱課題は運転に影響を与えないが，単語生成課題（聴取した単語に基づいて新たな単語を考える課題）は影響を与えること，な

本章では，我々が提案する実験手法について述べる。

どが確認されている。この研究は，視覚と手の操作を 早押しゲーム

伴う第一課題と音声による第二課題の間で二重課題法が利用可能であることを示している。しかし，一部上述の要件を備える副課題として，早押しゲームをの実験がハンドル操作と信号反応を含む三重課題に作成した。実装には " + : なっている。また音声課題がない場合と単語復唱課

0    を用いており，動作環境は " + 4 5 > で図  早押しゲームの画面構成ある。早押しゲームの画面構成を図

図   単語の単語復唱課題に示す。て有意に遅れていれば，その音声課題は有意に認知的

画面左には > つの空欄および > つの矢印が並んでおり，ゲームが始まると > つの空欄の一方に左右いず負荷が高いとみなすことができる。

れかの矢印（←，→）がランダムに現れる。左の空欄

 提案手法の評価に左向きの矢印が表示された場合と，右の空欄に右向きの矢印が表示された場合には，○に対応する上矢印

本章では，提案手法の有効性を検証するために，認（↑）キーを押すこととする。それ以外の場合には，知的負荷の違いが自明であるような課題を被験者に×に対応する下矢印（↓）キーを押すこととする。画与え，有意な差が得られることを確認する。内山ら

面右には上下に○×の記号が並んでいるが，これは<A= と同様，我々も，音声インタフェースを用いた作○および×と上下矢印キーの対応関係を示している。
キーを押すと，正解不正解に関わらず業においては，聴取したプロンプトを記憶しておくこ

秒後に次の矢との負荷が大きいと考え，単語復唱課題を用いる。

印が現れる。ゲーム実行中は，  単位でのユーザ

単語復唱課題の語彙サイズは  単語である。単の応答時間と出題や応答などの内容を記録している。

語の頭文字が濁音を除く  音としてバランスよくこのゲームは慣れるとほぼ反射的に操作できるよ

出現するように >〜? モーラの普通名詞を無作為に選うになり，約 > 秒ごとに試行が行われる。同時に音声び，聞き取りにくいものなどを除く。読み上げには合によって他の課題を行うことも可能である。しかし，成音声（東芝 @ @ : *> ）を使用してランダム意識の集中の程度によって応答時間に差が出ることな順序で提示する。

が予想される。

 実験 

二重課題法の実験手法

まず実験
提案手法は，まず，被験者が十分慣れるまで早押しとして，早押しゲーム課題と音声課題を同時に行う場合に「キャパシティ一定の法則」を満たゲームを練習させる。続いて，被験者に第二課題としす結果が得られることを確認する。て早押しゲームをさせながら，同時に第一課題である実験音声課題を行わせる。被験者には事前に，二つの課題で用いる単語復唱課題の概要を図 > に示す。

? つの単語がを同時に行う場合には音声課題を優先すること，早押秒間隔で提示された後，> 秒間隔で短いビープ音が提示される。この音に続いて，被験者はしゲームについては正確さを優先しつつ，できるだけ記憶した単語を速く応答すること，を指示しておく。

つずつ答える。復唱する単語の順番は自由である。これを単語復唱課題の被験者実験の後，早押しゲームにおける誤回答の試試行（約> 秒）とし，各試行は 〜> 秒のランダムな間隔で行は欠損値とし，同時に行われた音声課題の内容と対繰り返される。

応付けて各試行の結果を集計する。ある音声課題に被験者は >〜> 歳の男性  名である。各被験者はおける早押しゲームの応答速度が，他の課題と比較し約  分間，早押しゲームのみ（単一課題）の状態と単?

表  実験

被験者における応答時間の平均および有意差

二重課題

単一課題

<*=<*=A

?

DD>

 



DD







DD?

?A

DD

?

? ADD

表  実験  における応答時間の平均および有意差（ 群）図   単語の単語復唱課題> 単語課題? 単語課題<*=<*=?>A

DD>?

ADD

?

DD?

?A



DD

?>

>

DD

被験者
語復唱課題との同時実行（二重課題）の状態を繰り返しながら実験を行った。

有意差実験
実験 > では，認知的負荷が自明に異なる二種類の音声課題を設定した場合に，第一課題の負荷の違いが有意差第二課題の成績に影響することを検証する。単語復 結果と考察

唱課題において同時に記憶する単語の数の多少が，課題の認知的負荷の違いをもたらすものとして実験を行う。

本章では，前章で述べた実験の結果を提示し考察を単語復唱課題には，> 単語課題と ? 単語課題を用意する。? 単語課題は実験行う。と同一条件である。> 単語課題は図  に示すように，単語提示から被験者の復唱に至るまでの 実験 

試行の時間を，? 単語課題とほぼ同じ実験にするために，単語の提示間隔を  秒に，回答を促と分散分析の結果を表すビープ音の間隔を  秒にしてある。これにより，単に示す（DDは E水準で有意であることを示す）。

位時間当たりの負荷をほぼ一定にすることができる。
被験者は >〜> 歳の男性 A 名女性

における各被験者のゲーム応答時間の平均全ての被験者において，単語復唱課題を実行してい名である。被験者を  名ずつ %$0 の > 群に分け，% 群は ? 単語課る間（二重課題時）のゲームの応答時間は，単語復唱題の後に > 単語課題を行うこととし，0 群は > 単語課課題の待機中（単一課題時）よりも有意に増加した。

題の後に ? 単語課題を行うこととする。% 群の具体

この結果より音声課題と提案した早押しゲームに関的な実験手順は以下の通りである（0 群の場合は ?

して「キャパシティ一定の法則」が適用可能であること  が入れ替わる）。とを確認できた。



ゲームの説明と練習> ゲームだけを実行 B 分C

実験
実験 > における各被験者のゲーム応答時間の平均

 ? 単語課題を十分慣れるまで練習と分散分析の結果を各被験者についての応答時間の? ゲームと ? 単語課題を同時に実行 B 分C

平均と分散分析の結果 B 値C を表 > および表  に示

 休憩す（DDは E水準で有意であることを示す）。

 > 単語課題を十分慣れるまで練習

表 > および表  より，被験者  人中 A 人におい

 ゲームと > 単語課題を同時に実行 B 分Cて E水準で有意差が確認され，> 単語課題に比べて表  実験  における応答時間の平均および有意差（ 群）

今後の課題としては，音声応用システムの改良に役> 単語課題? 単語課題<*=<*=

A



DD

証を行っていきたい。これにより，例えば，車載用音>?

? 

声対話システムにおいて安全性を高める手法を，経験

>



DD的にではなく実験的に導いていきたい。その際には，?

 >

A?

DD

本手法で得られる認知的負荷と，自動車の運転など実

?

 A

DD

環境における負荷の関連性についても検討していく

被験者立つと期待されるさまざまなガイドラインや対話制

有意差御手法を取り上げて，本手法を用いてその有効性の検必要がある。

? 単語課題を実行中のゲーム応答時間が遅くなること

参考文献が確認された。
また，被験者  人の結果を， 回目と > 回目の慣

< = 0* 0 *  *$ /*.  2 ",れの差（要因 ）と単語数による課題の差（要因 >）0 に分けて，それぞれ検定を行ったところ，慣れの差についてはては!5 ** (*,   %    $ > $ ) 2*$ > F >（有意差なし），課題の差につい<>= 0F  （E水準で有意）という結果が得ら(**.*$ ; 8  

* "*G   $ ; @$ AA （細馬宏通 訳 人はなぜれ，提案手法が課題の差を反映しやすいだけでなく，コンピューターを人間として扱うか「メディア慣れの差の影響を受けにくいことが確認された。の等式」の心理学$ 翔泳社$ > ） まとめと今後の課題<= "  * 4 * $ "  &*2 , H % * I !

* ;,  .*3$ ? $2 , 2*$ >

本報告では，音声インタフェースを使用する課題の認知的負荷を二重課題法によって測定するために，画<?=   @  %*  

面表示とキーボード入力による早押しゲームを用い  $ ( *,*$ >  2 * (*, <= 清水司，小島真一，脇田敏裕，本郷武朗 運転た実験方法を提案し，単語復唱課題を用いてその有効中における音声対話システムの評価$ 情処研報$

性を検証した。
提案した早押しゲームは回の試行が >〜 秒であ> @2> $  A>$ >

り，反復的に実行されるため，数秒の時間分解能で認<= 新美康永$ 西本卓也$ 荒木雅弘 確認対話の制御

知的負荷の高かった箇所を知ることができる。また，方式の効率と音声認識システムの性能との関係$

被験者の慣れの効果の影響を受けにくいため，所要時

情処研報$ AA @2> $ $ AAA

間の長い音声課題を評価したり，一人の被験者が繰り<= 小島真一他 音声対話の運転への影響評価法の開返し評価実験を行うような場合にも適している。ま発$ 自動車技術会学術講演会前刷集$  A AA$

た，模擬運転課題を用いた  * らの先行研究と異 >$ AAA<= / .  @なり，比較的認知的負荷が低い単語復唱課題において/ .*も，負荷の高低を測定できることが確認された。

      *  . ,これらの結果が得られた理由として，使用した早押
しゲームの成績が *$ 4

 *$ 2 , 

ミリ秒単位の応答時間で得られ % 1 /    * +  .* , *  

 * *$ >$  ?>?$> るため小さな認知的負荷の差であっても結果に反映されやすいこと，課題の所要時間が短いため統計的有<A= 内山祐司，小島真一，本郷武朗，脇田敏裕 運転

意差をもたらすサンプル数が得やすいこと，課題の負

状況適応型音声情報提示システム$ シンポジウム

荷が常に一定であるため模擬運転などと比較して安「ケータイ・カーナビの利用性と人間工学」$定した結果が得られること，などが挙げられる。

> $