ネット サーフィンにおける音声入力語彙とその役割
西本卓也

新美康永

京都工芸繊維大学 工芸学部 電子情報工学科〒 606-8585

京都市左京区松ヶ崎御所海道町

http://www-vox.dj.kit.ac.jp

あらましnishi@dj.kit.ac.jp

インターネット上の情報をユーザがより有効に活用するためには、既存の WWW サーバやウェブ検索システムとユーザの仲介者として音声入力を用いてネットサーフィン支援を行うシステムが有用であると考える。このような機能を実現するにあたって、ウェブブラウザが持つ操作体系に音声コマンド操作を付加する場合に配慮すべき事項を整理し、音声ネットサーフィンシステムの設計方針を示した。さらに、検討した仕様において音声の利点がどの程度もたらされるかを検証するために模擬対話実験を行った。その結果、先読みしたページに含まれる語彙をユーザが連想して発話することが容易とは限らないこと、ユーザの発話は表示されている画面が選択画面であるか情報提示画面であるかに依存し、操作発話だけでなく多くの印象発話を含むこと、などが明らかになった。
キーワード

WWW，音声認識，マルチモーダル・インタフェース，操作発話，印象発話

Analysis of User's Utterances to a Speech Input System for
Net-Sur ng
Takuya NISHIMOTO and Yasuhisa NIIMI

Department of Electronics and Information Science, Kyoto Institute of Technology
Matsugasaki, Sakyo-ku, Kyoto, 606-8585 Japan
http://www-vox.dj.kit.ac.jp

nishi@dj.kit.ac.jp

To utilize the information resources on Internet more e ectively, we need some assistantsystems between the user and the WWW servers or search engines. We have pointed out what to consider
in building such net-sur ng assistant systems, which add the voice command interface to the existing
web browsers, and indicated our design for the voice net-sur ng system. In this paper, we examined thebene t of the speech input at our design. As the result of the experiments using simulation dialogs, it
seems not very easy for the users to remind the words that are included in the pages which are linked
to the pages already displayed. It also turned out that the utterances of the users depend on the typeof the displayed page, and contain many non-command words which show user's impressions about thedisplayed information, as well as the command utterances.
Abstract

Key words

utterance

WWW, Speech recognition, Multi-modal interface, Command utterance, Impression

1

はじめにインターネットの普及により、膨大な情報から求音声ウェブブラウザの設計

22.1

音声コマンド の設計方針

める情報を効率的かつ快適に検索できるシステムが求められている。すでにウェブ情報を人手によって体ウェブブラウザが持つ操作体系に音声コマンド 操系的に分類したディレクトリサービス1 や、Indexing

作を付加するにあたっては、現在多くのユーザを獲

Robot を用いたキーワード検索システム2 が実用化得している各種のウェブブラウザが、すでにマウスされており、これらを用いることにより、世界中のとキーボード による優れた操作体系を有しているこ

多種多様な情報にアクセスすることが可能になりつとを重視するべきだと考える。例えば、マウスで可つある。

能な操作を音声入力で行うことは、マウス操作と比しかし、ユーザの要求が主観的なものである場合、 較して繁雑になったり、ユーザが操作方法を連想す
これらのシステムが提示する情報が常に個々のユー ることが困難になるおそれがある。
ザの要求を満たすとは限らない。一般にユーザは、そこで本研究では音声ウェブブラウザをマルチモー得られた検索結果を元にキーワードを追加・修正したダルな対話システムと考え、既存のウェブ操作方法り、複数の検索結果を比較しながら適切な情報を選をなるべく生かしたまま、「画面表示されていない項択していくことが多い。そこで、ユーザと各種のウェ目にも対応できるショートカット操作」として音声入ブ検索システムの間を仲介するような形態でユーザ力を用いることとする。これにより、すでに既存のの問題領域に応じた情報検索支援を行うことができブラウザに熟練しているユーザは、音声操作が不要れば、これら情報システムがさらに有効に機能するな場合も同じシステムを使い続けることができ、必と考えられる。このような立場に基づき、我々は既要に応じて操作回数を軽減するためのショートカッ

存の WWW サーバとユーザの仲介者として音声にトとして音声操作を用いることができる。

よりネットサーフィン支援を行うシステムを構築している [1][2] 。
特にウェブ閲覧に音声入力を用いることの利点として次の 2 点が期待される。

一方で、このようなシステムは、初心者ユーザにとっても特別な訓練なしに使用でき、特に音声入力に不慣れなユーザに対しても直観的な操作を実現することが望ましい。
ユーザに支持されるための音声コマンド 体系の設1. 音声コマンド 語彙の生成において、過去に表計方針としては、インタフェースの原則からトップ示された画面や、表示中の画面からリンクさダウンに操作体系を導く方法 [4] がある。しかし 、れている画面の情報を用いることで、音声にネットサーフィンにおいては画面構成もタスクも動よるショートカット操作を提供することが可的に変化するため、試作システムや模擬対話実験を能となり、ブラウザ操作を効率化できる [3] 。

2. 音声を用いることで、よりユーザが連想しやすい手段でユーザの要求を仲介システムに伝用いてユーザの発話や行為を検証した上で、利用者にとって最適な音声コマンド体系を段階的に実現していく必要があると考える。

えることができる。
2.2

ユーザ発話の分類

本稿ではまず、ウェブブラウザが持つ操作体系に音声コマンド 操作を付加するにあたって我々が配慮自発発話による対話的な情報検索においては、ユーする事項を述べ、構築中の音声ネットサーフィンシ

ザの発話内容は、すべてがブラウザ操作に対応してステムの設計方針を示す。次に、音声によって上記いるわけではない。画面上の情報の中で興味を引いの利点がどの程度もたらされるかを検証するためにた項目を読み上げたり、その情報から受けた印象を行った模擬対話実験について述べる。最後に、これ語ったりする発話も多く用いられる。

らの実験結果を元に上記の利点について検証を行い、本研究では、ユーザの発話のうち、マウスやキーYahoo Japan (http://www.yahoo.co.jp) など
TITAN (http://sting.navi.ntt.co.jp/titan.html)
GOO (http://www.goo.ne.jp) など

ユーザの操作発話と画面内のキーワードとの対応づ構築中のシステムに反映させる手法について述べる。 ボード による GUI 操作に相当する発話を「操作発話」と呼び、それ以外の発話を「印象発話」と呼ぶ。
1
例えば
2 例えば

2. 印象発話によってユーザは興味を持ったり驚いけを行うことにより、音声ショートカット機能の有効性を検討する。

たりした項目をシステムに知らせていると考また、印象発話に関しても検討を行う。これらを音えられるため、ユーザの主観的な要求を推測声認識の対象とすることで非コマンド 発話のリジェしたり、指示語などの照応関係を解決する目的クションが容易になると考えられる。また、ネットでこれらの発話を利用することが期待できる。

サーフィンにおいて印象発話が果たす役割について一方で、音声認識部が実用的な認識率や認識性能考察を行う。

で動作するためには、語彙数などの制約を受ける。
2.3

画面タイプの分類

ウェブ閲覧においては、選択肢の明確な場面ではそこで我々は、表 1のようにユーザ発話を分類し、音声認識部の応答速度を落さない範囲で、これらの語彙を対話状況ごとに適切な比率で含めることを検討

音声コマンドを頻繁に用いることが期待される反面、 している。
選択肢のない場合は非コマンド 発話が多く発話されると考えられる。
本研究ではウェブにおける表示画面を次の 2 つに

表 1: ネットサーフィンにおけるユーザ発話の分類
内容への依存性

操作発話

印象発話

内容非依存

うんはい次ほかいちばん上万のがいい三条
ワンルーム
敷金が安いのは？

ほおー

分類した。
選択画面 画面内で選択肢から何かを選択するよう一般的語彙に明示されている画面。フォーム操作または内容情報カテゴリの指定など。

依存

ページ固有
語彙

情報提示画面 選択操作によって絞り込まれた情報の20

せまいなあ…

徒歩

5 分か

一覧や、特定の情報を表示するような画面。
本報告では、手作業によるラベリングで上記の分類を行い、さらに、これらを自動分類する方法につ実験

3いて検討する。また、表示中の画面タイプがユーザの発話に与える影響について検討を行う。
2.4

音声入力候補の動的な構成

音声入力候補の決定においては、ユーザが各状況で発話しやすい語彙を多く候補に含めることでユーザの操作効率や使いやすさを改善することができる。
また、印象発話についても、次のような理由から、ユーザが発話する可能性が高い場合は音声入力候補に含めることが望ましい。

本研究で行った実験の詳細を以下に述べる。
3.1

タスク

次の 5 種類のタスクについて実験を行った。

タスク 1：賃貸住宅の検索 アドパーク3 ホームペー

ジを被験者に見せ、自分の住みたい部屋を探した。

Yahoo Japan 4 ホー
ムページから開始して、自動車 (F-1) の写真のうちタスク 2：F-1 写真の検索被験者が気に入った写真を探した。
タスク 3：宿泊施設の検索 「あるじゃん」5 から

1. 音声入力候補を操作発話に限定してしまうと、 開始して、自分が宿泊したい施設の検索を行った。
ユーザが自発的に行った発話の多くが誤認識

タスク 4：セキセイインコに関する知識収集されたり未知語として棄却されてしまうため、タスク 5：犬に関する知識収集

Yahoo Japan ホー

このような反応を恐れてユーザが音声コマンムページから開始して、セキセイインコおよび犬にド を使わなくなる可能性がある。印象発話に関する知識の収集を行った。

対して適切な相づちなどを行うことで、ユーザが機械に向かって話しかける場合の精神的負担を軽減できると思われる。

345

http://www.adpark.co.jp
http://www.yahoo.co.jp
http://www.recruit.co.jp

3.2

対話の収録方法「対応する語彙」の判断としては、名詞または数詞が一致することを条件とし、手作業で対応づけを被験者とオペレータがコンピュータの前に座り、オペレータのみがマウス操作を行う。被験者は、オペレータに音声で依頼することによってのみブラウ行った。 ユーザ発話と画面内語彙の相対位置の集計
結果を表 3に示す。

ザを操作できる。このような状況で、被験者に情報

表 3: ユーザ発話と画面内語彙の相対位置

サービスのウェブページを見せ、音声のみを用いて自分の好みの情報を見つけるよう指示する。
オペレータは被験者にタスクの達成を促し、被験者がタスクを達成したことを確認する目的で、特に

分類
操作
印象

全発話

分類
操作
印象

全発話

分類
操作
印象

全発話

分類
操作
印象

全発話

46
110

制約を設けずに会話を行うものとした。
ページの更新履歴は HTML ファイルとして保存し、タグ情報や出現した文字列の分析に使用した。
また、対話音声とブラウザ画面をビデオカメラで収録し、発話内容を書き起こして解析に用いた。
3.3

収録された対話

ウェブブラウザの利用経験がある被験者 5 人によって、上述の条件で模擬対話を行った。各対話における対話時間、表示画面数、オペレータと被験者の発345943812358（実験 1-1-1 ）-3 -2 -1 0
- 1 - 23
- - - 44
（実験 1-1-2 ）-3 -2 -1 0
- - 1 17- - - 9（実験 1-2-1 ）-3 -2 -1 0
- - - 25
- - 2 22
（実験 1-2-2 ）-3 -2 -1 0
- - - 13
1 - - 18+1 +2 +3- - - - +1 +2 +3- - - - 1+1 +2 +3- - - - +1 +2 +3- - - - -話回数を表 2に示す。
ここでは複数のフレームから構成される画面も 1
画面として数える。また、同一の画面がブラウザの3.5ユーザ発話と画面タイプの関係画面後退操作によって複数回表示された場合も、新各実験におけるユーザの操作発話と印象発話の発たな画面表示として計数する。

話数の比率は 図 1のようになった。

表 2: 各対話の所要時間と画面数および発話数

Task
1
11
12
3
3
45

3.4

実験

1-1-1
1-1-2
1-2-1
1-3-2
2-3-1
3-4-1
3-5-1
4-4-1
5-5-1

時間分

( )
201010
732
1930
32
17

画面数

26
1824
1155
37
34
40
34

オペレータ
発話回数

174
131
111
127
155
185
308
179
130

被験者
発話回数

157
93124
81225
241
195
282
92

ユーザ発話と画面内語彙の対応

ユーザ発話においてウェブ画面中の語彙がどれだけ用いられるかを明らかにするために、各ユーザ発話が指している語彙が出現した画面と、その時点で表示されていた画面の相対位置を調べた。

図 1: 被験者の操作発話と印象発話の比率

また、選択画面および情報提示画面におけるユーザの操作発話と印象発話の発話数と比率を求めたと
ころ、表 4および図 2,3 の結果が得られた。

図 3: 情報提示画面におけるユーザ発話の比率

表 4: 各画面タイプにおけるユーザ発話数
実験

1-1-1
1-1-2
1-2-1
1-2-2
2-3-1
3-4-1
3-5-1
4-4-1
5-5-1

種別
選択
提示
選択
提示
選択
提示
選択
提示
選択
提示
選択
提示
選択
提示
選択
提示
選択
提示

画面数

1610
11714
10
74
35
2024
1322
1226
1422
12

操作発話

印象発話

33 (46%) 38 (54%)
13 (15%) 72 (85%)
27 (61%) 17 (39%)
7 (14%) 42 (86%)
38 (47%) 43 (53%)
5 (12%) 38 (88%)
19 (59%) 13 (41%)
4 ( 8%) 45 (92%)
54 (47%) 62 (53%)
30 (26%) 84 (74%)
70 (44%) 89 (56%)
15 (18%) 67 (82%)
50 (56%) 40 (44%)
24 (23%) 81 (77%)
44 (30%) 102 (70%)
30 (22%) 106 (78%)
31 (46%) 38 (54%)
8 (33%) 16 (67%)
ウェブ検索システム TITAN[5] では、HTML ページに含まれるハイパーリンクの数などから案内型尺度および情報型尺度という値をヒューリスティック

図 2: 選択画面におけるユーザ操作の比率に求め、検索結果に付与している。本研究で用いている画面タイプもこれらの尺度と同様の役割を果たしていると考え、HTML タグから得られる 4 つのパラメータ（画面に含まれるリンク数，画面に含まれるフォーム数，画面内の段落数，画面内の段落あたりの文字数）による線形識別関数を用いて画面タイプを判別することを試みた。
タスク 1 および 2 における 5 対話の模擬実験で採取したウェブ画面のうち 27 画面によって学習を行

い、28 画面の判別を試みた結果、表 5のような結果を得た。

表 5: 線形識別関数による画面タイプの判別結果
手作業による分類

正解

誤り

選択画面

151021

情報提示画面

3.6

画面タイプの自動判別

上述の実験では画面タイプの分類を手作業で行ったが、実際のシステムでこれらの情報を用いるためには画面タイプを判断する機構が必要となる。

考察

4

らしたり、必要なコマンド 語彙をカバーしにくくなるなどの問題が予想される。

4.1

画面内語彙とのユーザ発話の関係

選択画面および情報提示画面という画面タイプを

本実験においては表 3に示すように、ユーザは表用いることで、画面の内容に応じて適切な語彙の構示中の画面に含まれる語彙を多く用いて発話をする

画面タイプは、HTML タグから得られる情報によっ一方、すでに表示された画面や、表示画面からリンクされた画面（先読み可能な画面）に含まれる語彙成を行うことが可能だと思われる。また、これらのて表 5のように判別できることがわかった。

をあまり用いていない。
この結果は、表示画面の先読み範囲に含まれる語彙をユーザに喋らせる、という操作は必ずしもユーザにとって直観的であるは限らない、ということを示すと思われる。
ユーザが過去に表示された画面を再度参照する場
合には、類語を用いたり、曖昧に記憶している数字を「 48000 」ではなく「 5 万くらいのところ」などと発話するようなケースが多く見られた。また、操作発話としては、画面内の語彙を直接用いるのではないが、画面内の位置関係に基づく項目の指示表現（「上から n 番目」「その右」など）などが多く用いられた。
音声ネットサーフィンにおいてユーザの手順連想容易性を高めるためには、これらのユーザ発話を含めた幅広い語彙を受け付けることが必要であると考えられる。

5まとめ
本稿では音声ウェブブラウザの設計方針について検討し、音声の利点がどの程度もたらされるかを検証するために模擬対話実験を行った。その結果、先読みしたページに含まれる語彙をユーザが連想して発話することが容易とは限らないこと、ユーザの発話は表示されている画面が選択画面であるか情報提示画面であるかに依存し、操作発話だけでなく多くの印象発話を含むこと、HTML タグ情報によって画面タイプの分類が可能であることが明らかになった。
今後の課題としては、ネットサーフィンに不慣れな被験者に関しても同様の実験を行うこと、オペレータとユーザを非対面にしたりオペレータの役割を限定するなど実システムに近い実験を行うこと、などが挙げられる。また、自発的な対話の行える音声ウェブブラウザを実現するためには、より詳細なユーザ

4.2

操作発話と印象発話

図 1より、すべての対話のユーザ発話において印象発話が操作発話の数を上回っている。このことか
ら、対話的なシステムを構築するうえで印象発話を適切に扱うことが重要であると考えられる。
表 3 より、印象発話の多くも画面内語彙と対応しており、印象発話に対応する音声認識語彙についても、操作発話と同様の方法で構成することが可能であると考えられる。
4.3

画面タイプとユーザ発話の対応

表 4および図 2,3 より、ユーザが用いる操作発話と印象発話の割合は、表示されている画面のタイプによって異なっている。
音声認識語彙としてはユーザが用いる可能性の高い語彙を受理する必要があるが、語彙の構成方法が一定であるとすると、常に操作発話と同じ程度の数の印象発話を含むことになり、誤認識の増加をもた発話と画面内容との対応づけを行うとともに、各語彙に対するシステムの応答も検討する必要がある。

参考文献[1] 西本卓也, 小林豊, 新美康永, WWW 上のデータベース検索のための汎用音声 インタフェース, 日本音響学会講演論文集, 2-Q-20, pp.179-180, 1997-03.
[2] 西本卓也, 小林豊, 新美康永, ネットサーフィンにおける音声コマンド候補の生成について, 信学技報 SP97-59, 1997-11.
[3] 桂浦 誠, 中村 哲, 鹿野清宏, キーワード を用いた音声によるネットサーフィン, 日本音響学会講演論文集, 2-Q-34,pp.183-184, 1997-09.
[4] 西本卓也, 志田修利, 小林哲則, 白井克彦, マルチモーダル
入力環境下における音声の協調的利用|音声作図システム
S-tgif の設計と評価|, 電子情報通信学会論文誌, J79-D-II,
pp.2176{2183, 1996-12.
[5] 林良彦，菊井玄一郎，鷲崎誠司，砂場倫太郎，WWW 情報空間における Resource Discovery と Navigation 支援，電子情報信学会 人工知能と知識処理研究会，AI-95-31 1995-9.