音声訂正の評価
緒方 淳

後藤 真孝

産業技術総合研究所

   
あらまし

本稿では，ユーザが認識誤りを選択操作だけで訂正することを可能にする「音声訂正」という音声入力インタフェース機能とその評価について述べる．音声訂正では，ユーザが音声入力を開始すると，認識結果を単語ごとに区切った表示と，区切られた各区間に対する他候補 競合候補 が発話の最中から次々と画面に描画され，ユーザが競合候補の中から本来の正解を選択するだけで認識誤りを訂正可能にした．また，音声訂正では，ユーザが発声中であっても訂正処理が可能な「即時誤り訂正機能」と，ユーザが意図的に発声を休止し，認識処理を一時中断させることが可能な「発話中休止機能」を実現した． 名の被験者による評価実験を行ったところ，音声訂正は使いやすく，効果的な音声入力インタフェースであることが確認された．

                    

 '          

 !

"

      

 #    



 

 

                                          "

                                     $     %       " &             

まえがき

数はその区間の曖昧さを反映しており，音声認識結果として信頼性が低い箇所ほど，多数の候補が表示され計算機による音声認識は，認識誤りを避けることはる．ユーザはそれを見ながら，発話中あるいは発話終できない．音声認識技術を改良してどんなに認識率を了後に正しい候補を選択するだけで訂正ができる．こ上げていったとしもて，人間にとって，常に明瞭で曖

こで重要なのは，わざわざユーザが誤認識箇所を発見昧性のない発声をし続けることは極めて困難である以

上，認識率は決して にはならない．したがって，して指摘しなくても，常に競合候補がリアルタイムに音声認識を日常的に使えるインタフェースにするためり，従来研究のように誤認識箇所の発見，指摘，提示さには，必ずどこかで生じてしまう誤認識を容易に訂正れた候補の判断，選択といった手間をかけずに，いきできる音声入力インタフェースが不可欠となる．

なり候補を見て選択するだけで，効率良く訂正できる．

フィードバックされ続けていることである．これによ

そこで我々は，音声認識による認識誤りを，ユーザ

さらに，こうして発話の最中に候補を選べるようにながより効率的で容易に訂正できる新たな音声入力インると，選択操作の間，音声認識器に一時的に待って欲タフェース「音声訂正」を提案した ．音声訂正しくなることがある．そこで，単に発話中に有声休止

語中の任意の母音の引き延ばし で言い淀むだけで発では，ユーザが音声入力を開始すると，認識結果を単語ごとに区切った表示が発話の最中から次々と画面に話を中断可能とし、その次の発話はあたかも中断前の描画される．同時に，区切られた各区間の他候補 競発話が続いていたかのように入力できるようにした。

合候補 も常に列挙されていく．ここで，競合候補の個

本稿では，これまでに提案した音声訂正機能について述べ，音声訂正の有効性を確認する評価実験の結果

通常の認識結果

要とその機能について述べ， 章で音声訂正機能を持

競合候補を中心に報告する．以下， 章において音声訂正の概

温泉
音声お酢

認識

はがに

オス

つ音声入力インタフェースを紹介する．次に， 章にお温泉
音声
お酢まとめを述べる．

をと起こす降ろす
犯す

ユーザによる候補の選択

いて音声訂正インタフェースの有効性を確認するための評価実験とその結果について述べる．最後に ! 章で誤り

認識

はがに誤りをと起こす
降ろす
犯す

オス

音声訂正

図 ($ 選択するだけで誤りの訂正ができる音声訂正インタ「音声訂正」とは，音声認識器により引き起こされフェース 「音声認識は誤りを起こす」という発声が誤認識た誤認識を，ユーザとのインタラクションを介して訂された例

正する新しい音声入力インタフェースである．一般的に，音声入力インタフェースにおいては，発話終了後るべきでない区間に余分な単語が挿入される誤り が存にユーザが認識誤りを訂正するためには，主に以下の在しても，ユーザはスキップ候補を選択するだけで容 つの手続きを取る必要がある．
" 認識結果の中から誤り箇所を探して指摘する．
" 指摘した誤り箇所を訂正する．

易に削除できる．つまり単語の置き換えと削除が，「選択」という一つの操作でシームレスに実行できる．また，各区間の競合候補は，上から可能性 存在確率 の音声訂正では，これらを一度の操作で効率的に行うこ高い順に並んでいる．つまり，上の方ほど音声認識結とで，認識誤りを訂正する際のユーザへの負担を減ら果として信頼性が高い候補であるので，通常はユーザすことを目的としている．以下では，音声訂正によりが上から下へ候補を見ていくと，早く正解にたどり着提供される主な  つの機能について説明する．なお，本けるようになっている．

稿では主に各機能の概要について述べ，詳細な実装方

以上の音声訂正の基本機能はシンプルだが，従来こ法については文献 # に委ねて省略する．



うしたインタフェースは実現されていなかった．その理由としては，大語彙を対象とした連続音声認識では，競合候補を生成するための中間結果 例えば単語グラフ，音声訂正の基本機能

図  に音声訂正インタフェースの画面表示の模式図

 $  文リスト は非常に大規模なものとなり，図 を示す．音声訂正では，ユーザの発声が入力されると，のような効率的な候補提示が困難だったからである．そ図  上側に示すような結果が，音声入力開始と共に左れに対し音声訂正では，大規模な単語グラフを効率的な表現形式に圧縮した「から右へ順次表示されていく．音声訂正では，従来の音声認識と異なり，最上段の通常の認識結果 単語列  %&!」を，誤り訂正インタフェースへと応用することにより，大語彙，小語彙を問わず多様な入力音声に対して上述のよに加えて，その下へ「競合候補」のリストを常に表示

うな効果的な候補の提示，訂正を可能にした ．

する．図  のように，通常の認識結果が各単語の区間ごとに区切られて，その単語に対する競合候補が整列して表示される．ここで，競合候補の個数はその区間

即時誤り訂正機能の曖昧さを反映しており，音声認識結果として信頼性使いやすいインタフェースを構築するには，ユーザの低い箇所ほど，多数の候補が表示される．そのため，の入力中に逐次現在の認識状態をフィードバックする

ユーザは候補が多いところに誤認識がありそうだと思っことが重要となる．音声訂正では，このようなユーザて，注意深く見ることができる．逆に，認識結果としてに対するフィードバックを通じて，誤り訂正作業を効

信頼性が高い区間は候補が少ないため，ユーザに余計率的に行うことを目的とした「即時誤り訂正機能」をな混乱を与えることが少ない．このように認識結果が提供する．これは，発話中に認識の中間結果を競合候提示されると，ユーザは競合候補の中から正解を「選補付きでリアルタイムにフィードバックし続け，さら択」する操作だけで，容易に認識誤りを訂正できる．にユーザの選択も可能にすることで，発声の最中におなお，図  のように，選択肢には必ず空白の候補がいても，あるいは，音声認識器が最終的な認識結果を含まれる．これを「スキップ候補」と呼び，その候補確定していない段階 認識処理最中 においても，誤りが属する区間の認識結果をないものとする役割を持つ．

を即時に訂正することを可能にする機能である．

これにより，最上段の認識結果に湧き出し誤り 本来あ

発話中休止機能らは，効率的に負荷分散が可能で，拡張性が高くなるよ
うに，ネットワークプロトコル ()*+ ( ,

前節の即時誤り訂正機能を使っていると，発話中に)

* +- を用いて複数のプロセス群として正しい候補を選択している間，音声認識器に一時的に実装されている．

続きを言うのを待って欲しくなる場面が出てくる．しかし，通常の音声認識器による認識単位は，無音で区切られた一息で言える区間なので，むやみに発声を中断するとうまく認識されない問題があった．
これに対し，音声訂正では，発話中にユーザが意図した時点で，認識処理を一時停止させる「発話中休止機能」を提供する．そして次の発話が始まると，あたか(1) 「音声入力インタフェースは役に立ちますか」と発声し，「温泉入浴インタフェースは訳に立ちますか」と認識された.

も一時停止前の発話が続いていたかのように動作させる．このユーザの一時停止の意図を伝えるために，音声中の非言語情報の  つである有声休止 '語中の任意の母音の引き延ばし を，発話中休止機能のトリガー(2) 競合候補を選択することで，誤りを訂正．この場合，ユーザはたった2回クリックするだけで全誤りを訂正できた(「入力」は「音声」を選択したときに自動修正された)．

として採用した．有声休止は，人間同士の日常的な会話においては頻繁に発生し，人間にとってごく自然な行為といえる．そのため，ユーザは自然に一時停止を

図 $ 発話中休止機能を利用しない場合の画面表示例 「音かけて，正しい候補を選択したり，続きの発話を考え声入力インタフェースは役に立ちますか」という文を発声たりできる．



音声訂正機能付き音声入力インタフェース

評価実験音声訂正の有効性を確認するために，文の入力をタスクとした被験者実験により，以下の点について調査

本研究にて構築した音声訂正機能付き音声入力インを行った．

タフェースの動作状況として，図  に発話中休止機能

 音声訂正により，通常の音声入力 最尤単語列のみを出力する音声認識 に比べて，文入力がどの程度効率的になるか．
 比較的長い文やうろ覚えの文を入力する際に，発話中休止機能が有効に働くかどうか．
 音声訂正インタフェース全体に対してどのような印象を受けたか．

を利用しない場合の表示画面を，図  に発話中休止機

能を利用した場合の表示画面をそれぞれ示す．図  に相当する表示部分 「候補表示部」と呼ぶ の上に，さらに一行追加されているが，これは，候補を選択して訂正した後の最終的な音声入力結果を表示している．候
補表示部では，現在選択されている単語の背景が着色される．何も選択していない状態では，候補表示部の今回の実験では，次節で述べるように，評価の目的

最上段の最尤単語列が選択されている．ユーザが他の候補をクリックして選択すると，その候補の背景が着に応じた  つの課題を被験者に対して行ったが，全体色されるだけでなく，画面最上部の最終的な音声入力的な実験方法としては，提示した文を被験者に入力し文字の色を変えてわかりやすく表示している．また，の文を入力完了とした．また，通常の音声入力の際に結果も書き換えられる 選択操作で訂正した箇所だけ，てもらい，一字一句間違えずに入力できた時点で  つ構築した音声訂正インタフェースでは，ユーザが選択認識誤りが発生した場合や，音声訂正で競合候補中にした候補の時間情報や言語的な確率をもとに，その両本来の正解がなくて選択できない場合には，キーボー隣の未選択候補に対する自動訂正機能も実装されていド，マウスを利用してタイプ入力にて訂正することと以上の機能を持つ音声訂正インタフェースは，訂正のが，順番をランダムに変えたものを ' 通り用意して各した．各課題の  つの文は，全被験者を通して共通だる 例えば図  の ．

被験者に割り当てた．

ための競合候補を生成する音声認識部，発話中休止機

本実験で使用した音声認識システムは，音響モデル

能のための有声休止を検出する有声休止検出，訂正処理には，新聞記事読み上げコーパス .
 から学習した/ モデルを，言語モデルには，*(* ソフトウェア  年度版 0 の中から，新聞記事テキストより学等のインタフェース全体の状態管理を行うインタフェー

ス管理部の主に  つの構成要素により実現される．これ





実験方法

音声訂正の機能の有効性を確認するため，各被験者に対して，以下の  つの課題を順に実施した．
課題 ½

まず，キーボードとマウスを利用して，以下の  つの(1) 「三度の飯よりー」と発声．言い淀みが検出され， 発話中休止と同定されると 認識器が一時停止．

(2) 競合候補を選択することで，現時点までの誤りを訂正．

文を入力した．

" これらの地域の中学では非行が少ない
" この病院のベッド数は十五床です" お年寄りからの注文にも備え二千個分の材料を確保
なお，課題  は，以降の音声による文入力の際の訂正処理を，被験者がスムーズに行えるよう，本実験でのキーボード，マウスを利用した日本語入力環境 かな
漢字変換 に慣れることを主な目的として実施した．
課題 ¾
次に，音声を利用した文入力として，上記の  文を以下の条件でそれぞれ入力した．

(3) 残りの発声「音声認識」を入力．言い淀みなしで一定の無音が検出された時点で認識処理が終了．

 通常の音声入力を使用して文入力
 音声訂正を使用して文入力

被験者は，課題を行う直前に，通常の音声入力，音声訂正 基本機能と即時誤り訂正機能 についての説明を受け，それぞれの入力手段について，上記の  文とは別の  文を用いて練習を行った．ただし，本課題では，音声訂正の文入力に対する基本性能，効率性を評価す(4) 残りの誤りを訂正．

図 )$ 発話中休止機能を利用した場合の画面表示例 「三度の飯より音声認識」という文を発声習された  語の $, をそれぞれ用いた．また，
本インタフェースでは，音声認識器の認識アルゴリズ
ムとして，$&1 制約

 $  探索手法 2 を用いることで，リアルタイムに競合候補を生成，提示することが可能となっている．なお，音声を用いた実験では，音声認識単体の基本性能差による影響を排除するために，認識デコーダ，音響モデル，言語モデルに関しては，通常の音声入力，音声訂正の各実験ともに同一のものを用いた．すなわち，本実験における通常の音声入力による認識結果は，音声訂正の競合候補の中の最尤単語列 最上部に表示される単語列 のみを表示した場合に相当する．本実験には，音声入力ソフトウェアを普段利用していない， 代の ! 名の被験者 男性 名，女性  名 が参加した．

るため，音声訂正の発話中休止機能については被験者に対して一切説明はしなかった あくまでも被験者が発話中休止機能について知らされていないだけであり，機能自体はシステムに含まれていた．また，課題  において， と  の条件の順番は，被験者ごとに交互に変わるように設定した．本課題の終了後には，音声訂正の基本機能，即時誤り訂正機能それぞれについてのアンケート ' 項目 - 段階評価 を実施した．
課題 ¿最後に，発話中休止機能の評価を目的とした課題を行った．本研究で提案した発話中休止機能は，" 節で述べたように，ユーザが発声中に音声認識処理を意図的に中断させることが可能となるものである．このような機能は，例えば，ユーザが一息では発声しきれないよ
うな比較的長い文を入力する際などに特に有効に働くと考えられる．また，我々は，本機能の実際の利用状況として，自発的に発声された音声に対する入力インタフェースを想定しており，そのため，休止状態にするためのトリガーとしては言い淀みを採用している．したがって，発話中休止機能の評価を目的とした本課題に

課題 について

表 ($ 課題  における認識率
認識率 +
通常音声入力,-(音声訂正 訂正前,.)音声訂正 訂正後/00.

3
この課題では，「頭の中にある文を発声して，コンピュータ上に入力」することを想定しています．
※ 文を見て，読み上げるのではありません

文が提示されたら，提示された文を頭の中に入れてください．
発声を開始してください．
・ただし，声を出している最中には，提示された文は見ないようにしてください．
・声を出しているときは，音声認識結果 黒い画面 を見るようにしてください．
※ ただし，「発話中休止機能」を使って，休止状態にしたときには，提示された文を確認することはできます．
※ これまでの課題と同様，「できるだけ早く」文の入力を完了してください(1)

表 $ 各入力手段の平均入力時間
平均入力時間
通常音声入力(**(
音声訂正//*(2)()

 ではタイプ入力する練習も兼ねているので，入力時間に関する厳密な比較対象にはならない．音声訂正では，通常の音声入力に比べて約 の入力にかかる所要時

図 *$ 課題 ) における被験者に対する指示文

おいては，被験者が自発的に発声する状況になるべく間を削減できていた．以上の結果より，音声訂正は優近くなるように，頭の中にある文を発声して入力してれた訂正能力を持ち，より効率的に文入力が可能であることがわかる．また，課題  の実験に際し，音声訂いる場面を想定し，以下のような手順で実験を行った．

正に関して，被験者はたかだか  つの文を練習としてまず，発話中休止機能についての説明を行い，その後被験者は実際に本機能を練習した．次に，本課題についての説明を行った後 実際には，図入力しただけであり，これより音声訂正の基本機能は，に示す指示文を被験者に提示，発話中休止機能を使うかどうかは入念な練習は不要で，インタフェースとしても直観的行った．

であった．また，課題  の  文を入力するにあたり，発であったといえる．課題  の実験では，本機能が使用被験者の自由という条件で，以下の  つの文の入力をされたのは，全被験者の全発声のうちで約 ' '3-!

" これから先の高いレベルを目指すにはもう少し読話中休止機能を全く使用しなかったのは全 ! 名のうちみの裏付けが必要だ

名であり，今回実験に参加した多くの被験者が本機

" 九十四年度当初は予算と同規模で景気対策を理由能を利用していたことがわかった．

図 ! に音声訂正使用後のアンケート結果を示す．図に二年連続で高水準となった

" 全国のコンビニエンスストア 書店 私鉄 地下鉄の中，

示した入力対象文を記憶して 頭の中に入れて もらっ

 は音声訂正の基本機能について，4 は即時誤り訂正機能について，* は発話中休止機能について，
図 5 は音声訂正システム全般についてのアンケート結果となっており，各項目とも〜6 の - 段階尺度でた．このとき，記憶に要する時間は特に制限せず，被の評定を行った．評定値が全体的に高い傾向にあった駅などで販売 年間講読者への宅配も行う予定
ただし，被験者には，各々の文を入力する前に，提験者の自由とした．文を入力する際の制約として，発のは，項目 "， "，-" で，音声訂正，各機能は直観的声している最中には，入力対象文は確認できないことでわかりやすいインタフェースであったことがわかる．とした．ただし，発話中休止機能を使って休止状態に  の音声訂正の基本機能については，項目 "，"，"し，発声がなされていないときには，入力対象文を確ともに評定値が高く，候補を選択するだけで誤り訂正することの有効性，効率性が示された．4 の即時誤認することは可能とした．また，本課題の終了後には，り訂正機能については，項目 !" が他に比べると低い評

発話中休止機能について，また，音声訂正全般についてのアンケート ! 項目 - 段階評価 を実施した．

定値となった．これは，発声途中から逐次表示される候補をチェックし，訂正処理を行うことに対して，被験実験結果者が一定の負担や慌ただしさを感じたためである．し表  に，課題  における，通常音声入力を使用したかしながら，この点に関しては，ある程度慣れることにより有効に使用できそうであるという意見は多かっときの認識率，音声訂正を使用したときの訂正前・訂正後の認識率をそれぞれ示す．実際の被験者実験においた 項目 '"．また，今回の実験においては，即時誤りても，音声訂正はほとんどの誤りを訂正可能とし，高訂正機能により，多くの被験者は発声をしながらの訂い訂正能力を示した．また，課題  における各入力手段

正処理は難しいながらも，発声が終了した瞬間に，認ごとの，文を入力し終えるまでの  文あたりの平均入識処理が実行中であっても即座に訂正処理に移行でき，力時間を表  に示す．なお，課題  におけるキーボー

最終的な文の入力を比較的早く完了させることができていた．* の発話中休止機能についても，4 と同様

ドでの平均入力時間は "'! 秒であった ただし，課題!

図 $ アンケートの集計結果に機能を有効に使えたか 項目 0"，という点について

音声ならではの機能を持った，さらに使いやすい音声評定値が低かった．この理由としては，今回の実験に入力インタフェースを実現していきたいと考えている．

おいて，被験者が「言い淀む」ことに対して一定の抵参考文献抗を感じたことが挙げられる．特に女性にそのような意見が多かった．有効に使えた被験者においては，本

実験のような比較的長い文に対する入力が格段に楽に  なったとの意見を得た 項目 2"．最後に，項目 " の

音声訂正システム全般については，0 割以上の被験者

緒方，後藤 音声訂正：     が今後使いたいとの意見を得られ，以上のアンケート

!"#" $%##'$4"("# # "0"(!

情処研報

  &"'(*,# -. /,'!

)*'+ ((( ((0#' ("#' 1(#(1", *( 

結果からも本インタフェースの有効性が確認できた．

緒方，後藤 音声訂正 認識誤りを選択操作だけで訂正が論文集できる新たな音声入力インタフェース  *# 2# ""(3"##(, 1 #(. "5 ((#' '

6"-*0"(. #'**,&!'#'

.,#7, (   89 まとめ$"!* # "0
'#'

(5:'5'! ,,*, '((($''7';"#'

"5#', 1 1*,' =#>(+ 7*#(

本稿では，音声認識による認識誤りをユーザによっ!*"!60  =  て効率的かつ容易に訂正できる「音声訂正」という音 &!
#(<0'" "5 "

後藤 他  自然発話中の有声休止箇所のリアルタイム検出シス
テム 信学論 60 9? =      後藤 他 音声補完 音声入力インタフェースへの新しいモダリティの導入 コンピュータソフトウェア 60 = 

8

声入力インタフェース機能と，! 名の被験者による評価実験について報告した．実験の結果，音声訂正によ  

り文入力が効率化され，被験者にとって今後も使いた

河原 他 連続音声認識コンソーシアム年度版ソフトウ 98
エアの概要と評価 情処研報
 緒方，有木 大語彙連続音声認識における最ゆう単語 -"+@接続を用いた効率的な -,# 探索法 信学論 609 ?

9

いと思われるインタフェースであることがわかった．



今後は，未知語への対処を行い，より効率的な誤り訂正処理について検討する予定である．本研究は「音=  

声補完シリーズ」 の第 ! 弾に位置付けられるが、こ 9 後藤 非言語情報を活用した音声インタフェース 情処研報     8

れから言い淀み以外の非言語情報も積極的に取り入れ，'