Vol. 48

No. 1

Jan. 2007

情報処理学会論文誌

音声訂正：選択操作による効率的な誤り訂正が可能な
音声入力インタフェース
緒

方

淳†

後

藤

真

孝†

本論文では，ユーザが認識誤りを選択操作により効率的に訂正することが可能な「音声訂正」という音声入力インタフェース機能を提案する．音声訂正では，ユーザが音声入力を開始すると，認識結果を単語ごとに区切った表示と，区切られた各区間に対する他候補（競合候補）が発話の最中から次々と画面に描画され，ユーザは競合候補の中から本来の正解を選択するだけで認識誤りを訂正することが可能となる．また，音声訂正では，ユーザが発声中であっても訂正処理が可能な「即時誤り訂正機能」と，ユーザが意図的に発声を休止し，認識処理を一時中断させることが可能な「発話中休止機能」を実現する．25 人の被験者による評価実験を行ったところ，音声訂正は使いやすく，効果的な音声入力インタフェースであることが確認された．

Speech Repair: Speech Input Interface Capable of
Quick Error Correction by Using Selection Operation
Jun Ogata† and Masataka Goto†
In this paper, we propose a speech input interface function, called “Speech Repair ”, whichenables a user to easily correct recognition errors by selecting candidates. During the speech
input, this function displays not only the typical speech-recognition result but also othercompetitive candidates. Each word in the result is separated by line segments and accompanied by other word candidates. A user who ﬁnds a recognition error can simply select thecorrect word from the candidates for that temporal region. Furthermore, we introduce two
additional functions: immediate correction function that enables the user to correct errors
not only when the recognition process is complete but also whenever the user ﬁnds erroneouswords, and intentional suspension function that enables the user to intentionally suspend andresume the recognition process. Experimental results with twenty-ﬁve subjects showed thatthe speech-repair function is easy to use and eﬀective interface.

1. は じ め に補が表示されるので，ユーザは正しい候補を選択して音声認識技術を改良してどんなに認識率をあげて話の終了後にその認識結果を単語境界の線で区切った

いったとしても，人間にとって，つねに明瞭で曖昧性表示をし，かな漢字変換で単語の区切りを修正するよのない発声をし続けることはきわめて困難である以上，うに，その境界をマウスで移動できるようにした．こ

認識率はけっして 100%にはならない．したがって，音の場合，正しい候補にたどり着ける可能性は高くなっ

声認識を日常的に使えるインタフェースにするためにたものの，誤認識箇所の指定，単語境界の変更，候補

は，必ずどこかで生じてしまう誤認識を容易に訂正での選択と，ユーザが訂正するための手間は増えてし訂正できる．文献 1) の研究ではこれを発展させ，発きる音声入力インタフェースが不可欠となる．そのた

まっていた．一方，文献 2) では，音声認識を利用しめ，従来からそうした訂正のためのインタフェースがたニュース字幕放送のために，実用的な認識誤り修正

提案されてきた．たとえば，市販のディクテーション

システムを実現している．しかし，2 人の分業を前提

ソフトでは，認識結果のテキスト表示をユーザが見て，とし，1 人が誤認識箇所を発見してマーキングし，も誤認識を発見したら，その区間をマウス操作や音声入

う 1 人がその箇所の正解をタイピングする必要があっ力で指定することができる．すると，その部分の他候たため，個人が自分の音声入力を訂正する目的では使えなかった．このようにいずれの従来手法も，まず最† 産業技術総合研究所
National Institute of Advanced Industrial Science andTechnology (AIST)

初に，ユーザが誤認識箇所を発見して指摘し，次に，その部分の他候補を判断して選択したり，タイピング
375

376

Jan. 2007

情報処理学会論文誌

して修正したりするといった手間を要していた．

ションを介して訂正する機能である．通常の音声認識

本研究では，音声認識による認識誤りを，ユーザが器では，確定した認識結果（単語列）をユーザに 1 つ

より効率的で容易に訂正できる新たな音声入力インタだけ提示していた．そのため，発話終了後にユーザがフェース「音声訂正」を提案する．音声訂正では，ユー

認識誤りを訂正するためには，以下の 2 つの手続きをザが音声入力を開始すると，認識結果を単語ごとに区とる必要があった．

切った表示が発話の最中から次々と画面に描画される．

(1)
(2)

同時に，区切られた各区間の他候補（競合候補）もつ

認識結果の中から誤り箇所を探して指摘する．
指摘した誤り箇所を訂正する．

ねに列挙されていく．ここで，競合候補の個数はその音声訂正では，これらを 1 度の操作で効率的に行う区間の曖昧さを反映しており，音声認識結果として信ことで，認識誤りを訂正する際のユーザへの負担を減

頼性が低い箇所ほど，多数の候補が表示される．ユー

らすことを目的としている．

しい候補を選択するだけで訂正ができる．ここで重要

2.1 音声訂正の基本機能
図 1 に音声訂正インタフェースの画面表示の模式

なのは，わざわざユーザが誤認識箇所を発見して指摘図を示す．音声訂正では，ユーザの発声が入力される

ザはそれを見ながら，発話中あるいは発話終了後に正しなくても，つねに競合候補がリアルタイムにフィーと，図 1 上側に示すような結果が即座に提示される

ドバックされ続けていることである．これにより，従（音声入力開始とともに左から右へ順次表示されてい来研究のように誤認識箇所の発見，指摘，提示されたく）．音声訂正では，従来の音声認識と異なり，最上段

候補の判断，選択といった手間をかけずに，いきなりの通常の認識結果（単語列）に加えて，その下へ「競候補を見て選択するだけで，効率良く訂正できる．さ合候補」のリストをつねに表示する．競合候補とは，らに，こうして発話の最中に候補を選べるようになる

音声認識の認識処理過程において，通常の認識結果以と，選択操作の間，音声認識器に一時的に待ってほし

外に可能性の高かった単語候補である．図 1 のように，くなることがある．そこで，単に発話中に有声休止（語通常の認識結果が各単語の区間ごとに区切られて，そ中の任意の母音の引き延ばし）で言い淀むだけで発話の単語に対する競合候補が整列して表示される．ここを中断可能とし，その次の発話はあたかも中断前の発で，競合候補の個数はその区間の曖昧さを反映してお話が続いていたかのように入力できるようにした．

り，音声認識結果として信頼性の低い箇所ほど，多数

本インタフェースは，音声入力のみによる完全なハの候補が表示される．そのため，ユーザは候補が多い

ンズフリーの状況を想定したものではなく，音声を主ところに誤認識がありそうだと思って，注意深く見るとし，その他の入力デバイスも併用することによって，ことができる．逆に，認識結果として信頼性が高い区

より快適で効率的な文章入力を行うことを目的として間は候補が少ないため，ユーザに余計な混乱を与える

いる．実際の利用状況としては，まず，キーボード，

ことがない．このように認識結果を提示することで，マウスなどのデバイスが自由に使える汎用コンピュー

ユーザは競合候補の中から正解を「選択」する操作だ

タ（デスクトップ型，ラップトップ型）上でのドキュ

けで，容易に認識誤りを訂正できる．

メント作成，文章入力があげられる．また，本インタ

なお，図 1 のように，選択肢には必ず空白の候補がフェースは，ペン操作を主とするタブレット PC や携帯型端末など，キーボードが利用できない環境において，より有効な文章入力手段になると考えられる．
以下，2 章において本研究で提案する「音声訂正」という新たな音声インタフェースについて述べ，3 章
でその具体的な実現方法を説明する．次に，4 章において音声訂正インタフェースの実装の詳細について述
べ，5 章で音声訂正の基本性能について実験的に評価する．最後に，6 章で音声訂正インタフェースに関する
ユーザビリティの評価を行い，7 章でまとめを述べる．

2. 音 声 訂 正
本研究で提案する「音声訂正」とは，音声認識器により引き起こされた誤認識を，ユーザとのインタラク

図 1 選択するだけで誤りの訂正ができる音声訂正インタフェース（「音声認識は誤りを起こす」という発声が誤認識された例）
Fig. 1 Overview of the speech-repair function.

Vol. 48

No. 1

音声訂正：選択操作による効率的な誤り訂正が可能な音声入力インタフェース

377

含まれる．これを「スキップ候補」と呼び，その候補機能）を実現する．これにより，上述の 2 点の作業が属する区間の認識結果をないものとする役割を持つ．

時間が短縮される．また実際の訂正にかかる時間も，これにより，最上段の認識結果に湧き出し誤り（本来すでに表示されている候補を「選択」するだけなのであるべきでない区間に余分な単語が挿入される誤り）

早い．

が存在しても，ユーザはスキップ候補を選択するだけ

2.3 発話中休止機能で容易に削除できる．つまり単語の置き換えと削除が，前節の即時誤り訂正機能を使っていると，発話中に「選択」という 1 つの操作でシームレスに実行できる．

正しい候補を選択している間，音声認識器に一時的にまた，各区間の競合候補は，上から可能性（存在確率）続きを言うのを待ってほしくなる場面が出てくる．しの高い順に並んでいる．つまり，上の方ほど音声認識

かし，通常の音声認識器による認識単位は，無音で区結果として信頼性が高い候補であるので，通常はユー切られた一息で言える区間なので，むやみに発声を中

ザが上から下へ候補を見ていくと，早く正解にたどり断するとうまく認識されないという問題があった．

着けるようになっている．さらに，本インタフェース

そこで音声訂正では，発話中にユーザが意図した時では，発話中の認識結果として可能性のある単語候補

点で，認識処理を一時停止させる新たな機能（発話中が網羅的に列挙され，各区間にスキップ候補も持って休止機能と呼ぶ）を実現する．そして次の発話が始まいるため，文献 1) で提案されているような認識結果

ると，あたかも一時停止前の発話が続いていたかのよの単語境界の変更も不要になるメリットがある．

うに動作させる．このユーザの一時停止の意図を伝え以上の音声訂正の基本機能はシンプルだが，従来こるために，音声中の非言語情報の 1 つである有声休止

うしたインタフェースは実現されていなかった．その（語中の任意の母音の引き延ばし，たとえば，図 6 中

理由としては，大語彙を対象とした連続音声認識での「三度の飯よりー」など）を，発話中休止機能のトは，競合候補を表示しようと思ってもその数が膨大なリガとして採用した．人間同士の対話においても，相ものとなってしまい，現実的な分量でユーザに提示す

手に少し待ってほしいときや，喋っている最中に考えることが困難だったからである．それに対し音声訂正ごとをするときなどに，このように有声休止によってでは，効率的な中間表現形式である「confusion net-

言い淀むことが多い．そのため，ユーザは自然に一時

work」を，誤り訂正インタフェースへと応用すること停止をかけて，正しい候補を選択したり，続きの発話により，大語彙，小語彙を問わず多様な入力音声に対を考えたりできる．

して上述のような効果的な候補の提示，訂正を可能にした．

2.2 発話中における即時誤り訂正機能
使いやすいインタフェースを構築するには，ユーザ

3. 音声訂正の実現方法
提案する音声訂正インタフェースの具体的な実現方法を述べる．

発話が終了するまで認識結果が表示されないことが

3.1 音声認識における中間結果
音声訂正を実現するためには，図 1 のような効果的な競合候補の提示が不可欠である．競合候補は，音声あった．仮に結果が表示されたとしても，競合候補の認識のデコード処理の途中経過を表す中間的な表現形

ような他の可能性が示されることはなく，発話が終了

式（「中間結果」と呼ぶ）を用いて生成される．

の入力中に逐次現在の認識状態をフィードバックする必要がある．しかし，従来の一部の音声認識器では，してから結果を吟味するまで，誤りの訂正に移ること

一般的な音声認識の中間結果としては，N -best 文

はできなかった．そのため，音声入力はキーボード入

リスト5) ，単語グラフ6) があげられる．N -best 文リス

力と比べて，誤り訂正作業に多くの時間がかかる欠点

トとは，認識結果に対する複数文候補を表す．N -best

3)があることが指摘されていた ．文献 3) によれば，そ

文リストは簡易な表現形式ではあるが，1 単語のみ異の要因として，訂正自体の時間以外に，1) ユーザが誤なるような類似の文候補が大量に出現することにな

り箇所を発見するための時間，2) 誤り箇所を指摘する

り，本来の正解を得るためには結局膨大な数の文候補（カーソル移動する）ための時間，が余計にかかる点を残す必要がある．単語グラフは，N -best 文リストがあげられていた．

を単語をリンクとするグラフにまとめたものであり，果を競合候補付きでリアルタイムにフィードバックしN -best 文リストをよりコンパクトにした形式となる．
しかし，大語彙の連続音声認識になると，グラフ中の続け，さらにユーザの選択も可能にすることで，発声候補の数は膨大になり，候補間の競合関係が明示的にの最中に誤りを即時に訂正可能な機能（即時誤り訂正

表現できていないため，音声訂正のような効果的な候

それに対して音声訂正では，発話中に認識の中間結378

Jan. 2007

情報処理学会論文誌

図 2 従来の中間結果（単語グラフ）の例
Fig. 2 Example of word graph.

補提示は不可能と考えられる．ここで，単語グラフの図 3 単語グラフと confusion network の模式図
Fig. 3 Word graph and confusion network.

実際の一例を，図 2 に示す（紙面の都合上，一部分だ
け示した）．図 2 は 1 つの単語グラフ（ノード数 210，関数を用いて，greedy アルゴリズムに基づき行われる．

リンク数 810）の約半分程度を例示しただけだが，候S(E1 , E2 ) = max overlap(e1 , e2 )p(e1 )p(e2 )e1 ∈E1e2 ∈E2

補数が膨大であることが分かる．
なお，文献 1) では，単語グラフの前段階の中間結

ここで，E1 ，E2 はマージ対象のクラスタ，e1 ，e2 は果である「単語トレリス」を直接用いて複数候補を提それぞれのクラスタ内のアークである．p(·) はそれぞ示する機能が提案されているが，単語トレリスは単語

れのアークの事後確率で，単語グラフ上で forward・

グラフ以上に候補の絞り込み能力を持たず7) ，語彙数

backward アルゴリズムを用いて算出される．また，が増えるに従って使用が難しくなる可能性があると考

overlap(·, ·) は 2 つのアーク間の時間のオーバラップ率を表している．

えられる．

単語間クラスタリング（inter-word clustering）：

3.2 confusion network
以上の問題を解決する新しい中間結果として，本研
究では，音声認識器の内部状態をシンプルかつ高精度

単語ラベルの違うアークのクラスタリングを行う．基なネットワーク構造へ変換した confusion network 4)が行われるが，コスト関数には以下を適用する．

を導入する．confusion network は，音声認識におけ

本的には，前ステップと同様の手順でクラスタリング

S(F1 , F2 ) = average s(w1 , w2 )pF 1 (w1 )pF 2 (w2 )w1 ∈W (F1 )w2 ∈W (F2 )る新たなデコーディング手法である「単語誤り最小化
4)

音声認識」 において導入された途中結果であり，こ

ここで，W (F ) はあるクラスタ F に含まれる全単語のれまでに，本研究のような誤り訂正インタフェースにリストを表しており，pF (w) はクラスタ F 中の単語 w

応用しようという発想はなかった．

の事後確率を表している．また，s(·, ·) は音響的な類

confusion network は，単語グラフ（図 3 (a)）を音似度を表しており，2 単語の音素列間の Levenshtein

響的なクラスタリングによりリニアな形式（図 3 (b)）

距離によって計算される．クラスタリングは，マージに圧縮することで求めることができる．ここで “sil”

対象がなくなった時点，すなわちすべての候補のアラ（silence）は発話開始，終了時の無音を表し，アルファインメントが達成されたときに停止する．

ベット 1 文字はグラフのリンク上の単語名を表してい

confusion network の各リンクには，クラスタリン

る．また，図 3 (b) のネットワーク上の “-” はスキッ

グした各クラス（単語の区間）ごとに事後確率が付与

プ候補である．音響的クラスタリングは以下のステッ

され，それらの値は，各クラスでの存在確率，あるいプにより行われる4) ．

はそのクラス内の他候補との競合確率を表す．各クラクラスタの初期化（initialization）：単語グラフ中スのリンクは，存在確率の大きさでソートされ，認識のすべてのアークの中で，単語ラベルが同一で，始結果として可能性の高いリンクほど上位に配置される．

端ノードの時間と終端ノードの時間がそれぞれ同一の最終的に，各クラスから事後確率が最大となるリンク

アークをクラスタリングする．

を選択すると，図 1 の最上段のような最終的な認識結

単語内クラスタリング（intra-word clustering）：

果（最尤の候補）となる．また，各クラスで事後確率

単語ラベルが同一で，時間的に重なりのあるアークをが高いリンクを取り出すと，図 1 の競合候補が得ら

クラスタリングする．クラスタリングは以下のコスト

れる．

Vol. 48

No. 1

音声訂正：選択操作による効率的な誤り訂正が可能な音声入力インタフェース

ただし confusion network では，クラス中の各候補は必ずしも時間的に同一区間の認識結果とは限らな

379

依存に検出できるという特長を持っている．

3.5 未選択候補の自動訂正による訂正回数の最小化

い．たとえば，時間的に 2 つのクラスをまたがった候

音声認識では，ある単語を誤ると，その単語に引き補は，どちらか一方のクラスへ割り当てられる．我々ずられる形で隣接する候補として言語的に誤った単語の音声訂正では，そのような候補をユーザが選択するが認識されることがある（例，図 5 (1) 中，「音声 入と，発声区間との時間的な整合性がとれるように，近力」⇒「温泉 入浴」）．このような「連続して発生す隣でユーザが未選択なクラスの候補も自動的に選択さる誤り」に対し，本研究では，ユーザがある候補を訂れ，訂正操作の回数を最小限にする（たとえば図 5 (1)正すると，その隣接する候補も適切なものに自動的にで，「たちまち」を選択すると，その前の区間は自動訂正する機能を実現した1) ．

的にスキップ候補が選択される）．

本インタフェースでは，ユーザが選択した単語の前

3.3 即時誤り訂正機能の実現方法
即時誤り訂正機能では，いかに素早く中間結果を逐後それぞれの候補に対し，現在選択している候補との次提示できるかが重要となる．そのために本研究で大きい候補に自動的に修正する．たとえば，図 5 (1)

言語的接続確率（N -gram）を算出し，その値が最もは，ある一定の時間（500 ms）ごとに，中間結果であにおいて，ユーザが「温泉」を「音声」に訂正すると，る confusion network を逐次生成できるよう，音声認「音声」との言語的接続確率が最も高い「入力」が自識器を拡張した．具体的には，まず，ある時刻におい動的に選択され，「入浴」が「入力」へと訂正される．

て生き残った単語候補の中から，尤度の大きさで上位

ただし，このとき，自動修正の対象となる区間が，す5 つを選択し，それぞれの候補から発話先頭に向かってバックトレースし，発話の先頭からその時刻までの単語グラフを生成する．上位 5 つに限定する理由としでにユーザにより訂正済みであるならば，自動修正はては，その時刻中に残ったすべての候補を用いると，また，現段階では，ユーザが選択した単語の両隣の候

不必要な（尤度が極端に低い）候補が多く含まれてし補のみの自動修正を実装しているが，これの拡張とし

まい，また，単語グラフのサイズも不必要に大きくなて，さらに多くの候補に対して自動修正が行われるより，リアルタイムの処理が困難になるためである．次うに，ユーザがある候補を訂正した情報を利用して，に，前節で述べた音響的クラスタリングアルゴリズム

発話全体の候補を再度選択し直すという機能も考えら

により，confusion network を生成する．このようにれる．

して，一定の時間ごとに競合候補とともに中間的な認識結果を生成し，ユーザ側に逐次提示することで，即実行しない．このような機能により，ユーザの訂正操
作の回数を最小限に抑えることができると考えられる．

3.6 音声訂正のための音声認識器
音声訂正インタフェースを実現するためには，音声時に誤りを訂正することを可能にした．

認識器において，競合候補の作成をリアルタイムに行

3.4 発話中休止機能の実現方法
発話中休止機能の具体的実現方法について説明する．発話中に有声休止（言い淀み）が検出され，そのうことが不可欠である．しかし，高精度な単語グラフ
的に非常に大きな計算コストがかかり7) ，認識結果の直後に一定の無音区間が検出されたら，音声認識器の確定が遅くなり，その結果，効率的な訂正処理を行う

動作を一時停止し，現時点の認識処理過程（それまでことは困難となる．それに対し，本インタフェースでの仮説情報，探索空間での現在の位置情報など）を退は，音声認識器の認識アルゴリズムとして，back-oﬀ

避する．このとき，有声休止が発声され続けている区

制約 N -best 探索手法9),10) を用いることで，リアル

間は音声認識の対象とならず，スキップされる．再びタイムに競合候補を生成，提示することが可能となっ発話の開始が検出されると（音声のパワーに基づいてている．

検出），退避した認識処理過程から音声認識処理を再開し，発話終端が検出されるまで認識処理を続行する．

を生成するための N -best 探索アルゴリズムは，一般

4. 音声訂正インタフェースの実装

有声休止の検出には，文献 8) のリアルタイム有声

2 章で述べた各要素技術を用いて，提案した音声訂

休止検出手法を採用した．この手法は，有声休止（母正インタフェースを実現するシステムを実装した．

音の引き延ばし）が持つ 2 つの音響的特徴（基本周波数の変動が小さい，スペクトル包絡の変形が小さい）

4.1 システム構成
図 4 に，音声訂正インタフェースの各システム構をボトムアップな信号処理によってリアルタイムに検成要素（プロセス）と，全体の処理の流れを示す．プ

出する．そのため，任意の母音の引き延ばしを言語非

ロセスは図中の囲み字で示されており，ネットワーク

380

情報処理学会論文誌

Jan. 2007

図 4 全体の処理の流れ
Fig. 4 System architecture.

図 5 発話中休止機能を利用しない場合の画面表示例（「音声入力インタフェースは役に立ちますか」という文章を発声）
Fig. 5 Screen snapshots of speech repair.

（LAN）上の複数の計算機で分散して実行することが可能である．プロセス間の通信には，音声言語情報
をネットワーク上で効率良く共有することを可能にするネットワークプロトコル RVCP（Remote VoiceControl Protocol）11) を用いた．
処理の流れについて説明する．まず，マイクロフォ

図 6 発話中休止機能を利用した場合の画面表示例（「三度の飯より音声認識」という文章を発声）
Fig. 6 Screen snapshots of intentional suspension
function.

トワーク上にパケットとして送信される．特徴量抽出4.2 実 行 例
図 5 に発話中休止機能を利用しない場合の表示画

部，有声休止検出部，発話区間検出部がそのパケット面を，図 6 に発話中休止機能を利用した場合の表示画

ンなどから音声入力部に入力された音響信号は，ネッを同時に受信し，音響特徴量（MFCC）や有声休止，

面をそれぞれ示す．図 1 に相当する表示部分（「候補発話の始終端をそれぞれ求める．これらの情報は，パ

表示部」と呼ぶ）の上に，さらに 1 行追加されている

ケットとして音声認識部に送信され，認識処理が実行が，これは，候補を選択して訂正した後の最終的な音される．このとき，有声休止は，発話中休止機能を呼声入力結果を表示している．候補表示部では，現在選

び出すトリガとして利用される．音声認識部では，中択されている単語の背景が着色される．何も選択して間結果として confusion network が生成され，その情いない状態では，候補表示部の最上段の最尤単語列が報はパケットとしてインタフェース管理部に送信され選択されている．ユーザが他の候補をクリックして選る．インタフェース管理部では候補を表示し，マウス択すると，その候補の背景が着色されるだけでなく，によるクリックや，パネル上をペンや指で触れる操作

画面最上部の最終的な音声入力結果も書き換えられるによってその選択を可能にする．

（選択操作で訂正した箇所だけ，文字の色を変えて分かりやすく表示している）．

Vol. 48

No. 1

音声訂正：選択操作による効率的な誤り訂正が可能な音声入力インタフェース

381

5. 音声データベースを用いた基本機能の評価
音声訂正が実用的に使えるかどうかを評価するには，
認識誤りを訂正することがどの程度可能か，すなわち，表示される競合候補の中に本来の正解がどの程度含まれているか，を調査することが重要となる．そこで，
ここでは，読み上げ音声，話し言葉音声の 2 種類の音
声データベースを用いて，それぞれの場合に対しての評価を行った．
読み上げ音声に対する実験では，音響モデルとしては，新聞記事読み上げコーパス JNAS から学習した音節モデル（モデル数 244）12) ，言語モデルとしては，新聞記事テキストより学習された bigram（語彙数 20 K）13) を用いた．評価用データは，JNAS 中の図 7 提示する候補数の上限を変えたときの訂正後の認識率（最終的な音声入力成功率）
Fig. 7 Word accuracy with diﬀerent number ofcompetitive candidates displayed.

男性 25 人が発話した 100 発話である．一方，話し言
葉音声に対する実験では，音響モデルとしては，CSJ

言葉音声特有の問題である，言い誤り，言い直し部分（日本語話し言葉コーパス）中の男性話者 200 人の講における誤りが多かったことがあげられる．未知語が演音声を用いて学習した音節モデル，言語モデルとし多いことも含め，特に音声認識システムに用いる言語ては，CSJ の「短単位データベース」中の 319 講演か

モデルの性能を向上させることで，さらなる訂正性能

ら学習した bigram（語彙数 14 K）を用いている．評の改善が期待できる．

価用データは，男性話者 4 人の学会講演中の 100 発話（各話者 25 発話）である．

音声訂正では，提示する候補数が多すぎるとユーザ側の混乱を招き，逆に少なすぎると誤りを訂正でき実験では，上記のそれぞれの評価用データを対象に，なくなるが，confusion network を用いることにより，候補を上位 N 個まで提示したときの訂正後の認識率提示する競合候補数を抑えつつ，ほとんどの誤りを訂（最終的な音声入力成功率）を，誤り訂正能力として正することが可能であることが分かった．ただし，実評価した．つまりここでの認識率は，たとえば N = 5

験でも示されたように，音声認識システムが知らないの場合，上位 5 個以内に正解が含まれる割合で表さ

未知語に関しては，現時点では，音声訂正を用いてもれる．通常の認識性能（N = 1 のときの認識率）は，訂正できない．この解決は今後の課題であり，ユーザ

読み上げ音声（JNAS）では 86.70%，話し言葉音声とのさらなるインタラクションを介して未知語を解消（CSJ）では 77.79%であった．また，それぞれの評価する枠組みが必要になると考えている．

用データにおける未知語数は，JNAS では 4，CSJ では 25 であった．
図 7 に，N の値ごとの訂正後の認識率を示す．実験

6. 被験者実験による音声訂正インタフェースの評価

結果より，どちらのデータにおいても，提示する候補

ここでは，被験者実験による音声訂正インタフェー

数を増やすと飛躍的に認識率が向上しており，JNAS

スの評価について述べる．本実験では，コンピュータ

では N = 11，CSJ では N = 14 で認識率は飽和状の利用状況として現状で最も一般的と考えられる，「デ態となった．JNAS では最終的な認識率は 99.36%とスクトップコンピュータ上での文章入力」をタスクとなり，約 95%の誤り（199/209）を訂正可能であるこして，以下の 3 点について調査を行った．

とが分かった．一方，CSJ においても，通常の認識• 音声訂正により，通常の音声入力（最尤単語列の性能が JNAS に比べて約 10%低いにもかかわらず，

みを出力する音声認識）に比べて，文入力がどの最終的な認識率は 96.16%まで向上し，約 83%の誤り程度効率的になるか．
• 比較的長い文やうろ覚えの文を入力する際に，発（324/391）を訂正可能であることが分かった．また，両データにおいて，N = 5 程度でもかなりの数の誤りを訂正できることも分かった．話し言葉音声である

CSJ では，読み上げ音声である JNAS に比べて，訂
正性能は低い値となったが，その原因としては，話し

話中休止機能が有効に働くかどうか．

• 音声訂正インタフェース全体に対してどのような印象を受けたか．
今回の実験では，次節で述べるように，評価の目的

382

Jan. 2007

情報処理学会論文誌
表 1 被験者のキーボード入力リテラシ
Table 1 Keyboard literacy of subjects.
経験年数

被験者数

1〜3 年
3〜5 年
5〜10 年
10 年以上77112

正処理を，被験者がスムーズに行えるよう，本実験でのキーボード，マウスを利用した日本語入力環境（かな漢字変換）に慣れることを主な目的として実施した．
課題 2
次に，音声を利用した文入力として，上記の 3 文を以下の条件でそれぞれ入力した．

(1)

通常の音声入力を使用して文入力に応じた 3 つの課題を被験者に対して行ったが，全体(2)

音声訂正を使用して文入力的な実験方法としては，提示した文を被験者に入力し被験者は，課題を行う直前に，通常の音声入力，音声てもらい，1 字 1 句間違えずに入力できた時点で 1 つ

訂正（基本機能と即時誤り訂正機能）についての説明の文を入力完了とした．また，通常の音声入力の際にを受け，それぞれの入力手段について，上記の 3 文と認識誤りが発生した場合や，音声訂正で競合候補中には別の 2 文を用いて練習を行った．ただし，本課題で本来の正解がなくて選択できない場合には，キーボー

は，音声訂正の文入力に対する基本性能，効率性を評

ド，マウスを利用してタイプ入力で訂正することとし価するため，音声訂正の発話中休止機能については被た．各課題の 3 つの文は，全被験者を通して共通だが，験者に対していっさい説明はしなかった（あくまでも順番をランダムに変えたものを 6 通り用意して各被験被験者が発話中休止機能について知らされていないだ

者に割り当てた．

けであり，機能自体はシステムに含まれていた）．ま本実験で使用した音声認識システムは，音響モデル

た，課題 2 において，( 1 ) と ( 2 ) の条件の順番は，被には，新聞記事読み上げコーパス JNAS から学習し験者ごとに交互に変わるように設定した．本課題の終た triphone モデルを，言語モデルには，CSRC ソフ

了後には，音声訂正の基本機能，即時誤り訂正機能そトウェア 2000 年度版13) の中から，新聞記事テキス

れぞれについてのアンケート（6 項目 7 段階評価）をトより学習された 20,000 語の bigram をそれぞれ用実施した．

いた．なお，音声を用いた実験では，音声認識単体の

課題 3

基本性能差による影響を排除するために，認識デコー

最後に，発話中休止機能の評価を目的とした課題をダ，音響モデル，言語モデルに関しては，通常の音声行った．本研究で提案した発話中休止機能は，2.3 節

入力，音声訂正の各実験ともに同一のものを用いた．

で述べたように，ユーザが発声中に音声認識処理を意

すなわち，本実験における通常の音声入力による認識

図的に中断させることが可能となるものである．この

結果は，音声訂正の競合候補の中の最尤単語列（最上ような機能は，たとえば，ユーザが一息では発声しき部に表示される単語列）のみを表示した場合に相当す

れないような比較的長い文を入力する際などに特に有る．本実験には，音声入力ソフトウェアを普段利用し効に働くと考えられる．また，我々は，本機能の実際ていない，20 代の 25 人の被験者（男性 14 人，女性の利用状況として，自発的に発声された音声に対する11 人）が参加した．また，表 1 に，被験者のキーボー

入力インタフェースを想定しており，そのため，休止

ド入力リテラシを示す．ここで，キーボード入力リテ状態にするためのトリガとしては有声休止を採用してラシは，「キーボードで文章を入力した経験のある年いる．したがって，発話中休止機能の評価を目的とし数」で表した．

た本課題においては，被験者が自発的に発声する状況

6.1 実 験 方 法
音声訂正の機能の有効性を確認するため，各被験者に対して，以下の 3 つの課題を順に実施した．
課題 1になるべく近くなるように，頭の中にある文を発声して入力している場面を想定し，以下のような手順で実験を行った．
まず，発話中休止機能についての説明を行い，そのまず，キーボードとマウスを利用して，以下の 3 つの後被験者は実際に本機能を練習した．次に，本課題に文を入力した．

ついての説明を行った後，発話中休止機能を使うかど(1)

これらの地域の中学では非行が少ない

うかは被験者の自由という条件で，以下の 3 つの文の

(2)
(3)

この病院のベッド数は十五床です

入力を行った．

お年寄りからの注文にも備え二千個分の材料を(1)確保
なお，課題 1 は，以降の音声による文入力の際の訂

これから先の高いレベルを目指すにはもう少し
読みの裏付けが必要だ(2)

九十四年度当初は予算と同規模で景気対策を理Vol. 48

No. 1

由に二年連続で高水準となった

(3)

383

音声訂正：選択操作による効率的な誤り訂正が可能な音声入力インタフェース

全国のコンビニエンスストア，書店，私鉄・地下鉄の駅などで販売年間講読者への宅配も行う
予定

ただし，被験者には，各々の文を入力する前に，提示

表 2 課題 2 における認識率
Table 2 Word accuracy in task 2.
認識率 (%)
通常音声入力音声訂正（訂正前）
音声訂正（訂正後）

86.12
85.03
97.70

した入力対象文を記憶して（頭の中に入れて）もらった．このとき，記憶に要する時間は特に制限せず，被験者の自由とした．文を入力する際の制約として，発声している最中には，入力対象文は確認できないこととした．これは，先に述べた本課題の主旨とは外れた

表 3 各入力手段の平均入力時間
Table 3 Average time of each input methods.
平均入力時間 (sec.)
通常音声入力
音声訂正

14.41
9.94

「読み上げ入力」を避けるためである．ただし，発話
中休止機能を使って休止状態にし，発声がなされてい図 8 に音声訂正使用後のアンケート結果を示す．図ないときは，「思考中」の状態に相当すると考え，入中，(A) は音声訂正の基本機能について，(B) は即時力対象文を確認することは可能とした．また，本課題

誤り訂正機能について，(C) は発話中休止機能についの終了後には，発話中休止機能について，また，音声て，図 (D) は音声訂正システム全般についてのアン

訂正全般についてのアンケート（5 項目 7 段階評価）

ケート結果となっており，各項目とも −3〜+3 の 7 段を実施した．

階尺度での評定を行った．評定値が全体的に高い傾向

6.2 実 験 結 果
表 2 に，課題 2 における，通常音声入力を使用したときの認識率，音声訂正を使用したときの訂正前・訂にあったのは，項目 1.，4.，7. で，音声訂正，各機能

正後の認識率をそれぞれ示す．ここで，「通常音声入目 1.，2.，3. ともに評定値が高く，候補を選択するだ

は直観的で分かりやすいインタフェースであったことが分かる．(A) の音声訂正の基本機能については，項力」と「音声訂正（訂正前）」の認識率の間には，わけで誤り訂正することの有効性，効率性が示された．

ずかな差がみられるが，本実験では，認識器としては上の誤差であると考えられる．実際の被験者実験にお(B) の即時誤り訂正機能については，項目 5. が他に比べると低い評定値となった．これは，発声途中から逐次表示される候補をチェックし，訂正処理を行うこ

いても，音声訂正はほとんどの誤りを訂正可能とし，とに対して，被験者が一定の負担や慌ただしさを感じ

いずれも同一のものを用いているため，この差は実験高い訂正能力を示した．また，課題 2 における各入力たためである．しかしながら，この点に関しては，あ

手段ごとの，文を入力し終えるまでの 1 文あたりの平る程度慣れることにより有効に使用できそうであると

均入力時間を表 3 に示す．なお，課題 1 におけるキーいう意見は多かった（項目 6.）．また，今回の実験にボードでの平均入力時間は 23.65 秒であった（ただし，おいては，即時誤り訂正機能により，多くの被験者は課題 1 ではタイプ入力する練習も兼ねているので，入発声をしながらの訂正処理は難しいながらも，発声が力時間に関する厳密な比較対象にはならない）．音声

終了した瞬間に，認識処理が実行中であっても即座に訂正では，通常の音声入力に比べて約 31%の入力にか訂正処理に移行でき，最終的な文の入力を比較的早くかる所要時間を削減できていた．以上の結果より，音完了させることができていた．(C) の発話中休止機能

声訂正は優れた訂正能力を持ち，より効率的に文入力についても，(B) と同様に機能を有効に使えたか（項が可能であることが分かる．また，課題 2 の実験に際

目 8.），という点については，低い評定値の被験者がし，音声訂正に関して，被験者はたかだか 2 つの文を他の項目と比べて多かった．その原因の 1 つとして，練習として入力しただけであり，これより音声訂正の

有声休止の発声をどの程度継続すればよいかが把握で基本機能は，入念な練習は不要で，インタフェースときず，不必要に長く言い淀んで戸惑ってしまう被験者

しても直観的であったといえる．課題 3 の実験では，がいたことがあげられる．現状のシステムでも，有声本機能が使用されたのは，全被験者の全発声のうちで休止が検出されて発話中休止のモードに移ると，シス

約 61%（46/75）であった．また，課題 3 の 3 文を入テム画面の右上に「発話中休止」というメッセージを力するにあたり，発話中休止機能をまったく使用しな表示していたが，初めのうちはこれを見逃す被験者がかったのは全 25 人のうち 4 人であり，今回実験に参いた．教示やユーザへのフィードバックの仕方を工夫加した多くの被験者が本機能を利用していたことが分することで，より有効性が高くなると考えられる．有かった．

効に使えた被験者においては，本実験のような比較的

384

Jan. 2007

情報処理学会論文誌

図 8 アンケートの集計結果
Fig. 8 Results of the questionnaire.

表 4 キーボード入力リテラシと音声訂正評価との関係
Table 4 Relationship between keyboard literacy andevaluation of speech repair.
経験年数

項目 11. の平均評定値

1〜3 年
3〜5 年
5〜10 年
10 年以上

2.43
1.86
0.91
−0.50

効性が確認できた．

7. ま と め
本論文では，音声認識による認識誤りをユーザによって効率的かつ容易に訂正できる「音声訂正」という新
たな音声入力インタフェースを提案した．本研究では音声認識における中間結果として confusion networkを用いることにより，ユーザ側に認識結果の競合候補

長い文に対する入力が格段に楽になったとの意見を得を効果的に提示でき，誤りのほとんどを訂正可能でた（項目 9.）．項目 11. の音声訂正システム全般につあることを示した．また，25 人の被験者による評価

いては，8 割以上の被験者が今後使いたいとの意見を実験を行った結果，音声訂正により文入力が効率化さ得られた．また，被験者のキーボード入力リテラシごれ，被験者にとって今後も使いたいと思われるインタとの，項目 11. の平均評定値を表 4 に示す．表 4 よフェースであることが分かった．

り，キーボード入力の経験年数が少ない被験者ほど高今後は，未知語への対処を行い，より効率的な誤り

い評定値，すなわち音声訂正を今後とも使いたいとの訂正処理について検討する予定である．本研究は「音印象を持っていたことが分かる．一方，キーボード入声補完シリーズ」14) の第 5 弾に位置付けられるが，こ力リテラシの高い被験者に関しては，本実験では比較

れから有声休止以外の非言語情報も積極的に取り入れ，的低い評定値となっているが，タブレット PC や携帯音声ならではの機能を持った，さらに使いやすい音声型端末など，キーボードを使用できない状況において入力インタフェースを実現していきたいと考えている．

は，そのような被験者に対しても高い評定値が得られる可能性があると考えられる．
以上のアンケート結果からも本インタフェースの有

参 考

文

献

1) 遠藤 拓，寺田 実：音声入力における対話的Vol. 48

No. 1

音声訂正：選択操作による効率的な誤り訂正が可能な音声入力インタフェース

候補選択手法，インタラクション 2003 論文集，
pp.195–196 (2003).
2) 安藤彰男，今井 亨，小林彰夫，本間真一，後藤淳，清山信正，三島 剛，小早川健，佐藤庄衛，
尾上和穂，世木寛之，今井 篤，松井 淳，中村章，田中英輝，都木 徹，宮坂栄一，磯野春雄：
音声認識を利用した放送用ニュース字幕制作シス
テム，信学論，Vol.J84-D-II, No.6, pp.877–887(2001).
3) Karat, C.-M., Halverson, C., Horn, D. andKarat, J.: Patterns of Entry and Correction in
Large Vocabulary Continuous Speech Recognition Systems, Proc.CHI’99, pp.568–575 (1999).
4) Mangu, L., Brill, E. and Stolcke, A.: Finding Consensus in Speech Recognition: Word
Error Minimization and Other Applications ofConfusion Network, Computer Speech and Language, Vol.14, No.4, pp.373–400 (2000).
5) Schwartz, R. and Chow, Y.L.: The N -Best Algorithm: An Eﬃcent and Exact Procedure for
Finding N Most Likely Sentence Hypotheses,
Proc. ICASSP’90, pp.81–84 (1990).
6) Ortmanns, S., Ney, H. and Aubert, X.: A
Word Graph Algorithm for Large Vocabulary Continuous Speech Recognition, Computer
Speech and Language, Vol.11, No.1, pp.43–72(1997).
7) 李 晃伸，河原達也，堂下修司：単語トレリス
インデックスを用いた段階的探索による大語彙
連続音声認識，信学論，J82-D-II, No.1, pp.1–9(1999).
8) 後藤真孝，伊藤克亘，速水 悟：自然発話中の有声休止箇所のリアルタイム検出システム，信学論，Vol.J83-D-II, No.11, pp.2330–2340 (2000).
9) 緒方 淳，有木康雄：大語彙連続音声認識における最ゆう単語 back-oﬀ 接続を用いた効率的な N -best 探索法，信学論，Vol.84-D-II, No.12,
pp.2489–2500 (2001).
10) 緒方 淳，後藤真孝：単語誤り最小化音声認識のための N-best 探索手法，日本音響学会 2004 年
秋季研究発表会講演論文集，1-P-17, pp.195–196(2004).
11) 後藤真孝，伊藤克亘，秋葉友良，速水 悟：音声
補完：音声入力インタフェースへの新しいモダリ
ティの導入，コンピュータソフトウェア，Vol.19,
No.4, pp.10–21 (2002).
12) 緒方 淳，有木康雄：日本語話し言葉音声認識のための音節に基づく音響モデリング，信学論，Vol.J86-D-II, No.11, pp.1523–1530 (2003).
13) 河原達也，住吉貴志，李 晃伸，武田一哉，三村

385

正人，伊藤彰則，伊藤克亘，鹿野清宏：連続音声認
識コンソーシアム 2000 年度版ソフトウエアの概要と評価，情報処理学会研究報告，2001-SLP-38-6(2001).
14) 後藤真孝：非言語情報を活用した音声インタ
フェース，情報処理学会研究報告，2004-SLP-52-7,
pp.41–46 (2004).

(平成 18 年 3 月 7 日受付)
(平成 18 年 10 月 3 日採録)
緒方淳（正会員）

1998 年龍谷大学理工学部電子情報学科卒業．2000 年同大学大学院修士課程修了．2003 年同大学院博士後期課程修了．同年産業技術総合研究所入所し，現在に至る．博士（工学）．音声認識，音声インタフェースに関する研究に従事．2000 年度日本音響学会粟屋潔学術奨励賞，2001
年度電子情報通信学会学術奨励賞，WISS2004 ベスト
ペーパー賞，2006 年度情報処理学会山下記念研究賞，

WISS2006 ベストペーパー賞各受賞．日本音響学会，
電子情報通信学会各会員．
後藤 真孝（正会員）

1993 年早稲田大学理工学部電子通信学科卒業．1998 年同大学大学
院理工学研究科博士後期課程修了．
同年電子技術総合研究所（2001 年に独立行政法人産業技術総合研究所に改組）に入所し，現在に至る．2000 年から 2003 年まで科学技術振興事業団さきがけ研究 21「情報と知」
領域研究員，2005 年から筑波大学大学院システム情報工学研究科助教授（連携大学院）を兼任．博士（工学）．音楽情報処理，音声言語情報処理等に興味を持つ．

1997 年情報処理学会山下記念研究賞（音楽情報科学研究会），2000 年 WISS2000 論文賞・発表賞，2001 年
日本音響学会粟屋潔学術奨励賞・ポスター賞，2002 年
情報処理学会山下記念研究賞（音声言語情報処理研究会），2002 年日本音楽知覚認知学会研究選奨，2003 年
インタラクション 2003 ベストペーパー賞，2005 年情報処理学会論文賞等 18 件受賞．電子情報通信学会，日本音響学会，日本音楽知覚認知学会各会員．