(57)【要約】【課題】音声認識率に応じて自動的に認識結果の出力を制御することのできる音声認識装置を提供する。【解決手段】認識仮説探索部は、入力される音声を基に、音声の時間区間ごとに、音声の認識結果に関する複数の認識仮説のスコアを用いて認識仮説を探索するとともに、探索処理の結果として認識仮説の中から決定した認識結果を出力する。状況把握部は、認識仮説探索部の処理状況を把握する。判定部は、状況把握部によって把握された処理状況に基づいて、認識仮説探索部による認識処理の精度低下があるか否かを推定する。認識結果出力部は、判定部が認識処理の精度低下がないと判定した場合には認識仮説探索部から出力される認識結果をそのまま外部に出力し、判定部が認識処理の精度低下があると判定した場合には精度低下があることに対応した特定パターンを外部に出力する。【選択図】図１
2020187313.tif 000002
【特許請求の範囲】
【請求項１】
音声を入力し、当該音声から音声信号を取得する音声入力部と、
前記音声信号の時間区間ごとの認識結果に関する複数の認識仮説のスコアを用いて前記認識仮説を探索し、探索された前記認識仮説の中から認識結果を決定し、前記認識結果を出力する認識仮説探索部と、
前記認識仮説探索部における前記認識結果の処理状況を把握する状況把握部と、
前記状況把握部が把握した前記処理状況に基づいて、前記認識仮説探索部による認識処理の精度が低下したか否かを推定する判定部と、
前記判定部が認識処理の精度の低下がないと判定した場合には前記認識仮説探索部から出力される認識結果をそのまま外部に出力し、前記判定部が認識処理の精度低下があると判定した場合には、予め定めたパターンを外部に出力する認識結果出力部と、
を具備する音声認識装置。
【請求項２】
前記状況把握部は、前記認識仮説探索部が探索対象としている前記認識仮説に関する量を、前記処理状況として把握する、
請求項１に記載の音声認識装置。
【請求項３】
前記状況把握部は、前記認識仮説探索部によって処理されている前記音声信号の時刻と現在時刻との差分を、前記処理状況として把握する、
請求項１または２に記載の音声認識装置。
【請求項４】
前記状況把握部は、前記音声信号の時間区間ごとの前記認識仮説探索部による処理時間の長さを、前記処理状況として把握する、
請求項１から３までのいずれか一項に記載の音声認識装置。
【請求項５】
前記状況把握部は、前記認識仮説探索部による処理のＣＰＵ負荷量を、前記処理状況として把握する、
請求項１から４までのいずれか一項に記載の音声認識装置。
【請求項６】
前記認識結果出力部は、前記音声信号に対応する文頭の所定部分についての前記認識結果の外部への出力を所定時間待たせるよう制御する、
請求項１から５までのいずれか一項に記載の音声認識装置。
【請求項７】
入力される音声信号を基に、前記音声信号の時間区間ごとに、前記音声の認識結果に関する複数の認識仮説のスコアを用いて前記認識仮説を探索するとともに、探索処理の結果として前記認識仮説の中から認識結果を決定し、決定された前記認識結果を出力する認識仮説探索部、の処理状況を把握する状況把握部と、
前記状況把握部が把握した前記処理状況に基づいて、前記認識仮説探索部による認識処理の精度が低下したか否かを推定する判定部と、
前記判定部が認識処理の精度の低下がないと判定した場合には前記認識仮説探索部から出力される認識結果をそのまま外部に出力し、前記判定部が認識処理の精度低下があると判定した場合には予め定めたパターンを外部に出力する認識結果出力部と、
を具備する認識結果出力制御装置。
【請求項８】
コンピューターを、請求項１から６のいずれか一項に記載の音声認識装置として機能させるためのプログラム。
【請求項９】
コンピューターを、請求項７に記載の認識結果出力制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置、認識結果出力制御装置、およびプログラムに関する。
【背景技術】
【０００２】
非特許文献１には、テレビ番組のリアルタイム字幕放送のための音声認識の技術が記載されている。音声認識によるリアルタイム字幕制作システムのための方式として、大別すると、ダイレクト方式とリスピーク方式とが存在する。ダイレクト方式は、番組音声を直接認識してテキストを生成する方式である。リスピーク方式は、字幕専用のアナウンサーが言い直した音声を認識する方式である。また、認識率の高い部分でダイレクト方式を用い、認識率の低い部分でリスピーク方式を用いるハイブリッド方式も存在する。
【０００３】
字幕テキストの精度を上げるためには、リスピークを行うためのアナウンサーや、認識結果のテキストを編集するオペレーターなどが関与することが必要とされる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】今井亨，「リアルタイム字幕放送のための音声認識」，ＮＨＫ技研Ｒ＆Ｄ，Ｎｏ．１３１，２０１２年１月，ｐ．４−１３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、規模の小さな放送局（日本全国をネットワークで結ぶ放送事業者の地方局等を含む）では、リスピーカーやオペレーター等のための設備を整えたり、そういった人員を確保したりすることが困難であるという問題がある。一方で、例えば聴覚障碍者等には、精度が低くてもよいので、字幕放送があったほうがよいというニーズもある。そこで、オペレーター等による操作なしで、音声認識結果をそのまま用いて字幕を付与したいという動機が生じ得る。
【０００６】
一般に、音声認識率が、即ち認識結果として正解を出力する率が、所定値以上（例えば、９０％以上）であれば、多少の誤認識を含んでいる字幕テキストであっても、その価値は高い。つまり、字幕テキストを見る者が脳内で正しい言葉に補完することが可能である。逆に、音声認識率が低すぎると（例えば、７０％程度、またはそれ以下であると）、字幕テキストを見た者が脳内で補完を行って正しい言葉として理解することもきわめて困難となる。例えば、アナウンサーが発話する部分の音声認識率は高い傾向があり、その他の人が発話する部分（街頭インタビューなど）の音声認識率は低い傾向がある。
【０００７】
そういった状況を考慮し、音声認識処理を行いながら、リアルタイムで音声認識率が低下しているか否かを推定することができれば、認識結果を出力するか否かを制御することも可能となる。本発明は、上記のような課題認識に基づいて為されたものであり、見込まれる音声認識率に応じて自動的に認識結果の出力を制御することのできる音声認識装置、認識結果出力制御装置、およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００８】
［１］上記の課題を解決するため、本発明の一態様による音声認識装置は、音声を入力し、当該音声から音声信号を取得する音声入力部と、前記音声信号の時間区間ごとの認識結果に関する複数の認識仮説のスコアを用いて前記認識仮説を探索し、探索された前記認識仮説の中から認識結果を決定し、前記認識結果を出力する認識仮説探索部と、前記認識仮説探索部における前記認識結果の処理状況を把握する状況把握部と、前記状況把握部が把握した前記処理状況に基づいて、前記認識仮説探索部による認識処理の精度が低下したか否かを推定する判定部と、前記判定部が認識処理の精度の低下がないと判定した場合には前記認識仮説探索部から出力される認識結果をそのまま外部に出力し、前記判定部が認識処理の精度低下があると判定した場合には、予め定めたパターンを外部に出力する認識結果出力部と、を具備する。
【０００９】
［２］また、本発明の一態様は、上記の音声認識装置において、前記状況把握部は、前記認識仮説探索部が探索対象としている前記認識仮説に関する量を、前記処理状況として把握する、ものである。
【００１０】
［３］また、本発明の一態様は、上記の音声認識装置において、前記状況把握部は、前記認識仮説探索部によって処理されている前記音声信号の時刻と現在時刻との差分を、前記処理状況として把握する、ものである。
【００１１】
［４］また、本発明の一態様は、上記の音声認識装置において、前記状況把握部は、前記音声信号の時間区間ごとの前記認識仮説探索部による処理時間の長さを、前記処理状況として把握する、ものである。
【００１２】
［５］また、本発明の一態様は、上記の音声認識装置において、前記状況把握部は、前記認識仮説探索部による処理のＣＰＵ負荷量を、前記処理状況として把握する、ものである。
【００１３】
［６］また、本発明の一態様は、上記の音声認識装置において、前記認識結果出力部は、前記音声信号に対応する文頭の所定部分についての前記認識結果の外部への出力を所定時間待たせるよう制御する、ものである。
【００１４】
［７］また、本発明の一態様による認識結果出力制御装置は、入力される音声信号を基に、前記音声信号の時間区間ごとに、前記音声の認識結果に関する複数の認識仮説のスコアを用いて前記認識仮説を探索するとともに、探索処理の結果として前記認識仮説の中から認識結果を決定し、決定された前記認識結果を出力する認識仮説探索部、の処理状況を把握する状況把握部と、前記状況把握部が把握した前記処理状況に基づいて、前記認識仮説探索部による認識処理の精度が低下したか否かを推定する判定部と、前記判定部が認識処理の精度の低下がないと判定した場合には前記認識仮説探索部から出力される認識結果をそのまま外部に出力し、前記判定部が認識処理の精度低下があると判定した場合には予め定めたパターンを外部に出力する認識結果出力部と、を具備する。
【００１５】
［８］また、本発明の一態様は、コンピューターを、上記［１］から［６］のいずれかに記載の音声認識装置として機能させるためのプログラムである。
【００１６】
［９］また、本発明の一態様は、コンピューターを、上記［７］に記載の認識結果出力制御装置として機能させるためのプログラムである。
【発明の効果】
【００１７】
本発明によれば、音声認識装置による精度の低い認識結果が出力されることを回避することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態による音声認識装置の概略機能構成を示すブロック図である。
【図２】同実施形態による状況把握部のさらに詳細な機能構成を示すブロック図である。
【図３】同実施形態による音声入力部から認識仮説探索部に渡される音声データの構成の一例を示す概略図である。
【図４】同実施形態において、高い認識精度が得られていると見込まれている区間におけるアクティブノード数（仮説数）の推移を示すグラフの一例である。
【図５】同実施形態において、認識精度が低いと見込まれている区間におけるアクティブノード数（仮説数）の推移を示すグラフの一例である。
【図６】同実施形態において、高い認識精度が得られていると見込まれている区間における、入力音声内のフレームの時刻と、そのフレームが処理される時刻との関係例を示す概略図である。
【図７】同実施形態において、認識精度が低いと見込まれている区間における、入力音声内のフレームの時刻と、そのフレームが処理される時刻との関係例を示す概略図である。
【図８】同実施形態による音声認識装置の全体的な処理の手順を示すフローチャートである。
【図９】同実施形態による、入力される音声の発話内容と音声認識装置からの出力との関係の例を示す概略図である。
【発明を実施するための形態】
【００１９】
次に、本発明の一実施形態について説明する。
【００２０】
図１は、本実施形態による音声認識装置の概略機能構成を示すブロック図である。音声認識装置１は、入力される音声の認識処理を行い、認識結果としてテキストデータを出力する。音声認識装置１に入力される音声は、例えば、放送番組等の映像コンテンツの音声である。音声認識装置１が出力する認識結果のテキストは、例えば、上記映像コンテンツの字幕を生成するために用いられてよい。図示するように、音声認識装置１は、音声入力部１０と、認識仮説探索部２０と、状況把握部３１と、判定部３２と、認識結果出力部３３とを含んで構成される。これらの各機能部は、例えば、コンピューターと、プログラムとで実現することが可能である。また、各機能部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ（ＳＳＤ）といった不揮発性の記憶手段を用いるようにしてもよい。また、各機能部の少なくとも一部の機能を、プログラムではなく専用の電子回路として実現してもよい。
【００２１】
上記の機能構成のうち状況把握部３１と、判定部３２と、認識結果出力部３３とからなる部分を、認識結果出力制御装置３０と捉えてもよい。認識結果出力制御装置３０は、状況に応じて、認識結果であるテキストの出力のしかたを制御するものである。
【００２２】
音声認識装置１は、入力される音声をリアルタイムに認識しながら、処理中の認識対象の部分において認識精度が低下しているか否かを判定する。音声認識装置１は、認識精度が低下していると見込まれる部分では、認識結果を出力する代わりに、認識が困難であることを示す特定パターンを出力する。認識が困難であることを示す特定パターンとは、例えば「。。。」などといった特定の文字列等である。音声認識装置１は、例えば、テレビ番組の音声を入力し、その音声認識を行い、認識結果を字幕テキストとして出力してもよい。字幕テキストは、クローズドキャプション等とも呼ばれるデータである。
【００２３】
音声入力部１０は、外部から、音声の信号を取得する。例えば、音声入力部１０は、外部から音声を入力し、当該音声から音声信号を取得する。音声入力部１０は、例えば、音声波形を表すアナログ信号を取得してもよい。また、音声入力部１０は、音声を表すデジタルデータを取得してもよい。音声入力部１０は、外部から取得した音声の信号を、フレーム単位で処理することのできる形態で、認識仮説探索部２０に渡す。本実施形態では、１フレームは、２５ミリ秒の長さを有するものであり、１０ミリ秒毎に開始される。つまり、複数のフレームでオーバーラップし合う時間区間が存在する。なお、フレームの長さや周期は、ここに例示したものに限定されず、任意である。
【００２４】
認識仮説探索部２０は、音声信号の時間区間ごとの認識結果に関する複数の認識仮説のスコアを用いて認識仮説を探索し、探索された認識仮説の中から認識結果を決定し、認識結果を出力する。つまり、認識仮説探索部２０は、音声入力部１０が取得した音声を基に、複数の認識仮説を生成し、各認識仮説のスコアを算出し、そのスコアに基づいて、認識仮説を探索する。認識仮説探索部２０は、探索処理の結果として認識仮説の中から決定した認識結果を出力する。より具体的には、認識仮説探索部２０は、入力された音声のフレーム（時間区間）ごとの音響特徴量を算出する。また、認識仮説探索部２０は、音声区間検出（Ｖｏｉｃｅ  Ａｃｔｉｖｉｔｙ  Ｄｅｔｅｃｔｉｏｎ）の機能を有している。つまり、認識仮説探索部２０は、音声区間検出の機能を用いて、リアルタイムに連続して入力される音声信号から、発話ごとの区間を抽出する。そして、認識仮説探索部２０は、発話ごとに、次の手順による認識処理を行う。認識仮説探索部２０は、発話の区間について、予め保持している音響モデルや言語モデルを用いて、認識仮説を生成する。ここで、音響モデルとは、音響特徴量と音素との間の確率的関係の情報を持つものである。また、言語モデルとは、音素列が言語であるか否かを表す確率の情報を持つものである。認識仮説は、入力された音声に対応するものとして考え得る単語列の候補である。認識仮説は、例えば、時間方向に確率的に状態が遷移するネットワークとして表現され得る。また、認識仮説探索部２０は、各々の認識仮説について、入力された音声との対応関係に基づくスコアを算出する。そして、認識仮説探索部２０は、スコアに基づいて上記のネットワークを探索し、最尤の認識結果を求める。上記の処理過程において、認識仮説探索部２０は、適宜、枝刈り処理を行う。一般に、放送番組の字幕政策に用いるような大語量の音声認識では、音声と、全ての単語列の認識仮説とを照合するのは困難である。そのため、音声の一部が入力されるごとに、最尤の仮説のスコアと各仮説のスコアを比較して、見込みの小さな仮説を枝刈りして切り捨てることが行われる。本実施形態の認識仮説探索部２０は、仮説の枝刈りを行うことによって、リアルタイムに探索を終えるようにしている。この認識仮説探索部２０の処理自体は、既存技術によって実現可能なものである。この枝刈りの方式はビームサーチと呼ばれる。ビームサーチの一例として、認識仮説探索部２０は、探索のビーム幅をＷとした場合、最尤の仮説のスコアＳに対して、｜Ｓ−Ｓｉ｜＜Ｗを満たすスコアＳｉを有する対立仮説iのみが生き残るような枝刈りを行う。
【００２５】
なお、仮説の生成と枝刈り（破棄）との結果として、ある時点（あるフレーム）における認識仮説の数は、可変である。ある時点における認識仮説の数が、例えば、数千個程度に達する場合もある。入力される音声の中で、明瞭度が高く、高い認識精度が得られる部分では、最尤仮説のスコアＳに比べて他の対立仮説のスコアが十分に小さくなる。よって、この部分では、ビーム内に生き残る対立仮説の数は少ない。一方、明瞭度が低く、認識精度の低下が見込まれる部分では、最尤仮説と対立仮説のスコアとの間の十分な差が得られないため、ビーム内に生き残る対立仮説の数は多くなる。
【００２６】
状況把握部３１は、認識仮説探索部２０が認識結果を探索する処理の処理状況を把握する。状況把握部３１は、認識仮説探索部２０に関する状況を把握して、その状況を判定部３２に伝達するものである。状況把握部３１が把握する状況については、後でさらに詳しく説明する。
【００２７】
判定部３２は、状況把握部３１が把握した処理状況に基づいて、認識仮説探索部２０による認識処理の精度が低下したか否かを推定する。言い換えれば、判定部３２は、状況把握部３１が把握した状況に基づいて、音声認識装置１の認識精度が低下しているか否かを判定する。判定部３２は、この判定を行う際、最尤認識仮説がどの程度他の仮説よりも尤もらしいかに基づく判断を行う。判定部３２は、具体的には、例えば、認識仮説の量が多いか否か、フレームの入力から処理までの時間の遅延が大きいか否か、１フレームの処理時間が長いか否か、あるいはＣＰＵ負荷が大きいか否か、といった情報に基づいて、上記の判定を行う。
【００２８】
認識結果出力部３３は、判定部３２の判定結果に応じて、認識結果を外部に出力するか否かを制御する。具体的には、判定部３２が認識処理の精度低下がないと判定した場合には、認識結果出力部３３は、認識仮説探索部２０から出力される認識結果をそのまま外部に出力する。判定部３２が認識処理の精度低下があると判定した場合には、認識結果出力部３３は、精度低下があることに対応した特定パターン（予め定めたパターン）を外部に出力する。この特定パターンとは、特定の文字列や、特定の画像等であってよい。一例として、特定パターンは、「。。。」という文字列であってよい。
【００２９】
上記の各部の機能を備えることにより、音声認識装置１は、次のように動作する。即ち、音声認識装置１は、入力音声をフレームに分割する。そして、音声認識装置１は、時刻tにおいて、時刻tに生き残っている仮説集合Ｈｔに属する各仮説のスコアを算出する。音声認識装置１は、認識仮説探索部２０による処理の状況に応じて、認識精度が低下しているか否かを推定する。認識精度の低下が起こっていると見込まれる部分では、音声認識装置１は、例えば「。。。」などといった特定パターンを出力して、当該入力音声の認識を終了し、次の発話を待つ。認識精度の低下がないと見込まれる部分では、音声認識装置１は、時刻tで確定可能な単語がある場合にはその単語を出力するとともに、そのうえで、仮説集合を次の単語へと展開した仮説集合Ｈ´ｔ＋１を求める。そして、音声認識装置１は、最もスコアが高い最尤仮説とのスロアの差を基準に、この仮説集合を枝刈りし、時刻ｔ＋１で演算を行う仮説集合Ｈｔ＋１を求めて、次のフレームを処理に移る。音声認識装置１は、時刻を進めながら、順次、この処理を繰り返す。
【００３０】
図２は、前述の状況把握部３１のさらに詳細な機能構成を示すブロック図である。図示するように、状況把握部３１は、認識仮説量把握部３１１と、時刻差分把握部３１２と、処理時間把握部３１３と、ＣＰＵ負荷把握部３１４とを含んで構成される。なお、「ＣＰＵ」は、「中央処理装置」を表す。これら４つの機能部の各々は、認識仮説探索部２０による処理の状況を把握する。なお、本実施形態では、状況把握部３１が、状況把握部３１は、認識仮説量把握部３１１と、時刻差分把握部３１２と、処理時間把握部３１３と、ＣＰＵ負荷把握部３１４との４つを含むが、状況把握部３１がここに列挙した４つの機能部のうちの一部のみを含む構成を有していてもよい。また、状況把握部３１が、ここに列挙した４つの機能部以外の機能を有していてもよい。即ち、状況把握部３１は、認識仮説探索部２０による処理の状況として、認識仮説量や、時刻差分や、処理時間や、ＣＰＵ負荷といったもの以外の状況を把握するようにしてもよい。
【００３１】
（１）認識仮説量の把握と、認識精度の推定
認識仮説量把握部３１１は、認識仮説探索部２０が探索対象としている認識仮説の量に関する情報を把握する。具体的には、認識仮説量把握部３１１は、認識仮説探索部２０から得られる情報により、時刻ｔにおける仮説集合Ｈｔ内の仮説数（アクティブノード数）Ｎ（Ｈｔ）を認識仮説量として把握する。あるいは、認識仮説量把握部３１１は、次の式（１）で表される値を、認識仮説量として把握してもよい。
【００３２】
【数１】
2020187313.tif 000003
【００３３】
式（１）において、Ｔは、適宜定められる正整数である。つまり、この場合、認識仮説量把握部３１１は、時刻ｔよりＴだけ遡った時刻（ｔ−Ｔ）のフレームから、時刻ｔまでのフレームの、各フレームにおける仮説数の総和を、認識仮説量として把握する。さらに、認識仮説量把握部３１１は、仮説数と相関する他の数値を認識仮説量として把握してもよい。一例として、認識仮説量把握部３１１は、認識仮説探索部２０の処理において仮説の情報を少なくとも一時的に保存すためのメモリー容量を、認識仮説量として把握してもよい。
【００３４】
状況把握部３１は、認識仮説量把握部３１１によって把握された認識仮説量の情報を、判定部３２に渡すことができる。判定部３２は、この認識仮説量に基づいて、認識仮説探索部２０による認識処理の精度低下があるか否かを推定する。判定部３２は、認識仮説量が所定の閾値よりも大きい場合に認識精度が低下していると推定する。また、判定部３２は、認識仮説量が所定の閾値以下である場合に認識精度は低下していないと推定する。
【００３５】
（２）フレームの入力から処理までの時間遅延の把握と、認識精度の推定
時刻差分把握部３１２は、音声の各フレームの本来の時刻と認識のための処理時刻との差分を把握する。この時刻の差分値は、認識仮説の量に応じた近似値として利用することができる。一般に音声認識において、ビーム幅Ｗを大きくとることで認識精度の向上が見込まれる。リアルタイムの音声認識においては、認識処理の遅れが生じない程度にＷが大きくなるように設定する。しかしながら、アクティブノード数がある程度の時間以上増大し続けているような区間では、各フレームで、大量の仮説候補のスコアを計算することが必要となる。このため、認識のための演算処理が１フレームの時間内に収まらなくなり、フレームの処理時刻が遅延する。そこで、時刻差分把握部３１２は、時刻ｔのフレームの本来の時刻（例えば、当該フレームの音声が入力された時刻）と、そのフレームが処理される時刻との差分を把握する。なお、時刻差分把握部３１２は、音声認識装置１自身が有する時計機能（不図示）から、現在時刻の情報を取得することができる。
【００３６】
状況把握部３１は、時刻差分把握部３１２によって把握された時刻差分の情報を、判定部３２に渡すことができる。判定部３２は、この時刻差分に基づいて、認識仮説探索部２０による認識処理の精度低下があるか否かを推定する。判定部３２は、時刻差分が所定の閾値よりも大きい場合に認識精度が低下していると推定する。また、判定部３２は、時刻差分が所定の閾値以下である場合に認識精度は低下していないと推定する。
【００３７】
（３）フレームの処理時間の把握と、認識精度の推定
処理時間把握部３１３は、各フレームに関して認識処理のために要した時間の長さを把握する。この処理時間の長さは、認識仮説の量に応じた近似値として利用することができる。前述の通り、アクティブノード数が増加した状態の区間では、各フレームで、大量の仮説候補のスコアを計算することが必要となる。このため、認識のための演算に必要な時間が大きくなる。そこで、処理時間把握部３１３は、時刻ｔのフレームの処理に要した時間Ｐｔを、認識仮説探索部２０から取得する。あるいは、処理時間把握部３１３は、次の式（２）で表される値を、処理時間として把握してもよい。
【００３８】
【数２】
2020187313.tif 000004
【００３９】
式（２）において、Ｔは、適宜定められる正整数である。つまり、この場合、処理時間把握部３１３は、時刻ｔよりＴだけ遡った時刻（ｔ−Ｔ）のフレームから、時刻ｔまでのフレームの、処理時間の総和を把握する。
【００４０】
状況把握部３１は、処理時間把握部３１３によって把握された処理時間の情報を、判定部３２に渡すことができる。判定部３２は、この処理時間に基づいて、認識仮説探索部２０による認識処理の精度低下があるか否かを推定する。判定部３２は、処理時間が所定の閾値よりも大きい場合に認識精度が低下していると推定する。また、判定部３２は、処理時間が所定の閾値以下である場合に認識精度は低下していないと推定する。
【００４１】
（４）ＣＰＵ負荷の把握と、認識精度の推定
ＣＰＵ負荷把握部３１４は、認識仮説探索部２０の処理に対応するＣＰＵ負荷量の情報を把握する。ＣＰＵ負荷の大きさは、認識仮説の量に応じた近似値として利用することができる。その前提として、音声認識装置１の処理において、少なくとも認識仮説探索部２０の処理の機能は、ＣＰＵで実行されるプログラムとして実装される。具体的には、例えば、ＣＰＵ負荷把握部３１４は、オペレーティングシステム（ＯＳ）内のプロセス管理機能から提供されるＣＰＵ負荷の数値を取得する。なお、ＣＰＵ負荷把握部３１４は、認識仮説探索部２０の処理に対応するＣＰＵ負荷の近似値として、当該ＣＰＵ全体の負荷の情報や、当該ＣＰＵ上で稼働するユーザープロセス全体の負荷の情報を取得するようにしてもよい。各フレームの認識のための処理がフレーム内の時閻に収まらない場合など、評価すべき仮説数が多い場合には、認識仮説探索部２０の処理のＣＰＵ負荷は非常に高く（場合によっては１００％またはそれに近い値に）なる。つまり、ＣＰＵの負荷に基づいて、認識処理の精度低下があるか否かを推定することが可能である。
【００４２】
図３は、音声入力部１０から認識仮説探索部２０に渡される音声データの構成の一例を示す概略図である。図示するように、音声入力部１０から認識仮説探索部２０へは、時系列の音声データと、フレームの区切りを表す指標情報とが渡される。図示する例では、フレームには、便宜的に１から始まる番号ｔが付与されている。また、各フレームは、開始時刻および終了時刻の情報を有している。これらの時刻は、「ＨＨ：ＭＭ：ＳＳ．ｔｔｔ」（時・分・秒・千分の一秒）の形式で表されている。各フレームの情報は、開始時刻等を用いて、音声データを指標する。この例では、各フレームは、１０ミリ秒ごとに開始されるものであり、２５ミリ秒の長さを有する。つまり、フレーム間でオーバーラップする時間区間がある。なお、フレームの開始時刻感覚やフレームの長さは、ここに例示したもの以外であってもよい。
【００４３】
次に、アクティブノード数と認識精度との関係について、例を参照しながら、説明する。
【００４４】
図４は、高い認識精度が得られていると見込まれている区間におけるアクティブノード数（仮説数）の推移を示すグラフの一例である。このグラフの横軸は時刻ｔであり、縦軸はアクティブノード数である。ここに示すアクティブノード数とは、時刻ｔにおける仮説集合Ｈｔ内の仮説数Ｎ（Ｈｔ）である。このグラフに示すように、高い認識精度が得られている区間においては、時刻ｔの変化に対して、仮説数Ｎ（Ｈｔ）は下限値付近で概ね一定である。
【００４５】
図５は、認識精度の低下が見られる区間におけるアクティブノード数（仮説数）の推移を示すグラフの一例である。このグラフにおいても、図４と同様に、横軸は時刻ｔであり、縦軸はアクティブノード数仮説数Ｎ（Ｈｔ）である。このグラフに示すように、認識精度の低下が見込まれている区間においては、高い認識精度が得られている区間と比べて、仮説数Ｎ（Ｈｔ）が増加する。図５のグラフにおいて横方向に伸びる破線は、概ねアクティブノード数の下限を示す。また、グラフ内のハッチングの領域は、アクティブノード数の増加分である。
【００４６】
図４および図５に示したように、仮説数に応じて、認識精度が高く維持されている状態であるか、低下している状態であるかを、推定することができる。認識精度が高い状態のときに仮説数が相対的に少ない理由は、最尤仮説のスコアが他の仮説のスコアよりも抜きんでて高い（ピーク性が高い）ために、より多くの仮説が枝刈りによって破棄されるためである。逆に、認識精度が低い状態のときに仮説数が相対的に高い理由は、最尤仮説のスコアが他の仮説のスコアよりも抜きんでている度合いが低い（ピーク性が低い）ために、より多くの仮説が枝刈りの処理で生き残るためである。
【００４７】
次に、認識プロセスによる処理時刻と認識精度との関係について、例を参照しながら、説明する。
【００４８】
図６は、高い認識精度が得られていると見込まれている区間における、入力音声内のフレームの時刻と、そのフレームが処理される時刻との関係例を示す概略図である。この図において、横軸は時刻ｔである。そして、この図は、時間軸上での、（ａ）入力音声波形と、（ｂ）入力音声内のフレームの区切りと、（ｃ）フレーム処理時刻との関係を示す。なお、（ｂ）と（ｃ）との対応関係をわかりやすくするために、フレームの番号を記載している。なお、前提として、あるフレームを対象とした認識プロセスの処理が終了してから、次のフレームを対象とする認識プロセスが開始されるものとする。図示するように、高い認識精度が得られていると見込まれている区間において、フレームが処理されるための遅延時間は、ほぼ一定に維持される。つまり、図中の（ｂ）と（ｃ）との間の遅延は、ほぼ一定である。
【００４９】
図７は、認識精度の低下が見られる区間における、入力音声内のフレームの時刻と、そのフレームが処理される時刻との関係例を示す概略図である。この図においても、図６と同様に、横軸は時刻ｔであり、時間軸上での、（ａ）入力音声波形と、（ｂ）入力音声内のフレームの区切りと、（ｃ）フレーム処理時刻との関係を示している。図示するように、認識精度の低下が見られる区間において、フレームが処理されるための遅延時間は、徐々に蓄積されて増大していく。つまり、図中の（ｂ）から（ｃ）への遅延は、フレームが進むにつれて増加していく。
【００５０】
図６および図７に示したように、フレームの処理の遅延の大きさに応じて、認識精度が高く維持されている状態であるか、低下している状態であるかを、推定することができる。認識精度が高い状態のときに遅延量が相対的に小さい理由は、評価すべき仮説数が少ないためである。逆に、認識精度が低い状態のときに遅延量が相対的に大きい理由は、評価すべき仮説数が多いためである。
【００５１】
図８は、音声認識装置１による処理の手順を示すフローチャートである。以下では、このフローチャートに沿って、音声認識装置１の処理手順を説明する。なお、この処理を開始するにあたって、時刻ｔは適宜初期化されている。
【００５２】
ステップＳ１において、認識仮説探索部２０は、時刻ｔのフレームにおける音声データに基づき、認識仮説の集合を特定し、当該集合に属する仮説の各々についてスコアを算出する。
【００５３】
ステップＳ２において、状況把握部３１は、認識仮説探索部２０の処理に関する状況を把握する。具体的には、状況把握部３１は、前述の通り、（１）認識仮説量の把握、（２）フレームの入力から処理までの時間遅延の把握、（３）フレームの処理時間の把握、（４）ＣＰＵ負荷の把握の、少なくともいずれかを行う。なお、状況把握部３１は、ここに列挙したもの以外を、認識仮説探索部２０の処理に関する状況として把握してもよい。
【００５４】
ステップＳ３において、判定部３２は、状況把握部３１が把握した状況に基づいて、認識精度が低下していると推定されるか否かを判断する。認識精度が低下していると推定される場合（ステップＳ３：ＹＥＳ）には、次にステップＳ５の処理に移る。認識精度が低下しているとは推定されない場合（ステップＳ３：ＮＯ）には、次にステップＳ４の処理に移る。具体的には、判定部３２は、次のように判定する。（１）認識仮説量が所定の閾値より大きい場合、（２）音声フレームの入力から処理までの時間遅延が所定の閾値より大きい場合、（３）フレームの処理時間が所定の閾値より大きい場合、（４）ＣＰＵ負荷が所定の閾値より大きい場合、のいずれかの場合には、判定部３２は、認識精度が低下していると推定する。なお、判定部３２は、これら複数の条件を複合した条件による判定を行ってもよい。また、（１）認識仮説量が所定の閾値以下である場合、（２）音声フレームの入力から処理までの時間遅延が所定の閾値以下である場合、（３）フレームの処理時間が所定の閾値以下である場合、（４）ＣＰＵ負荷が所定の閾値以下である場合、のいずれかの場合には、判定部３２は、認識精度が低下していないと推定する。ここでも、判定部３２は、これら複数の条件を複合した条件による判定を行ってもよい。
【００５５】
ステップＳ４に進んだ場合、認識結果出力部３３は、認識結果の出力の抑止を行わない。つまり、認識結果出力部３３は、その時点で確定した認識結果があれば、その認識結果を外部に出力する。その時点で確定した認識結果がなければ、認識結果出力部３３は、特に何も行わない。なお、認識結果出力部３３は、認識結果を、認識仮説探索部２０から取得する。本ステップの処理の終了後はステップＳ６に移る。
【００５６】
ステップＳ５に進んだ場合、認識結果出力部３３は、その時点での認識仮説探索部２０側からの認識結果の有無にかかわらず、特定パターンを外部に出力する。特定パターンは、適宜定められる任意のパターンであるが、その一例は、「。。。」（句点の連続）といった文字列である。この特定パターンは、認識結果の出力がないこと（抑止されていること）を表している。なお、ここで例示したもの以外のパターン（文字列や画像等）を特定パターンとして用いてもよい。本ステップの処理の終了後はステップＳ６に移る。
【００５７】
ステップＳ６において、認識仮説探索部２０は、仮説集合の枝刈りを行う。この枝刈りにより、相対的に尤度の低い仮説は、破棄される。具体的には、認識仮説探索部２０は、最尤仮説のスコアと各仮説のスコアとの差分に基づいて、枝刈りを行う。つまり、最尤仮説のスコア（相対的に高いスコア）との差が大きいスコア（相対的に低いスコア）を有する仮説ほど、破棄されやすい。仮説間でのスコアの一様性が相対的に高い場合には、この枝刈り処理の結果として、相対的により多くの仮説が生き残る。最尤仮説のスコアのピーク性が相対的に高い場合には、この枝刈り処理の結果として、相対的により少ない仮説が生き残る。
【００５８】
ステップＳ７において、音声認識装置１は、時刻ｔを次に進める。具体的には、時刻ｔが整数値をとる場合、ｔ：＝ｔ＋１となるように時刻ｔを更新する。
【００５９】
ステップＳ８において、音声認識装置１は、終了条件が成立するか否かを判定する。終了条件の例は、外部から停止指示が入力されること、あるいは発話のない状態が所定時間以上続くことなどです。終了条件が成立する場合（ステップＳ８：ＹＥＳ）には、音声認識装置１は、本フローチャート全体の処理を終了する。終了条件が成立しない場合（ステップＳ８：ＮＯ）には、音声認識装置１は、次のフレームについての処理を行うために、ステップＳ１の処理に戻る。
【００６０】
図９は、入力される音声の発話内容と音声認識装置１からの出力との関係の例を示す概略図である。本例において、入力される音声の発話内容は「前回は６０秒以内という制限だったんですけど今回は１５秒短縮して４５秒とします」というものである。
このうち、「前回は６０秒以内という」および「今回は１５秒短縮して４５秒とします」という部分に関して、音声認識装置１は、認識結果が高かったと判定した。よって、音声認識装置１は、これらの認識結果をそのまま出力している。なお、出力される認識結果に認識誤りが含まれていてもよい。一方、「制限だったんですけど」という部分に関して、音声認識装置１は、認識結果が低かったと判定した。よって、よって、音声認識装置１は、この部分に対応して、認識率が低かったことを表す特定パターンである文字列「。。。。」を出力している。
【００６１】
［第１変形例］
図２に示したように、状況把握部３１は認識仮説量把握部３１１と、時刻差分把握部３１２と、処理時間把握部３１３と、ＣＰＵ負荷把握部３１４とを備える。判定部３２は、これら各部が把握する状況に基づいて、音声認識精度が低下しているか否かを判定する。変形例として、判定部３２は、状況把握部３１は認識仮説量把握部３１１と時刻差分把握部３１２と処理時間把握部３１３とＣＰＵ負荷把握部３１４とが把握する状況の複数種別を組み合わせて利用することによって、認識精度が低下しているか否かを判定する。例えば、認識仮説量把握部３１１が把握する認識仮説量や、処理時間把握部３１３が把握する処理時間を用いて判定を行う場合には、発話内の認識精度の低下を効率よく推定できるものの、前の発話が認識困難なものであった場合などには発話問の特性を利用できないという問題がある。そこで、時刻差分把握部３１２が把握する時刻差分に基づく判定を組み合わせることにより、判定部３２は、前の発話の認識処理によって生じた遅延に加えて、当該発話の認識処理によって生じた遅延を用いた推定が可能となる。これにより、判定部３２は、迅速かつ高精度な推定を行うことが可能となる。
【００６２】
なお上述した以外の方法で、判定部３２が、複数の情報を組み合わせて、認識精度が低下しているか否かを判定するようにしてもよい。
【００６３】
［第２変形例］
発話の文頭では、処理したフレームの数が少なく、当該音声が高精度に認識できる音声なのか認識精度が低下する音声なのか正しく推定することができない場合がある。図８のフローチャートで示した方法では、文頭部分でも逐次単語が確定されていくため、文中まで達してからこの文が認識困難文であると判定されても、文頭の誤認識結果は出力されてしまう。そこで、本変形例では、認識結果出力部３３は、文頭では認識精度の判定を行わず、その区間の認識結果は出力せずにバッファにためておいて、一定の時間経過後に判定を開始して、出力可能ならば、バッファ内の単語を出力する。つまり、認識結果出力部３３は、音声に対応する文頭の所定部分についての認識結果の外部への出力を所定時間待たせるよう制御する。この第２変形例では、文頭の数単語の誤認識結果が出力されてしまうという問題が解消される。
【００６４】
なお、上述した実施形態における音声認識装置の少なくとも一部の機能をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６５】
以上、説明したように、本実施形態（変形例を含む）によると、状況把握部３１は、認識仮説探索部２０の処理状況を把握する。判定部３２は、状況把握部３１が把握した状況に基づいて、認識精度が低下しているか否かを推定する。認識結果出力部３３は、判定部３２による判定結果に応じて、認識精度が低下していると判定される場合には、精度低下があることに対応した特定パターンを外部に出力する。これにより、音声認識装置１は、認識精度が低いと考えられる認識結果を、出力しないようにできる。多くの番組では、一般話者へのインタビューなど明瞭度が低い音声に対しては、オープンキャプシヨンが付与される場合が多く、このような部分に認識精度の低い字幕を付与する必要がない場合も多い。
【００６６】
これにより、リスピーカーやオペレーター等がいない状況でも、高品質な字幕テキストを出力することが可能となる。
【００６７】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００６８】
本発明は、例えば、映像コンテンツの制作等に利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。
【符号の説明】
【００６９】
１  音声認識装置
１０  音声入力部
２０  認識仮説探索部
３０  認識結果出力制御装置
３１  状況把握部
３２  判定部
３３  認識結果出力部
３１１  認識仮説量把握部
３１２  時刻差分把握部
３１３  処理時間把握部
３１４  ＣＰＵ負荷把握部
【図１】
2020187313.tif 000005
【図２】
2020187313.tif 000006
【図３】
2020187313.tif 000007
【図４】
2020187313.tif 000008
【図５】
2020187313.tif 000009
【図６】
2020187313.tif 000010
【図７】
2020187313.tif 000011
【図８】
2020187313.tif 000012
【図９】
2020187313.tif 000013