(57)【特許請求の範囲】
【請求項１】
音声の認識処理を行い、認識仮説および前記認識仮説に付随する信頼度データを含んだ認識結果データを出力する認識処理部と、
前記音声に対応するテキストデータと前記認識処理部が出力した認識結果データとに基づきこれら両データの一致区間を選択するとともに、前記一致区間の時間を含み且つ前記テキストデータとは一致しない前記認識仮説を枝刈りし、枝刈り後の認識仮説および付随する信頼度データを基に信頼区間を選択し、前記一致区間および前記信頼区間のデータを出力する選択処理部と、
を具備することを特徴とする音響処理装置。
【請求項２】
請求項１に記載の音響処理装置において、
音素と該音素に対応する音響特徴量とを関連付けた音響モデルを記憶する音響モデル記憶部と、
前記選択処理部による選択の結果に応じて、前記音響モデル記憶部に記憶される前記音響モデルを更新する音響モデル適応化部と、
をさらに具備するとともに、
前記認識処理部は、前記音響モデル記憶部から読み出した前記音響モデルを用いて音声の認識処理を行うものであり、
前記選択処理部は、選択した前記一致区間と選択した前記信頼区間に含まれる音素と当該音素に対応する音響特徴量との組を学習データとして出力するものであり、
前記音響モデル適応化部は、前記選択処理部が出力した前記学習データを用いて、前記音響モデル記憶部に記憶される前記音響モデルを更新するものである、
ことを特徴とする音響処理装置。
【請求項３】
音声の認識処理を行い、認識仮説および前記認識仮説に付随する信頼度データを含んだ認識結果データを出力する認識処理過程と、
前記音声に対応するテキストデータと前記認識処理過程が出力した認識結果データとに基づきこれら両データの一致区間を選択するとともに、前記一致区間の時間を含み且つ前記テキストデータとは一致しない前記認識仮説を枝刈りし、枝刈り後の認識仮説および付随する信頼度データを基に信頼区間を選択し、前記一致区間および前記信頼区間のデータを出力する選択処理過程と、
の処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、統計的処理に基づく音声処理に関する。特に、各音素の音響特徴量の統計量を音響モデルとして処理を行なう音響処理装置およびそのプログラムに関する。
【背景技術】
【０００２】
統計モデルを用いた音声認識では、各音素の統計量を得るために大量の学習データが必要になる。この学習データは、大量の音声データとその音声に対する書き起こしの対であり、従来人手により時間とコストをかけて作成されてきた。
【０００３】
現在、放送番組の一部には、高齢者や聴覚障害者の番組視聴など音声からの情報が十分に得られない環境でも番組内容が理解できるように、番組音声に対応する字幕テキストが付与されているものがある。この字幕テキストにはオンラインで付与された字幕テキストとオフラインで付与された字幕テキストの２種類があり、前者は番組中の発話内容とほぼ一致している。但し、後者は話し言葉の冗長性を除去し、簡潔で読みやすい字幕を付与できるため、発話内容と字幕との一致率が低い。
【０００４】
上記の一致率が高いオンライン字幕を利用できる場合には、音声区間の切り出しと、切り出された音声に対応する字幕区間の切りだしを行なうことで、音響モデルの学習データを容易に自動作成することができ、読み上げ音声が中心で比較的高い音声認識精度が得られるニュース番組を対象とした場合の認識精度の改善が報告されている（非特許文献１）。この方法では、字幕区間の切り出しに、字幕テキストで適応化した言語モデルを用いて得られた番組音声の認識結果を利用し、字幕テキストと認識結果の一致区間を音響モデルの学習データとしている。この番組音声の認識は、主に音声区間の切り出しと字幕と発話内容の不一致部分の検出を目的として行われ、言語モデルの適応化に用いる字幕テキストの重みは比較的小さいことが特徴である。
【０００５】
図１１は、従来技術による音響モデル学習装置の機能構成を示すブロック図である。この図に示す音響モデル学習装置２００は、字幕テキストを形態素単位に分割した後、字幕テキストにＷｂｉａｓの重みを付けて、バイアスのある言語モデル（バイアス化言語モデル８６）を得る。この言語モデルを用いて番組音声を認識する（認識処理部９０）。本装置の主目的は、字幕と発話内容の不一致区間の検出と音声と字幕の切り出しであるため、バイアス重みＷｂｉａｓ（４程度）と言語重みＷｌｍ（１０程度）は比較的小さな値を用いる。次に、番組全体で認識仮説と字幕テキストのＤＰマッチングを行い（アライメント処理部９２）、字幕テキストと認識結果が３単語以上連続して一致している区間を選択し、番組音声中の音声区間と対応する単語列である学習データ（学習データ記憶部９４）が得られる。
【非特許文献１】Long Nguyen，外１名，“Light Supervision in Acoustic Model Training”，IEEE International Conference on Acoustics, Speech, and Signal Processing, 2004. Proceedings. (ICASSP apos;04)，２００４年，Volume 1，ｐ．１７−２１
【発明の開示】
【発明が解決しようとする課題】
【０００６】
現在、放送番組の対談部分などの比較的自由なスタイルで発話された部分の認識精度は、読み上げ音声の認識精度に比べて低く、このような部分の認識精度を向上させるため、様々なスタイルで発話された音響モデルの学習データが必要とされている。
【０００７】
放送番組の対談部分などの比較的自由なスタイルでは、オフラインで作成される字幕テキストが用いられるが、前述の通りこの字幕テキストの作成の際は簡潔さが優先されるため、字幕テキストと実際の発話内容との一致率は低い。従来技術による音響モデル学習装置は字幕テキストと実際の発話内容との一致率が高いことを前提としており、従来技術による方法ではこの一致率の低いデータからは高い認識精度が得られず、その結果として音響モデルの学習データを効率よく多量に生成することができないという問題があった。
【０００８】
本発明は、上記事情を考慮して為されたものであり、字幕と発話内容の一致率が低いオフライン字幕を利用した場合にも、高い認識率によって音響モデルの学習データを自動生成し、多様な発話スタイルに対応できる音響モデルを作成することを目的とするものである。そのため、本発明は、字幕と発話内容の一致率が低いオフライン字幕を利用した場合に、両者が一致しない区間をも音響モデル自動生成のために抽出することのできる音響処理装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
［１］上記の課題を解決するため、本発明の一態様による音響処理装置は、音声の認識処理を行い、認識仮説および前記認識仮説に付随する信頼度データを含んだ認識結果データを出力する認識処理部と、前記音声に対応するテキストデータと前記認識処理部が出力した認識結果データとに基づきこれら両データの一致区間を選択するとともに、前記一致区間の時間を含み且つ前記テキストデータとは一致しない前記認識仮説を枝刈りし、枝刈り後の認識仮説および付随する信頼度データを基に信頼区間を選択し、前記一致区間および前記信頼区間のデータを出力する選択処理部とを具備することを特徴とする。
これにより、認識仮説とテキストデータが一致する区間だけでなく、両者が一致しない区間からも、所定のレベル以上で信頼できる認識仮説を含む信頼区間から、データを抽出することが可能となる。このような構成により、より多くの学習データを得ることができる。
【００１０】
［２］また、本発明の一態様は、上記の音響処理装置において、音素と該音素に対応する音響特徴量とを関連付けた音響モデルを記憶する音響モデル記憶部と、前記選択処理部による選択の結果に応じて、前記音響モデル記憶部に記憶される前記音響モデルを更新する音響モデル適応化部とをさらに具備するとともに、前記認識処理部は、前記音響モデル記憶部から読み出した前記音響モデルを用いて音声の認識処理を行うものであり、前記選択処理部は、選択した前記一致区間と選択した前記信頼区間に含まれる音素と当該音素に対応する音響特徴量との組を学習データとして出力するものであり、前記音響モデル適応化部は、前記選択処理部が出力した前記学習データを用いて、前記音響モデル記憶部に記憶される前記音響モデルを更新するものであることを特徴とする。
この構成によれば、音響モデルに基づいて行なわれた音声の認識結果データ（認識仮説）とその音声に対応するテキストデータ（字幕テキストなど）との一致区間から学習データが得られるとともに、この一致区間に基づき認識仮説の枝刈りを行い、その結果得られる信頼区間からも学習データが得られる。これら一致区間および信頼区間から得られた学習データを用いて音響モデルを更新する。つまり音響モデルの適応化を行なうことができる。そして、適応化された音響モデルを用いて、再度、認識処理を行なうことにより、より多くの学習データが得られる。このような適応化と学習データ取得を、繰り返すことができ、学習データを多量に得ることが効率的に行なえる。
【００１１】
［３］また、本発明の一態様は、音声の認識処理を行い、認識仮説および前記認識仮説に付随する信頼度データを含んだ認識結果データを出力する認識処理過程と、前記音声に対応するテキストデータと前記認識処理過程が出力した認識結果データとに基づきこれら両データの一致区間を選択するとともに、前記一致区間の時間を含み且つ前記テキストデータとは一致しない前記認識仮説を枝刈りし、枝刈り後の認識仮説および付随する信頼度データを基に信頼区間を選択し、前記一致区間および前記信頼区間のデータを出力する選択処理過程との処理をコンピュータに実行させるプログラムである。
【００１２】
また、さらに、次のＡ２からＡ６までの態様として上記課題を解決するようにしても良い。
【００１３】
［Ａ２］本発明の一態様は、上記の音響処理装置において、前記音響モデル記憶部は、前記音響モデルを番組ごとに記憶するものであり、前記認識処理部は、前記番組の音声を、当該番組に対応した前記音響モデルを用いて音声の認識処理を行ない、前記選択処理部は、前記番組ごとに前記学習データを出力し、前記音響モデル適応化部は、当該番組用の前記音響モデルを更新することを特徴とする。
この構成によれば、認識対象の音声は放送等の番組の音声であり、番組ごとに音響モデルを持ち、番組ごとの認識結果を用いて音響モデルの適応化を行なえる。よって、番組ごとに特有の音響的特徴がある場合に、その特有の特徴に応じた適応化を行なうことができ、認識精度が上がり、より多量の学習モデルを獲得できる。
【００１４】
［Ａ３］本発明の一態様は、上記の音響処理装置において、言語モデルを記憶する言語モデル記憶部をさらに具備し、前記認識処理部は、前記言語モデル記憶部から読み出した前記言語モデルと前記音響モデル記憶部から読み出した前記音響モデルとを所定の重み比率値で重み付けして用いて、認識処理を行なうものであり、且つ、前記認識処理部は、音響モデル適応化部によって更新された前記音響モデルを用いて再度認識処理を行なうものであり、このとき使用する前記重み比率値は、前回の認識処理のときよりも前記言語モデルがより小さい重みで用いられる値とすることを特徴とする。
この構成によれば、認識処理と、認識処理結果を用いた音響モデルの適応化とを、繰り返し行なう場合に、徐々に、言語モデルを用いる重みが相対的に低下する。よって、当初の認識率を高めるために言語モデルの重みを大きめにとった場合にも、音響モデルの適応化の進展に合わせて、言語モデルの重みを減ずることができ、認識精度が上がり、より多量の学習モデルを獲得できる。
【００１５】
［Ａ４］本発明の一態様は、上記の音響処理装置において、前記音声の中の発話部分の特徴量を表わす発話モデルを記憶する発話モデル記憶部と、前記発話モデル記憶部から読み出した前記発話モデルを用いて前記音声の中の発話部分の音声区間を切り出す音声区間切り出し部と、前記選択処理部が出力した前記学習データを用いて、前記発話モデル記憶部に記憶される前記発話モデルを更新する発話モデル適応化部とをさらに具備し、前記認識処理部は、前記音声区間切り出し部によって切り出された前記音声区間の音声を認識処理することを特徴とする。
この構成によれば、発話モデルを用いて音声区間の中の発話部分の音声区間を切り出す。そして、認識処理の結果得られた学習データを用いて、発話モデルを適応化する。よって、発話部分の音声区間の切り出しと、切り出された音声区間の認識処理と、認識結果に基づく学習データを用いた発話モデルの適応化の処理を繰り返すことができる。よって、音声区間の切り出しの精度が向上し、認識精度が上がり、より多量の学習モデルを獲得できる。
【００１６】
［Ａ５］本発明の一態様は、上記の音響処理装置において、話者ごと又は話者属性ごとの統計量を表わす話者属性別発話モデルを記憶する話者属性別発話モデル記憶手段と、前記話者属性別発話モデル記憶手段から読み出した前記話者属性別発話モデルを用いて前記音声の中の所定音声区間における話者又は話者属性を推定する話者属性推定手段とをさらに具備し、前記音響モデル記憶部は、前記話者ごとまたは前記話者属性ごとに区別して前記音響モデルを記憶するものであり、前記認識処理部は、前記話者属性推定手段による推定結果に応じて、該当する前記話者用または前記話者属性用の前記音響モデルを前記音響モデル記憶部から読み出し、この読み出された前記音響モデルを用いて前記音声の認識処理を行なうものであり、さらに、前記話者属性推定手段による推定結果に対応する前記学習データを用いて、前記話者属性別発話モデル記憶手段に記憶された、当該推定結果に対応する前記話者ごとまたは前記話者属性ごとの話者属性別発話モデルを更新する話者属性別発話モデル適応化手段を備えることを特徴とする。
この構成によれば、話者属性別発話モデルを用いて話者又は話者属性を推定する。また、話者又は話者属性ごとの音響モデルを備えており、前記の推定結果に応じた音響モデルを用いた認識処理を行なう。この認識処理の結果得られる学習データを用いて話者属性別発話モデルの適応化を行なう。この処理を繰り返すことにより、話者属性別発話モデルの質が向上し、話者又は話者属性を推定する精度が向上し、即ち、話者又は話者属性ごとの音響モデルに適した音声区間を切り出す精度が向上する。よって、認識精度が上がり、より多量の学習モデルを獲得できる。
【００１７】
［Ａ６］本発明の一態様は、上記の音響処理装置において、前記音響モデル適応化部は、前記話者属性推定手段による推定結果に対応する前記学習データを用いて、当該推定結果に対応する前記話者ごとまたは前記話者属性ごとの前記音響モデルを更新するものであることを特徴とする。
この構成によれば、前記の推定結果に対応した学習データを用いて、当該推定結果に対応した音響モデルを適応化する。よって、音響モデルの質がより向上し、認識精度が上がり、より多量の学習モデルを獲得できる。
【発明の効果】
【００１８】
本発明によると、字幕が付与されている様々な番組音声から、大量の音響モデルの学習データを効率的に得ることができる。また、字幕と実際の音声との一致率が低い番組音声からも、より効率的に、音響モデルの学習データを得ることが可能となる。特に、字幕と音声の一致しない区間の一部からも学習データを得ることができる。また、これまで認識できなかった番組や話者の認識が可能になったり、音声認識の認識精度の向上が可能になったりする。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照しながら本発明の実施形態について説明する。
［第１の実施の形態］
図１は、第１の実施形態による音響モデル学習装置の機能構成を示すブロック図である。図示するように、音響モデル学習装置１００は、字幕テキスト記憶部１と、形態素解析処理部２と、重み付け処理部３と、ベースラインコーパス記憶部４と、合成処理部５と、バイアス化言語モデル記憶部６（言語モデル記憶部）と、重み付け処理部７と、番組音声記憶部８と、音響モデル記憶部９と、認識処理部１０と、認識仮説記憶部１１と、アライメント処理部１２と、選択処理部１３と、学習データ記憶部１４と、音響モデル適応化部１５とを含んで構成される。
【００２０】
字幕テキスト記憶部１は、放送番組の字幕テキストのデータを記憶する。形態素解析処理部２は、字幕テキスト記憶部１から読み出した字幕テキストについて、既存技術を用いて形態素解析処理を行い、その結果を、形態素に区切られた列として出力する。
【００２１】
重み付け処理部３は、形態素解析された字幕テキストについて、ベースラインコーパスと合成するための重み付けを行なう。つまり、重み付け処理部３は、字幕テキストの出現頻度に重み値Ｗｂｉａｓを乗ずるようなバイアスをかける。ベースラインコーパス記憶部４は、ベースラインコーパスを記憶する。ベースラインコーパスは、電子化された自然言語の大量の文章からなるデータベースである。例えば、蓄積された過去のニュース原稿のテキストをベースラインコーパスとして利用する。なお、ベースラインコーパスに対して予め統計処理を行い、後述する言語モデルに合う形式で記憶しておくようにしても良い。
【００２２】
合成処理部５は、重み付け処理部３によって重み付けされた字幕テキストのデータと、ベースラインコーパス記憶部４から読み出したベースラインコーパスとを用いて、これらを合成し、出現する語に関する統計的な数値とともに表わしたバイアス化言語モデルを作成する。バイアス化言語モデル記憶部６は、合成処理部５によって作成されたバイアス付きの言語モデルを記憶する。言語モデルの詳細については、後で図面を参照しながら説明する。
【００２３】
重み付け処理部７は、認識処理部１０による認識処理のために、バイアス化言語モデル記憶部６に記憶されている言語モデルに対して重み値Ｗｌｍによる重み付けを行なう。これにより、認識処理部１０は、言語モデルと音響モデルとをＷｌｍ：１の重みの比で用いることとなる。
【００２４】
番組音声記憶部８は、番組音声を記憶している。この番組音声は、字幕テキスト記憶部１に記憶される字幕テキストのデータと対応するものである。
音響モデル記憶部９は、音素とその音素に対応する音響特徴量とを関連付けた音響モデルのデータを記憶する。音響モデルのデータについては後でも説明する。
【００２５】
認識処理部１０は、音響モデル記憶部９から読み出した音響モデルと重み値Ｗｌｍによる重み付けをつけた言語モデルとを用いて、番組音声記憶部８から読み出す音声の認識処理を行い、認識仮説（認識結果データ）を出力する。認識仮説記憶部１１は、この認識仮説を記憶する。
【００２６】
アライメント処理部１２は、形態素解析処理部２によって形態素解析処理済みの字幕テキストデータと、認識仮説記憶部１１から読み出す認識仮説との一致部分を見つける処理を行なう。具体的には、アライメント処理部１２は、これら両データをサーチし、所定数以上連続して語が一致しているか所定数以上連続して文字が一致している箇所を見つける処理を行なう。
【００２７】
選択処理部１３は、アライメント処理部１２によってアライメントされた両データの一致区間を選択し、選択した一致区間に含まれる音素と当該音素に対応する音響特徴量との組を学習データとして出力する。また、選択処理部１３は、選択された一致区間を含む認識仮説のうち、当該区間において字幕テキストデータとは一致しない認識仮説を枝刈りし、枝刈り後の認識仮説とそれに付随する信頼度データを基に、信頼度データが所定の閾値以上の区間を信頼区間として選択し、選択した信頼区間に含まれる音素と当該音素に対応する音響特徴量との組を学習データとして出力する。
【００２８】
学習データ記憶部１４は、選択処理部１３によって出力される学習データを記憶する。音響モデル適応化部１５は、学習データ記憶部１４から読み出した学習データを用いて、音響モデル記憶部９に記憶される音響モデルを適応化する（更新する）処理を行なう。
【００２９】
この音響モデル学習装置１００の特徴は、音響モデル適応化部１５が存在し、選択処理部１３によって出力される学習データを用いて、最大事後推定法（ＭＡＰ）や最尤線形回帰分析法（ＭＬＬＲ）等の適応化技術により、音響モデル記憶部９に記憶されている音響モデルを適応化（更新）し、さらに適応化された音響モデルを用いて認識処理を繰り返し行なうようにした点である。
【００３０】
また、従来技術と異なり、比較的大きな重み値Ｗｂｉａｓ（１０００程度）と重み値Ｗｌｍ（１６程度）を用いて認識処理を行なう点も、特徴的である。字幕と発話の一致率が低く、自由発話の比率が高い番組では、上記のような重み値を用いることが、認識精度の向上を図りながらより多くの学習データを得られることにつながる。
これは、実験結果からも得られた適切な重み値である。具体的には、本願発明者らが、ＮＨＫ（日本放送協会）の実際に番組の音声および字幕テキストを用いて行なった実験では、Ｗｂｉａｓ＜５０００の領域において、Ｗｌｍの変化による単語誤認識率（ＷＥＲ）の差が小さい。また、Ｗｌｍ＜１８の領域において、Ｗｂｉａｓの変化による単語誤認識率の差が小さい。そして、Ｗｂｉａｓ＜５０００且つＷｌｍ＜１８の場合に、単語誤認識率がそれほど上がらずに、且つ得られる学習データの量が多くなる。そして、Ｗｂｉａｓが１０００程度でＷｌｍが１６程度のときに、特に、単語誤認識率がそれほど上がらずに、且つ得られる学習データの量が多くなる。
【００３１】
次に、言語モデルについて説明する。
図２は、バイアス化言語モデル記憶部６によって記憶され認識処理部１０によって認識処理の際に使用される言語モデルのデータの構成を示す概略図である。
図２（ａ）は、形態素単体での出現確率を表わすテーブルを示す。このテーブルは、表形式のデータであり、形態素と出現確率の項目（列）を有する。テーブルの行は、形態素の種類ごとに存在する。各形態素と、その形態素の出現確率とが関連付けられてこのテーブルに保持される。
図２（ｂ）は、形態素と形態素の接続確率を表わすテーブルである。このテーブルは、表形式のデータであり、形態素１と形態素２と接続確率の項目（列）を有する。テーブルの行は、形態素１と形態素２の組み合わせごとに存在する。各行は、形態素１が出現したときその形態素１に直ちに続いて形態素２が出現する（接続する）確率である接続確率の情報を表わしている。
【００３２】
次に、音響モデルについて説明する。
図３は、音響モデル記憶部９によって記憶され認識処理部１０によって認識処理の際に使用される音響モデルのデータの構成を示す概略図である。図示するように、音響モデルは、音素と、その音素が発話されるときの音響的特徴量とを関連付けて保持するデータである。音響的特徴量としては、例えば、１０ミリ秒ごとの間隔でそれぞれ開始する２５ミリ秒のフレーム内の周波数パワー分布を基にしたＭＦＣＣ（メル周波数ケプストラム係数，Mel-Frequency Cepstrum Coefficient）や、ＰＬＰ（Perceptual Linear Predictive）などを用いる。
【００３３】
次に、認識処理部１０による認識結果である認識仮説について説明する。
図４は、認識処理部１０によって出力され認識仮説記憶部１１によって記憶される認識仮説のデータ構成およびデータ例を示す概略図である。認識仮説は、論理的には、言語的単位（形態素）をアークとするラティス構造（半順序（partial order）構造）のグラフで表現される。
【００３４】
図４（ａ）は、表形式で表現される認識仮説のデータ構成を示す。図示するように、表形式で表わした認識仮説は、各行がラティス上の各アークに対応し、始点ノード、終点ノード、言語的単位、信頼度の各項目（列）を有する。始点ノードおよび終点ノードは、ラティス上のノードに便宜的に与えられたノード識別情報を値として持つ。言語的単位は、そのアークに対応する形態素である。信頼度は、認識結果におけるそのアークの信頼度（言語モデルおよび音響モデルを基にした統計的処理で得られる認識結果の信頼度）を表わす数値で表わされるものであり、その数値の範囲は０以上１以下である）。図示しているデータ例は、例えば１行目のデータに相当するアークの始点ノードは「１」であり、終点ノードは「２」であり、言語的単位は「Ｆ」である。また例えば２行目のデータに相当するアークの始点ノードは「１」であり、終点ノードは「２」であり、言語的単位は「Ｈ」である。３行目以下のデータも同様である。同図では信頼度数値の記載を省略している。
【００３５】
図４（ｂ）は、図４（ａ）の表形式のデータが表現するラティスを絵的に表現した概略図である。同図における丸印がそれぞれノードに相当し、アークはノード間を結ぶ矢印付きの線で表わされている。また、各アークに対応する言語的要素が付記されている。例えば一番左のノード（ノード「１」）を始点とするアークは３本あり、それらはそれぞれ、言語的要素が「Ｆ」で終点がノード「２」（左から二番目のノード）、言語的要素が「Ｈ」で終点がノード「２」、言語的要素が「Ｍ」で終点がノード「３」（左から三番目のノード）である。
【００３６】
次に、音響モデル学習装置１００の動作および処理手順について説明する。
図５は、音響モデル学習装置１００全体の処理手順を示すフローチャートである。
図示するように、ステップＳ０１において、まず形態素解析処理部２が、字幕テキスト記憶部１から読み出した字幕テキストの形態素解析処理を行なう。形態素解析処理は、既存の技術により可能である。
【００３７】
次に、ステップＳ０２において重み値Ｗｂｉａｓを用いて形態素解析処理結果に重み付けをするとともに、ステップＳ０３において重み付けされた形態素解析処理結果とベースラインコーパスとを合成する処理を行なう。具体的には、合成処理部５は、形態素解析処理部２による処理結果を統計処理し、各形態素の出現確率を算出するとともに、２つの連続する形態素間の接続確率を算出し、図２（ａ）に示した形式の出現確率データおよび図２（ｂ）に示した形式の接続確率データを得る。また、合成処理部５は、ベースラインコーパス記憶部４に記憶されているベースラインコーパスを基に、必要に応じて同様の統計処理を行い、図２（ａ）に示した形式の出現確率データおよび図２（ｂ）に示した形式の接続確率データを得る。これらのうち形態素解析処理部２による字幕テキスト１の処理結果には重み付け処理部３が重み値Ｗｂｉａｓを行い、合成処理部５が両者を合成するための確率計算を行ない、その結果としてバイアス化言語モデルが算出され、これがバイアス化言語モデル記憶部６に書き込まれる。
【００３８】
次に、ステップＳ０４において重み値Ｗｌｍを用いてバイアス化言語モデル記憶部６から読み出される言語モデルに重み付けするとともに、ステップ０５において認識処理部１０は、重み付けされたバイアス化言語モデルと音響モデル記憶部９から読み出した音響モデルを用いて、番組音声記憶部８に記憶されている番組音声の認識処理を行い、その結果として生成される認識仮説を認識仮説記憶部に書き込む。なお、生成される認識仮説は文字列のデータであり、この文字列を形態素ごとに区切る情報を伴っている場合もある。ここで用いられる認識処理自体は、既存技術である。
【００３９】
次に、ステップＳ０６において、アライメント処理部１２は、形態素解析処理された字幕テキストと認識処理の結果得られた認識仮説とのアライメント処理を行なう。このアライメント処理は、両データが単語単位で一致する部分を探索することによって行ない、或いは両データ中の複数の単語が連続して一致する区間を探索することによって行なう。アライメント処理の結果、字幕テキストの中の区間と番組音声の中の区間がデータ的に対応付けられる。
【００４０】
次に、ステップＳ０７において、選択処理部１３は、一致区間および信頼区間を選択する処理を行なう。具体的には、選択処理部１３は、まずアライメント処理部１２によるアライメント結果を用いて、元の字幕テキストと認識仮説とが３単語以上連続して一致している一致区間を選択し、その一致区間の音声（元の番組音声の中の当該音声区間）とそれに対応する単語列を関連付けた学習データを、学習データ記憶部１４に書き込む。
選択処理部１３は、次に、一致区間を選択した結果に基づいて、前述したラティス構造の認識仮説の枝刈りを行い、枝刈り後のラティスに付随した信頼度データを用いて、一致区間ではないが認識結果を充分に信頼できる区間を、信頼区間として選択する。そして、選択された信頼区間の音声とそれに対応する単語列を関連付けた学習データを、学習データ記憶部１４に書き込む。
なお、選択処理部１３による認識仮説の枝刈りの処理については後で別の図面を参照しながら詳述する。
【００４１】
次に、ステップＳ０８において、繰り返し処理を終了するか否かを判定する。この判定は、例えば、認識結果の精度が十分かどうかにより行なう。より具体的には、この判定は（ａ）ステップＳ０５〜Ｓ０９のループを繰り返した回数（例えば、この回数を３〜４回として良い場合もある）、（ｂ）番組音声全体のうちの選択処理部１３によって選択された区間の比率、（ｃ）番組音声全体のうちの選択処理部１３によって選択された区間の前回からの増分比率、などのいずれかによって行なう。
判定の結果、繰り返し処理を終了しない場合（ステップＳ０８：ＮＯ）には、次のステップＳ０９に進む。
判定の結果、繰り返しを終了する場合（ステップＳ０８：ＹＥＳ）には、このフローチャート全体の処理を終了する。このとき、学習データ記憶部１４に累積的に書き込まれたデータが、本装置による学習処理の結果として得られた音響モデルである。
【００４２】
ステップＳ０９においては、音響モデル適応化部１５は、得られた学習データを用いて、音響モデル記憶部９に記憶されている音響モデルを適応化する（更新する）処理を行なう。
【００４３】
上記のように、音響モデル学習装置１００は、選択処理部１３によって出力される学習データを用いて、音響モデル適応化部１５が、音響モデル記憶部９に記憶されている音響モデルを適応化し、さらに適応化された音響モデルを用いて認識処理を繰り返し行なうようにしている。
【００４４】
次に、上述した選択処理部１３による認識仮説の枝刈りの処理についてより詳細に説明する。
図６は、選択処理部１３によって枝刈りされた後の認識仮説のデータ例を示す概略図である。そして、図４に示したデータが、選択処理部１３によって枝刈りされる前の認識仮説のデータである。
前述の通り、選択処理部１３は、図４に示した認識仮説のデータと字幕テキストのデータとの一致区間を選択する。ここでは選択処理部１３は１形態素以上連続して両者が一致する区間を一致区間として選択するものとする。その結果、形態素Ｂ（始点ノードが「２」で終点ノードが「３」）と形態素Ｃ（始点ノードが「３」で終点ノードが「４」）と形態素Ｅ（始点ノードが「５」で終点ノードが「６」）が一致区間として選択される。
【００４５】
その後、選択処理部１３は、上で選択された一致区間の時間を含み且つ字幕テキストのデータとは一致しない認識仮説を枝刈りする。具体的には、図４に示した形態素Ｂの区間の時間を含み且つ形態素Ｂとは一致しない認識仮説（言い換えれば、形態素Ｂと対立する認識仮説）である形態素ＩとＭとＮは、選択処理部１３による枝刈りの対象となる。同様に、一致区間として選択された形態素Ｃと対立する認識仮説である形態素ＪとＮとＯは、選択処理部１３による枝刈りの対象となる。同様に、一致区間として選択された形態素Ｅと対立する認識仮説である形態素ＬとＰは、選択処理部１３による枝刈りの対象となる。
つまり、図４に示すラティスのうち、形態素ＩとＪとＬとＭとＮとＯとＰのそれぞれのアークが選択処理部１３によって枝刈りされる。その枝刈りの結果として残るのは、形態素ＢとＣとＥとＦとＧとＨとＫのそれぞれのアークであり、これらのアークに対応するデータが、図６に示すデータである。
【００４６】
図６（ａ）は、そのようなラティス構造のグラフを表わす表形式のデータであり、この表は、前記の形態素ＢとＣとＥとＦとＧとＨとＫに対応する行のデータを有している。またこの表において、形態素ＢとＣとＥは、それぞれ一致区間に含まれていたものであるため、その結果として、選択処理部１３は、これらの形態素に対応する信頼度がいずれも最高の１となるように認識仮説のデータを更新している。また、その他の、形態素ＦとＨとＫとＧのアークについては、選択処理部１３は、枝刈り後の事後確率を算出し、その算出結果をそれぞれの信頼度データとして認識仮説のデータを更新する。図示する例では、形態素Ｆの信頼度は０．１、形態素Ｈの信頼度は０．９、形態素Ｋの信頼度は０．２、形態素Ｇの信頼度は０．８である。
図６（ｂ）は、図６（ａ）の表形式のデータが表現するラティスを絵的に示した概略図である。
【００４７】
なお、選択処理部１３が事後確率を算出する方法は次の通りである。選択処理部１３は、動的計画法の一種であるForward-Backward アルゴリズムを用いることで、デコーダー（認識処理部１０）の出力から得られる形態素ｍのスコアＬ（ｍ）を基に、事後確率を算出する。ここで、Ｌ（ｍ）としては、音響モデルの尤度、言語モデルの尤度、あるいはそれらの和を用いる。まず、形態素ｍの前向き確率α（ｍ）と後ろ向き確率β（ｍ）とを以下の式（１）〜（５）の通り定義する。
【００４８】
【数１】
0004949310.tif 000002
【００４９】
【数２】
0004949310.tif 000003
【００５０】
【数３】
0004949310.tif 000004
【００５１】
【数４】
0004949310.tif 000005
【００５２】
【数５】
0004949310.tif 000006
【００５３】
ここでは、事後確率を計算するため、図４（ｂ）などに示したラティスの両端に、それぞれ、始端単語と終端単語に相当するアークを追加する。始端単語はその図のラティスの左端に追加され、「ｂ」と表わされる。終端単語はその図のラティスの右端に追加され、「ｅ」と表わされる。ここで前向きとは、始端から終端の方向であり、図のラティスでは左から右の方向である。また後ろ向きとは、終端から始端の方向であり、図のラティスでは右から左の方向である。また、ＬＥＦＴ（ｍ）は、形態素ｍに左から（つまり始端側から）接続する形態素の集合である。また、ＲＩＧＨＴ（ｍ）は、形態素ｍに右から（つまり終端側から）接続する形態素の集合である。
【００５４】
式（１）に表わすように、始端単語（ｂ）の前向き確率は１．０である。また、式（２）に表わすように、終端単語（ｅ）の後ろ向き確率は１．０である。
式（３）に表わすように、形態素ｍの前向き確率は、形態素ｍに左から接続する各形態素ｍ´の前向き確率α（ｍ´）に当該形態素ｍのスコアＬ（ｍ）を乗じた値の、左から接続する全ての形態素についての総和である。このように前向き確率は再帰的な定義となっているが、始端単語から前向きに順次計算していくことにより、ラティス中の全ての形態素の前向き確率を算出できる。
式（４）に表わすように、形態素ｍの後ろ向き確率は、形態素ｍに右から接続する各形態素ｍ´の後ろ向き確率β（ｍ´）に当該形態素ｍのスコアＬ（ｍ）を乗じた値の、右から接続する全ての形態素についての総和である。このように後ろ向き確率は再帰的な定義となっているが、終端単語から後ろ向きに順次計算していくことにより、ラティス中の全ての形態素の後ろ向き確率を算出できる。
式（５）に表わすように、終端単語の前向き確率および始端単語の後ろ向き確率をＺとする。
【００５５】
そして、形態素ｍの事後確率γ（ｍ）は、α、β、Ｚを用いて、式（６）により算出することができる。
【００５６】
【数６】
0004949310.tif 000007
【００５７】
選択処理部１３がこのように、一致区間だけでなく信頼区間を選択することの意味は次の通りである。
元々、字幕テキストは、音声に忠実に一致することのみを目的として作成されるとは限らず、例えば、読みやすさや、意味の理解のしやすさや、所定時間（番組の音声で話者が話している時間）内に人が読むことのできるテキストの長さなどを考慮して編集されている。よって、音声と字幕テキストとは本来的に一致しない場合がある。たとえ、そのように音声と字幕テキストとが一致しない場合であっても、認識結果仮説が正しい認識結果である場合もある。従って、所定数以上の形態素の信頼度データが連続して閾値を超えるような区間がある場合には、たとえ字幕テキストと一致していなくても、その区間の認識結果仮説は正しい認識結果であると推定できる。よって、そのような区間を信頼区間として選択し、この区間の認識結果から学習データを獲得することは、得られる学習データの増加につながる。
【００５８】
また、例えば、図４（ｂ）に示した形態素Ｍのパスの尤度が比較的高いことによって、形態素Ｈの信頼度が相対的に低くなってしまっていた場合、形態素Ｂが一致区間として選択されることによって、形態素Ｂと対立する形態素の一つであるＭが枝刈りされ、その結果として計算される形態素Ｈの信頼度データが比較的高い値となる場合がある。そして、それによって形態素Ｈの信頼度が閾値を超えることになる場合、この形態素Ｈを含む区間が信頼区間として選択される場合もあり得る。つまりこのように、選択処理部１３がある認識仮説を枝刈りすることにより、枝刈りされた認識仮説と時間区間を共有していた他の認識仮説が浮かび上がり、その認識仮説を含む区間が信頼区間として選択される場合がある。このことは、信頼度の高い学習データをより多く得られる結果につながる。
【００５９】
図７は、音響モデル学習装置１００による音響モデルの学習の概略を補足的に説明するための図である。図７（ａ）は一致区間に基づく学習データの獲得を示し、図７（ｂ）は信頼区間に基づく学習データの獲得を示す。
【００６０】
図７（ａ）において、形態素解析結果は字幕テキストを形態素解析して得られたデータであり、このデータは形態素（単語）の一次元的な列である（図中のそれぞれの四角が形態素に相当）。また、認識結果は、認識処理部１０による音声認識処理の結果得られる認識仮説のラティスから選択された最尤パスに相当するデータであり、このデータもまた形態素の一次元的な列である（図中のそれぞれの四角が形態素に相当）。そして、３単語以上連続して一致する区間が、選択処理部１３によって選択される一致区間であり、図においてはこの区間をハッチングで表わしている。また、選択された選択区間のテキストと、当該区間の音声データおよびそれに対応する音響特徴量のデータとを関連付けたものが、得られる学習データである。
【００６１】
図７（ｂ）において、認識結果は、認識処理部１０による音声認識処理の結果得られる認識仮説のラティスから、選択処理部１３によって前述した枝刈りの処理が行なわれた後のラティスに含まれるパスの一つに相当するデータである。つまり、このデータは形態素の列であり、図中のそれぞれの四角が形態素に相当し、各々が信頼度データを有している。そして、３形態素以上連続して信頼度データが所定の閾値以上となる区間が、選択処理部１３によって選択される信頼区間であり、図においてはこの区間をハッチングで表わしている。また、選択された信頼区間のテキストと、当該区間の音声データおよびそれに対応する音響特徴量のデータとを関連付けたものが、得られる学習データである。
【００６２】
本実施形態では、認識処理の結果である学習データを用いて、音響モデルの適応化を行なっている。そして、適応化された音響モデルを用いて再度認識を行い、学習データを生成する。この音響モデルの適応化と、適応化された音響モデルを用いた認識処理を繰り返すことにより、学習データの正確性が増し、より多くの量の学習データを効率的に得ることができる。
【００６３】
［第２の実施の形態］
次に、本発明の第２の実施形態について説明する。
図８は、同実施形態による音響モデル学習装置１０１の機能構成を示すブロック図である。図示するように、音響モデル学習装置１０１は、内部に、音響モデル学習装置（番組Ａ用）１０１Ａと音響モデル学習装置（番組Ｂ用）１０１Ｂと音響モデル学習装置（番組Ｃ用）１０１Ｃと音響モデル学習装置（番組Ｄ用）１０１Ｄとを含んで構成されている。これら音響モデル学習装置１０１Ａ〜１０１Ｄの各々は、それぞれ単一の番組用のものである。
【００６４】
ここで、番組とは、典型的にはテレビやラジオの放送番組であるが、公衆によって直接受信されることを目的とする無線通信の送信であるところの「放送」の番組に限らず、有線通信によるテレビ放送やラジオ放送の番組、インターネットを介してパケットデータとして配信される動画（音声を含む）による放送や音声放送の番組、通信衛星から多数の受信者に向けて送信される番組、視聴者或いは聴取者のリクエストに応じてオン・デマンド的に配信される番組など、音声を含むコンテンツを含んでいる。
なお、音響モデル学習装置１０１が内部に備える番組個別用の音響モデル学習装置の数は、４に限定されず、任意の自然数として構成しても良い。
【００６５】
音響モデル学習装置１０１Ａ〜１０１Ｄの各々は、図示するように、第１の実施形態で説明した音響モデル学習装置１００と同様の構成・機能を有し、同様の動作をする。
本実施形態においても、選択処理部１３は、アライメント処理部１２によってアライメントされた両データの一致区間を選択し、選択した一致区間に含まれる音素と当該音素に対応する音響特徴量との組を学習データとして出力する。また、選択処理部１３は、選択された一致区間を含む認識仮説のうち、当該区間において字幕テキストデータとは一致しない認識仮説を枝刈りし、枝刈り後の認識仮説とそれに付随する信頼度データを基に、信頼度データが所定の閾値以上の区間を信頼区間として選択し、選択した信頼区間に含まれる音素と当該音素に対応する音響特徴量との組を学習データとして出力する。
【００６６】
本実施形態のポイントは、音響モデル学習装置１０１Ａ〜１０１Ｄの各々が専用の番組音声記憶部８と音響モデル記憶部９を備え、個々の音響モデル記憶部９に各々専用の音響モデルを記憶し、この各々専用の音響モデルを用いて認識処理部１０が認識処理を行い、その結果得られる学習データが各々専用の学習データ記憶部１４に書き込まれ、この学習データが蓄積されて出力されるとともに、この得られた学習データを用いて音響モデル適応化部１５が当該番組用の音響モデル記憶部９を適応化する点であり、そのように番組ごとの音響モデルを用いて番組ごとの学習データを得る処理を繰り返す点である。
言い換えれば、音響モデル記憶部９は音響モデルを番組ごとに記憶するものであり、認識処理部１０は番組の音声を当該番組に対応した音響モデルを用いて音声の認識処理を行なうものであり、選択処理部１３は番組ごとに学習データを出力し、音響モデル適応化部１５は、当該番組用の音響モデルを更新する。
【００６７】
なお、音響モデル学習装置１０１Ａ〜１０１Ｄは、そのすべての構成要素をそれぞれが専用に備えるようにしても良いし、一部の構成要素を共用にしても良い。例えば、認識処理部１０とアライメント処理部１２と選択処理部１３と音響モデル適応化部１５の処理機能自体は共通のハードウェアを用いて、音響モデル記憶部９に記憶される音響データと認識仮説記憶部１１に記憶される認識仮説と学習データ記憶部１４に記憶される学習データとが、それぞれの番組専用の領域に分けて管理されるように装置を構成しても良い。
【００６８】
本実施形態の利点は次の通りである。例えば、対談形式のテレビ放送番組の音声を認識させて学習データを得ることを考えた場合、そしてその番組の形式がレギュラー話者（毎回出演する話者）とゲスト話者（特定回のみ出演する話者）の２人による複数回にわたるシリーズ番組を対象とした場合（ここでは放送の各回が番組Ａ〜Ｄに相当）、異なるゲスト話者の学習データが重要であるならば、番組回ごとの音響モデルの適応化処理を繰り返して行なったほうが、複数回に共通の音響モデルを適応化処理するよりも、話者適応の効果が得られると言える。この場合には、各回から得られた学習データを集めて最終的な音響モデルの学習データを得る。
【００６９】
さらに、上記のような対談形式の番組に限らず、放送番組の中には、限られた数人の話者しかいない番組や、特定の話者が継続してレギュラー出演している番組などがある。本実施形態では、音響モデルの適応化を番組ごとに行なうため、他の番組の学習データが混ざらず、その結果として高い認識精度が得られる。
【００７０】
［第３の実施の形態］
次に、本発明の第３の実施形態について説明する。上記の実施形態では、認識処理部１０による認識処理の際の言語モデルと音響モデルそれぞれの重みに影響する重み値Ｗｌｍとして固定的な値を用いていた。本実施形態では、音響モデルの適応度合いに応じて、この重み値Ｗｌｍを変化させる。
【００７１】
なお、本実施形態においても、選択処理部１３は、アライメント処理部１２によってアライメントされた両データの一致区間を選択し、選択した一致区間に含まれる音素と当該音素に対応する音響特徴量との組を学習データとして出力する。また、選択処理部１３は、選択された一致区間を含む認識仮説のうち、当該区間において字幕テキストデータとは一致しない認識仮説を枝刈りし、枝刈り後の認識仮説とそれに付随する信頼度データを基に、信頼度データが所定の閾値以上の区間を信頼区間として選択し、選択した信頼区間に含まれる音素と当該音素に対応する音響特徴量との組を学習データとして出力する。
【００７２】
図９は、本実施形態による音響モデル学習装置の処理手順を示すフローチャートである。本フローチャートのステップＳ３１からＳ３９までは、図５に示したＳ０１からＳ０９までに対応し、同様の処理手順であるのでここでは説明を省略する。そして、本フローチャートのステップＳ３９の処理に続いて、ステップＳ４０では、バイアス化言語モデルの重み付け係数を更新する。一例としては、ステップＳ３４からＳ４０までの繰り返し処理の第ｎ回目（ｎ＝１，２，３、・・・）における重み値（この重み値はｎの関数であるためＷｌｍ（ｎ）と表わす）を、
Ｗｌｍ（ｎ）＝１３−０．５ｎ  ・・・  （７）
とする。つまり、上の式（７）に従えば、１回目の認識処理に用いる重み値Ｗｌｍ（１）は１２．５であり、２回目の認識処理に用いる重み値Ｗｌｍ（２）は１２．０であり、３回目の認識処理に用いる重み値Ｗｌｍ（３）は１１．５であり、以下同様に、前回の認識処理のときよりも小さい重み値Ｗｌｍ（ｎ）を用いる。これは、認識処理において、前回の認識処理のときよりも言語モデルによる制約の影響をより小さくすることを意味する。
ステップＳ４０の処理が終わると、ステップＳ３４の処理に戻って新たな重み付け係数Ｗｌｍによる言語モデルの重み付けを行い、以下、ステップＳ３５以降の処理に続く。
【００７３】
ここでは言語モデルに対する重み値Ｗｌｍを用いて認識処理を行なっているが、これは、言語モデルと音響モデルの重みの比率をＷｌｍ：１の比としていることになる。そしてこれは、言語モデルの重み値を１に固定して音響モデルの重み値Ｗａｍを用いて（つまり言語モデルと音響モデルの重みの比率を１：Ｗａｍの比として）も相対的に同じことであり、この場合、本実施形態では認識処理の繰り返しごとに音響モデルの重み値Ｗａｍが徐々に大きくなるように変化させても、同様に、前回の認識処理のときよりも言語モデルによる制約の影響をより小さくすることを意味する。また、重み値ＷｌｍとＷａｍとを用いて言語モデルと音響モデルの重みの比率をＷｌｍ：Ｗａｍの比としても同様であり、本実施形態では、認識処理において前回の認識処理のときよりも言語モデルによる制約の影響がより小さくなるようにする。
【００７４】
また、本実施例の変形例として、重み値Ｗｌｍを固定したままで、当該番組音声に対応する字幕テキストのための重み値Ｗｂｉａｓを認識処理の繰り返しに伴って徐々に小さくしていっても、今回認識処理においては前回の認識処理のときよりも言語モデルが相対的に音響モデルよりもより小さい重みで用いられるという同様の作用が得られる。
さらにまた、本実施例の変形例として、重み値Ｗｌｍと重み値Ｗｂｉａｓの両方を認識処理の繰り返しに伴って徐々に小さくしていっても、今回認識処理においては前回の認識処理のときよりも言語モデルが相対的に音響モデルよりもより小さい重みで用いられるという同様の作用が得られる。
【００７５】
言い換えれば、本実施形態あるいはその変形例においては、認識処理部１０は、バイアス化言語モデル記憶部６から読み出した言語モデルと音響モデル記憶部９から読み出した前記音響モデルとを所定の重み比率値で重み付けして用いて、認識処理を行なうものである。また、認識処理部１０は、音響モデル適応化部１５によって更新された音響モデルを用いて再度認識処理を行なうものであり、このとき使用する前記重み比率値は、前回の認識処理のときよりも言語モデルがより小さい重みで用いられる値としている。
【００７６】
これにより、音響モデルの適応度合いに応じて言語的な制約を減じることとなり、これによってより一層、音響モデルの学習の精度が向上する。
さらに詳細に述べると、第１の実施形態では、認識精度を高めるため、従来技術による方法よりも強い言語的な制約を用いた認識処理を行なうようにしている。つまり、言語モデルの重み付けの度合いを比較的大きくしている。しかしながら、音響モデルを適応化する処理を繰り返すことにより、比較的小さな言語的な制約で認識精度を確保できるようになる。従って、本実施形態では、繰り返し処理による音響モデルの精度向上に応じて言語的制約を減ずるようにしている。この言語的制約の調整により、字幕と発話の不一致区間の検出制度の向上が可能となる。
【００７７】
［第４の実施の形態］
次に、本発明の第４の実施形態について説明する。本実施形態では、話者の交代あるいは話者の属性の交代を検出し、話者に依存した音響モデル或いは話者の属性に依存した音響モデルを用いて認識処理を行なう点が特徴的である。
【００７８】
図１０は、本実施形態による音響モデル学習装置の機能構成を示すブロック図である。図示する構成において、音響モデル学習装置１０２が有する字幕テキスト記憶部１と形態素解析処理部２と重み付け処理部３とベースラインコーパス処理部４と合成処理部５とバイアス化言語モデル記憶部６と重み付け処理部７と番組音声記憶部８は、前述した実施形態におけるそれらと同様のものである。さらに、本実施形態の音響モデル学習装置１０２は、その特有の構成として、音響モデル記憶部９Ｆおよび９Ｍと、認識処理部１０ＭＦと、認識仮説記憶部１１Ｆおよび１１Ｍと、アライメント処理部１２Ｆおよび１２Ｍと、選択処理部１３Ｆおよび１３Ｍと、学習データ記憶部１４Ｆおよび１４Ｍと、音響モデル適応化部１５Ｆおよび１５Ｍと、女声発話モデル記憶部１６Ｆ（発話モデル記憶部、話者属性別発話モデル記憶手段）と、男声発話モデル記憶部１６Ｍ（発話モデル記憶部、話者属性別発話モデル記憶手段）と、発話モデル適応化部１７Ｆおよび１７Ｍと、音声区間切り出し部１８（話者属性推定手段）とを含んで構成される。
【００７９】
女声発話モデル記憶部１６Ｆは、女性の声の統計的な音響特徴量を含む女声発話モデルを記憶している。また、男声発話モデル記憶部１６Ｍは、男性の声の統計的な音響特徴量を含む男声発話モデルを記憶している。つまり、女声発話モデル記憶部１６Ｆと男声発話モデル記憶部１６Ｍは、話者ごと又は話者属性ごとの統計量を表わす話者属性別発話モデルを記憶するための話者属性別発話モデル記憶手段としても機能する。なお、女声および男声の統計的音響特徴量としてはＭＦＣＣを用いている。この統計的音響特徴量としては、他にも、ＰＬＰやＨＭＭ（隠れマルコフモデル）やホルマント周波数の分布などを用いることができる。
音声区間切り出し部１８は、女声発話モデル記憶部１６Ｆから読み出した女声発話モデルと男声発話モデル記憶部１６Ｍから読み出した男声発話モデルとを用いて、番組音声の中の、女声で発話されている部分と、男声で発話されている部分と、発話以外の部分（番組中の、例えば無音部分や、背景雑音のみの部分や、音楽の部分や、効果音の部分など）とを区別する。つまり音声区間切り出し部１８は、入力される音声がヒトによる発話であるか否かを検出するとともに、発話である場合にはその話者属性（ここでは、話者の性別）を検知する。つまり、音声区間切り出し部１８は、話者属性別発話モデルを用いて音声の中の所定音声区間における話者又は話者属性を推定する話者属性推定手段としても機能する。そして、音声区間切り出し部１８は、女声による音声区間と男声による音声区間とをそれぞれ切り出した形で認識処理部１０ＭＦに渡す。
【００８０】
また、音響モデル学習装置１０２は、女声用と男声用の音響モデルを区別して管理し、記憶している。具体的には、音響モデル記憶部９Ｆには女声用の音響モデルが記憶され、音響モデル記憶部９Ｍには男声用の音響モデルが記憶されている。つまり、音響モデル記憶部９Ｆと９Ｍは、話者ごとまたは話者属性ごとに区別して音響モデルを記憶している。
【００８１】
そして、認識処理部１０ＭＦは、音声区間切り出し部１８から渡された女声音声区間については音響モデル記憶部９Ｆから読み出した女声用音響モデルを用いて、また音声区間切り出し部１８から渡された男声音声区間については音響モデル記憶部９Ｍから読み出した男声用音響モデルを用いて、それぞれ認識処理を行なう。つまり、認識処理部１０ＭＦは、音声区間切り出し部１８によって切り出された音声区間の音声を認識処理する。またつまり、認識処理部１０ＭＦは、話者属性推定手段による推定結果に応じて、該当する話者用または話者属性用の音響モデルを用いて前記音声の認識処理を行なう。そして、認識処理部１０ＭＦは、女声音声区間から得られた認識結果仮説を認識仮説記憶部１１Ｆに書き込み、男声音声区間から得られた認識結果仮説を認識仮説記憶部１１Ｍに書き込む。
【００８２】
なお、男女別の音声の統計量（Male speech model, Female speech model）を用いて音声区間の検出と男女の話者交代を検出し、性別に依存する音響モデルを用いて認識を行なうには、Toru IMAI, Shoei SATO, Shinichi HOMMA, Kazuo ONOE, Akio KOBAYASHI「Online Speech Detection and Dual-Gender Speech Recognition for Captioning Broadcast News」（IEICE Transactions on Information and Systems 2007 E90-D(8):1286-1291）に記載された方法を利用可能である。
【００８３】
アライメント処理部１２Ｆは、認識仮説記憶部１１Ｆから読み出した女声音声区間の認識仮説のみを用いて、前述した実施形態と同様のアライメント処理を行なう。選択処理部１３Ｆは、アライメント処理部１２Ｆによる処理結果に基づき、字幕テキストと認識仮説とが３語以上連続して一致する箇所を一致区間として選択し、一致区間から得られる学習データを学習データ記憶部１４Ｆに書き込む。また、選択処理部１３Ｆは、女声音声区間から選択された一致区間を含む認識仮説のうち、当該区間において字幕テキストデータとは一致しない認識仮説を枝刈りし、枝刈り後の認識仮説とそれに付随する信頼度データを基に、信頼度データが所定の閾値以上の区間を女声音声区間中の信頼区間として選択し、信頼区間から得られる学習データを学習データ記憶部１４Ｆに書き込む。
これと同様に、アライメント処理部１２Ｍは、認識仮説記憶部１１Ｍから読み出した男声音声区間の認識仮説のみを用いて、前述した実施形態と同様のアライメント処理を行なう。選択処理部１３Ｍは、アライメント処理部１２Ｍによる処理結果に基づき、字幕テキストと認識仮説とが３語以上連続して一致する箇所を選択し、選択結果を学習データ記憶部１４Ｍに書き込む。また、選択処理部１３Ｍは、男声音声区間から選択された一致区間を含む認識仮説のうち、当該区間において字幕テキストデータとは一致しない認識仮説を枝刈りし、枝刈り後の認識仮説とそれに付随する信頼度データを基に、信頼度データが所定の閾値以上の区間を男声音声区間中の信頼区間として選択し、信頼区間から得られる学習データを学習データ記憶部１４Ｍに書き込む。
このように、音声区間切り出し部１８によって切り出された女声音声区間および男声音声区間それぞれに基づいて、女性用および男性用のそれぞれ専用の学習データが得られる。
【００８４】
音響モデル適応化部１５Ｆは、学習データ記憶部１４Ｆから読み出した女声用学習データのみを用いて、音響モデル記憶部９Ｆに記憶されている女声用音響モデルを適応化（更新）する。また、音響モデル適応化部１５Ｍは、学習データ記憶部１４Ｍから読み出した男声用学習データのみを用いて、音響モデル記憶部９Ｍに記憶されている男声用音響モデルを適応化（更新）する。つまり、音響モデル適応化部１５Ｆと１５Ｍは、話者属性推定手段による推定結果に対応する学習データを用いて、当該推定結果に対応する話者ごとまたは話者属性ごとの音響モデルを更新するものである。
【００８５】
発話モデル適応化部１７Ｆは、学習データ記憶部１４Ｆから読み出した女声用学習データのみを用いて、女声発話モデル記憶部１６Ｆに記憶されている女声発話モデルを適応化（更新）する。また、発話モデル適応化部１７Ｍは、学習データ記憶部１４Ｍから読み出した男声用学習データのみを用いて、男声発話モデル記憶部１６Ｆに記憶されている男声発話モデルを適応化（更新）する。つまり、発話モデル適応化部１７Ｆと１７Ｍは、話者属性推定手段による推定結果に対応する学習データを用いて、話者属性別発話モデル記憶手段に記憶された、当該推定結果に対応する話者ごとまたは話者属性ごとの話者属性別発話モデルを更新するものである。
【００８６】
また、音響モデル学習装置１０２は、上記の一連の認識処理、アライメント処理、選択処理、そして音響モデル適応化処理と発話モデル適応化処理を、繰り返し行なう。
【００８７】
上記のような構成および作用により、入力音声の統計的音響特徴量（女声発話モデルおよび男声発話モデル）を利用して高精度な音声区間の切り出しを行なう方法を併用する場合において、得られた学習データを用いて切り出しに使用する上記の統計量も適応化することを繰り返すことができる。これにより、例えば雑音区間を発話区間の音声として認識してしまうような音声区間の切り出し誤りが減少し、学習データの質のさらなる向上が可能となる。
また、話者属性（性別）に依存した音響モデルを使用して認識処理を行なうことにより、話者属性非依存の音響モデルを用いた場合に比べ、高い認識精度を得ることができ、より多くの学習データを作成することができる。
また、入力音声の統計量を利用して話者或いは話者属性の推定手段（音声区間切り出し部１８）を備えた音声アルゴリズムを併用する場合に、得られた学習データを用いて話者推定用の統計量（女声発話モデルおよび男声発話モデル）を適応化するとともに、話者（或いは話者属性）ごとに音響モデルを設けて（音響モデル記憶部９Ｆおよび９Ｍ）、これらをそれぞれ適応化しているため、さらに、認識精度の向上が図れる。
【００８８】
なお、本実施形態の更なる変形例として、第２の実施形態で説明した番組ごとの音響モデルを管理する構成（このとき、適宜、発話モデルも番組ごとに管理するようにしても良い）や、第３の実施形態で説明した処理の繰り返しに伴って言語モデルの重み付けを徐々に変化させる構成を併用しても良い。
【００８９】
また、性別ごとに音声区間切り出しのための発話モデルおよび認識処理のための音響モデルを設ける代わりに、或いは性別に加えて、他の話者属性ごと或いは話者個人ごとに、発話モデルや音響モデルを設けて、その話者属性ごと或いは話者個人ごとの音声区間切り出し処理や認識処理を行なうようにしても良い。「他の話者属性」とは、例えば、年齢層などである。このとき、話者の年齢層を例えば、少年期（５歳から１４歳）、青年期（１５歳から２４歳）、壮年期（２５歳から４４歳）、中年期（４５歳から６４歳）、高年期（６５歳以上）などに分類する。
【００９０】
また、発話環境ごとに、発話モデルや音響モデルを設けるようにしても良い。ここで「発話環境ごと」とは、例えば、話者が原稿を読み上げている形式の場合、対談あるいは座談形式の場合、雑談の場合などである。
【００９１】
また、本実施形態では、発話モデルを利用して音声区間を切り出す構成と、話者属性ごとに音響モデルを設けるとともに話者属性ごとに音声区間を切り出してそれぞれ専用の音響モデルを用いて認識を行い、音響モデルを適応化する構成との両方を用いているが、これらのいずれか一方のみの構成を含むようにしても良い。
【００９２】
また、本実施形態では、認識仮説を、論理的には言語的単位（形態素）をアークとするラティス構造のグラフで表現して処理を行なったが、その代わりに、言語的単位として音素をアークとするラティス構造のグラフで表現して、同様の処理を行なうようにしても良い。
【００９３】
＜コンピュータシステムを用いた実施形態＞
なお、上述した各実施形態における音響モデル学習装置の機能をコンピュータで実現するようにしても良い。その場合、この音響モデル学習の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００９４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、第１の実施形態の説明において、選択処理部１３は字幕テキストと認識仮説が３単語以上連続して一致している区間を選択することを説明したが、「３」に限らず、適宜所定の単語数以上連続して位置している区間を選択するようにしても良い。また、語数を基準とする代わりに、所定の文字数（例えば、５文字）以上連続して一致している区間を選択するようにしても良い。
【００９５】
＜認識実験の結果＞
ここで、本願発明者らが実際に行なった認識実験について説明する。
２００４年から２００７年に放送されたＮＨＫ「きょうの健康」９４回分の音声と字幕を用いて、音響モデルの学習データを取得し、ＭＬＬＲとＭＡＰで音響モデルを適応化して認識実験を行なった。評価音声には、２００７年６月２５日、２７日、２８日に放送された３回分を用いた。認識実験に用いた言語モデルは、ニュース番組（２００万文）と生活情報番組の書き起こし（６７万文）に、１００倍の重みをつけた評価番組以外の９４回分の放送の字幕テキストを加えて学習した。
なお、今回の実験では番組ごとの言語モデルの適応化は行なっていないが、番組関連情報を用いて適応化することによって、より高い精度の言語モデルが利用できる。
認識実験に用いた認識処理部（デコーダ）は、男女別のモノフォンＨＭＭを用いて音声区間を検出し、男女の自動判定（話者属性推定）を行ないながら認識を行なうものである。ベースラインの音響モデルは、３４０ｈ（男声）と２５０ｈ（女声）のニュース番組音声であり、区間検出用（音声区間切り出し用）のモノフォンＨＭＭ（３状態３２混合分布）（発話モデル）、認識用のトライフォンＨＭＭ（４０００状態、３状態１６混合分布）を男女別に作成した。これらの男女別のモノフォンとトライフォンＨＭＭは、各番組用の適応化音響モデルでの認識結果から選択された学習データによって適応化した。
【００９６】
そして、重み値として、Ｗｂｉａｓ＝１０００、Ｗｌｍ＝１６として、音響モデルの適応化とデコード（認識処理）を最大で５回繰り返して学習データを作成し、繰り返し回数ごとに評価を行なった。その結果、繰り返し回数が多くなるにつれて、得られる学習データの量は多くなり、その増加率は徐々に減少した。単語誤認識率は、繰り返し回数が３から４のときに最も小さくなった。この実験結果から、３回ないしは４回の繰り返し回数は好適である。
【００９７】
評価番組の「きょうの健康」は、女性アナウンサーの司会者（自由発話）、女性解説者（原稿読み上げ）、男性ゲスト（自由発話）による対談で構成されている。司会者と解説者については、適応データ中に同一話者の音声があるため、話者適応の効果も期待される。一方、最も多くの話者があるゲストは、ほぼ毎回異なる話者であるため、話者適応の効果は期待できず、発話スタイル適応による改善のみが得られる。認識処理を行なって話者ごとの単語正解率を測定した結果、音響モデルの適応化前と比べて適応化後は、司会者と解説者の発話において大きな認識率の改善が得られた。また、ゲスト話者（自由発話）についても認識率の改善が得られた。
【００９８】
また、本発明の構成の一要素である選択処理部の有用性を確認するための認識実験も行なった。認識結果（認識仮説）をすべて集めて、選択処理部による選択を行なわずに音響モデルの適応化に用いた場合、認識処理と適応化処理を繰り返しても、得られる学習データの量は改善されず、また単語誤認識率も改善されなかった。つまり、この事実により、本発明の音響モデル学習装置が選択処理部を備えており、選択処理部によって選択された学習データを用いて音響モデルの適応化を行なっていることにより、繰り返し処理の効果が得られることも確認できた。
【図面の簡単な説明】
【００９９】
【図１】本発明の第１の実施形態による音響モデル学習装置の機能構成を示したブロック図である。
【図２】同実施形態で用いる言語モデルのデータ構成を示した概略図である。
【図３】同実施形態で用いる音響モデルのデータ構成を示した概略図である。
【図４】同実施形態で用いる認識仮説記憶部のデータ構成およびデータ例、並びにそのデータが表わすラティス構造を示した概略図である。
【図５】同実施形態による音響モデル学習の処理手順を示したフローチャートである。
【図６】同実施形態で用いる認識仮説記憶部の枝刈り処理後のデータ例、並びにそのデータが表わすラティス構造を示した概略図である。
【図７】同実施形態による音響モデル学習の過程におけるアライメント処理および選択処理の概略を示した概略図である。
【図８】本発明の第２の実施形態による音響モデル学習装置の機能構成を示したブロック図である。
【図９】本発明の第３の実施形態による音響モデル学習装置の処理手順を示したフローチャートである。
【図１０】本発明の第４の実施形態による音響モデル学習装置の機能構成を示したブロック図である。
【図１１】従来技術による音響モデル学習装置の機能構成を示したブロック図である。
【符号の説明】
【０１００】
１  字幕テキスト（Caption text）記憶部
２  形態素解析（Morphological analysis）処理部
３  重み付け処理部
４  ベースラインコーパス（Baseline corpus）記憶部
５  合成処理部
６  バイアス化言語モデル（Biased LM）記憶部（言語モデル記憶部）
７  重み付け処理部
８  番組音声（Program audio）記憶部
９，９Ｆ，９Ｍ  音響モデル（AM）記憶部
１０，１０ＭＦ  認識（Recognition）処理部
１１，１１Ｆ，１１Ｍ  認識仮説記憶部
１２，１２Ｆ，１２Ｍ  アライメント（Alignment）処理部
１３，１３Ｆ，１３Ｍ  選択（Selection）処理部
１４，１４Ｆ，１４Ｍ  学習データ（Transcripts）記憶部
１５，１５Ｆ，１５Ｍ  音響モデル適応化部（Adaptation）
１６Ｆ  女声発話モデル（Female speech model）記憶部（話者属性別発話モデル記憶手段）
１６Ｍ  男声発話モデル（Male speech model）記憶部（話者属性別発話モデル記憶手段）
１７Ｆ，１７Ｍ  発話モデル適応化部（Adaptation）
１８  音声区間切り出し部（話者属性推定手段）
１００，１０１，１０１Ａ〜１０１Ｄ，１０２  音響モデル学習装置
【図１】
0004949310.tif 000008
【図２】
0004949310.tif 000009
【図３】
0004949310.tif 000010
【図４】
0004949310.tif 000011
【図５】
0004949310.tif 000012
【図６】
0004949310.tif 000013
【図７】
0004949310.tif 000014
【図８】
0004949310.tif 000015
【図９】
0004949310.tif 000016
【図１０】
0004949310.tif 000017
【図１１】
0004949310.tif 000018