(57)【特許請求の範囲】
【請求項１】
字幕テキストを含んだ放送番組から音響モデルを学習して新たな音響モデルを生成する音響モデル生成装置であって、
書き起こしが準備された事前学習用の放送番組の番組音声を音声認識した認識仮説と、前記事前学習用の放送番組の字幕テキストとの対応パターンごとに、前記認識仮説と前記書き起こしとが一致しないミスマッチパターンの割合を対応付けたミスマッチ割合テーブルを記憶するミスマッチ割合記憶手段と、
音響モデル学習用の放送番組の番組音声を音声認識し、認識スコアの上位から予め定めた複数の認識仮説を生成する音声認識手段と、
前記ミスマッチ割合テーブルに基づいて、前記音声認識手段で音声認識された複数の認識仮説と、前記音響モデル学習用の放送番組の字幕テキストとの対応パターンから当該認識仮説の誤り率を推定する認識仮説誤り率推定手段と、
前記複数の認識仮説の誤り率の期待値である音声認識のリスクを最小化するリスク最小化学習によって、既存の音響モデルのパラメータを学習して新たな音響モデルを生成するリスク最小化学習手段と、
を備えることを特徴とする音響モデル生成装置。
【請求項２】
前記ミスマッチ割合テーブルを学習するミスマッチ割合学習手段をさらに備え、
前記ミスマッチ割合学習手段は、
前記事前学習用の放送番組の番組音声を音声認識する音声認識手段と、
この音声認識手段で認識された認識仮説と前記事前学習用の放送番組の字幕テキストとの対応パターンごとに、当該認識仮説と前記書き起こしとが一致しないミスマッチパターンの割合を算出して前記ミスマッチ割合テーブルを生成するミスマッチ割合算出手段と、
を備えることを特徴とする請求項１に記載の音響モデル生成装置。
【請求項３】
前記ミスマッチ割合算出手段は、
前記事前学習用の放送番組の認識仮説と字幕テキストと書き起こしとを単語単位でアライメントするアライメント手段と、
アライメント結果の単語単位で、前記事前学習用の放送番組の認識仮説と字幕テキストとの対応パターンごとに、前記ミスマッチパターンの割合を算出する割合算出手段と、
を備えることを特徴とする請求項２に記載の音響モデル生成装置。
【請求項４】
前記認識仮説誤り率推定手段は、
前記音響モデル学習用の放送番組の複数の認識仮説ごとに、当該放送番組の字幕テキストとの間で、単語単位でアライメントするアライメント手段と、
前記ミスマッチ割合テーブルに基づいて、前記複数の認識仮説ごとに、未知の書き起こしに対する誤り率の推定値を算出する推定値算出手段と、
を備えることを特徴とする請求項１から請求項３のいずれか一項に記載の音響モデル生成装置。
【請求項５】
前記リスク最小化学習手段は、前記既存の音響モデルにおいて、前記複数の認識仮説ごとの事後確率と誤り率との積の総和を最小にするように、当該音響モデルのパラメータを学習することを特徴とする請求項１から請求項４のいずれか一項に記載の音響モデル生成装置。
【請求項６】
コンピュータを、請求項１から請求項５のいずれか一項に記載の音響モデル生成装置として機能させるための音響モデル生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響モデルを生成する音響モデル生成装置およびそのプログラムに関する。
【背景技術】
【０００２】
近年、テレビ番組の映像に字幕を重ねて表示する字幕放送が実現されている。この字幕放送は、テレビの音が聞き取りにくい高齢者や聴覚障害者のための重要な情報保障手段となっている。
この字幕放送では、さらに、生放送の番組にリアルタイムで字幕を付与する研究開発が進められている。例えば、特許文献１には、番組の音声を音声認識し、字幕を生成する手法が開示されている。
【０００３】
このように、音声認識によって字幕を生成する場合、高精度に音声認識を行うために、大量の音声言語コーパス（以下、コーパスという）から学習した音響モデルが必要となる。
この大量のコーパスを構築する手法として、ニュース番組を対象に、番組音声の認識仮説と字幕とが完全に一致した部分のみをコーパスとして採用する半教師あり学習（Lightly supervised training）が提案されている（非特許文献１参照）。
しかし、この手法は、不明瞭な音声、背景雑音等を含む情報番組等には、番組音声の認識仮説に十分な認識率が得られないため適さない。
【０００４】
そこで、本発明者らは、字幕放送から、音響モデルを生成するために適したコーパスとなる字幕を、閾値を基準に選択し、情報番組等における大規模なコーパスを構築する手法を提案した（非特許文献２参照）。
この非特許文献２に記載の手法（以下、従来手法という）は、既存の字幕放送の音声の認識結果と音声の書き起こし（教師信号）とを準備し、字幕と書き起こしとがミスマッチする確率を算出する。そして、従来手法は、書き起こしが準備されていない大量の字幕放送から、書き起こしに対する字幕の誤り率を推定し、誤り率が閾値以下の発話区間の字幕を、音響モデルを生成するためのコーパスとして選択する。
これによって、従来手法は、字幕放送から大規模なコーパスを構築し、情報番組等であっても高精度な音響モデルを生成することを可能にしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１７５７６５号公報
【非特許文献】
【０００６】
【非特許文献１】L.Lamel, J.Gauvain and G.Adda: Lightly supervised and unsupervised acoustic model training, Computer Speech and Language,Vol.16, pp.115-129, 2002.
【非特許文献２】奥，尾上，一木，佐藤，小林、“教師ラベルの精度推定に基づく音声言語コーパスの自動構築”、一般社団法人日本音響学会、２０１５年秋季日本音響学会研究発表会講演論文集ＣＤ−ＲＯＭ、ｐｐ．６７−６８，２０１５年９月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来手法は、誤り率が閾値以下の発話区間の字幕をコーパスとして選択するため、選択されたコーパスには、閾値分の誤りが含まれる可能性がある。
そのため、従来手法は、閾値を低く（厳しく）することで、誤ったコーパスの選択を抑えることができるが、高精度に音声認識を行う音響モデルを学習するためのコーパス量が減少してしまう。
【０００８】
本発明は、このような問題に鑑みてなされたものであり、誤りの含まれる可能性のある字幕をコーパスとして選択して音響モデルを生成するのではなく、字幕放送の音声の認識結果の誤り率を推定し、誤りによるリスクを最小化するように既存の音響モデルのパラメータを求めることで、従来よりも高精度な音響モデルを生成する音響モデル生成装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するため、本発明に係る音響モデル生成装置は、字幕テキストを含んだ放送番組から音響モデルを学習して新たな音響モデルを生成する音響モデル生成装置であって、ミスマッチ割合記憶手段と、音声認識手段と、認識仮説誤り率推定手段と、リスク最小化学習手段と、を備える構成とした。
【００１０】
かかる構成において、音響モデル生成装置は、ミスマッチ割合記憶手段に、書き起こしが準備された事前学習用の放送番組の番組音声を音声認識した認識仮説と、事前学習用の放送番組の字幕テキストとの対応パターンごとに、認識仮説と書き起こしとが一致しないミスマッチパターンの割合を対応付けたミスマッチ割合テーブルを予め記憶する。
このミスマッチ割合テーブルは、字幕テキストと認識仮説との単語がどのような対応パターンであるときに、正解である書き起こしに対して、認識仮説が、どのようなパターン（ミスマッチパターン）で、また、どれだけの割合でミスマッチを起こしているのかを示すことになる。
そして、音響モデル生成装置は、音声認識手段によって、音響モデル学習用の放送番組の番組音声を音声認識し、認識スコアの上位から予め定めた複数の認識仮説を生成する。
【００１１】
そして、音響モデル生成装置は、認識仮説誤り率推定手段によって、ミスマッチ割合テーブルに基づいて、音声認識手段で音声認識された複数の認識仮説と、音響モデル学習用の放送番組の字幕テキストとの対応パターンから当該認識仮説の誤り率を推定する。
このように、音響モデル生成装置は、予めミスマッチ割合テーブルを準備することで、認識仮説誤り率推定手段において、複数の認識仮説が未知である書き起こしに対する誤り率を推定することができる。
【００１２】
そして、音響モデル生成装置は、リスク最小化学習手段によって、複数の認識仮説の誤り率の期待値である音声認識のリスクを最小化するようにリスク最小化学習によって、既存の音響モデルのパラメータを学習する。
これによって、音響モデル生成装置は、複数の認識仮説の誤り率を最小化するように、既存の音響モデルのパラメータを学習して、認識誤りを低減した新たな音響モデルを生成することができる。
【００１３】
また、本発明に係る音響モデル生成装置は、ミスマッチ割合テーブルを学習するミスマッチ割合学習手段をさらに備えることとしてもよい。
かかる構成において、音響モデル生成装置は、ミスマッチ割合学習手段によって、事前学習用の放送番組の番組音声を音声認識した認識仮説と字幕テキストとの対応パターンごとに、認識仮説と書き起こしとが一致しないミスマッチパターンの割合を算出してミスマッチ割合テーブルを生成する。
これによって、音響モデル生成装置は、過去の放送番組から、ミスマッチ割合テーブルを学習することができる。
【００１４】
なお、音響モデル生成装置は、コンピュータを、前記した各手段として機能させるための音響モデル生成プログラムで動作させることができる。
【発明の効果】
【００１５】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、放送番組の字幕テキストと番組音声とに不一致があっても、事前に学習したミスマッチパターンの割合によって、番組音声の認識仮説の誤り率を推定することができる。
これによって、本発明は、既存の放送番組で予め学習したミスマッチパターンの割合に基づいて、大量の放送番組によって、音響モデルのパラメータを最適化することができ、従来よりも音声認識の精度を高めた音響モデルを生成することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る音響モデル生成装置の構成を示すブロック構成図である。
【図２】図１の認識仮説誤り率推定手段のデータの流れを示すブロック構成図である。
【図３】字幕テキストと認識仮説との対応関係（対応パターン）を示す図である。
【図４】字幕テキストと認識仮説との対応関係の例を説明するための図である。
【図５】認識仮説と書き起こしとの対応関係（ミスマッチパターン）を示す図である。
【図６】認識仮説と書き起こしとの対応関係の例を説明するための図である。
【図７】ミスマッチ割合テーブルのデータ構造を示す構造図である。
【図８】図１の音響モデル学習手段における複数の認識仮説と、字幕テキストと、未知の書き起こしとの対応関係を示す図である。
【図９】本発明の実施形態に係る音響モデル生成装置の動作（ミスマッチ割合学習動作）を示すフローチャートである。
【図１０】本発明の実施形態に係る音響モデル生成装置の動作（音響モデル学習動作）を示すフローチャートである。
【図１１】図１０の音響モデル学習動作におけるリスク最小化学習の詳細なフローチャートである。
【図１２】ある放送番組における字幕テキストと認識仮説との対応パターンごとの単語の割合の例を示す図である。
【図１３】ある放送番組におけるミスマッチ割合テーブルのミスマッチ割合の例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について図面を参照して説明する。
〔音響モデル生成装置の概要〕
まず、図１を参照して、本発明の実施形態に係る音響モデル生成装置１の概要について説明する。
【００１８】
音響モデル生成装置１は、音声認識に用いる音響モデルを生成するものである。具体的には、音響モデル生成装置１は、放送番組の字幕を音声認識により生成する際に適した音響モデルを生成するものである。
【００１９】
この音響モデル生成装置１は、事前学習用の放送番組の番組音声（音声データ）ＳＳ１の認識仮説ＳＲ１と字幕テキストＳＴ１との対応パターンに対応付けて、番組音声ＳＳ１の認識仮説ＳＲ１と書き起こしＴＣ１とが一致しない割合（ミスマッチ割合）を予め学習しておく。
【００２０】
そして、音響モデル生成装置１は、書き起こしが存在しない大量の音響モデル学習用の放送番組の番組音声（音声データ）ＳＳ２と、当該番組に予め付与されている字幕テキストＳＴ２と、学習したミスマッチ割合とから、字幕テキストＳＴ２に対する番組音声ＳＳ２の認識仮説ＳＲ２の誤り率を推定し、リスク最小化学習を行うことで、既存の音響モデルのパラメータを最適化して新たな音響モデルを生成（学習）する。
【００２１】
なお、ミスマッチ割合を事前に学習するための放送番組（事前学習用の放送番組）と、リスク最小化学習により音響モデルを学習するための放送番組（音響モデル学習用の放送番組）とは、同じ分類に属する番組であることが好ましい。同じ分類に属する番組とは、例えば、特定の番組タイトル（番組名）や、ニュース番組、スポーツ番組、情報番組等の同じジャンルの番組等である。あるいは、生放送番組、事前収録番組等の字幕を生成する方法（音声認識による生成、手入力による手法等）で区分された番組であっても構わない。
このように、音響モデル生成装置１は、正確な教師信号（書き起こし）が存在しなくても、事前に学習したミスマッチ割合から、認識仮説ＳＲ２の誤り率を推定し、リスク最小化学習により音響モデルを生成することができる。
【００２２】
〔音響モデル生成装置の構成〕
以下、図１を参照して、音響モデル生成装置１の構成について説明する。
図１に示すように、音響モデル生成装置１は、ミスマッチ割合学習手段１０と、音響モデル記憶手段２０と、ミスマッチ割合記憶手段３０と、音響モデル学習手段４０と、音響モデル記憶手段５０と、を備える。
【００２３】
ミスマッチ割合学習手段１０は、事前学習用の放送番組の番組音声ＳＳ１と、番組音声ＳＳ１を文字（テキスト）に書き起こした書き起こしＴＣ１と、当該番組の字幕テキストＳＴ１とから、ミスマッチ割合を学習するものである。ここでは、ミスマッチ割合学習手段１０は、音声認識手段１１と、ミスマッチ割合算出手段１２と、を備える。
【００２４】
音声認識手段１１は、番組音声を音声認識するものである。ここでは、音声認識手段１１は、音響モデル記憶手段２０に記憶されている音響モデル、言語モデル記憶手段（不図示）に記憶されている言語モデルおよび発音辞書記憶手段（不図示）に記憶されている発音辞書を用いて、入力された番組音声ＳＳ１を、人が発話した音声区間（発話区間）ごとに音声認識する。
この音声認識手段１１は、認識結果である認識仮説ＳＲ１を、ミスマッチ割合算出手段１２に出力する。
【００２５】
ミスマッチ割合算出手段１２は、字幕テキストＳＴ１と認識仮説ＳＲ１との単語の対応パターンごとに、認識仮説ＳＲ１と書き起こしＴＣ１とが一致しない割合（ミスマッチ割合）を対応付けたミスマッチ割合テーブルを生成するものである。
ここでは、ミスマッチ割合算出手段１２は、アライメント手段１２ａと、割合算出手段１２ｂと、を備える。
【００２６】
アライメント手段１２ａは、音声認識手段１１で音声認識された発話区間の単語列ごとに、認識仮説ＳＲ１、字幕テキストＳＴ１および書き起こしＴＣ１を単語単位でアライメントするものである。なお、単語単位のアライメントは、一般的な手法を用いればよく、ＤＰマッチング（動的計画法）等を用いることができる。
このアライメント手段１２ａは、発話区間ごとに、アライメント結果を割合算出手段１２ｂに出力する。
【００２７】
割合算出手段１２ｂは、字幕テキストＳＴ１と認識仮説ＳＲ１との単語の対応パターンごとに、認識仮説ＳＲ１と書き起こしＴＣ１とのミスマッチ割合を算出するものである。
すなわち、割合算出手段１２ｂは、字幕テキストＳＴ１と認識仮説ＳＲ１との単語がどのような対応パターンであるときに、認識仮説ＳＲ１が書き起こしＴＣ１に対してどのようなパターン（ミスマッチパターン）で、また、どれだけの割合でミスマッチが発生するのかを算出する。この書き起こしＴＣ１は、番組音声ＳＳ１を厳密に文字に書き起こしたもので、音声認識に誤りがなければ認識仮説ＳＲ１と一致し、認識仮説ＳＲ１に対する正しい単語列を示すことになる。そこで、ここでは、割合算出手段１２ｂは、書き起こしＴＣ１を基準（正解）としてミスマッチ割合を算出する。
【００２８】
ここで、図３，図４を参照して、字幕テキストＳＴ１と認識仮説ＳＲ１との対応パターンについて説明する。
図３に示すように、字幕テキストＳＴ１と認識仮説ＳＲ１との対応パターンは、４つ（対応パターンI〜IV）ある。
【００２９】
対応パターンIは、認識仮説ＳＲ１の単語（単語ａ）に対応する字幕テキストＳＴ１の単語が存在しないパターンである。例えば、図４の字幕テキストＳＴ１の「（＊＊） 四十 年 間 元気 に …」という発話区間の単語列（ただし、＊＊は単語なしを示す）に対して、認識仮説ＳＲ１の「もう 四十 年 か 元気 （＊＊）…」が発話区間として対応している例において、認識仮説ＳＲ１の単語「もう」が、字幕テキストＳＴ１には存在せず、認識仮説ＳＲ１だけに挿入された場合である。
【００３０】
対応パターンIIは、対応する字幕テキストＳＴ１の単語（単語ｂ）と認識仮説ＳＲ１の単語（単語ｃ）とが異なるパターンである。例えば、図４の例において、字幕テキストＳＴ１の単語「間」に対して、認識仮説ＳＲ１の単語「か」という異なる単語が対応している場合である。
【００３１】
対応パターンIIIは、字幕テキストＳＴ１の単語（単語ｄ）に対応する認識仮説ＳＲ１の単語が存在しないパターンである。例えば、図４の例において、字幕テキストＳＴ１の単語「に」が、認識仮説ＳＲ１には存在せず、認識仮説ＳＲ１で削除された場合である。
【００３２】
対応パターンIVは、対応する字幕テキストＳＴ１の単語（単語ｅ）と認識仮説ＳＲ１の単語（単語ｅ）とが同一のパターンである。例えば、図４の例において、字幕テキストＳＴ１の単語「元気」に対して、認識仮説ＳＲ１の単語「元気」という同じ単語が対応している場合である。
【００３３】
次に、図５，図６を参照して、認識仮説ＳＲ１と書き起こしＴＣ１とのミスマッチパターンについて説明する。
図５に示すように、認識仮説ＳＲ１と書き起こしＴＣ１との間には、基本的に、図３で説明した字幕テキストＳＴ１と認識仮説ＳＲ１との間の対応パターンと同様のパターンが存在する。
【００３４】
ここでは、パターンを区別するため、字幕テキストＳＴ１と認識仮説ＳＲ１との間の対応パターンIに相当する認識仮説ＳＲ１と書き起こしＴＣ１との間のパターンを削除ミスマッチＤと呼ぶ。同様に、対応パターンIIに相当するパターンを置換ミスマッチＳ、対応パターンIIIに相当するパターンを挿入ミスマッチＩと呼ぶ。なお、対応パターンIVに相当するパターンは、ミスマッチではないが、図５では、図３との対応関係を明確にするため、便宜上、正解Ｃとして図示しておく。
【００３５】
削除ミスマッチＤは、書き起こしＴＣ１の単語（単語ａ）が認識仮説ＳＲ１の単語に対応しないパターンである。例えば、図６の例において、書き起こしＴＣ１に、認識仮説ＳＲ１には対応しない字幕テキストＳＴ１の単語「に」または他の単語が存在するパターンである。
なお、この削除ミスマッチＤは、認識仮説ＳＲ１には対応する単語が存在しないため、図６に示すように、対応パターンIIIにおいてのみ発生するパターンである。
【００３６】
置換ミスマッチＳは、対応する認識仮説ＳＲ１の単語（単語ｂ）と書き起こしＴＣ１の単語（単語ｃ）とが異なるパターンである。例えば、図６の例において、認識仮説ＳＲ１の単語「か」が、書き起こしＴＣ１において、「か」以外の異なる単語に対応するパターンである。
【００３７】
挿入ミスマッチＩは、認識仮説ＳＲ１の単語（単語ｄ）が書き起こしＴＣ１の単語に対応しないパターンである。例えば、図６の例において、認識仮説ＳＲ１の単語「か」が、書き起こしＴＣ１において、「＊＊（単語なし）」に対応するパターンである。すなわち、認識仮説ＳＲ１において、書き起こしＴＣ１にはない単語が挿入されているパターンである。
なお、置換ミスマッチＳおよび挿入ミスマッチＩは、認識仮説ＳＲ１の対応する単語が存在する対応パターンI、II、IVにおいて発生するパターンであり、対応パターンIIIでは発生しない。
図１に戻って、音響モデル生成装置１の構成について説明を続ける。
【００３８】
ここでは、アライメント手段１２ａが、まず、図３で説明した対応パターンごとに、字幕テキストＳＴ１と認識仮説ＳＲ１との間の対応する対の数を累計することで、対応パターン数を求める。また、アライメント手段１２ａが、図３で説明した対応パターンごとに、図５で説明したミスマッチパターンである認識仮説ＳＲ１と書き起こしＴＣ１との間の対応する対の数を累計することで、それぞれの対応パターンにおけるミスマッチ数を求める。
そして、割合算出手段１２ｂは、アライメント手段１２ａで求められた対応パターン数とそれぞれの対応パターンにおけるミスマッチ数とから、ミスマッチ割合を算出する。
【００３９】
具体的には、割合算出手段１２ｂは、対応パターンIの対応パターン数をＮI、対応パターンIにおける置換ミスマッチＳのミスマッチ数をＮI，Ｓとしたとき、また、対応パターンIにおける挿入ミスマッチＩのミスマッチ数をＮI，Ｉとしたとき、以下の式（１）により、対応パターンIにおける置換ミスマッチＳのミスマッチ割合ＰI，Ｓおよび挿入ミスマッチＩのミスマッチ割合ＰI，Ｉを算出する。
【００４０】
【数１】
0006637333.tif 000002
【００４１】
なお、割合算出手段１２ｂは、対応パターンII，IVにおけるミスマッチ割合についても、対象とする対応パターンが異なるだけで、対応パターンIと同様に、置換ミスマッチＳのミスマッチ割合（ＰII，Ｓ，ＰIV，Ｓ）および挿入ミスマッチＩのミスマッチ割合（ＰII，Ｉ，ＰIV，Ｉ）を算出する。
【００４２】
また、割合算出手段１２ｂは、対応パターンIIIの対応パターン数をＮIII、対応パターンIIIにおける削除ミスマッチＤのミスマッチ数をＮIII，Ｄとしたとき、以下の式（２）により、対応パターンIIIにおける削除ミスマッチＤのミスマッチ割合ＰIII，Ｄを算出する。
【００４３】
【数２】
0006637333.tif 000003
【００４４】
この割合算出手段１２ｂは、図７に例示したように、対応パターンとミスマッチパターンとにミスマッチ割合を対応付けたミスマッチ割合テーブルを生成し、ミスマッチ割合記憶手段３０に記憶する。
【００４５】
音響モデル記憶手段２０は、音声認識に用いる音響モデルを記憶するもので、ハードディスク等の一般的な記憶媒体である。この音響モデル記憶手段２０に記憶される音響モデルは、大量の音声データから予め学習した音素ごとの音響特徴量（メル周波数ケプストラム係数、フィルタバンク出力等）を隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）によってモデル化したものである。この音響モデルは、例えば、従来の音声認識において用いられるトライフォンＨＭＭである。
なお、音響モデルにおける音響特徴量の尤度計算は、従来より用いられているガウス混合モデル（ＧＭＭ：Gaussian mixture model）であっても、ディープニュートラルネットワーク（ＤＮＮ：Deep Neural Network）であっても構わない。
この音響モデル記憶手段２０は、番組音声を音声認識する際に、音声認識手段１１，４１によって参照される。
【００４６】
ミスマッチ割合記憶手段３０は、ミスマッチ割合学習手段１０（ミスマッチ割合算出手段１２）で生成されたミスマッチ割合テーブルを記憶するもので、ハードディスク等の一般的な記憶媒体である。
このミスマッチ割合記憶手段３０は、音響モデル学習手段４０によって参照される。
【００４７】
音響モデル学習手段４０は、ミスマッチ割合記憶手段３０に記憶されているミスマッチ割合テーブルを参照して、音響モデル学習用の放送番組の番組音声ＳＳ２およびそれに対応する字幕テキストＳＴ２から音響モデルを学習するものである。
この音響モデル学習手段４０に入力される番組音声ＳＳ２および字幕テキストＳＴ２は、書き起こしが準備されていない大量の放送番組の番組音声および字幕テキストである。
ここでは、音響モデル学習手段４０は、音声認識手段４１と、認識仮説誤り率推定手段４２と、リスク最小化学習手段４３と、を備える。
【００４８】
音声認識手段４１は、番組音声を音声認識するものである。ここでは、音声認識手段４１は、音響モデル記憶手段２０に記憶されている音響モデル、言語モデル記憶手段（不図示）に記憶されている言語モデルおよび発音辞書記憶手段（不図示）に記憶されている発音辞書を用いて、入力された番組音声ＳＳ２を、人が発話した音声区間（発話区間）ごとに音声認識する。
この音声認識手段４１は、認識結果として複数の候補を出力するものとし、音声認識の認識スコアの高かった予め定めた個数（ｎ個）分の認識仮説ＳＲ２（ｎ−ｂｅｓｔ）を生成する。
この音声認識手段４１は、認識結果であるｎ個の尤もらしい認識仮説ＳＲ２を、認識仮説誤り率推定手段４２に出力する。
【００４９】
認識仮説誤り率推定手段４２は、ミスマッチ割合学習手段１０で学習されたミスマッチ割合に基づいて、字幕テキストと、音声認識手段４１で認識された複数の認識仮説とにより、複数の認識仮説の誤り率を推定するものである。
ここで、図８を参照（適宜図１参照）して、認識仮説の誤り率の概念について簡単に説明する。
認識仮説誤り率推定手段４２には、音声認識手段４１で音声認識された複数の認識仮説ＳＲ２（候補１〜候補ｎ）と、字幕テキストＳＴ２とが入力されるが、正解となる書き起こしＴＣは入力されない。
そこで、認識仮説誤り率推定手段４２は、ミスマッチ割合学習手段１０で学習された、字幕テキストと認識仮説との単語の対応パターンごとの認識仮説と書き起こしとのミスマッチ割合（図７）に基づいて、未知の書き起こしＴＣに対する認識仮説の誤り率を推定する。
【００５０】
図１に戻って、音響モデル生成装置１の構成について説明を続ける。
ここでは、認識仮説誤り率推定手段４２は、アライメント手段４２ａと、推定値算出手段４２ｂと、を備える。なお、認識仮説誤り率推定手段４２の説明では、図１に加え、図２を併せて参照することとする。
【００５１】
アライメント手段４２ａは、音声認識手段４１で音声認識された発話区間の複数の単語列ごとに、認識仮説ＳＲ２および字幕テキストＳＴ２を単語単位でアライメントするものである。なお、単語単位のアライメントは、一般的な手法を用いればよく、ＤＰマッチング（動的計画法）等を用いることができる。
このアライメント手段４２ａは、ｎ個の尤もらしい認識仮説ＳＲ２である単語列ｈｉ（ｉ＝１，…，ｎ：ｎは認識仮説数〔ｎ−ｂｅｓｔ〕）と、字幕テキストＳＴ２である単語列ｃとを、発話区間ｊ（ｊ＝１，…，Ｎ：Ｎは発話数）ごと（｛ｈｉｊ｝、｛ｃｊ｝）にアライメントする。
【００５２】
ここでは、アライメント手段４２ａは、アライメントを行うとともに、図３で説明した対応パターンと同様に、対応パターンI〜IVごとに、字幕テキストＳＴ２の単語列ｃｊと認識仮説ＳＲ２の単語列ｈｉｊとの対応をとり、対となる数を累計して対応パターン数を求める。なお、発話区間ｊにおいて、対応パターンIの単語数をＮIｊ、対応パターンIIの単語数をＮIIｊ、対応パターンIIIの単語数をＮIIIｊ、対応パターンIVの単語数をＮIVｊとする。
このアライメント手段４２ａは、発話区間ごとに、アライメント結果と、対応パターンごとの単語数を、推定値算出手段４２ｂに出力する。
【００５３】
推定値算出手段４２ｂは、未知の書き起こしに対する認識仮説ＳＲ２の誤り率の推定値を算出するものである。
この推定値算出手段４２ｂは、事前に学習してあるミスマッチ割合記憶手段３０に記憶されているミスマッチ割合テーブルを参照し、発話区間ごとに、複数（ｎ−ｂｅｓｔ）の認識仮説ＳＲ２の誤り率（推定値）を算出する。
【００５４】
ここで、図８に示した未知の書き起こしＴＣと認識仮説ＳＲ２との関係において、図５に示したミスマッチパターンが存在すると仮定する。
このとき、発話区間ｊのｉ番目の認識仮説ｈｉｊにおいて、正解Ｃの単語数をＣｉｊ、削除ミスマッチＤの単語数をＤｉｊ、置換ミスマッチＳの単語数をＳｉｊ、挿入ミスマッチＩの単語数をＩｉｊとしたとき、認識仮説ｈｉｊの誤り率Ｒｉｊは、以下の式（３）で表すことができる。
【００５５】
【数３】
0006637333.tif 000004
【００５６】
ここで、発話区間ｊにおいて、アライメント手段４２ａで求められた対応パターンｋ（ｋ∈I,II,III,IV）ごとの単語数をＮｉ，ｋｊとしたとき、発話区間ｊの単語数Ｃｉｊ，Ｄｉｊ，Ｓｉｊ，Ｉｉｊの期待値は、図７で説明したミスマッチ割合を用いると以下の式（４）〜式（７）で表すことができる。
【００５７】
【数４】
0006637333.tif 000005
【００５８】
前記式（３）に、前記式（４）〜式（７）を代入してまとめることで、発話区間ｊにおけるｉ番目の認識仮説ｈｉｊの誤り率Ｒｉｊの期待値Ｅｉｊは、以下の式（８）で表すことができる。
【００５９】
【数５】
0006637333.tif 000006
【００６０】
推定値算出手段４２ｂは、この式（８）で計算した複数の認識仮説の誤り率の期待値を、発話区間ごとの複数の認識仮説の誤り率として算出する。
この推定値算出手段４２ｂは、算出した発話区間ごとの複数（ｎ−ｂｅｓｔ）の認識仮説ｈｉｊとその誤り率（Ｅｉｊ）とをリスク最小化学習手段４３に出力する。
【００６１】
リスク最小化学習手段４３は、認識仮説誤り率推定手段４２で推定された認識仮説の誤り率の期待値を音声認識のリスクとし、これを最小化するように、音響モデルのパラメータを学習するものである。
具体的には、リスク最小化学習手段４３は、以下の式（９）に示す目的関数（リスク）Ｌｒｉｓｋ（Λ）を最小化するリスク最小化学習を行う。
【００６２】
【数６】
0006637333.tif 000007
【００６３】
ここで、Λは、音響モデル記憶手段５０に記憶されている音響モデルのパラメータである。このパラメータは、例えば、ＨＭＭにおける状態遷移確率、ＧＭＭにおける平均、分散、ＤＮＮにおける重み行列、活性化関数等である。
また、Ｎは発話数、ｉはｎ−ｂｅｓｔの認識仮説の番号（ｉ＝１，…，ｎ）、ｊは発話区間を識別する番号（ｊ＝１，…，Ｎ）である。また、Ｑｉｊは発話区間ｊのｉ番目の認識仮説における音声認識の事後確率、Ｅｉｊは前記式（８）に示す発話区間ｊのｉ番目の認識仮説の誤り率である。
すなわち、リスク最小化学習手段４３は、既存の音響モデルにおいて、複数の認識仮説ごとの事後確率と誤り率との積の総和を最小にするように、当該音響モデルのパラメータΛを学習する
【００６４】
なお、このリスク最小化学習手段４３におけるリスク最小化学習は、一般的なベイズリスク最小化学習（参考文献：R. Schluter, T.Scharrenbach, V.Steinbiss, H.Ney, ”Bayes Risk Minimization using Metric Loss Functions”, In Proceedings of the European Conference on Speech Communication and Technology, Interspeech, pp. 1449-1452, 2005.）における誤り率を、未知の書き起こしに対する認識仮説の誤り率として学習する。
このリスク最小化学習手段４３は、リスク最小化学習で求められるパラメータΛによって、音響モデル記憶手段５０に記憶されている音響モデルのパラメータΛを更新する。
【００６５】
音響モデル記憶手段５０は、音響モデルを記憶するもので、ハードディスク等の一般的な記憶媒体である。この音響モデル記憶手段５０に記憶される音響モデルは、音響モデル学習手段４０によって、パラメータΛが更新される。すなわち、音響モデル記憶手段５０には、音響モデル学習手段４０によって学習された音響モデルが記憶される。
【００６６】
以上説明したように音響モデル生成装置１を構成することで、音響モデル生成装置１は、例えば、過去に放送した放送番組で学習した番組音声に対する字幕テキストのミスマッチ割合から、正確な書き起こし（教師信号）が存在しない状態でも認識仮説の誤り率を推定することで、高精度な音響モデルを学習することができる。
なお、音響モデル生成装置１は、図示を省略したコンピュータを、前記した各手段として機能させるプログラム（音響モデル生成プログラム）で動作させることができる。
【００６７】
〔音響モデル学習装置の動作〕
次に、音響モデル生成装置１の動作について説明する。ここでは、事前準備段階としてミスマッチ割合を学習する動作（ミスマッチ割合学習動作）と、ミスマッチ割合に基づいて音響モデルを学習する動作（音響モデル学習動作）とに分けて説明する。
【００６８】
（ミスマッチ割合学習動作）
最初に、図９を参照（構成については適宜図１参照）して、音響モデル生成装置１のミスマッチ割合学習動作について説明する。
【００６９】
まず、音響モデル生成装置１は、音声認識手段１１によって、番組音声ＳＳ１を発話区間ごとに音声認識して、認識仮説ＳＲ１を生成する（ステップＳ１）。
そして、音響モデル生成装置１は、ミスマッチ割合算出手段１２のアライメント手段１２ａによって、ステップＳ１で生成された認識仮説ＳＲ１と、字幕テキストＳＴ１と、書き起こしＴＣ１とを単語単位でアライメントする（ステップＳ２）。
【００７０】
そして、音響モデル生成装置１は、割合算出手段１２ｂによって、字幕テキストＳＴ１と認識仮説ＳＲ１との単語の対応パターン（図３参照）ごとに、認識仮説ＳＲ１と書き起こしＴＣ１とが一致しないミスマッチパターン（図５参照）の割合（ミスマッチ割合）を算出する（ステップＳ３）。
【００７１】
さらに、音響モデル生成装置１は、割合算出手段１２ｂによって、ステップＳ３で算出されたミスマッチ割合を、対応パターンおよびミスマッチパターンに対応付けたミスマッチ割合テーブル（図７参照）として、ミスマッチ割合記憶手段３０に記憶する（ステップＳ４）。
【００７２】
以上の動作によって、音響モデル生成装置１は、放送番組の字幕テキストと、番組音声の認識結果である認識仮説とが、どのような対応パターンであるときに、認識仮説と書き起こしとが、どのようなミスマッチパターンをどれだけの割合で発生させるのかを学習することができる。
【００７３】
（音響モデル学習動作）
次に、図１０，図１１を参照（構成については適宜図１参照）して、音響モデル生成装置１の音響モデル学習動作について説明する。
【００７４】
まず、音響モデル生成装置１は、音声認識手段４１によって、番組音声ＳＳ２を発話区間ごとに音声認識して、認識スコアの高かった予め定めた個数（ｎ個）分の認識仮説ＳＲ２（ｎ−ｂｅｓｔ）を生成する（ステップＳ１０）。
そして、音響モデル生成装置１は、認識仮説誤り率推定手段４２のアライメント手段４２ａによって、ステップＳ１０で生成された複数の認識仮説ＳＲ２と、字幕テキストＳＴ２とを単語単位でアライメントする（ステップＳ１１）。
【００７５】
そして、音響モデル生成装置１は、認識仮説誤り率推定手段４２の推定値算出手段４２ｂによって、ミスマッチ割合記憶手段３０に記憶されているミスマッチ割合テーブルを参照し、発話区間ごとに、複数（ｎ−ｂｅｓｔ）の認識仮説ＳＲ２の未知の書き起こしに対する誤り率を推定（算出）する（ステップＳ１２）。
その後、音響モデル生成装置１は、リスク最小化学習手段４３によって、音響モデル記憶手段５０に記憶されている音響モデルのパラメータを学習（リスク最小化学習）する（ステップＳ１３）。
【００７６】
なお、このステップＳ１３の動作については、図１１を参照して、さらに詳細に説明する。
図１１に示すように、リスク最小化学習手段４３は、音響モデル記憶手段５０に記憶されている音響モデルを用いて、ｎ−ｂｅｓｔの各文に対する番組音声ＳＳ２の音響スコア（認識仮説の対数尤度の総和）を計算する（ステップＳ１３０）。
【００７７】
そして、リスク最小化学習手段４３は、ステップＳ１３０で計算された音響スコアと、言語スコア（このスコアは固定）とから事後確率を計算し、その事後確率とステップＳ１２で計算されたｎ−ｂｅｓｔの各文の誤り率から、前記式（９）により、目的関数値（リスク）である認識仮説の誤り率の期待値を計算する（ステップＳ１３１）。
【００７８】
そして、リスク最小化学習手段４３は、ステップＳ１３１で計算された目的関数値によって、確率的勾配降下法等の既存の最適化技法を用いて、音響モデル記憶手段５０に記憶されている音響モデルのパラメータを更新する（ステップＳ１３２）。
【００７９】
そして、リスク最小化学習手段４３は、パラメータを更新した音響モデルが所定の条件を満たしているかどうかでリスク最小化学習手段４３を終了するかどうかを決定する（ステップＳ１３３）。
ここで、ステップＳ１３３の所定の終了条件とは、例えば、学習データとは別の評価用の音声データの音声認識率や確率勾配降下法によるモデルの変化量がパラメータ変更前に対して大きく変化していないかどうか、などである。
【００８０】
終了条件を満たさない場合（ステップＳ１３３でＮｏ）、リスク最小化学習手段４３はステップＳ１３０に戻って動作を継続する。一方、終了条件を満たす場合（ステップＳ１３３でＹｅｓ）、リスク最小化学習手段４３は動作を終了する。
【００８１】
以上の動作によって、音響モデル生成装置１は、予め学習したミスマッチ割合に基づいて、複数の認識仮説の誤り率を推定し、リスク最小化学習により、音声認識の誤り（リスク）を最小化するような音響モデルのパラメータを学習することができる。
これによって、音響モデル生成装置１は、既存の音響モデルのパラメータを最適化することができる。
【００８２】
以上、本発明の実施形態に係る音響モデル生成装置１の構成および動作について説明したが、本発明はこれらの実施形態に限定されるものではない。
ここでは、音響モデル生成装置１は、ミスマッチ割合学習手段１０と、音響モデル学習手段４０とを備える構成としているが、それぞれを分離した装置構成としても構わない。
例えば、音響モデル生成装置１から、ミスマッチ割合学習手段１０を省略し、別途分離したミスマッチ割合学習手段１０（ミスマッチ割合学習装置）によって学習されたミスマッチ学習テーブルを予めミスマッチ割合記憶手段３０に記憶しておくこととしてもよい。
【００８３】
≪実施例≫
ここで、図１２，図１３を参照して、ミスマッチ割合テーブルの具体例について説明する。図１２は、ＮＨＫの情報番組である「ひるまえ  ほっと」の１６時間分のデータ（番組音声、字幕テキスト、書き起こし）において、字幕テキストと番組音声の認識仮説との対応パターンI〜IV（図３参照）の単語の割合を示している。
そして、音響モデル生成装置１のミスマッチ割合学習手段１０により、このデータ（番組音声、字幕テキスト、書き起こし）から、図１３に示すようなミスマッチ割合テーブルを生成した。
例えば、図１２で対応パターンIに分類された２１．０％の単語のうち、図１３に示すように、認識仮説と書き起こしとの間に、置換ミスマッチＳが２７．８％発生している。
【００８４】
このように学習した認識仮説と書き起こしとのミスマッチ割合を用いて、音響モデル生成装置１の音響モデル学習手段４０により、情報番組「ひるまえ  ほっと」の７７時間分のデータ（番組音声、字幕テキスト）から、音響モデルを学習した。
なお、学習の元の音響モデルは、同様に、情報番組「ひるまえ  ほっと」の７７時間分のデータ（番組音声、字幕テキスト）から、従来手法（非特許文献２に記載の手法）で生成した音響モデルを用いた。
その結果、従来手法で生成した音響モデルを用いた場合の音声認識の単語誤り率が１８．０％であったのに対し、音響モデル生成装置１で生成された音響モデルを用いた場合の音声認識の単語誤り率は１７．８％と改善した。
【符号の説明】
【００８５】
１      音響モデル生成装置
１０    ミスマッチ割合学習手段
１１    音声認識手段
１２    ミスマッチ割合算出手段
１２ａ  アライメント手段
１２ｂ  割合算出手段
２０    音響モデル記憶手段
３０    ミスマッチ割合記憶手段
４０    音響モデル学習手段
４１    音声認識手段
４２    認識仮説誤り率推定手段
４２ａ  アライメント手段
４２ｂ  推定値算出手段
４３    リスク最小化学習手段
５０    音響モデル記憶手段
【図１】
0006637333.tif 000008
【図２】
0006637333.tif 000009
【図３】
0006637333.tif 000010
【図４】
0006637333.tif 000011
【図５】
0006637333.tif 000012
【図６】
0006637333.tif 000013
【図７】
0006637333.tif 000014
【図８】
0006637333.tif 000015
【図９】
0006637333.tif 000016
【図１０】
0006637333.tif 000017
【図１１】
0006637333.tif 000018
【図１２】
0006637333.tif 000019
【図１３】
0006637333.tif 000020