(57)【特許請求の範囲】
【請求項１】
特定の番組の音声認識に使用する音響モデルを学習するための音声言語コーパスを生成する音声言語コーパス生成装置であって、
前記特定の番組の番組音声を音声認識した認識仮説と字幕テキストと書き起こしとから、前記字幕テキストと前記認識仮説との対応パターンに対応付けて、前記字幕テキストと前記書き起こしとが一致しないミスマッチ確率を算出するミスマッチ確率算出手段と、
前記特定の番組と同じ分類に属する番組の前記音声言語コーパスの候補となるコーパス候補番組音声を音声認識したコーパス候補認識仮説と、予め付されたコーパス候補字幕テキストとの対応パターンに対応した前記ミスマッチ確率により、前記コーパス候補字幕テキストの発話区間ごとの誤り率を算出し、当該誤り率が閾値以下の発話区間のコーパス候補番組音声およびコーパス候補字幕テキストを、前記音声言語コーパスとして選択するコーパス選択手段と、
を備えることを特徴とする音声言語コーパス生成装置。
【請求項２】
前記ミスマッチ確率算出手段は、
前記認識仮説と前記字幕テキストと前記書き起こしとを単語単位でアライメントするアライメント手段と、
アライメント結果の単語単位で、前記字幕テキストと前記認識仮説との対応パターンに対応付けて前記字幕テキストと前記書き起こしとが一致しない確率を前記ミスマッチ確率として算出する確率算出手段と、
を備えることを特徴とする請求項１に記載の音声言語コーパス生成装置。
【請求項３】
前記字幕テキストの単語の属性を解析する属性解析手段をさらに備え、
前記ミスマッチ確率算出手段は、前記属性ごとに、前記ミスマッチ確率を算出することを特徴とする請求項１または請求項２に記載の音声言語コーパス生成装置。
【請求項４】
前記属性は、単語の品詞であることを特徴とする請求項３に記載の音声言語コーパス生成装置。
【請求項５】
前記コーパス選択手段は、
前記コーパス候補認識仮説と前記コーパス候補字幕テキストとを単語単位でアライメントするアライメント手段と、
アライメント結果の単語単位で、前記ミスマッチ確率により、前記コーパス候補字幕テキストの発話区間ごとの誤り率を算出する誤り率算出手段と、
この誤り率算出手段で算出された誤り率と前記閾値とを比較し、閾値以下の発話区間のコーパス候補番組音声およびコーパス候補字幕テキストを、前記音声言語コーパスとして選択する適否判定手段と、
を備えることを特徴とする請求項１から請求項４のいずれか一項に記載の音声言語コーパス生成装置。
【請求項６】
前記コーパス選択手段で選択された音声言語コーパスを用いて、音響モデルを学習する音響モデル学習手段と、
この音響モデル学習手段で学習された音響モデルを記憶する音響モデル記憶手段と、
前記音響モデルを参照して、前記特定の番組と同じ分類に属する番組の閾値調整用番組音声を音声認識した閾値調整用認識仮説と、予め付された閾値調整用書き起こしとから、前記音声認識の認識率を算出する認識率算出手段と、
前記認識率を向上させるように適宜前記閾値を調整する閾値適応化手段と、
をさらに備えることを特徴とする請求項１から請求項５のいずれか一項に記載の音声言語コーパス生成装置。
【請求項７】
前記特定の番組は、特定の番組名で分類される番組、特定のジャンルで分類される番組、または、字幕制作方法により分類される番組のいずれかであることを特徴とする請求項１から請求項６のいずれか一項に記載の音声言語コーパス生成装置。
【請求項８】
コンピュータを、請求項１から請求項７のいずれか一項に記載の音声言語コーパス生成装置として機能させるための音声言語コーパス生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響モデルを学習するためのコーパスを生成する音声言語コーパス生成装置およびそのプログラムに関する。
【背景技術】
【０００２】
近年、テレビ番組の映像に字幕を重ねて表示する字幕放送が実現されている。この字幕放送は、テレビの音が聞き取りにくい高齢者や聴覚障害者のための重要な情報保障手段となっている。
この字幕放送では、さらに、生放送の番組にリアルタイムで字幕を付与する研究開発が進められている。例えば、特許文献１には、番組の音声を音声認識し、字幕を生成する手法が開示されている。
このように、音声認識によって番組の字幕を生成する場合、さまざまなジャンルの番組を音声認識可能な高精度な音響モデルが必要となる。さらに、このような高精度な音響モデルを学習するためには、さまざまなジャンルをカバーした大規模な音声言語コーパスの構築が必要となる。
【０００３】
そこで、音響モデルを学習するための大規模な音声言語コーパスを構築する手法として、番組音声とその番組に予め付与された字幕を利用する準教師あり学習（Lightly supervised training）が提案されている（非特許文献１参照）。
この非特許文献１に記載の準教師あり学習の手法では、欠損や要約があるなど、書き起こしとしては精度が低いテキスト（予め付与された字幕）から学習した制約の強い言語モデルを生成する。そして、この手法は、生成した言語モデルを用いて番組音声を認識し、その認識結果である認識仮説と字幕とを照合し、その一部を、音響モデルを学習するための音声言語コーパスとして用いることを特徴としている。
具体的には、非特許文献１に記載の手法では、ニュース番組を対象として、番組の認識仮説と字幕とのアライメント結果から、認識仮説と字幕とがすべて一致する発話区間の音声データのみを、音声言語コーパスとして用いている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１７５７６５号公報
【非特許文献】
【０００５】
【非特許文献１】L.Lamel, J.Gauvainand G.Adda: Lightly supervised and unsupervised acoustic model training, Computer Speech and Language,Vol.16, pp.115-129, 2002.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献１に記載の手法を、ニュース番組以外の番組に適用した場合、字幕の精度が不十分であったり、不明瞭音声や背景雑音のためニュース番組と同等の認識精度が得られなかったり等、認識仮説と字幕とがすべて一致する発話区間は、ニュース番組の場合ほど多くは得られない。
そのため、従来の手法では、ニュース以外のさまざまなジャンルをカバーした大規模な音声言語コーパスを構築することができないという問題がある。
【０００７】
本発明は、このような問題に鑑みてなされたものであり、特定の番組において、発話区間中に認識仮説と字幕（字幕テキスト）とに不一致があっても、ある条件下で、字幕を書き起こしとみなすことで、高精度な音響モデルを学習するために必要な音声言語コーパスを構築する音声言語コーパス生成装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため、本発明に係る音声言語コーパス生成装置は、特定の番組の音声認識に使用する音響モデルを学習するための音声言語コーパスを生成する音声言語コーパス生成装置であって、ミスマッチ確率算出手段と、コーパス選択手段と、を備える構成とした。
【０００９】
かかる構成において、音声言語コーパス生成装置は、ミスマッチ確率算出手段によって、特定の番組の番組音声を音声認識した認識仮説と、番組に予め付された字幕テキストと、番組音声の書き起こしとから、字幕テキストと認識仮説との対応パターンに対応付けて、字幕テキストと書き起こしとが一致しないミスマッチ確率を算出する。
【００１０】
この書き起こしは、音声認識結果である認識仮説に対して、正解となるものである。すなわち、字幕テキストと認識仮説に対する正解の書き起こしとの関係は、字幕テキストと特定の番組に特有の音声認識誤りを含んだ認識仮説との関係でパターン化することができる。
そこで、音声言語コーパス生成装置は、字幕テキストと書き起こしとがミスマッチする確率を予めパターン化しておく。
【００１１】
そして、音声言語コーパス生成装置は、コーパス選択手段によって、特定の番組と同じ分類に属する番組の音声言語コーパスの候補となるコーパス候補番組音声を音声認識したコーパス候補認識仮説と、予め付されたコーパス候補字幕テキストとの対応パターンに対応したミスマッチ確率により、コーパス候補字幕テキストの発話区間ごとの誤り率を算出する。
さらに、音声言語コーパス生成装置は、コーパス選択手段によって、誤り率が閾値以下の発話区間のコーパス候補番組音声およびコーパス候補字幕テキストを音声言語コーパスとして選択することで、コーパス候補認識仮説とコーパス候補字幕テキストとがすべて一致していなくても、コーパス候補番組音声およびコーパス候補字幕テキストを音声言語コーパスとして選択することができる。
【００１２】
なお、音声言語コーパス生成装置は、コンピュータを、前記した各手段として機能させるための音声言語コーパス生成プログラムで動作させることができる。
【発明の効果】
【００１３】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、特定の番組単位で、字幕テキストを、音響モデルを学習するためのコーパスとして適用可能な否かを、予め特定の番組において学習したミスマッチ確率により判定することができる。
これによって、本発明は、既存の字幕テキストから大規模な音声言語コーパスを構築することができ、さらに、認識精度を高めた音響モデル生成することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態に係る音声言語コーパス生成装置の構成を示すブロック構成図である。
【図２】字幕テキストと認識仮説との対応関係を示す図である。
【図３】字幕テキストと認識仮説との対応関係の例を説明するための図である。
【図４】字幕テキストと書き起こしとの対応関係を示す図である。
【図５】字幕テキストと書き起こしとの対応関係の例を説明するための図である。
【図６】ミスマッチ確率テーブルのデータ構造を示す構造図である。
【図７】本発明の第１実施形態に係る音声言語コーパス生成装置の動作（ミスマッチ確率学習動作）を示すフローチャートである。
【図８】本発明の第１実施形態に係る音声言語コーパス生成装置の動作（コーパス選択動作）を示すフローチャートである。
【図９】本発明の第２実施形態に係る音声言語コーパス生成装置の構成を示すブロック構成図である。
【図１０】本発明の第２実施形態に係る音声言語コーパス生成装置の動作（閾値決定動作）を示すフローチャートである。
【図１１】放送番組ごとの対応パターンの例を示す図である。
【図１２】図１１の放送番組ごとのミスマッチ確率の例を示す図である。
【図１３】本発明の第３実施形態に係る音声言語コーパス生成装置の構成を示すブロック構成図である。
【図１４】属性を考慮したミスマッチ確率テーブルのデータ構造を示す構造図である。
【図１５】属性（品詞）ごとの対応パターンの例を示す図である。
【図１６】図１５の属性（品詞）ごとのミスマッチ確率の例を示す図である。
【図１７】本発明の第４実施形態に係る音声言語コーパス生成装置の構成を示すブロック構成図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図面を参照して説明する。
≪第１実施形態≫
〔音声言語コーパス生成装置の概要〕
まず、図１を参照して、本発明の第１実施形態に係る音声言語コーパス生成装置１の概要について説明する。
【００１６】
音声言語コーパス生成装置１は、音声認識に用いる音響モデルを学習するための音声言語コーパスを生成するものである。具体的には、音声言語コーパス生成装置１は、特定の番組の字幕を音声認識により生成する際に適した音響モデルを予め学習するための音声言語コーパスを生成する。
ここで、特定の番組とは、予め定めた基準で分類された番組であって、例えば、特定の番組タイトル（番組名）や、ニュース番組、スポーツ番組、情報番組等のジャンル別の番組等である。あるいは、生放送番組、事前収録番組等の字幕を生成する方法（音声認識による生成、手入力による手法等）で区分された番組であっても構わない。
【００１７】
この音声言語コーパス生成装置１は、特定の番組の番組音声（音声データ）ＳＳ１と、当該番組に予め付されている字幕テキストＳＴ１と、番組音声ＳＳ１の書き起こしＴＣ１とから、発話区間ごとに、書き起こしＴＣ１と字幕テキストＳＴ１とがマッチしない確率（ミスマッチ確率）を予め学習しておく。
【００１８】
そして、音声言語コーパス生成装置１は、学習した番組と同じ分類に属する特定の番組の番組音声（音声データ）ＳＳ２と、当該番組に予め付されている字幕テキストＳＴ２と、学習したミスマッチ確率とから、発話区間ごとに、字幕テキストＳＴ２の誤り率を計算し、閾値判定により、誤り率の小さい字幕テキストＳＴ２と、それに対応する番組音声ＳＳ２とを、音声言語コーパスとする。
このように、音声言語コーパス生成装置１は、番組音声に対応する誤り率の小さい字幕テキストをコーパスとして抽出することで、特定の番組の番組音声を高精度に音声認識することが可能な音響モデルを学習するための音声言語コーパスを生成することができる。
【００１９】
〔音声言語コーパス生成装置の構成〕
以下、図１を参照して、音声言語コーパス生成装置１の構成について説明する。
図１に示すように、音声言語コーパス生成装置１は、ミスマッチ確率学習手段１０と、音響モデル記憶手段２０と、ミスマッチ確率記憶手段３０と、音声言語コーパス選択手段４０と、音声言語コーパス記憶手段５０と、を備える。
【００２０】
ミスマッチ確率学習手段１０は、書き起こしＴＣ１に対して字幕テキストＳＴ１の単語が一致（マッチ）しない確率（ミスマッチ確率）をミスマッチのパターンごとに学習するものである。
ここでは、ミスマッチ確率学習手段１０は、音声認識手段１１と、ミスマッチ確率算出手段１２と、を備える。
【００２１】
音声認識手段１１は、番組音声を音声認識するものである。ここでは、音声認識手段１１は、音響モデル記憶手段２０に記憶されている音響モデル、言語モデル記憶手段（不図示）に記憶されている言語モデルおよび発音辞書記憶手段（不図示）に記憶されている発音辞書を用いて、入力された番組音声ＳＳ１を、人が発話した音声区間（発話区間）ごとに音声認識する。
この音声認識手段１１は、認識結果である認識仮説ＳＲ１を、ミスマッチ確率算出手段１２に出力する。
【００２２】
ミスマッチ確率算出手段１２は、字幕テキストＳＴ１と認識仮説ＳＲ１との単語の対応パターンごとに、字幕テキストＳＴ１と書き起こしＴＣ１とがミスマッチする確率（ミスマッチ確率）を対応付けたミスマッチ確率テーブルを生成するものである。
ここでは、ミスマッチ確率算出手段１２は、アライメント手段１２ａと、確率算出手段１２ｂと、を備える。
【００２３】
アライメント手段１２ａは、音声認識手段１１で音声認識された発話区間の単語列ごとに、認識仮説ＳＲ１、字幕テキストＳＴ１および書き起こしＴＣ１を単語単位でアライメントするものである。なお、単語単位のアライメントは、一般的な手法を用いればよく、ＤＰマッチング（動的計画法）等を用いることができる。
このアライメント手段１２ａは、発話区間ごとに、アライメント結果を確率算出手段１２ｂに出力する。
【００２４】
確率算出手段１２ｂは、字幕テキストＳＴ１と認識仮説ＳＲ１との単語の対応パターンごとに、字幕テキストＳＴ１と書き起こしＴＣ１とのミスマッチ確率を算出するものである。
すなわち、確率算出手段１２ｂは、字幕テキストＳＴ１と認識仮説ＳＲ１とがどのような対応パターンであるときに、字幕テキストＳＴ１が、書き起こしＴＣ１に対してどのようなパターン（ミスマッチパターン）で、また、どれだけの確率でミスマッチが発生するのかを算出する。この書き起こしＴＣ１は、音声認識に誤りがなければ認識仮説ＳＲ１と一致し、認識仮説ＳＲ１に対する正しい単語列を示すことになる。そこで、ここでは、確率算出手段１２ｂは、書き起こしＴＣ１を基準（正解）としてミスマッチ確率を算出する。
【００２５】
ここで、図２，図３を参照して、字幕テキストＳＴと認識仮説ＳＲとの対応パターンについて説明する。
図２に示すように、字幕テキストＳＴと認識仮説ＳＲとの対応パターンは、４つ（対応パターンI〜IV）ある。
【００２６】
対応パターンIは、認識仮説ＳＲの単語（単語ａ）に対応する字幕テキストＳＴの単語が存在しないパターンである。例えば、図３（ａ）の字幕テキストＳＴの「（＊＊） 四十 年 間 元気 に …」という発話区間の単語列（ただし、＊＊は単語なしを示す）に対して、認識仮説ＳＲの「もう 四十 年 か 元気 に …」が発話区間として対応している例において、認識仮説ＳＲの単語「もう」が、字幕テキストＳＴには存在せず、認識仮説ＳＲだけに挿入された場合である。
【００２７】
対応パターンIIは、対応する字幕テキストＳＴの単語（単語ｂ）と認識仮説ＳＲの単語（単語ｃ）とが異なるパターンである。例えば、図３（ａ）の例において、字幕テキストＳＴの単語「間」に対して、認識仮説ＳＲの単語「か」という異なる単語が対応している場合である。
【００２８】
対応パターンIIIは、字幕テキストＳＴの単語（単語ｄ）に対応する認識仮説ＳＲの単語が存在しないパターンである。例えば、図３（ｂ）の字幕テキストＳＴの「（＊＊） 長さ が 四 ｃｍ ぐらい に …」という発話区間の単語列（ただし、＊＊は単語なしを示す）に対して、認識仮説ＳＲの「うん 長さ （＊＊） 四 ｃｍ ぐらい に …」が発話区間として対応している例において、字幕テキストＳＴの単語「が」が、認識仮説ＳＲには存在せず、認識仮説ＳＲで削除された場合である。
【００２９】
対応パターンIVは、対応する字幕テキストＳＴの単語（単語ｅ）と認識仮説ＳＲの単語（単語ｅ）とが同一のパターンである。例えば、図３（ｂ）の例において、字幕テキストＳＴの単語「長さ」に対して、認識仮説ＳＲの単語「長さ」という同じ単語が対応している場合である。
【００３０】
次に、図４，図５を参照して、単語のアライメント後における字幕テキストＳＴと書き起こしＴＣとのミスマッチパターンについて説明する。
図４に示すように、字幕テキストＳＴと書き起こしＴＣとの間には、基本的に、図２で説明した字幕テキストＳＴと認識仮説ＳＲとの間の対応パターンと同様のパターンが存在する。
【００３１】
ここでは、パターンを区別するため、字幕テキストＳＴと認識仮説ＳＲとの間の対応パターンIに相当する字幕テキストＳＴと書き起こしＴＣとの間のパターンを削除ミスマッチＤと呼ぶ。同様に、対応パターンIIに相当するパターンを置換ミスマッチＳ、対応パターンIIIに相当するパターンを挿入ミスマッチＩと呼ぶ。なお、対応パターンIVに相当するパターンは、ミスマッチではないが、図４では、図２との対応関係を明確にするため、便宜上、正解Ｃとして図示しておく。
【００３２】
削除ミスマッチＤは、書き起こしＴＣの単語（単語ａ）が字幕テキストＳＴの単語に対応しないパターンである。例えば、図５の例において、字幕テキストＳＴには対応しない書き起こしＴＣの単語「もう」または他の単語が存在するパターンである。すなわち、字幕テキストＳＴにおいて、書き起こしＴＣの単語が削除されているパターンである。
なお、この削除ミスマッチＤは、字幕テキストＳＴには対応する単語が存在しないため、図５に示すように、対応パターンIにおいてのみ発生するパターンである。
【００３３】
置換ミスマッチＳは、対応する字幕テキストＳＴの単語（単語ｂ）と書き起こしＴＣの単語（単語ｃ）とが異なるパターンである。例えば、図５の例において、字幕テキストＳＴの単語「間」が、書き起こしＴＣにおいて、「間」以外の異なる単語に対応するパターンである。
【００３４】
挿入ミスマッチＩは、字幕テキストＳＴの単語（単語ｄ）が書き起こしＴＣの単語に対応しないパターンである。例えば、図５の例において、字幕テキストＳＴの単語「間」が、書き起こしＴＣにおいて、「＊＊（単語なし）」に対応するパターンである。すなわち、字幕テキストＳＴにおいて、書き起こしＴＣにはない単語が挿入されているパターンである。
なお、置換ミスマッチＳおよび挿入ミスマッチＩは、字幕テキストＳＴの対応する単語が存在する対応パターンII〜IVにおいて発生するパターンであり、対応パターンIでは発生しない。
図１に戻って、音声言語コーパス生成装置１の構成について説明を続ける。
【００３５】
確率算出手段１２ｂは、まず、図２で説明した対応パターンごとに、字幕テキストＳＴと認識仮説ＳＲとの間の対応する対の数を累計することで、対応パターン数を算出する。また、確率算出手段１２ｂは、図２で説明した対応パターンごとに、図４で説明したミスマッチパターンである字幕テキストＳＴと書き起こしＴＣとの間の対応する対の数を累計することで、それぞれの対応パターンにおけるミスマッチ数を算出する。
そして、確率算出手段１２ｂは、対応パターン数とそれぞれの対応パターンにおけるミスマッチ数とから、ミスマッチ確率を算出する。
【００３６】
具体的には、確率算出手段１２ｂは、対応パターンIの対応パターン数をＮＩ、対応パターンIにおける削除ミスマッチＤのミスマッチ数をＮＩ，Ｄとしたとき、以下の式（１）により、対応パターンIにおける削除ミスマッチＤのミスマッチ確率ＰＩ，Ｄを算出する。
【００３７】
【数１】
0006637332.tif 000002
【００３８】
同様に、確率算出手段１２ｂは、対応パターンIIの対応パターン数をＮII、対応パターンIIにおける置換ミスマッチＳのミスマッチ数をＮＩI，Ｓとしたとき、また、対応パターンIIにおける挿入ミスマッチＩのミスマッチ数をＮＩI，Iとしたとき、以下の式（２）により、対応パターンIIにおける置換ミスマッチＳのミスマッチ確率ＰＩI，Ｓおよび挿入ミスマッチＩのミスマッチ確率ＰＩI，Ｉを算出する。
【００３９】
【数２】
0006637332.tif 000003
【００４０】
なお、確率算出手段１２ｂは、対応パターンIII，IVにおけるミスマッチ確率についても、対象とする対応パターンが異なるだけで、対応パターンIIと同様に算出する。
この確率算出手段１２ｂは、図６に例示したように、対応パターンとミスマッチパターンとにミスマッチ確率を対応付けたミスマッチ確率テーブルを生成し、ミスマッチ確率記憶手段３０に記憶する。
【００４１】
音響モデル記憶手段２０は、音声認識に用いる音響モデルを記憶するもので、ハードディスク等の一般的な記憶媒体である。この音響モデル記憶手段２０に記憶される音響モデルは、大量の音声データから予め学習した音素ごとの音響特徴量（メル周波数ケプストラム係数等）を隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）によってモデル化したものである。この音響モデルは、例えば、従来の音声認識において用いられるトライフォンＨＭＭである。
この音響モデル記憶手段２０は、番組音声を音声認識する際に、音声認識手段１１，４１によって参照される。
【００４２】
ミスマッチ確率記憶手段３０は、ミスマッチ確率学習手段１０（ミスマッチ確率算出手段１２）で生成されたミスマッチ確率テーブルを記憶するもので、ハードディスク等の一般的な記憶媒体である。
このミスマッチ確率記憶手段３０は、音声言語コーパス選択手段４０によって参照される。
【００４３】
音声言語コーパス選択手段４０は、入力される番組音声ＳＳ２およびそれに対応する字幕テキストＳＴ２から、特定の番組の音声認識用の音響モデルを学習するために適した音声言語コーパスを選択するものである。
ここで、番組音声ＳＳ２および字幕テキストＳＴ２は、音声言語コーパスの候補となるもの（コーパス候補番組音声およびコーパス候補字幕テキスト）で、ミスマッチ確率学習手段１０で学習された特定の番組と同じ分類に属する番組の番組音声および字幕テキストである。
ここでは、音声言語コーパス選択手段４０は、音声認識手段４１と、コーパス選択手段４２と、を備える。
【００４４】
音声認識手段４１は、番組音声を音声認識するものである。ここでは、音声認識手段４１は、音響モデル記憶手段２０に記憶されている音響モデル、言語モデル記憶手段（不図示）に記憶されている言語モデルおよび発音辞書記憶手段（不図示）に記憶されている発音辞書を用いて、入力された番組音声（コーパス候補番組音声）ＳＳ２を、人が発話した音声区間（発話区間）ごとに音声認識する。
この音声認識手段４１は、認識結果である認識仮説（コーパス候補認識仮説）ＳＲ２を、コーパス選択手段４２に出力する。
なお、音声認識手段４１の代わりに、音声認識手段１１の入力と出力とを切り替えることで、音声認識手段１１を用いることとしてもよい。
【００４５】
コーパス選択手段４２は、音声認識手段４１で認識された認識仮説（コーパス候補認識仮説）ＳＲ２、および、対応する字幕テキスト（コーパス候補字幕テキスト）ＳＴ２に基づいて、特定の番組の音声認識用の音響モデルを学習するための音声言語コーパスを選択するものである。
ここでは、コーパス選択手段４２は、アライメント手段４２ａと、誤り率推定手段４２ｂと、適否判定手段４２ｃと、を備える。
【００４６】
アライメント手段４２ａは、音声認識手段４１で音声認識された発話区間の単語列ごとに、認識仮説ＳＲ２および字幕テキストＳＴ２を単語単位でアライメントするものである。
このアライメント手段４２ａは、発話区間ごとに、アライメント結果を誤り率推定手段４２ｂに出力する。
【００４７】
誤り率推定手段（誤り率算出手段）４２ｂは、認識仮説ＳＲ２に対する字幕テキストＳＴ２の誤り率を推定（算出）するものである。
この誤り率推定手段４２ｂは、事前に学習してあるミスマッチ確率記憶手段３０に記憶されているミスマッチ確率テーブルを参照し、発話区間ごとに、字幕テキストＳＴ２の誤り率を推定する。
なお、字幕テキストと書き起こしとのアライメント結果において、正解となる書き起こしの単語を基準として、図４で説明した正解Ｃの単語数をＣＣ、削除ミスマッチＤの単語数をＤＣ、置換ミスマッチＳの単語数をＳＣ、挿入ミスマッチＩの単語数をＩＣとしたとき、字幕テキストの誤り率ＲＣは、以下の式（３）で表すことができる。ただし、挿入ミスマッチＩの単語数ＩＣは、挿入ミスマッチＩが発生した字幕テキストの単語数である。
【００４８】
【数３】
0006637332.tif 000004
【００４９】
ここで、発話区間ｊにおいて対応パターンｋに対応する対の数をＮｋｊとしたとき、発話区間ｊの単語数ＣＣ，ＤＣ，ＳＣ，ＩＣは、図６で説明したミスマッチ確率を用いると以下の式（４）〜式（７）で表すことができる。
【００５０】
【数４】
0006637332.tif 000005
【００５１】
前記式（３）に、前記式（４）〜式（７）を代入してまとめることで、発話区間ｊにおける字幕テキストの誤り率の期待値Ｅ［ＲＣｊ］は、以下の式（８）で表すことができる。
【００５２】
【数５】
0006637332.tif 000006
【００５３】
誤り率推定手段４２ｂは、この式（８）で計算した字幕テキストの誤り率の期待値を、発話区間ごとの字幕テキストの誤り率として推定する。
この誤り率推定手段４２ｂは、推定した発話区間ごとの字幕テキストの誤り率を適否判定手段４２ｃに出力する。
【００５４】
適否判定手段（コーパス適否判定手段）４２ｃは、発話区間ごとの字幕テキストＳＴ２の誤り率と、予め定めた閾値とを比較し、字幕テキストＳＴ２とそれに対応する番組音声ＳＳ２とが、音声言語コーパスとして適しているか否かを判定するものである。
この適否判定手段４２ｃは、誤り率推定手段４２ｂで推定された発話区間の字幕テキストの誤り率が、閾値（例えば、１５％）以下であれば、音声言語コーパスとして適していると判定し、当該発話区間の字幕テキストＳＴ２と、対応する番組音声ＳＳ２とを、音声言語コーパスとして選択する。ここでは、適否判定手段４２ｃは、選択した音声言語コーパスを音声言語コーパス記憶手段５０に記憶する。
【００５５】
音声言語コーパス記憶手段５０は、音声言語コーパス選択手段４０（コーパス選択手段４２）で選択された音声言語コーパスを記憶するもので、ハードディスク等の一般的な記憶媒体である。
【００５６】
以上説明したように音声言語コーパス生成装置１を構成することで、音声言語コーパス生成装置１は、特定の番組（例えば、過去に放送した放送番組）で学習した番組音声に対する字幕テキストのミスマッチ確率から、高精度な音響モデルを学習するため必要となる音声言語コーパスを生成することができる。
なお、音声言語コーパス生成装置１は、図示を省略したコンピュータを、前記した各手段として機能させるプログラム（音声言語コーパス生成プログラム）で動作させることができる。
【００５７】
〔音声言語コーパス生成装置の動作〕
次に、音声言語コーパス生成装置１の動作について説明する。ここでは、事前準備段階としてミスマッチ確率を学習する動作（ミスマッチ確率学習動作）と、ミスマッチ確率に基づいて音声言語コーパスを選択する動作（コーパス選択動作）とに分けて説明する。
【００５８】
（ミスマッチ確率学習動作）
最初に、図７を参照（構成については適宜図１参照）して、ミスマッチ確率学習動作について説明する。
【００５９】
まず、音声言語コーパス生成装置１は、音声認識手段１１によって、番組音声ＳＳ１を発話区間ごとに音声認識して、認識仮説ＳＲ１を生成する（ステップＳ１）。
そして、音声言語コーパス生成装置１は、ミスマッチ確率算出手段１２のアライメント手段１２ａによって、ステップＳ１で生成された認識仮説ＳＲ１と、字幕テキストＳＴ１と書き起こしＴＣ１とを単語単位でアライメントする（ステップＳ２）。
【００６０】
そして、音声言語コーパス生成装置１は、確率算出手段１２ｂによって、字幕テキストおよび認識仮説の対応パターン（図２参照）ごとに、字幕テキストおよび書き起こしに発生するミスマッチパターン（図４参照）の確率（ミスマッチ確率）を算出する（ステップＳ３）。
【００６１】
さらに、音声言語コーパス生成装置１は、確率算出手段１２ｂによって、ステップＳ３で算出されたミスマッチ確率を、対応パターンおよびミスマッチパターンに対応付けたミスマッチ確率テーブルとして、ミスマッチ確率記憶手段３０に記憶する（ステップＳ４）。
【００６２】
以上の動作によって、音声言語コーパス生成装置１は、特定の番組において、字幕テキストと、番組音声の認識結果である認識仮説とが、どのような対応パターンであるときに、字幕テキストが、正解の基準となる書き起こしに対して、どのようなミスマッチパターンをどれだけの確率で発生させるのかを学習することができる。
【００６３】
（コーパス選択動作）
次に、図８を参照（構成については適宜図１参照）して、コーパス選択動作について説明する。
【００６４】
まず、音声言語コーパス生成装置１は、音声認識手段４１によって、番組音声ＳＳ２を発話区間ごとに音声認識して、認識仮説ＳＲ２を生成する（ステップＳ１０）。
そして、音声言語コーパス生成装置１は、コーパス選択手段４２のアライメント手段４２ａによって、ステップＳ１０で生成された認識仮説ＳＲ２と、字幕テキストＳＴ２とを単語単位でアライメントする（ステップＳ１１）。
【００６５】
そして、音声言語コーパス生成装置１は、コーパス選択手段４２によって、最初の発話区間を設定（ここでは、内部変数として、ｊに“１”を設定）する（ステップＳ１２）。
そして、音声言語コーパス生成装置１は、コーパス選択手段４２の誤り率推定手段４２ｂによって、前記式（８）により、字幕テキストの誤り率を算出する（ステップＳ１３）。
【００６６】
そして、音声言語コーパス生成装置１は、コーパス選択手段４２の適否判定手段４２ｃによって、ステップＳ１３で算出された誤り率が、閾値以下であるか否かを判定する（ステップＳ１４）。
ここで、誤り率が閾値以下であれば（ステップＳ１４でＹｅｓ）、適否判定手段４２ｃは、この発話区間ｊの番組音声と字幕テキストとを、コーパス（音声言語コーパス）として選択し、音声言語コーパス記憶手段５０に記憶する（ステップＳ１５）。そして、音声言語コーパス生成装置１は、ステップＳ１６に動作を進める。
一方、誤り率が閾値よりも大きければ（ステップＳ１４でＮｏ）、音声言語コーパス生成装置１は、当該発話区間ｊをコーパスとすることなく、ステップＳ１６に動作を進める。
【００６７】
そして、音声言語コーパス生成装置１は、コーパス選択手段４２によって、すべての発話区間において、コーパスの適否判定を行ったか否かを判定する（ステップＳ１６）。
ここで、すべての発話区間において適否判定が完了していない場合（ステップＳ１６でＮｏ）、音声言語コーパス生成装置１は、ステップＳ１７において、次の発話区間を設定（内部変数として、ｊに“１”を加算）し、ステップＳ１３に動作を進める。
一方、すべての発話区間において適否判定が完了した場合（ステップＳ１６でＹｅｓ）、動作を終了する。
【００６８】
以上の動作によって、音声言語コーパス生成装置１は、予め学習したミスマッチ確率に基づいて、番組音声と字幕テキストとの対から、発話区間ごとに、音響モデルを生成するために適した番組音声および字幕テキストのみを、音声言語コーパスとして選択することができる。
【００６９】
≪第２実施形態≫
〔音声言語コーパス生成装置の概要〕
次に、図９を参照して、本発明の第２実施形態に係る音声言語コーパス生成装置１Ｂの概要について説明する。
第１実施形態に係る音声言語コーパス生成装置１（図１参照）では、音声言語コーパスを選択する基準となる閾値を固定としていた。
この第２実施形態に係る音声言語コーパス生成装置１Ｂは、音声言語コーパス生成装置１に対して、閾値を調整する機能を付加している。
すなわち、音声言語コーパス生成装置１Ｂは、予め定めた閾値で音声言語コーパス選択手段４０が音声言語コーパスを選択した後、音声認識の認識率を高める方向に閾値を適応的に変化させて音声言語コーパスを生成する。
以下、音声言語コーパス生成装置１と異なる点を中心に説明する。
【００７０】
〔音声言語コーパス生成装置の構成〕
図９を参照して、音声言語コーパス生成装置１Ｂの構成について説明する。
図９に示すように、音声言語コーパス生成装置１Ｂは、ミスマッチ確率学習手段１０と、音響モデル記憶手段２０，２０Ｂと、ミスマッチ確率記憶手段３０と、音声言語コーパス選択手段４０と、音声言語コーパス記憶手段５０と、音響モデル学習手段６０と、コーパス判定閾値決定手段７０と、を備える。
音響モデル記憶手段２０Ｂ、音響モデル学習手段６０およびコーパス判定閾値決定手段７０以外の構成は、図１で説明した音声言語コーパス生成装置１と同じ構成であるため、同一の符号を付して説明を省略する。
【００７１】
音響モデル記憶手段２０Ｂは、音声認識に用いる音響モデルを記憶するもので、ハードディスク等の一般的な記憶媒体である。この音響モデル記憶手段２０Ｂには、音響モデル学習手段６０で学習された音響モデルが記憶される。
この音響モデル記憶手段２０Ｂに記憶される音響モデルは、ミスマッチ確率を考慮して選択された音声言語コーパス記憶手段５０に記憶されている音声言語コーパスから学習したものであるため、音響モデル記憶手段２０に記憶される音響モデルに比べ、特定の番組に対する音声認識に適した（単語誤り率の低い）音響モデルとなっている。
この音響モデル記憶手段２０Ｂは、番組音声を音声認識する際に、音声認識手段７１によって参照される。
【００７２】
音響モデル学習手段６０は、音声言語コーパス記憶手段５０に記憶されている音声言語コーパスから、音響モデルを学習するものである。この音響モデル学習手段６０は、学習により生成した音響モデルを音響モデル記憶手段２０Ｂに記憶する。
なお、音声言語コーパスである音声データ（番組音声）およびテキスト（字幕テキスト）から音響モデルを学習する手法は、一般的な手法を用いればよいため、ここでは説明を省略する。
【００７３】
コーパス判定閾値決定手段７０は、入力される特定の番組の番組音声（閾値調整用番組音声）ＳＳ３およびその書き起こし（閾値調整用書き起こし）ＴＣ３から、音声言語コーパス選択手段４０の適否判定手段４２ｃ（図１参照）で使用する閾値を決定するものである。なお、コーパス判定閾値決定手段７０に入力される番組音声ＳＳ３および書き起こしＴＣ３は、対象となる特定の番組と同一に分類される番組の音声および書き起こしであればよい。
ここでは、コーパス判定閾値決定手段７０は、音声認識手段７１と、閾値決定手段７２と、を備える。
【００７４】
音声認識手段７１は、番組音声を音声認識するものである。ここでは、音声認識手段７１は、音響モデル記憶手段２０Ｂに記憶されている音響モデル、言語モデル記憶手段（不図示）に記憶されている言語モデルおよび発音辞書記憶手段（不図示）に記憶されている発音辞書を用いて、入力された番組音声ＳＳ３を、人が発話した音声区間（発話区間）ごとに音声認識する。
この音声認識手段７１は、認識結果である認識仮説（閾値調整用認識仮説）ＳＲ３を、閾値決定手段７２に出力する。
なお、音声認識手段７１の代わりに、音声認識手段１１（図１参照）の入力と出力とを切り替えることで、音声認識手段１１を用いることとしてもよい。
【００７５】
閾値決定手段７２は、音声認識手段７１で認識された認識仮説ＳＲ３の認識率を向上させるように、音声言語コーパス選択手段４０で使用する閾値を決定するものである。
ここでは、閾値決定手段７２は、アライメント手段７２ａと、認識率算出手段７２ｂと、閾値適応化手段７２ｃと、を備える。
【００７６】
アライメント手段７２ａは、音声認識手段７１で音声認識された発話区間の単語列ごとに、認識仮説ＳＲ３および書き起こしＴＣ３を単語単位でアライメントするものである。
このアライメント手段７２ａは、発話区間ごとに、アライメント結果を認識率算出手段７２ｂに出力する。
【００７７】
認識率算出手段７２ｂは、音声認識手段７１における認識率を算出するものである。この認識率算出手段７２ｂは、アライメント後の認識仮説ＳＲ３および書き起こしＴＣ３を単語ごとに比較し、正解である書き起こしＴＣ３に対する認識仮説ＳＲ３の正解率を、音声認識の認識率として算出する。
この認識率算出手段７２ｂは、算出した認識率を閾値適応化手段７２ｃに出力する。
【００７８】
閾値適応化手段７２ｃは、認識率算出手段７２ｂで算出される認識率を向上させる方向に、音声言語コーパス選択手段４０で使用する閾値を適応化するものである。
この閾値適応化手段７２ｃは、前回算出した認識率を保持しておき、認識率が向上する方向に閾値を適応化する。例えば、閾値適応化手段７２ｃは、格子探索法、勾配法といった一般的な最適化手法により閾値を適応化する。
【００７９】
以上説明したように音声言語コーパス生成装置１Ｂを構成することで、音声言語コーパス生成装置１Ｂは、音声言語コーパス生成装置１に対してさらに音声認識の認識率を高めた音響モデルを学習するための音声言語コーパスを生成することができる。
なお、音声言語コーパス生成装置１Ｂは、図示を省略したコンピュータを、前記した各手段として機能させるプログラム（音声言語コーパス生成プログラム）で動作させることができる。
【００８０】
〔音声言語コーパス生成装置の動作〕
次に、図１０を参照（構成については適宜図９参照）して、音声言語コーパス生成装置１Ｂの動作について説明する。なお、事前準備段階としてミスマッチ確率を学習する動作（ミスマッチ確率学習動作）と、ミスマッチ確率に基づいて音声言語コーパスを選択する動作（コーパス選択動作）は、図７，図８で説明した音声言語コーパス生成装置１と同じであるため、説明を省略する。
ここでは、図８のステップＳ１４で使用する閾値を決定する動作（閾値決定動作）について説明する。なお、この閾値決定動作は、音声言語コーパス生成装置１Ｂが予め定めた閾値で、図８で説明した動作を実行後、適宜、１回以上実行する動作である。
【００８１】
（閾値決定動作）
図１０に示すように、まず、音声言語コーパス生成装置１Ｂは、音響モデル学習手段６０によって、図８のコーパス選択動作で選択した音声言語コーパスから音響モデルを学習する（ステップＳ２０）。
そして、音声言語コーパス生成装置１Ｂは、音声認識手段７１によって、番組音声ＳＳ３を発話区間ごとに音声認識して、認識仮説ＳＲ３を生成する（ステップＳ２１）。
その後、音声言語コーパス生成装置１Ｂは、閾値決定手段７２のアライメント手段７２ａによって、ステップＳ２１で生成された認識仮説ＳＲ３と、書き起こしＴＣ３とを単語単位でアライメントする（ステップＳ２２）。
【００８２】
そして、音声言語コーパス生成装置１Ｂは、閾値決定手段７２の認識率算出手段７２ｂによって、認識仮説ＳＲ３および書き起こしＴＣ３を単語ごとに比較し、正解である書き起こしＴＣ３に対する認識仮説ＳＲ３の正解率を、音声認識の認識率として算出し、保持する（ステップＳ２３）。
さらに、音声言語コーパス生成装置１Ｂは、閾値決定手段７２の閾値適応化手段７２ｃによって、ステップＳ２３で算出された認識率を、前回算出し、保持されている認識率よりも高くする方向に閾値を適応化させて、その値を決定する（ステップＳ２４）。
【００８３】
以上の動作によって、音声言語コーパス生成装置１Ｂは、音響モデルを学習するために適した音声言語コーパスを、特定の番組に応じて最適化した閾値を設定することができる。これによって、音声言語コーパス生成装置１Ｂは、音声言語コーパス生成装置１に対してさらに音声認識の認識率を高めた音響モデルを学習するための音声言語コーパスを生成することができる。
【００８４】
≪実施例≫
ここで、図１１，図１２を参照して、ミスマッチ確率テーブルの具体例について説明する。ここでは、ＮＨＫの６本の放送番組（それぞれ１０〜１５時間程度）を用いて生成したミスマッチ確率テーブルについて示す。
６番組分の字幕テキストと音声認識結果（認識仮説）とは、図１１に示すような割合（％）で、それぞれの対応パターンI〜IVに対応していた。
そして、音声言語コーパス生成装置１，１Ｂでは、この６本の放送番組について、図１２に示すようなミスマッチ確率テーブルを生成した。
例えば、放送番組「クローズアップ現代」について、図１１で対応パターンIに分類された１９．９％の単語のうち、図１２に示すように、削除ミスマッチＤが７７．８％発生している。
【００８５】
このように、ミスマッチ確率は、放送番組ごとにパターン化することができ、特定の特徴を有することになる。
本発明では、この特徴を利用して、字幕テキストを音響モデルのコーパスとして利用可能な否かを判定することで、特定の番組に適したコーパスを生成することが可能になる。
なお、従来手法である分類を考慮せずに学習した音響モデルを用いて音声認識したときの単語誤り率が１８．１％であったのに対し、本発明によって閾値を１５％として生成した音声言語コーパスから学習した音響モデルを用いた場合、単語誤り率が１５．３％と改善した。
【００８６】
≪第３実施形態≫
〔音声言語コーパス生成装置の概要〕
次に、図１３を参照して、本発明の第３実施形態に係る音声言語コーパス生成装置１Ｃの概要について説明する。
第１実施形態に係る音声言語コーパス生成装置１（図１参照）では、特定の番組ごとに、番組音声に対する字幕テキストのミスマッチの傾向に基づいて、字幕テキストの誤り率を推定している。
この第３実施形態に係る音声言語コーパス生成装置１Ｃは、音声言語コーパス生成装置１に対して、さらにミスマッチの傾向を単語の属性ごとに細分化して求め、字幕テキストの誤り率の精度を高めるものである。
以下、音声言語コーパス生成装置１と異なる点を中心に説明する。
【００８７】
〔音声言語コーパス生成装置の構成〕
図１３を参照して、音声言語コーパス生成装置１Ｃの構成について説明する。
図１３に示すように、音声言語コーパス生成装置１Ｃは、ミスマッチ確率学習手段１０Ｂと、音響モデル記憶手段２０と、ミスマッチ確率記憶手段３０Ｂと、音声言語コーパス選択手段４０Ｂと、音声言語コーパス記憶手段５０と、を備える。
音響モデル記憶手段２０および音声言語コーパス記憶手段５０は、図１で説明した音声言語コーパス生成装置１と同じ構成であるため説明を省略する。
【００８８】
ミスマッチ確率学習手段１０Ｂは、書き起こしＴＣ１に対して字幕テキストＳＴ１の単語が一致（マッチ）しない確率（ミスマッチ確率）をミスマッチのパターンと単語の属性ごとに学習するものである。
ここでは、ミスマッチ確率学習手段１０Ｂは、音声認識手段１１と、ミスマッチ確率算出手段１２Ｂと、属性解析手段１３と、を備える。音声認識手段１１は、図１で説明した音声言語コーパス生成装置１と同じ構成であるため説明を省略する。以下、属性解析手段１３、ミスマッチ確率算出手段１２Ｂの順に説明する。
【００８９】
属性解析手段１３は、字幕テキストＳＴ１の各単語の属性を解析するものである。ここでは、属性解析手段１３は、字幕テキストＳＴ１の各単語の品詞を属性ＡＴ１として解析する。すなわち、属性解析手段１３は、一般的な形態素手段、例えば、ＭｅＣａｂ等で構成することができる。
この属性解析手段１３は、解析結果となる属性（品詞）ＡＴ１を、字幕テキストＳＴ１の各単語に対応付けて、ミスマッチ確率算出手段１２Ｂに出力する。
【００９０】
なお、属性解析手段１３が解析する属性は、必ずしも単語の品詞に限るものではない。例えば、属性解析手段１３は、字幕テキストの単語の発話文頭からの数、発話文末からの数のいずれか一方または両方を単語の属性として解析することしてもよい。その場合、文頭または文末からの数には上限（例えば、“５”）を設け、分類がスパース（疎）にならないようにすることが好ましい。
このように、文頭または文末からの数を属性とすることで、番組音声の音声ファイルが発話の区切りから僅かに前後して分割され、発話区間の前部分に前の発話区間の文末が混入したり、発話区間の後部分に後の発話区間の前文が混入したり等をミスマッチ確率の計算に反映させることができる。また、文末表現は字幕作成時に人手で修正されやすい傾向があるため、文末からの数を属性とすることで、この傾向をミスマッチ確率の計算に反映させることができる。
なお、以降では、属性解析手段１３が単語の属性として品詞を解析した例で説明する。
【００９１】
ミスマッチ確率算出手段１２Ｂは、字幕テキストＳＴ１と認識仮説ＳＲ１との単語の対応パターンおよび単語の属性（品詞）ごとに、字幕テキストＳＴ１と書き起こしＴＣ１とがミスマッチする確率（ミスマッチ確率）を対応付けたミスマッチ確率テーブルを生成するものである。
ここでは、ミスマッチ確率算出手段１２Ｂは、アライメント手段１２ａと、確率算出手段１２Ｂｂと、を備える。アライメント手段１２ａは、図１で説明した音声言語コーパス生成装置１と同じ構成であるため説明を省略する。
【００９２】
確率算出手段１２Ｂｂは、字幕テキストＳＴ１と認識仮説ＳＲ１との単語の対応パターンおよび単語の属性（品詞）ごとに、字幕テキストＳＴ１と書き起こしＴＣ１とのミスマッチパターンの確率（ミスマッチ確率）を算出するものである。
なお、単語の対応パターンは、図２，図３で説明したパターンと同じである。また、ミスマッチパターンは、図４，図５で説明したパターンと同じである。
この確率算出手段１２Ｂｂは、基本的に確率算出手段１２ｂ（図１）と同様のミスマッチ確率を算出するが、その確率の算出を品詞ごとに行う。ただし、図２に示すように、対応パターンIは、字幕テキストで対応する単語がないため対応する品詞はなく、前記式（１）と同様の計算を行う。
【００９３】
一方、パターンII〜IVについては、確率算出手段１２Ｂｂは、品詞ごとにミスマッチ確率を算出する。
すなわち、確率算出手段１２Ｂｂは、対応パターンIIの品詞ｈの対応パターン数をＮII，ｈ、対応パターンIIにおける置換ミスマッチＳのミスマッチ数をＮＩI，Ｓ，ｈとしたとき、また、対応パターンIIにおける挿入ミスマッチＩのミスマッチ数をＮＩI，I，ｈとしたとき、以下の式（９）により、対応パターンIIの品詞ｈにおける置換ミスマッチＳのミスマッチ確率ＰＩI，Ｓ，ｈおよび挿入ミスマッチＩのミスマッチ確率ＰＩI，Ｉ，ｈを算出する。
【００９４】
【数６】
0006637332.tif 000007
【００９５】
なお、確率算出手段１２Ｂｂは、対応パターンIII，IVにおけるミスマッチ確率についても、対象とする対応パターンが異なるだけで、対応パターンIIと同様に算出する。
この確率算出手段１２Ｂｂは、図１４に例示したように、対応パターンとミスマッチパターンとに属性（品詞）ごとのミスマッチ確率を対応付けたミスマッチ確率テーブルを生成し、ミスマッチ確率記憶手段３０Ｂに記憶する。
【００９６】
ミスマッチ確率記憶手段３０Ｂは、ミスマッチ確率学習手段１０Ｂ（ミスマッチ確率算出手段１２Ｂ）で生成されたミスマッチ確率テーブルを記憶するもので、ハードディスク等の一般的な記憶媒体である。
このミスマッチ確率記憶手段３０Ｂは、音声言語コーパス選択手段４０Ｂによって参照される。
【００９７】
音声言語コーパス選択手段４０Ｂは、入力される番組音声ＳＳ２およびそれに対応する字幕テキストＳＴ２から、特定の番組の音声認識用の音響モデルを学習するために適した音声言語コーパスを選択するものである。なお、番組音声ＳＳ２および字幕テキストＳＴ２は、図１で説明したものと同じである。
ここでは、音声言語コーパス選択手段４０Ｂは、音声認識手段４１と、コーパス選択手段４２Ｂと、属性解析手段４３と、を備える。音声認識手段４１は、図１で説明した音声言語コーパス生成装置１と同じ構成であるため説明を省略する。
【００９８】
コーパス選択手段４２Ｂは、音声認識手段４１で認識された認識仮説（コーパス候補認識仮説）ＳＲ２、および、対応する字幕テキスト（コーパス候補字幕テキスト）ＳＴ２に基づいて、特定の番組の音声認識用の音響モデルを学習するための音声言語コーパスを選択するものである。
ここでは、コーパス選択手段４２Ｂは、アライメント手段４２ａと、誤り率推定手段４２Ｂｂと、適否判定手段４２ｃと、を備える。アライメント手段４２ａおよび適否判定手段４２ｃは、図１で説明した音声言語コーパス生成装置１と同じ構成であるため説明を省略する。
【００９９】
誤り率推定手段（誤り率算出手段）４２Ｂｂは、認識仮説ＳＲ２に対する字幕テキストＳＴ２の誤り率を推定（算出）するものである。
この誤り率推定手段４２Ｂｂは、事前に学習してあるミスマッチ確率記憶手段３０Ｂに記憶されているミスマッチ確率テーブルを参照し、発話区間ごとに、字幕テキストＳＴ２の誤り率を推定する。
すなわち、誤り率推定手段４２Ｂｂは、前記式（８）の代わりに、ミスマッチ確率を属性ごとに細分化した以下の式（１０）により、発話区間ｊにおける字幕テキストの誤り率の期待値Ｅ［ＲＣｊ］を算出する。
【０１００】
【数７】
0006637332.tif 000008
【０１０１】
ここで、Ｎｋ，ｈｊは、発話区間ｊにおける品詞ｈごとの対応パターンｋに対応する対の数である。なお、この品詞ｈは、属性解析手段４３によって解析されたものである。
【０１０２】
誤り率推定手段４２Ｂｂは、この式（１０）で計算した字幕テキストの誤り率の期待値を、発話区間ごとの字幕テキストの誤り率として、適否判定手段４２ｃに出力する。
以上説明したように音声言語コーパス生成装置１Ｃを構成することで、音声言語コーパス生成装置１Ｃは、番組音声に対する字幕テキストのミスマッチの傾向を単語の属性（品詞等）ごとに細分化して求め、字幕テキストの誤り率の精度を高めることができ、音声言語コーパス生成装置１に比べて、さらに、高精度な音響モデルを学習するため必要となる音声言語コーパスを生成することができる。
【０１０３】
属性解析手段４３は、字幕テキストＳＴ２の各単語の属性を解析するものである。この属性解析手段４３は、属性解析手段１３と同じ属性を解析することとする。
この属性解析手段４３は、解析結果となる属性（品詞）ＡＴ２を、字幕テキストＳＴ２の各単語に対応付けて、コーパス選択手段４２Ｂに出力する。
なお、音声言語コーパス生成装置１Ｃは、図示を省略したコンピュータを、前記した各手段として機能させるプログラム（音声言語コーパス生成プログラム）で動作させることができる。
【０１０４】
〔音声言語コーパス生成装置の動作〕
次に、音声言語コーパス生成装置１Ｃの動作について説明する。
音声言語コーパス生成装置１Ｃの動作は、基本的には、図７，図８で説明した音声言語コーパス生成装置１の動作と同じであるが、以下の点が異なっている。
【０１０５】
すなわち、音声言語コーパス生成装置１Ｃは、図７に示した動作において、ステップＳ１の前後、または、並行して、属性解析手段１３によって、字幕テキストＳＴ１の各単語の属性を解析する。
また、音声言語コーパス生成装置１Ｃは、ステップＳ３で、ミスマッチ確率算出手段１２Ｂの確率算出手段１２Ｂｂによって、字幕テキストおよび認識仮説の対応パターン（図２参照）および単語の属性（品詞等）ごとに、字幕テキストおよび書き起こしに発生するミスマッチパターン（図４参照）の確率（ミスマッチ確率）を算出する。
【０１０６】
そして、音声言語コーパス生成装置１Ｃは、ステップＳ４で、確率算出手段１２Ｂｂによって、対応パターンとミスマッチパターンとに属性（品詞等）ごとのミスマッチ確率を対応付けたミスマッチ確率テーブルを生成し、ミスマッチ確率記憶手段３０Ｂに記憶する。
また、音声言語コーパス生成装置１Ｃは、図８に示した動作において、ステップＳ１３で、コーパス選択手段４２Ｂの誤り率推定手段４２Ｂｂによって、前記式（１０）により、字幕テキストの誤り率を算出する。
【０１０７】
≪実施例≫
ここで、図１５，図１６を参照して、音声言語コーパス生成装置１Ｃで用いるミスマッチ確率テーブルの具体例について説明する。ここでは、ＮＨＫの放送番組「ひるまえ  ほっと」（１６時間程度）を用いて生成したミスマッチ確率テーブルについて示す。
字幕テキストの単語の属性（品詞）と音声認識結果（認識仮説）とは、図１５に示すような割合（％）で、それぞれの対応パターンII〜IVに対応していた。ここで、パターンIは、認識仮説の単語が字幕テキストに対応しないパターンであるため、図１５には存在しない。なお、参考までに、字幕テキストの単語を属性（品詞）で分類しない場合の割合（平均）を最下段に示している。
図１５に示すように、品詞の分類を行わない平均に対し、例えば、感動詞については、字幕テキストと認識仮説とが一致する割合が低いことがわかる（対応パターンIV）。
【０１０８】
図１６に、音声言語コーパス生成装置１Ｃが、この放送番組について生成したミスマッチ確率テーブルを示す。
図１６に示すように、例えば、感動詞の字幕テキストの単語と認識仮説の単語とが不一致（対応パターンII）の場合、ミスマッチ（置換ミスマッチＳ）の割合が高いことがわかる。
このように、図１５，図１６ともに、分類を行わなかった場合の割合から、大きく割合がずれる品詞が存在し、単語の品詞によって、字幕テキストの誤り率に影響を与えることが分かる。
本発明は、字幕テキストの単語の属性を考慮して、字幕テキストの誤り率を求めるため、特定の番組の音響モデルのコーパスとして、より適したコーパスを字幕テキストから選択することが可能になる。
【０１０９】
≪第４実施形態≫
次に、図１７を参照して、本発明の第４実施形態に係る音声言語コーパス生成装置１Ｄについて説明する。
第３実施形態に係る音声言語コーパス生成装置１Ｃ（図１３参照）では、字幕テキストの単語の属性を、字幕テキストそのものを解析することで求めた。
しかし、この第４実施形態に係る音声言語コーパス生成装置１Ｄでは、字幕テキストＳＴ１に対応する番組音声ＳＳ１の音量、音質等の音響特性を属性として、字幕テキストの単語の属性とする。
【０１１０】
図１７に示すように、音声言語コーパス生成装置１Ｄは、ミスマッチ確率学習手段１０Ｃと、音響モデル記憶手段２０と、ミスマッチ確率記憶手段３０Ｂと、音声言語コーパス選択手段４０Ｂと、音声言語コーパス記憶手段５０と、を備える。
ミスマッチ確率学習手段１０Ｃ、音声言語コーパス選択手段４０Ｃ以外の構成は、図１３で説明した音声言語コーパス生成装置１Ｃと同じ構成であり、使用する属性のみが異なっているため、ここでは説明を省略する。
【０１１１】
ミスマッチ確率学習手段１０Ｃは、書き起こしＴＣ１に対して字幕テキストＳＴ１の単語が一致（マッチ）しない確率（ミスマッチ確率）をミスマッチのパターンと単語の属性（ここでは、音響特性）ごとに学習するものである。
ここでは、ミスマッチ確率学習手段１０Ｃは、音声認識手段１１Ｂと、ミスマッチ確率算出手段１２Ｃと、属性解析手段１３Ｂと、を備える。
【０１１２】
音声認識手段１１Ｂは、番組音声を音声認識するものである。この音声認識手段１１Ｂは、音声認識手段１１（図１）と同じ機能に加え、認識結果である認識仮説ＳＲ１に番組音声のタイムコードを付与する機能を有する。
この音声認識手段１１Ｂは、タイムコードを付与した認識仮説ＳＲ１をミスマッチ確率算出手段１２Ｃに出力する。
【０１１３】
属性解析手段１３Ｂは、番組音声の音響特性を分類するものである。この属性解析手段１３Ｂは、入力された番組音声ＳＳ１を単語ごとに分類する。
例えば、属性解析手段１３Ｂは、音響特性として、音量レベルを予め定めた範囲区分で分類したり、バックグラウンドの音（雑音、音楽等）の音質で分類したりすることができる。
なお、バックグラウンドの音に関する分類は、一般的手法、例えば、「参考文献：T.Butko and C.Nadeu,“Audio segmentation of broadcast news in the Albayzin-2010 evaluation: overview, results, and discussion”, EURASIP Journal on Audio, Speech, and Music Processing 2011」に記載の手法を用いることができる。
【０１１４】
例えば、属性解析手段１３Ｂは、この参考文献に記載の既知の手法によって、番組音声を、「音声」、「音楽」、「背景に雑音が重畳する音声」、「背景に音楽が重畳する音声」、「その他」の各属性に分類する。
この属性解析手段１３Ｂは、分類した属性に、番組音声のタイムコードを付与してミスマッチ確率算出手段１２Ｃに出力する。
【０１１５】
ミスマッチ確率算出手段１２Ｃは、字幕テキストＳＴ１と認識仮説ＳＲ１との単語の対応パターンおよび単語の属性（音響特性）ごとに、字幕テキストＳＴ１と書き起こしＴＣ１とがミスマッチする確率（ミスマッチ確率）を対応付けたミスマッチ確率テーブルを生成するものである。
ここでは、ミスマッチ確率算出手段１２Ｃは、アライメント手段１２Ｃａと、確率算出手段１２Ｃｂと、を備える。
【０１１６】
アライメント手段１２Ｃａは、音声認識手段１１Ｂで音声認識された発話区間の単語列ごとに、認識仮説ＳＲ１、字幕テキストＳＴ１および書き起こしＴＣ１を単語単位でアライメントするものである。このアライメント手段１２Ｃａは、アライメント手段１２ａ（図１）と同じ機能に加え、認識仮説ＳＲ１に対応する字幕テキストＳＴ１の単語に、認識仮説ＳＲ１に付与されているタイムコート同じ時刻の音響分類手段１４で分類された属性を対応付ける。
このアライメント手段１２Ｃａは、発話区間ごとに、アライメント結果を確率算出手段１２Ｃｂに出力する。
【０１１７】
確率算出手段１２Ｃｂは、字幕テキストＳＴ１と認識仮説ＳＲ１との単語の対応パターンおよび単語の属性（音響特性）ごとに、字幕テキストＳＴ１と書き起こしＴＣ１とのミスマッチパターンの確率（ミスマッチ確率）を算出するものである。
この確率算出手段１２Ｃｂは、基本的に確率算出手段１２Ｂｂ（図１３）と同様のミスマッチ確率を算出するが、その確率の算出を音響特性ごとに行う。ただし、図２に示すように、対応パターンIIIは、認識仮説で対応する単語がないため対応する音響特性はなく、前記式（２）のように、属性を考慮せずに算出する。
【０１１８】
音声言語コーパス選択手段４０Ｃは、入力される番組音声ＳＳ２およびそれに対応する字幕テキストＳＴ２から、特定の番組の音声認識用の音響モデルを学習するために適した音声言語コーパスを選択するものである。なお、番組音声ＳＳ２および字幕テキストＳＴ２は、図１で説明したものと同じである。
ここでは、音声言語コーパス選択手段４０Ｃは、音声認識手段４１と、コーパス選択手段４２Ｂと、属性解析手段４３Ｂと、を備える。音声認識手段４１、コーパス選択手段４２Ｂは、図１３で説明した音声言語コーパス生成装置１Ｃと同じ構成であるため説明を省略する。
【０１１９】
属性解析手段４３Ｂは、字幕テキストＳＴ２の各単語の属性を解析するものである。この属性解析手段４３Ｂは、属性解析手段１３Ｂと同じ属性を解析することとする。
この属性解析手段４３Ｂは、属性の解析結果を、コーパス選択手段４２Ｂに出力する。
【０１２０】
以上説明したように音声言語コーパス生成装置１Ｄを構成することで、音声言語コーパス生成装置１Ｄは、番組音声に対する字幕テキストのミスマッチの傾向を単語の属性（音響特性）ごとに細分化して求め、字幕テキストの誤り率の精度を高めることができ、音声言語コーパス生成装置１に比べて、さらに、高精度な音響モデルを学習するため必要となる音声言語コーパスを生成することができる。
なお、音声言語コーパス生成装置１Ｄは、図示を省略したコンピュータを、前記した各手段として機能させるプログラム（音声言語コーパス生成プログラム）で動作させることができる。
音声言語コーパス生成装置１Ｄの動作については、属性を解析する対象が異なるだけで、基本的に音声言語コーパス生成装置１Ｃ（図１３）と同じであるため、説明を省略する。
【０１２１】
≪変形例≫
以上、本発明の実施形態に係る音声言語コーパス生成装置１（図１），１Ｂ（図９），１Ｃ（図１３），１Ｄ（図１７）の構成および動作について説明したが、本発明はこれらの実施形態に限定されるものではない。
【０１２２】
例えば、ここでは、音声言語コーパス生成装置１，１Ｂ，１Ｃ，１Ｄの内部に音声認識手段１１（１１Ｂ），４１，７１を備える構成としたが、これらは、外部に備える構成であってもよい。
すなわち、音声言語コーパス生成装置１，１Ｂ，１Ｃ，１Ｄは、外部の音声認識手段で認識された認識仮説を入力することとしてもよい。
【０１２３】
また、ここでは、音声言語コーパス生成装置１，１Ｂ，１Ｃ，１Ｄの内部に各記憶手段を備える構成としたが、これらの記憶手段は、音声言語コーパス生成装置１，１Ｂ，１Ｃ，１Ｄと分離した外部の記憶装置としてもよい。
【０１２４】
また、ここでは、音声言語コーパス生成装置１，１Ｂ，１Ｃ，１Ｄは、ある特定の番組を対象として、１つ（１種類）の音声言語コーパスを生成することとした。
しかし、音声言語コーパス生成装置１，１Ｂ，１Ｃ，１Ｄは、タイトルの異なる複数の番組、あるいは、異なるジャンル（ニュース、スポーツ等）に分類される複数の番組といったように、所定の分類基準で分類されるそれぞれの番組に対して、対応する複数の音声言語コーパスを生成することとしてもよい。
【０１２５】
その場合、音声言語コーパス生成装置１，１Ｂ，１Ｃ，１Ｄには、特定の番組を分類する識別情報を入力することとし、その分類に対応する番組音声、字幕テキスト、書き起こしを入力することとする。
そして、音声言語コーパス生成装置１，１Ｂ，１Ｃ，１Ｄは、ミスマッチ確率算出手段１２（１２Ｂ，１２Ｃ）によって、図６または図１４に示したミスマッチ確率テーブルを生成する際に、ミスマッチ確率を、特定の番組を分類する識別情報ごとに複数生成することとする。
そして、音声言語コーパス生成装置１，１Ｂ，１Ｃ，１Ｄは、コーパス選択手段４２（４２Ｂ）によって、ミスマッチ確率テーブルの所定の識別情報に対応するミスマッチ確率を参照して、誤り率を算出し、コーパスを選択すればよい。
【０１２６】
また、音声言語コーパス生成装置１Ｃ，１Ｄは、音声言語コーパスを選択する基準となる閾値を固定としているが、音声言語コーパス生成装置１Ｂと同様に、さらに、音声言語コーパス記憶手段５０と、音響モデル学習手段６０と、コーパス判定閾値決定手段７０と、音響モデル記憶手段２０Ｂとを備えて閾値を適応化することとしてもよい。
【符号の説明】
【０１２７】
１，１Ｂ  音声言語コーパス生成装置
１０    ミスマッチ確率学習手段
１１    音声認識手段
１２    ミスマッチ確率算出手段
１２ａ  アライメント手段
１２ｂ  確率算出手段
１３    属性解析手段
２０    音響モデル記憶手段
２０Ｂ  音響モデル記憶手段
３０    ミスマッチ確率記憶手段
４０    音声言語コーパス選択手段
４１    音声認識手段
４２    コーパス選択手段
４２ａ  アライメント手段
４２ｂ  誤り率推定手段（誤り率算出手段）
４２ｃ  適否判定手段（コーパス適否判定手段）
４３    属性解析手段
５０    音声言語コーパス記憶手段
６０    音響モデル学習手段
７０    コーパス判定閾値決定手段
７１    音声認識手段
７２    閾値決定手段
７２ａ  アライメント手段
７２ｂ  認識率算出手段
７２ｃ  閾値適応化手段
【図１】
0006637332.tif 000009
【図２】
0006637332.tif 000010
【図３】
0006637332.tif 000011
【図４】
0006637332.tif 000012
【図５】
0006637332.tif 000013
【図６】
0006637332.tif 000014
【図７】
0006637332.tif 000015
【図８】
0006637332.tif 000016
【図９】
0006637332.tif 000017
【図１０】
0006637332.tif 000018
【図１１】
0006637332.tif 000019
【図１２】
0006637332.tif 000020
【図１３】
0006637332.tif 000021
【図１４】
0006637332.tif 000022
【図１５】
0006637332.tif 000023
【図１６】
0006637332.tif 000024
【図１７】
0006637332.tif 000025