(57)【特許請求の範囲】
【請求項１】
見出し語とその発音系列を示す音素列とを対応付けた発音辞書と、文脈依存音素の音響モデルと、音声とその書き起こしテキストとを対応付けた学習コーパスとにより、前記発音辞書における前記見出し語の発音系列を拡張する発音系列拡張装置であって、
前記音響モデルと前記発音辞書とにより、前記学習コーパスの音声の文脈依存音素の音素列である文脈依存音素列を生成するとともに、単一音素の音素列を生成する音素列生成手段と、
前記文脈依存音素を見出し語およびその発音系列とする文脈依存発音辞書を生成する文脈依存発音辞書生成手段と、
前記文脈依存音素列から、文脈依存音素ｎ−ｇｒａｍモデルを生成する文脈依存音素ｎ−ｇｒａｍモデル生成手段と、
前記文脈依存発音辞書と前記文脈依存音素ｎ−ｇｒａｍモデルとにより、前記学習コーパスの音声を音素単位で音声認識する音素認識手段と、
前記音素列生成手段で生成された単一音素の音素列である標準音素列と、前記音素認識手段で認識された音素列である実発話音素列とを対訳データとして、統計的機械翻訳モデルを生成する統計的機械翻訳モデル生成手段と、
設定される翻訳パラメータを用いて、前記統計的機械翻訳モデルにより、前記発音辞書に登録されている前記見出し語に対応する音素列を翻訳する翻訳手段と、
前記翻訳パラメータを設定するパラメータ設定手段と、
異なる翻訳パラメータごとに、前記翻訳手段で翻訳された音素列を新たな発音系列を示す音素列として前記見出し語に追加して、前記翻訳パラメータに対応する複数の拡張発音辞書候補を生成する拡張手段と、
既知の学習データである音声と当該音声に対応する単語列とに基づいて、前記複数の拡張発音辞書候補の中から拡張発音辞書を選択する発音辞書選択手段と、
を備えることを特徴とする発音系列拡張装置。
【請求項２】
前記発音辞書選択手段は、
前記音響モデルおよび前記拡張発音辞書候補を用いて、前記既知の学習データである音声に対応する単語列を強制単語アライメントして音素列に切り分けたときの音響尤度を、前記複数の拡張発音辞書候補ごとに算出する音響尤度算出手段と、
前記音響尤度算出手段で算出された音響尤度が最大となる拡張発音辞書候補を前記拡張発音辞書として選択する尤度最大辞書選択手段と、
を備えることを特徴とする請求項１に記載の発音系列拡張装置。
【請求項３】
前記発音辞書選択手段は、
前記既知の学習データである音声を音素認識した音素列と、前記音響モデルおよび前記拡張発音辞書候補を用いて、前記既知の学習データである音声に対応する単語列を強制音素アライメントした前記複数の拡張発音辞書候補ごとの最尤の音素列との編集距離を算出する編集距離算出手段と、
前記編集距離算出手段で算出された編集距離が最小となる拡張発音辞書候補を前記拡張発音辞書として選択する距離最小辞書選択手段と、
を備えることを特徴とする請求項１に記載の発音系列拡張装置。
【請求項４】
コンピュータを、請求項１から請求項３のいずれか一項に記載の発音系列拡張装置として機能させるための発音系列拡張プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発音辞書の発音系列に対して、発話音声の発音系列を拡張する発音系列拡張装置およびそのプログラムに関する。
【背景技術】
【０００２】
通常、音声認識では、単語と当該単語の発音系列（音素列）とを対応付けた発音辞書を用いている。この発音辞書には、一般的な辞書に記載されているような単語に対する読みが発音として登録されている。
しかし、表記上の読みと実際に発話された発音とでは異なることが多い。例えば、放送番組では、ニュース番組のアナウンサの正確な（発音辞書の発音と近い）発音に比べ、情報番組の出演者の発話は曖昧な発音が多い。
このように、実際に発話された発音が、発音辞書に登録された読みから変動を起こしていた場合、発音内容と単語が一致しないことになる。その場合、音声認識では、発音内容に近い単語を選択するため、誤認識が発生してしまう。
【０００３】
近年、このような発音変動（変形）に関する研究は、数多く行われている。
例えば、発音辞書に、標準的な発音に加え、発話音声を忠実に書き起こした書き起こしテキストを発音変動事例として追加登録する手法が開示されている（非特許文献１）。
この発話音声の書き起こしテキストを利用する手法は、発音変動の規則を、人手を介して登録する必要があり、また、その規則の元となる事例を多数得なければならない等、膨大な労力を要する。
【０００４】
そこで、本願の発明者らは、発音変動を音素列の変動として捉え、発音辞書の発音系列に対して、発話音声の発音系列（音素列）を拡張する手法を提案した（非特許文献２参照）。
この手法を用いることで、発話音声の書き起こしテキストを利用することなく、発音辞書に対して、実発話に基づく発音変動を考慮した発音系列を拡張することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】堤，加藤，小坂，好田，“発音変形依存モデルを用いた講演音声認識”，電子情報通信学会論文誌，vol.J89-D，No.2，pp.305-313，2006
【非特許文献２】一木，尾上，奥，小林，佐藤，“大規模コーパスから学習した音素翻訳モデルに基づく発音系列の自動生成”，一般社団法人日本音響学会，春季研究発表会講演論文集，1-1-9（2015）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献２の手法は、発話音声の書き起こしテキストを利用することなく、発音系列を拡張することができる点で優れているが、さらなる改良の余地があった。
非特許文献２には、統計的機械翻訳を行う際の素性の重みパラメータ（翻訳パラメータ）を最適化する方法について言及されていなかった。なお、素性とは、機械翻訳において、種々の識別の判定基準に使用する情報である。
一般に、統計的機械翻訳には、標準的な素性として、言語モデルや翻訳モデルの尤度、フレーズペナルティ、単語ペナルティ等の素性があり、これらの素性の重みを翻訳パラメータとして最適化して翻訳に用いている。
具体的には、統計的機械翻訳は、素性（言語モデル尤度等）ｋの重みλｋを翻訳パラメータとし、翻訳文候補をｅ、翻訳文候補の素性値（言語モデル尤度値等）をｆｋ（ｅ）としたとき、翻訳結果ｅ＾（ｅハット）を、以下の式（１）に示すように、ｆｋ（ｅ）の重み付けを最大にする翻訳文候補（仮説）ｅとして翻訳する。
【０００７】
【数１】
0006568429.tif 000002
【０００８】
このパラメータの最適化は、一般的な言語の翻訳の場合、翻訳結果と参照訳とが、文意が同じであるか等の評価値に基づいて、評価が高くなるように調整している。ここで、参照訳とは、一般的に原言語の翻訳前の評価文に対して専門家が実際に翻訳し作成したものである。
通常、統計的機械翻訳の素性の最適化には、ＢＬＥＵ（BiLingual Evaluation Understudy）、レーベンシュタイン（Levenshtein）距離、ＲＩＢＥＳ（Rank-based Intuitive Bilingual Evaluation Score）といった評価値を基準に最適化アルゴリズムを適用することで最適化を行っている。
しかし、非特許文献２の手法のように、発音系列を拡張する場合、評価基準となる参照訳が存在しないことに加え、発音系列の拡張に適切な評価値が知られていないため、言語モデル、翻訳モデル等の素性の重みパラメータ（翻訳パラメータ）を最適化することができなかった。
【０００９】
本発明は、このような問題に鑑みてなされたものであり、発音辞書の発音系列に対して、発話音声の発音系列（音素列）を拡張する際に翻訳パラメータを調整して、発音辞書を拡張することが可能な発音系列拡張装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、本発明に係る発音系列拡張装置は、見出し語とその発音系列を示す音素列とを対応付けた発音辞書と、文脈依存音素の音響モデルと、音声とその書き起こしテキストとを対応付けた学習コーパスとにより、前記発音辞書における前記見出し語の発音系列を拡張する発音系列拡張装置であって、音素列生成手段と、文脈依存音素発音辞書生成手段と、文脈依存音素ｎ−ｇｒａｍモデル生成手段と、音素認識手段と、統計的機械翻訳モデル生成手段と、翻訳手段と、パラメータ設定手段と、拡張手段と、発音辞書選択手段と、を備える構成とした。
【００１１】
かかる構成において、発音系列拡張装置は、音素列生成手段によって、文脈依存音素の音響モデルと発音辞書とにより、発音辞書の見出し語単位で音素のアライメント（強制アライメント）を行うことで音素列を生成する。
ここで、文脈依存音素とは、特定の音素を中心とした前後の音素列を考慮した音素、あるいは音素の単語内での位置（語頭、語中、語末等）である。代表的な文脈依存音素の一例は、３つの音素で構成されるトライフォン（ｔｒｉｐｈｏｎｅ）、５つの音素で構成されるクイントフォン（ｑｕｉｎｔｐｈｏｎｅ）がある。
【００１２】
そして、発音系列拡張装置は、文脈依存音素発音辞書生成手段によって、見出し語およびその発音系列を組とする、音素発音辞書を生成する。
また、発音系列拡張装置は、文脈依存音素ｎ−ｇｒａｍモデル生成手段によって、文脈依存音素の連接確率（ｎ−ｇｒａｍ）を統計的にモデル化する。
このように、文脈依存音素を単位として音素系列を拡張するため、音素単位で音声認識可能な発音辞書および言語モデルが生成されることになる。
【００１３】
そして、発音系列拡張装置は、音素認識手段によって、文脈依存音素発音辞書と文脈依存音素ｎ−ｇｒａｍモデルとにより、学習コーパスの音声を音素単位で音声認識することで、音声の前後の発音変動をより正確に表現した音素列を生成することができる。
【００１４】
そして、発音系列拡張装置は、統計的機械翻訳モデル生成手段によって、音素列生成手段で生成された単一音素の音素列である標準音素列と、音素認識手段で認識された音素列である実発話音素列とを対訳データとして学習し、標準音素列の任意のフレーズから実発話音素列の任意のフレーズへ翻訳するための確率モデルである統計的機械翻訳モデルを生成することで、正確な発音である標準音素列から、発音変動を伴った実発話音素列へ翻訳を行うためのモデルを生成する。
【００１５】
そして、発音系列拡張装置は、翻訳手段によって、設定される翻訳パラメータを用いて、統計的機械翻訳モデルにより、発音辞書に登録されている見出し語に対応する音素列が翻訳結果の文字列として翻訳される確率が最大となる文字列を求め、当該見出し語に対応する音素列を翻訳することで、発音辞書に登録されている正しい音素列に対して、発音変動を加味した音素列を生成する。
そして、発音系列拡張装置は、拡張手段によって、翻訳手段で翻訳された音素列を新たな発音系列を示す音素列として見出し語に追加することで、拡張した発音辞書を生成する。
このとき、発音系列拡張装置は、パラメータ設定手段によって、翻訳手段で使用する１以上の素性に対応する翻訳パラメータを複数設定することで、拡張手段によって、異なる翻訳パラメータごとに、拡張発音辞書の候補となる複数の拡張発音辞書候補が生成される。
【００１６】
そして、発音系列拡張装置は、発音辞書選択手段によって、既知の学習データである音声と当該音声に対応する単語列とに基づいて、複数の拡張発音辞書候補の中から拡張発音辞書を選択する。
この選択は、既知の学習データである音声に対応する単語列の音響尤度を最大とする拡張発音辞書候補を選択することとしてもよいし、既知の学習データである音声を音素認識した音素列と、拡張発音辞書候補を用いて既知の学習データである音声に対応する単語列の最尤音素列との編集距離が最小となる拡張発音辞書候補を選択することとしてもよい。
【００１７】
なお、発音系列拡張装置は、コンピュータを、音素列生成手段、文脈依存音素発音辞書生成手段、文脈依存音素ｎ−ｇｒａｍモデル生成手段、音素認識手段、統計的機械翻訳モデル生成手段、翻訳手段、パラメータ設定手段、拡張手段、発音辞書選択手段として機能させるための発音系列拡張プログラムで動作させることができる。
【発明の効果】
【００１８】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、発音辞書に対して、実発話に基づく発音変動を考慮して、発音系列を拡張することができる。また、本発明によれば、発音辞書における同様の発音変動が発生する見出し語に対して、発音系列を統計的な手段に基づいて拡張することができる。
また、本発明によれば、翻訳パラメータを変更して生成した拡張発音辞書候補の中から、既知の学習データに基づいて、適切な拡張発音辞書を選択することができる。このとき、翻訳パラメータをより多く設定することで、拡張発音辞書を最適化することが可能になる。
これによって、本発明で拡張された発音辞書を用いることで、今まで発音辞書に登録されていなかった標準的な発音以外の発音であっても、精度よく音声認識することが可能になる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１実施形態に係る発音系列拡張装置の構成を示すブロック構成図である。
【図２】図１のフレーズ翻訳モデル生成手段が生成するフレーズテーブルの例を示す図である。
【図３】図１の音素ｎ−ｇｒａｍモデル生成手段が使用する単語辞書の例を示す図である。
【図４】拡張された発音辞書（拡張発音辞書）の例を示す図である。
【図５】拡張発音辞書を用いた音声認識環境を説明するための説明図である。
【図６】本発明の第１実施形態に係る発音系列拡張装置の動作を示すフローチャートである。
【図７】本発明の第２実施形態に係る発音系列拡張装置の構成を示すブロック構成図である。
【図８】本発明の第２実施形態に係る発音系列拡張装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について図面を参照して説明する。
≪第１実施形態≫
〔発音系列拡張装置の構成〕
まず、図１を参照して、本発明の第１実施形態に係る発音系列拡張装置１の構成について説明する。
【００２１】
発音系列拡張装置１は、発音辞書１００に登録されている発音（発音系列）に、実発話による発音（発音系列）を対応付けて拡張し、拡張発音辞書１０３を生成するものである。この発音系列拡張装置１は、発音辞書１００と、音響モデル１０１と、学習コーパス１０２とから、発音辞書１００に登録されていない発音系列を拡張することで、拡張発音辞書１０３を生成する。
【００２２】
発音辞書１００は、拡張の元となる発音辞書で、所定の文字列である見出し語（ここでは、単語とする）ごとに、その発音系列を示す子音と母音との構成（音素列）を示した辞書である。
この発音辞書１００は、従来の発音辞書として、人手を介して文字列（単語）とその発音系列とを対応付けた辞書であってもよいし、発音系列拡張装置１によって拡張された拡張発音辞書１０３をさらに拡張させたい場合は、拡張発音辞書１０３を発音辞書１００として用いてもよい。
【００２３】
音響モデル１０１は、大量の音声データから予め学習した音素ごとの音響特徴量（メル周波数ケプストラム係数等）を隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）によってモデル化したものである。本実施例における音響モデル１０１は、従来の音声認識において用いられるトライフォンＨＭＭである。
なお、音響モデル１０１における音響特徴量の尤度計算は、従来より用いられているガウス混合モデル（ＧＭＭ：Gaussian mixture model）音響モデルであっても、ディープニュートラルネットワーク（ＤＮＮ：Deep Neural Network）音響モデルであっても構わない。
【００２４】
学習コーパス１０２は、予め大量の音声データ（音声コーパス）と、音声データの書き起こしテキスト（テキストコーパス）とを対応付けたデータである。この学習コーパス１０２は、例えば、ニュース番組、情報番組等におけるアナウンサ、リポータ等の約１０００時間程度の音声（音声コーパス）と、その音声を書き起こしたテキスト（テキストコーパス）である。
なお、発音辞書１００、音響モデル１０１および学習コーパス１０２は、それぞれ図示を省略した記憶手段に記憶されているものとする。
【００２５】
拡張発音辞書１０３は、発音系列拡張装置１によって、発音辞書１００が拡張された辞書である。すなわち、拡張発音辞書１０３は、発音辞書１００に登録されている文字列の発音系列（音素列）に、さらに、実発話により表現される発音系列（音素列）が拡張された辞書である。
以下、発音系列拡張装置１の構成について詳細に説明する。
【００２６】
図１に示すように、発音系列拡張装置１は、音素列生成手段１０と、文脈依存発音辞書生成手段１１と、文脈依存音素ｎ−ｇｒａｍモデル生成手段１２と、音素認識手段１３と、統計的機械翻訳モデル生成手段１４と、翻訳手段１５と、拡張手段１６と、パラメータ設定手段１７と、発音辞書選択手段１８と、を備える。
【００２７】
音素列生成手段１０は、発音辞書１００と音響モデル１０１とに基づいて、学習コーパス１０２の音声（音声コーパス）を強制アライメントすることで、当該音声を、発音辞書１００に登録されている文字列に対応する音素列に切り分けるものである。
すなわち、音素列生成手段１０は、学習コーパス１０２の音声から、音響モデル１０１に対応する音響特徴量を抽出する。そして、音素列生成手段１０は、音響モデル１０１の文脈依存ＨＭＭを用いて、音声の書き起こしテキスト（テキストコーパス）を事前知識とする音声認識を行うことで、音声を、発音辞書１００に登録されている文字列（見出し語）に対応して切り分け（強制アライメント）、各文字列に対応する文脈依存音素列を抽出する。
【００２８】
この音素列生成手段１０は、生成した文脈依存音素１０ｔを１つの単語として、図示を省略した記憶手段に記憶する。この文脈依存音素１０ｔは、文脈依存発音辞書生成手段１１および文脈依存音素ｎ−ｇｒａｍモデル生成手段１２において利用される。
また、音素列生成手段１０は、文脈依存音素列から文脈非依存の音素列に変換し、標準音素列１０ｍとする。この文脈非依存の音素列は、例えば、文脈依存音素列の中心音素を抽出したモノフォン（単一音素）の音素列である。この標準音素列１０ｍは図示を省略した記憶手段に記憶され、統計的機械翻訳モデル生成手段１４において利用される。
【００２９】
文脈依存発音辞書生成手段１１は、見出し語およびその発音系列を組とする音素発音辞書（文脈依存発音辞書１１ｔ）を生成するものである。
この文脈依存発音辞書生成手段１１は、生成した文脈依存発音辞書１１ｔを、図示を省略した記憶手段に記憶する。この文脈依存発音辞書１１ｔは、音素認識手段１３において利用される。
【００３０】
文脈依存音素ｎ−ｇｒａｍモデル生成手段１２は、音素列生成手段１０で生成された複数の文脈依存音素１０ｔから、ｎ−ｇｒａｍモデル（文脈依存音素ｎ−ｇｒａｍモデル１２ｔ）を生成するものである。この文脈依存音素ｎ−ｇｒａｍモデル１２ｔは、音素列生成手段１０で生成された複数の文脈依存音素１０ｔから、ｎ−ｇｒａｍモデルにより統計的にモデル化したものである。
【００３１】
文脈依存音素ｎ−ｇｒａｍモデル１２ｔは、文脈依存音素１０ｔの出現頻度等をモデル化したものであって、生成手法は従来の単語に基づく言語モデルの手法と同じであるため、ここでは、詳細な説明を省略する。
この文脈依存音素ｎ−ｇｒａｍモデル生成手段１２は、生成した文脈依存音素ｎ−ｇｒａｍモデル１２ｔを、図示を省略した記憶手段に記憶する。この文脈依存音素ｎ−ｇｒａｍモデル１２ｔは、音素認識手段１３において利用される。
【００３２】
音素認識手段１３は、音響モデル１０１と、文脈依存発音辞書１１ｔと、文脈依存音素ｎ−ｇｒａｍモデル１２ｔとを用いて、学習コーパス１０２の音声から音素を認識するものである。
この音素認識手段１３は、学習コーパス１０２の音声から音響特徴量を抽出し、音響モデル１０１と文脈依存発音辞書１１ｔとから文脈依存音素の候補をリストアップし、文脈依存音素ｎ−ｇｒａｍモデル１２ｔに基づく接続確率が最大となる音素列を認識結果とする。
すなわち、一般的な音声認識が単語単位で認識するのに対し、音素認識手段１３は、文脈依存音素単位で認識し、実発話の音素列を生成する。
【００３３】
このように、音素認識手段１３は、音素環境依存を考慮したものであるため、精度よく音素を認識することができる。
この音素認識手段１３は、認識した音素列（実発話音素列１３ｍ）を、図示を省略した記憶手段に記憶する。この実発話音素列１３ｍは、統計的機械翻訳モデル生成手段１４において利用される。
【００３４】
統計的機械翻訳モデル生成手段１４は、元の発音辞書１００を用いて生成された標準音素列１０ｍを原言語とし、文脈依存発音辞書１１ｔおよび文脈依存音素ｎ−ｇｒａｍモデル１２ｔを用いて生成された実発話音素列１３ｍを目的言語とする翻訳モデル（統計的機械翻訳モデル）を生成するものである。
【００３５】
ここで、統計的機械翻訳モデルは、ベイズの定理により、原言語ｆが目的言語ｅに翻訳される確率が最大となって翻訳結果ｅ＾（ｅハット）が生成されるモデルとして、以下の式（２）で定式化されている。
【００３６】
【数２】
0006568429.tif 000003
【００３７】
この式（２）で、Ｐｒ（ｅ｜ｆ）は、原言語ｆが目的言語ｅに翻訳される条件付き確率を示す。また、Ｐｒ（ｆ｜ｅ）は、翻訳モデル（フレーズ翻訳モデル）であって、目的言語ｅが原言語ｆに翻訳される条件付き確率を示す。また、Ｐｒ（ｅ）は、目的言語ｅの言語モデルであって、目的言語ｅの事前確率を示す。
ここでは、統計的機械翻訳モデル生成手段１４は、フレーズ翻訳モデル生成手段１４１と、音素ｎ−ｇｒａｍモデル生成手段１４２と、を備える。
【００３８】
フレーズ翻訳モデル生成手段１４１は、音素列生成手段１０で生成された音素列である標準音素列１０ｍと、音素認識手段１３で生成された文脈依存音素列である実発話音素列１３ｍとを対訳データとして、標準音素列１０ｍのあるフレーズ（原言語フレーズ）が、実発話音素列１３ｍのあるフレーズ（目的言語フレーズ）に翻訳される翻訳モデル（フレーズ翻訳モデル）を生成するものである。すなわち、フレーズ翻訳モデル１４１ｍは、前記式（２）の翻訳モデルＰｒ（ｆ｜ｅ）を生成するものである。
【００３９】
なお、対訳データを用いて、翻訳モデルを生成する手法は一般的な手法を用いることができる。例えば、P.Koehnらによる“Moses: Open Source Toolkit for Statistical Machine Translation”（Proceedings of the ACL 2007 Demo and Poster Sessions, pages 177-180）に記載されているようなＭｏｓｅｓ等のツールを用いることができる。
【００４０】
このフレーズ翻訳モデル生成手段１４１は、例えば、フレーズ翻訳モデル１４１ｍとして、図２に示すように、「原言語フレーズ」が「目的言語フレーズ」に翻訳される「確率［％］」をテーブル情報（フレーズテーブルＦＴ）として生成する。
例えば、図２では、原言語フレーズの「ｋａＱｋｏｋ」が目的言語フレーズの「ｋａｋｏｋ」に翻訳される確率は、６０．２０（％）であることを示している。
なお、図２のフレーズテーブルＦＴの「例」の欄は、参考までに、各フレーズを音素列として含む単語を示しており、実際にテーブル内に含まれるものではない。
【００４１】
このフレーズ翻訳モデル生成手段１４１は、生成したフレーズ翻訳モデル１４１ｍを、図示を省略した記憶手段に記憶する。このフレーズ翻訳モデル１４１ｍは、統計的機械翻訳モデル１４ｍの一部として、翻訳手段１５において利用される。
【００４２】
音素ｎ−ｇｒａｍモデル生成手段１４２は、音素認識手段１３で生成された音素列である目的言語の実発話音素列１３ｍから、言語モデル（音素ｎ−ｇｒａｍモデル１４２ｍ）を生成するものである。この音素ｎ−ｇｒａｍモデル１４２ｍは、音素認識手段１３で生成された実発話音素列１３ｍから、音素（モノフォン）のｎ−ｇｒａｍを統計的にモデル化したものである。すなわち、音素ｎ−ｇｒａｍモデル生成手段１４２は、前記式（２）の言語モデルＰｒ（ｅ）を生成するものである。
【００４３】
ここでは、音素ｎ−ｇｒａｍモデル生成手段１４２は、予め所定数（例えば、４０個）の音素を単語とする単語辞書（不図示）を参照し、学習テキストとして実発話音素列１３ｍを入力して、音素ｎ−ｇｒａｍモデル１４２ｍを生成する。この音素ｎ−ｇｒａｍモデル生成手段１４２が使用する単語辞書の単語は、例えば、図３に示すような音素とする。
【００４４】
一般的な言語モデルの生成が単語の出現頻度等をモデル化したものであるのに対し、音素ｎ−ｇｒａｍモデル１４２ｍは、音素の出現頻度等をモデル化したものである。よって、音素ｎ−ｇｒａｍモデル生成手段１４２は、その対象となる素材（単語または音素）が異なるのみで、生成手法は従来の言語モデルの手法と同じであるため、ここでは、詳細な説明を省略する。
【００４５】
この音素ｎ−ｇｒａｍモデル生成手段１４２は、生成した音素ｎ−ｇｒａｍモデル１４２ｍを、図示を省略した記憶手段に記憶する。この音素ｎ−ｇｒａｍモデル１４２ｍは、統計的機械翻訳モデル１４ｍの一部として、翻訳手段１５において利用される。
【００４６】
翻訳手段１５は、パラメータ設定手段１７で設定される翻訳パラメータを用いて、元の発音辞書１００に登録されている見出し語の発音系列（音素列）を、統計的機械翻訳モデル生成手段１４で生成された統計的機械翻訳モデル１４ｍに基づいて翻訳するものである。
すなわち、翻訳手段１５は、前記式（２）により、見出し語の発音（原言語ｆの音素列に相当）が、フレーズ翻訳モデル１４１ｍであるＰｒ（ｆ｜ｅ）と、音素ｎ−ｇｒａｍモデル１４２ｍであるＰｒ（ｅ）との同時確率が最大となる音素列を、見出し語の翻訳文（目的言語ｅの音素列に相当）として生成する。
【００４７】
なお、パラメータ設定手段１７で設定される翻訳パラメータは、統計的機械翻訳を行う際の素性の重みであって、１以上の素性に対応するパラメータ群である。すなわち、翻訳手段１５は、前記式（２）を素性ごとに対数表現した前記式（１）において、素性ｋごとの重みλｋを用いて、前記式（１）により、翻訳文を生成する。
この素性は、例えば、前記したＭｏｓｅｓを用いて翻訳を行う場合であれば、言語モデル（音素ｎ−ｇｒａｍモデル１４２ｍ）重み、翻訳モデル（フレーズ翻訳モデル１４１ｍ）、単語ペナルティ（出力文の長さ制限）等である。
この翻訳手段１５は、元の発音辞書１００に登録されている見出し語ごとに、対応する発音系列の翻訳文を生成し、拡張手段１６に出力する。
【００４８】
拡張手段１６は、元の発音辞書１００に登録されている見出し語の発音系列に、翻訳手段１５で翻訳された新たな発音（翻訳文）である音素列を拡張するものである。
すなわち、拡張手段１６は、元の発音辞書１００に登録されている見出し語に対応する翻訳文が翻訳手段１５から入力されるたびに、その翻訳文（音素列）と、元の発音辞書１００に登録されている発音系列（音素列）とを比較する。そして、拡張手段１６は、翻訳文と元の発音系列とが一致しない場合、当該見出し語に対して、翻訳文を新たな発音系列として追加する。
【００４９】
ここでは、拡張手段１６は、元の発音辞書１００の見出し語に対する発音系列（元の発音系列および新たな発音系列）を、新たな発音辞書として拡張発音辞書候補１６ｄを生成する。もちろん、拡張手段１６は、元の発音辞書１００に新たな発音系列のみを追加することとしてもよい。
この拡張手段１６は、パラメータ設定手段１７による新たな翻訳パラメータの設定が実施されるたびに、順次、新たな拡張発音辞書候補１６ｄを生成し、図示を省略した記憶手段に記憶する。また、拡張手段１６は、新たな拡張発音辞書候補１６ｄを生成した旨を、発音辞書選択手段１８に通知する。
【００５０】
パラメータ設定手段１７は、翻訳手段１５で用いる素性の翻訳パラメータを順次変更して設定するものである。すなわち、パラメータ設定手段１７は、前記式（１）において、素性ｋごとの重みλｋを適宜変更して、翻訳手段１５に出力することで、翻訳を実行させる。
このパラメータ設定手段１７は、翻訳パラメータを構成する素性ごとの個々のパラメータの予め定めた制限範囲内の値を格子とする格子探索法により、適宜パラメータを変更することで、異なる翻訳パラメータを設定する。なお、パラメータ設定手段１７は、すべての素性のパラメータを網羅的に変更する必要はなく、予め定めたパラメータについてのみ変更を行うこととしてもよい。
【００５１】
このパラメータ設定手段１７は、翻訳パラメータを設定するたびに、その旨を拡張手段１６に通知する。また、パラメータ設定手段１７は、翻訳パラメータの変更がすべて完了した場合、その旨を発音辞書選択手段１８に通知する。
【００５２】
発音辞書選択手段１８は、既知の学習データに基づいて、拡張手段１６によって順次生成される複数の拡張発音辞書候補１６ｄ，１６ｄ，…の中から１つを選択するものである。この発音辞書選択手段１８は、１つの拡張発音辞書候補１６ｄを選択する基準として、既知の学習データに対する音響尤度を用いる。
ここでは、発音辞書選択手段１８は、音響尤度算出手段１８１と、尤度最大辞書選択手段１８２と、を備える。
【００５３】
音響尤度算出手段１８１は、音響モデル１０１および拡張発音辞書候補１６ｄを用いて、既知の学習データである音声に対応する単語列（テキスト）を強制アライメント（強制単語アライメント）して、当該単語列を音素列に切り分けたときの音響尤度を算出するものである。なお、強制アライメントにより音響尤度を求めるには、一般的な手法、例えば、Ｋａｌｄｉ Ｔｏｏｌｋｉｔ等のツールを用いることができる。
また、ここでは、既知の音声およびそれに対応する単語列として、学習コーパス１０２の一部を用いるが、学習コーパス１０２とは異なる音声と、その音声の書き起こしテキストであっても構わない。
この音響尤度算出手段１８１は、算出した音響尤度を尤度最大辞書選択手段１８２に出力する。
【００５４】
尤度最大辞書選択手段１８２は、音響尤度算出手段１８１で算出された音響尤度が最大となる拡張発音辞書候補１６ｄを選択するものである。
ここでは、尤度最大辞書選択手段１８２は、拡張手段１６によって、拡張発音辞書候補１６ｄが生成されるたびに、前回生成された拡張発音辞書候補１６ｄと今回生成された拡張発音辞書候補１６ｄとの音響尤度算出手段１８１で算出された音響尤度を比較し、音響尤度の大きい拡張発音辞書候補１６ｄを記憶手段（不図示）に残し、音響尤度の小さい拡張発音辞書候補１６ｄを記憶手段（不図示）から削除する。
【００５５】
そして、尤度最大辞書選択手段１８２は、パラメータ設定手段１７からすべての翻訳パラメータの変更が完了した旨を通知された段階で、記憶手段（不図示）に存在する拡張発音辞書候補１６ｄを拡張発音辞書１０３とする。
これによって、発音辞書選択手段１８は、翻訳パラメータが最適化された状態で生成された拡張発音辞書候補１６ｄを選択することができる。
【００５６】
ここで、図４を参照して、発音系列拡張装置１によって拡張発音辞書１０３に追加された音素列の例について説明する。
図４に示すように、拡張発音辞書１０３は、「見出し語」、「元の音素列」、「追加音素列」で構成される。「見出し語」および「元の音素列」は、元の発音辞書１００に登録されているものと同じで、「追加音素列」が、発音系列拡張装置１によって追加されたものである。
【００５７】
例えば、図４では、見出し語「女川湾」に元の音素列「ｏｎａｇａｇａｗａＮ」が登録されており、発音系列拡張装置１によって、追加音素列「ｏｎａｇａｗａＮ」が追加された例を示している。また、同様に、見出し語「志津川湾」に元の音素列「ｓｈｉｚｕｇａｇａｗａＮ」が登録されており、発音系列拡張装置１によって、追加音素列「ｓｈｉｚｕｇａｗａＮ」が追加されている。
このように、発音系列拡張装置１は、発音のしにくさによって、単語内の音素列「ｇａｗａｗａ」が「ｇａｗａ」に発音変動する場合、個別に手動でこの変動規則を設定する必要がない。
【００５８】
また、図４では、見出し語「ホームグラウンド」に元の音素列「ｈｏ：ｍｕｇｕｒａｕＮｄｏ」が登録されており、発音系列拡張装置１によって、追加音素列「ｈｏ：ｍｕｒａｕＮｄｏ」が追加された例を示している。
このように、発音系列拡張装置１は、長い単語中の発音しにくい奥舌性子音の「ｇ」の欠落についても発音辞書に追加することができる。
【００５９】
なお、発音系列拡張装置１が生成する拡張発音辞書１０３は、一般的な音声認識装置、例えば、大語彙連続音声認識装置において使用することができる。その場合、例えば、図５に示すように、大語彙連続音声認識装置２００は、発音系列拡張装置１が生成する拡張発音辞書１０３に加え、既存の音響モデル１０１と言語モデル１０４とにより、入力音声を音声認識し認識結果を出力する。
【００６０】
以上説明したように発音系列拡張装置１を構成することで、発音系列拡張装置１は、発音変動を、学習コーパス１０２を用いて発音辞書に追加することができる。また、発音系列拡張装置１は、素性の重みパラメータ（翻訳パラメータ）を最適化して、拡張発音辞書を生成することができる。
なお、発音系列拡張装置１は、図示を省略したコンピュータを、前記した各手段として機能させるプログラム（発音系列拡張プログラム）で動作させることができる。
【００６１】
〔発音系列拡張装置の動作〕
次に、図６を参照（構成については適宜図１参照）して、本発明の第１実施形態に係る発音系列拡張装置１の動作について説明する。
【００６２】
まず、発音系列拡張装置１は、学習コーパス１０２の音声（音声コーパス）から、文脈依存音素列と、文脈非依存音素列とを生成する。
すなわち、発音系列拡張装置１は、音素列生成手段１０によって、発音辞書１００と音響モデル１０１とに基づいて、学習コーパス１０２の音声（音声コーパス）を強制アライメントし、発音辞書１００に登録されている文字列に対応する文脈依存音素列を生成する（ステップＳ１）。
【００６３】
さらに、音素列生成手段１０は、ステップＳ１で生成された文脈依存音素列から文脈非依存の単一音素の音素列を生成する（ステップＳ２）。
このステップＳ２で生成された音素列は、後のステップＳ６で使用する原言語の音素列（標準音素列１０ｍ）である。
【００６４】
そして、発音系列拡張装置１は、文脈依存発音辞書生成手段１１によって、ステップＳ１で生成された文脈依存音素列を、文脈依存音素ごとに、見出し語およびその発音系列とする発音辞書（文脈依存発音辞書１１ｔ）を生成する（ステップＳ３）。
【００６５】
さらに、発音系列拡張装置１は、文脈依存音素ｎ−ｇｒａｍモデル生成手段１２によって、ステップＳ１で生成された文脈依存音素列から、文脈依存音素を１つの単語とみなしたｎ−ｇｒａｍモデル（文脈依存音素ｎ−ｇｒａｍモデル１２ｔ）を生成する（ステップＳ４）。
【００６６】
そして、発音系列拡張装置１は、音素認識手段１３によって、ステップＳ３，Ｓ４でそれぞれ生成された文脈依存発音辞書１１ｔおよび文脈依存音素ｎ−ｇｒａｍモデル１２ｔを用いて、学習コーパス１０２の音声（音声コーパス）から音素を認識する（ステップＳ５）。
このステップＳ５で生成された音素列は、後のステップＳ６で使用する目的言語の音素列（実発話音素列１３ｍ）である。
【００６７】
そして、発音系列拡張装置１は、統計的機械翻訳モデル生成手段１４によって、ステップＳ２で生成された音素列（標準音素列１０ｍ）を原言語、ステップＳ５で認識された音素列（実発話音素列１３ｍ）を目的言語とする統計的機械翻訳モデルを生成する（ステップＳ６）。
【００６８】
すなわち、発音系列拡張装置１は、統計的機械翻訳モデル生成手段１４のフレーズ翻訳モデル生成手段１４１によって、標準音素列１０ｍと実発話音素列１３ｍとを対訳データとして、標準音素列１０ｍのあるフレーズが、実発話音素列１３ｍのあるフレーズに翻訳される翻訳モデル（フレーズ翻訳モデル１４１ｍ）を生成する。
そして、発音系列拡張装置１は、統計的機械翻訳モデル生成手段１４の音素ｎ−ｇｒａｍモデル生成手段１４２によって、実発話音素列１３ｍから、音素を１つの単語とみなして、ｎ−ｇｒａｍモデル（音素ｎ−ｇｒａｍモデル１４２ｍ）を生成する。
このステップＳ６で生成されたフレーズ翻訳モデル１４１ｍと音素ｎ−ｇｒａｍモデル１４２ｍとにより、前記式（２）で示す統計的機械翻訳モデル１４ｍが構成されることになる。
【００６９】
そして、発音系列拡張装置１は、パラメータ設定手段１７によって、翻訳手段１５で用いる素性のパラメータ（翻訳パラメータ）を設定する（ステップＳ７）。
【００７０】
さらに、発音系列拡張装置１は、翻訳手段１５および拡張手段１６によって、元の発音辞書１００を拡張した拡張発音辞書候補１６ｄを生成する（ステップＳ８）。
すなわち、発音系列拡張装置１は、翻訳手段１５によって、元の発音辞書１００に登録されている見出し語の発音系列（音素列）を順次読み出し、ステップＳ６で生成された統計的機械翻訳モデル１４ｍと、ステップＳ７で設定された翻訳パラメータとに基づいて翻訳する。
そして、発音系列拡張装置１は、拡張手段１６によって、見出し語に対応する発音系列と、翻訳した発音系列とが異なる場合、翻訳した発音系列を当該見出し語の発音系列（音素列）として新たに追加することで、拡張発音辞書候補１６ｄを生成し、図示を省略した記憶手段に記憶する。
【００７１】
そして、発音系列拡張装置１は、発音辞書選択手段１８の音響尤度算出手段１８１によって、音響モデル１０１と拡張発音辞書候補１６ｄとを用いて、既知の音声データに対応する単語列を強制アライメントして、当該単語列を音素列に切り分けたときの音響尤度を算出する（ステップＳ９）。
【００７２】
そして、発音系列拡張装置１は、発音辞書選択手段１８の尤度最大辞書選択手段１８２によって、前回生成された拡張発音辞書候補１６ｄと今回生成された拡張発音辞書候補１６ｄとの音響尤度を比較し、音響尤度の大きい拡張発音辞書候補１６ｄを記憶手段（不図示）に残す（ステップＳ１０）。
【００７３】
その後、発音系列拡張装置１は、予め定めた翻訳パラメータの範囲内での変更が完了したか否かを判定する（ステップＳ１１）。
ここで、翻訳パラメータの変更が完了していない場合（ステップＳ１１でＮｏ）、発音系列拡張装置１は、ステップＳ７に戻って新たな翻訳パラメータを設定する。
一方、翻訳パラメータの変更が完了した場合（ステップＳ１１でＹｅｓ）、発音系列拡張装置１は、発音辞書選択手段１８によって、記憶手段（不図示）に存在する拡張発音辞書候補１６ｄを拡張発音辞書１０３として決定し（ステップＳ１２）、動作を終了する。
以上の動作によって、発音系列拡張装置１は、発音変動のある発話音声の発音系列（音素列）を最適化したパラメータにより生成して発音辞書に追加し、拡張することができる。
【００７４】
≪第２実施形態≫
〔発音系列拡張装置の構成〕
次に、図７を参照して、本発明の第２実施形態に係る発音系列拡張装置１Ｂの構成について説明する。この発音系列拡張装置１Ｂは、発音系列拡張装置１と同様に、発音辞書１００に登録されている発音（発音系列）に、実発話による発音（発音系列）を対応付けて拡張し、拡張発音辞書１０３を生成するものである。
【００７５】
図７に示すように、発音系列拡張装置１Ｂは、音素列生成手段１０と、文脈依存発音辞書生成手段１１と、文脈依存音素ｎ−ｇｒａｍモデル生成手段１２と、音素認識手段１３と、統計的機械翻訳モデル生成手段１４と、翻訳手段１５と、拡張手段１６と、パラメータ設定手段１７と、発音辞書選択手段１８Ｂと、を備える。
発音辞書選択手段１８Ｂ以外の構成は、図１で説明した発音系列拡張装置１と同じであるため、同一の符号を付して説明を省略する。
【００７６】
発音辞書選択手段１８Ｂは、既知の学習データに基づいて、拡張手段１６によって順次生成される複数の拡張発音辞書候補１６ｄ，１６ｄ，…の中から１つを選択するものである。この発音辞書選択手段１８Ｂは、拡張発音辞書候補１６ｄを選択する基準として、既知の学習データを音素認識した音素列とし、既知の学習データを強制音素アライメントした音素列との編集距離を用いる。
ここでは、発音辞書選択手段１８Ｂは、編集距離算出手段１８３と、距離最小辞書選択手段１８４と、を備える。
【００７７】
編集距離算出手段１８３は、既知の学習データである音声を音素認識した音素列と、音響モデル１０１および拡張発音辞書候補１６ｄを用いて、既知の学習データである音声に対応する単語列を強制アライメント（強制音素アライメント）した最尤の音素列との間の編集距離（レーベンシュタイン距離）を算出するものである。
ここでは、既知の音声およびそれに対応する単語列として、学習コーパス１０２の一部を用いるが、学習コーパス１０２とは異なる音声と、その音声の書き起こしテキストであっても構わない。
【００７８】
この編集距離算出手段１８３は、既知の学習データである音声を音素認識して、音素列を生成する。この音素認識は、音響モデル１０１と、文脈依存発音辞書１１ｔと、文脈依存音素ｎ−ｇｒａｍモデル１２ｔとを用いて、音素認識手段１３と同様の手法で認識することができる。ここでは、編集距離算出手段１８３は、既知の学習データである音声を音素認識手段１３で音声認識させ、その認識結果を用いることとする（なお、図７中、編集距離算出手段１８３と音素認識手段１３との接続線は図示を省略する）。ここでは、この音素認識により得られる音素列を、編集距離を測る基準の参照訳として用いる。
【００７９】
さらに、編集距離算出手段１８３は、音響モデル１０１と拡張発音辞書候補１６ｄとを用いて、既知の学習データである音声に対応する単語列（テキスト）を強制音素アライメントして、最尤の音素列を生成する。
ここで、参照訳をｒ、拡張発音辞書候補１６ｄに対応する音素列をｅとしたとき、レーベンシュタイン距離は、以下の式（３）に示すように、参照訳ｒから音素列ｅに変換するまでの最小の操作数Ｌｅｖ（ｒ，ｅ）で定義される。
【００８０】
【数３】
0006568429.tif 000004
【００８１】
この式（３）で、ｉｎｓ（ｒ，ｅ）、ｄｅｌ（ｒ，ｅ）、ｓｕｂ（ｒ，ｅ）は、それぞれ、参照訳ｒから音素列ｅに変換するまでの参照訳ｒに対する各操作（挿入、削除、置換）の回数である。
この編集距離算出手段１８３は、算出した編集距離を距離最小辞書選択手段１８４に出力する。
【００８２】
距離最小辞書選択手段１８４は、編集距離算出手段１８３で算出された編集距離が最小となる拡張発音辞書候補１６ｄを選択するものである。
ここでは、距離最小辞書選択手段１８４は、拡張手段１６によって、拡張発音辞書候補１６ｄが生成されるたびに、前回生成された拡張発音辞書候補１６ｄと今回生成された拡張発音辞書候補１６ｄとの編集距離算出手段１８３で算出された編集距離を比較し、編集距離の大きい拡張発音辞書候補１６ｄを記憶手段（不図示）から削除する。
【００８３】
そして、距離最小辞書選択手段１８４は、パラメータ設定手段１７からすべての翻訳パラメータの変更が完了した旨を通知された段階で、記憶手段（不図示）に存在する拡張発音辞書候補１６ｄを拡張発音辞書１０３とする。
これによって、発音辞書選択手段１８Ｂは、翻訳パラメータが最適化された状態で生成された拡張発音辞書候補１６ｄを選択することができる。
【００８４】
以上説明したように発音系列拡張装置１Ｂを構成することで、発音系列拡張装置１Ｂは、発音系列拡張装置１（図１参照）と同様に、発音変動を、学習コーパス１０２を用いて発音辞書に追加することができる。また、発音系列拡張装置１Ｂは、素性の重みパラメータ（翻訳パラメータ）を最適化して、拡張発音辞書を生成することができる。
なお、発音系列拡張装置１Ｂは、図示を省略したコンピュータを、前記した各手段として機能させるプログラム（発音系列拡張プログラム）で動作させることができる。
【００８５】
〔発音系列拡張装置の動作〕
次に、図８を参照（構成については適宜図７参照）して、本発明の第２実施形態に係る発音系列拡張装置１Ｂの動作について説明する。
【００８６】
発音系列拡張装置１Ｂの動作は、図６で説明した発音系列拡張装置１の動作に対して、複数の拡張発音辞書候補の中から１つを選択する動作が異なるのみである。
すなわち、発音系列拡張装置１の動作と発音系列拡張装置１Ｂの動作とは、図６のステップＳ９，Ｓ１０と図８のステップＳ９Ｂ，Ｓ１０Ｂの動作が異なるだけであるため、他の動作については、同一のステップ番号を付して説明を省略する。
【００８７】
ステップＳ８で拡張発音辞書候補１６ｄを生成した後、発音系列拡張装置１Ｂは、発音辞書選択手段１８Ｂの編集距離算出手段１８３によって、既知の学習データである音声を音素認識した音素列と、音響モデル１０１とステップＳ８で生成された拡張発音辞書候補１６ｄを用いて、既知の学習データである音声に対応する単語列を強制音素アライメントした最尤の音素列との間の編集距離（レーベンシュタイン距離）を算出する（ステップＳ９Ｂ）。
【００８８】
そして、発音系列拡張装置１Ｂは、発音辞書選択手段１８Ｂの距離最小辞書選択手段１８４によって、前回生成された拡張発音辞書候補１６ｄと今回生成された拡張発音辞書候補１６ｄとの編集距離を比較し、編集距離の小さい拡張発音辞書候補１６ｄを記憶手段（不図示）に残す（ステップＳ１０Ｂ）。
その後の動作は、発音系列拡張装置１の動作と同じである。
以上の動作によって、発音系列拡張装置１Ｂは、発音変動のある発話音声の発音系列（音素列）を最適化したパラメータにより生成して発音辞書に追加し、拡張することができる。
【００８９】
以上、本発明の実施形態について説明したが、本発明は、これらの実施形態に限定されるものではない。
ここでは、発音辞書１００の見出し語として、単語を例として説明した。しかし、発音系列拡張装置１，１Ｂは、音素を単位として発音変動の音素列を新たな発音系列とするため、必ずしも対象とする見出し語は単語である必要はなく、任意の文字列（複数の単語、文章等）であればよい。
これによって、発音系列拡張装置１，１Ｂは、単語内の発音変動のみならず、単語間の発音変動にも対応することができる。
【符号の説明】
【００９０】
１，１Ｂ  発音系列拡張装置
１０    音素列生成手段
１１    文脈依存発音辞書生成手段
１２    文脈依存音素ｎ−ｇｒａｍモデル生成手段
１３    音素認識手段
１４    統計的機械翻訳モデル生成手段
１４１  フレーズ翻訳モデル生成手段
１４２  音素ｎ−ｇｒａｍモデル生成手段
１５    翻訳手段
１６    拡張手段
１７    パラメータ変更手段
１８，１８Ｂ  発音辞書選択手段
１８１  音響尤度算出手段
１８２  尤度最大辞書選択手段
１８３  編集距離算出手段
１８４  距離最小辞書選択手段
１００  発音辞書
１０１  音響モデル
１０２  学習コーパス
１０３  拡張発音辞書
【図１】
0006568429.tif 000005
【図２】
0006568429.tif 000006
【図３】
0006568429.tif 000007
【図４】
0006568429.tif 000008
【図５】
0006568429.tif 000009
【図６】
0006568429.tif 000010
【図７】
0006568429.tif 000011
【図８】
0006568429.tif 000012