(57)【特許請求の範囲】
【請求項１】
音声認識処理により所定の入力音声から生成される音声認識結果の単語列を受けて、前記音声認識処理に後続する所定のフレーズベースの統計的自然言語処理の対象として、前記音声認識結果の単語列を構成する単語を受理すべきか否かを検査するための、音声認識結果の検査装置であって、
前記音声認識結果の検査装置は、前記自然言語処理において使用される統計的モデルの学習用のためのコーパスから所定の抽出方法で抽出されたフレーズの集合とともに用いられ、
前記音声認識結果の単語列を構成する単語にはそれぞれ前記音声認識処理により予め信頼度が付与され、
前記音声認識結果の検査装置は、
前記音声認識結果の単語列を構成する各単語に対し、当該単語を含む単語列であって前記音声認識結果の部分単語列をなす単語列のうち前記フレーズの集合内に一致するフレーズを持つ単語列の集合の関数として、前記自然言語処理に対する適合度を付与するための適合度付与手段と、
前記音声認識結果の単語列を構成する単語ごとに、前記適合度付与手段により当該単語に付与された適合度に応じて定められたしきい値と当該単語に付与された前記信頼度との比較により、当該単語を受理すべきか否かを決定するための決定手段とを含み、
前記適合度付与手段は、
前記フレーズの集合と、前記音声認識結果の部分単語列をなす単語列とを照合することにより、前記フレーズの集合内に一致するフレーズを持つ単語列を検出するための照合手段と、
前記音声認識結果の単語列を構成する各単語に対し、前記照合手段により検出された単語列のうち当該単語を含む単語列からなる集合をもとに、前記集合内に含まれる単語列のフレーズ長の最大値、平均値、若しくは和、又は、前記集合に含まれる要素の数に基づき、前記適合度を付与するための手段とを含む、音声認識結果の検査装置。
【請求項２】
前記自然言語処理は、前記入力音声の言語と所定のターゲット言語とのフレーズベースの統計翻訳処理を含み、
前記フレーズの集合は、前記入力音声の言語と前記所定のターゲット言語とのバイリンガルコーパスから、前記統計翻訳処理のための翻訳モデルを学習する過程で抽出されたフレーズの集合を含む、請求項１に記載の音声認識結果の検査装置。
【請求項３】
前記決定手段は、
前記適合度と前記しきい値とを対応付けて保持するための手段と、
前記音声認識結果の単語列を構成する単語ごとに、当該単語に付与された適合度をもとに、前記保持するための手段により保持された適合度としきい値とにしたがって、当該単語に対する前記しきい値を設定するための手段と、
前記音声認識結果の単語列を構成する単語ごとに、前記設定するための手段により設定された前記しきい値と当該単語に付与された前記信頼度との比較によって、当該単語を受理すべきか否かを決定するための比較手段とを含む、請求項１又は請求項２に記載の音声認識結果の検査装置。
【請求項４】
コンピュータにより実行されると、当該コンピュータを請求項１〜請求項３のいずれかに記載の音声認識結果の検査装置として動作させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識結果の単語列を構成する単語を後続する処理の対象として受理すべきか否かを検査する装置に関し、特に、音声翻訳処理のための音声認識処理による結果の信頼度をもとに、後続する翻訳処理への適合性を考慮して検査を行なう装置に関する。
【背景技術】
【０００２】
音声翻訳は、ある言語の音声を受けて、その発話内容を別の言語に翻訳して出力する処理である。音声翻訳を自動化・高性能化する技術は、音声言語処理技術の目標の一つといえる。音声翻訳は、一般的に次の二つの技術によって実現される。すなわち、発話音声から発話された単語又は文章を同定するための音声認識と、同定された単語又は文章を、別の言語の単語又は文章に変換するための機械翻訳とである。
【０００３】
音声翻訳性能を向上させるためには、音声認識と機械翻訳との連携を緊密にすることが必要となる。そのための種々の技術が提案されている。例えば、非特許文献１には、音声認識と機械翻訳とに、統合された一つの統計モデルを用いる技術が開示されている。非特許文献２には、音声認識結果として複数の候補を生成し、それぞれの候補について機械翻訳を行なって、複数の翻訳結果の中から最適な候補を選択する技術が開示されている。
【０００４】
高性能な音声翻訳を実現するためには、音声認識性能と機械翻訳性能とをそれぞれ向上させることも必要となる。機械翻訳性能を向上させるための技術として、統計翻訳（Statistical  Machine  Translation：ＳＭＴ）において、翻訳処理の単位を長くする技術が提案されている。例えば、非特許文献３には、単語又は連接した複数の単語によって構成される「フレーズ」を処理の単位とした、フレーズベースでの統計翻訳技術が開示されている。この技術では、バイリンガルコーパスから統計翻訳用の統計モデル（以下、翻訳モデル）を学習する過程で、バイリンガルコーパスから自動的に抽出されるフレーズを、翻訳の単位として利用する。翻訳の処理の単位をフレーズにすることにより、単語を単位として翻訳を行なう場合より、単語同士が自然に連接する自然な翻訳結果を得ることができる。
【０００５】
近年の研究の進展とコンピュータの性能の向上とにより、かなりの精度での音声認識が実現されるようになった。しかし、雑音、話者の変化、非文法的な発話等、音声認識の障害となる要因が多数あり、十分な音声認識の性能を達成することが難しい。そのため、音声認識結果を翻訳処理する前に、音声認識処理での音声認識誤りを的確に検出し訂正することが重要である。そのための技術として、音声認識結果として得られる単語列（又はそれを構成する単語）が信頼のおけるものであるか否かを評価する技術が開発されている。例えば、非特許文献４では、音声認識の結果として出力される単語グラフと、単語ごとに付与された単語事後確率とをもとに、一般化された単語事後確率（Generalized  Word  Posterior  Probability：ＧＷＰＰ）を算出し、音声認識結果の各単語に関する評価に、ＧＷＰＰを使用している。
【０００６】
【非特許文献１】Ｙ．ガオ、「カップリング対統一:  音声−音声翻訳のためのモデリング技法」、Ｅｕｒｏｓｐｅｅｃｈ２００３予稿集、３６５−３６８頁（２００４年）（Y.  Gao,  "Coupling  vs.  unifying:  Modeling  technique  for  speech-speech  translation",  Proc.  of  Eurospeech  2003,  pp.365-368  (2004)）
【非特許文献２】Ｒ．ツァン他、「Ｎ−ベスト音声認識仮説を用いて改良された音声言語翻訳」、ＩＣＳＬＰ２００４予稿集、１６２９−１６３２頁（２００４年）（R.  Zhang  et  al.,  "Improved  Spoken  Language  Translation  Using  N-Best  Speech  Recognition  Hypothesis",  Proc.  of  ICSLP  2004,  pp.1629-1632  (2004)）
【非特許文献３】Ｅ．スミタ他、「用例翻訳（ＥＢＭＴ）、統計翻訳（ＳＭＴ）、ハイブリッドなど：ＡＴＲ音声言語翻訳システム」、ＩＷＳＬＴ２００４予稿集、１３−２０頁、（２００４年）（E.  Sumita  et  al.,  "EBMT,  SMT,  Hybrid  and  More:  ATR  Spoken  Language  Translation  System"  Proc.  of  IWSLT  2004,  pp.13-20  (2004)）
【非特許文献４】フランク  Ｋ．スーン他、「単語の評価誤りを最小化するための最適な音響及び言語モデルの重み」、ＩＣＳＬＰ２００４予稿集、４４１−４４４頁、（２００４年）（Frank  K.  Soong  et  al.,  "Optimal  Acoustic  and  Language  Model  Weights  for  Minimizing  Word  Verification  Errors"  Proc.  of  ICSLP  2004,  pp.441-444  (2004)）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
非特許文献１に記載の技術では、音声認識と機械翻訳とに、統合された一つの統計モデルを用いている。しかしこの統合された統計モデルが、音声認識及び機械翻訳の両方に対して最適なモデルであるとは限らない。そのため、音声認識と機械翻訳とのいずれかの性能が犠牲になる恐れがある。実際、機械翻訳においては、非特許文献３に記載の技術のように、フレーズ等の長い単語列を処理単位として処理が可能であるのに対し、音声認識において、そのような長い処理単位での処理を行なうと、かえって認識性能を低下させるおそれがある。非特許文献２に記載の技術では、機械翻訳の処理を複数の候補について行なうことが必要になる。その分処理の量が増大する。
【０００８】
そのため、音声認識と機械翻訳との連携を緊密なものにするためには、音声認識結果が機械翻訳に適したものであるか否かという観点から、音声認識結果を検証する必要がある。しかしながら、非特許文献１〜３には、このような評価を行なうための技術について、具体的な記載はない。
【０００９】
非特許文献４に記載の技術では、音声認識結果の各単語が認識結果として信頼のおけるものであるか否かについて評価が行なわれる。しかしながら、この技術では、「音声認識結果が機械翻訳に適しているか」という観点で評価が行なわれるものではない。そのためこの技術で高く評価された音声認識結果であっても、機械翻訳に全く適さない場合がある。
【００１０】
こうした問題は、音声認識と機械翻訳という組合せに限らず、音声認識とその結果を利用する自然言語処理全般との組合せの間にも生じうる。
【００１１】
それゆえに、本発明の目的は、音声認識結果の信頼度をもとに、後続する自然言語処理に適したものであるか否かという観点を導入して音声認識結果を検査できる、音声認識結果の検査装置を提供することである。
【００１２】
また、本発明の別の目的は、音声認識の性能及び機械翻訳の性能をそれぞれ高く保ちつつ、両者の処理の連携を緊密なものにするための音声認識結果の検査装置を提供することである。
【課題を解決するための手段】
【００１３】
本発明の第１の局面に係る音声認識結果の検査装置は、音声認識処理により所定の入力音声から生成される音声認識結果の単語列を受けて、音声認識処理に後続する所定のフレーズベースの自然言語処理の対象として、音声認識結果の単語列を構成する単語を受理すべきか否かを検査するための装置である。音声認識結果の検査装置は、自然言語処理のためのコーパスから所定の抽出方法で抽出されたフレーズの集合とともに用いられる。音声認識結果の単語列を構成する単語にはそれぞれ音声認識処理により予め信頼度が付与される。音声認識結果の検査装置は、音声認識結果の単語列を構成する各単語に対し、その単語を含む単語列であって音声認識結果の部分単語列をなす単語列のうちフレーズの集合内に一致するフレーズを持つ単語列の集合の関数として、自然言語処理に対する適合度を付与するための適合度付与手段と、音声認識結果の単語列を構成する単語ごとに、適合度付与手段により当該単語に付与された適合度に応じて定められたしきい値と当該単語に付与された信頼度との比較により、当該単語を受理すべきか否かを決定するための決定手段とを含む。
【００１４】
音声認識結果の単語列を構成する単語にはまず、適合度付与手段により適合度が付与される。適合度は、その単語を含む音声認識結果の部分単語列をなす単語列のうち、コーパスから抽出されたフレーズの集合内に一致するフレーズを持つものの集合の関数として与えられる。音声認識結果の単語列の中に、フレーズの集合内に一致するフレーズを持つ部分単語列があれば、その部分単語列にはコーパスとの適合性があると考えられる。すなわち、コーパスを利用して行なわれる後続の自然言語処理にその部分単語列が適していると考えられる。決定手段は、各単語を受理すべきか否かを、適合度に応じて定められたしきい値と信頼度との比較によって決定する。したがって、信頼度に基づく各単語の検査に、「コーパスを利用した自然言語処理に適しているか否か」という観点を導入することができ、音声認識の性能及び機械翻訳の性能を低下させることなく、音声認識と自然言語処理との連携を強化できる。
【００１５】
好ましくは、適合度付与手段は、フレーズの集合と、音声認識結果の部分単語列をなす単語列とを照合することにより、フレーズの集合内に一致するフレーズを持つ単語列を検出するための照合手段と、音声認識結果の単語列を構成する各単語に対し、照合手段により検出された単語列のうちその単語を含む単語列からなる集合をもとに、所定の基準にしたがい適合度を付与するための手段とを含む。
【００１６】
照合手段が音声認識結果の部分単語列をなす単語列とフレーズの集合とを照合することによって、フレーズの集合内に一致するフレーズを持つ単語列が検出される。付与するための手段が、音声認識結果の単語列を構成する各単語に対し、検出された単語列のうちその単語を含む単語列の集合をもとに、適合度を付与する。こうすることにより、一致するフレーズを持つ単語列の検出と、各単語への適合度の付与とを効率的に行なうことができる。
【００１７】
好ましくは、適合度付与手段は、音声認識結果の単語列を構成する各単語に対し、その単語に対する単語列の集合に含まれる単語列の長さの関数として、自然言語処理に対する適合度を付与するための手段を含む。
【００１８】
音声認識結果の単語列を構成する単語ごとに、その単語を含みフレーズの集合内に一致するフレーズをもつ部分単語列の長さの関数として、適合度を付与する。したがってこの適合度により、一致したフレーズが存在する部分の長さにより処理性能が変化するような自然言語処理に、認識結果が適しているか否かを評価できる。
【００１９】
付与するための手段は、音声認識結果の単語列を構成する各単語に対し、その単語に対する単語列の集合に含まれる単語列のうち、その単語列を構成する単語数が最大のものの単語数を、適合度として付与してもよい。
【００２０】
一致したフレーズの長さが長いほど処理性能が向上するような自然言語処理との適合性を、この適合度によって表すことできる。
【００２１】
自然言語処理は、入力音声の言語と所定のターゲット言語とのフレーズベースの統計翻訳処理を含んでもよい。フレーズの集合は、入力音声の言語と所定のターゲット言語とのバイリンガルコーパスから、統計翻訳処理のための翻訳モデルを学習する過程で抽出されたフレーズの集合を含む。適合度付与手段は、音声認識結果の単語列を構成する各単語に対し、その単語に対する単語列の集合の関数として、自然言語処理に対する適合度を付与するための手段を含む。
【００２２】
検出されたフレーズをもとに付与される適合度は、バイリンガルコーパス及び当該コーパスから学習された翻訳モデルとの適合性を表すものとなる。したがって、音声認識結果の検査に、その音声認識結果の各単語がフレーズベースの統計翻訳に適しているかという観点を導入することができ、音声認識と統計翻訳との連携を強化できる。
【００２３】
決定手段は、適合度としきい値とを対応付けて保持するための手段と、音声認識結果の単語列を構成する単語ごとに、その単語に付与された適合度をもとに、保持するための手段により保持された適合度としきい値とにしたがって、その単語に対するしきい値を設定するための手段と、音声認識結果の単語列を構成する単語ごとに、設定するための手段により設定されたしきい値と単語に付与された信頼度との比較によって、その単語を受理すべきか否かを決定するための比較手段とを含んでもよい。
【００２４】
単語ごとに、その単語の適合度に応じて設定されたしきい値とその単語の信頼度とを比較してその単語を受理すべきか否かを決定することにより、音声認識結果を構成する各単語をコーパスとの適合性を考慮して検査できる。
【００２５】
保持するための手段が保持するしきい値は、適合度が高くなるにしたがい低くなるよう選ばれてもよい。
【００２６】
このようなしきい値が選ばれることにより、低い信頼度の単語でも、その単語を含む部分単語列が、後続の自然言語処理に適していれば受理されるようになる。部分単語列が後続のフレーズベースの自然言語処理に適していれば、その部分に対する自然言語処理に失敗する確率は低くなる。そのため結果として、音声認識処理とその結果を用いて行なわれるフレーズベースの自然言語処理とからなる一連の処理の性能が向上する。
【００２７】
本発明の第２の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを上記したいずれかの音声認識結果の検査装置として動作させる。したがって、上記した音声認識結果の検査装置と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照しつつ、本発明の一実施の形態について説明する。なお、以下の説明に用いる図面では、同一の物に同一の符号を付してある。それらの名称及び機能も同一である。したがって、それらについての説明は繰返さない。
【００２９】
［概要］
本実施の形態では、音声認識と自然言語処理の一種であるフレーズベースの統計翻訳との組合せによる音声翻訳において、音声認識結果の各単語について、後続の翻訳処理の対象として受理すべきか否かを検査する。この検査においては、各単語について、その単語の信頼性を表す値（以下、この値を「信頼度」と呼ぶ。）としきい値との比較によって、当該各単語の処理対象としての合否を決める。本実施の形態では、信頼度としきい値との比較によって各単語を検査する問題に、音声認識結果の翻訳処理に対する適合性という観点での評価を導入する。すなわち、音声認識結果が翻訳に適しているかを評価し、この評価の結果に応じて単語ごとにしきい値を変化させる。以下、適合性の指標を「適合度」と呼ぶ。
【００３０】
本実施の形態では、フレーズベースの統計翻訳で使用される翻訳モデルの学習過程で生成されるフレーズを、適合度を得るために利用する。ソース言語及びターゲット言語の多数の対訳文からなるバイリンガルコーパスから翻訳モデルを学習する際には、副産物として多数のフレーズが抽出される。それらは一つのフレーズの集合を形成する。この集合の要素であるフレーズは、バイリンガルコーパスにある文の一部であり、バイリンガルコーパスにより規定されるドメインに頻出するフレーズであるといえる。そのため、音声認識結果にこのようなフレーズと一致する部分があれば、その部分はドメインとの間に適合性があると考えることができる。さらに、その部分が長ければ長いほど、その部分の適合性は高いと考えられる。そこで、本実施の形態では、音声認識結果に含まれる各単語の適合性に関する評価の尺度として、バイリンガルコーパスから抽出されるフレーズに一致する部分の長さを用いる。また、長さの尺度として単語数を用いる。すなわち、音声認識結果の各単語について、当該単語を含む音声認識結果の部分単語列であって、上記したフレーズの集合中に一致するフレーズを持つものからなる集合を考え、この集合に含まれる部分単語列の長さの最大値によって、当該単語の適合度を定める。なお、以下の説明では、上記フレーズの長さを、「フレーズ長」と呼ぶ。部分単語列もまた一つのフレーズであると考えられるから、部分単語列の長さも同じく「フレーズ長」と呼ぶ。音声認識結果内の、上記フレーズ集合内のフレーズのいずれかに一致する部分単語列を「一致部分」と呼ぶ。ある単語を含む全ての一致部分からなる集合のうち、フレーズ長が最大のもののフレーズ長を、「（その単語の）最大一致長」と呼び、「Ｌmax」で表す。
【００３１】
［構成］
（音声翻訳システムの全体構成）
図１に、本実施の形態に係る音声翻訳システム３０の構成をブロック図で示す。図１を参照して、音声翻訳システム３０は、所定のバイリンガルコーパス３４から翻訳モデルを学習するための翻訳モデル学習装置５４と、翻訳モデル学習装置５４により学習された翻訳モデルを保持するための翻訳モデル部５２とを含む。翻訳モデル学習装置５４は、翻訳モデルの学習の過程で、バイリンガルコーパス３４からフレーズを抽出する機能を持つ。音声翻訳システム３０はさらに、翻訳モデル学習装置５４により抽出されるフレーズを蓄積するためのフレーズデータベース５６を含む。
【００３２】
音声翻訳システム３０はさらに、音声翻訳と上述したしきい値の学習処理とからいずれかを選択する操作入力４２に応じて、翻訳用音声３２と学習のために予め用意された学習用音声３８Ａ，…，３８Ｐとから処理の対象となる音声４６を選択するためのセレクタ４４と、セレクタ４４により選択された音声４６について音声認識処理を行ない、音声認識された単語列と当該単語列の各単語の信頼度とからなる音声認識結果５０を出力するための音声認識装置４８と、音声認識結果５０の各単語の検査を、フレーズデータベース５６内のフレーズに対するその単語の最大一致長Ｌmaxに応じて定められるしきい値とその単語の信頼度とをもとに行ない、音声認識結果５０と各単語の最大一致長Ｌmax及び合否の情報とからなる検査結果７６を生成し出力するための検査装置６０と、第１及び第２の出力を持ち、セレクタ４４に連動し、検査結果７６を操作入力４２に応じて第１又は第２の出力に対して出力するためのスイッチ７８とを含む。
【００３３】
音声翻訳システム３０はさらに、スイッチ７８の第１の出力に接続されて、スイッチ７８から検査結果７６が与えられると、当該検査結果７６に含まれる音声認識結果５０に対し各単語の合否に応じた所定の前処理を施すための前処理装置６４と、翻訳モデル部５２を用いたフレーズベースの統計翻訳により、前処理装置６４による前処理済の音声認識結果６６から翻訳結果３６への翻訳を行なうための翻訳装置６８とを含む。本実施の形態では、前処理装置６４は、検査結果７６をもとに音声認識結果５０の単語列から不合格の単語を除去して、前処理済の音声認識結果６６を生成して出力する。
【００３４】
音声翻訳システム３０はさらに、スイッチ７８の第２の出力に接続され、スイッチ７８から学習用音声３８Ａ，…，３８Ｐについての検査結果７６が与えられると、当該検査結果７６と学習用音声３８Ａ，…，３８Ｐについて予め用意された検査結果の正解（以下、「正解検査結果」と呼ぶ。）４０Ａ，…，４０Ｐとから、最大一致長Ｌmaxごとにしきい値を学習するためのしきい値学習部８４と、しきい値学習部８４による学習により得られた最大一致長Ｌmaxごとのしきい値からなるしきい値テーブルを保持するためのしきい値テーブル部８２とを含む。スイッチ７８はセレクタ４４と連動している。すなわち、操作入力４２に応じてセレクタ４４が翻訳用音声３２を選択しているときには、検査結果７６を前処理装置６４に出力し、セレクタ４４が学習用音声３８Ａ，…，３８Ｐを選択しているときには、検査結果７６をしきい値学習部８４に出力する。
【００３５】
検査装置６０は、フレーズデータベース５６のフレーズに対する音声認識結果５０の各単語の最大一致長Ｌmaxを求め、音声認識結果５０及び各単語の最大一致長Ｌmaxからなる適合度の評価結果７２を生成し出力するための適合度評価部７０と、適合度の評価結果７２に含まれる音声認識結果５０の各単語の合否を、その単語の信頼度及び最大一致長Ｌmaxとしきい値テーブル部８２内のしきい値テーブルとを用いて決定し、適合度の評価結果７２と各単語の合否とからなる検査結果７６を生成し出力するための合否決定部７４とを含む。
【００３６】
（音声認識装置４８による音声認識結果５０）
図２に、音声認識装置４８が行なう音声認識処理の概要と、その結果音声認識装置４８により出力される音声認識結果５０の構成とを模式的に示す。図２を参照して、音声認識装置４８は、まず与えられた音声４６の音声認識処理１００を行ない、音声４６を出力しうる発話内容を単語の組合せで表現した単語グラフ１０２を生成する。単語グラフ１０２は、単語に対応するパスからなる経路網で構成されたグラフであり、その各パスには音声認識装置４８にて付与されたスコアが格納されている。この経路網を通って始点から終点まで進んだ場合の経路が、音声４６を出力する単語列に対応する。またこの経路網をもとに各単語の事後確率とＧＷＰＰとが算出される。そこで音声認識装置４８は、単語グラフ１０２の経路網から、各単語のスコアに基づいて、経路を選択する処理１０４を行なう。この処理１０４により選択された経路が本実施の形態に係る音声認識結果５０となる。
【００３７】
音声認識結果５０は、単語グラフ１０２から選択された経路の単語Ｗ1〜ＷNからなる単語列１０６と、単語Ｗ1〜ＷNの各々について単語グラフ１０２から算出される前述のＧＷＰＰ（ＧＷＰＰ1〜ＧＷＰＰN）からなる系列１０８とを含む。本実施の形態に係る音声翻訳システム３０では、各単語について算出されるＧＷＰＰを、音声認識結果５０における当該単語の信頼度として使用する。
【００３８】
（フレーズデータベース５６）
図３に、フレーズデータベース５６（図１参照）のデータ構成を模式的に示す。図３を参照して、フレーズデータベース５６には、ソース言語（図３に示す例では日本語）の１又は複数の単語からなるフレーズ１２０Ａ，…，１２０Ｑと、それらのフレーズに対応するターゲット言語のフレーズ１２２Ａ，…，１２２Ｑとを含む。フレーズ１２０Ａ，…，１２０Ｑ及び１２２Ａ，…，１２２Ｑはいずれも、ソース言語又はターゲット言語の文法とは無関係にセグメンテーションされた単語列である。そのため、これらのフレーズは、文節等の文法的な単位との間に関連性を持たない。またそのフレーズ長は、フレーズによって異なる。これらのフレーズはいずれも、バイリンガルコーパス３４内の文を所定の統計的手法でセグメンテーションすることにより得られるものである。そのためこれらのフレーズはいずれも、バイリンガルコーパス３４が規定するドメインに頻出するフレーズといえる。
【００３９】
（適合度の評価結果７２及び検査結果７６）
検査装置６０による適合度の評価と信頼度を用いた検査とは、単語単位で行なわれる。図４（Ａ）及び図４（Ｂ）にそれぞれ、適合度の評価結果７２及び検査結果７６のデータ構成を示す。図４（Ａ）を参照して、適合度の評価結果７２は、図２に示す音声認識結果５０と、音声認識結果５０における単語Ｗ1〜ＷNの最大一致長Ｌmaxからなる系列１４０とを含む。なお、本実施の形態においては、当該単語を含む一致部分からなる集合の要素数が０である場合、その単語の最大一致長Ｌmaxを０とする。図４（Ｂ）を参照して、検査結果７６は、適合度の評価結果７２と、単語Ｗ1〜ＷNの合否を表す検査結果列１４４とを含む。なお図４（Ｂ）では、検査結果列１４４において、単語Ｗ1〜ＷNの合否を「ＯＫ（１）」と「ＮＧ（０）」とによって表している。
【００４０】
（しきい値テーブル部８２の構成）
図５に、しきい値テーブル部８２に保持されるしきい値テーブルの構成を示す。図５を参照して、しきい値テーブル１６０は、それぞれＬmax＝０、Ｌmax＝１、Ｌmax＝２、Ｌmax＝３、及びＬmax＞３に対応する５種類のしきい値Ｔ0、Ｔ1、Ｔ2、Ｔ3、及びＴ4を含む。しきい値Ｔ0、Ｔ1、Ｔ2、Ｔ3、及びＴ4はそれぞれ、図１に示すしきい値学習部８４による学習によって調整される。
【００４１】
（適合度評価部７０の構成）
図６に、適合度評価部７０の機能的構成をブロック図で示す。図６を参照して、適合度評価部７０は、入力された音声認識結果５０を記憶するための認識結果記憶部１８０と、認識結果記憶部１８０に格納された音声認識結果５０中の部分的な単語列（以下、「部分文」と呼ぶ。）とフレーズデータベース５６内のフレーズ１２０Ａ，…，１２０Ｑ（図３参照）とを照合して、フレーズデータベース５６内に一致するフレーズを持つ部分文を検出するための照合部１８２と、音声認識結果５０の各単語について、照合部１８２による検出結果をもとに最大一致長Ｌmaxを算出するためのＬmax算出部１８４と、Ｌmax算出部１８４により算出された各単語の最大一致長Ｌmaxを、音声認識結果５０の当該単語についての適合度として付与し、認識結果記憶部１８０内に適合度の評価結果７２を形成するための適合度付与部１８５と、適合度の評価結果７２が形成されると認識結果記憶部１８０からこれを読出して出力するための出力部１８６とを含む。
【００４２】
照合部１８２は、音声認識結果５０の単語列１０６から全ての部分文とその部分文の単語列１０６内での位置を表す位置標識とを生成するための部分文生成部１９０と、生成された部分文及びその位置標識を記憶するための部分文記憶部１９２と、部分文記憶部１９２内の部分文に一致するフレーズをフレーズデータベース５６内で探索し、一致するフレーズがあればその部分文の位置標識を一致部分の位置標識として出力するための探索部１９４と、探索部１９４から出力される位置標識を記憶するための一致部分記憶部１９６とを含む。一致部分記憶部１９６には、探索部１９４から出力された全ての位置標識が格納される。すなわち、一致部分記憶部１９６には、全ての一致部分の位置標識が格納される。
【００４３】
Ｌmax算出部１８４は、一致部分記憶部１９６内の位置標識をもとに、認識結果記憶部１８０内の単語列１０６の各単語について、当該単語を含む一致部分の集合を求める。Ｌmax算出部１８４はさらに、当該集合に含まれる一致部分の各々のフレーズ長を求め、そのフレーズ長から、当該単語についての最大一致長Ｌmaxを求めて、適合度付与部１８５に対し出力する。ここでは、ある単語について一致部分の集合が求められれば、当該単語に対する最大一致長が求められるという関数関係が存在する。
【００４４】
（合否決定部７４の構成）
図７に、合否決定部７４（図１参照）の機能的構成をブロック図で示す。図７を参照して、合否決定部７４は、適合度評価部７０から出力された適合度の評価結果７２を記憶するための記憶部２６０と、記憶部２６０内の適合度の評価結果７２から処理対象の単語を順次選択し、当該単語のＧＷＰＰ及び最大一致長Ｌmaxを順次出力するための単語選択部２７０と、単語選択部２７０から出力された最大一致長Ｌmaxに応じたしきい値をしきい値テーブル１６０（図５参照）から選択して出力するためのしきい値設定部２７２と、ＧＷＰＰとしきい値設定部２７２の出力するしきい値とを比較し、その結果を順次出力するための比較部２７４とを含む。合否決定部７４はさらに、比較部２７４により出力された単語Ｗ1〜ＷNに関する比較の結果を、単語Ｗ1〜ＷNについての検査結果として記憶部２６０内の適合度の評価結果７２に付与することにより、検査結果７６を生成するための検査結果付与部２６４と、検査結果付与部２６４が検査結果７６を生成すると、当該検査結果７６を記憶部２６０から読出して出力するための出力部２６８とを含む。
【００４５】
（しきい値学習部８４の構成）
図８に、図１に示すしきい値学習部８４の機能的構成をブロック図で示す。図８を参照して、しきい値学習部８４は、スイッチ７８（図１参照）からしきい値学習部８４に与えられる検査結果７６に、対応する正解検査結果４０Ａ，…，４０Ｐを付与して正解付の学習用検査結果２８２を生成するための正解付与部２８０と、生成された正解付の学習用検査結果２８２を記憶するための学習用検査結果記憶部２８４と、学習用検査結果記憶部２８４に格納された正解付の学習用検査結果２８２から、各単語の検査結果の正誤を正解検査結果に基づいて判定してその結果２８８を出力するための正誤判定部２８６と、正誤判定の結果２８８を記憶するための正誤記憶部２９０とを含む。
【００４６】
しきい値学習部８４はさらに、正誤判定部２８６による正誤の判定が完了すると、正誤記憶部２９０に格納された正誤判定の結果２８８をもとに、合否決定部７４（図１参照）による検査の性能を評価し、その結果に応じて、正誤記憶部２９０内の情報を用いてしきい値テーブル１６０（図５参照）内のしきい値Ｔ0〜Ｔ4の値を調整するためのしきい値調整部２９４と、しきい値が調整されると、調整後のしきい値をもとに学習用検査結果記憶部２８４内の学習用検査結果２８２について検査を再実施するための再検査部２９６とを含む。
【００４７】
学習用検査結果記憶部２８４に格納される学習用検査結果２８２は、学習用音声３８Ａ，…，３８Ｐの各々に関する検査結果７６と、学習用音声３８Ａ，…，３８Ｐに対応して予め用意された正解検査結果４０Ａ，…，４０Ｐのうち、当該検査結果に対応するものとの組からなる。正解検査結果は、各単語の各検査結果に対応する正解を含む。正誤判定部２８６は、学習用検査結果記憶部２８４内の情報に変化が生じると、それに応答して正誤判定を開始する機能を持つ。この判定により生成される正誤判定の結果２８８は、正解検査結果の単語列に対応するＧＷＰＰの系列１０８（図２参照）及び最大一致長Ｌmaxの系列１４０（図４参照）と、検査結果列１４４により表される各単語の検査結果の正誤を表す正誤標識からなる正誤標識列とを含む。正誤標識はそれぞれ、対応の単語についての検査結果が正解と一致したか否か、一致しなかった場合正解は何であったかを表す。すなわち、検査結果と正解とが一致したことを表す値と、合格（ＯＫ）にすべき単語を不合格（ＮＧ）にしていることを表す値と、不合格（ＮＧ）にすべき単語を合格（ＯＫ）にしていることを表す値とである。しきい値調整部２９４は、最大一致長Ｌmax別に、合否決定部７４（図１参照）による検査の性能を、次に示す信頼度の判定誤り率（Confidence  Error  Rate：ＣＥＲ）によって評価する機能を持つ。
【００４８】
【数１】
0004756499.tif 000002
しきい値調整部２９４はさらに、ＣＥＲがそれぞれ最小になるように、しきい値Ｔ0〜Ｔ4の各々を調整する機能を持つ。
【００４９】
［動作］
本実施の形態の音声翻訳システム３０は、以下のように動作する。
【００５０】
（翻訳モデルの学習及びフレーズデータの抽出）
図１を参照して、音声翻訳システム３０は、翻訳又はしきい値の学習を行なう前に、予め翻訳モデルの学習を行なう。すなわち、翻訳モデル学習装置５４は、バイリンガルコーパス３４に格納されている対訳文から翻訳モデルの学習を行ない、得られた翻訳モデルを翻訳モデル部５２に格納する。翻訳モデル学習装置５４はこの学習過程において、バイリンガルコーパス３４内に含まれる文から、ソース言語のフレーズ１２０Ａ，…，１２０Ｑ及びターゲット言語のフレーズ１２２Ａ，…，１２２Ｑ（図３参照）を生成する。生成されたフレーズの各々は、フレーズデータベース５６に格納される。
【００５１】
（しきい値の学習）
以下、しきい値学習部８４がしきい値を学習する動作について説明する。図１を参照して、しきい値の学習が選択され、その選択に対応する操作入力４２が音声翻訳システム３０に与えられると、セレクタ４４が、処理対象の音声４６として学習用音声３８Ａ，…，３８Ｐを選択する。選択された音声４６は、音声認識装置４８により音声認識結果５０に変換される。さらに検査装置６０により音声認識結果５０に対する検査が実行され、検査結果７６（図４（Ｂ）参照）が検査装置６０より出力される。しきい値を学習する場合、スイッチ７８は、検査結果７６をしきい値学習部８４に出力する。なお、音声認識装置４８及び検査装置６０の動作の詳細については、後述する。
【００５２】
図８を参照して、しきい値学習部８４の正解付与部２８０に検査結果７６が与えられると、正解付与部２８０は、与えられた検査結果７６に、正解検査結果４０Ａ，…，４０Ｐから、この検査結果７６に対応するものを付与する。その結果、正解付の学習用検査結果２８２が生成される。生成された正解付の学習用検査結果２８２は、学習用検査結果記憶部２８４に格納される。
【００５３】
学習用検査結果記憶部２８４に正解付の学習用検査結果２８２が格納されると、正誤判定部２８６は、検査結果列１４４と対応の正解検査結果との比較により、各単語についての検査結果の正誤を判定し、正誤標識列を生成する。そして正誤判定部２８６は、正誤標識列と、学習用検査結果２８２内のＧＷＰＰの系列１０８及び最大一致長Ｌmaxの系列１４０とから、正誤判定の結果２８８を形成し、正誤記憶部２９０に格納する。
【００５４】
正誤判定部２８６が、学習用検査結果記憶部２８４内にある正解付の学習用検査結果２８２に対する以上の処理を終了すると、しきい値調整部２９４に対して終了信号を与える。しきい値調整部２９４は、正誤記憶部２９０内にある正誤判定の結果２８８をもとに、適合度ごとにＣＥＲを算出し、適合度ごとのＣＥＲがそれぞれ最小になるように、しきい値テーブル１６０内のしきい値Ｔ0〜Ｔ4を調整する。
【００５５】
しきい値テーブル１６０内のしきい値が変更されると、再検査部２９６は、変更後のしきい値をもとに、学習用検査結果記憶部２８４に格納された学習用の検査結果に関する再検査を実施して、学習用検査結果記憶部２８４内に格納された検査結果を変更する。正誤判定部２８６は、学習用検査結果記憶部２８４内の情報に変化が生じると、再度正誤判定を行なう。以上のような動作を繰返し、ＣＥＲが最小化していれば、しきい値の調整を終了する。このような一連の動作により、しきい値テーブル１６０内のしきい値Ｔ0〜Ｔ4は、対応する適合度の単語について検査を行なった場合の検査誤りの最も少ないしきい値となる。
【００５６】
（音声認識）
再び図１を参照して、翻訳用音声３２に対する音声翻訳に対応する操作入力４２が音声翻訳システム３０に与えられると、音声翻訳システム３０は、音声翻訳を行なうための一連の動作を開始する。この場合、セレクタ４４は、処理対象の音声４６として翻訳用音声３２を選択する。
【００５７】
セレクタ４４から音声認識装置４８に音声４６が与えられると、音声認識装置４８は図２を用いて前述した一連の処理を実行する。すなわち、図２を参照して、音声認識装置４８はまず、与えられた音声４６の音声認識処理１００を行なって、単語グラフ１０２を生成する。音声認識装置４８はさらに、単語グラフ１０２の経路網を構成する各単語について、事後確率を算出し、さらにＧＷＰＰを算出する。続いて音声認識装置４８は、経路選択１０４を行なって単語列１０６を生成すると共に、当該単語列１０６に対応するＧＷＰＰの系列１０８を生成する。音声認識装置４８は、生成された単語列１０６及び対応するＧＷＰＰの系列１０８の組を音声認識結果５０として出力する。
【００５８】
（適合度の評価）
以下に、検査装置６０の適合度評価部７０（図１参照）が、音声認識結果５０から適合度の評価結果７２（図４（Ａ）参照）を生成する動作について説明する。図６を参照して、適合度評価部７０に音声認識結果５０が入力されると、当該音声認識結果５０は、認識結果記憶部１８０に格納される。部分文生成部１９０は、認識結果記憶部１８０内の音声認識結果５０の単語列１０６（図２参照）から、部分的な単語列とその位置標識とからなる部分文を生成し、部分文記憶部１９２に格納する。部分文記憶部１９２に全ての部分文が格納されると、探索部１９４は、部分文の各々について次の処理により、各部分文に一致するフレーズの探索を行なう。すなわち、探索部１９４はまず、処理対象の部分文を選択し、当該部分文と同じフレーズをフレーズデータベース５６で探索する。同じフレーズが存在すれば、この部分的な単語列は一致部分の一つとなる。この場合、探索部１９４は、処理対象の部分文の位置標識を一致部分記憶部１９６に格納する。同じフレーズがなければ、別の部分文を選択する。探索部１９４による探索が完了すると、一致部分記憶部１９６には、一致部分の各々の単語列１０６内での位置が、格納された位置標識により特定できるようになる。
【００５９】
全ての一致部分の位置標識が一致部分記憶部１９６に格納されると、Ｌmax算出部１８４は、認識結果記憶部１８０内の音声認識結果５０における単語列１０６中の単語Ｗ1〜ＷNについて次の処理を行ない、各単語の適合度を決定する。すなわちまず、処理対象の単語Ｗnを選び、単語Ｗnの位置を特定する。単語Ｗnの位置が含まれる全ての位置標識を一致部分記憶部１９６の中で選ぶ。この結果、実質的に単語Ｗnに関する一致部分の集合が作成される。選ばれた位置標識をもとに、単語Ｗnを含む全ての一致部分についてフレーズ長を求める。すなわち、単語Ｗnに関する一致部分の集合の要素の全てについてフレーズ長を求める。求められたフレーズ長のうち最大のものを探すことにより最大一致長Ｌmaxを求めて、適合度付与部１８５に出力する。
【００６０】
以上の処理により決定された各単語の適合度は、図６に示す適合度付与部１８５に与えられる。適合度付与部１８５は、認識結果記憶部１８０内の単語Ｗ1〜ＷNにその単語の最大一致長Ｌmaxを適合度として付与する。これにより認識結果記憶部１８０内に、図４（Ａ）に示す適合度の評価結果７２が形成される。適合度付与部１８５は、単語Ｗ1〜ＷNについてこの処理が完了すると、終了信号を出力部１８６に与える。出力部１８６は、これに応答して、認識結果記憶部１８０内の情報を読出して出力する。その結果、適合度の評価結果７２が出力されることになる。
【００６１】
（合否の決定）
以下に、合否決定部７４（図１参照）が、適合度の評価結果７２と信頼度とをもとに各単語を検査する動作について説明する。図７を参照して、合否決定部７４に適合度の評価結果７２が入力されると、当該適合度の評価結果７２は、記憶部２６０に記憶される。単語選択部２７０は、適合度の評価結果７２における単語Ｗ1〜ＷNの中から処理対象の単語Ｗnを順次選択し、当該単語Ｗnの適合度とＧＷＰＰとをそれぞれ、しきい値設定部２７２と比較部２７４とに与える。
【００６２】
単語Ｗnの適合度が与えられると、しきい値設定部２７２は、しきい値テーブル１６０（図５参照）から、その適合度に対応するしきい値を読出して、比較部２７４に与える。例えば、図４（Ｂ）に示すｎ番目の単語Ｗnの最大一致長Ｌmaxは１である。図５に示すしきい値テーブル１６０において、Ｌmax＝１の単語に関するしきい値はＴ1である。したがって、しきい値設定部２７２は、しきい値Ｔ1を比較部２７４に与える。比較部２７４は、単語ＷnのＧＷＰＰとしきい値とを比較する。単語ＷnのＧＷＰＰがしきい値Ｔ1以上であれば、合格（ＯＫ）を表す第１の値を出力する。さもなければ不合格（ＮＧ）を表す第２の値を出力する。
【００６３】
以上のようにして比較部２７４から出力される値が、順次図７に示す検査結果付与部２６４に与えられると、検査結果付与部２６４は、その値をもとに検査結果列１４４（図４（Ｂ）参照）を形成して、記憶部２６０内の適合度の評価結果７２に付与する。これにより記憶部２６０内に、図４（Ｂ）に示す検査結果７６が形成される。検査結果付与部２６４は、この処理が完了すると、終了信号２６６を出力部２６８に与える。出力部２６８は、これに応答して記憶部２６０内の情報を読出して出力する。その結果、検査結果７６が図１に示すスイッチ７８に出力される。スイッチ７８は、検査結果７６の入力を受けると、その時点で選択されている処理に対応する出力に対して、当該検査結果７６を出力する。この場合スイッチ７８は、検査結果７６を前処理装置６４に対して出力する。
【００６４】
（前処理及び翻訳）
図１に示す前処理装置６４は、スイッチ７８から検査結果７６の入力を受けると、検査結果７６をもとに、前処理を行なう。本実施の形態では、検査結果が不合格（ＮＧ）の単語を、音声認識結果の単語列Ｗ1〜ＷNから除去して、翻訳用の音声認識結果を生成する。翻訳装置６８は、翻訳モデル部５２に記憶されているフレーズベースの翻訳モデルを用いた統計翻訳により、翻訳結果３６を生成する。
【００６５】
［実験］
本実施の形態に係る音声翻訳システム３０における単語の検査性能を評価するために、しきい値の学習実験と、当該学習実験により得られたフレーズテーブルを用いての音声認識結果の検査実験とを行なった。
【００６６】
学習実験及び検査実験では、出願人により作成された旅行会話基本表現コーパス（Basic  Travel  Expression  Corpus：ＢＴＥＣ）を使用して、学習実験用のデータセット及び検査実験用のデータセットを作成した。以下、これらをそれぞれ「学習セット」及び「テストセット」と呼ぶ。学習セットは、ＢＴＥＣの１０１６種類の発声からなり、当該データセット全体での単語数は延べ７２１５単語である。テストセットは、ＢＴＥＣの３０６０種類の発声からなり、当該データセット全体での単語数は延べ２１００５単語である。
【００６７】
本実験では、音声認識装置４８として、出願人において開発されたものを使用した。本実験では、フレーズデータベース５６もまた、出願人により予め作成されたものを用いた。このフレーズデータベース５６に格納されたフレーズは異なり数約８０万フレーズであった。フレーズ長Ｌ別の異なり数の内訳を、次のテーブル１に示す。
【００６８】
【表１】
0004756499.tif 000003
なお、このフレーズデータベース５６において、１フレーズあたりの平均単語数は３．４８単語であった。
【００６９】
学習実験ではまず、学習セットに含まれる各発声に対する音声認識を行ない、各音声認識結果について単語ごとにＬmaxを算出し、さらに検査結果の正解を付与した。そして、正解に対する検査結果のＣＥＲが最小となるよう、Ｌmaxごとにしきい値の学習を行なった。この学習実験の結果得られたしきい値テーブルを次のテーブル２に示す。
【００７０】
【表２】
0004756499.tif 000004
テーブル２を参照して、Ｌmaxが大きな値になるにしたがい、しきい値が低くなった。特にＬmax＝０の単語に対するしきい値は、Ｌmax≧１のいずれの単語に対するしきい値よりもはるかに高い値になった。これにより、本実施の形態の検査装置による検査では、検査結果に次のような傾向が生じることが分かる。すなわち、一致するフレーズが長くなるにしたがいＧＷＰＰが低い単語まで合格とする傾向、及び一致するフレーズがない単語については非常に高いＧＷＰＰのもののみを許容する傾向である。これらの傾向は、Ｌmaxが大きな単語ほど翻訳に適しているという当初の予測に合致する。
【００７１】
検査実験では、テストセットに含まれる各発話に対する音声認識を行ない、各音声認識結果について、予め単語ごとに検査結果の正解とを付与した。この検査実験では、比較のため、次の２種類の方法で検査を行なった。すなわち一方は、本実施の形態の検査方法であり、テーブル２に示すしきい値テーブルを使用した検査である。他方は、Ｌmaxに関係なく全単語共通のしきい値を用いた検査である。以下、これらの検査方法をそれぞれ、単に「検査１」、「検査２」と呼ぶ。なお検査２では、全単語共通のしきい値を０．６２に設定した。この値は、Ｌmaxによらずにしきい値固定とし、ＣＥＲが最小となるように調整されたしきい値である。２種類の検査方法による検査結果についてそれぞれ、Ｌmax別にＣＥＲを求めた。また、テストセット全体のＣＥＲも求めた。テストセットに占める単語の割合と、２種類の検査方法による検査結果の各々についてのＣＥＲとを、次のテーブル３においてＬmax別に示す。
【００７２】
【表３】
0004756499.tif 000005
テーブル３を参照して、Ｌmax≧１の場合、検査１及び検査２の両方において、Ｌmaxが大きな値になるにしたがいＣＥＲが低くなった。また、検査１及び検査２の両方において、Ｌmax＝０の単語についてのＣＥＲは、Ｌmax＝１又は２の単語についてのＣＥＲより低くなった。
【００７３】
検査１及び検査２の検査結果についてのＣＥＲを比較すると、Ｌmax＞３、Ｌmax＝１、及びＬmax＝０の単語について、検査１の検査結果に対するＣＥＲは、検査２の結果に対するＣＥＲより比べて低下した。テストセット全体についてのＣＥＲを比較すると、検査１及び検査２に対するＣＥＲはそれぞれ、４．３（％）及び４．５（％）であった。したがって、ＧＷＰＰを評価尺度とする検査において、各単語の合否の判定基準として最適なしきい値は、Ｌmaxに応じて変化することが明らかとなった。さらに、学習により最適化されたしきい値を合否の判定基準として使用することにより、Ｌmaxが大きな単語及びＬmaxが小さな単語の両方、並びに検査対象の単語全体において、検査性能に改善が見られることが明らかとなった。このようにして性能の改善された検査方法で音声認識結果を検査し前処理を行なうことにより、音声認識と統計翻訳との連携が強化されるため、音声翻訳の処理の全体的な性能の向上が期待できる。
【００７４】
［コンピュータによる実現］
本実施の形態の音声翻訳システム３０は、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図９はこのコンピュータシステム３３０の外観を示し、図１０はコンピュータシステム３３０の内部構成を示す。
【００７５】
図９を参照して、このコンピュータシステム３３０は、コンピュータ３４０と、モニタ３４２と、キーボード３４６と、マウス３４８と、マイクロフォン３７０と、スピーカ３７２とを含む。コンピュータ３４０は、ＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０及びＦＤ（フレキシブルディスク）ドライブ３５２を有する。
【００７６】
図１０を参照して、コンピュータ３４０は、ＣＤ−ＲＯＭドライブ３５０及びＦＤドライブ３５２に加えて、ハードディスク３５４と、ＣＰＵ（中央処理装置）３５６と、ＦＤドライブ３５２、ＣＤ−ＲＯＭドライブ３５０、ハードディスク３５４、及びＣＰＵ３５６に接続されたバス３６６と、バス３６６に接続され、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータ３４０はさらに、バス３６６、マイクロフォン３７０、及びスピーカ３７２とに接続されたサウンドボード３６８を含む。ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【００７７】
コンピュータシステム３３０に音声翻訳システム３０としての動作を行なわせるためのプログラムは、ＣＤ−ＲＯＭドライブ３５０又はＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２又はＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。又は、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。プログラムは、ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、又はネットワークを介して、直接にＲＡＭ３６０にロードしてもよい。なお、バイリンガルコーパス３４（図１参照）は例えばハードディスク３５４に記憶され、翻訳モデル部５２の学習時にその必要部分が適宜ＲＡＭ３６０に読込まれる。学習により得られる翻訳モデル及びその過程で抽出されるフレーズもまた、例えばハードディスク３５４に記憶され、必要に応じて必要部分が適宜ＲＡＭ３６０に読込まれる。
【００７８】
上記プログラムは、コンピュータ３４０を本実施の形態の音声翻訳システム３０として動作を行なわせる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）若しくはサードパーティのプログラム、又はコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムは本実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又は「ツール」を呼出すことにより、上記した音声翻訳システム３０としての動作を実行する命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰返さない。
【００７９】
上記実施の形態では、各単語についての信頼度としてＧＷＰＰを用いた。しかし、検査装置による検査に用いることのできる信頼度は、ＧＷＰＰには限定されない。音声認識結果の単語列中の各単語に、所定の評価尺度で信頼度が付与されていれば、当該付与されている信頼度を用いて各単語を検査することができる。ただし、その場合、当該付与されている信頼度を用いて検査を行なうために、予めしきい値の学習をＬmax別に行なっておくことが必要である。又は何らかの学習によりＬmax別に決定されたしきい値をしきい値テーブルとして設定しておくことが必要となる。
【００８０】
また、フレーズデータベースには、ソース言語及びターゲット言語のフレーズの対が格納されていた。しかし、本発明はこのような実施の形態には限定されない。検査装置６０は、ソース言語のフレーズを用いて適合性の評価を行なう。そのため、予めソース言語のフレーズのみを格納したデータベースを用意しておき、当該データベースを用いて適合性の評価を行なうようにしてもよい。
【００８１】
本実施の形態では、フレーズとの照合の対象として、音声認識結果から全ての組合せで部分文を作成した。しかし、本発明はこのような実施の形態には限定されない。例えば、フレーズデータベースにおいて、各フレーズの出現頻度等の確率情報が得られるならば、当該確率情報に基づき、音声認識結果にフレーズ単位のセグメンテーションを行なってもよい。このようにすることにより、フレーズのオーバーラップを回避して、効率的にＬmaxを求めることができる。また、本実施の形態では、適合度としてＬmaxを用いたが、さらに、上記確率情報を加味して、適合度を求めるようにしてもよい。
【００８２】
なお、上記した実施の形態では、音声認識結果の各単語について、一致部分の集合を求め、集合に含まれる一致部分のフレーズ長の最大値（最大一致長Ｌmax）に基づいて適合度を定めている。しかし、音声認識結果の各単語と、後続するフレーズベースの自然言語処理との適合度を定める方法はこれには限定されない。あるフレーズの集合が与えられた場合、音声認識結果のある単語を含む部分単語列であって、当該フレーズの集合に含まれるものからなる集合を求めれば、当該集合の関数として適合度を定めることができる。
【００８３】
上記実施の形態では、この関数は「集合を構成する一致部分のうち、フレーズ長が最大のもののフレーズ長」であった。それ以外にも、例えば、部分単語列の集合の要素数、平均のフレーズ長、各要素のフレーズ長の和、等に基づいて適合度の算出を行なうことができる。
【００８４】
上記実施の形態では、前処理装置６４は、検査結果をもとに不合格の単語を音声認識結果の単語列から排除することにより、翻訳用の単語列を生成した。しかし、本実施の形態の検査装置６０による検査結果を用いた前処理は、このようなものには限定されない。例えば、検査結果が不合格の単語が一つでも存在すれば、音声認識結果そのものを棄却するようにしてもよい。この場合、音声認識結果の棄却に応答して所定のエラー信号を発行するようにすると便利である。また例えば、音声認識装置がＮ−ベストの音声認識結果を出力するようにし、前処理装置がＮ−ベストの音声認識結果の各々に対する検査結果に基づき、翻訳に最適な音声認識結果を選択するようにしてもよい。逆に、翻訳に使用される翻訳モデル及びその学習に用いられるバイリンガルコーパスのドメインが、認識すべき音声の言語及びドメインに適合しているかを評価することも可能である。さらに、その評価をもとに、適切なバイリンガルコーパス及び翻訳モデルを選ぶことにより、認識すべき音声に対する音声翻訳の性能の向上が期待できる。
【００８５】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００８６】
【図１】音声翻訳システム３０の全体構成を示すブロック図である。
【図２】音声認識装置４８による処理の概要と音声認識結果５０のデータ構成とを示す模式図である。
【図３】フレーズデータベース５６の構成を示す概略図である。
【図４】適合度の評価結果付の音声認識結果７２及び検査結果７６のデータ構成を示す図である。
【図５】しきい値テーブル１６０のデータ構成を示す図である。
【図６】適合度評価部７０の機能的構成を示すブロック図である。
【図７】合否決定部７４の機能的構成を示すブロック図である。
【図８】しきい値学習部８４の機能的構成を示すブロック図である。
【図９】本発明の一実施の形態に係る音声翻訳システム３０を実現するコンピュータシステムの外観図である。
【図１０】図９に示すコンピュータのブロック図である。
【符号の説明】
【００８７】
３０  音声翻訳システム
３４  バイリンガルコーパス
４４  セレクタ
４８  音声認識装置
５２  翻訳モデル部
５４  翻訳モデル学習装置
５６  フレーズデータベース
６０  検査装置
６４  前処理装置
６８  翻訳装置
７０  適合度評価部
７４  合否決定部
７８  スイッチ
８２  しきい値テーブル部
８４  しきい値学習部
１６０  しきい値テーブル
１８０  認識結果記憶部
１８２  照合部
１８４  Ｌmax算出部
１８５  適合度付与部
１８６，２６８  出力部
１９０  部分文生成部
１９２  部分文記憶部
１９４  探索部
１９６  一致部分記憶部
２６０  記憶部
２６４  検査結果付与部
２７０  単語選択部
２７２  しきい値設定部
２７４  比較部
２８０  正解付与部
２８４  学習用検査結果記憶部
２８６  正誤判定部
２９０  正誤記憶部
２９４  しきい値調整部
２９６  再検査部
【図１】
0004756499.tif 000006
【図２】
0004756499.tif 000007
【図３】
0004756499.tif 000008
【図４】
0004756499.tif 000009
【図５】
0004756499.tif 000010
【図６】
0004756499.tif 000011
【図７】
0004756499.tif 000012
【図８】
0004756499.tif 000013
【図９】
0004756499.tif 000014
【図１０】
0004756499.tif 000015