(57)【要約】【課題】入力音声を高品質で翻訳しながら、計算コストの増加を避けることのできる音声翻訳システムを提供する。【解決手段】単語ラティス翻訳装置は、ソース言語の単語ラティスをターゲット言語の単語グラフに変換する処理を行なうための変換セクション１４４と、ターゲット言語の単語グラフ内で最も確率の高い経路を探索することによって単語グラフを翻訳し、その経路に対応する翻訳を出力する処理を行なうための単語ラティス翻訳モジュール１４６とを含む。【選択図】        図５
2007079270.tif 000002
【特許請求の範囲】
【請求項１】
ソース言語の単語ラティスをターゲット言語の単語グラフに変換するための手段と、
前記ターゲット言語の単語グラフ内において、予め定められた条件を満足する確率を有する経路を探索し、その経路に対応する翻訳文を出力するための手段とを含む、単語ラティス翻訳装置。
【請求項２】
前記単語ラティスのエッジの各々にはソース単語が割当てられており、前記装置はさらに、複数個の経路の同じ位置にある同じ単語に対応するエッジをマージすることによって前記ソース言語の単語ラティスを簡略化するための手段を含む、請求項１に記載の単語ラティス翻訳装置。
【請求項３】
前記単語ラティスのエッジの各々には事後確率が割当てられており、前記単語ラティス翻訳装置はさらに、仮説の各々のノードの事後確率に基づいて計算された前記仮説の各々の事後確率に基づき、前記単語ラティス中の仮説を選択するための手段を含む、請求項１または請求項２に記載の装置。
【請求項４】
前記選択するための手段は、前記ソース言語の単語ラティスにおいて、事後確率がしきい値Ｐ0／Ｔを超える仮説を選択するための手段を含み、ここでＴは予め定められた定数であり、ただしＰ0は前記単語ラティス中の仮説において最高の事後確率である、請求項３に記載の単語ラティス翻訳装置。
【請求項５】
ソース言語の入力音声信号を受け、ソース言語の単語ラティスを出力する音声認識モジュールを含む音声翻訳システムであって、前記単語ラティスはノード及びエッジを含み、前記音声認識モジュールは前記単語ラティス中の各エッジに事後確率を割当て、前記音声翻訳システムはさらに、
前記音声認識モジュールから出力された単語ラティスをターゲット言語に翻訳する、請求項１〜請求項４のいずれかに記載の単語ラティス翻訳装置を含む、音声翻訳システム。
【請求項６】
コンピュータ上で実行されると、請求項１〜請求項５のいずれかに記載の機能の全てをコンピュータに実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は音声翻訳システムに関し、特に、自動音声認識装置及び統計的機械翻訳装置を含む音声翻訳システムに関する。
【背景技術】
【０００２】
現在の音声翻訳システムのほとんどは、カスケード構造を有する。すなわち、音声認識要素の後に機械翻訳要素が続く。通常、機械翻訳要素で用いられるのは、音声認識の結果のうち最良のもの一個だけである。音声認識の誤差が避けられないため、音声翻訳では、完全なテキスト入力で達成される翻訳性能と同じレベルの性能を得ることはできない。
【０００３】
音声認識の誤差を克服するために、これまでにいくつかの手法が提案されている。ネイは、非特許文献１において、自動音声認識と統計的機械翻訳とを組合せる結合構造を提案している。カサカバータ等は非特許文献２において、一つのフレームワーク内に音響的特徴量と翻訳特徴量とを保持する有限状態変換器を用いている。厳密に言えば、このアプローチは統計的音声翻訳の構成を用いていない。ガオは、非特許文献３において統一された構成を使用しており、音声翻訳システムモデル全体を構築するために最大エントロピーを用いたアプローチを提案している。
【非特許文献１】ハーマン  ネイ、１９９９年、「音声翻訳：認識と翻訳との結合」、ＩＣＡＳＳＰ  １９９９予稿集、第１巻、５１７−５２０ページ、フェニックス、ＡＲ、３月（Hermann  Ney.  1999.  Speech  translation:  Coupling  of  recognition  and  translation.  In  Proc.  of  ICASSP  1999,  volume  1,  pages  517-520,  Phoenix,  AR,  March.）
【非特許文献２】フランシスコ  カサカバータ、エンリケ  ヴィダル、及びホアン  Ｍ.ヴィラー、２００２年、「有限状態モデルを用いた音声−音声翻訳のための手法」、音声−音声翻訳ワークショップ予稿集、３９−４４ページ、フィラデルフィア、ＰＡ、７月（Francisco  Casacuberta,  Enrique  Vidal,  and  Juan  M.  Vilar.  2002.  Architectures  for  speech-to-speech  translation  using  finite-state  models.  In  Proc.  of  speech-to-speech  translation  workshop,  pages  39-44,  Philadelphia,  PA,  July.）
【非特許文献３】ユイチン  ガオ、２００３年、「結合対統一：音声−音声翻訳のモデリング技術」、ユーロスピーチ予稿集２００３、３６５−３６８ページ、ジュネーブ（Yuqing  Gao.  2003.  Coupling  vs.  unifying:  Modeling  techniques  for  speech-to  speech  translation.  In  Proc.  of  EuroSpeech  2003,  pages  365-368,  Geneva.）
【非特許文献４】ピーター  Ｆ．ブラウン、ヴィンセント  Ｊ.デラ  ピエトラ、スティーブン  Ａ.デラ  ピエトラ、及びロバート  Ｌ.マーサ、１９９３年、「統計的機械翻訳の数学：パラメータの推定」、コンピュータ言語学、１９（２）：２６３−３１１（Peter  F  Brown,  Vincent  J.  Della  Pietra,  Stephen  A.  Della  Pietra,  and  Robert  L.  Mercer.  1993.  The  mathematics  of  statistical  machine  translation:  Parameter  estimation.  Computational  Linguistics,  19(2):263-311.）
【非特許文献５】スティーブン  ヴォーゲル、Ｈ.ネイ及びＣ.ティルマン、１９９６年、「統計的機械翻訳におけるＨｍｍを用いた単語ベースのアライメント」、コペンハーゲン、デンマーク（Stephen  Vogel,  H.  Ney,  and  C.  Tillman.  1996.  Hmm  word-based  alignment  in  statistical  machine  translation.  Copenhagen,  Denmark.）
【非特許文献６】フランツ  ヨゼフ  オック、２００３年、「統計的機械翻訳における最小誤差率のトレーニング」、ＡＣＬ２００３予稿集、１６０−１６７ページ（Franz  Josef  Och.  2003.  Minimum  error  rate  training  in  statistical  machine  translation.  In  Proc.  of  ACL’2003,  pages  160-167.）
【非特許文献７】ニコラ  エッフィング、フランツ  ヨゼフ  オック、及びハーマン  ネイ、２００２年、「統計的機械翻訳における単語グラフの生成」自然言語処理のための経験的方法に関する大会予稿集（ＥＭＮＬＰ０２）、１５６−１６３ページ、フィラデルフィア、ＰＡ、７月（Nicola  Ueffing,  Franz  Josef  Och,  and  Hermann  Ney.  2002.  Generation  of  word  graphs  in  statistical  machine  translation.  In  Proc.  of  the  Conference  on  Empirical  Methods  for  Natural  language  Processing  (EMNLP02),  pages  156-163,  Philadelphia,  PA,  July.）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
音声認識は必然的に認識誤差を含むため、後続する音声翻訳は完璧なテキスト入力の翻訳性能レベルを達成することはできないであろう。一方で翻訳の品質向上が求められている。さらに、統計的翻訳のフレームワークでは、翻訳の品質を高めようとすれば計算のコストがかさむであろう。
【０００５】
従って、この発明の目的は、入力音声を高品質で翻訳しながら、計算コストの増加を避けることのできる音声翻訳システムを提供することである。
【課題を解決するための手段】
【０００６】
この発明の第１の局面に従えば、単語ラティス翻訳装置は、ソース言語の単語ラティスをターゲット言語の単語グラフに変換するための手段と、ターゲット言語の単語グラフにおいて予め定められた条件を満足する確率を有する経路を探索し、その経路に対応する翻訳文を出力するための手段とを含む。
【０００７】
単語ラティスはまずターゲット言語の単語グラフに変換される。ターゲット言語の単語グラフはその後、ターゲット言語の単語グラフにおいて予め定められた条件を満足する確率を有する経路に変換される。この経路に対応する翻訳文が出力される。この経路は、例えば、最高の事後確率を有する。
【０００８】
好ましくは、単語ラティスのエッジの各々にはソース単語が割当てられる。単語ラティス翻訳装置はさらに、単語ラティスの複数個の経路の同じ位置にある同じ単語に対応するエッジをマージすることによってソース言語の単語ラティスを簡略化するための手段を含んでもよい。
【０００９】
より好ましくは、単語ラティスのエッジの各々に事後確率が割当てられ、単語ラティス翻訳装置はさらに、仮説の各々のノードの事後確率に基づいて計算された仮説の各々の事後確率に基づき、単語ラティス中の仮説を選択するための手段を含む。
【００１０】
さらに好ましくは、選択するための手段は、ソース言語の単語ラティスにおいて、事後確率がしきい値Ｐ0／Ｔを超える仮説を選択する手段を含み、ただしＴは予め定められた定数であり、Ｐ0は単語ラティス中の仮説において最高の事後確率である。
【００１１】
この発明の第２の局面に従えば、音声翻訳システムは、ソース言語の入力音声信号を受け、ソース言語の単語ラティスを出力する音声認識モジュールを含み、単語ラティスはノード及びエッジを含み、音声認識モジュールは単語ラティス中の各エッジに事後確率を割当てる。音声翻訳システムはさらに、音声認識モジュールから出力された単語ラティスをターゲット言語に翻訳する、上述の単語ラティス翻訳装置を含む。
【００１２】
この発明の第３の局面は、コンピュータ上で実行されると、上述の装置またはシステムの機能の全てをコンピュータに実行させる、コンピュータプログラムに関する。
【発明を実施するための最良の形態】
【００１３】
〔第１の実施の形態〕
＜構造の概観＞
以下で説明するこの発明の実施の形態は、音声認識の出力として、さらに機械翻訳の入力として、音声認識単語ラティスを用いる。この構造では、音声認識要素と機械翻訳要素とがシーケンシャルに接続されているが、単一の最良のものを用いる構造に比べ、単語ラティスにはより多くの仮説が記憶されており、事後確率によってインスタンス化された音響モデルスコア及び言語モデルスコア等の相補的情報を機械翻訳要素で用いて、翻訳性能を向上させる。
【００１４】
統計的機械翻訳（Ｓｔａｔｉｓｔｉｃａｌ  Ｍａｃｈｉｎｅ  Ｔｒａｎｓｌａｔｉｏｎ：ＳＭＴ）の分野において、有名な初期のモデルはＩＢＭモデルであり（ブラウン等、非特許文献４）、ベイズの規則を用いてＰ（ｅ｜ｆ）をＰ（ｅ）Ｐ（ｆ｜ｅ）に変換する。ＩＢＭモデル１から５は、複雑さの増加に応じてＰ（ｆ｜ｅ）にさまざまなモデルを導入している。
【００１５】
別の良く使われるモデルは「ＨＭＭ」（Ｈｉｄｄｅｎ−Ｍａｒｋｏｖ  Ｍｏｄｅｌ：隠れマルコフモデル）と呼ばれるものであり（ヴォーゲル等、非特許文献５）、これはＩＢＭモデル１のディストーションを表すことができる。
【００１６】
最大エントロピーを用いたフレームワークにより最近、Ｐ（ｅ｜ｆ）を直接モデリングすること、及び対数線形モデルが有効であることが証明された（オック、非特許文献６）。このモデルは多数の特徴量を対数線形に統合することができる。従って、この実施の形態では、統計的な対数線形モデルを翻訳モデルとして用いる。
【００１７】
図１は本発明の第１の実施の形態に従った音声翻訳システム２０の全体構造を示す図である。図１を参照して、音声翻訳システム２０は、入力音声３０を認識してソース言語の単語ラティス（Ｓｏｕｒｃｅ  Ｌａｎｇｕａｇｅ  Ｗｏｒｄ  Ｌａｔｔｉｃｅ：ＳＷＬ）３４を出力するための自動音声認識（Ａｕｔｏｍａｔｉｃ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ：ＡＳＲ）モジュール３２と、ＳＷＬ３４を翻訳してターゲット翻訳３８を出力する単語ラティス翻訳（Ｗｏｒｄ  Ｌａｔｔｉｃｅ  Ｔｒａｎｓｌａｔｉｏｎ：ＷＬＴ）モジュール３６とを含む。この実施の形態では、ソース言語は日本語であり、ターゲット言語は英語である。
【００１８】
この音声翻訳の課題は、日本語から英語への翻訳の場合、確率Ｐ（Ｅ｜Ｘ）を最大とするターゲット英語文＾Ｅ（数式中では「＾」は文字Ｅの上に付す）を見出すこととしてモデル化できる。ただしＸはソースの日本語音声発話である。ＡＳＲモジュール３２の中間出力をＪと定義すれば、これは以下のように表せる。
【００１９】
【数１】
2007079270.tif 000003
ここでＰ（Ｘ｜Ｊ）はＡＳＲモジュール３２で用いられる音響モデルであり、Ｐ（Ｊ｜Ｅ）は翻訳モデルであり、Ｐ（Ｅ）はターゲット翻訳モデルである。式（１）の音声翻訳モデルはＡＳＲとＳＭＴとの密な結合を表しており、ここで最良の出力＾Ｅは全てのソース言語単語シーケンスにわたる確率乗算の総和を最大にするものである。探索空間を減じるため、この実施の形態ではこのモデルを２段階で実現する。
【００２０】
−第１に、ＡＳＲモジュール３２を用いて単語ラティスＧを生成する（ＳＷＬ３４）。ＡＳＲスコアがしきい値ＴＨより高い、上位にランクする仮説のみを単語ラティスに保持する。
【００２１】
【数２】
2007079270.tif 000004
−第２に、ＷＬＴ３６を用いて、以下の式を最大とする出力を求める。
【００２２】
【数３】
2007079270.tif 000005
式（２）と（３）との組合せは、式（１）の近似であり、ここでＪ及びＥは式（２）を導出する際に独立であると仮定され、この和を最大化によって近似して式（３）を導出する。一方、音声翻訳の最終的目標は＾Ｅのみであるにもかかわらず、ＷＬＴモジュール３６ではまた、最良の＾Ｅを生成するような＾Ｊも得られる。
【００２３】
ＷＬＴモジュールで用いられる翻訳モデルは式（３）の形で導出されるが、この実施の形態は実際にはより進んだモデルである、特徴量を用いた対数線形モデルを用いており、これは以下の式で表される。
【００２４】
【数４】
2007079270.tif 000006
ここで、７個の特徴量は以下のように定義される。
【００２５】
（ａ）ＡＳＲ仮説の事後確率、Ｐpp（Ｊ｜Ｘ）。ここでは、音響モデルスコアに代えて事後確率を用いるが、これは音響モデルスコアが大きなダイナミックレンジを有し、正規化が困難だからである。事後確率は以下のように計算される。
【００２６】
【数５】
2007079270.tif 000007
ここで、単語ラティスＧ中の全ての仮説について和がとられる。Ｊ1は単語ラティス内の仮説である。
【００２７】
（ｂ）単語シーケンスのターゲット言語モデル、Ｐlm（Ｅ）。
【００２８】
（ｃ）品詞（Ｐａｒｔ−ｏｆ−Ｓｐｅｅｃｈ：ＰＯＳ）シーケンスのターゲットモデル、Ｐlm（ＰＯＳ（Ｅ））。
【００２９】
（ｄ）ファーティリティモデル、Ｎ（Φ｜Ｅ）はΦ（空）の単語を生成する英語の単語ｅの確率を表す。
【００３０】
（ｅ）ＮＵＬＬ翻訳モデル、Ｐ０（ｎｕｌｌ）はＮＵＬＬ単語を挿入する確率を表す。
【００３１】
（ｆ）辞書モデル、Ｔ（Ｊ｜Ｅ）は日本語のソース文中の単語ｊが英語のターゲット文の対応する単語ｅに翻訳される確率である。
【００３２】
（ｇ）ディストーションモデル、Ｄ（Ｅ，Ｊ）はソース文及びターゲット文（Ｊ，Ｅ）のアライメント確率を表す。
【００３３】
式（４）は、翻訳モデルＰ（Ｊ｜Ｅ）がＩＢＭモデル４（ブラウン等、非特許文献４）によって拡張され音響特徴量が事後確率に置換えられている点を除き、式（１）の対数への拡張である。
【００３４】
単語ラティスの翻訳はテキスト翻訳よりずっと複雑である。テキスト翻訳では単一のソース文が知られているだけであるが、単語ラティス翻訳では単一のソース文はなく、ラティスは多数の仮説を含む。どの仮説が翻訳に最適であるかは、デコーディングが完了するまでは分からない。
【００３５】
この実施の形態の音声翻訳システム２０は、単語ラティス翻訳のためにグラフ＋Ａ＊デコーディングアプローチを用いる。このアプローチは（エッフィング等、非特許文献７）によってテキスト翻訳で用いられているものである。ここでは、このアプローチを音声翻訳に拡張する。このアプローチが採択されたのは、より多くの仮説を小型の構造で維持できるからである。グラフ＋Ａ＊デコーディングは、２パスのデコーディングである。第１のパスは簡単なモデルを用いて単語グラフを生成し、最も尤度の高い仮説を保存する。これは、ＳＷＬをターゲット言語の単語グラフ（Ｔａｒｇｅｔ  Ｌａｎｇｕａｇｅ  Ｗｏｒｄ  Ｇｒａｐｈ：ＴＷＧ）に変換することになる。ＳＷＬのエッジはＴＷＧのエッジのいくつかとアライメント（対応付け）される。第２のパスは複雑なモデルを用い、ターゲット単語グラフ全体を検査して最良の仮説を出力する。
【００３６】
［第１のパス  ＳＷＬからＴＷＧへ］
図２はＳＷＬ３４の例を示し、図３は対応するＴＷＧ８０の例を示す。図２を参照して、ＳＷＬ３４は開始ノード５０、ノード５２〜６０、終了ノード６２、及びそれぞれのノードを接続するエッジＪ0〜Ｊ7を含む。例えば、エッジＪ0は開始ノード５０とノード５２とを接続し、エッジＪ1はノード５２とノード５４とを接続し、以下同様である。図３に示すＴＷＧも同様に、開始ノード９０、ノード９２〜１１０及び終了ノード１１２と、それぞれのノードを接続するエッジＥ0〜Ｅ7とを含む。
【００３７】
図２及び図３を参照して、ＴＷＧ８０の各エッジは、辞書モデルによって与えられた単語の訳またはファーティリティモデルによるファーティリティ拡張によって与えられた単語の訳からの、ＳＷＬ内のソース単語の訳である、ターゲット言語の単語である。同じ構造を有するエッジは一つのノードにマージされる。これらノードは、現在のノードに至るまでに経たソース単語経路を示す要素を有する。この経路は二値の要素からなるベクトルであって、そのサイズはＳＷＬ３４内のエッジの数であり、翻訳されたソースエッジの数を表す。ｊ番目のソース単語が翻訳されたとすればｊ番目の要素は１、さもなければ、０となる。ノードがＳＷＬ３４内の完全な経路の全てのエッジをカバーしていれば、このノードはＴＷＧ８０内の最後のノード、すなわち終了ノード１１２に接続する。
【００３８】
例えば、ノード９４はベクトル「１０１０００００」を有するが、これはノード９４までの経路がノード０及びノード２を経由し、その他のノードは経由していないことを表す。ノード１１０はベクトル「１１０１００１０」を有するが、これはノード１１０までの経路がノード０、１、３及び６を経由し、ノード２、４、５及び７は経由していないことを示す。
【００３９】
ノードをエッジに拡張するには、二つの主な動作がある。ＤＩＲＥＣＴとＡＬＩＧＮとである。
【００４０】
ＤＩＲＥＣＴは、経由されていないソース単語を翻訳することによって、仮説をターゲット単語で拡張する。ターゲット単語は、現在のターゲットのＮグラムコンテキストと、経由していないソース単語の翻訳として可能なものとに基づいて決定される。
【００４１】
ＡＬＩＧＮは、経由していない１又はそれ以上のソース単語を現在のノードとアライメントすることによって仮説を拡張する。この場合、ターゲット単語は複数のソース単語の翻訳であって、ターゲット単語のファーティリティを増加させる。
【００４２】
エッジは、結果として得られる仮説がＳＷＬ３４内のいずれの仮説にも対応していない場合には拡張されない。もしノードがＳＷＬ３４の完全な経路をカバーしていれば、このノードは終了ノード１１２に接続される。可能な拡張のために利用できるノードがない場合には、変換は完了する。
【００４３】
［第２のパス  ＴＷＧから最良の出力を見出すためのＡ＊探索］
Ａ＊探索は、第１のパスで生成されたＴＷＧ８０の全体を検査する。これは、最良のものから最初に選ぶ（ｂｅｓｔ  ｆｉｒｓｔ）というアプローチである。生成された部分的仮説は全て次の拡張のために確率キューにプッシュされる。
【００４４】
このＡ＊探索を行うために、ノードｎの仮説スコア、Ｄ（ｈ，ｎ）を２部分で評価する。前方探索スコアＦ（ｈ，ｎ）とヒューリスティック推定Ｈ（ｈ，ｎ）とであり、ここでＤ（ｈ，ｎ）＝Ｆ（ｈ，ｎ）＋Ｈ（ｈ，ｎ）である。Ｆ（ｎ，ｈ）の計算は、ＴＷＧの開始ノード（ＴＷＧ８０では開始ノード９０）から始まり、現在のノードｎに至るまでの仮説に属する全てのノードのスコアを積算したものである。Ｈ（ｈ，ｎ）は終了ノードから現在のノードｎまでのモデルの積算された最大確率として定義される。
【００４５】
第２のパスでは、ＩＢＭモデルの特徴が対数線形モデルに組入れられる。しかし、ＩＢＭモデル４を直接用いることはできない。なぜなら、二つのモデルの計算、Ｐ（Φ0｜Ｅ）及びＤ（Ｅ，Ｊ）はソース文を必要とするにもかかわらず、実際にはソース文は未知だからである。従って、Ｐ（Φ0｜Ｅ）及びＤ（Ｅ，ｊ）の確率は、デコーディングの間には正確には計算できない。
【００４６】
この実施の形態では、可能な全ての仮説に対し最大値を用いることでこの問題を解決する。上述の二つのモデルに対し、スコアは、現在のコンテキストの下で可能なＡＳＲ仮説の全てについて計算される。最大値がそのモデルの確率として用いられる。
【００４７】
［ＳＷＬの最小化］
生のＳＷＬ３４を生成するために、ＨＭＭを用いたＡＳＲモジュール３２を使用するので、わずかに異なる複数のフレームで同じ単語が識別されることがあり得る。この結果、同じ単語が二つ以上のエッジに現れることがある。ＳＷＬをＴＷＧに直接変換すると、計算が重複しＴＷＧ空間が爆発的に増大する。
【００４８】
これに対し、生のＳＷＬは何百もの仮説を含む一方で、最上位のＮ−ベストの仮説は最も重要なものの中にあり、これは全ての仮説のごくわずかな部分に過ぎない。最上位のＮ−ベストを除いて他の全ての仮説を切捨てることで、重大な情報の損失なく、生のＳＷＬのサイズを縮小することができる。
【００４９】
ＳＷＬのサイズを縮小するために、守るべき規則が一つある。これによれば、ＴＷＧのいずれかの完全な経路がＳＷＬの完全な経路の翻訳である場合のみ、ＴＷＧはＳＷＬの翻訳の相手である。
【００５０】
この実施の形態では、ＳＷＬのサイズを縮小するために以下のステップを用いる。ＳＷＬから、エッジ番号のシーケンスの形でＮ−ベスト仮説が生成される。仮説中の全てのエッジの単語ＩＤが列挙され、重複する単語は除外され、残りのものには新たなエッジＩＤがインデックスとして与えられる。新たなエッジの数は、生のＳＷＬのそれより少ない。次に、各仮説中のエッジのシーケンスを新たなエッジＩＤで置換える。一つの仮説中で同じ単語ＩＤを共有するエッジが二つ以上あれば、その単語に再び新たなエッジＩＤが付加され、そのエッジは新たなＩＤと置換えられる。こうして、ＳＷＬ中の複数個の経路の同じ位置にある同じ単語に対応するエッジをマージすることによってＳＷＬが簡略化される。
【００５１】
最後に、新たな単語リストをそのエッジとし、Ｎ−ベスト仮説のみからなる新たな単語ラティスが生成される。生のＳＷＬが縮小されたＳＷＬになる。縮小されたＳＷＬは生のＳＷＬよりかなり小さい。ある実験では、単語ラティスは平均で５０％簡略化された。
【００５２】
図４はラティスの縮小の例を示す。ＳＷＬ３４が開始時の生のＳＷＬである。単語ＩＤは括弧内に示されている（Ｗａ，Ｗｂ等）。経路はボックス１２０内で示されるようにエッジのシーケンスとして列挙される。ボックス１２０内のシーケンスに規則１２２が適用され、ボックス１２４に示される新たなシーケンスのリストが生成され、これは縮小されたＳＷＬ１２６で表される。縮小されたＳＷＬ１２６はノード１３０、１３２、１３４、１３６及び１３８と、エッジＬ0、Ｌ1、Ｌ2、Ｌ3及びＬ4とを含む。例えば、エッジＬ1はＳＷＬ３４のエッジＪ1及びＪ2に相当する。エッジＪ1及びＪ2は同じ単語Ｗｂを表すため、これらのエッジは一つのエッジＬ1に置換えられている。
【００５３】
ＳＷＬ３４の縮小の後、一つの仮説が除外される。実は、縮小されたＳＷＬは、新たに割当てられたエッジＩＤを備えたＮ−ベストのＡＳＲ仮説であるに過ぎない。以下、ラティス中の仮説の数を表すのに「ラティス−仮説」という用語を用いるが、これは、縮小されたＳＷＬにおいてＴＷＧを構築するのに用いられる仮説の数として定義される。これは、縮小されたＳＷＬについてラティス密度より適切な計量法である。なぜなら、ラティスを最小化した後では、縮小したＳＷＬは生のＳＷＬの密度に関わらず、単に重要なＮ−ベストのＡＳＲ仮説を保存しているだけだからである。
【００５４】
［信頼度尺度（Ｃｏｎｆｉｄｅｎｃｅ  Ｍｅａｓｕｒｅ：ＣＭ）による仮説の選択］
上述の通り、縮小されたＳＷＬはＮ個のＡＳＲ仮説を記憶する。全ての仮説は、それらがヒストグラム及びしきい値刈込みによって除外されていない限り、変換後にＴＷＧに相手を見出すことができるはずである。仮説の事後確率は、この仮説がＴＷＧで用いられるか否かを判断できる。一般に、事後確率が最低の仮説は、ＷＬＴモジュール３６（図１）で用いられる尤度が最も低い。これらはほとんどの場合、デコーディング処理のより早い段階で刈込まれる。
【００５５】
実験では、発明者らは、ＴＷＧにおいて事後確率が非常に低い仮説をハードな判断で除外することにより音声翻訳を向上できることを見出した。さらに、事後確率を信頼度尺度として用いて、信頼度の低い仮説をフィルタリングすることで、よりよい結果が得られることも分かった。ＳＷＬ中の全ての仮説について、式（５）を用いて各仮説の事後確率を計算した。その後、各仮説の事後確率をシングル−ベストの仮説の確率Ｐ0、すなわち最大事後確率と比較した。もしこれがしきい値Ｐ0／Ｔ、ただしＴは信頼度係数、を超えるならば、仮説はＷＬＴで用いられ、そうでなければ除外される。信頼度尺度を適用することで、ＷＬＴは自動的に仮説を選択しこれらがＴＷＧに変換される。従って、所与のＳＷＬにおいて、ＷＬＴでの翻訳の仮説の数は信頼度尺度フィルタリングによって決定される。
【００５６】
＜コンピュータによる実現＞
上述のＷＬＴモジュール３６はコンピュータハードウェアと、コンピュータ上で実行されるコンピュータプログラムで実現される。図５はＳＷＬ３４を翻訳するためのＷＬＴモジュール３６のアルゴリズムのフローチャートである。図５を参照して、このアルゴリズムはステップ１４０で開始し、ここでＳＷＬは上述の簡略化アルゴリズムを用いて最小化される。ステップ１４２で、仮説のいくつかが上述のようにＣＭフィルタリングによって選択される。ステップ１４４で、ＳＷＬはＴＷＧに変換される。このステップの詳細は図６を参照して後述する。ステップ１４６で、Ａ＊アルゴリズムにより、最良の翻訳を求めてＴＷＧ内が探索される。
【００５７】
図６はステップ１４４の詳細を示す。図６を参照して、ＳＷＴからＴＷＧへの変換はステップ１５０で始まり、ここでバッファ配列Ｇ［ｔ］が生成され変数ｔが０に設定される。配列Ｇ［ｔ］の各要素は各時間スライスでＴＷＧにおいて生成されるグラフを表す。
【００５８】
ステップ１５２で、Ｇ［ｔ］から最初のノードｎが選択される。ステップ１５４で、ノードｎが完全なＳＷＬ経路をカバーしているか否かが判断される。もしカバーしていれば、制御はステップ１８０に進み、そうでなければステップ１５６に進む。
【００５９】
ステップ１８０で、ノードｎはＧ［ｔ］内の次のノードに設定され、制御はステップ１５４に戻る。
【００６０】
ステップ１５６において、ＳＷＬから第１のエッジＬが選択される。次に、ステップ１５８で、ノードｎがエッジＬを経由しているか否かが判断される。もし経由していれば、制御はステップ１８２に進み、さもなければステップ１６０に進む。
【００６１】
ステップ１８２で、エッジＬはＳＷＬ内の次のエッジに設定され、制御はステップ１５８に戻る。
【００６２】
ステップ１６０で、新たなノードｍが生成される。ステップ１６２で、ノードｍが許されないものであるか否かが判断される。もしそうであれば、制御はステップ１８２に進み、そうでなければステップ１６４に進む。
【００６３】
ステップ１６４で、新たなノードｍがＧ［ｔ＋１］に入れられる。制御はステップ１６６に進む。
【００６４】
ステップ１６６で、エッジＬが最後のエッジであるか否かが判断される。もしそうであれば、制御はステップ１６８に進み、そうでなければステップ１８２に進む。
【００６５】
ステップ１６８で、可能であればＧ［ｔ＋１］内のノードがマージされ刈込みされる。制御はステップ１７０に進む。
【００６６】
ステップ１７０で、ノードｎがＧ［ｔ］内の最後のノードであるか否かが判断される。もし最後でなければ制御はステップ１８０に進み、Ｇ［ｔ］から次のノードが選択されてそのノードについてステップ１５４から１７０が繰返される。ノードｎが最後のノードであれば、制御はステップ１７２に進み、ここでｔがｔ＋１に更新される。ステップ１７４で、Ｇ［ｔ］が空であるか否かが判断される。もし空であれば、グラフの拡張が終わったことを意味し、制御はこの処理から元の処理に復帰する。そうでなければ、制御はステップ１５２に戻り、Ｇ［ｔ］についてステップ１５２から１７４が繰返される。
【００６７】
この処理が終わると、ＳＷＬがＴＷＧに変換されＧ［ｔ−１］に記憶されている。
【００６８】
＜コンピュータハードウェア＞
図７は上述のプログラムを実行しこの実施の形態の音声翻訳システム２０を実現するコンピュータシステム３３０の外観を示し、図８はシステム３３０の構造を示すブロック図である。
【００６９】
図７を参照して、コンピュータシステム３３０はＦＤ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ）ドライブ３５２及びＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２とを含む。
【００７０】
図８を参照して、コンピュータ３４０は、ＦＤドライブ３５２及びＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３５６と、ＣＰＵ３５６、ＣＤ−ＲＯＭドライブ３５０及びＦＤドライブ３５２に接続されたバス３６６と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）３５８と、ＣＰＵ３５６に接続されアプリケーションプログラムの命令を一時的に記憶するとともに、一時記憶領域を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３６０と、アプリケーションプログラム、システムプログラム及びデータを記憶するためのハードディスク３５４とを含む。ここでは図示しないが、コンピュータ３４０はさらに、ローカルエリアネットワーク（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ：ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【００７１】
コンピュータシステム３３０にこの実施の形態に係る音声翻訳システム２０の機能を実行させるプログラムは、ＣＤ−ＲＯＭドライブ３５０又はＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２又はＦＤ３６４に記憶され、さらにハードディスク３５４に転送されてもよい。これに代えて、プログラムは図示しないネットワークを介して送信され、ハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。プログラムはＣＤ−ＲＯＭ３６２、ＦＤ３６４又はネットワークから直接ＲＡＭ３６０にロードされてもよい。
【００７２】
このプログラムは、コンピュータ３４０にこの実施の形態に係る音声翻訳システム２０の機能を実行させるための複数の命令を含む。必要とされる基本的機能のいくつかはコンピュータ３４０上で実行されるオペレーティングシステム（ＯＳ）又はサードパーティプログラム、もしくはコンピュータ３４０にインストールされるモジュールによって提供されるので、このプログラムは必ずしもこの実施の形態の音声翻訳システム２０を実現するために必要とされる基本的機能の全てを含む必要はない。このプログラムは、所望の結果が得られるように制御された様態で適切な機能を呼出すような命令の部分のみを含んでいればよい。コンピュータシステム３３０の一般的な動作は周知であり、従ってここでは繰返さない。
【００７３】
＜音声翻訳システム２０の動作＞
動作において、図１を参照して、日本語の入力音声３０がＡＳＲモジュール３２に与えられる。ＡＳＲモジュール３２は日本語言語モデル及び音響モデルを用いて入力音声３０を認識し、ＳＷＬ３４を出力する。ＳＷＬ３４内の各経路には事後確率が付与されている。
【００７４】
所与のＳＷＬ３４について、ＷＬＴモジュール３６は図４と図５のステップ１４０で示されるようにまずＳＷＬ３４を簡略化する。この簡略化により、ＷＬＴモジュール３６の計算コストが大きく削減される。ステップ１４２で、ＳＷＬ内のＮ−ベストの仮説のみが、信頼度尺度に基づいて選択される。
【００７５】
次に、ステップ１４４で、ＷＬＴモジュール３６が、簡略化されたＳＷＬを図６に示される態様でＴＷＧに変換する。
【００７６】
図６を参照して、この変換は以下のように行われる。ステップ１５０でバッファ配列Ｇ［ｔ］が生成され、変数ｔが０に設定される。ステップ１５２で、第１のノードｎがＧ［０］から選択される。Ｇ［０］にはノードがないので、制御はステップ１５４、１５６、１５８及び１６０に進み、ステップ１６０で新たなノードｍが生成される。新たなノードｍは許されないものではない、と仮定すると、ノードｍはＧ［１］に入れられる。ステップ１６６で、ＳＷＬが２以上のエッジを含むと仮定すると、エッジは最後のエッジではないと判断され、制御はステップ１８２に進み、ここでＳＷＬ中の次のエッジが選択される。こうして、全てのエッジＬが検査されるまで、ステップ１５８から１６６が繰返される。あるエッジが最後のエッジであると判断されると、制御はステップ１６８に進む。
【００７７】
ステップ１６８で、Ｇ［１］で表されるグラフ内のノード及びエッジがマージされ刈込みされる。ステップ１７０で、ノードｎがＧ［０］内の最後のノードであると判断され、制御はステップ１７２に進み、ここで変数ｔが１だけ増分される。典型的には、Ｇ［１］は空ではなく、従ってステップ１７４でＧ［１］は空でないと判断され、制御はステップ１５２に進む。
【００７８】
ステップ１５２で、Ｇ［１］から最初のノードｎが選択され、Ｇ［１］内の全てのノードとＳＷＬ内の全てのエッジについてステップ１５２から１７２が繰返される。この繰返しで、グラフはＧ［２］に拡張される。
【００７９】
ＳＬＷからＴＷＧへの変換が完了すると、この繰返しの間に追加されるノードはなくなり、ステップ１７４でＧ［１］は空であると判断され、制御はこの処理から元の処理に復帰するが、Ｇ［ｔ−１］にはＴＷＧが記憶されている。
【００８０】
ステップ１４６で、Ａ＊探索アルゴリズムがＴＷＧから最良の経路を探索し選択する。選択された経路が、図１に示すＷＬＴモジュール３６のターゲット翻訳３８である。
【００８１】
この実施の形態によれば、ＡＳＲモジュール３２からのＳＷＬ出力はまず簡略化され、その後ＷＬＴモジュール３６でＴＷＧに変換される。ＷＬＴモジュール３６はその後、信頼度尺度によって仮説を選択し、結果として得られるＴＷＧからＡ＊探索アルゴリズムを用いて最良の翻訳を探索する。この構成により、単語と文との精度が向上し、計算コストも格段に削減される。
【００８２】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００８３】
【図１】この発明の一実施の形態に係る音声翻訳システム２０の全体のブロック図である。
【図２】ＳＷＬの例を示す図である。
【図３】ＴＷＧの例を示す図である。
【図４】ＳＷＬ簡略化の例を示す図である。
【図５】この発明の実施の形態に係る音声翻訳システム２０を、コンピュータシステムを用いて実現するためのメインプログラムのフローチャートである。
【図６】この発明の実施の形態におけるＳＷＴからＴＷＧへの変換の詳細なフローチャートである。
【図７】上述のプログラムを実行し上記実施の形態の音声翻訳システム２０を実現するコンピュータシステム３３０の外観を示す図である。
【図８】図７に示すコンピュータの構造を示す図である。
【符号の説明】
【００８４】
２０  音声翻訳システム
３０  入力音声
３２  自動音声認識（ＡＳＲ）モジュール
３４  ソース単語ラティス
３６  単語ラティス翻訳（ＷＬＴ）モジュール
３８  ターゲット翻訳
１２６  縮小されたＳＷＬ
【図１】
2007079270.tif 000008
【図２】
2007079270.tif 000009
【図３】
2007079270.tif 000010
【図４】
2007079270.tif 000011
【図５】
2007079270.tif 000012
【図６】
2007079270.tif 000013
【図７】
2007079270.tif 000014
【図８】
2007079270.tif 000015
【外国語明細書】
2007079270000001.pdf
2007079270000002.pdf
2007079270000003.pdf
2007079270000004.pdf