(57)【要約】【課題】従来、出現頻度が低い単語が対訳文中に現れる場合に、当該対訳文中の２言語の単語対応の精度が低下する、という課題があった。【解決手段】対訳文ごとに、各単語対の確率に関する単語対確率情報を、各単語対の初期単語対確率情報と処理対象の対訳文を除く２以上の対訳文とを用いて、２以上の各対訳文の第一言語文を構成する１以上の各第一単語と、対訳文を除く２以上の各対訳文の第二言語文を構成する１以上の各第二単語とを有する各単語対の確率に関する単語対確率情報を、対訳文ごとに取得する単語対確率情報取得処理を、２回以上繰り返す単語対情報取得部と、各単語対の単語対確率情報を蓄積する単語対確率情報蓄積部とを具備する単語対確率情報処理装置により、出現頻度が低い単語が対訳文中に現れる場合でも、当該対訳文中の２言語の単語対応の精度が低下しない。【選択図】図１
2016189046.tif 000002
【特許請求の範囲】
【請求項１】
第一言語文と第二言語文とを対に有する３以上の対訳文を格納している対訳文格納部と、
前記３以上の処理対象の各対訳文の第一言語文を構成する１以上の各第一単語と、第二言語文を構成する１以上の各第二単語とが単語対である初期の確率に関する初期単語対確率情報を、単語対ごとに格納し得る初期単語対確率情報格納部と、
前記３以上の処理対象の各対訳文ごとに、前記処理対象の対訳文の各単語対の確率に関する単語対確率情報を、各単語対の初期単語対確率情報と当該処理対象の対訳文を除く２以上の対訳文とを用いて、当該２以上の各対訳文の第一言語文を構成する１以上の各第一単語と、当該対訳文を除く２以上の各対訳文の第二言語文を構成する１以上の各第二単語とを有する各単語対の確率に関する単語対確率情報を、対訳文ごとに取得する単語対確率情報取得処理を、２回以上繰り返す単語対情報取得部と、
前記単語対情報取得部が取得した各単語対の単語対確率情報を蓄積する単語対確率情報蓄積部とを具備する単語対確率情報処理装置。
【請求項２】
前記初期単語対確率情報を第一単語対確率情報とし、
前記単語対情報取得部は、
前記３以上の処理対象の各対訳文ごとに、当該処理対象の対訳文を除く２以上の対訳文の中に、当該２以上の各対訳文の第一言語文を構成する１以上の各第一単語と、当該対訳文を除く２以上の各対訳文の第二言語文を構成する１以上の各第二単語とが共に存在する確率に関する第二単語対確率情報を、第一単語対確率情報を用いて、単語対ごとに算出する単語対確率情報取得処理を行い、かつ前記第二単語対確率情報を第一単語対確率情報として、前記単語対確率情報取得処理を、さらに１回以上行う請求項１記載の単語対確率情報処理装置。
【請求項３】
請求項１または請求項２記載の単語対確率情報処理装置が蓄積した１または２以上の単語対の単語対確率情報を格納し得る単語対確率情報格納部と、
第一言語文を受け付ける受付部と、
前記単語対確率情報格納部に格納されている１または２以上の単語対の単語対確率情報を用いて、前記受付部が受け付けた第一言語文を機械翻訳し、第二言語文を取得する機械翻訳部と、
前記機械翻訳部が取得した第二言語文を出力する出力部とを具備する機械翻訳装置。
【請求項４】
記録媒体は、
第一言語文と第二言語文とを対に有する３以上の対訳文を格納している対訳文格納部と、
前記３以上の処理対象の各対訳文の第一言語文を構成する１以上の各第一単語と、第二言語文を構成する１以上の各第二単語とが単語対である初期の確率に関する初期単語対確率情報を、単語対ごとに格納し得る初期単語対確率情報格納部とを具備し、
単語対情報取得部、および単語対確率情報蓄積部により実現される単語対確率情報処理方法であって、
前記単語対情報取得部が、前記３以上の処理対象の各対訳文ごとに、前記処理対象の対訳文の各単語対の確率に関する単語対確率情報を、各単語対の初期単語対確率情報と当該処理対象の対訳文を除く２以上の対訳文とを用いて、当該２以上の各対訳文の第一言語文を構成する１以上の各第一単語と、当該対訳文を除く２以上の各対訳文の第二言語文を構成する１以上の各第二単語とを有する各単語対の確率に関する単語対確率情報を、対訳文ごとに取得する単語対確率情報取得処理を、２回以上繰り返す単語対情報取得ステップと、
前記単語対確率情報蓄積部が、前記単語対情報取得ステップで取得された各単語対の単語対確率情報を蓄積する単語対確率情報蓄積ステップとを具備する単語対確率情報処理方法。
【請求項５】
コンピュータがアクセス可能な記録媒体は、
第一言語文と第二言語文とを対に有する３以上の対訳文を格納している対訳文格納部と、
前記３以上の処理対象の各対訳文の第一言語文を構成する１以上の各第一単語と、第二言語文を構成する１以上の各第二単語とが単語対である初期の確率に関する初期単語対確率情報を、単語対ごとに格納し得る初期単語対確率情報格納部とを含み、
コンピュータを、
前記３以上の処理対象の各対訳文ごとに、前記処理対象の対訳文の各単語対の確率に関する単語対確率情報を、各単語対の初期単語対確率情報と当該処理対象の対訳文を除く２以上の対訳文とを用いて、当該２以上の各対訳文の第一言語文を構成する１以上の各第一単語と、当該対訳文を除く２以上の各対訳文の第二言語文を構成する１以上の各第二単語とを有する各単語対の確率に関する単語対確率情報を、対訳文ごとに取得する単語対確率情報取得処理を、２回以上繰り返す単語対情報取得部と、
前記単語対情報取得部が取得した各単語対の単語対確率情報を蓄積する単語対確率情報蓄積部として機能させるためのプログラム。
【請求項６】
コンピュータがアクセス可能な記録媒体は、
請求項１または請求項２記載の単語対確率情報処理装置が蓄積した１または２以上の単語対の単語対確率情報を格納し得る単語対確率情報格納部を具備し、
コンピュータを、
第一言語文を受け付ける受付部と、
前記単語対確率情報格納部に格納されている１または２以上の単語対の単語対確率情報を用いて、前記受付部が受け付けた第一言語文を機械翻訳し、第二言語文を取得する機械翻訳部と、
前記機械翻訳部が取得した第二言語文を出力する出力部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つの言語の単語対に関する単語対確率情報を取得し、蓄積する単語対確率情報処理装置等に関するものである。
【背景技術】
【０００２】
統計的機械翻訳の翻訳エンジンは、対訳コーパスから自動的に作成することが可能である。この過程を訓練と呼ぶ。訓練の一段階として単語アライメントがある。単語アライメントとは、単語に分割された対訳コーパスにおける対訳文において、単語対応を自動的に検出することを言う。たとえば、「これ  は  ペン  です」と「This is a pen」という対訳文において、「これ」と「This」、「ペン」と「pen」が対応していることを自動的に検出する。単語アライメントの精度は、自動作成される翻訳エンジンの精度に大きく影響する。
【０００３】
上記の単語アライメントの取得のために、従来、ＥＭアルゴリズムという手法を用いていた（例えば、非特許文献１参照）。ＥＭアルゴリズムは、Ｅ  ｓｔｅｐ（Expectation step）とＭ  ｓｔｅｐ（Maximization step）とからなる。Ｅ  ｓｔｅｐは、対訳文ごとに、単語アライメントの条件付き確率を算出するステップである。Ｍ  ｓｔｅｐは、各対訳文について、単語アライメントの確率モデルを再推定するステップである。なお、再推定とは、確率モデルのパラメータについて、仮の条件により設定した値を、新たな条件の下で再度設定することを言う。
【０００４】
以下、ＩＢＭモデル１、２およびＨＭＭモデルにおける標準的なＥＭアルゴリズムについて説明する。ＩＢＭモデル１、２およびＨＭＭモデルにおけるＥ  ｓｔｅｐは、数式１で示される。また、ＩＢＭモデル１、２およびＨＭＭモデルにおけるＭ  ｓｔｅｐは、数式２、３で示される。
【数１】
2016189046.tif 000003
【０００５】
【数２】
2016189046.tif 000004
【０００６】
【数３】
2016189046.tif 000005
【０００７】
なお、数式１において、「ａ」は単語アライメントを示す情報である。また、「ｓ」は対訳文である。さらに、「θ」は確率モデルである。つまり、Ｐ（ａ｜ｓ，θ）は、対訳文「ｓ」、確率モデル「θ」が与えられた場合に、単語アライメントが「ａ」となる確率を示す。また、数式１において、「Ｊ」は、第二言語文の単語数である。
【０００８】
また、数式１において、「θali（ａj｜ａｊ−１，Ｉ）」は、アライメント確率（alignment probability）を示す。「ａj」は、数字であり、第二言語文のj番目の単語fjとアライメントされている第一言語文（例えば、英語文）の単語の場所を示す。「ａｊ−１」は、数字であり、第二言語文のj-1番目の単語fj-1とアライメントされている第一言語文の単語の場所を示す。なお、第一言語文は、例えば、英語の文（例えば、「I have a pen」）であり、第二言語文（例えば、日本語文）は、第一言語文の対訳の文であり、例えば、日本語の文（例えば、「私  は  ペン  を  持っています」）である。そして、第一言語文「I have a pen」の各単語に「NULL/0 I/1 have/2 a/3 pen/4」のように数値が割り当てられ、第二言語文「私  は  ペン  を  持っています」の各単語に「私/1  は/2  ペン/3  を/4  持っています/5」のように数値が割り当てられている、とする。また、「Ｉ」は第一言語文の単語数を示す。つまり、アライメント確率「θali（ａj｜ａｊ−１，Ｉ）」は、単語数「Ｉ」の文において、「ａｊ−１」番目の単語の次に「ａｊ」番目の単語がアライメントされる確率である。つまり、第一言語文は、「1 -> 0 -> 4 -> 0 -> 2」の順番で遷移する。遷移確率が「θali (1|最初)・θali (0|1) ・θali (4|0) ・θali (0|4) ・θali (2|0)」のように確率の積として表現される。
【０００９】
また、数式１において、「θlex（ｆj｜ｅaｊ）」は、翻訳確率（translation probability）を示す。「ｆj」は第二言語文の単語であり、「ｅaｊ」は第一言語文の単語である。「θlex（ｆj｜ｅaｊ）」は、単語「ｅaｊ」が単語「ｆj」に翻訳される確率である。例えば、「θlex（犬｜dog）」は、単語「dog」が単語「犬」に翻訳される確率である。
【００１０】
また、数式２において、分母を構成する「Ｎi',I（ｓ）」は、全単語数が「Ｉ」である第一言語文（例えば、英語文）の中の単語であり、場所i'にある単語から訳語が選ばれた回数である。そして、数式２の分母「ΣｓＮi',I（ｓ）」は、全対訳文において、前記訳語が選ばれた回数の総和である。言い換えれば、「Ｎi',I（ｓ）」は、期待頻度である。期待頻度という意味は、この頻度は確定したものではなく確率的に求まるものであるので、その確率による頻度の平均値という意味である。上記の例（「1 -> 0 -> 4 -> 0 -> 2」）において、NULLから２回の単語が出ているが、NULLの位置（場所）は0であるので、N0,I(s)=2となる。そして、分母「ΣｓＮi',I（ｓ）」は、期待頻度の全コーパスの総和である。
【００１１】
また、数式２において、分子を構成する「Ｎi|i',I（ｓ）」は、第一言語文（例えば、英語文）の単語数（長さ）が「I」の対訳文「s」において、場所「i'」にある単語から訳語が選ばれた後に、場所「i」における単語から訳語が選ばれた期待頻度である。そして、「i」は単語が出現する場所である。そして、上記の例において、場所0のあとに場所2が選ばれているので、「N2|0,I(s)」=1になる。これも期待頻度である。数式２の分子は、このような期待頻度の全コーパスの総和である。
【００１２】
さらに、数式３において、分母を構成する「ne(s)」は、対訳文「s」における第一言語文の単語「e」の期待頻度である。単語「e」の出現は、アライメントに応じて確率的にしか求まらない。つまり、第一言語文と第二言語文の間に考えられるアライメントの数は多数ある。たとえば、上記対訳文の例では、「私」と「pen」がアライメントされることも確率は低いが考えられる。そのため、全てのアライメントについて、それにおける単語「e」の出現確率を求めて、その出現確率について、各アライメントの確率により平均をとることにより、単語「e」の期待頻度とする。そして、数式３の分母「Σｓne(s)」は、「ne(s)」について、対訳文「s」で総和を取っているので、コーパス全体における単語「e」の期待頻度である。
【００１３】
また、数式３において、分子を構成する「Nf|e(s)」 は、対訳文「s」において、第二言語文の単語「f」が第一言語文の単語「e」の訳語である場合についての期待頻度である。したがって、「Nf|e(s)」を全部のeについて加算すれば 「ne(s)」と一致する。分子「ΣｓNf|e(s)」は、コーパス全体において、第二言語文の単語「f」が第一言語文の単語「e」の訳語である期待頻度である。なお、上記のコーパスとは、全対訳文である。
【００１４】
次に、ＩＢＭモデル４における標準的なＥＭアルゴリズムについて説明する。ＩＢＭモデル４におけるＥ  ｓｔｅｐは、数式４で示される。また、ＩＢＭモデル４におけるＭ  ｓｔｅｐは、数式６、７、８で示される。ＩＢＭモデル４における標準的なＥＭのフレームワークは、ＩＢＭモデル１、２およびＨＭＭモデルにおける標準的なＥＭに似ているが、アライメント確率の計算はＩＢＭモデル１等と比較して複雑である。
【００１５】
【数４】
2016189046.tif 000006
【００１６】
数式４において、戻しアライメント（「Franz Josef Och and Hermann Ney. 2003. A Systematic Comparison of Various Statistical Alignment Models. Computational Linguistics, 29(1):19-51.」参照）を用いて条件付き確率を算出している。数式４において、Ｂｉは、第一言語（例えば、英語）単語「ｅｉ」に対応する第二言語（例えば、日本語）の単語のインデックスのリストである。第二言語の単語のインデックスとは、文中での第二言語の単語の出現の順番を示す数字である。なお、「Ｂｉ」のｉは１からＩ（Ｉは、第一言語文の単語数）である。また、Ｂ０は、「空（empty word）」に対応する第二言語のセットである。Ｐ（Ｂ０｜Ｂ１，・・・，ＢＩ）は、Ｂ０のサイズの二項分布（「Peter F. Brown, Vincent J. Della Pietra, Stephen A. Della Pietra, and Robert L. Mercer. 1993b. The mathematics of statistical machine translation:parameter estimation. Computational linguistics,19(2):263-311.」参照）、または欠乏を緩和するために修正された分布（「Franz Josef Och and Hermann Ney. 2003. A Systematic Comparison of Various Statistical Alignment Models. Computational Linguistics, 29(1):19-51.」参照）である。
【００１７】
また、分散「Ｐ（Ｂｉ｜Ｂｉ−１，ｅｉ）」は、数式５のように分解される。
【００１８】
【数５】
2016189046.tif 000007
【００１９】
数式５において、「θfer」は、fertilityモデルである。fertilityモデルとは、第一言語の一単語にアライメントされる第二言語の単語数のモデルである。「φｉ」は、単語「ｅｉ」のfertility（単語ｅｉにアライメントされる第二言語の単語数）である。また、「θoth」は、第二言語文の他の単語にアライメントされる確率モデルである。また、「θhea」は、単語クラス「Ｅρｉ」に条件付けられている（論文「Franz Josef Och and Hermann Ney. 2003. A Systematic Comparison of Various Statistical Alignment Models. Computational Linguistics, 29(1):19-51.」と「ＧＩＺＡ＋＋とＣＩＣＡＤＡ」の実装とを参照）。「θhea」は、第一言語文の場所iにある単語にアライメントされている第二言語文の単語集合について、その先頭の文の単語の位置から平均の単語の位置を引いた数値となる確率である。
【００２０】
なお、数式５において、「Ｂｉ，ｋ」は、第一言語文の単語「ｅｉ」にアライメントされる第二言語文のｋ番目の単語のインデックスである。また、「Ｂｉ−」は、「Ｂｉ」内のすべての要素の平均である。また、「Ｅｉ」は、単語「ｅｉ」の単語クラスである。
【００２１】
【数６】
2016189046.tif 000008
【００２２】
数式６の分母を構成する「Ｎφ'｜e（ｓ）」は、単語eの可能なfertilityの期待頻度である。そして、数式６の分母「ΣｓΣφ' Ｎφ'｜e（ｓ）」は、それを全文について、単語eの可能なfertilityについて加えたものである。また、数式６の分子を構成する「Ｎφ｜e（ｓ）」は、文sの実際のfertilityの期待頻度である。そして、数式６の分子「ΣｓＮφ｜e（ｓ）」は全コーパスについての総和である。
【００２３】
【数７】
2016189046.tif 000009
【００２４】
数式７等において、「Δｉ」は、２つの第二言語の単語のインデックスの差異である。また、数式７の分母を構成する「ＮΔｉ'｜Ｅhea（ｓ）」は、複数のアライメントにおける先頭単語の可能なインデックスの差異の期待頻度である。そして、数式７の分母「ΣｓΣΔi'ＮΔｉ'｜Ｅhea（ｓ）」は、複数のアライメントにおける先頭単語の可能なインデックスの差異の期待頻度の全コーパスの総和である。また、数式７の分子を構成する「ＮΔｉ｜Ｅhea（ｓ）」は、複数のアライメントにおける先頭単語の実際のインデックスの差異の期待頻度である。そして、数式７の分子「ΣｓＮΔｉ｜Ｅhea（ｓ）」は複数のアライメントにおける先頭単語の実際のインデックスの差異の期待頻度の全コーパスでの総和である。
【００２５】
【数８】
2016189046.tif 000010
【００２６】
また、数式８の分母を構成する「ＮΔｉ'｜Ｅoth（ｓ）」は、複数のアライメントにおける先頭以外の単語の可能なインデックスの差異の期待頻度である。そして、数式８の分母「ΣｓΣΔi'ＮΔｉ'oth（ｓ）」は、複数のアライメントにおける先頭単語以外の可能なインデックスの差異の期待頻度の全コーパスの総和である。また、数式８の分子を構成する「ＮΔｉoth（ｓ）」は、複数のアライメントにおける先頭単語以外の実際のインデックスの差異の期待頻度である。そして、数式８の分子「ΣｓＮΔｉoth（ｓ）」は、複数のアライメントにおける先頭単語の実際のインデックスの差異の期待頻度の全コーパスでの総和である。
【００２７】
なお、ＥＭアルゴリズムを用いた場合、対訳文全体で、多数の単語対の一つの確率モデルを推定する。かかることは、ＩＢＭモデル１、２、ＨＭＭモデル、およびＩＢＭモデル４等におけるすべてのＥＭアルゴリズムで言えることである。
【先行技術文献】
【非特許文献】
【００２８】
【非特許文献１】Peter F. Brown, Vincent J. Della Pietra, Stephen A. Della Pietra, and Robert L. Mercer. 1993b."The mathematics of statistical machine translation:parameter estimation." Computational linguistics,19(2):263-311.
【発明の概要】
【発明が解決しようとする課題】
【００２９】
しかしながら、ＥＭアルゴリズムという手法では、自動的に単語対応を発見するが、出現頻度が低い単語同士の出現確率を過大評価するため、出現頻度が低い単語が対訳文中に現れる場合に、当該対訳文中の２言語の単語対応の精度が低下する、という課題があった。
かかる課題を解決するために、本発明は、出現頻度が低い単語が対訳文中に現れる場合でも、当該対訳文中の２言語の単語対応の精度が低下しないアルゴリズムを提供する。
【課題を解決するための手段】
【００３０】
本第一の発明の単語対確率情報処理装置は、第一言語文と第二言語文とを対に有する３以上の対訳文を格納している対訳文格納部と、３以上の処理対象の各対訳文の第一言語文を構成する１以上の各第一単語と、第二言語文を構成する１以上の各第二単語とが単語対である初期の確率に関する初期単語対確率情報を、単語対ごとに格納し得る初期単語対確率情報格納部と、３以上の処理対象の各対訳文ごとに、処理対象の対訳文の各単語対の確率に関する単語対確率情報を、各単語対の初期単語対確率情報と処理対象の対訳文を除く２以上の対訳文とを用いて、２以上の各対訳文の第一言語文を構成する１以上の各第一単語と、対訳文を除く２以上の各対訳文の第二言語文を構成する１以上の各第二単語とを有する各単語対の確率に関する単語対確率情報を、対訳文ごとに取得する単語対確率情報取得処理を、２回以上繰り返す単語対情報取得部と、単語対情報取得部が取得した各単語対の単語対確率情報を蓄積する単語対確率情報蓄積部とを具備する単語対確率情報処理装置である。
【００３１】
かかる構成により、出現頻度が低い単語が対訳文中に現れる場合でも、当該対訳文中の２言語の単語対応の精度が低下しない。
【００３２】
また、本第二の発明の単語対確率情報処理装置は、第一の発明に対して、初期単語対確率情報を第一単語対確率情報とし、単語対情報取得部は、３以上の処理対象の各対訳文ごとに、処理対象の対訳文を除く２以上の対訳文の中に、２以上の各対訳文の第一言語文を構成する１以上の各第一単語と、対訳文を除く２以上の各対訳文の第二言語文を構成する１以上の各第二単語とが共に存在する確率に関する第二単語対確率情報を、第一単語対確率情報を用いて、単語対ごとに算出する単語対確率情報取得処理を行い、かつ第二単語対確率情報を第一単語対確率情報として、単語対確率情報取得処理を、さらに１回以上行う単語対確率情報処理装置である。
【００３３】
かかる構成により、出現頻度が低い単語が対訳文中に現れる場合でも、当該対訳文中の２言語の単語対応の精度が低下しない。
【発明の効果】
【００３４】
本発明による単語対確率情報処理装置によれば、出現頻度が低い単語が対訳文中に現れる場合でも、当該対訳文中の２言語の単語対応の精度が低下しない。
【図面の簡単な説明】
【００３５】
【図１】実施の形態１における単語対確率情報処理装置１のブロック図
【図２】同単語対確率情報処理装置１の動作例について説明するフローチャート
【図３】同単語対確率情報取得処理について説明するフローチャート
【図４】同従来法における単語アライメントの結果の例を示す図
【図５】同単語対確率情報処理装置１を用いた単語アライメントの結果の例を示す図
【図６】同人手による単語アライメントの結果の例を示す図
【図７】同実験２において使用したコーパスを示す図
【図８】同実験３において使用したコーパスを示す図
【図９】同実験２における単語アライメントの精度の実験結果を示す図
【図１０】同実験３における単語アライメントの精度の実験結果を示す図
【図１１】同実験２におけるＢＬＥＵスコアの算出結果を示す図
【図１２】同実験３におけるＢＬＥＵスコアの算出結果を示す図
【図１３】同コーパスサイズの変化による単語アライメントの精度の変化を示す図
【図１４】同コーパスサイズの変化による機械翻訳におけるＢＬＥＵスコアの変化を示す図
【図１５】同コーパスサイズの変化による機械翻訳におけるＢＬＥＵスコアの変化を示す図
【図１６】同コーパスサイズが異なっている状況における単語アライメントの精度（Ｆ１値）の変化を示したグラフ
【図１７】同コーパスサイズが異なっている状況におけるＢＬＥＵスコアの変化を示すグラフ
【図１８】同コーパスサイズが異なっている状況におけるＢＬＥＵスコアの変化を示すグラフ
【図１９】同機械翻訳装置のブロック図
【図２０】同コンピュータシステムの概観図
【図２１】同コンピュータシステムのブロック図
【発明を実施するための形態】
【００３６】
以下、単語対確率情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００３７】
（実施の形態１）
本実施の形態において、２つの言語の単語対に関する単語対確率情報を取得し、蓄積する単語対確率情報蓄積装置であって、３以上の対訳文を用いて、対訳文ごとに、自分以外の２以上の対訳文の単語対確率情報を利用することにより、対訳文ごとに、単語対の単語対確率情報を取得する単語対確率情報蓄積装置について説明する。
【００３８】
なお、単語対確率情報は、単語対の確率に関する情報である。また、実施の形態１で説明する単語対確率情報蓄積装置では、対訳文全体で、多数の単語対の一つの確率モデルを推定するＥＭアルゴリズムとは異なり、対訳文ごとに、単語対の確率モデルを推定する。
【００３９】
図１は、本実施の形態における単語対確率情報処理装置１のブロック図である。
【００４０】
単語対確率情報処理装置１は、単語対確率情報格納部１１、対訳文格納部１２、初期単語対確率情報格納部１３、単語対情報取得部１４、および単語対確率情報蓄積部１５を備える。
【００４１】
単語対確率情報格納部１１は、１または２以上の単語対確率情報を格納し得る。単語対確率情報とは、第一単語と第二単語とが対応する確率に関する情報である。第一単語とは、第一言語の単語である。第二単語とは、第二言語の単語である。第一言語と第二言語とは異なる言語である。第一言語が英語である場合、例えば、第二言語は、日本語、中国語、韓国語、フランス語等である。第一言語と第二言語は何語であるかは問わないことは言うまでもない。単語対確率情報は、単語対の確率に関する情報である。確率に関する情報とは、通常、確率であるが、確率に相当する他の情報でも良い。単語対確率情報格納部１１は、通常、対訳文ごとに、対訳文に含まれる各単語対の単語対確率情報を格納し得る。例えば、対訳文の第一言語文ｅが（e1,e2）であり、対訳文の第二言語文ｆが(f1,f2,f3)である場合、対訳文に含まれる各単語対 (e1,f1)(e1,f2) (e1,f3) (e2,f1)(e2,f2) (e2,f3)である。ここで、e1,e2,f1,f2,f3は、単語である。
【００４２】
対訳文格納部１２は、対訳文を格納している。対訳文格納部１２は、通常、３以上の対訳文を格納している。対訳文格納部１２に格納されている全対訳文をコーパスと言っても良い。対訳文とは、第一言語文と第二言語文とを対に有する情報である。対訳文は、通常、第一言語文と、当該第一言語文と同意味の第二言語文である。ただし、対訳文は、通常、第一言語文と第二言語文との対応を取る情報でも良い。
【００４３】
初期単語対確率情報格納部１３は、初期単語対確率情報を、単語対ごとに格納し得る。初期単語対確率情報とは、単語対の初期の確率に関する情報である。初期単語対確率情報は、例えば、単語対の初期の確率であり、例えば、「１／ｎ」（ｎは、対訳文を構成する第二言語文の単語数）、「０．１」などである。複数の初期単語対確率情報は、通常、一様分布である。例えば、対訳文の第一言語文ｅが（e1,e2）であり、対訳文の第二言語文ｆが(f1,f2,f3)である場合、すべての単語対 (e1,f1)(e1,f2) (e1,f3) (e2,f1)(e2,f2) (e2,f3)の初期単語対確率情報は、例えば、「１／３」である。
【００４４】
初期単語対確率情報は、例えば、３以上の処理対象の各対訳文の第一言語文を構成する１以上の各第一単語と、第二言語文を構成する１以上の各第二単語とが単語対である初期の確率に関する情報である。初期単語対確率情報格納部１３は、通常、対訳文ごとに、対訳文内の２以上の単語対の確率に関する情報（例えば、確率そのもの）を格納している。
【００４５】
なお、初期単語対確率情報格納部１３は、単語対確率情報格納部１１であっても良い。つまり、後述する単語対確率情報蓄積部１５は、得られた単語対確率情報を、初期単語対確率情報格納部１３に上書きしても良い。
【００４６】
単語対情報取得部１４は、単語対確率情報取得処理を、２回以上繰り返す。単語対確率情報取得処理とは、対訳文格納部１２の３以上の対訳文ごとに、単語対確率情報取得する処理である。
【００４７】
単語対確率情報取得処理とは、単語対の初期単語対確率情報と、対訳文を除く、対訳文格納部１２の２以上の対訳文とを用いて、２以上の各対訳文の第一言語文を構成する１以上の各第一単語と、対訳文を除く２以上の各対訳文の第二言語文を構成する１以上の各第二単語とを有する各単語対の単語対確率情報を、対訳文ごとに取得する処理である。なお、「２以上の対訳文を用いて」とは、２以上の対訳文に、第一単語と第二言語とが共に出現する確率に関する情報を取得することでも良い。
【００４８】
単語対情報取得部１４は、例えば、以下のような単語対確率情報取得処理を実行する。
（１）単語対情報取得部１４は、着目する対訳文（以下、適宜、「着目対訳文」という）を対訳文格納部１２から取得する。
（２）単語対情報取得部１４は、着目対訳文から２以上の単語対を取得する。ここで、単語対情報取得部１４は、通常、すべての組み合わせの単語対を取得する。例えば、着目対訳文の第一言語文ｅが（e1,e2）であり、第二言語文ｆが(f1,f2,f3)である場合、単語対情報取得部１４は、６つの単語対(e1,f1)(e1,f2) (e1,f3) (e2,f1)(e2,f2) (e2,f3)を取得する。
（３）単語対情報取得部１４は、上記の６つの各単語対について、着目対訳文を除く２以上の対訳文の中に共に出現する出現数を取得する。なお、着目対訳文を除く２以上の対訳文は、対訳文格納部１２に格納されている対訳文である。
（４）単語対情報取得部１４は、上記の６つの各単語対について、出現数から出現確率（例えば、「出現確率＝出現数／着目対訳文を除く２以上の対訳文の数」）を算出する。
（５）単語対情報取得部１４は、上記の６つの各単語対について、初期単語対確率情報と算出した出現確率とを用いて、単語対確率情報を取得する。なお、例えば、単語対情報取得部１４は、「初期単語対確率情報＋算出した出現確率」を算出し、単語対確率情報とする。なお、単語対情報取得部１４は、出現数を取得して単語対確率情報を算出する代わりに、各単語対について、着目対訳文を除く２以上の対訳文の中に共に出現する対訳文に対応する当該単語対の初期単語対確率情報を取得して、当該取得した１以上の初期単語対確率情報を用いて、単語対確率情報を算出しても良い。
（６）以上の（１）から（５）の処理をすべての対訳文に対して行う。
【００４９】
以上の処理により、１回目の単語対確率情報取得処理が完了する。
【００５０】
なお、単語対確率情報取得処理により、各対訳文の各単語対に対して、単語対確率情報が付与されたことになる。また、単語対確率情報は、単語対を構成する第一単語と第二単語とのリンクの強さと考えても良い。また、上記の着目対訳文を除く２以上の対訳文とは、対訳文格納部１２の対訳文である。
【００５１】
次に、単語対情報取得部１４は、直前の単語対確率情報を初期単語対確率情報として、上記の（１）から（６）の処理により、単語対の単語対確率情報を算出する。なお、算出された単語対の単語対確率情報を用いて、通常、当該単語対の単語対確率情報は単語対確率情報蓄積部１５により更新される。
【００５２】
そして、単語対情報取得部１４は、終了条件に合致するまで、単語対確率情報取得処理を繰り返す。その結果得られた最終的な単語対確率情報が、算出したい単語対確率情報である。
【００５３】
上述したように、単語対情報取得部１４は、３以上の処理対象の各対訳文ごとに、処理対象の対訳文の各単語対の確率に関する単語対確率情報を、各単語対の初期単語対確率情報と処理対象の対訳文を除く２以上の対訳文とを用いて、２以上の各対訳文の第一言語文を構成する１以上の各第一単語と、対訳文を除く２以上の各対訳文の第二言語文を構成する１以上の各第二単語とを有する各単語対の確率に関する単語対確率情報を、対訳文ごとに取得する単語対確率情報取得処理を、２回以上繰り返す。
【００５４】
単語対情報取得部１４は、３以上の処理対象の各対訳文ごとに、処理対象の対訳文を除く２以上の対訳文の中に、２以上の各対訳文の第一言語文を構成する１以上の各第一単語と、対訳文を除く２以上の各対訳文の第二言語文を構成する１以上の各第二単語とが共に存在する確率に関する第二単語対確率情報を、第一単語対確率情報を用いて、単語対ごとに算出する単語対確率情報取得処理を行い、かつ第二単語対確率情報を第一単語対確率情報として、単語対確率情報取得処理を、さらに１回以上行う。
【００５５】
単語対情報取得部１４は、予め決められた回数だけ、単語対確率情報取得処理を繰り返しても良いし、ｎ回目の単語対確率情報取得処理におけるｘ個（ｘは１以上の自然数）の単語対の単語対確率情報と、（ｎ＋１）回目の単語対確率情報取得処理におけるｘ個の単語対の単語対確率情報との差異についての情報（差異の和が好適である）が閾値より小さい場合に、単語対確率情報取得処理を終了するなどしても良い。つまり、単語対情報取得部１４は、予め決められた条件を満たす場合に、単語対確率情報取得処理を終了することは好適である。ただし、予め決められた条件は、予め決められた回数になったこと、（ｎ＋１）回目の単語対確率情報取得処理におけるｘ個の単語対の単語対確率情報との差異が閾値より小さくなったこと等、種々考えられる。
【００５６】
単語対確率情報蓄積部１５は、単語対情報取得部１４が取得した各単語対の単語対確率情報を単語対確率情報格納部１１に蓄積する。なお、ここでの各単語対とは、２以上の単語対であり、通常、膨大な数の単語対である。また、単語対確率情報蓄積部１５は、単語対と単語対確率情報とを対に蓄積しても良いし、単語対のＩＤと単語対確率情報とを対に蓄積しても良い。つまり、単語対確率情報は、単語対に対応付く態様で蓄積されれば良い。
【００５７】
単語対確率情報格納部１１、対訳文格納部１２、初期単語対確率情報格納部１３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００５８】
単語対確率情報格納部１１等に単語対確率情報等が記憶される過程は問わない。例えば、記録媒体を介して単語対確率情報等が単語対確率情報格納部１１等で記憶されるようになってもよく、通信回線等を介して送信された単語対確率情報等が単語対確率情報格納部１１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された単語対確率情報等が単語対確率情報格納部１１等で記憶されるようになってもよい。
【００５９】
単語対情報取得部１４、単語対確率情報蓄積部１５は、通常、ＭＰＵやメモリ等から実現され得る。単語対情報取得部１４等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００６０】
次に、単語対確率情報処理装置１の動作例について、図２のフローチャートを用いて説明する。なお、本フローチャートにおいて、初期単語対確率情報格納部１３には、通常、対訳文ごとに、対訳文に含まれる単語対の初期単語対確率情報が格納されている、とする。
【００６１】
（ステップＳ２０１）単語対情報取得部１４は、カウンタｉに１を代入する。
【００６２】
（ステップＳ２０２）単語対情報取得部１４は、対訳文格納部１２に、ｉ番目の対訳文が存在するか否かを判断する。ｉ番目の対訳文が存在する場合はステップＳ２０３に行き、ｉ番目の対訳文が存在しない場合はステップＳ２０６に行く。なお、ｉ番目の対訳文は、着目対訳文である。
【００６３】
（ステップＳ２０３）単語対情報取得部１４は、ｉ番目の対訳文について、各単語対の単語対確率情報を取得する。かかる単語対確率情報取得処理について、図３のフローチャートを用いて説明する。
【００６４】
（ステップＳ２０４）単語対確率情報蓄積部１５は、ステップＳ２０３で取得された各単語対の単語対確率情報を、対訳文に対応付けて蓄積する。蓄積する先は、初期単語対確率情報格納部１３または単語対確率情報格納部１１である。
【００６５】
（ステップＳ２０５）単語対情報取得部１４は、カウンタｉを１、インクリメントする。ステップＳ２０２に戻る。
【００６６】
（ステップＳ２０６）単語対情報取得部１４は、終了条件に合致するか否かを判断する。終了条件に合致する場合は処理を終了し、終了条件に合致しない場合はステップＳ２０１に戻る。なお、終了条件に合致しない場合、ステップＳ２０４で蓄積された各単語対の単語対確率情報は、初期単語対確率情報となる（初期単語対確率情報である）。
【００６７】
なお、図２のフローチャートにおいて、終了条件は、例えば、あらかじめ決められたループの回数だけ、ステップＳ２０１からＳ２０６の処理が行われたこと、前回の各単語対の単語対確率情報と最新の各単語対の単語対確率情報との差異のトータルが閾値以内であること等である。なお、終了条件は、問わない。
【００６８】
次に、ステップＳ２０３の単語対確率情報取得処理について、図３のフローチャートを用いて説明する。
【００６９】
（ステップＳ３０１）単語対情報取得部１４は、カウンタｊに１を代入する。
【００７０】
（ステップＳ３０２）単語対情報取得部１４は、着目対訳文の中に、ｊ番目の単語対が存在するか否かを判断する。ｊ番目の単語対が存在する場合はステップＳ３０３に行き、ｊ番目の単語対が存在しない場合は上位処理にリターンする。なお、着目対訳文は、図２のフローチャートのｉ番目の対訳文である。また、例えば、着目対訳文の第一言語文ｅが（e1,e2）であり、第二言語文ｆが(f1,f2,f3)である場合、単語対は(e1,f1)(e1,f2) (e1,f3) (e2,f1)(e2,f2) (e2,f3)の６通りあり、１番目の単語対は、例えば、(e1,f1)である。
【００７１】
（ステップＳ３０３）単語対情報取得部１４は、カウンタｋに１を代入する。
【００７２】
（ステップＳ３０４）単語対情報取得部１４は、ｋ番目の他の対訳文が対訳文格納部１２に存在するか否かを判断する。ｋ番目の他の対訳文が存在する場合はステップＳ３０５に行き、存在しない場合はステップＳ３０８に行く。なお、ｋ番目の他の対訳文とは、着目対訳文を除いて、対訳文格納部１２に存在する対訳文である。
【００７３】
（ステップＳ３０５）単語対情報取得部１４は、ｋ番目の他の対訳文の中に、ｊ番目の単語対が存在するか否かを判断する。ｊ番目の単語対が存在する場合はステップＳ３０６に行き、ｊ番目の単語対が存在しない場合はステップＳ３０７に行く。なお、ｊ番目の単語対が(e2,f1)であり、ｋ番目の他の対訳文を構成する第一言語文ｅが（e1,e2,e3）であり、第二言語文ｆが(f1,f2,f3,f4)である場合、単語対情報取得部１４は、ｋ番目の他の対訳文の中に、ｊ番目の単語対が存在すると判断する。
【００７４】
（ステップＳ３０６）単語対情報取得部１４は、ｊ番目の単語対の単語対確率情報を算出するための情報である１以上の元情報をｋ番目の他の対訳文に対応する情報から取得し、図示しないバッファに一時蓄積する。なお、元情報は、通常、ｋ番目の他の対訳文におけるｊ番目の単語対の初期単語対確率情報を含む。また、ｋ番目の他の対訳文に対応する情報とは、ｋ番目の他の対訳文でも良いし、ｋ番目の他の対訳文に対応付いてる初期単語対確率情報でも良い。ｋ番目の他の対訳文に対応する情報とは、ｋ番目の他の対訳文から取得できる種々の情報を含んでも良い。ｋ番目の他の対訳文に対応する情報とは、例えば、単語対を構成する第一単語の第一言語文中の位置を示す情報（数値）と単語対を構成する第二単語の第二言語文中の位置を示す情報（数値）である。
【００７５】
（ステップＳ３０７）単語対情報取得部１４は、カウンタｋを１、インクリメントする。ステップＳ３０４に戻る。
【００７６】
（ステップＳ３０８）単語対情報取得部１４は、ステップＳ３０６でバッファに一時蓄積された１以上の元情報を用いて、着目する対訳文における、ｊ番目の単語対の単語対確率情報を算出する。単語対情報取得部１４は、例えば、バッファに一時蓄積された１以上の初期単語対確率情報をパラメータとする増加関数ｆ（例えば、「ｆ＝１以上の初期単語対確率情報の和／対訳文の数」、「ｆ＝１以上の初期単語対確率情報の和」など）により、ｊ番目の単語対の単語対確率情報を算出する。
【００７７】
（ステップＳ３０９）単語対情報取得部１４は、カウンタｊを１、インクリメントする。ステップＳ３０２に戻る。
【００７８】
以下、本実施の形態における単語対確率情報処理装置１の具体的な動作について説明する。以下、２つの具体例について説明する。具体例１は、ＩＢＭモデル１、２およびＨＭＭモデルに、本発明の手法を適用した場合である。この手法を、ＩＢＭモデル１、２およびＨＭＭモデルにおけるＬｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭという。具体例２は、ＩＢＭモデル４に、本発明の手法を適用した場合である。この手法を、ＩＢＭモデル４におけるＬｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭという。
【００７９】
（具体例１）
単語対情報取得部１４は、以下の数式９〜数式１１の情報を格納している。そして、単語対情報取得部１４は、数式９を実行することにより、ＩＢＭモデル１等におけるＬｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭアルゴリズムを構成するＥステップ（「Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  Ｅステップ」と言っても良い。）を実現する。また、単語対情報取得部１４は、数式１０、数式１１を実行することにより、ＩＢＭモデル１等におけるＬｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭアルゴリズムを構成するＭステップ（「Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  Ｍステップ」と言っても良い。）を実現する。
【００８０】
つまり、単語対情報取得部１４は、数式９〜数式１１を実行することにより、上述した単語対確率情報取得処理を行う。そして、単語対情報取得部１４は、終了条件に合致すると判断した場合処理を終了する。また、単語対確率情報蓄積部１５は、少なくとも最後に取得された各単語対の単語対確率情報を、対訳文に対応付けて、単語対確率情報格納部１１に蓄積する。
【００８１】
【数９】
2016189046.tif 000011
【００８２】
数式９において、「θs-」は、着目対訳文「ｓ」を除いて取得される確率モデルである。なお、「θs-」の「-」は「ｓ」の上に配置されている、とする。また、数式９において、「θali s-（ａj｜ａｊ−１，Ｉ）」は、着目対訳文「ｓ」を除いて取得されるアライメント確率を示す。また、数式９において、「θlex s-（ｆj｜ｅaｊ）」は、着目対訳文「ｓ」を除いて取得される翻訳確率を示す。つまり、数式９は、着目対訳文「ｓ」を除いている点が数式１と異なる。また、数式９は、対話文ごとに、単語対の確率情報を算出する点が数式１と異なる。
【００８３】
【数１０】
2016189046.tif 000012
【００８４】
数式１０において、分母を構成する「Ｎi',I（ｓ'）」と数式２の「Ｎi',I（ｓ）」とは、着目対訳文「ｓ」を除いている点が異なる。「ｓ'」は、着目対訳文「ｓ」を除いていることを示す。また、数式１０等の「Σs'＝／s」の「s'＝／s」は、対訳文の集合に、着目対訳文「ｓ」を含まないことを示す。なお、数式１０等において、「＝／」は、「＝」の中を貫く「／」である、とする。そして、数式１０の分母「Σs'＝／sＮi',I（ｓ）」は、コーパスから着目対訳文「ｓ」を除いた対訳文の集合のＮi',I（i'の場所がアライメントされる数）の期待頻度の総和である。
【００８５】
また、数式１０において、分子を構成する「Ｎi|i',I（ｓ'）」と、数式２の「Ｎi|i',I（ｓ）」とは、着目対訳文「ｓ」を除いている点が異なる。そして、分子「Σs'＝／sＮi',I（ｓ）」は、コーパスから着目対訳文「ｓ」を除いた対訳文の集合のＮi|i',I（i'からiに遷移する数）の期待頻度の総和である。
【００８６】
【数１１】
2016189046.tif 000013
【００８７】
数式１１において、分母を構成する「ne(s')」は、着目対訳文「ｓ」ではない対訳文「s'」における第一言語文の単語「e」の期待頻度である。そして、数式３の分母「Σs'＝／sne(s')」は、「ne(s')」について、着目対訳文「ｓ」ではない対訳文「s'」で総和を取っているので、着目対訳文「ｓ」を除いた対訳文の集合における単語「e」の期待頻度である。
【００８８】
また、数式１１において、分子を構成する「Nf|e(s')」 は、着目対訳文「ｓ」ではない対訳文「s'」において、第二言語文の単語「f」が第一言語文の単語「e」の訳語である場合についての期待頻度である。そして、分子「Σs'＝／sNf|e(s')」は、コーパスから着目対訳文「ｓ」を除いた対訳文の集合において、第二言語文の単語「f」が第一言語文の単語「e」の訳語である期待頻度である。
【００８９】
（具体例２）
単語対情報取得部１４は、以下の数式１２〜数式１６の情報を格納している。そして、単語対情報取得部１４は、数式１２、数式１３を実行することにより、ＩＢＭモデル４におけるＬｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭアルゴリズムを構成する「Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  Ｅステップ」を実現する。また、単語対情報取得部１４は、数式１４、数式１５、数式１６を実行することにより、ＩＢＭモデル４におけるＬｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭアルゴリズムを構成する「Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  Ｍステップ」を実現する。
【００９０】
つまり、単語対情報取得部１４は、数式１２〜数式１６を実行することにより、上述した単語対確率情報取得処理を行う。そして、単語対情報取得部１４は、終了条件に合致すると判断した場合処理を終了する。また、単語対確率情報蓄積部１５は、少なくとも最後に取得された各単語対の単語対確率情報を、対訳文に対応付けて、単語対確率情報格納部１１に蓄積する。
【００９１】
【数１２】
2016189046.tif 000014
【００９２】
数式１２において、数式４（ＩＢＭモデル４におけるＥステップ）との差異は、着目対訳文「ｓ」を除く点である。「θs-」は、着目対訳文「ｓ」を除いて取得される確率モデルである。なお、「θs-」の「-は」「ｓ」の上に配置されている、とする。
【００９３】
【数１３】
2016189046.tif 000015
数式１３において、数式５との差異は、着目対訳文「ｓ」を除く点である。
【００９４】
【数１４】
2016189046.tif 000016
【００９５】
数式１４において、数式６との差異は、着目対訳文「ｓ」を除く点である。
【００９６】
【数１５】
2016189046.tif 000017
【００９７】
数式１５において、数式７との差異は、着目対訳文「ｓ」を除く点である。
【００９８】
【数１６】
2016189046.tif 000018
【００９９】
数式１６において、数式８との差異は、着目対訳文「ｓ」を除く点である。
【０１００】
以下、単語対確率情報処理装置１の実験結果について説明する。
（実験１）
【０１０１】
第一言語が英語、第二言語が中国語であり、第一言語文「he himself was then appointed river custodian of panlong river」、第二言語文が図４の４０１である場合、従来のＥＭ法で単語アライメントを行うと、図４のようになる。なお、図４において、単語アライメントは、矢印で示されている。
【０１０２】
また、同じ対訳文に対して、単語対確率情報処理装置１を用いて単語アライメントを行うと、図５のようになる。単語対確率情報処理装置１は、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭ法を用いている。
【０１０３】
さらに、同じ対訳文に対して、人手による単語アライメントを行った結果が図６である。
【０１０４】
図４と図６とを比較すると、図４において、出現頻度が低い単語（４０２）を含むと文全体の単語アライメントが失敗していることが分かる。また、図５と図６とを比較すると、図５において、出現頻度が低い単語のアライメントも適切に推定されていることが分かる。具体的には、一つの中国語の単語（４０２）から、複数の英語の単語に対してアライメントが行われるという、間違った単語アライメントが得られる。単語（４０２）は、この対訳文にしか含まれないため、この対訳文から得られた単語対確率は、他の対訳文から得られる単語対確率よりも大きくなる。その結果、この間違った単語アライメントが選ばれている。
（実験２,実験３）
【０１０５】
実験２において、第一言語が英語、第二言語が中国語である。実験３において、第一言語が英語、第二言語が日本語である。
【０１０６】
また、実験２、実験３において、人手による対応付けとの一致度合いを用いた直接的な評価と、エンド・ツー・エンドの翻訳タスクにおけるＢＬＥＵスコアを用いた間接的な評価とを実施した。また、実験２、実験３において、ＧＩＺＡ＋＋を使用した標準的なＥＭと出願人が実装した標準的なＥＭとをベースラインとして使用した。なお、ＧＩＺＡ＋＋は、デフォルトのMoses 設定（「Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, et al. 2007. Moses: Open source toolkit for statistical machine translation. In proceedings of the 45th Annual Meeting of the Association for Computational Linguistics on Interactive Poster and Demonstration Sessions, pages 177-180. Association for Computational Linguistics.」参照）で実行された。
【０１０７】
実験２、実験３において、ＧＡＬＥ  ＷＡコーパス、およびＯｐｅｎＭＴコーパスを用いた。２つのコーパスのドメインは、ニュース（newswire texts）とブログであり、同じドメインである。
【０１０８】
実験２において使用したコーパスを図７に示す。図７において、「WA」は、Gale Word Alignment コーパスである。「Train」は、OpenMTコーパスから抽出した訓練データである。「Eval.05」は、OpenMTの評価セット２００５年版である。「Eval.06」は、OpenMTの評価セット２００６年版である。
【０１０９】
実験３において、コーパス「京都フリー翻訳タスク」（「Graham Neubig. 2011. The Kyoto free translation task. http://www.phontron.com/kftt.」参照）を用いた。このコーパスは、人手により単語アライメントは実施された１２３５の対訳文を含む。実験３において使用したコーパスを図８に示す。図８において、「WA」は、人手により実施された単語アライメントの対訳文である。「Train」と「Develop」と「Test」は京都フリー翻訳タスクで利用されているものと同一である。
【０１１０】
実験で用いたコーパスは、機械翻訳のための標準的な手順を用いて処理された。英語のテキストは、Europarlコーパス（「Philipp Koehn. 2005. Europarl: A parallel corpus for statistical machine translation. In Proceedings of MT Summit, volume 5, pages 79-86.」参照）でリリースされているトークン化スクリプトを用いてトークン化され、そして小文字に変換されたものである。
【０１１１】
また、中国語文は、Stanford Word Segmenter（「http://nlp.stanford.edu/software/segmenter.shtml」参照）を用いて、単語に分割されている。また、１００語より長い文、または英語文と中国語文との長さの比が１：９以上の文は、コーパスから除かれている。
【０１１２】
日本語文は、京都テキスト解析ツールキット（「http://www.phontron.com/kytea/」参照）を用いて、単語に分割されている。また、１００語より長い文、または英語文と日本語文との長さの比が１：９以上の文は、コーパスから除かれている。
実験２、実験３において、単語対確率情報処理装置１のleave-one-out EMと、IBM model 1, HMM model , IBM model 4の標準的なEMとを実装した。
【０１１３】
かかる状況において、各手法に対して、単語アライメントの精度を取得した。実験２における単語アライメントの精度の実験結果を図９に示す。また、実験３における単語アライメントの精度の実験結果を図１０に示す。実験２、実験３において、２つのベースラインモデル（標準的ＥＭ（ＧＩＺＡ＋＋）、標準的ＥＭ（出願人実装））と単語対確率情報処理装置１（Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭ）について、Ｆ１値「Ｆ１」、適合率「Ｐ」、再現率「Ｒ」を、モデル毎に算出している。モデルは、ＩＢＭモデル１（Ｍｏｄｅｌ１）、ＨＭＭモデル（ＨＭＭ）、ＩＢＭモデル４（Ｍｏｄｅｌ４）である。
【０１１４】
単語対確率情報処理装置１は、すべての評価項目において、他のベースラインと比較して、結果が良かった。単語対確率情報処理装置１は、標準的ＥＭ（ＧＩＺＡ＋＋）に対して、ＩＢＭモデル４に基づくＦ１値「Ｆ１」、適合率「Ｐ」、再現率「Ｒ」が、８．３％から９．１％の間の改善が見られ、標準的ＥＭ（出願人実装）に対して、ＩＢＭモデル４に基づくＦ１値「Ｆ１」、適合率「Ｐ」、再現率「Ｒ」が、５．０％から１７．２％の間の改善が見られた。
【０１１５】
次に、エンド・ツー・エンドの翻訳品質の観点から、単語対確率情報処理装置１を評価した。そして、本実験において、フレーズベースＳＭＴシステムと階層的ＳＭＴシステムによって得られるＢＬＥＵスコアを算出した。
【０１１６】
実験２におけるＢＬＥＵスコアの算出結果を図１１に示す。図１１では、２つのベースラインモデル（標準的ＥＭ（ＧＩＺＡ＋＋）、標準的ＥＭ（出願人実装））と単語対確率情報処理装置１（Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭ）について、フレーズベースＳＭＴシステム（Phrase-based）と階層的ＳＭＴシステム（Hierarchical）とを用いたＢＬＥＵスコアが記載されている。
【０１１７】
実験３におけるＢＬＥＵスコアの算出結果を図１２に示す。図１２では、２つのベースラインモデル（標準的ＥＭ（ＧＩＺＡ＋＋）、標準的ＥＭ（出願人実装））と単語対確率情報処理装置１（Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭ）について、フレーズベースＳＭＴシステム（Phrase-based）と階層的ＳＭＴシステム（Hierarchical）とを用いたＢＬＥＵスコアが記載されている。
【０１１８】
図１１、図１２において、単語対確率情報処理装置１（Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭ）の手法が、すべての項目について、ベースラインの手法と比較して、高いＢＬＥＵスコアを示したことが分かる。フレーズベースＳＭＴシステム（Phrase-based）では、単語対確率情報処理装置１の手法が、ベースラインの手法と比較して、０．０３から１．０３高い。また、階層的ＳＭＴシステム（Hierarchical）では、単語対確率情報処理装置１の手法が、ベースラインの手法と比較して、０．４３から１．３０高かった。
【０１１９】
次に、コーパスサイズの変化による単語アライメントの精度の変化、コーパスサイズの変化による機械翻訳におけるＢＬＥＵスコアの変化を取得するための実験を行った。サイズの異なる各コーパスは、中国語と英語のマニュアルの単語アライメントコーパス（Chinese-English manual WA corpora）と、パラレルトレーニングコーパス（the parallel training corpus）とからランダムにサンプリングされたものである。
【０１２０】
図１３には、コーパスサイズの変化による単語アライメントの精度の変化を、２つのベースラインモデル（標準的ＥＭ（ＧＩＺＡ＋＋）、標準的ＥＭ（出願人実装））と単語対確率情報処理装置１（Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭ）について、サイズごとに記載されている。実験において、１Ｋ、４Ｋ、１８Ｋ、６４Ｋ、２５６Ｋ、４６１Ｋのコーパスサイズが採用された。また、１８Ｋのコーパスは、単語アライメントが人手によりなされているコーパスである。また、１８Ｋのコーパスは、図１４、図１５等においても、単語アライメントが人手によりなされているコーパスである。図１３において、単語対確率情報処理装置１の手法は、ベースラインモデルと比較して、Ｆ１値（Ｆ１）が０．０４１から０．０９０改善されたことが分かる。トレーニングコーパスのサイズが４Ｋの場合であり、標準的ＥＭ（ＧＩＺＡ＋＋）との差異が、０．０６９と最大であった。また、単語対確率情報処理装置１の手法は、標準的ＥＭ（出願人実装）と比較した場合、トレーニングコーパスのサイズが６４Ｋの場合、その差が０．０９０と最大になった。
【０１２１】
図１４、図１５には、コーパスサイズの変化による機械翻訳におけるＢＬＥＵスコアの変化、２つのベースラインモデル（標準的ＥＭ（ＧＩＺＡ＋＋）、標準的ＥＭ（出願人実装））と、単語対確率情報処理装置１（Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭ）と、ゴールド（Ｇｏｌｄ）について、サイズごとに記載されている。また、図１４はフレーズベースＳＭＴシステムによる機械翻訳の実験結果であり、図１５は階層的ＳＭＴシステムによる機械翻訳の実験結果である。なお、ゴールド（Ｇｏｌｄ）とは、人手による単語アライメントがある対訳文である。また、マニュアルの単語アライメントコーパスは、優先的にサンプリングされるため、ゴールドの単語アライメントのアノテーションは、機械翻訳の実験に必ず利用可能となる。図１４によれば、フレーズベースＳＭＴシステムにおいて、ＢＬＥＵスコアは、ベースラインモデルと比較して、０．１９から１．７２改善されている。また、図１５によれば、階層的ＳＭＴシステムにおいて、ＢＬＥＵスコアは、ベースラインモデルと比較して、０．２５から３．０２改善されている。なお、図１４、図１５において、「ＮＡ」は算出していないことを示す。
【０１２２】
図１６は、コーパスサイズが異なっている状況において、２つのベースラインモデル（標準的ＥＭ（ＧＩＺＡ＋＋）、標準的ＥＭ（出願人実装））の単語アライメントの精度（Ｆ１値）と、単語対確率情報処理装置１の単語アライメントの精度（Ｆ１値）の変化を示したグラフである。図１６の１６０１は標準的ＥＭ（ＧＩＺＡ＋＋）、１６０２は標準的ＥＭ（出願人実装）、１６０３単語対確率情報処理装置１の単語アライメントの精度（Ｆ１値）の変化を示すグラフである。
【０１２３】
また、図１７は、フレーズベースＳＭＴシステムを使用した場合であり、コーパスサイズが異なっている状況において、２つのベースラインモデル（標準的ＥＭ（ＧＩＺＡ＋＋）、標準的ＥＭ（出願人実装））と、単語対確率情報処理装置１（Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭ）と、ゴールド（Ｇｏｌｄ）について、サイズの変化によるＢＬＥＵスコアの変化を示すグラフである。
【０１２４】
さらに、図１８は、階層的ＳＭＴシステムを使用した場合であり、コーパスサイズが異なっている状況において、２つのベースラインモデル（標準的ＥＭ（ＧＩＺＡ＋＋）、標準的ＥＭ（出願人実装））と、単語対確率情報処理装置１（Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  ＥＭ）と、ゴールド（Ｇｏｌｄ）について、サイズの変化によるＢＬＥＵスコアの変化を示すグラフである。
【０１２５】
図１７、図１８によれば、小さいサイズのコーパスの場合、改善度合いが大きいと言える。
【０１２６】
以上、本実施の形態によれば、出現頻度が低い単語が対訳文中に現れる場合でも、当該対訳文中の２言語の単語対応の精度が低下しない。
なお、本実施の形態における単語対確率情報処理装置１により生成された１または２以上の単語対確率情報を用いて、機械翻訳を行うことは好適である。かかる処理を行う機械翻訳装置２は、単語対確率情報格納部１１、受付部２１、機械翻訳部２２、出力部２３とを具備する。機械翻訳装置２のブロック図を図１９に示す。
単語対確率情報格納部１１は、単語対確率情報処理装置が生成した１または２以上の単語対確率情報を格納し得る。
受付部２１は、第一言語文を受け付ける。第一言語文の入力手段は、キーボードやマウスやメニュー画面によるもの等、何でも良い。受付部２１は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
機械翻訳部２２は、単語対確率情報格納部１１に格納されている１または２以上の単語対確率情報を用いて、第一言語文を機械翻訳し、第二言語文を取得する。なお、１または２以上の単語対確率情報を用いて機械翻訳する処理は公知技術であるので、詳細な説明を省略する。機械翻訳部２２は、通常、ＭＰＵやメモリ等から実現され得る。機械翻訳部２２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
出力部２３は、機械翻訳部２２が取得した第二言語文を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。出力部２３は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部２３は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【０１２７】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における単語対確率情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムにおいて、コンピュータがアクセス可能な記録媒体は、第一言語文と第二言語文とを対に有する３以上の対訳文を格納している対訳文格納部と、前記３以上の処理対象の各対訳文の第一言語文を構成する１以上の各第一単語と、第二言語文を構成する１以上の各第二単語とが単語対である初期の確率に関する初期単語対確率情報を、単語対ごとに格納し得る初期単語対確率情報格納部とを含み、コンピュータを、前記３以上の処理対象の各対訳文ごとに、前記処理対象の対訳文の各単語対の確率に関する単語対確率情報を、各単語対の初期単語対確率情報と当該処理対象の対訳文を除く２以上の対訳文とを用いて、当該２以上の各対訳文の第一言語文を構成する１以上の各第一単語と、当該対訳文を除く２以上の各対訳文の第二言語文を構成する１以上の各第二単語とを有する各単語対の確率に関する単語対確率情報を、対訳文ごとに取得する単語対確率情報取得処理を、２回以上繰り返す単語対情報取得部と、前記単語対情報取得部が取得した各単語対の単語対確率情報を蓄積する単語対確率情報蓄積部として機能させるためのプログラムである。
【０１２８】
また、上記プログラムにおいて、前記初期単語対確率情報を第一単語対確率情報とし、前記単語対情報取得部は、前記３以上の処理対象の各対訳文ごとに、当該処理対象の対訳文を除く２以上の対訳文の中に、当該２以上の各対訳文の第一言語文を構成する１以上の各第一単語と、当該対訳文を除く２以上の各対訳文の第二言語文を構成する１以上の各第二単語とが共に存在する確率に関する第二単語対確率情報を、第一単語対確率情報を用いて、単語対ごとに算出する単語対確率情報取得処理を行い、かつ前記第二単語対確率情報を第一単語対確率情報として、前記単語対確率情報取得処理を、さらに１回以上行うように、コンピュータを機能させるためのプログラムで有ることは好適である。
また、上記の機械翻訳装置２を実現するプログラムは、以下のようなプログラムである。つまり、コンピュータがアクセス可能な記録媒体は、単語対確率情報処理装置１が有する単語対確率情報格納部１１を具備し、コンピュータを、第一言語文を受け付ける受付部と、前記単語対確率情報格納部に格納されている１または２以上の単語対の単語対確率情報を用いて、前記受付部が受け付けた第一言語文を機械翻訳し、第二言語文を取得する機械翻訳部と、前記機械翻訳部が取得した第二言語文を出力する出力部として機能させるためのプログラムである。
【０１２９】
また、図１９は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の単語対確率情報処理装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１９は、このコンピュータシステム３００の概観図であり、図２０は、システム３００のブロック図である。
【０１３０】
図１９において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。
【０１３１】
図２０において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＭＰＵ３０１３、ＣＤ−ＲＯＭドライブ３０１２に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１３２】
コンピュータシステム３００に、上述した実施の形態の単語対確率情報処理装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。
【０１３３】
プログラムは、コンピュータ３０１に、上述した実施の形態の単語対確率情報処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
【０１３４】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１３５】
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１３６】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１３７】
以上のように、本発明にかかる単語対確率情報処理装置は、出現頻度が低い単語が対訳文中に現れる場合でも、当該対訳文中の２言語の単語対応の精度が低下しない、という効果を有し、辞書構築装置等として有用である。
【符号の説明】
【０１３８】
１  単語対確率情報処理装置
２  機械翻訳装置
１１  単語対確率情報格納部
１２  対訳文格納部
１３  初期単語対確率情報格納部
１４  単語対情報取得部
１５  単語対確率情報蓄積部
２１  受付部
２２  機械翻訳部
２３  出力部
【図１】
2016189046.tif 000019
【図２】
2016189046.tif 000020
【図３】
2016189046.tif 000021
【図７】
2016189046.tif 000022
【図８】
2016189046.tif 000023
【図９】
2016189046.tif 000024
【図１０】
2016189046.tif 000025
【図１１】
2016189046.tif 000026
【図１２】
2016189046.tif 000027
【図１３】
2016189046.tif 000028
【図１４】
2016189046.tif 000029
【図１５】
2016189046.tif 000030
【図１９】
2016189046.tif 000031
【図２０】
2016189046.tif 000032
【図２１】
2016189046.tif 000033
【図４】
2016189046.tif 000034
【図５】
2016189046.tif 000035
【図６】
2016189046.tif 000036
【図１６】
2016189046.tif 000037
【図１７】
2016189046.tif 000038
【図１８】
2016189046.tif 000039