(57)【要約】【課題】訓練に用いた対訳文について、自動翻訳時には原文に対する訳文が元の対訳文の参照訳と一致する率を向上させる。【解決手段】最適化装置１６０は、訓練セット９０のサブセットである訓練サブセット１７０の各対訳文からは疎な素性のみを、開発セット１００の各対訳文からは、少なくとも密な素性を抽出し、各対訳文の原言語文を統計翻訳して翻訳スコアの高い翻訳候補を出力する自動翻訳装置１８２とを含む。最適化装置１６０は、これら翻訳候補の各々に対して、ＢＬＥＵスコアを算出する訳文評価部１８４と、複数の翻訳候補のうちでＢＬＥＵスコアが最も良くなる翻訳候補について、自動翻訳装置１８２により算出される翻訳スコアも良くなるよう、重みの値を変化させながら自動翻訳装置１８２による翻訳を繰返して重みを最適化する最適化処理部１７６とをさらに含む。【選択図】図３
2017021422.tif 000002
【特許請求の範囲】
【請求項１】
言語モデル及び翻訳モデルから得られる素性に割り当てられる重みを最適化する統計翻訳の最適化装置であって、前記言語モデル及び前記翻訳モデルの訓練には、原言語及び目的言語の対訳文の集合からなる訓練セットが用いられ、
前記訓練セットのサブセットを記憶するための訓練サブセット記憶手段と、
前記原言語及び前記目的言語の対訳文の集合を含む、前記訓練セットと異なる開発セットを記憶するための開発セット記憶手段と、
前記訓練サブセットの各対訳文からは予め定めた疎な素性のみを、前記開発セットの各対訳文からは、少なくとも予め定めた密な素性を、それぞれ抽出し、各対訳文の内の原言語文を前記言語モデル及び前記翻訳モデルを用いて統計翻訳して複数の翻訳候補を出力する統計翻訳手段とを含み、当該統計翻訳手段は、翻訳の対象となる文に対して前記言語モデルから得られる素性と前記翻訳モデルから得られる素性とに、それぞれ前記重みを付与して結合することにより得られるスコアの上位の翻訳候補を出力するものであり、
前記統計翻訳手段により前記原言語文の各々について出力される複数の翻訳候補の各々に対して、所定の翻訳品質の指標を算出する指標算出手段と、
前記複数の翻訳候補のうちで前記指標算出手段による指標が最も良くなる翻訳候補について、前記統計翻訳手段により算出されるスコアが良くなるよう、前記重みの値を変化させながら前記統計翻訳手段による翻訳を繰返して前記重みを最適化するための最適化手段とをさらに含む、統計翻訳の最適化装置。
【請求項２】
前記訓練セットを記憶するための訓練セット記憶手段と、
ユーザの操作にしたがって、前記訓練セットに含まれる対訳文のうちの一部を選択して前記サブセットを抽出し、前記訓練サブセット記憶手段に記憶させる訓練サブセット選択手段とをさらに含む、請求項１に記載の統計翻訳の最適化装置。
【請求項３】
前記統計翻訳手段は、前記言語モデルから得られる素性及び前記翻訳モデルから得られる素性について、前記重みのうちの該当するものを係数とする素性の線形和により前記スコアを算出する、請求項１又は請求項２に記載の統計翻訳の最適化装置。
【請求項４】
前記統計翻訳手段は、前記開発セットの各対訳文からは、前記密な素性に加えて、前記疎な素性も抽出してスコアを算出する、請求項１〜請求項３のいずれかに記載の統計翻訳の最適化装置。
【請求項５】
前記訓練セットを用いて前記言語モデル及び前記翻訳モデルの訓練を行うモデル訓練手段と、
請求項１〜請求項４のいずれかに記載の統計翻訳の最適化装置と、
前記言語モデル及び前記翻訳モデルと、前記統計翻訳の最適化装置により最適化された重みとを用いて、前記統計翻訳手段と同じ統計的手法により前記原言語の文を前記目的言語の文に翻訳する統計翻訳装置とを含む、統計翻訳システム。
【請求項６】
コンピュータを、請求項１〜請求項５のいずれかに記載の全ての手段として機能させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は統計的自動翻訳技術（以下「統計翻訳」と呼ぶ）に関し、特に、訓練データに含まれる対訳文については高い精度で訓練データと一致する翻訳が行える統計翻訳システム、及びそのための統計翻訳の最適化装置に関する。
【背景技術】
【０００２】
現在の自動翻訳の主流は、統計翻訳となっている。統計翻訳は、雑音のある通信路モデルという考え方にその基礎を置く。原言語のある文を目的言語に翻訳するに当たり、考えられる翻訳文を列挙し、原言語文が各翻訳文に翻訳される確率を各翻訳文に割り当て、確率が最大となる翻訳文を原言語文に対する翻訳文として出力する。
【０００３】
統計翻訳では、上記した確率計算を行うために、原言語文と目的言語の参照訳との対訳文を多数集め、これらを統計的に処理して言語モデル及び翻訳モデルと呼ばれるモデルを作る。モデルを作成するために使用される対訳データを訓練データと呼ぶ。そして、原言語文が与えられると、言語モデルと翻訳モデルとを用いて目的言語の翻訳文を出力する。
【０００４】
統計翻訳は、それ以前のルールベースの自動翻訳と異なり、多数の対訳データがあれば、言語の組み合わせにかかわらず同じ技術を適用して自動翻訳を行うことができる。したがって、今後もこの技術を適用した自動翻訳は広がっていくものと考えられる。
【０００５】
図１に、従来の統計翻訳システムの一例の構成を示す。図１を参照して、従来の統計翻訳システム５０は、原言語と目的言語の多数の対訳文からなる訓練セット９０を用いて、言語モデル６４及び翻訳モデル６６の訓練を行うモデル訓練装置６０と、訓練セット９０とは異なる、比較的数の少ない対訳文からなる開発セット１００と、訓練が終了した言語モデル６４及び翻訳モデル６６とから得られる素性の線形和の重み付けの係数を最適化し、素性重みパラメータ６８を出力する最適化装置６２と、言語モデル６４、翻訳モデル６６、及び素性重みパラメータ６８を用い、入力される原文７０に対する自動翻訳を行い、翻訳文７２を出力するための自動翻訳装置７４とを含む。
【０００６】
言語モデル６４及び翻訳モデル６６の構成については、本発明の実施の形態の説明でより詳細に説明する。言語モデル６４は、簡単にいうと、訓練セット９０に含まれる参照訳の文から統計的に算出された、単語又は単語列の出現確率を示すモデルである。言語モデル６４を使用することにより、目的言語の文としての翻訳候補のもっともらしさを算出できる。翻訳モデルは、簡単にいうと、原言語のフレーズが目的言語のフレーズに翻訳される確率を表す。ここでは、翻訳モデル６６はフレーズテーブル８０と、図示しない歪モデル、並べ替えモデル等とを含むものとする。フレーズテーブル８０は、原言語のフレーズと目的言語のフレーズとの各ペアについて、そのペアがどの程度の確率で訓練セット９０内に現れるかを示すものである。歪モデル及び並べ替えモデルは、翻訳文に出現するフレーズの順序変更に関する確率モデルである。
【０００７】
モデル訓練装置６０は、前述した訓練セット９０を記憶する装置に加え、訓練セット９０に含まれる対訳文のうち目的言語の文（参照訳）を用いて目的言語の言語モデル６４の訓練を行うとともに、訓練セット９０に含まれる対訳文の原言語文と目的言語文とを用いて翻訳モデル６６の訓練を行う学習器９２を含む。学習器９２の構成及び機能については周知であるため、ここではその詳細は述べない。
【０００８】
最適化装置６２は、前述した開発セット１００を記憶する装置に加え、開発セット１００に含まれる対訳文の各々について、言語モデル６４から得られる素性と翻訳モデル６６から得られる素性とを出力する素性抽出部１０２と、素性抽出部１０２により出力される素性の重み付き線形和を最適化し、開発セットに含まれる対訳文の原言語文が与えられた時に、対応する参照訳に近い翻訳文候補のスコアが高くなるように、各素性の重みを最適化し素性重みパラメータ６８として出力する最適化処理部１０４とを含む。最適化装置６２はさらに、パラメータの最適化時に開発セット１００に含まれる各対訳文について、最適化処理部１０４による最適化の過程にある素性重みパラメータを用いて原言語文を翻訳し、各原言語文について複数の翻訳候補を出力する自動翻訳装置１０６と、自動翻訳装置１０６によって得られる翻訳候補について所定の評価指標で評価し、評価値を出力する訳文評価部１０８とを含む。最適化処理部１０４は、訳文評価部１０８による評価値を素性重みパラメータの最適化時の指標とする。
【０００９】
最適化処理部１０４による最適化処理には、後掲の非特許文献１に記載されたＭＥＲＴ、又は非特許文献２に記載されたＢａｔｃｈ  ＭＩＲＡを用いることができる。自動翻訳装置１０６は自動翻訳装置７４と同じ手法で翻訳を行う。最適化装置６２が自動翻訳装置７４と共通の装置で実現されるならば、自動翻訳装置１０６として自動翻訳装置７４を用いることができる。訳文評価部１０８による最適化の指標としては、非特許文献３に記載されたＢＬＥＵスコアが用いられることが多い。すなわち、最適化処理部１０４による最適化処理では、開発セット内の原文を翻訳した結果のＢＬＥＵスコアが高い場合、その翻訳の際に用いられた素性の値の重み付け線形和からなるスコアが他の翻訳候補より高くなるよう、素性重み付パラメータが最適化される。
【００１０】
自動翻訳装置７４は、言語モデル６４を記憶する言語モデル記憶部１２０と、翻訳モデル６６を記憶する翻訳モデル記憶部１２２と、原文７０が与えられると、翻訳モデル６６を参照して原文７０をフレーズに区分し、各フレーズについて可能な翻訳候補のフレーズの集合を生成し、これらから複数の翻訳候補１２６を、それらに関連する素性とともに出力するための素性抽出部１２４とを含む。複数のフレーズ集合は、それぞれ原文のフレーズに対応している。原文のフレーズごとに、対応のフレーズ集合から翻訳候補を取り出し、これらをあらゆる順番で組み合わせることにより翻訳候補が生成される。各翻訳候補を構成するフレーズと単語との組み合わせに対応する素性を、翻訳モデル６６及び言語モデル６４と照合して得られる翻訳スコアを計算することにより各翻訳候補が原文の翻訳である確率が計算できる。自動翻訳装置７４はさらに、素性重みパラメータ６８を記憶する素性重みパラメータ記憶部１２８と、素性抽出部１２４から出力される翻訳候補１２６に関連して得られる素性に素性重みパラメータ記憶部１２８に記憶された対応する重み係数を乗じて加算した線形和の、翻訳候補全体に渡るスコアがもっとも高くなるような翻訳文候補を探索して翻訳文７２として出力するデコーダ１３０とを含む。
【００１１】
最適化処理部１０４による最適化は具体的には以下のようにして行われる。すなわち、最適化処理部１０４は、開発セット１００の各対訳文に対して、適当な初期値で素性重みパラメータを定め、自動翻訳装置１０６により翻訳を行う。翻訳により得られた目的言語の翻訳候補の各々について訳文評価部１０８がＢＬＥＵスコアを計算する。図２に示す例で言えば、２番目の翻訳文のＢＬＥＵスコアが他の翻訳文より高い。したがって、素性の重み付き線形和の値からなる翻訳スコアが、２番目の翻訳文について他の翻訳文より高くなるように、各素性の重みを調整する。こうした調整を開発セット１００内の全ての対訳文に対してＢＬＥＵスコアが収束するまで、又は所定回数の繰返しが終わるまで繰返して各素性の重みを調整する。
【００１２】
ここでは、説明を分かりやすくするために、以下の３種類の素性を使用することとする。
【００１３】
（１）翻訳モデルスコア
フレーズの翻訳スコア（対数）を総和
【００１４】
【数１】
2017021422.tif 000003
【００１５】
（２）言語モデルスコア
目的言語単語列のバイグラム確率（対数）
【００１６】
【数２】
2017021422.tif 000004
【００１７】
（３）歪スコア
目的言語上で隣接したフレーズの原言語上での距離Ｄ（￣ｆｍ−１，￣ｆｍ）を以下の式で文全体に拡張。なお、記号「￣」は、その直後の文字の上にオーバーバーがあることを示す。
【００１８】
【数３】
2017021422.tif 000005
【００１９】
したがって、この例では、翻訳スコアｓｃｏｒｅ（Ｅ，Ｆ）は以下の式により表される。
【００２０】
【数４】
2017021422.tif 000006
【００２１】
この重みｗｋ（この例ではｋ＝１〜３）を最適化することが最適化装置６２の目的である。言語モデル６４及び翻訳モデル６６から得られる素性をそのまま自動翻訳に用いるのではなく、最適化装置６２によってこれらの素性に割り当てる係数ｗｋが、開発セット１００を用いて最適化されるため、デコーダ１３０による翻訳候補の探索の精度が高くなり、より質の高い翻訳文７２が得られる。
【先行技術文献】
【非特許文献】
【００２２】
【非特許文献１】Franz  Josef  Och.  2003.  Minimum  error  rate  training  in  statistical  machine  translation.  In  Erhard  Hinrichs  and  Dan  Roth,  editors,  Proceedings  of  the  41st  Annual  Meeting  of  the  Association  for  Computational  Linguistics,  pages  160-167.
【非特許文献２】Colin  Cherry  and  George  Foster.  2012.  Batch  tuning  strategies  for  statistical  machine  translation.  In  Proceedings  of  the  2012  Conference  of  the  North  American  Chapter  of  the  Association  for  Computational  Linguistics:  Human  Language  Technologies,  pages  427-436,  Montreal,  Canada,  June.
【非特許文献３】Kishore  Papineni,  Salim  Roukos,  Todd  Ward,  and  WeiJing  Zhu.  2002.  Bleu:  a  method  for  automatic  evaluation  of  machine  translation.  In  Proceedings  of  the  40th  Annual  Meeting  of  the  Association  for  Computational  Linguistics  (ACL),  pages  311-318.
【非特許文献４】Philipp  Koehn,  Franz  J.  Och,  and  Daniel  Marcu.  2003.  Statistical  phrase-based  translation.  In  Marti  Hearst  and  Mari  Ostendorf,  editors,  HLT-NAACL  2003:  Main  Proceedings,  pages  127-133,  Edmonton,  Alberta,  Canada,  May  27  -  June  1.
【非特許文献５】Philipp  Koehn,  Hieu  Hoang,  Alexandra  Birch,  Chris  Callison-Burch,  Marcello  Federico,  Nicola  Bertoldi,  Brooke  Cowan,  Wade  Shen,  Christine  Moran,  Richard  Zens,  Chris  Dyer,  Ondrej  Bojar,  Alexandra  Constantin,  and  Evan  Herbst.  2007.  Moses:  Open  source  toolkit  for  statistical  machine  translation.  In  Proceedings  of  the  45th  Annual  Meeting  of  the  Association  for  Computational  Linguistics  Companion  Volume  Proceedings  of  the  Demo  and  Poster  Sessions,  pages  1.
【非特許文献６】Taro  Watanabe,  Jun  Suzuki,  Hajime  Tsukada,  and  Hideki  Isozaki.  2007.  Online  large-margin  training  for  statistical  machine  translation.  In  Proceedings  of  the  2007  Joint  Conference  on  Empirical  Methods  in  Natural  Language  Processing  and  Computational  Natural  Language  Learning  (EMNLPCoNLL),  pages  764-773,  Prague,  Czech  Republic,  June.  Association  for  Computational  Linguistics.
【非特許文献７】Cameron  S.  Fordyce.  2007.  Overview  of  the  IWSLT  2007  evaluation  campaign.  In  Proceedings  of  the  International  Workshop  on  Spoken  Language  Translation  2007,  Trento,  Italy
【非特許文献８】Kenneth  Heafield,  Ivan  Pouzyrevsky,  Jonathan  H.  Clark,  and  Philipp  Koehn.  2013.  Scalable  modified  kneser-ney  language  model  estimation.  In  Proceedings  of  the  51st  Annual  Meeting  of  the  Association  for  Computational  Linguistics  (Volume  2:  Short  Papers),  pages  690-696,  Sofia,  Bulgaria,  August.  Association  for  Computational  Linguistics.
【発明の概要】
【発明が解決しようとする課題】
【００２３】
しかし、現状の統計翻訳は、訓練データを用いてモデルを訓練したにも関わらず、訓練データ内の原言語文を翻訳すると、その参照訳とは異なる翻訳結果になることが多いという問題がある。これを本明細書では、訓練訳の不一致現象と呼ぶ。この特性があるために、翻訳機の開発者は、ユーザに対して「この文は確実に翻訳できる」という保証ができず、常に不安が付きまとうことになる。
【００２４】
理想的な翻訳機は、訓練訳（訓練で用いた対訳文）に関しては必ず訓練した翻訳結果になることが望ましい。しかし一方で、統計翻訳では、パラメータのチューニングは難しく、チューニングに失敗すると全体の翻訳品質が落ちてしまう危険性がある。このため、テストセットの翻訳品質は落とさずに、訓練文についてはできるだけ元の翻訳文が得られるようにすることが必要である。
【００２５】
したがって、本発明は、訓練に用いた対訳文について、自動翻訳時には原文に対する訳文が元の対訳文の参照訳と一致する率を向上させることを目的とする。
【課題を解決するための手段】
【００２６】
本発明の第１の局面に係る統計翻訳の最適化装置は、言語モデル及び翻訳モデルから得られる素性に割り当てられる重みを最適化する。言語モデル及び翻訳モデルの訓練には、原言語及び目的言語の対訳文の集合からなる訓練セットが用いられる。この統計翻訳の最適化装置は、訓練セットのサブセットを記憶するための訓練サブセット記憶手段と、原言語及び目的言語の対訳文の集合を含む、訓練セットと異なる開発セットを記憶するための開発セット記憶手段と、訓練サブセットの各対訳文からは予め定めた疎な素性のみを、開発セットの各対訳文からは、少なくとも予め定めた密な素性を、それぞれ抽出し、各対訳文の内の原言語文を言語モデル及び翻訳モデルを用いて統計翻訳して複数の翻訳候補を出力する統計翻訳手段とを含む。当該統計翻訳手段は、翻訳の対象となる文に対して言語モデルから得られる素性と翻訳モデルから得られる素性とに、それぞれ重みを付与して結合することにより得られるスコアの上位の翻訳候補を出力する。統計翻訳の最適化装置は、統計翻訳手段により原言語文の各々について出力される複数の翻訳候補の各々に対して、所定の翻訳品質の指標を算出する指標算出手段と、複数の翻訳候補のうちで指標算出手段による指標が最も良くなる翻訳候補について、統計翻訳手段により算出されるスコアが良くなるよう、重みの値を変化させながら統計翻訳手段による翻訳を繰返して重みを最適化するための最適化手段とをさらに含む。
【００２７】
好ましくは、統計翻訳の最適化装置は、訓練セットを記憶するための訓練セット記憶手段と、ユーザの操作にしたがって、訓練セットに含まれる対訳文のうちの一部を選択してサブセットを抽出し、訓練サブセット記憶手段に記憶させる訓練サブセット選択手段とをさらに含む。
【００２８】
より好ましくは、統計翻訳手段は、言語モデルから得られる素性及び翻訳モデルから得られる素性について、重みのうちの該当するものを係数とする素性の線形和によりスコアを算出する。
【００２９】
さらに好ましくは、統計翻訳手段は、開発セットの各対訳文からは、密な素性に加えて、疎な素性も抽出してスコアを算出する。
【００３０】
最適化手段は、複数の翻訳候補のうちで指標算出手段による指標が最も良くなる翻訳候補について、統計翻訳手段により算出されるスコアが良くなるよう、Ｂａｔｃｈ  ＭＩＲＡ法により、重みの値を変化させながら統計翻訳手段による翻訳を繰返して重みを最適化するための手段を含んでもよい。
【００３１】
本発明の第２の局面に係る統計翻訳システムは、訓練セットを用いて言語モデル及び翻訳モデルの訓練を行うモデル訓練手段と、上記したいずれかの統計翻訳の最適化装置と、言語モデル、翻訳モデル、及び統計翻訳の最適化装置により最適化された重みを用いて、統計翻訳手段と同じ統計的手法により原言語の文を目的言語の文に翻訳する統計翻訳装置とを含む。
【００３２】
本発明の第３の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの装置又はシステムの全ての手段として機能させる。
【図面の簡単な説明】
【００３３】
【図１】従来の統計翻訳システム５０の概略構成を示すブロック図である。
【図２】従来の素性重みパラメータの最適化処理を説明する図である。
【図３】本発明の１実施の形態に係る自動翻訳システムの概略構成を示すブロック図である。
【図４】訓練セットの一部の例を示す例である。
【図５】言語モデルの構成を示す模式図である。
【図６】フレーズテーブルの構成を示す模式図である。
【図７】開発セットの構成を示す模式図である。
【図８】訓練サブセットの構成を示す模式図である。
【図９】密な素性の構成を示す模式図である。
【図１０】疎な素性の構成を示す模式図である。
【図１１】密な素性及び疎な素性を用いて翻訳候補を探索する処理を説明するための図である。
【図１２】本願発明の効果を説明するためのグラフである。
【図１３】本発明の１実施の形態の自動翻訳装置を実現するコンピュータシステムの外観図である。
【図１４】図１３に外観を示すコンピュータシステムのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００３４】
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
【００３５】
以下に説明する実施の形態は、訓練済みフレーズテーブルを変更せずに、素性の重み付けパラメータを開発セットに適応させることによって、訓練文翻訳結果の完全一致率、およびＢＬＥＵスコアを向上させる。この実施の形態で対象とする自動翻訳装置は、フレーズに基づく翻訳方式（以下、PBSMT)(Koehn  et  al.,  2003;  Koehn  et  al.,  2007)である。
【００３６】
［構成］
図３を参照して、この実施の形態に係る自動翻訳システム１５０は、図１と同様のモデル訓練装置６０と、訓練セット９０からユーザの操作にしたがってその一部を選択し、訓練サブセット１７０を出力する訓練サブセット選択装置１６８と、訓練サブセット１７０、開発セット１００、言語モデル６４及び翻訳モデル６６を用いて素性の重み付き線形和の係数の最適化を行い、素性重みパラメータ１６２を出力する最適化装置１６０とを含む。
【００３７】
統計翻訳システム１５０はさらに、原文７０を受け、言語モデル６４、翻訳モデル６６、及び素性重みパラメータ１６２を用いて翻訳スコアを計算し、翻訳候補の中から翻訳スコアのもっとも高い候補を原文７０に対する翻訳文１６６として出力する自動翻訳装置１６４を含む。
【００３８】
最適化装置１６０は、訓練サブセット１７０に含まれる各対訳文から、疎な素性１８０を出力する疎な素性抽出部１７２と、開発セット１００に含まれる各対訳文から、言語モデル６４及び翻訳モデル６６を用いて密な素性１７８を出力する密な素性抽出部１７４と、開発セット１００については密な素性１７８を、訓練サブセット１７０については疎な素性１８０をそれぞれ用いて、各素性の重み付け線形和の係数を最適化するための最適化処理部１７６とを含む。最適化装置１６０はさらに、最適化処理部１７６によるパラメータの最適化時に、訓練サブセット１７０及び開発セット１００内の各対訳文の原文に対して自動翻訳装置１６４と同じ手法で自動翻訳を行い、複数の翻訳候補を出力する自動翻訳装置１８２と、その結果得られる翻訳候補の各々についてＢＬＥＵスコアを算出する訳文評価部１８４とを含む。最適化処理部１７６は、訳文評価部１８４により算出されるＢＬＥＵスコアを素性重みパラメータの最適化時の指標とする。この点は図１に示す従来の統計翻訳システムと同様である。なお、ＭＥＲＴは疎な素性の最適化を行うには不向きである。したがって本実施の形態では、最適化処理部１７６による最適化には、Ｂａｔｃｈ  ＭＩＲＡを用いる。
【００３９】
Ｂａｔｃｈ  ＭＩＲＡは、簡単に言うと、オンラインマージン最大学習アルゴリズムを翻訳の最適化に適用したもの（たとえば非特許文献６）で、ＭＥＲＴの代替法として機能する。Ｂａｔｃｈ  ＭＩＲＡは、密な素性と疎な素性とを区別せずに最適化できるという特徴がある。
【００４０】
図４に訓練セット９０の構成を示す。図４に示されるように、訓練セット９０は、各々が原言語文と目的言語文とからなる複数の対訳文を含む。
【００４１】
図５に、言語モデル６４の概略構成を示す。図５を参照して、言語モデル６４の各エントリは、ある単語ｅｉ−１及び単語ｅｉと、単語ｅｉ−１が出現したときに、その直後に単語ｅｉが出現する確率Ｐ（ｅｉ｜ｅｉ−１）とを含む。
【００４２】
図６に、フレーズテーブル８０の概略構成を示す。図６を参照して、フレーズテーブル８０の各エントリは、モデル訓練装置６０に出現する原言語の文と目的言語の文との組み合わせにおいて、目的言語文に目的言語フレーズ￣ｅが出現したときに、原言語文に原言語文フレーズ￣ｆが出現する確率φ（￣ｆ｜￣ｅ）を、原言語フレーズ￣ｆと目的言語フレーズ￣ｅとの組み合わせとともに格納している。
【００４３】
図７に、開発セット１００の概略構成を示す。開発セット１００は、訓練セット９０と同様の構成である。ただし、開発セット１００を構成する文は、訓練セット９０を構成する文とは異なっている。
【００４４】
図８に、訓練サブセット１７０の構成を示す。訓練サブセット１７０は、訓練セット９０のサブセットである。したがって訓練サブセット１７０の構成は訓練セット９０及び開発セット１００と同様である。ただし、本実施の形態では、訓練サブセット１７０は、図３に示す訓練サブセット選択装置１６８を用いてユーザにより訓練セット９０から抽出された対訳文により構成される。すなわち、訓練サブセット１７０は、訓練セット９０の一部をなす。訓練サブセット１７０は、ユーザの指示により訓練サブセット選択装置１６８により訓練セット９０から抽出された文からなる。
【００４５】
図３を参照して、自動翻訳装置１６４は、言語モデル記憶部１２０及び翻訳モデル記憶部１２２と、原文７０を受けて、言語モデル記憶部１２０に記憶された言語モデル６４及び翻訳モデル記憶部１２２に記憶された翻訳モデル６６を用いて、原文７０の各フレーズに対する翻訳候補からなるフレーズの集合を原文７０の各フレーズについて生成し、各翻訳候補についての疎な素性と密な素性とを含む複数のフレーズ集合１９２を出力する素性抽出部１９０と、素性重みパラメータ１６２を記憶するための素性重みパラメータ記憶部１９４と、素性抽出部１９０から出力される、原文の各フレーズに対応する複数のフレーズ集合１９２の各々からフレーズを１つずつ選択して様々に組み合わせることにより複数の翻訳候補を生成し、各翻訳候補に対して算出された素性の値に、素性重みパラメータ記憶部１９４に記憶された対応する重み係数を乗じて加算した線形和のスコアがもっとも高くなるような翻訳文候補を探索して翻訳文１６６として出力するデコーダ１９６とを含む。
【００４６】
素性抽出部１９０及び図１に示す従来の統計翻訳システム５０の素性抽出部１２４とは、素性を抽出するという意味では同じ機能を持つ。ただし、従来システムの素性抽出部１２４が密な素性のみを抽出するのに対し、素性抽出部１９０は密な素性とともに疎な素性も抽出する点で両者の機能は異なっている。
【００４７】
密な素性１７８と疎な素性１８０とは、次のようなもののことをいう。図１に示す従来の素性抽出部１０２が抽出する素性としては、言語モデル６４により計算される言語モデル確率等、１０数種類の実数値が使用されてきた。これらの値は、ほぼすべての翻訳候補に対して０以外の値となる。したがってこれらを要素とする素性ベクトルの要素はほとんどが０ではない。このような特徴を持つ素性は、密な素性と呼ばれる。それに対し、ある条件が成立したときだけ１、それ以外は０を返す二値関数を使った素性は、多くの場合に０となる。したがってこれらを要素とする素性は、多数の０と少数の１（素性によっては他の限定された値をとることもある）との組み合わせという構成になる。このように、素性の性格からいって大部分の要素が０となる素性を疎な素性と呼ぶ。
【００４８】
たとえば、以下は疎な素性関数の例である。
【００４９】
【数５】
2017021422.tif 000007
【００５０】
本実施の形態では、記載を明快にするために、密な素性として従来の技術で説明した以下の３種類の素性を使用する。
【００５１】
（１）翻訳モデルスコア
（２）言語モデルスコア
（３）歪スコア
もちろん、密な素性の組み合わせはこれに限らない。多くの場合には、前述したとおり１０種類以上の素性が用いられる。
【００５２】
従来は、既に述べたように、これらの素性の重み付け線形和において、パラメータとして各素性の重みｗｋ（ｋ＝１〜３）を考え、開発セットの原文に対する翻訳文の品質を例えばＢＬＥＵで評価して、ＢＬＥＵの値がもっとも高くなるように重みｗｋを最適化していた。
【００５３】
これに対して本実施の形態では、密な属性だけではなく、疎な属性も使用する。以下の説明では、本実施の形態の考え方を明快に説明するため、密な素性としては３種を用い、疎な素性としてはフレーズ対の共起回数を用いる。
【００５４】
共起回数とは、フレーズテーブル８０内のあるエントリを構成する原言語フレーズと目的言語フレーズとが、それぞれ対訳文の原言語文と目的言語文とにともに出現する回数を示す値のことである。すなわち、原言語フレーズと目的言語フレーズとの組み合わせが原言語文及び目的言語文の組み合わせに出現しないときには、そのフレーズテーブルのエントリに関するその他訳文の疎な素性の値は０、ともに１回だけ出現するときには疎な素性の値は１、２回以上出現するときは疎な素性の値はその回数となる。
【００５５】
素性の重み付け線形和により翻訳文の探索を行うことは従来と同様である。したがって、疎な素性の数（すなわちフレーズテーブル内のフレーズ対の数）をＫとすれば、本実施の形態で使用する素性数はＫ＋３個となる。そのうち、密な素性の重みはｗｋ（ｋ＝１〜３）の３個、疎な素性の重みはｗｋ（ｋ＝４〜Ｋ＋３）のＫ個となる。すなわち、本実施の形態では、翻訳スコアｓｃｏｒｅ（Ｅ、Ｆ）は以下の式により計算される。
【００５６】
【数６】
2017021422.tif 000008
【００５７】
密な素性抽出部１７４の機能は図１に示す従来の素性抽出部１０２と同様であるが、本実施の形態では、開発セット１００内の原言語と目的言語の対訳文から、３個の密な素性だけではなく、疎な素性１７８まで含むＫ＋３個の素性を出力する点で、密な素性のみを出力する素性抽出部１０２と異なる。図９に示すように、本実施の形態では、密な素性抽出部１７４は、素性１７８のうち、疎な素性の値を全て０とする。
【００５８】
疎な素性抽出部１７２も基本的な機能は密な素性抽出部１７４と同様である。図１０に示すように、疎な素性抽出部１７２が出力するベクトルである素性１８０の次元は素性１７８と同様Ｋ＋３次元である。しかし素性１８０は、密な素性の値が全て０とされる点、及びフレーズテーブル８０内のフレーズ対の各エントリに対応する疎な素性Ｋ個の値を各要素とする点において素性１７８と異なる。
【００５９】
図３に示す自動翻訳装置１６４のデコーダ１９６は、素性抽出部１９０から出力される目的言語のフレーズ集合１９２を用いて翻訳候補をラティス構造にパックする。このラティス構造の各経路（翻訳候補に相当する）には、図１１に示すように素性が割り当てられる。デコーダ１９６は、この素性の値の重み付き線形和の値が最大となる経路をビーム探索法等により探索して翻訳文７２として出力する機能を持つ。デコーダ１９６の機能は、素性に疎な素性を含むことを除き、図１に示すデコーダ１３０と同様である。
【００６０】
［動作］
図３〜図１１を参照して、統計翻訳システム１５０は以下のように動作する。統計翻訳システム１５０の動作には３つのフェーズがある。第１のフェーズはモデルの訓練、第２のフェーズはパラメータの最適化処理、第３のフェーズは翻訳である。予め、訓練セット９０及び開発セット１００がコンピュータ読取り可能な形で準備される。ユーザは、訓練サブセット選択装置１６８により、訓練セット９０から訓練サブセット１７０を抽出してコンピュータ読取り可能な形式で準備しておく。
【００６１】
・訓練フェーズ
最初に、モデル訓練装置６０の学習器９２が、訓練セット９０を用いて言語モデル６４及び翻訳モデル６６の訓練を行う。この訓練は、図１の場合と同様である。言語モデル６４及び翻訳モデル６６は、自動翻訳装置１６４の言語モデル記憶部１２０及び翻訳モデル記憶部１２２にそれぞれ記憶される。
【００６２】
・最適化フェーズ
次に、疎な素性抽出部１７２が、訓練サブセット１７０の各対訳文から、図１０に示すような疎な素性を抽出する。一方、密な素性抽出部１７４は、開発セット１００中の各対訳文から図９に示すような密な素性を抽出する。最適化処理部１７６は、これら素性を用いて、密な素性と疎な素性との重み付き線形和の係数を変化させながら自動翻訳装置１８２により訓練サブセット１７０及び開発セット１００の対訳文の各原言語文を翻訳して複数の翻訳候補を生成し、翻訳候補の中で訳文評価部１８４が算出するＢＬＥＵスコアが最高になる翻訳候補に対して自動翻訳装置１８２で算出される翻訳スコアが他より高くなるように素性重みパラメータを最適化して、素性重みパラメータ１６２として出力する。この最適化には、前述したとおりＢａｔｃｈ  ＭＩＲＡ法が使用される。素性重みパラメータ１６２は自動翻訳装置１６４の素性重みパラメータ記憶部１９４に記憶される。この繰返しは、各原言語文に対する最良の翻訳候補のＢＬＥＵスコアが収束するまで、又は所定回数だけ、行われる。
【００６３】
言語モデル６４、翻訳モデル６６、及び素性重みパラメータ１６２が自動翻訳装置１６４の言語モデル記憶部１２０、翻訳モデル記憶部１２２、及び素性重みパラメータ記憶部１９４に記憶されると、最適化された素性重みパラメータによる自動翻訳装置１６４による翻訳が可能になる。
【００６４】
・翻訳フェーズ
素性抽出部１９０は、原文７０を受けると、翻訳モデル記憶部１２２を参照して、原文７０をフレーズに分解し、各フレーズに対応する目的言語のフレーズをそれらの出現確率とともに抽出する。このときの抽出方法は、原文のフレーズの分解の仕方、及びフレーズテーブル８０に格納されているフレーズ対により複数個あり得る。したがって、素性抽出部１９０が抽出するフレーズの集合は複数個あり得る。素性抽出部１９０はさらに、抽出された目的言語のフレーズの集合の各々について、それらを構成するフレーズ内の全ての単語のあり得るバイグラムの組み合わせに応じた言語モデル確率を言語モデル記憶部１２０に記憶された言語モデルから取り出す。素性抽出部１９０は、抽出されたフレーズの集合１９２ごとに、対応する言語モデル確率とともにデコーダ１９６に与える。
【００６５】
デコーダ１９６は、素性抽出部１９０から与えられたフレーズ集合をまとめて１つのフレーズのラティス構造にパックする。このラティス構造は、文の先頭から文の最後までに、可能なフレーズの並びが全て出現するような形式となっている。ラティス構造は一種のグラフであり、各フレーズを構成する単語がノードとなり、単語の並び方が単語間のエッジにより表される。ラティスの先頭から最後までの１つの経路をたどることにより１つの翻訳候補が得られる。各翻訳候補には、フレーズの出現確率と、各エッジに対応する言語モデル確率とから、翻訳スコアが計算される。この翻訳スコアの計算に、素性重みパラメータ記憶部１９４に記憶された素性重みパラメータが使用される。
【００６６】
デコーダ１９６は、このラティス構造の各経路のうち翻訳スコアが最も高くなるような経路をビーム探索法により探索し、その経路に対応する翻訳候補を翻訳文１６６として出力する。
【００６７】
［実験］
上記した実施の形態の考え方にしたがって訓練及び素性パラメータの最適化を行った自動翻訳機において以下のような実験を行った。実験では、訓練サブセット１７０に記憶された対訳文の原言語文を原文７０として自動翻訳装置１６４に与えた結果、原文７０に対する最良翻訳として得られる翻訳文１６６が、原文の参照訳（原文７０と対訳文を構成している目的言語文）とどの程度の割合で一致するかについて確認した。
【００６８】
実験では、元となる対訳コーパスとしてIWSLT  2007  (非特許文献７)のJEセット（分野は旅行会話)を使用し、英日翻訳を対象に実験を行った。コーパスサイズをテーブル１に示す。
【００６９】
【表１】
2017021422.tif 000009
【００７０】
訓練サブセットは、訓練セット全体からランダムに選択した1,000文を含む。
詳細な実験設定は以下のとおりである。すなわち、翻訳モデルは、Mosesを使ってフレーズテーブル、語彙化並べ替えモデルを構築した。言語モデルは、KenLM(非特許文献８)を使って日本語の3グラムモデルを構築した。
これらのモデルの重みはk-best  Batch  MIRA  （非特許文献２）を用いて、テーブル１の開発セットに最適化した。
【００７１】
この実験では、密な素性及び疎な素性として次のテーブル２に示すようなものを用いた。
【００７２】
【表２】
2017021422.tif 000010
【００７３】
デコーダは、エラー分析を探索グラフレベルで行うため、出願人が内部開発したMosesのクローンを用いた（設定方法はフレーズベースのMosesとほぼ同じ)。なお、設定値は、ビーム幅＝２００、phrase  table  limit＝２０、distortion  limitは∞とした。
【００７４】
翻訳結果は、以下の４種類に分類される。
【００７５】
（１）Ｍａｔｃｈ：最良翻訳が参照訳と一致。
【００７６】
（２）Ｍｏｄｅｌ  Ｅｒｒｏｒ：最良翻訳のスコアより、参照訳スコアが低い。すなわち、モデルが訓練セットに最適化されていないことを表す。
【００７７】
（３）Ｓｅａｒｃｈ  Ｅｒｒｏｒ：最良翻訳スコアより、参照訳スコアが高いにもかかわらず、参照訳が選択されない。本来なら参照訳が最良翻訳として選ばれるべきだが、探索時のビーム幅、及びｄｉｓｔｏｒｔｉｏｎ  ｌｉｍｉｔ制約により探索中に参照訳が枝刈りされた場合。
【００７８】
（４）ＵＮＫ：現在のフレーズテーブルでは、どう組み合わせても参照訳を作るのは不可能。
【００７９】
・従来技術による最適化
まず、従来の方法を用いてパラメータの最適化をした結果を次のテーブル３に示す。
【００８０】
【表３】
2017021422.tif 000011
【００８１】
テーブル３によれば、最良翻訳と参照訳が一致（Ｍａｔｃｈ）したのは６１．２％と、決して高くはない数値となった。
【００８２】
Ｍｏｄｅｌ  Ｅｒｒｏｒは、全体の３１．９％であった。使用したモデルは参照訳を使って訓練したにも関わらず、参照訳自体のスコアが最高とはならなかった。
【００８３】
Ｓｅａｒｃｈ  Ｅｒｒｏｒはこの実験ではほとんど観察されなかったが、これはdistortion  limitを∞にしたためである。ビーム幅は２００で十分だった。
【００８４】
この実験では、ＵＮＫも７％程度存在した。この原因は詳細には分析していないが、訓練時に長すぎるフレーズを削除するなどして、フレーズテーブルに含まれない場合があるためではないかと考えられる。まとめると、訓練に使用した文を翻訳したにも関わらず、参照訳に一致するものはこの実験では６程度しかなく、訓練セットへのさらなるフィッティングが望まれる。
【００８５】
・実施の形態による最適化
本発明の目的は、テストセットの翻訳品質を落とさずに訓練サブセットの翻訳品質を向上させることである。そのために、既に説明したように、訓練サブセットを素性重みパラメータの最適化に用いる。以下の実験では、開発セット及び訓練サブセットから異なる素性を得て素性重みパラメータの最適化を行い、どのように組み合わせると良い結果が得られるかを調べた。実験の枠組みとしては上記した疎な素性と密な素性とを用いる素性パラメータを用い、最適化しない素性の値を０にした素性ベクトルをＢａｔｃｈ  ＭＩＲＡに入力すれば各々の場合に最適化された素性重みパラメータが得られる。
【００８６】
なお、訓練サブセットは開発セットに比べてサイズが大きい。そのまま両方を使って最適化すると、訓練サブセットに過度にチューニングされてしまうおそれがある。この悪影響を低減させるため、最適化時は開発セットをランダムにオーバーサンプリングし、訓練セットと同サンプル数にする。
【００８７】
上記実施の形態にしたがった最適化は、訓練サブセット、開発セットそれぞれで、どの素性を用いて最適化するかによって、いくつかのバリエーションに分類できる。以下の実験では、チューニング用のセットとして、開発セットと訓練サブセット（１，０００文）を使用し、以下の組み合わせについて、最適化されたパラメータを用いた際の翻訳品質を測定する。
【００８８】
開発セットは、密な素性、疎な素性、及び両方のいずれかを最適化する。
【００８９】
訓練セットは、密な素性、疎な素性、両方、及び「なし」のどれかを最適化する。
【００９０】
例えば、開発セットで最適化する素性と訓練サブセットで最適化する素性の組み合わせを〈開発セットの素性、訓練サブセットの素性）と表現した場合、従来の手法は〈密、なし〉と表現できる。
【００９１】
テストセットとして訓練セット以外の文を使用するオープンテストの結果をテーブル４に、テストセットとして訓練サブセットを用いるクローズドテストの結果をテーブル５に、それぞれ示す。数値はいずれも、最適化を１０回行ったときの平均値である。表中、（＋）は従来技術〈密、なし）に比べて本発明の実施の形態において有意に向上したものを示し、（―）は有意に悪化したものを示す（ｔ検定危険率：５％）。
【００９２】
【表４】
2017021422.tif 000012
【００９３】
【表５】
2017021422.tif 000013
【００９４】
テーブル４，５を参照して、オープンテストの品質は、〈両方、なし〉の組み合わせのとき、ＢＬＥＵスコア最高値（４４．５４〉となった。従来技術〈密、なし〉に比べて有意に向上、または有意差なしだったのは、〈密、疎〉、〈両方、疎〉、及び〈両方、なし〉の３つの設定であった。
【００９５】
一方、クローズドテストにおける翻訳品質は、〈両方、なし〉以外の全ての設定で従来方法に比べて有意に向上した。オープンテストの精度が向上したか又は変化なしと重なったのは〈密、疎〉及び〈両方、疎〉の２つの設定である。
【００９６】
以上の実験結果から、開発セットからは少なくとも密な素性を、訓練サブセットからは疎な素性を抽出して素性重みパラメータを最適化したときに、テストセットに対する翻訳品質を下げずに訓練サブセットの翻訳品質を上げることができることがわかった。
【００９７】
提案方式における最良翻訳と参照訳との一致率を〈両方、疎〉の組み合わせで測定した。結果を図１２の（Ｂ）に示す。図１２（Ａ）は最適化前の一致率で、テーブル３をグラフ化したものである。
【００９８】
本発明の実施の形態による手法で素性重みパラメータを最適化した結果、完全一致率は〈両方、疎〉の組み合わせで従来技術の６１．２％から７５．５％に向上した。減少したエラーは、ほとんどがＭｏｄｅｌ  Ｅｒｒｏｒであり、その他のエラータイプの数は、ほとんど変化していない。
【００９９】
以上のように本発明によれば、モデルの訓練に用いる訓練セットから訓練サブセットを選択し、素性重みパラメータの最適化において、訓練サブセットから抽出した疎な素性と、開発セットから抽出した密な素性又は密な素性と疎な素性とを組み合わせて最適化を行った。その結果、訓練サブセットを用いたクローズドテストにおいて、テストセットの翻訳品質を低下させることなく、訓練文の翻訳結果と参照訳とが一致する率を向上させることができた。したがって、この方法を用いると、少なくとも訓練サブセットとして選択された対訳文において、原言語の文を自動翻訳させると、翻訳精度を下げることなく、翻訳結果が参照訳（原言語の文と対訳となっている目的言語の文）と一致する確率を高くできる。
【０１００】
［コンピュータによる実現］
上記実施の形態に係る統計翻訳システム１５０及びその各部は、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図１３はこのコンピュータシステム３３０の外観を示し、図１４はコンピュータシステム３３０の内部構成を示す。
【０１０１】
図１３を参照して、このコンピュータシステム３３０は、メモリポート３５２及びＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２とを含む。
【０１０２】
図１４を参照して、コンピュータ３４０は、メモリポート３５２及びＤＶＤドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、メモリポート３５２及びＤＶＤドライブ３５０に接続されたバス３６６と、ブートプログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０と、ハードディスク３５４を含む。コンピュータシステム３３０はさらに、他端末との通信を可能とするネットワーク３６８への接続を提供するネットワークインターフェイス（Ｉ／Ｆ）３４４を含む。
【０１０３】
コンピュータシステム３３０を上記した実施の形態に係る統計翻訳システム１５０及びその各部の各機能部として機能させるためのコンピュータプログラムは、ＤＶＤドライブ３５０又はメモリポート３５２に装着されるＤＶＤ３６２又はリムーバブルメモリ３６４に記憶され、さらにハードディスク３５４に転送される。又は、プログラムはネットワーク３６８を通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＤＶＤ３６２から、リムーバブルメモリ３６４から又はネットワーク３６８を介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
【０１０４】
このプログラムは、コンピュータ３４０を、上記実施の形態に係る統計翻訳システム１５０及びその各部の各機能部として機能させるための複数の命令からなる命令列を含む。コンピュータ３４０にこの動作を行わせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ３４０にインストールされる、ダイナミックリンク可能な各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の内、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステムとしての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみで必要な機能を全て提供してもよい。
【０１０５】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【０１０６】
６０  モデル訓練装置
６４  言語モデル
６６  翻訳モデル
７０  原文
１００  開発セット
１５０  統計翻訳システム
１６２  素性重みパラメータ
１６４、１８２  自動翻訳装置
１６６  翻訳文
１６８  訓練サブセット選択装置
１６０  最適化装置
１７０  訓練サブセット
１７２  疎な素性抽出部
１７４  密な素性抽出部
１７６  最適化処理部
１８４  訳文評価部
１９０  素性抽出部
１９４  素性重みパラメータ記憶部
１９６  デコーダ
【図１】
2017021422.tif 000014
【図２】
2017021422.tif 000015
【図３】
2017021422.tif 000016
【図４】
2017021422.tif 000017
【図５】
2017021422.tif 000018
【図６】
2017021422.tif 000019
【図７】
2017021422.tif 000020
【図８】
2017021422.tif 000021
【図９】
2017021422.tif 000022
【図１０】
2017021422.tif 000023
【図１１】
2017021422.tif 000024
【図１２】
2017021422.tif 000025
【図１３】
2017021422.tif 000026
【図１４】
2017021422.tif 000027