(57)【要約】【課題】十分に規模の大きな対訳データが存在していない場合であっても翻訳性能を高めることができる学習手法を提供する。【解決手段】学習方法は、単言語データからフレーズテーブルを生成するステップと、第１の疑似対訳データを用いて新たな世代の統計的機械翻訳モデルを生成するステップと、新たな世代の統計的機械翻訳モデルを用いて第１の疑似対訳データを更新するとともに、当該更新された第１の疑似対訳データを用いてさらに新たな世代の統計的機械翻訳モデルを生成する処理を、所定回数に亘って繰り返すステップと、ニューラル機械翻訳モデルを用いて第２の疑似対訳データを更新するとともに、当該更新された第２の疑似対訳データを用いて新たな世代のニューラル機械翻訳モデルを生成する処理を、所定回数に亘って繰り返すステップと、第３の疑似対訳データを生成するステップと、統計的機械翻訳モデルを生成するステップを含む。【選択図】図１
2020166664.tif 000002
【特許請求の範囲】
【請求項１】
統計的機械翻訳モデルとニューラル機械翻訳モデルとを含む機械翻訳システムの学習方法であって、
単言語データからフレーズテーブルを生成するステップと、
前記フレーズテーブルおよび第１の言語モデルに基づいて、最初の統計的機械翻訳モデルを生成するステップと、
前記生成された最初の統計的機械翻訳モデルを用いて第１の疑似対訳データを生成するステップと、
前記生成された第１の疑似対訳データを用いて新たな世代の統計的機械翻訳モデルを生成するステップと、
前記生成された新たな世代の統計的機械翻訳モデルを用いて前記第１の疑似対訳データを更新するとともに、当該更新された第１の疑似対訳データを用いてさらに新たな世代の統計的機械翻訳モデルを生成する処理を、所定回数に亘って繰り返すステップと、
前記所定回数の繰り返し後に生成された統計的機械翻訳モデルを用いて第２の疑似対訳データを生成するステップと、
前記生成された第２の疑似対訳データを用いてニューラル機械翻訳モデルを生成するステップと、
前記生成されたニューラル機械翻訳モデルを用いて前記第２の疑似対訳データを更新するとともに、当該更新された第２の疑似対訳データを用いて新たな世代のニューラル機械翻訳モデルを生成する処理を、所定回数に亘って繰り返すステップと、
前記所定回数の繰り返し後に生成されたニューラル機械翻訳モデルを用いて第３の疑似対訳データを生成するステップと、
前記生成された第３の疑似対訳データから前記統計的機械翻訳モデルを生成するステップとを備える、機械翻訳システムの学習方法。
【請求項２】
前記統計的機械翻訳モデルは、
第１の言語から第２の言語への機械翻訳を行う第１の統計的機械翻訳モデルと、
前記第２の言語から前記第１の言語への機械翻訳を行う第２の統計的機械翻訳モデルとを含み、
前記第１の疑似対訳データは、前記第１の統計的機械翻訳モデルを用いて生成された疑似対訳データと、前記第２の統計的機械翻訳モデルを用いて生成された疑似対訳データとを含む、請求項１に記載の機械翻訳システムの学習方法。
【請求項３】
前記新たな世代の統計的機械翻訳モデルは、先に生成されていた統計的機械翻訳モデルとは独立して生成され、
前記新たな世代のニューラル機械翻訳モデルは、先に生成されていたニューラル機械翻訳モデルとは独立して生成される、請求項１または２に記載の機械翻訳システムの学習方法。
【請求項４】
第２の言語モデルを用いて前記第２の疑似対訳データのうちスコアが相対的に高い疑似対訳を抽出するステップをさらに備える、請求項１〜３のいずれか１項に記載の機械翻訳システムの学習方法。
【請求項５】
請求項１〜４のいずれか１項に記載の機械翻訳システムの学習方法をコンピュータに実行させるための学習プログラム。
【請求項６】
機械翻訳システムに用いられる統計的機械翻訳モデルおよびニューラル機械翻訳モデルのうち少なくとも一方を備える学習済モデルであって、前記学習済モデルは所定の学習方法により生成され、前記所定の学習方法は、
単言語データからフレーズテーブルを生成するステップと、
前記フレーズテーブルおよび第１の言語モデルに基づいて、最初の統計的機械翻訳モデルを生成するステップと、
前記生成された最初の統計的機械翻訳モデルを用いて第１の疑似対訳データを生成するステップと、
前記生成された第１の疑似対訳データを用いて新たな世代の統計的機械翻訳モデルを生成するステップと、
前記生成された新たな世代の統計的機械翻訳モデルを用いて前記第１の疑似対訳データを更新するとともに、当該更新された第１の疑似対訳データを用いてさらに新たな世代の統計的機械翻訳モデルを生成する処理を、所定回数に亘って繰り返すステップと、
前記所定回数の繰り返し後に生成された統計的機械翻訳モデルを用いて第２の疑似対訳データを生成するステップと、
前記生成された第２の疑似対訳データを用いてニューラル機械翻訳モデルを生成するステップと、
前記生成されたニューラル機械翻訳モデルを用いて前記第２の疑似対訳データを更新するとともに、当該更新された第２の疑似対訳データを用いて新たな世代のニューラル機械翻訳モデルを生成する処理を、所定回数に亘って繰り返すステップと、
前記所定回数の繰り返し後に生成されたニューラル機械翻訳モデルを用いて第３の疑似対訳データを生成するステップと、
前記生成された第３の疑似対訳データから前記統計的機械翻訳モデルを生成するステップとを備える、学習済モデル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械翻訳システムの学習方法、学習プログラムおよび学習済モデルに関する。
【背景技術】
【０００２】
現在の機械翻訳技術は、統計的機械翻訳（Statistical Machine Translation；以下「ＳＭＴ」とも略称する。）とニューラル機械翻訳（ＮＭＴ：Neural Machine Translation；以下「ＮＭＴ」とも略称する。）との２種類に大別される。
【０００３】
ＳＭＴでは、対訳データから対訳関係にある語および句の対を事前に抽出するとともに、各対に対して翻訳確率や語句の並び替えに関する確率が計算される。翻訳時には、語および句の対を組み合わせて表現できる目標言語の語の系列中から最も尤度の高いものが訳文として決定される（例えば、非特許文献１など参照）。
【０００４】
一方、ＮＭＴでは、起点言語の語および文全体をベクトルまたはテンソルに変換するニューラルネットワーク（エンコーダ）と、変換により得られたベクトルまたはテンソルから目標言語の語の系列を生成するニューラルネットワーク（デコーダ）とからなるモデルが用いられる。エンコーダおよびデコーダからなるモデルは、起点言語と目標言語との対訳データに基づいて学習される（パラメタが最適化される）（例えば、非特許文献２および３参照）。
【０００５】
目的の起点言語、目標言語、対象分野について、大規模な対訳データが存在している場合には、ＮＭＴはＳＭＴよりも高い翻訳性能を達成し得る。しかしながら、小規模な対訳データしか存在していない場合には、翻訳関係にある表現の対を直接操作するＳＭＴの方が、入力の情報を捨象して数値計算のみに頼るＮＭＴよりも翻訳性能が高い（例えば、非特許文献４参照）ことが多い。
【０００６】
対訳データとは異なり、単言語データは安価かつ大量に入手可能である。そのため、ＳＭＴおよびＮＭＴの性能を改良するために単言語データを活用する技術が提案されている（例えば、非特許文献５および６参照）。しかしながら、ベースとなるＳＭＴおよびＮＭＴからなる機械翻訳システムの精度が低い場合は、そのような改良も実現不可能となる。そのような場合に対して、起点言語と目標言語とを仲介する第３の言語（ピボット言語とも称され、多くの場合には英語が採用される）を用いるピボット翻訳が提案されている（例えば、非特許文献７参照）。
【０００７】
ピボット翻訳は、起点言語をピボット言語に翻訳する機械翻訳システムと、ピボット言語を目標言語に翻訳する機械翻訳システムとを組み合わせて利用する技術である。但し、起点言語とピボット言語との言語対、および、ピボット言語と目標言語と言語対の両方について、十分に規模の大きな対訳データが存在していない場合は、ピボット翻訳も適用できない。
【０００８】
近年、単言語データのみから機械翻訳システムを構築する技術が提案されている。これらの技術は、教師なし機械翻訳（ＵＭＴ：Unsupervised Machine Translation）と呼ばれている。但し、提案されている技術では、ハイパーパラメタの調整に対訳データを利用する必要があるため、対訳データを全く不要とするわけではない。教師なし機械翻訳としては、教師なしＳＭＴ（以下、「ＵＳＭＴ」とも略称する。）（例えば、非特許文献８および９参照）、および、教師なしＮＭＴ（以下、「ＵＮＭＴ」とも略称する。）（例えば、非特許文献９および１０参照）が提案されている。
【０００９】
ＵＳＭＴは、従来手法に従うＳＭＴを概ねそのまま利用しつつ、対訳関係にある語および句の対を二言語分散表現などに基づいて取得して利用する（例えば、非特許文献１１および１２参照）。ＵＳＭＴは、ＵＮＭＴよりも高い翻訳性能を達成している。さらに、ＵＳＭＴを単体で用いるのではなく、ＵＳＭＴを用いて生成した疑似対訳データと従来手法に従うＮＭＴとを組み合わせることにより、ＵＳＭＴよりも高い翻訳性能を達成し得る（例えば、非特許文献１３および１４参照）。なお、このような組み合わせの機械翻訳システムにおいて、ＮＭＴには、正規の対訳データではなく疑似対訳データが用いられるので、ＵＮＭＴの一種と考えることもできる。逆に、ＵＮＭＴを用いて生成した疑似対訳データと従来手法に従うＳＭＴとを組み合わせることにより、ＵＳＭＴを構築することもできる。さらに、ＵＳＭＴおよびＵＮＭＴに対する訓練を交互に繰り返すことによって、ＵＳＭＴおよびＵＮＭＴの両システムを改良することもできる（例えば、非特許文献１４参照）。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Philipp Kohen (2009). Statistical Machine Translation. Cambridge University Press.
【非特許文献２】Ilya Sutskever, Oriol Vinyals, and Quoc V. Le (2014). Sequence to Sequence Learning with Neural Networks. In Proceedings of the 27th International Conference on Neural Information Processing Systems, pp. 3105-3112.
【非特許文献３】Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin (2017). Attention is All You Need.  In Proceedings of the 30th Neural Information Processing Systems Conference (NIPS), pp. 5998-6008.
【非特許文献４】Philipp Koehn and Rebecca Knowles (2017). Six Challenges for Neural Machine Translation. In Proceedings of the 1st Workshop on Neural Machine Translation, pp. 28-39.
【非特許文献５】Nicola Ueffing, Gholamreza Haffari, and Anoop Sarkar (2007). Transductive Learning for Statistical Machine Translation. In Proceedings of the 45th Annual Meeting of the Association for Computational
【非特許文献６】Rico Sennrich, Barry Haddow, and Alexandra Birch (2016). Improving Neural Machine Translation with Monolingual Data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 86-96.
【非特許文献７】Masao Utiyama and Hitoshi Isahara (2007). A Comparison of Pivot Methods for Phrase-Based Statistical Machine Translation. In Proceedings of Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics (HLT-NAACL), pp. 484-491.
【非特許文献８】Mikel Artetxe, Gorka Labaka, and Eneko Agirre (2018). Unsupervised Statistical Machine Translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3632-3642.
【非特許文献９】Guillaume Lample, Myle Ott, Alexis Conneau, Ludovic Denoyer, and Marc’ Aurelio Ranzato (2018). Phrase-based & Neural Unsupervised Machine Translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5039-5049.
【非特許文献１０】Mikel Artetxe, Gorka Labaka, Eneko Agirre, and Kyunghyun Cho (2018). Unsupervised Neural Machine Translation. In Proceedings of the 6th International Conference on Learning Representations (ICLR).
【非特許文献１１】Benjamin Marie and Atsushi Fujita (2018). Phrase Table Induction Using Monolingual Data for Low-Resource Statistical Machine Translation. ACM Transactions on Asian and Low-Resource Language Information Processing, Vol. 17, No. 3, Article 16, 25 pages.
【非特許文献１２】Mikel Artetxe, Gorka Labaka, and Eneko Agirre (2018). A Robust Self-learning Method for Fully Unsupervised Cross-lingual Mappings of Word Embeddings. In Proceedings of the 56thth Annual Meeting of the Association for Computational Linguistics, pp. 789-798.
【非特許文献１３】Benjamin Marie and Atsushi Fujita (2018). Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation. arXiv:1810.12703.
【非特許文献１４】Shuo Ren, Zhirui Zhang, Shujie Liu, Ming Zhou, and Shuai Ma. Unsupervised Neural Machine Translation with SMT as Posterior Regularization. arXiv:1901.04112.
【非特許文献１５】Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H. Clark, and Philipp Koehn (2013). Scalable Modified Kneser-Ney Language Model Estimation. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 690-696.
【非特許文献１６】Colin Cherry and George Foster (2012). Batch Tuning Strategies for Statistical Machine Translation. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 427-436.
【非特許文献１７】Rico Sennrich, Barry Haddow, and Alexandra Birch (2016). Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1715-1725.
【非特許文献１８】Kishor Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu (2002). BLEU: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318.
【非特許文献１９】Matt Post (2018). A Call for Clarity in Reporting BLEU Scores. In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 186-191.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
さまざまな言語間の機械翻訳システムを実現しようとすると、特定の言語間については大規模な対訳データが存在しているが、それ以外の言語間については十分に規模の大きな対訳データが存在していないことも多い。
【００１２】
本発明は、十分に規模の大きな対訳データが存在していない場合であっても翻訳性能を高めることができる学習手法を提供することを目的としている。
【課題を解決するための手段】
【００１３】
本発明のある局面に従えば、統計的機械翻訳モデルとニューラル機械翻訳モデルとを含む機械翻訳システムの学習方法が提供される。学習方法は、単言語データからフレーズテーブルを生成するステップと、フレーズテーブルおよび第１の言語モデルに基づいて、最初の統計的機械翻訳モデルを生成するステップと、生成された最初の統計的機械翻訳モデルを用いて第１の疑似対訳データを生成するステップと、生成された第１の疑似対訳データを用いて新たな世代の統計的機械翻訳モデルを生成するステップと、生成された新たな世代の統計的機械翻訳モデルを用いて第１の疑似対訳データを更新するとともに、当該更新された第１の疑似対訳データを用いてさらに新たな世代の統計的機械翻訳モデルを生成する処理を、所定回数に亘って繰り返すステップと、所定回数の繰り返し後に生成された統計的機械翻訳モデルを用いて第２の疑似対訳データを生成するステップと、生成された第２の疑似対訳データを用いてニューラル機械翻訳モデルを生成するステップと、生成されたニューラル機械翻訳モデルを用いて第２の疑似対訳データを更新するとともに、当該更新された第２の疑似対訳データを用いて新たな世代のニューラル機械翻訳モデルを生成する処理を、所定回数に亘って繰り返すステップと、所定回数の繰り返し後に生成されたニューラル機械翻訳モデルを用いて第３の疑似対訳データを生成するステップと、生成された第３の疑似対訳データから統計的機械翻訳モデルを生成するステップとを含む。
【００１４】
学習方法は、第３の疑似対訳データを用いて統計的機械翻訳モデルを生成する処理を再実行するステップをさらに含むようにしてもよい。
【００１５】
統計的機械翻訳モデルは、第１の言語から第２の言語への機械翻訳を行う第１の統計的機械翻訳モデルと、第２の言語から第１の言語への機械翻訳を行う第２の統計的機械翻訳モデルとを含んでいてもよい。ニューラル機械翻訳モデルは、第１の言語から第２の言語への機械翻訳を行う第１のニューラル機械翻訳モデルと、第２の言語から第１の言語への機械翻訳を行う第２のニューラル機械翻訳モデルとを含んでいてもよい。
【００１６】
第２の統計的機械翻訳モデルを用いて生成された第２の疑似対訳データが第１のニューラル機械翻訳モデルの生成に用いられてもよい。第１の統計的機械翻訳モデルを用いて生成された第２の疑似対訳データが第２のニューラル機械翻訳モデルの生成に用いられてもよい。
【００１７】
第２のニューラル機械翻訳モデルを用いて生成された第２の疑似対訳データが新たな世代の第１のニューラル機械翻訳モデルの生成に用いられてもよい。第１のニューラル機械翻訳モデルを用いて生成された第２の疑似対訳データが新たな世代の第２のニューラル機械翻訳モデルの生成に用いられてもよい。
【００１８】
第１の疑似対訳データは、第１の統計的機械翻訳モデルを用いて生成された疑似対訳データと、第２の統計的機械翻訳モデルを用いて生成された疑似対訳データとを含むようにしてもよい。
【００１９】
新たな世代の統計的機械翻訳モデルは、先に生成されていた統計的機械翻訳モデルとは独立して生成されてもよい。新たな世代のニューラル機械翻訳モデルは、先に生成されていたニューラル機械翻訳モデルとは独立して生成されてもよい。
【００２０】
学習方法は、第２の疑似対訳データを更新するごとに生成される対訳データの規模を漸増させるステップを含んでいてもよい。
【００２１】
学習方法は、第２の言語モデルを用いて第２の疑似対訳データのうちスコアが相対的に高い疑似対訳を抽出するステップをさらに含んでいてもよい。
【００２２】
本発明の別の局面に従えば、上記の機械翻訳システムの学習方法をコンピュータに実行させるための学習プログラムが提供される。
【００２３】
本発明の別の局面に従えば、機械翻訳システムに用いられる統計的機械翻訳モデルおよびニューラル機械翻訳モデルのうち少なくとも一方を含む学習済モデルが提供される。学習済モデルは所定の学習方法により生成される。所定の学習方法は、単言語データからフレーズテーブルを生成するステップと、フレーズテーブルおよび第１の言語モデルに基づいて、最初の統計的機械翻訳モデルを生成するステップと、生成された最初の統計的機械翻訳モデルを用いて第１の疑似対訳データを生成するステップと、生成された第１の疑似対訳データを用いて新たな世代の統計的機械翻訳モデルを生成するステップと、生成された新たな世代の統計的機械翻訳モデルを用いて第１の疑似対訳データを更新するとともに、当該更新された第１の疑似対訳データを用いてさらに新たな世代の統計的機械翻訳モデルを生成する処理を、所定回数に亘って繰り返すステップと、所定回数の繰り返し後に生成された統計的機械翻訳モデルを用いて第２の疑似対訳データを生成するステップと、生成された第２の疑似対訳データを用いてニューラル機械翻訳モデルを生成するステップと、生成されたニューラル機械翻訳モデルを用いて第２の疑似対訳データを更新するとともに、当該更新された第２の疑似対訳データを用いて新たな世代のニューラル機械翻訳モデルを生成する処理を、所定回数に亘って繰り返すステップと、所定回数の繰り返し後に生成されたニューラル機械翻訳モデルを用いて第３の疑似対訳データを生成するステップと、生成された第３の疑似対訳データから統計的機械翻訳モデルを生成するステップとを含む。
【発明の効果】
【００２４】
本発明によれば、十分に規模の大きな対訳データが存在していない場合であっても翻訳性能を高めることができる。
【図面の簡単な説明】
【００２５】
【図１】本実施の形態に従う機械翻訳システムの概要を説明するための模式図である。
【図２】本実施の形態に従う機械翻訳システムのＵＳＭＴにおける学習の手続きを説明するための図である。
【図３】本実施の形態に従う機械翻訳システムのＵＳＭＴにおける学習の手続きを説明するための図である。
【図４】本実施の形態に従う機械翻訳システムのＵＮＭＴにおける学習の手続きを説明するための図である。
【図５】本実施の形態に従う機械翻訳システムの共訓練の概要を説明するための模式図である。
【図６】本実施の形態に従う学習処理および推論処理を実現するハードウェア構成の一例を示す模式図である。
【図７】本実施の形態に従う機械翻訳システムにおける学習処理の処理手順を示すフローチャートである。
【図８】本実施の形態に従う機械翻訳システムにおける学習処理の処理手順を示すフローチャートである。
【図９】本実施の形態に従う機械翻訳システムの翻訳性能の評価結果の一例を示す図である。
【発明を実施するための形態】
【００２６】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【００２７】
［Ａ．機械翻訳システムの概要］
図１は、本実施の形態に従う機械翻訳システム１の概要を説明するための模式図である。本実施の形態に従う機械翻訳システム１は、言語Ｌ１と言語Ｌ２との間の双方向の翻訳タスクを実行可能になっている。
【００２８】
図１を参照して、機械翻訳システム１は、教師なし統計的機械翻訳（ＵＳＭＴ）を実現する機械翻訳システムであるＵＳＭＴ１００と、教師なしニューラル機械翻訳（ＵＮＭＴ）を実現する機械翻訳システムであるＵＮＭＴ２００とを含む。すなわち、機械翻訳システム１は、学習済モデルである統計的機械翻訳モデルとニューラル機械翻訳モデルとを有している。以下、機械翻訳システム１を構成する学習済モデルの学習方法を主として説明する。
【００２９】
図１において、ＵＳＭＴ１００は、ＵＳＭＴに係る処理を実現するための機械翻訳システムを示し、ＵＮＭＴ２００は、ＵＮＭＴに係る処理を実現するための機械翻訳システムを示す。ＵＳＭＴ１００およびＵＮＭＴ２００は、任意のコンピューティングリソースによって実現されてもよい。
【００３０】
より具体的には、ＵＳＭＴ１００は、言語Ｌ１から言語Ｌ２への機械翻訳を行うモデルであるＵＳＭＴ１００−１と、言語Ｌ２から言語Ｌ１への機械翻訳を行うモデルであるＵＳＭＴ１００−２とを含む。同様に、ＵＮＭＴ２００は、言語Ｌ１から言語Ｌ２への機械翻訳を行うモデルであるＵＮＭＴ２００−１と、言語Ｌ２から言語Ｌ１への機械翻訳を行うモデルであるＵＮＭＴ２００−２とを含む。
【００３１】
以下の説明において、特段の説明がない限り、ＵＳＭＴ１００およびＵＮＭＴ２００は、機械翻訳を行うためのモデルを含むシステムを意味し、ＵＳＭＴ１００−１，１００−２およびＵＮＭＴ２００−１，２００−２は、機械翻訳を行うためのモデルを意味する。
【００３２】
このように、機械翻訳システム１は、４種類の教師なし機械翻訳システム（言語Ｌ１から言語Ｌ２と言語Ｌ２から言語Ｌ１との双方向について、教師なし統計的機械翻訳（ＵＳＭＴ）システムおよび教師なしニューラル機械翻訳（ＵＮＭＴ）システム）を有している。機械翻訳システム１では、これらの教師なし機械翻訳システムを用いて、他方を強化する共訓練を実行することで、十分に規模の大きな対訳データが存在していない場合であっても、翻訳性能を高める。
【００３３】
（ａ１：ＵＳＭＴ１００）
まず、機械翻訳システム１に用いられるＵＳＭＴ１００の学習の手続きおよび特徴について説明する。従来手法に従うＵＳＭＴ（例えば、非特許文献１１および１３など参照）と同様に、本実施の形態に従う機械翻訳システム１に用いられるＵＳＭＴ１００においては、起点言語の単言語データと目標言語の単言語データとから、対訳関係にある語および句の対を抽出してフレーズテーブルを構築する。
【００３４】
機械翻訳システム１において、ＵＳＭＴ１００は、最初のＵＳＭＴとして用いられる。
図１に示すように、単言語データ１５０は、言語Ｌ１についての単言語データ１５０−１および言語Ｌ２についての単言語データ１５０−２を含む。言語Ｌ１および言語Ｌ２のそれぞれが起点言語および目標言語として設定され得る。
【００３５】
（ａ２．ＵＮＭＴ２００）
次に、本実施の形態に従う機械翻訳システム１に用いられるＵＮＭＴ２００の学習の手続きおよび特徴について説明する。従来手法に従うＵＮＭＴ（例えば、非特許文献９、１３および１４など参照）と同様に、本実施の形態に従う機械翻訳システム１に用いられるＵＮＭＴ２００は、ＵＳＭＴ１００によって生成された疑似対訳データ２０２と公知のＮＭＴの技術とを用いて構築される。このようなアプローチを採用することにより、ＵＮＭＴ２００を最先端のＮＭＴの技術を用いて実現できる。
【００３６】
（ａ３．ＵＳＭＴ１００とＵＮＭＴ２００との共訓練）
本実施の形態に従う機械翻訳システム１は、ＵＮＭＴ２００によって生成された疑似対訳データ１２２を用いたＵＳＭＴ１００の訓練と、ＵＳＭＴ１００によって生成された疑似対訳データ２０２を用いたＵＮＭＴ２００の訓練とを交互に実行する。
【００３７】
［Ｂ．学習の手続き］
次に、本実施の形態に従う機械翻訳システム１における学習の手続きについて説明する。
【００３８】
（ｂ１：ＵＳＭＴ１００）
図２および図３は、本実施の形態に従う機械翻訳システム１のＵＳＭＴ１００における学習の手続きを説明するための図である。図２には、言語Ｌ１から言語Ｌ２への翻訳を行うＵＳＭＴ１００−１における学習の手続きが示され、図３には、言語Ｌ２から言語Ｌ１への翻訳を行うＵＳＭＴ１００−２における学習の手続きが示される。
【００３９】
図２および図３に示されるように、本実施の形態に従う機械翻訳システム１においては、洗練が繰り返されるごとに、ＵＳＭＴ１００−１およびＵＳＭＴ１００−２が新たに生成される。
【００４０】
図２を参照して、まず、言語Ｌ１から言語Ｌ２へのフレーズテーブル１０２−１が生成される（ステップＳ１１）。
【００４１】
より具体的には、フレーズテーブル１０２−１は、二言語単語分散表現および語句のセットから生成される。二言語単語分散表現は、言語Ｌ１についての単言語データ１５０−１および言語Ｌ２についての単言語データ１５０−２を統計処理して生成される。語句のセットは、単語およびフレーズからなるものであり、言語Ｌ１についての単言語データ１５０−１および言語Ｌ２についての単言語データ１５０−２からそれぞれ抽出される。二言語の語句のセットの要素の組み合わせの各々を二言語単語分散表現に基づいて評価し、スコアの高いものが選択されて、フレーズテーブル１０２−１として出力される。なお、フレーズテーブル１０２−１の生成についてのさらに詳細な内容については、非特許文献１１を参照されたい。
【００４２】
次に、フレーズテーブル１０２−１および言語Ｌ２の任意の言語モデル１２０−２に基づいて、最初のＵＳＭＴ１００−１が生成される（ステップＳ１２）。
【００４３】
続いて、疑似対訳データ１０４−１が生成される（ステップＳ１３）。疑似対訳データ１０４−１には、言語Ｌ１についての単言語データ１５０−１をＵＳＭＴ１００−１に入力することで生成される疑似対訳データ、および、言語Ｌ２についての単言語データ１５０−２をＵＳＭＴ１００−２に入力することで生成される疑似対訳データの両方が組み入れられる。ＵＳＭＴ１００−１から生成される疑似対訳データは、現実的な言語Ｌ１の語句をＵＳＭＴ１００−１に入力して出力される言語Ｌ２の語句を含む。ＵＳＭＴ１００−２から生成される疑似対訳データは、現実的な言語Ｌ２の語句をＵＳＭＴ１００−２に入力して出力される言語Ｌ１の語句を含む。
【００４４】
なお、ＵＳＭＴ１００−１およびＵＳＭＴ１００−２は並列的に学習されるので、ＵＳＭＴ１００−２は、ＵＳＭＴ１００−１と並列的に順次洗練される。
【００４５】
続いて、生成された疑似対訳データ１０４−１から、フレーズテーブル１０６−１が生成される（ステップＳ１４）とともに、語句の語彙化並び替えモデル（lexicalized reordering model）１１０−１が生成される（ステップＳ１５）。
【００４６】
最終的に、フレーズテーブル１０６−１、語句の語彙化並び替えモデル１１０−１および言語Ｌ２の任意の言語モデル１２０−２に基づいて、次世代のＵＳＭＴ１００−１が生成される（ステップＳ１６）。
【００４７】
上述したステップＳ１１〜Ｓ１６の処理によって、最初のＵＳＭＴ１００−１の生成および次世代のＵＳＭＴ１００−１の生成が完了する。
【００４８】
以下、ステップＳ１３〜Ｓ１６の処理が所定回数に亘って繰り返される（ステップＳ１７）。
【００４９】
なお、フレーズテーブル１０６−１は、スコアに基づいてプルーニングされてもよい。同様に、語句の語彙化並び替えモデル１１０−１についても、スコアに基づいてプルーニングされてもよい。
【００５０】
言語Ｌ２から言語Ｌ１への翻訳を行うＵＳＭＴ１００−２についての同様の学習の手続きが実行される。
【００５１】
図３を参照して、まず、言語Ｌ２から言語Ｌ１へのフレーズテーブル１０２−２が生成される（ステップＳ２１）。フレーズテーブル１０２−２は、二言語単語分散表現および語句のセットから生成される。二言語単語分散表現は、言語Ｌ１についての単言語データ１５０−１および言語Ｌ２についての単言語データ１５０−２を統計処理して生成される。語句のセットは、単語およびフレーズからなるものであり、言語Ｌ１についての単言語データ１５０−１および言語Ｌ２についての単言語データ１５０−２からそれぞれ抽出される。二言語の語句のセットの要素の組み合わせの各々を二言語単語分散表現に基づいて評価し、スコアの高いものが選択されて、フレーズテーブル１０２−２として出力される。
【００５２】
次に、フレーズテーブル１０２−２および言語Ｌ１の任意の言語モデル１２０−１に基づいて、最初のＵＳＭＴ１００−２が生成される（ステップＳ２２）。
【００５３】
続いて、疑似対訳データ１０４−２が生成される（ステップＳ２３）。疑似対訳データ１０４−２には、言語Ｌ２についての単言語データ１５０−２をＵＳＭＴ１００−２に入力することで生成される疑似対訳データ、および、言語Ｌ１についての単言語データ１５０−１をＵＳＭＴ１００−１に入力することで生成される疑似対訳データの両方が組み入れられる。ＵＳＭＴ１００−２から生成される疑似対訳データは、現実的な言語Ｌ２の語句をＵＳＭＴ１００−２に入力して出力される言語Ｌ１の語句を含む。ＵＳＭＴ１００−１から生成される疑似対訳データは、現実的な言語Ｌ１の語句をＵＳＭＴ１００−１に入力して出力される言語Ｌ２の語句を含む。上述したように、ＵＳＭＴ１００−１およびＵＳＭＴ１００−２は並列的に学習されるので、ＵＳＭＴ１００−１についてもＵＳＭＴ１００−２と並列的に順次洗練される。
【００５４】
続いて、生成された疑似対訳データ１０４−２から、フレーズテーブル１０６−２が生成される（ステップＳ２４）とともに、語句の語彙化並び替えモデル（lexicalized reordering model）１１０−２が生成される（ステップＳ２５）。
【００５５】
最終的に、フレーズテーブル１０６−２、語句の語彙化並び替えモデル１１０−２および言語Ｌ１の任意の言語モデル１２０−１に基づいて、次世代のＵＳＭＴ１００−２が生成される（ステップＳ２６）。
【００５６】
上述したステップＳ２１〜Ｓ２６の処理によって、最初のＵＳＭＴ１００−２の生成および次世代のＵＳＭＴ１００−２の生成が完了する。
【００５７】
以下、ステップＳ２３〜Ｓ２６の処理が所定回数に亘って繰り返される（ステップＳ２７）。
【００５８】
なお、フレーズテーブル１０６−２は、スコアに基づいてプルーニングされてもよい。同様に、語句の語彙化並び替えモデル１１０−２についても、スコアに基づいてプルーニングされてもよい。
【００５９】
本実施の形態に従う機械翻訳システム１におけるＵＳＭＴ１００においては、洗練が繰り返されるごとに、機械翻訳を行うモデルであるＵＳＭＴ１００−１およびＵＳＭＴ１００−２が新たに生成される。直前のモデルのパラメタを利用して、次世代のＵＳＭＴ１００−１およびＵＳＭＴ１００−２を規定するパラメタを最適化してもよいが、本実施の形態に従う学習方法においては、モデルを規定するパラメタを一旦リセットする。その上で、疑似対訳データから生成したフレーズテーブルおよび語句の語彙化並び替えモデルを用いて、次世代のＵＳＭＴ１００−１およびＵＳＭＴ１００−２を生成する。このような世代間でパラメタの情報を引き継がないことで、過学習やバイアスの影響を抑制できる。
【００６０】
上述したように、本実施の形態においては、言語Ｌ１から言語Ｌ２への機械翻訳により得られる疑似対訳データ、および、言語Ｌ２から言語Ｌ１への機械翻訳により得られる疑似対訳データの両方を用いる（すなわち、両方向の疑似対訳を用いる）。このような手法を採用することで、同量の疑似対訳データを取得しようとする場合、従来手法に比較して翻訳に要するコストを約半分にできる。
【００６１】
また、ＵＳＭＴに対して任意の語句や文を入力して疑似対訳データを生成できるので、言語Ｌ１から言語Ｌ２への方向、および、言語Ｌ２から言語Ｌ１への方向の両方において、自然な語句を含む疑似対訳データを生成できる。また、ＵＳＭＴに対して文を入力して疑似対訳データを生成することで、文単位で翻訳した場合に、自然な語句が含まれるようになる。
【００６２】
さらに、ＵＳＭＴ１００−１およびＵＳＭＴ１００−２に対する洗練を並列的に実行できる。
【００６３】
（ｂ２．ＵＮＭＴ２００）
図４は、本実施の形態に従う機械翻訳システム１のＵＮＭＴ２００における学習の手続きを説明するための図である。図４に示すように、ＵＮＭＴ２００の学習には、ＵＳＭＴ１００が生成する疑似対訳データが用いられる。より具体的には、言語Ｌ１から言語Ｌ２への機械翻訳を行うＵＮＭＴ２００−１の学習には、言語Ｌ２から言語Ｌ１への機械翻訳を行うＵＳＭＴ１００−２が生成する疑似対訳データ２０２−１が用いられる。また、言語Ｌ２から言語Ｌ１への機械翻訳を行うＵＮＭＴ２００−２の学習には、言語Ｌ１から言語Ｌ２への機械翻訳を行うＵＳＭＴ１００−１が生成する疑似対訳データ２０２−２が用いられる。
【００６４】
図４を参照して、ＵＮＭＴ２００−１の学習に関して、ＵＳＭＴ１００−２に対して言語Ｌ２の任意の語句や文を入力して、疑似対訳データ２０２−１を生成する（ステップＳ３１）。疑似対訳データ２０２−１は、言語Ｌ２から言語Ｌ１への方向の疑似対訳のみを含むことになる。
【００６５】
続いて、言語Ｌ１の任意の言語モデル２０４−１を参照して、疑似対訳データ２０２−１のうち、スコアの高い疑似対訳を抽出する（ステップＳ３２）。すなわち、疑似対訳データ２０２−１は、言語Ｌ２から言語Ｌ１への方向の疑似対訳のみを含むので、文法的におかしな訳文を含み得るが、言語Ｌ１の言語モデル２０４−１を参照してフィルタリングすることで、このような低品質な疑似対訳を排除できる。
【００６６】
疑似対訳データ２０２−１からスコアの高い疑似対訳が抽出された結果である疑似対訳データ２０６−１を用いた学習により、ＵＮＭＴ２００−１を生成する（ステップＳ３３）。
【００６７】
同様に、ＵＮＭＴ２００−２の学習に関して、ＵＳＭＴ１００−１に対して言語Ｌ１の任意の語句を入力して、疑似対訳データ２０２−２を生成する（ステップＳ３４）。疑似対訳データ２０２−２は、言語Ｌ１から言語Ｌ２への方向の疑似対訳のみを含むことになる。
【００６８】
続いて、言語Ｌ２の任意の言語モデル２０４−２を参照して、疑似対訳データ２０２−２のうち、スコアの高い疑似対訳を抽出する（ステップＳ３５）。すなわち、疑似対訳データ２０２−２は、言語Ｌ１から言語Ｌ２への方向の疑似対訳のみを含むので、文法的におかしな訳文を含み得るが、言語Ｌ２の言語モデル２０４−２を参照してフィルタリングすることで、このような低品質な疑似対訳を排除できる。
【００６９】
疑似対訳データ２０２−２からスコアの高い疑似対訳が抽出された結果である疑似対訳データ２０６−２を用いた学習により、ＵＮＭＴ２００−２を生成する（ステップＳ３６）。
【００７０】
以下、ステップＳ３２およびＳ３３ならびにステップＳ３５およびＳ３６の処理が所定回数に亘って繰り返される（ステップＳ３７）。この繰り返し処理（学習）において、ステップＳ３３において生成されたＵＮＭＴ２００−１に対して、言語Ｌ１についての単言語データ１５０−１を入力することで疑似対訳データ２０２−２を生成する。そして、生成された疑似対訳データ２０２−２を用いて、新たな世代のＵＮＭＴ２００−２が生成される。同様に、ステップＳ３６において生成されたＵＮＭＴ２００−２に対して、言語Ｌ２についての単言語データ１５０−２を入力することで疑似対訳データ２０２−１を生成する。そして、生成された疑似対訳データ２０２−１を用いて、新たな世代のＵＮＭＴ２００−１が生成される。
【００７１】
このように、生成されたＵＮＭＴ２００−１を用いて、次世代のＵＮＭＴ２００−２が生成されるとともに、生成されたＵＮＭＴ２００−２を用いて、次世代のＵＮＭＴ２００−１が生成される。
【００７２】
ここで、ＵＮＭＴ２００−１およびＵＮＭＴ２００−２に入力する単言語データ１５０の規模を漸増させて、疑似対訳データ２０２−１および疑似対訳データ２０２−２の規模を漸増させるようにしてもよい。すなわち、疑似対訳データ２０２−１および疑似対訳データ２０２−２を更新するごとに生成される対訳データの規模を漸増させるようにしてもよい。
【００７３】
上述したように、本実施の形態においては、ＵＳＭＴ１００−２またはＵＮＭＴ２００−２により生成された疑似対訳データ２０２−１、および、ＵＳＭＴ１００−１またはＵＮＭＴ２００−１により生成された疑似対訳データ２０２−２に対して、言語モデル２０４−１，２０４−２を用いて、各文の品質を推定し、最も品質のよいα％のみを用いるようにフィルタリングする。任意のフィルタリング処理を採用することで、生成されるＵＮＭＴ２００の翻訳性能を高めることができる。
【００７４】
また、ＵＮＭＴ２００−１およびＵＮＭＴ２００−２に入力する単言語データ１５０の規模を漸増させたとしても、上述のような疑似対訳データに対するフィルタリングを順次適用することで、翻訳性能を向上させることができるとともに、処理負荷の増大を防止できる。
【００７５】
本実施の形態に従う機械翻訳システム１におけるＵＮＭＴ２００においては、洗練が繰り返されるごとに、機械翻訳を行うモデルであるＵＮＭＴ２００−１およびＵＮＭＴ２００−２が新たに生成される。直前のモデルのパラメタを利用して、次世代のＵＮＭＴ２００−１およびＵＮＭＴ２００−１を規定するパラメタを最適化してもよいが、本実施の形態に従う学習方法においては、モデルを規定するパラメタを一旦リセットする。その上で、疑似対訳データを用いて、次世代のＵＮＭＴ２００−１およびＵＮＭＴ２００−２を生成する。このように世代間でパラメタの情報を引き継がないことで、過学習やバイアスの影響を抑制できる。
【００７６】
（ｂ３．ＵＳＭＴ１００とＵＮＭＴ２００との共訓練）
本実施の形態に従う機械翻訳システム１においては、互いに性質の異なるＵＳＭＴおよびＵＳＭＴのモデルをそれぞれ独立に学習した上で、他方のモデルへの教示に用いる（共訓練）。
【００７７】
図５は、本実施の形態に従う機械翻訳システム１の共訓練の概要を説明するための模式図である。図５には、典型例として、言語Ｌ１から言語Ｌ２への機械翻訳を行うモデルと、言語Ｌ２から言語Ｌ１への方向への機械翻訳を行うモデルとを並列的に学習する例を示す。
【００７８】
まず、単言語データ１５０を利用して最初のＵＳＭＴ１００−１が生成され、最初のＵＳＭＴ１００−１に言語Ｌ１についての単言語データ１５０−１を入力することで疑似対訳データが生成される（ステップＳ１）。並列的に、単言語データ１５０を利用して最初のＵＳＭＴ１００−２が生成され、最初のＵＳＭＴ１００−２に言語Ｌ２についての単言語データ１５０−２を入力することで疑似対訳データが生成される（ステップＳ２）。
【００７９】
そして、ステップ１において生成された言語Ｌ１から言語Ｌ２への疑似対訳データおよびステップＳ２において生成された言語Ｌ２から言語Ｌ１への疑似対訳データを用いて、言語Ｌ１から言語Ｌ２への機械翻訳を行うＵＳＭＴ１００−１の学習処理（ステップＳ３）、および、言語Ｌ２から言語Ｌ１への機械翻訳を行うＵＳＭＴ１００−２の学習処理（ステップＳ４）が並列的に実行される。ステップＳ３およびＳ４においては、所定回数に亘って、ＵＳＭＴ１００−１およびＵＳＭＴ１００−２の洗練が繰り返される。
【００８０】
一連の洗練が完了すると、ＵＳＭＴ１００−１に言語Ｌ１についての単言語データ１５０−１を入力することで疑似対訳データが生成され（ステップＳ５）、ＵＳＭＴ１００−２に言語Ｌ２についての単言語データ１５０−２を入力することで疑似対訳データが生成される（ステップＳ６）。
【００８１】
そして、ステップＳ６において生成された疑似対訳データを用いて、言語Ｌ１から言語Ｌ２への機械翻訳を行うＵＮＭＴ２００−１の学習処理（ステップＳ７）が実行される。並列的に、ステップＳ５において生成された疑似対訳データを用いて、言語Ｌ２から言語Ｌ１への機械翻訳を行うＵＮＭＴ２００−２の学習処理（ステップＳ８）が実行される。
【００８２】
一連の洗練が完了すると、言語Ｌ１についての単言語データ１５０−１をＵＮＭＴ２００−１に入力することで疑似対訳データが生成され（ステップＳ９）、言語Ｌ２についての単言語データ１５０−２をＵＮＭＴ２００−２に入力することで疑似対訳データが生成される（ステップＳ１０）。
【００８３】
ステップＳ９において生成された言語Ｌ１から言語Ｌ２への疑似対訳データおよびステップＳ１０において生成された言語Ｌ２から言語Ｌ１への疑似対訳データに対してステップＳ３の処理が再度実行され、言語Ｌ１から言語Ｌ２への機械翻訳を行うＵＳＭＴ１００−１が生成される。並列的に、ステップＳ９において生成された言語Ｌ１から言語Ｌ２への疑似対訳データおよびステップＳ１０において生成された言語Ｌ２から言語Ｌ１への疑似対訳データに対してステップＳ４の処理が再度実行され、言語Ｌ２から言語Ｌ１への機械翻訳を行うＵＳＭＴ１００−２が生成される。
【００８４】
以下同様にして、ステップＳ３〜Ｓ１０の処理が所定回数に亘って繰り返される。このステップＳ３〜Ｓ１０の繰り返しが共訓練に相当する。
【００８５】
本実施の形態に従う機械翻訳システム１においては、性質の異なるＵＳＭＴ１００−１およびＵＳＭＴ１００−２と、ＵＮＭＴ２００−１およびＵＮＭＴ２００−２とをそれぞれ独立に最適化した上で、他方のモデルへの教示に用いる。これにより、モデルの独立性を担保して過学習を回避できる。その結果、疑似対訳データの品質を高めつつ、より高精度なモデルを反復的に得ることができ、ＵＳＭＴ単独またはＵＮＭＴ単独の機械翻訳システムに比較して、高品質な機械翻訳を実現できる。
【００８６】
（ｂ４．機械翻訳タスクの実行）
本実施の形態に従う機械翻訳システム１においては、学習によりＵＳＭＴのモデルおよびＵＮＭＴのモデルをそれぞれ生成できる。機械翻訳タスクの実行（すなわち、推論処理）においては、ＵＳＭＴのモデルおよびＵＮＭＴのモデルのいずれか一方のみを用いるようにしてもよいし、両方のモデルからの推論結果を公知の方法により統合して、推論結果として出力するようにしてもよい。
【００８７】
［Ｃ．ハードウェア構成］
次に、本実施の形態に従う学習処理および推論処理を実現するためのハードウェア構成の一例について説明する。
【００８８】
図６は、本実施の形態に従う学習処理および推論処理を実現するハードウェア構成の一例を示す模式図である。本実施の形態に従う学習処理および推論処理は、典型的には、コンピュータの一例である情報処理装置５００を用いて実現される。
【００８９】
図６を参照して、情報処理装置５００は、主要なハードウェアコンポーネントとして、ＣＰＵ（central processing unit）５０２と、ＧＰＵ（graphics processing unit）５０４と、主メモリ５０６と、ディスプレイ５０８と、ネットワークインターフェイス（Ｉ／Ｆ：interface）５１０と、二次記憶装置５１２と、入力デバイス５２２と、光学ドライブ５２４とを含む。これらのコンポーネントは、内部バス５２８を介して互いに接続される。
【００９０】
ＣＰＵ５０２および／またはＧＰＵ５０４は、後述するような各種プログラムを実行することで、本実施の形態に従う学習処理および推論処理を実現するプロセッサである。ＣＰＵ５０２およびＧＰＵ５０４は、複数個配置されてもよいし、複数のコアを有していてもよい。
【００９１】
主メモリ５０６は、プロセッサ（ＣＰＵ５０２および／またはＧＰＵ５０４）が処理を実行するにあたって、プログラムコードやワークデータなどを一時的に格納（あるいは、キャッシュ）する記憶領域であり、例えば、ＤＲＡＭ（dynamic random access memory）やＳＲＡＭ（static random access memory）などの揮発性メモリデバイスなどで構成される。
【００９２】
ディスプレイ５０８は、処理に係るユーザインターフェイスや処理結果などを出力する表示部であり、例えば、ＬＣＤ（liquid crystal display）や有機ＥＬ（electroluminescence）ディスプレイなどで構成される。
【００９３】
ネットワークインターフェイス５１０は、インターネット上またはイントラネット上の任意の情報処理装置などとの間でデータを遣り取りする。ネットワークインターフェイス５１０としては、例えば、イーサネット（登録商標）、無線ＬＡＮ（local area network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式を採用できる。
【００９４】
入力デバイス５２２は、ユーザからの指示や操作などを受け付けるデバイスであり、例えば、キーボード、マウス、タッチパネル、ペンなどで構成される。また、入力デバイス５２２は、学習およびデコーディングに必要な音声信号を収集するための集音デバイスを含んでいてもよいし、集音デバイスにより収集された音声信号の入力を受け付けるためのインターフェイスを含んでいてもよい。
【００９５】
光学ドライブ５２４は、ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）などの光学ディスク５２６に格納されている情報を読出して、内部バス５２８を介して他のコンポーネントへ出力する。光学ディスク５２６は、非一過的（non-transitory）な記録媒体の一例であり、任意のプログラムを不揮発的に格納した状態で流通する。光学ドライブ５２４が光学ディスク５２６からプログラムを読み出して、二次記憶装置５１２などにインストールすることで、コンピュータが情報処理装置５００として機能するようになる。したがって、本発明の主題は、二次記憶装置５１２などにインストールされたプログラム自体、または、本実施の形態に従う機能や処理を実現するためのプログラムを格納した光学ディスク５２６などの記録媒体でもあり得る。
【００９６】
図６には、非一過的な記録媒体の一例として、光学ディスク５２６などの光学記録媒体を示すが、これに限らず、フラッシュメモリなどの半導体記録媒体、ハードディスクまたはストレージテープなどの磁気記録媒体、ＭＯ（magneto-optical disk）などの光磁気記録媒体を用いてもよい。
【００９７】
二次記憶装置５１２は、コンピュータを情報処理装置５００として機能させるために必要なプログラムおよびデータを格納する。例えば、ハードディスク、ＳＳＤ（solid state drive）などの不揮発性記憶装置で構成される。
【００９８】
より具体的には、二次記憶装置５１２は、図示しないＯＳ（operating system）の他、典型的には、学習処理を実現するための学習プログラム５１４と、推論処理を実現するための推論プログラム５１６と、ＵＳＭＴおよびＵＮＭＴのモデルを規定するパラメタ５１８と、単言語データ５２０とを格納している。
【００９９】
学習プログラム５１４は、プロセッサ（ＣＰＵ５０２および／またはＧＰＵ５０４）によって実行されることで、図７および図８に示すような機械翻訳システム１の学習処理を実行させる。また、推論プログラム５１６は、プロセッサ（ＣＰＵ５０２および／またはＧＰＵ５０４）によって実行されることで、翻訳タスクを実現する。
【０１００】
プロセッサ（ＣＰＵ５０２および／またはＧＰＵ５０４）がプログラムを実行する際に必要となるライブラリや機能モジュールの一部を、ＯＳが標準で提供するライブラリまたは機能モジュールにより代替してもよい。この場合には、プログラム単体では、対応する機能を実現するために必要なプログラムモジュールのすべてを含むものにはならないが、ＯＳの実行環境下にインストールされることで、目的の処理を実現できる。このような一部のライブラリまたは機能モジュールを含まないプログラムであっても、本発明の技術的範囲に含まれ得る。
【０１０１】
また、これらのプログラムは、上述したようないずれかの記録媒体に格納されて流通するだけでなく、インターネットまたはイントラネットを介してサーバ装置などからダウンロードすることで配布されてもよい。
【０１０２】
図６には、単一のコンピュータを用いて情報処理装置５００を構成する例を示すが、これに限らず、コンピュータネットワークを介して接続された複数のコンピュータが明示的または黙示的に連携して、情報処理装置５００および情報処理装置５００を含むシステムを実現するようにしてもよい。
【０１０３】
プロセッサ（ＣＰＵ５０２および／またはＧＰＵ５０４）がプログラムを実行することで実現される機能の全部または一部を、集積回路などのハードワイヤード回路（hard-wired circuit）を用いて実現してもよい。例えば、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）などを用いて実現してもよい。
【０１０４】
当業者であれば、本発明が実施される時代に応じた技術を適宜用いて、本実施の形態に従う情報処理装置５００を実現できるであろう。
【０１０５】
説明の便宜上、同一の情報処理装置５００を用いて、学習処理および推論処理を実行する例を示したが、学習処理および推論処理を異なるハードウェアを用いて実現してもよい。
【０１０６】
［Ｄ．処理手順］
図７および図８は、本実施の形態に従う機械翻訳システム１における学習処理の処理手順を示すフローチャートである。図７および図８に示される機械翻訳システム１の学習方法に含まれる各ステップは、典型的には、情報処理装置５００のプロセッサ（ＣＰＵ５０２および／またはＧＰＵ５０４）が学習プログラム５１４（図６参照）を実行することで実現される。
【０１０７】
図７および図８を参照して、情報処理装置５００は、言語Ｌ１についての単言語データ１５０−１および言語Ｌ２についての単言語データ１５０−２に基づいて、言語Ｌ１から言語Ｌ２へのフレーズテーブル１０２−１を生成する（ステップＳ１０１）。次に、情報処理装置５００は、フレーズテーブル１０２−１および言語Ｌ２の言語モデル１２０−２に基づいて、最初のＵＳＭＴ１００−１を生成する（ステップＳ１０２）。そして、情報処理装置５００は、言語Ｌ１についての単言語データ１５０−１をＵＳＭＴ１００−１に入力することで疑似対訳データを生成する（ステップＳ１０３）。
【０１０８】
並列的に、情報処理装置５００は、言語Ｌ１についての単言語データ１５０−１および言語Ｌ２についての単言語データ１５０−２に基づいて、言語Ｌ２から言語Ｌ１へのフレーズテーブル１０２−２を生成する（ステップＳ２０１）。次に、情報処理装置５００は、フレーズテーブル１０２−２および言語Ｌ１の言語モデル１２０−１に基づいて、最初のＵＳＭＴ１００−２を生成する（ステップＳ２０２）。そして、情報処理装置５００は、言語Ｌ２についての単言語データ１５０−２をＵＳＭＴ１００−２に入力することで疑似対訳データを生成する（ステップＳ２０３）。
【０１０９】
ステップＳ１０３およびステップＳ２０３の実行後、互いに処理が同期される。そして、情報処理装置５００は、新たな世代のＵＳＭＴ１００−１およびＵＳＭＴ１００−２を生成する。
【０１１０】
情報処理装置５００は、言語Ｌ１から言語Ｌ２への疑似対訳データ、および、言語Ｌ２から言語Ｌ１への疑似対訳データに基づいて、言語Ｌ１から言語Ｌ２へのフレーズテーブル１０６−１を生成する（ステップＳ３０１）。なお、ＵＮＭＴの洗練後にＵＳＭＴを再度学習し始める場合には、ＵＮＭＴにより生成された疑似対訳データ１２２が用いられる。
【０１１１】
また、情報処理装置５００は、言語Ｌ１から言語Ｌ２への疑似対訳データ、および、言語Ｌ２から言語Ｌ１への疑似対訳データに基づいて、言語Ｌ１から言語Ｌ２への語句の語彙化並び替えモデル１１０−１を生成する（ステップＳ３０２）。
【０１１２】
さらに、情報処理装置５００は、言語Ｌ１から言語Ｌ２へのフレーズテーブル１０６−１、言語Ｌ１から言語Ｌ２への語句の語彙化並び替えモデル１１０−１、および言語Ｌ２の言語モデル１２０−２に基づいて、次世代のＵＳＭＴ１００−１を生成する（ステップＳ３０３）。このとき、生成される新たな世代のＵＳＭＴ１００−１は、先に生成されていたＵＳＭＴ１００−１とは独立して（すなわち、一旦パラメタをリセットした上で）生成されるようにしてもよい。
【０１１３】
並列的に、情報処理装置５００は、言語Ｌ２から言語Ｌ１への疑似対訳データ、および、言語Ｌ１から言語Ｌ２への疑似対訳データに基づいて、言語Ｌ２から言語Ｌ１へのフレーズテーブル１０６−２を生成する（ステップＳ４０１）。なお、ＵＮＭＴの洗練後にＵＳＭＴを再度学習し始める場合には、ＵＮＭＴにより生成された疑似対訳データ１２２が用いられる。
【０１１４】
また、情報処理装置５００は、言語Ｌ２から言語Ｌ１への疑似対訳データ、および、言語Ｌ１から言語Ｌ２への疑似対訳データに基づいて、言語Ｌ２から言語Ｌ１への語句の語彙化並び替えモデル１１０−２を生成する（ステップＳ４０２）。
【０１１５】
さらに、情報処理装置５００は、言語Ｌ２から言語Ｌ１へのフレーズテーブル１０６−２、言語Ｌ２から言語Ｌ１への語句の語彙化並び替えモデル１１０−２、および言語Ｌ１の言語モデル１２０−１に基づいて、次世代のＵＳＭＴ１００−２を生成する（ステップＳ４０３）。このとき、生成される新たな世代のＵＳＭＴ１００−２は、先に生成されていたＵＳＭＴ１００−２とは独立して（すなわち、一旦パラメタをリセットした上で）生成されるようにしてもよい。
【０１１６】
ステップＳ３０３およびステップＳ４０３の実行後、互いに処理が同期される。そして、情報処理装置５００は、次世代のＵＳＭＴ１００−１およびＵＳＭＴ１００−２の生成回数が予め指定された回数に到達しているか否かを判断する（ステップＳ３０４）。
【０１１７】
次世代のＵＳＭＴ１００−１およびＵＳＭＴ１００−２の生成回数が予め指定された回数に到達していなければ（ステップＳ３０４においてＮＯ）、情報処理装置５００は、言語Ｌ１についての単言語データ１５０−１をＵＳＭＴ１００−１に入力することで言語Ｌ１から言語Ｌ２への疑似対訳データを生成する（ステップＳ３０５）。並列的に、言語Ｌ２についての単言語データ１５０−２をＵＳＭＴ１００−２に入力することで言語Ｌ２から言語Ｌ１への疑似対訳データを生成する（ステップＳ４０５）。そして、ステップＳ３０１以下の処理およびステップＳ４０１以下の処理を繰り返す。すなわち、情報処理装置５００は、生成された新たな世代のＵＳＭＴ１００を用いて疑似対訳データを更新するとともに、当該更新された疑似対訳データを用いてさらに新たな世代のＵＳＭＴ１００を生成する処理を、所定回数に亘って繰り返す。
【０１１８】
一方、次世代のＵＳＭＴ１００−１およびＵＳＭＴ１００−２の生成回数が予め指定された回数に到達していれば（ステップＳ３０４においてＹＥＳ）、ステップＳ５０１以下の処理およびステップＳ６０１以下の処理が実行される。
【０１１９】
ステップＳ５０１において、情報処理装置５００は、言語Ｌ１についての単言語データ１５０−１をＵＳＭＴ１００−１に入力することで言語Ｌ１から言語Ｌ２への疑似対訳データを生成する（ステップＳ５０１）。並列的に、ステップＳ６０１において、情報処理装置５００は、言語Ｌ２についての単言語データ１５０−２をＵＳＭＴ１００−２に入力することで言語Ｌ２から言語Ｌ１への疑似対訳データを生成する（ステップＳ６０１）。
【０１２０】
ステップＳ５０１およびステップＳ６０１の実行後、互いに処理が同期される。そして、ステップＳ７０１以下の処理およびステップＳ８０１以下の処理が実行される。
【０１２１】
ステップＳ７０１において、情報処理装置５００は、言語Ｌ２から言語Ｌ１への疑似対訳データ２０２−１のうちスコアの高い疑似対訳を抽出して、言語Ｌ２から言語Ｌ１への疑似対訳データ２０６−１を生成する（ステップＳ７０１）。このように、情報処理装置５００は、言語Ｌ１の任意の言語モデル２０４−１を用いて疑似対訳データ２０２−１のうちスコアが相対的に高い疑似対訳を抽出するようにしてもよい。
【０１２２】
続いて、情報処理装置５００は、生成された言語Ｌ２から言語Ｌ１への疑似対訳データ２０６−１を用いた学習により、ＵＮＭＴ２００−１を生成する（ステップＳ７０２）。このとき、生成される新たな世代のＵＮＭＴ２００−１は、先に生成されていたＵＮＭＴ２００−１とは独立して（すなわち、一旦パラメタをリセットした上で）生成されるようにしてもよい。
【０１２３】
並列的に、ステップＳ８０１において、情報処理装置５００は、言語Ｌ１から言語Ｌ２への疑似対訳データ２０２−２のうちスコアの高い疑似対訳を抽出して、言語Ｌ１から言語Ｌ２への疑似対訳データ２０６−２を生成する（ステップＳ８０１）。このように、情報処理装置５００は、言語Ｌ２の任意の言語モデル２０４−２を用いて疑似対訳データ２０２−２のうちスコアが相対的に高い疑似対訳を抽出するようにしてもよい。
【０１２４】
続いて、情報処理装置５００は、生成された言語Ｌ１から言語Ｌ２への疑似対訳データ２０６−２を用いた学習により、ＵＮＭＴ２００−２を生成する（ステップＳ８０２）。このとき、生成される新たな世代のＵＮＭＴ２００−２は、先に生成されていたＵＮＭＴ２００−２とは独立して（すなわち、一旦パラメタをリセットした上で）生成されるようにしてもよい。
【０１２５】
ステップＳ７０２およびステップＳ８０２の実行後、互いに処理が同期される。そして、情報処理装置５００は、ＵＮＭＴ２００−１およびＵＮＭＴ２００−２の生成回数が予め指定された回数に到達しているか否かを判断する（ステップＳ７０３）。
【０１２６】
ＵＮＭＴ２００−１およびＵＮＭＴ２００−２の生成回数が予め指定された回数に到達していなければ（ステップＳ７０３においてＮＯ）、情報処理装置５００は、言語Ｌ１についての単言語データ１５０−１をＵＮＭＴ２００−１に入力することで言語Ｌ１から言語Ｌ２への疑似対訳データ２０２−１を生成する（ステップＳ７０４）とともに、言語Ｌ２についての単言語データ１５０−２をＵＮＭＴ２００−２に入力することで言語Ｌ２から言語Ｌ１への疑似対訳データ２０２−２を生成する（ステップＳ８０４）。なお、ステップＳ７０４およびステップＳ７０８において、既に生成済みの疑似対訳データに対して、新たに生成した疑似対訳データを追加してもよいし、生成済みの疑似対訳データを破棄して新たに生成した疑似対訳データのみを残すようにしてもよい。
【０１２７】
ステップＳ７０４およびステップＳ８０４の実行後、互いに処理が同期される。そして、ステップＳ７０１以下の処理およびステップＳ８０１以下の処理が繰り返される。
【０１２８】
一方、ＵＮＭＴ２００−１およびＵＮＭＴ２００−２の生成回数が予め指定された回数に到達していれば（ステップＳ７０３においてＹＥＳ）、情報処理装置５００は、共訓練の実行回数が予め指定された回数に到達しているか否かを判断する（ステップＳ１１０１）。
【０１２９】
共訓練の実行回数が予め指定された回数に到達していなければ（ステップＳ１１０１においてＮＯ）、情報処理装置５００は、言語Ｌ１についての単言語データ１５０−１をＵＮＭＴ２００−１に入力することで言語Ｌ１から言語Ｌ２への疑似対訳データ２０２−１を生成する（ステップＳ９０１）とともに、言語Ｌ２についての単言語データ１５０−２をＵＮＭＴ２００−２に入力することで言語Ｌ２から言語Ｌ１への疑似対訳データ２０２−２を生成する（ステップＳ１００１）。
【０１３０】
ステップＳ９０１およびステップＳ１００１の実行後、互いに処理が同期される。そして、ステップＳ３０１以下の処理およびステップＳ４０１以下の処理が繰り返される。
【０１３１】
共訓練の実行回数が予め指定された回数に到達していれば（ステップＳ１１０１においてＹＥＳ）、情報処理装置５００は、その時点で生成されている、ＵＳＭＴ１００−１、ＵＳＭＴ１００−２、ＵＮＭＴ２００−１、ＵＮＭＴ２００−２を学習結果として出力する（ステップＳ１１０２）。そして、処理は終了する。
【０１３２】
［Ｅ．翻訳性能の評価］
上述したように、本実施の形態に従う機械翻訳システムは、単言語データが存在する任意の２言語間に対して適用可能である。以下では、のべ６言語対（１２言語方向）の翻訳タスクにおける翻訳性能の評価結果の一例を示す。以下の性能評価では、教師ありＳＭＴのフレームワークとしてMoses（取得先：https://github.com/moses-smt/mosesdecoder）を用いるとともに、教師ありＮＭＴのフレームワークとしてMarian（取得先：https://marian-nmt.github.io）を用いた。
【０１３３】
（ｅ１：タスクならびに性能評価用データおよびパラメタ調整用データ）
以下に、性能評価の対象としたタスク１〜６の内容、ならびに、各タスクで用いた性能評価用データ（単に「評価」と記す）およびパラメタ調整用データ（単に「調整」と記す）を示す。各タスクにおいては、Moses内のツール（日本語以外）およびMeCab（日本語のみ、取得先：http://taku910.github.io/mecab/）による分かち書きを適用した。
【０１３４】
（１）タスク１：英語(En)とドイツ語(De)との間のニュース翻訳タスク（双方向）
・評価：WMT17 Newstest2016（２９９９文対）
・調整：WMT17 Newstest2015（２１６９文対）
（２）タスク２：英語(En)とフランス語(Fr)との間のニュース翻訳タスク（双方向）
・評価：WMT15 Newstest2014（３００３文対）
・調整：WMT15 Newstest2013（３０００文対）
（３）タスク３：英語(En)と日本語(Ja)との間の特許翻訳タスク（双方向）
・評価：NTCIR-10 PatentMT2 test（２３００文対）
・調整：NTCIR-10 PatentMT2 dev（２０００文対）
（４）タスク４：英語(En)とインドネシア語(Id)との間のニュース翻訳タスク（双方向）
・評価：Asian Language Treebank test（１０１８文対）
・調整：Asian Language Treebank dev（１０００文対）
（５）タスク５：英語(En)と日本語(Ja)との間のニュース翻訳タスク（双方向）
・評価：Asian Language Treebank test（１０１８文対）
・調整：Asian Language Treebank dev（１０００文対）
（６）タスク６：インドネシア語(Id)と日本語(Ja)との間のニュース翻訳タスク（双方向）
・評価：Asian Language Treebank test（１０１８文対）
・調整：Asian Language Treebank dev（１０００文対）
各タスクおよびデータは、以下のサイトから取得可能である。
【０１３５】
・タスク１：[WMT17]http://statmt.org/wmt17/translation-task.html
・タスク２：[WMT15]http://statmt.org/wmt15/translation-task.html
・タスク３：[NTCIR]http://ntcir.nii.ac.jp/PatentMT-2/
・タスク４，５，６：[ALT]http://www2.nict.go.jp/astrec-att/member/mutiyama/ALT/
（ｅ２：単言語データ）
以下に、各タスクにおいて用いた単言語データを示す。各タスクにおいては、Moses内のツール（日本語以外）およびMeCab（日本語のみ）による分かち書きを適用した。
【０１３６】
（１）タスク１：英語(En)とドイツ語(De)との間のニュース翻訳タスク（双方向）
・ニュース分野の英語単言語データ：News Crawl 2007-2017（約５３億語）
・ニュース分野のドイツ語単言語データ：News Crawl 2007-2017（約４３億語）
（２）タスク２：英語(En)とフランス語(Fr)との間のニュース翻訳タスク（双方向）
・ニュース分野の英語単言語データ：News Crawl 2007-2017（約５３億語）
・ニュース分野のフランス語単言語データ：News Crawl 2007-2014（約９億語）
（３）タスク３：英語(En)と日本語(Ja)との間の特許翻訳タスク（双方向）
・特許分野の英語単言語データ：NTCIR 1993-2005から１億文をサンプル（約３０億語）
・特許分野の日本語単言語データ：NTCIR 1993-2005から１億文をサンプル（約３９億語）
（４）タスク４：英語(En)とインドネシア語(Id)との間のニュース翻訳タスク（双方向）
・Ｗｅｂから収集された英語単言語データ：Common Crawl（約１８億語）
・Ｗｅｂから収集されたインドネシア語単言語データ：Common Crawl（約２２億語）
（５）タスク５：英語(En)と日本語(Ja)との間のニュース翻訳タスク（双方向）
・Ｗｅｂから収集された英語単言語データ：Common Crawl（約１８億語）
・Ｗｅｂから収集された日本語単言語データ：Common Crawl（約１９億語）
（６）タスク６：インドネシア語(Id)と日本語(Ja)との間のニュース翻訳タスク（双方向）
・Ｗｅｂから収集された日本語単言語データ：Common Crawl（約１９億語）
・Ｗｅｂから収集されたインドネシア語単言語データ：Common Crawl（約２２億語）
各タスクで用いたデータは、以下のサイトから取得可能である。
【０１３７】
・タスク１，２（英語単言語データ）：[WMT18]http://statmt.org/wmt18/translation-task.html
・タスク２（フランス語単言語データ）：[WMT15]http://statmt.org/wmt15/translation-task.html
・タスク３：[NTCIR]http://ntcir.nii.ac.jp/PatentMT-2/
・タスク４，５，６：[Common Crawl]http://commoncrawl.org/
（ｅ３：ハイパーパラメタ）
以下に示すすべての評価において、モデルのハイパーパラメタは次のように設定した。
【０１３８】
（１）最初のＵＳＭＴ
（１−１）単言語分散表現
・学習ツール：fasttext（取得先：https://fasttext.cc/）
・分散表現の次元数：５１２
・語彙の制限：分散表現の学習後、頻度の上位３０万語のみを保持
（１−２）二言語分散表現
・学習ツール：vecmap（取得先：https://github.com/artetxem/vecmap）
・学習のタイプ：教師なし学習
（１−３）語句の抽出
・ツール：word2phrase（取得先：https://code.google.com/archive/p/word2vec）
・句の最大長：６語
・語句の制限：上記の３０万語のみで構成される語句の中で頻度の上位３０万語句
・各語句に対する翻訳候補語句の数：３００
（２）ＵＳＭＴ
・言語モデル：単語４グラム、修正Kneser-Ney（非特許文献１５参照）
・重み調整手法：KB-MIRA（非特許文献１６参照）
・疑似対訳データを用いた洗練回数：初回のみ４回、以降は２回
・疑似対訳データの生成に用いる単言語データからのサンプル：１５０万文
・疑似対訳データからの対訳語句対の抽出ツール：fast_align（取得先：https://github.com/clab/fast_align）
（３）ＵＮＭＴ
・モデルタイプ：Transformer（非特許文献３参照）
・ニューラルネットワークの層数：４層
・語彙サイズ：各タスクの各言語の単言語データの１０００万文に対して８０００回のバイト対符号化（ＢＰＥ）を行って決定（非特許文献１７参照）
・その他のハイパーパラメタ：Marianのデフォルト
・疑似対訳データを用いた洗練回数：２回
・疑似対訳データの生成に用いる単言語データからのサンプル：３００万文
・疑似対訳データの選択基準：語彙サイズを１０万とし、Marianを用いて学習したＲＮＮ言語モデルによるパープレキシティの上位５０％
（ｅ４：比較対象の機械翻訳システム）
各翻訳タスクについては、次のように構築された各機械翻訳システムをベースラインとして翻訳性能を比較した。より具体的には、公開されているツールUnsupervisedMT（取得先：https://github.com/facebookresearch/UnsupervisedMT）を用いて、下記の設定に従って構築することで、従来手法（非特許文献９参照）に従うＵＳＭＴおよびＵＮＭＴを実現した。
【０１３９】
・サブワードの分散表現の学習：単言語データからサンプルした１０００万文
・疑似対訳データを用いた洗練：単言語データからサンプルした３００万文
・その他のパラメタは当該ツールのデフォルト設定の通り
（ｅ５：翻訳性能の評価結果）
翻訳性能はＢＬＥＵスコア（非特許文献１８参照）で評価した。より具体的には、目標言語が日本語以外の場合には、ｄｅｔｏｋｅｎｉｚｅｄ  ａｎｄ  ｄｅｔｒｕｅｃａｓｅｄ  ＢＬＥＵを用いるとともに、目標言語が日本語の場合には、ｔｏｋｅｎｉｚｅｄ  ＢＬＥＵを用いた（非特許文献１９参照）。
【０１４０】
図９は、本実施の形態に従う機械翻訳システムの翻訳性能の評価結果の一例を示す図である。図９には、タスク別に算出されたＢＬＥＵスコアの一覧を示す。図９において、ＵＳＭＴ−１およびＵＮＭＴ−１は、１回目の共訓練が完了した状態で得られたシステムを意味し、ＵＳＭＴ−２およびＵＮＭＴ−２は、２回目の共訓練が完了した状態で得られたシステムを意味する。
【０１４１】
図９を参照して、すべてのタスクにおいて、従来手法に従うＵＳＭＴは、従来手法に従うＵＮＭＴに比較して高い翻訳性能を示している。また、タスク６のインドネシア語から日本語（Ｉｄ→Ｊａ）以外のすべてのタスクにおいて、ＵＳＭＴ−１およびＵＮＭＴ−１は、従来手法に従うＵＮＭＴおよびＵＳＭＴを上回る翻訳性能を達成している。この結果は、本願発明者らによる従来手法（非特許文献１３参照）と同様の結果である。このような結果が得られた理由としては、非特許文献１１に開示されるようなより合理的な句の定義を用いたこと、および、ＵＳＭＴの洗練の際に順翻訳および逆翻訳の両方を疑似対訳データとして用いたことなどが推定される。
【０１４２】
さらに、タスク１〜４については、次の２点も確認できた。
・ＵＳＭＴ−２は、ＵＳＭＴ−１よりも高い翻訳性能を示す。
【０１４３】
・ＵＮＭＴ−２は、ＵＮＭＴ−１よりも高い翻訳性能を示す。
すなわち、ＵＳＭＴとＵＮＭＴとの共訓練という本実施の形態により得られる効果を確認できた。本実施の形態がより高い翻訳性能を発揮できる理由としては、共訓練そのもの、および、ＵＮＭＴの洗練の際に疑似対訳データを選択的に使用し、あるいは疑似対訳データを漸増させることなどが想定される。
【０１４４】
タスク１〜３は、性能評価用データと学習に用いた単言語データとの間で分野が一致しており、比較的容易なタスクであると言える。また、タスク４は、性能評価用データの分野（ニュース記事）と学習に用いた単言語データの分野（Ｗｅｂ上のテキスト）とが異なるが、２言語が書記体系を共有しており、また評価用データが比較的直訳調であったため、高いスコアを達成しやすかったと考えられる。
【０１４５】
一方タスク５および６については、本実施の形態による性能の改善幅は大きくはないが、ＵＳＭＴ−１〜ＵＮＭＴ−２のモデルの中で、従来手法よりも劣るモデルはなかった。
【０１４６】
［Ｆ．まとめ］
本実施の形態に従う機械翻訳システムの学習方法によれば、十分に規模の大きな対訳データが存在していない場合であっても翻訳性能を高めることができる。
【０１４７】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１４８】
１  機械翻訳システム、１００  ＵＳＭＴ、１０２，１０６  フレーズテーブル、１０４，１２２，２０２，２０６  疑似対訳データ、１１０  語句の語彙化並び替えモデル、１２０，２０４  言語モデル、１５０，５２０  単言語データ、２００  ＵＮＭＴ、５００  情報処理装置、５０２  ＣＰＵ、５０４  ＧＰＵ、５０６  主メモリ、５０８  ディスプレイ、５１０  ネットワークインターフェイス、５１２  二次記憶装置、５１４  学習プログラム、５１６  推論プログラム、５１８  パラメタ、５２２  入力デバイス、５２４  光学ドライブ、５２６  光学ディスク、５２８  内部バス、Ｌ１，Ｌ２  言語。
【図１】
2020166664.tif 000003
【図２】
2020166664.tif 000004
【図３】
2020166664.tif 000005
【図４】
2020166664.tif 000006
【図５】
2020166664.tif 000007
【図６】
2020166664.tif 000008
【図７】
2020166664.tif 000009
【図８】
2020166664.tif 000010
【図９】
2020166664.tif 000011