(57)【要約】【課題】低頻度語についても高性能の二言語単語分散表現を取得することができる二言語単語分散表現データ取得装置を実現する。【解決手段】二言語単語分散表現データ取得装置１００では、訳語データ抽出部１が、対訳辞書データ記憶部ＤＢ１に記憶されている起点言語および目標言語についての対訳辞書データにより、起点言語の語を目標言語の語に直接マッピングする処理を行うので、起点言語の分散表現を目標言語の分散表現に適切に変換する（対応付ける）ことができる。したがって、二言語単語分散表現データ取得装置１００では、低頻度語に対しても精度の高い分散表現を取得することができる。【選択図】図１
2019191917.tif 000002
【特許請求の範囲】
【請求項１】
起点言語の語と、当該起点言語の語に対応する目標言語の語とを対応付ける対訳辞書データを用いて二言語単語分散表現データを取得する二言語単語分散表現データ取得装置であって、
前記対訳辞書データを参照して、起点言語の語に対応する目標言語の語である訳語データを抽出する訳語データ抽出部と、
前記目標言語の語から目標言語分散表現データを取得するともに、前記訳語データ抽出部により抽出された前記起点言語の語の前記訳語データに対応する目標言語分散表現データを取得する目標言語分散表現データ取得部と、
を備える二言語単語分散表現データ取得装置。
【請求項２】
前記目標言語の語と、前記目標言語分散表現データ取得部により取得された当該目標言語の語の目標言語分散表現データとを対応付けたデータを第１データとして取得するとともに、
前記起点言語の語と、当該起点言語の語の前記訳語データに対応する目標言語分散表現データとを対応付けたデータを第２データとして取得し、
前記第１データおよび前記第２データを二言語単語分散表現データとして出力する二言語単語分散データ取得部をさらに備える、
請求項１に記載の二言語単語分散表現データ取得装置。
【請求項３】
起点言語の語と、当該起点言語の語に対応する目標言語の語とを対応付ける対訳辞書データを用いて二言語単語分散表現データを取得する二言語単語分散表現データ取得方法であって、
前記対訳辞書データを参照して、起点言語の語に対応する目標言語の語である訳語データを抽出する訳語データ抽出ステップと、
前記目標言語の語から目標言語分散表現データを取得するともに、前記訳語データ抽出ステップにより抽出された前記起点言語の語の前記訳語データに対応する目標言語分散表現データを取得する目標言語分散表現データ取得ステップと、
を備える二言語単語分散表現データ取得方法。
【請求項４】
請求項３に記載の二言語単語分散表現データ取得方法をコンピュータで実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二言語単語分散表現についての技術に関する。
【背景技術】
【０００２】
単語の分散表現は、深層学習に基づく自然言語処理技術の根幹をなす技術である。特に近年では、多言語処理タスク向けに、二言語単語分散表現に関する研究が活発に行われている。二言語単語分散表現の学習に関する既存の手法は、コーパス中の各語の頻度に応じて分散表現を学習し、高頻度語に関する対訳辞書を用いて二言語間の写像関数を学習するため、特に低頻度語に対する性能が悪い。このため、対訳辞書の自動構築や対訳コーパスの自動獲得などの応用タスクの性能向上が容易ではない。
【０００３】
単語の分散表現（あるいは単語埋め込み）とは、各語を有限固定次元の実数ベクトル（ｖ∈Ｒｎ）で表したものである。コーパス中の各語に近接する語の情報などを用いて、教師信号なしで単語の分散表現を学習する手法（例えば、非特許文献１を参照）が開発されて以来、単語の分散表現は、深層学習に基づく自然言語処理技術の基盤技術として様々なタスクに用いられている。
【０００４】
二つの言語の異なる語彙を共通のベクトル空間上で表現するものを二言語単語分散表現という。二言語単語分散表現は、例えば、言語Ａの単語分散表現と言語Ｂの単語分散表現とが与えられたとき、これらの２つのベクトル空間の間の写像関数を用いて、次のように表すことができる。
ｅｍｂｂ（ｗｓ）＝Ｗ・ｅｍｂｓ（ｗｓ）
ｅｍｂｂ（ｗｔ）＝ｅｍｂｔ（ｗｔ）
ここで、ｗｓは起点言語の語を表しており、ｗｔは目標言語の語を表している。ｅｍｂｓ（）は、起点言語の分散表現を返す関数である。ｅｍｂｔ（）は、目標言語の分散表現を返す関数である。ｅｍｂｂ（）は、二言語（起点言語および目標言語）に共通の単語分散表現を返す関数である。Ｗは、起点言語のベクトル空間から目標言語のベクトル空間への写像関数であり、学習データに対する最適化によって得られる（例えば、非特許文献２を参照）。
【０００５】
上記の写像関数を取得するための学習において、教師データとして、比較的小規模な対訳辞書のデータを用いる手法（例えば、非特許文献２、３を参照）や、大規模な文レベルの対訳データ（対訳コーパス）を用いる手法（例えば、非特許文献５、６を参照）がある。
【０００６】
また、多言語処理タスクのための二言語単語分散表現の学習についての手法として、例えば、非特許文献７に開示されている手法がある。
【０００７】
しかしながら、既存の手法は、特に低頻度語に対する性能が悪い。その理由としては、各言語の分散表現の学習時に、各語の頻度に応じた最適化がなされることや、二言語間の写像関数を学習する際に用いられる対訳辞書が一般には高頻度語のみを収録していることなどが挙げられる。このため、対訳辞書の自動構築や対訳文対の自動獲得などの応用タスクの性能向上に限界があった。
【０００８】
二言語単語分散表現の外的な評価方法として、対訳辞書を自動構築するタスクがよく用いられる（例えば、非特許文献２、３、４、５、６を参照）。これは、所与の起点言語の語に対して、目標言語の各語との類似度を二言語単語分散表現に基づいて計算し、類似度が上位の語、あるいは十分に類似度が高い語を対訳として出力するものである。
【０００９】
二言語単語分散表現のみに基づいて類似度を計算する手法が、他の情報も参照する最先端の対訳辞書自動構築手法（例えば、非特許文献８、９を参照）よりも優れているとは限らないが、複数の二言語単語分散表現と他の情報と組み合わせて用いることの有用性は確認されている（例えば、非特許文献１０を参照）。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Thomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffery Dean (2013). Distributed Representations of Words and Phrases and their Compositionality.  In Proceedings of Neural Information Processing Systems (NIPS).
【非特許文献２】Thomas Mikolov, Quoc V. Le, and Ilya Sutskever (2013).  Exploiting Similarities among Languages for Machine Translation.  arXiv:1309.4168.
【非特許文献３】Mikel Artetxe, Gorka Labaka, and Eneko Agirre (2016).  Learning Principled Bilingual Mappings of Word Embeddings while Preserving Monolingual Invariance.  In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2289-2294.
【非特許文献４】Ivan Vulic and Anna Korhonen (2016).  On the Role of Seed Lexicons in Learning Bilingual Word Embeddings.  In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), Vol. 1, pp. 247-257.
【非特許文献５】Stephan Gouws, Yoshua Bengio, and Greg Corrado (2015).  BilBOWA: Fast Bilingual Distributed Representations without Word Alignment.  In Proceedings of the 32nd International Conference on Machine Learning (ICML), pp. 748-756.
【非特許文献６】Jocelyn Coulmance, Jean-Marc Marty, Guillaume Wenzek, and Amine Benhalloum (2015).  Trans-gram, Fast Cross-lingual Word-embeddings.  In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1109-1113.
【非特許文献７】Sebastian Ruder, Ivan Vulic, Anders Sogaard (2017).  A Survey of Cross-lingual Word Embedding Models.  arXiv:1706.04902.
【非特許文献８】Ann Irvine and Chris Callison-Burch (2013).  Supervised Bilingual Lexicon Induction with Multiple Monolingual Signals.  In Proceedings of the North American Chapter of the Association for Computational Linguistics (NAACL), pp. 518-523.
【非特許文献９】Ann Irvine and Chris Callison-Burch (2017).  A Comprehensive Analysis of Bilingual Lexicon Induction.  Computational Linguistics, Vol. 43, No. 2, pp. 273-310.
【非特許文献１０】Laurent Jakubina and Phillippe Langlais (2017).  Reranking Translation Candidates Produced by Several Bilingual Word Similarity Sources.  In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL), Vol. 2, pp. 605-611.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上記で説明したように、二言語単語分散表現の学習に関する既存の手法では、高頻度語に対しては精度が高いものの、低頻度語に対しては性能が低い。このため、対訳辞書の自動構築や対訳文対の自動獲得などの応用タスクの性能向上に限界がある。
【００１２】
そこで、本発明は、上記課題に鑑み、低頻度語についても高性能の二言語単語分散表現を取得することができる二言語単語分散表現データ取得装置、二言語単語分散表現データ取得方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するための第１の発明は、起点言語の語と、当該起点言語の語に対応する目標言語の語とを対応付ける対訳辞書データを用いて二言語単語分散表現データを取得する二言語単語分散表現データ取得装置であって、訳語データ抽出部と、目標言語分散表現データ取得部と、を備える。
【００１４】
訳語データ抽出部は、対訳辞書データを参照して、起点言語の語に対応する目標言語の語である訳語データを抽出する。
【００１５】
目標言語分散表現データ取得部は、目標言語の語から目標言語分散表現データを取得するともに、訳語データ抽出部により抽出された起点言語の語の訳語データに対応する目標言語分散表現データを取得する。
【００１６】
この二言語単語分散表現データ取得装置では、起点言語および目標言語についての対訳辞書データにより、直接マッピングする処理を行うので、起点言語の分散表現を目標言語の分散表現に適切に変換する（対応付ける）ことができる。
【００１７】
したがって、この二言語単語分散表現データ取得装置では、低頻度語に対しても精度の高い分散表現を取得することができる。すなわち、この二言語単語分散表現データ取得装置では、低頻度語についても高性能の二言語単語分散表現を取得することができる。
【００１８】
第２の発明は、第１の発明であって、目標言語の語と、目標言語分散表現データ取得部により取得された当該目標言語の語の目標言語分散表現データとを対応付けたデータを第１データとして取得するとともに、起点言語の語と、当該起点言語の語の訳語データに対応する目標言語分散表現データとを対応付けたデータを第２データとして取得し、第１データおよび第２データを二言語単語分散表現データとして出力する二言語単語分散データ取得部をさらに備える。
【００１９】
これにより、この二言語単語分散表現データ取得装置では、第１データ（目標言語の語と、当該語の目標言語のベクトル空間の分散表現データ（目標言語分散表現データ））とを対応付けたデータ）、および、第２データ（起点言語の語と、当該語に対応する目標言語の語（訳語）の目標言語のベクトル空間の分散表現データ（目標言語分散表現データ））を二言語単語分散表現データとして取得（出力）することができる。この二言語単語分散表現データ取得装置で取得された二言語単語分散表現データを利用することで、例えば、低頻度語に対して高精度であることが要求されるタスクに対して高精度な処理を実行することができる。
【００２０】
第３の発明は、起点言語の語と、当該起点言語の語に対応する目標言語の語とを対応付ける対訳辞書データを用いて二言語単語分散表現データを取得する二言語単語分散表現データ取得方法であって、訳語データ抽出ステップと、目標言語分散表現データ取得ステップと、を備える。
【００２１】
訳語データ抽出ステップは、対訳辞書データを参照して、起点言語の語に対応する目標言語の語である訳語データを抽出する。
【００２２】
目標言語分散表現データ取得ステップは、目標言語の語から目標言語分散表現データを取得するともに、訳語データ抽出ステップにより抽出された起点言語の語の訳語データに対応する目標言語分散表現データを取得する。
【００２３】
これにより、第１の発明と同様の効果を奏する二言語単語分散表現データ取得方法を実現することができる。
【００２４】
第４の発明は、第３の発明である二言語単語分散表現データ取得方法をコンピュータで実行させるためのプログラムである。
【００２５】
これにより、第１の発明と同様の効果を奏する二言語単語分散表現データ取得方法をコンピュータに実行させるためのプログラムを実現することができる。
【発明の効果】
【００２６】
本発明によれば、低頻度語についても高性能の二言語単語分散表現を取得することができる二言語単語分散表現データ取得装置、二言語単語分散表現データ取得方法、および、プログラムを実現することができる。
【図面の簡単な説明】
【００２７】
【図１】第１実施形態に係る二言語単語分散表現データ取得装置１００の概略構成図。
【図２】線形写像を用いて、起点言語の分散表現のベクトル空間の分散表現（ベクトル）を、目標言語の分散表現のベクトル空間の分散表現（ベクトル）に変換する処理、および写像結果に最も近い目標言語の語を対訳として探索する処理を模式化に示した図。
【図３】対訳辞書によるマッピングにより、起点言語の語を、目標言語の分散表現のベクトル空間の分散表現（ベクトル）に変換する（対応付ける）処理を模式化に示した図。
【図４】実施例１の設定１の評価結果データの表を示す図。
【図５】実施例１の設定２の評価結果データの表を示す図。
【図６】第１実施形態を実現するコンピュータの内部構成を示すブロック図。
【発明を実施するための形態】
【００２８】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下説明する。
【００２９】
＜１．１：二言語単語分散表現データ取得装置の構成＞
図１は、第１実施形態に係る二言語単語分散表現データ取得装置１００の概略構成図である。
【００３０】
図２は、線形写像を用いて、起点言語の分散表現のベクトル空間の分散表現（ベクトル）を、目標言語の分散表現のベクトル空間の分散表現（ベクトル）に変換する処理、および写像結果に最も近い目標言語の語を対訳として探索する処理を模式化に示した図である。
【００３１】
図３は、対訳辞書によるマッピングにより、起点言語の語を、目標言語の分散表現のベクトル空間の分散表現（ベクトル）に変換する（対応付ける）処理を模式化に示した図である。
【００３２】
二言語単語分散表現データ取得装置１００は、図１に示すように、対訳辞書データ記憶部ＤＢ１と、訳語データ抽出部１と、目標言語分散表現データ記憶部ＤＢｔと、目標言語分散表現データ取得部２と、二言語単語分散表現データ取得部３と、二言語単語分散表現データ記憶部ＤＢ２とを備える。
【００３３】
対訳辞書データ記憶部ＤＢ１は、起点言語（例えば、翻訳元言語）の語と、当該起点言語の語に対応する目標言語（例えば、翻訳先言語）の語とを対応付けた対訳辞書データｄ１を記憶する。対訳辞書データ記憶部ＤＢ１は、訳語データ抽出部１からのデータ読み出し要求に従い、記憶している対訳辞書データｄ１から訳語データを抽出し、抽出したデータを訳語データ抽出部１に出力する。
【００３４】
訳語データ抽出部１は、起点言語の語ｗｓを入力し、起点言語の語ｗｓに対応する目標言語の語を読み出すためのデータ読み出し要求を対訳辞書データ記憶部ＤＢ１に出力する。そして、訳語データ抽出部１は、対訳辞書データ記憶部ＤＢ１の対訳辞書データｄ１から読み出した起点言語の語ｗｓに対応する目標言語の語を訳語データｔｒ（ｗｓ，ｄ１）として取得する。そして、訳語データ抽出部１は、取得した訳語データｔｒ（ｗｓ，ｄ１）を目標言語分散表現データ取得部２に出力する。なお、ｔｒ（ｗｓ，ｄ１）は、起点言語の語ｗｓに対応する目標言語の語を、対訳辞書データｄ１から取り出す関数を表している。
【００３５】
目標言語分散表現データ記憶部ＤＢｔは、目標言語の語と、当該目標言語の語の分散表現データとを対応付けたデータ（＜ｔ，ｅｍｂｔ（ｔ）＞）を記憶している。目標言語分散表現データ記憶部ＤＢｔには、目標言語の語ｗｔから、目標言語のベクトル空間（例えば、Ｎｔ次元（Ｎｔ：自然数）のベクトル空間）において最適な分散表現データｅｍｂｔ（ｗｔ）（Ｎｔ次元ベクトル）を取得する学習済みモデル（例えば、非特許文献１を参照）を用いて取得されたデータ（目標言語の語と、当該目標言語の語の分散表現データとを対応付けたデータ（＜ｔ，ｅｍｂｔ（ｔ）＞））が記憶される。
【００３６】
なお、＜ｘ，ｅｍｂｔ（ｘ）＞は、語ｘと、当該語ｘについての目標言語単語分散表現データｅｍｂｔ（ｘ）とを対応付けたデータであることを表している。
【００３７】
目標言語分散表現データ取得部２は、目標言語の語ｗｔを入力し、目標言語の語ｗｔの分散表現データｅｍｂｔ（ｗｔ）を取得する。つまり、目標言語分散表現データ取得部２は、目標言語のベクトル空間（例えば、Ｎｔ次元（Ｎｔ：自然数）のベクトル空間）において、目標言語の語ｗｔに対応するベクトル（Ｎｔ次元ベクトル）である分散表現データｅｍｂｔ（ｗｔ）を取得する。目標言語分散表現データ取得部２は、例えば、目標言語の語ｗｔが入力された場合、目標言語分散表現データ記憶部ＤＢｔから、目標言語の語ｗｔの分散表現データｅｍｂｔ（ｗｔ）を読み出すことで、目標言語の語ｗｔに対応する分散表現データｅｍｂｔ（ｗｔ）を取得する。そして、目標言語分散表現データ取得部２は、取得した分散表現データｅｍｂｔ（ｗｔ）を二言語単語分散表現データ取得部３に出力する。
【００３８】
また、目標言語分散表現データ取得部２は、訳語データ抽出部１から出力される、起点言語の語ｗｓに対応する訳語データｔｒ（ｗｓ，ｄ１）を入力する。目標言語分散表現データ取得部２は、訳語データｔｒ（ｗｓ，ｄ１）の分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））を取得する。つまり、目標言語分散表現データ取得部２は、目標言語のベクトル空間において、起点言語の語ｗｓに対応する訳語データｔｒ（ｗｓ，ｄ１）に対応するベクトル（Ｎｔ次元ベクトル）である分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））を取得する。目標言語分散表現データ取得部２は、例えば、訳語データｔｒ（ｗｓ，ｄ１）が入力された場合、目標言語分散表現データ記憶部ＤＢｔから、当該訳語データｔｒ（ｗｓ，ｄ１）の分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））を読み出すことで、起点言語の語ｗｓに対応する訳語データｔｒ（ｗｓ，ｄ１）の分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））を取得する。そして、目標言語分散表現データ取得部２は、取得した分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））を二言語単語分散表現データ取得部３に出力する。
【００３９】
二言語単語分散表現データ取得部３は、（１）起点言語の語ｗｓ、および、目標言語分散表現データ取得部２から出力される訳語データｔｒ（ｗｓ，ｄ１）の目標言語のベクトル空間における分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））（図１のデータＤ＿ｗｓに対応）、または、（２）目標言語の語ｗｔ、および、目標言語の語ｗｔの目標言語のベクトル空間における分散表現データｅｍｂｔ（ｗｔ）（図１のデータＤ＿ｗｔに対応）を入力する。二言語単語分散表現データ取得部３は、起点言語の語ｗｓと、訳語データｔｒ（ｗｓ，ｄ１）の目標言語のベクトル空間における分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））とを対応付けることで、起点言語の語ｗｓの二言語単語分散表現データ＜ｗｓ，ｅｍｂｂ（ｗｓ）＞（ｅｍｂｂ（ｗｓ）＝ｅｍｂｔ（ｔｒ（ｗｓ，ｄ１）））を取得する。
【００４０】
また、二言語単語分散表現データ取得部３は、目標言語の語ｗｔと、目標言語の語ｗｔの目標言語のベクトル空間における分散表現データｅｍｂｔ（ｗｔ）とを対応付けることで、目標言語の語ｗｔの二言語単語分散表現データ＜ｗｔ，ｅｍｂｂ（ｗｔ）＞（ｅｍｂｂ（ｗｔ）＝ｅｍｂｔ（ｗｔ））を取得する。
【００４１】
なお、＜ｘ，ｅｍｂｂ（ｘ）＞は、語ｘと、当該語ｘについての二言語単語分散表現データｅｍｂｂ（ｘ）とを対応付けたデータであることを表している。
【００４２】
二言語単語分散表現データ取得部３は、取得した、（１）起点言語の語ｗｓの二言語単語分散表現データ＜ｗｓ，ｅｍｂｂ（ｗｓ）＞、および／または、（２）目標言語の語ｗｔの二言語単語分散表現データ＜ｗｔ，ｅｍｂｂ（ｗｔ）＞を二言語単語分散表現データ記憶部ＤＢ２に出力する。
【００４３】
二言語単語分散表現データ記憶部ＤＢ２は、二言語単語分散表現データ取得部３から出力される（１）起点言語の語ｗｓの二言語単語分散表現データ＜ｗｓ，ｅｍｂｂ（ｗｓ）＞、および／または、（２）目標言語の語ｗｔの二言語単語分散表現データ＜ｗｔ，ｅｍｂｂ（ｗｔ）＞を記憶する。
【００４４】
＜１．２：二言語単語分散表現データ取得装置の動作＞
以上のように構成された二言語単語分散表現データ取得装置１００の動作について説明する。
【００４５】
まず、起点言語の語ｗｓが訳語データ抽出部１に入力される。
【００４６】
訳語データ抽出部１は、入力された起点言語の語ｗｓに対応する目標言語の語を読み出すためのデータ読み出し要求を対訳辞書データ記憶部ＤＢ１に出力し、対訳辞書データ記憶部ＤＢ１の対訳辞書データｄ１から起点言語の語ｗｓに対応する目標言語の語を訳語データｔｒ（ｗｓ，ｄ１）として取得する。
【００４７】
そして、訳語データ抽出部１は、取得した訳語データｔｒ（ｗｓ，ｄ１）を目標言語分散表現データ取得部２に出力する。
【００４８】
目標言語分散表現データ取得部２は、入力された目標言語の語ｗｔに基づいて、目標言語の語ｗｔの分散表現データｅｍｂｔ（ｗｔ）を取得する。具体的には、目標言語分散表現データ取得部２は、目標言語の語ｗｔが入力された場合、目標言語分散表現データ記憶部ＤＢｔから、目標言語の語ｗｔの分散表現データｅｍｂｔ（ｗｔ）を読み出すことで、目標言語の語ｗｔに対応する分散表現データｅｍｂｔ（ｗｔ）を取得する。
【００４９】
そして、目標言語分散表現データ取得部２は、取得した分散表現データｅｍｂｔ（ｗｔ）を二言語単語分散表現データ取得部３に出力する。
【００５０】
また、目標言語分散表現データ取得部２は、訳語データ抽出部１から入力される、起点言語の語ｗｓに対応する訳語データｔｒ（ｗｓ，ｄ１）に基づいて、目標言語のベクトル空間（例えば、Ｎｔ次元（Ｎｔ：自然数）のベクトル空間）において、起点言語の語ｗｓに対応する訳語データｔｒ（ｗｓ，ｄ１）に対応するベクトル（Ｎｔ次元ベクトル）である分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））を取得する。具体的には、目標言語分散表現データ取得部２は、訳語データｔｒ（ｗｓ，ｄ１）が入力された場合、目標言語分散表現データ記憶部ＤＢｔから、当該訳語データｔｒ（ｗｓ，ｄ１）の分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））を読み出すことで、起点言語の語ｗｓに対応する訳語データｔｒ（ｗｓ，ｄ１）の分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））を取得する。
【００５１】
そして、目標言語分散表現データ取得部２は、取得した分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））を二言語単語分散表現データ取得部３に出力する。
【００５２】
二言語単語分散表現データ取得部３は、以下のデータを入力する。
（１Ａ）起点言語の語ｗｓ
（１Ｂ）目標言語分散表現データ取得部２から出力される訳語データｔｒ（ｗｓ，ｄ１）の目標言語のベクトル空間における分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））
（２Ａ）目標言語の語ｗｔ
（２Ｂ）目標言語の語ｗｔの目標言語のベクトル空間における分散表現データｅｍｂｔ（ｗｔ）
二言語単語分散表現データ取得部３は、起点言語の語ｗｓと、訳語データｔｒ（ｗｓ，ｄ１）の目標言語のベクトル空間における分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））とを対応付けることで、起点言語の語ｗｓの二言語単語分散表現データ＜ｗｓ，ｅｍｂｂ（ｗｓ）＞（ｅｍｂｂ（ｗｓ）＝ｅｍｂｔ（ｔｒ（ｗｓ，ｄ１）））を取得する。
【００５３】
また、二言語単語分散表現データ取得部３は、目標言語の語ｗｔと、目標言語の語ｗｔの目標言語のベクトル空間における分散表現データｅｍｂｔ（ｗｔ）とを対応付けることで、目標言語の語ｗｔの二言語単語分散表現データ＜ｗｔ，ｅｍｂｂ（ｗｔ）＞（ｅｍｂｂ（ｗｔ）＝ｅｍｂｔ（ｗｔ））を取得する。
【００５４】
二言語単語分散表現データ取得部３は、取得した、
（１）起点言語の語ｗｓの二言語単語分散表現データ＜ｗｓ，ｅｍｂｂ（ｗｓ）＞、および、
（２）目標言語の語ｗｔの二言語単語分散表現データ＜ｗｔ，ｅｍｂｂ（ｗｔ）＞
を二言語単語分散表現データ記憶部ＤＢ２に出力する。
【００５５】
二言語単語分散表現データ記憶部ＤＢ２では、二言語単語分散表現データ取得部３から出力される（１）起点言語の語ｗｓの二言語単語分散表現データ＜ｗｓ，ｅｍｂｂ（ｗｓ）＞、および、（２）目標言語の語ｗｔの二言語単語分散表現データ＜ｗｔ，ｅｍｂｂ（ｗｔ）＞が記憶される。
【００５６】
以上のように、二言語単語分散表現データ取得装置１００では、起点言語の語（語ｗｓ）を、起点言語および目標言語についての対訳辞書データｄ１により、直接マッピングすることで、起点言語の語（語ｗｓ）に対応する目標言語の語（語ｔｒ（ｗｓ，ｄ１））を取得する。そして、二言語単語分散表現データ取得装置１００では、取得した目標言語の語（語ｔｒ（ｗｓ，ｄ１））について、目標言語のベクトル空間における分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））を取得する。また、二言語単語分散表現データ取得装置１００では、目標言語の語（語ｗｔ）について、目標言語のベクトル空間における分散表現データｅｍｂｔ（ｗｔ）を取得する。
【００５７】
そして、二言語単語分散表現データ取得装置１００では、上記のようにして取得した、（１）起点言語の語ｗｓとその目標言語のベクトル空間における分散表現データｅｍｂｔ（ｔｒ（ｗｓ，ｄ１））とを対応付けることで、二言語単語分散表現データ＜ｗｓ，ｅｍｂｂ（ｗｓ）＞（ｅｍｂｂ（ｗｓ）＝ｅｍｂｔ（ｔｒ（ｗｓ，ｄ１）））を取得し、（２）目標言語の語ｗｔのその目標言語のベクトル空間における分散表現データｅｍｂｔ（ｗｔ）とを対応付けることで、二言語単語分散表現データ＜ｗｔ，ｅｍｂｂ（ｗｔ）＞（ｅｍｂｂ（ｗｔ）＝ｅｍｂｔ（ｗｔ））を取得する。
【００５８】
これにより、二言語単語分散表現データ取得装置１００では、起点言語および目標言語の二言語単語分散表現データを取得する。
【００５９】
二言語単語分散表現データ取得装置１００では、上記のように、起点言語の語（語ｗｓ）の二言語単語分散表現データを取得する場合、起点言語および目標言語についての対訳辞書データｄ１により、直接マッピングして取得した起点言語の語ｗｓに対応する目標言語の語ｔｒ（ｗｓ，ｄ１）に基づいて、二言語単語分散表現データｅｍｂｂ（ｗｓ）（＝ｅｍｂｔ（ｔｒ（ｗｓ，ｄ１）））を取得する。したがって、二言語単語分散表現データ取得装置１００では、起点言語の語ｗｓが低頻度語であっても、適切な二言語単語分散表現データｅｍｂｂ（ｗｓ）（＝ｅｍｂｔ（ｔｒ（ｗｓ，ｄ１）））を取得することができる。
【００６０】
例えば、図２に示すように、起点言語が英語であり、目標言語が日本語であり、図２に示す語の分散表現（ベクトル）が図２に示す黒丸および黒の三角に対応する場合、線形写像による処理では、起点言語の分散表現を目標言語の分散表現に適切に変換することができない場合がある。特に、これは、低頻度語において顕著である。
【００６１】
また、図２に示すように、起点言語の分散表現を目標言語の分散表現へ線形写像し、当該写像結果に最も近い目標言語の語を対訳として探索する処理を行う場合、適切な対訳を取得することができないことがある。つまり、起点言語の分散表現の目標言語の分散表現へ線形写像結果と、当該起点言語に対応する正しい目標言語の語の分散表現とが近接していない場合、起点言語の語に対応する目標言語の語を対訳として適切に探索することができないことがある。特に、これは、低頻度語において顕著である。
【００６２】
それに対して、二言語単語分散表現データ取得装置１００では、図３に示すように、起点言語および目標言語についての対訳辞書データｄ１により、直接マッピングする処理を行うので、起点言語の分散表現を目標言語の分散表現に適切に変換する（対応付ける）ことができる。
【００６３】
したがって、二言語単語分散表現データ取得装置１００では、低頻度語についても高性能の二言語単語分散表現を取得することができる。
【００６４】
≪実施例１≫
次に、本発明の実施例１について説明する。
【００６５】
第１実施形態に係る二言語単語分散表現データ取得装置１００により取得した二言語単語分散表現データを用いて、対訳文を自動獲得した。具体的には、次のデータを用いて対訳文を自動獲得した。
A)英伊実験用
1.対訳コーパス:
a.調整用: 欧州議会文書(Europarl, v7)からサンプルした2000文
b.評価用: 同様にして別途サンプルした2000文
2.単言語コーパス: 対訳の探索対象。
a.設定1: 欧州議会文書(Europarl, v7)から上記A)-1-aおよびA)-1-bを除外した残りの約200万文の各言語側をランダムにシャッフルしたもの
b.設定2: 英語単言語コーパス（ニュース記事データ(WMT15)の約1.2億文）およびイタリア語単言語コーパス（Webから収集されたデータ(PAISA)の約1300万文）から各々ランダムに抽出した200万文
3.言語モデル: 上記A)-2-aのイタリア語部分のみから構築した4-gramモデル
B)英日実験用
1.対訳コーパス:
a.調整用: 特許翻訳データ(NTCIR-9)の調整用2000文
b.評価用: 特許翻訳データ(NTCIR-9)の評価用2000文
2.単言語コーパス: 対訳の探索対象。
a.設定1: 特許翻訳データ(NTCIR-9)の訓練用データ約320万文の各言語側をランダムにシャッフルしたもの
b.設定2: 英語単言語コーパス（特許データ(NTCIR)の約4.2億文）および日本語単言語コーパス（特許データ(NTCIR)の約5.8億文）から各々ランダムに抽出した200万文
3.言語モデル: B)-2-bの日本語単言語コーパスとB)-2-aの日本語部分を連結したものから構築した4-gramモデル
獲得した対訳文の質を、対訳文の探索精度で評価した。
【００６６】
また、対訳文から句に基づく統計的機械翻訳システム(grow-diag-final-andヒューリスティクスに基づくフレーズテーブル)（下記非特許文献Ａを参照）を構築し、翻訳精度(BLEUスコア)を評価した。
非特許文献Ａ：
Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondrej Bojar, Alexandra Constantin, and Evan Herbst (2007).  Moses: Open Source Toolkit for Statistical Machine Translation.  In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics (ACL), Demo and Poster Sessions, pp. 177-180.
これらの結果を図４（設定1の評価結果）、図５（設定2の評価結果）に示す。
【００６７】
図４、図５の「対訳コーパス」と示した欄のデータは、正解の対訳を含むコーパスを用いたときのデータである。
【００６８】
図４、図５の「線形写像による手法Ｍ」と示した欄のデータは、非特許文献２の技術を用いて、線形写像により二言語単語分散表現データを取得し、当該二言語単語分散表現データを用いて、上記の評価をしたときのデータである。
【００６９】
図４、図５の「線形写像による手法Ｖ」と示した欄のデータは、非特許文献３の技術を用いて、線形写像により二言語単語分散表現データを取得し、当該二言語単語分散表現データを用いて、上記の評価をしたときのデータである。
【００７０】
図４、図５の「対訳辞書によるマッピング手法ＭＭＡＰ」と示した欄のデータは、本発明の手法（対訳辞書を用いたマッピング手法）により二言語単語分散表現データを取得し、当該二言語単語分散表現データを用いて、上記の評価をしたときのデータである。なお、対訳辞書は、非特許文献２の技術を用いて取得したデータ（対訳辞書データ）である。
【００７１】
図４、図５の「対訳辞書によるマッピング手法ＶＭＡＰ」と示した欄のデータは、本発明の手法（対訳辞書を用いたマッピング手法）により二言語単語分散表現データを取得し、当該二言語単語分散表現データを用いて、上記の評価をしたときのデータである。なお、対訳辞書は、非特許文献３の技術を用いて取得したデータ（対訳辞書データ）である。
【００７２】
図４、図５に示す評価結果から、本発明の手法（対訳辞書を用いたマッピング手法）による評価データは、従来の線形写像による手法に比べて、圧倒的に精度が高いことが分かる。
【００７３】
［他の実施形態］
また上記実施形態の二言語単語分散表現データ取得装置１００は、複数の装置により実現されるものであってもよい。例えば、対訳辞書データ記憶部ＤＢ１、二言語単語分散表現データ記憶部ＤＢ２は、外部に設置されるものであってもよい。
【００７４】
また上記実施形態で説明した二言語単語分散表現データ取得装置１００において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部または全部を含むように１チップ化されても良い。
【００７５】
なおここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００７６】
また集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００７７】
また上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【００７８】
また上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらにソフトウェアおよびハードウェアの混在処理により実現しても良い。
【００７９】
例えば上記実施形態の各機能部をソフトウェアにより実現する場合、図６に示したハードウェア構成（例えばＣＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部、通信部、記憶部（例えば、ＨＤＤ、ＳＳＤ等により実現される記憶部）、外部メディア用ドライブ等をバスにより接続したハードウェア構成）を用いて各機能部をソフトウェア処理により実現するようにしてもよい。
【００８０】
また上記実施形態の各機能部をソフトウェアにより実現する場合、当該ソフトウェアは、図６に示したハードウェア構成を有する単独のコンピュータを用いて実現されるものであってもよいし、複数のコンピュータを用いて分散処理により実現されるものであってもよい。
【００８１】
また上記実施形態における処理方法の実行順序は、必ずしも上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【００８２】
前述した方法をコンピュータに実行させるコンピュータプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここでコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【００８３】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限らず、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【００８４】
なお本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【００８５】
本発明によれば、低頻度語についても高性能の二言語単語分散表現を取得する二言語単語分散表現データ取得装置、二言語単語分散表現データ取得方法、および、プログラムを実現することができる。このため本発明は、自然言語処理関連産業分野において有用であり、当該分野において実施することができる。
【符号の説明】
【００８６】
１００  二言語単語分散表現データ取得装置
１  訳語データ抽出部
ＤＢ１  対訳辞書データ記憶部
２  目標言語分散表現データ取得部
３  二言語単語分散表現データ取得部
【図１】
2019191917.tif 000003
【図２】
2019191917.tif 000004
【図３】
2019191917.tif 000005
【図４】
2019191917.tif 000006
【図５】
2019191917.tif 000007
【図６】
2019191917.tif 000008