(57)【要約】  本発明は、多言語文書群において、言語が３種類以上であっても、より低コストにより精度よく、類似文書を検索するための技術を提供する。多言語文書類似度学習装置１は、対象言語毎に行列を保持する多言語行列記憶部１１と、文書に対応する単語ベクトルを取得する単語ベクトル取得部１２と、文書の単語ベクトルおよびその文書の記述言語に対応する行列に基づいて、その文書の意味ベクトルを作成する意味ベクトル作成部１３と、文書の組について、各文書の意味ベクトルに基づいて類似度を計算する類似度計算部１４と、対象言語のいずれかでそれぞれが記述された文書の集合において、対訳関係にある文書の組の類似度が、対訳関係にない文書の組の類似度より高くなるように、各対象言語に対応する行列の値を調整して学習する多言語行列学習部１５と、を備える。
2015145981.tif 000002
【特許請求の範囲】
【請求項１】
対象言語毎に行列を保持する多言語行列記憶手段と、
文書に対応する単語ベクトルを取得する単語ベクトル取得手段と、
前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成手段と、
文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算手段と、
前記対象言語のいずれかでそれぞれが記述された文書の集合において、対訳関係にある文書の組の前記類似度が、対訳関係にない文書の組の前記類似度より高くなるように、前記各対象言語に対応する前記行列の値を調整して学習する多言語行列学習手段と、
を備えた多言語文書類似度学習装置。
【請求項２】
前記多言語行列学習手段は、前記各対象言語に対応する前記行列の学習を並列して行うことを特徴とする請求項１に記載の多言語文書類似度学習装置。
【請求項３】
前記多言語行列記憶手段は、前記対象言語毎の行列として、行または列の数が互いに等しい行列を保持し、
前記意味ベクトル作成手段は、前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列の積を、前記文書の意味ベクトルとして作成し、
前記類似度計算手段は、前記文書の組について、各文書の前記意味ベクトルの内積を、前記類似度として計算することを特徴とする請求項１または請求項２に記載の多言語文書類似度学習装置。
【請求項４】
前記多言語行列学習手段は、前記対訳関係にある文書の組の前記類似度が、該対訳関係にある文書の組の一方の文書と、該文書に対して対訳関係にない他の文書との前記類似度より高くなるように、前記各行列の学習を行うことを特徴とする請求項１から請求項３のいずれか１項に記載の多言語文書類似度学習装置。
【請求項５】
前記多言語行列学習手段は、前記対訳関係にある文書の組の前記類似度が、前記対訳関係にない文書の組の前記類似度より高くなるように、確率的最急勾配法を用いて前記各行列を学習し、確率的最急勾配法のステップごとに、前記対訳関係にある文書の組および前記対訳関係にない文書の組を前記文書の集合からランダムに選択することを特徴とする請求項１から請求項４のいずれか１項に記載の多言語文書類似度学習装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の多言語文書類似度学習装置を用いて学習された前記対象言語毎の前記行列を保持する多言語行列記憶手段と、
文書に対応する単語ベクトルを取得する単語ベクトル取得手段と、
前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成手段と、
文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算手段と、
類似度判定対象の文書の集合において、前記類似度を用いて文書間の類似度を判定する類似度判定手段と、
を備えた多言語文書類似度判定装置。
【請求項７】
対象言語毎に保持される行列を用いて、文書に対応する単語ベクトル、および、前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成し、文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算することにより、
対象言語のいずれかでそれぞれが記述された文書の集合において、対訳関係にある文書の組の前記類似度が、対訳関係にない文書の組の前記類似度より高くなるように、前記各対象言語に対応する前記行列の値を調整して学習する、多言語文書類似度学習方法。
【請求項８】
請求項７に記載の多言語文書類似度学習方法により学習された前記対象言語毎の前記行列を用いて、文書に対応する単語ベクトル、および、前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成し、文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算することにより、
類似度判定対象の文書の集合において、前記類似度を用いて文書間の類似度を判定する、多言語文書類似度判定方法。
【請求項９】
対象言語毎に保持される行列を用いて、
文書に対応する単語ベクトルを取得する単語ベクトル取得ステップと、
前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成ステップと、
文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算ステップと、
前記対象言語のいずれかでそれぞれが記述された文書の集合において、対訳関係にある文書の組の前記類似度が、対訳関係にない文書の組の前記類似度より高くなるように、前記各対象言語に対応する前記行列の値を調整して学習する多言語行列学習ステップと、
をコンピュータ装置に実行させる多言語文書類似度学習プログラムを記憶した記憶媒体。
【請求項１０】
請求項９に記載の記憶媒体に記憶された多言語文書類似度学習プログラムの実行により学習された前記対象言語毎の前記行列を用いて、
文書に対応する単語ベクトルを取得する単語ベクトル取得ステップと、
前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成ステップと、
文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算ステップと、
類似度判定対象の文書の集合において、前記類似度を用いて文書間の類似度を判定する類似度判定ステップと、
をコンピュータ装置に実行させる多言語文書類似度判定プログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる言語の文書が混在している多言語文書群において、互いに内容が類似している文書を発見する技術に関する。
【背景技術】
【０００２】
インターネットが普及し、多様な情報が様々な言語で発信されるようになった。より多くの情報を収集するためには、より多くの言語で記述された情報を対象にすべきである。しかし、この場合、異なる言語で記述された類似する情報が個別に収集され、別の情報として提示されることになり、情報収集の観点では効率が悪い。【０００３】
このような問題に関連する技術が、特許文献１に記載されている。この関連技術は、対象の文書を、一度基準となる言語、例えば英語に機械翻訳した後、クラスタリング等の技術を用いて、類似する内容の文書をまとめ上げている。【０００４】
また、このような問題に関連する他の技術が、特許文献２に記載されている。特許文献２では、機械翻訳結果という中間結果を経ずに、対訳コーパスから直接、２言語間の内容の類似性を表すモデルを学習するＳＳＩ（supervised semantic indexing）という枠組みが提案されている。この関連技術は、以下のように、２言語間の文書の類似性を学習・判定する。【０００５】
まず、この関連技術は、言語横断で対訳関係にある文書集合において、各言語の各文書ｄｉｊを、bag-of-wordsで表現（言語毎の次元数Ｄ１,Ｄ２は自由）する。ここで、添え字iは、言語の種類を表す。また、添え字jは、言語毎の文書のＩＤを表す。【０００６】
そして、この関連技術は、言語対の対応関係を学習する行列Ｗを用意する。Ｗは、Ｄ１×Ｄ２（Ｄ１行Ｄ２列）の行列である。ただし、学習すべきパラメータ数が多いので、次元圧縮のため、Ｗ＝ＵＴ・Ｖを満たすＵ、Ｖについて学習を行う。ここで、ＵＴは、Ｕの転置行列を表す。なお、Ｕ，Ｖは、それぞれＮ×Ｄ１，Ｎ×Ｄ２の行列とする。また、Ｎ＝１００などが適用される。文書対のスコアを算出する式を、次式（１）に示す。
2015145981.tif 000003
【０００７】
このとき、対訳関係の文書対のスコアが、それ以外の文書対のスコアより高くなるように、Ｕ，Ｖの学習が行われる。そして、この関連技術は、異なる言語の文書ｄ１ｊ，ｄ２ｋ間の類似性を、学習した行列Ｕ，Ｖを用いて、式（１）により判定する。【０００８】
また、このような問題に関連するさらに他の技術が、特許文献３に記載されている。この関連技術は、異なる言語で記述された複数の文書の中から、ある言語で記述された検索要求に対して意味的に近似するものを検索する。この関連技術では、あらかじめ、単語辞書データベースが用意される。単語辞書データベースは、自然言語Ａ，Ｂ，Ｃ，Ｄ・・・・間の同義語の単語Ｗｉ群と、１つの単語特徴ベクトルＶｉとを関係付けたものである。そして、この関連技術は、各文書に含まれる単語に関係付けられた単語特徴ベクトルの総和を正規化し、文書特徴ベクトルとして算出する。また、この関連技術は、検索要求に含まれる各単語について関係付けられた単語特徴ベクトルの総和を正規化し、検索要求特徴ベクトルとして算出する。そして、この関連技術は、検索要求特徴ベクトルと、各文書の文書特徴ベクトルとの内積を意味的近似度として算出する。そして、この関連技術は、意味的近似度の大きい文書を、検索要求に近似する文書として検索する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１３−８４３０６号公報
【特許文献２】米国特許８３５９２８２号明細書
【特許文献３】特開平１０−３１６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に記載された関連技術は、機械翻訳結果という中間状態を経由する枠組みのため、機械翻訳の精度自体が必ずしも高くない場合、まとめ上げの精度自体が高くないという問題がある。【００１１】
また、特許文献２に記載された関連技術は、２言語間の場合は問題が無いが、３言語間以上の場合に問題が生じる。それは、言語間の類似性を判定するための行列Ｗ＝ＵＴ・Ｖを、相手言語の数だけ用意しなければならないことである。例えば、言語数がｎであるとすると、Ｕ、Ｖ併せてｎ×（ｎ−１）／２個の行列を計算・保持する必要が生じる。なお、“／”は除算を表す。また、類似性の判定時には、ある言語の文書ｄｉｊを他の文書と比較する場合、比較対象の言語数分、Ｗ・ｄｉｊを計算する必要があり、計算コストが高くなる。【００１２】
また、特許文献３には、同義語の単語Ｗｉ群に対する１つの単語特徴ベクトルＶｉを、どのように学習するかについて記載がない。また、多義語の存在を考慮すると、同義語の単語Ｗｉ群の組み合わせ数が膨大になる可能性がある。そのため、この関連技術では、単語辞書データベースの保持・学習にかかるコストが高くなる。また、単語レベルの同義語群を介して文書の近似度を判定することは、単語レベルの機械翻訳を介することと等価である。そのため、この関連技術では、同義語群（機械翻訳）の精度が必ずしも高くない場合、意味的近似度の判定精度も高くないという問題がある。【００１３】
本発明は、上述の課題を解決するためになされたものである。すなわち、本発明は、多言語文書群において、言語が３種類以上であっても、より低コストにより精度よく、類似文書を検索するための技術を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の多言語文書類似度学習装置は、対象言語毎に行列を保持する多言語行列記憶手段と、文書に対応する単語ベクトルを取得する単語ベクトル取得手段と、前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成手段と、文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算手段と、前記対象言語のいずれかでそれぞれが記述された文書の集合において、対訳関係にある文書の組の前記類似度が、対訳関係にない文書の組の前記類似度より高くなるように、前記各対象言語に対応する前記行列の値を調整して学習する多言語行列学習手段と、を備える。【００１５】
また、本発明の多言語文書類似度判定装置は、上述の多言語文書類似度学習装置を用いて学習された前記対象言語毎の前記行列を保持する多言語行列記憶手段と、文書に対応する単語ベクトルを取得する単語ベクトル取得手段と、前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成手段と、文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算手段と、類似度判定対象の文書の集合において、前記類似度を用いて文書間の類似度を判定する類似度判定手段と、を備える。【００１６】
また、本発明の多言語文書類似度学習方法は、対象言語毎に保持される行列を用いて、文書に対応する単語ベクトル、および、前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成し、文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算することにより、対象言語のいずれかでそれぞれが記述された文書の集合において、対訳関係にある文書の組の前記類似度が、対訳関係にない文書の組の前記類似度より高くなるように、前記各対象言語に対応する前記行列の値を調整して学習する。【００１７】
また、本発明の多言語文書類似度判定方法は、上述の多言語文書類似度学習方法により学習された前記対象言語毎の前記行列を用いて、文書に対応する単語ベクトル、および、前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成し、文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算することにより、類似度判定対象の文書の集合において、前記類似度を用いて文書間の類似度を判定する。【００１８】
また、本発明の記憶媒体は、対象言語毎に保持される行列を用いて、文書に対応する単語ベクトルを取得する単語ベクトル取得ステップと、前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成ステップと、文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算ステップと、前記対象言語のいずれかでそれぞれが記述された文書の集合において、対訳関係にある文書の組の前記類似度が、対訳関係にない文書の組の前記類似度より高くなるように、前記各対象言語に対応する前記行列の値を調整して学習する多言語行列学習ステップと、をコンピュータ装置に実行させる多言語文書類似度学習プログラムを記憶している。【００１９】
また、本発明の他の記憶媒体は、上述の記憶媒体に記憶された多言語文書類似度学習プログラムの実行により学習された前記対象言語毎の前記行列を用いて、文書に対応する単語ベクトルを取得する単語ベクトル取得ステップと、前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成ステップと、文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算ステップと、類似度判定対象の文書の集合において、前記類似度を用いて文書間の類似度を判定する類似度判定ステップと、をコンピュータ装置に実行させる多言語文書類似度判定プログラムを記憶している。
【発明の効果】
【００２０】
本発明は、多言語文書群において、言語が３種類以上であっても、より低コストにより精度よく、類似文書を検索するための技術を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施の形態としての多言語文書類似度学習装置の機能ブロック図である。
【図２】本発明の第１の実施の形態としての多言語文書類似度学習装置のハードウェア構成図である。
【図３】本発明の第１の実施の形態としての多言語文書類似度学習装置の動作を説明するフローチャートである。
【図４】本発明の第２の実施の形態としての多言語文書類似度判定装置の機能ブロック図である。
【図５】本発明の第２の実施の形態としての多言語文書類似度判定装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２３】
（第１の実施の形態）
図１は、本発明の第１の実施の形態としての多言語文書類似度学習装置１の機能ブロック構成を示す図である。図１において、多言語文書類似度学習装置１は、多言語行列記憶部１１と、単語ベクトル取得部１２と、意味ベクトル作成部１３と、類似度計算部１４と、多言語行列学習部１５と、を含む。
【００２４】
図２は、多言語文書類似度学習装置１のハードウェア構成の一例を示す図である。図２において、多言語文書類似度学習装置１は、コンピュータ装置によって構成されている。このコンピュータ装置は、ＣＰＵ（Central Processing Unit）１００１と、ＲＡＭ（Random Access Memory）１００２と、ＲＯＭ（Read Only Memory）１００３と、記憶装置１００４と、入力装置１００５と、出力装置１００６とを含む。この場合、多言語行列記憶部１１は、記憶装置１００４によって構成される。また、単語ベクトル取得部１２と、意味ベクトル作成部１３と、類似度計算部１４とは、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１によって構成される。また、多言語行列学習部１５は、入力装置１００５と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。なお、多言語文書類似度学習装置１およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
【００２５】
多言語行列記憶部１１は、対象言語毎に行列を保持する。各行列は、その対象言語で記述された文書の単語ベクトルを、意味ベクトルに変換するための重み行列である。単語ベクトルおよび意味ベクトルについては後述する。例えば、各行列は、列の数が互いに等しいものであってもよい。その場合、列の数は、意味ベクトルの次元数となる。また、その場合、各行列の行の数は、後述の単語ベクトルの次元数であってもよい。
【００２６】
単語ベクトル取得部１２は、文書に対応する単語ベクトルを取得する。単語ベクトルは、文書の類似度を計算する際に一般的に用いられる概念であり、文書を、文書中に含まれる単語の集合によって表す表現形式である。単語ベクトルの次元数は、例えば、その文書を記述する対象言語（以下、記述言語とも記載する）で用いられる単語数であってもよい。例えば、単語ベクトル取得部１２は、与えられた文書に基づいて、公知の手法により単語ベクトルを作成してもよい。あるいは、単語ベクトル取得部１２は、その文書に対応する単語ベクトルとしてあらかじめ生成されたものを、記憶装置１００４または入力装置１００５等から取得してもよい。
【００２７】
意味ベクトル作成部１３は、文書の単語ベクトルと、その文書の記述言語に対応して多言語行列記憶部１１に保持されている行列とに基づいて、その文書の意味ベクトルを作成する。ここで、意味ベクトルとは、文書の意味的特徴を表す情報である。例えば、意味ベクトル作成部１３は、文書の単語ベクトルと、その文書の記述言語に対応する行列との積を、その文書の意味ベクトルとして作成してもよい。
【００２８】
類似度計算部１４は、文書の組について、各文書の意味ベクトルに基づいて類似度を計算する。例えば、類似度計算部１４は、各文書の意味ベクトルの内積を、文書の組の類似度として計算してもよい。
【００２９】
多言語行列学習部１５は、対象言語のいずれかでそれぞれが記述された文書の集合において、意味ベクトル作成部１３および類似度計算部１４を用いて、各文書の記述言語に対応する行列の値を調整して学習する。具体的には、多言語行列学習部１５は、対訳関係にある文書の組の類似度が、対訳関係にない文書の組の類似度より高くなるように、各行列を学習する。例えば、多言語行列学習部１５は、対訳関係にある文書の組の類似度が、その組の一方の文書と、その文書に対して対訳関係にない他の文書との類似度より高くなるように、行列の値を調整して学習を行ってもよい。なお、多言語行列学習部１５は、各行列の学習を、並列して行うことが望ましい。
【００３０】
ここで、多言語行列学習部１５による学習の際に用いられる文書の集合について説明する。文書の集合において、各文書を記述している対象言語は、３種類以上あってもよい。このような文書の集合は、少なくとも一部に、対訳関係にある文書の組を含むよう構成される。また、このような文書の集合は、少なくとも一部に、対訳関係にない文書の組を含むよう構成される。なお、文書の集合は、あらかじめ記憶装置１００４に記憶されたものであってもよい。また、文書の集合は、入力装置１００５またはネットワークインタフェース（図示せず）等を介して外部から入力されるものであってもよい。
【００３１】
また、例えば、多言語行列学習部１５は、確率的最急勾配法を用いて、上述の各行列の学習を行ってもよい。この場合、多言語行列学習部１５は、確率的最急勾配法のステップごとに、対訳関係にある文書の組および対訳関係にない文書の組を文書の集合からランダムに選択してもよい。
【００３２】
以上のように構成された多言語文書類似度学習装置１の動作について、図３を参照して説明する。なお、多言語文書類似度学習装置１は、対象言語のいずれかでそれぞれが記述された文書の集合が入力されると、以下の動作を開始するものとする。
【００３３】
図３では、まず、単語ベクトル取得部１２は、対象言語のいずれかでそれぞれが記述された文書の集合の各文書について、対応する単語ベクトルを取得する（ステップＳ１）。
【００３４】
次に、多言語行列学習部１５は、意味ベクトル作成部１３に指示し、文書の集合において対訳関係にある文書の組および対訳関係にない文書の組の各文書について、意味ベクトルを作成させる（ステップＳ２）。意味ベクトル作成部１３は、各文書の単語ベクトルおよびその記述言語に対応する行列に基づき、意味ベクトルを作成する。
【００３５】
次に、多言語行列学習部１５は、文書の集合において対訳関係にある文書の組および対訳関係にない文書の組のそれぞれについて、各文書の意味ベクトルに基づいて、類似度計算部１４により類似度を計算する（ステップＳ３）。
【００３６】
次に、多言語行列学習部１５は、対訳関係にある文書の組の類似度が、対訳関係にない文書の組の類似度より高くなるように、各記述言語に対応する行列を調整する（ステップＳ４）。
【００３７】
次に、行列の調整が収束していれば（ステップＳ５でＹｅｓ）、多言語行列学習部１５は、学習を終了する。
【００３８】
一方、行列の調整が収束してなければ（ステップＳ５でＮｏ）、多言語文書類似度学習装置１の動作は、ステップＳ２に戻る。そして、多言語文書類似度学習装置１は、前回のステップＳ４で調整後の行列を用いて、ステップＳ２からの動作を繰り返す。
【００３９】
次に、本発明の第１の実施の形態の効果について説明する。
【００４０】
本発明の第１の実施の形態としての多言語文書類似度学習装置は、多言語文書群において、言語が３種類以上であっても、類似文書の判定において文書の意味ベクトルを作成するために用いられる行列を、より低コストに、より精度よく学習することができる。
【００４１】
その理由は、多言語行列記憶部が、対象言語毎に、文書の単語ベクトルを意味ベクトルに変換するための行列を保持しておくからである。また、単語ベクトル取得部が、文書に対応する単語ベクトルを取得し、意味ベクトル作成部が、文書の単語ベクトルおよびその文書の記述言語に対応する行列に基づいて、意味ベクトルを作成するからである。そして、多言語行列学習部が、対象言語のいずれかでそれぞれ記述された文書の集合において、対訳関係にある文書の組の類似度が、対訳関係にない文書の組の類似度より高くなるように、各対象言語に対応する行列の学習を行うからである。
【００４２】
このように、本実施の形態は、意味ベクトルを作成するための行列を、言語対毎に用意するのではなく、対象言語毎に用意する。したがって、本実施の形態は、言語対ごとに行列を学習する必要がない。そして、本実施の形態は、言語対によらず、文書の意味ベクトルにおける各次元の意味が同じになるように、対象言語毎に行列を学習すればよい。その結果、本実施の形態では、学習により得られる各記述言語の行列は、相手言語に対して非依存となる。
【００４３】
したがって、本実施の形態は、対象言語が３種類以上あっても、対象言語の組み合わせごとに類似度判定のための行列を学習する必要がなく、対象言語毎に行列を学習すればよい。このため、計算コストを低く抑えることができる。
【００４４】
また、本実施の形態は、文書の集合において、文書の絶対数が少ない対象言語について行列の学習を行う場合も、他の複数の対象言語との言語対から情報を得られる。このため、言語対毎に行列を学習する場合と比べて、性能向上が期待できる。さらに、本実施の形態は、そのような各対象言語の行列の学習を並列して行うことにより、学習精度をさらに高めることができる。
【００４５】
次に、本発明の第１の実施の形態の動作を具体例で示す。
【００４６】
ここでは、ウェブ上に存在するニュース記事の情報収集を想定する。情報収集の効率化のためには、異なる言語で記述されたニュース記事であっても同様の内容であれば１つに纏め上げたい、というニーズがある。そのためには、言語横断でニュース記事間の類似度を判定することが必要となる。以下に、言語横断でニュース記事間の類似度を計算するための行列の学習について述べる。
【００４７】
学習には、一部が対訳関係になっている大量の文書を用いることとする。ここでの対訳関係とは、完全な対訳関係、いわゆるパラレルコーパスである必要はない。例えば、対訳関係とは、同じ対象について異なる言語で記述してある程度の、いわゆるコンパラブルコーパスでもよい。そのような文書の集合として、統計的機械翻訳の研究で用いられる対訳コーパスを用いてもよい。あるいは、そのような文書の集合として、各国語版のウィキペディアを用いてもよい。
【００４８】
そして、多言語行列記憶部１１は、上述の文書の集合において類似度を測る対象言語の数だけ行列を記憶する。言語ｉに対応する行列Ｍｉは、Ｎ×Ｄｉの行列である。Ｎは、意味ベクトルの次元数である。言語によらず意味ベクトルの各次元の持つ意味を同じに揃える為に、Ｎは、言語によらず同じ大きさとすることが望ましい。経験的には、Ｎ＝１００から数百程度がうまく働く。Ｄｉは、言語ｉで用いられる単語数である。Ｄｉは、言語ごとに異なる値であってもよい。各Ｍｉの初期値としては、例えば０が設定される。
【００４９】
まず、単語ベクトル取得部１２は、上述の文書の集合における各文書を、単語ベクトルに変換する。単語ベクトルは、上述のように、文書の類似度を計算する際に一般的に用いられる概念であり、文書を文書中に含まれる単語の集合によって表す表現形式である。もっとも単純な単語ベクトルは、各単語の出現の有無を０または１で表した要素からなるベクトル（たとえば、［１、０、１、０］のような表現）である。その他、単語ベクトルとしては、類似度を計算する観点で各単語に重みづけを行うＴＦ（単語の出現頻度：Term Frequency）＊ＩＤＦ（逆文書頻度：Inverse Document Frequency）に基づくものがある。さらには、ＬＳＩ（Latent Semantic Indexing）、ＬＤＡ（Latent Dirichlet Allocation）などの方法を用いて、単語ベクトルを一旦次元圧縮する方法等も知られている。また、単語の代わりに、単語のＮ−ＧＲＡＭや文字Ｎ−ＧＲＡＭを用いてもよい。ここでは、単語ベクトルとして、単語のＴＦ＊ＩＤＦを用いることとする。これにより、言語ｉのｊ番目の文書については、次元数Ｄｉの単語ベクトルｄｉｊが作成されるとする。
【００５０】
また、意味ベクトル作成部１３は、多言語行列学習部１５の制御の基に、文書の単語ベクトルおよびその文書の記述言語に対応する行列の積を、当該文書の意味ベクトルとして計算する。具体的には、意味ベクトル作成部１３は、言語ｉのｊ番目の文書について、対応する単語ベクトルｄｉｊと、言語ｉのその時点での行列Ｍｉの積である、Ｍｉ・ｄｉｊを計算し、意味ベクトルとする。このＭｉ・ｄｉｊの次元数は、文書や言語によらずＮとなる。
【００５１】
そして、多言語行列学習部１５は、意味ベクトル作成部１３および類似度計算部１４を用いて、各Ｍｉの学習を行う。学習の基本的な考え方は、対訳関係にある文書の組の類似度が、対訳関係にない文書の組の類似度より高くなるように、複数の記述言語に対する行列を並列して調整する、というものである。具体的には、多言語行列学習部１５は、前述の文書の集合のうち、言語ｉｑの文書ｑと、文書ｑと対訳関係にある言語ｉ＋の文書ｄ＋と、対訳関係にない言語ｉ−の文書ｄ−について、次式（２）を満たすように、行列Ｍｉｑ、Ｍｉ＋、Ｍｉ−を並列して調整する。
2015145981.tif 000004
【００５２】
ここで、一般には、文書ｑとｄ＋との類似度が文書ｑとｄ−との類似度より一定のマージン以上大きくなるように調整した方が、性能が高くなることが知られている。そこで、多言語行列学習部１５は、マージンを考慮した次式（３）の損失関数を最小化するように調整を行う。
2015145981.tif 000005
【００５３】
ここで、Rは、入力された文書集合中の、ある文書と、当該文書に対して対訳関係にある文書または対訳関係にない文書との組の集合である。また、ｆ（ｑ，ｄ）は、文書ｑおよびｄの類似度を表す。つまり、ｆ（ｑ，ｄ）は、文書ｑの言語をｉｑ、ｄの言語をｉｄとすると、（Mｉｑ・ｑ）Ｔ・（Ｍｉｄ・ｄ）である。
【００５４】
上述の損失関数の最小化の方法の１つとして、確率的最急勾配法を用いる方法が挙げられる。この場合、多言語行列学習部１５は、確率的最急勾配法の１ステップごとに、ランダムにｑ、ｄ＋、ｄ−の組を選び出し、1−ｆ（ｑ，ｄ＋）＋ｆ（ｑ，ｄ−）＞０の場合は、次式（４）〜（６）のように各行列Ｍ（Ｍｉｑ、Ｍｉ＋、Ｍｉ−）を更新する。
2015145981.tif 000006
2015145981.tif 000007
2015145981.tif 000008
【００５５】
このようにして、多言語行列学習部１５は、ランダムな文書抽出と、それに基づく行列Ｍの調整を、収束するまで行う。
【００５６】
以上で、具体例の説明を終了する。
【００５７】
このように、この具体例では、多言語行列記憶部１１に、言語ｉごとに、文書の単語ベクトルを意味ベクトルに変換するための行列Ｍｉを記憶している。さらに、多言語行列学習部１５が、対訳関係にある文書の組の類似度が、対訳関係にない文書の組の類似度より高くなるように、複数の言語ｉに対する行列Ｍｉの学習を並列して行う。これにより、言語対によらず意味ベクトルの各次元の意味が同じになるように学習を行うことができる。その結果、この具体例では、学習により得られる対象言語ｉについての行列Ｍｉは、相手言語非依存となる。
【００５８】
一方、特許文献２に記載された関連技術は、前述の式（１）により文書ＤａｊおよびＤｂｋの組の類似度を算出していた。つまり、式（１）において、Ｕ＝Ｍａｂ、Ｖ＝Ｍｂａと置くと、
2015145981.tif 000009
【００５９】
と書ける。特許文献２は、言語ａについて、相手言語ｂ、ｃ・・・毎に、Ｍａｂ、Ｍａｃ・・といったように、複数の行列を保持・学習しなければならなかった。これは、意味ベクトル（Ｍ・ｄ）において各次元の持つ意味が、言語対ごとに異なっていたからである。
【００６０】
これに対して、本実施の形態の具体例は、意味ベクトル（Ｍ・ｄ）を、相手言語非依存のベクトルとして扱えるようにしている。このように、この具体例は、言語ｉ毎に対応する行列Ｍｉを１つのみ用意し、多言語行列学習部において言語対によらず意味ベクトルの各次元の意味が同じになるようにＭｉの学習を行う。これにより、この具体例は、行列Ｍの個数をｎ×（ｎ−１）個からｎ個に減らしている。これにより、この具体例における多言語文書類似度学習装置は、言語対ごとに行列を保持・学習する必要がなくなり、計算コストを低く抑えることができる。
【００６１】
また、この具体例における多言語文書類似度学習装置は、文書の絶対数が少ない言語の行列を学習する場合であっても、その言語で記述された文書と、他の複数の言語のそれぞれで記述された各文書との対から情報を得られる。このため、この具体例における多言語文書類似度学習装置は、学習性能を向上させることができる。
【００６２】
以上で、本発明の第１の実施の形態における動作の具体例の説明を終了する。
【００６３】
（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
【００６４】
図４は、本発明の第２の実施の形態としての多言語文書類似度判定装置２の機能ブロック構成を示す図である。図４において、多言語文書類似度判定装置２は、多言語行列記憶部１１と、単語ベクトル取得部１２と、意味ベクトル作成部１３と、類似度計算部１４と、類似度判定部２６とを含む。ここで、多言語文書類似度判定装置２は、図２を参照して説明した本発明の第１の実施の形態としての多言語文書類似度学習装置１と同様のハードウェア要素によって構成可能である。この場合、類似度判定部２６は、出力装置１００６と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。なお、多言語文書類似度判定装置２およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
【００６５】
多言語行列記憶部１１には、本発明の第１の実施の形態としての多言語文書類似度学習装置１によって学習された対象言語毎の行列が保持されている。単語ベクトル取得部１２、意味ベクトル作成部１３、および、類似度計算部１４は、本発明の第１の実施の形態と同様に構成される。
【００６６】
類似度判定部２６は、類似度判定対象の文書の集合において、類似度計算部１４によって計算される類似度を用いて、文書の類似度を判定する。なお、類似度判定対象の文書の集合は、文書の組であってもよい。この場合、類似度判定部２６は、判定対象の文書の組について、類似度が閾値以上であれば類似していると判定し、閾値未満であれば類似していないと判定してもよい。また、類似度判定対象の文書の集合は、３つ以上の文書の集合であってもよい。この場合、例えば、類似度判定部２６は、判定対象の文書の集合における類似度の判定として、類似度に基づく文書のクラスタリングを行ってもよい。また、例えば、類似度判定部２６は、判定対象の文書の集合における類似度の判定として、ある文書に対して類似する文書のランキングを行ってもよい。また、類似度判定部２６は、判定結果を出力装置１００６に出力してもよい。
【００６７】
なお、類似度判定対象の文書の集合は、記憶装置１００４にあらかじめ記憶されているものであってもよい。また、類似度判定対象の文書の集合は、入力装置１００５またはネットワークインタフェース（図示せず）等を介して外部から入力されるものであってもよい。
【００６８】
以上のように構成された多言語文書類似度判定装置２の動作について、図５を参照して説明する。なお、多言語文書類似度判定装置２は、類似度を判定したい文書の集合が入力されると、以下の動作を開始するものとする。
【００６９】
図５では、まず、単語ベクトル取得部１２は、類似度を判定したい文書の集合の各文書について、単語ベクトルを取得する（ステップＳ１１）。
【００７０】
次に、意味ベクトル作成部１３は、各文書について、文書の単語ベクトルおよびその文書の記述言語に対応する行列に基づいて、その文書の意味ベクトルを作成する（ステップＳ１２）。
【００７１】
次に、類似度計算部１４において、文書の集合において、任意の文書の組の類似度を計算する（ステップＳ１３）。
【００７２】
次に、類似度判定部２６は、得られた類似度に基づいて類似度を判定し、判定結果を出力する（ステップＳ１４）。前述のように、類似度判定部２６は、類似度を閾値と比較することにより、任意の文書の組が類似しているか否かを表す情報を判定結果として出力してもよい。また、類似度判定部２６は、類似度を用いて文書のクラスタリングやランキングを行い、その結果を判定結果として出力してもよい。
【００７３】
以上で、多言語文書類似度判定装置２は、動作を終了する。
【００７４】
次に、本発明の第２の実施の形態の効果について説明する。
【００７５】
本発明の第２の実施の形態としての多言語文書類似度判定装置は、多言語文書群において、言語が３種類以上であっても、より低コストにより精度よく、類似文書を判定することができる。
【００７６】
その理由は、多言語行列記憶部が、対象言語毎に文書の単語ベクトルを意味ベクトルに変換するための行列として学習されたものを保持しているからである。そして、単語ベクトル取得部が、文書について単語ベクトルを取得する。そして、意味ベクトル作成部が、文書について単語ベクトルおよびその記述言語に対応する行列に基づいて意味ベクトルを作成する。そして、類似度計算部が、文書の組について意味ベクトルに基づいて類似度を計算する。そして、類似度判定部が、類似度判定対象の文書の集合において、類似度に基づく類似判定を行うからである。
【００７７】
このように、多言語行列記憶部に保持される対象言語毎の行列は、本発明の第１の実施の形態としての多言語文書類似度学習装置によって学習されたものであり、相手言語に対して非依存となっている。そのため、類似度計算部は、ある文書に類似する他の文書を求めるために、ある文書についての意味ベクトルを、比較対象となる文書群の記述言語に対応する数だけ計算する必要がない。つまり、類似度計算部は、ある文書について、比較対象となる文書群の記述言語の数に関わらず、１つの意味ベクトルを計算すればよい。このため、類似度判定のための計算コストが低くなる。また、そのような意味ベクトルは、言語対によらず、各次元の意味が同じになるように作成されている。このため、意味ベクトルに基づき算出される類似度は、精度が高いものとなる。
【００７８】
次に、本発明の第２の実施の形態の動作を具体例で示す。
【００７９】
ここでは、言語横断でウェブ上のニュース記事（文書）のクラスタリングを行う例について説明する。
【００８０】
多言語行列記憶部１１には、本発明の第１の実施の形態における具体例で学習した言語ごとの行列Ｍｉが保持されているものとする。また、多言語文書類似度判定装置２には、クラスタリング対象（類似度の判定対象）となる文書の集合として、ウェブ上から収集されるニュース記事群が入力されるものとする。
【００８１】
まず、単語ベクトル取得部１２は、クラスタリング対象の文書の集合における各文書を、単語ベクトルに変換する。変換の方法は、本発明の第１の実施の形態における具体例と同様である。
【００８２】
次に、意味ベクトル作成部１３は、作成した単語ベクトルと、多言語行列記憶部１１に保持されている言語ごとの行列Ｍｉとの積を取ることで、各文書の意味ベクトルを作成する。作成の方法は、本発明の第１の実施の形態における具体例と同様である。
【００８３】
次に、類似度計算部１４は、クラスタリング対象の文書の集合において、任意の文書の組毎に、意味ベクトル同士の内積を取ることで類似度を求める。
【００８４】
そして、類似度判定部２６は、類似度が閾値以上の文書の組を、同じクラスタに属させることで、クラスタリングを行う。
【００８５】
このように、この具体例では、多言語行列記憶部１１に、言語ごとに文書の単語ベクトルを意味ベクトルに変換するための行列Ｍｉを保持している。この行列Ｍｉは、本発明の第１の実施の形態における具体例で多言語文書類似度学習装置１により学習されたものであるから、相手言語非依存である。したがって、類似度計算部１４は、任意の文書の組毎に類似度を算出する際に、各文書について１つずつ算出された意味ベクトルを用いればよく、言語対毎の計算が不要となる。
【００８６】
一方、上述の特許文献２に記載された関連技術では、比較対象文書の言語数分、Ｍｉｘ・ｄｉｊを計算する必要があった（xは比較対象の言語を表す）。
【００８７】
これに対して、この具体例は、ある文書ｄｉｊを他の文書群と比較する場合、比較対象の文書群が複数の言語で記述されていても、意味ベクトルＭｉ・ｄｉｊを１つ求めるだけで良い。したがって、この具体例は、類似度の計算コストを低くすることができる。
【００８８】
以上で、本発明の第２の実施の形態における動作の具体例の説明を終了する。
【００８９】
なお、上述した本発明の各実施の形態において、対象言語毎に保持される行列は、互いに列の数が等しい例を中心に説明した。この他、各行列は、互いに行の数が等しいものであってもよい。この場合、各行列の列の数には、対応する言語で記述された文書の単語ベクトルの次元数を適用すればよい。
【００９０】
また、上述した本発明の各実施の形態において、意味ベクトル作成部が、文書の単語ベクトルおよびその記述言語に対応する行列の積を、意味ベクトルとして算出する例を中心に説明した。この他、意味ベクトル作成部は、文書の単語ベクトルおよびその記述言語に対応する行列に基づいて意味ベクトルを作成するその他の演算方法を用いてもよい。また、類似度計算部が、文書の組について各文書の意味ベクトルの内積を算出して類似度とする例を中心に説明した。この他、類似度計算部は、各文書の意味ベクトルに基づいて類似度を計算するその他の演算方法を用いてもよい。
【００９１】
また、上述した本発明の各実施の形態としての多言語文書類似度学習装置および多言語文書類似度判定装置は、同一の装置上に実現されていてもよい。
【００９２】
また、上述した本発明の各実施の形態において、多言語文書類似度学習装置および多言語文書類似度判定装置の各機能ブロックが、記憶装置またはＲＯＭに記憶されたコンピュータ・プログラムを実行するＣＰＵによって実現される例を中心に説明した。このような構成の他、本実施の形態において、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。
【００９３】
また、上述した本発明の各実施の形態において、多言語文書類似度学習装置または多言語文書類似度判定装置の機能ブロックは、複数の装置に分散されて実現されてもよい。
【００９４】
また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した多言語文書類似度学習装置および多言語文書類似度判定装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータ装置の記憶装置（記憶媒体）に格納してもよい。そして、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコードあるいは記憶媒体によって構成される。
【００９５】
また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
【００９６】
以上、上述した各実施の形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した各実施の形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【００９７】
この出願は、２０１４年３月２８日に出願された日本出願特願２０１４−６７３５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００９８】
１    多言語文書類似度学習装置
２    多言語文書類似度判定装置
１１    多言語行列記憶部
１２    単語ベクトル取得部
１３    意味ベクトル作成部
１４    類似度計算部
１５    多言語行列学習部
２６    類似度判定部
１００１    ＣＰＵ
１００２    ＲＡＭ
１００３    ＲＯＭ
１００４    記憶装置
１００５    入力装置
１００６    出力装置
【図１】
2015145981.tif 000010
【図２】
2015145981.tif 000011
【図３】
2015145981.tif 000012
【図４】
2015145981.tif 000013
【図５】
2015145981.tif 000014
【手続補正書】
【提出日】平成28年9月21日(2016.9.21)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、本発明の多言語文書類似度学習プログラムは、対象言語毎に保持される行列を用いて、文書に対応する単語ベクトルを取得する単語ベクトル取得ステップと、前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成ステップと、文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算ステップと、前記対象言語のいずれかでそれぞれが記述された文書の集合において、対訳関係にある文書の組の前記類似度が、対訳関係にない文書の組の前記類似度より高くなるように、前記各対象言語に対応する前記行列の値を調整して学習する多言語行列学習ステップと、をコンピュータ装置に実行させる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、本発明の他の多言語文書類似度学習プログラムは、上述の多言語文書類似度学習プログラムの実行により学習された前記対象言語毎の前記行列を用いて、文書に対応する単語ベクトルを取得する単語ベクトル取得ステップと、前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成ステップと、文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算ステップと、類似度判定対象の文書の集合において、前記類似度を用いて文書間の類似度を判定する類似度判定ステップと、をコンピュータ装置に実行させる。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象言語毎に行列を保持する多言語行列記憶手段と、
文書に対応する単語ベクトルを取得する単語ベクトル取得手段と、
前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成手段と、
文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算手段と、
前記対象言語のいずれかでそれぞれが記述された文書の集合において、対訳関係にある文書の組の前記類似度が、対訳関係にない文書の組の前記類似度より高くなるように、前記各対象言語に対応する前記行列の値を調整して学習する多言語行列学習手段と、
を備えた多言語文書類似度学習装置。
【請求項２】
前記多言語行列学習手段は、前記各対象言語に対応する前記行列の学習を並列して行うことを特徴とする請求項１に記載の多言語文書類似度学習装置。
【請求項３】
前記多言語行列記憶手段は、前記対象言語毎の行列として、行または列の数が互いに等しい行列を保持し、
前記意味ベクトル作成手段は、前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列の積を、前記文書の意味ベクトルとして作成し、
前記類似度計算手段は、前記文書の組について、各文書の前記意味ベクトルの内積を、前記類似度として計算することを特徴とする請求項１または請求項２に記載の多言語文書類似度学習装置。
【請求項４】
前記多言語行列学習手段は、前記対訳関係にある文書の組の前記類似度が、該対訳関係にある文書の組の一方の文書と、該文書に対して対訳関係にない他の文書との前記類似度より高くなるように、前記各行列の学習を行うことを特徴とする請求項１から請求項３のいずれか１項に記載の多言語文書類似度学習装置。
【請求項５】
前記多言語行列学習手段は、前記対訳関係にある文書の組の前記類似度が、前記対訳関係にない文書の組の前記類似度より高くなるように、確率的最急勾配法を用いて前記各行列を学習し、確率的最急勾配法のステップごとに、前記対訳関係にある文書の組および前記対訳関係にない文書の組を前記文書の集合からランダムに選択することを特徴とする請求項１から請求項４のいずれか１項に記載の多言語文書類似度学習装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の多言語文書類似度学習装置を用いて学習された前記対象言語毎の前記行列を保持する多言語行列記憶手段と、
文書に対応する単語ベクトルを取得する単語ベクトル取得手段と、
前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成手段と、
文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算手段と、
類似度判定対象の文書の集合において、前記類似度を用いて文書間の類似度を判定する類似度判定手段と、
を備えた多言語文書類似度判定装置。
【請求項７】
対象言語毎に保持される行列を用いて、文書に対応する単語ベクトル、および、前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成し、文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算することにより、
対象言語のいずれかでそれぞれが記述された文書の集合において、対訳関係にある文書の組の前記類似度が、対訳関係にない文書の組の前記類似度より高くなるように、前記各対象言語に対応する前記行列の値を調整して学習する、多言語文書類似度学習方法。
【請求項８】
請求項７に記載の多言語文書類似度学習方法により学習された前記対象言語毎の前記行列を用いて、文書に対応する単語ベクトル、および、前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成し、文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算することにより、
類似度判定対象の文書の集合において、前記類似度を用いて文書間の類似度を判定する、多言語文書類似度判定方法。
【請求項９】
対象言語毎に保持される行列を用いて、
文書に対応する単語ベクトルを取得する単語ベクトル取得ステップと、
前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成ステップと、
文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算ステップと、
前記対象言語のいずれかでそれぞれが記述された文書の集合において、対訳関係にある文書の組の前記類似度が、対訳関係にない文書の組の前記類似度より高くなるように、前記各対象言語に対応する前記行列の値を調整して学習する多言語行列学習ステップと、
をコンピュータ装置に実行させる多言語文書類似度学習プログラム。
【請求項１０】
請求項９に記載の多言語文書類似度学習プログラムの実行により学習された前記対象言語毎の前記行列を用いて、
文書に対応する単語ベクトルを取得する単語ベクトル取得ステップと、
前記文書の単語ベクトルおよび前記文書の記述言語に対応する前記行列に基づいて、前記文書の意味ベクトルを作成する意味ベクトル作成ステップと、
文書の組について、各文書の前記意味ベクトルに基づいて類似度を計算する類似度計算ステップと、
類似度判定対象の文書の集合において、前記類似度を用いて文書間の類似度を判定する類似度判定ステップと、
をコンピュータ装置に実行させる多言語文書類似度判定プログラム。
【国際調査報告】
2015145981.tif 000015
2015145981.tif 000016
2015145981.tif 000017