(57)【要約】【課題】入力された類似検索用キーワードや類似検索用文書とは異なる自然言語で書かれた検索対象文書に対しても類似検索を可能とする。【解決手段】本発明は、ｎ個（ｎ≧２）の自然言語に対して、予め自然言語毎に単語の概念ベクトルを計算し、単語概念ベースに格納する。検索対象文書群に対して、該検索対象文書が書かれている自然言語に対する単語概念ベースを用いて、予め該検索対象文書の概念ベクトルを計算し、検索対象文書概念ベースに格納する。入力キーが入力された際、それを別の自然言語に翻訳し、翻訳キーを作成し、作成された翻訳キーに対して、各々の自然言語に対する単語概念ベースを用いて、入力文書翻訳概念ベクトルを計算し、入力翻訳概念ベクトルと、各々の自然言語に対する検索対象文書概念ベースの検索対象文書の概念ベクトルとを比較して、類似度を計算する。【選択図】図１
2010009237.tif 000002
【特許請求の範囲】
【請求項１】
入力された検索キーと検索対象文書とで言語が異なる場合における類似度を求める多言語間類似文書検索装置であって、
ｎ個（ｎ≧２）の自然言語に対して、
自然言語毎に単語の概念ベクトルを計算し、単語概念ベース記憶手段に格納する単語概念ベース格納処理手段と、
検索対象文書群に対して、該検索対象文書が書かれている自然言語に対する単語概念ベース記憶手段を用いて、該検索対象文書の概念ベクトルを計算し、検索対象文書概念ベース記憶手段に格納する検索対象文書概念ベース格納処理手段と、
ある自然言語で書かれた検索に用いる単語群あるいは文書（以下、「入力キー」と記す）を別の自然言語に翻訳し、該別の自然言語に翻訳された単語群あるいは文書（以下、「翻訳キー」と記す）を作成する機械翻訳手段と、
入力キーと機械翻訳手段で作成された翻訳キーに対して、各々の自然言語に対する単語概念ベース記憶手段を用いて、入力文書翻訳概念ベクトルを計算する入力文書翻訳概念ベクトル計算手段と、
入力文書翻訳概念ベクトル計算手段で得られた入力翻訳概念ベクトルと、各々の自然言語に対する検索対象文書概念ベース記憶手段の検索対象文書の概念ベクトルとを比較して、類似度を計算する類似度計算手段と、
を有することを特徴とする多言語間類似文書検索装置。
【請求項２】
類似度計算手段で計算された類似度の高い順に検索対象文書を表示する類似文書表示手段を更に有する
請求項１記載の多言語間類似文書検索装置。
【請求項３】
類似文書表示手段は、
入力と異なる自然言語による結果を入力と同じ自然言語に翻訳する翻訳手段を含む
請求項２記載の多言語間類似文書検索装置。
【請求項４】
入力された検索キーと検索対象文書とで言語が異なる場合における類似度を求める多言語間類似文書検索方法であって、
ｎ個（ｎ≧２）の自然言語に対して、
単語概念ベース格納処理手段が、予め自然言語毎に単語の概念ベクトルを計算し、単語概念ベース記憶手段に格納する単語概念ベース格納処理ステップと、
検索対象文書概念ベース格納処理手段が、検索対象文書群に対して、該検索対象文書が書かれている自然言語に対する単語概念ベース記憶手段を用いて、予め該検索対象文書の概念ベクトルを計算し、検索対象文書概念ベース記憶手段に格納する検索対象文書概念ベース格納処理ステップの２ステップにより、単語概念ベースと検索対象概念ベースを予め構築しておき、
ある自然言語で書かれた検索に用いる単語群あるいは文書（以下、「入力キー」と記す）が入力された際に、機械翻訳手段が、該入力キーを別の自然言語に翻訳し、該別の自然言語に翻訳された単語群あるいは文書（以下、「翻訳キー」と記す）を作成する機械翻訳ステップと、
入力文書翻訳概念ベクトル計算手段が、入力キーと機械翻訳ステップで作成された翻訳キーに対して、各々の自然言語に対する単語概念ベース記憶手段を用いて、入力文書翻訳概念ベクトルを計算する入力文書翻訳概念ベクトル計算ステップと、
類似度計算手段が、入力文書翻訳概念ベクトル計算ステップで得られた入力翻訳概念ベクトルと、各々の自然言語に対する検索対象文書概念ベース記憶手段の検索対象文書の概念ベクトルとを比較して、類似度を計算する類似度計算ステップと、
を行うことを特徴とする多言語間類似文書検索方法。
【請求項５】
類似度計算ステップで計算された類似度の高い順に検索対象文書を表示する類似文書表示ステップを更に行う
請求項４記載の多言語間類似文書検索方法。
【請求項６】
類似文書表示ステップにおいて、
入力と異なる自然言語による結果を入力と同じ自然言語に翻訳する翻訳ステップを更に有する
請求項５記載の多言語間類似文書検索方法。
【請求項７】
請求項１乃至３のいずれか１項に記載の多言語間類似文書検索装置を構成する各手段としてコンピュータを機能させるための多言語間類似文書検索プログラム。
【請求項８】
請求項７記載の多言語間類似文書検索プログラムを格納したことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力されたキーワードや文書と類似した検索対象文書を検索することを可能とする類似文書検索技術に係り、特に、入力された類似検索用キーワードや類似検索用文書とは異なる自然言語で書かれた検索対象文書に対しても類似検索を可能とする多言語間類似文書検索装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
言語にまたがる類似検索に関する従来技術には以下のようなものがある。
【０００３】
（１）ある自然言語で記述されたキーワードを類義語展開し、更にそれらの翻訳結果をクエリとして、各々の検索対象文書を検索する。
【０００４】
（２）ある自然言語のテキストコーパスに対して、別の自然言語への対訳によりなる言語対訳コーパスを利用し、両言語の全単語間の共起関係の傾向に基づいて多次元空間中に配置する。この多次元空間中の類似度（距離）によって言語の異なる単語の類似度を計算する（例えば、非特許文献１参照）。この単語間の類似度をもとに多言語間の類似検索を実現する。
【非特許文献１】Masuichi, H., Flournoy, R., Kaufmann, S., and Peters, S., "A Bootstrapping method for Extracting Bilingual Text Pairs", Coling 2000, pp.1066-1070 （2000）.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の技術には、以下のような問題がある。
【０００６】
Ａ：上記の（１）の方法では、言語毎の類似文書は得られるが、それらの間の類似度を計算することができない。
【０００７】
Ｂ：上記の（２）の方法では、言語にまたがる類似度は計算できるが、複数の言語で記述された対訳コーパスを用意しなければならず、コーパスの準備に大きな工数を必要とする。
【０００８】
本発明は、上記の点に鑑みなされたもので、入力された類似検索用キーワードや類似検索用文書とは異なる自然言語で書かれた検索対象文書に対しても類似検索を可能とする多言語間類似文書検索装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
図１は、本発明の原理構成図である。
【００１０】
本発明（請求項１）は、入力された検索キーと検索対象文書とで言語が異なる場合における類似度を求める多言語間類似文書検索装置であって、
ｎ個（ｎ≧２）の自然言語に対して、
自然言語毎に単語の概念ベクトルを計算し、単語概念ベース記憶手段８に格納する単語概念ベース格納処理手段１と、
検索対象文書群に対して、該検索対象文書が書かれている自然言語に対する単語概念ベース記憶手段８を用いて、該検索対象文書の概念ベクトルを計算し、検索対象文書概念ベース記憶手段１０に格納する検索対象文書概念ベース格納処理手段２と、
ある自然言語で書かれた検索に用いる単語群あるいは文書（以下、「入力キー」と記す）１１を別の自然言語に翻訳し、該別の自然言語に翻訳された単語群あるいは文書（以下、「翻訳キー」と記す）を作成する機械翻訳手段３と、
入力キー１１と機械翻訳手段３で作成された翻訳キーに対して、各々の自然言語に対する単語概念ベース記憶手段８を用いて、入力文書翻訳概念ベクトルを計算する入力文書翻訳概念ベクトル計算手段４と、
入力文書翻訳概念ベクトル計算手段４で得られた入力翻訳概念ベクトルと、各々の自然言語に対する検索対象文書概念ベース記憶手段１０の検索対象文書の概念ベクトルとを比較して、類似度を計算する類似度計算手段５と、を有する。
【００１１】
また、本発明（請求項２）は、類似度計算手段５で計算された類似度の高い順に検索対象文書を表示する類似文書表示手段を更に有する。
【００１２】
また、本発明（請求項３）は、類似文書表示手段５において、入力と異なる自然言語による結果を入力と同じ自然言語に翻訳する翻訳手段を含む。
【００１３】
図２は、本発明の原理を説明するための図である。
【００１４】
本発明（請求項４）は、入力された検索キーと検索対象文書とで言語が異なる場合における類似度を求める多言語間類似文書検索方法であって、
ｎ個（ｎ≧２）の自然言語に対して、
単語概念ベース格納処理手段が、予め自然言語毎に単語の概念ベクトルを計算し、単語概念ベース記憶手段に格納する単語概念ベース格納処理ステップ（ステップ１）と、
検索対象文書概念ベース格納処理手段が、検索対象文書群に対して、該検索対象文書が書かれている自然言語に対する単語概念ベース記憶手段を用いて、予め該検索対象文書の概念ベクトルを計算し、検索対象文書概念ベース記憶手段に格納する（ステップ２）検索対象文書概念ベース格納処理ステップの２ステップにより、単語概念ベースと検索対象文書概念ベースを予め構築しておき、
ある自然言語で書かれた検索に用いる単語群あるいは文書（以下、「入力キー」と記す）が入力された際に機械翻訳手段が、該入力キーを別の自然言語に翻訳し、該別の自然言語に翻訳された単語群あるいは文書（以下、「翻訳キー」と記す）を作成する機械翻訳ステップ（ステップ３）と、
入力文書翻訳概念ベクトル計算手段が、入力キーと機械翻訳ステップ（ステップ３）で作成された翻訳キーに対して、各々の自然言語に対する単語概念ベース記憶手段を用いて、入力文書翻訳概念ベクトルを計算する入力文書翻訳概念ベクトル計算ステップ（ステップ４）と、
類似度計算手段が、入力文書翻訳概念ベクトル計算ステップ（ステップ４）で得られた入力文書翻訳概念ベクトルと、各々の自然言語に対する検索対象文書概念ベース記憶手段の検索対象文書の概念ベクトルとを比較して、類似度を計算する類似度計算ステップ（ステップ５）と、を行う。
【００１５】
また、本発明（請求項５）は、類似度計算ステップ（ステップ５）で計算された類似度の高い順に検索対象文書を表示する類似文書表示ステップを更に行う。
【００１６】
また、本発明（請求項６）は、類似文書表示ステップにおいて、入力と異なる自然言語による結果を入力と同じ自然言語に翻訳する翻訳ステップを更に有する。
【００１７】
本発明（請求項７）は、請求項１乃至３のいずれか１項に記載の多言語間類似文書検索装置を構成する各手段としてコンピュータを機能させるための多言語間類似文書検索プログラムである。
【００１８】
本発明（請求項８）は、請求項７記載の多言語間類似文書検索プログラムを格納したコンピュータ読取可能な記録媒体である。
【発明の効果】
【００１９】
上記のように、本発明によれば、以下のような効果が得られる。
【００２０】
Ａ：従来の技術の（１）の方法とは異なり、概念ベクトルに基づく類似度を用いることにより、言語間の類似度を同じ尺度で計算することができる。
【００２１】
Ｂ：従来の技術の（２）のように対訳コーパスではなく、言語毎にコーパスを用意すればよく、コーパスの準備に大きな工数を必要としない。
【発明を実施するための最良の形態】
【００２２】
以下、図面と共に本発明の実施の形態を説明する。
【００２３】
図３は、本発明の一実施の形態における多言語間類似文書検索装置の構成を示す。
【００２４】
同図に示す多言語間類似文書検索装置は、単語概念ベース格納処理部１、検索対象文書概念ベース格納処理部２、機械翻訳部３、入力文書翻訳概念ベクトル計算部４、類似度計算部５、類似文書表示部６、複数の単語概念ベース８、複数の検索対象文書概念ベース１０から構成され、ハードウェア的には、ＣＰＵやメモリから構成される。
【００２５】
単語概念ベース格納処理部１は、ｎ個の自然言語のいずれかで書かれたコーパス７（同図中の"−ｉ"は記述されている自然言語を表す。例えば、"−１"は日本語、"−２"は英語など）をもとに、それぞれの自然言語の単語概念ベクトルを計算して単語概念ベース８に格納する。なお、単語概念ベース格納処理部１に入力されるコーパス７は、データベース形式で格納されているものを、単語概念ベース格納処理部１において読み出すものとする。
【００２６】
検索対象文書概念ベース格納処理部２は、ｎ個の自然言語のいずれかで書かれた検索対象文書９をもとに、それぞれの自然言語の単語概念ベース８を参照して検索対象文書概念ベクトルを計算して検索対象文書概念ベース１０に格納する。なお、入力される検索対象文書９は、データベース形式で格納されているものを、当該検索対象文書概念ベース格納処理部２において読み出すものとする。
【００２７】
機械翻訳部３は、利用者から入力された検索に用いる単語群あるいは文書である入力キー１１を別の自然言語に翻訳し、翻訳キーを作成する。例えば、入力が日本語であった場合、別の自然言語である英語、フランス語などに翻訳し、得られた結果を翻訳キーとするものである。
【００２８】
入力文書翻訳概念ベクトル計算部４は、入力キー１１と機械翻訳部３で得られた入力キー１１に対する翻訳キーに対して、各々の自然言語に対する単語概念ベース８を用いて、入力文書翻訳概念ベクトルを計算する。
【００２９】
類似度計算部５は、入力文書翻訳概念ベクトル計算部４で得られた入力文書翻訳概念ベクトルと、各々の自然言語に対する検索対象文書概念ベース１０とを比較して、類似度を計算する。
【００３０】
類似文書表示部６は、類似度計算部５で計算された類似度の高い順に検索対象文書９を表示する。
【００３１】
単語概念ベース８は、ｎ個の自然言語毎に単語の概念ベクトルを格納する。
【００３２】
検索対象文書９は、ｎ個の自然言語毎の文書である。
【００３３】
検索対象文書概念ベース１０は、ｎ個の自然言語毎に検索対象文書ベクトルを格納する。
【００３４】
上記の構成における動作を以下に説明する。
【００３５】
図４は、本発明の一実施の形態における動作のフローチャートである。
【００３６】
なお、以下の説明では、ｎ個の自然言語に対する単語概念ベース８は事前に構築済みであり、これらを使ってｎ個の自然言語に対する検索対象文書概念ベース１０も構築済みであるとする。
【００３７】
単語概念ベース８、検索対象文書概念ベース１０の構築方法については、特に問わないが、例えば、文献１「Schutze, "Dimensions of Meaning", Proceedings of Supercomputing 92, pp.787-796」、または、文献２「笠原、松澤、石川、"国語辞書を利用した日常語の類似性判別、"情報処理学会論文誌、Vol. 38, No. 7, pp. 1272-1284 （1997）．」に記載の手法により構築することができる。
【００３８】
ステップ１０１）  機械翻訳部３では、ある言語で記述された単語群あるいは文書である入力キー１１を（ｎ−１）個の他の自然言語に翻訳し、翻訳キーを作成する。さらに、入力キーと翻訳キーを入力文書翻訳概念ベクトル計算部４に送る。
【００３９】
ステップ１０２）  入力文書翻訳概念ベクトル計算部４では、入力キー１１と同じ自然言語から構築された単語概念ベース８を用いて、入力キーの概念ベクトルを計算する。
【００４０】
ステップ１０３）  さらに、入力文書概念ベクトル計算部４では、全ての翻訳キーに対して、各々の自然言語と同じ自然言語から構築された単語概念ベース８を用いて翻訳キーの概念ベクトルを計算する。
【００４１】
ステップ１０４）  入力文書翻訳概念ベクトル計算部４では、入力キー及び翻訳キーが単語であるか否かで処理を分ける。
【００４２】
ステップ１０５）  入力キー及び翻訳キーが単語である場合には、得られた概念ベクトルを各々の記述言語に対する入力文書翻訳概念ベクトルとする。
【００４３】
ステップ１０６）  入力キー及び翻訳キーが単語群あるいは文書である場合は、各々の記述言語毎に得られた概念ベクトル群の重心を計算し、各々の記述言語に対する入力文書翻訳概念ベクトルとする。
【００４４】
ステップ１０７）  得られた各々の記述言語に対する入力文書翻訳概念ベクトルを類似度計算部５に送る。類似度計算部５では、ｎ個の自然言語に対する入力文書翻訳概念ベクトルを受け取ることになる。
【００４５】
ステップ１０８）  類似度計算部５は、入力キー１１に対する入力文書翻訳概念ベクトルに対して、対応する自然言語の検索対象文書概念ベース１０中の全ての検索対象文書概念ベクトルとの類似度を計算する。
【００４６】
ステップ１０９）  類似度計算部５は、翻訳キーに対する入力文書翻訳概念ベクトルに対して、各々の自然言語に対応する検索対象文書概念ベース１０中のすべての検索対象文書概念ベクトルとの類似度を計算する。
【００４７】
ステップ１１０）  そして、類似度計算部５では、ステップ１０８とステップ１０９で得られた計算結果を類似文書表示部６に送る。すなわち、ｎ個の自然言語（入力キーの自然言語の翻訳キーの（ｎ−１）個の自然言語）について個々の類似度に応じた計算結果を類似文書表示部６に送る。
【００４８】
ステップ１１１）  類似文書表示部６では、類似度計算部５から送られた計算結果をメモリ（図示せず）に一旦格納し、当該類似度の高い順にソートし、自然言語の種類に関係なく、類似度の高い順に検索対象文書概念ベース１０の概念ベクトルの並べ替えを行う。更に、対応する文書を対応する自然言語で記述された検索対象文書９から引き出し、表示する。
【００４９】
このとき、図５に示すように、類似文書表示部６中に、類似文書機械翻訳部６２を設け、入力と異なる（ｎ−１）個の自然言語による結果に対して機械翻訳を行うことにより、入力と同じ自然言語に変換した後に表示してもよい。
【００５０】
なお、上記の図３に示す多言語間文書検索装置１３の構成要素の動作をプログラムとして構築し、多言語間文書検索装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００５１】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００５２】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００５３】
本発明は、キーワードや文書と類似した文書を検索する類似検索技術、特に、多言語間における類似検索技術に適用可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の一実施の形態における多言語間類似文書検索装置の構成図である。
【図４】本発明の一実施の形態における動作のフローチャートである。
【図５】本発明の一実施の形態における類似文書表示部の構成例である。
【符号の説明】
【００５５】
１  単語概念ベース格納処理手段、単語概念ベース格納処理部
２  検索対象文書概念ベース格納処理手段、検索対象文書概念ベース格納処理部
３  機械翻訳手段、機械翻訳部
４  入力文書翻訳概念ベクトル計算手段、入力文書翻訳概念ベクトル計算部
５  類似度計算手段、類似度計算部
６  類似文書表示部
７  コーパス
８  単語概念ベース記憶手段、単語概念ベース記憶部
９  検索対象文書
１０  検索対象文書概念ベース記憶手段、検索対象文書概念ベース
１１  入力キー
１２  異言語間類似度文書検索結果
１３  多言語間類似文書検索装置
６１  類似文書表示制御部
６２  類似文書機械翻訳部
【図１】
2010009237.tif 000003
【図２】
2010009237.tif 000004
【図３】
2010009237.tif 000005
【図４】
2010009237.tif 000006
【図５】
2010009237.tif 000007