(57)【特許請求の範囲】
【請求項１】
入力された文書を単語列に分解する単語検索手段と、
前記入力された文書に対して単語辞書に基づいて単語列に分解する手段と、
単語列の単語頻度を計数し、前記入力された文書の前記単語辞書による単語頻度のベクトル（「第１のベクトル」という）を生成する手段と、
前記生成された第１のベクトルと、予め記憶されている文書の前記単語辞書による第１のベクトルとを比較し第１の類似度を計算する手段と、
前記分解された単語の配列を文書パタンとする手段と、
文書の意味情報を抽出するためのパタン辞書のパタンに基づいて、文書パタンを走査し、パタンおよび単語の配列に分解する手段と、
パタンおよび単語の配列のパタン頻度を計数し、前記入力された文書の前記パタン辞書によるパタンおよび単語の配列パタン頻度のベクトル（「第２のベクトル」という）を生成する手段と、
前記生成された第２のベクトルと、予め記憶されている文書の前記パタン辞書による第２のベクトルとを比較し第２の類似度を計算する手段と、
前記第１の類似度と前記第２の類似度を単純積や重み付け和により統合して１つの類似度として出力する手段と、
を含む、ことを特徴とする文書間類似度計算装置。
【請求項２】
単語辞書を記憶する単語辞書記憶手段と、
記憶された文書の前記単語辞書による単語頻度のベクトル（「第１のベクトル」という）を記憶する第１のベクトル記憶手段と、
文書の意味情報を抽出するためのパタン辞書を記憶するパタン辞書記憶手段と、
記憶された文書の前記パタン辞書によるパタンおよび単語の配列パタン頻度のベクトル（「第２のベクトル」という）を記憶する第２のベクトル記憶手段と、
文書を入力する文書入力手段と、
前記単語辞書記憶手段に記憶されている単語情報に基づいて、前記文書入力手段から入力された文書を単語列に分解する単語検索手段と、
分解された単語列の単語頻度を計数し、前記入力された文書の第１のベクトルを生成する第１のベクトル生成手段と、
前記第１のベクトル生成手段で生成された第１のベクトルと前記第１のベクトル記憶手段に記憶されている第１のベクトルとを比較し、その類似度を計算する第１の類似度計算手段と、
前記単語検索手段により分解された単語の配列を文書パタンとする文書パタン生成手段と、
前記パタン辞書記憶手段に記憶されているパタンにより、文書パタンを走査し、パタンおよび単語の配列に分解するパタン検索手段と、
パタンおよび単語の配列のパタン頻度を計数し、前記入力された文書の第２のベクトルを生成する第２のベクトル生成手段と、
前記第２のベクトル生成手段で生成された第２のベクトルと前記第２のベクトル記憶手段に記憶されている第２のベクトルとを比較し、その類似度を計算する第２の類似度計算手段と、
前記第１の類似度計算手段から出力される類似度と前記第２の類似度計算手段から出力される類似度を単純積や重み付け和により統合して１つの類似度として出力する類似度統合手段と、
前記類似度統合手段から出力された類似度を出力する手段と、
を備えたことを特徴とする文書間類似度計算装置。
【請求項３】
単語辞書を記憶する単語辞書記憶手段と、
記憶された文書の前記単語辞書による単語頻度のベクトル（「第１のベクトル」という）を記憶する第１のベクトル記憶手段と、
文書の意味情報を抽出するための第１のパタン辞書を記憶する第１のパタン辞書記憶手段と、
記憶された文書の前記第１のパタン辞書によるパタンおよび単語の配列パタン頻度のベクトル（「第２のベクトル」という）を記憶する第２のベクトル記憶手段と、
文書の意味情報を抽出するための第２のパタン辞書を記憶する第２のパタン辞書記憶手段と、
記憶された文書の前記第２のパタン辞書によるパタンの頻度ベクトル（「第３のベクトル」という）を記憶する第３のベクトル記憶手段と、
文書を入力する文書入力手段と、
前記単語辞書記憶手段に記憶されている単語情報に基づいて、前記文書入力手段から入力された文書を単語列に分解する単語検索手段と、
分解された単語列の単語頻度を計数し、入力された文書の前記単語辞書による第１のベクトルを生成する第１のベクトル生成手段と、
前記第１のベクトル生成手段で生成された第１のベクトルと前記第１のベクトル記憶手段に記憶された第１のベクトルとを比較し、その類似度を計算する第１の類似度計算手段と、
前記単語検索手段により分解された単語の配列を文書パタンとする文書パタン生成手段と、
前記第１のパタン辞書記憶手段に記憶されているパタンにより、文書パタンを走査し、パタンおよび単語の配列に分解する第１のパタン検索手段と、
パタンおよび単語の配列のパタン頻度を計数し、前記入力された文書の前記第１のパタン辞書による第２のベクトルを生成する第２のベクトル生成手段と、
前記第２のベクトル生成手段で生成された第２のベクトルと前記第２のベクトル記憶手段に記憶された第２のベクトルとを比較し、その類似度を計算する第２の類似度計算手段と、
前記第２のパタン辞書記憶手段に記憶されているパタンにより、文書パタンを走査し、パタンおよび単語の配列に分解する第２のパタン検索手段と、
パタンおよび単語の配列のパタン頻度を計数し、前記入力された文書の前記第２のパタン辞書による第３のベクトルを生成する第３のベクトル生成手段と、
前記第３のベクトル生成手段で生成された第３のベクトルと前記第３のベクトル記憶手段に記憶された第３のベクトルとを比較し、その類似度を計算する第３の類似度計算手段と、
前記第１乃至第３の類似度計算手段からそれぞれ出力される類似度を単純積や重み付け和により統合して１つの類似度として出力する類似度統合手段と、
前記類似度統合手段から出力された類似度を出力する手段と、
を備えたことを特徴とする文書間類似度計算装置。
【請求項４】
単語辞書を記憶する単語辞書記憶手段と、
記憶された文書の前記単語辞書による単語頻度のベクトル（「第１のベクトル」という
）を記憶する第１のベクトル記憶手段と、
文書の意味情報を抽出するためのパタン辞書を記憶するパタン辞書記憶手段と、
記憶された文書の前記パタン辞書によるパタンおよび単語の配列パタン頻度のベクトル（「第２のベクトル」という）を記憶する第２のベクトル記憶手段と、
を含む情報処理装置による文書間類似度計算方法であって、
文書入力手段から文書を入力する第１のステップと、
前記単語辞書記憶手段に記憶されている単語情報を検索し、前記文書入力手段から入力された文書を単語列に置き換える第２のステップと、
単語の頻度を計数し、前記入力された文書に対する単語辞書による第１のベクトルを生成する第３のステップと、
生成された第１のベクトルと、前記第１のベクトル記憶手段に予め記憶されており前記第１のベクトル記憶手段から読み出された第１のベクトルとの間で、第１の類似度の計算を行なう第４のステップと、
単語列を文書パタンとみなし、該文書パタンに対して、前記パタン辞書記憶手段に記憶されているパタン辞書を用いてパタン検索を行ない文書をパタン列に置き換える第５のステップと、
パタンの頻度を計数し、前記入力された文書に対するパタン辞書による第２のベクトルを生成する第６のステップと、
生成された第２のベクトルと、前記第２のベクトル記憶手段に予め記憶されており前記第２のベクトル記憶手段から読み出された前記パタン辞書による第２のベクトルとの間で第２の類似度の計算を行なう第７のステップと、
前記第１の類似度と前記第２の類似度の統合類似度を単純積や重み付け和により計算して出力する第８のステップと、
を含む、ことを特徴とする文書間類似度計算方法。
【請求項５】
単語辞書を記憶する単語辞書記憶手段と、
記憶された文書の前記単語辞書による単語頻度のベクトル（「第１のベクトル」という）を記憶する第１のベクトル記憶手段と、
文書の意味情報を抽出するためのパタン辞書を記憶するパタン辞書記憶手段と、
記憶された文書の前記パタン辞書によるパタンおよび単語の配列パタン頻度のベクトル（「第２のベクトル」という）を記憶する第２のベクトル記憶手段と、
文書の意味情報を抽出するための第２のパタン辞書を記憶する第２のパタン辞書記憶手段と、
記憶された文書の前記第２のパタン辞書によるパタンの頻度ベクトル（「第３のベクトル」という）を記憶する第３のベクトル記憶手段と、
を含む情報処理装置による文書間類似度計算方法であって、
文書入力手段から文書を入力する第１のステップと、
前記単語辞書記憶手段に記憶されている単語情報を検索し、前記文書入力手段から入力された文書を単語列に置き換える第２のステップと、
単語の頻度を計数し、前記入力された文書に対する単語辞書による第１のベクトルを生成する第３のステップと、
生成された第１のベクトルと、前記第１のベクトル記憶手段に予め記憶されており前記第１のベクトル記憶手段から読み出された第１のベクトルとの間で、第１の類似度計算を行なう第４のステップと、
単語列を文書パタンとみなし、該文書パタンに対して、前記第１のパタン辞書記憶手段に予め記憶されている第１のパタン辞書を利用してパタン検索を行ない、文書をパタン列に置き換える第５のステップと、
パタンの頻度を計数し第２のベクトルを生成する第６のステップと、
生成された第２のベクトルと、前記第２のベクトル記憶手段に予め記憶されており前記第２のベクトル記憶手段から読み出された第２のベクトルとの間で、第２の類似度計算を行なう第７のステップと、
文書パタンに対して第２のパタン辞書を利用してパタン検索を行ない文書をパタン列に置き換える第８のステップと、
パタンの頻度を計数し前記第２のパタン辞書による第３のベクトルを生成する第９のステップと、
生成された第３のベクトルと、前記第３のベクトル記憶手段に予め記憶されており前記第３のベクトル記憶手段から読み出された第３のベクトルとの間で第３の類似度計算を行なう第１０のステップと、
前記第１乃至第３の類似度の統合類似度を単純積や重み付け和により計算して出力する第１１のステップと、
を含む、ことを特徴とする文書間類似度計算方法。
【請求項６】
単語辞書を記憶する単語辞書記憶手段と、
記憶された文書の前記単語辞書による単語頻度のベクトル（「第１のベクトル」という）を記憶する第１のベクトル記憶手段と、
文書の意味情報を抽出するためのパタン辞書を記憶するパタン辞書記憶手段と、
記憶された文書の前記パタン辞書によるパタンおよび単語の配列パタン頻度のベクトル（「第２のベクトル」という）を記憶する第２のベクトル記憶手段と、
を備えた記憶装置と、
文書を入力する入力装置と、
類似度を出力する出力装置と、
プログラム制御されるデータ処理装置と、を備えた情報処理装置において、
（ａ）前記単語辞書記憶手段に記憶されている単語情報に基づいて、入力された文書を単語列に分解する単語検索処理と、
（ｂ）分解された単語列の単語頻度を計数し、入力された文書の単語辞書による第１のベクトルを生成する第１のベクトル生成処理と、
（ｃ）前記第１のベクトル生成処理で生成された第１のベクトルと前記第１のベクトル記憶手段に記憶されている第１のベクトルとを比較し、その類似度を計算する第１の類似度計算処理と、
（ｄ）前記単語検索処理により分解された単語の配列を文書パタンとする文書パタン生成処理と、
（ｅ）前記パタン辞書記憶手段に記憶されているパタンにより、文書パタンを走査し、パタンおよび単語の配列に分解するパタン検索処理と、
（ｆ）パタンおよび単語の配列のパタン頻度を計数し、前記入力された文書の前記パタン辞書による第２のベクトルを生成する第２のベクトル生成処理と、
（ｇ）前記第２のベクトル生成処理で生成された第２のベクトルと前記第２のベクトル記憶手段に記憶された第２のベクトルとを比較し、その類似度を計算する第２の類似度計算処理と、
（ｈ）前記第１の類似度計算処理から出力される類似度と前記第２の類似度計算処理から出力される類似度を単純積や重み付け和により統合して１つの類似度として出力する類似度統合処理と、
の前記（ａ）乃至（ｈ）の各処理を前記データ処理装置に実行させるためのプログラムを記録した記録媒体。
【請求項７】
単語辞書を記憶する単語辞書記憶手段と、
記憶された文書の前記単語辞書による単語頻度のベクトル（「第１のベクトル」という）を記憶する第１のベクトル記憶手段と、
文書の意味情報を抽出するためのパタン辞書を記憶するパタン辞書記憶手段と、
記憶された文書の前記パタン辞書によるパタンおよび単語の配列パタン頻度のベクトル（「第２のベクトル」という）を記憶する第２のベクトル記憶手段と、
文書の意味情報を抽出するための第２のパタン辞書を記憶する第２のパタン辞書記憶手段と、
記憶された文書の前記第２のパタン辞書によるパタンの頻度ベクトル（「第３のベクトル」という）を記憶する第３のベクトル記憶手段と、
を備えた記憶装置と、
文書を入力する入力装置と、
類似度を出力する出力装置と、
プログラム制御されるデータ処理装置と、を備えた情報処理装置において、
（ａ）前記単語辞書記憶手段に記憶されている単語情報に基づいてより、入力された文書を単語列に分解する単語検索処理と、
（ｂ）分解された単語列の単語頻度を計数し、入力された文書の単語辞書によるベクトルを生成する第１のベクトル生成処理と、
（ｃ）前記第１のベクトル生成処理で生成された第１のベクトルと前記第１のベクトル記憶手段に記憶されている第１のベクトルとを比較し、その類似度を計算する第１の類似度計算処理と、
（ｄ）前記単語検索処理により分解された単語の配列を文書パタンとする文書パタン生成処理と、
（ｅ）前記第１のパタン辞書記憶手段に記憶されたパタンにより、文書パタンを走査し、パタンおよび単語の配列に分解する第１のパタン検索処理と、
（ｆ）パタンおよび単語の配列のパタン頻度を計数し、前記入力された文書の前記第１のパタン辞書による第２のベクトルを生成する第２のベクトル生成処理と、
（ｇ）前記第２のベクトル生成処理で生成された第２のベクトルと前記第２のベクトル記憶手段に記憶されている第２のベクトルとを比較し、その類似度を計算する第２の類似度計算処理と、
（ｈ）前記第２のパタン辞書記憶手段に記憶されているパタンにより、文書パタンを走査し、パタンおよび単語の配列に分解する第２のパタン検索処理と、
（ｉ）パタンおよび単語の配列のパタン頻度を計数し、前記入力された文書の前記第２のパタン辞書による第３のベクトルを生成する第３のベクトル生成処理と、
（ｊ）前記第３のベクトル生成処理で生成された第３のベクトルと前記第３のベクトル記憶手段に記憶されている第３のベクトルとを比較し、その類似度を計算する第３の類似度計算処理と、
（ｋ）前記第１乃至第３の類似度計算処理からそれぞれ出力される類似度を統合して単純積や重み付け和により１つの類似度として出力する類似度統合処理と、
の前記（ａ）乃至（ｋ）の各処理を前記データ処理装置に実行させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は類似度計算技術に関し、特に、検索や分類に利用して好適とされる類似文書検索システム、類似文書検索方法および類似文書検索用プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
情報検索の分野における従来の類似文書検索方法として、例えば、文献１(G.Salton,M.McGill, Introduction to Modern Information Retrieval, NewYork, McGraw-Hill, 1983)に記載されているように、文書における単語の出現頻度を基に、文書の距離あるいは類似度を計算する方法が知られている。この従来の類似文書検索方法においては、各文書における単語の頻度ベクトルを求め、各々のベクトルに、ＴＦ・ＩＤＦと呼ばれる重み付けを行ない、二つのベクトルのなす角度のコサイン値（cosθ＝（x・y）/｜x｜｜y｜、但し、（ｘ・ｙ）は二つのベクトルｘ、ｙの内積、｜x｜、｜y｜は絶対値）を文書間の類似度とする。ＴＦ・ＩＤＦ法において、単語の重要度は、出現頻度ｔｆと、出現件数ｄｆの逆数ｉｄｆを用いて定義され、カテゴリCiにおける単語tkの重要度（重み）W(tk，Ci)は、W(tk，Ci)＝tf(tk，Ci)log（Li／df(tk，Ci)+1）と表され、tf(tk，Ci)はカテゴリCiにおける単語ｔｋの出現頻度、df(tk，Ci)は、カテゴリCiにおける単語tkの出現件数、LiはカテゴリCiにおける総テキスト件数を表している。
【０００３】
また例えば特開平１１−１３４３５９号公報等には、２つの文書の類似度を計算するにあたり、入力された２組の文書及び概要の形態素解析を行って単語を抽出し、概要に含まれる単語に重み付けして、それぞれの文書に含まれる単語に基づいて２つの文書の類似度を計算するようにした方法が提案されている。
【０００４】
【発明が解決しようとする課題】
しなしながら、上記した従来の方法は下記記載の問題点を有している。
【０００５】
第１の問題点は、文書間の類似度の精度が低い、ということである。
【０００６】
その理由は、単語ベクトルを基準とした浅い意味処理しか行なっていないためである。
【０００７】
第２の問題点は、複合語の扱いが難かしい、ということである。
【０００８】
その理由は、文書を一つのベクトルで表現しようとしたためである。
【０００９】
したがって、本発明は、上記問題点に鑑みてなされたものであって、その目的は、より深い意味処理ができる類似文書検索システム及び方法並びに記録媒体を提供することにある。
【００１０】
本発明の他の目的は、複合語や連語の扱いが容易な類似文書検索システム及び方法並びに記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】
前記目的を達成する本発明の類似検索システムは、単語辞書に基づく第１の類似度計算手段と、パタン辞書に基づく第２の類似度計算手段と、２つの類似度から１つの類似度を計算する手段とを備えている。
【００１２】
また本発明は、単語辞書に基づく第１の類似度計算手段と、第１のパタン辞書に基づく第２の類似度計算手段と、第２のパタン辞書に基づく第３の類似度計算手段と、３つの類似度から１つの類似度を計算するよう手段と、を備えている。
【００１３】
【発明の実施の形態】
本発明の実施の形態について説明する。本発明の装置は、その好ましい一実施の形態において、図１を参照すると、記憶された文書の単語辞書による第１のベクトルを記憶する第１のベクトル記憶手段（３１）と、単語辞書を記憶する単語辞書記憶手段（３２）と、記憶された文書のパタン辞書による第２のベクトルを記憶する第２のベクトル記憶手段（３３）と、パタン辞書を記憶するパタン辞書記憶手段（３４）と、を記憶装置（３）が備え、文書を入力する文書入力手段（１）を備え、データ処理装置が、前記単語辞書記憶手段（３４）に記憶された単語により、入力された文書を単語列に分解する単語検索手段（２１）と、分解された単語列の単語頻度を計数し、入力された文書の単語辞書による第１のベクトルを生成する第１のベクトル生成手段（２２）と、前記第１のベクトル生成手段（２２）で生成された第１のベクトルと前記第１のベクトル記憶手段（３１）に記憶された第１のベクトルとを比較し、その類似度を計算する第１の類似度計算手段（２３）と、前記単語検索手段（２１）により分解された単語の配列を文書パタンとする文書パタン生成手段（２４）と、前記パタン辞書記憶手段（３４）に記憶されたパタンにより、文書パタンを走査し、パタンおよび単語の配列に分解するパタン検索手段（２５）と、パタンおよび単語の配列のパタン頻度を計数し、前記入力された文書の前記パタン辞書による第２のベクトルを生成する第２のベクトル生成手段（２６）と、第２のベクトル生成手段（２６）で生成された第２のベクトルと前記第２のベクトル記憶手段（３３）に記憶された第２のベクトルとを比較し、その類似度を計算する第２の類似度計算手段（２７）と、第１の類似度計算手段（２３）の出力と第２の類似度計算手段（２７）の出力を統合して１つの類似度として出力する類似度統合手段（２０）と、を備え、さらに、類似度統合手段（２０）から出力された類似度を出力する手段（４）を備えている。
【００１４】
本発明は、別の実施の形態において、図３を参照すると、記憶装置（３）が、記憶された文書の単語辞書による第１のベクトルを記憶する第１のベクトル記憶手段（３１）と、単語辞書を記憶する単語辞書記憶手段（３２）と、記憶された文書のパタン辞書による第２のベクトルを記憶する第２のベクトル記憶手段（３３）と、第１のパタン辞書を記憶するパタン辞書記憶手段（３４）と、記憶された文書の第２のパタン辞書による第３のベクトルを記憶する第３のベクトル記憶手段（３５）と、第２のパタン辞書を記憶する第２のパタン辞書記憶手段（３６）と、をさらに備え、データ処理装置が、前記単語辞書記憶手段に記憶された単語により、入力された文書を単語列に分解する単語検索手段（２１）と、分解された単語列の単語頻度を計数し、入力された文書の単語辞書によるベクトルを生成する第１のベクトル生成手段（２２）と、前記第１のベクトル生成手段（２２）で生成された第１のベクトルと前記第１のベクトル記憶手段（３１）に記憶された第１のベクトルとを比較し、その類似度を計算する第１の類似度計算手段（２３）と、前記単語検索手段（２１）により分解された単語の配列を文書パタンとする文書パタン生成手段（２４）と、第１のパタン辞書記憶手段（３４）に記憶されたパタンにより、文書パタンを走査し、パタンおよび単語の配列に分解する第１のパタン検索手段（２５）と、パタンおよび単語の配列のパタン頻度を計数し、前記入力された文書の前記第１のパタン辞書による第２のベクトルを生成する第２のベクトル生成手段（２６）と、第２のベクトル生成手段（２６）で生成された第２のベクトルと前記第２のベクトル記憶手段（３３）に記憶された第２のベクトルとを比較し、その類似度を計算する第２の類似度計算手段（２７）と、第２のパタン辞書記憶手段（３６）に記憶されたパタンにより、文書パタンを走査し、パタンおよび単語の配列に分解する第２のパタン検索手段（２８）と、パタンおよび単語の配列のパタン頻度を計数し、前記入力された文書の前記第２のパタン辞書による第３のベクトルを生成する第３のベクトル生成手段（２９）と、第３のベクトル生成手段（２９）で生成された第３のベクトルと第３のベクトル記憶手段（３５）に記憶された第３のベクトルとを比較し、その類似度を計算する第３の類似度計算手段（２Ａ）と、第１乃至第３の類似度計算手段の出力を統合して１つの類似度として出力する類似度統合手段（２０）と、を備えている。
【００１５】
本発明の実施の形態において、データ処理装置が具備する各手段は、データ処理装置で実行されるプログラムによりその処理・機能が実現される。この場合、該プログラムを記録した記録媒体から所定の読み出し装置を介してデータ処理装置の主記憶に実行形式のプログラムをロードして実行することで、本発明を実施することができる。
【００１６】
【実施例】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の実施例について図面を参照して詳細に説明する。図１は、本発明の第１の実施例の構成を示す図である。図１を参照すると、本発明の第１の実施例は、文書入力手段１と、プログラム制御により動作するデータ処理装置２と、記憶装置３と、類似度出力手段４と、を備えている。
【００１７】
データ処理装置２は、図１を参照すると、類似度統合手段２０と、単語検索手段２１と、第１のベクトル生成手段２２と、第１の類似度計算手段２３と、文書パタン生成手段２４と、パタン検索手段２５と、第２のベクトル生成手段２６と、第２の類似度計算手段２７とを含む。
【００１８】
記憶装置３は、第１のベクトル記憶手段３１と、単語辞書記憶手段３２と、第２のベクトル記憶手段３３と、パタン辞書記憶手段３４とを含む。
【００１９】
これらの手段はそれぞれ概略つぎのように動作する。
【００２０】
文書入力手段１は、文書をデータ処理装置２に入力する。
【００２１】
類似度出力手段４は、記憶された文書と入力された文書の類似度を出力する。
【００２２】
類似度統合手段２０は、第１の類似度計算手段２３の出力と、第２の類似度計算手段２７の出力を統合して１つの類似度として出力する。
【００２３】
単語検索手段２１は、単語辞書記憶手段３２に記憶された単語により入力された文書を単語列に分解する。
【００２４】
第１のベクトル生成手段２２は、分解された単語列の単語頻度を計数し、入力された文書の単語辞書によるベクトルを生成する。
【００２５】
第１の類似度計算手段２３は、第１のベクトル生成手段２２で生成されたベクトルと第１のベクトル記憶手段３１に記憶されたベクトルを比較し、その類似度を計算する。
【００２６】
文書パタン生成手段２４は、単語検索手段２１により分解された単語の配列を文書パタンとする。
【００２７】
パタン検索手段２５は、パタン辞書記憶手段３４に記憶されたパタンにより、文書パタンを走査し、パタンおよび単語の配列に分解する。
【００２８】
第２のベクトル生成手段２６は、パタンおよび単語の配列のパタン頻度を計数し、入力された文書のパタン辞書によるベクトルを生成する。
【００２９】
第２の類似度計算手段２７は、第２のベクトル生成手段２６で生成されたベクトルと第２のベクトル記憶手段３３に記憶されたベクトルを比較し、その類似度を計算する。
【００３０】
第１のベクトル記憶手段３１は、記憶された文書の単語辞書によるベクトルを記憶する。
【００３１】
単語辞書記憶手段３２は、単語検索手段２１で利用する単語辞書を記憶する。
【００３２】
第２のベクトル記憶手段３３は、記憶された文書のパタン辞書によるベクトルを記憶する。
【００３３】
パタン辞書記憶手段３４は、パタン検索手段２５で利用するパタン辞書を記憶する。
【００３４】
次に図２は、本発明の第１の実施例の処理手順を示す流れ図である。図１及び図２を参照して、本発明の第１の実施例の全体の動作について詳細に説明する。
【００３５】
まず、文書をデータ処理装置２に入力する（図２のステップＳ１）。
【００３６】
次に、単語検索を行ない文書を単語列に置き換える（ステップＳ２）。
【００３７】
さらに、単語の頻度を計数し第１のベクトルを生成する（ステップＳ３）。
【００３８】
さらに、生成されたベクトルと第１のベクトル記憶手段３１に記憶されたベクトルとの間で、第１の類似度の計算を行なう（ステップＳ４）。
【００３９】
次に、単語列を文書パタンとみなし（ステップＳ５）、文書パタンに対してパタン検索を行ない文書をパタン列に置き換える（ステップＳ６）。
【００４０】
パタンの頻度を計数し第２のベクトルを生成する（ステップＳ７）。
【００４１】
生成されたベクトルと第２のベクトル記憶手段３３に記憶されたベクトルとの間で、第２の類似度の計算を行なう（ステップＳ８）。
【００４２】
最後に、得られた２つの類似度の統合類似度を計算し、出力する（ステップＳ９）。
【００４３】
次に、本発明の第１の実施例の作用効果について説明する。
【００４４】
本発明の第１の実施例では、意味情報を抽出するためのパタンをパタン辞書として持ち、単語辞書を利用した浅い意味処理による類似度とパタン辞書を利用したより深い意味処理による類似度を同時に有効に利用できるように構成されている。このため、従来の方法よりも深い意味処理ができる。
【００４５】
次に、本発明の第１の実施例について具体例に則して説明する。
【００４６】
図６乃至図８に示すように、「資料を送付してくださいね。」という内容の文書が入力されたとする。、図６の単語辞書により、
「資料」、「を」、「送付」、「して」、「ください」、「ね」、「。」
と分解され、さらに、
「資料」、「を」、「送付」、「する」、「くださる」、「ね」、「。」
と正規形に変換される。
【００４７】
これから単語頻度ベクトル（第１のベクトル）として、
（「資料」1，「を」1，「送付」1，「する」1，「くださる」1，「ね」1，「。」1）
が得られる。これを基に公知のＴＦ・ＩＤＦ法等を用いて類似度が計算される。
【００４８】
次に、図８の文書パタンの例に示されているように、
「資料を送付してくださいね。」という内容の文書（元文書）は、例えば、
「資料を送付してくださいね。＄」
という形（文書パタン例１）に変換される（ただし、＄は文末を表す記号）。
【００４９】
また、「する」、「ね」、「。」などを不要語とする不要語辞書を利用すると、
「資料を送付＊ください＊＄」
という形（文書パタン例２）にも変換される。
【００５０】
このような文書パタンに対して、図７に示すようなパタン辞書を利用すると、「資料送付希望」という形に変換され、これから、ベクトル（第２ベクトル）として、
（「資料」1，「送付希望」1）
が得られる。
【００５１】
このように、複数の抽象度に応じたベクトルを生成することにより、目的に応じた抽象度の表現を選択することができる。
【００５２】
これも、前回同様に、例えば公知のＴＦ・ＩＤＦ法などにより、類似度が計算される。
【００５３】
得られた２つの類似度は、単純積や重み付き和により、一つの類似度に変換され出力される。
【００５４】
なお、本発明の第１の実施例において、得られた類似度を昇順又は降順にソースするようにしてもよい。
【００５５】
次に、本発明の第２の実施例について図面を参照して詳細に説明する。
【００５６】
図３は、本発明の第２の実施例の構成を示す図である。図３を参照すると、本発明の第２の実施例は、文書入力手段１と、プログラム制御により動作するデータ処理装置２と、記憶装置３と、類似度出力手段４とを備えている。
【００５７】
データ処理装置２は、類似度統合手段２０と、単語検索手段２１と、第１のベクトル生成手段２２と、第１の類似度計算手段２３と、文書パタン生成手段２４と、第１のパタン検索手段２５と、第２のベクトル生成手段２６と、第２の類似度計算手段２７と、第２のパタン検索手段２８と、第３のベクトル生成手段２９と、第３の類似度計算手段２Ａとを含む。
【００５８】
記憶装置３は、第１のベクトル記憶手段３１と、単語辞書記憶手段３２と、第２のベクトル記憶手段３３と、第１のパタン辞書記憶手段３４と、第３のベクトル記憶手段３５と、第２のパタン辞書記憶手段３６とを含む。
【００５９】
これらの手段はそれぞれ概略つぎのような機能を有する。
【００６０】
文書入力手段１は、文書をデータ処理装置２に入力する。
【００６１】
類似度出力手段４は、記憶された文書と入力された文書の類似度を出力する。
【００６２】
類似度統合手段２０は、第１の類似度計算手段２３の出力と、第２の類似度計算手段２７の出力を統合して１つの類似度として出力する。
【００６３】
単語検索手段２１は、単語辞書記憶手段３２に記憶された単語により入力された文書を単語列に分解する。
【００６４】
第１のベクトル生成手段２２は、分解された単語列の単語頻度を計数し、入力された文書の単語辞書によるベクトルを生成する。
【００６５】
第１の類似度計算手段２３は、第１のベクトル生成手段２２で生成されたベクトルと第１のベクトル記憶手段３１に記憶されたベクトルとを比較し、その類似度を計算する。
【００６６】
文書パタン生成手段２４は、単語検索手段２１により分解された単語の配列を文書パタンとする。
【００６７】
第１のパタン検索手段２５は、第１のパタン辞書記憶手段３４に記憶されたパタンにより、文書パタンを走査し、パタンおよび単語の配列に分解する。
【００６８】
第２のベクトル生成手段２６は、パタンおよび単語の配列のパタン頻度を計数し、入力された文書のパタン辞書によるベクトルを生成する。
【００６９】
第２の類似度計算手段２７は、第２のベクトル生成手段２６で生成されたベクトルと第２のベクトル記憶手段３３に記憶されたベクトルとを比較し、その類似度を計算する。
【００７０】
第２のパタン検索手段２８は、第２のパタン辞書記憶手段３６に記憶されたパタンにより、文書パタンを走査し、パタンおよび単語の配列に分解する。
【００７１】
第３のベクトル生成手段２９は、パタンおよび単語の配列のパタン頻度を計数し、入力された文書のパタン辞書によるベクトルを生成する。
【００７２】
第３の類似度計算手段２Ａは、第３のベクトル生成手段２９で生成されたベクトルと第３のベクトル記憶手段３５に記憶されたベクトルを比較し、その類似度を計算する。
【００７３】
第１のベクトル記憶手段３１は、記憶された文書の単語辞書によるベクトルを記憶する。
【００７４】
単語辞書記憶手段３２は、単語検索手段２１で利用する単語辞書を記憶する。
【００７５】
第２のベクトル記憶手段３３は、記憶された文書のパタン辞書によるベクトルを記憶する。
【００７６】
パタン辞書記憶手段３４は、パタン検索手段２５で利用するパタン辞書を記憶する。
【００７７】
次に、図４は、本発明の第２の実施例の処理手順を示す流れ図である。図３及び図４を参照して、本発明の第２の実施例の全体の動作について詳細に説明する。なお、図４のステップＳ１〜Ｓ８は、図２に示した処理と実質的に同一である。
【００７８】
まず、文書をデータ処理装置に入力する（図４のステップＳ１）。
【００７９】
次に、単語検索を行ない文書を単語列に置き換える（ステップＳ２）。
【００８０】
さらに、単語の頻度を計数し第１のベクトルを生成する（ステップＳ３）。
【００８１】
さらに、生成されたベクトルと第１のベクトル記憶手段３１に記憶されたベクトルとの間で、第１の類似度計算を行なう（ステップＳ４）。
【００８２】
次に、単語列を文書パタンとみなし（ステップＳ５）、文書パタンに対して第１のパタン辞書を利用してパタン検索を行ない、文書をパタン列に置き換える（ステップＳ６）。
【００８３】
さらに、パタンの頻度を計数し第２のベクトルを生成する（ステップＳ７）。
【００８４】
さらに、生成されたベクトルと第２のベクトル記憶手段３３に記憶されたベクトルとの間で、第２の類似度計算を行なう（ステップＳ８）。
【００８５】
文書パタンに対して第２のパタン辞書を利用してパタン検索を行ない文書をパタン列に置き換える（ステップＳ１０）。
【００８６】
さらに、パタンの頻度を計数し第３のベクトルを生成する（ステップＳ１１）。
【００８７】
さらに、生成された第３のベクトルと第３のベクトル記憶手段３５に記憶されたベクトルとの間で、第３の類似度計算を行なう（ステップＳ１２）。
【００８８】
最後に、得られた２つの類似度の統合類似度を計算し出力する（ステップＳ１３）。
【００８９】
次に、本発明の第２の実施例の作用効果について説明する。
【００９０】
本実施例では、意味情報を抽出するためのパタンをパタン辞書として持ち、単語辞書を利用した浅い意味処理による類似度とパタン辞書を利用したより深い意味処理による類似度を同時に有効に利用できるように構成されているため、従来より深い意味処理ができる。
【００９１】
次に、本発明の第２の実施例について具体例に則して説明する。
【００９２】
図６乃至図８に示すように、「資料を送付してくださいね。」という内容の文書が入力されたとすると、図６の単語辞書により、
「資料」、「を」、「送付」、「して」、「ください」、「ね」、「。」
と分解され、さらに、
「資料」、「を」、「送付」、「する」、「くださる」、「ね」、「。」
と正規形に変換される。
【００９３】
これから単語頻度ベクトルとして、
（「資料」1，「を」1，「送付」1，「する」1，「くださる」1，「ね」1，「。」1）
が得られ、これを基に、例えば公知のＴＦ・ＩＤＦ法などにより、類似度が計算される。
【００９４】
次に、図８の文書パタンの例にあるように、「資料を送付してくださいね。」という内容の文書は、例えば、
「資料を送付してくださいね。＄」
という形に変換される（ただし、＄は文末を表す記号）。
【００９５】
また、「する」「ね」「。」などを不要語とする不要語辞書を利用すると、
「資料を送付＊ください＊＄」
という形にも書ける。
【００９６】
このような文書パタンに対し、図７に示すようなパタン辞書を利用すると、
「資料送付希望」という形に変換され、これからベクトルとして、
（「資料」1，「送付希望」1）
が得られる。
【００９７】
このように、複数の抽象度に応じたベクトルを生成することにより、目的に応じた抽象度の表現を選択できる。そして、前回と同様、例えば公知のＴＦ・ＩＤＦ法などにより類似度が計算される。
【００９８】
同様に、別のパタン辞書を利用すると、別の類似度が計算される。
【００９９】
得られた３つの類似度は、単純積や重み付き和により一つの類似度に変換され出力される。
【０１００】
なお、本発明の第１の実施例において、得られた類似度を昇順又は降順にソースするようにしてもよい。
【０１０１】
次に、本発明の第３の実施例について図面を参照して詳細に説明する。図５は、本発明の第３の実施例の構成を示す図である。図５を参照すると、本発明の第３の実施例は、類似度計算プログラムを記録した記録媒体５を備える。この媒体としては、ＦＤ（フレキシブルディスク）等の磁気ディスク、半導体メモリ、ＣＤ−ＲＯＭ、ＤＶＤ（digital  versatile  disk）、ＭＴその他の記録媒体であってよい。また、データ処理装置２が、通信手段を介して、サーバ装置等他のデータ処理装置の記憶媒体から、類似度計算プログラムをダウンロードすることで本発明を実施するようにしてもよい。
【０１０２】
類似度計算プログラムは、記録媒体５からデータ処理装置２に読み込まれ、コンピュータの動作を制御する。コンピュータは類似度計算プログラムの制御により以下の処理、すなわち、前記した第１の実施例、又は第２の実例におけるデータ処理装置２による処理、すなわち図２、図４の流れ図で規定される処理と同一の処理を実行する。
【０１０３】
すなわち、図１を参照すると、文書入力手段１と、プログラム制御により動作するデータ処理装置２と、記憶装置３と、類似度出力手段４とを備え、データ処理装置２は、類似度統合手段２０と、単語検索手段２１と、第１のベクトル生成手段２２と、第１の類似度計算手段２３と、文書パタン生成手段２４と、パタン検索手段２５と、第２のベクトル生成手段２６と、第２の類似度計算手段２７とを含む。
【０１０４】
記憶装置３は、第１のベクトル記憶手段３１と、単語辞書記憶手段３２と、第２のベクトル記憶手段３３と、パタン辞書記憶手段３４とを含む。
【０１０５】
あるいは、図３を参照すると、文書入力手段１と、プログラム制御により動作するデータ処理装置２と、記憶装置３と、類似度出力手段４とを備え、データ処理装置２は、類似度統合手段２０と、単語検索手段２１と、第１のベクトル生成手段２２と、第１の類似度計算手段２３と、文書パタン生成手段２４と、第１のパタン検索手段２５と、第２のベクトル生成手段２６と、第２の類似度計算手段２７と、第２のパタン検索手段２８と、第３のベクトル生成手段２９と、第３の類似度計算手段２Ａとを含む。
【０１０６】
記憶装置３は、第１のベクトル記憶手段３１と、単語辞書記憶手段３２と、第２のベクトル記憶手段３３と、第１のパタン辞書記憶手段３４と、第３のベクトル記憶手段３５と、第２のパタン辞書記憶手段３６とを含む。
【０１０７】
【発明の効果】
以上説明したように、本発明によれば下記記載の効果を奏する。
【０１０８】
本発明の第１の効果は、従来の方法よりも深い意味処理を行うことができる、ということである。
【０１０９】
その理由は、本発明においては、意味情報を抽出するためのパタンをパタン辞書として備え、単語辞書を利用した浅い意味処理による類似度と、パタン辞書を利用したより深い意味処理による類似度とを同時に有効に利用できるようにしたためである。
【０１１０】
本発明の第２の効果は、複合語や連語の扱いを容易化する、ということである。
【０１１１】
その理由は、本発明においては、パタン辞書にパタンとしてこれらを登録できるためである。
【図面の簡単な説明】
【図１】本発明の第１の実施例の構成を示す示すブ図である。
【図２】本発明の第１の実施例の動作を示す流れ図である。
【図３】本発明の第２の実施例の構成を示す図である。
【図４】本発明の第２の実施例の動作を示す流れ図である。
【図５】本発明の第３の実施例の構成を示す図である。
【図６】本発明の実施例を説明するための図であり、単語辞書の具体例を示す図である。
【図７】本発明の実施例を説明するための図であり、パタン辞書の具体例を示す図である。
【図８】本発明の実施例を説明するための図であり、文書パタンの具体例を示す図である。
【符号の説明】
１  文書入力手段
２  データ処理装置
２０  類似度統合手段
２１  単語検索手段
２２  第１のベクトル生成手段
２３  第１の類似度計算手段
２４  文書パタン生成手段
２５  第１のパタン検索手段
２６  第２のベクトル生成手段
２７  第２の類似度計算手段
２８  第２のパタン検索手段
２９  第３のベクトル生成手段
２Ａ  第３の類似度計算手段
３  記憶装置
３１  第１のベクトル記憶手段
３２  単語辞書記憶手段
３３  第２のベクトル記憶手段
３４  パタン辞書記憶手段
４  類似度出力手段
５  記録媒体
【図１】
0003690216.tif 000002
【図２】
0003690216.tif 000003
【図３】
0003690216.tif 000004
【図４】
0003690216.tif 000005
【図５】
0003690216.tif 000006
【図６】
0003690216.tif 000007
【図７】
0003690216.tif 000008
【図８】
0003690216.tif 000009