(57)【要約】【課題】テキストデータカテゴリに所属するテキストデータ間でも比較可能なテキストデータ評価値を生成する方法を提供することを目的とする。【解決手段】テキストデータを構成する単語情報を入力する手段を有する単語情報入力部と、前記テキストデータに含まれる任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出する手段と、算出した値を要素値とする正方行列を生成する手段を有するテキストデータ関連度行列算出部と、算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルとを算出する手段を有する固有値分解部と、算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する手段を有するテキストデータ評価値算出部と、算出したテキストデータ評価値を出力する手段を有するテキストデータ評価値出力部とを有する。【選択図】        図１
2004185515.tif 000002
【特許請求の範囲】
【請求項１】
テキストデータを構成する単語情報を入力する手段を有する単語情報入力部と、
前記テキストデータに含まれる任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出する手段と、
算出した値を要素値とする正方行列を生成する手段を有するテキストデータ関連度行列算出部と、
算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルとを算出する手段を有する固有値分解部と、
算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する手段を有するテキストデータ評価値算出部と、
算出したテキストデータ評価値を出力する手段を有するテキストデータ評価値出力部とを有することを特徴とするテキストデータ評価装置。
【請求項２】
テキストデータを構成する単語情報を入力する手段を有する単語情報入力部と、
特定の基準により生成するテキストデータカテゴリへのテキストデータの所属情報を入力する手段を有するテキストデータカテゴリ情報入力部と、
各テキストデータカテゴリ毎に、所属する任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値が要素値となる正方行列を生成する手段を有するテキストデータ関連行列算出部と、
算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルを算出する手段を有する固有値分解部と、
算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する手段を有するテキストデータ評価値算出部と、
算出したテキストデータ評価値を出力する手段を有するテキストデータ評価値出力部とを有することを特徴とするテキストデータ評価装置。
【請求項３】
各テキストデータカテゴリに所属するテキストデータの、該テキストデータ評価値算出部において算出したテキストデータ評価値をもとに、前記各テキストデータカテゴリの評価値を算出する手段を有するテキストデータカテゴリ評価値算出部と、
算出したテキストデータカテゴリ評価値を出力する手段を有するテキストデータカテゴリ評価値出力部とを有することを特徴とする請求項２記載のテキストデータ評価装置。
【請求項４】
複数のテキストデータを入力する手段を有するテキストデータ入力部と、
入力されたテキストデータに対し言語解析を施し、テキストデータを構成する単語情報とテキストデータ全体で固有な単語情報とを抽出する手段を有するテキストデータ解析部と、
抽出したテキストデータの解析情報を適切な形式で記憶する手段を有するテキストデータ解析情報記憶部と、
前記抽出したテキストデータの単語情報をもとにテキストデータ特徴ベクトルを生成する手段を有するテキストデータ特徴ベクトル算出部と、
前記テキストデータ特徴ベクトルを適切な形式で記憶する手段を有するテキストデータ特徴ベクトル記憶部と、
記憶しているテキストデータ特徴ベクトルを入力する手段を有するテキストデータ特徴ベクトル入力部と、
指定される単語情報により１つ以上のテキストデータ特徴ベクトルの特徴次元を同定し、同定した特徴次元を前記テキストデータ特徴ベクトルから削除する手段を有するテキストデータ特徴次元マスク部と、
特徴次元を操作したテキストデータ特徴ベクトルをもとに多変量解析を行い、テキストデータ全体を分割して複数のテキストデータカテゴリを生成する手段を有するテキストデータカテゴリ生成部と、
生成したテキストデータカテゴリについて、少なくともカテゴリに所属するテキストデータに関する情報を含んだテキストデータカテゴリ情報を適切な形式で記憶するテキストデータカテゴリ情報記憶部とを有し、
前記テキストデータ入力部と、
前記テキストデータ特徴次元マスク部と、
前記テキストデータカテゴリ生成部と、
前記テキストデータカテゴリ情報記憶部とを繰り返し実行する手段を有することを特徴とする請求項３記載のテキストデータ評価装置。
【請求項５】
前記テキストデータ特徴ベクトルに対し、特定の変換行列を用いて線形変換を施すことでテキストデータ特徴ベクトルを変換する手段を有するテキストデータ特徴ベクトル変換部を有し、
前記テキストデータカテゴリ生成部は、前記変換したテキストデータ特徴ベクトルを用いることを特徴とする請求項４記載のテキストデータ評価装置。
【請求項６】
前記テキストデータ特徴ベクトル変換部で用いられる変換行列は、前記テキストデータ特徴ベクトルを特異値分解した値により構成することを特徴とする請求項５記載のテキストデータ評価装置。
【請求項７】
前記テキストデータ関連度行列算出部において算出される関連度は、テキストデータを単語情報で構成される集合として表現し、テキストデータ対の積集合の大きさと各テキストデータ集合の大きさとをもとに算出することを特徴とする請求項１または６記載のテキストデータ評価装置。
【請求項８】
テキストデータを構成する単語情報を入力する工程と、
前記テキストデータに含まれる任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値を要素値とする正方行列を生成する工程と、
算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルとを算出する工程と、
算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する工程と、
算出したテキストデータ評価値を出力する工程とを有することを特徴とするテキストデータ評価方法。
【請求項９】
テキストデータを構成する単語情報を入力する工程と、
特定の基準により生成するテキストデータカテゴリへのテキストデータの所属情報を入力する工程と、
各テキストデータカテゴリ毎に、所属する任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値が要素値となる正方行列を生成する工程と、
算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルを算出する工程と、
算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する工程と、
算出したテキストデータ評価値を出力する工程とを有することを特徴とするテキストデータ評価方法。
【請求項１０】
各テキストデータカテゴリに所属するテキストデータの前記各テキストデータの評価値を算出する工程において、
算出したテキストデータ評価値をもとに、該各テキストデータカテゴリの評価値を算出する工程と、
算出したテキストデータカテゴリ評価値を出力する工程とを有することを特徴とする請求項９記載のテキストデータ評価方法。
【請求項１１】
複数のテキストデータを入力する工程と、
入力されたテキストデータに対し言語解析を施し、テキストデータを構成する単語情報とテキストデータ全体で固有な単語情報とを抽出する工程と、
抽出したテキストデータの解析情報を適切な形式で記憶する工程と、
前記抽出したテキストデータの単語情報をもとにテキストデータ特徴ベクトルを生成する工程と、
前記テキストデータ特徴ベクトルを適切な形式で記憶する工程と、
記憶しているテキストデータ特徴ベクトルを入力する工程と、
指定される単語情報により１つ以上のテキストデータ特徴ベクトルの特徴次元を同定し、同定した特徴次元を前記テキストデータ特徴ベクトルから削除する工程と、
特徴次元を操作したテキストデータ特徴ベクトルをもとに、多変量解析を行い、テキストデータ全体を分割して複数のテキストデータカテゴリを生成する工程と、
生成したテキストデータカテゴリについて、少なくともカテゴリに所属するテキストデータに関する情報を含んだテキストデータカテゴリ情報を適切な形式で記憶する工程とを有し、
前記テキストデータを入力する工程と、
前記同定した特徴次元を前記テキストデータ特徴ベクトルから削除する工程と、
前記テキストデータカテゴリを生成する工程と、
前記テキストデータカテゴリ情報を適切な形式で記憶する工程とを繰り返し実行する工程を有することを特徴とする請求項１０記載のテキストデータ評価方法。
【請求項１２】
前記テキストデータ特徴ベクトルに対し特定の変換行列を用いて線形変換を施すことでテキストデータ特徴ベクトルを変換する工程を有し、
前記テキストデータカテゴリを生成する工程は、前記変換したテキストデータ特徴ベクトルを用いることを特徴とする請求項１１記載のテキストデータ評価方法。
【請求項１３】
前記テキストデータ特徴ベクトルを変換する工程で用いられる変換行列は、前記テキストデータ特徴ベクトルを特異値分解した値により構成することを特徴とする請求項１２記載のテキストデータ評価方法。
【請求項１４】
前記算出した値を要素値とする正方行列を生成する工程において算出する関連度は、テキストデータを単語情報で構成される集合として表現し、テキストデータ対の積集合の大きさと各テキストデータ集合の大きさとを基に算出することを特徴とする請求項８または１３記載のテキストデータ評価方法。
【請求項１５】
テキストデータを構成する単語情報を入力する処理と、
前記テキストデータに含まれる任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値を要素値とする正方行列を生成する処理と、
算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルを算出する処理と、
算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する処理と、
算出したテキストデータ評価値を出力する処理とを有することを特徴とするテキストデータ評価プログラム。
【請求項１６】
テキストデータを構成する単語情報を入力する処理と、
特定の基準により生成するテキストデータカテゴリへのテキストデータの所属情報を入力する処理と、
各テキストデータカテゴリ毎に、所属する任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値が要素値となる正方行列を生成する処理と、
算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルを算出する処理と、
算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する処理と、
算出したテキストデータ評価値を出力する処理とを有することを特徴とするテキストデータ評価プログラム。
【請求項１７】
各テキストデータカテゴリに所属するテキストデータの前記各テキストデータの評価値を算出する処理において、
算出したテキストデータ評価値をもとに、該各テキストデータカテゴリの評価値を算出する処理と、
算出したテキストデータカテゴリ評価値を出力する処理とを有することを特徴とする請求項１６記載のテキストデータ評価プログラム。
【請求項１８】
複数のテキストデータを入力する処理と、
入力されたテキストデータに対し言語解析を施し、テキストデータを構成する単語情報とテキストデータ全体で固有な単語情報とを抽出する処理と、
抽出したテキストデータの解析情報を適切な形式で記憶する処理と、
前記抽出したテキストデータの単語情報をもとにテキストデータ特徴ベクトルを生成する処理と、
前記テキストデータ特徴ベクトルを適切な形式で記憶する処理と、
記憶しているテキストデータ特徴ベクトルを入力する処理と、
指定される単語情報により１つ以上のテキストデータ特徴ベクトルの特徴次元を同定し、同定した特徴次元を前記テキストデータ特徴ベクトルから削除する処理と、
特徴次元を操作したテキストデータ特徴ベクトルをもとに多変量解析を行い、テキストデータ全体を分割して複数のテキストデータカテゴリを生成する処理と、
生成したテキストデータカテゴリについて、少なくともカテゴリに所属するテキストデータに関する情報を含んだテキストデータカテゴリ情報を適切な形式で記憶する処理とを有し、
前記テキストデータを入力する処理と、
前記同定した特徴次元を前記テキストデータ特徴ベクトルから削除する処理と、
前記テキストデータカテゴリを生成する処理と、
前記テキストデータカテゴリ情報を適切な形で記憶する処理とを繰り返し実行する処理を有することを特徴とする請求項１７記載のテキストデータ評価プログラム。
【請求項１９】
前記テキストデータ特徴ベクトルに対し特定の変換行列を用いて線形変換を施すことでテキストデータ特徴ベクトルを変換する処理を有し、
前記テキストデータカテゴリを生成する処理は、前記変換したテキストデータ特徴ベクトルを用いることを特徴とする請求項１８記載のテキストデータ評価プログラム。
【請求項２０】
前記テキストデータ特徴ベクトルを変換する処理で用いられる変換行列は、前記テキストデータ特徴ベクトルを特異値分解した値により構成することを特徴とする請求項１９記載のテキストデータ評価プログラム。
【請求項２１】
前記算出した値を要素値とする正方行列を生成する処理において算出される関連度は、テキストデータを単語情報で構成される集合として表現し、テキストデータ対の積集合の大きさと各テキストデータ集合の大きさとをもとに算出することを特徴とする請求項１５または２０記載のテキストデータ評価プログラム。
【請求項２２】
テキストデータを構成する単語情報を入力する処理と、
前記テキストデータに含まれる任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値を要素値とする正方行列を生成する処理と、
算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルを算出する処理と、
算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する処理と、
算出したテキストデータ評価値を出力する処理とを有し、
前記算出した値を要素値とする正方行列を生成する処理において算出される関連度は、テキストデータを単語情報で構成される集合として表現し、テキストデータ対の積集合の大きさと各テキストデータ集合の大きさを基に算出することを特徴とするコンピュータ読取可能なテキストデータ評価記録媒体。
【請求項２３】
テキストデータを構成する単語情報を入力する処理と、
特定の基準により生成するテキストデータカテゴリへのテキストデータの所属情報を入力する処理と、
各テキストデータカテゴリ毎に、所属する任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値が要素値となる正方行列を生成する処理と、
算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルを算出する処理と、
算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出し、算出したテキストデータ評価値を出力する処理とを有し、
各テキストデータカテゴリに所属するテキストデータの前記各テキストデータの評価値を算出する処理において、
算出したテキストデータ評価値をもとに、前記各テキストデータカテゴリの評価値を算出する処理と、
算出したテキストデータカテゴリ評価値を出力する処理とを有し、
複数のテキストデータを入力する処理と、
入力したテキストデータに対し言語解析を施し、テキストデータを構成する単語情報とテキストデータ全体で固有な単語情報とを抽出する処理と、
抽出したテキストデータの解析情報を適切な形式で記憶する処理と、
前記抽出したテキストデータの単語情報をもとにテキストデータ特徴ベクトルを生成する処理と、
前記テキストデータ特徴ベクトルを適切な形式で記憶する処理と、
記憶しているテキストデータ特徴ベクトルを入力する処理と、
指定される単語情報により１つ以上のテキストデータ特徴ベクトルの特徴次元を同定し、同定した特徴次元を前記テキストデータ特徴ベクトルから削除する処理と、
特徴次元を操作したテキストデータ特徴ベクトルをもとに多変量解析を行い、テキストデータ全体を分割して複数のテキストデータカテゴリを生成する処理と、
生成したテキストデータカテゴリについて、少なくともカテゴリに所属するテキストデータに関する情報を含んだテキストデータカテゴリ情報を適切な形式で記憶する処理とを有し、
前記テキストデータを入力する処理と、
前記同定した特徴次元を前記テキストデータ特徴ベクトルから削除する処理と、
前記テキストデータカテゴリを生成する処理と、
前記テキストデータカテゴリ情報を適切な形で記憶する処理とを繰り返し実行する処理を有し、
前記テキストデータ特徴ベクトルに対し特定の変換行列を用いて線形変換を施すことでテキストデータ特徴ベクトルを変換する処理と、
前記変換したテキストデータ特徴ベクトルを用いて、前記テキストデータカテゴリを生成する処理とを有し、
前記テキストデータ特徴ベクトルを変換する処理で用いられる変換行列は、前記テキストデータ特徴ベクトルを特異値分解した値により構成し、
前記算出した値を要素値とする正方行列を生成する処理において算出される関連度は、テキストデータを単語情報で構成される集合として表現し、テキストデータ対の積集合の大きさと各テキストデータ集合の大きさとをもとに算出することを特徴とするコンピュータ読取可能なテキストデータ評価記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テキストデータの評価値を生成する手段を有するテキストデータ評価装置、その方法、そのプログラム及びその記録媒体に関する。
【０００２】
【従来の技術】
Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ等ネットワーク技術の普及により大量のテキストデータへのアクセスが可能になり、その結果としてユーザは興味のある情報が記述されているテキストデータを簡単かつ大量に収集できるようになった。しかし一方、収集したテキストデータが大量であるため、それらテキストデータを分析し、有効な情報を読み取る作業が非常に困難なものになってしまっている。このような問題を解決するための基盤技術として自動テキスト分類技術があり、近年種々の手法が提案されている。
【０００３】
例えば、特許文献１記載の「文書分類装置」では、分類対象文書集合に含まれる単語を特徴量とする文書特徴ベクトルを用い、その文書特徴ベクトルに対してクラスタリング手法を適用して分類を行う技術が開示されている。
【０００４】
また、例えば、特許文献２記載の「文書分類装置」では、単語の多義性／同義性を考慮するために文書間の内積行列に特異値分解を適用することにより文書間の単語の共起性を基に潜在的意味空間を生成して、文書と単語を潜在的意味空間に射影し、その潜在的意味空間においてクラスタリング手法などを用いて文書分類を行う技術が開示されている。
【０００５】
また、例えば、特許文献３記載の「文書分類装置」では、テキストデータをテキストデータ内の単語情報をもとにテキスト特徴ベクトルとして表現し、前記テキスト特徴ベクトルを用いてテキストデータの分類を行う際、前記特徴ベクトルの特徴次元に対し特定の操作を施すことで、異なる分類基準をもつ文書集合を多数生成する技術が開示されている。
【０００６】
対象テキストデータ群に自動テキスト分類手法を適用することで、複数のテキストデータ群が生成されるが、ここではこれら生成される複数のテキストデータ群をテキストデータカテゴリと呼ぶ。なお、テキストデータカテゴリとは、全テキストデータのうち特定の基準を満たすテキストデータで構成される集合である。
【０００７】
一般的に、テキストデータカテゴリは、特定の基準で生成される類似度によりランク付けされた所属テキストデータをもとにして表現されることが多い。例えば、非特許文献１記載の代表的な自動テキスト分類技術の１つであるＳｃａｔｔｅｒ／Ｇａｔｈｅｒ法では、生成したテキストデータカテゴリ（クラスタ）の代表表現として、クラスタ内で類似度の高いテキストとそれらテキストから抽出される典型語とから構成されるクラスタダイジェストを提示している。
【０００８】
クラスタダイジェストを含め、ほとんどの自動テキスト分類手法では、テキストデータカテゴリを仮想のテキストデータとみなし、その仮想テキストデータとテキストデータカテゴリに所属するテキストデータとの類似度を算出しているが、これは仮想テキストデータを検索語、所属テキストデータを検索結果のテキストデータとみなすと  テキスト検索結果のランク付けを行うことと等価であり、このような考えから多くのテキスト自動分類手法では、生成したテキストデータカテゴリのランク付けに検索結果のランク付けの手法を適用している。
【０００９】
すなわち、従来の自動テキスト分類手法では、生成されるテキストデータカテゴリ個々が有する情報のみを用いてそれらを表現してきたといえる。
【００１０】
ところで、現在最良のＷｅｂページ（リソース）の検索サイトであるＧｏｏｇｌｅで用いられている検索手法のコア技術のひとつにＰａｇｅＲａｎｋという手法がある。ＰａｇｅＲａｎｋは、“多くの良質のＷｅｂページからリンクされているＷｅｂページもまた良質のＷｅｂページである”というアイデアをベースに、Ｗｅｂページ相互のリンク情報から個々のＷｅｂページ固有の重要度を算出する手法である（ＰａｇｅＲａｎｋの詳細については、非特許文献２を参照）。ここで、注目すべきはＰａｇｅＲａｎｋが生成する各Ｗｅｂページのスコアは検索クエリに依存するのではなく、動的なＷＷＷ上のリソース全体のリンク構造に依存している点である。すなわち、Ｗｅｂページがテキストデータ、ＷＷＷ全体を対象テキストデータ集合とみなすと、ＰａｇｅＲａｎｋを利用することにより、生成するテキストデータカテゴリに依存しない（テキストデータカテゴリは検索結果と等価である）テキストデータの評価値を得ることができる。
【００１１】
【特許文献１】
特開平７−３６８９７号公報
【特許文献２】
特開平１１−２９６５５２号公報
【特許文献３】
特開２００１−１０１２２７号公報
【非特許文献１】
Ｄ．  Ｒ．  Ｃｕｔｔｉｎｇ，ｅｔ．ａｌ．，Ａ  Ｃｌｕｓｔｅｒ−ｂａｓｅｄ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｂｒｏｗｓｉｎｇ  Ｌａｒｇｅ  Ｄｏｃｕｍｅｎｔ  Ｃｏｌｌｅｃｔｉｏｎｓ，  Ｐｒｏｃ．  ＡＣＭ  ＳＩＧＩＲ  １９９２  ｐｐ．３１８−３２９
【非特許文献２】
馬場  肇、Ｇｏｏｇｌｅの秘密―ＰａｇｅＲａｎｋ徹底解説、［ｏｎｌｉｎｅ］、［平成１４年１１月２８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｋｕｓａｓｔｒｏ．ｋｙｏｔｏ−ｕ．ａｃ．ｊｐ／￣ｂａｂａ／ｗａｉｓ／ｐａｇｅｒａｎｋ．ｈｔｍｌ＞
【００１２】
【発明が解決しようとする課題】
しかし、自動テキスト分類手法が用いられるような作業状況では、テキストデータカテゴリ個々を単独で分析するのではなく、それらの比較などカテゴリ間の関係の分析も行われるものと考えると、テキストデータカテゴリを表現する情報は、個々が有する情報からだけではなく、テキストデータカテゴリ間の関係情報を含めた形で生成されることが望ましいといえる。例えば、従来の手法では任意のテキストデータカテゴリに所属するテキストデータについては類似度が算出されているため比較可能であるが、これらテキストデータカテゴリ個々で閉じた情報では、異なるテキストデータカテゴリに所属するテキストデータの妥当性のある比較を行うことはできない。さらに、テキストデータカテゴリのプリミティブとしての所属テキストデータが、異なるテキストデータカテゴリ間で比較不可能であるということは、テキストデータカテゴリ間の比較の妥当性もまた低下させるものであると考えられる。したがって、このような問題を解決するためには、テキストデータに対し、所属テキストデータカテゴリの制約のない評価値を付与すればよいと考えられる。
【００１３】
ここで、問題となるのは自動テキスト分類手法が対象とするテキストデータには、ＰａｇｅＲａｎｋが対象とするＷｅｂページのような相互のリンク関係が常に存在しているわけではないことである。そこで、本発明ではこの問題を解決するためにテキストデータを構成する単語情報をもとにテキストデータ対の方向性のある関連度を算出し、これらの値をリンク情報とみなすことによりＰａｇｅＲａｎｋの技術を利用することが可能になる。ここで、現実のリンクは必ず相互に張られているとは限らないため、この事実をできるだけ忠実に模写するためにテキストデータ対の関連度に方向性を持たせることは重要なことであると考えられる。加えて、テキストデータ群の全テキストデータ群について前記関連度を算出することは非常にコストが高いものとなることが容易に予想されるが、事前にテキストデータ群から複数のテキストカテゴリを生成しておき、同一のカテゴリに属するテキストデータ対のみ前記関連度を算出することにより前記コストの問題は軽減されるものと考えられる。
【００１４】
本発明は、上記事情に鑑みてなされたものであり、複数のテキストデータカテゴリが生成されているテキストデータ集合内の各テキストデータに対し、それぞれのテキストデータが所属するテキストデータカテゴリの情報を考慮し、テキストデータ対の関連度行列を生成し、前記関連度行列に固有値分解を適用することで、テキストデータカテゴリに所属するテキストデータ間でも比較可能なテキストデータ評価値を生成する方法を提供することを目的とする。
【００１５】
また、本発明では、テキストデータ群内の全テキストデータ対について方向性のある関連度を算出し、それら関連度で構成される行列に対し固有値分解を施すことでテキストデータ評価値を算出することにより、異なるテキストデータカテゴリに所属するテキストデータ間でも比較可能なテキストデータの評価値を生成することを目的とする。
【００１６】
また、本発明では、すでに生成されている複数のテキストデータカテゴリに所属する任意のテキストデータ対のみに対し方向性のある関連度を、テキストデータを構成する単語の情報をもとに算出し、それら関連度で構成される行列に対し固有値分解を施すことでテキストデータの評価値を算出するにより、異なるテキストデータカテゴリに所属するテキストデータ間でも比較可能なテキストデータの評価値を生成することを目的とする。
【００１７】
また、本発明では、算出したテキストデータの評価値をもとに、各テキストデータカテゴリの評価値を算出することで、テキストデータカテゴリ間で妥当性のある比較を行うことができるテキストデータカテゴリの評価値を生成することを目的とする。
【００１８】
また、本発明では、テキストデータからそれを構成する単語を抽出し、それらの情報を用いて各テキストデータについて特徴ベクトルを生成し、生成した特徴ベクトルに多変量解析手法を適用することで複数のテキストデータカテゴリを生成する方法を提供するとともに、前記生成した特徴ベクトルの特徴次元にマスキングをかけることで異なる特徴空間でのテキストデータカテゴリを生成する機能を合わせて具備することで、様々な生成条件を有するテキストデータカテゴリの情報をもとにテキストデータの評価値を算出することが可能になるため、より精度のよい評価値を算出することができる方法を提供することを目的とする。
【００１９】
また、本発明では、前記生成した特徴ベクトルに対し、線形変換を施し、特徴次元数を圧縮することで、より高速にテキストデータカテゴリを生成することを目的とする。
【００２０】
また、本発明では、特徴ベクトルの線形変換を特徴ベクトルに対する特異値分解処理で行うことで、テキストデータ間での単語の共起性を考慮した特徴空間への変換を行うことができるため、より精度の高いテキストデータカテゴリを生成でき、これによりこれらの情報をもとに生成するテキストデータの評価値も精度の高い評価値を生成することができる方法を提供することを目的とする。
【００２１】
また、本発明では、テキストデータ対の関連度を、テキストデータをそれらを構成する単語の集合として表現し、一方のテキストデータの関連度を、その集合と他方とのテキストデータの集合の積集合の大きさとその集合の大きさを基に算出することで方向性のある関連度を算出でき、前記算出した関連度を用いることでより精度の高いリンク情報を模写することを目的とする。
【００２２】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、テキストデータを構成する単語情報を入力する手段を有する単語情報入力部と、前記テキストデータに含まれる任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出する手段と、算出した値を要素値とする正方行列を生成する手段を有するテキストデータ関連度行列算出部と、算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルとを算出する手段を有する固有値分解部と、算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する手段を有するテキストデータ評価値算出部と、算出したテキストデータ評価値を出力する手段を有するテキストデータ評価値出力部とを有することを特徴としている。
【００２３】
請求項２記載の発明は、テキストデータを構成する単語情報を入力する手段を有する単語情報入力部と、特定の基準により生成するテキストデータカテゴリへのテキストデータの所属情報を入力する手段を有するテキストデータカテゴリ情報入力部と、各テキストデータカテゴリ毎に、所属する任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値が要素値となる正方行列を生成する手段を有するテキストデータ関連行列算出部と、算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルを算出する手段を有する固有値分解部と、算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する手段を有するテキストデータ評価値算出部と、算出したテキストデータ評価値を出力する手段を有するテキストデータ評価値出力部とを有することを特徴としている。
【００２４】
請求項３記載の発明は、請求項２記載の発明において、各テキストデータカテゴリに所属するテキストデータの、該テキストデータ評価値算出部において算出したテキストデータ評価値をもとに、前記各テキストデータカテゴリの評価値を算出する手段を有するテキストデータカテゴリ評価値算出部と、算出したテキストデータカテゴリ評価値を出力する手段を有するテキストデータカテゴリ評価値出力部とを有することを特徴としている。
【００２５】
請求項４記載の発明は、請求項３記載の発明において、複数のテキストデータを入力する手段を有するテキストデータ入力部と、入力されたテキストデータに対し言語解析を施し、テキストデータを構成する単語情報とテキストデータ全体で固有な単語情報とを抽出する手段を有するテキストデータ解析部と、抽出したテキストデータの解析情報を適切な形式で記憶する手段を有するテキストデータ解析情報記憶部と、前記抽出したテキストデータの単語情報をもとにテキストデータ特徴ベクトルを生成する手段を有するテキストデータ特徴ベクトル算出部と、前記テキストデータ特徴ベクトルを適切な形式で記憶する手段を有するテキストデータ特徴ベクトル記憶部と、記憶しているテキストデータ特徴ベクトルを入力する手段を有するテキストデータ特徴ベクトル入力部と、指定される単語情報により１つ以上のテキストデータ特徴ベクトルの特徴次元を同定し、同定した特徴次元を前記テキストデータ特徴ベクトルから削除する手段を有するテキストデータ特徴次元マスク部と、特徴次元を操作したテキストデータ特徴ベクトルをもとに多変量解析を行い、テキストデータ全体を分割して複数のテキストデータカテゴリを生成する手段を有するテキストデータカテゴリ生成部と、生成したテキストデータカテゴリについて、少なくともカテゴリに所属するテキストデータに関する情報を含んだテキストデータカテゴリ情報を適切な形式で記憶するテキストデータカテゴリ情報記憶部とを有し、前記テキストデータ入力部と、前記テキストデータ特徴次元マスク部と、前記テキストデータカテゴリ生成部と、前記テキストデータカテゴリ情報記憶部とを繰り返し実行する手段を有することを特徴としている。
【００２６】
請求項５記載の発明は、請求項４記載の発明において、前記テキストデータ特徴ベクトルに対し、特定の変換行列を用いて線形変換を施すことでテキストデータ特徴ベクトルを変換する手段を有するテキストデータ特徴ベクトル変換部を有し、前記テキストデータカテゴリ生成部は、前記変換したテキストデータ特徴ベクトルを用いることを特徴としている。
【００２７】
請求項６記載の発明は、請求項５記載の発明において、前記テキストデータ特徴ベクトル変換部で用いられる変換行列は、前記テキストデータ特徴ベクトルを特異値分解した値により構成することを特徴としている。
【００２８】
請求項７記載の発明は、請求項１または６記載の発明において、前記テキストデータ関連度行列算出部において算出される関連度は、テキストデータを単語情報で構成される集合として表現し、テキストデータ対の積集合の大きさと各テキストデータ集合の大きさとをもとに算出することを特徴としている。
【００２９】
請求項８記載の発明は、テキストデータを構成する単語情報を入力する工程と、前記テキストデータに含まれる任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値を要素値とする正方行列を生成する工程と、算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルとを算出する工程と、算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する工程と、算出したテキストデータ評価値を出力する工程とを有することを特徴としている。
【００３０】
請求項９記載の発明は、テキストデータを構成する単語情報を入力する工程と、特定の基準により生成するテキストデータカテゴリへのテキストデータの所属情報を入力する工程と、各テキストデータカテゴリ毎に、所属する任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値が要素値となる正方行列を生成する工程と、算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルを算出する工程と、算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する工程と、算出したテキストデータ評価値を出力する工程とを有することを特徴としている。
【００３１】
請求項１０記載の発明は、請求項９記載の発明において、各テキストデータカテゴリに所属するテキストデータの前記各テキストデータの評価値を算出する工程において、算出したテキストデータ評価値をもとに、該各テキストデータカテゴリの評価値を算出する工程と、算出したテキストデータカテゴリ評価値を出力する工程とを有することを特徴としている。
【００３２】
請求項１１記載の発明は、請求項１０記載の発明において、複数のテキストデータを入力する工程と、入力されたテキストデータに対し言語解析を施し、テキストデータを構成する単語情報とテキストデータ全体で固有な単語情報とを抽出する工程と、抽出したテキストデータの解析情報を適切な形式で記憶する工程と、前記抽出したテキストデータの単語情報をもとにテキストデータ特徴ベクトルを生成する工程と、前記テキストデータ特徴ベクトルを適切な形式で記憶する工程と、記憶しているテキストデータ特徴ベクトルを入力する工程と、指定される単語情報により１つ以上のテキストデータ特徴ベクトルの特徴次元を同定し、同定した特長次元を前記テキストデータ特徴ベクトルから削除する工程と、特徴次元を操作したテキストデータ特徴ベクトルをもとに、多変量解析を行い、テキストデータ全体を分割して複数のテキストデータカテゴリを生成する工程と、生成したテキストデータカテゴリについて、少なくともカテゴリに所属するテキストデータに関する情報を含んだテキストデータカテゴリ情報を適切な形式で記憶する工程とを有し、前記テキストデータを入力する工程と、前記同定した特徴次元を前記テキストデータ特徴ベクトルから削除する工程と、前記テキストデータカテゴリを生成する工程と、前記テキストデータカテゴリ情報を適切な形式で記憶する工程とを繰り返し実行する工程を有することを特徴としている。
【００３３】
請求項１２記載の発明は、請求項１１記載の発明において、前記テキストデータ特徴ベクトルに対し特定の変換行列を用いて線形変換を施すことでテキストデータ特徴ベクトルを変換する工程を有し、前記テキストデータカテゴリを生成する工程は、前記変換したテキストデータ特徴ベクトルを用いることを特徴としている。
【００３４】
請求項１３記載の発明は、請求項１２記載の発明において、前記テキストデータ特徴ベクトルを変換する工程で用いられる変換行列は、前記テキストデータ特徴ベクトルを特異値分解すした値により構成することを特徴としている。
【００３５】
請求項１４記載の発明は、請求項８または１３記載の発明において、前記算出した値を要素値とする正方行列を生成する工程において算出する関連度は、テキストデータを単語情報で構成される集合として表現し、テキストデータ対の積集合の大きさと各テキストデータ集合の大きさとを基に算出することを特徴としている。
【００３６】
請求項１５記載の発明は、テキストデータを構成する単語情報を入力する処理と、前記テキストデータに含まれる任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値を要素値とする正方行列を生成する処理と、算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルを算出する処理と、算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する処理と、算出したテキストデータ評価値を出力する処理とを有することを特徴としている。
【００３７】
請求項１６記載の発明は、テキストデータを構成する単語情報を入力する処理と、特定の基準により生成するテキストデータカテゴリへのテキストデータの所属情報を入力する処理と、各テキストデータカテゴリ毎に、所属する任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値が要素値となる正方行列を生成する処理と、算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルを算出する処理と、算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する処理と、算出したテキストデータ評価値を出力する処理とを有することを特徴としている。
【００３８】
請求項１７記載の発明は、請求項１６記載の発明において、各テキストデータカテゴリに所属するテキストデータの前記各テキストデータの評価値を算出する処理において、算出したテキストデータ評価値をもとに、該各テキストデータカテゴリの評価値を算出する処理と、算出したテキストデータカテゴリ評価値を出力する処理とを有することを特徴としている。
【００３９】
請求項１８記載の発明は、請求項１７記載の発明において、複数のテキストデータを入力する処理と、入力されたテキストデータに対し言語解析を施し、テキストデータを構成する単語情報とテキストデータ全体で固有な単語情報とを抽出する処理と、抽出したテキストデータの解析情報を適切な形式で記憶する処理と、前記抽出したテキストデータの単語情報をもとにテキストデータ特徴ベクトルを生成する処理と、前記テキストデータ特徴ベクトルを適切な形式で記憶する処理と、記憶しているテキストデータ特徴ベクトルを入力する処理と、指定される単語情報により１つ以上のテキストデータ特徴ベクトルの特徴次元を同定し、同定した特徴次元を前記テキストデータ特徴ベクトルから削除する処理と、特徴次元を操作したテキストデータ特徴ベクトルをもとに多変量解析を行い、テキストデータ全体を分割して複数のテキストデータカテゴリを生成する処理と、生成したテキストデータカテゴリについて、少なくともカテゴリに所属するテキストデータに関する情報を含んだテキストデータカテゴリ情報を適切な形式で記憶する処理とを有し、前記テキストデータを入力する処理と、前記同定した特徴次元を前記テキストデータ特徴ベクトルから削除する処理と、前記テキストデータカテゴリを生成する処理と、前記テキストデータカテゴリ情報を適切な形で記憶する処理とを繰り返し実行する処理を有することを特徴としている。
【００４０】
請求項１９記載の発明は、請求項１８記載の発明において、前記テキストデータ特徴ベクトルに対し特定の変換行列を用いて線形変換を施すことでテキストデータ特徴ベクトルを変換する処理を有し、前記テキストデータカテゴリを生成する処理は、前記変換したテキストデータ特徴ベクトルを用いることを特徴としている。
【００４１】
請求項２０記載の発明は、請求項１９記載の発明において、前記テキストデータ特徴ベクトルを変換する処理で用いられる変換行列は、前記テキストデータ特徴ベクトルを特異値分解した値により構成することを特徴としている。
【００４２】
請求項２１記載の発明は、請求項１５または２０記載の発明において、前記算出した値を要素値とする正方行列を生成する処理において算出される関連度は、テキストデータを単語情報で構成される集合として表現し、テキストデータ対の積集合の大きさと各テキストデータ集合の大きさをもとに算出することを特徴としている。
【００４３】
請求項２１記載の発明は、テキストデータを構成する単語情報を入力する処理と、前記テキストデータに含まれる任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値を要素値とする正方行列を生成する処理と、算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルを算出する処理と、算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出する処理と、算出したテキストデータ評価値を出力する処理とを有し、前記算出した値を要素値とする正方行列を生成する処理において算出される関連度は、テキストデータを単語情報で構成される集合として表現し、テキストデータ対の積集合の大きさと各テキストデータ集合の大きさをもとに算出することを特徴としている。
【００４４】
請求項２２記載の発明は、テキストデータを構成する単語情報を入力する処理と、特定の基準により生成するテキストデータカテゴリへのテキストデータの所属情報を入力する処理と、各テキストデータカテゴリ毎に、所属する任意のテキストデータ対について、該テキストデータ対を構成する単語情報を用いて方向性を有する関連度を算出し、算出した値が要素値となる正方行列を生成する処理と、算出したテキストデータ関連度行列に対し固有値分解を施し、固有値と固有ベクトルを算出する処理と、算出した最大固有値の固有ベクトルをもとに各テキストデータの評価値を算出し、算出したテキストデータ評価値を出力する処理とを有し、各テキストデータカテゴリに所属するテキストデータの前記各テキストデータの評価値を算出する処理において、算出したテキストデータ評価値をもとに、前記各テキストデータカテゴリの評価値を算出する処理と、算出したテキストデータカテゴリ評価値を出力する処理とを有し、複数のテキストデータを入力する処理と、入力したテキストデータに対し言語解析を施し、テキストデータを構成する単語情報とテキストデータ全体で固有な単語情報とを抽出する処理と、抽出したテキストデータの解析情報を適切な形式で記憶する処理と、前記抽出したテキストデータの単語情報をもとにテキストデータ特徴ベクトルを生成する処理と、前記テキストデータ特徴ベクトルを適切な形式で記憶する処理と、記憶しているテキストデータ特徴ベクトルを入力する処理と、指定される単語情報により１つ以上のテキストデータ特徴ベクトルの特徴次元を同定し、同定した特徴次元を前記テキストデータ特徴ベクトルから削除する処理と、特徴次元を操作したテキストデータ特徴ベクトルをもとに多変量解析を行い、テキストデータ全体を分割して複数のテキストデータカテゴリを生成する処理と、生成したテキストデータカテゴリについて、少なくともカテゴリに所属するテキストデータに関する情報を含んだテキストデータカテゴリ情報を適切な形式で記憶する処理とを有し、前記テキストデータを入力する処理と、前記同定した特徴次元を前記テキストデータ特徴ベクトルから削除する処理と、前記テキストデータカテゴリを生成する処理と、前記テキストデータカテゴリ情報を適切な形で記憶する処理とを繰り返し実行する処理を有し、前記テキストデータ特徴ベクトルに対し特定の変換行列を用いて線形変換を施すことでテキストデータ特徴ベクトルを変換する処理と、前記変換したテキストデータ特徴ベクトルを用いて、前記テキストデータカテゴリを生成する処理とを有し、前記テキストデータ特徴ベクトルを変換する処理で用いられる変換行列は、前記テキストデータ特徴ベクトルを特異値分解した値により構成し、前記算出した値を要素値とする正方行列を生成する処理において算出される関連度は、テキストデータを単語情報で構成される集合として表現し、テキストデータ対の積集合の大きさと各テキストデータ集合の大きさとをもとに算出することを特徴としている。
【００４５】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。図１は、本発明の第１の構成例を示す図であり、図２は、本発明の第２の構成例を示す図である。図１は、単語情報入力部１と、テキストデータ対関連度行列算出部２と、固有値分解部３と、テキストデータ評価値算出部４と、テキストデータ評価値出力部５とを有し構成され、図２は、図１の構成に加えて、テキストデータ入力部６と、テキストデータ解析部７と、テキストデータ解析情報記憶部８と、テキストデータ特徴ベクトル算出部９と、テキストデータ特徴ベクトル記憶部１０と、テキストデータ特徴ベクトル入力部１１と、テキストデータ特徴次元マスク部１２と、テキストデータ特徴ベクトル変換部１３と、テキストデータカテゴリ生成部１４と、テキストデータカテゴリ情報記憶部１５と、テキストデータカテゴリ情報入力部１６と、テキストデータカテゴリ評価値算出部１７と、テキストデータカテゴリ評価値算出部１８とを有し構成されている。
【００４６】
＜実施例１＞
単語情報入力部１は、評価対象のテキストデータそれぞれについて、それらを構成する単語情報を入力する。本発明では、単語情報として、単語表記、単語品詞、およびテキストデータ内での出現頻度が入力されたデータを例示するが、これ以外の、例えば係り受け情報等を入力してもよい。図３は、１２のテキストデータそれぞれの単語頻度行列を示す図である。図３において、行がテキストデータ全体で固有な単語、すなわち表記と品詞が異なる単語を示し、列がテキストデータを示す。各要素は、該当するテキストデータの当該単語の出現頻度を示している。また、図４は、各単語の品詞情報を示す図である。図４では、品詞は１から３までの識別番号として表現されている。なお、入力手段については特に限定はせず、図３および図４に示すデータが適切な形式で入力されればよい。
【００４７】
テキストデータ対関連度行列算出部２は、すべてのテキストデータ対について方向性のある関連度を算出し、要素が各テキストデータ対の関連度で構成されるテキストデータ対関連度行列を算出する。図３のようにテキストデータがベクトル表現されている場合、テキストデータ対の関連度としては、余弦測度、内積測度、もしくは距離測度を基にしたものが頻繁に用いられる。しかしながら、これらの測度では方向性は考慮されていない。テキストデータｉのテキストデータｊへの関連度：Ｒｉｊとテキストデータｊのテキストｉへの関連度：Ｒｊｉは等しくなる。しかしながら、例えば、テキストデータｉの内容は多岐にわたっているが、テキストデータｊの内容は単一でテキストデータｉの内容の一部と関連しているような場合、ＲｉｊとＲｊｉとは同じではなく、ＲｊｉのほうがＲｉｊより高い値をとるほうが妥当であると考えられる。そして、テキストデータ対を、それらを構成する単語を要素とする集合であるとし、個々のテキストデータの集合の大きさとテキストデータ対の集合の積集合の大きさをもとに関連度を算出すれば、前記のような要求を満たすことができる。
【００４８】
すなわち、図５に示すようにテキストデータｉが単語集合｛Ｔ１，Ｔ２，Ｔ３，Ｔ５，Ｔ６，Ｔ７，Ｔ８｝で構成され、テキストデータｊが単語集合｛Ｔ１，Ｔ２，Ｔ３，Ｔ４｝で構成さている場合、Ｒｉｊを数１のように定めると、Ｒｉｊ≒０．４３、Ｒｊｉ＝０．７５となる。
【００４９】
【数１】
2004185515.tif 000003
【００５０】
また、関連度を数２のように定めると、各テキストデータにおける各単語の出現頻度（正規化されている場合も含む）を考慮した関連度を求めることができる。
【００５１】
【数２】
2004185515.tif 000004
【００５２】
ただし、数２において、Σはすべてのｋに関する和を求める関数、ｍｉｎ（ａ，ｂ）はａとｂの小さい数を求める関数、ｒｉｋはテキストデータｉの単語ｋに対する値（頻度）をそれぞれ表す。なお、数２においてｒｉｋを０以外の値をすべて１にした場合、数１と同一の結果が得られる。
【００５３】
さらに、数２を一般化し、方向性のある関連度を算出するため式として、数３に定める式を用いることができる。ただし、ｃ、ｋ、α、βはそれぞれ任意の定数を示す。
【００５４】
【数３】
2004185515.tif 000005
【００５５】
図３に示すテキストデータ‐単語頻度行列に対し、数２および数１を用いて算出した結果を図６、図７にそれぞれ示す。なお、図６、図７ともに要素値は小数点以下２桁で丸めている。
【００５６】
固有値分解部３では、テキストデータ対関連度行列算出部２にて算出された関連度行列に固有値分解を適用し、最大固有値の固有ベクトルを抽出する。ここでは、固有値分解を行う方法に関しては限定せず、適切に算出できるものであればよい。
【００５７】
図６、図７に示す関連度行列に対し、固有値分解を適用した結果得られる、最大固有値の固有ベクトルを図８に示す。なお、本発明では、テキストデータｉのテキストデータｊへの関連度をＰａｇｅＲａｎｋ法におけるリンク元の重要度を関連度と見なしたテキストデータｉからテキストデータｊへのリンクであるとする。したがって、関連度行列をＲとした場合、式４によって定まる最大固有値の固有ベクトルを算出する。ここで、ｐｎｏｒｍ（）は行列の列ベクトル単位に確率的正規化（ベクトルの全要素の合計を１にする正規化）を行う関数であり、Ｔは転置を表す。
【００５８】
【数４】
2004185515.tif 000006
【００５９】
図６、図７に示す関連度行列に対し、数４の定式化をもとに求めた最大固有値の固有ベクトルを図８に示す。テキストデータ評価値算出部４では、前記固有値分解部３にて算出したテキストデータ対関連度行列の最大固有値に対応する固有ベクトルをもとに各テキストデータが有する評価値を算出する。本実施例では、固有ベクトルに対し確率的正規化を施すことで各テキストデータの評価値を算出する。固有ベクトルに対し、確率的正規化を施した結果生成されるベクトルの第ｉ要素がｉ番目のテキストデータが有する評価値になる。図８に示される固有ベクトルから算出した各テキストデータの評価値とその順位を図９に示す。
【００６０】
テキストデータ評価値出力部５では、前記テキストデータ評価値算出部４にて算出したテキストデータの評価値を適切な形式で出力する。
【００６１】
図１０は、本実施例の処理の概要を示すフローチャートである。テキストデータ単語情報を入力し（ステップＳ１０１）、テキストデータ単語頻度行列Ａを生成し（ステップＳ１０２）、行列Ａからテキストデータ対関連度行列Ｒの算出を行い（ステップＳ１０３）、行列Ｒの転値行列ＲＴ  を生成し（ステップＳ１０４）、行列ＲＴへの確率的正規化の適用して（ステップＳ１０５）、行列ｐｎｏｒｍ（ＲＴ  ）の固有値分解を実行し（ステップＳ１０６）、ベクトルＶへの確率的正規化の適用をし（ステップＳ１０７）、テキストデータ評価ベクトルｐｎｏｒｍ（Ｖ）の出力を行う（ステップＳ１０９）。
【００６２】
＜実施例２＞
テキストデータ入力部６からテキストデータカテゴリ情報記憶部１５までの処理は、公知技術である。したがって、まず簡単に図３に示すテキストデータから幾つかのカテゴリを生成する方法を示す。図３は、テキストデータ特徴ベクトル入力部１１までの処理を行った結果得られたものとする。
【００６３】
テキストデータ特徴次元マスク部１２とテキストデータ特徴ベクトル変換部１３の処理について説明する。テキストデータ特徴ベクトル（行列）は単語数Ｍ、テキストデータ数Ｎの大きさのＸ、テキストデータ特徴次元マスク部にて指定される削除対象次元は対象次元の次元数で構成される集合Ｃで与えられているとする。
【００６４】
＜方法１＞
まず、大きさがＭ×Ｍの単位行列に対し、Ｃに含まれる要素に対応する行ベクトルを削除した行列をＰＣ  を算出する。ＰＣ  を用いるとＸから削除対象次元を削除した行列は、数５に示す行列ＸＣ  で得ることができる。
ＸＣ  ＝ＰＣ  Ｘ    ・・・数５
【００６５】
次に、行列ＸＣ  に対し、特異値次元数をＫ（Ｋは行列ＸＣ  の階数以下の自然数）とした特異値分解を適用すると数６のようになる。
ＸＣ  ＝ＵＴ  ＳＶ    ・・・数６
【００６６】
ここで、Ｕ、Ｓ、、Ｖはそれぞれ大きさがＫ×Ｍ、Ｋ×Ｋ、Ｋ×Ｎの行列である。また、数６を変形することにより数７および数８が得られる。
Ｖ＝Ｓ−１Ｕ    ＸＣ  ＝Ｗｋ  ＸＣ      ・・・数７
Ｗｋ  ＝Ｓ−１Ｕ    ・・・数８
【００６７】
ここで、−１は逆行列を示す。すなわち、テキストデータ特徴ベクトル変換部にて適用される変換行列として数７に示されるＷｋ  を用いることにすると変換されたテキストデータ特徴ベクトルはＶとなる。したがって、この手続きによりテキストデータ特徴ベクトル変換を行う場合は、数６までの結果で変換行列により変換されたテキストデータ特徴ベクトルを得ることができる。
【００６８】
＜方法２＞
前提として、Ｃが空集合のときの変換行列が方法１により算出されているものとし、それをＷｋｅとする。まず、大きさがＭ×Ｍの単位行列に対し、Ｃに含まれる要素に対応する対角成分を０に置き換えた行列をＱＣ  を算出する。ＱＣ  を用いるとＸから削除対象次元を削除した行列は、数９に示す行列ＸＣ  で得ることができる。
ＸＣ  ＝ＱＣ  Ｘ    ・・・数９
【００６９】
このＸＣ  を変換行列をＷｋｅとした数８に代入することで、変換されたテキストデータ特徴ベクトルを得ることができる。この場合、特異値分解を実行する必要がない。
【００７０】
次に、テキストデータカテゴリ生成部１４の処理について説明する。ここでは、図３に示すテキストデータ−単語頻度行列、すなわちテキストデータ特徴ベクトルを用いてテキストカテゴリを生成することを考える。まず、削除対象次元集合として図４に示す品詞のうちの高々ひとつを削除することにすると、以下のＣ１からＣ４までの４つの条件集合が得られる。
Ｃ１＝｛｝：  削除しない
Ｃ２＝｛３，６，８，９，１０，１５｝：  識別子１の品詞を削除
Ｃ３＝｛２，５，７，１１，１３｝：識別子２の品詞を削除
Ｃ４＝｛１，４，１２，１４｝：識別子３の品詞を削除
上記４条件のもとで前記方法１を用いた結果生成される４つのテキストデータ特徴ベクトル（行列）から非階層クラスタリング法の１つであるｆｏｒｇｙ法を用いて、それぞれ３つのテキストデータカテゴリを生成した結果えられる各カテゴリへの各テキストデータの所属情報を図１１に示す。なお、ｆｏｒｇｙ法では、余弦測度を用い、終了条件は精錬化回数を２として定めている。本実施例では、ｆｏｒｇｙ法を用いてテキストデータカテゴリを求めているが、本発明では図１１のような結果が得られるのであれば、その生成方法はどんな方法でもよい。
【００７１】
次に、テキストカテゴリが存在する場合のテキストデータ対評価値およびテキストデータカテゴリ評価値の算出方法について説明する。テキストデータカテゴリ情報入力部１６では、テキストデータのカテゴリ所属情報が適切な形式入力される。テキストデータカテゴリはテキストデータカテゴリ情報記憶部１５にて記憶されているものを用いてもよい。
【００７２】
テキストデータ対関連度算出部２では、前記テキストデータのカテゴリ所属情報も用いて、各カテゴリ毎に所属するテキストデータ対の方向性のある関連度を算出し、要素がテキストデータ対の関連度で構成されるテキストデータカテゴリ毎にテキストデータ対関連度行列を算出する。その後、各テキストデータカテゴリ毎に算出したテキストデータ対関連度行列を結合する。テキストデータ対関連度は、数１、数２、もしくは数３を用いて算出することができる。ここで、数１、数２、もしくは数３の計算に用いるテキストデータ特徴ベクトル（テキストデータ‐単語頻度行列は）数９で示される各テキストデータカテゴリ毎に生成条件を考慮したものを用いてもよいし、各生成条件は考慮せず、すべてのテキストデータカテゴリについて特徴次元が操作されていないテキストデータ特徴ベクトルを用いてもよい。
【００７３】
テキストデータカテゴリの情報を含めたテキストデータ対関連度行列は、テキストデータ対関連度の算出式として数１を用い、また、すべてのテキストデータカテゴリについて特徴次元が操作されていないテキストデータ特徴ベクトルを用いることとして、図１１に示す各テキストデータカテゴリ毎にテキストデータ対関連度行列を算出し、全テキストデータカテゴリのテキストデータ対関連度行列の和をとることによりを算出することができる。より具体的には、大きさがテキストデータ数で全要素が０の行列に、各テキストデータカテゴリ毎に所属するテキストデータのすべてのペアの対応する要素に１を加えることにより行列Ｅを生成し、テキストデータ対関連度行列Ｒに対し行列Ｅの対応する要素を掛け合わせることによりテキストデータカテゴリの情報を含めたテキストデータ対関連度行列が算出できる。
【００７４】
図３に示す関連度行列に対し、上記手続きにて算出した関連度行列を図１２に示す。固有値分解部３と、テキストデータ評価値算出部４と、テキストデータ評価値出力部５とは、実施例１と同一なので説明を省略する。図１２に示すテキストデータ対関連度行列に確率的正規化を適用した行列の最大固有値に対応する固有ベクトルを図１３に、前記固有ベクトルに対し確率的正規化を適用することで算出した各テキストデータの評価値を図１４にそれぞれ示す。
【００７５】
次に、テキストデータカテゴリ評価値の算出方法について説明する。テキストデータカテゴリ評価値算出部１７では、入力されたテキストデータカテゴリ情報とテキストデータ評価値算出部１７にて算出した評価値をもとにテキストデータカテゴリ評価値を算出する。
【００７６】
テキストデータカテゴリ評価値は、各テキストデータカテゴリについて、所属するテキストデータの和を求めたあとに、全テキストデータカテゴリが持つ値に対し、確率的正規化を適用することで算出することができる。図１１に示される各テキストデータカテゴリについて、図１４に示される各テキストデータの評価値を用いて前記手続きにて評価値を算出した結果を図１５に示す。
【００７７】
また、テキストデータカテゴリ評価値の算出は、各テキストデータの評価値そのものではなく、各テキストデータの順位をもとに算出してもよい。テキストデータカテゴリ評価値出力部１８では、前記テキストデータカテゴリ評価値算出部１７にて算出したテキストデータカテゴリの評価値を適切な形式で出力する。
【００７８】
【発明の効果】
以上の説明から明らかなように、本発明によれば、テキストデータ群内の全テキストデータ対について方向性のある関連度を算出し、それら関連度で構成される行列に対し固有値分解を施すことでテキストデータ評価値を算出することにより、異なるテキストデータカテゴリに所属するテキストデータ間でも比較可能なテキストデータの評価値を生成することができる。
【００７９】
また、本発明によれば、すでに生成されている複数のテキストデータカテゴリに所属する任意のテキストデータ対のみに対し方向性のある関連度を、テキストデータを構成する単語の情報をもとに算出し、それら関連度で構成される行列に対し固有値分解を施すことでテキストデータの評価値を算出するにより、異なるテキストデータカテゴリに所属するテキストデータ間でも比較可能なテキストデータの評価値を生成することができる。
【００８０】
また、本発明によれば、算出したテキストデータの評価値をもとに、各テキストデータカテゴリの評価値を算出することで、テキストデータカテゴリ間で妥当性のある比較を行えうるテキストデータカテゴリの評価値を生成することができる。
【００８１】
また、本発明によれば、テキストデータからそれを構成する単語を抽出し、それらの情報を用いて各テキストデータについて特徴ベクトルを生成し、生成した特徴ベクトルに多変量解析手法を適用することで複数のテキストデータカテゴリを生成する手法を提供するとともに、前記生成した特徴ベクトルの特徴次元にマスキングをかけることで異なる特徴空間でのテキストデータカテゴリを生成する機能を合わせて具備することで、様々な生成条件を有するテキストデータカテゴリの情報をもとにテキストデータの評価値を算出することが可能になるため、より精度のよい評価値が算出可能な方法を提供することができる。
【００８２】
また、本発明によれば、前記生成した特徴ベクトルに対し、線形変換を施し、特徴次元数を圧縮することで、より高速にテキストデータカテゴリを生成することができる。
【００８３】
また、本発明によれば、特徴ベクトルの線形変換を特徴ベクトルに対する特異値分解処理で行うことで、テキストデータ間での単語の共起性を考慮した特徴空間への変換を行うことができるため、より精度の高いテキストデータカテゴリを生成でき、これによりこれらの情報をもとに生成するテキストデータの評価値も精度の高い評価値が生成可能な方法を提供することができる。
【００８４】
また、本発明によれば、テキストデータ対の関連度を、テキストデータを、それらを構成する単語の集合として表現し、一方のテキストデータの関連度を、その集合と他方のテキストデータの集合の積集合の大きさとその集合の大きさを基に算出することで方向性のある関連度を算出でき、前記算出した関連度を用いることでより精度の高いリンク情報を模写することができる。
【図面の簡単な説明】
【図１】本発明の第１の構成例を示す図である。
【図２】本発明の第２の構成例を示す図である。
【図３】１２のテキストデータそれぞれの単語頻度行列を示す図である。
【図４】各単語の品詞情報を示す図である。
【図５】テキストデータｉと、テキストデータｊの構成例を示す図である。
【図６】図３に示すテキストデータ−単語頻度行列に対し、数２を用いて算出した結果を示す図である。
【図７】図３に示すテキストデータ−単語頻度行列に対し、数１を用いて算出した結果を示す図である。
【図８】最大固有値の固有ベクトルを示す図である。
【図９】図８に示される固有ベクトルから算出した各テキストデータの評価値とその順位を示す図である。
【図１０】実施例１の処理の概要を示すフローチャートである。
【図１１】ｆｏｒｇｙ法を用いてそれぞれ３つのテキストデータカテゴリを生成した結果得られる各テキストデータの所属情報を示す図である。
【図１２】テキストデータ対関連度行列を示す図である。
【図１３】図１２に示すテキストデータ対関連度行列に確率的正規化を適用した行列の最大固有値に対応する固有ベクトルを示す図である。
【図１４】固有ベクトルに対し確率的正規化を適用することで算出した各テキストデータの評価値を示す図である。
【図１５】図１４に示される各テキストデータの評価値を用いて前記手続きにて評価値を算出した結果を示す図である。
【符号の説明】
１  単語情報入力部
２  テキストデータ対関連度行列算出部
３  固有値分解部
４  テキストデータ評価値算出部
５  テキストデータ評価値出力部
６  テキストデータ入力部
７  テキストデータ解析部
８  テキストデータ解析情報記憶部
９  テキストデータ特徴ベクトル算出部
１０  テキストデータ特徴ベクトル記憶部
１１  テキストデータ特徴ベクトル入力部
１２  テキストデータ特徴次元マスク部
１３  テキストデータ特徴ベクトル変換部
１４  テキストデータカテゴリ生成部
１５  テキストデータカテゴリ情報記憶部
１６  テキストデータカテゴリ情報入力部
１７  テキストデータカテゴリ評価値算出部
１８  テキストデータカテゴリ評価値算出部
【図１】
2004185515.tif 000007
【図２】
2004185515.tif 000008
【図３】
2004185515.tif 000009
【図４】
2004185515.tif 000010
【図５】
2004185515.tif 000011
【図６】
2004185515.tif 000012
【図７】
2004185515.tif 000013
【図８】
2004185515.tif 000014
【図９】
2004185515.tif 000015
【図１０】
2004185515.tif 000016
【図１１】
2004185515.tif 000017
【図１２】
2004185515.tif 000018
【図１３】
2004185515.tif 000019
【図１４】
2004185515.tif 000020
【図１５】
2004185515.tif 000021