(57)【要約】【課題】テキストデータ群全体で構成する特徴量空間および／またはこの特徴量空間とは異なる空間内で部分テキストデータ群を生成するテキストデータ群生成装置を提供する。【解決手段】このテキストデータ群生成装置は、指定した条件によりテキストデータ特徴ベクトル（特徴量空間）を生成し、多数の異なる特徴量空間における部分テキストデータ群を生成し、この生成した部分テキストデータ群を用いて、すべての異なる特徴量空間を含む空間内で擬似階層構造を生成することによって、ユーザがテキストデータ群の構造を理解するプロセスを支援する仕組みを提供する。【選択図】　　　　図１
2004054847.tif 000002
【特許請求の範囲】
【請求項１】
テキストデータ群のすべてのテキストデータについて、テキストを構成するトークンに関する情報を抽出するテキストデータ解析部と、テキストデータ特徴ベクトルの生成条件を指定するテキストデータ特徴ベクトル生成条件指定部と、前記テキストデータ解析部で抽出されたテキストデータのトークン情報から前記指定されたテキストデータ特徴ベクトル生成条件に従うトークンをテキストデータごとに抽出し、その抽出されたトークンの各テキストデータにおける出現頻度をもとにテキストデータ特徴ベクトルを生成するテキストデータ特徴ベクトル生成部と、生成する部分テキストデータ群数を指定するテキストデータ群分割数指定部と、前記生成したテキストデータ特徴ベクトル間の類似性により、テキストデータ群を前記指定された分割数の部分テキストデータ群に分割するテキストデータ群分割部と、前記分割された部分テキストデータ群すべてについて、前記テキストデータ解析情報、前記テキストデータ特徴ベクトル情報および前記部分テキストデータ群情報をもとに、部分テキストデータ群特徴ベクトルを生成する部分テキストデータ群特徴ベクトル生成部と、部分テキストデータ群の融合数を指定する部分テキストデータ群融合数指定部と、前記部分テキストデータ群特徴ベクトルまたは融合部分テキストデータ群特徴ベクトル間の類似性により、部分テキストデータ群を融合して前記指定された融合数とする部分テキストデータ群融合部とを備えることを特徴とするテキストデータ群生成装置。
【請求項２】
請求項１に記載のテキストデータ群生成装置において、前記テキストデータ特徴ベクトルに対し、線形変換を施してテキストデータ特徴ベクトルを修正することを特徴とするテキストデータ群生成装置。
【請求項３】
請求項２に記載のテキストデータ群生成装置において、前記線形変換は、各テキストデータ特徴ベクトルを列ベクトルとして構成される行列の特異値分解の結果をもとに生成した変換行列を用いて行なわれることを特徴とするテキストデータ群生成装置。
【請求項４】
請求項１，２または３に記載のテキストデータ群生成装置において、前記テキストデータ群分割部にて生成される各部分テキストデータ群に対して、所属するテキストデータ数と指定される所属テキストデータ数に関する閾値をもとに再分割処理を行うか否かを判定し、再分割処理を行なうと判定された部分テキストデータ群をテキストデータ群とみなし、部分テキストデータへの分割処理を再帰的に実行することを特徴とするテキストデータ群生成装置。
【請求項５】
請求項１，２，３または４に記載のテキストデータ群生成装置において、前記テキストデータ群分割数指定部で指定する分割数を、前記テキストデータ群もしくは部分テキストデータ群に所属するテキストデータ数と指定される定数の関数により自動算出することを特徴とするテキストデータ群生成装置。
【請求項６】
請求項１，２，３，４または５に記載のテキストデータ群生成装置において、前記部分テキストデータ群融合数指定部で指定する融合数を、融合対象の部分テキストデータ群の総数の関数により自動算出することを特徴とするテキストデータ群生成装置。
【請求項７】
請求項１，２，３，４，５または６に記載のテキストデータ群生成装置において、前記テキストデータ特徴ベクトル生成条件指定部にて指定される条件は、トークンの品詞情報であることを特徴とするテキストデータ群生成装置。
【請求項８】
テキストデータ群のすべてのテキストデータについて、テキストを構成するトークンに関する情報を抽出し、テキストデータ特徴ベクトルの生成条件を指定し、前記抽出されたテキストデータのトークン情報から前記指定された生成条件に従うトークンをテキストデータごとに抽出し、その抽出されたトークンの各テキストデータにおける出現頻度をもとにテキストデータ特徴ベクトルを生成し、前記生成したテキストデータ特徴ベクトル間の類似性により、テキストデータ群を指定された分割数の部分テキストデータ群に分割し、前記分割された部分テキストデータ群すべてについて、部分テキストデータ群特徴ベクトルを生成し、前記部分テキストデータ群特徴ベクトルまたは融合部分テキストデータ群特徴ベクトル間の類似性により、部分テキストデータ群を融合することを特徴とするテキストデータ群生成方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれかに記載のテキストデータ群生成装置として実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テキストデータ群生成装置、テキストデータ群生成方法、プログラムおよび記録媒体に関し、特に、文書分類、テキスト分析、アンケートデータ分析に適用して好適である。
【０００２】
【従来の技術】
Ｗｏｒｌｄ　Ｗｉｄｅ　Ｗｅｂ等のネットワーク技術の普及により大量のテキストデータへのアクセスが可能になり、その結果としてユーザは興味のある情報が記述されているテキストデータを簡単かつ大量に収集できるようになった。
しかし一方、収集したテキストデータが大量であるため、それらテキストデータを分析し、有効な情報を読み取る作業は非常に困難なものになってしまっている。
【０００３】
例えば、インターネットを利用したアンケート調査は、短時間に低コストで大量の回答結果が得られることから、頻繁に行われるようになってきている。
選択形式の回答結果であればそのまま統計解析手法を用いて分析を行うことができるが、記述形式の回答結果に対する有効な分析手法は確立されておらず、分析者は個々の回答結果に目を通さなければならないなど非常に負荷の高い作業になっている。
【０００４】
このような問題を解決するためのひとつの支援手法として、ユーザが様々な詳細度（抽象度）でテキストデータの構造を容易に探索できるような仕組みを提供することが考えられる。
この支援手法の基盤技術として自動テキスト分類技術があり、例えば、特開平７−３６８９７号公報の手法等、近年種々の手法が提案されている。
この特開平７−３６８９７号公報の「文書分類装置」は、分類対象文書集合に含まれる単語を特徴量とする文書特徴ベクトルを用い、その文書特徴ベクトルに対してクラスタリング手法を適用して分類を行うものである。
【０００５】
また、特許３０６４１２２号公報の「文書編集システム」では、内容を的確に表現するプロファイルをもつテキスト集合をブラウズし、興味のあるテキスト集合を収集し、それらをひとまとめにして再分類を行うことで、新たなテキスト集合を生成していく過程を繰り返すことができる仕組みを提供して、ユーザがテキストデータの構造情報を把握することを支援している。
【０００６】
さらに、特開平７−１４１３９０号公報の「電子記憶ドキュメントコーパスの処理方法および電子記憶ドキュメントの大きなコーパスのクラスタ階層形成方法」は、ドキュメントコーパスをＫ個の集合に分割し、さらに生成された各集合に対し所属するドキュメント数がＫより多い場合にはさらにＫ個以下になるように分割する処理を再帰的に行う。さらに、ドキュメントコーパスの階層構造を生成し、その後、任意のドキュメント集合を選択し、それをクラスタリング（分類、分割）する。その際、ドキュメントそのものは使わずに、階層構造を利用して分類対象集合を一定数のメタドキュメント（集合）に拡張し、それらのメタドキュメントを使ってクラスタリングを行っている。
即ち、特開平７−１４１３９０号公報の手法は、メタドキュメントという概念を導入し、それらを分類時のプリミティブデータとして用いることで、特許３０６４１２２号公報の手法をより高速かつ適切に実行する仕組みを提供している。
【０００７】
これら２つの手法の注目すべき点は、単にテキストデータ群をメタドキュメント、すなわち部分テキストデータ群とプリミティブ（最小構成単位）としてテキストデータ群の構造を構成するだけでなく、任意の局所的な範囲でプリミティブの詳細度を動的に変化させてテキストデータ群の構造を構成する仕組みを提供していることである。
即ち、これらの手法を利用することでユーザはテキストデータ群の構造を動的に抽象度を変えながら探索できる。
【０００８】
特開平１１−２９６５５２号公報の「文書分類装置」は、単語の多義性／同義性を考慮するために文書間の内積行列に特異値分解を適用することにより文書間の単語の共起性を基に潜在的意味空間を生成して、文書と単語を潜在的意味空間に射影し、その潜在的意味空間においてクラスタリング手法などを用いて文書分類を行っている。
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した特許３０６４１２２号公報や特開平７−１４１３９０号公報の手法が提供している機能、即ち、ユーザがテキストデータ群の構造を動的に抽象度を変えながらで探索していくプロセスは、ユーザにとっては非常に難しく負荷の高いタスクになるものと思われる。
即ち、複数の部分テキストデータ群を収集する過程は、ユーザに委ねられてしまっているが、個々の部分テキストデータ群がひとつ以上の“話題”を提供しているものとして、それら部分テキストデータ群間の関係を把握し、関連付けていくことは、ユーザにとって非常に負荷の高いものであると考えられる。
【００１０】
この問題に対して、特開平７−１４１３９０号公報では、テキストデータ群から再帰的に部分テキストデータ群を生成し、それら生成した部分テキストデータ群を用いて、事前にテキストデータ群の擬似階層構造を適切に生成しておくことで、ユーザが部分テキストデータ群間の関係を把握することを支援する仕組みを提供している。
【００１１】
これらの支援手法を適切に用いることで、ユーザは動的に変化しうる部分テキストデータ群（メタドキュメント）（即ち“話題”）をプリミティブとしてテキストデータ群の構造を探索することが可能となる。
このテキストデータ群の構造を探索するときの質は、いかに多様な部分テキストデータ群（即ち“話題”）を生成できるかということに強く依存していると考えられる。
【００１２】
上述した従来の手法は、生成した特徴空間全体を考慮した類似測度をもとに、部分テキストデータ群の生成（分割，融合）処理を行っているため、部分テキストデータ群の大きさに依存した抽象度の異なる“話題”を生成している。
ユーザがテキストデータ群単体や任意のテキストデータ群間の関係を探索する場合に考慮する類似測度は、特徴量空間（テキストデータ特徴ベクトルを構成する空間）全体だけではなく、その部分空間を含む異なる特徴量空間で構成されていることもあると推測することは妥当であると考えられる。
【００１３】
したがって、本発明の第一の目的は、テキストデータ群全体で構成する特徴量空間および／またはこの特徴量空間とは異なる空間内で部分テキストデータ群を生成し、多様な“話題”を表現しうる部分テキストデータ群をユーザに提供することで、ユーザがテキストデータ群の構造を理解するプロセスを適切に支援しうる仕組みを提供することにある。
【００１４】
さらに、様々な特徴量空間によって部分テキストデータ群を生成すると、上述の従来技術によれば、個々の特徴量空間ごとにテキストデータ群の構造が生成されることになるが、これらに関する情報を適切にユーザに提示するためには、これら複数の異なるテキストデータ群の構造間の関係もまた適切に構造化する必要がある。
したがって、本発明の第二の目的は、異なる特徴量空間で生成された部分テキストデータ群に対し、すべての特徴量空間を含む空間内で擬似階層構造を生成することで、ユーザがテキストデータ群の構造を容易に探索することを支援しうる仕組みを提供することにある。
【００１５】
【課題を解決するための手段】
上記の課題を解決するために、本発明の請求項１のテキストデータ群生成装置は、テキストデータ群のすべてのテキストデータについて、テキストを構成するトークンに関する情報を抽出するテキストデータ解析部と、テキストデータ特徴ベクトルの生成条件を指定するテキストデータ特徴ベクトル生成条件指定部と、前記テキストデータ解析部で抽出されたテキストデータのトークン情報から前記指定されたテキストデータ特徴ベクトル生成条件に従うトークンをテキストデータごとに抽出し、その抽出されたトークンの各テキストデータにおける出現頻度をもとにテキストデータ特徴ベクトルを生成するテキストデータ特徴ベクトル生成部と、生成する部分テキストデータ群数を指定するテキストデータ群分割数指定部と、前記生成したテキストデータ特徴ベクトル間の類似性により、テキストデータ群を前記指定された分割数の部分テキストデータ群に分割するテキストデータ群分割部と、前記分割された部分テキストデータ群すべてについて、前記テキストデータ解析情報、前記テキストデータ特徴ベクトル情報および前記部分テキストデータ群情報をもとに、部分テキストデータ群特徴ベクトルを生成する部分テキストデータ群特徴ベクトル生成部と、部分テキストデータ群の融合数を指定する部分テキストデータ群融合数指定部と、前記部分テキストデータ群特徴ベクトルまたは融合部分テキストデータ群特徴ベクトル間の類似性により、部分テキストデータ群を融合して前記指定された融合数とする部分テキストデータ群融合部とを備えることを特徴とする。
【００１６】
また、本発明の請求項２は、請求項１に記載のテキストデータ群生成装置において、前記テキストデータ特徴ベクトルに対し、線形変換を施してテキストデータ特徴ベクトルを修正することを特徴とする。
また、本発明の請求項３は、請求項２に記載のテキストデータ群生成装置において、前記線形変換は、各テキストデータ特徴ベクトルを列ベクトルとして構成される行列の特異値分解の結果をもとに生成した変換行列を用いて行なわれることを特徴とする。
【００１７】
また、本発明の請求項４は、請求項１，２または３に記載のテキストデータ群生成装置において、前記テキストデータ群分割部にて生成される各部分テキストデータ群に対して、所属するテキストデータ数と指定される所属テキストデータ数に関する閾値をもとに再分割処理を行うか否かを判定し、再分割処理を行なうと判定された部分テキストデータ群をテキストデータ群とみなし、部分テキストデータへの分割処理を再帰的に実行することを特徴とする。
また、本発明の請求項５は、請求項１，２，３または４に記載のテキストデータ群生成装置において、前記テキストデータ群分割数指定部で指定する分割数を、前記テキストデータ群もしくは部分テキストデータ群に所属するテキストデータ数と指定される定数の関数により自動算出することを特徴とする。
また、本発明の請求項６は、請求項１，２，３，４または５に記載のテキストデータ群生成装置において、前記部分テキストデータ群融合数指定部で指定する融合数を、融合対象の部分テキストデータ群の総数の関数により自動算出することを特徴とする。
また、本発明の請求項７は、請求項１，２，３，４，５または６に記載のテキストデータ群生成装置において、前記テキストデータ特徴ベクトル生成条件指定部にて指定される条件は、トークンの品詞情報であることを特徴とする。
【００１８】
また、本発明の請求項８のテキストデータ群生成方法は、テキストデータ群のすべてのテキストデータについて、テキストを構成するトークンに関する情報を抽出し、テキストデータ特徴ベクトルの生成条件を指定し、前記抽出されたテキストデータのトークン情報から前記指定された生成条件に従うトークンをテキストデータごとに抽出し、その抽出されたトークンの各テキストデータにおける出現頻度をもとにテキストデータ特徴ベクトルを生成し、前記生成したテキストデータ特徴ベクトル間の類似性により、テキストデータ群を指定された分割数の部分テキストデータ群に分割し、前記分割された部分テキストデータ群すべてについて、部分テキストデータ群特徴ベクトルを生成し、前記部分テキストデータ群特徴ベクトルまたは融合部分テキストデータ群特徴ベクトル間の類似性により、部分テキストデータ群を融合することを特徴とする。
【００１９】
また、本発明の請求項９のプログラムは、コンピュータを、請求項１乃至７のいずれかに記載のテキストデータ群生成装置として実行させるためのプログラムである。
本発明の請求項１０の記録媒体は、請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２０】
したがって、テキストデータ群全体で構成する特徴量空間および／またはこの特徴量空間とは異なる空間内で部分テキストデータ群を生成し、多様な“話題”を表現しうる部分テキストデータ群をユーザに提供できるので、ユーザがテキストデータ群の構造を理解するプロセスを適切に支援できる。
【００２１】
さらに、異なる特徴量空間で生成された部分テキストデータ群に対し、すべての特徴量空間を含む空間内で擬似階層構造を生成するので、ユーザがテキストデータ群の構造を容易に探索できるように支援できる。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明のテキストデータ群生成装置に係る一実施形態を説明する。
図１は、本発明のテキストデータ群生成装置の構成を示すブロック図である。図１において、テキストデータ群生成装置は、テキストデータ解析部１００、部分テキストデータ群生成統制部２００、部分テキストデータ群融合統制部３００と、テキストデータ記憶部９５、テキストデータ解析情報記憶部１０５、テキストデータ特徴ベクトル記憶部２０５、部分テキストデータ群情報記憶部２３５、融合部分テキストデータ群情報記憶部３０５とを備えている。
【００２３】
さらに、部分テキストデータ群生成統制部２００は、テキストデータ特徴ベクトル生成部２１０、テキストデータ群分割数指定部２２０、テキストデータ群分割部２３０、部分テキストデータ群再分割判定部２４０を含んでいる。
部分テキストデータ群融合統制部３００は、部分テキストデータ群特徴ベクトル生成部３１０、部分テキストデータ群融合数指定部３２０、部分テキストデータ群融合部３３０を含んでいる。
【００２４】
テキストデータ解析部１００は、テキストデータ記憶部９５から入力されたテキストデータそれぞれに対し一意な識別番号を割り当てるとともに、言語解析処理を施し、テキストを構成するトークン情報を抽出するとともに、テキストデータ群全体で固有なトークン情報も合わせて抽出し、それらに対し一意な識別子を付与することで、効率的にトークン情報の管理を行う。
また、テキストデータ記憶部９５には、複数のテキストデータ（例えば、文章や文書）が記憶されており、テキストデータそれぞれに対してテキストデータ解析部１００の処理を行う。
【００２５】
以下の説明では、日本語で作成された文章からなるテキストデータを対象に説明するが、言語系を特に限定するものでない。
このテキストデータ解析部１００は、テキストデータ記憶部９５から読み込んだ各日本語テキストデータに対し、日本語形態素解析を行って、各テキストデータを構成するトークン情報として表記、品詞情報および出現頻度を抽出するとともに、テキストデータ全体で固有な表記と品詞を有するトークンに一意な識別番号を付与して管理する。
なお、日本語形態素解析処理手法は適切なトークン情報が抽出可能な従来技術を使うものとする。
【００２６】
テキストデータ解析情報記憶部１０５には、テキストデータ解析部１００で解析された結果として、テキストデータリスト、テキストトークンリストおよびユニークトークンリストが格納される。
ここでテキストデータリストは、各要素のアイテムが
・テキストデータの識別番号、
・テキストトークンリストへの参照情報
テキストトークンリストは、このテキストデータ中で一意のトークンを
登録するリストである。
で構成され、各テキストデータに対して作成される。
【００２７】
テキストトークンリストは、各要素のアイテムが
・ユニークトークンリストへの参照情報
ユニークトークンリストは、テキストデータ全体で一意のトークンを
登録するリストである。
・テキスト内での出現頻度
で構成され、各テキストデータ中の各トークンに対して作成される。
【００２８】
また、ユニークトークンリストは、各要素のアイテムが
・トークンの識別番号、
・表記、
・品詞情報
・テキストデータ全体での出現頻度
で構成され、テキストデータ全体で一意のトークンに対して作成される。
【００２９】
例えば、２つのテキストデータＴｅｘｔ１，Ｔｅｘｔ２に対し、形態素解析を適用し、以下のような抽出結果が得られたとする。
ここで、｛　｝内の要素は、順にそれぞれトークンの表記、品詞情報、出現頻度を示している。
【００３０】
Ｔｅｘｔ１：｛ｔｏｋｅｎ１，ｃｌａｓｓ１，２｝、
｛ｔｏｋｅｎ２，ｃｌａｓｓ１，３｝、
｛ｔｏｋｅｎ１，ｃｌａｓｓ３，１｝、
｛ｔｏｋｅｎ３，ｃｌａｓｓ１，２｝。
Ｔｅｘｔ２：｛ｔｏｋｅｎ１，ｃｌａｓｓ１，１｝、
｛ｔｏｋｅｎ３，ｃｌａｓｓ１，３｝、
｛ｔｏｋｅｎ４，ｃｌａｓｓ２，２｝。
【００３１】
このとき、テキストデータリスト、テキストトークンリスト、ユニークトークンリストは、それぞれ図２のようになる。
なお、上述の例ではリスト構造を用いてデータを管理しているが、データを適切に管理できるものであれば、どのようなデータ形式でもよい。
例えば、行成分がテキストデータ、列成分がテキストデータ全体でユニークなトークンおよび各要素値が対応するテキストデータ内で対応するトークンの出現頻度であるような行列として表現してもよい。
【００３２】
次に、テキストデータ解析部１００の処理手順を図３のフローチャートを用いて説明する。
空のユニークトークンリストおよびテキストデータリストを生成する（ステップＳ１、Ｓ２）。
テキストデータ記憶部９５から入力する各テキストデータすべてに対して、ステップＳ３からＳ１１を繰り返す。
【００３３】
対象テキストデータの空のテキストトークンリストを生成する（ステップＳ３）。
対象テキストデータに一意な識別番号を付与し、テキストデータリストの新たな要素のアイテムとして、対象テキストデータの識別番号とテキストトークンリストへの参照情報（例えば、ステップＳ３で生成したテキストトークンリストへのポインタ）を追加する（ステップＳ４）。
【００３４】
対象テキストデータに対して形態素解析を行い、トークンの表記、品詞情報を抽出し、出現頻度を算出する（ステップＳ５）。
この形態素解析で抽出したすべてのトークンに対して、ステップＳ６からステップＳ１０を繰り返す。
対象テキストデータの抽出されたトークンと同一の表記であって同じ品詞情報をもつトークンがユニークトークンリストにあるか否かを調べる（ステップＳ６）。
同じトークンが存在する場合（ステップＳ６のＹＥＳ）、ユニークトークンリストの該当トークンの出現頻度に１を加える（ステップＳ７）。
一方、同じトークンが存在しない場合（ステップＳ６のＮＯ）、対象トークンに一意な識別番号を付与し、ユニークトークンリストの新たな要素のアイテムとして、対象トークンの識別番号、表記、品詞情報および出現頻度値１を追加登録する（ステップＳ８）。
【００３５】
対象テキストデータのテキストトークンリストの新たな要素のアイテムとして、ユニークトークンリストへ登録したトークンへの参照情報と対象テキストデータ内での出現頻度を追加する（ステップＳ９）。
このテキストトークンリストへ登録するとき、同じユニークトークンリストへの参照情報がすでに登録されていた場合には、出現頻度のみを１つ増加して更新し、まだ登録されていないときにのみ、出現頻度を１とした新たな要素を追加登録するようにする。
【００３６】
１つのテキストデータから形態素解析で抽出されたトークンがすべて処理されたかを調べ、処理されていない場合にはステップＳ６へ戻って、次の抽出したトークンを処理する（ステップＳ１０のＮＯ）。
テキストデータ記憶部９５から入力するすべてのテキストデータを処理したかを調べ、処理されていない場合にはステップＳ３へ戻って、次のテキストデータの処理を行う（ステップＳ１１のＮＯ）。
【００３７】
部分テキストデータ群生成統制部２００は、異なるテキストデータ特徴ベクトル生成条件に対して、テキストデータ特徴ベクトル生成部２１０、テキストデータ群分割数指定部２２０、テキストデータ群分割部２３０および部分テキストデータ群再分割判定部２４０の繰り返し処理を統制する。
【００３８】
テキストデータ特徴ベクトル生成部２１０は、テキストデータ解析情報記憶部１０５に記憶されたテキストデータ解析結果を用いて、テキスト特徴ベクトルを生成する。
テキスト特徴ベクトルの要素として、テキストデータ全体でユニークなトークンの出現頻度を用いる場合、例えば、行成分がテキストデータ、列成分がテキストデータ全体でユニークなトークン、各要素値が対応するテキストデータ内での対応するトークンの出現頻度であるような行列表現を用いれば、行列の各列ベクトルがテキスト特徴ベクトルとなる。この行列をテキスト−トークン頻度行列と呼ぶ。
【００３９】
しかしながら、数万件以上のテキストデータからは数十万個以上のトークンが抽出されるため、テキスト特徴ベクトルとしてテキスト−トークン頻度行列を用いると計算負荷が非常に高くなってしまう。
そのため、テキスト−トークン頻度行列に対し、線形変換を施すことにより、テキストデータ特徴ベクトルの次元数を圧縮する。
即ち、テキストデータ数Ｎ、トークン数Ｄのときのテキスト−トークン頻度行列Ａ［Ｄ×Ｎ］に対し、線形変換行列Ｗ［Ｋ×Ｄ］を適用すると、新たなテキストデータ特徴ベクトル（行列）はＷＡ［Ｋ×Ｎ］となる。
このとき、Ｋが十分Ｄよりも小さい線形変換行列Ｗを適用することで、新たなテキスト−トークン頻度行列の次元数が十分小さくなるため、テキストデータ特徴ベクトル間の演算等の計算コストが大幅に軽減される。
【００４０】
この線形変換行列を求める手法としては、テキスト−トークン頻度行列に対し、多変量解析処理を施すことで求めることが多い。多変量解析手法としては、数量化三類、因子分析、主成分分析および多次元尺度法等様々な手法が適用可能であるが、近年特異値分解を施す処理が多く見られる（例えば、米国特許４８３９８５３号，特開平１１−２９６５５２号公報等）。
特異値分解をテキスト−トークン頻度行列に施すことで得られる線形変換行列は、特徴量の次元圧縮だけでなく、テキストデータ間でのトークンの共起性を考慮した変換行列が求められる長所もあわせて有している。
なお、特異値分解を利用する場合には、変換行列を適用した結果得られるテキストデータ特徴ベクトル（行列）は、特異値分解の算出プロセスから直接求めることができる。
【００４１】
また、テキストデータ特徴ベクトル生成部２１０では、異なるテキストデータ特徴ベクトルの生成条件を指定する。指定する情報は、特定のトークン群に対する削除、同一のトークンとして扱う同値化等、上記の線形変換行列を算出する方法の指定など様々条件が指定できる。
例えば、トークンが有する属性である品詞情報に着目した場合を考えると、品詞情報として、“動詞”、“名詞”、“形容詞”、“形容動詞”の４種を扱う場合、トークンの種類によって異なるテキスト−トークン頻度行列を生成するやり方（組み合わせ）は、（４Ｃ４＋４Ｃ３＋４Ｃ２＋４Ｃ１）通りあり、これらそれぞれが異なるテキストデータ特徴ベクトルとなる。
【００４２】
次に、指定される品詞情報を有するトークンのみからなるテキスト−トークン頻度行列を生成し、その行列に対して特異値分解を適用し、テキスト特徴ベクトルを生成する例を用いて、テキストデータ特徴ベクトル生成部２１０の処理手順（図４）を説明する。なお、特異値分解は、例えば、「行列の固有値：Ｆ．シャトラン著、シュプリンガー・フェアラーク東京」に記載された手法を用いて処理する。
【００４３】
テキストデータ解析情報記憶部１０５に記憶されたテキストデータリスト、テキストトークンリスト、ユニークトークンリストを基に、テキスト−トークン頻度行列を生成する（ステップＳ１１）。
このテキスト−トークン頻度行列から、指定されている品詞情報以外の品詞情報を有するトークンの列ベクトルを削除して、テキスト−トークン頻度行列を正規化する（ステップＳ１２）。
【００４４】
算出する特異次元を指定し、テキスト−トークン頻度行列に対し、特異値分解を適用する（ステップＳ１３）。
テキスト−トークン頻度行列［ｄ×ｔ］＝テキスト特徴行列［ｄ×ｋ］
×特異値行列［ｋ×ｋ］×トークン特徴行列の転置行列［ｋ×ｔ］
ここで、ｄ：全テキスト数、ｔ：全テキストにおけるユニークなトークン数、ｋ：特異次元（ｋ≦ｄ，ｔ）とする。
【００４５】
要素がテキスト特徴ベクトルの各行ベクトルへの参照情報で構成されるテキスト特徴ベクトル参照リストを生成し、テキスト特徴行列とテキスト特徴ベクトル参照リストとをテキストデータ特徴ベクトル記憶部２０５へ記憶する。また、テキストデータ特徴ベクトル生成条件も記憶する（ステップＳ１４）。
ここで、テキスト特徴ベクトル参照リストは、要素のアイテムとして
・テキストデータの識別番号
・テキストデータに対応するテキスト特徴行列の行ベクトルへの参照情報
で構成される。テキスト特徴ベクトル参照リストにより任意の大きさのテキスト集合を表現することができる。
【００４６】
テキストデータ群分割数指定部２２０は、分割対象の（部分）テキストデータ群の分割数を指定する。
分割数は特定の定数を指定してもよいが、部分テキストデータ群の再分類を行うため、再分類過程で得られる情報をもとに、分割対象となった部分テキストデータ群の分割数を自動算出するようにしてもよい。
【００４７】
例えば、指定される定数を含む分割対象の部分テキストデータ群に所属するテキスト数を変数とした簡単な関数により分割数を算出できる。
即ち、分割対象部分テキストデータ群に所属するテキスト数をＮ、再分割処理により生成される部分テキストデータ群に所属するテキスト数の期待値（定数）をＥとして、分割数Ｃを
Ｃ＝［Ｎ／Ｅ］
で算出することができる。ここで［ａ］は、ａを超えない自然数を与える関数とする。
【００４８】
テキストデータ群分割部２３０は、分割対象の（部分）テキストデータ群を指定された数の部分テキストデータ群に分割し、分割した部分テキストデータ群に一意な識別子を付与する。
ここでは、テキストデータ特徴ベクトル参照リストで表現される任意の部分テキストデータ群を非階層クラスタリング手法のひとつであるｋ−ｍｅａｎｓ法（「多変量解析入門２：川口至商著、森北出版」）を簡素化したアルゴリズムを用いて、指定された数の部分テキストデータ群に分割し、結果として新たなテキスト特徴ベクトル参照リストを生成する手順を図５のフローチャートを用いて説明する。
【００４９】
ここでは、ｋ−ｍｅａｎｓ法の類似測度として余弦を用いるが、ベクトル間の類似測度を適切に測ることができる尺度であればそれを用いてもよい。
なお、ベクトル間の余弦の計算は、動的に変化する重心ベクトルと各テキストデータ特徴ベクトルの内積演算をもとにするため、ベクトルの特徴次元数が処理時間に大きく影響する。したがって、テキストデータ特徴ベクトル生成部２１０における線形変換行列による特徴次元の圧縮は、本処理において非常に有効なものとなる。
【００５０】
テキストデータ特徴ベクトル記憶部２０５からテキスト特徴行列（ＴＭ）および分割対象テキストデータ群のテキスト特徴ベクトル参照リスト（ＴＬ０）を読み込む（ステップＳ２１）。
分割数ｋを獲得する（ステップＳ２２）。
【００５１】
ｋ個の要素を持つ部分テキストデータ群リストと、ｋ個のテキスト特徴ベクトル参照リスト（ＴＬ１〜ＴＬｋ）を生成する（ステップＳ２３）。
この生成された部分テキストデータ群リストの各要素には、要素の識別番号アイテムにリスト内で一意な識別番号を代入する。
ここで、部分テキストデータ群リストは、少なくともアイテムとして、
・リスト内で一意な識別番号
・対応する部分テキストデータ群に所属するテキストデータ情報が記述されているテキストデータリストへの参照情報
を含むリストである。
【００５２】
クラスタ重心用の列数がｋであるテキスト特徴行列（ＴＭｃ）を生成し、クラスタ初期重心としてＴＭからランダムにｋ個の行ベクトルを抽出し、ＴＭｃに代入する（ステップＳ２４）。
ＴＭｃに対応するテキスト特徴ベクトル参照リスト（ＴＬｃ）を生成し、ＴＬｃにＴＭｃへの参照情報を設定する（ステップＳ２５）。
【００５３】
以下のステップＳ２６からＳ３２までを予め定めた回数だけ繰り返す。
ｋ個のテキスト特徴ベクトル参照リスト（ＴＬ１からＴＬｋ）を初期化して各要素のアイテムを空にする（ステップＳ２６）。
分割対象テキストデータ群のテキスト特徴ベクトル参照リスト（ＴＬ０）内のすべての要素について、ステップＳ２７からＳ３０まで繰り返す。
【００５４】
対象テキストデータ（要素）とＴＬｃのすべての要素（クラスタ重心）との余弦を算出する（ステップＳ２７）。
最大の余弦値を有するクラスタ重心ｃｉ（ｉ＝１からｋのいずれか）を同定する（ステップＳ２８）。
ｃｉに対応するテキストデータ特徴ベクトル（ＴＭｃのｃｉが示す行ベクトル）の値を行ベクトルと対象テキストが参照するテキスト特徴ベクトルとの算術平均ベクトルに置き換え、クラスタ重心ｃｉに対応するテキスト特徴ベクトル参照リストに新規要素として、対象テキストに対応する識別番号とテキスト特徴ベクトルへの参照情報を追加する（ステップＳ２９）。
以上の処理を分割対象テキストデータ群のテキスト特徴ベクトル参照リスト（ＴＬ０）内のすべての要素について行ったかを調べ（ステップＳ３０）、まだ残りがあればステップＳ２７へ戻る。
【００５５】
一方、残りがない場合には、ＴＬ１からＴＬｋについて、リストが空の場合そのリストを削除するとともに、ＴＬｃの対応する要素、ＴＭｃの対応する行ベクトルをそれぞれ削除し、ｋを１減ずる（ステップＳ３１）。
以上の処理（ステップＳ２６からＳ３１）を指定された回数繰り返したかを調べ（ステップＳ３２）、まだ繰り返し回数が残っている場合にはステップＳ２６へ戻る。
【００５６】
これまでの処理で生成した部分テキストデータ群リストのｋ個の要素のそれぞれについて、対応する部分テキストデータ群に所属するテキストデータに関する情報をテキストデータリストと同様のリストへ代入し、そのリストへの参照情報を各要素の所属テキストデータリスト参照情報アイテムに代入して更新し、部分テキストデータ群情報記憶部２３５へ記憶する（ステップＳ３３）。
【００５７】
以上の処理結果として得られるテキスト特徴ベクトル参照リスト（ＴＬ１〜ＴＬｋ）が求める部分テキストデータ群になる。
このように分割対象部分テキストデータ群（ＴＬ０）と分割結果である部分テキストデータ群（ＴＬ１〜ＴＬｋ）は同一のデータ構造であるため、任意の分割結果の部分テキストデータ群を新たな分割対象とすることができる。
【００５８】
部分テキストデータ群再分割判定部２４０は、テキストデータ群分割部２３０によって生成されたすべての部分テキストデータ群に対し、再分割処理を行うかどうか判定し、再分割と判定された部分テキストデータ群を再度テキストデータ群分割部２３０によって再帰的に分割処理を行う。
【００５９】
この再分割判定処理は、生成されたすべての部分テキストデータ群が特定数以下のテキストデータを含むか、部分テキストデータ群内のテキストデータの多くが類似しているような部分テキストデータ群を生成できるように、部分テキストデータ群が、
条件１：所属するテキスト数が指定される最大許容数以内である
条件２：テキスト集合に所属するテキスト内でテキスト特徴ベクトルが同一であるテキストが閾値数以上である
という２つの条件を満たすか否かを検査することで行う。
【００６０】
また、条件２として、上記以外にもトークンの出現頻度まで考えずにテキストが同一のトークンを含むかどうかのみで考慮したり、テキストデータ群分割部２３０における類似尺度のようにすべてのベクトル間の余弦類似度を算出し、これらの値の平均値や中央値などの代表値から条件を生成するようにしてもよい。
【００６１】
部分テキストデータ群再分割判定部２４０の処理手順を図６のフローチャートを用いて説明する。
テキストデータ群分割部２３０で生成されたすべての部分テキストデータ群の中から１つの部分テキストデータ群を対象部分テキストデータ群とし、その対象部分テキストデータ群のテキスト−トークン頻度行列を対象としたテキストデータ特徴ベクトル参照リスト（ＴＬｔ）を獲得する（ステップＳ４１）。
要素のアイテムが空のテキストデータ特徴ベクトル参照リスト（ＴＬｒ）を生成する（ステップＳ４２）。
部分テキストデータ群に所属するテキスト数が最大許容数以上である場合（ステップＳ４３のＮＯ）、条件１フラグを偽にして（ステップＳ５２）、ステップＳ５３へ進む。
一方、最大許容数以下の場合（ステップＳ４３のＹＥＳ）、条件１フラグを真にする（ステップＳ４４）。
【００６２】
ＴＬｔのすべての要素について、ステップＳ４５からＳ４８まで繰り返す。
ＴＬｔの対象要素が参照するテキストデータ特徴ベクトルと、ＴＬｒ中の要素が参照するテキストデータ特徴ベクトルに同一のものがあるかを調べる（ステップＳ４５）。
同一のものがあれば（ステップＳ４５のＹＥＳ）、同一のＴＬｒの要素の識別子アイテムの値に１を加える（ステップＳ４６）。
一方、同一のものがなければ（ステップＳ４５のＮＯ）、ＴＬｒに次のアイテムをもつ要素を追加する（ステップＳ４７）。
・識別子要素が１、
・テキスト特徴ベクトルへの参照情報アイテムが、ＴＬｔの対象要素が保持しているテキストデータ特徴ベクトルへの参照情報。
まだ、ＴＬｔのすべての要素を処理していなければ、ステップＳ４５へ戻って残りの要素に対して、ＴＬｒに登録されたかを調べる。
【００６３】
ＴＬｒに登録された全要素の識別子要素の値の最大値が予め設定した閾値以上である場合（ステップＳ４９）、条件２フラグを真にする（ステップＳ５０）。一方、最大値が予め設定した閾値以下の場合（ステップＳ４９のＮＯ）、条件２フラグを偽にする（ステップＳ５１）。
条件１フラグと条件２フラグがともに真であれば（ステップＳ５３のＹＥＳ）、対象部分テキストデータ群を再分割対象の部分テキストデータ群とする（ステップＳ５４）。
一方、条件１フラグまたは条件２フラグのいずれかが偽の場合（ステップＳ５３のＮＯ）、再分割は行わない（ステップＳ５５）。
以上の処理をすべての対象部分テキストデータ群に対して処理を終了したかを調べ（ステップＳ５６）、処理が終了していないときにはステップＳ４１へ戻って次の対象部分テキストデータ群について、再分割の判定をする。
【００６４】
部分テキストデータ群融合統制部３００は、部分テキストデータ群特徴ベクトル生成部３１０、部分テキストデータ群融合数指定部３２０および部分テキストデータ群融合部３３０の繰り返し処理を統制する。
本処理を施した結果得られる部分テキストデータ群リストの情報を再構成することにより部分テキストデータ群の擬似階層構造を生成することができる。
【００６５】
部分テキストデータ群特徴ベクトル生成部３１０は、生成された個々の部分テキストデータ群の特徴ベクトルは、例えば、テキストデータ特徴ベクトル生成条件がトークンの指定による場合などに、テキスト−トークン頻度行列が異なる場合が生じる。ただし、この場合テキストデータ−トークン頻度行列は条件により異なるが、線形変換行列を適用した結果得られるテキストデータ特徴ベクトルの特徴次元数は形式上同一になってしまうため注意が必要である。
【００６６】
例えば、テキストデータ−トークン頻度行列に特異値分解を適用し、テキストデータ特徴ベクトルを生成した場合、特徴次元数を指定された定数とすると、個々の生成条件により得られるテキストデータ特徴ベクトルの特徴次元数は同一になるため、ベクトル間の類似度の計算自体は可能であるが、特徴ベクトルが構成する空間自体はまったく異なるものなので、計算結果はまったく意味のないものとなってしまう。
したがって、全部分テキストデータ群に対し融合処理を施すためには、全部分テキストデータ群の特徴ベクトルを再計算して特徴ベクトルの特徴空間を統一する必要がある。
【００６７】
以下の説明では、テキストデータ特徴ベクトル生成条件がトークンの品詞情報により与えられている場合の部分テキストデータ群特徴ベクトルの再計算方法を例示する。
まず、テキストデータ群に含まれる全トークンの品詞情報の集合を
Ｃ＝｛名詞，動詞，形容詞，形容動詞，数詞，未登録語｝
とし、テキストデータ特徴ベクトル生成条件は使用品詞により指定されるものとし、
条件１＝｛名詞，動詞｝、
条件２＝｛名詞，未登録語｝、
条件３＝｛名詞，形容詞｝
の３条件が与えられたものとする。
【００６８】
このとき、条件１、条件２および条件３の指定品詞の和、即ち｛名詞，動詞，形容詞，未登録語｝のトークンを有効としたテキストデータ−トークン頻度行列Ｘ（行：テキストデータｄ、列：トークンｔ）を生成し、この行列Ｘをもとに線形変換行列を導出すればよい。
例えば、行列Ｘの特異値分解をＸ＝ＶＳＵとすると、線形変換行列はＵｔＳｔとなる。そして行列Ｘにおいて、条件ｉ（ｉ＝１，２，３）を満たさないトークンの列ベクトルの全要素を０にすることにより得られる行列をＸｉとすると、条件ｉのテキストデータ特徴ベクトルはＸｉＵｔＳｔとなる。
【００６９】
このようにして、各条件における特徴ベクトルを再計算した結果を、部分テキストデータ群が保持している所属テキストデータに関する情報を参照し、全所属テキストデータの特徴ベクトルの平均をもとめて部分テキストデータ群の特徴ベクトルを算出することができる。
この場合、部分テキストデータ群の情報を保持する部分テキストデータ群リストの要素のアイテムとして、さらにテキストデータ特徴ベクトル生成条件を識別する情報が必要となる。
【００７０】
なお、上述の場合、行列の掛け算を含む処理であるため、計算コストが高くなる可能性があるので、計算コストを軽減するために、テキストデータ特徴ベクトルとして条件ごとにＸｉＵｔＳｔを算出するのではなく、条件を共通に満たすＶを使用してもよい。
【００７１】
また、融合部分テキストデータ群については、それを構成している部分テキストデータ群が有する情報から特徴ベクトルを算出することが可能である。
なお、融合部分テキストデータ群の情報も統一的に管理するために、前述した部分テキストデータ群リストには、少なくともアイテムとして、テキストデータ特徴ベクトル参照リストへの参照情報と融合部分テキストデータ群であるか否かの識別情報をさらに含み、融合部分テキストデータ群の場合は、参照するテキストデータリストの要素が融合部分テキストデータ群を構成する部分テキストデータ群の識別番号である必要がある。
【００７２】
部分テキストデータ群融合数指定部３２０は、融合対象の部分テキストデータ群の融合数を指定する。融合数は特定の定数を指定してもよいが、処理の簡素化のため、融合対象の部分テキストデータ群の総数から自動で分割数を算出してもよい。
例えば、指定される定数（Ｅ）と分類対象部分テキストデータ群の総数（Ｎ）とに対して、融合数Ｃは
Ｃ＝［Ｎ／Ｅ］
で算出することができる。ここで［ａ］は、ａを超えない自然数を与える関数とする。
【００７３】
部分テキストデータ群融合部３３０は、融合対象の部分テキストデータ群を指定された数の部分テキストデータ群に融合し、生成した融合部分テキストデータ群に一意な識別子を付与する。融合対象の部分テキストデータ群が各テキストデータであるとして、上述のテキストデータ群分割部２３０の分割手続きを適用することで結果として得られる部分テキストデータ群が融合部分テキストデータ群になる。
【００７４】
なお、前述のとおり、各融合部分テキストデータ群は部分テキストデータ群リストの対応する要素に、少なくとも、テキストデータ特徴ベクトル参照リストへの参照情報、融合部分テキストデータ群であるか否かの識別情報、リスト内で一意な識別番号および融合部分テキストデータ群に所属する（融合）部分テキストデータ群の情報が記述されている部分テキストデータ群リストへの参照情報を有している。
【００７５】
以上のような構成により、指定した条件によりテキストデータ特徴ベクトル（特徴量空間）を生成し、その情報をもとに部分テキストデータ群を生成する仕組みを提供できるので、多数の異なる特徴量空間における部分テキストデータ群を生成し、さらに生成した部分テキストデータ群を用いて前記すべての異なる特徴量空間を含む空間内で擬似階層構造を生成できる。
【００７６】
また、生成したテキストデータ特徴ベクトルに線形変換を施すことで、テキスト特徴ベクトルの次元数を圧縮し、これにより計算処理コストの低いテキストデータ群生成装置を提供できる。
特に、テキストデータ特徴ベクトルに特異値分解を施すことで得られる行列をもとにした線形変換を行う場合には、トークンのテキストデータ間での共起性を考慮したテキストデータ特徴ベクトルを得ることができ、意味的な妥当性の高い部分テキストデータ群が生成できる。
【００７７】
さらに、所属テキストデータ数がある程度一定であるような部分テキストデータ群を生成することで、ユーザのテキストデータ群の理解を促進しうるテキストデータ群生成装置を提供できる。特に、再帰的に実行される分割処理における分割数を自動算出する場合には、より簡便に部分テキストデータ群が生成できる。
【００７８】
また、反復的に実行される部分テキストデータ群および／または融合部分テキストデータ群の融合処理手続きにおける融合数を自動算出することにより、より簡便に部分テキストデータ群が生成できる。
【００７９】
また、異なる特徴量空間を生成する条件にトークンの品詞情報を用いると、簡便に意味的に大きく異なることが期待できる特徴量空間において部分テキストデータ群を生成することができる。
【００８０】
次に、本発明のテキストデータ群生成装置の全体の処理手順を図７のフローチャートをもとに説明する。
入力された各テキストデータに対し言語解析処理を施し、テキストを構成するトークン情報を抽出する。この際、テキストデータ群全体で固有なトークン情報も合わせて抽出する（ステップＳ６１）。
異なるテキストデータ特徴ベクトルの生成条件を入力する（ステップＳ６２）。指定する情報は、特定のトークン群に対する削除、同一のトークンとして扱う同値化等、線形変換行列を算出する手法の指定など様々条件を指定する。
【００８１】
抽出されたテキストデータ解析結果を用いて、指定されたテキストデータ特徴ベクトル生成条件を満足するテキスト特徴ベクトルを生成する（ステップＳ６３）。
分割対象の（部分）テキストデータ群を指定された数の部分テキストデータ群に分割する（ステップＳ６４）。
テキストデータ群分割処理によって生成されたすべての部分テキストデータ群に対し、再分割処理を行うかどうか判定する（ステップＳ６５）。
分割された部分テキストデータ群のうち、さらに分割が必要と判断された部分テキストデータ群に対して再度分割処理を行うためにステップＳ６４へ戻る。
以上の処理を異なるテキストデータ特徴ベクトル生成条件すべてに対して処理していない場合には、ステップＳ６３へ戻る（ステップＳ６６）。
【００８２】
全部分テキストデータ群に対し融合処理を施し、特徴ベクトルの特徴空間を統一するために全部分テキストデータ群の特徴ベクトルを再計算する（ステップＳ６７）。
融合対象の部分テキストデータ群の融合数を指定する（ステップＳ６８）。
この融合数は特定の定数とはせず、融合対象の部分テキストデータ群の総数から自動で算出してもよい。
融合対象の部分テキストデータ群を指定された数の部分テキストデータ群に融合する（ステップＳ６９）。
この結果得られる部分テキストデータ群リストの情報を再構成することにより部分テキストデータ群の擬似階層構造を生成することができる。
【００８３】
さらに、本発明は上記の実施形態のみに限定されたものではない。上述した実施形態のテキストデータ群生成装置の機能を実行するプログラムコードを予めＣＤ−ＲＯＭの記録媒体に書き込んでおき、このＣＤ−ＲＯＭをＣＤ−ＲＯＭドライブのような媒体読取装置を搭載したコンピュータに装着して、プログラムをメモリあるいは記憶装置に格納し、コンピュータのＣＰＵがメモリまたは記憶装置に格納されたプログラムを読出して実行することによっても、本発明の目的が達成されることは言うまでもない。
また、上述のプログラムコードがＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に記憶されている場合には、コンピュータのＣＰＵがこのＲＯＭからプログラムを読出して実行することによって、本発明の目的が達成される。
【００８４】
この場合、記録媒体から読出されたプログラム自体が上述した実施形態を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【００８５】
なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
【００８６】
また、ロードしたプログラムを実行することにより上述した実施形態が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施形態が実現される場合も含まれる。
【００８７】
また、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、インターネット等の通信網で接続されたユーザのコンピュータからダウンロード等の形式で頒布する場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【００８８】
【発明の効果】
以上説明したように本発明によれば、テキストデータ群全体で構成する特徴量空間および／またはこの特徴量空間とは異なる空間内で部分テキストデータ群を生成し、多様な“話題”を表現しうる部分テキストデータ群をユーザに提供できるので、ユーザがテキストデータ群の構造を理解するプロセスを適切に支援できる。
【００８９】
さらに、異なる特徴量空間で生成された部分テキストデータ群に対し、すべての特徴量空間を含む空間内で擬似階層構造を生成するので、ユーザがテキストデータ群の構造を容易に探索できるように支援できる。
【図面の簡単な説明】
【図１】本発明のテキストデータ群生成装置の構成を示すブロック図である。
【図２】テキストデータ解析結果を表現するデータ構造例である。
【図３】テキストデータ解析部の処理手順を示すフローチャートである。
【図４】テキスト特徴ベクトル生成部の処理手順を示すフローチャートである。
【図５】テキストデータ群分割部の処理手順を示すフローチャートである。
【図６】部分テキストデータ群に対する再分割判定を行うための処理手順を示すフローチャートである。
【図７】本発明のテキストデータ群生成装置の全体の処理手順を示すフローチャートである。
【符号の説明】
９５…テキストデータ記憶部、１００…テキストデータ解析部、１０５…テキストデータ解析情報記憶部、２００…部分テキストデータ群生成統制部、２０５…テキストデータ特徴ベクトル記憶部、２１０…テキストデータ特徴ベクトル生成部、２２０…テキストデータ群分割数指定部、２３０…テキストデータ群分割部、２３５…部分テキストデータ群情報記憶部、２４０…部分テキストデータ群再分割判定部、３００…部分テキストデータ群融合統制部、３０５…融合部分テキストデータ群情報記憶部、３１０…部分テキストデータ群特徴ベクトル生成部、３２０…部分テキストデータ群融合数指定部、３３０…部分テキストデータ群融合部。
【図１】
2004054847.tif 000003
【図２】
2004054847.tif 000004
【図３】
2004054847.tif 000005
【図４】
2004054847.tif 000006
【図５】
2004054847.tif 000007
【図６】
2004054847.tif 000008
【図７】
2004054847.tif 000009