(57)【要約】【課題】複数の定型情報と非定型情報であるテキストによって構造化された文書から、ユーザの求める観点に沿ったクラスタリング結果を得ることが可能な構造化文書クラスタリング装置を提供する。【解決手段】定型情報である複数の文書属性情報と非定型情報であるテキストとで構造化された文書をクラスタリングする装置において、クラスタリング処理する各文書間の類似度を算出する際に、使用する特徴素重みパラメータについて文書属性情報を加味して生成する手段を有することを特徴とする構造化文書クラスタリング装置。【選択図】      図１
2004326600.tif 000002
【特許請求の範囲】
【請求項１】
処理対象とする構造化文書を格納する文書データベースと、
前記文書データベースに格納された各文書の構造を解析して属性情報とテキストを抽出する文書構造解析部と、
前記文書構造解析部によって抽出されたテキストから特徴素を抽出する特徴素抽出部と、
前記特徴素抽出部で抽出された特徴素及び前記文書構造解析部から抽出された属性情報により重みパラメータを算出するパラメータ算出部と、
前記特徴素抽出部で得られた特徴素と前記パラメータ算出部で得られたパラメータより文書特徴ベクトルを生成する文書特徴ベクトル生成部と、
前記文書特徴ベクトル生成部から得られた文書特徴ベクトルをもとに文書間の類似度を計算する類似度算出部と、
前記類似度算出部から得られた文書間類似度にしたがって文書クラスタを作成しその結果を出力する結果出力部と
を有することを特徴とする構造化文書のクラスタリング装置。
【請求項２】
前記パラメータ算出部は、処理対象文書の属性情報を正解分類カテゴリとして正解データと見なすカテゴリ学習を行わせ、クラスタリングの結果においてもっともよく文書属性情報を分離するパラメータを算出することを特徴とする請求項１に記載の構造化文書のクラスタリング装置。
【請求項３】
前記パラメータ算出部は、処理対象とする構造化文書に付与されている属性情報について、入力装置からユーザが入力した属性利用定義情報にもとづいてパラメータ算出処理を行なうことを特徴とする請求項１または請求項２に記載の構造化文書のクラスタリング装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書処理装置において、とくに、定型情報である書誌情報などの属性情報と非定型情報であるテキストとで構造化された文書をクラスタリングする構造化文書のクラスタリング装置に関する。
【０００２】
【従来の技術】
文書をクラスタリングする方式として、各文書の特徴素を要素とするベクトルをその文書の特徴を表す文書特徴ベクトルで定義し、各文書特徴ベクトルの類似度によって文書間の類似度を算出し、算出した類似度の高い文書をまとめてクラスタリングする方式が一般に用いられている。
【０００３】
単純な例では、特徴素としてある単語が出現する頻度情報をもとに、その特徴素の共有数を採用しさらに、その特徴素の共有数を文書特徴ベクトルの類似度の定義として採用するものがある。しかしながら、このような単純な方式では、文書の内容に基づいたクラスタリング結果は得られない可能性が大きい。
例えば、
１．「文書を分類した」
２．「商品を分類した」
３．「文書の分類を行なう」
という３つの文書について、これら文書群に登場する全ての単語の出現の有無を、文書特徴ベクトルで表現すると以下のようになる。
【０００４】
ここで「文書」「を」「分類」「する」「た」「商品」「の」「行なう」の８つの単語について、順に、その文書に出現しているものを１、出現していないものを０で表す。また、「した」については、さらに「する」と「た」に分割して特徴素としている。
１．（１，１，１，１，１，０，０，０）：「文書」「を」「分類」「する」「た」が出現
２．（０，１，１，１，１，１，０，０）：「商品」「を」「分類」「する」「た」が出現
３．（１，１，１，０，０，０，１，１）：「文書」「の」「分類」「を」「行なう」が出現
以上により、文書１と文書２の共有単語数は４（  「を」「分類」「する」「た」）  、文書１と文書３の共有単語数は３（  「文書」「分類」「を」）  となり、文書１は、文書３より文書２に近いという結果になるが、これは文書の記述内容からみると適切ではない。つまり、有用なクラスタリング結果を得るためには文書間の類似度の算出方式を工夫する必要がある。
【０００５】
その工夫の一つとして、正しく文書内容を反映した文書特徴ベクトルを生成することが挙げられる。例えば、文書特徴ベクトルの要素である特徴素を、その文書の内容をよく反映するもののみに制限するルールを用意する方法や、特徴素の値そのものではなく、特徴素の文書内容への寄与度によって重み付けした結果を文書特徴ベクトルとする処理が知られている。
【０００６】
上記特徴素制限ルールとしては、例えば、「特徴素として自立語のみを採用する」といったものがあるが、適切なクラスタリングのために、特徴素選択ルールの厳密な設定は大変な作業であり、また、重み付けルールの人手による設定は非現実的である。これに対し、ＴＦ（Ｔｅｒｍ  Ｆｒｅｑｕｅｎｃｙ）／ＩＤＦ（Ｉｎｖｅｒｔｅｄ  Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）  法などの統計的な観点にもとづいた自動重み付け方式が用いられる。しかしながら、このような自動重み付けは、ユーザがそのパラメータを制御することができない。
【０００７】
一方、類似度の定義は、本来、その処理結果をどのように利用するかに依存して決められる。例えば、上記した３つの文書において、「記述内容の類似」の観点では、文書１／文書３間の類似度が高くなるが、「文構造の類似」という別の観点では、文書１／文書２間の類似度の方が高くなっていると考えられる。
一概に「記述内容の類似」といっても、通常、一つの文書には様々な記述内容が含まれており、その中のどの内容の類似をもって類似度が高いと判定するかという点で一意に決められるようなものではない。したがって、統計的情報にもとづく自動重み付け処理においては、その処理目的によって変動する類似度の定義を反映した処理が行なえないことになる。
【０００８】
以上、上記した従来の方式は、ある類似度の観点に沿った類似度を算出するにあたって、１）クラスタリング処理において、ユーザの観点を反映させるような特徴素選択ルールや重み付けルールを人手で作成するのはほとんど不可能である。一方、２）ＴＦ／ＩＤＦ法などの統計的手法に基づく自動重み付け方式においては、観点を反映させることはできない、等の問題を抱える。
【０００９】
以上のように、その目的に応じた類似性の定義によって類似度を算出しなければ、ユーザの満足する結果が得られないという問題は、入力された文書の類似文書を検索する類似文書検索処理と共通の問題となっている。
従来、定型情報である文書属性情報と非定型情報であるテキストによって構造化された文書と類似する構造化文書を検索する類似文書検索装置において、テキストから抽出された特徴素と文書属性情報を組み合わせて文書間の類似度を算出する技術は開示されている（例えば、特許文献１）  。この発明は、検索処理に伴う類似度算出の前に、上記の二つの情報の組み合わせ方をユーザに指定させる類似度算出定義ステップを具備することを特徴としている。この類似度算出定義情報は、例えば、構造化された項目毎の類似度を重みつきで足し合わせて文書間の類似度を算出するという方式において、各項目の重みを定義するものである。
【００１０】
この方式によると、確かに、ユーザの期待する類似度の観点を、類似度算出の際に優先すべき項目という形式で装置に通知することが可能である。しかしながら、非定型情報であるテキストで記述された項目の類似度を算出する際には、予め設定してある観点に基づく類似度を用いているという点において、何ら上記の問題点を解決するものではない。
【００１１】
また、文書クラスタリングと類似した目的をもつ技術として、文書分類と呼ばれる技術がある。文書分類は、未分類の文書に対して分類カテゴリとよばれる定型情報を付与する処理であり、この処理に文書の属性情報を組み入れるという技術が開示されている（  例えば、特許文献２）。この発明では、テキストから抽出されるキーワードと属性情報を組み合わせた所定の組み合わせを記述する分類ルールを用意し、未分類の文書を処理する際に、分類ルールの各々とのその対象文書との類似度を算出し、それにもとづいて最も類似する分類ルールに対応する分類カテゴリを付与することを特徴としている。しかしながらこの手法においては、実際の処理の前に分類カテゴリ及び分類ルールを予め用意しておく必要があるという点でクラスタリング処理には適用できない。
【００１２】
さらに、分類カテゴリが予め付与された文書を正解データとして多量に用意し、そこから分類ルールを自動的に生成するカテゴリ学習と呼ばれる方式が広く利用されている（  例えば、特許文献３）。このカテゴリ学習は、テキストから抽出したキーワード特徴と属性情報を組み合わせて学習を行なうもので、１）テキストから抽出したキーワードの頻度ベクトルを統計情報にもとづいて重みを加えた内容的特徴と、２）文書のレイアウトなど記述内容によらない情報としての体裁的特徴との二つの特徴の重みを学習させる。
【００１３】
しかしながら、内容的特徴を算出する処理における重み付け処理は、ＴＦ／ＩＤＦ法などの統計的手法を用いており、内容的特徴を表す特徴ベクトルの生成処理自身において属性情報を利用するものではないので、本発明の課題を解決するものとなっていない。
【００１４】
【特許文献１】
特開２００１−３３１５２７号公報（４頁）
【００１５】
【特許文献２】
特開２００１−６０１９９号公報（３〜８頁）
【００１６】
【特許文献３】
特開２０００−２６８０４０号公報（３〜４頁）
【００１７】
【発明が解決しようとする課題】
本発明の目的は、複数の定型情報と非定型情報であるテキストによって構造化された文書から、ユーザの求める観点に沿ったクラスタリング結果を得ることが可能な構造化文書クラスタリング装置を提供することにある。クラスタリングを行なうために、複雑な特徴素選択ルールや重み付けルールを事前に用意する必要がなく、また、簡便な操作によってユーザが類似度の観点を指定することで、指定された観点にもとづく類似度計算が行なえるようにする。
【００１８】
【課題を解決するための手段】
第一の発明は、処理対象とする構造化文書を格納する文書データベースと、前記文書データベースに格納された各文書の構造を解析して属性情報とテキストを抽出する文書構造解析部と、前記文書構造解析部によって抽出されたテキストから特徴素を抽出する特徴素抽出部と、前記特徴素抽出部で抽出された特徴素及び前記文書構造解析部から抽出された属性情報により重みパラメータを算出するパラメータ算出部と、前記特徴素抽出部で得られた特徴素と前記パラメータ算出部で得られたパラメータより文書特徴ベクトルを生成する文書特徴ベクトル生成部と、前記文書特徴ベクトル生成部から得られた文書特徴ベクトルをもとに文書間の類似度を計算する類似度算出部と、前記類似度算出部から得られた文書間類似度にしたがって文書クラスタを作成しその結果を出力する結果出力部とを有することを特徴とする構造化文書のクラスタリング装置に関する。
【００１９】
すなわち、第一の発明によれば、パラメータ算出部が、構造化文書の非定型情報であるテキストから抽出された特徴素をもとに文書特徴ベクトルを作成する際に使用する重みパラメータを、文書の属性情報を用いて自動生成することによって、従来、適切なクラスタリングを行うのに必須であった複雑な特徴素選択ルールや重み付けルールを事前に用意することが不要となり、利用者にとっては煩雑さから開放されることとなる。
【００２０】
第二の発明は、前記パラメータ算出部は、処理対象文書の属性情報を正解分類カテゴリとして正解データと見なすカテゴリ学習を行わせ、クラスタリングの結果をもっともよく文書属性情報を分離するパラメータを算出することを特徴とする上記第一の発明に記載の構造化文書のクラスタリング装置に関する。
すなわち、第二の発明によれば、文書の属性情報を分類カテゴリとして正解データとみなすカテゴリ学習を適用することによって、より適切な重みパラメータが算出され、最適なクラスタリング結果を提供する。
【００２１】
第三の発明は、前記パラメータ算出部は、処理対象とする構造化文書に付与されている属性情報について、入力装置からユーザが入力した属性利用定義情報にもとづいてパラメータ算出処理を行なうことを特徴とする上記第一または第二の発明に記載の構造化文書のクラスタリング装置に関する。
すなわち、第三の発明によれば、ユーザに属性利用定義情報を入力させ、その情報にもとづいてパラメータの算出処理を行うことによって、ユーザ観点の反映されたクラスタリングが実現される。
【００２２】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。
図１は、本発明の基本システム構成を示す。構造化文書のクラスタリングシステムは、文書データベース３および特徴素データベースをを備えるクラスタリング装置１、データを入力するキーボード、マウスなどの入力装置２、およびクラスタリングの結果を出力する出力装置５で構成される。
【００２３】
また、クラスタリング装置１は、処理対象とする構造化文書を格納する文書データベース３と、利用者からの要求によって前記文書データベース３に格納された対象の構造化文書を抽出する文書抽出部１１と、その抽出された各文書の構造を解析して属性情報とテキストを抽出する文書構造解析部１２と、前記文書構造解析部１２によって抽出されたテキストから特徴素を抽出する特徴素抽出部１３と、前記特徴素抽出部１３で抽出された特徴素及び前記文書構造解析部１２から抽出された属性情報により、適切なパラメータを算出するパラメータ算出部１４と、前記特徴素抽出部１３によって得られた特徴素と前記パラメータ算出部１４によって得られたパラメータより、文書特徴ベクトルを生成する文書特徴ベクトル生成部１５と、前記文書特徴ベクトル生成部１５から得られた文書特徴ベクトルを基に文書間の類似度を計算する類似度算出部１６と、前記類似度算出部１６から得られた文書間類似度が高い文書をまとめることで文書クラスタを作成し、結果をユーザに提示する結果出力部１７とから構成される。
【００２４】
また、クラスタリング装置１は、格納文書の属性情報項目をユーザに提示し、その利用方法をユーザに入力させる属性利用定義情報入力インターフェース１８を具備している。
ここで、クラスタリング装置１は、コンピュータであり、予め内蔵されたプログラムがコンピュータ上で実行され、文書抽出部１１、文書構造解析部１２、特徴素抽出部１３、パラメータ算出部１４、文書特徴ベクトル生成部１５、類似度算出部１６、および結果出力部１７の各処理が実現される。そして、当該プログラムは、フロッピーディスク、コンパクトディスク、ＣＤ−ＲＯＭ等のコンピュータ読取可能な記録媒体に記録され、図には示していないが、内蔵あるいは、外部接続された媒体読取装置にセットしインストールすることによって実行可能な状態としてもよい。
【００２５】
以下の実施例では、「属性情報として”性別”テキストとして”意見”が記述されているアンケートデータにおいて、性別による意見の差異を分析する。」という具体的なタスク処理のケースを想定して説明する。
まず、上記想定したタスク処理において扱うデータ構造に関し、文書データベース、特徴素データ、利用者定義情報、および利用者選択結果テーブルの具体例を図２〜図５に示す。
【００２６】
図２は、本発明の実施形態になる文書データベースのデータ構造例を示す。文書データテーブルとして、「文書ＩＤ」、「性別」、および「テキスト」の項目からなる複数のレコードで構成されている。「テキスト」は、上記”意見”の記述を示す。例えば、一行目のレコードでは、文書ＩＤ１は、性別は男性で、「テキスト」は、「ｉモード」はぜひ使いたい、との意見が記述されている。
【００２７】
文書データベース３は、処理対象とするアンケートデータを格納するデータベースであり、従来のデータベースがそのまま使用可能である。また、例えば、１行に１文書の情報を記述した表データファイルや、各文書がＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）などの構造化文書記述言語でマークアップされたテキストファイル形式で磁気ディスクなどの記憶デバイスに格納されるものでもよい。
【００２８】
図３は、本発明の実施形態になる特徴素データベースのデータ構造例を示す。特徴素データテーブルとして、「文書ＩＤ」、「属性情報」、および「特徴素：出現頻度」の項目からなる複数のレコードで構成されている。「特徴素：出現頻度」は、例えば、一行目では、「ｉモード：１，ぜひ：１，使う：１，たい：１」と記述され、各特徴素とその出現頻度が対で示されている。
【００２９】
図４は、本発明の実施形態になる文書の属性情報データベースのデータ構造例を示す。属性情報データベースとして、「文書ＩＤ」、「性別」、「年齢」、「携帯所有」、「ＰＣ所有」、および「テキスト」の項目からなる複数のレコードで構成されている。「携帯所有」および「ＰＣ所有」では、所有しているを１、所有していないを０で示している。また、文書の属性情報として、「性別」、「年齢」、「携帯所有」、「ＰＣ所有」の複数の属性項目を有している。
【００３０】
図５は、本発明の実施形態になる属性利用定義テーブルを示す。属性利用定義テーブルとして、「属性情報」に対する「処理パターン」を示している。
「処理パターン」としては、提示された各属性情報項目において、ユーザに「パラメータ算出に組み込む」、「文書特徴ベクトルに組み込む」、「無視する」という３つの利用方法を選択させ、その結果をパラメータ算出部１４に送る。パラメータ算出部１４においては、各属性情報項目の選択結果により以下の処理を行なう。
【００３１】
「パラメータ算出に組み込む」：パラメータ算出の際の分類カテゴリとする。パラメータ算出処理における分類カテゴリは、ここで設定された属性の組み合わせとなる。
「文書特徴ベクトルに組み込む」：テキストからの特徴素とみなしてパラメータ算出処理を行ない、文書特徴ベクトルの要素とする。
【００３２】
「無視する」：パラメータ算出処理において使用しない。
なお、ユーザがパラメータ算出に組み込む属性情報を一つも指定しなかった場合には、パラメータ算出部１４で述べたような処理が行なえない。その場合は、エラーとしてユーザに通知し、必ず一つ以上の属性情報をパラメータ算出に組み込むものとして指定させることもできる。
【００３３】
その際、文書特徴ベクトルに組み込むように指定された属性情報は上で述べたようにテキストからの特徴素とみなして重みパラメータ算出処理に組み入れることもできるし、テキストからの特徴素の重みとは別扱いにして、文書特徴ベクトルの要素数などから算出される適当な重みで文書特徴ベクトルに組み入れることも行なえる。
【００３４】
つぎに、クラスタリング装置１における各構成部によるクラスタリング処理のフローチャートを図６、図７を用いて説明する。
図６は、本発明の実施の形態になる構造化文書のクラスタリングのフローチャートを示す。
まず、ステップＳ１１において、文書抽出部１１が、文書データベース３に格納された文書データを抽出する。
【００３５】
ステップＳ１２において、文書構造解析部１２が、各文書中の属性情報とテキスト情報を抽出する。この処理は前記文書データベース３における処理対象となる構造化文書の格納形式に依存して行なわれる。例えば、各文書がＸＭＬ形式で記述されたテキストファイルの形式で格納されている場合には、属性情報及びテキスト情報の各々に対応するタグで囲まれている部分を抽出することになる。
【００３６】
ステップＳ１３において、特徴素抽出部１３が、文書中のテキストより特徴素を抽出する。特徴素の抽出方法としては、例えば、テキストに用いられている単語を公知である形態素解析処理により抽出して、各々の単語の使用頻度を特徴素とするといったものが挙げられるが、それ以外にも、ある単語とその近傍の単語の組や、単語間の係り受け関係といったものも特徴素としてもよいし、それ以外にもそのテキストの種々の情報を特徴素としてもよい。
【００３７】
本例で想定したタスクにおいては、「意見」を表す特徴素のみを抽出して文書特徴ベクトルを生成したい所であるが、どの特徴素が「意見」を反映しているかを判定するのは一般的に困難であるので、この時点では「意見」を反映する可能性のある全ての情報を特徴素としてよい。勿論、記述内容を絶対に反映しえない情報、例えば、句読点の情報などの情報は、以降の処理において無駄な情報であるので特徴素とする必要はない。
【００３８】
ステップＳ１４において、一文書におけるテキスト部分からの抽出された特徴素及びその属性情報は、メモリ等の記憶媒体に特徴素データベース４として格納される。
そして、ステップＳ１５において、格納されている全ての文書データについての抽出処理の終了を判断する。処理対象文書の全てにおいてこの処理が終了した時点でまとめてパラメータ算出部１４に送られる。
【００３９】
つぎに、ステップＳ１６において、パラメータ算出部１４が、特徴素抽出部より得られた全てのテキストに関する特徴素及びその属性情報により、各特徴素の重みパラメータを算出する。
この処理には、属性情報の利用方式によって種々の方法が考えられる。その方法の一つに、対象文書群を属性情報で分割し、文書サブグループを作成し、各サブグループ毎にＴＦ／ＩＤＦ法などの統計的処理による重みパラメータを決定する方式が挙げられる。この方式では、各サブグループ内の文書を統計的な観点において適切にクラスタリングするパラメータが設定されることになる。
【００４０】
この処理により、重み付け前には同じ特徴素を持っていた文書が、その属性情報によって異なる値が与えられることになる。つまり、各特徴素に関する類似度が属性情報の違いにより低下することになり、結果的に属性情報が異なる文書の類似度は低くなる。
また、各文書サブグループにおける特徴素の出現確率と全文書における出現確率の比の対数値の最大値をその特徴素の重みとすることもできる。この重みの計算方式によると、属性値に関わらず満遍なく出現する特徴素の重みは低く、出現に偏りがある、つまり属性値をよく特徴付ける特徴素の重みが高くなるので、結果として次に述べる自動学習によるパラメータ算出方式と同様の効果を得ることができる。
【００４１】
また、処理対象データを属性情報を正解分類カテゴリとする正解データとみなしてカテゴリ学習を行ない、その結果を重みパラメータとする方法も考えられ、そのカテゴリ学習としては、既存の学習方式の利用が可能である。
これによって得られる重みの高い特徴素は、分類カテゴリをよく特徴づけるものとなり、今回のタスクにおいては、「男性」または「女性」という各々の属性に強く関連する特徴素となる。つまり、性別に強く依存する「意見」を反映した特徴素であるか、「意見以外の情報」を反映しているが、その情報は性別に強く依存する特徴素であるかのいずれかとなる。
【００４２】
前者の場合は、まさに今回のタスクの目的に合致する特徴素である。また、後者であれば今回のタスクにおいては不要であるが、テキストの記述内容を絶対に表していない特徴素は特徴素抽出処理において簡単に除去可能であるのでこの可能性をかなり低下させることができる。
また、重みの低い特徴素は分類カテゴリとの相関が低い。つまり、この特徴素は属性情報に依存しない「意見以外の情報」を反映した特徴素か、または「意見」を反映した情報であっても、「性別によらない意見」を反映した特徴素である。いずれの場合も今回のタスクにおいては不要な特徴素である。
【００４３】
以上のように、本方式を適用することで注目したい特徴素の重みを高くすることが可能である。今回のタスクにおいては上で述べたように「男女別にみた時に、各々に特徴的な意見」を反映する特徴素が重要視されることになる。このパラメータ下でクラスタリング処理を行なった場合、「男女別にみた時に、各々に特徴的な意見」でまとまった文書クラスタが生成されることになり、今回のタスクの目的に合致した結果を得ることができる。
【００４４】
また、以上の説明では、パラメータ算出に用いる属性情報が一つの場合の説明を行なっているが、処理対象データが複数の属性情報を含んでいる場合には、複数個の属性情報に基づいてパラメータ算出を行なうことも可能である。
その方法としては、例えば、分類カテゴリとして複数の属性情報の組み合わせを採用することにより、属性情報が一つの場合と全く同様の処理が行なうことができる。また、分類カテゴリを生成する属性情報以外の属性情報を、テキストから抽出された特徴素と見做して、テキストからの特徴素と同様に重みパラメータを計算して文書特徴ベクトルの要素に組み込むこともできる。
【００４５】
ステップＳ１７において、文書特徴ベクトル生成部１５が、各文書の属性情報及び特徴素と、パラメータ算出部１４から得られるパラメータを基に各文書の文書特徴ベクトルを作成する。
この処理は、単純に、ある文書における各特徴素における重みパラメータをかけたものを要素としてベクトルを作成してもよいが、全ての文書において重みをかけた結果が全て閾値以下となる特徴素は、文書特徴ベクトルの要素としないといった処理を追加することで類似度計算のコストを低減してもよい。
【００４６】
ここで生成される情報は、文書特徴ベクトルの要素とする特徴素数をＭとすると、一文書に対してＭ次元のベクトルで表現される情報となる。
そして、ステップＳ１８において、全文書についての処理がなされたかを判断する。処理対象文書数をＮとすると、処理対象文書の全ての文書特徴ベクトルをまとめるとＮｘＭの行列形式で表現可能な情報となる。この情報が類似度算出部１６に送られる。
【００４７】
次に、ステップＳ１９において、類似度算出部１６が、処理対象文書中の二つの文書間の類似度をその文書特徴ベクトルを用いて計算する。この処理としては、従来の処理方式がそのまま流用可能であり、例えば、二つの文書特徴ベクトルのなす角度θの余弦（ｃｏｓθ）  で類似度を定義する方法が使用可能である。
ステップＳ２０において、類似度算出部１６が出力する類似度情報により、類似度が大きい文書をまとめあげて文書クラスタを作成する。文書クラスタのまとめあげ処理は、従来の方式がそのまま流用可能であり、例えば一つの文書について、ある閾値以上の類似度を持つ文書を接続するという処理を全ての文書について行ない、その結果として互いに線で結ばれた文書を一つのクラスタとする処理で実現可能である。
【００４８】
ステップＳ２１において、前ステップでまとめあげた文書の結果をユーザに提示する。処理結果をユーザにする方法としては、モニタ、プリンタ等の出力デバイスを用いるなど様々な形式で出力可能である。
図７は、本発明の実施の形態になる文書の属性利用定義情報入力のフローチャートを示す。
【００４９】
ステップＳ３１において、属性利用定義情報入力インターフェース１８が、直接、文書データベース３から構造化文書の属性データを抽出し、その抽出した属性情報の項目を利用者に提示する。また、本ステップの属性データの抽出では、図４の属性情報データベースを参照し、複数の属性データの中から抽出してもよい。
【００５０】
つぎに、ステップＳ３２において、利用者は、各属性項目についての利用方法に関する属性利用定義情報を入力する。
そして、ステップＳ３３において、利用者からの入力情報をもとに、属性利用定義テーブルとしてデータベースに保存する。
属性利用定義テーブルは、例えば、図５に示す通り、各属性情報項目に対し、「パラメータ算出に組み込む」、「文書特徴ベクトルに組み込む」、「無視する」という３つの利用方法の選択結果が記入される。
【００５１】
この処理結果を、属性情報利用定義情報入力インターフェース１８が、図６のクラスタリング処理の前段に取り入れることによって、構造化文書の属性を重みパラメータ算出に反映させることが可能となる
（付記１）  処理対象とする構造化文書を格納する文書データベースと、
前記文書データベースに格納された各文書の構造を解析して属性情報とテキストを抽出する文書構造解析部と、
前記文書構造解析部によって抽出されたテキストから特徴素を抽出する特徴素抽出部と、
前記特徴素抽出部で抽出された特徴素及び前記文書構造解析部から抽出された属性情報により重みパラメータを算出するパラメータ算出部と、
前記特徴素抽出部で得られた特徴素と前記パラメータ算出部で得られたパラメータより文書特徴ベクトルを生成する文書特徴ベクトル生成部と、
前記文書特徴ベクトル生成部から得られた文書特徴ベクトルをもとに文書間の類似度を計算する類似度算出部と、
前記類似度算出部から得られた文書間類似度が高い文書をまとめることで文書クラスタを作成しその結果を出力する結果出力部と
を有することを特徴とする構造化文書のクラスタリング装置。
【００５２】
（付記２）  前記パラメータ算出部は、処理対象文書の属性情報を正解分類カテゴリとして正解データと見なすカテゴリ学習を行わせ、クラスタリングの結果においてもっともよく文書属性情報を分離するパラメータを算出することを特徴とする付記１に記載の構造化文書のクラスタリング装置。
（付記３）  前記パラメータ算出部は、処理対象とする構造化文書に付与されている属性情報について、入力装置からユーザが入力した属性利用定義情報にもとづいてパラメータ算出処理を行なうことを特徴とする付記１または付記２に記載の構造化文書のクラスタリング装置。
【００５３】
（付記４）  利用者からの要求を受けて、構造化文書が格納された文書データベースから処理対象とする文書を抽出し、各文書の構造を解析して属性情報とテキストを抽出する文書構造解析ステップと、
前記文書構造解析ステップによって抽出されたテキストから特徴素を抽出する特徴素抽出ステップと、
前記特徴素抽出ステップで抽出された特徴素及び前記文書構造解析ステップから抽出された属性情報により重みパラメータを算出するパラメータ算出ステップと、
前記特徴素抽出ステップで得られた特徴素と前記パラメータ算出ステップで得られたパラメータより文書特徴ベクトルを生成する文書特徴ベクトル生成ステップと、
前記文書特徴ベクトル生成ステップから得られた文書特徴ベクトルをもとに文書間の類似度を計算する類似度算出ステップと、
前記類似度算出ステップから得られた文書間類似度が高い文書をまとめることで文書クラスタを作成しその結果を出力する結果出力ステップと
を有することを特徴とする構造化文書のクラスタリング方法。
【００５４】
（付記５）  利用者からの要求を受けて、構造化文書が格納された文書データベースから処理対象とする文書を抽出し、各文書の構造を解析して属性情報とテキストを抽出する文書構造解析ステップと、
前記文書構造解析ステップによって抽出されたテキストから特徴素を抽出する特徴素抽出ステップと、
前記特徴素抽出ステップで抽出された特徴素及び前記文書構造解析ステップから抽出された属性情報により重みパラメータを算出するパラメータ算出ステップと、
前記特徴素抽出ステップで得られた特徴素と前記パラメータ算出ステップで得られたパラメータより文書特徴ベクトルを生成する文書特徴ベクトル生成ステップと、
前記文書特徴ベクトル生成ステップから得られた文書特徴ベクトルをもとに文書間の類似度を計算する類似度算出ステップと、
前記類似度算出ステップから得られた文書間類似度が高い文書をまとめることで文書クラスタを作成しその結果を出力する結果出力ステップと
をコンピュータに実行させる構造化文書のクラスタリングプログラム。
【００５５】
【発明の効果】
以上、上記した処理プロセスによって、データベースに格納された文書データを抽出してその属性情報とテキスト情報から特徴素データを抽出し、その特徴素データから重みパラメータを算出することによって、文書特徴ベクトルが生成され、文書間の類似度情報が算出されて、適正な類似度の文書の検索結果がユーザに提示されることとなる。また、属性情報利用定義情報インターフェースにより、利用者が設定する属性利用定義情報を取り込むことによって、ユーザの観点になるクラスタリングが提供される。
【００５６】
本発明によれば、従来のような複雑な特徴素選択のルールや重み付けのルールを事前に用意する必要はなく、また、簡便な操作によって、ユーザが観点を指定することによって、その指定された観点にもとづく類似計算が行われ、より適正なクラスタリング処理が実現される。
【図面の簡単な説明】
【図１】本発明になる基本システム構成を示す図である。
【図２】本発明の実施の形態になる文書データベースのデータ構造例を示す図である。
【図３】本発明の実施の形態になる文書の特徴素データベースのデータ構造例を示す図である。
【図４】本発明の実施の形態になる文書の属性情報データベースのデータ構造例を示す図である。
【図５】本発明の実施の形態になる文書の属性利用定義テーブルを示す図である。
【図６】本発明の実施の形態になる構造化文書のクラスタリング処理のフローチャートを示す図である。
【図７】本発明の実施の形態になる文書の属性利用定義入力のフローチャートを示す図である。
【符号の説明】
１  クラスタリング装置
２  入力装置
３  文書データベース
４  特徴素データベース
５  出力装置
１１    文書抽出部
１２  文書構造解析部
１３  特徴素抽出部
１４  パラメータ算出部
１５  文書特徴ベクトル生成部
１６  類似度算出部
１７  結果出力部
【図１】
2004326600.tif 000003
【図２】
2004326600.tif 000004
【図３】
2004326600.tif 000005
【図４】
2004326600.tif 000006
【図５】
2004326600.tif 000007
【図６】
2004326600.tif 000008
【図７】
2004326600.tif 000009