(57)【特許請求の範囲】
【請求項１】
大量の文書群から話題に基づいて文書集合を生成する文書分類装置において、文書データを入力する文書入力部と、文書群を文書の内容にしたがって自動的に1つ以上の一次文書部分集合に分類する文書分類部と、生成された一次文書部分集合から特徴単語を抽出する特徴単語抽出部と、特徴単語として抽出された各単語に対して、前記単語が含まれる一次文書部分集合の特徴単語セットを抽出し、前記各特徴単語と前記一次文書部分集合の特徴単語セットから検索式を生成する文書部分集合定義生成部と、生成された文書部分集合定義を記憶する文書部分集合定義記憶部と、記憶された文書部分集合定義を用いて文書部分集合を生成する文書部分集合生成部と、生成された文書部分集合を記憶する文書部分集合記憶部とを有し、
前記検索式は、前記一次文書部分集合特徴単語セットに含まれる特徴単語と特徴単語セットと対応している特徴単語との組み合わせの論理積式であり、すでに生成されている検索式と同一の検索式は生成しない
ことを特徴とする文書分類装置。
【請求項２】
生成された文書部分集合を対象集合として文書分類、特徴単語抽出、文書部分集合定義生成、文書部分集合生成を行うことを特徴とする請求項１記載の文書分類装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、大量の文書群から話題に基づいて文書集合を生成する文書分類装置に関するものである。
【０００２】
【従来の技術】
近年、大量の文書（テキスト情報）の収集が可能となり、それらの情報を活用するための技術として、大量の文書群を含まれる話題に基づいて文書部分集合に分類する技術が提案されている。これらには、
（１）クラスタリング技術を用いてユーザーが分類基準を指定することなく自動的に文書群を分類し文書部分集合を生成する。
（２）ユーザーが分類基準を検索語や検索式などを用いて記述し、記述された分類基準に基づいて文書部分集合を生成する。
（３）上記（１）と（２）を組み合わせて、自動分類結果から分類基準を生成して文書部分集合を生成する。
といった方法がある。
【０００３】
上記（３）のクラスタリングを用いた自動分類結果から分類基準を生成して文書部分集合を生成する手法では、クラスタリングを、話題を抽出する機能と位置付け、自動分類結果である文書部分集合に対して特徴単語を抽出して、検索語、検索式などの分類基準を生成して文書部分集合を生成する。
【０００４】
また、アンケート分析などのように、単に分類するだけでなく、分類の結果生成される文書部分集合を用いて情報分析を行うアプリケーションも提案されている。
【０００５】
【発明が解決しようとする課題】
従来の文書分類技術では、抽出された話題の数だけ文書部分集合が生成されるので、分類結果を理解するためには生成された文書集合１つ１つの内容を理解するとともに、文書部分集合間の関係構造を理解、構築していく必要がある。これは特に情報分析を行うためには重要な過程であるが、現状ではこの作業はユーザーに任されており、非常に大きな負担となっている。
【０００６】
クラスタリング技術を利用した自動分類技術の場合、クラスタリング手法として階層クラスタリング手法と、非階層クラスタリング手法を利用することができる。階層クラスタリング手法は分類対象文書集合内の文書を階層構造にまとめ上げていくので、文書間、生成される文書部分集合間の構造を構築することができる。しかし階層クラスタリング手法は処理時間が非常にかかるので大量の文書を扱うには現実的ではない。
【０００７】
一方非階層型クラスタリング手法は階層型に比べて処理時間が短く大量の文書を扱うことができる。しかし非階層型では生成される文書部分集合間の関係を抽出することはできない。
【０００８】
自動分類結果である文書部分集合に対して特徴単語を抽出し、文書部分集合間での特徴単語の構造を抽出し、それに基づいて分類基準と分類基準間の構造を記述することができれば、関係構造を持った複数の文書部分集合を生成することができる。
【０００９】
本発明は、生成された文書部分集合から特徴単語を抽出し、特徴単語間の構造を抽出することで、構造化された分類基準を生成し、その結果、構造化された文書部分集合群を生成することができる文書分類装置及び文書分類方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、大量の文書群から話題に基づいて文書集合を生成する文書分類装置において、文書データを入力する文書入力部と、文書群を文書の内容にしたがって自動的に1つ以上の一次文書部分集合に分類する文書分類部と、生成された一次文書部分集合から特徴単語を抽出する特徴単語抽出部と、特徴単語として抽出された各単語に対して、前記単語が含まれる一次文書部分集合の特徴単語セットを抽出し、前記各特徴単語と前記一次文書部分集合の特徴単語セットから検索式を生成する文書部分集合定義生成部と、生成された文書部分集合定義を記憶する文書部分集合定義記憶部と、記憶された文書部分集合定義を用いて文書部分集合を生成する文書部分集合生成部と、生成された文書部分集合を記憶する文書部分集合記憶部とを有し、前記検索式は、前記一次文書部分集合特徴単語セットに含まれる特徴単語と特徴単語セットと対応している特徴単語との組み合わせの論理積式であり、すでに生成されている検索式と同一の検索式は生成しないことを特徴とする文書分類装置に関する。
【００１１】
また、請求項２記載の発明は、生成された文書部分集合を対象集合として文書分類、特徴単語抽出、文書部分集合定義生成、文書部分集合生成を行うことを特徴とする請求項１記載の文書分類装置に関する。
【００１３】
請求項１記載の発明においては、文書データを入力する文書入力部と、文書群を文書の内容にしたがって自動的に1つ以上の一次文書部分集合に分類する文書分類部と、生成された一次文書部分集合から特徴単語を抽出する特徴単語抽出部と、特徴単語として抽出された各単語に対して、前記単語が含まれる一次文書部分集合の特徴単語セットを抽出し、前記各特徴単語と前記一次文書部分集合の特徴単語セットから検索式を生成する文書部分集合定義生成部と、生成された文書部分集合定義を記憶する文書部分集合定義記憶部と、記憶された文書部分集合定義を用いて文書部分集合を生成する文書部分集合生成部と、生成された文書部分集合を記憶する文書部分集合記憶部とを有し、前記検索式は、前記一次文書部分集合特徴単語セットに含まれる特徴単語と特徴単語セットと対応している特徴単語との組み合わせの論理積式であり、すでに生成されている検索式と同一の検索式は生成しないことで、構造化された分類基準を生成し、その結果、構造化された文書部分集合群の生成が行われる。
【００１４】
請求項２記載の発明においては、生成された文書部分集合を対象集合として文書分類、特徴単語抽出、文書部分集合定義生成、文書部分集合生成を繰り返し行うことで、より適切な文書部分集合、文書部分集合間関係を抽出し、その結果、より適切な構造化された文書部分集合群の生成が行われる。
【００１６】
【発明の実施の形態】
以下本発明の実施の形態を図面に従って説明する。
図1は本発明の実施の形態に係る文書分類装置の構成図である。図２は一次文書部分集合から抽出された特徴単語セットの例を示す図である。図３は特徴単語と一次文書部分集合特徴単語セットの関係の例を示す図である。図４は特徴単語から生成された文書部分集合定義の例を示す図である。図５は文書部分集合定義間の関係の例を示す図である。
図１に示す文書分類装置は文書入力部１０１、文書分類部１０２、特徴単語抽出部１０３、文書部分集合定義生成部１０４、文書部分集合定義記憶部１０５、文書部分集合生成部１０６、文書部分集合記憶部１０７を備える。
【００１７】
図１に示す文書入力部１０１では、文書分類対象となる文書群を入力する。文書分類部１０２では、入力された文書群をクラスタリング技術など従来の自動分類技術を用いて１つ以上の一次文書部分集合に分類する。特徴単語抽出部１０３では、文書分類部１０２で生成された一次文書部分集合から特徴単語を抽出する。
【００１８】
図２に一次文書部分集合から抽出された特徴単語セットの例を示す。特徴単語の抽出には一次文書部分集合内文書に含まれる単語をその単語の頻度、文書出現率、ｉｄｆ値などを用いてスコア付けし、スコアのしきい値処理をして特徴単語を抽出するといった従来の技術を利用することができる。
【００１９】
文書部分集合定義生成部１０４では、特徴単語抽出部１０３で抽出された特徴単語情報を用いて、特徴単語間の関係を抽出し、それに基づいて文書部分集合定義と文書部分集合間の関係を生成する。ここでは文書部分集合定義として単語による検索式を利用する。
【００２０】
まず特徴単語として抽出された１つ１つの単語に対して、その単語が含まれる一次文書部分集合の特徴単語セットを抽出する。図３に抽出した特徴単語と一次文書部分集合特徴単語セットの関係の例を示す。
【００２１】
つぎに、各特徴単語と一次文書部分集合特徴単語セットから検索式を生成する。各特徴単語からはその単語のみを含む式として、一次文書部分集合特徴単語セットからは一次文書部分集合特徴単語セットに含まれる特徴単語と特徴単語セットと対応している特徴単語との組み合わせの論理積式として検索式を生成する。
【００２２】
たとえば図３の「プッシュ ─── プッシュ、ダイアル、回線」という関係からは、
検索式１：プッシュ
検索式２：プッシュ  ＆  ダイアル
検索式３：プッシュ  ＆  回線
検索式４：プッシュ  ＆  ダイアル  ＆  回線
の４つの検索式が生成される。ただし、すでに同じ検索式が生成されている場合は生成しない。生成した検索式を文書部分集合定義とし、ＩＤを付与して管理する。
【００２３】
図３の特徴単語と一次文書部分集合特徴単語セットの関係から生成した検索式（文書部分集合定義）の例を図４に示す。また生成した文書部分集合定義間の関係を示す構造も生成する。図５に文書部分集合定義間の関係の例を示す。
【００２４】
文書部分集合定義記憶部１０５では、文書部分集合定義生成部１０４で生成された文書部分集合定義を記憶する。文書部分集合生成部１０６では、文書部分集合定義記憶部１０５で記憶された文書部分集合定義を用いて文書部分集合を生成する。本実施の形態では文書部分集合定義は検索式であるので、全文検索技術を用いて文書を検索し文書部分集合を生成する。部分集合記憶部１０７では、文書部分集合生成部１０６で生成された文書部分集合を記憶する。
【００２５】
なお、文書部分集合生成により生成された文書部分集合に対して、生成された文書部分集合を対象文書集合として文書部分集合生成を繰り返すことで、より適切な文書部分集合、文書部分集合間関係を抽出し、その結果、より適切な構造化された文書部分集合群を生成することができる。
【００２６】
これは文書部分集合生成部１０６で生成された文書部分集合を入力文書群として、本実施の形態の文書部分集合生成処理を繰り返し、新たに生成された特徴単語情報を既存の特徴単語構造に反映させ、文書部分集合定義と文書部分集合定義間構造を再計算し、文書部分集合を生成することで実現することができる。
【００２７】
【発明の効果】
請求項１記載の発明によれば、文書データを入力する文書入力部と、文書群を文書の内容にしたがって自動的に1つ以上の一次文書部分集合に分類する文書分類部と、生成された一次文書部分集合から特徴単語を抽出する特徴単語抽出部と、特徴単語として抽出された各単語に対して、前記単語が含まれる一次文書部分集合の特徴単語セットを抽出し、前記各特徴単語と前記一次文書部分集合の特徴単語セットから検索式を生成する文書部分集合定義生成部と、生成された文書部分集合定義を記憶する文書部分集合定義記憶部と、記憶された文書部分集合定義を用いて文書部分集合を生成する文書部分集合生成部と、生成された文書部分集合を記憶する文書部分集合記憶部とを有し、前記検索式は、前記一次文書部分集合特徴単語セットに含まれる特徴単語と特徴単語セットと対応している特徴単語との組み合わせの論理積式であり、すでに生成されている検索式と同一の検索式は生成しないことで、構造化された分類基準を生成し、その結果、構造化された文書部分集合群を生成することができる。
【００２８】
請求項２記載の発明によれば、生成された文書部分集合を対象集合として文書分類、特徴単語抽出、文書部分集合定義生成、文書部分集合生成を繰り返し行うことで、より適切な文書部分集合、文書部分集合間関係を抽出し、その結果、より適切な構造化された文書部分集合群を生成することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る文書分類装置の構成図である。
【図２】一次文書部分集合から抽出された特徴単語セットの例を示す図である。
【図３】特徴単語と一次文書部分集合特徴単語セットの関係の例を示す図である。
【図４】特徴単語から生成された文書部分集合定義の例を示す図である。
【図５】文書部分集合定義間の関係の例を示す図である。
【符号の説明】
１０１  文書入力部
１０２  文書分類部
１０３  特徴単語抽出部
１０４  文書部分集合定義生成部
１０５  文書部分集合定義記憶部
１０６  文書部分集合生成部
１０７  文書部分集合記憶部
【図１】
0004773000.tif 000002
【図２】
0004773000.tif 000003
【図３】
0004773000.tif 000004
【図４】
0004773000.tif 000005
【図５】
0004773000.tif 000006