(57)【要約】【課題】分類精度の低下を招くことなく、ノードの階層を減らして分類ルールを自動作成すること。【解決手段】分類ルール作成部１５内の形態素解析部１５ａは、データベース３に格納されたテキストデータ群２１を形態素解析し、頻出パターン検出部１５ｂは形態素解析結果から複数のテキストデータに繰り返し出現する単語の組み合わせを頻出パターンとして検出する。特徴パターン抽出部１５ｃは、頻出パターンを属性として各テキストデータの特徴パターンを抽出し、ツリー作成部１５ｄは、特徴パターンとクラスデータ群２２とをもとに分類ルール４０を作成し、記憶部１１に格納する。【選択図】      図１
2004240517.tif 000002
【特許請求の範囲】
【請求項１】
分類対象となるテキストデータを複数のクラスのいずれかに分類する際に利用する木構造からなる分類ルールを作成するテキスト分類ルール作成装置であって、
あらかじめ複数のクラスのいずれかにそれぞれ分類された各分類済みテキストデータに頻出する頻出単語および頻出組み合わせ並びにその頻度から各分類済みテキストデータの特徴パターンを生成する特徴パターン生成手段と、
前記特徴パターン生成手段により生成された特徴パターンに基づいて、頻出単語または頻出組み合わせを前記木構造を形成するノードに割り当てた分類ルールを生成する分類ルール生成手段と
を備えたことを特徴とするテキスト分類ルール作成装置。
【請求項２】
前記特徴パターン生成手段は、あらかじめ複数のクラスのいずれかにそれぞれ分類された各分類済みテキストデータに含まれる各単語と該単語の出現回数を対応づけた１単語パターンと、同一のテキストデータに同時に出現する複数の単語の組み合わせと該組み合わせの出現回数とを対応づけた組み合わせパターンとに基づいて、各分類済みテキストデータの特徴パターンを生成することを特徴とする請求項１に記載のテキスト分類ルール作成装置。
【請求項３】
前記特徴パターン生成手段は、同一のテキストデータに同時に出現する２単語の組み合わせと該組み合わせの出現回数とを対応づけた２単語パターンと、同一のテキストデータに同時に出現する３単語の組み合わせと該組み合わせの出現回数とを対応づけた３単語パターンとを、前記組み合わせパターンとしたことを特徴とする請求項２に記載のテキスト分類ルール作成装置。
【請求項４】
前記特徴パターン生成手段は、前記１単語パターンに含まれる複数の単語のうちの所定の出現回数を超える頻出単語と、前記組み合わせパターンに含まれる複数の単語の組み合わせのうちの所定の出現回数を超える頻出組み合わせとを抽出するとともに、該抽出した複数の頻出組み合わせに含まれる頻出単語を除いた頻出パターンを生成し、該生成した頻出パターンに基づいて各分類済みテキストデータの特徴パターンを生成することを特徴とする請求項２または３に記載のテキスト分類ルール作成装置。
【請求項５】
前記特徴パターン生成手段は、各頻出パターンと各分類済みテキストデータを座標軸としたテーブルであって、頻出パターンと分類済みテキストデータの両者に含まれる頻出単語または頻出組み合わせを各座標のデータとした特徴パターンを生成することを特徴とする請求項１〜４のいずれか一つに記載のテキスト分類ルール作成装置。
【請求項６】
前記テキストデータを形態素解析する形態素解析手段をさらに備え、前記特徴パターン生成手段は、前記形態素解析手段により形態素解析された複数の単語およびその組み合わせの一部を前記頻出単語および前記頻出組み合わせとしたことを特徴とする請求項１〜５のいずれか一つに記載のテキスト分類ルール作成装置。
【請求項７】
前記分類対象となるテキストデータを受け付けた際に、前記分類ルールに基づいて当該分類対象となるテキストデータを所定のクラスに分類する分類手段をさらに備えたことを特徴とする請求項１〜６のいずれか一つに記載のテキスト分類ルール作成装置。
【請求項８】
分類対象となるテキストデータを複数のクラスのいずれかに分類する際に利用する木構造からなる分類ルールを作成するテキスト分類ルール作成方法であって、
あらかじめ複数のクラスのいずれかにそれぞれ分類された各分類済みテキストデータに頻出する頻出単語および頻出組み合わせ並びにその頻度から各分類済みテキストデータの特徴パターンを生成する特徴パターン生成工程と、
前記特徴パターン生成工程により生成された特徴パターンに基づいて、頻出単語または頻出組み合わせを前記木構造を形成するノードに割り当てた分類ルールを生成する分類ルール生成工程と
を含むことを特徴とするテキスト分類ルール作成方法。
【請求項９】
前記特徴パターン生成工程は、あらかじめ複数のクラスのいずれかにそれぞれ分類された各分類済みテキストデータに含まれる各単語と該単語の出現回数を対応づけた１単語パターンと、同一のテキストデータに同時に出現する複数の単語の組み合わせと該組み合わせの出現回数とを対応づけた組み合わせパターンとに基づいて、各分類済みテキストデータの特徴パターンを生成することを特徴とする請求項８に記載のテキスト分類ルール作成方法。
【請求項１０】
前記特徴パターン生成工程は、各頻出パターンと各分類済みテキストデータを座標軸としたテーブルであって、頻出パターンと分類済みテキストデータの両者に含まれる頻出単語または頻出組み合わせを各座標のデータとした特徴パターンを生成することを特徴とする請求項８または９に記載のテキスト分類ルール作成方法。
【請求項１１】
分類対象となるテキストデータを複数のクラスのいずれかに分類する際に利用する木構造からなる分類ルールを作成するテキスト分類ルール作成プログラムであって、
あらかじめ複数のクラスのいずれかにそれぞれ分類された各分類済みテキストデータに頻出する頻出単語および頻出組み合わせ並びにその頻度から各分類済みテキストデータの特徴パターンを生成する特徴パターン生成工程と、
前記特徴パターン生成工程により生成された特徴パターンに基づいて、頻出単語または頻出組み合わせを前記木構造を形成するノードに割り当てた分類ルールを生成する分類ルール生成工程と
をコンピュータに実行させることを特徴とするテキスト分類ルール作成プログラム。
【請求項１２】
前記特徴パターン生成工程は、あらかじめ複数のクラスのいずれかにそれぞれ分類された各分類済みテキストデータに含まれる各単語と該単語の出現回数を対応づけた１単語パターンと、同一のテキストデータに同時に出現する複数の単語の組み合わせと該組み合わせの出現回数とを対応づけた組み合わせパターンとに基づいて、各分類済みテキストデータの特徴パターンを生成することを特徴とする請求項１１に記載のテキスト分類ルール作成プログラム。
【請求項１３】
前記特徴パターン生成工程は、各頻出パターンと各分類済みテキストデータを座標軸としたテーブルであって、頻出パターンと分類済みテキストデータの両者に含まれる頻出単語または頻出組み合わせを各座標のデータとした特徴パターンを生成することを特徴とする請求項１１または１２に記載のテキスト分類ルール作成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、分類対象となるテキストデータを複数のクラスのいずれかに分類する際に利用する木構造からなる分類ルールを作成するテキスト分類ルール作成装置、テキスト分類ルール作成方法およびテキスト分類ルール作成プログラムに関し、特に分類精度の低下を招くことなく、ノードの階層を減らして分類ルールを自動作成することができるテキスト分類ルール作成装置、テキスト分類ルール作成方法およびテキスト分類ルール作成プログラムに関する。
【０００２】
近年、ハードディスクなどの各種記憶装置に膨大なテキストデータを格納することが多くなってきたので、かかる膨大なテキストデータをコンピュータによって自動的に分類する分類技術が注目を浴びている。これらのテキストデータを自動分類することができれば、ユーザが所望のテキストデータ群を効率良く入手できるからである。
【０００３】
そして、かかるテキストデータの分類を考えた場合には、その分類ルールによって分類精度や分類所要時間が大きな影響を受けるため、いかなる分類ルールを用いるかが重要となる。
【０００４】
従来の分類ルールとしては、単語が割り当てられたノードをリンクした木構造を採用し、分類対象となるテキストデータが各ノードの単語を含むかどうかで木構造を辿る処理を繰り返し、木構造の末端に位置するリーフノードに割り当てられた区分に分類対象となるテキストデータを分類することが多い。
【０００５】
特に、かかる木構造を採用するうえで、各ノードに対していかなる単語を割り当てるべきかが重要となるので、たとえば特許文献１では、あらかじめ作成した単語辞書を利用して木構造を自動生成することにより、適切な単語をノードに割り当てることとしている。
【０００６】
また、各ノードに割り当てる単語辞書を自動的に作成するため、たとえば特許文献２では、テキストデータを形態素解析して得られる単語部分集合を使用していた。
【０００７】
また、テキストデータを構文解釈して構文木を作成し、構文木に表されるパターンを用いて分類ルールを作成するものもあった（例えば特許文献３参照。）。さらに、特許文献４では、制約条件を設定し、構文木と制約条件から得られるパターンを用いて分類ルールを作成していた。
【０００８】
また、特許文献５では、意図を含むテキストデータと意図を含まないテキストデータとをもとに抽出意図を表現するルールを作成し、新たなテキストデータが意図を含むか否かを判定していた。
【０００９】
【特許文献１】
特開２００２−１４９６７５号公報
【特許文献２】
特開２００１−１０１１９４号公報
【特許文献３】
特開２００１−８４２５０号公報
【特許文献４】
特開２００１−１３４５７５号公報
【特許文献５】
特開２００１−１４０３４６号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、この特許文献１に代表される従来技術では、この単語辞書にいかなる単語を登録するかは人手によらねばならなかったので、この観点から見れば分類ルールを自動生成しているとは言えず、人手に依存する面が多いという問題があった。
【００１１】
また、特許文献２に示される従来技術では、単語の並びを考慮することができず、複数の単語のつながりに意味があるようなテキストを適切に分類することができなかった。同様に、特許文献３に示される従来技術においても、複数のパターンの組み合わせを考慮した分類ルールの作成ができなかった。
【００１２】
また、特許文献４に示される従来技術では、制約条件を用いることで、より適切なパターンを発見できるものの、複数のパターンの組み合わせを考慮したルールを発見することはできなかった。さらに、制約条件を人手のよって作成するため、労力がかかるという問題点があった。
【００１３】
また、特許文献４に示される従来技術は、「意図を含むか否か」の２値的な判断は出来るものの、３以上のクラスにテキストデータを分類することができなかった。
【００１４】
さらに、かかる従来技術によれば、各ノードに対して単語一つ一つを割り当てるため、分類ルール（木構造）を形成するノード数が多くなり、分類ルールの階層も深くなる。このため、結果的に分類ルールを辿る所要時間が増え、分類処理効率の低下を招く原因となっていた。なお、分類ルールを形成するノード数すなわち単語数を減らすことも考えられるが、ノード数を減らせば減らすほど分類精度の低下を招くこととなる。
【００１５】
このため、分類精度の低下を招くことなく分類ルールを形成するノードの階層を減らすことが可能な分類ルールをいかにして自動生成するかが極めて重要な課題となっている。
【００１６】
この発明は、上述した従来技術による課題（問題点）を解消するためになされたものであり、分類精度の低下を招くことなく、ノードの階層を減らして分類ルールを自動作成することができるテキスト分類ルール作成装置、テキスト分類ルール作成方法およびテキスト分類ルール作成プログラムを提供することを目的とする。
【００１７】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係るテキスト分類ルール作成装置は、分類対象となるテキストデータを複数のクラスのいずれかに分類する際に利用する木構造からなる分類ルールを作成するテキスト分類ルール作成装置であって、あらかじめ複数のクラスのいずれかにそれぞれ分類された各分類済みテキストデータに頻出する頻出単語および頻出組み合わせ並びにその頻度から各分類済みテキストデータの特徴パターンを生成する特徴パターン生成手段と、前記特徴パターン生成手段により生成された特徴パターンに基づいて、頻出単語または頻出組み合わせを前記木構造を形成するノードに割り当てた分類ルールを生成する分類ルール生成手段とを備えたことを特徴とする。
【００１８】
この請求項１の発明によれば、テキスト分類ルール作成装置は、あらかじめ複数のクラスに分類された分類済みテキストデータに頻出する単語やその組み合わせを検出し、検出した単語および単語の組み合わせを用いて分類済みテキストデータの特徴を抽出して特徴パターンを生成し、生成した特徴パターンからテキストデータの分類に用いる分類ルールを生成することができる。
【００１９】
また、請求項２の発明に係るテキスト分類ルール作成装置は、請求項１の発明において、前記特徴パターン生成手段は、あらかじめ複数のクラスのいずれかにそれぞれ分類された各分類済みテキストデータに含まれる各単語と該単語の出現回数を対応づけた１単語パターンと、同一のテキストデータに同時に出現する複数の単語の組み合わせと該組み合わせの出現回数とを対応づけた組み合わせパターンとに基づいて、各分類済みテキストデータの特徴パターンを生成することを特徴とする。
【００２０】
この請求項２の発明によれば、テキスト分類ルール作成装置は、分類済みテキストデータに出現する単語について、その出現回数に対応した１単語パターンを作成し、また、分類済みテキストデータに出現する単語の組み合わせについて、その出現回数に対応した組み合わせ単語パターンを作成し、１単語パターンと組み合わせパターンとを用い分類済みテキストデータの特徴パターンを生成することができる。
【００２１】
また、請求項３の発明に係るテキスト分類ルール作成装置は、請求項２の発明において、前記特徴パターン生成手段は、同一のテキストデータに同時に出現する２単語の組み合わせと該組み合わせの出現回数とを対応づけた２単語パターンと、同一のテキストデータに同時に出現する３単語の組み合わせと該組み合わせの出現回数とを対応づけた３単語パターンとを、前記組み合わせパターンとしたことを特徴とする。
【００２２】
この請求項３の発明によれば、テキスト分類ルール作成装置は、同一のテキストデータに同時に出現する２単語の組み合わせを２単語パターンとして作成し、同一のテキストデータに同時に出現する３単語の組み合わせを３単語パターンとして作成し、２単語パターンと３単語パターンとを組み合わせパターンとして使用して分類済みテキストデータの特徴パターンを作成する。
【００２３】
また、請求項４の発明に係るテキスト分類ルール作成装置は、請求項２または３の発明において、前記特徴パターン生成手段は、前記１単語パターンに含まれる複数の単語のうちの所定の出現回数を超える頻出単語と、前記組み合わせパターンに含まれる複数の単語の組み合わせのうちの所定の出現回数を超える頻出組み合わせとを抽出するとともに、該抽出した複数の頻出組み合わせに含まれる頻出単語を除いた頻出パターンを生成し、該生成した頻出パターンに基づいて各分類済みテキストデータの特徴パターンを生成することを特徴とする。
【００２４】
この請求項４の発明によれば、テキスト分類ルール作成装置は、分類済みテキストデータに出現する回数が所定の閾値以上である頻出単語および頻出組み合わせを抽出し、抽出した頻出単語および頻出組み合わせのうち、他の頻出組み合わせの部分集合であるものを除外した頻出パターンを生成し、生成した頻出パターンを用いて分類済みテキストデータの特徴パターンを生成する。
【００２５】
また、請求項５の発明に係るテキスト分類ルール作成装置は、請求項１〜４のいずれか一つに記載の発明において、前記特徴パターン生成手段は、各頻出パターンと各分類済みテキストデータを座標軸としたテーブルであって、頻出パターンと分類済みテキストデータの両者に含まれる頻出単語または頻出組み合わせを各座標のデータとした特徴パターンを生成することを特徴とする。
【００２６】
この請求項５の発明によれば、テキスト分類ルール作成装置は、頻出パターンと分類済みテキストデータとの両方に含まれる頻出単語または頻出組み合わせをデータとして有するテーブルを特徴パターンとして生成する。
【００２７】
また、請求項６の発明に係るテキスト分類ルール作成装置は、請求項１〜５のいずれか一つに記載の発明において、前記テキストデータを形態素解析する形態素解析手段をさらに備え、前記特徴パターン生成手段は、前記形態素解析手段により形態素解析された複数の単語およびその組み合わせの一部を前記頻出単語および前記頻出組み合わせとしたことを特徴とする。
【００２８】
この請求項６の発明によれば、テキスト分類ルール作成装置は、分類済みテキストデータを形態素解析し、形態素解析結果を頻出パターンの作成および特徴パターンの作成に用いる。
【００２９】
また、請求項７の発明に係るテキスト分類ルール作成装置は、請求項１〜６のいずれか一つに記載の発明において、前記分類対象となるテキストデータを受け付けた際に、前記分類ルールに基づいて当該分類対象となるテキストデータを所定のクラスに分類する分類手段をさらに備えたことを特徴とする。
【００３０】
この請求項７の発明によれば、テキスト分類ルール作成装置は、分類済みテキストデータから作成した特徴パターンを用いた分類ルールを作成し、作成した分類ルールによって新規のテキストデータを分類する。
【００３１】
また、請求項８の発明に係るテキスト分類ルール作成方法は、分類対象となるテキストデータを複数のクラスのいずれかに分類する際に利用する木構造からなる分類ルールを作成するテキスト分類ルール作成方法であって、あらかじめ複数のクラスのいずれかにそれぞれ分類された各分類済みテキストデータに頻出する頻出単語および頻出組み合わせ並びにその頻度から各分類済みテキストデータの特徴パターンを生成する特徴パターン生成工程と、前記特徴パターン生成工程により生成された特徴パターンに基づいて、頻出単語または頻出組み合わせを前記木構造を形成するノードに割り当てた分類ルールを生成する分類ルール生成工程とを含むことを特徴とする。
【００３２】
この請求項８の発明によれば、テキスト分類ルール作成方法は、あらかじめ複数のクラスに分類された分類済みテキストデータに頻出する単語やその組み合わせを検出し、検出した単語および単語の組み合わせを用いて分類済みテキストデータの特徴を抽出して特徴パターンを生成し、生成した特徴パターンからテキストデータの分類に用いる分類ルールを生成することができる。
【００３３】
また、請求項９の発明に係るテキスト分類ルール作成方法は、請求項８の発明において、前記特徴パターン生成工程は、あらかじめ複数のクラスのいずれかにそれぞれ分類された各分類済みテキストデータに含まれる各単語と該単語の出現回数を対応づけた１単語パターンと、同一のテキストデータに同時に出現する複数の単語の組み合わせと該組み合わせの出現回数とを対応づけた組み合わせパターンとに基づいて、各分類済みテキストデータの特徴パターンを生成することを特徴とする。
【００３４】
この請求項９の発明によれば、テキスト分類ルール作成方法は、分類済みテキストデータに出現する単語について、その出現回数に対応した１単語パターンを作成し、また、分類済みテキストデータに出現する単語の組み合わせについて、その出現回数に対応した組み合わせ単語パターンを作成し、１単語パターンと組み合わせパターンとを用い分類済みテキストデータの特徴パターンを生成することができる。
【００３５】
また、請求項１０の発明に係るテキスト分類ルール作成方法は、請求項８または９の発明において、前記特徴パターン生成工程は、各頻出パターンと各分類済みテキストデータを座標軸としたテーブルであって、頻出パターンと分類済みテキストデータの両者に含まれる頻出単語または頻出組み合わせを各座標のデータとした特徴パターンを生成することを特徴とする。
【００３６】
この請求項１０の発明によれば、テキスト分類ルール作成方法は、頻出パターンと分類済みテキストデータとの両方に含まれる頻出単語または頻出組み合わせをデータとして有するテーブルを特徴パターンとして生成する。
【００３７】
また、請求項１１の発明に係るテキスト分類ルール作成プログラムは、分類対象となるテキストデータを複数のクラスのいずれかに分類する際に利用する木構造からなる分類ルールを作成するテキスト分類ルール作成プログラムであって、あらかじめ複数のクラスのいずれかにそれぞれ分類された各分類済みテキストデータに頻出する頻出単語および頻出組み合わせ並びにその頻度から各分類済みテキストデータの特徴パターンを生成する特徴パターン生成工程と、前記特徴パターン生成工程により生成された特徴パターンに基づいて、頻出単語またはその組み合わせを前記木構造を形成するノードに割り当てた分類ルールを生成する分類ルール生成工程とをコンピュータに実行させることを特徴とする。
【００３８】
この請求項１１の発明によれば、テキスト分類ルール作成プログラムは、あらかじめ複数のクラスに分類された分類済みテキストデータに頻出する単語やその組み合わせを検出し、検出した単語および単語の組み合わせを用いて分類済みテキストデータの特徴を抽出して特徴パターンを生成し、生成した特徴パターンからテキストデータの分類に用いる分類ルールを生成することができる。
【００３９】
また、請求項１２の発明に係るテキスト分類ルール作成プログラムは、請求項１１の発明において、前記特徴パターン生成工程は、あらかじめ複数のクラスのいずれかにそれぞれ分類された各分類済みテキストデータに含まれる各単語と該単語の出現回数を対応づけた１単語パターンと、同一のテキストデータに同時に出現する複数の単語の組み合わせと該組み合わせの出現回数とを対応づけた組み合わせパターンとに基づいて、各分類済みテキストデータの特徴パターンを生成することを特徴とする。
【００４０】
この請求項１２の発明によれば、テキスト分類ルール作成プログラムは、分類済みテキストデータに出現する単語について、その出現回数に対応した１単語パターンを作成し、また、分類済みテキストデータに出現する単語の組み合わせについて、その出現回数に対応した組み合わせ単語パターンを作成し、１単語パターンと組み合わせパターンとを用い分類済みテキストデータの特徴パターンを生成することができる。
【００４１】
また、請求項１３の発明に係るテキスト分類ルール作成プログラムは、請求項１１または１２の発明において、前記特徴パターン生成工程は、各頻出パターンと各分類済みテキストデータを座標軸としたテーブルであって、頻出パターンと分類済みテキストデータの両者に含まれる頻出単語または頻出組み合わせを各座標のデータとした特徴パターンを生成することを特徴とする。
【００４２】
この請求項１３の発明によれば、テキスト分類ルール作成プログラムは、頻出パターンと分類済みテキストデータとの両方に含まれる頻出単語または頻出組み合わせをデータとして有するテーブルを特徴パターンとして生成する。
【００４３】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係るテキスト分類ルール作成装置、テキスト分類ルール作成方法およびテキスト分類ルール作成プログラムの好適な実施の形態を詳細に説明する。
【００４４】
図１は、本実施の形態にかかるテキスト分類装置の概要構成を説明する説明図である。図１において、テキスト分類装置１は、ネットワーク４を介して端末５と接続されるとともに、データベースマネジメントシステム（ＤＢＭＳ）２を介してデータベース３と接続されている。
【００４５】
また、テキスト分類装置１は、その内部に記憶部１１、インターフェース部１２、制御部１３、分類処理部１４および分類ルール作成部１５を備えている。制御部１３は、テキスト分類処理部１を全体制御する制御部であり、端末５がデータベース３にアクセスする場合におけるサーバ機能を実現する。
【００４６】
一方、分類ルール作成部１５は、データベース３が記憶するテキストデータ群２１およびクラスデータ群２２をもとに、テキストデータを分類する分類ルール４０を作成する。分類ルール作成部１５は、作成した分類ルール４０を記憶部１１に記憶させる。分類処理部１４は、この分類ルール４０を用いてテキストデータの分類を実行する。
【００４７】
分類ルール作成部１５が分類ルール４０を作成する場合、まず、テキストデータ群２１からテキストデータの特徴付けに用いる頻出パターンを作成し、つぎに、作成した頻出パターンを用いて各テキストデータの特徴を示す特徴パターンを作成し、その後、特徴パターンを用いて分類ルールを作成する。
【００４８】
具体的には、分類ルール作成部１５は、テキストデータ群２１において頻出する単語の組み合わせを頻出パターンとして検出する。頻出パターンを用いたテキストデータの特徴付けでは、テキストデータが頻出パターンに含まれる単語を有するか否かを判定し、テキストデータが頻出パターンに含まれる単語の組み合わせ、もしくはその一部を有する場合、その単語の組み合わせをテキストデータの特徴を示す特徴パターンとして抽出する。
【００４９】
その後、分類ルール作成部１５は、各テキストデータの特徴パターンとクラスデータ群２２とをもとに、分類ルール４０を作成する。ここで、クラスデータ群２２は、テキストデータ群２１に含まれるテキストデータに対して適切なクラスを指定するデータである。分類ルール作成部１５は、各テキストデータを特徴パターンに着目して分類した場合に、分類結果がクラスデータ群２２に示されたクラスとなるような分類ルール４０を作成する。
【００５０】
具体的には、分類ルール４０は木構造を有し、各ノードとして頻出パターンを設定する。分類処理部１４がテキストデータを分類する場合、各ノードに設定された頻出パターンとテキストデータの特徴パターンとを比較する処理によってテキストデータの分類をおこなう。
【００５１】
なお、分類ルール作成部１５は、頻出パターンの検出、特徴パターンの抽出、および分類ルールの木構造の作成において、テキストデータを形態素解析によって単語に分解したデータを使用する。すなわち、分類ルール作成部１５は、その内部に形態素解析を実行する形態素解析部１５ａ、テキストデータ群２１から頻出パターンを検出する頻出パターン検出部１５ｂ、各テキストデータの特徴パターンを抽出する特徴パターン抽出部１５ｃおよび分類ルールの木構造を作成するツリー作成部１５ｄを備える。
【００５２】
つぎに、図２〜図６を参照して形態素解析部１５ａ、頻出パターン検出部１５ｂ、特徴パターン抽出部１５ｃおよびツリー作成部１５ｄの動作の具体例を示し、分類ルール作成部１５による分類ルール作成を説明する。
【００５３】
図２は、データベース３が記憶するテキストデータ群２１およびクラスデータ群２２の具体例を示す図である。図２において、テキストデータ群２１は、テキストデータｔ１〜ｔ１０を有する。テキストデータｔ１〜ｔ１０は、それぞれ一文の文章である。
【００５４】
具体的には、テキストデータｔ１の内容は「深夜に牛乳が売れる。」であり、テキストデータｔ２の内容は「朝に牛乳が売れる。」である。また、テキストデータｔ３の内容は「深夜にコーラが売れる。」であり、テキストデータｔ４の内容は「朝はジュースは売れない。」である。同様に、テキストデータｔ５の内容は「夏の昼にコーラが売れる。」であり、テキストデータｔ６の内容は「夏の昼に牛乳が売れる。」である。さらに、テキストデータｔ７の内容は「夏の昼にジュースが売れる。」であり、テキストデータｔ８の内容は「冬の夕方にコーラは売れない。」である。また、テキストデータｔ９の内容は「冬の夕方に牛乳は売れない。」であり、テキストデータｔ１０の内容は「冬の夕方にジュースは売れない。」である。
【００５５】
一方、クラスデータ群２２は、テキストデータｔ１〜ｔ１０のクラスを指定するデータであり、各テキストデータに対して「注目」、「普通」、「無視」のいずれかのクラスを対応させる。具体的には、テキストデータｔ１，ｔ２，ｔ５，ｔ６，ｔ７をクラス「注目」に分類し、テキストデータｔ３、ｔ９をクラス「普通」に分類し、テキストデータｔ４，ｔ８，ｔ１０をクラス「無視」に分類する。
【００５６】
つぎに、図３を参照し、形態素解析部１５ａの動作を説明する。形態素解析部１５ａは、データベース３が記憶するテキストデータ群２１を読み出し、形態素解析をおこなって各テキストデータを単語に分解し、所望の単語の列を取り出す。ここで、形態素解析部１５ａは、テキストデータに含まれる名詞および動詞をそのまま取り出し、形容詞、動詞および形容動詞は、活用語尾を含めて単語を取り出して単語データ群３１を作成する。
【００５７】
たとえば、テキストデータ群２１におけるテキストデータｔ１「深夜に牛乳が売れる。」は、形態素解析によって「深夜」、「牛乳」、「売れる」の３つの単語に分解される。また、テキストデータｔ２「朝に牛乳が売れる。」は、形態素解析によって「朝」、「牛乳」、「売れる」の３つの単語に分解される。さらに、テキストデータｔ３「深夜にコーラが売れる。」は、形態素解析によって「深夜」、「コーラ」、「売れる」の３つの単語に分解され、テキストデータｔ４「朝はジュールは売れない。」は、形態素解析によって「朝」、「ジュース」、「売れない」の３つの単語に分割される。
【００５８】
同様に、テキストデータｔ５は、単語データ群３１に示すように「夏」、「昼」、「コーラ」、「売れる」の４つの単語に分解され、テキストデータｔ６は、「夏」、「昼」、「牛乳」、「売れる」の４つの単語に分解され、テキストデータｔ７は、「夏」、「昼」、「ジュース」、「売れる」の４つの単語に分解される。さらにテキストデータｔ８は、「冬」、「夕方」、「コーラ」、「売れない」の４つの単語に分解され、テキストデータｔ９は、「冬」、「夕方」、「牛乳」、「売れない」の４つの単語に分類され、テキストデータｔ１０は、「冬」、「夕方」、「ジュース」、「売れない」の４つの単語に分類される。
【００５９】
頻出パターン検出部１５ｂは、この単語データ群３１から頻出パターン群３５を作成する。図４は、頻出パターン検出部１５ｂによる頻出パターン作成の具体例を示す図である。頻出パターン検出部１５ｂは、閾値を有し、閾値以上の数のテキストデータに繰り返し出現する単語および単語の組み合わせを頻出パターンとして検出する。図４においては、閾値を「３」に設定し、３以上のテキストデータに繰り返し出現する単語を検出する。
【００６０】
具体的には、頻出パターン検出部１５ｂは、まず、３以上のテキストデータに繰り返し出現する単語を１単語パターン３２として検出する。テキストデータ群３１においては、「売れる」という単語が６回、「売れない」および「牛乳」がそれぞれ４回、「夏」、「昼」、「冬」、「夕方」、「コーラ」および「ジュース」がそれぞれ３回出現する。したがって、頻出パターン検出部１５ｂは、「売れる」、「売れない」、「牛乳」、「夏」、「昼」、「冬」、「夕方」、「コーラ」および「ジュース」を１単語パターン３２として検出する。
【００６１】
つぎに、頻出パターン検出部１５ｂは、３以上のテキストデータに繰り返し出現する２単語の組み合わせを２単語パターン３３として検出する。たとえば、単語データ群３１においては、「夏」と「昼」との組み合わせが３回、テキストデータｔ５，ｔ６，ｔ７に出現する。同様に、「夏」と「売れる」との組み合わせ、「昼」と「売れる」との組み合わせ、「冬」と「夕方」との組み合わせ、「冬」と「売れない」との組み合わせ、「夕方」と「売れない」との組み合わせ、「牛乳」と「売れる」との組み合わせもそれぞれ３回出現する。したがって、頻出パターン検出部１５ｂは、これらの２単語の組み合わせである「夏、昼」、「夏、売れる」、「昼、売れる」、「冬、夕方」、「冬、売れない」、「夕方、売れない」、「牛乳、売れる」を２単語パターン３３として検出する。
【００６２】
続いて、頻出パターン検出部１５ｂは、３以上のテキストデータに繰り返し出現する３単語の組み合わせを３単語パターン３４として検出する。たとえば、「夏」、「昼」、「売れる」の３単語の組み合わせは、テキストデータｔ５、ｔ６、ｔ７に出現する。同様に、「冬」、「夕方」、「売れない」の組み合わせは、テキストデータｔ８，ｔ９，ｔ１０に出現する。したがって、頻出パターン検出部１５ｂは、これらの３単語の組み合わせである「夏、昼、売れる」および「冬、夕方、売れない」を３単語パターン３４として検出する。
【００６３】
さらに、頻出パターン検出部１５ｂは、３以上のテキストデータに繰り返し出現する４単語の組み合わせを検出するが、単語データ群３１においては３回以上出現する４単語以上の組み合わせがない。そこで、頻出パターン検出部１５ｂは、１単語パターン３２、２単語パターン３３および３単語パターン３４から頻出パターン群３５を作成する。
【００６４】
頻出パターン群３５は、１単語パターン３２、２単語パターン３３および３単語パターン３４に含まれる単語パターンから、他のパターンの部分集合を除いて作成する。すなわち、１単語パターン３２における「売れる」、「夏」、「昼」および２単語パターン３３における「夏、昼」、「夏、売れる」、「昼、売れる」は、３単語パターン３４における「夏、昼、売れる」の部分集合であるので、３単語パターンである「夏、昼、売れる」を頻出パターンとして登録し、部分集合である「売れる」、「夏」、「昼」、「夏、昼」、「夏、売れる」、「昼、売れる」は登録しない。
【００６５】
同様に、１単語パターン３２における「冬」、「夕方」、「売れない」および２単語パターン３３における「冬、夕方」、「夕方、売れない」、「夕方、売れない」は、３単語パターン３４における「冬、夕方、売れない」の部分集合であるので、３単語パターンである「冬、夕方、売れない」を頻出パターンとして登録し、部分集合である「冬」、「夕方」、「売れない」、「冬、夕方」、「夕方、売れない」、「夕方、売れない」は登録しない。
【００６６】
また、１単語パターン３２における「牛乳」は、２単語パターン３３における「牛乳、売れる」の部分集合であり、かつ「牛乳、売れる」をともに含む３単語パターンは存在しないので、「牛乳、売れる」を頻出パターンとして登録し、「牛乳」は登録しない。
【００６７】
さらに、１単語パターン３２における「コーラ」および「ジュース」については、「コーラ」または「ジュース」を含む２単語パターンおよび３単語パターンが存在しないので、「コーラ」および「ジュース」を頻出パターンに登録する。
【００６８】
したがって、頻出パターン検出部１５ｂは、頻出パターン「夏、昼、売れる」、「冬、夕方、売れない」、「牛乳、売れる」、「コーラ」、「ジュース」を含む頻出パターン群３５を出力する。
【００６９】
この頻出パターンは、テキストデータ群２１において高い頻度で出現する単語および単語の組み合わせを示す。例えば、単語「牛乳」と単語「売れる」とは、その意味において無関係である。しかし、頻出パターンに「牛乳、売れる」が含まれることから、テキストデータ群２１では、単語「牛乳」と単語「売れる」とが同じテキストデータ内で用いられることが多いことが分かる。このように、同一文章内で組み合わせて用いられる単語の組み合わせを検出し、各テキストデータにその単語の組み合わせが含まれるか否かを調べることで、テキストデータの特徴付けをおこなうことができる。
【００７０】
つぎに、図５を参照し、特徴パターン抽出部１５ｃによるテキストデータの特徴パターン抽出について説明する。特徴パターン抽出部１５ｃは、テキストデータ群２１に含まれる各テキストデータについて、頻出パターンを用いて特徴付けをおこなう。この時、頻出パターンを属性とし、頻出パターンを構成する単語の部分集合を属性値として用いる。
【００７１】
例えば、頻出パターン「夏、昼、売れる」を属性とした場合、属性値は、「夏、昼、売れる」、「夏、昼」、「夏、売れる」、「昼、売れる」、「夏」、「昼」、「売れる」、「Ｎ１」のいずれかの値をとる。ここで、値「Ｎ１」は、空集合に対応するラベルである。
【００７２】
また、頻出パターン「冬、夕方、売れない」を属性とした場合、属性値は、「冬、夕方、売れない」、「冬、夕方」、「冬、売れない」、「夕方、売れない」、「冬」、「夕方」、「売れない」、「Ｎ２」のいずれかの値をとる。ここで、値「Ｎ２」は、「Ｎ１」と同様、空集合に対応するラベルである。
【００７３】
同様に、頻出パターン「牛乳、売れる」を属性とした場合、属性値は、「牛乳、売れる」、「牛乳」、「売れる」、「Ｎ３」のいずれかの値となる。また、頻出パターン「コーラ」を属性とした場合、属性値は、「コーラ」または「Ｎ４」となり、頻出パターン「ジュース」を属性とした場合、属性値は、「ジュース」または「Ｎ５」となる。ここで、値「Ｎ３」、「Ｎ４」、「Ｎ５」は、値「Ｎ１」、「Ｎ２」と同様に、空集合に対応するラベルである。
【００７４】
特徴パターン抽出部１５ｃは、各テキストデータについて、テキストデータに含まれる単語と属性である頻出パターンとを比較し、頻出パターンのうちテキストデータに含まれる単語を検出し、検出した単語を属性値として出力する。特徴パターン抽出部１５ｃは、各属性について属性値の検出をおこなうことで、各テキストデータの特徴を示す特徴パターンを抽出することができる。この特徴パターンは、テキストデータを縦軸に、属性（頻出パターン）を横軸にとったテーブルとなる。
【００７５】
具体的には、図５に示すように、テキストデータｔ１は、属性「夏、昼、売れる」に対して属性値「売れる」を有し、属性「冬、夕方、売れない」に対して属性値「Ｎ２」を有する。また、属性「牛乳、売れる」に対して属性値「牛乳、売れる」を有し、属性「コーラ」に対して属性値「Ｎ４」、属性「ジュース」に対して属性値「Ｎ５」を有する。すなわち、これらの属性に対する属性値の組み合わせが、テキストデータｔ１の特徴パターンとして出力される。
【００７６】
特徴パターン抽出部１５ｃは、テキストデータｔ２〜ｔ１０に対しても、テキストデータｔ１と同様に、各属性に対して属性値を決定し、それぞれのテキストデータの特徴を示す特徴パターンとして抽出することで、テーブル形状の特徴パターン群３６を作成する。
【００７７】
ツリー作成部１５ｄは、この特徴パターン群３６とクラスデータ群２２から、分類ルール４０を作成する。分類ルール４０は、各テキストデータを特徴パターンに着目して分類した場合に、分類結果がクラスデータ群２２に示されたクラスと一致する分類ルール４０を作成する。
【００７８】
図６に、ツリー作成部１５ｄが作成した分類ルール４０を示す。分類ルール４０は、分岐ノードＢ１〜Ｂ４およびリーフノードＥ１〜Ｅ６を有する。分岐ノードＢ１〜Ｂ４は、それぞれ属性に対応し、属性値によって分岐する。一方、リーフノードＥ１〜Ｅ６は、それぞれクラスに対応する。
【００７９】
具体的には、最上位の分岐ノードＢ１は属性「冬、夕方、売れない」に対応する。さらに分岐ノードＢ１は、属性値が「冬、夕方、売れない」である場合に分岐ノードＢ２に分岐し、属性値が「売れない」である場合にリーフノードＥ３に分岐し、属性値が「Ｎ２」である場合に分岐ノードＢ３に分岐する。
【００８０】
また、分岐ノードＢ２は、属性「牛乳、売れる」に対応する。この分岐ノードＢ２は、属性値が「牛乳、売れる」である場合にリーフノードＥ１に分岐し、属性値が「Ｎ３」である場合にリーフノードＥ２に分岐する。
【００８１】
同様に、分岐ノードＢ３は、属性「コーラ」に対応する。この分岐ノードＢ３は、属性値が「コーラ」である場合に分岐ノードＢ４に分岐し、属性値が「Ｎ４」である場合にリーフノードＥ６に分岐する。さらに、分岐ノードＢ４は、属性「夏、昼、売れる」に対応する。この分岐ノードＢ４は、属性値が「夏、昼、売れる」である場合にリーフノードＥ４に分岐し、属性値が「Ｎ５」である場合にリーフノードＥ５に分岐する。
【００８２】
ここで、リーフノードＥ１，Ｅ５は、クラス「普通」に対して確信度「１．０」を有する。また、リーフノードＥ２，Ｅ３は、クラス「無視」に対して確信度「１．０」を有する。同様に、リーフノードＥ４，Ｅ６は、クラス「注目」に対して確信度「１．０」を有する。
【００８３】
この分類ルール４０では、最上位の分岐ノードＢ１から各リーフノードまでが一つのルールを表している。例えば、分岐ノードＢ１からリーフノードＥ１までは、『属性「冬、夕方、売れない」に対する属性値が「冬、夕方、売れない」であり、さらに、頻出パターン「牛乳、売れる」に対する属性値が「牛乳」であるテキストデータは、確信度１．０でクラス「普通」に分類する。』というルールを示す。なお、分類ルール４０における確信度は、テキストデータの分類結果に対する信頼性を示す。たとえば、分類の結果、テキストデータがリーフノードＥ１のみに伝播した場合、リーフノードＥ１のクラスは「注目」、確信度が「１．０」であるので、そのテキストデータの内容は、ほぼ確実に「注目」クラスに分類すべきであることを示す。
【００８４】
なお、分類ルールの木構造の具体的な作成方法については、例えば、帰納学習法ＩＤＦ（櫻井茂明、荒木大著「ファジィ帰納学習アルゴリズムの改良」電気学会Ｃ部門論文誌Ｎｏ．１５５、ｖｏｌ．９、ｐ１０５７−１０６３（１９９６年））などを用いればよい。
【００８５】
つぎに、分類ルール作成部１５の処理手順について説明する。図７は、図１に示した分類ルール作成部１５の処理手順を示すフローチャートである。同図に示すように、分類ルール作成部１５は、まず、データベース３からテキストデータ群２１を読み出す（ステップＳ１０１）。つぎに、読み出したテキストデータのうち、最初のテキストデータを処理対象に設定する（ステップＳ１０２）。つづいて、形態素解析部１５ａによって処理対象のテキストデータの形態素解析を実行する（ステップＳ１０３）。
【００８６】
その後、全てのテキストデータに対して形態素解析が終了したか否かを判定し（ステップＳ１０４）、まだ形態素解析が終了していないテキストデータがある場合（ステップＳ１０４，Ｎｏ）、つぎのテキストデータを処理対象に設定して（ステップＳ１１１）、再度形態素解析を実行する（ステップＳ１０３）。
【００８７】
一方、形態素形跡部１５ａが全てのテキストデータに対して形態素解析を実行した場合（ステップＳ１０４，Ｙｅｓ）、形態素解析結果をもとに、頻出パターン検出部１５ｂによる頻出パターンの検出をおこなう（ステップＳ１０５）。
【００８８】
その後、最初のテキストデータを特徴パターンの抽出対象に設定し（ステップＳ１０６）、特徴パターン抽出部１５ｃによる特徴パターンの抽出を実行する（ステップＳ１０７）。その後、全てのテキストデータに対して特徴パターン抽出が終了したか否かを判定し（ステップＳ１０８）、まだ特徴パターン抽出が終了していないテキストデータがある場合（ステップＳ１０８，Ｎｏ）、次のテキストデータを抽出対象に設定し（ステップＳ１１２）、再度特徴パターンの抽出を実行する（ステップＳ１０７）。
【００８９】
一方、特徴パターン抽出部１５ｃが全てのテキストデータに対して特徴パターンの抽出を実行した場合（ステップＳ１０８，Ｙｅｓ）、ツリー作成部１５ｄは、特徴パターンとクラスデータ群２２とを用いて分類ルールの木構造の作成を行う（ステップＳ１０９）。その後、分類ルール作成部１５は、作成した分類ルールを記憶部１１に記憶し（ステップＳ１１０）、処理を終了する。
【００９０】
つぎに、図７のステップＳ１０５に示した頻出パターン検出の実行手順をさらに詳細に説明する。図８は、図７のステップＳ１０５に示した頻出パターン検出の実行手順をさらに詳細に示すフローチャートである。
【００９１】
同図に示すように、頻出パターン検出部１５ｂは、形態素解析部１５ａによる解析結果をもとに、所定数以上のテキストデータに繰り返し出現する単語を検出する（ステップＳ２０１）。つぎに、頻出パターン検出部１５ｂは、所定数以上のテキストデータに出現する単語が存在したか否かを判定する（ステップＳ２０２）。
【００９２】
所定数以上のテキストデータに出現する単語が存在した場合（ステップＳ２０２，Ｙｅｓ）、頻出パターン検出部１５ｂは、検出した単語を頻出パターンとして登録する（ステップＳ２０３）。その後、頻出パターン検出部１５ｂは、形態素解析結果をもとに、所定数以上のテキストデータに繰り返し出現する単語の組み合わせを検出する（ステップＳ２０４）。所定数以上のテキストデータに繰り返し出現する単語の組み合わせが存在した場合（ステップＳ２０５，Ｙｅｓ）、頻出パターン検出部１５ｂは、検出した単語の組み合わせを頻出パターンに追加し（ステップＳ２０６）、単語の組み合わせに含まれる単語数を１増加させ（ステップＳ２０７）、再度、所定数以上のテキストデータに出現する単語の組み合わせを検出する（ステップＳ２０５）。
【００９３】
一方、所定数以上のテキストデータに繰り返し出現する単語の組み合わせが存在しなかった場合（ステップＳ２０５，Ｎｏ）、頻出パターン検出部１５ｂは、それまでに検出した頻出パターンから、他の頻出パターンの部分集合であるものを削除し（ステップＳ２０８）、処理を終了する。
【００９４】
ところで、所定数以上のテキストデータに繰り返し出現する単語が存在しなかった場合（ステップＳ２０２，Ｎｏ）、頻出パターン検出部１５ｂは、「頻出パターン無し」と出力し、処理を終了する。なお、「頻出パターン無し」と出力された場合、頻出パターン検出の所定数、すなわち閾値を下げて再度検出を行うようにしてもよい。
【００９５】
このように、図８に示したフローチャートでは、閾値によって指定された所定の回数、テキストデータに繰り返し出現する単語および単語の組み合わせを検出することができる。また、頻出パターンを検出する場合に、まずは１単語の頻出パターンを検出し、つぎに２単語の頻出パターンを検出し、その後、順次単語数を増やして頻出パターンの検出をおこなうことで、複数の単語の組み合わせである頻出パターンを効率よく検出することができる。
【００９６】
つぎに、分類処理部１４によるテキストデータの分類処理について説明する。端末５がネットワーク４を介して新しいテキストデータを入力した場合、テキスト分類装置１は、分類処理部１４によって新規テキストデータを分類し、適切なクラスデータを作成する。その後、テキスト分類装置１は、新規テキストデータをデータベース３に格納する場合に対応するクラスデータを併せて格納する。
【００９７】
分類処理部１４は、新規テキストデータの分類を行う場合に、新規テキストデータを形態素解析によって単語に分解した後、頻出パターンを用いて新規テキストデータの特徴パターンを作成し、新規テキストデータの特徴パターンと記憶部に格納した分類ルールとの比較によって新規テキストデータの分類をおこなう。
【００９８】
ここで、図９〜図１３を参照し、分類処理部１４による分類処理の具体例を示す。図９は、端末５からネットワーク４を介して入力された新規テキストデータ群２３の形態素解析を説明する図である。図９において、新規テキストデータ群２３は、新しいテキストデータｔ１１およびテキストデータｔ１２を有する。
【００９９】
具体的には、テキストデータｔ１１の内容は、「夏の昼にコーラとジュースが売れる。」であり、テキストデータｔ１２の内容は、「夏の夕方にコーラは売れない。」である。分類処理部１４は、このテキストデータｔ１１，ｔ１２をそれぞれ形態素解析し、単語データ群３７を作成する。したがって単語データ群３７は、テキストデータｔ１１に対応する単語データとして「夏」、「昼」、「コーラ」、「ジュース」、「売れる」の５つの単語を有する。また、単語データ群３７は、テキストデータｔ１２に対応する単語データとして「夏」、「夕方」、「コーラ」、「売れない」の４つの単語を有する。
【０１００】
つぎに、分類処理部１４は、頻出パターン検出部１５ｂが検出した頻出パターンを属性として用いて、新しいテキストデータの特徴づけをおこなう。図１０は、新規テキストデータに対応する特徴パターンを示す図である。図１０に示すように、テキストデータｔ１１，ｔ１２は、頻出パターン「夏、昼、売れる」、「冬、夕方、売れない」、「牛乳、売れる」、「コーラ」、「ジュース」を属性とした特徴パターンを有する。
【０１０１】
テキストデータｔ１１は、頻出パターン「夏、昼、売れる」に対して値「夏、昼、売れる」を有し、頻出パターン「冬、夕方、売れない」に対して値「Ｎ２」を有し、頻出パターン「牛乳、売れる」に対して値「売れる」を有し、頻出パターン「コーラ」に対して値「コーラ」を有し、頻出パターン「ジュース」に対して値「ジュース」を有する。すなわち、これらの頻出パターンに対する値の組み合わせが、テキストデータｔ１１の特徴パターンである。
【０１０２】
一方、テキストデータｔ１２は、頻出パターン「夏、昼、売れる」に対して値「夏」を有し、頻出パターン「冬、夕方、売れない」に対して値「冬、売れない」を有し、頻出パターン「牛乳、売れる」に対して値「Ｎ３」を有し、頻出パターン「コーラ」に対して値「コーラ」を有し、頻出パターン「ジュース」に対して値「Ｎ５」を有する。すなわち、これらの頻出パターンに対する値の組み合わせが、テキストデータｔ１２の特徴パターンである。
【０１０３】
分類処理部１４は、この特徴パターンと分類ルール４０との比較によって新規テキストデータの分類をおこなう。図１１は、テキストデータｔ１１の分類を説明する説明図である。図１１において、分類経路４１は、テキストデータｔ１１と分類ルール４０との比較結果を示す。
【０１０４】
まず、分類処理部１４は、テキストデータｔ１１に対して確信度「１．０」を与え、分類ルール４０の最初の分岐ノードＢ１について評価をおこなう。分岐ノードＢ１に対応する頻出パターンは、「冬、夕方、売れない」であり、テキストデータｔ１１の頻出パターン「冬、夕方、売れない」に対する値は「Ｎ２」であるので、確信度「１．０」を有したテキストデータｔ１１が分岐ノードＢ３に伝播する。
【０１０５】
つぎに、分岐ノードＢ３に対応する頻出パターンは「コーラ」であり、テキストデータｔ１１の頻出パターン「コーラ」に対する値は「コーラ」であるので、確信度「１．０」を有したテキストデータｔ１１が分岐ノードＢ４に伝播する。
【０１０６】
さらに、分岐ノードＢ４に対応する頻出パターンは「夏、昼、売れる」であり、テキストデータｔ１１の頻出パターン「夏、昼、売れる」に対する値は「夏、昼、売れる」であるので、確信度「１．０」を有したテキストデータｔ１１がリーフノードＥ４に伝播する。
【０１０７】
このテキストデータｔ１１の分類では、最終的にリーフノードＥ４のみに伝播したため、テキストデータｔ１１はリーフノードＥ４に対応するクラス「注目」に分類する。仮に、分類の途中で伝播先が複数に分かれた場合、テキストデータが有する確信度を分割して、それぞれのノードに伝播させる。その後、最終的にクラスごとに確信度を合計し、最も確信度の大きいクラスにテキストデータを分類する。
【０１０８】
つぎに、図１２を参照し、テキストデータｔ１２の分類を説明する。図１２は、テキストデータｔ１２の分類を説明する説明図である。図１２において、分類経路４２は、テキストデータｔ１２と分類ルール４０との比較結果を示す。
【０１０９】
まず、分類処理部１４は、テキストデータｔ１２に対して確信度「１．０」を与え、分類ルール４０の最初の分岐ノードＢ１について評価をおこなう。分岐ノードＢ１に対応する頻出パターンは、「冬、夕方、売れない」であり、テキストデータｔ１２の頻出パターン「冬、夕方、売れない」に対する値は「冬、夕方、売れない」である。分岐ノードＢ１は、値が「冬、夕方、売れない」である場合の伝播先に分岐ノードＢ２を指定し、値が「売れない」である場合の伝播先にリーフノードＥ３を指定する。テキストデータｔ１２の値は、これらの双方を満足させるので、テキストデータｔ１２は確信度「０．５」で分岐ノードＢ２に伝播するとともに、確信度「０．５」でリーフノードＥ３に伝播する。
【０１１０】
分岐ノードＢ２では、対応する頻出パターンは「牛乳、売れる」であり、テキストデータｔ１２の頻出パターン「牛乳、売れる」に対する値は「Ｎ３」であるので、確信度「０．５」を有するテキストデータｔ１２は、リーフノードＥ２に伝播する。
【０１１１】
このテキストデータｔ１２の分類では、最終的にリーフノードＥ２に確信度「０．５」で伝播するとともに、リーフノードＥ３に確信度「０．５」で伝播した。リーフノードＥ２，Ｅ３は、ともにクラス「無視」に対応する。したがって、クラスごとの確信度の合計は「無視」クラスで確信度「１．０」となり、テキストデータｔ１２は「無視」クラスに分類する。
【０１１２】
テキストデータｔ１１，ｔ１２の分類結果を図１３に示す。同図に示した新規クラスデータ群３９では、テキストデータｔ１１，ｔ１２のそれぞれについて、分類したクラスと、分類の根拠となるルールが示されている。新規テキストデータ群２３をデータベース３内のテキストデータ群２１に追加する場合に、クラスデータ群２２に新規クラスデータ群３９の内容を加えることで、テキストデータの追加時に自動的に分類をおこなうことが可能となる。
【０１１３】
なお、新規クラスデータ群３９では、分類の根拠となるルールを示しているが、このルールは、必ずしもクラスデータ群２２に反映させる必要はなく、分類結果であるクラスのみをクラスデータ群２２に反映させてもよい。
【０１１４】
つぎに、分類処理部１４の処理手順について説明する。図１４は、図１に示した分類処理部１４の処理手順を示すフローチャートである。同図に示すように、分類処理部１４は、まず、端末５から新規テキストデータ群２３を受信する（ステップＳ３０１）。つぎに、受信した新規テキストデータのうち、最初のテキストデータを処理対象に設定し、テキストデータの形態素解析を実行する（ステップＳ３０２）。
【０１１５】
その後、形態素分析の結果と、頻出パターンとを用いて処理対象である新規テキストデータの特徴パターンを抽出する（ステップＳ３０３）。分類処理部１４は、この特徴パターンと、分類ルールとを用いて処理対象であるテキストデータの分類をおこなう（ステップＳ３０４）。この分類処理の後、まだ分類が終了していない新規テキストデータが存在するならば（ステップＳ３０５，Ｎｏ）分類処理部１４は、つぎの新規テキストデータを処理対象に設定し（ステップＳ３０７）、再度ステップＳ３０２に移行する。
【０１１６】
一方、ステップＳ３０４の分類処理によって、全ての新規テキストデータの分類が終了したならば（ステップＳ３０５，Ｙｅｓ）、分類処理部１４は分類結果をデータベース３に出力し、処理を終了する。
【０１１７】
上述してきたように、本実施の形態では、複数のテキストデータにおいて繰り返し出現する単語の組み合わせを頻出パターンとして検出し、検出した頻出パターンを属性として各テキストデータの特徴パターンを抽出し、特徴パターンを用いて分類ルールを作成するようにしている。したがって、あらかじめ単語辞書を設定することなく、テキストデータから検出した頻出パターンを用いて分類ルールを作成することができるので、分類ルール作成の労力を大きく軽減し、分類ルールを自動作成することができる。
【０１１８】
また、テキストデータから頻出パターンを生成することで、テキストデータの内容に沿った単語の組み合わせを使用してテキストデータの特徴付けをおこなうことができ、あらかじめ単語やパターンを設定する方式に比して高い分類精度を有する分類ルールを得ることができる。さらに、テキストデータを分類した場合に、分類の根拠となる分類ルールを提示することができる。
【０１１９】
さらに、複数の単語の組み合わせをノードに割り当てるので、テキストデータを少ない階層数で分類可能な分類ルールを作成することができる。このように分類ルールの階層数を減少させることで、分類に要する処理数が減少し、分類処理の効率を向上し、高速な分類が実現できる。
【０１２０】
なお、本実施の形態では、テキストデータを「注目」、「普通」、「無視」のいずれかのクラスに分類する分類ルールを作成する場合について説明したが、本発明の利用はこれに限定するものではなく、任意のクラス分けについて用いることができる。また、分類するクラスは、一種類に限るものではなく、複数のクラスを任意に切り替えて用いるようにしてもよい。例えば、同一のテキストデータに対して、クラスＡ，Ｂ，Ｃ，Ｄのいずれかに分類する分類ルールと、クラスα，β，γのいずれかに分類する分類ルールとを作成しておき、どちらの分類を行うかを選択することができる。
【０１２１】
また、テキストデータの分類に際しては、複数のクラスにまたがって分類可能としてもよい。例えば、テキストデータをクラスＡ，Ｂ，Ｃに分類する場合に、「確信度０．６でクラスＢ、確信度０．４でクラスＣ」のような出力をおこなうことができる。
【０１２２】
さらに、本実施の形態では、テキストデータから頻出パターンを検出する場合に、単語を基準に検出していたが、同義語を格納した辞書を参照することで、同一の意味を持つ表現をまとめて単位として用いてもよい。たとえば、「夜」と「宵」などのように単語自体は異なるが、意味が同一である場合、この２つの単語を同一の意味として取り扱うことができる。
【０１２３】
また、本実施の形態では、テキストデータ中における出現頻度によって頻出パターンを決定していたが、この頻出パターンの決定には任意の評価方法を用いることができる。この評価方法としては、例えばｔｆｉｄｆ値（櫻井茂明、酢山明弘、布目光生著「キー概念辞書を利用しない構造抽出ルールの学習」第１８回ファジィシステムシンポジウム、ｐ．８１−８４（２００２年））などを用いればよい。
【０１２４】
さらに、本実施の形態では、頻出パターンを属性とし、頻出パターンに含まれる単語の部分集合を属性値としているが、属性値の決定方法はこれに限るものではなく、たとえば頻出パターンとテキストに含まれるパターンとの類似度を算出し、算出結果を属性値としてもよい。
【０１２５】
ところで、本実施の形態では、分類ルールの作成に特に適し、かつ新規のテキストデータの分類処理を実行可能なテキスト分類装置について説明したが、本発明の実施はこれに限定されるものではない。たとえば、分類処理部をもたず、分類ルールの作成に特化した装置を構築してもよいし、また、テキスト分類装置の各部をソフトウェアによって実現したテキスト分類ルール作成プログラムとして実施しても良い。
【０１２６】
また、テキスト分類装置は、必ずしもネットワーク接続を要するものではなく、スタンドアローンの装置としても良いし、データベースと一体化した構成としても良い。
【０１２７】
【発明の効果】
以上説明したように、請求項１の発明によれば、テキスト分類ルール作成装置は、あらかじめ複数のクラスに分類された分類済みテキストデータに頻出する単語やその組み合わせを検出し、検出した単語および単語の組み合わせを用いて分類済みテキストデータの特徴を抽出して特徴パターンを生成し、生成した特徴パターンからテキストデータの分類に用いる分類ルールを生成することができるので、分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成可能なテキスト分類ルール作成装置を提供することができるという効果を奏する。
【０１２８】
また、請求項２の発明によれば、テキスト分類ルール作成装置は、分類済みテキストデータに出現する単語について、その出現回数に対応した１単語パターンを作成し、また、分類済みテキストデータに出現する単語の組み合わせについて、その出現回数に対応した組み合わせ単語パターンを作成し、１単語パターンと組み合わせパターンとを用い分類済みテキストデータの特徴パターンを生成することができるので、分類済みテキストデータの内容に沿った単語を用い、分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成可能なテキスト分類ルール作成装置を提供することができるという効果を奏する。
【０１２９】
また、請求項３の発明によれば、テキスト分類ルール作成装置は、同一のテキストデータに同時に出現する２単語の組み合わせを２単語パターンとして作成し、同一のテキストデータに同時に出現する３単語の組み合わせを３単語パターンとして作成し、２単語パターンと３単語パターンとを組み合わせパターンとして使用して分類済みテキストデータの特徴パターンを作成するので、簡易な構成で分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成するテキスト分類ルール作成装置を提供することができるという効果を奏する。
【０１３０】
また、請求項４の発明によれば、テキスト分類ルール作成装置は、分類済みテキストデータに出現する回数が所定の閾値以上である頻出単語および頻出組み合わせを抽出し、抽出した頻出単語および頻出組み合わせのうち、他の頻出組み合わせの部分集合であるものを除外した頻出パターンを生成し、生成した頻出パターンを用いて分類済みテキストデータの特徴パターンを生成するので、頻出パターン数を最適化し、分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成するテキスト分類ルール作成装置を提供することができるという効果を奏する。
【０１３１】
また、請求項５の発明によれば、テキスト分類ルール作成装置は、頻出パターンと分類済みテキストデータとの両方に含まれる頻出単語または頻出組み合わせをデータとして有するテーブルを特徴パターンとして生成するので、テキストデータの内容に沿った特徴づけを実現し、分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成するテキスト分類ルール作成装置を提供することができるという効果を奏する。
【０１３２】
また、請求項６の発明によれば、テキスト分類ルール作成装置は、分類済みテキストデータを形態素解析し、形態素解析結果を頻出パターンの作成および特徴パターンの作成に用いるので、テキストデータから高精度で単語を検出し、分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成するテキスト分類ルール作成装置を提供することができるという効果を奏する。
【０１３３】
また、請求項７の発明によれば、テキスト分類ルール作成装置は、分類済みテキストデータから作成した特徴パターンを用いた分類ルールを作成し、作成した分類ルールによって新規のテキストデータを分類するので、分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成し、作成した分類ルールによってテキストデータを分類可能なテキスト分類ルール作成装置を提供することができるという効果を奏する。
【０１３４】
また、請求項８の発明によれば、テキスト分類ルール作成方法は、あらかじめ複数のクラスに分類された分類済みテキストデータに頻出する単語やその組み合わせを検出し、検出した単語および単語の組み合わせを用いて分類済みテキストデータの特徴を抽出して特徴パターンを生成し、生成した特徴パターンからテキストデータの分類に用いる分類ルールを生成することができるので、分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成するテキスト分類ルール作成方法を提供することができるという効果を奏する。
【０１３５】
また、請求項９の発明によれば、テキスト分類ルール作成方法は、分類済みテキストデータに出現する単語について、その出現回数に対応した１単語パターンを作成し、また、分類済みテキストデータに出現する単語の組み合わせについて、その出現回数に対応した組み合わせ単語パターンを作成し、１単語パターンと組み合わせパターンとを用い分類済みテキストデータの特徴パターンを生成することができるので、分類済みテキストデータの内容に沿った単語を用い、分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成するテキスト分類ルール作成方法を提供することができるという効果を奏する。
【０１３６】
また、請求項１０の発明によれば、テキスト分類ルール作成方法は、頻出パターンと分類済みテキストデータとの両方に含まれる頻出単語または頻出組み合わせをデータとして有するテーブルを特徴パターンとして生成するので、テキストデータの内容に沿った特徴づけを実現し、分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成するテキスト分類ルール作成方法を提供することができるという効果を奏する。
【０１３７】
また、請求項１１の発明によれば、テキスト分類ルール作成プログラムは、あらかじめ複数のクラスに分類された分類済みテキストデータに頻出する単語やその組み合わせを検出し、検出した単語および単語の組み合わせを用いて分類済みテキストデータの特徴を抽出して特徴パターンを生成し、生成した特徴パターンからテキストデータの分類に用いる分類ルールを生成することができるので、分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成可能なテキスト分類ルール作成プログラムを提供することができるという効果を奏する。
【０１３８】
また、請求項１２の発明によれば、テキスト分類ルール作成プログラムは、分類済みテキストデータに出現する単語について、その出現回数に対応した１単語パターンを作成し、また、分類済みテキストデータに出現する単語の組み合わせについて、その出現回数に対応した組み合わせ単語パターンを作成し、１単語パターンと組み合わせパターンとを用い分類済みテキストデータの特徴パターンを生成することができるので、分類済みテキストデータの内容に沿った単語を用い、分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成可能なテキスト分類ルール作成プログラムを提供することができるという効果を奏する。
【０１３９】
また、請求項１３の発明によれば、テキスト分類ルール作成プログラムは、頻出パターンと分類済みテキストデータとの両方に含まれる頻出単語または頻出組み合わせをデータとして有するテーブルを特徴パターンとして生成するので、テキストデータの内容に沿った特徴づけを実現し、分類精度の低下を招くことなくノードの階層を減らして分類ルールを自動作成可能なテキスト分類ルール作成プログラムを提供することができるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態にかかるテキスト分類装置の概要構成を説明する説明図である。
【図２】図１に示したデータベースが記憶するテキストデータ群２１およびクラスデータ群２２の具体例を説明する図である。
【図３】図１に示した形態素解析部の動作を説明する説明図である。
【図４】図１に示した頻出パターン検出部による頻出パターン作成の具体例を示す図である。
【図５】図１に示した特徴パターン抽出部によるテキストデータの特徴パターン抽出について説明する図である。
【図６】図１に示したツリー作成部が作成した分類ルール４０を示す図である。
【図７】図１に示した分類ルール作成部の処理手順を示すフローチャートである。
【図８】図７のステップＳ１０５に示した頻出パターン検出の実行手順をさらに詳細に示すフローチャートである。
【図９】図１に示した端末からネットワークを介して入力された新規テキストデータ群の形態素解析を説明する図である。
【図１０】新規テキストデータに対応する特徴パターンを示す図である。
【図１１】図９に示したテキストデータｔ１１の分類を説明する説明図である。
【図１２】図９に示したテキストデータｔ１２の分類を説明する説明図である。
【図１３】図９に示したテキストデータｔ１１，ｔ１２の分類結果を示す図である。
【図１４】図１に示した分類処理部の処理手順を示すフローチャートである。
【符号の説明】
１    テキスト分類装置
２    ＤＢＭＳ
３    データベース
４    ネットワーク
５    端末
１１    記憶部
１２    インターフェース部
１３    制御部
１４    分類処理部
１５    分類ルール作成部
１５ａ  形態素解析部
１５ｂ  頻出パターン検出部
１５ｃ  特徴パターン抽出部
１５ｄ  ツリー作成部
２１    テキストデータ群
２２    クラスデータ群
２３    新規テキストデータ群
３１    単語データ群
３２    １単語パターン
３３    ２単語パターン
３４    ３単語パターン
３５    頻出パターン群
３６    特徴パターン群
３７    単語データ群
４０    分類ルール
ｔ１〜ｔ１２  テキストデータ
Ｂ１〜Ｂ４    分岐ノード
Ｅ１〜Ｅ６    リーフノード
【図１】
2004240517.tif 000003
【図２】
2004240517.tif 000004
【図３】
2004240517.tif 000005
【図４】
2004240517.tif 000006
【図５】
2004240517.tif 000007
【図６】
2004240517.tif 000008
【図７】
2004240517.tif 000009
【図８】
2004240517.tif 000010
【図９】
2004240517.tif 000011
【図１０】
2004240517.tif 000012
【図１１】
2004240517.tif 000013
【図１２】
2004240517.tif 000014
【図１３】
2004240517.tif 000015
【図１４】
2004240517.tif 000016