(57)【要約】【課題】本発明は、膨大な一般的な情報、及び特定分野の文章から意味のある情報を抽出し分類するデータマイニング、及びテキストマイニングの方法、装置、媒体、および、それらを用いた情報提供システムを提供する。【解決手段】本発明は、データマイニングとテキストマイニングに関し、特に、学習時に、データ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)を構築し、モデル分割時に、その決定木T(i)のパス（始点終点間）部分集合に乗る第１観測集合C(i)と乗らない補集合IC(i)の第２観測集合とに分類し、前記第１または第２の観測集合を抽出することを特徴とする知識抽出方法、装置または媒体に関する。また、本発明は、D(i+1)=IC(i)として、i=0,1,…,p-1と繰り返し、p-1回目に得られた補集合IC(p-1)を第２観測集合とするように反復して決定木集合[T(0),T(1),…,T(p-1)]を生成する反復決定木分割手段を有する。そして、本発明は、前記決定木T(i)に対応するパスのif-thenルールを計算機言語に変換するプログラム自動変換手段をも有する。【選択図】図１５
2005078240.tif 000002
【特許請求の範囲】
【請求項１】
特定分野におけるテキスト情報の形態素属性を抽出し記憶する属性情報生成手段と、不要な情報を除去し重要な用語を選別してルールモデル（決定木）を生成するための入力属性とし、前記の各用語の重要度を連続入力属性値としてルールモデル（決定木）を生成するデータマイニング手段を有することを特徴とする知識抽出方法。
【請求項２】
学習時に、データ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)を構築し、モデル分割時に、前記決定木T(i)のパス部分集合に乗る第１観測集合C(i)と乗らない補集合IC(i)とに分類することを特徴とする知識抽出方法。
【請求項３】
学習時に、データ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)を構築し、モデル分割時に、前記決定木T(i)のパス部分集合に乗る第１観測変数集合C(i)と乗らない補集合IC(i)とに分類し、D(i+1)=IC(i)として、i=0,1,…,p-1と繰り返し、p-1回目に得られた補集合IC(p-1)を第２観測変数集合とするように反復して決定木集合[T(0),T(1),…,T(p-1)]を生成する反復決定木分割手段を少なくとも有することを特徴とする知識抽出方法。
【請求項４】
学習時に、データ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)を構築し、前記決定木T(i)に対応するパスのif-thenルールを計算機言語に変換するプログラム自動変換手段と、前記プログラムに出力属性のわからないデータ集合の入力属性集合を入力して、前記決定木T(i)にある出力属性に分類されるか調べ、さらにその出力属性に至るのに用いられたパスの情報を抽出する予測分類手段を有することを特徴とする請求項１〜３のいずれか一項にかかる知識抽出方法。
【請求項５】
学習時にデータ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)に対応する情報をデータベースとして記憶する記憶手段と、顧客から与えられた新規のデータ集合D'(i)に対して前記決定木T(i)のパス部分集合に乗る第１観測変数集合C(i)と乗らない補集合IC(i)とに分類する処理手段と、顧客から与えられた新規のデータ集合D'(i)を受信し、前記処理手段によって少なくとも得られた分類結果R(i)を前記顧客のクライアントに返信する通信手段とを有することを特徴とする請求項１〜４のいずれか一項にかかる情報提供システム。
【請求項６】
前記データ集合は、特許情報であることを特徴とする請求項１〜５のいずれか一項にかかることを特徴とするデータマイニングによる知識抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
近年、ビジネス分野では、顧客に対するマーケティング戦略のプログラム技術、インターネットに代表される通信技術（IT）と融合したデータベース技術により、情報主導のマーケティング・プロセスの使用が増大してきている。そして、情報通信技術の発展によって、膨大な量の情報が収集・蓄積されるまでにデータベースの規模が大型化してきた。しかしながら、このようなデータベースから各個人や企業が重要とする情報だけを抽出する方法が確立していないのが現状である。すなわち、従来のデータベース技術はデータを蓄積することにおいては効率的であっても、有用な情報だけを抽出するにはかならずしも効率的であるとは言えない。それほど、ネットワークとパーソナルコンピュータの使用が拡大し、情報分析する能力を越える速さでたくさんの情報が生成されてきた。このような問題に対処するために、データベースにおけるデータマイニング(情報の発掘)の開発が盛んになってきた。データマイニングは、大規模データベースから活用できる情報を抽出し、その情報を用いて重要なビジネス上の意志決定を行うプロセスで、観測されるデータ集合から意味のある行動パターンや関連ルールを掘り出す情報分析システムである。データマイニングは、顧客を対象とするマーケティング、製造、金融、あるいは環境、医用などの分野で観測される実験データの膨大なデータ集合を分類することにより、データベース内に含まれている行動パターンや関連ルールから重要な情報を予測し、その因果関係を抽出することが主たる目的となる。一般的なデータマイニングの実行プロセスを図１に示す。顧客から集められたデータ集合は、情報データベース１０に格納され、その後、不要なデータが削除され、選択されたデータがさらに専門家によって選別される。選別されたデータ集合に対して前処理され、前処理データ１１となってデータベースに格納される。さらに、データマイニングに入力されるファイル（例えば、File.all(全データ集合)、File.data（決定木生成用学習データ集合）,File.test（決定木評価用データ集合など））に変換され変換済みデータ１２が生成される。データ集合は、各レコードごとに観測変数(項目)群を有し、レコード集合が顧客情報、取引情報などのデータ情報となる。そして、情報抽出部１３においてデータマイニングが実行され、情報の分析と理解の後処理が行われる。一般的には、以上の過程が繰り返される。データマイニングの目的は、単なる統計解析と異なり、種々の観測変数の入出力関係、すなわち、観測変数群に対する制約条件を満足する関連ルールを生成することである。また、その目的は、情報に表現される行動空間のトレンド(傾向)を抽出することを目指し、情報から人間行動を読みとる文化系研究の知見と、インターネットやデータベースなどから収集される大規模な情報を分析するという工学的研究の知見の融合化を図ることでもある。
【０００２】
例えば、情報分野では、IT技術の発達により、記憶装置の大容量化、コンピュータ・ネットワークの高速化が進み、画像や音声を含む電子情報などの容量の大きなデータを扱うことが可能となってきた。
従来、良く知られた方法の一つに、決定木(decision tree)による演繹的データマイニング法がある。演繹的データマイニング法は、ある分類Cの標準観測変数集合の関連ルールを発見するために、標準観測変数集合の例題(サンプル)による学習を行わず、まず、データベースのレコード群を複数回参照し、その分類Cに属するための制約条件を満足する部分集合を全体集合から抽出し、次に、その部分集合に対する関連ルールを決定木として生成する。この演繹法の欠点は、データベースの規模が大きくなるとともに、検索対象の項目数、関連ルール共に増加し、大量の関連情報が残されてしまうことである。
【０００３】
演繹的データマイニング法の欠点を回避するために、帰納的データマイニング法が最近注目されている。この方式は、データベースから標準観測変数集合の次元の小さな部分集合をランダムに取り上げ、これを用いて、その関連ルールが全データベースに対して成り立つという仮定の下で完全な関連ルールと標準観測変数集合を決定し、その結果をデータベースの残りについて検証(テスト)あるいは分類予測するものである。この帰納的データマイニング法は、近似的な関連ルールから精度のよい関連ルールを生成して行くので、関連ルールの大きさが比較的小さくなるが、正確な解釈に不利に働く大量の関連ルールを生成してしまう場合もあり、また、観測変数集合の次元が大きくなる場合もある。
【０００４】
実際には、ユーザは、大きな次元の標準観測変数集合の関連ルールよりも、際だって異なる部分集合の関連ルール、たとえば、非標準となる関連ルール(行動パターン)にのみに興味がある場合が多く、従って、帰納的データマイニング法を利用して、正しいその関連ルールを発見し、特異な情報を抽出する新たな抽出法を必要とする。
【０００５】
情報には、部分情報からは全体情報を観察できない一般情報と、ある程度、部分情報から全体情報を観察できる可能性の高い特定情報とがあるが、いずれも、観測されるデータ集合から関連ルール(決定木、因子など)のモデルを学習時に抽出することが重要となる。例えば、診断、処方薬、及び治療に関する詳細なレセプト情報は、患者や医療行為者の行動パターンを内包する医療情報であって、その決定木は、例えば、図２に示すようなものとなる。この情報のデータ集合を分析する場合、行為の短期行動パターンやその時間的な内容の変化、すなわち、時系列データを表現する長期行動パターンを発見する意味的連想検索機構の実現を必要とする。この意味的連想検索機構では、一般情報をメタデータ(意味情報)として表し、行動変化や時間変化するデータ間の意味的な関連ルールを情報全体から生成することが重要となる。
【０００６】
図２において、情報Rから作成されるデータ集合Dの各要素を構成する各観測変数は、データ(グラフG)空間上の点（節点V２０）に相当するものとして設定される。 また、複数の観測変数から構成されるデータは、空間のデータ集合として表現されるが、それらの観測変数の相関関係、すなわち、関連ルールは、制約条件として節点と節点との結合(有向枝E２１)として表現される。従って、情報の問い合わせ(連想、検証、予測分類)は、行動的な変化に対する関連ルールをグラフGとして生成し、その記憶情報に対して実施されるものとする。このように、グラフGとして、根(root)２２から葉(leaf)２３に向かって木(tree)、すなわち、すべての節点を含み、閉路を含まない枝集合と節点集合の階層構造として形成される決定木Tを用いる場合が多い。決定木Tの葉以外の各節点Vには次の節点へ向かう有向枝２１が複数接続し、各観測変数の状態値(重み値)によりその接続する有向枝を選択し、パス(Path)、すなわち、節点間の枝集合を選択することにより、関連ルールの選択を可能とする。  このパスは、必ずとも、根２２から葉２３に至るもの（全パス）に限らず、根や葉を含まない節点間のルール（部分パス）を含む。もし、生成された決定木T上のパス部分集合のどのパスも、観測変数の標準的な集合(標準観測変数集合)の関連ルールに対応するならば、決定木Tの該パス部分集合に乗らない観測変数集合は、決定木Tに対して非標準観測変数集合となる。
【０００７】
本発明は、特定分野を対象とした文章(情報)の部分集合において出現する一個以上の単語からなる用語を形態素解析(属性情報化解析)に基づいて抽出し、さらに学習して分野別辞書を更新するテキストマイニングを利用して、その用語の出現度数を連続型入力属性としてデータ入力することにより前記部分集合の要約に対応するルールモデル(決定木)を可視化できるデータマイニングに関する。さらに、本発明は、観測変数集合に対する学習によって構成された決定木上の頻度依存や情報利得依存などによる部分パスに対応する標準観測変数集合（または、非標準観測変数集合）の抽出によって決定木を分割することにより、ルールモデルを部分決定木として可視化を可能にする帰能的データマイニングに関する。また、本発明は、そのデータマイニングを実行する知識抽出方法、装置、媒体、学習モデルを利用した情報提供システムに関する。
【背景技術】
【０００８】
テキストマイニングは、文書集合Sから用語Ｗ(j)(単語を含む)を辞書D内にある用語と比較しながら抽出する形態素解析を必要とする。また、データマイニングは、与えられた入力属性の集合要素間の関係が出力属性の分類にどのように影響するかを情報量、相関、共分散、頻度、あるいは確率や統計などを使用してルール表現する技術である。テキストマイニングに必要となる形態素解析によって用語が入力属性として与えられるとするならば、テキストマイニングは、データマインニングの一種とも考えられる。テキストマイニングは、一般文章あるいは特定文章から重要語を抽出することを目的とし、用語W(j)の文書集合S内での出現度数(あるいは出現頻度)A(W(j), S)、あるいは、用語W(j)の文書部分集合S(k)内での出現度数A(W(j), S(k))を調べることを基本処理としている。この場合、例えば、「します」などの一般的で出現度数が高い用語は排除するように前処理することの重要性は極めて高いことも知られている。すなわち、用語W(j)が重要語であることの保障が重要であり、出現度数が高い用語が必ずしも重要語であるとは限らない。用語W(j)が重要となるためには、重要語I(W(j))を定義する特徴関数Iを必要とする。そこで、情報検索において重要である単語を選択する方法として、特開2001-67362では、用語W(j)を含む部分文章集合内の単語分布と全文章集合中の単語分布間の距離dに基づく重要度計算方法を提案している。たとえば、用語W(j)を含む部分文章集合内での用語W(j)の出現頻度が高く、平坦的な全文章集合中での用語W(j)の出現頻度が低い場合には、その部分文章集合は、用語W(j)に関する特徴が表現されていることになる。また、「テキストマイニングからの高速データマイニング（人工知能学会誌、2000年7月号）」では、文章中の用語と用語との間にある単語数による距離、すなわち、近接度を導入し、複数の文書集合同士を関係付けている。さらに、特開2001-84250においても、形態素解析から用語を抽出し、用語間にある係り受けの関係を示す構文木(有向グラフ)を構築し、多くの構文木に含まれる頻度パターンにマッチする文書を検索する方法を提案している。例えば、「電源を入れるとフレキシブルディスクを要求する絵が出る。」という文章に対応する構文木は図３に示すようになる。ここで、楕円形の節点３０には、形態素解析により抽出された属性の名前とそれが動詞（Ｖ）３１であるか名詞（Ｎ）３２であるかが示され、節点間を結ぶ有向枝は属性間の係り受け関係を表現している。有向枝の重み値はすべて等しく１となっている。そして、構文木において、節点から節点に至る枝数、すなわち経路(複数ある場合は最短経路)を距離として定義し、ある値以下の距離にある用語間の係り受けを抽出している。すなわち、同じ用語からなる部分構文木を抽出することにより、用語間の共起関係、順序関係に加えて経路探索による係り受けの知識を与えるデータマイニングを提供している。
【特許文献１】特開２００１−６７３６２号公報
【特許文献２】特開２００１−８４２５０号公報
【非特許文献１】人工知能学会誌 ２０００年７月号“テキストマイニングからの高速データマイニング”
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、前述の従来方法では、一般的な文章から重要用語の相互関係を発見するには適しているが、文章全体が何を表現しているのかを一目にわかるように可視化するには、入力属性の数が多すぎるという欠点を有する。すなわち、大規模な文章集合のひとつひとつの文章から形態素を切り出し、テキストマイニングやデータマイニングを用いて有効な知識を抽出しようとしても、可視化に十分なほどの大きさのモデルを構築することに困難さがある。そのため、モデルの構築からルールを発見するには、100個程度の属性を有する文章集合のレコード(文章集合)が1000個以下になるように前処理や分割処理を実行することがデータマイニング手法において求められている。本発明は、特定分野依存文章の特定部分集合(特許文章の場合、要約、請求範囲、実施形態、効果など)に対する形態素解析の結果により抽出される用語集合から選択された重要語の前記部分集合内の度数(整数値)を連続属性の入力属性として与え、連続属性値に対応する離散区間値を重みとする有向グラフ(決定木、因子モデルなど)を可視化することを目的とし、さらに、観測変数集合(形態素解析から得られるものに限らない)に対する学習によって構成された決定木における各パスの使用頻度や各属性の情報利得の大きさなどを利用して、非標準観測変数集合（あるいは、逆に標準観測変数集合）を抽出することにより、決定木を分割し、特異な情報に至るルールを抽出することを目的とする。さらに、抽出されたルール群を用いて自動分類を行うことを目的とする。本発明は、そのような目的を解決する帰能的データマイニングの方法であるが、その方法を含む装置、媒体、および、それらを用いた情報提供システムをも提供する。
【課題を解決するための手段】
【００１０】
本発明は、特定分野を対象とした情報の部分集合において出現する一個以上の単語からなる用語を用語辞書内の用語と比較することにより形態素属性を抽出し記憶する属性情報生成手段と、不要な属性情報を除去することにより学習的に分野別辞書を更新する属性情報更新手段と、選別された各用語の重要度（出現度数）を連続型入力属性としてデータ入力することにより前記部分集合の情報に対応するルールモデル(決定木)を生成するデータマイニング手段を少なくとも有し、部分情報集合が全体情報集合を表現する情報に対して前記ルールモデルを可視化することを特徴とする知識抽出方法、装置、媒体または情報提供システムを提供する。
【００１１】
また、本発明は、学習時に、データ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)を構築し、モデル分割時に、その決定木T(i)のパス部分集合（例えば、パスの使用頻度や属性の情報利得などによって生成される）に乗る第１観測変数集合C(i)と乗らない補集合IC(i)とに分類し、前記補集合に対応する第２観測変数集合C(i)を少なくとも可視化することを特徴とする知識抽出方法、装置または媒体または情報提供システムを提供する。
【００１２】
また、本発明は、学習時に、データ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)を構築し、モデル分割時に,その決定木T(i)の前記パス部分集合に乗る第１観測変数集合C(i)と乗らない補集合IC(i)とに分類し、D(i+1)=IC(i)として、i=0,1,…,p-1と繰り返し、p-1回目に得られた補集合IC(p-1)を第２観測変数集合とするように反復して決定木集合[T(0),T(1),…,T(p-1)]を生成する反復情報抽出手段を少なくとも提供する。そして、本発明は、前記決定木T(i)に対応するパス集合（または、パス部分集合）のif-thenルールを計算機言語に変換するプログラム自動変換手段と、前記プログラムに出力属性のわからないデータ集合の入力属性集合を入力して前記決定木にある出力属性に至るパスに乗るかどうかを調べ、パス情報を抽出する予測分類手段を有する。さらに、本発明は、学習時にデータ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)に対応する情報をデータベースとして記憶する記憶手段と、顧客から与えられた新規のデータ集合D'(i)に対して前記決定木T(i)の前記パス部分集合に乗る第１観測変数集合C(i)と乗らない補集合IC(i)とに分類する処理手段と、顧客から与えられた新規のデータ集合D'(i)を受信し前記処理手段によって少なくとも分類結果R(i)を前記顧客のクライアントに返信する通信手段とを有する情報提供システムをも提供する。
【発明の効果】
【００１３】
本発明は、データマイニングとテキストマイニングに関し、特に、学習時に、データ集合から選択された学習観測変数集合を使ってルールモデルを表現する決定木を構築し、モデル分割時に、その決定木のパス部分集合を通る第１観測変数集合と通らない補集合とに分類する。さらに、それら一連の流れを反復することにより、大規模なデータ集合から求められる決定木を可視化可能な大きさに分割することを可能にし、分割された情報から新たな知識の発見を可能にする。さらに、本発明は、前記決定木に対応するパス部分集合のif-thenルールを計算機言語に変換する自動変換プログラムにより、対象とするデータ群に対する専門的な知識を有しない利用者であっても、分類先の不明なレコード集合を前記プログラムに入力することによってパス情報を抽出し、そのデータ群の自動分類や新たな知識を発見することを可能とする。
【００１４】
一般情報は特定情報の集合とも考えられる。特定情報としては、特定分野依存文章などがある。例えば、特許明細書や論文のような分野特定部分集合（特許文章の場合、要約、請求範囲、実施形態、効果など）は部分が全体を表現している情報で、部分集合のみによるデータマイニングを用いることによって、かなりの意味ある情報を抽出することが可能となる。
【００１５】
特許情報のデータ集合を対象とする情報分析では、前記の方式を用いることにより、発明者の思考方向パターンや各企業の戦略パターンの内容(非時系列データ)やその時間的な変化(時系列データ)から、パターンを関連ルールとして表現するモデル構造を学習時に生成し、非学習の特許情報がその関連ルールと比較されることになる。このことによって、あいまいな意味的連想検索や分類が自動的に実行される。そして、そこから導き出された個人や企業の戦略、思考あるいは行動パターンの変化あるいはその時系列的な変化を推測できることになる。
【００１６】
本発明を、特に特許情報について適用すれば、各種の特許公報や抄録、明細書、手続書類などの特許情報に含まれる用語や言葉の間の関連ルールに基づいて、部分集合のみのデータマイニングであっても意味ある情報を抽出することが可能になり、自動検索や選別、特許マップの作成などを可能にし、特許情報の活用を一段と便利にするという特別な効果がある。
【発明を実施するための最良の形態】
【００１７】
次に本発明について発明を実施するための最良の形態を示す図面を用いて説明する。一般に、機械学習システム、すなわち、データマイニングは、学習データ（File.data）を用いてモデルの構築を行い、出来上がったモデル(決定木、因子モデル、ニューラルネットなど)にテストデータ(File.test)を通してそのモデルの評価(テスト)を実行する。このとき、観測変数集合はデータ行列(データ集合)で表現され、行にレコード集合、列には入力属性と分類を表現する出力属性(例えば、Yes, No)から成る。図４に示すように、属性データには、大きく分けて連続属性４０と離散属性４１がある。連続属性は、区間変数（ａからｂを［ａ，ｂ］と表す）４２として扱われる。属性間はカンマで区切られたものが多く、データ行列は、エクセルなどによってセル集合のファイルで与えられる場合が多い。また、属性とその属性意味を対応させるFile.namesを入力し、モデル(有向グラフ)の節点内にその属性意味が挿入されるように可視化される。各属性として、連続属性と離散属性の2種類のどちらを選択するかは、意味情報の抽出や可視化にかなり影響を与える。
【００１８】
C4.5(Quinlan,J.R.(1993))は、決定木の根(root)から葉(leaf)に向かって構成するTop-down方式である。一般的なC4.5アルゴリズムの概要を簡単に説明し、連続属性の扱いについて述べる。入力属性数がA、出力属性数(クラス数)がCであるようなデータ集合Dについて考えてみる。このデータ集合が持つ情報量は、(1)式で表される。
【００１９】
【数１】
2005078240.tif 000003
【００２０】
ここで、ｐ（Ｄ，ｊ）はクラスによって分けられるデータの全体に占める割合である。次に、Information Gain(情報利得)と呼ばれる基準を用いて、各属性で分割された場合の情報の利得量を計算する。データが綺麗に分割されれば情報利得は大きくなり、逆に細かく分割されてしまった場合には情報利得は小さくなる。
【００２１】
【数２】
2005078240.tif 000004
【００２２】
ここで、kは属性Ａiによってデータがいくつに分割されるかを表す。また、Ｄj                                                                                         はＤの分割された部分集合を表す。
次に、(2)式で計算された値を(3)式で示されるSplit Informationを用いて規格化する。規格化された情報利得はGain Ratioと呼ばれ、（４）式で表現される。
【００２３】
【数３】
2005078240.tif 000005
【００２４】
【数４】
2005078240.tif 000006
【００２５】
算出された各々の属性のGain Ratio の中で、最も利得が高かったものをデータの分割に使用する属性とする。分割を行ったら、分割されたデータについて同様の操作を行い、分割終了の判断基準を満たすまで分割を繰り返す。Ｃ４．５は、処理するデータが離散値であることを前提としたアルゴリズムである。属性Ａiが連続属性である場合は、これを離散属性に変換する必要がある。Ａiが重複した値を除いてN個の異なる値を持つ場合、その閾値としてN-1個の候補がある。閾値tは｛Ａi：ａ1，ａ2，・・・， ａN｝において、(5)式で表される。
【００２６】
【数５】
2005078240.tif 000007
【００２７】
この閾値tによって、連続属性をupperとlowerの２値の離散属性に分ける。この操作をN-1個の各々の候補について行い、これらのGain Ratioを求めて、最も利得が大きかった閾値を採用する。先に述べたように、連続属性においてデータの分割を行う場合、データ集合Ｄは閾値tによってupperとlowerの２種類の部分集合Ｄ1，Ｄ2に分けられる。この時、各々の部分集合に含まれるデータの量が等しくなる事が望ましい。逆に、どちらかの部分集合にデータが偏ってしまう状態は望ましく無く、決定木全体の精度を落とす事につながる。しかしながら、連続属性のGain Ratio は大きくなる傾向があり、不適切な属性であっても分割に使用する属性として採用されてしまう事がある。こういった状況を避ける為に、連続属性の離散変換にかかったコスト分を利得から引いて、適正な利得を算出する。コストは(6)式で表される。
【００２８】
【数６】
2005078240.tif 000008
【００２９】
このコスト分を(2)式のInformation Gain から引いて、これを基にしてGain Ratio を算出する。従って、連続属性のGain Ratio は(7)式で表される。
【００３０】
【数７】
2005078240.tif 000009
【００３１】
(7)式で表されるGain Ratio を用いる事により、不正な連続属性が分割に影響を与えてしまうのをある程度防ぐ事が出来る。本発明では、規格された情報利得の大きな属性関係の部分集合、すなわち、パス部分集合の削除を反復することにより、決定木の分割を実施する反復抽出法を提供する。
【００３２】
次に、Bottom-up決定木方式について、簡単のために、排他的論理和関数ｆ に対応する決定木を構築するHOODG（Ronny  Kohavi  １９９４）アルゴリズムについて述べる。排他的論理和関数ｆ は、データマイニングでは当然未知であるがν1，ν2，ν3，ν4の中で、ν3を除いて考えたときに、関数ｆ が０、即ち１の数が偶数であるクラスをＣ0で与え、関数ｆ が１、即ち１の数が奇数となるクラスをＣ1とする。観測変数の順序には依存しないが、ここでは観測変数の順序をν1，ν2，ν3，ν4で与えておく。この時、学習時のクラスタリングは以下のようになる。
【００３３】
【数８】
2005078240.tif 000010
【００３４】
例えば、1101と1111は、ν3が０であっても１であっても、それを除く１の数は奇数であるから、Ｃ1に属することになる。  学習時にはクラスＣ0とＣ1にクラスタリングされるように、観測変数集合のみから決定木を構築する事になる。HOODGでは決定木の最下位層の葉ノードからBottom-upに枝集合を決定していくモデルである。すなわち、図５に示すように、ν4が最下位層の葉５０の上の節点５１となり、ν4を取り除いた時の、Ｃ0とＣ1から要素集合がすべて異なるように連結集合χ’を形成する。すなわち、χ’は次のようになる。
【００３５】
【数９】
2005078240.tif 000011
【００３６】
Ｃ0に属する0111とＣ1に属する0110はν4を除くと、同じ要素となり、χ’に表される。一般的には、このχ’の生成は次式で表現される。
【００３７】
【数１０】
2005078240.tif 000012
【００３８】
ここでｋはクラスタの数であって、この場合ｋ＝２である。また表現π（ν1，・・・，νi-1，νi+1，・・・，νn）は観測変数集合｛ν1，・・・，νi-1，νi，νi+1，・・・，νn｝からνi（この場合ν4）を取り除くことを意味する。表現∪Ｃiは、連結集合を表し、この場合ｋ＝２であるから
【００３９】
【数１１】
2005078240.tif 000013
【００４０】
となる。
例えば、χ’集合の３ビットからなる各要素に、取り除かれたν４を0とするとＣ０に、１とするとＣ１となるものとしてＣ０１を生成する。同様に取り除かれたν４を０とするとＣ１に、１とするとＣ０となるものとしてＣ１０を生成する。
【００４１】
【数１２】
2005078240.tif 000014
【００４２】
χ’集合の要素の１１１に０を入れるとＣ0となり、１を入れるとＣ1となるため、Ｃ01に格納される。この時決定木の枝は、図５に示すように、ν4を０とするとＣ0（最下位層の左の葉）に重み０の有向枝５２を生成し、1とするとＣ1（最下位層の右の葉）に重み１の有向枝５４を生成する。同様にν4を１とするとＣ0（最下位層の左の葉）に重み１の有向枝５３を生成し、０とするとＣ1（最下位層の右の葉）に重み0の有向枝５５を生成する。次に、ν3を取り除いた時の、Ｃ01とＣ10から要素集合がすべて異なるように連結集合χ’を形成する。即ちχ’は次のようになる。
【００４３】
【数１３】
2005078240.tif 000015
【００４４】
χ’集合の２ビットからなる各要素に、取り除かれた定数節点に、ν3を０とするとＣ01に、１としてもＣ01となるものとしてＣ00を生成する。同様に取り除かれたν3を０とするとＣ10に、1としてもＣ10となるものとしてＣ11を生成する。
【００４５】
【数１４】
2005078240.tif 000016
【００４６】
この時決定木の枝は、ν3を0としても１としてもＣ01（最下位層の一段上の層の左の節点ν4）に重み０と１の有向枝を生成し、またν3を０としても１としてもＣ10 (最下位層の一段上の層の右の節点ν4)に重み０と１の有向枝が生成される。結果としてこの段階でν3が定数節点(constant node)６０であることが結果として図６に示すように自動的に見いだされる。以上の動作をν2，ν1に対しても繰り返すこととなる。最終的に図７に示す決定木が完成する。本発明では、頻度依存のパス部分集合の削除を反復することにより、決定木の分割を実施する反復抽出法を提供する。
【００４７】
本発明は、属性Ａiが離散属性であるけれども、これを連続属性として扱うことによる小さなモデル化、データマイニングとテキストマイニングとの結合化、モデルの部分集合化、そして自動分類化に関する方法、装置、媒体、情報提供システムを提供する。本発明のデータマイニング処理は、図８に示すハードウェア構成を用いて行う。図８ には、データマイニング・プログラムを実行するための中央演算処理装置（ＣＰＵ）８０、メモリ８１、ハードディスク８２、ディスプレイ８３、入力装置８４、入れ替え可能な外部記憶装置８５を含む。以下の実施例で説明する本発明のデータマイニングやテキストマイニングのプログラムの実行は、中央演算処理装置（ＣＰＵ）８０によって行われ、そのプログラムの実行形式の命令やデータは主記憶であるメモリ８１に格納され、入力装置８４や入れ替え可能な外部記憶装置８５から入力された入力情報や、そのプログラムによって実行された結果の出力情報はハードディスク８２、または、入れ替え可能な外部記憶装置８５に入力される媒体にファイルとして格納される。出力情報の一部は、ディスプレイ８３に表示される。特に、本発明の以下の実施例で説明される可視化可能な決定木の生成結果はディスプレイ８３に出力される。以下の実施例は、図８のハードウェア構成で実行されるプログラムを用いて知識抽出を行う過程である。
【実施例１】
【００４８】
本発明の第1の実施例として、「特許明細書」の「要約」部分に対して処理される図９のフローチャートによる本発明の新しいテキスト・データマイニング方法を説明する。
第１段階として、各特許明細書の「要約」、すなわち文章の部分集合を、図8のハードウェア装置内のCPU８０とメモリ８１による形態素解析部９０に入力し、図9に示した形態素解析プログラム（装置）の流れに沿って形態素解析を行う。例えば、要約文として、「情報を解析する上で、コスト削減を成し得るデータマイニングの構築法を提供する。」という内容９１について1度目の形態素解析プログラム９２を実行すると、一般的な辞書（同義語辞書）９３内にある用語と比較することになるので、情報｜解析｜上｜コスト｜削減｜データ｜マイ｜ニング｜システム｜構築｜法｜提供｜と形態素９４に分解される。本発明では、特定分野を対象とした文章の部分集合（要約文）において出現する一個以上の単語からなる用語を形態素解析に基づいて抽出し、さらに学習して分野別辞書を更新するテキストマイニングを利用するので、図９に示すように、更新された辞書９６、すなわち、分野別辞書による２度目（以降）の形態素解析プログラム９５により、出力される形態素は、情報｜解析｜コスト削減｜データマイニングシステム｜構築法｜と重要名詞のみによる形態素９７に分解される。
【００４９】
第2段階として、図１０（テキスト・データマイニングの流れ）のテキスト・マイニング処理１００内の入力用単語抽出プログラム（処理）１０１においては、図１０のフローチャートの流れに沿って、データマイニングプログラム（処理）１０２に入力するための単語群Aを抽出する。そして、該データマイニング処理部１０２では、決定木生成部１０３によって生成された決定木にあるパス部分集合に対応するルールを計算機言語に自動変換するために、前記決定木を分類プログラム自動生成部１０４に入力する。図１１は、図１０内の入力用単語群抽出部１０１であって、特に、単語使用頻度に基づいて用語または単語を抽出し、後述する入力表（入力ファイル）を生成する入力用単語群抽出プログラム（装置）の流れ図である。単語使用頻度抽出部１１０において、形態素解析部９０から出力される各単語の、各分類における重要度、例えば、使用頻度（または度数）を求める。入力属性用単語群生成部１１１において、データマイニングにおいて利用される入力属性の単語群Aを、単語使用頻度抽出部１１０において求められた各単語の頻度（度数）から抽出し、選別する。抽出された単語群Aをデータマイニング処理入力表作成部１１２において、各明細書「要約」部における単語群Aの使用回数（度数）を一覧表にし、例えば、エクセル上に出力する。
【００５０】
第3段階として、図１０のデータマイニング処理部１０２に含まれる決定木生成部１０３に、テキストマイニング処理部１００から最終的に出力される各明細書「要約」部における単語群Aの使用回数の表を入力し、HOODGやC4.5系などのアルゴリズムを用いることにより、決定木を生成する。
【００５１】
第4段階として、図１０の分類プログラム自動生成部（装置）１０４に、決定木生成部１０３において生成された決定木に対応するif-thenルールを入力することにより、出力属性のわからない未知の文献を分類し、新しい分類先とその分類先へのパス情報の発見を行うことを可能とする自動分類プログラム（例えば、Ｃ言語による記述）を生成する。 以上説明した流れの処理、方法を具体的な特許明細書文章の例（要約文）を用いて説明する。
【００５２】
今、電子ペーパーの特許明細書80件を用い、各明細書をボール系、泳動系、電界移動系、コレステリック系、エレクトロクロミック系、フォトクロミック系、シート系、熱などによる硬化系、回転・泳動両方使用可能系、特殊、及び分類不能系の合計11種類に分類する。特許明細書80件を文章集合とし、各明細書の「要約」を文章の部分集合として、これらの分類を行うモデルを各明細書の「要約」より構築することを試みる。要約文の部分集合は大まかに特定分野を対象とした全体情報を表現する情報となっている。本発明のテキストマイニングを実行すると、各特許明細書の「要約」にある、エネルギー|エレクトロクロミック|カプセル|グランド|コート|コレステリック|シート|スイッチング|スペーサ|データ|バック|プロパノール|ローラ|色|印加|泳動|液晶|液体|回転|書き込み|可逆|画素|画像|活性|可能|感熱|基板|球状|記録|空間|駆動|形成|顕色剤|硬化|構成|高分子|効率|材料|支持|手段|上部|信号|製造|静電|前駆|選択|染料|走査|装置|素子|帯電|低下|提供|定着|電荷|電解質|電気|電極|当該|透明|塗布|媒体|発色|発生|反射|光|表示|封入|分散|平板|防止|方法|文字|誘電|輸送|粒子|利用の合計77個の重要名詞群が抽出される。出力属性は、ボール系(Ball)、泳動系(Migration)、電界移動系(ElectricField)、コレステリック系(Cholesteric)、エレクトロクロミック系(Echromic)、フォトクロミック系(Pchromic)、シート系(Surface)、熱などによる硬化系(Hardening)、回転・泳動両方使用可能系(Ball-Migration)、特殊系(Special)、及び分類不能(Other)とする。このとき、重要なことは、その用語の出現度数（数字）を、離散数字であるにもかかわらず、後述のepaper.namesのファイルに示すように、連続型入力属性としてデータ入力（epaper.data）することにより前記部分集合の要約に対応するルールモデルを可視化できるようにしている点である。
【００５３】
全体集合epaper.allは、epaper.data（決定木を生成する入力ファイル）とepaper.test（決定木のモデル評価を行うための入力ファイル）とに分割されるが、どのファイルも同じデータ構造をしている。帰納的データマイニングでは、学習時に、データ全体集合epaper.allの一方の部分集合である学習観測変数集合epaper.dataによって決定木を生成し、試験(test)時において、その決定木の良さを、他方の部分集合epaper.test内の非学習観測変数集合でパスの分類先（出力属性）が一致する度合いを調べることになる。さらに、出力属性のわからない非学習データを入力したときでも、学習したときに生成された分類先の出力属性に想起することをここでは連想（予測）という。例えば、epaper.dataは、入力属性（数字）と出力属性（Ballなど）から成る次のようなCSVファイルである。
0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,5,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,2,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,Ball.
0,0,0,0,0,0,0,0,1,0,0,0,0,2,0,0,0,0,8,1,0,1,1,0,0,0,2,0,0,0,0,4,0,0,0,0,0,0,2,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,6,0,Ball.
0,0,0,0,0,0,7,0,0,0,0,0,0,0,0,0,0,3,5,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,2,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,2,2,0,1,0,0,2,0,0,0,5,0,Ball.
1,0,1,0,0,0,2,0,0,0,0,0,0,2,1,2,0,1,6,0,0,0,0,0,1,0,0,1,0,0,0,1,0,0,0,0,0,2,0,0,0,0,1,0,0,0,0,0,1,0,2,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,7,0,Ball.
0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,3,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,2,0,1,0,0,0,0,0,Ball.
0,0,2,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,6,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,0,Ball.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,1,1,0,0,1,0,0,1,0,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,1,0,0,0,0,0,1,0,4,0,1,0,2,0,0,2,0,0,0,0,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,Ball.
0,0,1,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,5,0,0,5,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,3,6,0,0,0,0,1,0,0,0,4,0,Ball.
0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,4,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,1,3,0,1,0,1,1,0,0,0,4,0,Ball.
0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,2,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,5,5,1,0,1,0,0,0,0,4,0,2,0,0,0,0,0,0,12,0,0,0,0,1,0,0,0,0,0,Ball.
0,0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,0,1,7,0,0,0,0,0,0,0,0,0,0,0,2,1,0,0,1,0,0,1,0,0,0,0,1,0,0,1,0,0,2,0,0,1,0,0,0,0,0,0,0,1,0,0,0,0,0,1,2,0,1,0,0,1,0,0,0,6,0,Ball.
0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,4,0,1,0,6,0,3,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,2,0,1,0,1,0,0,0,3,0,0,1,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,4,0,Ball.
0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,0,0,1,1,0,0,0,0,0,1,0,0,3,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,4,0,1,0,0,0,0,0,0,3,0,Ball.
0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,7,0,0,0,0,0,2,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,1,0,0,0,1,0,0,0,0,0,0,4,0,0,2,0,0,0,0,0,0,0,0,4,0,Ball.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,3,0,1,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,3,0,0,0,1,4,0,1,0,0,0,0,0,0,3,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,7,0,4,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,2,0,0,0,0,2,0,0,0,0,0,0,0,0,0,3,0,0,0,2,0,0,0,2,0,0,0,1,0,0,0,0,1,4,0,5,0,0,0,0,0,0,2,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,1,0,0,0,0,2,0,1,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,2,0,0,0,3,3,0,0,0,0,0,0,0,0,1,0,0,0,1,2,0,0,0,1,0,Migration.
0,0,2,0,0,0,0,0,0,0,0,0,0,2,0,4,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,5,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,4,2,0,1,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,3,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,1,0,0,0,2,0,0,0,0,2,0,4,0,0,0,0,0,0,0,0,0,5,0,3,0,0,0,0,0,0,0,0,Migration.
0,0,5,0,0,0,0,0,0,0,0,0,0,5,1,1,0,2,0,0,0,0,0,0,1,0,2,0,0,0,0,2,0,0,0,0,1,0,0,1,0,0,2,0,0,0,0,0,4,0,3,0,1,0,0,0,2,6,0,0,0,0,0,0,0,2,5,0,1,0,0,2,0,0,0,3,0,Migration.
0,0,0,0,0,0,0,0,1,0,0,0,0,0,1,6,0,0,0,0,0,0,2,0,0,0,2,0,0,0,0,2,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,6,8,0,2,0,0,0,0,0,0,0,0,0,0,1,0,0,2,0,1,1,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,1,0,2,0,0,0,0,0,1,0,0,0,1,0,0,0,0,0,1,0,1,0,0,0,0,0,0,2,0,Migration.
0,0,4,0,0,0,0,0,0,0,0,0,0,4,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,4,0,2,0,0,0,0,0,0,0,0,4,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,1,0,1,0,0,0,2,9,0,1,0,0,0,1,0,0,12,0,1,0,0,0,0,0,0,2,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,2,0,0,0,0,0,5,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,2,0,0,0,0,1,8,0,0,0,0,0,0,0,0,3,0,0,0,2,0,0,0,0,0,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,1,0,0,0,0,3,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,1,0,1,0,0,0,0,6,0,0,0,0,4,0,1,0,0,0,0,0,0,1,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,1,2,0,0,0,0,0,0,2,1,0,2,0,0,0,0,0,0,1,0,1,0,0,1,0,0,0,0,0,Migration.
0,0,1,0,0,0,1,0,0,1,0,0,0,1,1,5,0,0,0,0,2,0,2,0,2,0,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,5,0,0,0,0,0,0,0,0,0,6,0,2,0,0,0,0,0,0,4,0,Migration.
0,0,4,0,0,0,0,0,0,0,0,0,0,4,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,2,0,0,0,1,0,0,0,3,2,0,0,0,0,0,0,0,0,2,1,3,0,0,0,0,0,0,1,0,Migration.
0,0,2,0,0,0,0,0,0,0,0,0,0,2,0,2,0,1,0,0,0,0,0,0,0,0,4,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,2,0,1,0,2,3,0,0,0,1,0,0,0,0,5,0,3,0,0,0,0,0,0,1,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,5,0,3,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,0,0,1,0,0,0,3,0,0,0,0,0,0,0,1,0,4,0,4,0,0,0,0,0,0,1,0,Migration.
0,0,1,0,0,0,0,0,0,0,0,0,0,9,0,2,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,0,0,1,0,0,0,3,0,0,0,0,0,0,0,1,0,5,0,4,0,0,0,0,0,0,1,0,Migration.
0,0,9,0,0,0,0,0,0,0,0,0,0,9,1,5,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,5,4,0,1,3,0,0,0,0,0,1,0,1,0,0,0,0,0,0,2,0,Migration.
0,0,4,0,1,0,0,0,0,0,0,0,0,4,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,4,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,3,3,0,0,11,0,0,0,0,0,0,0,4,0,0,0,0,0,0,0,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,9,0,0,0,0,0,0,1,0,1,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,9,1,0,0,0,2,0,0,0,1,5,0,1,0,0,0,0,0,0,1,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,2,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,2,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,Migration.
0,0,1,0,0,0,0,0,0,0,0,0,0,1,0,6,0,0,0,0,0,0,1,0,1,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,1,0,0,3,0,0,0,0,0,0,0,6,5,0,1,0,1,0,0,0,0,6,1,0,2,0,1,0,0,0,2,0,Migration.
0,0,3,0,0,0,0,0,0,0,0,0,0,3,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,1,0,0,0,3,1,0,0,0,0,0,0,0,0,2,1,3,0,0,0,0,0,0,1,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,7,0,0,0,0,0,0,2,0,0,0,2,0,0,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,7,8,0,1,0,0,0,0,0,0,2,0,1,0,0,0,0,0,0,3,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,7,0,1,0,0,0,0,1,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,7,2,0,2,0,0,0,0,1,0,5,0,8,0,0,0,1,0,0,3,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,9,0,0,0,0,0,0,0,0,7,0,0,0,2,0,0,0,0,1,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,3,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,10,0,0,0,0,0,0,0,0,7,0,0,0,1,0,0,0,0,3,0,Migration.
0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,2,0,0,0,5,0,0,0,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,1,0,1,0,1,1,1,0,0,0,0,0,0,0,6,0,ElectricField.
0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,5,0,0,1,0,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0,0,2,1,0,0,0,0,0,0,0,1,0,ElectricField.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,5,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0,2,0,0,0,1,6,0,0,0,0,2,0,0,0,6,0,ElectricField.
0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,4,0,0,0,2,0,0,1,0,4,0,0,1,0,0,0,2,1,0,0,0,0,0,0,0,0,1,0,1,0,1,0,0,0,0,3,0,5,0,2,0,0,0,0,7,1,0,0,0,0,0,1,0,2,0,ElectricField.
0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,1,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,2,0,3,0,1,0,0,0,0,1,1,0,0,1,0,0,0,0,5,0,ElectricField.
0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,4,0,0,0,5,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,2,0,1,0,0,0,0,0,0,0,0,3,0,0,0,0,7,3,0,0,0,0,0,0,0,3,0,ElectricField.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,7,0,2,0,2,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,1,0,3,0,0,2,0,2,0,7,0,0,0,0,4,1,0,0,0,0,0,0,3,8,0,ElectricField.
0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,4,0,1,0,5,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,7,3,0,0,0,0,0,0,0,1,0,ElectricField.
0,0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,2,0,0,0,2,0,0,0,0,2,0,0,6,0,0,0,0,0,1,2,0,2,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,1,2,0,0,0,0,1,0,0,0,0,0,Cholesteric.
0,0,0,0,0,3,0,0,0,4,0,0,0,0,2,0,3,0,0,0,0,1,0,0,1,0,0,0,0,0,2,2,0,0,0,0,0,0,0,1,0,0,0,0,0,3,0,5,2,1,0,0,1,0,0,0,0,8,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,Cholesteric.
0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,2,0,0,1,0,0,0,0,1,0,1,0,0,0,0,0,2,3,0,0,0,0,0,0,0,0,0,0,Cholesteric.
0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,2,0,0,0,1,0,0,0,1,0,1,0,5,0,0,0,0,0,0,0,0,3,0,1,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,Cholesteric.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,7,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,5,0,0,0,1,0,0,0,0,2,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,1,2,0,0,0,0,0,0,0,0,Cholesteric.
0,0,2,0,0,2,0,0,0,0,0,0,0,2,1,0,2,0,0,0,0,0,4,0,0,0,1,0,3,0,0,2,0,0,1,0,0,0,1,1,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,4,0,0,1,0,5,1,0,0,0,1,0,0,0,0,0,Cholesteric.
0,0,0,0,0,0,0,0,0,3,0,0,0,0,5,0,5,0,0,0,0,2,1,0,0,0,0,0,0,0,7,0,0,0,0,0,0,0,0,1,0,8,0,0,0,7,0,6,2,1,0,0,1,0,0,0,0,8,0,0,0,0,0,0,0,0,7,0,0,0,0,1,0,0,0,0,0,Cholesteric.
0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,1,1,0,0,0,0,0,2,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,1,3,0,0,1,0,0,1,3,3,0,2,0,0,0,2,0,0,3,0,0,0,0,0,0,0,0,0,0,EChromic.
0,6,0,0,0,0,0,0,0,0,0,0,0,0,0,0,4,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,1,3,0,0,0,0,0,0,0,0,0,0,0,0,1,1,0,0,1,0,0,6,1,3,0,2,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,EChromic.
0,10,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,1,2,0,2,0,1,0,0,0,0,0,0,0,0,1,1,0,0,1,0,0,2,1,3,0,2,0,0,0,0,1,0,4,0,0,0,0,0,0,0,0,0,0,EChromic.
0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,4,0,0,0,0,1,0,0,1,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,1,0,0,0,0,2,0,3,0,0,0,0,4,8,1,0,0,0,0,0,2,0,0,0,0,EChromic.
0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,1,0,0,0,0,2,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,EChromic.
0,0,0,0,0,0,0,2,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,2,0,0,0,0,1,0,0,0,0,0,0,0,0,1,3,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,0,4,0,0,0,0,0,0,0,0,0,0,EChromic.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,9,0,0,0,0,0,0,0,0,7,0,0,0,2,0,0,0,0,1,0,EChromic.
1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,1,0,0,1,1,3,0,2,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,EChromic.
0,0,0,0,0,0,0,6,0,0,0,0,0,0,0,0,0,0,0,4,0,0,0,0,0,0,1,0,2,0,1,0,0,0,0,0,0,1,0,0,3,0,0,0,0,1,0,0,4,8,0,0,2,0,8,0,0,1,0,0,0,2,0,7,0,8,2,0,0,0,0,0,0,0,1,0,0,PChromic.
0,0,0,0,0,0,0,4,0,0,0,0,0,0,0,0,0,0,0,4,0,0,0,0,0,0,1,0,2,0,1,2,0,0,0,0,0,0,0,0,4,0,2,0,0,0,0,0,4,6,0,0,1,0,8,0,0,1,0,0,1,2,0,6,0,5,2,0,2,0,0,2,0,0,2,0,0,PChromic.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,2,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,6,0,0,4,0,0,0,2,0,5,0,3,1,0,0,0,0,0,0,2,1,0,0,PChromic.
0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,4,0,2,0,0,0,0,0,1,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,1,0,0,0,0,7,0,3,0,2,0,0,0,3,1,0,0,0,0,1,0,0,0,0,0,PChromic.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0,2,0,1,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,PChromic.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,13,0,2,0,0,0,14,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0,4,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,PChromic.
0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,2,0,3,0,1,3,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,1,0,0,1,0,6,0,0,4,0,3,0,3,0,3,0,5,1,0,0,0,0,2,0,0,3,0,0,PChromic.
0,0,0,0,2,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,8,0,0,1,0,1,0,0,1,0,2,1,0,0,0,0,0,0,0,0,0,0,0,0,1,2,1,0,0,0,0,0,0,0,0,3,0,0,4,2,11,1,0,0,2,0,0,0,0,2,2,Surface.
0,0,0,0,1,0,7,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,3,0,0,0,3,0,0,0,0,1,0,0,2,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,0,1,1,0,0,0,0,0,3,0,0,5,0,0,2,6,16,0,0,0,1,0,0,0,0,0,2,Surface.
2,0,0,0,0,0,2,0,0,0,0,2,0,0,0,0,0,0,0,0,4,1,0,2,0,5,0,0,5,0,0,2,2,2,0,0,0,0,2,1,0,0,3,0,2,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,1,0,0,3,0,0,0,0,0,Hardening.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,7,1,0,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,1,0,3,0,1,0,2,0,1,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,3,0,4,0,Ball-Migration.
0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,4,0,4,4,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,0,1,0,0,0,1,0,0,0,0,0,0,0,1,2,5,0,0,0,0,0,0,4,0,8,0,Ball-Migration.
0,0,0,4,0,0,4,0,0,0,4,0,0,2,0,0,0,0,0,0,0,1,2,0,1,0,2,0,0,5,0,0,0,0,2,0,0,0,0,0,0,3,0,0,0,0,0,0,1,0,0,0,1,0,0,0,0,0,0,2,0,0,4,0,1,0,8,0,0,0,0,0,2,0,0,0,0,Special.
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,3,0,0,0,0,0,1,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,1,0,0,1,0,0,1,0,0,0,1,0,Other.
0,0,0,0,0,0,0,0,4,0,0,0,4,0,0,0,0,0,0,0,0,0,3,0,0,0,5,0,0,0,0,1,0,0,0,0,0,0,0,0,2,0,1,3,0,0,0,0,3,0,0,0,1,3,0,0,0,0,0,0,5,2,0,0,0,0,4,1,0,4,0,1,0,0,0,5,0,Other.
また、epaper.names（出力属性集合、および入力属性集合の意味と型との対応）は以下に示すような入力ファイルとなる。
Ball,Migration,ElectricField,Cholesteric,EChromic,PChromic,Surface,Hardening,Ball-Migration,Special,Other
Energy: continuous
EChromic: continuous
Capsule: continuous
Ground: continuous
Coat: continuous
Cholesteric: continuous
Sheet: continuous
Switch: continuous
Spacer: continuous
Data: continuous
Back: continuous
Propanol: continuous
Roller: continuous
Iro: continuous
Innka: continuous
Eidou: continuous
Ekisyou: continuous
Ekitai: continuous
Kaiten: continuous
Kakikomi: continuous
Kagyaku: continuous
Gaso: continuous
Gazou: continuous
Kassei: continuous
Kanou: continuous
Kannetu: continuous
Kiban: continuous
Kyuuzyou: continuous
Kiroku: continuous
Kuukan: continuous
Kudou: continuous
Keisei: continuous
Kennsyokuzai: continuous
Kouka: continuous
Kousei: continuous
Kouabunnshi: continuous
Kouritsu: continuous
Zairyou: continuous
Shiji: continuous
Syudan: continuous
Zyoubu: continuous
Shingou: continuous
Seizou: continuous
Seiden: continuous
Zennku: continuous
Sentaku: continuous
Sennryou: continuous
Sousa: continuous
Souchi: continuous
Soshi: continuous
Taiden: continuous
Teika: continuous
Teikyou: continuous
Teityaku: continuous
Dennka: continuous
Dennkaishitu: continuous
Dennki: continuous
Dennkyoku: continuous
Tougai: continuous
Toumei: continuous
Tofu: continuous
Baitai: continuous
Hassyoku: continuous
Hassei: continuous
Hannsya: continuous
Hikari: continuous
Hyouji: continuous
Huunyuu: continuous
Bunnsann: continuous
Heiban: continuous
Boushi: continuous
Houhou: continuous
Moji: continuous
Yuuden: continuous
Yusou: continuous
Ryuushi: continuous
Riyou: continuous
本発明では、頻度パスによる決定木分割法（HOODGとC4.5を利用する方法）を第２の実施例以降に説明するが、他のデータマイニング方式を使用してもよい。まず、HOODG、すなわち、帰納的データマイニングとして葉(leaf)から根(root)に向かって木を形成するBottom-up決定木BTを生成し、この決定木BTについて、連続属性の利用の良さについて説明する。epaper.data(=epaper.testとした)を利用して学習した結果、決定木BTは図１２のようになる。HOODGを用いた場合、分類におけるシート系（Ｓｕｒｆａｃｅ）、及び特殊系（Ｓｐｅｃｉａｌ）は自動的に削除される。図１２(a)は、入力属性を連続属性値とした場合の決定木であり、図１２(b)は入力属性を離散属性値とした場合の決定木である。明らかに、入力属性を連続変数として扱うことによって、決定木の大きさは可視化可能なものとなっている。図１２（a）において、有向枝にある数字（要約文内用語の出現度数）の＋記号とー記号は、それぞれ、「以上」と「以下」を表現し、「数字―数字」は区間変数を表現する。
【００５４】
また、比較のため、C4.5系、すなわち、帰納的データマイニングとして根(root)から葉(leaf)に向かって木を形成するTop-down決定木生成法を用いて、同じepaper.data(=epaper.testとした)を利用して学習した結果を示しておくと、決定木TTは図１３のようになる。図１３は、入力属性を連続属性値とした場合の決定木(2進木構造)である。離散属性値として表現すると、図に表現できないほど大きくなってしまうので、ここでは、その図は割愛する。この場合も、入力属性を連続変数として扱うことによって、決定木TTの大きさは可視化可能ほどの小さなものとなっている。なお、図１３において、楕円節点は入力属性、長方形節点は出力属性を表現する。ここで、有向枝にある数字（要約文内用語の出現度数）の左側にある＝０の記号は、「０ならば（なければ）」の意味で、＞＝と＜＝は、それぞれ「以上」「以下」を表現する。また、葉の節点の（数字）は、その葉に至るパス集合に対応するレコード数である。また、表記（２６/1）の右側の数字は、試験（test）時に定められた出力属性には至らなかったレコードが１個のみあったことを示す。
【実施例２】
【００５５】
本発明の第２の実施例として、離散属性と連続属性を含む全体集合を頻度パス（あるいは、C4.5の場合には、規格化された情報利得の大きな入力属性を含むパス部分集合など）によって複数の部分集合として扱うことにより、小さなモデルの複数集合として可視化する決定木分割法について説明する。ある出力属性に至る各パスを通る前記出力属性に正しく到達する部分学習観測変数集合の、前記出力属性を含む全学習観測変数集合に対する割合をそのパスに対する頻度と定義した場合、例えば、頻度２５％を閾値とすれば、それ以上の頻度パス（標準観測変数集合）とそれ未満の頻度パス（非標準観測変数集合）に選別されることになる。すなわち、頻度パスとは、定義された頻度によって部分集合化されたパス（パス部分集合）を意味する。本実施例は、学習時に、データ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)を構築し、モデル分割時に、その決定木T(i)のパス部分集合に乗る第１観測変数集合C(i)と乗らない補集合IC(i)、すなわち第２観測変数集合とに分類し抽出する知識抽出方法について説明する。
【００５６】
まず、帰納的データマイニングとして葉(leaf)から根(root)に向かって木を形成するBottom-up決定木BTを用いて、大規模データベースから活用できる情報、すなわち、第１観測変数集合が標準観測変数集合と仮定した場合は、際だって異なる第２観測変数集合の関連ルール(行動パターン)を抽出する新しいパスの分割方法を説明する。この本決定木分割法は、部分パス集合に乗る第１観測変数集合が標準観測変数集合と仮定した場合は、観測変数集合の中の標準（第１）観測変数集合を空間的に除去（抽出）することにより、際だって異なる非標準部分集合の関連ルール(行動パターン)を生成することになる。逆に、その第１観測変数集合が非標準観測変数集合と仮定した場合は、この本決定木分割法は、観測変数集合の中の非標準（第１）観測変数集合を空間的に除去（抽出）することにより、際だって標準的な標準部分集合の関連ルール(行動パターン)を生成することになる。決定木BTは、木の同レベルには同じ観測変数の節点が少ない数で横に並び、関連ルールに無関係な観測変数の節点(Constant noedes)は除去される特徴を有する。まず、学習(Learning trainning)時に、データ集合D(i)から選択された学習観測変数集合L(i)に対する学習を行ってif-thenルールを表現する決定木BT(i)を構築する。そして、本実施例では、モデル分割時に、その決定木BT(i)の決められた頻度以上の頻度パスがパス部分集合となる各パスに乗る第１観測変数集合C(i)と乗らない補集合IC(i)とに分類する。本発明のデータマイニングの決定木分割方法では、まず、学習情報を選択し、観測変数の選別などの前処理を行って学習観測変数集合L(0)を作成する。次に、非学習データを含めたすべての情報を前記、前処理の選別データの属性情報に合わせるために、計算機により自動的にデータ行列の自動選別処理を行い、マイニング処理アルゴリズムの入力データ形式に整えて、初期データ集合D(0)を作成する。そして、データマイニング処理アルゴリズム（学習(Learning)と試験(Test)）にかける。このアルゴリズムの結果として得られる出力から評価を与え、意味分析を行うことになる。
【００５７】
今、一般情報Rが大規模なものとしても、そこから作成されるデータ集合Dの各要素を構成する各観測変数は、データ(グラフG)空間上の点(節点V)に相当するものとして設定される。 すなわち、複数の観測変数から構成されるデータは、空間のデータ集合として表現され、それらの節点は相関関係、すなわち、関連ルールとしての制約条件として節点と節点との結合(有向枝E)として、グラフGとして表現される。そして、グラフGとして、根(root)から葉(leaf)に向かって木(tree)、すなわち、すべての節点を含み、閉路を含まない枝の集合として大規模な階層構造の決定木BTが利用されるものとする。このとき、もし、生成された決定木T上の低頻度パス部分集合のどのパスも、学習観測変数の非標準観測変数集合の関連ルールに対応するならば、そのパス部分集合は、その非標準観測変数集合の全体の関連ルールを表現していることになる。また、決定木Tのそのパス部分集合に乗らない観測変数集合は、決定木Tに対して標準観測変数集合となる。一般情報の解析において、新しい知識の発見に対しては、際だって異なる非標準観測変数集合の関連ルール(行動パターン)を生成することがむしろ重要となる場合が多い。また、決定木Tの生成アルゴリズムばかりでなく、標準観測変数集合の学習提示の仕方によって、決定木Tの次元、標準観測変数集合あるいはその補集合の非標準観測変数集合の要素次元があまりにも大きくなってしまって、特殊な発見パターンを結果として出力することが難しいことになる。
【００５８】
それゆえに、例えば、決定BT(i)の高頻度パス部分集合に乗る第１観測変数集合C(i)と乗らない補集合IC(i)とに分類することの意義がきわめて大きくなる。図１４(a)は、HOODGによる決定木BT(i)（すべてのパスを含む）の他の例であり、図１４(b)は、第１観測変数集合の決定木BT(i)の高頻度パスによるパス部分集合に乗る第１観測変数集合C(i)の該パス部分集合（図示せず）に対する補集合IC(i)、すなわち、低頻度パスに依存する第２観測変数集合を示す部分決定木である。同様に、C4.5に対しても、頻度パスによるパス部分集合によって決定木TT(i)の分割が可能である。分割条件には、頻度以外の他方法もある。C4.5の場合には、生成理論に従って、規格化された情報利得が高い入力属性に対応する節点間のパス部分集合（決定木TT(i)の上層部分に存在する短パス部分集合）に乗る第１観測変数集合C(i)、及び前記パス部分集合を削除（抽出）することによってC(i)に乗らない補集合IC(i)を選択し、それを第２観測変数集合としてもよく、他の分割条件にした方がよい場合もある。
【実施例３】
【００５９】
本発明の第3の実施例では、離散属性と連続属性を含む全体集合を複数の部分集合として扱うことにより、小さなモデルの複数集合として可視化するデータマイニング方式について示す。すなわち、まず、帰納的データマイニングとして葉(leaf)から根(root)に向かって木を形成するBottom-up決定木BTを用いて、大規模データベースから活用できる情報、すなわち、際だって異なる観測変数集合の関連ルール(行動パターン)を抽出する新しい反復決定木分割法を示す。本反復決定木分割法は、第2の実施例で述べたパス部分集合の抽出法の反復化であって、第２観測変数集合を全体集合に置換し、その中の第１観測変数集合を繰り返し除去（抽出）することにより、際だって異なる非標準部分集合の関連ルール(行動パターン)を生成することとなる。まず、学習(Learning trainning)時に、データ集合D(i)から選択された学習観測変数集合L(i)に対する学習を行ってif-thenルールを表現する決定木T(i)=BT(i)を構築する。そして、決定木分割時に、その決定木BT(i)のパス部分集合に乗る第１観測変数集合C(i)と乗らない補集合IC(i)とに分類し、D(i+1)=IC(i)として全データ集合に置換し、その処理をi=0,1,…,p-1と繰り返し、p-1回目に得られた補集合を第２観測変数集合IC(p-1)とする。集合[BT(0),BT(1),…,BT(p-1)]から標準（または非標準）行動パターンを分析し、第２観測変数集合IC(p-1)の全体に対する学習を行って構築される決定木BT(p)を用いて非標準（または標準）行動パターンを分析することになる。この反復処理は、第２観測変数集合IC(p-1)の次元が初期データ集合D(0)の次元に対して数%になるまで何回も反復される。BT(p)によって表現される関連ルールは、際だって異なる関連ルールの条件を含むので、意志決定に対して有用な情報となる。決定木BT(i)のパス部分集合に乗る第１観測変数集合C(i)を非標準観集合とするならば、反復の初期過程において際だって異なる関連ルールが発見されることになる。
【００６０】
まず、全情報から学習情報を選択し、観測変数の選別などの前処理を行って学習観測変数集合L(0)を作成する。次に、非学習データを含めたすべての情報を前記前処理の選別データの属性情報に合わせるために、計算機により自動的にデータ行列の自動選別処理を行い、マイニング処理アルゴリズムの入力データ形式に整えて、初期データ集合D(0)を作成する。そして、データマイニング処理アルゴリズム(学習と試験)にかける。
【００６１】
そして、グラフGとして、根(root)から葉(leaf)に向かって木(tree)、すなわち、すべての節点を含み、閉路を含まない枝の集合として大規模な階層構造の決定木Tが利用されるものとする。このとき、第１観測変数集合が標準観測変数集合と仮定した場合は、生成された決定木T上のパス部分集合のどのパスも、観測変数の標準的な集合の関連ルールに対応するので、決定木Tのそのパス部分集合は、その標準観測変数集合の全体の関連ルールを表現していることになる。また、決定木Ｔのそのパス部分集合に乗らない観測変数集合は、決定木Tに対して非標準観測変数集合となる。この場合、本反復決定木分割法は、際だって非標準的な非標準部分集合の関連ルール(行動パターン)を反復によって生成することになる。
【００６２】
逆に、第１観測変数集合が非標準観測変数集合と仮定した場合は、本反復決定木分割法は、観測変数集合の中の非標準（第１）観測変数集合を空間的に除去（抽出）することにより、際だって標準的な標準部分集合の関連ルール(行動パターン)を反復によって生成することになる。
【００６３】
今、決定木Tの次元、標準観測変数集合あるいはその補集合の非標準観測変数集合の要素次元は大きいとする。そこで、先ず、関連ルールとしての決定木BTを用いて、本発明の反復決定木分割法のプログラム処理とデータ処理について順に説明する。
(a) 入力データ集合D(0)と学習観測変数集合L(0)の設定
レコードの数をm'とし、また各レコードに対するレコード上の観測変数の数をn'で与えた場合、例えば  、エクセルを用いれば、m'行n'列のデータ行列が生成される。 m'個のレコードデータの各レコードは  、それぞれn'個の観測変数の特徴によって表現される。このデータ行列から意味の有無を確認し、m行  n列の入力データ集合D(0)を定義する。次に、入力データ集合D(0)の中から、if-thenルールとして正しい標準的な入力レコード(L個)をL行n列から選択し、これを学習観測変数集合L(0)として定義する。Lの数は小さくてもよく、可能ならば、専門家や良質辞書を介して、標準として正しい学習観測変数集合L(0)を選択することが重要となる。
【００６４】
(b) 学習観測変数集合L(0)から決定木BT(0)への学習写像
n次元ベクトルで表現された各学習データを決定木BTの生成アルゴリズムに入力し、学習観測変数集合L(0)から比較的標準的な決定木BT(0)を生成する。ここで、Vを節点集合とし、Eを枝集合とするとき、決定木BT(0)は根の節点から葉の節点へのパスが少なくとも1つは存在する閉路を含まないグラフとなる。各節点から次の節点に結合する有向枝に存在する重み条件に従い、if-thenルールが形成される。有向枝上の各重み条件に使われる状態変数は、その有向枝のソース側節点の観測変数であり、その条件を決定する閾値は、学習観測変数集合L(0)の関連ルールによって自動的に設定される。
【００６５】
（ｃ）テスト入力データ集合DT(0)から決定木BT(0)への試験写像
学習観測変数集合L(0)には含まれないデータ(unseen)を多く含むテストデータ集合として入力のデータ集合DT(0)を選択し、学習観測変数集合L(0)から得られた決定木BT(0)の初期節点、即ち根の節点から入力し、if-thenルール解析に従いテスト入力データ集合DT(0)が決定木BT(0)のパスに含まれるかどうかの検証（モデルの良さの評価）を伴う試験写像(correct,incorrect)を行う。
【００６６】
（ｄ）決定木BT(i)の反復生成
学習時に、データ集合D(i)から選択された学習観測変数集合L(i)を使ってif-thenルールを表現する決定木T(i)=BT(i)を構築し、モデル分割時に、その決定木BT(i)のパス部分集合に乗る第１観測変数集合  C(i)と乗らない補集合IC(i)、すなわち、第２観測変数集合とに分類し、D(i+1)=IC(i)として全データ集合に置換し、i=0,1,…,p-1と繰り返し、p-1回目に得られた補集合IC(p-1)を第２観測変数集合とする。このとき、各過程において、決定木集合[BT(0),BT(1),…,BT(p-1)] を生成する。
【００６７】
(e)収束決定木BT(p)の生成
抽出されたデータ集合（抽出パターン）を分析し、前記第２観測変数集合IC(p-1)の全体に対する学習を行って最終的なif-thenルールの決定木、すなわち収束決定木BT(p)を生成する。そして、収束決定木BT(p)を用いて意味のあるパターンの抽出、及び分析などを行う。
【００６８】
本発明では、このように、標準（または非標準）観測変数集合にあてはまらない補集合IC(i)を解析し、その中に標準（または非標準）的なデータがあれば、標準（または非標準）観測変数集合D(i+1)に移し、分類能力を高める。この反復過程における反復判定基準を決める基準量は、有向枝に存在する重み条件に依存するが、特に外部から数値の調整を行う必要はないようにすることが重要となる。決定木BTとして学習された情報は、関連するメタデータとして意味づけされ、一般情報のメタデータの部分空間上におけるノルムは、決定木BT上のパスの重み条件として扱われる。部分空間においてパスの重み条件の幅が小さい一般情報ほど、あいまい性の少ない一般情報となる。従って、決定木BTの構成を決める一般情報の学習観測変数集合L(i)の選択は、できれば、専門家によって与えられた極めて標準的なデータとする必要があるが、非専門家や計算機による自動選択の方が有効となる。さらに、意味的連想（予測）検索は、決定木BTにある重み条件に従って自動的に計算されるようにした方がよく、本発明では、後述する自動分類プログラムによって、連想の過程が実行される。
【００６９】
反復の回数をi回とすれば、それぞれの段階において生成されるｉ次の非標準（または標準）観測変数集合（補集合）は、IC(i)として表現される。IC(i)は、観測変数を組合せたベクトルの集合としてIC={IC(0),IC(1),…,IC(p-1)}のように集合として得られる。図１５において、本発明の反復決定木分割法におけるファイル処理の過程を示す。決定木BTを用いて、情報の分類を行うには、Data file(File.data)１５０、Test file(Ｆile.test)１５１以外に、Name file(File.names)の3つのファイルを必要とする。学習データであるData file１５０をアルゴリズムに取り込み決定木BTを生成し、その後、Test file１５１を読み込み、その決定木BTのパスにその試験用ファイル１５１の各レコード集合がどの程度適合したかどうかが検証される。すなわち、読み込まれたTest file１５１は、学習用ファイルData file１５０のデータに完全にマッチングしている場合にはseen(パスあり)１５３として、また、学習用データと異なったものが入力された場合にはunseen（パスなし）１５４として出力される。そして、seen、unseenそれぞれに対して、決定木BTに乗るものはcorrect（１５５）（１５７）、乗らないものはincorrect（１５６）（１５８）として出力される。Test.file１５1をData.file１５0と同じものとしても、わずかに、incorrectが出力される。反復決定木分割法の反復させるための条件には、いろいろと考えられる。  例えば、はじき出されたunseenでincorrectのものを、新たなData fileとして次段階のアルゴリズムを踏むことにしてもよい。  しかし、ここでは、頻度パス、すなわち、例えば、HOODG、C4.5による実施例では、頻度が２５％未満のパス部分集合を削除（抽出）することを反復条件として説明するが、C4.5では、規格化された情報利得の大きな入力属性を削除することを反復条件としてもよい。HOODGの結果として、データ集合D(i)から選択された学習観測変数集合L(i)を使ってif-thenルールを表現する決定木T(i)=BT(i)があまり大きくならないことが確認できた。すなわち、決定木T(i)=BT(i)のパス部分集合に乗る第１観測変数集合C(i)と乗らない補集合IC(i)とに分類し、D(i+1)=IC(i)として、その処理をi=0,1,…,p-1と繰り返し、p-1回目に得られた補集合を第２観測変数集合IC(p-1)とするが、その反復によって、第２観測変数集合IC(p-1)の次元も小さくできることが確認できた。さらに、第１観測変数集合が標準観測変数集合と仮定した場合、すなわち、BT(0)が標準観測変数集合に対応する場合、全体に対する学習を行って構築される決定木BT(p)を用いて不正行為や特許の新規性や進歩性などの有無など非標準行動パターンを分析するのに有用な知識が発見できることがわかった。
【実施例４】
【００７０】
本発明の第3の実施例は、分類プログラムの自動生成について説明する。前述の実施例で説明した方法により作成された決定木T(i)=BT(i)（あるいは、T(i)=TT(i)）を実際に情報分析に応用する場合に、大きな問題点がある。第1の問題は、実際の連想（予測）時には、与えられたレコード集合の分類先の出力属性は未知(unknown)である点である。今、実際に決定木BT（i）を利用する利用者は決定木BT(i)をすでに所有しているとする。しかし、利用条件が存在する実際の連想時には、与えられたレコード集合の分類先の出力属性はunknownであるので、利用者は、File.testの各レコードの属性情報にその分類先の出力属性を予め挿入することができず、入力属性集合のみから形成さらたレコード集合を利用しなくてはならない。第２の問題は、実際の連想（予測）時には、利用者の利用条件により、同じ学習観測変数集合L(i)によって構築されたはずの決定木BT(i)のパス集合に多少の違いが生じる点である。これら、第1と第2の問題点を解決しない限り、帰納的データマイニングの利用効果は減少することになる。本発明では、これらの問題を解決するため、生成された決定木BT(i)（あるいはTT(i)）のパスを表すif-thenルールに対応する分類プログラムを自動生成し、利用者側で、利用条件に合致するようにその言語表現の実行プログラムをそのまま利用する、あるいは、自動修正して使用する方法を提案する。まず、決定木T(i)=BT（i）(あるいは、T(i)=TT(i))にあったif-thenルールのパス集合（または、パス部分集合）を表現する計算機プログラム（例えば、C言語など）を図１６に示した分類プログラム自動生成装置（方法）を用いて、言語表現として自動作成することになる。分類プログラム自動生成装置（方法）１６０では、まず、if-thenルールの決定木を表現する中間記述ファイルがルール抽出部１６１から抽出され、読み出され、ルール言語表現変換部１６２に入力されると、自動分類プログラム１６３、すなわち、C言語表現が出力される。このC言語表現は、入力された決定木のほぼ全パス集合を含むが、指定されたパスの頻度抽出部１６４に入力されると、パス頻度（あるいは、C4.5の場合は、規格化された情報利得の大きさ順）の依存度に対応して、使用しないパスのif-thenルールのみコメント・アウトされるように、ルール言語表現変換部１６２に帰還され、修正される。結果として、分類プログラム自動生成方法（装置）から、自動分類プログラム１６５がC言語形式で出力される。
【００７１】
自動作成されたプログラムは、例えば、図１２(a)の決定木BT（特定分野特許文献情報）より得られるパスをそれぞれC言語表現（他の言語でもよい）で作成したものであって、図１７(a)(b)(c)のプログラムのように自動生成される。このC言語表現において、RESULT[row]をrow番目のレコードがパスとして存在するかどうかの結果を示す結果変数ベクトルの要素、データ行列（レコード集合）の要素BASE#DATA[row][j]をrow番目のレコードに属するj番目の入力属性とするとき、最初の
RESULT[row]=((BASE#DATA[row][0]>=0.5)*(BASE#DATA[row][2]>=0.5)*(BASE#DATA[row][3]>=3.5)*(BASE#DATA[row][4]>=0.5)*(BASE#DATA[row][6]<1.5)*(BASE#DATA[row][5]>=0.5))*11;
は、HOODGにより形成された図１２(a)の決定木の分類先出力属性(Ball)に至る６個のパス集合[11,12,13,14,15,16]の要素[11]を表現するif-thenルールの言語表現である。すなわち、最初の番号１は、分類先の出力属性番号であって、
[0=Unknown,1=Ball,2=Migration,3=ElectricField,4=EChromic,5=PChromic,6=Cholesteric]
集合の1=Ball（ボール系）を表現し、その中の最初のパスが11の2番目の番号で表現されている。同様に、2番目の
if(RESULT[row]==0)                RESULT[row]=((BASE#DATA[row][0]>=0.5)*(BASE#DATA[row][2]>=0.5)*(BASE#DATA[row][3]<3.5)*(BASE#DATA[row][4]<0.5)*(BASE#DATA[row][6]<1.5)*(BASE#DATA[row][5]>=0.5))*12;
は、if(RESULT[row]==0)を満足する、すなわち、１番目のボール系パスでなければ、HOODGにより形成された図１２(a)の決定木の分類先出力属性(Ball)に至る６個のパス集合[11,12,13,14,15,16]の要素[12]を表現するif-thenルールを定義する言語表現である。すなわち、最初の番号１は、分類先の出力属性番号であって、[0=Unknown,1=Ball,2=Migration,3=ElectricField,4=EChromic,5=PChromic,6=Cholesteric]集合の1=Ball（ボール系）を表現し、その中の2番目のパスが12の2番目の番号2で表現されている。以下、同様である。そして、利用者の利用条件により、同じ学習観測変数集合L(0)によって構築されたはずの決定木BT(0)のパス集合に多少の違いが生じるため、自動生成されたプログラムを使用して、HOODGで利用した前記学習観測変数集合L(0)を再度入力し、無効パス、すなわち、生成された図１２(a)  の決定木T(0)=BT(0)内である出力属性(分類)に至るパスでその分類先に属する全てのレコードが通らないパス、及び使用頻度(同じパスを通ったレコード数の、その分類の全レコード数に対する割合)の低い低頻度パス(例えば、使用頻度が「25%未満のパス」)を消去（抽出）する。なお、本反復決定木分割法の実施例では、補集合IC(i)は、「使用頻度２５％未満のパス部分集合」に対応する第２観測変数集合となる。
【００７２】
図１６の自動分類プログラム生成方法（装置）にて生成された自動分類プログラム（実行ファイル）より学習観測集合L(0)を自動分類した結果がテキストファイル(File#data.txt)に表されることになる。まず、無効パスと低頻度パスを削除（抽出）する前のパス集合を用いて求めた結果をテキストファイル(File#data1.txt)として表現したものを下に示す。なお、このファイルは、レコード番号と分類―パス番号との対応関係を表現するが、例えば、番号14.000000の最初の番号１は、分類先の出力属性番号であって、[0=Unknown,1=Ball,2=Migration,3=ElectricField,4=EChromic,5=PChromic,6=Cholesteric]集合の1=Ball（ボール系）を表現し、その中の４番目のパスが14で表現されていることを意味している。小数点以下000000は、ここでは、意味がないものとする。ボール系(Ball)のデータ集合（左番号＝１）のみに関するファイル、すなわち、無効パスと低頻度パス削除（抽出）前のFile#data1.txt
レコード番号, 分類-パス番号
1,                  14.000000
2,                 15.000000
3,                 15.000000
4,                 15.000000
5,                 23.000000,   out
6,                 43.000000,   out
7,           14.000000
8,           15.000000
9,           15.000000
10,          14.000000
11,          15.000000
12,          13.000000
13,          14.000000
14,          13.000000
において、out#flagが立っているレコード集合[5,6]は、学習観測変数集合L(0)ではBall=1のパスに属していたが、HOODGを用いた決定木BT（0）から自動生成された分類プログラムを利用した場合、前記学習観測変数集合L(0)を入力しても、[2= Migration, 4= EChromic ]となっていることを示している。HOODGの学習能力は非常に高いが、L(0)に依存する誤りが生成されたことを意味する。これらを考慮しつつ、図１６の自動分類プログラム生成方法（装置）におけるパス頻度抽出部１６４にて各パスの使用頻度を計算し、無効パス及び低頻度バス(本実施例では25%未満)のみを削除したプログラム(図１６の１６２、１６３、１６５)より自動的に求められた結果が次のテキストファイル(File#data2.txt)であって、ボール系(Ball)のデータ集合（左番号＝１）に関する部分は次のようになる。このファイルでは、レコード番号5がunknown(0.00000)化しているのがわかる。すなわち、無効パス及び低頻度パスを削除すると、incorrectの多くは不明(unknown)と変更される。しかし、レコード番号６は不明(unknown)と出来ず、変更出来ない場合もある。すなわち、レコード番号6が通ったパスは、使用頻度が高いため第１観測変数集合として残り、incorrectとしての4=Echromicとして分類されている。このように、使用頻度の変更により、incorrectの多くをunknow化することが可能となる。
【００７３】
無効パス及び低頻度パスを削除(抽出)後のFile#data2.txt
レコード番号, 分類-パス番号
1,                 14.000000
2,                 15.000000
3,                 15.000000
4,                 15.000000
5,                   0.000000
6,                 43.000000,  out
7,                 14.000000
8,                 15.000000
9,                 15.000000
10,                14.000000
11,                15.000000
12,                 0.000000
13,               14.000000
14,                 0.000000
以上のことを考慮して、図１７（a），（ｂ），（ｃ）のC言語表現は、決定木図１２(a)の全てのパスに対応する言語表現から、そのパスの使用頻度が「25%以上のパスのみ有効にする」という利用条件（反復条件）下で自動修正された決定木分割プログラムである。すなわち、これは、図１６の自動分類プログラム生成方法（装置）におけるパス頻度抽出部１６４にて各パスの使用頻度を計算し、無効パスを削除し低頻度パス（本実施例では２５％未満）を抽出（削除）する処理(図１６の１６２、１６３、１６５)により自動的に求められた自動分類プログラム１６５である。
【００７４】
次に、自動分類プログラム１６５を利用して、分類先のわからないデータに対する自動分類を行う方式について説明する。利用者は利用条件(例えば使用頻度が25%以上など)を設定し、自動修正された自動分類プログラム１６５の実行形式を分類先のわからない新規の連想観測変数集合Eに適用すれば、自動分類することが可能となる。使用頻度が0%以上とした場合は、無効パス及び低頻度パスも削除（抽出）されずに分類されるので、例えば、それらの結果は、連想能力の低いテキストファイル(例 File_test1.txt)として出力される。以下のFile_test1.txtにおいては、決定木を生成する段階において含まれない分類、すなわち、決定木にとって未知の分類先であるEL系が全て2=migration系として誤った分類がなされ、out-flagが立っいるのがわかる。他方、利用条件（反復条件）として頻度25%以上とした場合は、無効パス及び低頻度パスを削除（コメントアウト）した自動分類プログラム１６５の実行形式により分類される。それらの結果はテキストファイル(例 File_test2.txt)として出力される。以下のFile_test2.txtにおいては、EL系が全て0=unknown(0.000000)として正しく分類されているのがわかる。これは、本来2=migrationに属する4番目のパスの使用頻度が25%未満のためである。
【００７５】
無効パス及び低頻度パス削除(抽出)前のFile_test1.txt
EL
レコード番号, 分類-パス番号
1,             24.000000, out
2,             24.000000, out
3,             24.000000, out
4,             24.000000, out
5,             24.000000, out
無効パス及び低頻度パス削除(抽出)後のFile_test2.txt
EL
レコード番号, 分類-パス番号
1,               0.000000
2,               0.000000
3,               0.000000
4,               0.000000
5,               0.000000
以上より、学習観測変数集合L(0)の多くのレコードを通したパス、すなわち第１観測変数集合のみを通すパスを残し、それ以外のパスを削除(抽出)する、若しくはその逆をすることにより、標準観測変数集合（あるいは、非標準観測変数集合）のみを抽出することが可能となる。この抽出処理には、決定木が作成された後に、頻度パスの頻度の度合いを設定（変更）することが重要となる。前記のFile_testで用いたデータについて無効パス及び低頻度パス削除（抽出）前と削除（抽出）後の比較を行った結果を図１８（HOODG）に示す。ここで列欄１７０は使用頻度が０％以上、すなわち、無効パス及び低頻度パスを削除（抽出）しない場合で、列欄１７１は、使用頻度が２５％以上、すなわち、無効パス及び低頻度パスを削除（抽出）した場合であることを示す。また、網掛けされている部分１７２は誤った分類結果を示し、１７３のｕｎｋｎｏｗｎで示した部分は未知の分類である結果を示す。なお、列欄１７０と列欄１７１における番号は、プログラム上ではコメントアウトしているだけなので、同じ番号は同一の分類先で同一のパスを示す。
【００７６】
Ｃ４．５のようなTop-down方式により求められた決定木(図１３)に対しても同様な処理により自動分類プログラムを自動生成できる。 そして、Ｃ４．５の場合にも、図１６の自動分類プログラム生成方法（装置）におけるパス頻度抽出部１６４にて各パスの使用頻度を計算し、低頻度パスを削除（抽出）したプログラム(図１６の１６２、１６３、１６５)より自動的に求められた分類が可能となる。なお、Ｃ４．５においては、無効パスはアルゴリズム上生成されることはない。
【００７７】
Ｃ４．５による決定木より生成された自動分類プログラムを、前記のFile_testで用いたレコード集合に適用した結果を図１９に示す。Ｃ４．５を用いて生成した自動分類プログラムでは、ＨＯＯＤＧを用いて生成した自動分類プログラムに対して、低頻度パスを削除（抽出）後に、網掛けされている部分、すなわち、誤った分類である結果を多く出している。
【００７８】
以上説明したように生成した自動分類プログラム１６５を用いて分類解析を行い、unknownとして抽出された明細書の文章レコード集合については、他の学習観測変数集合から生成された自動分類プログラムによってさらに分類され、最終的な第２観測変数集合(第１観測変数集合)を得る。すなわち、連想（予測）の自動分類が可能となる。以上の実施例では、学習時に、データ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)=BT(i),TT(i)を構築し、モデル分割時に、前記決定木T(i)のパス部分集合に乗る第１観測変数集合C(i)と乗らない補集合IC(i)とに分類し、D(i+1)=IC(i)として、i=0,1,…,p-1と繰り返し、p-1回目に得られた補集合IC(p-1)を第２観測変数集合とするように反復して決定木集合{T(0),T(1),…,T(p-1)}を生成する反復決定木分割方法について説明した。そして、パス部分集合をパスの頻度依存によって選択する場合、HOODGのアルゴリズムとC4.5によるアルゴリズムの違いによる結果の違いがあることがわかった。C4.5を使用して、本発明の反復決定木分割法を適用する場合には、規格化された情報利得が高い入力属性群、すなわち第１観測変数集合C(i)を削除することによってC(i)に乗らない補集合IC(i)(規格化された情報利得の低い入力属性群)を選択し、D(i+1)=IC(i)として、i=0,1,…,p-1と繰り返す方法もある。
【００７９】
図２０は、本発明の未分類情報に対する自動分類を行う反復決定木分割法である。未分類の母集団、例えば、分類が未知の特許公報要約集、すなわち、特定分野の全体文章の部分集合から自動分類プログラム用単語抽出処理部１８０に入力して形態素解析によって入力属性単語（用語）を抽出する。それをレコード集合、すなわち、データ集合として、直接、図１７に示すように生成された自動分類プログラム（C言語の実行プログラム）１８１に入力される。  結果として、１８２の分類A、B、C、・・・、分類その他(unknown)（１８３）に自動分類される。  この分類その他（１８３）、すなわち第２観測変数集合対して、他の自動分類プログラム（C言語の実行プログラム）１８４に入力されると、分類集合（１８５）と分類その他（１８６）に自動分類される。反復させる条件には、頻度パスの頻度を変更したり、C4.5に適する規格化された情報利得の値の順序を変更させるなどがあるが、その他の方法でもよい。すなわち、パスは根から葉に至るものだけでなく節点と節点の間であればパス部分集合に属するので、その選択は、決定木生成アルゴリズムに依存して、最良な方法とすればよい。
【００８０】
次に本発明の情報提供システムについて図２１を用いて説明する。情報提供システムは、サーバー１９０とクライアント１９３間の通信手段１９４を介して、例えば、クライアント１９３の要求に対する情報分析などの処理を演算処理装置１９１、記憶装置（データベース）１９２を用いて行い、その分析結果を有線もしくは無線を用いたインターネットなどの通信手段１９４を介してクライアント１９３に返信し、課金処理を行う。すなわち、図２１ に示すサーバーは、あらかじめ用意されている情報、もしくはクライアントから与えられた情報を有し、これらのデータ集合Ｄ（ｉ）から選択された学習観測変数集合Ｌ（ｉ）を用いてルールモデルを表現する決定木Ｔ（ｉ）(BT(i),TT(i))を生成する。またサーバー１９０には、前記処理を行うための情報をデータベースとして記憶する記憶装置１９２と、前記処理を行うための演算処理装置１９１を含む。そして、クライアント１９３から与えられる新規のデータに対して、前記決定木Ｔ（ｉ）のパス部分集合に乗る第１観測変数集合Ｃ（ｉ）と乗らない補集合ＩＣ（ｉ）とに分類する処理をサーバー１９０にて行う。前記処理には、本発明のテキストマイニング、データマイニング、及びデータマイニングにおける反復決定木分割法を含み、前記処理により得られた可視化情報を前記データベース１９２に記憶する。前記処理を行った結果として、決定木情報、可視化された決定木情報、自動分類プログラム、クライアント１９３から与えられた情報に対する分類結果などをクライアント１９３に返信し、図２１の演算処理装置１９１にて課金処理を行う。
【００８１】
（付記１）特定分野におけるテキスト情報の形態素属性を抽出し記憶する属性情報生成手段と、不要な情報を除去し重要な用語を選別してルールモデル（決定木）を生成するための入力属性とし、前記の各用語の重要度を連続入力属性値としてルールモデル（決定木）を生成するデータマイニング手段を有することを特徴とする知識抽出装置または媒体。
【００８２】
（付記２）学習時に、データ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)を構築し、モデル分割時に、前記決定木T(i)のパス部分集合に乗る第１観測集合C(i)と乗らない補集合IC(i)の第２観測集合C(i)とに分類することを特徴とする知識抽出装置または媒体。
【００８３】
（付記３）学習時に、データ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)を構築し、モデル分割時に、前記決定木T(i)のパス部分集合に乗る第１観測変数集合C(i)と乗らない補集合IC(i)とに分類し、D(i+1)=IC(i)として、i=0,1,…,p-1と繰り返し、p-1回目に得られた補集合IC(p-1)を第２観測変数集合とするように反復して決定木集合{T(0),T(1),…,T(p-1)}を生成する反復決定木分割手段を少なくとも有することを特徴とする知識抽出装置または媒体。
【００８４】
（付記４）学習時に、データ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)を構築し、前記決定木T(i)に対応するパスのif-thenルールを計算機言語に変換するプログラム自動変換手段と、前記プログラムに出力属性のわからないデータ集合の入力属性集合を入力して、前記決定木T(i)にある出力属性に分類されるか調べ、さらにその出力属性に至るパス情報を抽出する予測分類手段を有することを特徴とする付記１〜３のいずれか一項にかかる知識抽出装置または媒体。
【００８５】
（付記５）学習時にデータ集合D(i)から選択された学習観測変数集合L(i)を使ってルールモデルを表現する決定木T(i)に対応する情報をデータベースとして記憶する記憶手段と、顧客から与えられた新規のデータ集合D'(i)に対して前記決定木T(i)のパス部分集合に乗る第１観測変数集合C(i)と乗らない補集合IC(i)の第２観測変数集合とに分類する処理手段と、顧客から与えられた新規のデータ集合D'(i)を受信し、前記処理手段によって少なくとも得られた分類結果R(i)を前記顧客のクライアントに返信する通信手段とを有することを特徴とする付記１〜４のいずれか一項にかかる知識抽出装置または媒体を含む情報提供システム。
【００８６】
（付記６）前記データ集合は、特許情報であることを特徴とする付記１〜５のいずれか一項にかかることを特徴とするデータマイニングによる知識抽出知識抽出装置または媒体。
【産業上の利用可能性】
【００８７】
本発明のは形態素解析に基づくテキストマイニングを利用するデータマイニング方式で、及び、ルールモデルを部分決定木の集合として分割にする帰納的データマイニング方法に関する。本発明の実施例では、公報明細書の特許文章を対象として説明したが、特許文章に限らず、政治、経済、医療、福祉、言語、環境、経営、顧客、及びその他一般的な情報に対して本発明を用いることにより、自動分類、情報分析、学習、及び予測が可能となる。
【図面の簡単な説明】
【００８８】
【図１】データマイニングの実行プロセスを説明する図である。
【図２】決定木の例を説明する図である。
【図３】構文木の例を説明する図である。
【図４】属性データを説明する図である。
【図５】HOODG（１）を説明する図である
【図６】HOODG（２）を説明する図である。
【図７】HOODGにより生成される3ビットのパリティ関数の構築を説明する図である。
【図８】データマイニングを実行する本発明の装置を説明する図である。
【図９】本発明の形態素解析プログラム（装置）を説明する図である
【図１０】本発明のテキスト・データマイニングのフローチャートを説明する図である。
【図１１】本発明の入力用単語群抽出プログラムを説明する図である。
【図１２（ａ）】連続属性値を用いて生成された本発明の決定木BT（HOODG）を説明する図である。
【図１２（ｂ）】離散属性値を用いて生成された決定木BT（HOODG）を説明する図である。
【図１３】連続属性を用いて生成された本発明の決定木TT（C4.5）を説明する図である。
【図１４（ａ）】本発明によって生成された頻度依存パス（全てのパスを含む）を説明する図である。
【図１４（ｂ）】本発明によって生成された頻度依存パス（補集合のパスのみ）を説明する図である。
【図１５】本発明の反復決定木分割法におけるファイル処理を説明する図である。
【図１６】本発明の分類プログラム自動生成方法（装置）を説明する図である。
【図１７（ａ）】本発明で生成された自動分類プログラムを説明する図である。
【図１７（ｂ）】本発明で生成された自動分類プログラムを説明する図である。
【図１７（ｃ）】本発明で生成された自動分類プログラムを説明する図である。
【図１８】本発明の自動分類プログラム（ＨＯＯＤＧの結果より生成）を分類先のわからないデータに適用した結果を説明する図である。
【図１９】本発明の自動分類プログラム（Ｃ４．５の結果より生成）を分類先のわからないデータに適用した結果を説明する図である。
【図２０】本発明の未分類情報に対する自動分類方法（装置）を説明する図である。
【図２１】本発明の情報提供システムを説明する図である。
【符号の説明】
【００８９】
１０    情報データベース
１１    前処理データ
１２    変換済みデータ
１３    情報抽出
２０    節点V
２１    有向枝E
２２    根(root)
２３    葉(leaf)
３０    楕円形の節点
３１    動詞（Ｖ）
３２    名詞（Ｎ）
４０    連続属性（連続変数の離散化変数）
４１    離散属性
４２    区間変数（ａからｂを［ａ，ｂ］と表す）
５２、５３、５４、５５    HOODGの有向枝
６０    HOODGの定数節点(constant node) 
８０    中央演算処理装置（ＣＰＵ）
８１    メモリ
８２    ハードディスク
８３    ディスプレイ
８４    入力装置
８５    入れ替え可能な外部記憶装置
９０    形態素解析部
９１    「情報を解析する上で、コスト削減を成し得るデータマイニングの構築法を提供する。」という原文内容
９２    形態素解析プログラム
９３    辞書（同義語辞書）
９４    形態素
９５    形態素解析プログラム
９６    更新された辞書
９７    形態素
１００  テキストマイニングプログラム（処理）
１０１  入力用単語抽出プログラム（処理）
１０２  データマイニングプログラム（処理）
１０３  決定木生成部１０３
１０４  分類プログラム自動生成部
１１０  単語使用頻度抽出部
１１１  入力属性用単語群生成部
１１２  データマイニング処理入力表作成部
１５０  学習用ファイルData file(File.data)
１５１  試験用ファイルTest file(Ｆile.test)
１５３  seen（パスあり）
１５４  unseen（パスなし）
１５５、１５７  correct
１５６、１５８  incorrect
１６０  分類プログラム自動生成方法（装置）
１６１  ルール抽出部
１６２  ルール言語表現変換部
１６３  自動分類プログラム
１６４  パスの頻度抽出部
１６２  ルール言語表現変換部
１６５  抽出された自動分類プログラム（C言語の実行プログラム）
１７０ 使用頻度が０％以上、すなわち、無効パス及び低頻度パス(25%未満)を削除（抽出）しない場合
１７１ 使用頻度が２５％以上、すなわち、無効パス及び低頻度パス(25%未満)を削除（抽出）する場合
１７２ 網掛けされている部分は誤った分類結果
１７３ ｕｎｋｎｏｗｎは未知の分類であるという結果
１８０  自動分類プログラム用単語抽出処理部
１８１  自動分類プログラム
１８２  分類A、B、C、・・・の分類集合
１８３  分類その他
１８４  他の自動分類プログラム（C言語の実行プログラム）
１８５  分類集合
１９０  サーバー
１９１  演算処理装置
１９２  記憶装置（データベース）
１９３  クライアント
１９４  通信手段
１９５  インターフェース
【図１】
2005078240.tif 000017
【図２】
2005078240.tif 000018
【図３】
2005078240.tif 000019
【図４】
2005078240.tif 000020
【図５】
2005078240.tif 000021
【図６】
2005078240.tif 000022
【図７】
2005078240.tif 000023
【図８】
2005078240.tif 000024
【図９】
2005078240.tif 000025
【図１０】
2005078240.tif 000026
【図１１】
2005078240.tif 000027
【図１２（ａ）】
2005078240.tif 000028
【図１２（ｂ）】
2005078240.tif 000029
【図１３】
2005078240.tif 000030
【図１４（ａ）】
2005078240.tif 000031
【図１４（ｂ）】
2005078240.tif 000032
【図１５】
2005078240.tif 000033
【図１６】
2005078240.tif 000034
【図１７（ａ）】
2005078240.tif 000035
【図１７（ｂ）】
2005078240.tif 000036
【図１７（ｃ）】
2005078240.tif 000037
【図１８】
2005078240.tif 000038
【図１９】
2005078240.tif 000039
【図２０】
2005078240.tif 000040
【図２１】
2005078240.tif 000041