(57)【要約】【課題】分析用データベースに効率的且つ効果的にデータを補充する。【解決手段】分析用データベースに基づいて、ある事例の項目のデータを入力として当該事例がいずれのクラスに属するかを出力する判別知識を生成する（ステップ２）。項目のデータが類似し尚且つ属するクラスが異なる類似事例を分析用データベースの中から特定し、当該類似事例を差別化するために有効な追加項目を特定し、当該追加項目に関わる分析用データベース中にある全ての事例分のデータを分析用データベース以外の情報源より分析用データベースに追加する（ステップ８）。当該拡充された分析用データベースに基づいて新たな判別知識を生成する（ステップ２）。【選択図】　　　　図１
2004038412.tif 000002
【特許請求の範囲】
【請求項１】
事例毎および項目毎に整理された情報と前記事例のそれぞれが予め定められた複数のクラスのうちのいずれのクラスに属するかを表す情報とを有する分析用データベースに基づいて、ある事例の項目のデータを入力として当該事例がいずれのクラスに属するかを出力する判別知識を生成するデータマイニングの方法であり、前記項目のデータが類似し尚且つ属するクラスが異なる類似事例を前記分析用データベースの中から特定するステップと、前記類似事例を差別化するために有効な追加項目を特定するステップと、前記追加項目に関わる前記分析用データベース中にある全ての前記事例分のデータを前記分析用データベース以外の情報源より前記分析用データベースに追加するステップと、当該拡充された前記分析用データベースに基づいて前記判別知識を生成するステップとを少なくとも有することを特徴とするデータマイニング方法。
【請求項２】
前記類似事例を差別化するために入力された推薦項目の中から前記追加項目を特定することを特徴とする請求項１記載のデータマイニング方法。
【請求項３】
予め定められた規則に従って前記情報源の中から前記追加項目を特定することを特徴とする請求項１記載のデータマイニング方法。
【請求項４】
生成した前記判別知識の精度が予め定めた基準を満足しない場合に、前記追加項目に関するデータを前記分析用データベースに追加して、当該拡充された前記分析用データベースに基づいて新たな判別知識を生成することを特徴とする請求項１から３のいずれかに記載のデータマイニング方法。
【請求項５】
生成した前記判別知識の精度が予め定めた基準を満足しない場合に、前記分析用データベースに存在しない追加事例に関するデータを前記情報源より前記分析用データベースに追加して、当該拡充された前記分析用データベースに基づいて新たな判別知識を生成することを特徴とする請求項１から３のいずれかに記載のデータマイニング方法。
【請求項６】
生成した前記判別知識に基づいて判別困難な領域を特定し、前記判別困難領域に該当し尚且つ前記分析用データベースに存在しない検証用事例について前記判別知識を適用し、その結果に基づいて前記判別知識の精度を検証することを特徴とする請求項４または５に記載のデータマイニング方法。
【請求項７】
前記判別知識の精度が予め定めた基準を満足しない場合に、前記検証用事例に関するデータを前記追加事例に関するデータとして前記分析用データベースに追加することを特徴とする請求項６記載のデータマイニング方法。
【請求項８】
前記追加項目または前記追加事例に関するデータを前記分析用データベースに追加するステップと、当該拡充された前記分析用データベースに基づいて新たな前記判別知識を生成するステップとを、前記判別知識の精度が予め定めた基準を満足するか又は前記追加項目または前記追加事例に関するデータの追加による前記判別知識の精度の向上幅が予め定めた基準を満足しなくなるまで、繰り返すことを特徴とする請求項４から７のいずれかに記載のデータマイニング方法。
【請求項９】
前記判別知識の精度が予め定めた基準を満足しない場合に、前記追加事例に関するデータを前記分析用データベースに追加し、前記追加事例に関するデータの追加による前記判別知識の精度の向上幅が予め定めた基準を満足しない場合に、前記追加項目に関するデータを前記分析用データベースに追加することを特徴とする請求項８記載のデータマイニング方法。
【請求項１０】
事例毎および項目毎に整理された情報と前記事例のそれぞれが予め定められた複数のクラスのうちのいずれのクラスに属するかを表す情報とを有する分析用データベースと、前記項目のデータが類似し尚且つ属するクラスが異なる類似事例を前記分析用データベースの中から特定する手段と、前記類似事例を差別化するために有効な追加項目を特定する手段と、前記追加項目に関わる前記分析用データベース中にある全ての前記事例分のデータを前記分析用データベース以外の情報源より前記分析用データベースに追加する手段と、当該拡充された前記分析用データベースに基づいて、ある事例の項目のデータを入力として当該事例がいずれのクラスに属するかを出力する判別知識を生成する手段とを少なくとも有することを特徴とするデータマイニングシステム。
【請求項１１】
コンピュータを、事例毎および項目毎に整理された情報と前記事例のそれぞれが予め定められた複数のクラスのうちのいずれのクラスに属するかを表す情報とを有する分析用データベースと、前記項目のデータが類似し尚且つ属するクラスが異なる類似事例を前記分析用データベースの中から特定する手段と、前記類似事例を差別化するために有効な追加項目を特定する手段と、前記追加項目に関わる前記分析用データベース中にある全ての前記事例分のデータを前記分析用データベース以外の情報源より前記分析用データベースに追加する手段と、当該拡充された前記分析用データベースに基づいて、ある事例の項目のデータを入力として当該事例がいずれのクラスに属するかを出力する判別知識を生成する手段として機能させるためのデータマイニング用プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、データマイニングの方法およびシステム並びにプログラムに関する。さらに詳述すると、本発明は、データマイニングに用いるデータベースを効率的且つ効果的に拡充するための方法およびシステム並びにプログラムに関する。
【０００２】
【従来の技術】
データマイニングは、膨大なデータの中に隠れた有用な相関関係を発見する手法である。例えばＰＯＳ（販売時点情報管理）システムから得られたデータに対し、売れ筋商品や顧客の好みを見い出すなど、データを有益に使いこなすための有力手段として期待されている。企業が持つ大量のデータを分析し、意思決定に役立つ「知識」を抽出するデータマイニングは、企業間競争に勝ち残るために不可欠な技術となりつつある。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来のデータマイニングでは、分析の対象となるデータが既にデータベースとして分析者の手元に整っている状態、つまり閉じた環境を対象として行なわれている。即ち、データマイニングを行う時点で分析の対象となるデータは限られたものであり、当該現有のデータのみからでは有効な「知識」が得られない場合がある。
【０００４】
そこで、分析者の手元にある情報源以外の外部の情報源から有効な情報を効率的に得るための仕組みが必要となる。ところが、従来のデータマイニングでは、このようなデータベースの拡充の考慮はなされていない。
【０００５】
データベースを無闇に拡充しても、分析に要する時間やコストの無駄となる。また、せっかく入手した外部データが結果的に知識の改善につながらないといった危険性もある。
【０００６】
そこで本発明は、分析用データベースに効率的且つ効果的にデータを補充して精度の高い有用な知識を抽出するデータマイニング方法およびシステム並びにプログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
かかる目的を達成するため、請求項１記載の発明は、事例毎および項目毎に整理された情報と事例のそれぞれが予め定められた複数のクラスのうちのいずれのクラスに属するかを表す情報とを有する分析用データベースに基づいて、ある事例の項目のデータを入力として当該事例がいずれのクラスに属するかを出力する判別知識を生成するデータマイニングの方法であり、項目のデータが類似し尚且つ属するクラスが異なる類似事例を分析用データベースの中から特定するステップと、類似事例を差別化するために有効な追加項目を特定するステップと、追加項目に関わる分析用データベース中にある全ての事例分のデータを分析用データベース以外の情報源より分析用データベースに追加するステップと、当該拡充された分析用データベースに基づいて判別知識を生成するステップとを少なくとも有するようにしている。
【０００８】
したがって、似て非なる類似事例を特定し、当該類似事例を差別化するために有効な追加項目に関するデータを分析用データベースに追加することで、分析用データベースに効率的且つ効果的にデータを補充して、精度の高い有用な判別知識を抽出することができる。
【０００９】
また、請求項２記載の発明は、請求項１記載のデータマイニング方法において、類似事例を差別化するために入力された推薦項目の中から追加項目を特定するようにしている。推薦項目の入力は、例えば分析者等のデータマイニングの実行者によって行われる。類似事例が特定されているので、分析者等による具体的な事例（類似事例）についての対比検討が可能になる。これにより、「判別知識の精度向上のためにどのような追加項目が必要か？」といった漠然とした一般的な質問に比べて、分析者等の問題意識が鮮明になり、分析者等は的確な推薦項目を入力し易くなる。したがって、分析者等の知識を効果的に引き出すことができる。
【００１０】
また、請求項３記載の発明は、請求項１記載のデータマイニング方法において、予め定められた規則に従って情報源の中から追加項目を特定するようにしている。したがって、推薦項目の入力を待たずに、自動で判別知識の洗練に有効な追加項目を特定する。この場合、分析者等のデータマイニングの実行者には項目を推薦するための知識は要求されず、分析者等の判断又は能力によって判別知識の精度が大きく左右されてしまうことを回避できる。
【００１１】
また、請求項４記載の発明は、請求項１から３のいずれかに記載のデータマイニング方法において、生成した判別知識の精度が予め定めた基準を満足しない場合に、追加項目に関するデータを分析用データベースに追加して、当該拡充された分析用データベースに基づいて新たな判別知識を生成するようにしている。したがって、不必要な分析用データベースの拡充が回避される。
【００１２】
また、請求項５記載の発明は、生成した判別知識の精度が予め定めた基準を満足しない場合に、分析用データベースに存在しない追加事例に関するデータを情報源より分析用データベースに追加して、当該拡充された分析用データベースに基づいて新たな判別知識を生成するようにしている。したがって、追加項目に関するデータのみならず、分析用データベースに存在しない追加事例に関するデータも分析用データベースに補充して、精度の高い有用な知識を抽出することができる。
【００１３】
また、請求項６記載の発明は、請求項４または５に記載のデータマイニング方法において、生成した判別知識に基づいて判別困難な領域を特定し、判別困難領域に該当し尚且つ分析用データベースに存在しない検証用事例について判別知識を適用し、その結果に基づいて判別知識の精度を検証するようにしている。したがって、少数のデータを用いて効果的な検証を行うことができる。
【００１４】
また、請求項７記載の発明は、請求項６記載のデータマイニング方法において、判別知識の精度が予め定めた基準を満足しない場合に、検証用事例に関するデータを追加事例に関するデータとして分析用データベースに追加するようにしている。この場合、効率的且つ効果的に、分析用データベースに存在しない追加事例に関するデータを分析用データベースに補充することができる。
【００１５】
また、請求項８記載の発明は、請求項４から７のいずれかに記載のデータマイニング方法において、追加項目または追加事例に関するデータを分析用データベースに追加するステップと、当該拡充された分析用データベースに基づいて新たな判別知識を生成するステップとを、判別知識の精度が予め定めた基準を満足するか又は追加項目または追加事例に関するデータの追加による判別知識の精度の向上幅が予め定めた基準を満足しなくなるまで、繰り返すようにしている。この場合、追加項目または追加事例に関するデータによる分析用データベースの拡充は、充分に高精度の判別知識が得られるか、これ以上の精度向上が望めなくなるまで、繰り返される。
【００１６】
また、請求項９記載の発明は、請求項８記載のデータマイニング方法において、判別知識の精度が予め定めた基準を満足しない場合に、追加事例に関するデータを分析用データベースに追加し、追加事例に関するデータの追加による判別知識の精度の向上幅が予め定めた基準を満足しない場合に、追加項目に関するデータを分析用データベースに追加するようにしている。この場合、判別知識の精度が低い場合には、先ず、追加事例に関するデータが分析用データベースに追加され、追加事例に関するデータの追加では、これ以上の精度向上が望めない場合に、追加項目に関するデータが分析用データベースに追加される。したがって、効率的且つ効果的に分析用データベースが拡充される。
【００１７】
また、請求項１０記載のデータマイニングシステムは、請求項１記載のデータマイニング方法を装置化したものである。即ち、請求項１０記載のデータマイニングシステムは、事例毎および項目毎に整理された情報と事例のそれぞれが予め定められた複数のクラスのうちのいずれのクラスに属するかを表す情報とを有する分析用データベースと、項目のデータが類似し尚且つ属するクラスが異なる類似事例を分析用データベースの中から特定する手段と、類似事例を差別化するために有効な追加項目を特定する手段と、追加項目に関わる分析用データベース中にある全ての事例分のデータを分析用データベース以外の情報源より分析用データベースに追加する手段と、当該拡充された分析用データベースに基づいて、ある事例の項目のデータを入力として当該事例がいずれのクラスに属するかを出力する判別知識を生成する手段とを、少なくとも有するようにしている。
【００１８】
また、請求項１１記載のデータマイニング用プログラムは、コンピュータを請求項１０記載のデータマイニングシステムとして機能させるためのプログラムである。即ち、請求項１１記載のデータマイニング用プログラムは、コンピュータを、事例毎および項目毎に整理された情報と事例のそれぞれが予め定められた複数のクラスのうちのいずれのクラスに属するかを表す情報とを有する分析用データベースと、項目のデータが類似し尚且つ属するクラスが異なる類似事例を分析用データベースの中から特定する手段と、類似事例を差別化するために有効な追加項目を特定する手段と、追加項目に関わる分析用データベース中にある全ての事例分のデータを分析用データベース以外の情報源より分析用データベースに追加する手段と、当該拡充された分析用データベースに基づいて、ある事例の項目のデータを入力として当該事例がいずれのクラスに属するかを出力する判別知識を生成する手段として機能させるものである。
【００１９】
【発明の実施の形態】
以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。
【００２０】
図１から図１８に本発明のデータマイニング方法およびデータマイニングシステム並びにデータマイニング用プログラムの実施の一形態を示す。本実施形態のデータマイニング方法は、事例毎および項目毎に整理された情報と各事例が予め定められた複数のクラスのうちのいずれのクラスに属するかを表す情報とを有する分析用データベース１に基づいて、ある事例の項目のデータを入力として当該事例がいずれのクラスに属するかを出力する判別知識を生成するものであり、項目のデータが類似し尚且つ属するクラスが異なる類似事例を分析用データベース１の中から特定するステップと、類似事例を差別化するために有効な追加項目を特定するステップと、追加項目に関わる分析用データベース１中にある全ての事例分のデータを分析用データベース１以外の情報源より分析用データベース１に追加するステップと、当該拡充された分析用データベース１に基づいて判別知識を生成するステップとを少なくとも有するものとしている。
【００２１】
ここで、分析用データベース１に追加するデータとしては、追加項目に関するデータのみには限らず、より高精度の判別知識を得るために、必要に応じて分析用データベース１に存在しない事例に関するデータを追加するようにしても良い。例えば、本実施形態では、生成した判別知識の精度が予め定めた基準を満足しない場合に、追加項目または分析用データベース１に存在しない追加事例に関するデータを分析用データベース１に追加して、当該拡充された分析用データベース１に基づいて新たな判別知識を生成するようにしている。
【００２２】
また、判別知識の精度を検証する方法は、特に限定されるものではないが、例えば本実施形態では、生成した判別知識に基づいて判別困難な領域を特定し、当該判別困難領域に該当し尚且つ分析用データベース１に存在しない検証用事例について判別知識を適用し、その結果に基づいて判別知識の精度を検証するようにしている。
【００２３】
また、生成した判別知識の精度が予め定めた基準を満足しない場合に、分析用データベース１に追加する追加事例に関するデータとして、例えば本実施形態では、上記の検証用事例に関するデータを分析用データベース１に追加するようにしている。ただし、追加事例を選定する規則は必ずしも本実施形態の例に限定されるものではない。
【００２４】
また、追加項目または追加事例による分析用データベース１の拡充をどの程度行うか、追加項目または追加事例による分析用データベース１の拡充をどのようなタイミングで打ち切るかは、必ずしも限定されるものではない。例えば本実施形態では、追加項目または追加事例に関するデータを分析用データベース１に追加するステップと、当該拡充された分析用データベース１に基づいて新たな判別知識を生成するステップとを、判別知識の精度が予め定めた基準を満足するか又は追加項目または追加事例に関するデータの追加による判別知識の精度の向上幅が予め定めた基準を満足しなくなるまで、繰り返すようにしている。
【００２５】
また、追加項目と追加事例に関するデータの分析用データベース１への追加のタイミングは特に限定されず、追加項目と追加事例のどちらを先に追加しても良く、または同じタイミングで追加するようにしても良い。例えば、本実施形態では、判別知識の精度が予め定めた基準を満足しない場合に、先ず追加事例に関するデータを分析用データベース１に追加し、次に追加事例に関するデータの追加による判別知識の精度の向上幅が予め定めた基準を満足しない場合に、追加項目に関するデータを分析用データベース１に追加するようにしている。
【００２６】
本発明のデータマイニング方法は、コンピュータを用いてデータマイニングシステムとして装置化される。コンピュータは、中央処理演算装置（ＣＰＵ）、主記憶装置、外部記憶装置、ディスプレイ等の出力装置、キーボード等の入力装置、外部の情報処理装置との通信インターフェース等を備える周知のものであって良い。このデータマイニングシステムは、事例毎および項目毎に整理された情報と事例のそれぞれが予め定められた複数のクラスのうちのいずれのクラスに属するかを表す情報とを有する分析用データベース１と、項目のデータが類似し尚且つ属するクラスが異なる事例を分析用データベース１の中から特定する手段と、類似事例を差別化するために有効な追加項目を特定する手段と、追加項目に関わる分析用データベース１中にある全ての事例分のデータを分析用データベース１以外の情報源より分析用データベース１に追加する手段と、当該拡充された分析用データベース１に基づいて、ある事例の項目のデータを入力として当該事例がいずれのクラスに属するかを出力する判別知識を生成する手段とを、少なくとも有する。
【００２７】
また、本発明のデータマイニング用プログラムは、本発明のデータマイニング方法をコンピュータを用いてデータマイニングシステムとして装置化するためのプログラムである。このデータマイニング用プログラムは、コンピュータを、事例毎および項目毎に整理された情報と事例のそれぞれが予め定められた複数のクラスのうちのいずれのクラスに属するかを表す情報とを有する分析用データベース１と、項目のデータが類似し尚且つ属するクラスが異なる類似事例を分析用データベース１の中から特定する手段と、類似事例を差別化するために有効な追加項目を特定する手段と、追加項目に関わる分析用データベース１中にある全ての事例分のデータを分析用データベース１以外の情報源より分析用データベース１に追加する手段と、当該拡充された分析用データベース１に基づいて、ある事例の項目のデータを入力として当該事例がいずれのクラスに属するかを出力する判別知識を生成する手段として機能させるものである。
【００２８】
本実施形態では、説明の便宜上、図１１の概念図に示すように、世界中のあらゆるデータを仮想的にサンプル×データ項目という巨大な２次元の表形式のデータベース（仮想データベース）として捉える。
【００２９】
サンプルとは、分析を行う単位となる個別の「事例」である。サンプルは、仮想データベース（図１１）のそれぞれの行で表現される。例えば電気温水器や電磁調理器などのある商品がどのような地域でよく売れるかを予測する販売分析においては、それぞれの都市がサンプルに該当する。本実施形態では、各個別のサンプルをｉまたはｊで表す。
【００３０】
データ項目（属性とも呼ぶ）とは、サンプルの特徴を表す「項目」である。データ項目は、仮想データベース（図１１）のそれぞれの列で表現される。例えば上記販売分析の例においては、販売額、顧客数といった都市の特徴がデータ項目に該当する。本実施形態では、各個別のデータ項目をａと表記する。また、データ項目の集合をＡと表記する。また、ある時点において分析用データベース１に含まれるデータ項目数をｄと表記する。
【００３１】
また、本実施形態では、あるサンプルのデータ項目ａの値をｘａと表記する。特に、特定のサンプルｉのデータ項目ａの値をｘｉａと表記する。また、あるサンプルの各データ項目ａの値の並び（ベクトル）を、Ｘと表記する。また、あるサンプルのデータ項目集合Ａに属する各データ項目ａの値の並び（ベクトル）を、ＸＡと表記する。特に、特定のサンプルｉについての各データ項目ａの値の並び（ベクトル）を、Ｘｉと表記する。また、特定のサンプルｉのデータ項目集合Ａに属する各データ項目ａの値の並び（ベクトル）を、ＸｉＡと表記する。即ち、データ項目集合Ａを特定する必要がある場合にはＸＡまたはＸｉＡを用い、データ項目集合Ａを特定する必要がない場合にはＸまたはＸｉを用いる。また、添え字ｉの変わりに添え字ｊ等を用いたデータは、サンプルｉとは区別されるサンプルｊに関するデータを表す。また、説明の便宜上、データを区別するために、必要に応じてｘ，Ｘの記号に変えてｚ，Ｚを用いる。また、説明の簡単のため、一度定義した記号および表記法は、特に断りが無い限り、本明細書において以下同様の意味を有するものとする。それぞれのサンプルに対しデータ項目集合（Ａ）の値（ＸＡ）が与えられているとき、サンプルは次式で表すことができる。
【００３２】
【数１】
2004038412.tif 000003
【００３３】
また、本実施形態では、実際にデータベース化され、分析者が容易に分析に利用できる形になったデータ群を有する情報源を内部データベース２と呼ぶ。例えば社内にある商品の販売データや顧客データ等が管理されている社内データベースやデータウエアハウス等が、内部データベース２に該当する。内部データベース２は、仮想データベースの一部を構成する。
【００３４】
また、本実施形態では、仮想データベースにおける内部データベース２以外のデータ群を有する情報源を外部データベース３と呼ぶ。例えば、社外のデータベース、または社内に存在しても利用可能な形態になっていないデータ群、または新規調査等で新たにデータベース化する可能性があるデータ群など、一定の時間や費用等を負担しないと利用できないデータ群が、外部データベース３が有するデータに該当する。従って、外部データベース３には、現実にはデータベース化されていないデータ群も含まれる。
【００３５】
また、本実施形態では、データマイニングの対象となるデータ群を有するデータベースを分析用データベース１と呼ぶ。本実施形態における分析用データベース１は、データマイニングの前段階において、内部データベース２に存在する一部のサンプルとデータ項目に関するデータを抽出することで構成される。そして、分析が進むにつれて、分析用データベース１には、内部データベース２または外部データベース３から新たなサンプルやデータ項目に関するデータが補充される。
【００３６】
分析用データベース１には、分析用データベース１中の各サンプルが何れのクラスに属するかを表すクラス情報が格納される。当該クラス情報は、内部データベース２に予め格納されている情報であっても良く、または内部データベース２には格納されておらず分析用データベース１を構成する際に分析者の判断若しくは外部データベース３のデータに基づいて付加する情報であっても良い。
【００３７】
本実施形態における分析用データベース１以外の情報源としては、内部データベース２と外部データベース３とが該当する。分析用データベース１以外の情報源として、内部データベース２と外部データベース３との概念を用いることで、現実の問題に近いモデルを構築することができる。例えば、上記販売分析の例で言えば、分析者は、先ず、商品の販売データや顧客データ等が管理された社内データベース即ち内部データベース２から関連しそうな情報を抜き出して、分析用データベース１を構築し、当該分析用データベース１を用いて分析を行う。そして、必要に応じて、分析用データベース１に含まれないサンプルやデータ項目を内部データベース２から分析用データベース１に補いながら、商品の販売状況を分析する。もし内部データベース２だけでは「なぜある地域で商品が売れて、ある地域で売れないのか」等を分析できない場合には、社内から新たに発掘したデータ、または新たな市場調査により得られたデータ、或いは外部の情報源からのデータ（例えば地域の経済統計データ、年齢別人口構成比等のデータ等）、即ち外部データベース３のデータを、予算を考慮しつつ購入し、分析を行う。
【００３８】
内部データベース２と外部データベース３との大きな違いとしては、例えば次の２点が挙げられる。第１の相違点は、内部データベース２がアクセスコストや収集コスト、時間などの面で無償か、軽微なコストと見なし得るのに対して、外部データベース３は購入料金や新たな保存用データ領域、取得時間など格段にコストがかかる点である。第２の相違点は、内部データベース２はその中身がすでに分っているか、少なくとも、実際のデータを容易に調べられるのに対し、外部データベース３は大体どのような特性のデータであるのかは推定可能であっても、実際にどのようなデータとなっているかはデータを取得するまで、不明若しくは不確実である、という点である。
【００３９】
せっかく入手した外部データベース３のデータが結果的に判別知識の改善につながらないといった危険性もある。このため、精度の高い判別知識を得るために外部データベース３を活用しようとすると、より良い知識の抽出に役立つ可能性の高い外部データベース３の中のデータを適切に特定し、取得コストを全体として低くする外部データ取得の戦略性が重要となる。これは主に内部データベース２までを対象とするものである従来のデータマイニングでは、問題とならなかった新たな課題である。
【００４０】
ここで、本実施形態におけるデータマイニングの目的は、サンプルが属するクラスをデータ項目集合の値から推測する判別知識を得ることである。クラスの区分数は、２つであることが一般的である。この場合、サンプルは、例えば「成」か「否」か、または「有」か「無」か、或いは「正常」か「異常」か、等のように２つのクラスのいずれかに区分される。本実施形態では、例えば顧客情報に基づいて商品の販売の「成」「否」の推定を行う、或いは機器の点検記録から機器の「正常」「異常」を診断する等のように、サンプルが２つのクラスのいずれに属するかをサンプルの情報に基づいて判定する場合について説明する。本実施形態におけるクラスには、「成」と「否」の２つのクラスがあるものとする。上記販売分析の例で言えば、販売に成功した都市が「成」のクラス、失敗した都市が「否」のクラスに該当する。本実施形態では、クラスをｙで表記し、「成」の場合にｙ＝１とし、「否」の場合にｙ＝−１とする。
【００４１】
判別知識は、各サンプルのデータ項目集合Ａの値から各サンプルの「成」「否」を判別するための知識である。判別知識は、例えばデータ項目集合Ａの関数（ｆ（ＸＡ））として表現できる。例えば本実施形態では、判別関数ｆ（ＸＡ）の符号によって、各サンプルの成否を判別する。即ち、本実施形態では、次式に示すように、判別関数ｆ（ＸＡ）の値が０よりも大きければ、当該サンプルは「成」（ｙ＝１）のクラスと判定し、判別関数ｆ（ＸＡ）が０以下であれば、当該サンプルは「否」（ｙ＝−１）のクラスと判定する。
【００４２】
【数２】
ｉｆ　ｆ（ＸＡ）＞０　ｔｈｅｎ　ｙ＝１
ｅｌｓｅ　　　　　　　　　　　　ｙ＝−１
【００４３】
判別関数ｆ（ＸＡ）の形式は、特に限定されるものではないが、分析者にとって理解しやすい形式が望ましく、且つデータに基づいた機械的検証が可能な数理的表現であることが望ましい。この両者を満たす判別関数ｆ（ＸＡ）の代表的な形式として、例えば線形関数の場合と、ラジアル・ベイシス・関数（Ｒａｄｉａｌ　Ｂａｓｉｓ　Ｆｕｎｃｔｉｏｎ、以下、ＲＢＦと表記する）の場合との２つが挙げられる。
【００４４】
線形関数の場合は、判別関数ｆ（ＸＡ）は例えば次式で表される。
【００４５】
【数３】
2004038412.tif 000004
但し、
ＸＡ；次式に示す列ベクトル（１行ｄ列の行列）を表す。
【数４】
2004038412.tif 000005
Ｗ’；次式に示す重みの列ベクトル（１行ｄ列の行列）を表す。
【数５】
2004038412.tif 000006
Ｗ’Ｔ；重みベクトルＷ’の転置行列を表す。
ｗａ；重みを表す。
ｂ；切片を表す。
【００４６】
ＲＢＦの場合は、判別関数ｆ（ＸＡ）は例えば次式で表される。
【００４７】
【数６】
2004038412.tif 000007
但し、
ｙｉ；サンプルｉのクラス値（±１）を表す。
αｉ；重みを表す。ただしαｉ＞０
Ｎ；多次元正規分布を表す。
ＭＡ；データ項目集合Ａに属する各データ項目の平均値のベクトルを表す。
ΣＡ２；データ項目集合Ａに属する各データ項目の共分散行列を表す。
ＳＶ；代表サンプルを表す。
【００４８】
ここで、判別関数ｆ（ＸＡ）が線形関数の場合とＲＢＦの場合とで、どのような意味を持っているのかを説明する。
【００４９】
線形関数の場合は、判別関数ｆ（ＸＡ）はそれぞれのデータ項目の値ｘａの加重和になっている。判別は関数ｆ（ＸＡ）の符号により行われるので、対応する重みｗａの値が大きいデータ項目ａの値ｘａが判別結果に大きな影響を与える。そこで判別関数ｆ（ＸＡ）の重みｗａを調べることによって、どのようなデータ項目が判定に影響を与えるのかを知ることができる。従って線形式の判別知識は、影響の大きなデータ項目による知識とみなせる。
【００５０】
ＲＢＦの場合、数式６においてＮ（・；ＭＡ，ΣＡ２）は、中心ＭＡ、共分散ΣＡ２の多次元正規分布である。尚、Ｎ（・；ＭＡ，ΣＡ２）中の・は、そこに任意の値が入ることを示す。従って、あるＸｉＡに関するＮ（ＸｉＡ；ＭＡ，ΣＡ２）の値は、ＸｉＡが分布の中心ＭＡに近いほど、つまりＸｉＡとＭＡが類似しているほど大きな値を持つ。さらにｙｉの値は、サンプルｉがクラス「成」の場合に＋１、クラス「否」の場合に−１の値を取る。従って、大きな値のαｉに対応するサンプルＸｉＡに類似したサンプルＸｊＡは、ＸｉＡと同じクラスｙｉに属する傾向が強くなる。このようにＲＢＦを選択した場合の判別知識は、αｉが大きい「成」「否」の代表的なサンプルとの比較による事例ベースの知識とみなすことができる。代表的なサンプルとそのデータ項目の値を知ることで、「成」「否」のサンプルの特徴を知ることができる。尚、多次元正規分布Ｎは、平均値から離れるにつれて値が小さくなるので、平均値との類似度を示す良い指標となる。そこで、本実施形態では、多次元正規分布Ｎを類似度Ｎとも呼ぶ。
【００５１】
以上のように、線形関数の場合は特徴的なデータ項目に基づいた知識を得ることができ、ＲＢＦの場合は代表例に基づいた知識を得ることができる。これらの形式は、分析者にとって直感的に理解し易いものであり、意思決定に役立つ知識といえる。
【００５２】
本実施形態では、説明の簡単のために、データ項目の加重和による線形の知識表現を用いた説明を多用する。ただし、ＲＢＦを用いた判別は、次式に示す無限次元の特徴空間Ｆ上での線形判別に対応するため、ＲＢＦでも同様の議論が成り立つ。
【００５３】
【数７】
2004038412.tif 000008
但し、
Ｉ；単位行列を表す。
Ｒｄ；ｄ次元実数空間を表す。
【００５４】
ここで、ｄはその時点での分析用データベース１に含まれるデータ項目数（ｄ＝｜Ａ｜）である。
【００５５】
分析用データベース１に基づいて、判別知識（例えば上記の線形またはＲＢＦによる知識表現を持つ判別知識）を抽出する手法は、特に限定されるものではない。例えば、従来知られた判定手法として、典型的な又は頻度の高い「成」「否」サンプルを記憶し、これらと判定対象との距離（一種の類似度）により、判定対象の成否を判定するものがある。当該判定手法を採用してもよい。
【００５６】
一方、サンプルデータから上記の線形またはＲＢＦによる知識表現を持つ精度の高い判別知識を抽出する手法として、サポートベクトルマシン（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ、以下、ＳＶＭと表記する）がある。ＳＶＭでは、データ項目値が類似しているが成／否が異なるサンプルの組を記憶し、これらと判定対象との距離により、判定対象の成否を判定する。データ項目値が類似しているが成／否が異なるサンプルが、サポートベクトルとなる。すべてのサンプルの成否を正しく判別できる判別面が存在する場合、サポートベクトルは判別境界の正確な位置情報を与えるため、一般に高い判別精度を持つ。いくつかの例外サンプルがその成否とは逆の判別領域に侵入する場合は、侵入距離に応じたペナルティＣを課すことで、例外サンプルを自動的に特定し、これらを除外した判別面を決定できる。これをｃ−ＳＶＭと呼ぶ。特に「成」サンプルの「否」領域への侵入と、「否」サンプルの「成」領域への侵入に異なるペナルティＣ＋、Ｃ−を課す場合をｕｎｂａｌａｎｃｅｄ　ｃ−ＳＶＭと呼ぶ。
【００５７】
ｃ−ＳＶＭは高精度である点以外にも、誤分類を許容する点や、信頼性の高い判定が困難な領域を示すことができるなどの特徴を持ち、判別知識を抽出する手法として好適である。そこで、本実施形態では、判別知識生成手法として、ｃ−ＳＶＭを使用し、「成」と「否」のサンプル数に大きな差がある場合には　ｕｎｂａｌａｎｃｅｄ　ｃ−ＳＶＭを使用する。以下に、ｃ−ＳＶＭ及び　ｕｎｂａｌａｎｃｅｄ　ｃ−ＳＶＭの考え方と定式化の詳細について説明する。
【００５８】
ｃ−ＳＶＭでは、次式に示す判別境界に最も近い正例（「成」）および負例（「否」）との距離を最大とするように、教師データとしての分析用データベース１に基づいて、特徴列ベクトルφ（Ｘ）の各要素（φ１（Ｘ），φ２（Ｘ），…，φｎＦ（Ｘ））に対する重み列ベクトルＷの各要素（ｗ１，ｗ２，…，ｗｎＦ）を決定する。
【００５９】
【数８】
ｆ（Ｘ）＝ＷＴ・φ（Ｘ）＋ｂ
但し、
Ｗ；次式に示す重みの列ベクトル（１行ｎＦ列の行列）を表す。
【数９】
Ｗ＝（ｗ１，ｗ２，…，ｗｎＦ）
ＷＴ；重みベクトルＷの転置行列を表す。
φ（Ｘ）；次式に示す特徴空間Ｆ中のＸの特徴列ベクトル（１行ｎＦ列の行列）を表す。
【数１０】
φ（Ｘ）＝（φ１（Ｘ），φ２（Ｘ），…，φｎＦ（Ｘ））
ｎＦ；特徴ベクトル空間の次元（要素数）を表す。
【００６０】
即ち、サンプルＸの高次特徴ベクトルφ（Ｘ）の空間で線形の判別面ｆ（Ｘ）＝ＷＴφ（Ｘ）＋ｂを形成し、ｆ（Ｘ）の正負によりサンプルの成否を判定する。この時、線形判別面と判別面に最も近いサンプル（即ちサポートベクトル）との距離｜ｆ（Ｘ）｜／‖Ｗ‖を最大化するようにＷ，ｂを決定する。尚、‖Ｗ‖は次式に示すユークリッド距離を示す。
【数１１】
2004038412.tif 000009
【００６１】
ただし、例外サンプル群｛Ｘｉ｝に対しては、次式に示す侵入距離ξｉに比例したペナルティΣＣｉξｉを考える。但し、ｍａｘ（「　」，０）は、（　）内の最大値を得る関数であり、「　」内が負なら０、負でなければ「　」内の値をとる。
【００６２】
【数１２】
ξｉ＝ｍａｘ（１−ｙｉｆ（Ｘｉ），０）
【００６３】
成否サンプルに対するペナルティＣｉを例えば次式で表す。
【００６４】
【数１３】
2004038412.tif 000010
【００６５】
この時、ｆ（Ｘ）を構成するＷＴφ（Ｘ）とｂは、数式１４で表される２次計画問題の解αｉにより、数式１５および数式１６のように求めることができる。
【００６６】
【数１４】
2004038412.tif 000011
但し、０≦αｉ≦Ｃｉ
ｍｉｎ添え字ｋ（ｋの関数ｇ（ｋ））；ｇ（ｋ）をｋに関して最小化する問題を表す。
【００６７】
【数１５】
2004038412.tif 000012
【００６８】
【数１６】
2004038412.tif 000013
但し、０＜αＳＶ＋ｙＳＶ＋＜Ｃ＋，０＞αＳＶ−ｙＳＶ−＞−Ｃ−
ＳＶ＋；「成」の代表サンプルを表す。
ＳＶ−；「否」の代表サンプルを表す。
【００６９】
ここで、Ｋ（Ｘ，Ｚ）は、カーネル関数と呼ばれ、次式で表される。
【００７０】
【数１７】
Ｋ（Ｘ，Ｚ）＝φ（Ｘ）Ｔφ（Ｚ）
φ（Ｘ）Ｔ；特徴ベクトルφ（Ｘ）の転置行列を表す。
φ（Ｚ）；特徴空間Ｆ中のＺの特徴ベクトルを表す。
【００７１】
カーネル関数の具体的例としては、線形カーネル関数、多項式カーネル関数、ＲＢＦカーネル関数の３つがある。線形カーネル関数は、判別関数が線形の場合に対応し、次式で表せる。
【数１８】
2004038412.tif 000014
【００７２】
ｎ次多項式カーネル関数は、判別関数がｎ次多項式関数の場合に対応し、次式で表せる。
【数１９】
2004038412.tif 000015
但し、
ｎ；多項式の次数を表す。
【００７３】
ＲＢＦカーネル関数は、判別関数がＲＢＦによる場合に対応し、次式で表せる。
【数２０】
2004038412.tif 000016
但し、
Σ２；共分散行列を表す。
【００７４】
特に、各データ項目に相関がない場合のＲＢＦカーネル関数がしばしば用いられ、この場合のＲＢＦカーネル関数は次式で表される。
【数２１】
2004038412.tif 000017
但し、ｄはデータ項目集合Ａの大きさ（項目数）である。
【００７５】
なお、０＜αｉ＜ＣｉとなるＸｉが第１種のサポートベクトルとなり、線形判別面から距離±１／‖Ｗ‖の面上に並ぶ。αｉ＝ＣｉとなるＸｉは第２種のサポートベクトルとなり、±１／‖Ｗ‖の面からその成否ｙｉと逆方向にξｉ／‖Ｗ‖だけ侵入をする例外サンプルとなる。αｉの値は判別における各サポートベクトルの重要度を示す。例外サンプルも２種類に分かれる。０＜ξｉ＜１のとき、そのサンプルは「誤判定」とはならず、ｆ（Ｘｉ）により正しく判定されるが、その判定の信頼性は低い。一方、ξｉ＞１のとき、そのサンプルの判別結果ｓｉｇｎ（ｆ（Ｘｉ））は実際のｙｉと異なり、真の「誤判定」サンプルとなる。ここで、ｓｉｇｎ（　）は、数式２に基づいて（　）内の符号より＋１または−１を得る関数である。
【００７６】
本実施形態におけるデータマイニングの処理の一例を図１に示すフローチャートを用いて説明する。先ず、分析用データベース１を用意する（ステップ１）。次に、分析用データベース１に基づいて判別知識を生成する（ステップ２）。次に、生成した判別知識の精度が予め定めた基準を満足するか検証する（ステップ３）。判別知識の精度が予め定めた基準を満足していれば（ステップ４；Ｙｅｓ）、データマイニングを終了する。
【００７７】
一方、判別知識の精度が予め定めた基準を満足していなければ（ステップ４；Ｎｏ）、分析用データベース１に追加事例に関するデータを追加する必要があるか判断する（ステップ５）。分析用データベース１に追加事例に関するデータを追加する必要があれば（ステップ５；Ｙｅｓ）、分析用データベース１に追加事例に関するデータ（仮想データベース（図１１）の行に対応するデータ）を追加する（ステップ６）。
【００７８】
そして、拡充された分析用データベース１に基づいて新たな判別知識を生成する（ステップ２）。分析用データベース１への追加事例に関するデータの追加（ステップ６）は、判別知識の精度が予め定めた基準を満足するか（ステップ４；Ｙｅｓ）、分析用データベース１に追加事例に関するデータを追加する必要が無くなるまで（例えば当該データの追加により判別知識の精度の向上が望めなくなるまで、ステップ５；Ｎｏ）、繰り返される。
【００７９】
分析用データベース１に追加事例に関するデータを追加することによっては、判別知識の精度の向上幅が予め定めた基準を満足しない等により、分析用データベース１に追加事例に関するデータを追加する必要が無ければ（ステップ５；Ｎｏ）、分析用データベース１に追加項目に関するデータを追加する必要があるか判断する（ステップ７）。分析用データベース１に追加項目に関するデータを追加する必要があれば（ステップ７；Ｙｅｓ）、分析用データベース１に追加項目に関するデータ（仮想データベース（図１１）の列に対応するデータ）を追加する（ステップ８）。
【００８０】
そして、拡充された分析用データベース１に基づいて新たな判別知識を生成する（ステップ２）。分析用データベース１への追加項目に関するデータの追加（ステップ８）は、判別知識の精度が予め定めた基準を満足するか（ステップ４；Ｙｅｓ）、分析用データベース１に追加項目に関するデータを追加する必要が無くなるまで（例えば当該データの追加により判別知識の精度の向上が望めなくなるまで、ステップ７；Ｎｏ）、繰り返される。
【００８１】
以下に、上記の各ステップについて、より詳細に説明する。
【００８２】
データマイニングの過程に記憶容量や実行時間等といった制約がないなら、すべてのサンプルのデータを内部データベース２から取得しても良い。しかし現実には各種の制約が課せられる。このような制約下では、できるだけ少数のサンプルのデータを用いることが好ましい。そこで、本実施形態では、内部データベース２に存在する一部のサンプルに関するデータを抽出して、分析用データベース１を構成する（ステップ１）。尚、当該内部データベース２から分析対象となるサンプルのデータを抽出する処理は、分析者の判断のもとに分析者の操作によって行なっても良く、または予め定めた一定の規則に基づいてデータマイニングシステムのコンピュータ処理によって自動で行なうようにしても良い。
【００８３】
そして、ステップ２では、データマイニングシステム（コンピュータ）が備える演算機能により、分析用データベース１に格納されたデータに基づいて、判別知識としての判別関数ｆ（ＸＡ）を生成する。
【００８４】
ステップ２で生成される判別知識は、分析用データベース１のみに基づく知識である。当該判別知識が他のデータでも正しいかどうか検証を行う必要がある。これを行うのがステップ３である。ステップ３の判別知識の検証処理を詳細化した一例を図２のフローチャートに示す。本実施形態における判別知識の検証処理では、先ず、生成した判別知識に基づいて判別困難な領域ρを特定する（ステップ３−１）。判別困難領域ρは、判別関数ｆ（ＸＡ）による判別の信頼性が低い領域であり、例えば判定結果（成・否）の変り目である判別境界の近傍が該当する。図１５は、分析用データベース１に基づいて直線的判別境界ｆ（ＸＡ）＝０を生成した例である。斜線で示す領域が判別困難領域ρである。図１５中の○と☆は、分析用データベース１に格納されている既知サンプルを表す。尚、判別困難領域ρの幅をどの程度に設定するかは、特に限定されるものではないが、例えば本実施形態では、マージン幅（１／‖Ｗ‖）の１．２倍程度としている。
【００８５】
この判別困難領域ρに該当し尚且つ分析用データベース１に存在しない検証用事例としてのサンプルを、例えば情報源としての内部データベース２の中から検索する（ステップ３−２）。当該検索されたサンプル（検証用事例）について、ステップ２で生成された判別関数ｆ（ＸＡ）を適用する（ステップ３−３）。図１５中の●と★は、内部データベース２から検索された検証用事例を表す。検証用事例の実際のクラスと、当該検証用事例について適用した判別関数ｆ（ＸＡ）の値とを比較して、誤判別の数を確認する（ステップ３−４）。誤判別の数が予め定めた一定数以下であれば（ステップ３−５；Ｙｅｓ）、判別関数ｆ（ＸＡ）の精度が充分であると判定する（ステップ３−６）。誤判別の数が予め定めた一定数よりも多ければ（ステップ３−５；Ｎｏ）、判別関数ｆ（ＸＡ）の精度が不充分であると判定する（ステップ３−７）。
【００８６】
分析用データベース１に追加事例に関するデータを追加する必要があるか否かの判断（ステップ５）として、例えば本実施形態では、次の基準を採用している。即ち、分析用データベース１に追加事例に関するデータが未だ一度も追加されていないか、または追加事例に関するデータの追加による判別知識の精度の向上幅が予め定めた基準を満足しているか、を判断する。判別知識の精度の向上幅は、例えば追加事例に関するデータの追加後の判別知識の精度と、追加事例に関するデータの追加前の判別知識の精度との差によって表される。分析用データベース１に追加事例に関するデータが未だ一度も追加されていないか、または追加事例に関するデータの追加による判別知識の精度の向上幅が予め定めた基準を満足していれば、即ち分析用データベース１に追加事例に関するデータを追加することによって判別知識の精度の向上が望めるのであれば（ステップ５；Ｙｅｓ）、分析用データベース１に追加事例に関するデータを追加する（ステップ６）。尚、ステップ５における判断は、例えば上記の基準に基づいてデータマイニングシステム（コンピュータ）が自動で行なうようにしても良く、或いは上記の基準に基づいてデータマイニングシステムが追加事例の有効性をディスプレイ等に表示するようにして、最終的な判断は分析者がデータマイニングシステムに対して入力操作を行なうことで決定されるようにしても良い。
【００８７】
そして、分析用データベース１に追加事例に関するデータを追加する場合には（ステップ４；Ｎｏ，ステップ５；Ｙｅｓ）、内部データベース２に存在する上記の検証用事例に関するデータを分析用データベース１に追加する（ステップ６）。ここで、検証用事例に関するデータには、当該検証用事例が何れのクラスに属するかを表すクラス情報も含まれる。クラス情報は、内部データベース２に予め格納されている場合もあるが、内部データベース２にクラス情報が格納されていない場合には、例えば分析者の判断若しくは外部データベース３のデータに基づいて、検証用事例のクラス情報が分析用データベース１に付加される。尚、追加事例に関わるデータの分析用データベース１への追加は、分析者等によるデータマイニングシステムに対する入力操作によって行なうようにしても良く、データマイニングシステムのコンピュータ処理により内部データベース２から自動で該当データを取得し追加するようにしても良い。
【００８８】
本実施形態のように判別困難領域ρに該当し尚且つ分析用データベース１に存在しないサンプルを検証用事例とすることで、少数のデータで効果的な検証を行うことができる。そして、誤判別の数が多い場合には、検証用事例に関するデータを分析用データベース１に追加して新たな判別知識の生成を行い、更にこれらのステップを繰り返すことで、内部データベース２の全体を見なくても、精度が高い判別知識を生成することができる。
【００８９】
一方、内部データベース２からのサンプルの追加を繰り返しても判別関数ｆ（ＸＡ）の精度が不充分な場合には（ステップ５；Ｎｏ）、新しいデータ項目を追加することで、判別知識の改善を試みる（ステップ７；Ｙｅｓ、ステップ８）。
【００９０】
ここで、分析用データベース１に追加項目に関するデータを追加する必要があるか否かの判断（ステップ７）として、例えば本実施形態では、次の基準を採用している。即ち、分析用データベース１に追加項目に関するデータが未だ一度も追加されていないか、または追加項目に関するデータの追加による判別知識の精度の向上幅が予め定めた基準を満足しているか、を判断する。分析用データベース１に追加項目に関するデータが未だ一度も追加されていないか、または追加項目に関するデータの追加による判別知識の精度の向上幅が予め定めた基準を満足していれば、即ち分析用データベース１に追加項目に関するデータを追加することによって判別知識の精度の向上が望めるのであれば（ステップ７；Ｙｅｓ）、分析用データベース１に追加項目に関するデータを追加する（ステップ８）。尚、ステップ７における判断は、例えば上記の基準に基づいてデータマイニングシステム（コンピュータ）が自動で行なうようにしても良く、或いは上記の基準に基づいてデータマイニングシステムが追加項目の有効性をディスプレイ等に表示するようにして、最終的な判断は分析者がデータマイニングシステムに対して入力操作を行なうことで決定されるようにしても良い。
【００９１】
ステップ８の新規データ項目を追加する処理を詳細化したフローチャートを図３に示し、分析用データベース１に新規データ項目が追加されるイメージを図１２から図１４に示す。本実施形態における新規データ項目を追加する処理では、先ず、データ項目のデータが類似し尚且つ属するクラスが異なる類似事例を分析用データベース１の中から特定する（ステップ８−１）。図１２に示す符号１ａ，１ｂ，１ｃは、当該特定された類似事例を示す。次に、当該類似事例を差別化するために有効な追加項目を特定する（ステップ８−２）。図１３に示す符号５は、特定された追加項目を示す。次に、特定された追加項目に関わる分析用データベース１中にある全ての事例分のデータを、例えば情報源としての外部データベース３より分析用データベース１に追加する（ステップ８−３）。図１４に示す符号６は、分析用データベース１に追加された追加項目に関わるデータを示す。尚、追加項目に関わるデータの分析用データベース１への追加は、分析者等によるデータマイニングシステムに対する入力操作によって行なうようにしても良く、データマイニングシステムのコンピュータ処理によって予め指定された外部データベース３から自動で該当データを取得し追加するようにしても良い。
【００９２】
ここで、類似事例を差別化するために有効な追加項目を特定するにあたっては、類似事例を差別化するために例えば分析者により入力された推薦項目の中から追加項目を特定するようにしても良く、或いは予め定められた規則に従って例えば情報源としての外部データベース３の中から追加項目を特定するようにしても良い。
【００９３】
入力された推薦項目の中から追加項目を特定する場合は、データマイニングシステムと分析者とが対話し協調しながら、判別知識の洗練に有効な追加項目を特定する形態となる。一定のコスト制約の下で、多数存在し得る外部データベース３のデータの中から、どのようなデータが取得可能で、それは大体どのような性質であるのかといった推測ができるのは、専門家である分析者に長けている能力である。コンピュータシステムはこの点に関しては一般に不得意である。ただし、専門家であっても、漠然とどのようなデータが判別知識の改善に役立つかと問われても、適切な回答は困難である。そこで、本実施形態では、分析者の知識を効果的に引き出すために、三つ組み法（ｔｒｉａｄ　ｅｌｉｃｉｔａｔｉｏｎ　ｍｅｔｈｏｄ）を用いる。三つ組み法とは、３種類のサンプルＡ，Ｂ，Ｃに対して、「Ａ，Ｂに共通で、Ｃには共通しない重要な項目は何か」という対比的質問を行うことで、Ａ，Ｂが属するグループのサンプルと、Ｃが属するグループのサンプルとを差別化する上で、重要な項目を聞き出す手法である。販売成否の判別の場合でいえば、販売が成功した具体的な二地点Ａ，Ｂと失敗した地点Ｃについて、Ａ，Ｂに共通で、Ｃには共通しない項目を聞き出すものである。例えばＡ，Ｂでは取引実績が有ったが、Ｃでは取引実績が無かったという知識から、回答者は「取引実績」といった項目を回答する。「どのような項目が販売成否を判別する知識に重要か？」という漠然とした一般的な質問に比べて、具体例による対比検討となるため、回答者の問題意識が鮮明になり、回答者は的確な回答をし易くなる。
【００９４】
本明細書では、項目のデータが類似し尚且つ属するクラスが異なる類似事例を分析者に提示し、類似事例を差別化するために有効な追加項目を得る方法を、拡張三つ組み法と呼ぶ。例えば本実施形態における拡張三つ組み手法では、▲１▼分析用データベース１から少数のサンプルを抽出して、当該少数サンプルのみに着目して追加すべき効果的なデータ項目を検討し、▲２▼上記検討で得られた有望なデータ項目のみについて分析用データベース１の全サンプルに対するその値を取得する、という２段階を経ることで、効果的なデータ項目に関するデータを分析用データベース１に追加する。少数サンプルによるアプローチが有効と考えられる理由としては、例えば以下の３点が挙げらる。第１に、考慮する対象を少数サンプルに限定することで、アクセスコストが高い外部データベース３へのアクセスを大きく減らすことができる。第２に、ｃ−ＳＶＭ等では特定の条件を満たす２サンプルのみに着目して解を改善することを繰り返すことで、高速に最適解を得る。データ項目の追加についても同様のアプローチの有効性が期待できる。第３に、エキスパートシステム構築等で専門家から知識を聞き出す場合、具体的サンプル（事例）の対比による質問が、的確な知識を聞き出すために有効であることが確認されている。
【００９５】
図４に、拡張三つ組み法によるデータマイニングシステムと分析者との対話（やりとり）の例をシークエンスで示す。データマイニングシステムでは、分析用データベース１の中から特定された類似事例を、ディスプレイ等の出力装置を介して分析者に提示すると共に、当該類似事例を差別化するために有効な推薦項目に関するデータの入力を受け付ける（ステップ８−２−１）。分析者は、データマイニングシステムが提示してきた類似事例を差別化するために有効と考えられる推薦項目に関するデータを、データマイニングシステムに入力する（ステップ８−２−２）。図１２から図１４に示す符号４ａ，４ｂ，４ｃは、入力された推薦項目に関するデータを表す。データマイニングシステムでは、入力された推薦項目の中から類似事例を差別化するために有効な項目を選択する（ステップ８−２−３）。
【００９６】
データマイニングシステムが分析者に類似事例を提示することの効果は、有効な追加データ項目候補の聞き出しだけでなく、以下に述べるような望ましい効果も伴う。第１に、聞き出しの過程で、現在存在しないが知識の改善に有効と思われるデータ項目が発見される可能性がある。即ち、既にあるデータ項目の聞き出しだけでなく、知識改善のために新しく調査すべき項目の発見という効果もある。第２に、判別困難な事例が類似事例として分析者に繰り返し提示されることによって、当該事例が例外ではないか、または当該事例のクラス情報が誤っているのではないか、といった見直しの機会を分析者に与えることができる。分析者が当該事例が例外であることに気づき、当該事例の成否の判断を訂正することによって、得られる判別知識が洗練される可能性がある。
【００９７】
一方、予め定められた規則に従って例えば情報源としての外部データベース３の中から追加項目を特定する場合は、分析者の知識には頼らずに、データマイニングシステムが自動で判別知識の洗練に有効な追加項目を特定する形態となる。この場合、分析者にはデータ項目をデータマイニングシステムに推薦するための知識は要求されず、分析者の判断又は能力によって判別知識の精度が大きく左右されてしまうことを回避できる。近年、インターネット等で公開されている外部情報源がどこに在るのかを示すメタ情報源（例えば各省庁の統計調査結果のリストや民間統計集又はマーケティング企業等からの情報）が整備されつつあり、これらのメタ情報源を利用しても良い。これらのメタ情報源を活用することで、必ずしも全面的に分析者の知識に頼らなくても、情報源を絞り込むことは可能となる。この場合、データマイニングシステムに、アクセス可能且つデータ入手可能な外部データベース３の場所を、予め記憶させておく又は必要に応じて通知するようにする。
【００９８】
ここで、判別知識の精度改善を行うための追加項目の選択に有効なサンプルを選択する考え方を、図１６に示す。図１６（Ａ）は、横軸に既知のデータ項目ａ１の値をとり、縦軸に未知のデータ項目ａ２の値をとって、各サンプルをプロットしたものである。図１６（Ｂ）は、横軸に既知のデータ項目ａ１の値をとって、各サンプルをプロットしたものである。図１６（Ａ），（Ｂ）で横軸（ａ１）の値が同じ点は、同一サンプルに対応している。
【００９９】
データ項目ａ１のみが既知の場合、即ち図１６（Ｂ）の場合、誤判別が最も少ない判別境界（ｆ（ｘａ１）＝０）は、ｌとなる。この場合、一部のサンプル（図１６中の★と●）に関しては、正解を与えることはできない。従って、より正確な判別知識を得るためには新しいデータ項目を追加する必要がある。本実施形態では、追加するデータ項目を選択するために、全サンプル（☆○★●等）を使用するのではなく、特定の少数サンプルにのみ着目し、これらがうまく判別されるデータ項目を採用する。本実施形態では、これらの特定の少数サンプルを項目評価用サンプル（Ｄ）と呼ぶ。また、項目評価用サンプル（Ｄ）のうち、「成」サンプルをＤ＋、「否」サンプルをＤ−とする。本実施形態における項目評価用サンプル（Ｄ）には、データ項目の追加によって正しく判定されるべきサンプル、すなわち、誤判別されたサンプル（図１６中の★と●）が、最低限含まれるものとする。ここで、誤判別サンプル（図１６中の★と●）のみに注目した判別境界ｌ１は、他のサンプルに対して必ずしも適切な判別を行えていない。そこで、本実施形態では、誤判別サンプルに加え、本来「成」である誤判別サンプル（図１６中の●）のａ１軸に関して近くにある「成」サンプル（図１６中のハッチングされた○）と、本来「否」である誤判別サンプル（図１６中の★）のａ１軸に関して近くにある「否」サンプル（図１６中のハッチングされた☆）を加えることによって、適切な判別境界ｌ２を得るようにしている。誤判別サンプル（図１６中の★と●）および追加されたサンプル（図１６中のハッチングされた☆と○）は、ｃ−ＳＶＭでサポートベクトルと呼ばれるサンプルである。このように、複数のサポートベクトルを項目評価用サンプル（Ｄ）として使用することが、適切な判別境界を得る上で有効となる。
【０１００】
項目評価用サンプル（Ｄ）を選択する場合の更に具体的な方法について説明する。項目評価用サンプル（Ｄ）を選択する目的は、ＳＶＭで求めた判別関数による未知データに対する判定誤差（誤答率とも呼ぶ。汎化誤差、テスト誤差等として表される。）の推定値が、最小となるような追加データ項目を求めることである。
【０１０１】
ＳＶＭの未知データに対する誤答率（テスト誤差）の推定法としては、いくつかの手法が従来ある。本実施形態では　ｕｎｂａｌａｎｃｅｄ　ｃ−ＳＶＭに対するものについて主に説明するが、他のＳＶＭ、例えば侵入ξを認めないＳＶＭや、侵入ξに対してξ２に比例したペナルティを与えるＳＶＭにおいても同様の扱いが可能である。
【０１０２】
計算コストがかかるが、精度の良いテスト誤差推定法として、次式で表される一つ抜き法（Ｌｅａｖｅ−Ｏｎｅ−Ｏｕｔ、ＬＯＯ）がある。
【０１０３】
【数２２】
2004038412.tif 000018
但し、
［ｘ］＋；ステップ関数（ｘ＜０ならば０、ｘ≧０ならば１）を表す。
ｙｅ；ｅ番目のサンプルのクラス値（±１）を表す。
ｐ；分析用データベース１中のサンプル数を表す。
【０１０４】
ここで、ｆｅ（　）は、ｐ個の全学習サンプルからｅ番目のサンプルを除いた学習サンプルに基づいて、ｃ−ＳＶＭを用いて得られる（即ち、数式１４を解くことで得られる）判別関数を表す。また、ｆｅ（Ｘｅ）は、当該判別関数のｅ番目のサンプルＸｅについての値を表す。サポートベクトルを一つ除いても、他のサポートベクトルと数式１２で定まる侵入距離ξｉが変化しないと仮定すると、次式が導かれる。
【０１０５】
【数２３】
2004038412.tif 000019
但し、
ｆ（Ｘｅ）；ｐ個の全学習サンプルから得られる判別関数のサンプルＸｅについての値を表す。
αｅ；全学習サンプルに基づいて数式１４で得られたサンプルＸｅの重みを表す。
ξｅ；全学習サンプルに基づいて数式１２で得られたサンプルＸｅの侵入距離を表す。
【０１０６】
ここで、Ｓｅは、スパン即ちφ（Ｘｅ）から判別面ｆｅ（Ｘ）＝０までの距離である。スパンバウンドは、数式２３により数式２２の値を計算したものである。半径マージン限界ｒＭは、スパンバウンドの上限値の一つである。Ｓｅは、全学習データを含む特徴空間Ｆ中の最小半径の超球の直径２ｒが上限であることから、半径−マージン限界ｒＭは、次式により求められる。
【０１０７】
【数２４】
2004038412.tif 000020
但し、
【数２５】
2004038412.tif 000021
【０１０８】
半径ｒは、数式２６で表される２次計画問題の解βｉにより数式２８で求められる。ここで、ｍａｘ添え字ｋ（ｋの関数ｇ（ｋ））は、ｇ（ｋ）をｋに関して最大化する問題を表す。
【０１０９】
【数２６】
2004038412.tif 000022
但し、
【数２７】
2004038412.tif 000023
【数２８】
2004038412.tif 000024
【０１１０】
以下、正のβｉを持つサンプルの集合をＲＶと記す。ＲＶは、全学習データを含む特徴空間Ｆ中の最小半径ｒの超球上のサンプルの集合となる。
【０１１１】
さらに、データ項目の追加に伴う半径ｒの変化が無視できる場合には、数式２４においてデータ項目の追加で唯一変化する‖Ｗ‖２　を、ＳＶＭの誤答率の目安として使用できる。
【０１１２】
そこで本実施形態では、項目評価用サンプル（Ｄ）を選択する具体的な方法の一例として、ＳＶＭの誤答率の目安として‖Ｗ‖２　を使用した場合について説明する。また、当該説明においては、判別知識の抽出に数式２１で表されるＲＢＦカーネル関数ＲＢＦＩをＫ（Ｘ，Ｚ）として用いた　ｕｎｂａｌａｎｃｅｄ　ｃ−ＳＶＭを使用した場合を想定する。この場合、数式２１のデータ項目集合Ａは、その時点の分析用データベース１に含まれるデータ項目の集合である。尚、ｕｎｂａｌａｎｃｅｄ　ｃ−ＳＶＭ以外のＳＶＭや他のカーネルを用いたＳＶＭでも場合でも同様の扱いが可能である。
【０１１３】
新たに追加する分析用データベース１に存在しないデータ項目の特性を、下記の値δｉをとるデータ項目ａ（Ｄ＋，Ｄ−）で近似する。
【０１１４】
【数２９】
2004038412.tif 000025
但し、
δｉ；サンプルｉの分析用データベース１に存在しないデータ項目の値を表す。μ；分析用データベース１に存在しないデータ項目の値の平均値を表す。
δ；Ｄ＋，Ｄ−に属するサンプルのデータ項目の値の平均値からのずれ量を表す。
【０１１５】
ただし、δ≒０とする。したがってａ（Ｄ＋，Ｄ−）はサンプル群Ｄ＋とＤ−とで特徴的に逆向きの変化をするデータ項目である。
【０１１６】
ここで、追加すべきデータ項目ａ（Ｄ＋，Ｄ−）は、データ項目追加後の分析用データベース１に対して、ｕｎｂａｌａｎｃｅｄ　ｃ−ＳＶＭを用いた時の誤答率の目安である次式で表される‖Ｗ（ａ）‖２を、極力減少させる可能性の高いデータ項目であると仮定する。
【数３０】
2004038412.tif 000026
但し、
Ｗ（ａ）；データ項目ａの追加後の判別関数の重みベクトルを表す。
Ｘｉ（ａ）；データ項目ａの追加後のサンプルｉのデータ項目値の並びを表す。
αｉ（ａ）；データ項目ａの追加後のサポートベクトルであるサンプルｉに対する重みを表す。
【０１１７】
ここで、次式で表される追加データ項目ａ（Ｄ＋，Ｄ−）の関数Ｏｂｊを考える。
【数３１】
2004038412.tif 000027
【０１１８】
上式は、ｕｎｂａｌａｎｃｅｄ　ｃ−ＳＶＭでの目的関数（数式１４）で、データ項目追加前のサポートベクトルとその重みαｉを固定し、カーネル関数の引数をデータ項目追加後のもので置き換えたものである。この時、次式の関係が成立するため、δが微小であるときは、‖Ｗ（ａ）‖２　を極力減少させるには、Ｏｂｊを極力増加させるデータ項目ａ（Ｄ＋，Ｄ−）を選択すればよい。
【数３２】
2004038412.tif 000028
【０１１９】
この時、以下が成立する。
【０１２０】
［定理］
微小変化δを伴うデータ項目ａ（Ｄ＋，Ｄ−）の追加により目的関数値Ｏｂｊは増加し、増加幅は、追加するデータ項目に依存するｇ（Ｄ＋，Ｄ−）に比例する部分と、追加するデータ項目に依存しない正定数Δとを加えたものである。ただし、サンプル群Ｄ＋，Ｄ−の各サンプルは各々「成」、「否」のクラスに属し、次式が成立する。
【０１２１】
【数３３】
2004038412.tif 000029
【０１２２】
【数３４】
2004038412.tif 000030
【０１２３】
但し、
【数３５】
ｎ＝（ｄ＋１）／ｄ
【０１２４】
［証明］
データ項目ａ（Ｄ＋，Ｄ−）の追加後のカーネルＫ（Ｘｉ，Ｘｊ）の値は、次式で表される。
【０１２５】
【数３６】
2004038412.tif 000031
【０１２６】
このため、その変化ｄＫは以下の式で近似できる。
【０１２７】
【数３７】
2004038412.tif 000032
【０１２８】
Ｋ（Ｘｉ，Ｘｊ）≦１かつｎ＜１で、追加データ項目に関係する変数は含まれていないので、第２項は追加データ項目に依存しない正の定数である。この時、データ項目ａ（Ｄ＋，Ｄ−）の追加による目的関数Ｏｂｊの値の増加ｄＯｂｊは以下の式で近似できる。
【０１２９】
【数３８】
2004038412.tif 000033
【０１３０】
等号は次式のとき成立する。
【０１３１】
【数３９】
2004038412.tif 000034
【０１３２】
なお、ｇ（Ｄ＋，Ｄ−）の第１項は、重要度が高く（αｉ≫０）、類似度が高い（Ｋ（Ｘｉ，Ｘｊ）≒１）サポートベクトル（サンプル）の組がＯｂｊを増加させるのに好ましく、第２項は、次式で表され、例外サンプル（ξｉ＞０）が好ましいことを示す。
【０１３３】
【数４０】
2004038412.tif 000035
【０１３４】
つまり、Ｄ±に含まれるサンプルは、類似度が高いサポートベクトルで、かつ例外サンプルであることが望ましい。また、使用するサポートベクトルの数は多いほうが改善幅が大きい。
【０１３５】
上記理論に基づくと、例えば図１６で示した線形関数による判別の場合には、ｃ−ＳＶＭにより求まる各サポートベクトルの重要度をαｉとすると、次式で示す評価値ｇＬＩＮＥＡＲが大きい少数のサンプルが、項目評価用サンプル（Ｄ）として好ましい。
【０１３６】
【数４１】
2004038412.tif 000036
【０１３７】
また、ＲＢＦを用いた判別を行う場合には、さらにサンプル間の類似度Ｎ（Ｘｉ，Ｘｊ）も考慮した以下の評価値ｇＲＢＦが大きい少数のサンプルが、項目評価用サンプル（Ｄ）として好ましい。
【０１３８】
【数４２】
2004038412.tif 000037
【０１３９】
類似事例としての項目評価用サンプル（Ｄ）を分析用データベース１の中から特定する場合（ステップ８−１）の更に詳細化した処理の一例を、図５のフローチャートに示す。この場合、先ず、サポートベクトルとなるサンプルを、次式のように分類する（ステップ８−１−１）。
【０１４０】
【数４３】
2004038412.tif 000038
【０１４１】
次に、「成」のサポートベクトル（ｓｖｉ＋∈ＳＶ＋）と、「否」のサポートベクトル（ｓｖｉ−∈ＳＶ−）の各対に対して、評価値ｇ（ｓｖｉ＋，ｓｖｉ−）の値を数式２９または数式３０に基づいて計算する（ステップ８−１−２）。次に、「成」のサポートベクトル（ｓｖｉ＋∈ＳＶ＋）と、「否」のサポートベクトル（ｓｖｉ−∈ＳＶ−）の各対を、評価値ｇ（ｓｖｉ＋，ｓｖｉ−）の降順にソートする（ステップ８−１−３）。次に、ソートされたｇ（ｓｖ＋，ｓｖ−）の上位から順に、異なる「成」のサポートベクトル（ｓｖｉ＋∈ＳＶ＋）と「否」のサポートベクトル（ｓｖｉ−∈ＳＶ−）を一定の個数選択し（例えば本実施形態では各々異なる２個づつの成否サンプルｓｖ１＋，ｓｖ２＋，ｓｖ１−，ｓｖ２−を選択し）、項目評価用サンプル（Ｄ）とする（ステップ８−１−４）。次に、選択された一定の個数の項目評価用サンプル（Ｄ）の何れかと（例えば本実施形態ではｓｖ１＋，ｓｖ２＋，ｓｖ１−，ｓｖ２−の何れかと）、対になる一定数のサンプルをソートされた評価値ｇ（ｓｖ＋，ｓｖ−）の上位から順に選び、項目評価用サンプル（Ｄ）に加える（ステップ８−１−５）。
【０１４２】
データマイニングシステムと分析者とが対話し協調しながら追加項目を特定する場合は、項目評価用サンプル（Ｄ）を対応する対ごとに分析者に提示して、追加すべきデータ項目の候補の入力を促す（図４のステップ８−２−１）。分析者は項目評価用サンプル（Ｄ）を比較検討し、追加すべきデータ項目と、各サンプルに対する追加項目のデータ値をデータマイニングシステムに入力する（図４のステップ８−２−２）。
【０１４３】
一方、分析者の知識には頼らずにデータマイニングシステムが自動で追加項目を特定する場合、例えば分析者がデータ項目をシステムに推薦するための十分な知識を持たないが、事前にいくつかのデータ項目候補と項目評価用サンプル（Ｄ）に対するそれらの値がわかっているような場合、例えば情報源としての外部データベース３にデータ項目候補と項目評価用サンプル（Ｄ）に対するそれらの値が用意されている場合は、予め定められた規則に従って、例えば情報源としての外部データベース３の中から追加項目を特定する。この場合、例えば、図６のフローチャートに示す処理を行う。即ち、項目評価用サンプル（Ｄ）の未使用データ項目ａと、当該未使用データ項目ａの値とを、外部データベース３の中から検索する（ステップ８−２−１’）。そして、それぞれの未使用データ項目ａに対する次式で表される指標値Ｉａを計算する（ステップ８−２−２’）。但し、ｘｉａ，ｘｊａは、それぞれサンプルｉ，ｊに対するデータ項目ａの値である。また、ｍｉｎ（０，「　」）は、（　）内の最小値を得る関数であり、「　」内が負なら「　」内の値をとり、負でなければ０をとる。
【０１４４】
【数４４】
2004038412.tif 000039
【０１４５】
そして、指標値Ｉａが小さいものから順に一定数を推薦項目として選択する（ステップ８−２−３’）。即ち、成サンプルＤ＋と否サンプルＤ−に関する未使用データ項目の値が逆符号をとる時の値の積の和が最小となるデータ項目ａを選択する。この場合、成サンプルＤ＋に対しては平均より大きい値（または、小さい値）をとり、否サンプルＤ−に対しては平均より小さい値（または、大きい値）をとる傾向が大きいデータ項目ａが選択される。そして、推薦項目の中から類似事例を差別化するために有効な項目を追加項目として選択する（ステップ８−２−４’）。尚、ステップ８−２−４’を省略し、ステップ８−２−３’で選択された項目をそのまま追加項目として選択しても良い。
【０１４６】
推薦項目の中から有効な項目（追加項目）を選択するにあたり（ステップ８−２−３、またはステップ８−２−４’）、例えば本実施形態では、推薦項目の実際の値に基づいて有効性を評価し、追加項目を絞り込むようにしている。複数のデータ項目集合Ａ０の中から適切なデータ項目集合Ａ⊂Ａ０を選択する代表的な方法として、変数逐次増加法がある。この方法は、あるデータ項目集合Ａを使用した学習結果の望ましさを評価する関数ｅｖａｌ（Ａ）を用いて、図７に示す手順で逐次変数を追加していく手法である。
【０１４７】
即ち、Ａｕｓｅ＝φ，Ａｎｏｕｓｅ＝Ａ，ｋ＝０とする（ステップ８０１〜８０３）。次に、任意の未使用データ項目ａ∈Ａｎｏｕｓｅを追加した学習を行い、その評価ｅｖａｌ（Ａｕｓｅ∪｛ａ｝）を計算する（ステップ８０４）。次に、ステップ８０４で求めた評価ｅｖａｌ（Ａｕｓｅ∪｛ａ｝）のうち、最大値を与えるデータ項目ａｋを求める（ステップ８０５）。追加しても改善がない場合、つまりｅｖａｌ（Ａｕｓｅ∪｛ａ｝）≦ｅｖａｌ（Ａｕｓｅ）なら（ステップ８０６；Ｙｅｓ）、追加を終了する。追加することで改善する場合、つまりｅｖａｌ（Ａｕｓｅ∪｛ａｋ｝）＞ｅｖａｌ（Ａｕｓｅ）なら（ステップ８０６；Ｎｏ）、Ａｕｓｅ＝Ａｕｓｅ∪｛ａｋ｝，Ａｎｏｕｓｅ＝Ａｎｏｕｓｅ−｛ａｋ｝，ｋ＝ｋ＋１とし（ステップ８０７〜８０９）、ステップ８０４に戻る。
【０１４８】
ただし、ＳＶＭでは、サンプル追加による再学習に比べ、使用データ項目やデータ項目の分散Σ２を変更した場合のＳＶＭの再学習は初めから学習を行う場合と同様の大きな計算コストを要する。特にデータ項目に合う最適なΣ２を求める場合、クロスバリデーションなどを使用すると多大なコストを要する。そこで、本実施形態では、推薦項目をすべて使用して最適なΣ２を求め、その中で未使用データ項目で大きなΣ２を持つものから上位一定数を、適正が高いデータ項目とする方式を簡便手法として採用するようにしている。ＳＶＭでデータ項目集合Ａに合う最適なΣ２を求める比較的高速な手法としては、未知データに対する誤答率（汎化誤差、テスト誤差）のある評価関数Ｔ（Ａ）の微分∂Ｔ／∂ｌｏｇ（Σ２）、および、２階微分∂２Ｔ／∂ｌｏｇ（Σ２）２を使用した勾配法、擬似ニュートン法などによる解法が従来提案されおり、これらの手法を採用することができる。これらの手法によればクロスバリデーション等による場合に比べ、低次元の場合でも１０分の１程度の計算量となる。
【０１４９】
図８及び図９に、本実施形態におけるデータマイニングシステムの構成の一例を示す。図８に示すデータマイニングシステム１０では、分析用データベース１と、ステップ２の処理を実行する判別知識生成手段１０１と、ステップ３の処理（図２参照）およびステップ４，ステップ５，ステップ７の判断処理を実行する判別知識検証手段１０２と、ステップ６の処理を実行する事例データ追加手段１０３と、ステップ８−１の処理（図５参照）およびステップ８−２−１，ステップ８−２−２の処理（図４参照）を実行する類似事例提示手段１０４と、ステップ８−２−３およびステップ８−３の処理を実行する項目データ追加手段１０５とを、少なくとも有している。図９に示すデータマイニングシステム１０’では、分析用データベース１と、ステップ２の処理を実行する判別知識生成手段１０１と、ステップ３の処理（図２参照）およびステップ４，ステップ５，ステップ７の判断処理を実行する判別知識検証手段１０２と、ステップ６の処理を実行する事例データ追加手段１０３と、ステップ８−１の処理（図５参照）を実行する類似事例特定手段１０４’と、ステップ８−２−１’の処理（図６参照）を実行する未使用項目データ検索手段１０７と、ステップ８−２−２’〜ステップ８−２−４’の処理（図６参照）およびステップ８−３の処理を実行する項目データ追加手段１０５’とを、少なくとも有している。本実施形態のデータマイニング用プログラムは、コンピュータにインストールされ且つセットアップされることにより、当該コンピュータを上記のデータマイニングシステム１０または１０’として機能させるものである。本実施形態のデータマイニング方法及びシステムにおけるデータフロー・ダイヤグラムの一例を図１０に示す。
【０１５０】
尚、判別知識としての判別関数ｆ（ｘ）、類似事例としての項目評価用サンプル（Ｄ）を選択する方法、推薦項目の中から追加項目を選択する方法等は、上述の例に必ずしも限定されるものではない。以下に、類似事例としての項目評価用サンプル（Ｄ）を選択する他の方法、および推薦項目の中から追加項目を選択する他の方法の好適な一例を、本発明の第２の実施形態として説明する。
【０１５１】
本実施形態では、半径マージン限界ｒＭを新データに対する誤答率の推定値として用いる。これは、ＬＯＯでは計算コストがかかり、一方、スパンバウンドは多くの局所最小解を持つため最適化で使い難いためである。ただし、データ項目追加後の分析用データベース１に基づく判別関数の新データに対する誤答率（汎化誤差）が２次形式で近似できる場合には、半径マージン限界に限らず、スパンバウンド等を、誤答率の推定値として用いても良い。
【０１５２】
分析用データベース１中にないデータ項目ａのデータ項目値ｘｉａをθａ１／２倍（但し、θａ≧０，θａ≒０）したデータを追加した時の新しい判別関数の誤答率の推定値ｒＭ（θａ）について、次式が成立する。
【０１５３】
【数４５】
2004038412.tif 000040
但し、
ｒＭ（０）；データ項目ａを追加していない時の誤答率の推定値を表す。
【０１５４】
追加項目の選択においては、データ項目追加後の新しい判別関数の誤答率の推定値（半径マージン限界ｒＭ）を最も減少させるデータ項目ａを見つけることが好ましい。そこで本実施形態では、数式４５に基づいて、誤答率の減少幅−ｄｒＭ／ｄθａが最大となるデータ項目ａを選択すると仮定する。
【０１５５】
主たるカーネルにおいて、減少幅−ｄｒＭ／ｄθａは、２次形式Ｘ：ａＴＧＸ：ａとなる。Ｘ：ａは、分析用データベース１中の全サンプルの項目ａの値のベクトルである。Ｘ：ａＴはＸ：ａの転置行列である。例えば、ｕｎｂａｌａｎｃｅｄ　ｃ−ＳＶＭでの線形カーネル関数、多項式カーネル関数では下記の定理Ａが成立し、ＲＢＦカーネル関数では下記の定理Ｂが成立する。
【０１５６】
［定理Ａ］
ｋ１（ＸＡＴ・ＺＡ）の形のカーネル関数に関して、−ｄｒＭ／ｄθａは２次形式Ｘ：ａＴＧＸ：ａを持つ。この場合、Ｇは次式で表される。
【０１５７】
【数４６】
2004038412.tif 000041
但し、
ｄｉａｇ−１（「ベクトル」）；「ベクトル」を対角要素とする対角行列を表す。
「行列」．＊「行列」：各行列の対応する要素の積を表す。
ｄｉａｇ（「行列」）：「行列」の対角要素のベクトルを表す。
Ｋ１：ｉ行ｊ列がｋ１（ＸｉＡＴＸｊＡ＋θａｘｉａｘｊａ）である行列を表す。
α：数式１４で求まる全サンプルｉの重みαｉの並び（ベクトル）を表す。
β：数式２６で求まる全サンプルｉの重みβｉの並び（ベクトル）を表す。
Ｙ；全サンプルのクラス値ｙｉの並び（ベクトル）を表す。
ｒ；数式２８で求まる半径を表す。
【０１５８】
［定理Ｂ］
ｋ２（−‖ＸＡ−ＺＡ‖２）の形のカーネルに関して、−ｄｒＭ／ｄθａは２次形式Ｘ：ａＴＧＸ：ａを持つ。この場合、Ｇは次式で表される。
【０１５９】
【数４７】
2004038412.tif 000042
但し、
【数４８】
2004038412.tif 000043
１ｐ；長さｐで全要素が１のベクトルを表す。
Ｋ２；ｉ行ｊ列がｋ２（−‖ＸＡ−ＺＡ‖２−θａ（ｘｉａ−ｘｊａ）２）である行列を表す。
【０１６０】
尚、定理Ｂにおいて、Ｇ・１ｐ＝０が成立する。これは、データ項目ａの値全体が平行移動してもｘｉａ−ｘｊａの値は変わらない、という自由度に対応する。
【０１６１】
上記の定理Ａ，Ｂは、他のＳＶＭ、例えば，侵入ξを認めないＳＶＭや侵入ξに対してξ２に比例したペナルティを与えるＳＶＭでも成立する。追加項目の導入による誤答率（テスト誤差）の減少幅−ｄｒＭ／ｄθａをＸ：ａＴＧＸ：ａで近似できるので、Ｇをテスト誤差削減行列と呼ぶ。
【０１６２】
次に、テスト誤差削減行列Ｇの離散近似について説明する。ｐ×ｐ行列であるＧは、ＳＶとＲＶに対応する行および列のみがゼロでない値を持ち、その他の行および列はゼロとなる。ＳＶ∪ＲＶは一般に分析用データベース１中のサンプル数ｐよりも小さいので、既に疎行列である。しかし、ＳＶ∪ＲＶのサイズが依然大きい場合も考えられる。そこで、減少幅−ｄｒＭ／ｄθを推定するためのより疎な行列Ｇ’を得ることが好ましい。行列を疎とする最も単純な方法は、ある閾値より小さい要素をゼロとすることである。しかし、この操作は大きな固有値、２次形式の値を大きく変える場合がある。このため、本実施形態では、以下のような近似を行う。即ち、次式に示すように、各項目の値の分散は一定値となっていると仮定する。
【０１６３】
【数４９】
Ｘ：ａＴＸ：ａ＝Σｉｘｉａ２＝１
【０１６４】
更に、ＲＢＦカーネル（および、他の定理Ｂの形のカーネル）を使用する場合には、Ｇ・１ｐ＝０に対応して、次式に示すように、各項目の値の平均が０と仮定する。
【０１６５】
【数５０】
Ｘ：ａＴ・１ｐ＝０
【０１６６】
制約Ｘ：ａＴＸ：ａ＝１の下で、２次形式Ｘ：ａＴＧＸ：ａを最大とするＸ：ａは、Ｇの最大固有ベクトルであるため、各サンプルの値が当該最大固有ベクトルに比例する項目がテスト誤差推定値ｒＭを最も減少させる。一方、負で絶対値が最大の固有値に対する固有ベクトルがテスト誤差推定値ｒＭを最も増加させる。そこで、次式に示すように、Ｇをｍ個の絶対値最大の固有値と固有ベクトルにより近似し、他の方向は無視することとする。
【０１６７】
【数５１】
2004038412.tif 000044
但し、
【数５２】
2004038412.tif 000045
但し、
【数５３】
2004038412.tif 000046
但し、
【数５４】
2004038412.tif 000047
ｈｉ；テスト誤差削減行列Ｇのｍ個の絶対値最大固有値の一つを表す。
Ｈ；ｍ個の絶対値最大固有値を対角要素とする対角行列を表す。
ｖｉ；固有値ｈｉに対応する固有ベクトルを表す。
Ｖ；固有値ｈ１…ｈｍに対応する固有ベクトルを並べた行列を表す。
Ｉｍ×ｍ；ｍ×ｍの単位行列を表す。
【０１６８】
更に、ｐ×ｐ行列Ｇ”を疎行列Ｇ’で近似する。このため、ＵＴＵ＝Ｉｐ×ｐで、Ｕの大半の要素が０に近く、少数の要素のみが±１に近い次式に示す分解を求める。
【０１６９】
【数式５５】
Ｇ”＝ＵＢＵＴ
但し、
Ｕ；ｐ×ｐ回転行列を表す。
Ｂ；ｐ×ｐ行列を表す。
ＵＴ；Ｕの転置行列を表す。
【０１７０】
Σｉｕｉ２＝１の下でΣｉｕｉ４を最大とするｕｉは、一つの要素が±１でそれ以外が０であるようなものである。この観察に基づいて、ゼロに近い要素が多いＵを得るために、次式に示す４次計画を解く。
【０１７１】
【数５６】
2004038412.tif 000048
但し、
【数５７】
2004038412.tif 000049
【数５８】
2004038412.tif 000050
ｕｉ，ｋ；回転行列Ｕのｉ行ｋ列の要素を表す。
Ｑ；回転行列を表す。
【０１７２】
数式５６に示す４次計画問題は、例えば図１９に示す処理を施すことにより解ける。即ち、先ず、ＱＴＱ＝ＩとなるようにＱを初期化する（ステップ２０１）。次に、Ｑｏｌｄに０を代入する（ステップ２０２）。次に、次式が成立するか判定する（ステップ２０３）。
【０１７３】
【数５９】
１−ｍｉｎ（｜ｄｉａｇ（ＱＴＱｏｌｄ）｜）＞ε
但し、
ε；許容誤差（例えば１０−１０程度）を表す。
【０１７４】
数式５９が成立しなければ（ステップ２０３；Ｎｏ）、同式が成立するまで、以下のステップ２０４からステップ２０７を繰り返す。即ち、ＱｏｌｄにＱを代入する（ステップ２０４）。そして、ＵにＶ　ＱＴを代入する（ステップ２０５）。そして、ＱＬにＵＴ．３Ｖを代入する（ステップ２０６）。そして、ＱにＱＬ（ＱＬＴＱＬ）−１／２を代入する（ステップ２０７）。但し、「行列」．ｎは「行列」の各要素をｎ乗したものを示す。
【０１７５】
数式５９が成立したならば（ステップ２０３；Ｙｅｓ）、ＢにＱＨＱＴを代入する（ステップ２０８）。以上の処理により、ＵとＢの値が得られる。
【０１７６】
上記の図１９に示す処理によって、数式５６に示す４次計画問題が解けることの根拠を以下に示す。Λ＝（λｉ，ｊ）を、制約ＱＴＱ＝Ｉに対応するラグランジュ未定乗数λｉｊの行列とする。この時、最適値は次式が成立する。
【０１７７】
【数６０】
2004038412.tif 000051
但し、
ｔｒａｃｅ（「行列」）；「行列」の対角成分の和を表す。
【０１７８】
Ｌ＝Λ＋ΛＴ，ＱＬ＝Ｑ・Ｌと置くと、次式が成立する。
【０１７９】
【数６１】
2004038412.tif 000052
【数６２】
2004038412.tif 000053
【数６３】
2004038412.tif 000054
【数６４】
2004038412.tif 000055
【０１８０】
したがって、上記の不動点アルゴリズムにより最適値を求めることができる。
【０１８１】
そして、Ｕの閾値以下の要素を０に設定することで、行列ＵをＵ’で近似する。行列Ｕはゼロに近い要素を多数持つので、Ｕ’は更に疎な行列となり、次式に示すＧ’は、Ｇの主な固有ベクトルを大体保存する疎な近似となる。
【０１８２】
【数６５】
Ｇ’＝Ｕ’ＢＵ’Ｔ
【０１８３】
以上により、テスト誤差の減少幅−ｄｒＭ／ｄθａを、Ｘ：ａＴＧＸ：ａではなく、Ｘ：ａＴＧ’Ｘ：ａで推定することができる。ゼロでないＵ’の行に対応するサンプルの集合を項目評価用サンプル（Ｄ）とすると、Ｇ’は、項目評価用サンプル（Ｄ）に対応する行および列のみがゼロでない値を持ち、その他の行および列はゼロとなる。従って、少数のサンプル集合（Ｄ）のデータ項目値のみに基づいて、式Ｘ：ａＴＧ’Ｘ：ａによって追加項目の導入によるテスト誤差の減少幅−ｄｒＭ／ｄθａを推定することができる。
【０１８４】
上記理論に基づいて、類似事例としての項目評価用サンプル（Ｄ）を選択する場合の処理の一例について説明する。この場合、分析用データベース１中の各サンプルの項目値の二乗和が一定に正規化されているものとする。また、ＲＢＦカーネル（および、他の定理Ｂの形のカーネル）を使用する場合には、分析用データベース１中の各サンプルの項目値の平均が０に正規化されているものとする。そして、数式２６及び数式２８に基づいて、ｒとβを求める。次に、ＳＶ∪ＲＶをＶｓに代入する。ここで、Ｖｓは、サポートベクトルまたは高次元特徴空間Ｆの半径ｒの超球面状の点となっているサンプルの集合である。従ってＶｓは、テスト削減行列Ｇの対応する行、列が０となっていないサンプルの集合となる。Ｖｓを求めておくことにより、テスト誤差削減行列Ｇの計算において、Ｖｓの要素のみ計算すれば良く、計算を簡素化できる。次に、数式４６または数式４７に基づいて、テスト誤差削減行列Ｇを求める。次に、行列Ｇのｍ個の絶対値最大固有値ｈ、固有ベクトル行列Ｖを求める。次に、図１９に示す処理により数式５６に示す４次計画問題を解き、ＵとＢを得る。次に、絶対値が閾値より小さい要素をゼロに設定することで行列Ｕを離散化して、Ｕ’を求める。次に、ゼロでないＵ’の行に対応するサンプルの集合を項目評価用サンプル（Ｄ）とする。以上により、データ項目の選択に最も有用なサンプルの集合が得られる。
【０１８５】
更に、上記理論に基づいて、分析者より提示された推薦項目または例えば情報源としての外部データベース３に予め用意された推薦項目の中から、追加項目を選択する場合の処理の一例について説明する。この場合、数式６５に基づいて、追加項目の導入によるテスト誤差の減少幅−ｄｒＭ／ｄθａを推定するための行列Ｇ’を求める。当該行列Ｇ’を用いて、次式により、項目評価用サンプル（Ｄ）に推薦項目を追加した場合のテスト誤差の減少幅−ｄｒＭ／ｄθａを評価する。そして、当該評価値が最大となる項目（即ち、テスト誤差の減少幅を最大とする項目）を推薦項目の中から追加項目として選択する。以上により、判別知識の精度向上に最も効果的な追加項目が選択される。
【０１８６】
【数６６】
2004038412.tif 000056
但し、
ＡＲ；推薦項目の集合を表す。
ＸＤ，ａ；項目評価用サンプル（Ｄ）の項目ａの値のベクトルを表す。
【０１８７】
【実施例】
［実施例１］
上記のデータマイニング方法およびデータマイニングシステムの有効性を確認するために、同方法およびシステムを、市販の市区町村単位の民力データと地域通貨活動の市区町村の実績データを元に、民力データから各市区町村での地域通貨導入状況を推定する判別問題に適用した。この結果得られる判別知識を未導入市区町村に適用した結果得られる評価値ｆ（Ｘ）が、導入実績を持つ市区町村と同じならば、導入可能性が高いと判断される。
【０１８８】
地域通貨導入済み市区町村として、インターネットからの検索で、既に地域通貨を導入した又は検討している４８市区町村（表１参照）を特定した。尚、これらの４８市区町村に対する事前分析により、小市町村系８地点と大中都市系４０地点に分かれることが判明した。このため本実施例では、小都市系（表１の括弧で括られた都市）の８都市を除いた４０都市を判別することを目標とした。
【０１８９】
【表１】
2004038412.tif 000057
【０１９０】
民力データとして、朝日新聞社編民力ＣＤ−ＲＯＭ　１９９９年版より、表２に示す１２２項目について、全国３３８４市区町村のデータを抜き出した。ただし、表２中の＊印のデータ項目に関しては変化を表すデータ項目を元のデータ項目から作成した。また、各項目は平均０、分散１にスケーリングした。
【０１９１】
【表２】
2004038412.tif 000058
【０１９２】
本実施例における目的は、地域通貨導入済みの市区町村４０地点（表１参照）を特徴付ける判定知識を得ることである。本実施例における内部データベース２は、全国市区町村３３８４ヶ所の年齢別人口（１９９８年度のデータ。区分は０才から６４歳までの５歳刻みと６５歳以上）の１４データ項目のみのデータベースとした。本実施例における外部データベース３は、表２に示した１２２データ項目のデータベースとした。外部データベース３の全サンプル数は全国市区町村３３８４ヶ所であった。初期の分析用データベース１は、地域通貨導入済み４０市区町村およびランダムに選択した未導入４０市区町村の全データ項目（各年齢別人口１４項目）の値を内部データベース２から抜き出して構成した。
【０１９３】
本実施例における判定知識では、全国３３８４市区町村の中から代表市区町村群｛Ｘｉ｝との類似性により判定を行う。本実施例では、数式２１のＲＢＦカーネル関数ＲＢＦＩ（ＸＡ，ＺＡ）を使用した。従って、次式に示す判別関数の値が地域通貨の導入可能性を示す。
【０１９４】
【数６７】
2004038412.tif 000059
【０１９５】
判別関数ｆ（ＺＡ）の符号が正ならば導入地点、負なら導入していない地点となるように、係数αｉと判定用データ項目集合Ａを決定した。
【０１９６】
判別知識の生成には、ｕｎｂａｌａｎｃｅｄ　ｃ−ＳＶＭを使用した。「成」「否」サンプル数の差が大きいため、成／否サンプルの例外コストをそれぞれＣ＋＝２００、Ｃ−＝１０に設定した。このように「成」サンプルに対する例外コストを大きくすると、多数の「否」サンプルに対する誤りよりも、少数の「成」サンプルに対する誤りを重く見ることとなり、「成」「否」サンプル数の差による少数サンプルの誤差の無視の危険を減らすことができる。
【０１９７】
また、本実施例では、データマイニングシステムが自動で追加項目を特定する処理を行った（図６参照）。また、本実施例では、ステップ８−２−３’において最も可能性が高いとされたデータ項目をそのまま採用した。この場合、分析者の推薦が必ずしも最適でなくても、判別知識の精度の向上が進むことが確認できる。
【０１９８】
生成された判別知識を検証し、必要な数のサンプルを順次追加した（ステップ６）。そして、２０回のデータ項目追加により、導入状況を誤って推定した市区町村が１２地点まで減少したため、そこで分析を終了した。追加されたデータ項目を表３に示す。
【０１９９】
【表３】
2004038412.tif 000060
【０２００】
表３に示した２０データ項目の追加後、得られた判別知識により地域通貨を導入する可能性があると誤判断された市区町村を表４に示す。
【０２０１】
【表４】
2004038412.tif 000061
【０２０２】
表４では、判別知識により導入可能性が高いと判断された市区町村を順に並べている。なお、表４の１２市区町村は、判別知識により誤判定された都市（ｆ（Ｘ）＞０）である。酒田市と京都市南区は完全に導入済み都市の領域に入っている（ｆ（Ｘ）≧１）。つまり最終的に得られた判別関数ｆ（Ｘ）では、これらの都市が「否」のサンプルではない（つまり導入可能性が高い、又はすでに導入している）と判断している。
【０２０３】
データ項目の追加にしたがって、得られた判別知識が洗練されていく様子を図１７に示す。同図は、その時点で得られている判別知識により、全国の都市が正しく判別できたかを示している。図中の○は、本来は「成（導入）」であるのサンプルに対する誤判別を、図中の＋は、本来は「否（未導入）」であるサンプルに対する誤判別を表している。また実線のグラフは、判別関数が実際の「成」「否」と異なって判定したサンプル数を、点線のグラフは正しく判定はしたが信頼度が低いサンプル（例外サンプル）の数を示している。つまり実線が実際の誤判定を、点線は信頼度が低いサンプルまで含めた場合を示している。同図から明らかなように、本来は「成」であるサンプルに対する誤判定は７回目のデータ項目の追加後なくなり、信頼度が低い「成」のサンプルも９回目のデータ項目の追加後なくなっている。一方、本来は「否」であるサンプルに対する誤判定や低信頼度の「否」のサンプル数はデータ項目の追加とともに減少しているが、２０回のデータ項目の追加では完全にはなくならない。減少の傾向は１２回目のデータ項目の追加後に鈍っている。本来は「否」であるサンプルに対する誤判定は、１２回目のデータ項目の追加以降は１０サンプル程度で推移し、信頼度が低い「否」のサンプル数は１２回目のデータ項目の追加以降、８６から５５サンプルまで緩やかに減少している。この緩やかな傾斜は、１２回目のデータ項目の追加後は、少ない「否」の例外サンプルをどうにか判別しようとデータ項目を追加しているが、あまり効果が上がっていないことを示している。そこで、データ項目の追加が効果的な１２データ項目までを判別知識として用いることも考えられる。
【０２０４】
以上のように、全サンプルのデータを見ることなしに、項目評価用の少数サンプルのみに注目し、それらのサンプルに関するデータを調査して追加データ項目を決定することで、判別知識の精度が効果的に向上することが確認された。
【０２０５】
次に、データ項目が追加されていく様子を、最初のデータ項目の追加の実行例により示す。第１回目の判別知識生成により、データ項目（年齢別人口）から、サンプルの「成」「否」を判別する判別関数ｆ（Ｘ）がシステムにより計算される。この第１回目の判別知識による判別結果は、以下の表５のようになる。尚、全「成」サンプル数は４０、全「否」サンプル数は３３８４である。また、信頼度の低いサンプル数は、誤判別サンプル数も含んでいる。
【０２０６】
【表５】
2004038412.tif 000062
【０２０７】
そして、ＲＢＦを用いた項目評価用サンプル（Ｄ）の選択手法（図５参照）によって、類似事例として表６に示す成否サンプルの対が選択された。
【０２０８】
【表６】
2004038412.tif 000063
【０２０９】
例えば、関前村と早川町、関前村と大田村、関前村と作木村は現在の判別知識で適切に判別できず（αｉ＞０）、かつ分析用データベース１中のデータ項目（各年齢別人口）ではほぼ同じ値（類似度ＲＢＦＩ（Ｘｉ，Ｘｊ）≒１００％）を取るのにもかかわらず、関前村では地域通貨が導入（「成」）され、早川町、大田村、作木村では導入されていない（「否」）というサンプルの対となっている。データマイニングシステムは、この提示したサンプル対を効果的に判別することができるような新しいデータ項目の追加を求めている。
【０２１０】
本実施例では、分析者の知識には頼らずに、図６に示す処理によりデータマイニングシステムが自動で類似事例を差別化するのに有効だと考えられる推薦項目を選択した。この結果、推薦されたデータ項目は推薦順に表７に示す通りである。
【０２１１】
【表７】
2004038412.tif 000064
【０２１２】
データマイニングシステムでは、推薦項目の中から、判別知識の改善に効果的と思われるデータ項目を選択する。本実施例では、推薦項目群の中で最も見込みがあるとされたデータ項目（年齢別構成比４５−６４歳）を単純に選択した。そして、分析用データベース１中の全サンプルに対する、選択されたデータ項目（年齢別構成比４５−６４歳）の実際のデータを外部データベース３から取得し、分析用データベース１に追加する。そして、新たな分析用データベース１を用いて、判別知識を更新する。この結果、新たな判別知識による判別結果は、以下の表８のようになった。尚、信頼度の低いサンプル数は誤判別サンプル数も含む。
【０２１３】
【表８】
2004038412.tif 000065
【０２１４】
新たな判別知識により、「成」サンプル誤判別が１１から６に減っている。このような過程を繰り返しながら、データ項目を追加することで知識の精度を改善していく。
【０２１５】
ここで、本実施例では、分析者の知識には頼らずにデータマイニングシステムが自動で追加項目を特定する処理を行ったが（図６参照）、データマイニングシステムと分析者とが対話し協調しながら、判別知識の洗練に有効な追加項目を特定するようにしても良い（図４参照）。以下に、拡張三つ組み法が、外部データベース３を考慮したデータマイニングに有効である点について説明する。
【０２１６】
拡張三つ組み法は、データ項目の追加に必要な知識を分析者から引き出すための手法である。即ち、拡張三つ組み法は、現在のデータ項目では判別が困難なサンプルを判別可能とするような新たなデータ項目を分析者がデータマイニングシステムに推薦し易くするための手法である。このために、現在のデータ項目では判別が困難で、成否が異なるサンプル対を分析者に提示する。現在は判別ができない、つまりシステムにとっては同じように見えるサンプル対が実際には成否が異なっているという事実を分析者に提示することで、提示サンプル対を判別することを可能とする新たなデータ項目を聞き出すことができる。特に本実施例で適用したＲＢＦカーネルを用いた場合には、例外度が高い誤判別サンプルと、そのサンプルに似ていて成否が異なるサンプルを対として提示する。これらのサンプルのデータ項目の値に基づき、新たなデータ項目の有効性を推測することは、システムにとって理論的な正当性を持つだけでなく、以下の例で示すように、人間である分析者にとっても、直感的に意味があり効果的である。
【０２１７】
例えば本実施例では、６回目のデータ項目の追加の際に、以下の表９に示すようなサンプル対が類似事例として特定された。
【０２１８】
【表９】
2004038412.tif 000066
【０２１９】
これは、下京区では地域通貨が導入されているが、システムが持っている現在のデータでは似たように見える上京区、中京区、東山区では導入されていないことを示している。例えば、下京区と上京区の分析用データベース１上でのデータの類似度ＲＢＦＩ（Ｘｉ，Ｘｊ）は９９％であった。分析者はこのようなサンプル対の提示によって、現在のデータ項目に加えるべき新たなデータ項目の発想がし易くなる。
【０２２０】
次の表１０に示す例は、１０回目のデータ項目の追加の際に、類似事例として特定されたサンプル対である。
【０２２１】
【表１０】
2004038412.tif 000067
【０２２２】
この例から、市区町村の類似が地理的に近くにあるといった観点からではなく、データマイニングシステムにとって類似していると思われる市区町村が対として挙げられているのが確認できる。例えば、多摩市と習志野市のデータの類似度ＲＢＦＩ（Ｘｉ，Ｘｊ）は９８％であった。
【０２２３】
データマイニングシステムでは、表９や表１０に示すサンプル対（類似事例）を分析者に提示することもできる。システムの観点から機械的に（即ち人的な思い込みや固定観念等にとらわれず）サンプル対の提示が行われることにより、分析者がそれまで気づいていなかった因子に気づくといった効果がある。また、一回ごとの提示サンプル対だけではなく、連続した提示市区町村を見ていくことによっても新たな知見が得られる可能性がある。例えば、本実施例で何度も類似事例として特定された市区町村を示すと、次の表１１のようになる。
【０２２４】
【表１１】
2004038412.tif 000068
【０２２５】
表１１から明らかになるのは、データマイニングシステムが長野県駒ヶ根市を正しく判別するのに苦労しているという事実である。効果的なデータ項目の追加に失敗しているという可能性もあるが、「成」のサンプルの残りの３９市区町村と駒ヶ根市を同じ「成」のクラスに入れるのは間違っているという可能性もある。このように何度も提示される市区町村を分析者が見ることで、サンプルの成否自体の変更、分析の目的に適した成否の再検討も可能となる。なお、長野県の「否」のサンプルが何度も出現しているのは、それらがデータ上から駒ヶ根市に似た市区町村であるとデータマイニングシステムが判断しているためである。そうすると、大分県湯布院町の成否も再検討する必要があると考えられる。以上のように、拡張三つ組み法によれば、データマイニングシステムにとっても、分析者にとっても、現在の判別知識の効果的な見方を提供することができる。
【０２２６】
また、本実施例では、未使用のデータ項目の良さ（最適性）を次のように評価した。即ち、外部データベース３（民力データ）から未使用のデータ項目を１つ取り出し、実際に分析用データベース１に追加して、新しい判別知識を生成し、当該判別知識の最適性の評価値（ｃ−ＳＶＭの目的関数値）を算出し、当該評価値により、未使用の各データ項目の良さを順位付けた。図１８は、選択したデータ項目が、上記の最適性評価でどの順位にあたるかを示している。「○」「△」「＋」点は、図６のステップ８−２−３’の処理により１，２，３位と評価されたデータ項目の目的関数値の順位を示す。例えば１回目の追加項目選択では、３０番目に有効なデータ項目を第１推薦項目として推薦していることが分かる。１回目の時点で、分析用データベース１に含まれないデータ項目は１０８であるので、８つのサンプルに関するデータ項目のデータだけから単純な規則で選択された追加項目は、適切な選択を行っているといえる。全体的に見ても、高々８サンプルのデータ項目の値による追加データ項目の選択は比較的良い順位の項目を選択している。ステップ８−２−３’による処理では、必ずしも最良の項目を選択する保証はないが、例えば上位３つの推薦項目を考慮することで、２０位内の項目を比較的良く選択できることが確認された。ステップ８−２−３’の選択規則は単純なものでありながら、比較的良いデータ項目が選択されていることから、項目評価用サンプルが良い判断基準を与えていたと考えられる。
【０２２７】
［実施例２］
本実施例では、手書き文字認識問題に対して本発明を適用した。情報源としての内部データベース２は、７２９１個の学習用画像データと２００７個のテスト用画像データを有する。各文字は、１６×１６ピクセルのグレースケールの画像として切り出されている。本実施例では、各ピクセルを一つのデータ項目として扱い、２５６項目の入力データとした。尚、本データは、米国郵政公社提供のもので、ｆｔｐ：／／ｆｔｐ．ｋｙｂ．ｔｕｅｂｉｎｇｅｎ．ｍｐｇ．ｄｅ／ｐｕｂ／ｂｓ／ｄａｔａ／　から入手可能である。
【０２２８】
本実施例では、相互情報量が最も高い５データ項目（初期マスク）から出発して、テスト用画像データを用いず学習用画像データのみに基づいて、数字「５」を認識するのに有効性の高いデータ項目（ピクセル）を順次選択するようにした。図２１は、各データ項目の相互情報量を示す。図２２は、選択された初期マスクを示す。図２２中の黒点が選択された５つの初期データ項目である。データは、各データ項目の平均０、分散１となるように正規化した。カーネル関数は、数式２１のＲＢＦカーネル関数を使用した。また、項目評価用サンプル（Ｄ）を選択する方法、推薦項目の中から追加項目を選択する方法には、本発明の第２実施形態で説明した方法を採用した。また、データマイニングシステムが自動で内部データベース２の中から追加項目を特定する処理を行った。
【０２２９】
図２０は、初期マスクにデータ項目を逐次追加した場合の学習用データおよびテスト用データでの誤認識率を示す。同図中の符号５０，５１は学習用データについての結果を示し、符号５２，５３はテスト用データについての結果を示す。また、同図中の実線は、項目評価用サンプル（Ｄ）の数を１６に、近似に使用する固有値・固有ベクトルを６個（ｍ＝６）に制限した場合を示す。同図中の破線は、制限をまったく設けなかった場合を示す。制限をした場合、データ項目の追加にしたがって認識率が改善し、２０データ項目の追加で３〜４％程度の誤認識率を実現している。同テスト画像データをマスクせずに見たときの人間の誤認識率が２．５％程度であることから、高い認識率を実現していることがわかる。制限をした方が誤認識率が低いのは、評価用サンプルの選択操作により類似データ項目が集中的に選択されることが防がれ、相互情報量が高いデータ項目を万遍なく選択しているためである（図２３及び図２４参照）。尚、図２３は、項目評価用サンプル（Ｄ）の数を１６に、近似に使用する固有値・固有ベクトルを６個に制限した場合に、最終的に選択された２５データ項目（初期マスクの５つと追加された２０のデータ項目）を示す。図２４は、上記制限をしなかった場合の最終的に選択された２５データ項目を示す。
【０２３０】
項目評価用サンプル（Ｄ）として現れる画像の集合は、しばしば、マスクされた画像では類似しているが一方は数字「５」であり、他方は「５」でないという画像の組であった。このような画像に基づいて選択される追加項目は、これらの類似画像を正しく判別できるデータ項目、すなわち、数字「５」の画像と数字「５」でない画像とで白黒が反転しているようなピクセルである。このような項目の追加により、サンプルの識別率が改善することは直感的に理解できる。
【０２３１】
［実施例３］
提案手法を評価するために、ＣｏＩＬ　２０００　Ｃｈａｌｌｅｎｇｅ　で使用されたデータに本発明を適用した。尚、このデータはカリフォルニア大学アーバイン校のデータレポジトリ（Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃａｌｉｆｏｒｎｉａ　Ｉｒｖｉｎｅ　Ｄａｔａ　Ｒｅｐｏｓｉｔｏｒｙ（ＵＣＩ　ＫＤＤ　Ａｒｃｈｉｖｅ））から入手可能である。
【０２３２】
データは、訓練集合とテスト集合からなる。訓練集合は、保険会社の顧客５８２２人のデータからなる。訓練集合のうち３４８人（６％）がキャラバン（自動車で牽引する移動住宅）をカバーする保険証券（以下、キャラバン保険証券と呼ぶ。）を持つ。テスト集合は、保険会社の顧客４０００人のデータからなる。テスト集合のうち２３８人がキャラバン保険証券を持つ。それぞれの顧客に対して、８５のデータ項目がある。本実施例でのデータマイニングの目的は、「キャラバン保険証券を持つ顧客を同定するための判別知識を得ること」である。
【０２３３】
尚、本発明を適用する前に、上記データのうち、項目番号１について４１のバイナリデータ（２値のデータ）に変換し、項目番号５について１０のバイナリデータに変換した。これは、これらの項目が、数値データではない顧客のタイプを表現しているからである。このため、本実施例では１３４のデータ項目を用いた。
【０２３４】
本実施例ではＲＢＦカーネルを用いたｃ−ＳＶＭを採用し、データマイニングシステムが自動で追加項目を特定する処理を行った（図６参照）。また、選択サンプル数（評価集合の大きさ）を８とし、初期の項目集合として相互情報量の上位１０項目を選択した。
【０２３５】
図２５に、テスト集合において、キャラバン保険証券を持つと判定された顧客数（サンプル数）と、追加項目数との関係を示す。同図から、キャラバン保険証券を持つと判定された顧客の数が、項目の追加とともに増えていることが確認できる。また、図２６に訓練集合中の誤判定したサンプルの数を示す。尚、同図中の「×」は「成」サンプルに対する誤判定数を示し、「＊」は「否」サンプルに対する誤判定数を示し、「＋」は「成」サンプルに対する誤判定数と「否」サンプルに対する誤判定数の和を示す。同図から、誤判定したサンプルの数が項目の追加とともに減少していることが確認できる。図２５および図２６に示す結果は、すべてのサンプルに対して項目値を評価することなしに、非常に少ないサンプルのみ（本実施例では８サンプル）に基づいて、判別知識の改善に有効な追加項目を適格に選択できるということを示している。
【０２３６】
以上のように本発明によれば、分析用データベース１に効率的且つ効果的にデータを補充して精度の高い有用な知識を抽出することができる。データマイニングにおいて、外部データを適切に取り入れながら精度の高い知識を獲得していく必要性は高い。特に、顧客データベースの整備によるお客様サービスの充実や、機器診断用のデータベースの整備による設備診断・保守の高度化が望まれている現状では、本発明は極めて有用性が高い技術である。また、現在はインターネットを通して自由にデータが取得できる情報源は限られているが、今後、本発明に関わるデータマイニングが活発になるにつれて、インターネットを通したデータの購入や一部のデータを部分的に販売することなどが実現すると考えられる。
【０２３７】
なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、データマイニングシステムのユーザインターフェースを適宜ユーザフレンドリーに整備しても良い。また外部データベース３のアクセスコストの違いを考慮して、外部データベース３にアクセスするルール（例えば、ある基準より低いコスト又は無償のデータベースであれば取得するデータ量または接続時間に制限をかけないが、ある基準より高いコストのデータベースであれば取得するデータ量または接続時間を制限する、または同種の情報源であれば、より低コストのデータベースにアクセスする等）を設けるようにしても良い。
【０２３８】
【発明の効果】
以上の説明から明らかなように、請求項１記載のデータマイニング方法および請求項１０記載のデータマイニングシステムおよび請求項１１記載のデータマイニング用プログラムによれば、似て非なる類似事例を特定し、当該類似事例を差別化するために有効な追加項目に関するデータを分析用データベースに追加することで、分析用データベースに効率的且つ効果的にデータを補充して、精度の高い有用な判別知識を抽出することができる。
【０２３９】
データマイニングにおいて、外部データを適切に取り入れながら精度の高い知識を獲得していく必要性は高い。特に、顧客データベースの整備によるお客様サービスの充実や、機器診断用のデータベースの整備による設備診断・保守の高度化が望まれている現状では、本発明は極めて有用性が高い技術である。また、現在はインターネットを通して自由にデータが取得できる情報源は限られているが、今後、本発明に関わるデータマイニングが活発になるにつれて、インターネットを通したデータの購入や一部のデータを部分的に販売することなどが実現すると考えられる。
【０２４０】
さらに、請求項２記載のデータマイニング方法によれば、分析者等は具体的な事例（類似事例）についての対比検討が可能となるため、的確な推薦項目を入力し易く、分析者等の知識を効果的に引き出すことができる。
【０２４１】
一方、請求項３記載のデータマイニング方法によれば、分析者等には項目を推薦するための知識は要求されず、分析者等の判断又は能力によって判別知識の精度が大きく左右されてしまうことを回避でき、安定して高精度の判別知識を得ることができる。
【０２４２】
さらに、請求項４記載のデータマイニング方法によれば、不必要な分析用データベースの拡充が回避される。
【０２４３】
さらに、請求項５記載のデータマイニング方法によれば、追加項目に関するデータのみならず、分析用データベースに存在しない追加事例に関するデータも分析用データベースに補充して、精度の高い有用な知識を抽出することができる。
【０２４４】
さらに、請求項６記載のデータマイニング方法によれば、少数のデータを用いて効果的な検証を行うことができる。
【０２４５】
さらに、請求項７記載のデータマイニング方法によれば、効率的且つ効果的に、分析用データベースに存在しない追加事例に関するデータを分析用データベースに補充することができる。
【０２４６】
さらに、請求項８記載のデータマイニング方法によれば、追加項目または追加事例に関するデータによる分析用データベースの拡充は、充分に高精度の判別知識が得られるか、これ以上の精度向上が望めなくなるまで繰り返され、高精度の判別知識を確実に得ることができる。
【０２４７】
さらに、請求項９記載のデータマイニング方法によれば、判別知識の精度が低い場合には、先ず、追加事例に関するデータが分析用データベースに追加され、追加事例に関するデータの追加では、これ以上の精度向上が望めない場合に、追加項目に関するデータが分析用データベースに追加される。したがって、効率的且つ効果的に分析用データベースが拡充される。
【図面の簡単な説明】
【図１】本発明のデータマイニング方法およびシステム並びにプログラムの処理の一例を示す概略フローチャートである。
【図２】図１のステップ３を更に詳細化した処理の一例を示すフローチャートである。
【図３】図１のステップ８を更に詳細化した処理の一例を示すフローチャートである。
【図４】データマイニングシステムと分析者との対話（やりとり）の例をシークエンスで示す図である。
【図５】図３のステップ８−１を更に詳細化した処理の一例を示すフローチャートである。
【図６】図３のステップ８−２を更に詳細化した処理の一例を示すフローチャートである。
【図７】推薦項目の中から追加項目を選択する処理の一例を示すフローチャートである。
【図８】本発明のデータマイニングシステムの構成の一例を示す概略構成図である。
【図９】本発明のデータマイニングシステムの構成の他の例を示す概略構成図である。
【図１０】本発明のデータマイニング方法及びシステムにおけるデータの流れの一例を示すデータフロー・ダイヤグラムである。
【図１１】分析用データベースと分析用データベース以外の情報源（内部データベースおよび外部データベース）との関係を表す概念図である。
【図１２】分析用データベースの中から特定された類似事例と、当該類似事例を差別化するために入力された推薦項目とを表す概念図である。
【図１３】分析用データベースの中から特定された類似事例と、当該類似事例を差別化するために入力された推薦項目と、推薦項目の中から特定された追加項目を表す概念図である。
【図１４】分析用データベースの中から特定された類似事例と、当該類似事例を差別化するために入力された推薦項目と、追加項目に関する分析用データベースの全事例分のデータを表す概念図である。
【図１５】判別知識による判別が困難な領域を表す概念図である。
【図１６】判別知識の精度改善を行うための追加項目の選択に有効な事例を選択する考え方を表す概念図であり、（Ａ）は横軸に既知の項目（ａ１）の値をとり、縦軸に未知の項目（ａ２）の値をとって、各事例をプロットしたものであり、（Ｂ）は、横軸に既知の項目（ａ１）の値をとって、各事例をプロットしたものである。（Ａ），（Ｂ）で横軸（ａ１）の値が同じ点は、同一事例を表す。
【図１７】項目の追加にしたがって得られた判別知識が洗練されていく様子を示すグラフであり、横軸は項目追加の回数を示し、縦軸は誤判別された事例の数を示す。
【図１８】選択した項目が、上記の最適性評価でどの順位にあたるかを示すグラフであり、横軸は項目推薦の回数を示し、縦軸は最適性評価における順位を示す。
【図１９】本発明のデータマイニング方法およびシステム並びにプログラムの処理の他の例を示す概略フローチャートである。
【図２０】項目の追加にしたがって得られた判別知識が洗練されていく様子を示すグラフであり、横軸は追加項目数を示し、縦軸は誤判別率を示す。
【図２１】手書き文字認識問題に対して本発明を適用した一実施例を示し、１６×１６ピクセルのグレースケールの画像データについて、各ピクセルを一つのデータ項目として扱った場合に、各データ項目の相互情報量を表す図である。
【図２２】上記実施例において、図２１の相互情報量の最も高い５つのデータ項目を選択することによって得られた初期マスクを表す図である。
【図２３】上記実施例において、類似事例の数および近似に使用する固有値・固有ベクトルの数を制限した場合に、最終的に選択されたデータ項目を表す図である。
【図２４】上記実施例において、類似事例の数および近似に使用する固有値・固有ベクトルの数を制限しなかった場合に、最終的に選択されたデータ項目を表す図である。
【図２５】項目の追加にしたがって得られた判別知識が洗練されていく様子を示すグラフであり、横軸は追加項目数を示し、縦軸は「成」と判別された事例数を示す。
【図２６】項目の追加にしたがって得られた判別知識が洗練されていく様子を示すグラフであり、横軸は追加項目数を示し、縦軸は誤判別された事例の数を示す。
【符号の説明】
１　分析用データベース
２　内部データベース（情報源）
３　外部データベース（情報源）
１０，１０’　データマイニングシステム
【図１】
2004038412.tif 000069
【図２】
2004038412.tif 000070
【図３】
2004038412.tif 000071
【図４】
2004038412.tif 000072
【図５】
2004038412.tif 000073
【図６】
2004038412.tif 000074
【図７】
2004038412.tif 000075
【図８】
2004038412.tif 000076
【図９】
2004038412.tif 000077
【図１０】
2004038412.tif 000078
【図１１】
2004038412.tif 000079
【図１２】
2004038412.tif 000080
【図１３】
2004038412.tif 000081
【図１４】
2004038412.tif 000082
【図１５】
2004038412.tif 000083
【図１６】
2004038412.tif 000084
【図１７】
2004038412.tif 000085
【図１８】
2004038412.tif 000086
【図１９】
2004038412.tif 000087
【図２０】
2004038412.tif 000088
【図２１】
2004038412.tif 000089
【図２２】
2004038412.tif 000090
【図２３】
2004038412.tif 000091
【図２４】
2004038412.tif 000092
【図２５】
2004038412.tif 000093
【図２６】
2004038412.tif 000094