(57)【要約】【課題】診断尺度および統計的有意性検定を利用する統計技術の使用を通じてデータ・マイニング・モデルを解釈し、最適化し、及びカスタマイズするためのシステム、方法およびプログラム製品を提供する。【解決手段】データ処理システムが開示され、それは、データ・グループがどのように分割され得るかを定義するデータ・モデルに従ってデータ・ウェアハウスからデータをマイニングするためのデータ・マイニング・システムと、定義されたデータ・グループのために診断尺度のセットを計算し統計的有意性検定を実行するデータ・グループ分析システムとを含む。【選択図】図１
2010146554.tif 000002
【特許請求の範囲】
【請求項１】
データ・グループがどのように分割され得るかを定義するデータ・モデルに従ってデータ・ウェアハウスからデータをマイニングするためのデータ・マイニング・システムと、
定義されたデータ・グループのために診断尺度のセットを計算し統計的有意性検定を実行するデータ・グループ分析システムと、
を含むデータ処理システム。
【請求項２】
前記データ・グループ分析システムは第１データ・グループを第２データ・グループと比較し、前記統計的有意性検定は、カイ二乗検定、２標本ｔ検定、マン・ホイットニーＵ検定、コルモゴロフ・スミルノフ（ＫＳ）検定、および２標本ＫＳ検定から成るグループから選択され、診断尺度は、効果および関連する信頼区間のサイズを測定するための相対リスクまたはオッズ比を含む、請求項１に記載のデータ処理システム。
【請求項３】
前記データ・グループ分析システムは、第１データ・グループを他の全てのデータと比較する、請求項１に記載のデータ処理システム。
【請求項４】
利用され得る統計的検定は、カイ二乗検定、２標本ｔ検定、マン・ホイットニーＵ検定、コルモゴロフ・スミルノフ（ＫＳ）検定、および２標本ＫＳ検定から成るグループから選択され、診断尺度は、効果および関連する信頼区間のサイズを測定するための相対リスクまたはオッズ比を含む、請求項１に記載のデータ処理システム。
【請求項５】
前記データ・グループは、クラスタ化、回帰モデリング、問合せ、決定木モデリングから成るグループから選択された技術を用いて分割される、請求項１に記載のデータ処理システム。
【請求項６】
複数のデータ・グループについての計算された診断尺度および実行された統計的有意性検定のセットに基づいてデータ・グループ分割を洗練するモデル最適化システムをさらに含む、請求項１に記載のデータ処理システム。
【請求項７】
データ・マイニング結果を評価するために診断尺度および統計的有意性検定の前記セットを自動的に使用する少なくとも１つのビジネス・プロセスをさらに含む、請求項６に記載のデータ処理システム。
【請求項８】
データ・マイニング結果を分析するためのコンピュータ・プログラムが格納されているコンピュータ可読の媒体であって、前記プログラムがコンピュータに、
データ・グループがどのように分割され得るかを定義するデータ・モデルに従ってデータ・ウェアハウスからデータをマイニングするための機能と、
定義されたデータ・グループのために診断尺度を計算し統計的有意性検定を実行する機能と、
を実行させるコンピュータ可読の媒体。
【請求項９】
統計的有意性尺度のセットを計算する前記機能は第１データ・グループを第２データ・グループと比較し、前記統計的有意性尺度のセットはカイ二乗測定値と、オッズ比と、前記オッズ比の信頼区間とから成る、請求項８に記載のコンピュータ可読の媒体。
【請求項１０】
統計的有意性尺度のセットを計算する機能は第１データ・グループを他の全てのデータと比較する、請求項８に記載のコンピュータ可読の媒体。
【請求項１１】
前記統計的有意性検定は、カイ二乗検定、２標本ｔ検定、マン・ホイットニーＵ検定、コルモゴロフ・スミルノフ（ＫＳ）検定、および２標本ＫＳ検定から成るグループから選択され、診断尺度は、効果および関連する信頼区間のサイズを測定するための相対またはオッズ比を含む、請求項８に記載のコンピュータ可読の媒体。
【請求項１２】
前記データ・グループは、クラスタ化、回帰モデリング、問合せ、および決定木モデリングから成るグループから選択された技術を用いて分割される、請求項８に記載のコンピュータ可読の媒体。
【請求項１３】
複数のデータ・グループについての計算された診断尺度および実行された統計的有意性検定のセットに基づいてデータ・グループ分割を洗練する機能をさらに含む、請求項８に記載のコンピュータ可読の媒体。
【請求項１４】
データ・マイニング結果を評価するために診断尺度および統計的有意性検定の前記セットを自動的に使用する少なくとも１つのビジネス・プロセスを実行するための機能をさらに含む、請求項１３に記載のコンピュータ可読の媒体。
【請求項１５】
データ・マイニング結果を分析するための方法であって、
データ・グループがどのように分割され得るかを定義するデータ・モデルに従ってデータ・ウェアハウスからデータをマイニングすることと、
定義されたデータ・グループのために診断尺度のセットを計算し統計的有意性検定を実行することと、
を含む方法。
【請求項１６】
データ・モデルを処理する方法であって、
データ・グループがどのように分割され得るかをそれぞれ定義する複数のデータ・モデルに従ってデータ・ウェアハウスからデータをマイニングすることと、
前記データ・モデルの各々の統計的有意性尺度を計算することと、
計算された統計的有意性尺度に基づいてデータ・モデルを選択することと、
を含む方法。
【請求項１７】
前記統計的有意性尺度は、受信者動作特性（ＲＯＣ）曲線／曲線下面積（ＡＵＣ）モデルおよびマクネマー検定から成るグループから選択された統計技術を用いて計算される、請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この開示は、診断尺度および統計的有意性検定を利用する統計技術の使用を通じてデータ・マイニング・モデルを解釈し、最適化し、及びカスタマイズするためのシステムおよび方法に関する。
【背景技術】
【０００２】
伝統的な統計方法とデータ・マイニングとは、しばしば、データから結論を引き出すための２つの競い合う方法論として見られている。伝統的な統計学は確率的モデルと仮説検定とに依拠し、データ・マイニングは仮定を行わず、データ駆動される。統計的方法は、確定した診断法をよく定義された文脈で提供する。データ・マイニングは、情報ウェアハウスに存在するデータなど、厳密な統計的実験計画法を用いて編集され得ない大規模な高次元データセットを用いる探求的データ分析及びモデル作成に特によく適している。データ・マイニングはヒューリスティックであってアルゴリズム的に駆動され、有益なパターンを自動的に抽出するように設計される。しかし、パターンは自動的に発見されるので、データ・マイニングは、興味深く見えるけれども顕著に異なる挙動あるいは結果を表さないパターンを発見することがある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
３つの問題がこの文脈において存在する。第１に、高コストのあるいは高価値の決定をすることはデータ・マイニング結果の厳密な解釈を必要とし得る。さらに、データ・マイニング・モデルは、特定のアプリケーションのためにさらにカスタマイズされ、かつ、または、最適化されなければならないことがある。第２に、ビジネス・アプリケーションにデータ・マイニングを埋め込む方向に向かう趨勢は、ビジネス・アナリストが結果を正しく解釈するのを援助する何らかのメカニズムを必要とする。第３に、データ・マイニングがより使用に適するようになるとき、データ・マイニング・プロセスを自動化するという増大するニーズは、埋め込まれた解釈がより頑健で確実であることを必要とする。
【０００４】
現在、これら３つの問題の全てを処理する解決策は存在しない。市販されているデータ・マイニング・ワークベンチ及び他のデータ・マイニング解決策は、変数選択、データ探査、データ準備などのアドホックなオペレーションのための一定の統計的機能性を含むことがある。けれども、統計的機能性のこれらのインプリメンテーションは、上記問題を処理するために統計技術をデータ・マイニングと結合させる具体的な方法論を構成しない。従って、データ・マイニング結果のより頑健な分析に対するニーズが存在する。
【課題を解決するための手段】
【０００５】
本発明は、診断尺度及び統計的有意性検定を用いてデータ・マイニング・オペレーションを評価するためのシステム、方法及びプログラム製品に関する。一実施態様において、データ処理システムがあり、それは、データ・グループがどのように分割され得るかを定義するデータ・モデルに従ってデータ・ウェアハウスからデータをマイニングするためのデータ・マイニング・システムと、定義されたデータ・グループのために診断尺度のセットを計算し統計的有意性検定を実行するデータ・グループ分析システムとを含む。
【０００６】
第２の実施態様において、データ・マイニング結果を分析するためのコンピュータ・プログラム製品が格納されているコンピュータ可読の媒体があり、それは、データ・グループがどのように分割され得るかを定義するデータ・モデルに従ってデータ・ウェアハウスからデータをマイニングするためのプログラム・コードと、定義されたデータ・グループのために診断尺度のセットを計算し統計的有意性検定を実行するプログラム・コードとを含む。
【０００７】
第３の実施態様において、データ・マイニング結果を分析するための方法があり、それは、データ・グループがどのように分割され得るかを定義するデータ・モデルに従ってデータ・ウェアハウスからデータをマイニングすることと、定義されたデータ・グループのために診断尺度のセットを計算し統計的有意性検定を実行することとを含む。
【０００８】
第４の実施態様において、データ・モデルを処理する方法があり、それは、データ・グループがどのように分割され得るかをそれぞれ定義する複数のデータ・モデルに従ってデータ・ウェアハウスからデータをマイニングすることと、該データ・モデルの各々のために１つ以上の診断尺度を計算することと、計算された１つまたは複数の診断尺度の統計的有意性に基づいてデータ・モデルを選択することとを含む。
【０００９】
この発明を用いることの利点は、データ・マイニング結果の質、頑健さ、および確実性を改善すること、高度の統計専門知識でのあるいは高度の統計専門知識無しでのデータ・マイニング結果の解釈を容易にすること、データ・マイニング・モデルを特定アプリケーション向けに最適化しカスタマイズすること、および、オペレーショナル・プロセスにおいてデータ・マイニング結果の自動化された解釈を改善し容易にすることを含む。
【００１０】
本発明の実例となる側面は、本書に記載された問題と、論じられていない他の問題とを解決するように意図されている。
【００１１】
本発明のこれらのおよび他の特徴は、本発明のいろいろな側面についての下記の詳細な説明を添付図面と関連させて検討することからより容易に理解されるであろう。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施態様に従うデータ処理システムを有するコンピュータ・システムを描いている。
【図２】本発明の実施態様に従う統計的有意性を示すテーブルのセットを描いている。
【図３】本発明の実施態様に従うデータ・マイニング・プロセスのための決定木モデルを描いている。
【図４】本発明の実施態様に従う統計的有意性を示すテーブルのセットを描いている。
【図５】本発明の実施態様に従う統計的有意性を示すテーブルのセットを描いている。
【発明を実施するための形態】
【００１３】
図面は単なる略図に過ぎなくて、本発明の特定のパラメータを描くように意図されていない。図面は、本発明の代表的実施態様だけを描くように意図されていて、従って本発明の範囲を限定するものと解されるべきではない。図面において、同様の番号は同様のエレメントを表す。
【００１４】
図１を参照すると、本発明の実施例に従うデータ処理システム１８を有するコンピュータ・システム１０が示されている。データ処理システム１８は、データ・ウェアハウス３４からのデータを分析し処理する任意のデータ処理アプリケーションを含み得る。データ・ウェアハウス３４は、任意の目的のために集められあるいは利用される任意のタイプのデータを含むことができて、分散され、かつ、または、遠方に存在することができる。データ処理システム１８は例えばメモリ１６に格納されたプログラム製品として実現されることができ、それは、プロセッサ１２により実行されたとき、コンピュータ・システム１０を特定の仕方で動作させる。
【００１５】
データ処理システム１８の中央にデータ・マイニング・システム２０があり、これは、例えば、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を介して行われるユーザ入力、他の計算装置またはアプリケーションからのシステム入力などの１つ以上の入力３６に応答してデータ・モデル４０に基づいてデータ・ウェアハウスから情報をマイニングする。データ・マイニングは、例えば、データ・クレンジング、変換、グループ発見、仮説生成、予測モデリングおよびスコアリング、解釈などを含み得る。データ・マイニングのアプリケーションは多くて、例えば、ビジネスあるいは科学の識見を得ること、業績の重要な測定基準を提供すること、予測、などを含む。
【００１６】
データ処理システム１８は自動的事業実施を促進するためにデータ・マイニング・オペレーションの結果を利用する１つ以上のビジネス・プロセス３２も含むことができる。例えば、データ・マイニング・オペレーションの結果に基づいて、例えば、ネットワークはネットワーク・トラフィックを最善に経路指定するように動的に設定されることができ、カタログ郵送リストが作成されることができ、健康保険コスト節約方策が提案されることができる。データ処理システム１８に統合されて示されてはいるけれども、ビジネス・プロセス３２がデータ処理システム１８から出力３８を受け取る別のシステムとして実現され得ることが分かる。
【００１７】
上記のように、結果を評価する専門家による分析が無ければデータ・マイニング・システムからの結果の効能を測定することはしばしば困難である。この問題に対処するために、データ処理システム１８は、統計的有意性処理システム２６を用いてデータ・モデル４０において定義されたデータ・グループを静的に分析するためのデータ・グループ分析システム２２を含む。より具体的には、データ・グループ分析システム２２はデータをグループ・レベルで評価する。それは、例えば、データ・グループをデータのセット全体と対照して、あるいは１つ以上の他のデータ・グループと対照して、評価することができる。
【００１８】
例えば、データ・グループ分析システム２２は、特定の郵便番号に居住し、所定額より多くを稼ぎ、年齢３０未満で去年新車を購入した人の数を、去年新車を購入した３０より上の同じグループと対比して調べることができる。これらのデータ・グループについて単に生のデータを提供するほかに、統計的有意性処理システム２６は、データ・グループの統計的有意性を測定するために１つ以上の統計プロセスを利用する。例えば、データ・グループ分析システム２２は、データ・マイニング・システム２０を利用して、３０歳より上の７３６人が新車を購入しなくて５５人が購入したのと比べて３０歳未満の４３５人が新車を購入しなくて１３人が購入したことを示す生のデータを報告することができる。統計的有意性処理システム２６は、この生のデータを分析して、該データがこれらのグループにおいてどのくらい意味があるかに関する尺度を提供する。このようなグループ分割によってデータ・モデル４０において定義されているデータがどれくらい統計的に意味があるかを理解することにより、例えば３０歳より上の人たちを主にターゲットとして宣伝活動を始めるべきである、考慮するべきもっと良い人口構成グループ分割があるなど、より良いビジネス決定が行われ得る。
【００１９】
従って、統計的有意性処理システム２６は、データ・モデル４０内での１つまたはそれ以上の異なるグループ分割の効能を測定するために利用され得る。利用され得る例としての統計検定と診断尺度とは、以下でより詳しく記述されるけれども、例えばカイ二乗検定、２標本ｔ検定、マン・ホイットニーＵ検定、コルモゴロフ・スミルノフ（ＫＳ）検定、２標本ＫＳ検定などと、効果および関連する信頼区間のサイズを測定するための相対リスクまたはオッズ比などの診断尺度とを含み得る。利用されるべき尺度（１つまたは複数）および検定の具体的タイプは、一般に、データ・タイプと、データ・グループがどのように定義され分析されるかとに基づいて決定されるであろう。
【００２０】
１つ以上のデータ・グループについての尺度が得られたならば、結果は、例えば、さらに分析されるべく出力３８として提供され、業績の最善のインジケータを選択あるいは特定するために利用され、格付けされ、データ・マイニング結果をどのように使うかを決定することのできる自動化されたビジネス・プロセス３２に供給されるなど、任意の仕方で利用され得る。
【００２１】
さらに、モデル・カスタマイゼーション・システム３０は、該結果を利用して、データ・モデル４０内のどのパーティションが統計的に最も有意であるかを特定することができる。統計的に有意でないグループは、例えば、将来のオペレーションのためにデータ・モデル４０から“切り取られ”得る。より有意なグループはデータ・モデル４０においてより高い優先権を与えられ得る。一般的に、データ・モデル４０は、ビジネス・ルールのセットに従って特定アプリケーション向けにカスタマイズされ得る。
【００２２】
データ・モデル４０をグループ・レベルで分析するほかに、統計的有意性処理システム２８を用いてデータ・モデル４０自体の統計的有意性を分析するためにモデル分析システム２４が設けられ得る。このように、どのデータ・モデル４０が全体的に統計的に最も有意な結果を生じさせるかを判定するために異なるデータ・モデル４０が比較され得る。モデル最適化システム２９は、モデルを最適化することができる。例としての尺度は、例えば、感度、特定性、オッズ比、精度、正予測値、負予測値、などを含む。さらなる詳細は以下で提供される。
【実施例１】
【００２３】
データ・マイニング・アルゴリズムにより発見されたデータ・グループの統計的有意性
データ・マイニングにおける主なタスクの１つは、データをクラスタ化あるいは分割して、各グループのメンバが同様の特徴を共有するデータ・グループ、すなわちサブセットまたはクラスタ、とすることである。クラスタ化タスクの結果を解釈することは、所与のクラスタが他の全てのエンティティ（例えば、レコード）あるいは他のクラスタとどのように異なるかを評価することに関して困難であり得る。分類モデルもグループを構築し得るけれども、分類アルゴリズムはクラスタ化アルゴリズムとは異なる仕方で異なる目的のために動作する。データ・グループは、例えば回帰モデル（例えば、レコードを１０分位数、４分位数などにより格付けし分割してグループとする）あるいはクエリ（例えば、特定の基準または属性のセットを満たすグループを構築する）などの他のアルゴリズムを用いて構築されることもできる。
【００２４】
データ・グループがどのように構築されるとしても、データ・マイニング結果を解釈することに関する難題の１つは、分割が、解決される問題に対して統計的に意味があるかあるいは適切であるかを判定することである。この第１実施例は、本解決策が、クラスタ化および分類の文脈において断定的変数および数値変数の場合に結果を厳密に解釈するためにどのように使用されるかを説明する。
【００２５】
クラスタ化の例
その顧客維持計画の一部として、クレジット・カード会社は欠落しそうな（自発的に自分の口座を閉じそうな）顧客のプロフィールを発見することに関心を持つことがある。欠落は、Ｙ（イエス）またはＮ（ノー）という可能な値を有する断定的変数により表される。その探求的研究の一部として、その会社は、クレジット・スコア、支払い遅滞、延滞料支払い、その顧客がクレジット限度を超えたか否か、などの幾つかの顧客クレジット特性に従って顧客を分けるためにクラスタ化アルゴリズムを使用する。会社は９個のクラスタを発見する。会社がそれらのクラスタを特定したならば、次のステップは、特定のクラスタに属する顧客が、そのクラスタに属さない顧客よりもっと欠落しそうか欠落しそうもないかを判定することである。
【００２６】
図２、テーブル１において、興味の対象であるクラスタ５０と他の全て５２とについての顧客欠落総数が提供されている。これら２グループについてのクラスタ欠落率は、それぞれ、およそ１２０／６１６＝１９％および５６９／２６１５＝２２％であることが分かる。図２、テーブル２に示されている例において、１自由度を有する２×２分割表についてχ２統計値を生成するためにカイ二乗（χ２）検定：
【００２７】
【数１】
2010146554.tif 000003
【００２８】
が適用され得る。この式を用いて、χ２統計値が３２３１＊（１２０＊２０４６−５６９＊４９６）＾２／（６１６＊２６１５＊６８９＊２５４２）＝１．５４２であると計算することができる。
【００２９】
テーブル３は異なる有意性レベルでのカイ二乗臨界値を示しており、ここで１．５４２の値は５％有意性レベルにおいても有意ではないということが分かる。この有意性の欠如は、該クラスタが重要なセグメントを現わしていないかもしれないことを示す。
【００３０】
【数２】
2010146554.tif 000004
【００３１】
さらに、単純に該２つのグループにおける欠落率の比（ａ／（ａ＋ｂ））／（ｃ／（ｃ＋ｄ））である相対リスクは（１２０／６１６）／（５６９／２６１５）として計算されて０．８９という結果をもたらす。相対リスクなどの診断尺度は、計算に関係する不確実性を示すために信頼区間と共に報告されなければならない。９５％信頼区間は下記の式を用いて計算され得る：
相対リスク（ＲＲ）についての９５％ＣＩについての上限：
【００３２】
【数３】
2010146554.tif 000005
【００３３】
オッズ比についての９５％ＣＩについての下限：
【００３４】
【数４】
2010146554.tif 000006
【００３５】
９５％信頼区間（ＣＩ）は、上の式を用いて［０．７２，１．１５］と計算され得る。私たちは、今、このクラスタに関して決定を行うために必要な全ての統計的情報を持っている。このクラスタについては、欠落リスクのあまり大きくない１０％低下がある（１０％）。９５％ＣＩ下限および上限は割合に厳しくて、私たちが信頼を得るために追加の情報すなわちより多くのレコードを必要としないかもしれないということを示す。あまり大きくない相対リスク（小さなカイ二乗値で１に近い）は、顧客欠落が母集団の残余において観察されるものとあまり違わないということを示す。９個のクラスタの全てについて、それらのいずれかが母集団の残余あるいは他のいずれかのクラスタ（例えば、ペアワイズ比較）と顧客欠落に関して著しく異なるかどうかを判定するために、評価が実行され得る。
【００３６】
分類例
その顧客分割（例えば、クラスタ化）分析から得られた見識に基づいて、クレジット・カード会社は、該会社が欠落リスクの高い顧客をより良く特定するのに役立つデータ・マイニング・モデルを構築している。この例では、図３に示されている決定木分類モデルがデータセットの入れ子式分割を提供する。決定ノードで分割があれば、そのノードに存する２つのグループにおける差異の有意性に関する質問が、クラスタ化について記載されたのと同様の仕方で処理され得る。
【００３７】
この例では、該クレジット・カード会社は顧客の保有期間（ｔｅｎｕｒｅ）（彼らの口座がどれくらい長く開いていたか）が欠落に顕著な影響を及ぼすか否かを判定することを望む。図３において、“メンバ保有期間（ｍｅｍｂｅｒ  ｔｅｎｕｒｅ)”ノードに存する２つのグループ６０,６２は、現在残高＜７．５、メンバ保有月数＜１２７．５、および顧客年齢≧３３．５を有する。問題は、これらの顧客が、その保有期間が２１．５ヶ月未満であることに基づいてより欠落しそうか欠落しそうもないかということである。結果としてのデータ６４がノード詳細（ｎｏｄｅ  ｄｅｔａｉｌｓ）にも、また図４、テーブル４にも示されている。結果を生成するためにカイ二乗検定が適用され得る。前記のカイ二乗のための式を用いて、カイ二乗値を（５５７＊（４５＊３２６−５６＊１３０）２／（１０１＊４５６＊１７５＊３８２））＝９．８８として計算することができ、これは非常に有意な値を示す。テーブル３は異なる有意性レベルにおけるカイ二乗臨界値を示しており、ここで９．８８という計算された値が非常に有意であることがわかり、ここでより小さな有意性レベル値はカイ二乗値のより高い有意性を示唆する。
【００３８】
条件付き相対リスクは、上記の式を用いて計算され得る。クラスタ化の例とは違って、ここでは、グループの定義は決定木を構築する時にデータがどのように分割されたかによるので、相対リスクは条件付きである。この場合、相対リスクはＲＲ＝（４５／１０１）／（１３０／４５６）＝１．５６と計算される。９５％信頼区間の下限および上限は、ＣＩについて上で与えられた式を用いて計算され、［１．００５，２．４３］である。従って、私たちは、保有期間≧２１．５のメンバに比べて保有期間＜２１．５のメンバについて５６％のリスク増大を有する。カイ二乗値は、このリスク差が有意であることを示す。しかし、９５％ＣＩの下限は１に近く、それは、より大きな信頼度でリスク増大を確かめるにはもっと多くのレコードが必要であることを示唆する。
【００３９】
数値変数についての優位性検定
これまでに論じられた２つの例は、断定的変数についてのものである。しかしテーブル２またはテーブル５などのデシジョン・テーブルは、年齢、身長、収入などの数値変数について構築され得る。例えば、小売り促進シナリオにおいて、私たちが、クラスタ化を通して２つの興味ある顧客セグメントを特定し、その２つのグループについて観察された年間支出の差異が有意に異なるかどうかを知りたいと仮定しよう。私たちは、その２つのセグメントの間の支出の差が統計的に有意であるか否かを判定するために２標本ｔ検定を実行することができる。もしその２つの母集団における分布が標準的であるとは想定され得ないならば、マン・ホイットニーのＵ検定（ディストリビューション・フリーでノン・パラメトリックな検定）が実行され得る。
【００４０】
例えば収入などの数値変数の観察された分布が基準分布に従うか否か、あるいは２つの分布が類似するか否かを判定したければ、それぞれ、コルモゴロフ・スミルノフ（ＫＳ）検定あるいは２標本ＫＳ検定が実行され得る。このように、適切な統計的有意性検定が種々の文脈においてデータ・マイニング・アルゴリズムによるデータ・グループ発見あるいは定義に関連付けられる。
【実施例２】
【００４１】
分類結果を評価するための有意性検定
予測モデリングは、データ・マイニングにおける他の１つの主要なタスクである。この第２の例では、クレジット・カード欠落の決定木モデルについての検定結果は図５のテーブル５においてコンフュージョン・マトリックスとして提示されている。そのコンフュージョン・マトリックスは、検定データセットにおける顧客の実際の欠落状態を予測するためにモデルがどれだけ良く実行されたかを示す。
【００４２】
カイ二乗検定を実行した結果として７５という計算されたカイ二乗値がもたらされ、該結果は９９．９％信頼水準においても非常に有意である。結果の統計的有意性のほかに、感度、特定性、精度、オッズ比、正予測値および負予測値などの診断尺度が計算され得る。これらの診断尺度は大きな実用的価値を有し、医療診断などの分野においては、それらを検定結果と共に報告することは必須である。
【００４３】
図５のテーブル７に示されている計算された診断尺度は、識見と、モデルを評価するための厳密な根拠とを与える。０．６９という感度は、クレジット・カード欠落を処理するためには良好であるかもしれないけれども、ＨＩＶテストのためには満足なものではないかもしれない。同様に、０．７７という特定性は、ハイリスクの観血的外科手術を行う決定あるいは重大な副作用を伴う治療を与える決定が関わる場合には、充分ではないかもしれない。また、低い正予測値は、モデルが多数の誤った正値を生成しがちであるので、もし正値を検定することが高価な決定に帰着するならば、満足なものではないかもしれない、ということを示唆するであろう。診断尺度は、特定文脈向けの決定を厳密に行うのに役立ち得る。
【００４４】
しばしば、探検的分析段階で、幾つかの分類モデルが考慮され、最善の１つが選択される。モデル分析システム２４（図１）は、該データ・モデル４０を比較する厳密な方法を提供する。カイ二乗検定に密接に関連するマクネマー検定は、２つのモデルの誤分類率の観察された差異が統計的に有意であるか否かを判定するために使用され得る。
【００４５】
これまでに論じられたシングル・クラシファイヤー・モデルの評価と、モデルの比較とは、単決定閾値（ａ  ｓｉｎｇｌｅ  ｄｅｃｉｓｉｏｎ  ｔｈｒｅｓｈｏｌｄ）についてのものであった。各レコードが１つのクラスまたはグループに属する確率スコアを提供するクラシファイヤー・モデルについて、スコアの範囲にわたって閾値選択が行われることができ、各々が診断尺度の異なるセットをもたらす。例えば、決定閾値の範囲全体にわたる感度対（１−特定性）のプロットは受信者動作特性（Ｒｅｃｅｉｖｅｒ  Ｏｐｅｒａｔｉｎｇ  Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ（ＲＯＣ））曲線と呼ばれる。ＲＯＣ曲線は、モデルの全体的評価を提供し、あるいは２つのモデルを比較するために使用され得る。ＲＯＣ曲線の下の面積（ａｒｅａ  ｕｎｄｅｒ  ｔｈｅ  ＲＯＣ  ｃｕｒｖｅ（ＡＵＣ））は、クラシファイヤー・モデルの全体的品質を評価するためのダイアグノスティクとして使用され得る。例えば、ＡＵＣについての０．５という値は、そのクラシファイヤーがランダム・クラシファイヤーと同然であることを示唆し、１．０という値はそれを完璧なクラシファイヤーとし、中間の値は統計的有意性のために評価される。ＲＯＣ曲線を用いて、最適動作点が決定され得、診断尺度が生成され得る。探検段階において、幾つかの競合するクラシファイヤー・モデルが考慮される時、それらのモデルについてＲＯＣ曲線が生成され得る。その時、それらのモデルが互いに統計的に有意に異なるか否かが判定され得る。ＲＯＣアプローチは、自動的データ・マイニングとの関係では不可欠のツールである。
【００４６】
上記のように、記載された実施態様はいろいろな仕方で実現され得る。例えば、それらは既存のソフトウェアに追加機能として組み込まれ得る。このソフトウェアは、データ・マイニング・ワークベンチまたはデータベース中心のツール・スイートであることができ、専門のアナリストにデータ・マイニング・モデル解釈のためのより厳密な能力を与える。
【００４７】
さらに、該特徴は、特定のビジネス問題を処理するように設計されたエンド・ユーザ・アプリケーションまたはツールにおいて実現され得る。例えば、小売り促進のためのアプリケーションは、顧客セグメントを発見するためにデータ・マイニング（クラスタ化）を実行することができる。販売促進は、様々な属性を有する少数の顧客グループを、それらのグループに選択的にアピールするいろいろなマーケティング・チャンネルを用いて、ターゲットとするという目的を有することがある。もしデータ・マイニングが多数のクラスタを生じさせたならば、（実施例１で記載された）クラスタのペアに統計的有意性検定を適用することは、各グループ内になるべく大きな一様性を有する所要数のターゲット・グループを生成するためにクラスタ同士を結合させるための厳密な根拠を提供する。
【００４８】
他の１つのインプリメンテーションは、診断尺度と統計的有意性検定とを用いて一定のリスク・プロフィールを有するサブグループを特定するために決定木に基づいてリスク・モデルをカスタマイズすることであり得る。いったん特定されたならば、特にそのサブグループに適合させられた解決策が開発され得る。例えば、自動車保険リスク・モデルについては、このサブグループは、高価な車を持っているがそれをめったに運転しないオーナーのグループであり得る。このグループをターゲットとするために、より低くてより競争力のある保険料を有する特別の保険プランが開発され得る。他の１つの例として、癌リスク・モデルについては、このサブグループは採炭産業で特定の季節だけ働く炭鉱夫であり得る。本質的に、本発明は、リスク・モデル全体が高次元であるとき、すなわち、そのモデルが多数の説明変数を含むとき、特定のリスク・グループをターゲットとするためのモデル・カスタマイゼーションを可能にする。
【００４９】
さらなる１つの例においては、該特徴は、データ・マイニング結果に適用される一連の分析ステップを自動化ビジネス・プロセスに埋め込むことを通して実現され得る。例えば、自動化プロセスは、新しいデータがデータベースに流入するときにデータ・マイニング・モデルを作りあるいはリフレッシュするためにデータベース常駐のデータ・マイニング機能を使用することができる。そのとき、結果の自動的解釈を実行してその解釈に基づいて自動的処置を取るために統計的有意性検定がマイニング結果に対して自動的に適用され得る。
【００５０】
ビジネス・プロセス最適化における１つのトレンドは、共同して完全でスケーラブルなバーチカル・ソリューションを提供するようにソフトウェアおよびハードウェア・コンポーネントが最適化されるレディートゥゴーの（ｒｅａｄｙ−ｔｏ−ｇｏ）特定アプリケーション向け情報機器の開発である。そのような機器の１つの例は、任意にヘルスケア不正分析などのバーチカル・アプリケーションのためのビジネス・インテリジェンス解決策をバランスド・ウェアハウス（ｂａｌａｎｃｅｄ  ｗａｒｅｈｏｕｓｅ（ＩＢＭ社の商標））解決策と統合する分析サーバであろう。記載された実施態様のうちの１つ以上が、ビジネス決定を行うためのしっかりした統計的根拠を提供するためにそのような解決策に統合され得る。
【００５１】
以下で、データ・マイニング・アルゴリズムにより特定されたグループ間の差異について検定を行い（すなわち、データ・グループ分析システム２２）、競合するモデルのセットから最善の予測モデルを選択する（モデル分析システム２４）ための実例としてのアルゴリズムの擬似コードあるいは高レベル自然言語記述が示される。これらの擬似コードは、前に論じられた代表的な使用の場合のためにヒューリスティックスがどのように実行されるかを記述する。
【００５２】
グループ間の差異についての検定のための擬似コード
．．．．興味の対象である変数についてデータ・マイニング・モデルから有意なグループをリストする
ＦＯＲ  ＴＡＲＧＥＴ  ＶＡＲＩＡＢＬＥ（ターゲット変数について）
ＬＩＳＴ  ＳＩＧＮＩＦＩＣＡＮＴ  ＧＲＯＵＰＳ（ＴＡＲＧＥＴ  ＶＡＲＩＡＢＬＥ）（有意なグループをリストする（ターゲット変数））
．．．．興味の対象である変数についてデータ・マイニング・モデルから統計的に有意なグループのランク付きリストを生成する
ＬＩＳＴ  ＳＩＧＮＩＦＩＣＡＮＴ  ＧＲＯＵＰＳ（ＶＡＲＩＡＢＬＥ＿ＯＦ＿ＩＮＴＥＲＥＳＴ）（有意なグループをリストする（興味の対象である変数））
．．．．グループＩにおける興味の対象である変数の分布を母集団の残余におけるそれと比較する
ＦＯＲ  ＥＡＣＨ  ＧＲＯＵＰ  Ｉ，  Ｉ＝１，．．．，Ｎ（各グループＩ、Ｉ＝１，．．，Ｎ，について）
ＧＲＯＵＰ  ＣＯＭＰＡＲＩＳＯＮ  ＷＩＴＨ  ＲＥＳＴ（ＧＲＯＵＰ  Ｉ，ＲＥＳＴ）（残余とのグループ比較（グループＩ、残余））
ＣＯＭＰＵＴＥ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＳＴＡＴＩＳＴＩＣ  ＆  ＤＩＡＧＮＯＳＴＩＣＳ（統計的有意性スタティスティック＆ダイアグノスティクスを計算する）
ＲＡＮＫ  ＧＲＯＵＰ  Ｉ  ＢＹ  ＳＴＡＴＩＳＴＩＣ（グループＩをスタティスティックによってランク付けする）
．．．．ペアワイズ比較を行う
ＦＯＲ  ＡＬＬ  ＧＲＯＵＰＳ  Ｊ＞１（Ｊ＞１の全てのグループについて）
ＰＡＩＲＷＩＳＥ  ＧＲＯＵＰ  ＣＯＭＰＡＲＩＳＯＮ（ペアワイズなグループ比較）
（ＶＡＲＩＡＢＬＥ＿ＯＦ＿ＩＮＴＥＲＥＳＴ，ＧＲＯＵＰ  Ｉ，ＧＲＯＵＰ  Ｊ）（興味の対象である変数、グループＩ、グループＪ）
ＣＯＭＰＵＴＥ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＳＴＡＴＩＳＴＩＣ，ＤＩＡＧＮＯＳＴＩＣＳ（統計的有意性スタティスティック、ダイアグノスティクスを計算する）
ＲＡＮＫ  ＧＲＯＵＰ  Ｊ  ＢＹ  ＳＴＡＴＩＳＴＩＣ（グループＪをスタティスティックによりランク付けする）
ＲＥＴＵＲＮ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＭＥＡＳＵＲＥＳ，ＤＩＡＧＮＯＳＴＩＣＳ  ＦＯＲ  ＢＯＴＨ  ＴＹＰＥＳ  ＯＦ  ＣＯＭＰＡＲＩＳＯＮ（両タイプの比較のために統計的有意性尺度、ダイアグノスティクスを戻す）
｝．．．．グループＩにおける興味の対象である変数の分布と母集団の残余におけるそれとのペアワイズ比較を行う）ＰＡＩＲＷＩＳＥ  ＧＲＯＵＰ  ＣＯＭＰＡＲＩＳＯＮ（ペアワイズなグループ比較）（ＶＡＲＩＡＢＬＥ＿ＯＦ＿ＩＮＴＥＲＥＳＴ，ＧＲＯＵＰ  Ｉ，ＧＲＯＵＰ  Ｊ）（興味の対象である変数、グループＩ、グループＪ）
｛ＩＦ  ＶＡＲＩＡＢＬＥ＿ＯＦ＿ＩＮＴＥＲＥＳＴ  ＩＳ  ＣＡＴＥＧＯＲＩＣＡＬ（もし興味の対象である変数が断定的であるならば）
ＰＥＲＦＯＲＭ  ＣＨＩ−ＳＱＵＡＲＥ  ＴＥＳＴ（カイ二乗検定を行う）
ＣＯＭＰＵＴＥ  ＣＨＩ−ＳＱＵＡＲＥ  ＶＡＬＵＥ，ＳＩＧＮＩＦＩＣＡＮＴ＿９５％（ＨＩＧＨＬＹ  ＳＩＧＮＩＦＩＣＡＮＴ，ＳＩＧＮＩＦＩＣＡＮＴ，ＮＯＴ  ＳＩＧＮＩＦＩＣＡＮＴ）（カイ二乗値、９５％有意を計算する（非常に有意、有意、有意でない））
ＣＯＭＰＵＴＥ  ＤＩＡＧＮＯＳＴＩＣＳ、ｅ．ｇ．，ＯＤＤＳ  ＲＡＴＩＯ，９５％＿ＣＩ，ＲＥＭＡＲＫＳ（例えばオッズ比などのダイアグノスティクス，９５％ＣＩ、リマークを計算する）
ＩＦ  ＶＡＲＩＡＢＬＥ＿ＯＦ＿ＩＮＴＥＲＥＳＴ  ＩＳ  ＮＵＭＥＲＩＣＡＬ（もし興味の対象である変数が数値であるならば）
ＰＥＲＦＯＲＭ  ＴＷＯ−ＳＡＮＰＬＥ  Ｔ−ＴＥＳＴ（２標本ｔ検定を実行する）
ＯＵＴＰＵＴ  Ｔ−Ｓｔａｔｉｓｔｉｃ，ＳＩＧＮＩＦＩＣＡＮＴ＿９５％（ＨＩＧＨＬＹ  ＳＩＧＮＩＦＩＣＡＮＴ，ＳＩＧＮＩＦＩＣＡＮＴ，ＮＯＴ  ＳＩＧＮＩＦＩＣＡＮＴ）（ｔスタティック、有意性９５％（非常に有意、有意、有意でない）を出力する）
ＯＰＴＩＯＮＡＬ  ＭＡＮＮ−ＷＨＩＴＮＥＹ  Ｕ  ＳＴＡＴＩＳＴＩＣ（オプションのマン・ホイットニーＵスタティスティック
ＲＥＴＵＲＮ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＭＥＡＳＵＲＥＳ，ＤＩＡＧＮＯＳＴＩＣＳ（統計的有意性尺度、ダイアグノスティクスを戻す）
【００５３】
最善の予測モデルを選択するための擬似コード
．．．．ユーザ指定された選択基準に基づいて最善の予測モデルを選択する
ＳＥＬＥＣＴ  ＭＯＤＥＬ（ＭＯＤＥＬ  １，ＭＯＤＥＬ  ２，．．．，ＭＯＤＥＬ  Ｎ，ＳＥＬＥＣＴ＿ＣＲＩＴＥＲＩＡ）（モデルを選択する（モデル１、モデル２、．．．、モデルＮ、選択基準））
ＦＯＲ  ＳＥＬＥＣＴＥＤ＿ＭＯＤＥＬ（選択されたモデルについて）
ＯＵＴＰＵＴ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＭＥＡＳＵＲＥＳ  ＆  ＤＩＡＧＮＯＳＴＩＣＳ（統計的有意性尺度＆ダイアグノスティクスを出力する）
ＳＥＬＥＣＴ  ＭＯＤＥＬ（ＭＯＤＥＬ  １，ＭＯＤＥＬ  ２，．．．，ＭＯＤＥＬ  Ｎ，ＳＥＬＥＣＴ＿ＣＲＩＴＥＲＩＡ）（モデルを選択する（モデル１、モデル２、．．．、モデルＮ、選択基準））
｛
．．．ＲＯＣ技術を用いることにより最善の予測モデルを選択する
ＳＥＬＥＣＴ＿ＣＲＩＴＥＲＩＡ．ＭＯＤＥ  ＧＬＯＢＡＬ（選択基準．モード・グローバル）
ＧＥＮＥＲＡＴＥ  ＲＯＣ  ＣＵＲＶＥＳ（ＭＯＤＥＬ  １，．．．，ＭＯＤＥＬ  Ｎ）（ＲＯＣ曲線を生成する（モデル１，．．．，モデルＮ））
ＦＯＲ  Ｉ＝１，．．．，Ｎ（Ｉ＝１，．．．，Ｎについて）
ＩＦ  ＡＵＣ＿ＭＯＤＥＬ＿Ｉ＞０．５  ＡＮＤ  ＳＴＡＴＩＳＴＩＣＡＬＬＹ  ＳＩＧＮＩＦＩＣＡＮＴ  ＡＣＣＥＰＴ（もしＡＵＣモデルＩ＞０．５で統計的に有意ならば容認する）
ＥＬＳＥ  ＲＥＪＥＣＴ（そうでなければ拒絶する）
ＲＡＮＫ  ＡＣＣＥＰＴＥＤ  ＭＯＤＥＬＳ  ＢＹ  ＡＵＣ（容認されたモデルをＡＵＣによりランク付けする）
ＩＦ  ＭＯＤＥＬ＿ＷＩＴＨ＿ＨＩＧＨＥＳＴ＿ＡＵＣ  ＳＴＡＴＩＳＴＩＣＡＬＬＹ  ＳＩＧＮＩＦＩＣＡＮＴＬＹ  ＤＩＦＦＥＲＥＮＴ  ＦＲＯＭ  ＯＴＨＥＲ  ＭＯＤＥＬＳ（もし最高のＡＵＣを有するモデルが他のモデルと統計的に有意に異なるならば）
ＩＤＥＮＴＩＦＹ  ＯＰＴＩＭＡＬ  ＤＥＣＩＳＩＯＮ＿ＰＯＩＮＴ  ＢＹ  ＳＥＬＥＣＴ＿ＣＲＩＴＥＲＩＡ＿ＷＥＩＧＨＴＳ＿ＦＯＲ＿ＤＩＡＧＮＯＳＴＩＣＳ＿ＭＥＡＳＵＲＥＳ（ダイアグノスティクス尺度についての選択基準ウェイトにより最適決定点を特定する）
ＲＥＴＵＲＮ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＭＥＡＳＵＲＥＳ  ＆  ＤＩＡＧＮＯＳＴＩＣＳ  ＦＯＲ  ＭＯＤＥＬ＿ＷＩＴＨ＿ＨＩＧＨＥＳＴ＿ＡＵＣ（最高のＡＵＣを有するモデルについて統計的有意性尺度＆ダイアグノスティクスを戻す）
ＥＬＳＥ（そうでなければ）
ＩＤＥＮＴＩＦＹ  ＯＰＴＩＭＡＬ  ＤＥＣＩＳＩＯＮ＿ＰＯＩＮＴ  ＢＹ  ＳＥＬＥＣＴ＿ＣＲＩＴＥＲＩＡ＿ＷＥＩＧＨＴＳ＿ＦＯＲ＿ＤＩＡＧＮＯＳＴＩＣＳ＿ＭＥＡＳＵＲＥＳ  ＦＯＲ  ＭＯＤＥＬ＿ＷＩＴＨ＿ＨＩＧＨＥＳＴ＿ＡＵＣ  ＡＮＤ  ＭＯＤＥＬＳ  ＷＩＴＨ  ＳＩＭＩＬＡＲ  ＲＯＣ  ＰＥＲＦＯＲＭＡＮＣＥ（最高のＡＵＣを有するモデルおよび同様のＲＯＣパフォーマンスを有するモデルについてダイアグノスティクス尺度についての選択基準ウェイトにより最適決定点を特定する）
ＲＥＴＵＲＮ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＭＥＡＳＵＲＥＳ  ＆  ＤＩＡＧＮＯＳＴＩＣＳ  ＦＯＲ  ＴＨＥＳＥ  ＭＯＤＥＬＳ（これらのモデルについての統計的有意性尺度＆ダイアグノスティクスを戻す）
．．．各モデルを全体的に評価するためにＲＯＣ曲線を用いるハイブリッド技術を用いることにより最善の予測モデルを選択し、統計的に有意なモデルを容認し、それらの各々について最適決定点を選択し、ダイアグノスティクスを計算し、ユーザ指定されたウェイトを用いて各ダイアグノスティクに重み付けをすることによって総合尺度（ａｎ  ａｇｇｒｅｇａｔｅｄ  ｍｅａｓｕｒｅ）を構築し、総合尺度を用いてモデルを比較し、統計的有意性について検定をし、最善のモデル（１つまたは複数）を選択する
ＳＥＬＥＣＴ＿ＣＲＩＴＥＲＩＡ．ＭＯＤＥ  ＨＹＢＲＩＤ（選択基準.モード・ハイブリッド）
ＧＥＮＥＲＡＴＥ  ＲＯＣ  ＣＵＲＶＥＳ（ＭＯＤＥＬ  １，．．．，ＭＯＤＥＬ  Ｎ）（ＲＯＣ曲線を生成する（モデル１、．．．，モデルＮ））
ＦＯＲ  Ｉ＝１，．．．Ｎ（Ｉ＝１，．．．Ｎについて）
ＩＦ  ＡＵＣ＿ＭＯＤＥＬ＿Ｉ＞０．５  ＡＮＤ  ＳＴＡＴＩＳＴＩＣＡＬＬＹ  ＳＩＧＮＩＦＩＣＡＮＴ（ＡＵＣモデルＩ＞０．５で統計的に有意ならば）
ＩＤＥＮＴＩＦＹ  ＯＰＴＩＭＡＬ  ＤＥＣＩＳＩＯＮ＿ＰＯＩＮＴ  ＢＹ  ＳＥＬＥＣＴ＿ＣＲＩＴＥＲＩＡ＿ＷＥＩＧＨＴＳ＿ＦＯＲ＿ＤＩＡＧＮＯＳＴＩＣＳ＿ＭＥＡＳＵＲＥＳ（ダイアグノスティクス尺度についての選択基準ウェイトにより最適決定点を特定する）
ＣＯＭＰＡＲＥ  ＭＯＤＥＬＳ  ＵＳＩＮＧ  ＷＥＩＧＨＴＥＤ  ＤＩＡＧＮＯＳＴＩＣＳ  ＭＥＡＳＵＲＥＳ，（重み付けされた診断尺度を用いてモデルを比較する、）
ＴＥＳＴ  ＦＯＲ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＳＴＯＲＥ  ＢＥＳＴ  ＭＯＤＥＬ（Ｓ）（統計的有意性について検定し最善のモデル（１つまたは複数）を格納する）
ＥＬＳＥ  ＲＥＪＥＣＴ（そうでなければ拒絶する）
ＲＥＴＵＲＮ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＭＥＡＳＵＲＥＳ  ＆  ＤＩＡＧＮＯＳＴＩＣＳ  ＦＯＲ  ＢＥＳＴ  ＭＯＤＥＬ（Ｓ）（最善のモデル（１つまたは複数）について統計的有意性尺度＆ダイアグノスティクスを戻す）
．．．固定された所定決定点でマクネマー検定を用いて最善の予測モデルを選択する
ＳＥＬＥＣＴ＿ＣＲＩＴＥＲＩＡ．ＭＯＤＥ  ＦＩＸＥＤ（選択基準．モード固定）
ＩＦ  ＳＥＬＥＣＴ＿ＣＲＩＴＥＲＩＡ．ＤＩＡＧＮＯＳＴＩＣ＿ＴＯ＿ＲＡＮＫ  ＡＣＣＵＲＡＣＹ（もし選択基準が精度をランク付けするダイアグノスティクならば）
ＲＡＮＫ  ＭＯＤＥＬＳ  ＢＹ  ＡＣＣＵＲＡＣＹ（モデルを精度によりランク付けする）
ＦＯＲ  ＭＯＤＥＬ  ＷＩＴＨ  ＨＩＧＨＥＳＴ  ＡＣＣＵＲＡＣＹ(最高の精度を有するモデルについて）
ＰＥＲＦＯＲＭ  ＰＡＩＲＷＩＳＥ  ＭｃＮＥＭＡＲ’Ｓ  ＴＥＳＴ(ペアワイズなマクネマー検定を実行する)
ＩＦ  ＭＯＤＥＬ  ＷＩＴＨ  ＨＩＧＨＥＳＴ  ＡＣＣＵＲＡＣＹ  ＳＴＡＴＩＳＴＩＣＡＬＬＹ  ＳＩＧＮＩＦＩＣＡＮＴＬＹ  ＤＩＦＦＥＲＥＮＴ  ＲＥＴＵＲＮ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＭＥＡＳＵＲＥＳ  ＆  ＤＩＡＧＮＯＳＴＩＣＳ  ＦＯＲ  ＭＯＤＥＬ  ＷＩＴＨ  ＨＩＧＨＥＳＴ  ＡＣＣＵＲＡＣＹ(もし最高の精度を有するモデルが統計的に有意に異なるならば最高の精度を有するモデルについての統計的有意性尺度＆ダイアグノスティクスを戻す）
ＥＬＳＥ（そうでなければ）
ＲＥＴＵＲＮ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＭＥＡＳＵＲＥＳ  ＆  ＤＩＡＧＮＯＳＴＩＣＳ  ＦＯＲ  ＭＯＤＥＬ  ＷＩＴＨ  ＨＩＧＨＥＳＴ  ＡＣＣＵＲＡＣＹ  ＡＮＤ  ＳＴＡＴＩＳＴＩＣＡＬＬＹ  ＳＩＭＩＬＡＲ  ＭＯＤＥＬＳ（最高の精度を有するモデルおよび統計的に同様のモデルについて統計的有意性尺度＆ダイアグノスティクスを戻す）
．．．前のステップと同様に固定された所定決定点で最善の予測モデルを選択するけれどもモデルをランク付けし比較するために特定の診断尺度または重み付けされた診断尺度を使用する．．．コードは、重み付けされた診断尺度を用いるランク付けについてだけ示されているけれども、もし特定の診断尺度が選択されたならば構造的に同じであろう
ＥＬＳＥ（そうでなければ）
ＲＡＮＫ  ＭＯＤＥＬＳ  ＵＳＩＮＧ  ＷＥＩＧＨＴＥＤ  ＤＩＡＧＮＯＳＴＩＣ  ＭＥＡＳＵＲＥ(重み付けされた診断尺度を用いてモデルを格付けする)
ＦＯＲ  ＭＯＤＥＬＳ  ＷＩＴＨ  ＨＩＧＨＥＳＴ  ＲＡＮＫＩＮＧ(最高の格付けを有するモデルについて)
ＰＥＲＦＯＲＭ  ＰＡＩＲＷＩＳＥ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＴＥＳＴ(ペアワイズな統計的有意性検定を実行する)
ＩＦ  ＭＯＤＥＬ  ＷＩＴＨ  ＨＩＧＨＥＳＴ  ＲＡＮＫＩＮＧ  ＳＴＡＴＩＳＴＩＣＡＬＬＹ  ＳＩＧＮＩＦＩＣＡＮＴＬＹ  ＤＩＦＦＥＲＥＮＴ  ＲＥＴＵＲＮ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＭＥＡＳＵＲＥＳ  ＆  ＤＩＡＧＮＯＳＴＩＣＳ  ＦＯＲ  ＭＯＤＥＬ  ＷＩＴＨ  ＨＩＧＨＥＳＴ  ＲＡＮＫＩＮＧ（もし最高の格付けを有するモデルが統計的に有意に異なるならば、最高の格付けを有するモデルについての統計的有意性尺度＆ダイアグノスティクスを戻す）
ＥＬＳＥ（そうでなければ）
ＲＥＴＵＲＮ  ＳＴＡＴＩＳＴＩＣＡＬ  ＳＩＧＮＩＦＩＣＡＮＣＥ  ＭＥＡＳＵＲＥＳ  ＆  ＤＩＡＧＮＯＳＴＩＣＳ  ＦＯＲ  ＭＯＤＥＬ  ＷＩＴＨ  ＨＩＧＨＥＳＴ  ＲＡＮＫＩＮＧ  ＡＮＤ  ＳＴＡＴＩＳＴＩＣＡＬＬＹ  ＳＩＭＩＬＡＲ  ＭＯＤＥＬＳ(最高の格付けを有するモデルおよび統計的に同様のモデルについての統計的有意性尺度＆ダイアグノスティクスを戻す）
｝
【００５４】
図１を再び参照すると、コンピュータ・システム１０が任意のタイプの計算インフラストラクチャとして実現され得ることが分かる。コンピュータ・システム１０は、一般的に、プロセッサ１２と、入出力(Ｉ／Ｏ)１４と、メモリ１６と、バス１７とを含む。プロセッサ１２は、単一の処理装置を含むことができ、あるいは、１つ以上の位置に存する１つ以上の処理装置に、例えばクライアントおよびサーバなどに、分散され得る。メモリ１６は、磁気媒体、光媒体、ランダム・アクセス・メモリ(ＲＡＭ)、読み出し専用メモリ（ＲＯＭ)、データ・キャッシュ、データ・オブジェクトなどを含む任意のタイプのデータ記憶装置を含むことができる。さらに、メモリ１６は、１つ以上のタイプのデータ記憶装置を含む単一の物理的位置に存在し得、あるいは種々の形で複数の物理的システムに分散され得る。データ・ウェアハウス３４も、１つ以上のタイプのデータ記憶装置を含む単一の物理的位置に存在し得、あるいは種々の形で複数の物理的システムに分散され得る。
【００５５】
Ｉ／Ｏ１４は、外部ソースと情報を交換するための任意のシステムを含み得る。外部装置／リソースは、モニタ／ディスプレイ、スピーカ、記憶装置、他のコンピュータ・システム、ハンドヘルド装置、キーボード、マウス、音声認識システム、音声出力システム、プリンタ、ファクシミリ、ポケットベル、などを含む任意の公知タイプの外部装置を含み得る。バス１７は、コンピュータ・システム１０の各コンポーネント間の通信リンクを提供し、同様に、電気、光、無線などを含む任意の公知タイプの送信リンクを含み得る。図示されてはいないけれども、キャッシュ・メモリ、通信システム、システム・ソフトウェアなどの付加的なコンポーネントがコンピュータ・システム１０に組み込まれ得る。
【００５６】
コンピュータ・システム１０へのアクセスは、インターネット、ローカル・エリア・ネットワーク(ＬＡＮ)、ワイド・エリア・ネットワーク(ＷＡＮ）、仮想私設通信網（ＶＰＮ）などのネットワークを介して提供され得る。通信は、配線による直接結合(例えば、シリアル・ポート)を介して、あるいはワイヤライン伝送方法またはワイヤレス伝送方法あるいはその両方の任意の組み合わせを利用し得るアドレス指定可能な接続を介して生じ得る。さらに、トークン・リング、イーサネット、ＷｉＦｉなどの在来のネットワーク接続性あるいは他の在来の通信標準規格が使用され得る。さらに、接続性は、在来のＴＣＰ／ＩＰソケット・ベースのプロトコルによって提供され得る。この例では、インターコネクティビティを確立するためにインターネット・サービス・プロバイダが使用され得る。さらに、上で指摘されたように、通信はクライアント−サーバあるいはサーバ−サーバ環境で生じ得る。
【００５７】
本発明の教示はサブスクリプションまたは料金ベースでビジネス方法として提供され得るということが理解されるべきである。例えば、データ処理システム１８を含むコンピュータ・システム１０は、顧客のために本書に記載された機能を提供するサービス・プロバイダにより作られ、維持され、かつ、または、展開され得る。すなわち、サービス・プロバイダは、上記のようにデータ・マイニング結果を統計的に分析する能力を展開あるいは提供することを提案することができる。
【００５８】
システムおよび方法として実現される他に、該特徴はコンピュータ可読の媒体に格納されたプログラム製品として提供されることができ、それは、実行されたとき、コンピュータ・システム１０がデータ処理システム１８を提供することを可能にするということが分かる。この点で、そのコンピュータ可読媒体は、本書に記載されたプロセスおよびシステムを実現するプログラム・コードを含むことができる。“コンピュータ可読の媒体”という用語は、プログラム・コードの任意のタイプの物理的実施態様のうちの１つ以上を含むということが分かる。特に、コンピュータ可読の媒体は、１つ以上の携帯可能な記憶製造物品(例えば、コンパクト・ディスク、磁気ディスク、テープなど)において、メモリ１６または記憶システムあるいはその両方などの、計算装置の１つ以上のデータ記憶部分において、かつ、または、(例えば、該プログラム製品の有線／無線電子配布の間)ネットワーク上を進むデータ信号として、具体化されたプログラム・コードを含むことができる。
【００５９】
本書で使用されるとき、“プログラム・コード”および“コンピュータ・プログラム・コード”という用語は、同義であって、情報処理能力を有する計算装置に、直接に、あるいは（ａ)他の言語、コードまたは記法への変換、(ｂ)異なる材料形での複製、（ｃ）解凍の任意の組み合わせの後に、特定の機能を実行させる命令のセットの任意の言語、コードまたは記法での任意の表現を意味する、ということが分かる。この点で、プログラム・コードは、アプリケーション／ソフトウェア・プログラム、コンポーネント・ソフトウェア／機能のライブラリ、オペレーティング・システム、特定の計算装置またはＩ／Ｏ装置あるいはその両方のための基本Ｉ／Ｏシステム／ドライバなどの１つ以上のタイプのプログラム製品として具体化され得る。さらに、本書で使用される“コンポーネント”および“システム”などの用語は同義であって、何らかの機能(１つまたは複数)を実行することのできるハードウェアまたはソフトウェアあるいはその両方の任意の組み合わせを表すということが分かる。
【００６０】
図中のブロック図は、本発明の種々の実施態様に従うシステム、方法およびコンピュータ・プログラム製品の可能なインプリメンテーションのアーキテクチャ、機能および動作を示す。これに関して、ブロック図中の各ブロックは、明示された論理機能(１つまたは複数)を実行するための１つ以上の実行可能な命令を含むコードのモジュール、セグメント、または部分を表すことができる。ブロック内に記されている機能は図に記されている順序から外れて生じ得るということにも留意するべきである。例えば、連続して示されている２つのブロックは、実際に、実質的に同時に実行されることができ、あるいは該ブロックは、時には関連する機能に応じて逆の順序で実行されることができる。ブロック図の各ブロックは、明示された機能または動作を実行する特別目的のハードウェア・ベースのシステムによって、あるいは特別目的ハードウェアおよびコンピュータ命令の組み合わせによって実行され得るということにも留意するべきである。
【００６１】
ここで特定の実施態様が示され記述されたけれども、示された特定の実施態様の代わりに同じ目的を達成するように計算された任意の装置が使用され得ること、また本発明が他の環境において他の用途を有することを当業者は理解する。本出願は、本発明の任意の改造あるいは変形を含むように意図されている。次の請求項は、本発明の範囲を、ここに記載された特定の実施態様に限定するようには決して意図されていない。
【符号の説明】
【００６２】
１０  コンピュータ・システム
１２  プロセッサ
１４  Ｉ／Ｏ
１６  メモリ
１７  バス
１８  データ処理システム
２０  データ・マイニング・システム
２２  データ・グループ分析システム
２４  モデル分析システム
２６  統計的有意性処理システム
２８  統計的有意性処理システム
２９  モデル最適化システム
３０  モデル・カスタマイゼーション・システム
３２  ビジネス・プロセス
３４  データ・ウェアハウス
３６  入力
３８  出力
４０  データ・モデル(１つまたは複数)
【図１】
2010146554.tif 000007
【図２】
2010146554.tif 000008
【図３】
2010146554.tif 000009
【図４】
2010146554.tif 000010
【図５】
2010146554.tif 000011