(57)【要約】悪い債務リスクを代表する顧客を特定するためのニューラルネットワークを開発、訓練、実行するためのデータ処理システムプログラムが開示されている。特性ベクトルを発生するために使用されるレコードの主題である顧客が悪い債務リスクとなるような相対的な可能性を近似する出力を発生するためのニューラルネットワークに特性ベクトルが適用される。悪い債務リスクになる可能性のある顧客の分類別の属性に関連した統計値が分類別属性に置き換えられて、属性は特性ベクトルがネットワークに適用される前に標準化される。ある実施例においては、顧客は長距離サービスプロバイダの顧客である。
2004528628.tif 000002
【特許請求の範囲】
【請求項１】
レコードの主題の選択された特性に関するレコードの順序を評価するための方法であって、前記レコードは前記主題の属性を含み、前記属性は分類別の属性を含み、前記方法は、
ａ）前記特性の前記分類別の属性の値に関係する統計を評価するステップと、
ｂ）前記レコードの一つに対して、前記一つのレコードの前記属性から派生した要素を有する特徴ベクトルを出力値を得るために人工知能アルゴリズムに適用するステップを含み、前記要素は前記一つのレコードにおける前記分類別の属性の値に対応する前記統計の値を含み、それを、
ｃ）前記レコードの各残りの一つに対してステップｂを繰り返すステップと、
ｄ）前記出力値に応じて前記レコードを順序付けるステップとを含む、方法。
【請求項２】
前記主題は商品またはサービスの提供者の顧客であり、前記特性は悪い債務リスクである、請求項１に記載の方法。
【請求項３】
前記プロバイダは長距離サービスのプロバイダであり、前記属性は現在のトラフィックデータから派生した属性を含む、請求項２に記載の方法。
【請求項４】
前記属性は顧客データから派生した属性を含む、請求項３に記載の方法。
【請求項５】
前記統計は前記主題のアーカイブされたレコードのタイムラインを含む、静的データセットから派生し、対応するデータは前記主題の前記特性に関係する、請求項３に記載の方法。
【請求項６】
前記対応するデータは顧客サービス非活性データである、請求項５に記載の方法。
【請求項７】
前記特徴ベクトルの前記要素は標準化される、請求項３に記載の方法。
【請求項８】
前記要素はトレーニングデータセットに関して標準化される、請求項７に記載の方法。
【請求項９】
前記特徴ベクトルの前記要素は標準化される、請求項１に記載の方法。
【請求項１０】
前記人工知能アルゴリズムはトレーニングされたニューラルネットワークである、請求項１に記載の方法。
【請求項１１】
前記特徴ベクトルは前記属性から計算された派生したフィールドを含む、請求項１に記載の方法。
【請求項１２】
ａ）前記出力値の関数として、前記特性に対して可能性分布、Ｐｒｏｂ（ＡＩ）を評価するステップと、
ｂ）興味のある変数の関数として、前記特性に対して、可能性分布、Ｐｒｏｂ（差額）を評価するステップと、
ｃ）Ｐｒｏｂ（ＡＩ）に対する最大値、ＭａｘＰｒｏｂ（ＡＩ）、およびＰｒｏｂ（差額）、ＭａｘＰｒｏｂ（差額）に対する最大値、を決定するステップと、
ｄ）前記レコードの各々に対して優先順位値、優先度をＰｒｉｏｒｉｔｙ＝[Ｐｒｏｂ（ＡＩ）＋Ｐｒｏｂ（ｂａｌａｎｃｅ）］／[ＭａｘＰｒｏｂ（ＡＩ）＋ＭａｘＰｒｏｂ（ｂａｌａｎｃｅ）］として決定するステップと、
ｅ）前記優先順位値の順で前記レコードを再検討するステップとを含む、請求項１に記載の方法。
【請求項１３】
前記特性は前記レコードの悪い債務リスクであり、興味のある前記変数は不足額である、請求項１２に記載の方法。
【請求項１４】
レコードの主題の選択された特性に関するレコードの順序付けを評価するための方法であって、前記レコードは前記主題の属性を含み、前記属性は分類別属性を含み、前記方法は、
ａ）前記分類別属性の前記特性に対する値を有する統計値を評価するためのステップと、
ｂ）前記レコードの一つに対して、前記一つのレコードの前記属性から派生した要素を有する特徴ベクトルを、出力値を得るために、人工知能アルゴリズムに適用するステップを含み、前記要素は前記一つのレコードにおける前記分類別属性の値に対応する前記統計の値を含み、
ｃ）前記レコードの各残りの一つに対してステップｂを繰り返すための複数のステップを含み、
ｄ）前記出力値に応じて前記レコードを順序付けるためのステップを含む、方法。
【請求項１５】
前記人工知能アルゴリズムはトレーニングされたニューラルネットワークである、請求項１４に記載の方法。
【請求項１６】
ａ）前記出力値の関数として、前記特性に対して可能性分布、Ｐｒｏｂ（ＡＩ）を評価するステップと、
ｂ）興味のある変数の関数として、前記特性に対して、可能性分布、Ｐｒｏｂ（差額）を評価するステップと、
Ｐｒｏｂ（ＡＩ）に対する最大値、ＭａｘＰｒｏｂ（ＡＩ）、およびＰｒｏｂ（差額）、ＭａｘＰｒｏｂ（差額）に対する最大値、を決定するステップと、
ｄ）前記レコードの各々に対して優先順位、優先度をＰｒｉｏｒｉｔｙ＝[Ｐｒｏｂ（ＡＩ）＋Ｐｒｏｂ（ｂａｌａｎｃｅ）］／[ＭａｘＰｒｏｂ（ＡＩ）＋ＭａｘＰｒｏｂ（ｂａｌａｎｃｅ）］として決定するステップと、
ｅ）前記優先順位値の順で前記レコードを再検討するステップとを含む、請求項１２に記載の方法。
【請求項１７】
レコードの主題の選択された特性に関するレコードを順序付けるために使用されうる出力を行うニューラルネットワークを開発するための方法であって、前記レコードは前記主題の属性を含み、前記方法は、
ａ）トレーニングレコードとして前記レコードのグループを選択するステップを含み、前記特性の値は前記トレーニングレコードの主題に対して公知であり、
ｂ）前記ネットワークを設定するために現在のトポロジを選択し、アルゴリズムを学習するステップと、
ｃ）前記トレーニングレコード、前記トレーニングレコードの前記主題のための前記公知の特性値からの属性を、現在のウエイトを発生するために、前記設定されたネットワークをトレーニングするために前記設定されたネットワークに適用するステップと、
ｄ）評価レコードとして前記レコードのグループを選択するステップを含み、前記特性の値は前記評価レコードの主題に対して公知であり、
ｅ）前記評価レコードに対する前記出力を発生するために、前記評価されたレコードからの属性を前記トレーニングされた設定されたネットワークに適用するステップと、
ｆ）前記評価レコードに対して前記出力に応じて前記評価レコードを順序付けるステップと、
ｈ）あらかじめ定められた基準に従って前記評価レコードの前記順序を評価するステップと、
ｊ）前記ネットワークを設定するために、前記現在のトポロジまたは各種アルゴリズムのいずれかまたは両方を修正するステップと、
ｋ）ステップｃ）からｊ）までを複数のニューラルネットワークを生成するために複数回繰り返すステップと、
ｌ）前記基準に最もよく適合する前記複数のニューラルネットワークの中の一つを選択するステップとを含む、方法。
【請求項１８】
主題が特性を有する、または主題が特性を有する範囲の相対的な可能性を評価するための方法であって、前記主題は複数の属性を有し、前記特性は分類別の特性を含み、前記方法は、
ａ）前記特性に対する前記分類上の属性の値に関連する統計を評価するステップと、
ｂ）前記主題の各々に対して前記各主題を記述する入力ベクトルを発生するために前記属性を処理するステップを含み、前記処理は前記統計の値を前記分類上の属性の対応する値と置き換えるステップを含み、
ｃ）前記主題の各々に対して、出力値を前記入力ベクトルの関数として発生するステップと、
ｄ）前記出力値を前記相対的な可能性または程度の測定値として使用するステップとを含む、方法。
【請求項１９】
前記統計は、前記分類別の特性の値の関数として前記特性の可能性の評価であり、前記評価はレコードの統計的ファイルから決定され、このレコードにおいては前記特性の発生は公知であり、前記評価は前記分類別の属性の関数としての値を有し、
ａ）ＳｔａｔＰｒｏｂ＝もし前記ＮｓｔａｔがＮｍａｘよりも大きいときは、前記分類別属性の特定の値を有する前記統計ファイルにおけるレコードの数であり、そこでは前記特性が発生し、前記分類別の属性の前記特定の値を有するレコードの全数Ｎｓｔａｔによって割られ、
ｂ）ＮｓｔａｔがＮｍｉｎよりも小さいときは、ＤｅｆａｕｌｔＰｒｏｂ＝前記特性が発生する前記統計ファイルにおけるレコードの数をＮｓｔａｔによって割った値
ｃ）ＮｓｔａｔがＮｍａｘ及びＮｍｉｎの間にあるときは、ＷｅｉｇｈｔｅｄＰｒｏｂ＝ＤｅｆａｕｌｔＰｒｏｂ＊（Ｎｍａｘ−Ｎｓｔａｔ）／（Ｎｍａｘ−Ｎｍｉｎ）＋ＳｔａｔＰｒｏｂ＊（Ｎｓｔａｔ−Ｎｍｉｎ）／（Ｎｍａｘ−Ｎｍｉｎ）
ｄ）Ｎｍａｘは統計的に重要なサンプルサイズを規定し、Ｎｍｉｎは統計的にまばらなサンプルサイズを規定する、請求項１８に記載の方法。
【請求項２０】
前記属性は適切さ分析によって決定された重要性のレベルに基づいて選択される、請求項１８に記載の方法。
【請求項２１】
前記属性間の相関関係係数は決定され、高い相関環境を有する属性のあまり重要でない属性は前記入力ベクトルから除去される、請求項２０に記載の方法。
【請求項２２】
前記関数はトレーニングされたニューラルネットワークによって及びウエイトの関連したセットによって規定される、請求項１８に記載の方法。
【請求項２３】
前記特徴ベクトルは前記属性から計算される派生したフィールドを含む、請求項１８に記載の方法。
【請求項２４】
レコードの主題の選択された特性に関するレコードに対する順序付けを評価するシステムであって、前記レコードは前記主題の属性を含み、前記属性は分類別の属性を含み、前記システムは、
ａ）前記特性に対する前記分類別の属性の値に関連して評価する手段と、
ｂ）各前記レコードに対して、前記各レコードの前記属性から派生した要素を特徴ベクトルを、出力値を得るために人工知能アルゴリズムに適用するステップを含み、前記要素は前記各レコードの前記分類別属性の値に対応する前記統計の値を含み、
ｃ）前記出力値に応じて前記レコードを順序付けする、システム。
【請求項２５】
前記主題は商品またはサービスの提供者の顧客であり、前記特性は悪い債権リスクである、請求項２４に記載のシステム。
【請求項２６】
前記プロバイダは長距離サービスのプロバイダであり、前記システムはさらに、前記属性を提供するための手段をさらに含み、前記属性は現在のトラフィックデータから派生した属性を含む、請求項２５に記載のシステム。
【請求項２７】
前記属性は顧客データから派生した属性を含む、請求項２６に記載のシステム。
【請求項２８】
前記統計は前記主題のアーカイブされたレコードのタイムラインを含む、静的データセットから派生し、対応するデータは前記主題の前記特性に関係し、前記システムはさらに前記統計データセットを提供するための手段をさらに含む、請求項２６に記載のシステム。
【請求項２９】
前記対応するデータは顧客サービス非活性データである、請求項２８に記載のシステム。
【請求項３０】
前記特徴ベクトルの前記要素を標準化するための手段をさらに含む、請求項２６に記載のシステム。
【請求項３１】
前記要素はトレーニングデータセットに関して標準化される、請求項３０に記載のシステム。
【請求項３２】
前記特徴ベクトルの前記要素を標準化するための手段をさらに含む、請求項２４に記載のシステム。
【請求項３３】
前記人工知能アルゴリズムはトレーニングされたニューラルネットワークである、請求項２４に記載のシステム。
【請求項３４】
前記特徴ベクトルは前記属性から計算された派生したフィールドを含む、請求項２４に記載のシステム。
【請求項３５】
レコードの主題の選択された特性に関するレコードの順序付けを評価するためのデータ処理システムを制御するための一またはより多い命令の一またはより多いシーケンスを単字するコンピュータ読み取り可能媒体であって、前記レコードは前記主題の属性を含み、前記属性は分類別の属性を含み、一またはより多い命令の一またはより多いシーケンスは一またはより多いプロセッサによって実行されたとき、一またはより多いプロセッサに対して前記システムを制御する命令を含み、前記システムは、
ａ）前記分類別属性の統計的評価値を評価するステップと、
ｂ）前記レコードの一つに対して、前記一つのレコードにおける前記属性から派生した要素を有する特徴ベクトルを出力値を得るために人工知能アルゴリズムに適用するステップを含み、前記要素は前記一つのレコードにおいて、前記分類別属性の値に対応する前記統計の値を含み、
ｃ）前記レコードの各残りの一つに対してステップｂを繰り返すステップと、
ｄ）前記出力値に応じて前記レコードの順序付けるステップとを含む、コンピュータ読み取り可能媒体。
【請求項３６】
前記主題は商品またはサービスの提供者の顧客であり、前記命令は一またはより多いプロセッサに対して前記分類別属性の値が前記主題の悪い債務となりうる可能性に関連付ける前記統計を評価するために前記評価ステップを実行する、請求項３５に記載のコンピュータ読み取り可能媒体。
【請求項３７】
前記プロバイダは長距離サービスのプロバイダであり、前記命令は一またはより多いプロセッサが前記適応ステップを現在のトラフィックデータから派生した属性を含む属性を適用するよう制御する、請求項３６に記載のコンピュータ読み取り可能媒体。
【請求項３８】
前記命令は一またはより多くのプロセッサが前記システムが顧客データからの属性を適用するよう前記適用ステップを実行するよう制御する、請求項３７に記載のコンピュータ読み取り可能媒体。
【請求項３９】
前記命令は一またはより多いプロセッサが前記システムを制御して前記主題に対するアーカイブされたレコードのタイムラインを含む統計データのセット及び前記主題のための前記特性に関連する対応データから前記統計を評価するために前記評価ステップを実行させる、請求項３７に記載のコンピュータ読み取り可能媒体。
【請求項４０】
前記命令は一またはより多いプロセッサに前記システムが、前記主題のアーカイブされたレコードのタイムラインおよび顧客サービス非活性に関するデータを含む統計的データセットから前記統計を評価するために前記評価ステップを実行させる、請求項３９に記載のコンピュータ読み取り可能媒体。
【請求項４１】
前記命令は一またはより多いプロセッサに対して前記システムを制御し、前記評価ステップの前に前記要素を標準化させるステップをさらに実行させる、請求項３７に記載のコンピュータ読み取り可能媒体。
【請求項４２】
前記命令は一またはより多いプロセッサに対して前記システムを制御し、前記トレーニングデータセットに関して前記要素を標準化させる、請求項４１に記載のコンピュータ読み取り可能媒体。
【請求項４３】
前記命令は一またはより多いプロセッサに対して前記システムを制御し、前記見積もりステップ前に前記要素を標準化させるステップをさらに実行する、請求項３５に記載のコンピュータ読み取り可能媒体。
【請求項４４】
前記人工知能アルゴリズムはトレーニングされたニューラルネットワークである、請求項３５に記載のコンピュータ読み取り可能媒体。
【請求項４５】
前記特徴ベクトルは前記属性から計算された派生フィールドを含む、請求項３５に記載のコンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[０２］この発明は情報処理システムに関し、特に傾向システムに基づく人工知能に関する。ここで使用される「傾向システム」とは、主題、または主題に関するレコード（record)を順序付けるシステムのことをいう。この順序付けは、レコードの主題が特定の主題を有する、または、有する範囲での、可能性を、記録が更新されるにつれて、主題が有する特性の相対的可能性における変化、すなわち、傾向が検出できるように、関連付ける方法で行う。
【発明の背景】
【０００２】
[０３］現代技術と共に、レコードの主題の属性を述べる大規模なレコードを収集することが可能になってきた。特定の会社において、顧客の多くの特性を述べるレコードを発展させることができる。もしこれらのレコードがどの顧客、すなわちレコードの主題がレコード中の属性によって明確には述べられていない特定の特性を比較的より有しやすいのかということを予測するために使用できれば好ましい。すなわち、例えば、対応する顧客が特定の製品を購入するという相対的可能性と関連付ける方法でレコードが順序付けることができれば好ましい。顧客が悪い債務リスクになるという相対的な可能性と関連する方法でレコードが順序づけられれば特に好ましい。「悪い債務リスク」または、長距離サービスの背景における「料金リスク」とたまに呼ばれる文言は、ここでは支払いがないという実質的なリスクを引き起こすような、支払いにおいて十分に義務を怠る顧客を意味する。
【０００３】
[０４］この必要性は長距離電話サービス用の数百万の顧客によって常に合計で数億ドルの返還義務を負う長距離電話通信事業者にとって特に大きい。料金リスクを早いうちに特定することの必要性は、この発明の譲受人のような、「拒否しない」主義を有する、顧客に対するサービスの拒否のための基準を使用しない通信事業者には特に重要である。以前は、上記した譲受人はこの悪い債務問題に対処するための二つの「料金リスク」戦略を使用してきた。高料金システム（ＨＴＳ）と収集戦略システム（ＣＳＳ）である。高料金システムは金額及び電話詳細閾値に基づいて警告を発生する。高料金アラームからの金額及び電話詳細は顧客の通常の請求履歴と比較される。コンピュータアルゴリズム及び／または人間の分析が、今後「取引(account)の停止」と呼ばれる、顧客のサービスを停止させるべきであるかどうか、を判定するために使用される。他のシステム、収集戦略システムは、前回の支払い請求書がきっかけとなった時間ベースの収集管理システムである。ＣＳＳは各申込者または顧客の各々に対してどの料金戦略を使用すべきかということを判定するための申込者または確立された顧客が重大なクレジットリスクになる可能性を予測するために商業クレジットスコアを使用した。現在のＣＳＳは警告が送信されるかまたは他の動作がとられる前に、計算された悪い債務(bad debt)のリスクに基づく、各種収集戦略およびタイムラインを使用する。
【０００４】
[０５］上記システムは幾分効果的であるということは証明されてはいるが、悪い債務に帰するような損失を減らすことが明らかに望まれる。さらに、すべての回収不能の勘定の３分の２が新しい顧客の３分の１から生じているということがわかった。従って、システムに対して新しい顧客の態度に対する迅速な分析を許容すると共に、義務不履行を最小にする早い介入を許容するシステムに対するニーズがある。
【発明の開示】
【発明の要約】
【０００５】
[０６］これらの及び他のニーズは、方法及びシステム、方法を実行するためのシステム制御するための命令を保持したコンピュータ読み取り可能媒体によってこの発明によって対処される。この発明の実施例に従って、レコードの主題の選択された特性に関するレコードの順序付けが評価される。レコードは主題の属性を含み、属性は一般に少なくとも一つの、典型的には一より多くの分類別（categorical)の属性を含む。ここでいう「分類別属性」というのはその元の形状において、数学的重要性を有さない別個の分野または種類の表示を意味する。分類別属性の数値またはラベルは各種分類別属性を区別するためのみに使用される。例えば、エリアコード５４０はバージニア内の特定の地理的領域に関する主題に関連し、何かの５４０を示すものではなく、２またはそれより多い領域コードの和、差または平均は意味がない。
【０００６】
[０７］システムは使用される任意の派生した分類別属性を派生するためにプログラムされ、以下のステップを実行する。ａ）特性に対する分類別属性の値に関連する統計を評価するステップと、ｂ）一つのレコードに対して、一つのレコードにおける属性から派生した要素を有する特徴ベクトルを人工知能アルゴリズムに適用するステップを含み、要素は一つのレコードにおける分類別属性の値に対応する統計の値を含み、人工知能アルゴリズムは、出力値を得るために、好ましくはトレーニングされたニューラルネットワーク(neural network)であり、ｃ）レコードの各残りの各々に対してステップｂを繰り返すステップと、ｄ）レコードを出力値に応じて順序付けるステップとを含む。
【０００７】
［０８］この発明の局面に従うと、主題は商品またはサービスの提供者の顧客であり、特性は潜在的な悪い債務リスクである。
【０００８】
［０９］発明の別の局面に従えば、提供者は長距離サービスのプロバイダであり、属性は現在のトラフィックデータから派生した属性を含む。
【０００９】
［１０］発明の別の局面に従えば、属性は顧客データから派生した属性を含む。
【００１０】
［１１］発明の別の局面に従えば、統計のアーカイブされたレコードのタイムライン
および各主題に対する特性に関連した対応するデータを含む統計的データセットから派生する。
【００１１】
［１２］発明の別の局面に従えば、対応するデータは顧客に提供するサービス停止に関するデータである。
【００１２】
［１３］発明の別の局面に従えば、特性ベクトルの要素は標準化される。
【００１３】
［１４］発明の別の局面に従えば、入力レコードは統計データセットに関して標準化される。
【００１４】
［１５］この発明のさらなる別の目的及び利点は、発明を実行するために考慮された最良の形態の単に例示である、以下の詳細な説明から容易に明らかである。認識されるように、発明は別の異なる実施例が可能であり、その多くの詳細は各すべてがこの発明から離れることなく各種自明な点において修正が可能である。従って、図面及び明細書は本質的に例示として見なされるべきであり、限定的なものと見なされてはならない。
【好ましい実施例の説明】
【００１５】
［３１］レコードの主題の選択された特性に関するレコードに対する順序づけを評価するためのシステム、方法及びソフトウエアが開示されている。以下の記載において、説明のために、多くの特定の詳細がこの発明の完全な理解を提供するために述べられる。しかしながら、当業者にとって、この発明はこれらの特定の詳細なしに実行されることは自明である。別の例において、よく知られた構成及び装置が、この発明を必要にあいまいにしないようブロック図の形式で示されている。
【００１６】
［３２］以下に述べられた好ましい実施例がこれら顧客が悪い債務リスクとなる相対的な可能性に従って電話顧客の属性のレコードをランク付けることに関連しているが、この発明はそのような属性から評価されまたは予測されうる任意の特性に関する任意の主題の属性のレコードの順序付けにも関する。
【００１７】
［３３］好ましい実施例において、この発明に従うシステムは、電話通信業者の住所とその特定の日の長距離電話活動を行った小企業の顧客との取引の毎日のデータフローを処理する。典型的には、毎日６００万のオーダの取引が処理され、各取引に対して、顧客識別子（ＣＩＤ）、その日の統合電話情報、レコードの日付、使用された製品（またはサービス）、ナンバーに対する請求書（bill-to-number）（ＢＴＮ）を含むトラフィックレコードが処理される。好ましくは、システムは、すべての電話データが含まれるのを確実にするために、すべての電話データが含まれるようにする一方で、できるだけ早くトラフィックレコードを受信する。システムは各取引のトラフィック記録を以下によって処理する。
【００１８】
−それを追加の顧客情報及び取引バランス情報と融合する
−トラフィック情報から追加の特徴（属性）を派生する
−ニューラルネットワークに融合されたレコードを送信することによって人工知能（ここでは今後、時折「ＡＩ」と称する）スコアを計算する
−ニューラルネットワークスコア及び現在の取引バランスに関連した可能性を組み合わせることによって、優先順位値を計算する
［３４］ＡＩスコアはこの取引において使用されたサービスに対して支払わないという可能性に関連する（すなわち、取引は電話料金リスクまたは悪い債務である）。優先順位値は取引のＡＩスコア電話料金リスク可能性及び取引の現在の差額（balance)電話料金リスク可能性の両方を考慮することによって計算される。このように、優先順位値は、もし差額が払われなかったときに通信業者に対する財務上のリスクを計算に入れる（factor)。受信した各トラフィックレコードに対して、システムはＡＩスコア及び優先順位値を通信業者の既存のクレジットリスク管理システムに戻す。この情報は、取引が人間の分析によって見直される順番を優先順序付けるためにクレジットリスク管理システム内で使用され、分析者は特定の取引に関して、あるとすればどのような対策をとるべきかということを判断する。（特定のクレジットリスク管理システムの詳細はこの発明の理解のためにはさらに議論する必要はない）
［３５］各日においてシステムによって受信されるトラフィックデータはその長距離サービスに利用された取引に対する生のトラフィックレコードを含む。以下の説明は単一の取引の生のレコードをニューラルネットワークに対して入力されうる完全な特徴ベクトルにする処理の概要を説明する。トラフィックデータにおける各取引レコードは同じように処理される。
【００１９】
［３６］各生のトラフィックレコードは、すべての電話、国内電話及び単一の日における所与のアカウントに対して行われた国際電話のコストを含む使用情報を含む、電話の回数、電話の期間、電話のコストを含む使用情報を含む。この毎日の使用情報は短い間隔及び長い間隔（またはウインドウ）の両方にわたってわたる統合した回数、コスト及び持続時間の特性を計算するために前の日のレコードと結合される。現在のところ、短いウインドウは４日間で、長いウインドウは９日間である。しかしながら、これはシステムの性能を最適化するために必要に応じて変えられうる。加えて、ＮＰＡ（またはエリアコード）及びＮＰＡＮＸＸ（エリアコード及び変換）のような分類別の属性は生のレコードから取り出される。このステップの結論として、特徴ベクトルは元のデータと、毎日の、短い及び長い間隔の使用情報を含む、派生した特徴からなる。
【００２０】
［３７］次に、特徴ベクトルがデータベースにおいて利用可能な顧客データを融合することによってさらに拡張される。顧客データが、生のトラフィックレコードにおいて与えられたＣＩＤをデータベースの同じＣＩＤに適合させることによって見出される。顧客データは取引テーブル、統計テーブル、アドレステーブル及びクレジットテーブルからの情報を含む。追加の派生属性はこの情報から計算されてもよい。属性特徴ベクトルが生及び派生した分類別フィールドの両方を含み、生及び派生した連続の（または数値の）フィールドを含む。典型的な特徴ベクトル（これ以降で「属性コード」と呼ばれることがある）が図１４Ａ、Ｂ及びＣに示されている。
【００２１】
［３８］連続（数値）フィールドは容易に標準化される。しかしながら、分類別のフィールドは標準化を許容する意味のある数値によってそれらの値は置き換えられる。これは生及び派生した分類別のフィールドを対応する料金リスク可能性（技術的に、これらは条件付の可能性であり、分類別の値が与えられると、これは目標の関連した可能性、すなわち悪い債務）と置き換えることによって完成される。これらの可能性は以下でさらに述べられるように、オフラインの開発環境の前処理段階において計算され格納される。
【００２２】
［３９］この点において、特徴ベクトルにおけるすべてのフィールドは数値フィールドであり、線形の変換ｆ［ｘ］＝ａｘ＋ｂによって標準化されうる（例えば、特徴ベクトルの平均値から、特徴ベクトルの各要素を引き、その結果を要素の標準偏差によって割る）。各フィールドに対する平均と標準偏差は、以下にさらに述べるように、開発環境における前処理段階で計算されたスケールファイルから得られる。標準化された特徴ベクトルは選択されたＡＩアルゴリズムのための入力ベクトルとして使用され、以下に述べる実施例においてＡＩアルゴリズムはニューラルネットワークである。
【００２３】
［４０］ニューラルネットワークのトポロジ及びそのトポロジに対応するウエイト(weight)ファイルは前処理、トレーニング及び評価サイクルを通してネットワークの開発の間に生成される。トポロジとウエイトはソフトウエアがニューラルネットワークの動作をモデル化するデータである。標準化された(normalized)特徴ベクトルはニューラルネットワークに入力され、特徴ベクトルにおける特徴の各々は単一の数字、ＡＩスコアを生成するために処理される（これが、生のトラフィックレコードとしてトラフィックデータにおいて表される各々のユニークな取引に対応する各特徴ベクトルのために繰り返される。）ＡＩスコアは取引が電話料金リスクになる傾向を表す。スコアは１．０（最高傾向）から０．０（最低傾向）まで変化する。
【００２４】
［４１］取引における高い未決の現状の差額は悪い債務における通信業者に対する大きな財政上のリスクを表す。例えば、二つの取引が悪い債務の等しい可能性を表すニューラルネットワークスコアの０．９５を受信する。しかしながら、もし取引の一つが現在５００ドルの差額を有し、他方が２０ドルの差額であれば、最初の取引は大きな財政リスクを表す。現在の取引の差額を考慮して取引を優先順序付けするために、（または興味のある任意の他の変数）ＡＩスコアの電話料金リスク可能性の分布及び現状の差額は開発環境において前処理されなければならない。これらの可能性の分布がひとたび知られれば、優先順位値は取引のＡＩスコアの現在の差額の電話料金リスクの可能性に加え、入手可能な最大優先によって分ることによって計算される。
【００２５】
ｐｒｉｏｒｉｔｙ＝［Ｐｒｏｂ（ＡＩ）＋Ｐｒｏｂ（ｂａｌａｎｃｅ）］／
［ＭａｘＰｒｏｂ（ＡＩ）＋ＭａｘＰｒｏｂ（ｂａｌａｎｃｅ）］
結果として得られる優先順位値は１．０（最高財政リスク）から０．０（最低財政リスク）まで変化する。すべての取引がこの優先順位値の順に分析のために提示されたとき、その結果は大きな財政上のリスクと共に悪い債務の高い可能性を有する取引がすぐに検討される。優先順位値に対する上記表現が好ましいが、優先順位値の演算のための他の表現も当業者にとって明らかであり、この発明の意図に含まれる。
【００２６】
［４２］入手可能なデータの適切な前処理はこの発明に重要であり、ＡＩアルゴリズム（例えばニューラルネットワーク対クラスタリング(clustering)）の特定の選択よりも一般により重要である。開発サイクルの間において、大量の時間がシステムにおいて使用されるデータの分析及び前処理のために費やされる。この前処理は以下を含む。
【００２７】
−特徴ベクトルに対する派生した属性の設計及び属性の選択
−統計ファイルの生成及び統計ファイルからのまばらなデータ偏差の処理
−特徴ベクトルを標準化するためのスケールファイルの発生
−設計されたニューラルネットワークトポリジのためのウエイトファイルの発生
−優先スコアにおいて使用される変数に対する電話料金リスク可能性分布曲線の発生
これらのオフラインの計算は毎日のトラフィックレコードのリアルタイム処理において使用されうる。
【００２８】
［４３］特性ベクトルにおける個々の属性（特徴）の有効性は信号（悪い債務）レコードとノイズ(noise)（悪くない債務）レコードとの間の分離を表示するための属性の特性による。生の属性はそれらが見出される形式において使用されうる分類別または連続（数値）フィールドである（顧客データベースであろうが、トラフィックレコードであろうが）。派生された属性は、派生された分類別または連続属性を得るために、生データの１またはそれより多い数を処理することによって形成または計算される属性である。これらの派生した属性は信号（目標値、例えば悪い債務）及びノイズ間を分離する結果となる過大領域の何らかの知識を使用することによって通常は設計される。連続属性に対するよい分離の例は信号レコードに対して、標準偏差が１．０で平均値２．０を有し、ノイズレコードに対して標準偏差が２．０で平均値が１０．０である。この属性は信号とノイズ間の明確な分離を示し、トレーニング中のニューラルネットワーク及び目標レコードの検出を手助けできる。分類別属性に対するよい分離の例は総数の信号の可能性よりも一貫してかなり高いか低い信号の可能性である。これがトレーニングセッションにおいて学ばれうる基礎をなす可能性の分布を構成し、信号検出を助ける。
【００２９】
［４４］特徴ベクトルにおけるすべての属性の効果の最終測定は異なる評価方法を使用して各属性を記録したあとで属性の順序付けを行う適切度分析技術を使用する。判定ツリー設計(decision tree design)においてしばしば採用される典型的な４つの評価方法（カイ平方(chi square)テスト、不確実性(uncertain)テスト、情報ゲイン(information gain)テスト、及びジニ(gini)テストが使用され、各属性は４つの評価方法によって提供されるそのランクの合計に基づいてランク付けされる。この「投票」タイプのアプローチは４つの方法の任意の一つを単独で使用するよりもより正確であると信じられている。最終の適切さランキングづけから、以下でさらに述べるように、同じ精度を維持しながら、より少ない属性のネットワークを構成することがしばしば可能である。
【００３０】
［４５］統計ファイルは、分類別の属性を数値特徴に変換するために使用される悪い債務の可能性を含み、このように分類別フィールドの標準化を許容する。例えば、もし分類別属性の一つが色であれば、色青に対する可能性が値青を有する統計のセット内の目標（悪い債務）特徴ベクトルの数を、値青を有する特徴ベクトルのすべての数によって割ることによって演算される。デフォルトの悪い可能性、すなわち総数の悪い債務確率はこれらのファイルに含まれる。可能性は計算においてより多くのデータが使用されるにつれてより正確になる。このように、可能性を計算するときにはできるだけ多くの適切なデータを使用することが重要である。しかしながら、現在の傾向を表さないようなあまりに古いデータは統計ファイル生成においては使用されるべきではない。これは古いデータに対して最近のデータよりもより少なくウエイトづけすることによって処理されうる。また、データセットを評価するのに使用される現状データは（「ごまかし」をさけるために）、統計ファイルの生成においては使用されるべきではない。一般に、分類別属性が示す、よりはっきりした値が多ければ多いほど、個々の値の可能性を計算するために入手可能なデータは少なくなる。分類別の属性にあまり現れない値は、これらの値の可能性を計算するために入手可能なデータをほとんど有さない。各分類別フィールドに対する可能性の計算のための統計的に重要なサンプルサイズを得るためには、出来るだけ多くの適切なデータが使用されなければならない。
【００３１】
［４６］統計がひとたび発生されると、各可能性及びその可能性に貢献する総数はまばらに存在する属性用に調整するために評価されなければならない。デフォルトの可能性は目標（悪い債務）特徴ベクトルの数を統計セットにおける特徴ベクトルの全数で割ることによって計算される。（これは総数に基づく最も安定した可能性であるが、最低の解決可能性分布である）。次に、スタットファイル及びそれが基づいている総数の残りの可能性の各々について調べられる。もし総数が統計的に重要なサンプルサイズ（Ｎｍａｘ）を超えていれば、可能性は計算されたとして使用される。もし総数が統計的にまばらなデータ（Ｎｍｉｎ）のレベルを決定するサンプルサイズより低ければ、可能性は全総数に対してデフォルトの可能性と置き換えられる。Ｎｍａｘ及びＮｍｉｎは予備的なデータ解析に基づいて設定される。ＮｍａｘはＮｍｉｎより大きく、かつＮｍｉｎ及びＮｍａｘの間に統計的総数（Ｎｓｔａｔ）が存在し、加重された可能性（Ｗｅｉｇｈｔｅｄ＿Ｐｒｏｂ）が統計ファイル可能性（Ｓｔａｔ＿Ｐｒｏｂ）及びデフォルトの可能性（Ｄｅｆａｕｌｔ＿Ｐｒｏｂ）を用いて計算される。この計算は以下の式で与えられる。
【００３２】
Ｗｅｉｇｈｔｅｄ＿Ｐｒｏｂ＝Ｄｅｆａｕｌｔ＿Ｐｒｏｂ*（Ｎｍａｘ−Ｎｓｔａｔ）／（Ｎｍａｘ−Ｎｍｉｎ）＋Ｓｔａｔ＿Ｐｒｏｂ＊（Ｎｓｔａｔ−Ｎｍｉｎ）／（Ｎｍａｘ−Ｎｍｉｎ）
これによってまばらに分布する分類別属性のための不正確で誤解を招く可能性を避けることができる。分類別値に対する可能性を引くことの別の利点はａ）メンテナンスの容易さ（統計ファイルを単に置き換えることによってシステムは新しい分類別の値、例えばＮＰＡに対する新しい値を処理できる）、ｂ）トレーニングプログラムは、精度、有効性、より大きい統計データセットに含まれる知識を得ながらも、レコードの小さいセットで実行されうる。
【００３３】
［４７］発明のこの実施例は「クリーン」なデータ（すなわち誤ったデータでない）の環境で動作し、同様の応用はそれほどの豪華さを有さないであろう。誤ったデータが存在するときは、健全な統計的方法が異常値による統計的故障を避けるために使用される。
【００３４】
［４８］特徴ベクトルにおける属性の適正の分析を実行するために、処理された統計ファイルは分類別属性のために使用される。しかしながら、連続的属性はデジタル化されるかまたは別々のビン(bin)に置かれる必要があり、各ビンの可能性は計算されなければならない。これは、連続的な属性を、連続的属性の分類が連続的データが処理される別々のビンになるようにした状態で分類別の属性に効果的に変換する。分類別フィールドの場合にように、ビンの総数は統計的に重要なサンプルサイズである必要があるため、このプロセスは繰り返される。最初に、ビンの大きさがデータの最初の実行及びその後推測され、ビンの境界が調整される。調整された境界のもとで、ビンの中への連続データの次の実行が行われ、統計的にかなりのサイズであるビンの総数が得られる。これは連続的属性のために計算されたビンの可能性を有効にする。連続ビン可能性情報はスタットファイルでの適切さ分析のためにデータファイルに書き込まれる。この発明の別の実施例においては、ビンのサイズは監視されたアルゴリズムの技術で決定されうる。
【００３５】
［４９］適切さの分析によってシステムデザイナは属性が特徴ベクトル内に含まれるために考慮されることの有効性を評価できる。どの属性がネットワークに最も役に立つか及びどの属性が少なくともネットワークを助けるかということに対する設計者の感覚を与えるためにそれは相互に関して属性の順序付けを行う。この情報でもって、属性は分析的洞察でもって加えられるかまたは特徴ベクトルから削除される。例えば、小さな関連性を有する属性（ほとんど情報がない）はトレーニングデータの含む情報を獲得するためのより多くのトレーニングデータ及び学習技術（これは一般にあまり健全ではない）におけるより内部のパラメータを要求する。処理されたスタットファイル及びデータファイルは、特徴ベクトルにおける属性に関連する基本的な情報を含むが、４つの異なる分析技術によって処理され順序付けられる。各技術は属性に対して部分的なスコアを割り当てる。全体的な順序は各分析技術のスコアの和に基づく。これらの技術はカイ平方テスト、不確実性テスト、エントロピまたは情報ゲインテスト及びジニテストである。これらのテストの詳細は当業者にとって公知であり、この発明の理解のためにはここではさらには述べない。
【００３６】
［５０］適切さの分析が完了し、特徴ベクトルの属性の順序付けが行われると、各属性間の係数の相関関係を決定するために相関分析が実行されるべきである。相関分析は記録された標準化された特徴ベクトルを共分散マトリックスに処理し、共分散マトリックスから相関関係を抽出することによって実行される。この情報があれば、特徴ベクトルは任意のより高い相関属性の最も小さい関連を除去することによって余分なものがさらに取り除かれうる。
【００３７】
［５１］平均及び標準偏差が特徴ベクトルのトレーニングサンプルにおけるすべてのフィールドにおいて計算される。これらの値はスケールファイルに書き込まれる。スケールファイルは元の特徴ベクトルを標準化された特徴ベクトルに変換するために使用される。
【００３８】
［５２］公知の特徴ベクトルにおける属性の数でもって、ニューラルネットワークのトポロジが設計される。これは入力ノードの数、隠れた層の数、各隠れた層内のノードの数及び出力層におけるノードの数を含む。設計されたネットワークトポロジのためにウエイトファイルはエラー信号を最小にするトレーニングセッションを繰り返すことによって生成される。
【００３９】
［５３］取引の現在の差額を考慮した取引を優先順序付けるために、ＡＩスコアの電話料金リスク可能性分布及び現在の差額（または他の変数）は開発環境において前処理されなければならない。これは適切さ分析のために連続フィールドがデジタル化されるのと同じ方法で行われる。ＡＩスコアと差額とは別々のビンに置かれ、各ビンの可能性が計算される。ビンの総数は統計的に重要なサンプルサイズのものである必要がある。ひとたびこれらの可能性の分布が知られると、優先順序値は取引のＡＩスコアの電話料金リスク可能性を取引の現在の差額の電話料金リスク可能性に加えて、入手可能な最大優先度によって割ることによって計算される。
【００４０】
Ｐｒｉｏｒｉｔｙ＝［Ｐｒｏｂ（ＡＩ）＋Ｐｒｏｂ（ｂａｌａｎｃｅ）]／[ＭａｘＰｒｏｂ（ＡＩ）＋ＭａｘＰｒｏｂ（ｂａｌａｎｃｅ）]
結果として得られる優先順位値は１．０（最高の財政リスク）から０．０（最低の財政リスク）まで分布する。
【００４１】
［５４］図１はこの発明の上記した実施例を実行するために使用することが可能な従来のフィードフォワード型のニューラルネットワークの一部を模式的に表す。ネットワーク１０は層状に配置された複数のニューロン１２を含む。ネットワーク１０においてニューロン１２は入力層１４、「隠れた」層１６及び出力層２０の３つの層に配列される。各ニューロン１２は先の層における各ニューロン１２の出力、例えば非線形関数の出力を発生する。入力層１４に対する入力２２，２４，２８及び３０は入力ベクトルの要素であり、ここ以降において「特徴ベクトル」と呼ばれることがあり、以下の実施例においても、これらの入力は主題の属性であり、数字で表現される。以下の実施例においては、ネットワーク１０はスカラー出力２１を発生するため、出力層２０の単一の出力ノードを有する。多数の出力ノードを有し、かつベクトル出力を発生するネットワークが存在するということは注意すべきであるが、スカラー出力２１は好ましくは０から１の範囲であり、以下でさらに述べるように、主題の属性のレコードを順序付けるために使用されうる入力ベクトルの関数として発生される。
【００４２】
［５５］図２はニューロン１２の詳細な模式図である。各ニューロン１２は入力３２，３６及び３８を含み、各々は関連した加重要素３２Ｗ，３６Ｗ及び３８Ｗを有し、これらは独自の加重因子(weighting factor)を対応する入力に適用し、加重付けされた入力の和を生成する合計回路４０と、ニューロン１２の出力を発生するための加重された和に関数、例えばシグモイド関数を適用するリミッタ４２とを含む。例示の容易のために、ニューロン１２は３つの入力を有するよう示されているが、ニューロン１２は任意の数の入力を有してもよい。当業者はネットワーク１０の知性及びまたはパターン認識能力はニューロン入力に対して適用されるウエイトによって決定されるということが認識する。好ましくは、これらのウイイトはさらに以下で述べられる、後伝達学習アルゴリズム(back propagation learning algorithm)を使用するトレーニングネットワークによって開発される。
【００４３】
［５６］当業者は他のネットワークトポロジ及び学習アルゴリズムが存在し、この発明の実行において有用でありうるということを認識する。顧客の属性における適切なパターンを特定するために使用されうる人工知能アルゴリズムの異なるタイプも同様に存在する。しかしながら、特定のニューラルネットワークトポロジ及び学習アルゴリズムの選択または人工知能アルゴリズムのタイプは、属性の選択及び前処理としてこの発明の実行にそれほど強力に影響を与えないと信じられている。属性の選択及び前処理、特に特有の分類別属性に関連した興味のある特性の発生の割合の評価を選択されたアルゴリズムに対する入力として属性の交換がより重要であると信じられており、単純な３層、後伝達学習を用いたフィードフォワードネットワークが最も単純であるとして好ましい。しかしながら、これが状況が変化しても事例が残るということを確実にするために、この発明は他のトポロジ及び学習アルゴリズムの他の形式の人工知能アルゴリズムの周期的な評価及びを考慮している。この発明の他の実施例において役に立つであろうと考えられる公知のアルゴリズムは、特に限るものではないが、クラスタリング(clustering)アルゴリズム、決定ツリー、ジェネティック(genetic)アルゴリズム、ベイジアンビリーフ(Bayesian brief)ネットワーク及びサポートベクトルマシーンを含む。そのような他のトポロジ及びアルゴリズムの記載はこの発明の理解のためには必要ではない。当業者はまたネットワーク１０はフリースタンディングネットワークとして例示したが、典型的にはニューラルネットワークはハードウエアネットワークとして実行されずに、以下に述べるようにデータ処理システム上でシュミレートされるということを当業者は理解する。
【００４４】
［５７］図３は分類別の属性を主題の特性に関連付ける統計ファイルを生成するためのステップを実行するシステムを開示する。図３において、アーカイブデータストア４４は顧客のためのアーカイブされたトラフィックレコード１２３（図９に示す）の周期的な時間シーケンスを格納する。アーカイブ４４はまた顧客の非活性化(deactivation)のレコードを格納する、すなわち、「アカウントブロック」または支払われないサービスの中止を格納する。プログラムコード５０は統計的データファイルセット５４、図５に示された、時間ｔ0からｔ１間隔のアーカイブされたトラフィックデータレコードのサブセットをダウンロードするためにデータ処理システム４８を制御し、関連した非活性レコード５６もまたダウンロードする。トラフィックデータレコードプログラムコード５０に含まれる各分類別の属性に対して、プログラムコード５０は悪い債務割合が特定の特性属性、例えば、特定のエリアコードを共有する顧客の数として計算する。この場合、そのサービスはｔ０からｔ１プラス設定デルタタイムを、その特定の属性を共有する全顧客の数によって割った時間の間非活性化される。プログラムコード５８は属性がその対応する悪い負債割合に関連する、各特定の分類別属性のための統計ファイル６０を生成するようデータ処理システム４８を制御し、統計ファイル６０をアーカイブ４４に戻す。統計ファイル６０の生成のための適切な数のレコードは特定の応用によって変化し、特定の応用に対するコストとその要求のバランスによって当業者によって決定されうる。この応用における開示された実施例においては、統計ファイルデータセットのほぼ６×１０８のレコードが満足のいくものであることがわかった。アーカイブされたトラフィックデータ記録のレコードの最初の時間シーケンスは以下にさらに述べられる方法、または他のより便利な方法でアーカイブ４４に格納されうる。
【００４５】
［５８］図４はトレーニングレコード、評価レコード及びスケール(scale)ファイルを生成するためのステップを実行するためのシステムを開示する。ここで言う「スケールファイル」は標準化のための係数、例えばトラフィックデータレコードにおける各属性に対する平均値及び標準偏差を含むファイルを意味する。
【００４６】
［５９］トレーニングデータセット６１は統計ファイルデータセット５４のサブセットとなるように、間隔ｔ０からｔ１（図５参照）のｔ２からｔ４のサブ間隔で選択される。トレーニングデータセット６１は例示の容易のためにサブ間隔として示されているが、セット６１はランダムにセット５４のサブセットとして選択されてもよいし、この発明の他の実施例に従って他の任意の便利な方法で選択されてもよい。評価データセット６３は、評価データセット６３が統計ファイルデータセット５４と重ならないように、間隔ｔ５からｔ６のアーカイブデータレコードから選択されている。不活性レコード６２及び６４は取引がブロックされたとき、すなわち、サービスが、トレーニングセット６１及び評価データセット６３それぞれに含まれる顧客のためにサービスが中断したときを記録する。
【００４７】
［６０］プログラムコード６６はそれからデータプロセッシングシステム４８を制御してトレーニングデータセット６１と、関連した非活性レコード６２をダウンロードし、それら電話料金リスクを示すとして考慮されるべきトレーニングデータセット６１にそれらのトラフィックデータレコードをラベル付けする。もし顧客の取引が中断されたら、不活性レコード６２から決定されるように、不活性時刻あたりで、悪い債務ウインドウが規定される。図６に示されるように、悪い債務ウインドウは不活性時刻ｔｄから先の時刻ｔｍと続く時刻ｔｐの間延在する。ｔｄ−ｔｍからｔｄ＋ｔｐまで、その取引がブロックされた顧客に対して悪い債務ウインドウに入ったトレーニングデータセット６１は電話料金リスクを表すとしてラベル付けされる。悪い債務ウインドウの外に入る他のデータレコードは電話料金リスクとは呼ばれない。プログラムコード７０はデータ処理システム４８を制御して、統計ファイル６０をダウンロードし、トレーニングデータセット６１内のすべての分類別属性に対応する統計値を置き換える。添付されたラベルと共に及び置き換えられた統計値と共にトレーニングデータセット６１はトレーニングレコード７２を形成してこれはアーカイブ４４にアップロードされる。プログラムコード７４はデータ処理システム４８を制御して、変換された分類別の属性及び連続属性の両方のトレーニングレコード７２におけるすべての属性に対する、例えば平均値や標準偏差のような値である、標準化のための、リニアな変換係数を計算する。スケールファイル７８はそれからアーカイブ４４にアップロードされる。ここで「連続的属性」という言葉は意味があるように数学的に処理されうることを意味する。例えば、現在の差額及び過去の当然支払われるべき差額は不足額(balance due)を得るために加えられうる。
【００４８】
［６１］評価データセット６３及び関連した不活性記録６４は評価データ８０を生成するために実質的に同様の方法で処理される。評価データセット８０はアーカイブ４４にアップロードされる。評価レコード８０に対しては対応するスケールファイルが発生されない。
【００４９】
［６２］ｔｐ及びｔｍのための有効な値はクレジット分析をよく知っている人によって評価されうる。代わりに、以下にさらに述べるように、各種ウインドウサイズを用いたネットワークの評価によって決定されてもよい。トレーニング及び評価ファイルのための適切なレコードの数は特定の応用によって変化し、特定の応用のコスト及び要求のバランスによって当業者によって決定されうる。この出願で開示された実施例においては、ほぼ数１０万から１００万のレコードのトレーニングファイルデータセットで十分であることがわかった。
【００５０】
［６３］図７はこの発明の実施例に従うニューラルネットワークをトレーニングするためのステップを実行するためのシステムを開示する。プログラムコード８２はトレーニングレコード７２及びスケールファイル７８をダウンロードするためにデータ処理システム４８を制御し、例えば、スケールファイル７８に格納された対応する平均値及び標準偏差を用いて、リニア変換に関してトレーニングレコード７２のすべての属性を標準化する。
【００５１】
標準化された値＝（値−平均値）／標準偏差
［６４］プログラムコード８６はそれからネットワークトポロジ９０をダウンロードするためにシステム４８を制御し、ネットワーク設定データストア８８から関連した学習アルゴリズムをダウンロードし、標準化されたトレーニングレコードをダウンロードされたトレーニングアルゴリズムに応じて、そのように規定されたネットワークに適応する。好ましくは、ネットワークトポロジは３層のフィードフォワードトポロジであって、トレーニングアルゴリズムは後伝達アルゴリズムである。フィードフォワードネットワークの後伝達トレーニングは当業者によく知られており、この発明の理解のためにはここではさらなる議論は必要ではない。
【００５２】
［６５］ひとたびダウンロードされたネットワークトポロジによって規定されたネットワークがトレーニングされると、決定されたウエイトを含むウエイトファイル９２がネットワーク設定データストア８８にアップロードされる。他の公知のネットワークトポロジまたは、上記したような、他の公知の学習アルゴリズムまたは人工知能アルゴリズムは図７のシステムによって、以下に述べられるように、評価によって決定された各種トポロジ及びウエイトファイルの中から選択された関連するトレーニングアルゴリズム及び生成ネットワークまたは他のアルゴリズムを用いてトレーニングされうる。
【００５３】
［６６］図８はニューラルネットワークの評価をするためのステップを実行するシステムを示す。プログラムコード９８はシステム４８を制御して、評価レコード８０及びスケールファイル７８をダウンロードし、評価レコード８０のすべての属性を標準化する。プログラムコード１００はそれからシステム４８を制御し、ネットワークトポロジ９０及びウエイトファイル９２をダウンロードして、入力として標準化された評価レコードでそのように規定されたウエイト付けされたネットワークを実行する。評価レコードはニューラルネットワークの対応する出力に応じて順序づけされる。ニューラルネットワークの出力は評価レコードの主題である顧客が電話料金リスクを表すという相対的可能性を示すことが意図されている。
【００５４】
［６７］以下に述べる例においてさらに述べられるように、顧客の取引は上記のパラグラフ４６において述べられた優先順位において分析者によって審査される。検討期間内にすべての顧客の取引を見直すように十分な分析者を提供することはコスト的に有効ではないため、効果的なニューラルネットワーク（または他の人工知能アルゴリズム）がより高い
ＡＩスコアを有するレコードのグループにおける目標レコードの高い割合を含む。目標（例えば悪い債務）または目標でない（例えば悪い債務でない）とラベルづけされたレコードの評価が与えられると、一またはより多くの、目標レコードを特定するようトレーニングされたアルゴリズムの性能を評価することが可能になる。評価プロセスは評価される各ＡＩアルゴリズムを通して評価セットにおけるレコードの各々（すなわち特徴ベクトル）の処理を伴う。スコアは各レコードに対して各アルゴリズムによって発生される。各アルゴリズムに対して、最高のスコアから最低のスコアによってレコードの順序づけが行われる。それから、異なるアルゴリズムに対応するこれらの順序の各々に対してＮ＝１００，２００，５００，１０００，２０００，３０００，４０００等に対し上位Ｎレコードにおいて特定されたいくつ目標レコードがあるかを数える。その後どれが目標の取引を順序のトップに効果的に押し上げるか（そして目標でない取引を順序の底へ押しやるか）ということを評価することによって異なるアルゴリズムを比較することが可能になる。システム作動範囲を形成するランキングの領域に対して特定の注意が払われる。任意の人間要素を含むシステムがその日の上位２０００レコードの調査しかできなければ、それがシステムの作動範囲であり、そのレベル以下の性能は重要ではない。上記プロセスを使用することによって、所与のアルゴリズムの有効性が、どのより高いＡＩスコアが目標特性（例えば潜在的な電話料金リスク）に対応し、アルゴリズムに関連した偽りの性能評価であるのかという範囲の測定を含む多数の要素によって評価される。
【００５５】
［６８］図８の方法及びシステムが２値のラベルを有するレコード、例えば、悪い債務リスクに対応するとしてラベルづけられるか、対応しないとラベルづけられるかのいずれかを有するレコードと共に使用されるということが明らかである。この発明においては、評価レコード（トレーニングレコード）は顧客が表すリスクの程度をより正確に表すための値の範囲をラベルづけされうることも意図している。例えば、経験のある分析者がレコードを審査することによって、または、顧客が再支払いをするであろう可能性のリスクの程度を割り当てることによってリスクの程度を性格に表しうる。そのようにラベルづけされた評価レコードに対して、ラベル値とネットワーク出力との間の相関関係はネットワーク出力の有効性を表す。
【００５６】
［６９］属性の前処理、特に分類別特性に関する統計を主題の特性に置き換えながら、ネットワークトポロジ及びトレーニングアルゴリズムは、この発明の性能に対する比較的少ない効果しか及ぼさないということは、実質的に積極的な効果を有するということが例示された。
【００５７】
［７０］図９はレコードの主題である顧客によって表される電話料金リスクを近似する順序におけるレコードを順序付けするためのステップを実行するシステムを示す。プログラムコード１０６はデータ処理システム４８を制御して顧客データストア１０８と請求システム１１０とを通信させ、顧客データ１１２のための現在のアップデート１１１及びシステム１１０から現在のトラフィックレコード１１４をダウンロードし、顧客データ１１２を更新する。請求システム１１０は顧客のための周期的な請求書を発生するために、トラフィック情報のデータベースを維持する典型的なメインフレームコンピュータである。顧客データストア１０８は顧客の静的データ、顧客の技術的データ、現在の不足額のような取引データ及び住所データを含む顧客データ１１２を蓄積する。
【００５８】
［７１］プログラムコード１２２はそれからデータ処理システム４８を制御して顧客データ１１２とトラフィックレコード１１４とを融合させる。融合されたデータ１２３は上記したように、さらなるトレーニングに使用するために、不活性レコードと共にアーカイブ４４に戻される。プログラムコード１２４は上記したようにトポロジとウエイトが決定され、対応するレコードの主題である顧客によって表される電話料金リスクのための評価である出力を生成する、ニューラルネットワークを実行する。コード１２４に応答したシステム４８の動作は以下にさらに述べる。プログラムコード１２８は処理システム４８を制御し、ニューラルネットワークの出力に応じてレコードを分類及びフィルタ処理し、システム１１０に順序づけられたデータ１２９を戻す。データ１２９はレコードの主題である顧客が潜在的な悪い債務リスクとなる相対的な可能性の測定値である。データ１２９は収集戦略システム１３０及び高料金システム１３２のような収集システムによって使用されるがこの点については以下にさらに述べる。
【００５９】
［７２］プログラムコード１０６及び１２２は図３−８に関連して上記で述べたように、ネットワーク１０を発展およびトレーニングするために使用されるアーカイブレコードの最初セットを確率するためにレコードを格納すると共に処理するために使用される。
【００６０】
［７３］図１０はプログラムコード１２４のより詳細な表示である。コード１２４はコード１２２から融合されたデータを受け取る。データはニューラルネットワークに対する入力ではなくレコードの特定のために使用される顧客ＩＤと、顧客静的データと、住所データと、取引データと、請求システム１１０からのトラフィックレコードと、商業的クレジットスコア（選択的）と、商業的に提供される決定ツリースコア（選択的）と、後悔(penitentiary)履歴データ（選択的）とを含み、後悔データは後悔から電話呼び出しを受けることを許可されている顧客のレコードのことである。予期値を有する一方で、後悔履歴データは社会の方針のという理由で使用されないかもしれない。同様の方針の理由によって、郵便番号の最初の３桁のみが使用される。
【００６１】
［７４］プログラムコード１２４−１はそれから融合されたデータからのさらなる処理のために使用される特徴ベクトルを計算する。属性レコード（すなわち特徴ベクトル）は表題、連続属性、及び分類別の属性からなる。属性の中には以下に述べるような派生したものがある。
【００６２】
［７５］派生したフィールド、すなわち、派生した属性を含むフィールドはプログラムコード１２４によって加えられ、プログラムコード１２２からの融合したデータにおけるフィールドから計算されるデータを含む。このような派生したフィールドの追加はこの発明の性能を改良することがわかった。仮定の例として、呼び出しの持続期間が顧客が義務を怠るであろうかどうかの予測はつきやすいが、属性データは呼び出しの開始及び終了時刻のみを含むと仮定する。特徴ベクトルにおける派生したフィールドとして呼び出し持続時間を計算することによって改良されたネットワークは生成されるかもしれない。派生されたフィールドはデータの統合を含んでもよい（例えば、過去のＮ日の呼び出しの全費用）。適切に派生したフィールドは上記したように、特定の応用の知識及び結果として得られるニューラルネットワークの評価の組み合わせに基づいて選択される。より多くの属性を追加することは必ずしもよいわけではなく、先に述べた適切さの分析の考慮したあとで行われる。高く相関し、２重にされた属性は属性を派生するときには避けるべきである。
【００６３】
［７６］プログラムコード１２４−２はアーカイブ４４から統計ファイル６０をダウンロードし、適切な統計の値を分類別の属性値に置き換える。プログラムコード１２４−３はアーカイブ４４からスケールファイル７８をダウンロードし、属性を標準化する。
【００６４】
［７７］プログラムコード１２４−４は設定９０をダウンロードし、ニューラルネットワークを設定するためにレコード９２を加重し、上記したように、プログラムコード１２４−１、−２、−３によって生成された特徴ベクトルを、対応するレコードの主題である顧客が電話料金支払いのリスクとなることがわかるという相対的な可能性の評価である出力を生成するよう適用する。この出力はさらなる調査のためにレコードの順序づけを行うために使用されうるが、好ましくは、リスクの程度は上記したパラグラフ４１で述べたように調査の順序を決定するための因子として含まれうる。
【００６５】
［７８］図１１は多目的コンピュータシステムのより詳細な表示を例示し、多目的コンピュータシステムはこの発明のいくつかの実施例において、データ処理システム４８として作動し、この発明の実施例において実行される。他のアーキテクチャもデータ処理システム４８として作動が可能であり、上記した機能を実行するためにプログラムされうるデータ処理システムの任意の形態がこの発明の意図の中に含まれる。示された実施例において、データ処理システム４８はバス１５２または情報を通信するための機構と、情報処理のためのバス１５２に接続されたプロセッサ１５４とを含む。データ処理システム４８は情報を格納するためのバス１５２に接続されたランダムアクセスメモリ（ＲＡＭ）または他のダイナミックなストレージ装置のようなメインメモリ１５６を含み、プロセッサ１５４によって実行される情報および命令を格納する。メインメモリ１５６はプロセッサ１５４によって実行される命令の実行の間、一時的な変数を格納したり他の中間情報を格納するために使用されてもよい。データ処理システム４８はさらにプロセッサ１５４のための、静的な情報及び命令を格納するためにバス１５２に接続されたリードオンリーメモリ（ＲＯＭ）１５８または他の静的なストレージ装置をさらに含む。磁気ディスクまたは光ディスクのようなストレージ装置１６０は情報に命令を格納するためにバス１５２に提供されかつ接続される。
【００６６】
［７９］データ処理システム４８はコンピュータユーザに対して情報を表示するためにブラウン管（ＣＲＴ）のようなディスプレイ１６２にバス１５２を介して接続されてもよい。アルファベット及び他のキーを含む入力装置１６４がバス１５２に接続され、プロセッサ１５４と情報及び命令の選択のための通信として使用される。ユーザの入力装置の他の種類のものとしては、プロセッサ１５４に対して方向情報及びコマンドの選択を送信したり、ディスプレイ１６２上でカーソルの動きを制御するためのマウス、トラックボールまたはカーソル指示キーのようなカーソル制御１６６がある。この入力装置は平面状において装置が位置を特定することを許容するように、第一軸（例えばｘ）及び第二軸（例えばｙ）のような二軸の自由度を典型的に有する。
【００６７】
［８０］この発明はレコードの主題の特性に応じてレコードの順序付けを評価するためのニューラルネットワークの開発、トレーニング、評価及び実行のためのデータ処理システム４８の使用に関し、特に、顧客が電話料金リスクとなる相対的な可能性に応じて主題が長距離サービスであるレコードの順序付けを行うことに関する。この発明の一つの実施例によれば、これらの機能がメインメモリ１５６に格納された一またはより多くの命令の一またはより多くのシーケンスを実行するプロセッサ１５４に応答してデータ処理システム４８によって提供される。そのような命令はストレージ装置１６０のような別のコンピュータ呼び出し可能媒体からメインメモリ１５６に読み込まれてもよい。メインメモリ１５６に含まれた命令のシーケンスを実行するとプロセッサ１５４はここの延べるステップを処理する。多重処理配置における一またはより多いプロセッサはメインメモリ１０６に含まれた命令のシーケンスを実行するために採用される。代わりの実施例においてはハードウエアに組み込まれた回路が発明の実行のためのソフトウエア命令の組み合わせの代わりとして用いられてもよい。このように。発明の実施例はハードウエア回路及びソフトウエアの任意の特定の組み合わせに限定されるものではない。
【００６８】
［８１］ここで用いられる「コンピュータ読み取り可能媒体」という文言はプロセッサ１５４が実行するための命令を提供する任意の媒体を言う。そのような媒体は、限られるものではないが、不揮発性媒体、揮発性媒体、通信媒体を含む。不揮発性媒体は例えばストレージ装置１６０のような光または磁気ディスクを含む。揮発性媒体はメインメモリ１０６のようなダイナミックメモリを含む。通信媒体は同軸ケーブル、導線及びバス１５２を含む配線を含む光ファイバを含む。通信媒体は無線周波数（ＲＦ）及び赤外線（ＩＲ）データ通信の間に発生するような音波または光波の形状をとってもよい。コンピュータ読み取り可能媒体の一般形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テーブル、任意の他の磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤ、任意の他の光媒体、パンチカード、紙テープ、にあのパターンを有する別の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、任意の他のメモリーチップまたはカートリッジ、以下に述べる搬送波またはコンピュータが読み取り可能な任意の他の媒体を含む。
【００６９】
［８２］コンピュータ読み取り可能媒体の各種形式がプロセッサ１５４が実行するために一またはより多い命令の一またはより多いシーケンスを搬送するために含まれてもよい。例えば、命令は遠隔地のコンピュータの磁気ディスク上に最初置かれてもよい。遠隔コンピュータは命令をそのダイナミックメモリにロードし、命令をモデムを用いて電話線で送信する。データ処理システム４８に対して遠隔地にあるモデムは電話線上でデータを受信でき、赤外線送信を用いてデータを赤外線信号に変換する。バス１５２に接続された赤外線検出器は赤外線信号によって搬送されうるデータを受信でき、バス１５２上でデータを含む。バス１５２はプロセッサ１５４が命令を検索しかつ実行するメインメモリ１０６に対してデータを搬送する。メインメモリ１５６によって受信された命令はプロセッサ１５４による実行の前または後のどちらかでストレージ装置１６０に選択的に格納されてもよい。
【００７０】
［８３］データ処理システム４８はバス１５２に接続された通信インターフェイス１６８を含む。通信インターフェイス１６８はローカルネットワーク１７２に接続されたネットワークリンク１７０に接続された二方向のデータ通信を提供する。例えば、通信インターフェイス１６８は電話線の対応する形式に対してデータ通信接続を提供するために、相互デジタル通信網（ＩＳＤＮ）カードまたはモデムであってもよい。他の例として、通信インターフェイス１６８は互換性のあるＬＡＮにデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）であってもよい。任意のそのような実施において、通信インターフェイス１６８は各種情報を表すデジタルデータストリームを搬送する電気、電磁または光信号を送信しまた受信する。
【００７１】
［８４］ネットワークリンク１７０は請求システム１１０のような他のデータ装置に対して一またはより多いネットワークを介してデータ通信を提供するか、または、ネットワークリンク１７０はインターネットサービスプロバイダ（ＩＳＰ）１７６によって動作されるデータ装置へまたはホストコンピュータ１７４へローカルネットワーク１７２を介して接続を提供してもよい。ＩＳＰ１７６は今では一般的に「インターネット」３８として呼ばれている世界的なパケットデータ通信ネットワークを介してデータ通信サービスを順に提供している。ローカルネットワーク１７２及びインターネット１７８は共に、デジタルデータの流れを搬送する電気的、電磁的または光信号を使用する。各種ネットワークを通じた信号及びネットワークリンク１７０上の信号並びに通信インターフェイス１６８を介した信号はデータ処理システム４８へまたはそこからデジタルデータを搬送し、情報を搬送する搬送波の模範的な形態である。
【００７２】
［８５］データ処理システム４８はネットワーク、ネットワークリンク１７０、及び通信インターフェイス１６８を介してメッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例においては、サーバ１８０がインターネット１７８、ＩＳＰ１７６、ローカルネットワーク１７２及び通信インターフェイス１６８を介してアプリケーションプログラムのための要求されたコードまたはデータを送信する。データ処理システム４８はメッセージを送信し、プログラムコードを含むデータを、ローカルネットワーク１７２、ネットワークリンク１７０及び通信インターフェイス１６８を介してホスト１７４から受信しうる。発明に従えば、一つのそのようなダウンロードされたアプリケーションはここに述べられるようなニューラルネットワークの機能を提供する受信したコードはそれが受信されるとプロセッサ１５４によって実行され、及び／またはストレージ装置１６０に格納され、または後での実行のために他の不揮発性ストレージに格納される。このようにして、データ処理システム４８は搬送波の形態でアプリケーションコードを得てもよい。
【００７３】
［８６］この発明のある実施例においては、データストア４４、８８及び１０８のいくつかまたはすべては、上記したように、ホスト１７４またはサーバ１８０を介してアクセスされ、一方別の実施例においては、これらのデータストアのいくつかまたはすべてはストレージ装置１６０に含まれる。
【００７４】
［８７］示された実施例においては、上記した機能がプロセッサ４８によって実行されたが、別の実施例においては、一またはより多くの機能が従来のように、ローカルネットワーク１７２またはインターネット１７８を介して通信される別のシステムによって実行されうる。
【００７５】
［８８］システム４８のプログラム、この発明の意図内の別のシステムのプログラムは十分当業者の能力の範囲内にあり、この発明の理解のためにここでされに述べる必要はない。
【００７６】
［８９］この発明は主題がある特性を有するという程度を評価するためにまた使用されうる。例えば、保険会社は統計ファイルを生成するために公衆衛生データを使用しうる。そしてそれから上記したように、その顧客の相対的な健康度の測定である出力値を発生するためにニューラルネットワークを開発し、トレーニングし実行する。
【００７７】
［９０］３層、フィードフォワードトポロジを有し、図３−８に関して上記したトレーニングを行ったニューラルネットワークは図１２、１３、１４Ａ、Ｂ及びＣに示された以下の入力で有効であるということがわかった。図１２は有効であると判定されたトラフィックデータコードを示し、図１３は顧客静的データ１９２、取引データ１９４、有効であると判定された住所データ１９８からなる顧客データレコードを示す。図１２は選択的な属性（“＊”マーク付き）をまた示す。後悔履歴データ、上記したクレジットスコア及び決定ツリースコアを示す。決定ツリースコアは外部ベンダによって提供される商業的に入手可能なクレジット評価サービスである。
【００７８】
（利便性のために、図１２に示されているように、選択的属性はトラフィックレコードの一部ではなく、別に受信される）このデータはそれから結合され、顧客ＩＤ２００、
呼び出し情報２０２、分類別属性２０６、連続属性２０８からなる図１４Ａ、１４Ｂ及び１４Ｃで示されるような特徴ベクトルを発生する。図１４Ａ、１４Ｂ及び１４Ｃに示された特徴ベクトルのあるフィールド（再び“＊”マーク付き）が上記したように社会方針の理由のために選択的に使用または使用されなくてもよい。統計値が上記したように分類別属性に置き換えられ、派生した値が加えられる。ここで派生した値とは格納された属性または置き換えられた統計値上での数学的操作によって発生される入力値を意味する。「短い＿」または「長い＿」としてラベルづけされた派生した属性はパラグラフ３６において上で述べられた前の４及び９日の間隔で派生される。
【００７９】
［９１］これらの入力が適用され、データ処理システム４４の出力が収集戦略システム１３０及び高料金システム１３２に組み込まれたとき、以下の結果が得られる。上記したように、高料金システム１３２は取引不足額の大きさに基づいて審査されるシステムに基づく閾値である。その結果、非常によい顧客の大きな取引はす早くかつ不必要に審査される。高料金システム１３２がニューラルネットワークにおける出力の順で取引を審査するよう修正されると、取引に対してブロックされた取引の割合は２倍より多く審査され、ブロックされた取引における平均未払い額はほぼ半分に減らされる。これによって、この発明の方法は実質的に電話料金のリスクをより正確にかつよりすばやく特定する。加えて、「高リスク」の収集戦略のための特定された取引の数は２倍になった。商業的クレジットコアの低い予期値を特定することによってコスト削減が実現された。
【００８０】
［９２］各種収集戦略のための顧客の選択を改良することによって、選択割合に対する全体の警告はほぼ２倍になった。各ニューラルネットワーク出力の直接基づく新しく開発された収集戦略のために、選択割合に対する非常に高い警告が達成された。
【００８１】
［９３］さらに、あらかじめキャンセルされたブロックと追加の３０日収集期間とこの発明を組み合わせることによって、警告に対するキャンセル割合は約３の因子で減少した。すなわち、警告された顧客のほぼ３分の２は、キャンセルが必要となる前によい状態にそれぞれの取引は復帰した。（取引がキャンセルされると、未払い金額を単に支払っても、サービスはもはや復帰されない。）
［９４］これらの結果は、この発明の方法及びシステムが公知の商業的に提供されているクレジットスコアよりも電話料金リスクのより正確な評価を提供するということを示していると信じられている。もちろん、発明は健全で証明されたシステムである。
【００８２】
［９５］この発明が現在最も実用的で好ましい実施例であると考えられているものと組み合わせて述べられたが、発明は開示された実施例に限定されるものではなく、逆に添付のクレームの精神及び範囲に含まれる各種の修正及び等価な配置をカバーすることが意図される。
【図面の簡単な説明】
【００８３】
［１６］この発明は添付の図面の図において限定ではなく、例として例示され、図面中において同様の参照番号は同様の要素を表す。
【図１】［１７］例示的なニューラルネットワークの模式的な図である。
【図２】［１８］図１のニューラルネットワークの詳細な模式図である。
【図３】［１９］特定の分類別の属性を共有する顧客のための悪い債務割合の統計的ファイルの発生のためのプログラムコードを実行するデータ処理システムを示す図である。
【図４】［２０］スケールファイル及び修正されたトラフィックデータレコードの発生のためのプログラムコードを実行するデータ処理システムを示す図である。
【図５】［２１］アーカイブされたトラフィックレコードのタイムラインを示す図である。アーカイブされたトラフィックレコードから統計ファイルデータセット、トレーニングデータセット及び評価データセットが選択される。
【図６】［２２］図５のタイムラインで規定された悪い債務ウインドウを示す図である。これが取引が中止された顧客のファイルが悪い債務リスクとしてラベル付けされる、タイムウインドウを規定する。
【図７】［２３］ニューラルネットワークをトレーニングするためのプログラムコードを実行するデータ処理システムを開示する。
【図８】［２４］トレーニングされたニューラルネットワークを評価するためのプログラムコードを実行するデータ処理システムを示す。
【図９】［２５］顧客の料金リスクの評価のためのこの発明の実施例に従うプログラムコードを実行するデータ処理システムを示す図である。
【図１０】［２６］図９に示されたプログラムコードの一つの要素のより詳細な表示を示す図である。
【図１１】［２７］この発明の実施例に従うプログラムコードの各種要素を実行するのに使用されるコンピュータシステムを示す図である。
【図１２】［２８］トラフィックデータレコードを示す図である。
【図１３】［２９］顧客データレコードを示す図である。
【図１４Ａ．１４Ｂ．１４Ｃ】［３０］図１２及び１３に示されたデータから派生する顧客属性の特徴ベクトルを示し、この発明の実施例に従うニューラルネットワークに対する入力として使用される。
【図２】
2004528628.tif 000003
【図３】
2004528628.tif 000004
【図４】
2004528628.tif 000005
【図７】
2004528628.tif 000006
【図８】
2004528628.tif 000007
【図９】
2004528628.tif 000008
【図１０】
2004528628.tif 000009
【図１１】
2004528628.tif 000010
【図１２】
2004528628.tif 000011
【図１３】
2004528628.tif 000012
【図１４Ａ】
2004528628.tif 000013
【図１４Ｂ】
2004528628.tif 000014
【図１４Ｃ】
2004528628.tif 000015
【国際公開パンフレット】
2004528628.tif 000016
2004528628.tif 000017
2004528628.tif 000018
2004528628.tif 000019
2004528628.tif 000020
2004528628.tif 000021
2004528628.tif 000022
2004528628.tif 000023
2004528628.tif 000024
2004528628.tif 000025
2004528628.tif 000026
2004528628.tif 000027
2004528628.tif 000028
2004528628.tif 000029
2004528628.tif 000030
2004528628.tif 000031
2004528628.tif 000032
2004528628.tif 000033
2004528628.tif 000034
2004528628.tif 000035
2004528628.tif 000036
2004528628.tif 000037
2004528628.tif 000038
2004528628.tif 000039
2004528628.tif 000040
2004528628.tif 000041
2004528628.tif 000042
2004528628.tif 000043
2004528628.tif 000044
2004528628.tif 000045
2004528628.tif 000046
2004528628.tif 000047
2004528628.tif 000048
2004528628.tif 000049
2004528628.tif 000050
2004528628.tif 000051
2004528628.tif 000052
2004528628.tif 000053
2004528628.tif 000054
2004528628.tif 000055
2004528628.tif 000056
2004528628.tif 000057
2004528628.tif 000058
2004528628.tif 000059
2004528628.tif 000060
2004528628.tif 000061
2004528628.tif 000062
2004528628.tif 000063
2004528628.tif 000064
2004528628.tif 000065
2004528628.tif 000066
2004528628.tif 000067
【国際公開パンフレット（コレクトバージョン）】
2004528628.tif 000068
2004528628.tif 000069
【国際調査報告】
2004528628.tif 000070