"データセットを取り扱う方法であって、第1のデータセット12、14、16、18に関連付けられた第1の特性20.1、20.2、20.3、20.4、並びに、単一データ値12’、及び、第2のデータセット12、14、16、18に関連付けられた第2の特性20.1、20.2、20.3、20.4のうちの少なくとも一方を提供するステップであって、前記提供された特性20.1、20.2、20.3、20.4が、前記第1のデータセット12、14、16、18、前記第2のデータセット12、14、16、18及び前記単一データ値12’の実行可能な比較を可能にする、ステップと、前記第1及び第2の特性に基づく、前記第1のデータセット12、14、16、18と前記第2のデータセット12、14、16、18との類似性、前記第1の特性及び前記単一データ値12’に基づく、前記第1のデータセット12、14、16、18と前記単一データ値12’との類似性、前記第1の特性に基づく、前記第1の特性が前記第1のデータセット12、14、16、18の性質をどの程度良く反映しているかを示す信頼性、及び前記第1の特性及び前記単一データ値12’に基づく、前記第1のデータセットと前記単一データ値12’との前記類似性が前記単一データ値の性質をどの程度良く反映しているかを示す信頼性のうちの少なくとも1つを計算するステップと、を含む、方法。前記第1の特性20.1、20.2、20.3、20.4は、メトリック値の集合1222、1224、1226、1228、12’22、12’24、12’26、12’28、1422、1424、1426、1428、1622、1624、1626、1628、1822、1824、1826、1828を含み、前記メトリック値の集合1222、1224、1226、1228、12’22、12’24、12’26、12’28、1422、1424、1426、1428、1622、1624、1626、1628、1822、1824、1826、1828内のそれぞれのメトリック値の各々は、前記第1のデータセットに対してそれぞれのメトリックアルゴリズム22、24、26、28を適用することにより計算され、前記各々のメトリックアルゴリズム22、24、26、28は、前記メトリック値の集合内のそれぞれのメトリック値、並びに、前記単一データ値に適用された同じメトリックアルゴリズムの値及び前記第2のデータセットに適用された同じメトリックアルゴリズムの値のうちの少なくとも一方に基づく、少なくとも1つの類似性値42、46と、前記メトリック値の集合内のそれぞれのメトリック値、並びに、前記単一データ値に適用された同じメトリックアルゴリズムの値及び前記第2のデータセットに適用された同じメトリックアルゴリズムの値のうちの少なくとも一方に基づく、少なくとも1つの信頼性値44、48と、を提供する、請求項1に記載の方法。前記各々のメトリックアルゴリズム22、24、26、28が、第1の類似性値42を、前記第1のデータセット12、14、16、18の前記それぞれのメトリック値1222、1224、1226、1228、1422、1424、1426、1428、1622、1624、1626、1628、1822、1824、1826、1828、及び前記第2のデータセット12、14、16、18に適用された同じメトリックアルゴリズム22、24、26、28のメトリック値1222、1224、1226、1228、1422、1424、1426、1428、1622、1624、1626、1628、1822、1824、1826、1828に基づいて計算するための第1の類似性関数32と、前記メトリックアルゴリズム22、24、26、28が前記第1のデータセット12、14、16、18の性質をどの程度良く反映しているかを示す第1の信頼性値44を、前記第1のデータセット12、14、16、18に基づいて計算するための第1の信頼性関数34と、を少なくとも用いる、請求項2に記載の方法。前記各々のメトリックアルゴリズム22、24、26、28が、第2の類似性値46を、前記第1のデータセット12、14、16、18の前記それぞれのメトリック値1222、1224、1226、1228、1422、1424、1426、1428、1622、1624、1626、1628、1822、1824、1826、1828、及び前記単一データ値12’に適用された同じメトリックアルゴリズム22、24、26、28のメトリック値1222、1224、1226、1228、1422、1424、1426、1428、1622、1624、1626、1628、1822、1824、1826、1828に基づいて計算するための第2の類似性関数36と、前記メトリックアルゴリズム22、24、26、28が前記単一データ値12’の性質をどの程度良く良好に反映しているかを示す第2の信頼性値48を、前記第1のデータセット12、14、16、18の前記それぞれのメトリック値1222、1224、1226、1228、12’22、12’24、12’26、12’28、1422、1424、1426、1428、1622、1624、1626、1628、1822、1824、1826、1828に基づいて計算するための第2の信頼性関数38と、を、少なくとも用いる、請求項2又は請求項3に記載の方法。前記第1のデータセット12、14、16、18と前記第2のデータセット12、14、16、18との前記類似性、及び、前記第1のデータセットと前記単一データ値12’との前記類似性のうちの少なくとも一方を決定するために、前記少なくとも1つのメトリックアルゴリズム22、24、26、28により提供される類似性値42、46の加重平均を計算するステップと、前記第1のデータセット12、14、16、18と前記第2のデータセット12、14、16、18との前記類似性を決定するための重みとして、少なくとも前記第1の信頼性値44を用いるステップと、前記第1のデータセット12、14、16、18と前記単一データ値12’との前記類似性を決定するための重みとして、少なくとも前記第2の信頼性値48を用いるステップと、を含む、請求項3又は請求項4に記載の方法。前記第1の特性に関連付けられた前記メトリックアルゴリズム22、24、26、28は、一般統計量メトリックアルゴリズム22、最頻形式メトリックアルゴリズム24、最頻単語メトリックアルゴリズム26、nグラムメトリックアルゴリズム28、及びニューラルネットワークに基づくメトリックアルゴリズムのうちの少なくとも1つを含む、請求項2乃至請求項5のいずれか1項に記載の方法。前記第1のデータセット12、14、16、18に関連付けられた前記第1の特性20.1、20.2、20.3、20.4と前記第2のデータセット12、14、16、18に関連付けられた前記第2の特性とが異なるメトリックアルゴリズム22、24、26、28を含んでいる場合に、共通のメトリックアルゴリズム22、24、26、28及び前記それぞれのメトリック値が類似性の計算に用いられる、請求項2乃至請求項6のいずれか1項に記載の方法。前記第1の特性20.1、20.2、20.3、20.4をメタデータリポジトリ内に格納することを含む、請求項1乃至請求項7のいずれか1項に記載の方法。前記第1及び第2の特性20.1、20.2、20.3、20.4に基づいて、前記第1のデータセット12、14、16、18及び前記第2のデータセット12、14、16、18のうちの少なくとも一方の領域を決定することを含む、請求項1乃至請求項8のいずれか1項に記載の方法。前記第1のデータセットの領域に関する情報を受け取ることと、前記第2のデータセット12、14、16、18が同じ領域に属するか否かを、前記決定された類似性及び前記決定された信頼性のうちの少なくとも一方に基づいて決定することとを含む、請求項9に記載の方法。前記第2の類似性値46が所定の条件を満たさない場合に、前記第2の類似性値46に基づいて、前記単一データ値12’が前記第1のデータセット12、14、16、18の前記領域と矛盾すると決定するステップ、及び、前記第2の類似性値46が所定の条件を満たす場合に、前記第2の類似性値46に基づいて、前記単一データ値12’が前記第1のデータセット12、14、16、18の前記領域と矛盾しないと決定するステップのうちの少なくとも一方を含む、請求項1乃至請求項10のいずれか1項に記載の方法。前記第1のデータセットを、前記第1の特性20.1、20.2、20.3、20.4に基づいて、データ変換におけるマッピング候補として検出することを含む、請求項1乃至請求項11のいずれか1項に記載の方法。データセットを取り扱うための構成であって、第1のデータセット12、14、16、18に関連付けられた第1の特性20.1、20.2、20.3、20.4、並びに、単一データ値12’、及び、第2のデータセット12、14、16、18に関連付けられた第2の特性20.1、20.2、20.3、20.4のうちの少なくとも一方を提供する手段であって、前記提供された特性が、前記第1のデータセット12、14、16、18、前記第2のデータセット12、14、16、18及び前記単一データ値12’の実行可能な比較を可能にする、手段20と、前記第1及び第2の特性に基づく、前記第1のデータセット12、14、16、18と前記第2のデータセット12、14、16、18との類似性、前記第1の特性及び前記単一データ値に基づく、前記第1のデータセット12、14、16、18と前記単一データ値12’との類似性、前記第1の特性に基づく、前記第1の特性が前記第1のデータセットの性質をどの程度良く反映しているかを示す信頼性、及び前記第1の特性及び前記単一データ値に基づく、前記第1のデータセットと前記単一データ値12’との前記類似性が前記単一データ値の性質をどの程度良く反映しているかを示す信頼性のうちの少なくとも1つを計算するための手段30と、を含む、構成。データ処理システム内での実行のデータ処理プログラムであって、前記プログラムが前記データ処理システム上で実行されたときに請求項1乃至請求項12のいずれか1項によるデータセットを取り扱う方法を実施するためのソフトウェアコード部分を含む、データ処理プログラム。コンピュータ使用可能媒体上に格納されたコンピュータプログラム製品であって、前記プログラムがデータ処理システム上で実行されたときに請求項1乃至請求項12のいずれか1項によるデータセットを取り扱う方法を前記データ処理システムに実施させるためのコンピュータ可読プログラム手段を含む、コンピュータプログラム製品。本発明の根底にある技術的課題は、専用アルゴリズムの使用を必要とすることなく、かつ、上記の欠点及び短所を伴わずに、いかなる領域内のデータの分類をも容易にすることができる、データセットを取り扱うための方法及び構成を提供すること、並びに、データセットを取り扱うための方法を実施するためのデータ処理プログラム及びコンピュータプログラム製品を提供することである。本発明によれば、この課題は、請求項1の特徴を有する、データセットを取り扱うための方法、請求項13の特徴を有する、データセットを取り扱うための構成、請求項14の特徴を有するデータ処理プログラム、及び請求項15の特徴を有するコンピュータプログラム製品を提供することにより解決される。本発明の有利な実施形態は、従属請求項において言及される。したがって、本発明の1つの実施形態において、データセットを取り扱うための方法は、第1のデータセットに関連付けられた第1の特性、並びに、単一データ値、及び、第2のデータセットに関連付けられた第2の特性のうちの少なくとも一方を提供するステップであって、提供された特性が、第1のデータセット、第2のデータセット及び単一データ値の実行可能な比較を可能にする、ステップと、第1及び第2の特性に基づく第1のデータセットと第2のデータセットとの類似性、第1の特性及び単一データ値に基づく第1のデータセットと単一データ値との類似性、第1の特性に基づく、第1の特性が第1のデータセットの性質をどの程度良く反映しているかを示す信頼性、及び、第1の特性及び単一データ値に基づく、第1のデータセットと単一データ値との類似性が単一データ値の性質をどの程度良く反映しているかを示す信頼性、のうちの少なくとも1つを計算するステップとを含む。本発明の更なる実施形態において、第1の特性は、メトリック値の集合を含み、メトリック値の集合内のそれぞれのメトリック値の各々は、第1のデータセットに対してそれぞれのメトリックアルゴリズムを適用することにより計算され、各々のメトリックアルゴリズムは、メトリック値の集合内のそれぞれのメトリック値、並びに、単一データ値に適用された同じメトリックアルゴリズムの値及び第2のデータセットに適用された同じメトリックアルゴリズムの値のうちの少なくとも一方に基づく、少なくとも1つの類似性値と、メトリック値の集合内のそれぞれのメトリック値、並びに、単一データ値に適用された同じメトリックアルゴリズムの値及び第2のデータセットに適用された同じメトリックアルゴリズムの値のうちの少なくとも一方に基づく、少なくとも1つの信頼性値とを提供する。本発明の更なる実施形態において、各々のメトリックアルゴリズムは、第1の類似性値を、第1のデータセットのそれぞれのメトリック値及び第2のデータセットに適用された同じメトリックアルゴリズムのメトリック値に基づいて計算するための第1の類似性関数と、メトリックアルゴリズムが第1のデータセットの性質をどの程度良く反映しているかを示す第1の信頼性値を、第1のデータセットに基づいて計算するための第1の信頼性関数とを、少なくとも用いている。本発明の更なる実施形態において、各々のメトリックアルゴリズムは、第2の類似性値を、第1のデータセットのそれぞれのメトリック値及び単一データ値に適用された同じメトリックアルゴリズムのメトリック値に基づいて計算するための第2の類似性関数と、メトリックアルゴリズムが単一データ値の性質をどの程度良く反映しているかを示す第2の信頼性値を、第1のデータセットのそれぞれのメトリック値に基づいて計算するための第2の信頼性関数とを、少なくとも用いている。本発明の更なる実施形態において、本方法は、第1のデータセットと第2のデータセットとの類似性、及び第1のデータセットと単一データ値との類似性のうちの少なくとも一方を決定するために、少なくとも1つのメトリックアルゴリズムにより提供される類似性値の加重平均を計算するステップと、第1のデータセットと第2のデータセットとの類似性を決定するための重みとして、少なくとも第1の信頼性値を用いるステップと、第1のデータセットと単一データ値との類似性を決定するための重みとして、少なくとも第2の信頼性値を用いるステップとを含む。本発明の更なる実施形態において、第1の特性に関連付けられたメトリックアルゴリズムは、一般統計量メトリックアルゴリズム、最頻形式メトリックアルゴリズム、最頻単語メトリックアルゴリズム、nグラムメトリックアルゴリズム、及びニューラルネットワークに基づくメトリックアルゴリズムのうちの少なくとも1つを含む。本発明の更なる実施形態において、第1のデータセットに関連付けられた第1の特性と第2のデータセットに関連付けられた第2の特性とが異なるメトリックアルゴリズムを含んでいる場合に、共通のメトリックアルゴリズム及びそれぞれのメトリック値が類似性の計算に用いられる。本発明の更なる実施形態において、本方法は、第1の特性をメタデータリポジトリ内に格納するステップを含む。本発明の更なる実施形態において、本方法は、第1及び第2の特性に基づいて、第1のデータセット及び第2のデータセットのうちの少なくとも一方の領域を決定するステップを含む。本発明の更なる実施形態において、本方法は、第2の類似性値が所定の条件を満たさない場合に、第2の類似性値に基づいて、単一データ値が第1のデータセットの領域と矛盾すると決定するステップ、及び、第2の類似性値が所定の条件を満たす場合に、第2の類似性値に基づいて、単一データ値が第1のデータセットの領域と矛盾しないと決定するステップのうちの少なくとも一方を含む。本発明の更なる実施形態において、本方法は、第1のデータセットを、第1の特性に基づいて、データ変換におけるマッピング候補として検出するステップを含む。本発明の別の実施形態において、データセットを取り扱うための構成は、第1のデータセットに関連付けられた第1の特性、並びに、単一データ値、及び、第2のデータセットに関連付けられた第2の特性のうちの少なくとも一方を提供する手段であって、提供された特性が、第1のデータセット、第2のデータセット及び単一データ値の実行可能な比較を可能にする、手段と、第1及び第2の特性に基づく第1のデータセットと第2のデータセットとの類似性、第1の特性及び単一データ値に基づく第1のデータセットと単一データ値との類似性、第1の特性に基づく、第1の特性が第1のデータセットの性質をどの程度良く反映しているかを示す信頼性、及び、第1の特性及び単一データ値に基づく、第1のデータセットと単一データ値との類似性が単一データ値の性質をどの程度良く反映しているかを示す信頼性のうちの少なくとも1つを計算するための手段とを含む。本発明の別の実施形態において、データ処理システム内での実行のためのデータ処理プログラムは、該プログラムがデータ処理システム上で実行されたときにデータセットを取り扱う方法を実施するための、ソフトウェアコード部分を含む。本発明のさらに別の実施形態において、コンピュータ使用可能媒体上に格納されたコンピュータプログラム製品は、該プログラムがデータ処理システム上で実行されたときにデータセットを取り扱う方法をコンピュータに実施させるための、コンピュータ可読プログラム手段を含む。全体的に見て、本発明の実施形態は、専用アルゴリズムの使用を必要とすることなく、いかなる領域内のデータの分類をも容易にするシステムを提供する。さらに、本発明の実施形態は、対応するデータセットの領域に適合しない値を、領域とは独立的した方式で自動的に検出することを容易にするシステムを提供する。従って、本発明の実施形態は、データ統合プロジェクトにおいて統合されるデータの質を評価する。データが人間により入力されたものである場合、例えば、コールセンタのオペレータによって記入される入力マスクからのデータの場合には、特定の列に入力されたデータ値がその列の領域に対応していないことが非常に頻繁に生じる。よくある例は、電話番号が含まれるべきフィールド内に、電話番号が入手できないがそのアプリケーションがこのフィールドに値を要求するという理由で、オペレータが電子メールアドレスを入力する場合である。別の例は、人々が、必須のフィールドに、何を記入していいかわからない、又は正しい値を有していないなどの理由で、でたらめな文字の組み合わせ、又は単純に-を記入する場合である。データの質を評価するために、及び、新たなターゲットシステム内にロードされる前にこれらのデータ値を訂正するためには、各列がどのような共通の無効値の型式を含んでいる可能性があるのかを理解すること、及び、それらの無効値を検出することが重要である。技術的現状において、この問題は、各列について値分布及び形式分布を計算して、何が有効/無効な値/形式であるかをユーザが定義することを可能にする、上記のInformationAnalyzerのようなデータプロファイリングツールを用いることによって表面化する。このツールは、データを表示して記述することによってユーザをサポートするに過ぎない。ユーザは、所与の列について、どの値が有効であり、どの値が無効であるかを手動で決定しなければならない。その後で、ツールは、指定された列の値がユーザによって定義された基準を満たさない全ての行を見つけ出すことが可能になる。この手法は、ユーザが各列を検討して、その列の値に対して1つ又は複数の有効性基準を定義することを必要とするので、非常に時間がかかる。その他にも、特定の型式の列を取り扱うことは、この機構には非常に困難である。例えば、限定されたカテゴリ値の集合を含む列、例えばM及びFという2つの異なる値のみを有することができる性別の列ついて、何が有効値であるか否かを明示的に指定することによって定義することは、時間はかかるが簡単である。ZIPコード、SSN番号、電話番号、電子メールアドレスのような特定の形式に従う値を含む列について、各々の値がその列の領域に所属するか否かを実証する正規表現を定義することもまた、時間はかかるが実行可能である。他方おいて、人名、会社名、又は、一意の値及び繰り返し可能ではない形式を含むいずれかの型式のデータのような、構造化されていない又は標準化されていないデータを含む列については、このような規則を定義することは困難であり、むしろ不可能である。本発明の中核となる着想は、各データセットについて、例えば列などの対応するデータセット内に含まれるデータのクラスを特徴付けるフィンガープリントと呼ばれる特性を自動的に計算することである。このようなフィンガープリントは、そのデータの異なる態様を捕捉する幾つかのメトリックから成る。フィンガープリントを構成する各メトリックは、対応するメトリックアルゴリズムを用いて計算される。提案されるメトリックに関する詳細は本開示において後ほど説明するが、メトリックの例は、データセットの全てのデータ値の中の各々の記号又は記号の組み合わせの頻度を計量するメトリック、データセットのデータ値の中で最も頻度の高い語又は形式を計量するメトリック、データセットのデータ値についての平均長、文字又は数字の割合などの多様な統計量を計量するメトリックなどであり得る。また、フィンガープリント概念は特定のメトリックアルゴリズムに依存しないので、新たなメトリックアルゴリズムをシステムに追加することができる。使用される各メトリックアルゴリズムは、あるデータセットと、判定すべき別のデータセットに属する同じ型式のメトリックアルゴリズムとの間の類似性スコアを、これら2つのデータセットが類似のデータ値を含む場合にすばやく計算すること、及び、あるデータセットと判定すべき単一データ値との間の類似性スコアを、このデータ値がこのデータセットに属する可能性がある場合にすばやく計算することを可能にする方法を提供するものであるべきである。メトリックアルゴリズムのうちの幾つかは、データセット内のデータの型式に依存して、より妥当である場合も、又はあまり妥当ではない場合もある。例えば、最頻形式を捕捉するメトリックアルゴリズムは、例えば住所フィールドのように非常に多数の形式を有するデータを含むデータセットに対してはあまり良い代表とはならないが、他方、例えばZIPコードのような一定の形式を有する値を含むデータセットに対しては非常に妥当である。この理由で、各メトリックアルゴリズムは、それが属するデータセットに対するそのメトリックアルゴリズムの信頼性を計算する方法を提供することができるものであるべきである。そのため、本発明の実施形態で用いられるメトリックアルゴリズムは、2つの異なるデータセットに属する2つのフィンガープリント間の類似性スコア、又はフィンガープリントと1つの単一データ値との間の類似性スコアをすばやく計算することを可能にする。2つのデータセットの2つのフィンガープリントを比較する場合、低スコアは、2つのデータセット間に領域の一致がないことを示す。従って、この2つのデータセットは異なって見えるデータを含んでいる。100に近いスコアは、2つのデータセットの間の領域の一致を示す。従って、この2つのデータセットは、データが、類似の特性を提示しているので、同じ型式のデータを含んでいる可能性が高い。フィンガープリントを単一データ値と比較する場合、低スコアは、その値がそのデータセットの領域に良く一致しないことを示す。100に近い値は、その値が、フィンガープリントを所有するデータセットの値の領域と矛盾しないことを示す。単一データ値をデータセットのフィンガープリントと比較するために、データセットのフィンガープリントを決定するために用いられたメトリックアルゴリズムが、単一データ値の対応するフィンガープリントを決定するためにも用いられる。データセットを解析するときに、各データセットのフィンガープリントを計算するために時間費用が高い努力を要する。一旦計算されると、このフィンガープリントは、シリアル化され、解析されたデータセットのメタデータに添付することができ、容易に取り出すことができる。2つのフィンガープリントを互いに比較する操作、又は1つのフィンガープリントをデータ値と比較する操作はこれに比べて低費用なので、多数の列の対を短時間で互いに比較することができる。一旦、各データセットについてフィンガープリントが計算されこれはデータ解析操作中に行われる、メタデータリポジトリ内に格納されると、上記のInformationAnalyzerのようなデータプロファイリングツールは、これらのフィンガープリントを用いて半自動データ解析方式を提供することができる。従来技術の場合と同様に、ユーザは最初に、データセットの少数のデータ値を見て調べ、このデータセットのためのデータクラスを手動で設定する必要があるが、データセットのデータクラスが定義されるたびに、本発明の実施形態は、事前計算されたフィンガープリントを用いて、検討されたデータセットと同様の類似のフィンガープリントを有する全ての他のデータセットを見つけ出すことができる。それに基づいて、本発明の実施形態は、定義された閾値を超えた類似性を有する未検討の全てのデータセットのデータクラスを自動的に設定することができ、又は、ユーザが新たなデータセットの領域を定義することを所望する場合には、この情報を用いて、領域が既知のデータセットとの類似性に基づいて、ユーザにデータクラスを示唆することができる。この半自動プロセスは、ユーザの検討作業を著しく加速する。ユーザが、どのデータセットも定義された領域を有していないシステムから開始する場合であっても、ユーザは、個々のデータセット各々の値を深く調査する必要はない。その代わりに、ユーザは少数のデータセットの少数のデータ値に対してそれを行うだけでよい。次いで、本発明の実施形態は、未検討のデータセットとの類似性を見いだす。例えば幾つかのレガシーシステムの新規システムへの統合を背景とした、未知システムのデータを既知システムに移動すべきデータ移送プロセスにおいては、ターゲットシステムのデータセットのデータクラスは全て既知である。その場合、ターゲットシステムは十分な例を含んでいるので、各ソースデータセットの領域を推定するプロセスは、ユーザが最初にデータ値の小さいコアを手動で解析することを必要としないであろう。フィンガープリントは、対応するデータセットの領域に適合しないデータ値を自動的に検出することもまた可能にする。あるデータセットの全ての単一データ値を、そのデータセットのフィンガープリントと比較することができる。フィンガープリントは次に、各々の単一データ値について、データ値のソートに用いることができるスコアを生成する。最も低いスコアを有するデータ値は、そのデータセットの領域に適合しない可能性があるデータ値であり、手動による検討を必要とする。このようなフィンガープリントは、データ変換におけるマッピング候補の検出などのような、その他の問題を解決するために用いることもできる。本発明の上記の、及び更なる目的、特徴、及び利点は、以下の詳細な説明において明らかとなる。以下で詳細に説明される本発明の好ましい実施形態を図面で示す。図1は、本発明の実施形態によるデータ処理システム10を示し、図2は、本発明の実施形態による、データセット12、14を取り扱うための方法を示す。図1及び図2を参照すると、本発明の図示された実施形態は、データセット12、14を取り扱うための方法を使用し、この方法は、ステップS10において、第1のデータセット12に関連付けられた第1の特性20.1又はいわゆるフィンガープリント、並びに、単一データ値、及び、第2のデータセット14に関連付けられた第2の特性20.2のうちの少なくとも一方を提供することを含み、提供された特性20.1、20.2が、第1のデータセット12、第2のデータセット14及び単一データ値12’の実行可能な比較を可能にする。単一データ値12’を第1のデータセット12と比較するために、特性20.1は、通常は、単一データ値12’についても決定される。単一データ値についてのこの特性は、事前計算することもでき、又は第1のデータセットと単一データ値12’との比較が行われるときに計算することもできる。ステップS20において、第1及び第2の特性20.1、20.2に基づく第1のデータセット12と第2のデータセット14との類似性、第1の特性20.1及び単一データ値12’に基づく第1のデータセット12と単一データ値12’との類似性、第1の特性20.1に基づく、第1の特性20.1が第1のデータセット12の性質をどの程度良く反映しているかを示す信頼性、並びに、第1の特性20.1及び単一データ値12’に基づく、第1のデータセット12と単一データ値12’との類似性が単一データ値の性質をどの程度良く反映しているかを示す信頼性、のうちの少なくとも1つが計算される。図1において、単一データ値12’を表す、又は単一データ値12’に適用される構成要素は、破線で示される。第1のデータセットを、類似性値に基づいて第2のデータセット及び単一データ値と比較して、第1のデータセットと第2のデータセット又は単一の値とが同じデータ領域内にあるか否かを評価することができる。さらに図1を参照すると、図示された実施形態において、データ処理システム10は、ブロック20において、4つのメトリックアルゴリズム22、24、26、28を用いて、第1のデータセット12の第1の特性20.1の一部であるメトリック値1222、1224、1226、1228を計算し、かつ、第1のデータセット12と比較される第2のデータセット14の第2の特性20.2の一部であるメトリック値1422、1424、1426、1428を計算する。代替的に、4つのメトリックアルゴリズム22、24、26、28より多い又は少ないメトリックアルゴリズムを用いて、第2の特性20.2のメトリック値1422、1424、1426、1428を計算することができる。更なる代替法として、ブロック20は、第1のデータセット12の第1の特性20.1及び第2のデータセット14の第2の特性20.2のうちの少なくとも一方を外部ソースから受け取り、更なる処理のためにそれらを提供する。このように、データセット12、14の特性20.1、20.2は、前処理中に決定することができる。第1のデータセット12が単一データ値12’と比較される場合には、ブロック20において、第2のデータセット14のメトリック値1422、1424、1426、1428の代わりに、単一データ値12’の対応するメトリック値12’22、12’24、12’26、12’28が、第1のデータセット12の第1の特性20.1を計算するために用いられたメトリックアルゴリズム22、24、26、28によって計算される。これは、一般に比較に関連して行われ、前処理中には行われない。メトリックアルゴリズム22、24、26、28は、対応するメトリック値1222、1224、1226、1228、12’22、12’24、12’26、12’28、1422、1424、1426、1428に加えて、少なくとも1つの類似性値42、46及び少なくとも1つの信頼性値44、48を、メトリック値1222、1224、1226、1228、12’22、12’24、12’26、12’28、1422、1424、1426、1428に基づいて提供する。各メトリックアルゴリズム22、24、26、28は、比較ユニット30の第1の類似性関数32を用いて、第1のデータセット12のメトリック値1222、1224、1226、1228、及び、第2のデータセット14に適用された同じメトリックアルゴリズム22、24、26、28のメトリック値1422、1424、1426、1428に基づいて、第1の類似性値42を計算し、比較ユニット30の第1の信頼性関数34を用いて、第1のデータセット12のメトリック値1222、1224、1226、1228に基づいて、対応するメトリックアルゴリズム22、24、26、28が第1のデータセット12の性質をどの程度良く反映しているかを示す第1の信頼性値44を計算する。さらに、各メトリックアルゴリズムは、比較ユニット30の破線で示された第2の類似性関数36を用いて、第1のデータセット12のメトリック値1222、1224、1226、1228、及び、単一データ値12’に適用された同じメトリックアルゴリズム22、24、26、28のメトリック値12’22、12’24、12’26、12’28に基づいて、第2の類似性値46を計算し、比較ユニット30の同じく破線で示された第2の信頼性関数38を用いて、第1のデータセット12及び単一データ値12’のメトリック値1222、1224、1226、1228、12’22、12’24、12’26、12’28に基づいて、第1のデータセット12、14、16、18のメトリックアルゴリズム22、24、26、28が、単一データ値12’の性質をどの程度良く反映しているかを示す第2の信頼性値48を計算する。第1及び第2の類似性値42、46、並びに第1及び第2の信頼性値44、48は、比較ユニット30により生成される比較結果40の一部である。別の言い方をすれば、類似性は、2つのデータセット12、14の、又は、1つのデータセット12及び単一データ値12’の関数である。厳密に言えば、類似性は、各々が1つの対応するデータセットについて決定されたメトリック値の2つの集合の関数、又は、1つはデータセットについて決定され、もう1つは単一データ値について決定されたメトリック値の2つの集合の関数のうちの一方である。類似性が計算される時点では、データセット全体は典型的にはもはや利用できず、メトリック値のみが利用可能である。信頼性は、メトリックアルゴリズム自体の関数であり、メトリックアルゴリズムが、そのメトリックアルゴリズムの計算が行われたデータセットに対してどの程度有意であるかを示すものである。2つのデータセットを比較する場合には、信頼性は第1のデータセットのメトリック値のみの関数であり、従って、事前計算されている。したがって、一旦メトリック値が事前計算されると、信頼性は既知となる。単一データ値をデータセットと比較する場合には、信頼性は、データセットのメトリック値と単一データ値のメトリック値との関数である。そのため、信頼性は、もはや事前計算されたものではなく、検定される各々の単一データ値ごとに異なるものとなり得る。特性20.1、20.2又はフィンガープリントは、1つ又は複数のメトリック値のための論理上の入れものである。技術的には、フィンガープリントは、データセット12、14の全てのデータ値を、対応するフィンガープリントを構成する全てのメトリックアルゴリズムに連続的に通すことで計算される。各特性20.1、20.2は、それ自体のメトリックアルゴリズム22、24、26、28を用いてメトリック結果を計算する。一旦、全てのデータ値が全てのメトリックアルゴリズム22、24、26、28によって解析されると、全てのメトリック結果は、シリアル化されて、フィンガープリントのシリアル化形態を表す1つのエンティティにされ、これをメタデータリポジトリ内に格納するか、又は解析されたデータセット12、14のメタデータに添付することができる。任意のシリアル化形式を用いることができる。好ましい実施形態においてはXML形式を用いることができるが、形式自体は本発明にとって重要ではない。図3は、ある表の中の姓、住所、郵便番号又は電話の列を各々が表す異なるデータセット12、14、16、18のメタデータに添付された、フィンガープリント20.1、20.2、20.3、20.4を示し、図4は、フィンガープリントを本発明の実施形態で用いられる特性として実装するための、UML統一モデリング言語モデルを示す。図3及び図4を参照すると、各データセット12、14、16、18に対して、幾つかのメトリック値1222、1224、1226、1228、1422、1424、1426、1428、1622、1624、1626、1822、1824、1826から成るフィンガープリント20.1、20.2、20.3、20.4が、各々のデータセット12、14、16、18について計算されており、対応するメタデータに添付されている。フィンガープリント20.1、20.2、20.3、20.4をデータセット12、14、16、18に関連付けることは、メタデータモデルをフィンガープリント20.1、20.2、20.3、20.4の概念をサポートするように拡張すること、又はそのメタデータモデルが提供することができる汎用注釈機構を使用すること、又は単にデータセット名をシリアル化されたフィンガープリント20.1、20.2、20.3、20.4に関連付ける表を使用すること、のいずれかで行うことができる。図3は、異なるデータセット12、14、16、18のフィンガープリント20.1、20.2、20.3、20.4が、異なるメトリック型式を含むことができることを示す。例えば、姓及び住所の列のフィンガープリント20.1、20.2は、異なる文字のバイグラムの出現頻度を計量するバイグラムメトリックアルゴリズム28を含む。バイグラムメトリックは、文字を含んで単語を形成する値に対してのみ計算することができるが、それは、郵便番号及び電話の列には当てはまらない。その理由で、バイグラムメトリックは、郵便番号及び電話の列については計算されていない。バイグラムメトリックアルゴリズム28は、メトリック値1228及び1428を計算する。特性20.1、20.2、20.3、20.4のためのメトリック値1222、1224、1226、1228、1422、1424、1426、1428、1622、1624、1626、1822、1824、1826を計算するメトリックアルゴリズム22、24、26、28は、全てのデータセット12、14、16、18に対して同じである必要はない。図示された、姓、住所、郵便番号、及び電話の列の全てのフィンガープリント20.1、20.2、20.3、20.4は、一般統計量メトリックアルゴリズム22により計算されるメトリック値1222、1422、1622、1822、最頻形式メトリックアルゴリズム24により計算されるメトリック値1224、1424、1624、1824、及び最頻単語メトリックアルゴリズム26により計算されるメトリック値1226、1426、1626、1826を含む。2つのデータセット12、14、16、18が互いに比較されるときには、同じ型式のメトリック値1222、1224、1226、1228、1422、1424、1426、1428、1622、1624、1626、1822、1824、1826の対のみが比較されることになり、一方のフィンガープリント20.1、20.2、20.3、20.4には存在するが他方のフィンガープリントには存在しないメトリック値1222、1224、1226、1228、1422、1424、1426、1428、1622、1624、1626、1822、1824、1826は無視されることになる。2つのフィンガープリント20.1、20.2、20.3、20.4が互いに比較可能であるためには、共通する同じ型式の少なくとも1つのメトリック値1222、1224、1226、1228、1422、1424、1426、1428、1622、1624、1626、1822、1824、1826を有していなければならない。図示された実施形態において、第1のデータセット12と第2のデータセット14とを比較する場合には、一般統計量メトリックアルゴリズム22、最頻形式メトリックアルゴリズム24、最頻単語メトリックアルゴリズム26、及びバイグラムメトリックアルゴリズム28により計算されたメトリック値1222、1224、1226、1228、1422、1424、1426、1428が用いられる。第3のデータセット16と第4のデータセット18とを比較する場合には、一般統計量メトリックアルゴリズム22、最頻形式メトリックアルゴリズム24、及び最頻単語メトリックアルゴリズム26により計算されたメトリック値1622、1624、1626、1822、1824、1826が用いられる。第1又は第2のデータセット12、14と、第3のデータセット16又は第4のデータセット18とを比較する場合には、一般統計量メトリックアルゴリズム22、最頻形式メトリックアルゴリズム24、及び最頻単語メトリックアルゴリズム26により計算されたメトリック値1222、1224、1226、1422、1424、1426、1622、1624、1626、1822、1824、1826が用いられ、バイグラムメトリックアルゴリズム28により計算されたメトリック値1228、1428は無視される。さらに図3及び図4を参照すると、フィンガープリントの概念は、フィンガープリントを、2つの異なるデータセット12、14、16、18の2つのフィンガープリント20.1、20.2、20.3、20.4の間、又は1つのフィンガープリント20.1、20.2、20.3、20.4と単一データ値12’との間の類似性スコアを計算するための2つの方法を定義するクラスとして用いることにより、実装することができる。フィンガープリント20.1、20.2、20.3、20.4は、抽象メトリッククラスにより表される1つ又は複数のメトリックを含む。抽象メトリッククラスのサブクラスにより特殊化された各メトリックは、4つの関数を与える。第1の類似性関数32は、メトリック値1222、1224、1226、1228、1422、1424、1426、1428、1622、1624、1626、1822、1824、1826と、別のフィンガープリント20.1、20.2、20.3、20.4からの同じ型式タイプの別のメトリック値1222、1224、1226、1228、1422、1424、1426、1428、1622、1624、1626、1822、1824、1826との間の類似性スコア42を返している。第1の信頼性関数34は、そのメトリックが計算されたデータセット12、14、16、18に対するメトリックの信頼性値44を返している。信頼性値44は、0.0と1.0との間の値であり、このメトリックによって返される類似性スコア42が、フィンガープリント20.1、20.2、20.3、20.4を所有するデータセット12、14、16、18内に含まれるデータの型式についてどの程度良く信頼することができるかを示す。第2の類似性関数36は、単一データ値が、全データセット12、14、16、18について計算されたメトリックにどの程度良く適合するかを示す類似性スコア46を返している。第2の信頼性関数38は、第2の類似性関数36により返される結果の信頼性値48を返している。類似性関数及び信頼性関数32、34、36、38は、一般に対称ではない。それは、2つのデータセット12、14間の類似性を第1のデータセット12のメトリック値を参照として用いて計算すると、2つのデータセット12、14間の類似性を第2のデータセット14のメトリック値を参照として用いて計算した場合とは僅かに異なる値を返すことを意味する。同じことが、信頼性関数34、38についても当てはまる。通常は、参照と、比較されるメトリックとを入れ替えたときに結果が異なったとしても、この差は十分に小さいので、どちらを参照として用いるかは問題にならない。代替法として、第1のデータセット12を参照して2つのデータセット12、14間の類似性を計算し、次いで第2のデータセット14を参照して2つのデータセット12、14間の類似性を計算し、次いでこれら2つの結果の平均値を求めてこれを返すことは、計算により時間がかかるがより安全であり得る。説明される実施形態において、2つのデータセットを比較するときに用いられる信頼性は参照データセットのみの関数なので、第1の信頼性値44は、参照データセットとしての第1のデータセット12のみに関連する。代替的に、信頼性を両データセット12、14のメトリック値に基づいて動的に計算するためのより複雑なアルゴリズムを用いることができる。しかし、検定の際に、参照データセットのみを考慮して信頼性を計算することで十分に良好な結果が得られるように思われたので、より複雑なアルゴリズムは正当化されなかった。さらに、2つのデータセット12、14が比較される場合、一方のデータセットだけをここで第1のデータセット/メトリックと呼ぶ参照データセットとして任意に選択し、他方のデータセットをここで第2のデータセット/メトリックと呼ぶ比較データセットとして選択することができる。重みは、参照データセットの信頼性値である。より正確な計算は、最初に第1のデータセットを参照として結果を計算し、同じ計算を第2のデータセットを参照として再び行い、両方の平均として最終結果を返すことであろう。式1及び2は、2つのフィンガープリント20.1、20.2、20.3、20.4の間、又はフィンガープリント20.1、20.2、20.3、20.4と単一データ値との間の類似性スコアを、メトリックアルゴリズム22、24、26、28の結果に基づいて計算するために用いられる例示的な式を示す。2つのフィンガープリント20.1、20.2、20.3、20.4の間の類似性は、それらが共通して有するメトリックの第1の類似性関数32又は第2の類似性関数36の結果の加重平均として計算される。各メトリックに対して用いられる重みは、対応する信頼性関数34、38によって計算されるそのメトリックの信頼性値である。式1において、Similarity1は、第1の又は参照データセットのフィンガープリントと比較したときの第2のデータセットのフィンガープリントの類似性を表し、ConfidenceMetrici,dataset1は、データセット1について計算されたメトリックiの信頼性である。SimilarityMetrici,col1,Metrici,col2は、データセット1についてのメトリックiと、データセット2についての同じメトリックiとの間の類似性を表す。式1内の反復を、両フィンガープリント内に存在するメトリックの全ての対について行う。1つのデータセットのフィンガープリントとデータ値との間の類似性は、同様の手法で、但し、メトリックの第2の類似性関数36及び第2の信頼性関数38を適用することにより計算される。以下、本発明の好ましい実施形態で用いられる4つの異なるメトリックアルゴリズム22、24、26、28を説明する。バイグラムアルゴリズム28の考え方は、人が読むことができる値を含むデータにおいて、文字の組み合わせの頻度は均等に分布していないという事実に基づくものであり、ここで、値は、単語、名前、又は人間の言語に基づく何らかのもので構成されている。例えば、英語において、文字Eは、テキスト内で文字Zよりもずっと頻繁に使用される。2つの文字の組み合わせを表すバイグラムを調べると、幾つかの組合せは、例えば文字Qは英語では殆どの場合に後に文字Uが続くというように、非常に頻度が高く、その他の幾つかの組み合わせ、例えば文字Qの後にもうひとつ文字Qが続くことは、起こる可能性が低い。この、全ての可能なバイグラムに関する頻度の表は、対応するデータセット12、14により表される領域を代表するものである。英語に基づくフリーテキスト値を含むデータセット12、14、例えば住所、人名、会社名などは、英語に特有のバイグラム表を有することになる。ドイツ語の値を含むデータセットは、僅かに異なるバイグラム表を有することになる。自然言語に基づかないコードを含むデータセットは、完全に異なる表を有することになる。そのようなバイグラム表を計算するために、対応するテキスト値の全ての記号が大文字に変換される。、-、のような特殊記号及び数字は除去され、その場合、空白は無視されない。次に、2文字長のスライディングウィンドウを、残った記号列上で移動させて、全ての可能なバイグラムの行列を生成し、出現した各々のバイグラムについて頻度を数える。全ての内容が処理されたとき、各バイグラムについて発生確率が計算される。図3において、メトリック値1228及び1428は、各々、姓及び住所の列に関して生成されたそのようなバイグラムの一部を示す。この行列は、以下のように読まれる。即ち、第1行第1列のセルは、バイグラムAAが出現する確率が0であることを示す。第1行第2列のセルは、バイグラムABについての確率を示す。第2行第1列のセルは、バイグラムBAの確率を示し、以下同様である。式3は、データセット12、14の間の類似性スコアを、バイグラムメトリックアルゴリズム28の結果に基づいて計算するために用いられる例示的な式を示す。2つの異なるデータセット12、14の2つのバイクラムメトリック間の類似性を計算するために、2つのデータセット12、14についてのバイグラム表1228、1428がロードされる。次に、行列の全ての値が、長い数字シーケンスとして、各行列につき1つの頻度シーケンスとして取得される。次に、これらの2つの頻度系列の間の相関が計算される。相関が正であれば、それが類似性スコアとして返される。相関が負であれば、類似性スコアは0であると見なされる。行列同士が類似しているほど、相関は100に近づき、従って類似性スコアも100に近づくことになる。式4は、バイグラムメトリックアルゴリズム28の信頼性を計算するために用いられる例示的な式を示す。バイグラムメトリックアルゴリズム28は、フリーテキストを含む値を代表するものであるが、バイグラムパターンにとっては代表する度合いが低く、ランダムに分布するはずの値に対しては役に立たない。好ましい実施形態において、行列内の0を上回る頻度を有するセルの割合が、信頼性として計算される。このようにすると、バイグラムメトリックアルゴリズム28は、全てのバイグラムが表現されたフリーテキスト列については強い信頼性を有し、値の数及び多様性が行列全体を埋めるほど十分に高くなかった列については、より低い信頼性を有する。式中、Metriccol1row,col=0であれば、fMetriccol1row,col=0であり、Metriccol1row,col>0であれば、fMetriccol1row,col=1である。バイグラムメトリックと1つの単一データ値との間の類似性を計算するためには、バイグラム行列を、各列における最大頻度が100に正規化されるように、正規化しなければならない。式5は、正規化のための式を示す。行列内の各セルを、同じ列内で見いだされる最大頻度で除する。次いで、比較される単一データ値から全てのバイグラムが抽出され、これらのバイグラムの各々についての値を、正規化行列内で探索する。式6に従って、単一データ値内で見いだされた全てのバイグラムについて、平均値が計算される。最後に、式6を用いて得られたスコアを、0.4を上回るスコアが1に近い類似性を与えるように変換しなければならない。好ましい実施形態において用いられる変換関数は、式7で示される。代替的に、同じ方法を、モノグラム若しくはトライグラム又は一般にnグラムで用いることができよう。最頻単語メトリックアルゴリズム26は、解析されるデータセット12、14、16、18の全てのデータ値の中で見いだされる最も頻繁に繰り返される単語のリストを計算する。これは、繰り返し現れる単語を用いるデータセット12、14、16、18における類似性を検出するにはかなり効果的なメトリックである。例えば、所番地を含むデータセット12、14、16、18は、ストリートStreet、アベニューAvenue、市名などのような繰り返し現れる単語を有している可能性が高い。人名を含むデータセット12、14、16、18は、繰り返し現れる姓及び名を有している可能性が高い。図5は、最頻単語を計算するためのアルゴリズム26を示す。データセット12、14、16、18において見出された各単語の頻度が計算される。最後に、上位N個の値のみが解析用に保持され、稀にしか出現しない値は無視される。分布の幅は、メトリック26がどの程度良く機能するかに関する良い指標であり、従って、信頼性を計算するために用いられる。式8及び9は、好ましい実施形態において、この最頻単語メトリックアルゴリズム26についての類似性及び信頼性を計算するために用いられる式を示す。式中、cは、定数であり、例えば、である。2つの最頻単語メトリック26の間の類似性を計算するために、第1のメトリックにおける上位N個の単語の頻度と、第2のメトリックにおける同じ単語の頻度との間のユークリッド距離が計算される。さらに、その他の全ての単語、即ち、上位N個のリストに属していない単語の頻度が、更なる次元として取得される。距離distを計算するための式は、例えば、式8で表される。次に、距離distは、例えば、式9で表される変換関数を用いることにより、0.0と1.0との間のスコアに変形される。メトリックの信頼性は、少なくとも1つの単語が、メトリックによって捕捉された上位N個の単語の一部となっている値の、そのメトリックを所有するデータセット12、14、16、18における割合である。。式10は、最頻単語メトリック26についての信頼性を計算するための式を示す。式中、値iがメトリックの上位N個の最頻単語リスト内に存在しなければ、fvaluei=0であり、値iがメトリックの上位N個の最頻単語リスト内に存在すれば、fvaluei=1である。単一データ値と再頻度語メトリックとの間の類似性は、少し異なった手法で計算される。好ましい実施形態において、二値的類似性は、単一データ値の単語がメトリックの上位N個の最頻単語内になければ0.0となり、少なくとも1つの単語がリスト内にあれば1.0となる、そのいずれかである。信頼性は、単一データ値を構成する全ての単語の、上位N個の単語のメトリックにおける頻度を合計することにより計算される。図6は、最頻形式を計算するためのアルゴリズム24を示す。最頻形式メトリックアルゴリズム24は、最頻単語メトリックアルゴリズム26に類似しているが、繰り返し出現する語を捕捉する代わりに、繰り返し出現する形式を捕捉する。解析されるデータセット12、14、16、18内の各データ値は、形式マスクに変換され、そこでは例えば、全ての大文字がAに変換され、全ての小文字がaに変換され、全ての数字が9に変換され、その他の全ての記号は変更されないまま残される。例えば、77019-6813に対する形式マスクは99999-9999になり。ABC123に対する形式マスクはAAA999なる。一旦、値がその形式マスクに変換されると、最頻単語メトリック26の場合と類似の技術を用いて、上位N個の最頻形式が計算される。最頻単語メトリック26の場合と同様に、2つの最頻形式メトリック24の間の類似性は、式11で表されるユークリッド距離を用い、式12で表される変換関数を用いるにことにより、計算される。式中、cは、定数であり、例えば、である。メトリックの信頼性は、最頻形式メトリック24により捕捉された全ての形式の頻度の合計である。式13は、最頻形式メトリック24についての信頼性を計算するための式を示す。単一データ値と最頻形式メトリック24との間の類似性は、ここでもやはり二値的である。したがって、二値的類似性は、単一データ値の形式がメトリック24の上位N個の最頻形式内になければ0.0となり、その形式がリスト内にあれば1.0となる、そのいずれかである。信頼性は、単純に、単一データ値の形式の、メトリックにおける頻度である。一般統計量メトリックアルゴリズム22は、解析されるデータセット12、14、16、18内に含まれるデータ値についての統計量を収集することに関する。好ましい実施形態において収集される統計量は、データ値の平均長及びその標準偏差、各データ値内の単語の平均個数及びその標準偏差、データ値内の文字の平均割合及びその標準偏差、並びにデータ値内の数字の平均割合及びその標準偏差である。したがって、2つの一般統計量メトリックの間の類似性は、上で挙げた4つの統計量の各々について、2つの正規分布を比較することと同じである。図7乃至図10は各々、このプロセスをグラフで示す。各々の一般統計量メトリック22は、値の長さ記号の数図7参照、単語の数図8参照、文字の割合図9参照、及び数字の割合図10参照についての正規分布を表す4つのガウス曲線としてグラフで表示することができる。別のデータセット由来の別のメトリックの4つの分布を同じグラフ上に重ねると、各次元についての類似性は、この場合は実線の曲線が第1の一般統計量メトリックを表し、破線の曲線が第2の一般統計量メトリックを表す2つの曲線間の共通の面積を計量することにより、計量することができる。図7を参照すると、比較された2つのデータセットは、記号の数データ値の長さに関して38.15の類似性を有する。図8を参照すると、比較された2つのデータセットは、単語の数に関して19.57の類似性を有する。図9を参照すると、比較された2つのデータセットは、文字の割合に関して88.28の類似性を有する。図10を参照すると、比較された2つのデータセットは、数字の割合に関して81.90の類似性を有する。これらの類似性スコアの平均を計算することにより、2つのデータセット間の全類似性スコアを得る。単一データ値と一般統計量メトリック22との間の類似性の計算は、同じ手法で行われる。しかし、2つの正規分布を互いに比較する代わりに、図11乃至図14において示されるように、正規分布と単一データ値とが比較される。図11を参照すると、データセット及び単一データ値は、記号の数データ値の長さについて、94.1の類似性を有する。図12を参照すると、データセット及び単一データ値は、単語の数について82.6の類似性を有する。図13を参照すると、データセット及び単一データ値は、文字の割合について90の類似性を有する。図14を参照すると、データセット及び単一データ値は、数字の割合について85の類似性を有する。これらの類似性スコアの平均を計算することにより、データセットと単一データ値との間の全類似性スコアを得る。データセットを取り扱うための本発明の方法は、全体がソフトウェアの実施形態として、又はハードウェア要素とソフトウェア要素の両方を含む実施形態として、実装することができる。1つの好ましい実施形態において、本発明は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むがこれらに限定されないソフトウェアとして実装される。さらに、本発明は、コンピュータ若しくはいずれかの命令実行システムによって使用されるか又はこれらと関連して使用されるプログラムコードを提供するコンピュータ使用可能媒体又はコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品の形態を取ることができる。この説明の目的に関して、コンピュータ使用可能媒体又はコンピュータ可読媒体は、命令実行システム、装置若しくはデバイスによって使用されるか又はこれらと関連して使用されるためのプログラムを収容し、格納し、通信し、伝搬し、又は搬送することができるいずれかの装置とすることができる。媒体は、電子、磁気、光学、電磁気、赤外線若しくは半導体のシステム又は装置若しくはデバイス、又は伝搬媒体とすることができる。コンピュータ可読媒体の例としては、半導体又は固体メモリ、磁気テープ、取り外し可能コンピュータディスケット、ランダムアクセスメモリRAM、読み出し専用メモリROM、剛性磁気ディスク及び光ディスクが挙げられる。現在の光ディスクの例として、コンパクトディスク-読み出し専用メモリCD-ROM、コンパクトディスク-読み出し/書き込みCD-R/W及びDVDが挙げられる。プログラムコードを格納し、及び/又は実行するのに適したデータ処理システムは、システムバスを通じてメモリ要素に直接又は間接に結合される少なくとも1つのプロセッサを含む。メモリ要素は、プログラムコードの実際の実行中に用いられるローカルメモリと、大容量記憶デバイスと、実行中に大容量記憶デバイスからコードを取り出さなければならない回数を減らすために少なくとも幾つかのプログラムコードの一時的な記憶場所を提供するキャッシュメモリとを含むことができる。入出力デバイス即ちI/Oデバイスキーボード、ディスプレイ、ポインティングデバイスなどを含むがこれらに限定されないは、システムに、直接的に、又は介在するI/Oコントローラを通じて結合することができる。ネットワークアダプタをシステムに結合して、データ処理システムを、介在する私設ネットワーク又は公衆ネットワークを通じて他のデータ処理システム又は遠隔のプリンタ若しくは記憶装置に結合できるようにすることもできる。モデム、ケーブルモデム及びイーサネットカードは、現在利用可能なネットワークアダプタのタイプのうちのごく一部である。"