"情報に含められたデータ要素の可能な値の範囲に基づく適切な数体系を選択するステップ、数体系における数字として前記データ要素を表すステップ、及び情報を処理するために数体系中で表された前記データ要素を操作するステップ、からなることを特徴とする情報処理のための方法。適切な前記数体系を選択する前記ステップが、情報に含まれたデータ要素の可能な値の数と少なくとも等しい基数を持つ数体系を選択するステップからなることを特徴とする請求項1の方法。情報中の前記データ要素が英数文字を含むことを特徴とし、適切な数体系を選択するステップが前記データ要素のための可能な英数文字の数と少なくとも等しい基数を持つ数体系を選択するステップからなることを特徴とする請求項1の方法。情報が化学の情報を含むことを特徴とし、適切な数体系を選択するステップが情報中の可能な化学の組成の数と少なくとも等しい基数を持つ数体系を選択するステップからなることを特徴とする請求項1の方法。数体系における数字として情報中の前記データ要素を表すステップが、数体系中のそれぞれの数字を前記データ要素として認識可能な値に割り当てるステップからなることを特徴とする請求項2の方法。数体系における数字として情報中の前記データ要素を表すステップが、数体系中のそれぞれの数字を前記データ要素として認識可能な値に割り当てるステップからなることを特徴とする請求項1の方法。適切な数体系を選択する前記ステップが、適合した処理システムのデータ単語に適するデータ要素の数を最大にする前記基数を持つ前記数体系を選択するステップを更に含むことを特徴とする請求項2の方法。適切な数体系を選択する前記ステップが、適合した処理システムのデータ単語に適するデータ要素の数を最大にする前記基数を持つ前記数体系を選択するステップを更に含むことを特徴とする請求項4の方法。生データベース中の非数的データフィールドを数的ベクトルに変換するステップ、前記ベクトルが純化マトリクスに含まれるかどうかを決定するために前記ベクトルを純化マトリクスと比較するステップ、前記ベクトルが前記純化マトリクスに含まれなければ前記ベクトルを前記純化マトリクスに含めるステップ、及び前記純化マトリクスを使用する純化データベースを形成するステップ、からなり、生データベースが大多数の記録を含み、この大多数の記録のそれぞれがデータフィールドを含み、それぞれのデータフィールドがデータ要素を含む、情報を少なくとも一つの生データから純化データベースに変換するための方法。前記ベクトルが生データベース中でその始点を表した状態で情報を保持するステップを更に含むことを特徴とする請求項9の方法。参照データベース中に前記ベクトルを含めるステップ、及び前記参照データベース中の前記ベクトルの適切な位置を認識するステップ、を更に含むことを特徴とする請求項9の方法。前記ベクトルの適切な位置を認識するステップが、前記ベクトルと似た別のベクトルを設けるステップからなることを特徴とする請求項11の方法。前記ベクトルと類似した他のベクトルを設ける前記ステップが前記ベクトルと前記他のベクトルを数値的に比較するステップからなることを特徴とする請求項12の方法。前記参照データベースの第2データベースと類似している前記参照データベースの第1データベースを設けるステップを更に含む請求項11の方法。第1ベクトルを設けるステップが、前記参照デーダベース中の前記第2ベクトルと同一のものと確認できる前記参照データベース中の前記ベクトルを設けるステップからなることを特徴とする請求項14の方法。前記第1ベクトルを設ける前記ステップが、前記参照データベース中の前記第2ベクトルの複製である、前記参照データベース中の前記第1ベクトルを設けるステップからなることを特徴とする請求項15の方法。前記第1ベクトル及び第2ベクトルからの最良情報を含む前記第1ベクトル及び第2ベクトルから純化ベクトルを形成するステップを更に含む請求項14の方法。前記ベクトルと純化したマトリックスを比較する前記ステップが、前記ベクトルが前記純化マトリックスに含まれるかどうかを決定するために前記ベクトルと前記純化マトリックスを比較するステップからなることを特徴とする請求項17の方法。前記参照データベースの全ての他のベクトルと異なる前記参照データベースの第1データベースを設けるステップを更に含む請求項11の方法。前記第1ベクトルから純化ベクトルを形成するステップを更に含む請求項11の方法。純化マトリックスと前記ベクトルを比較する前記ステップが、前記ベクトルが前記の純化マトリックスに含まれるかどうかを決めるために、前記の純化マトリックスと前記ベクトルを比較するステップからなることを特徴とする請求項20の方法。データフィールドを変換する前記ステップが、前記データフィールドでのデータ要素の少なくとも同じ数の可能な値において、基数をもつ適切な数値システムの選択、数値システムで数字として前記データ要素の表示、及び前記ベクトルへの前記数字の記憶、のステップからなることを特徴とする請求項9の方法。特定のオーダーでの第1フィールドベクトルのソート、特定のオーダーでの第2フィールドベクトルのソート、第1フィールドベクトル中の第1インデックスでの第1値と第2フィールドベクトル中の第2インデックスでの第2値の比較、前記第1値が前記第2値と同じでない場合、前記第1値と前記第2値との間の差異に基づく前記第1インデックスと前記第2インデックスの一つの調節、のステップからなる第1フィールドベクトル及び第2フィールドベクトルのデータを整理するための方法。前記第1値が前記第2値と同じ場合に前記第1および第2値が複製のデータとして決定されることを特徴とする請求項23の方法。特定のオーダーにおける第1フィールドベクトルをソートする前記ステップが増加するオーダーにおける第1のフィールドベクトルをソートするステップからなることを特徴とし、特定のオーダーにおける第2フィールドベクトルをソートする前記ステップが増加するオーダーにおける第2のフィールドベクトルをソートするステップからなることを特徴とする請求項23の方法。特定のオーダーにおける第1フィールドベクトルをソートする前記ステップが減少するオーダーにおける第1のフィールドベクトルをソートするステップからなることを特徴とし、特定のオーダーにおける第2フィールドベクトルをソートする前記ステップが減少するオーダーにおける第2のフィールドベクトルをソートするステップからなることを特徴とする請求項23の方法。前記第1インデックスと前記第2インデックスの一つを調節する前記ステップが、前記第1値が前記第2値より小さいときに前記第1インデックスを調節するステップからなることを特徴とする請求項23の方法。前記第1インデックスと前記第2インデックスの一つを調節する前記ステップが、前記第2値が前記第1値より小さいときに前記第2インデックスを調節するステップからなることを特徴とする請求項23の方法。前記第1インデックスと前記第2インデックスの一つを調節する前記ステップが、前記第1値が前記第2値より小さいときの前記第1インデックスの調節、及び前記第2値が前記第1値より小さいときの前記第2インデックスの調節、のステップからなることを特徴とする請求項23の方法。前記第1インデックスと前記第2インデックスの一つを調節する前記ステップが、第1値が第2値より大きいかどうかに基づき前記第1インデックスと前記第2インデックスの一つを増加させるステップからなることを特徴とする請求項23の方法。前記第1インデックスと前記第2インデックスの一つを調節する前記ステップが、第1値が第2値より大きいかどうかに基づき前記第1インデックスと前記第2インデックスの一つを減少させるステップからなることを特徴とする請求項23の方法。前記第1値が数値であることを特徴とし、前記第2値が数値であることを特徴とする請求項23の方法。前記第1値は英数値を表す数値で、そして前記第2値が英数値を表す数値であることを特徴とする請求項32の方法。少なくとも1セットの普通値の中に前記第1フィールドベクトルを分割し;少なくとも1セットの普通値の中に前記第2フィールドベクトルを分割する;ステップをさらに含む請求項23の方法。前記第1インデックスと前記第2インデックスの1つを調節する前記ステップが前記第1フィールドと前記第2フィールドベクトルのそれぞれで次に分割されたセットに前記第1インデックスと前記第2インデックスの1つを調節するステップからなる請求項34の方法。前記第1フィールドベクトルを普通値のセットに分割する;前記第2フィールドベクトルを普通値のセットに分割する;第1フィールドベクトルにおける第1位置の第1値と第2フィールドベクトルにおける第2位置の第2値を比較する;もし前記第1値が前記第2値と等しくないなら、前記第1値と前記第2値の間の相違に基づいて前記第1位置と前記第2位置の内の1つを調節するステップの方法であり、特定のオーダーで、ソートされた第1フィールドベクトル及び第2フィールドベクトルを第1フィールドベクトルと第2フィールドベクトルのデータを整理するための方法。もし前記第1値が前記第2値と等しいなら、前記第1及び第2値が複製データとして決定されることを特徴とする請求項36の方法。前記第1位置と前記第2位置の1つを調節する前記ステップが前記第1フィールドベクトルと前記第2フィールドベクトルのそれぞれの、次に分割されたセットに前記第1位置と前記第2位置の1つを調節するステップからなることを特徴とする請求項36の方法。第1及び第2フィールドベクトルが増加する番号順にソートされ、前記第1位置と前記第2位置の1つを調節する前記ステップが、もし前記第1値が前記第2値より少ないならば、前記第1フィールドベクトルで次の分割をされたセットに前記第1位置を調節し;もし前記第2値が前記第1値より少ないならば、前記第2フィールドベクトルで次の分割をされたセットに前記第2位置を調節する、ことからなる請求項38の方法。第1及び第2フィールドベクトルが、数値が減少する順にソートされ、前記第1位置及び第2位置の内の1つの調節する前記ステップが、もし前記第1値が前記第2値より大きいならば、前記第1フィールドベクトルで次の分割をされたセットに前記第1位置を調節し;もし前記第2値が前記第1値より大きいならば、前記第2フィールドベクトルで次の分割をされたセットに前記第2位置を調節する、ことからなる請求項38の方法。ソートされる値を受け取り;前記値が含まれるベクトルにおける第1位置を決定し;前記位置で前記ベクトルからベクトル値を回収し;前記値と前記ベクトル値の間の相違を決定するために前記ベクトル値をフィードバックし;かつ前記相違の少なくとも一部に基づいた前記ベクトルにおける新しい位置を決定する、ステップからなるデータをソートする方法。新しい位置を決定する前記ステップが、前記ベクトルにおいて、前記第1位置の少なくとも一部に基づいた新しい位置を決定するステップからなる請求項41の方法。請求項1乃至42のいずれかの方法によって実施するために記憶されたプログラムからなる、データを整理するためのコンピュータシステム。請求項1乃至42のいずれかの方法によって実施するためにコード化され整理されたデータのためのコンピュータープログラムを持つ、媒体を読み込むことが可能なコンピューター。一般に、本発明は、ハードウェア又はソフトウェア、あるいは両方の組み合わせの中で実行することができる。好ましくは、本発明は、プロセッサー、データ記憶システム及び入力および出力装置を含むプログラム可能な処理システム上で実行するソフトウェアプログラムとして実施される。システム100のような例は、図1の中に示す。システム100はプロセッサーバス150で互いに連結されたプロセッサー110、メモリ120、記憶装置130およびI/Oコントローラー140を含むことができる。I/Oコントローラー140は、キーボード170、マウス180及びディスプレイ190のような、様々な入力および出力装置にI/Oバス160を介してつながれる。他のコンポーネントもシステム100に含むことができる。図2は、本発明によって処理されたデータの様々な形式を図示する。生データ210は、生データ210A及び生データ210Bのような1つ又はそれ以上のソースから集めることができる。ここにおいて使用するように、生データは、単に特定のソースから受け取るものとしてのデータを参照する。生データ210の追加のソースを明らかなものとして含むことができる。下に説明するように、様々なソースからの生データ210は好ましくは、数値のフォーマットに変換され、参照データベース220に記憶される。ここにおいて、データ透析とされるプロセスを使用するとき、本発明は、参照データベース220中の参照データを形成するために、生データ210を浄化する。参照データベース220は、複製、不完全、一貫しない、及び誤ったデータを含む生データ210で見つかった情報をすべて含む。純化データベース230に記憶された純化データは、参照データベース220の参照データから得られる。純化データは生データ210から利用できる正確なデータを表わす。純化データベース230は、生データ210で見つかった独特の情報を含む。純化データはこのように生データ210から利用可能な最良の情報を表わす。さらに下で説明するように、本発明はさらに新しいデータ240を分析し確認するために純化データベース230の使用を提供し、参照データベース220及び純化データベース230を更新するのにも用いることができる。本発明は多数の実施例を持つが、説明を明らかにするため、好適な実施例を統合した請求処理及びオーダー制御システムの情況において中の図3から図8を参照しつつ説明する。この実施例では、生データ210は、支払い可能なアカウント及び受取り可能なアカウント等のオーダー処理、発送、受取りのような様々なソースから集められたデータの集合である。この生データ210は、関連づけられるが、異なるデータフィールド、複製のデータレコード、1つ又はそれ以上の誤ったデータフィールド等を持ち、それに関係するデータレコードを含むことができる。そのようなエラーに取り組むために、本発明は、生データ210をソースによって異なってもよいデータ構造およびオリジナルのフォーマットから数値のフォーマットに変換し、参照データベース220にこの参照データを記憶する。本発明によれば、その後、利用可能な最良の情報を純化するために参照データを比較し分析する。本発明の一実施例では、この最良の情報を純化データとして純化データベース230に記憶することができる。このプロセスを以下、説明する。生データの収集図3は本発明の一つの実施例による参照データベース220の参照データに変換される生データ210によるプロセスを例示する。ステップ310において、生データ210は生データソースから収集される。図2に例示されるように、生データ210は生データ210Aや生データ210Bのような1又はそれ以上のソースからのデータを含むことができる。ここで使用されるように、データは情報の物理的デジタル表示を示し、データ内容はそのデータによって表わされる意味を示す。生データ210中の異なった記録は、類似したタイプのデータ内容を含むことができる。例えば、請求処理において、生データ210中の異なった記録は特定のアカウントに関するデータ内容を全て含むことができる。生データ210は図4に例示するように、データレコード400の形で一般的に受信されるだろう。各データレコード400は一般に、特定の個人、会社、又はアカウントのための情報のような関連した情報を含む。各データレコード400は1又はそれ以上のデータフィールド410にこの情報を記憶する。例えば、ふさわしいデータフィールド410の例は、アカウント番号、ラストネーム、ファーストネーム、会社名、アカウントバランスなどを含む。その結果、各データフィールド410は特定の記録や特定のフィールドのための情報を表わすための1又はそれ以上のデータ要素420を含むことができる。データ要素420は、明らかなように、英数字、数字、ASCIIやBECDIC、あるいは他の表示のようなさまざまなフォーマットに存在することができる。異なったソースから収集された生データ210は、別々にフォーマットされる。データレコード400は異なったデータフィールド410を含み、データフィールド410に含まれる情報は、明らかなように、異なったフォーマットのデータ要素420を使って表される。生データ210の例は、図5の生データ表510、520及び530に例示される。データフィールド510-Aやデータフィールド510-Bのようなデータフィールドが生データ表510、520や530の列として例示されるのに対して、データレコード510-1やデータレコード510-2のようなデータレコードは、生データ表510、520や530の行として例示される。データフィールドやデータレコードのいずれかを通常の数学的なベクトルあるいはテンソルと見なすことができ、従って処理することができる。図5に例示される表は本発明に係るさまざまな実施例に見られるデータの例である。他の実施例において、データが多くのソースから来るかもしれないし、明らかなように、非常に多くのデータレコード及び/又はデータフィールドを持つデータベースとしてフォーマットされるかもしれない。数値フォーマットへの転換図3を参照して、ステップ320において、本発明はそのオリジナルの表示それは、英数字、数字、ASCII、EBCDICあるいは他の同様のフォーマットであるから数字の表示に生データ210を変換する。これは、参照データが同じ方法で表わされることを確実にする。したがって、異なるソースからのデータを含む参照データは同様に処理される。本発明に従い、生データ210はそのオリジナル表示から適切な数字表示に変換される。適切な数字表示はデータ要素420の各々のふさわしい量が数体系の独特のアラビア数字や値によって表わされる数体系を使用する。言い換えれば、数体系のための基数は、その基数が特定のデータ要素のための可能な値の数と少なくとも同じであるように選ばれる。例えば、核酸のアデニンA、グアニンG、シトシンC及びチミンTヌクレオチド配列を検索するバイオテクノロジーアプリケーションにおいて、各データ要素はただ4つの値の一つ:A、G、C及びTとなる。そのようなアプリケーションにおいて、数体系の4つの基数は独特の数として各データ要素を表わすために十分である。そのような数体系の一つは数A、G、C及びTを含むことができる。本発明にかかるいくつかの実施例において、空のフィールドを表す数を与えるために、データ要素420の少なくとも異なった可能な値の数より大きい1つの基数を使うことが望ましい。この場合、数体系のように数A、G、C、Tと含むことができ、そしてそこでは空のフィールド値である。本発明における好ましい実施例に従い、生データ210中のデータ要素420は英数文字のような文字で構成される。この好ましい実施例において、40の基数が下記の表に例示されるように英数文字を表わすために選択される。36の最小基数が要求されることに注意この基数は、いくつかの付加文字を備えると同様に、10の数文字0~9と26のアルファベット文字A~Zを提供するために選択される。この実施例において、大文字と小文字は互いに区別されない。表1に例示されるように、ベース40数体系は数字0~9、さらにA~Z、さらに4つの追加の数を含む。これらの数の一つは空のフィールドを表すために使用することができる。この数は空であるか、あるいは値を持たないゼロ値と対応するデータフィールド410を表すために使われる。例えば、他の数はスペースとしての情報やコントロール情報として用いられる他のタイプの情報を表すために使われる。ベース40フォーマットにおいて生データ210の表示は、多数の利点を持つ。一つの利点は生データ210が確実的な数学的操作を促進する数方式に表されることである。他の利点は、数体系の基数と数の両方の好ましい選択が、数値フォーマットの表示の生データ210の内容の認識を促進する意味の重要性を継続するための表示内容を許可することである。例えば、4つのアルファベット文字JOHNによって表される単語JOHNはさまざまな数体系において表される。そのような数体系の一つはベース40数体系である。図1を使用して、ベース40数字としての英数文字JOHNを表すことは、4進法値JOHNとなる。そしてそれは小数値1255103ベース40Jが小数19に匹敵する19403244021740123400等と等しい。番号JOHNが内容JOHNとして認識できるようにベース40番号が意味の重要性を持続するのに対して、ベース10番号は生データ210の内容から意味の重要性を失うことに注意を要する。意味の重要性は意味の内容を伝達するための能力を保持する間、数字表示の利点をもたらす。本発明に係るいくつかの実施例において、基数の選択とその類似の数体系はプロセッサー110によって使用されるビット数に依存する。プロセッサー110によって使用されるビット数及び数体系のために選ばれる基数はプロセッサー110のデータ単語によって表わすことができる番号文字を明確にする。この関係は以下の方程式により決定される。N=Bln2/lnRここでNはプロセッサー110のデータ文字によって表される全体の文字の数であり、Bはデータ単語に対するビット数であり、Rは選択された基数である。この関係は1データ文字に適合する生データ210のデータ要素420の数を制限する。例えば、32ビット機においてベース40数体系を使用するデータ文字に適合する文字の最大数は632ln2/ln40=6.013である。ベース41数体系を使用するデータ文字に適合する文字の最大数は5だけ32ln2/ln41=5.973である。それゆえ、本発明のいくつかの実施例において、意味の重要性を維持するために十分に大きい基数を持つことに加えて、基数は単一データ文字によって表示される文字数を最大限に利用するため、及び/又はさまざまなプロセッサーの利点又は特定のデザインに基づく迅速な数学的演算を促進するために選択される。英数文字で構成される生データの実施例において、適切な基数は36から40の範囲をとることができる。この範囲は32ビットデータ文字によって表わされる文字数を最大にする間、意味の重要性を維持する。生データのほかのタイプとデータ単語の別のサイズは本発明のほかの実施例中の他の適切な基数範囲に影響するかもしれない。上述された本発明の実施例は大文字と小文字を区別しない。しかしながら、本発明の別の実施例はこれらの文字のタイプを区別する。従って、ベース64表示0~9、A~Z、a~z、および2つの他の値は明らかなようにこれらの文字の間で識別するのに適している。各データフィールド410でのデータ要素420の数は、さらに、プロセッサー110の中で表わされるような数によって要求された精度を書き取らせる。上述したように、各データフィールド410は単に、32ビット機中の単精度オペレーションのための6文字又はデータ要素420幅となることができる。本発明のいくつかの実施例において、これは不十分かもしれない。これらの実施例では、2倍、3倍、又は4倍の精度が単一の値として全体のデータフィールド410を表すために要求される。2倍精度数は、12文字データフィールド410まで十分であり、3倍の精度数は18文字まで十分であり、そして4倍の精度数は24文字まで十分である。本発明の互いの実施例は、1又はそれ以上のより小さなデータフィールドへ大きなデータフィールドを分けることにより、大きなデータフィールドを収容できる。大きなデータフィールドは、スペースによって定義されたもののような自然的境界で分けられる。例えば、123WestMainStreetのような住所を表わすデータフィールドは4つの小さなデータフィールド、すなわち123WestMain及びStreetに分けられる。大きなデータフィールドはまたデータ単語境界で分けられる。上記の住所例において、より小さなデータフィールドは次のとおりかもしれない:123We、st\Mai、n\Stre、及びet、そしてここで番号\はスペースを表わすために使用される。本発明の他の実施例は明らかなように他の方法において大きなデータフィールドを提供する。データ構成変換図3に例示されるように、ステップ330において、数字として表わされる生データ210はあらかじめ定められたデータ構造に記憶さる。本発明の1つの実施例において、このデータ構造は図6の表610~670によって例示されるような単一フィールドの表である。このデータ構造は変化することができる。例えば、本発明の他の実施例において、データ構造は単一フィールドの表の代わりに複合フィールドの表となることができる。これらの実施例では、データ構造が表ヘッダーや索引のような標準特性を満たし、また下記により詳しく説明されるように、各記録に対する確率値を含むことができる。これらの確率値は、その記録のデータが完全であるという可能性を表わす。より高い確率値は、完成度のより高い可能性を示し、より低い確率値は完成度のより低い可能性を示すことができる。これは、下記により詳細に記述されている。最初に、確率値は0にセットされる。他の実施例は、データレコードの関係のソートおよび維持を援助するためにさらに重要な数字あるいは識別番号を含むことができる。本発明の好ましい実施例において、図5に例示されている生データ210は3つの表510、520および530を含んでいる。表510は、例えば会社の売掛金勘定システムからの生データ210を表わすことができる。表510の列は、アカウント番号、ラストネーム、ファーストイニシャル、及び特定の個人のために処理された様々な注文をリストするための追加のフィールドのためのデータフィールドを表わす。510-1と510-2のような表510の行は、異なる個人のためのデータレコードを表わす。表520と表530は、クレジットカード会社によって維持された生データ210を表わすことができる。表520と表530の列は、アカウント番号、ラストネーム、ファーストネーム及び住所のためのデータフィールドを表わす。表520と表530の行は、特定のアカウントのためのデータレコードを表わす。好ましい実施例において、ステップ330は、生データ210を図5に例示されるフォーマットから図6に例示されるフォーマットに変換する。図6は、ベース40数体系において番号として表わされ、またともに参照データベース220を含む新しい表表610~670としてフォーマットされる図5の様々な生データ表510、520、530から組み合わせられた生データ210を例示する。各参照データベース表610~670は、図5の生データ表510、520及び530からの個々のフィールドに相当する。より明確に、参照データ表610~670のデータレコードは生データ表510のデータレコードに相当し、さらに生データ表520のデータレコードに相当し、さらに生データ表530のデータレコードに相当する。生データ表レコードが参照表610~670の中で表わされた特定のデータフィールド410のための情報を持たない本発明の1つの実施例において、空のフィールド値は参照表のそのフィールドに入力される。例えば、表510の第1データレコード510-1は、住所に関する情報を持たない。したがって、空のフィールド値は表670の第1位置に配置される。データは、生データ表の単一データレコードに対応する全てのデータが、容易に識別されるのと同じ方法で参照データベース220に好ましく記憶される。例えば、図5と図6に表示された実施例において、生データ表表510、520、530の任意の特定のデータレコードに対応するデータは、参照表610~670を超えてインデックスiに記憶された番号のデータのベクトルとして参照表610~670に好ましく表わされる。例えば、51FourthStreetに居住するJenniferBrownに属している、アカウント番号A60として例示される生データ表520の第6のレコード520-6に対応するデータは、表610~670の第10番目のレコード610-10、620-10、630-10、640-10、650-10、660-10および670-10から形成される係数を持つベクトルとして、参照データベース表610~670に表わされる。図6に例示されるように、参照データベース220は、図5に例示される生データ210中の任意のデータフィールド410に相当しない新しい表610を含む。この表はこれらのデータベクトル中の関連データを識別する見出し表である。後述されるように、図6に例示される表で構成される参照データベース220は、データフィールドのための追加の見出し表を含むことができる。これらは個人の識別番号PIDN、アカウント識別番号AIDN、あるいは他のタイプの識別番号を含むことができる。これらの見出し表又は識別番号は参照データベース220の関連データベクトルのセットを識別するために使用される。この例において、見出し表610は個人の識別番号を表わす単一フィールドPIDNを持っている。見出し表610は、特定のPIDN番号が生データ210において表わされた1人以上を決して示さないような独特の確認を与える。言いかえれば、PIDN番号は、生データ210中の多くの倍数レコードが同一人物を示すことができるという事実を反映する。むしろ、見出し表610中の各データレコードは最初に、生データ表510、520及び530に表わされた異なるデータレコードに相当する。例えば、図6において、見出し表610のデータレコード610-10は生データ表520中の単一レコード520-6にともに相当する参照表620~670のデータを対応させるためのポインターやインデックスのような確認を含むように実行される。最初に、単一PIDNが多数の個人を示さないが、単一個人は多数のPIDNに相当することができる。例えば、図6において、PIDN4によって定義されるベクトル4、及びPIDN9によって定義されるベクトル9は、同一人物を示すようだが、例示されるように、この人は2つのPIDN番号、PIDN4とPIDN9を最初に割り当てられる。後述するように、実際に、本発明はPIDN4とPIDN9が同じ個人を示すかどうかの決定を可能にし、そうならば、この個人に単一のPIDNを割り当てる。あるいはまた、いくつかの実施例は、決定した個人に新しいPIDN番号を割り当てることができ、そして、古いPIDN番号への参照は維持することができる。上述したように、この実施例において、レコードは8つの1フィールド表を超えるベース40番号の係数を持つベクトルとして参照データベース表610~670に表示される。この数字表示は、例えば、相互関係を作り出して、固有ベクトルを計算して、さまざまな座標の変換を行い、そしてさまざまなパターン認識分析を利用するために使われる簡単な数学的処理を使ってデータが分析されることを可能にする。これらの処理は、順番に、レコードや互いへのそれらの関係についての情報を提供するか、あるいは導くために使われる。小さい、1フィールド表を使うことによって、これらのオペレーションは速く行われる。加えて、例示されるように、英数文字を含む生データ210を持つベース40番号の表示がその意味の重要性を維持するための生データ210の内容を可能にする。データ解析図2に戻って参照すると、図6の中で示されるように、一旦参照データベース220が作成されれば、データ解析プロセス700は純化データベース230への包含のために最も正確なデータを純化するために適用される。データ解析700は、図7に関して記述されている。参照データの分割ステップ710では、参照データベース220が、いくつかの基準に基づいたセットへむしろ分割されるかソートされる。ソートする基準は変化することができる。例えば、図8の表810の中で示されるように、この実施例では、数値のオーダー生データの内容が参照データベース220の中でベース40番号として表わされることを呼び出すを増加させる際に整えられた値と共に、データレコードはラストネームに基づいたセットへソートすることができる。独特なラストネームによって定義され、そのラストネームと一致する表620のレコードの対応するセットを有する表810の各エントリーと共に、表810は図6で示される表620の参照データベースに由来する。示された表現では、セット索引、ポインターあるいは他の充当された参照のようなこの場合PIDNの部材を確認する者と同様に、表810はセットこの場合ラストネームを定義するために、フィールドを含んでいる。この発明のいくつかの実施例では、参照データベース220中の全てのベクトルがセットに基づくフィールド用データを持つとは限らない。そのようなベクトルは様々な方法で扱うことができる。例えば、そのデータフィールド用のデータを有しない参照データベース220中の全てのベクトルは、単一で付加的なセットの部材と見なすことができる。換わりに、そのデータフィールド用データを有しない参照データベース220中の各ベクトルは、それ自身のセットの単一の部材と見なすことができる。複製データの識別図7に戻って、ステップ720では、分割されたセット内の複製であると識別されたそれらのデータレコードはマークされる。この発明のいくつかの実施例では、複製データは不必要とすることができ、或いは廃棄することができる。他の実施例では、全ての情報は全ての情報として参照データベース220に残り、誤っている,不完全な,或いは複製された情報は、情報が無いよりかはましであり、このような不完全な情報であっても、不正行為や窃盗の識別のようなある目的に役立つことができる。この発明のいくつかの実施例では、一組のベクトルの比較が複製を識別することができる。明白なものとして、様々な操作が使用されても構わない。単純な例では、真直ぐなベクトルの減法は、2つのレコード間の類似点の程度を測定するために実行することができる。共通の名前、愛称、略語などを確認するための検査テーブルを使用するような複製のベクトルを識別するために、他の技術を使用することもできる。図8の表810は、図6で以下のように示された参照データベースの表610~670のエントリー2、4、8、9および11から形成されたベクトルを表わして、PIDN2、4、8、9および11にラストネームSMITHが相当することを示している:PIDN2:[SMITH,J,98-002,A40,A60,]PIDN4:[SMITH,J,98-004,A50,B10,]PIDN8:[SMITH,Jennifer,,A40,,300PineSt.]PIDN9:[SMITH,John,,A50,,37HuntDr.]PIDN11:[SMITH,Jhon,,B10,,85BelmontAve.]ベクトルと、いつ2つのエントリーが複製と見なされるのに十分に類似しているのか決定するための閾値とを比較するベクトルあるいはマトリクス処理は、様々な実施例のために適切であると定義することができる。単純な例において、一組のベクトルの対応する係数間の絶対値の差の合計は、対応する組のレコード間の類似点を示すことができる。第一のベクトルが第二のベクトルの任意のフィールドと一致せず、追加のデータを提供しない場合、この組のベクトルは複製と考えることができる。この実施例では、例えば、異なる長さ例えば、数に対応した右に整列した文字列、および文字に対応した左に整列した文字列のエントリーの比較のために、一般にミススペルや綴りの変化の認識のために、および言葉の転換された文字の認識のために、付則が定義されるであろう。明白ではあるが、この処理は様々なメカニズムによって実行することができる。図8の表810の例では、データレコードのどれも正確な複製ではない。したがって、いずれもステップ720でマークされない。データの関連付け図7に戻り参照すると、ステップ730では、本発明の好適な実施例は、各セット内でかつテップ740内に残るデータレコードを関連付け、さらにデータレコードの独立したサブセットの中へとデータレコード分配する。一般に、2つのベクトル間の相関性は、1つが他方とどれくらい密接に関係があるかの測定であり、関連付けの具体的な方法は意図したアプリケーションに依存して変化することができる。相関性機能の一般的な議論および例は、ウィリアムHプレスWilliamHPressらによるNUMERICALRECIPESINCTHEARTOFSCIENTIFICCOMPUTINGCambridgeUniversityPress2nded1992で見ることができる。他の技術および例は、ドナルドEヌースDonaldEKnuthによるTHEARTOFCOMPUTERPROGRAMMINGAddisonWesleyPub1998で見ることができる。例として、ベクトル間の相関性の単純な測定は、好ましくは、重みを加えることができるそれらのドットプロダクトである。アプリケーションによって、ドットプロダクトは、ベクトル係数のサブセットにのみに関して計算することができ、又は対応する係数だけでなく関連するフィールドで決定された他の計数のペアも比較するために決めることができる。すなわち、第1ベクトルのファーストネーム係数と第2ベクトルのミドルネーム係数との比較。複製データを識別するための作用として、相関性機能は、その意図したアプリケーションのために好ましくあつらえることができる。例えば、相関性機能は、異なる長さの情報入力を好ましく比較し、かつ大きな違いと僅かな違いを好ましく区別することができる。図5、6及び8の表に関して説明した実施例において、相関機能の例は、独立したベクトルのサブセットを識別するために同じラストネームを共有するセットのメンバーに対応するベクトルを比較する。又、この決定は、アプリケーション特定基準に基づくことができる。この例において、独立のベクトルは、異なる個人を表わすベクトルであると定義することができる。相関性機能のアプリケーションの結果として、1ペアのベクトルの独立の度合いを反映する相関パラメーターが割り当てられる。例えば、高い値は高い程度の類似性を示すために割り当てることができ、低い値は類似性の制限のある程度を示すために割り当てることができる。その後、それらのベクトルに対応する2つの記録が独立かどうか決めるために、相関値を予定されたしきい値異なるアプリケーションにおいて異なってもよいと比較する。ステップ740で相関値に基づいて、好適な実施例は、データレコードを各セット内の独立したデータレコードのサブセットに分配する。図5、6の例および図8の表810において、独立したサブセットのメンバーは、スペル間違え及びスペルのバリエーションの考慮の結果として同じラストネーム、スペル間違え、スペルのバリエーション、ニックネーム、ファーストネームとミドルネームの組み合わせ、及びイニシャルの考慮の結果として相対的に似たファーストネームを持ち、1つ又はそれ以上の一致するアカウント番号を持っていること、及び仕事および自宅住所、およびアドレスの1つの変更を考慮に入れ3つを超える住所を持たないこと、を有するメンバーであると識別することができる。かような機能のアプリケーションの結果は、図8の表820に示される。識別された個人は次のとおりであるJenniferBrownジェニファーブラウン、PIDN10、HowardLeeハワードリー、PIDN3および6、CaroleLeeキャロルリー、PIDN7、JenniferSmithジェニファースミス、PIDN2および8、JohnSmithジョンスミス、PIDN4および11、JohnSmithジョンスミス、PIDN9、AnnZaneアンゼーン、PIDN1、5および12、及びMollyZaneモリーゼーン、PIDN13。ベクトルを関連付けるための他の作用も利用可能である。これらには、ドットプロダクト、クロスプロダクト、長さ、方向ベクトル、及び大量の他の機能およびよく知られた技術に従った評価のために使用されるアルゴリズムを計算することを含んでもよい。図9は、本発明のいくつかの一般的な様相について記述するために概念的に使用されるクラスターに関する概念の二次元の例を示す。図9では、4個のクラスターが二次元のポイントの集合として存在する。これらのクラスターは、a、b、c、de、f、そしてg、hとして識別される。図示するように、各クラスターは、二次元空間の1つ又はそれ以上のポイントから形成される。各ポイントは、その空間でクラスターの真の値を多かれ少なかれ正確に表わすデータレコードに相当する。図示するように、クラスターa、b及びc、dを、お互い及びクラスターe、fから区別することはかなり容易である。しかし、この単純な例において、クラスターe、f及びg、hをお互いに区別することは容易ではない。空間の拡張すなわち、ベクトルへの追加のデータフィールドの追加は、e、f及びg、hなどのクラスター間の分離を増加させるこができ、それらは、互いにより容易に区別されるようになる。代わりに、空間の拡張は、g、hがクラスターe、f又はクラスターc、dに属するポイントであること示すことができる。理論上、空間は無限に拡張し、結果として様々な有名な特性を持つヒルベルト空間となる。これらの特性は、無限ではないが大きなベクトルのために本発明によって利用することができることは明らかである。さらにベクトルに対する追加のデータフィールドの追加すなわち、空間を拡張することは、それらの相互関係における支援のためにお互いからクラスターを分離することができ、ベクトルからのデータフィールドの削除すなわち、空間を縮小することは、いくつかの相関性を識別することもできる。本発明のいくつかの実施例では、空間の縮小が、実際上、同じ個人または他の特異な実体を表わす一定のクラスターを識別することができる。例えば、データベース中の1つの記録は、データベース中の第2の記録での同じ10個のデータフィールドと全く同一の10個のデータフィールドを持つことができる。これらのデータフィールドは、ファーストネーム、生年月日、住所、母親の旧姓などに対応する。しかしながら、これらの2つの記録は、異なる2つのフィールドを持つことができる。これらの2つのフィールドは、ラストネーム及び社会保障番号に対応することができる。ある場合には、これらの記録は、同じ個人に対応することができる。本発明は、不可能でないにしても従来方式の使用によっては検知すること困難であろうこれらのタイプの記録を識別する過程を単純化する。したがって、ベクトルから1つ又はそれ以上の特定のデータフィールドの除去および対応する空間の縮小は、そうでなければあきらかにされないであろうクラスターを明らかにすることができる。伝統的に識別目的例えばラストネーム、社会保障番号などのために使用されるデータフィールドのためにこれを行うことは、データベース中の複製の記録を明らかにすることができる。これは、特に不正を識別するのに有用である。データフィールドのための空のフィールド値を含むベクトルのところでのデータフィールドの除去は、さらにそうでなければ明らかにされないクラスターを明らかにすることができる。さらに、一旦クラスターが同じ個人または実体を表わすものとして識別したならば、個人か実体のための最良の情報を、各記録又は黒いドットによって提供される情報から抽出することができる。本発明の法則は単純なベクトル及びデータフィールドを越えて拡張することができる。例えば、本発明は、多次元空間での目的物を表わすテンソルの使用を通じて拡張することができる。この方法では、本発明をそれらの作用および効力への追加的洞察力を得るために様々な物理的な現象のパラメーターを表わすために使用してもよい。そのようなアプリケーションは、人間の遺伝子を判読すること、及びヒトゲノム計画のようなプログラムの努力での補助に、特に有用である。標準データの取り扱い再び図7を参照すれば、ステップ750において、本発明の好適な実施例は標準データレコードを評価する。標準データレコードは、ステップ710でいずれのセット内にも分配されなかった参照データベース220からの記録である。いくつかの実施例において、参照データベース220は、データフィールドに対応する多くの表およびフィールドの様々な組み合わせのためのデータを持つ多くのベクトルを含んでもよい。例えば、異なるデータフィールドのための20の表および各表のための関連するデータレコードによって明確にされた1000のベクトルを含む参照データベース220をもつ実施例において、その1000のベクトルのうちの800だけが、セットがステップ710で作成されたラストネームのフィールドのためのデータを持つと仮定する。ステップ710は、いずれかのセット内へラストネームデータのない200のベクトルを分配することができないし、或いは、それ自体のセットへの200のベクトルの各々を分配もしない。いずれの場合も、結果として、これら200のベクトルがステップ720、730及び740における他のものとは関連しないということである。ステップ750は、これらのベクトルを評価することができる。評価の方法は変更することができる。例えば、一実施例では、各々の放置されたエントリーをステップ740で識別された各サブセットの1人のメンバーと関連させることができる。生じた相関値により、そのベクトルは、それが最も高度に関連付けられているものを持つサブセットに追加されるか又は新しいサブセットを作る。或いは、ある実施例において、そのような評価が時間を消費しすぎ及び/又は高価であることを決めることができ、ステップ750は完全に省略することができる。相関性プロセスの繰り返し特定の実施例に必要なように、ステップ710から750を繰り返すことができる。上で触れたように、いくつかの実施例は、フィールドのサブセットだけのためのデータをもつ多くのエントリーと共に、多数のフィールド及び多数のエントリーを持つ参照データ220を有する。そのような場合において、一つのフィールド上のステップ710から750の実行は、恐らくすべて関連情報を引き出さない。図5、6及び8に関して説明された単純な例においても、単一のフィールドラストネームの関連付けは、それらのエントリー間の相関性に関する部分的な情報のみを提供する。例えば、PIDN2と10は共通のアカウント番号を共有するかもしれないから、図6の中のPIDN2及び8に対応するジェニファースミスは、PIDN10に対応するジェニファーブラウンと同じ個人であるかもしれない。ラストネームフィールド上での相関付けの実行は、同じラストネームを共有する他のPIDNに対してのみ評価されることから、同じ個人に対応するこれらPIDNを識別することができない。アカウント番号フィールド上での相関付けの実行は、これらのPIDNが関連付けられるかどうかに関する追加情報を提供することができる。従って、様々なデータフィールドわたる相関性は、参照データベース220中でのデータの関連性の程度を完全に評価するのに必要であろう。参照データを更新するための相関結果の使用一旦ステップ710から760が完了すれば、図2で示されるように、参照データベース220は純化データベース230内に純化される。本発明のいくつかの実施例において、これらの2つのデータベースは別々に扱われ、互いに共存する。本発明の他の実施例において、単一のデータベースは、参照データベース220又は純化データベース230に属するものとしてマーク又は識別された記録と共に存在する。これは、2つのデータベース中での記録のためにPIDNの異なる範囲を使用することによる割り当てによりなすことができる。さらに、2つのデータベース中の記録間の関係は、純化データベース230中の記録のためのPIDNを発生するため、参照データベース220中の記録のためのPIDNに一定値を加えることにより維持することができる。例えば、参照データベース220中の12345のPIDNを持つ記録は、純化データベース230内に9012345のPIDNを持つことができる。この方法では、2つのデータベースを単一のデータベースの別個の部分として扱うことができる。純化データの使用一旦データ透析プロセス700が完了すれば、純化データベース230は、関連する記録として参照データベース220からのデータレコードのサブセットを識別し、また、上に触れるように、完成度の質的測定を提供するために、参照データベース220中のフィールドのための確率を決定することができる。これは、完成度の確率を個々のデータフィールドに割り当て、その後にデータレコードのための完成度の全体的な確率を計算するためのそれらフィールドを使用することによりなすことができる。例えば、ファーストネームを表すデータフィールドについては、Jの値は低い確率例えば0又は01に割り当てられ、JOHNの値はより高い確率例えば07又は08に割り当てられ、そして、JONATHANの値には最も高い確率例えば09または10を割り当てることができる。これらの値はある程度任意に又は構成のある仮説に従って割り当てることができる。しかしながら、これらの値は、最も完全な情報、言いかえれば、最も蓋然的なデータを含めるためにセット中のどのデータフィールドが最もありそうかを識別することを助ける。本発明の使用は、記録についての膨大量の情報およびお互いのそれらの関係を決定することができ、特に特別のアプリケーションにあつらえることができる。さらに、標準のデータベース操作を使用して、参照データベース220の記録を参照する純化データベース230を、必要とされるフォーマットされたレポートを提供するのに操作することができる。例えば、実施例は、特定の個人か実体に関する情報を提供するサブセットの記録によって、関連する記録のサブセットをリストするレポートを作るために、あつられることができる。そのようなサブセット内の記録は、情報の異なるフィールドに関する例として、個人によって使用される別名及び/又は名前、アドレス、社会保障番号など、及び1つを越えるエントリーを持つ個人のための居所、住所およびアカウント番号のようなフィールドなどの、情報を提供することができる。数的なベース40フォーマット内で表わされるすべてのデータを再考すると、サブセットはレポートの中で数的に命じることができる。ベース40フォーマットには、上の換算表の中で図示するようにそれぞれの文字としてのアルファベットの文字を表わすという追加的な長所がある。したがって、レポートが数的な表現でエントリーを示す一方で、その表現はデータの意味的な重要性を保持し、データをマニュアルで読むこと及び分析することを可能にする。例えば、レポートがJSMITH、JOHNSMITH、JOHNGSMITH、GSMITHおよびGERALDSMITHを含む名前のエントリーを持つ個人のための記録を示す場合、そのレポートを読むある人は、この個人が彼のファーストネーム又は頭文字、彼のミドルネーム又は頭文字、又はそれらの組み合わせを含む様々なファーストネームを使用していると、理解するであろう。新しいデータの追加従来のデータベースアプリケーションでのように、新しいデータを時々加えられることができる。図2の中で示すように、本発明は、参照データベース220及び純化データベース230に影響するであろう新しい又は変更したデータ240の追加を説明する。一般に、図3に関して記述したように、新しいデータレコード240をフォーマットすることができるし、既存の参照データベース220に入ることもできる。それに加えて、新しい情報または内容が新しいデータにおいて利用可能かどうか決めるために、純化データベース230に対して、新しいデータレコード240が測定される。例えば、純化データベース230の中に既に存在するいずれかのデータレコードに関係があるかどうか決めるために、新しいデータレコード240を純化データベース230からのデータレコードと関連付けることができる。もしそうであり、かつ新しいデータレコード240が純化データベース230の中に未だ存在しない情報または内容を含むなら、新しいデータレコード240が純化データベース230を更新するために使用することができる。例えば、新しいデータレコード240がデータベース230の中に既にあるデータレコードに対応するジョンスミスという名の個人の情報を含んでいるが、スミス氏のミドルネームがグレッグであるという追加情報を提供した場合、その追加情報は純化データベース230に好ましく加えることができる。参照データベース220及び純化データベース230中のデータレコードへの変更は、標準のデータベース保護作用を使用して、CJDATE、INTRODUCTIONTODATABASESYSTEMSAddisonWesley6thed1994特にPartIV参照等に記述されるように扱うことができる。例えば、許可されたデータベースの管理者によって参照データベース220に変更が加えられる場合、参照データベース220の関連したデータレコードは、データベース230の中で明確にされた関係に合わせて標準の関係定義によって決定されるように及び適切なところで、更新される。フィールドベクトルの間の複製データを確認する従来のデータベースと関連していた1つの問題は、生データ210Aのような第1データベースを、生データ210Bのような第2データベースと記録を結合することの困難さである。その中に含まれている内容が参照データベース220あるいは純化データベース230のようなデータベースで1つの記録として結合するように共有あるいは重複データを持つこれらデータベースの記録は認識される必要がある。例えば、両方のデータベース210は、ジョンスミスJOHNSMITHのために1つもしくはそれ以上のエントリーを含むこともできる。もしデータベース210におけるそれぞれの記録が同じ個々のジョンスミスを表すならば、各々の記録の内容は、例えば、純化データベース230における1つの記録として結合されるべきである。これらのデータベースにおいてそのような複製データを認識するための従来のブルートフォース方法は、第1データベースからのデータ記録と第2データベースにおける全てのデータレコードの比較を含み、第1データベースにおいて各記録のためのこの工程を繰り返す。この工程は時間を消費し、数多くの計算を行い、労働集約的であり、従ってコストがかかる。実際、計算の数は、2つのデータベースの各々における記録の数に幾何学的に関係する。データベース210における複製データを確認するために必要とされる計算の時間及び数を減少させるための1つの工程は、図10から図12を参照して以下に示される。以下に示された工程において、例えば、名前フィールド又は住所フィールドのように、データベースの間で共通もしくは類似した特定のフィールドは、選択される。このフィールドは、テーブル又は各々の記録のために選択されたフィールドの値を含む各々のデータベースのための配列として配列される。例えば、上記されたように、各テーブル610-670は、データベースにおける各々のデータレコードの特定のフィールドを表す。この検討の目的のため、これらのテーブルはフィールドベクトルとして参照される。本発明によれば、各々のフィールドベクトルは、番号順にソートされ、そして、もし必要ならば、上記されたように図7及び図8で同じデータのセットに分割される。例えば、JOHNSMITHジョンスミスと関連する多重の記録は、フィールドベクトルの中で共に分割されるだろう。好ましくは、セット間の分割の配置に関する情報は、格納される。いったん、フィールドベクトルが分類されて、分割されれば、第1フィールドベクトルの第1要素の価値は、第2フィールドベクトルの第1要素の値と比較される。本質的に、第1フィールドベクトルにおける値が第2フィールドベクトルにおける値より大きいならば、第2フィールドベクトルへのインデックスは上回り、もしそうでなければ、第2フィールドで次の値をもたらすために次に分割されたセットの中の位置へ調節される。第2フィールドベクトルにおけるこの次の値は、第1フィールドベクトルにおける値と比較される。これは、第1フィールドベクトルにおける値が第2フィールドベクトルにおける値より大きい限り続く。一方、第1フィールドベクトルの値が第2フィールドベクトルの値より少ないならば、第1フィールドベクトルへのインデックスは上回り、もしそうでなければ、第1フィールドで次の値を得るために次に分割されたセットの中の位置へ調節される。この第1フィールドベクトルにおける次の値は、第2フィールドベクトルにおける値と比較される。これは、第1フィールドベクトルにおける値が第2フィールドベクトルにおける値より小さい限り続く。第1フィールドベクトルの値が第2フィールドベクトルの値と同じであるとき、工程は、好ましくは共通のフィールドベクトルに格納される複製データを認識する。認識された複製データを格納した後で、第1フィールドベクトルへのインデックス及び第2フィールドベクトルへのインデックスは両方共上回り、もしそうでなけなければ、それぞれのフィールドベクトルの次に分割されたセットの中の位置に調節される。このように示された工程は、フィールドベクトルにおける値の間の差異に基づく配列のどちらにでも、インデックスを調整するフィードバック制御機構として見ることができる。上記された実施例において、正の差異は、第2フィールドベクトルのインデックスに調整を提供し、一方、負の差異は、第1フィールドベクトルのインデックスに調整を提供する。この工程は、フィールドベクトルにおける値の数と従来の方法と関連していた幾何学の関係と対照して必要とされる計算すなわち、比較の数の直線の関係を生じる。本発明は、ソート構造にまで拡大することもできる。特定の値が、ベクトル例えば、アルファベット順、数量的等における値の命令に基づくフィールドベクトルすなわち、記録はデータベースに挿入されなければならないに挿入されなければならない場合、特定の値及びベクトルにおける要素のうちの1つの値の差異は計算される。この差異は、ベクトルから次の値を生み出すために、インデックスをベクトルに調整するための、フィードバックである。コントロール理論の確立した方法を使って、インデックス調整は、挿入されるための値の適切な位置を測定するために、統合することもできる。インテグレータに加え、釣り合った増加は明らかに、所望のシステムの実行を確立をするための差異に適用することもできる。本発明は、図10-12を参照して記述される。図10は1対のフィールドベクトル内の重複データを認識するためのフローチャートである。フィールドベクトルは例えば、1つのデータベースで住所フィールドをメーリングアドレスと比較するとき生データ210Aのような単一ソース、あるいは例えば、2つのデータベースの間で名前フィールドを比較するとき生データ210Aと生データ210Bのような多数のソースからであることもできる。この記述の目的のために、各々、1対のフィールドベクトルは、第1フィールドベクトルFV1、及び、第2フィールドベクトルFV2とされる。好ましくは、これらのフィールドベクトルにおけるデータは、上記されたように、英数字両用のデータを表すベース―40数である。しかしながら、本発明のいくつかの実施例において、データは同様に他のフォームにも存在することができる。ステップ1010で、第1フィールドベクトルは、番号順にソートされる。ステップ1020で、第2フィールドベクトルは、同じく番号順にソートされる。本発明の実施例の1つにおいて、ベクトルは、番号順の指令が増加する際ソートされるが、本発明の他の実施例は、明らかとなっているように指令が減少する際ベクトルをソートすることもできる。ステップ1030で、普通値を持っている第1フィールドベクトルの中の分割されたセットが認識される。同じく、ステップ1040で、普通値を持っている第2フィールドベクトルの中の分割されたセットが同じく認識される。ステップ1010-1040が図7及び図8の参照で上記された参照データベース220の分割のステップと類似した機能を実行する。本発明のいくつかの実施例において、フィールドベクトルは分割されたセットを含まないことができるように、それぞれのフィールドベクトル内の普通値を削除することもできる。しかしながら、本発明の好ましい実施例において、特定のフィールドベクトルの中の普通値は維持される。ステップ1050で、第1及び第2フィールドベクトルの間で普通値を認識する普通値のベクトルは、好ましくはソートされたセットを用いて決定される。ステップ1050は図11を参照してより詳細に記述される。図11は1組のフィールドベクトルの間で普通値を確認するためのフローチャートである。ステップ1110において、3つのベクトルインデックスが初期化される。最初のベクトルインデックスIが第1フィールドベクトルFV1へのインデックスであり、2番目のベクトルインデックスJが第2フィールドベクトルFV2へのインデックスであり、そして3番目のベクトルインデックスKが普通値のベクトルCVへのインデックスである。上記されたように、普通値のベクトルは、第1及び第2フィールドベクトルの両方によって共有された値を含む。第1位置を第1及び第2フィールドベクトルの各々に設置するため、インデックスI及びJは初期化される。インデックスKは次の普通値が普通値ベクトルに含められるための位置を定めるために初期化される。決定ステップ1120で、本発明は第1フィールドベクトルのI番目の位置での値が第2フィールドベクトルのJ番目の位置の値もしくはそれ以上であるかどうか決定する。もしそうであるなら、処理が決定ステップ1130において継続する、もしそうでなければ処理はステップ1170において継続する。ステップ1170は、第1フィールドベクトルのI番目の位置での値が第2フィールドベクトルのJ番目の位置の値以下のとき、効果的に実行される。ステップ1170において、第1インデックスIは次に分割されたセットの始まりの位置を第1フィールドベクトルに設置するために調節される。ステップ1170の後で、処理は決定ステップ1160において続く。決定ステップ1130において、本発明は第1フィールドベクトルのI番目の位置における値が第2フィールドベクトルのJ番目の位置の値と等しいかどうかを決定する。もしそうであるなら、処理が決定ステップ1140において継続し、さもなければ処理がステップ1180において継続する。ステップ1180は、第1フィールドベクトルのI番目の位置での値が第2フィールドベクトルのJ番目の位置の値より大きいとき、効果的に実行される。ステップ1180で、第2インデックスJは第2フィールドベクトルで次の分割をされたセットの始まりの位置を定めるように調整される。ステップ1180の後、処理は決定ステップ1160において継続する。ステップ1140は、第1フィールドベクトルのI番目の位置での値が第2フィールドベクトルのJ番目の位置の値と等しいとき、効果的に実行される。ステップ1140で、第1及び第2の両方のフィールドベクトルに含められた値は普通の値のベクトルに置かれる。ステップ1150で、3番目のインデックスKは認識される次の普通値の普通値ベクトルにおける配置ために増加する。最初のインデックスIは第1フィールドベクトルで次の分割をされたセットの始まりの位置を定めるために調整される。2番目のインデックスJは第2フィールドベクトルで次の分割をされたセットの始まりの位置を定めるように調整される。決定ステップ1160で、本発明は追加の分割をされたセットが第1フィールドベクトルと第2フィールドベクトルの両方で存在するかどうかを決定する。もしそうであるなら、処理はステップ1120において継続する。もし分割されたセットが第1フィールドベクトルあるいは第2フィールドベクトルで残らないなら、処理は終わる。処理が終わるとき、普通値のベクトルは第1及び第2フィールドベクトルの間で認識したすべての複製データを含む。図12は本発明に基づいたフィールドベクトルの間で複製データを確認する例を示す。ステップ1010及び1030は、フィールドベクトル1FV1をソートし、分割し、ステップ1020及び1040は、フィールドベクトル2FV2をソートして、分割する。ステップ1050の操作は、ステップ1120からステップ1160を通し、そしてステップ1120に戻る通過はループとされるステップ1110-1180を参照して示される。最初のループで、FV1の第1要素すなわち、0番目の位置はFV2の第1要素と比較される。これはFV1とFV2の間の両方の端及び注釈された1で矢印で示される線として図12に示される。この例において、FV1の値8は、FV2の値8と比較される。決定ステップ1120と1130がこれらの値が等しい、そして、ステップ1140で、値8が普通値ベクトルに置かれることを決定する。これは両方の端及び注釈1’で矢印を持ち、FV2と普通値ベクトルの間の線として図12で示される。ステップ1150は、次に分割されたセットを指し示すために、両方のフィールドベクトルのインデックスを調整する。決定ステップ1160は、更に分割されたセットが双方のフィールドベクトルに存在すること及び第2のループの開始を決定する。第2ループで、FV1の次の要素はFV2の次の要素と比較される。この例において、FV1の値9はFV2の値9と比較される。これらの値は等しくなるように再び決定され、値9は普通値ベクトルに置かれる。前と同様に、ステップ1150は、それぞれのフィールドベクトルにおける次に分割されたセットを指し示すために、両方のインデックスを調整する。決定ステップ1160は、更に分割されたセットが両方のフィールドベクトルに存在すること及び第3ループを開始することを決定する。第3ループで、FV1の次の要素はFV2の次の要素と比較される。この例において、FV1の値10は、FV2の値12と比較される。決定ステップ1120は、FV1における値がFV2における値より大きくなく又は等しくないことを決定し、そしてステップ1170において、その中で次に分割されたセットを指し示すためにFV1へのインデックスが調整される。決定ステップ1160は、更に分割されたセットが両方のフィールドベクトルに存在し、そして、第4のループが開始されることを決定する。第4のループにおいて、FV1の次の要素は、FV2の前の値と比較される。この例において、FV1の値12は、FV2の12の以前に比較された値と比較される。決定ステップ1120及び1130は、それらの値が等しいことを決定し、そしてステップ1140において、値12は、普通値ベクトルに配置される。ステップ1150は、それぞれのフィールドベクトルにおける次に分割されたセットを指し示すために、両方のインデックスを調整する。決定ステップ1160は、更に分割されたセットが両方のフィールドベクトルに存在すること及び第5ループを開始することを決定する。第5ループにおいて、FV1の次の要素はFV2の次の値と比較される。この例において、FV1の値15は、FV2の値18と比較される。決定ステップ1120は、FV1における値がFV2における値より大きくなく又は等しくないことを決定し、そしてステップ1170において、その中で次に分割されたセットを指し示すためにFV1へのインデックスが調整される。分割されたセットがFV1に存在しないので、処理は終わる。この例において、ループ毎に最大2つの比較を行う5つのループは2つのフィールドベクトルの間で3つの普通の値を認識することを必要とする。ブルートフォース方法で、132の比較1211が必要とされる。情報を前もってコード化する本発明の様々な実施例において、同時にそれを用いて、そのオリジナルのフォーマットから数値フォーマットへデータを変換している若干の実施例より前、あるいは実施例で、データは媒介でコードされたフォーマットの中に前もってコード化される。この前もったコード化は、更にオリジナルのフォーマットにおいてコード化されたフォーマットに情報を縮小、もしくは圧縮する。いったんコード化されたフォーマットに移ると、上記されたように、データは適切な数値のフォーマットで表すことができる。本発明のこれらの実施例は、例を通して最もよく示される。本発明の1つの実施例において、音素がコード化されたフォーマットとして、そのオリジナルのフォーマットでデータを表すために使われる。この実施例において、音素を単語、単語例えば、音節、あるいは単語の句の部分をコード化するために用いることもできる。それゆえに、同じ、もしくは、同様の音を出す単語、または、音節は、同じ音素を用いて表される。例えば、名前Johnジョン、または、Jonジョンは、同じ音素を用いて表される。いくつかの実施例においては、名前Joanジョーンは、名前Johnジョン、及び、Jonジョンのために使われるそれらと同じ音素を用いて同様に表されるかもしれない。本発明によれば、各音素を一部利用した音素に基づいた適切な数体系で数字として続いて表明される。例えば、特定の言語が、音、または、音素として有限数に分析され、そして、適切な数体系の中の数字として表すこともできる。この方法において、テキストは例えば、検索エンジンの使用において、特定のつづりよりも、音声学に基づいてコード化することによってつづりのエラーの影響を最小にすることもできる。本発明のこれらの実施例はスピーチ、音声認識と人工的なスピーチ表現装置に展開することもできる。適切な数体系として上記されるように、特に、聴覚のスピーチ音素対応するテキスト音素と対照した場合が同様に表され、上記されるように、音声認識とスピーチ表現を単純化するために用いることもできる。本発明の他の実施例において、単語、句、慣用句、文及び/又はアイデアが前もってコード化されて、そして次に、上記された適切な数体系で数として表されることもできる。これら実施例は、例えば、自動化された言語翻訳システムを改善するために用いることもできる。これら実施例は同じく検索エンジンを改善するために用いることもできる。1つあるいはそれ以上のアイデアあるいはコンセプトに関係するテキストの大きい部分がアイデアあるいは伝えられたコンセプトのそれぞれに基づいて前もってコード化されるかもしれない。これら実施例は同じぐらいそうしてもよいか、あるいは節で現われない特定の単語あるいは句を認識及び/又は反対に見つけることに概念的な探索することを供給する。本発明の他の実施例において、生のアドレス情報が例えば、ベース60システムのように、経度と緯度、適切な数体系として座標の中に前もってコード化される。そのようなシステムは、オペレーション、ナビゲーションシステム、または、トラッキングシステムを作るのに特に有益であるかもしれない。本発明の他の実施例において、生の指紋データは、様々なパラメータ、登録ポイント又は適切なナンバーシステムにおける一致する数字として続いて表明される指紋を分類することに適した、証印を認識する他の方法で前もってコード化される。各指紋は、フィールドにおける値によってこのように表すこともでき又は各指紋は、フィールドのベクトルとして表すこともできる。この結果として生じるデータは整理され、そして様々な目的のために個人から集められた指紋に基づいてこのような情報のデータベースで維持することもできるすなわち、犯罪者と非犯罪者の両方。これらには、法廷の科学者、保安要員、バックグラウンド調査者等によって集められた指紋を含むこともできる。本発明は、理想的に既存の指紋データベースをクリーニングして、参照データベースの中にそれらのデータベースを結合して、利用可能になるように、新しい指紋情報を加えて、そして参照データベースで指紋情報を合わせることに適している。多くの場合、基礎をなしているオリジナルのデータを前もってコード化する実施例を使用することで中間のフォーマットの中で前もって処理されなくてはならない、ということは理解されるべきである。このように、本発明が検索文脈で用いられるために、検索される情報は前もってコード化されるか、あるいは前もって処理されなくてはならない。ある場合には、本発明の他の実施例に関して上記されるように、この前もっての処理は意味の重要性の損失をもたらすかもしれない。典型的な実施例本発明の様々な実施例は、その若干が上記され、及び/又は言及された多くの異なったアプリケーションのために用いることができる。例えば、上記されたアプリケーションで、本発明は関連したデータ記録が認識され、そして重複、誤ったデータ記録が削除される純化されたデータベースを得るために多数のソースから集められた序列情報を結合するために用いることもできる。示唆されるように、これは例えば、詐欺のようなケースで特に有用であるかもしれない。通常、クレジットカードあるいは小売り詐欺の他のフォームを使っている人々は個人的な情報のある特定の部分をわずかに変更し、ほとんどの情報を変えないようにしておく。例えば、しばしば、社会保障番号の数字が置き換えられるかもしれない、あるいは別名が使われるかもしれない。しかしながら、しばしば個人の住所、生年月日、母親の旧性等のような他の住所が、認識に用いられる。これらのタイプの詐欺は、たとえ、それらが人間の分析によって確認しにくいとしても、本発明によって容易に確認される。他の可能な適用は、電話で販売することにおいては目標を定められた個人のリストあるいはアドレスを編集するため、メールオーダーカタログにおいては、同じ個人、または、家族に送られたカタログを減らすため、類似のデータベースを売っている種々のベンダーから記録を結合するために用いることを含む。まだ可能性のある適用が医学の研究あるいは診断フィールドにあり、ヌクレオチドでアデニンA、グアニンG、サイトシンC、そしてチミンTの配列が核酸で認識されるかもしれない。別の適用は、国税庁、政府そして地方自治体などのような課税のための組織が正確な徴収と税金の基礎情報を組織化して、そして維持するために用いる。他の実施例において、本発明は、後日データベースで完全性を達成するよりむしろ、最初から、データベースの完全性を持続するために発端においてゲートキーパーとして特定のデータベースのために用いることもできる。これらの実施例において、生データ210は存在せず、新しいデータ240のみが、存在する。新しいデータ240がデータベースに加えられる前に、新しいデータ240が追加の情報あるいは内容を含むかどうかを決定することが、純化されたデータベース230に対して測定される。もしそうであるなら、明白であるであるように、ただその新しい情報あるいは内容だけが新しい情報あるいは内容を反映するためにアップデートされたデータベース230で既存の記録を更新することによって、アップデートされたデータベース230に加えられる。本発明の他の実施例において、ユナイテッドポスタルサービスのような郵送サービス又は、エアボーンエクスプレス、フェデラルエクスプレス、ユナイテッドパーセルサービス等のような宅配便において有効な住所のリストを維持するために本発明を使う。配達される荷物に関する住所がどのような誤りでも認識するために住所の参照データベースと照合される。不正確なアドレスは例えば、変更された番号などのために訂正されるかもしれないし、あるいは送り主は住所を確かめるために連絡を取られるかもしれない。例えば、荷物が首尾よく届けられるので、利用可能な状態になるにつれ、参照データベースに新しい住所を加えることができる。更に、ある特定の送り主が荷物の届け先を書き間違えするか、あるいは正しくないアドレスを提供する傾向があると判断することもできる。もし適切であるなら、これらの送り主にそれに応じて通知することもできる。上記されたように、DNAの配列の断片に合うように本発明を用いることに加えて、遺伝子の研究者例えば、薬品会社、種の会社、動物の飼育家などが同じく本発明をセットで個人の特徴を明白に、触知可能な、及び/又は目的を表すため、この情報を個別の遺伝子あるいはこれらの特徴に関して原因となる遺伝子の連続配列を認識するために用いることもできる。他の実施例において、本発明は、インターネットのようなネットワークに関する信号パケット切り替え、及び、データの発送ために用いられる。入って来るパケットは、宛先アドレス及び連続した情報のために調査され、そして、適切な命令における適切な出力待ち行列に分類される。この実施例において、数をソートする本発明の能力は、従来のシステムに対する明白な利点を提供する。これは、代わりの数体系現在使われる従来の数システムに対照してを使う結果拡張されたアドレス空間と結合し、ネットワークアドレス指定、及び、通信プロトコルの改良された方法を供給する他の実施例において、本発明は、3次元の環境で対象物をレンダリングし、表すために使われる。これらの活動は対象物のそれぞれに、照明の特徴を決定するすなわち陰影等こと同様、前景でどの対象物を示すべきか、どの対処物が背景で相応して不明瞭にされるかを決定するためにソートの膨大な量を必要とする。本発明は好ましい実施例において示されたが、他の実施例及びバリエーションは、以下の請求項の範囲内にある。例えば、フォーマット化工程300が、異なった基数を用いるデータあるいは他の文字セットをフォーマットすることもでき、そして種々のデータ構造を使うこともできる。データ構造は多数のフィールドを表すこともでき、そしてアプリケーションによって、様々なフィールドを表すこともできる。例えば、預金への適用で、フィールドが口座の使用者についての個人的な情報の他に口座の地位、口座番号と法律上の地位を含むこともできる。医療診断への適用において、フィールドは、組織サンプルにおいて検出された様々な対立遺伝子、または、他の遺伝子の特性を含むこともできる。"