(57)【要約】  データセットをフィンガープリントするために、又はデータセットを、データセットにおいて見出されるデータから構成された可能性がある「ワイルド・ファイル」と比較するために、主成分分析がデータセットに適用される。主成分分析 により、比較に使用されるデータのデータセットを、倹約的な圧縮されたシグネチャに低減することが可能になる。変数間に異なるパターンを有するデータセットは、異なるパターンの主成分を有することになる。ワイルド・ファイルにおける変数（又はその関連サブセット）の主成分を計算し、スコアを提供するために、データ・プロバイダの参照ファイルにおける同一の変数の主成分と統計的に比較することができる。これは、識別、及び他のファイルからの同様に定義されたパターンとの比較に使用することができる、ファイルの固有の及び圧縮されたシグネチャを構成する。
2020502695.tif 000002
【特許請求の範囲】
【請求項１】
ワイルド・ファイルがデータ所有者データセットから漏洩したかどうかを決定するための装置であって、前記データ所有者データセット及び前記ワイルド・ファイルがそれぞれ、複数のフィールドをそれぞれ備える複数のレコードを備え、前記装置が、
ａ．  サブセット選択サブルーチンであって、データ所有者データセット及び日付調整済みワイルド・ファイルを受け取り、データ所有者サブセット及びワイルド・ファイル・サブセットを作成するように構成され、前記データ所有者サブセット及び前記ワイルド・ファイル・サブセットがそれぞれ、前記データ所有者データセット及び前記ワイルド・ファイルと比較して低減された数のレコードを含む、サブセット選択サブルーチンと、
ｂ．  ＰＣＡｍｉｘデータ分析サブルーチンであって、前記データ所有者サブセット及び前記ワイルド・ファイル・サブセットを受け取り、データ所有者サブセット固有値の組、データ所有者サブセット固有ベクトルの組、ワイルド・ファイル・サブセット固有値の組、及びワイルド・ファイル・サブセット固有ベクトルの組を生成するように構成されたＰＣＡｍｉｘデータ分析サブルーチンと、
ｃ．  スコア生成サブルーチンであって、前記データ所有者サブセット固有値、前記データ所有者サブセット固有ベクトル、前記ワイルド・ファイル・サブセット固有値、及び前記ワイルド・ファイル・サブセット固有ベクトルを受け取って、前記ワイルド・ファイルが前記データ所有者データセットから導き出された尤度を示す類似度スコアを生成するように構成されたスコア生成サブルーチンとを備える、装置。
【請求項２】
前記ワイルド・ファイルを分析し、前記ワイルド・ファイルが漏洩してからの時間の経過を考慮するように前記ワイルド・ファイルにおける日付を調整して、日付調整済みワイルド・ファイルを生成するように構成されたファイル日付決定サブルーチンをさらに備える、請求項１に記載の装置。
【請求項３】
前記日付調整済みワイルド・ファイル及び前記データ所有者データセットを受け取り、前記日付調整済みワイルド・ファイルと前記データ所有者データセットとの間に照合済みレコードの組を生成するように構成されたレコード照合ルーチンをさらに備える、請求項２に記載の装置。
【請求項４】
前記ＰＣＡｍｉｘデータ分析サブルーチンが、数値データ行列、前記数値データ行列からの行の重みで構成された第１の対角行列、及び前記数値データ行列からの列の重みで構成された第２の対角行列を構築するようにさらに構成される、請求項１に記載の装置。
【請求項５】
前記ＰＣＡｍｉｘデータ分析サブルーチンが、前記第１及び第２の対角行列からの測定基準を使用して前記数値データ行列に対して一般化特異値分解を実施して、前記データセット所有者サブセット固有ベクトル及び前記ワイルド・ファイル・サブセット固有ベクトルを生成するようにさらに構成される、請求項４に記載の装置。
【請求項６】
前記ＰＣＡｍｉｘデータ分析サブルーチンが、分散の顕著な部分を占めるもの以外の前記データセット所有者サブセット固有ベクトル及びワイルド・ファイル・サブセット固有ベクトルのすべてを除去するようにさらに構成される、請求項５に記載の装置。
【請求項７】
前記ＰＣＡｍｉｘデータ分析サブルーチンが、分散の少なくとも１０パーセントを占めるもの以外の前記データセット所有者サブセット固有ベクトル及びワイルド・ファイル・サブセット固有ベクトルのすべてを除去するようにさらに構成される、請求項６に記載の装置。
【請求項８】
データ所有者データセットのフィンガープリントを作成するための装置であって、前記データ所有者データセットが、複数のフィールドをそれぞれ備える複数のレコードを備え、前記装置が、
ａ．  サブセット選択サブルーチンであって、データ所有者データセットを受け取り、前記データ所有者データセットからデータ所有者サブセットを作成するように構成され、前記データ所有者サブセットが、前記データ所有者データセットと比較して低減された数のレコードを含む、サブセット選択サブルーチンと、
ｂ．  ＰＣＡｍｉｘデータ分析サブルーチンであって、前記データ所有者サブセットを受け取り、データ所有者サブセット固有値の組及びデータ所有者サブセット固有ベクトルの組、ワイルド・ファイル固有値の組を生成するように構成された、ＰＣＡｍｉｘデータ分析サブルーチンとを備える、装置。
【請求項９】
前記ＰＣＡｍｉｘデータ分析サブルーチンが、数値データ行列と、前記数値データ行列からの行の重みの組で構成された第１の対角行列と、前記数値データ行列からの列の重みの組で構成された第２の対角行列とを構築するようにさらに構成される、請求項８に記載の装置。
【請求項１０】
前記ＰＣＡｍｉｘデータ分析サブルーチンが、前記第１及び第２の対角行列からの測定基準の組を使用して前記数値データ行列に対して一般化特異値分解を実施して、前記データセット所有者サブセット固有ベクトルを生成するようにさらに構成される、請求項９に記載の装置。
【請求項１１】
前記ＰＣＡｍｉｘデータ分析サブルーチンが、分散の顕著な部分を占めるもの以外の前記データセット所有者サブセット固有ベクトルのすべてを除去するようにさらに構成される、請求項１０に記載の装置。
【請求項１２】
前記ＰＣＡｍｉｘデータ分析サブルーチンが、分散の少なくとも１０パーセントを占めるもの以外の前記データセット所有者サブセット固有ベクトルのすべてを除去するようにさらに構成される、請求項１１に記載の装置。
【請求項１３】
データ所有者データセットをフィンガープリンティングするための方法であって、前記データセットが、複数のフィールドをそれぞれ備える複数のレコードを備え、前記方法が、
ａ．  データ所有者サブセットを生成するために前記レコードのサブセットを前記データセットから選択するステップと、
ｂ．  データ所有者サブセット固有値の行列及びデータ所有者サブセット固有ベクトルの行列を生成するために主成分分析を前記データ所有者サブセットに適用するステップと、
ｃ．  前記データ所有者サブセットの前記主成分に対する観察値を定義するスコアの組を生成するために前記固有ベクトルを分析するステップとを含む、方法。
【請求項１４】
主成分分析を前記データ所有者サブセットに適用する前記ステップが、数値データ行列と、前記数値データ行列からの行の重みの組で構成された第１の対角行列と、前記数値データ行列からの列の重みの組で構成された第２の対角行列とを構築するステップをさらに含む、請求項１３に記載の方法。
【請求項１５】
主成分分析を前記データ所有者サブセットに適用する前記ステップが、前記データセット所有者サブセット固有ベクトルを生成するために前記第１及び第２の対角行列からの測定基準の組を使用して前記数値データ行列に対して一般化特異値分解を実施するステップをさらに含む、請求項１４に記載の方法。
【請求項１６】
主成分分析を前記データ所有者サブセットに適用する前記ステップが、分散の顕著な部分を占めるもの以外の前記データセット所有者サブセット固有ベクトルのすべてを取り除くステップをさらに含む、請求項１５に記載の方法。
【請求項１７】
主成分分析を前記データ所有者サブセットに適用する前記ステップが、分散の少なくとも１０パーセントを占めるもの以外の前記データセット所有者サブセット固有ベクトルのすべてを取り除くステップをさらに含む、請求項１６に記載の方法。
【請求項１８】
ワイルド・ファイルがデータ所有者データセットから導き出されたかどうかを決定するための方法であって、前記データ所有者データセット及び前記ワイルド・ファイルのそれぞれが、複数のフィールドをそれぞれ備える複数のレコードを備え、前記方法が、
ａ．  データ所有者サブセットを生成するために、前記レコードのサブセットを前記データ所有者データセットから抽出するステップと、
ｂ．  ワイルド・ファイル・サブセットを生成するために、前記データ所有者サブセットの前記レコードに対応する前記ワイルド・ファイルから前記レコードのサブセットを抽出するステップと、
ｃ．  データ所有者サブセット固有値の組及びデータ所有者サブセット固有ベクトルの行列を生成するために、主成分分析を前記データ所有者サブセットに適用するステップと、
ｄ．  ワイルド・ファイル・サブセット固有値の組及びワイルド・ファイル・サブセット固有ベクトルの行列を生成するために、主成分分析を前記ワイルド・ファイル・サブセットに適用するステップと、
ｅ．  類似度スコアを生成するために、対応するワイルド・ファイル・サブセット固有ベクトルに対して各データ所有者サブセット固有ベクトルを分析するステップとを含む、方法。
【請求項１９】
前記レコードのサブセットを前記ワイルド・ファイルから選択するステップの前に前記ワイルド・ファイルのファイル日付を決定するステップをさらに含む、請求項１８に記載の方法。
【請求項２０】
主成分分析を前記データ所有者サブセットに適用する前記ステップが、数値データ行列と、前記数値データ行列からの行の重みで構成された第１の対角行列と、前記数値データ行列からの列の重みで構成された第２の対角行列とを構築するステップをさらに含む、請求項１８に記載の方法。
【請求項２１】
主成分分析を前記データ所有者サブセットに適用する前記ステップが、前記データセット所有者サブセット固有ベクトル及び前記ワイルド・ファイル・サブセット固有ベクトルを生成するために、前記第１及び第２の対角行列からの測定基準を使用して前記数値データ行列に対して一般化特異値分解を実施するステップをさらに含む、請求項２０に記載の方法。
【請求項２２】
主成分分析を前記データ所有者サブセットに適用する前記ステップが、分散の顕著な部分を占めるもの以外の前記データセット所有者サブセット固有ベクトル及びワイルド・ファイル・サブセット固有ベクトルのすべてを除去するステップをさらに含む、請求項２１に記載の方法。
【請求項２３】
主成分分析を前記データ所有者サブセットに適用する前記ステップが、分散の少なくとも１０パーセントを占めるもの以外の前記データセット所有者サブセット固有ベクトル及びワイルド・ファイル・サブセット固有ベクトルのすべてを除去するステップをさらに含む、請求項２２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の分野は、データ機密性、コンテンツ・ベースのゼロ・ウォーターマーキング方法、及びデータ認証である。
【背景技術】
【０００２】
独自のデータ・ファイル（例えば、タイプ．ｃｓｖ、．ｓｑｌ、．ｔｘｔ、及び他のファイル）又はＪＳＯＮ若しくはＸＭＬデータ・フィードにおけるテキスト・データの意図した又は意図しない漏洩は、企業収益損失の顕著な及び潜在的に有害な発生源となる。既存の解決策は、データが企業ファイアウォールの背後に存在している間に損失に対して軽減するのに利用可能である。セキュアＨＴＴＰ又はＳＳＬプロトコルなどの解決策は、データが、ファイルとしてであっても又はデータ・フィードとしてであっても、ファイアウォールを出、インターネットを横断して、正当な受信者（信頼できる第三者機関又はＴＴＰ：Ｔｒｕｓｔｅｄ  Ｔｈｉｒｄ  Ｐａｒｔｉｅｓ）に達したとき損失の危険を軽減する。ファイルが元の供給源の（データ所有者の）ファイアウォールの外側で使用されていると、ファイル所有権を主張し、文書化する他の解決策が存在する。これらのデータ・ウォーターマーキング及びフィンガープリンティングの解決策は、それらが法的不正行為の場合に所有権の証拠を提供するので、望ましい。先述のように、損害賠償の法的手続きの存在が、このデータを、それを他者へ販売することを含めて自分自身の利益のために充て、自由に使用する悪人に対する抑止力として働くはずである。
【０００３】
データ・ウォーターマーキング及びデータ・フィンガープリンティングは、データ・ファイルの所有権を示す手続きの２つのカテゴリを構成する。これらの２つの取り組みは、必ずしも相互排他的とは限らないが、一般的区別が定着している。ファイル・ウォーターマーキングには、ユーザが見分けるのは困難である固有のパターンを作成するために、通常小さな、データの変更を行うことが関与する。指定された規則による数値（連続型）変数の最下位桁を改変することは、単純な実例である。データ・ファイルのフィンガープリントを作成することには、データの改変は関与しない。むしろ、事後に見分けることができるシグネチャを作成するためにデータの特性が使用される。単純なフィンガープリントは、ファイル内の変数の統計的評価により予測される可能性がある。より精緻なフィンガープリントは、それを他のファイルと区別することを可能にする、データセットにおける変数間の共分散構造を定義する多変数解析に基づく可能性がある。フィンガープリントは、技術的に見てウォーターマーキングのサブセット又は代替であるので、フィンガープリント方法は、コンテンツ・ベースの、ゼロ・ウォーターマーク技法とも称される。それらはデータ・ファイルのコンテンツに基づくが、それらには、データの任意の改変は関与せず、したがって、「ゼロ」ウォーターマークと称される。
【０００４】
データ・テーブル（テキスト及び数値の行×列配置）、又はそれらのテキスト・フィード等価物は、オーディオ、ビデオ、静止画像、及びさらには書籍、定期刊行物、又は同様の出版物などの他のテキスト素材と比較してウォーターマーキング又はフィンガープリンティングの固有の課題を提示する。最も単純なレベルにおいて、画像における少数の画素は、固有の識別子を構成するウォーターマークを作成するために、見分けのつかないほどに及び微妙に改変することができる。したがって、ファイルは、元のウォーターマークによって、同じ画像の他の同様にわずかに改変されたバージョンとは差別化することができる。ビデオ及びオーディオ・ファイルは、それらの大きなビット深度及び反復性のため、ウォーターマーク挿入のより多くの機会さえ提供する。固有の及び見分けのつくウォーターマークを作成するために少数の画素をビデオの反復フレームで改変し、又はさらによりかすかに及び複雑にビデオ・フレームの順序を変更することは相対的に容易である。ウォーターマークを識別することを埋め込み、又は別の方法で、人間の聴覚には知覚できないやり方で信号を改変するために、同様の動作を、時間領域及び周波数領域の両方においてオーディオ・ファイルを用いて実行することができる。実際には、ウォーターマーク作成者だけがそれを識別することができる。単語間の間隔の慎重な使用、スタイル及び構文の改変によって、見分けのつかないウォーターマークを生成するために、書籍、定期刊行物及び他のテキスト素材に使用することができる様々な技法がある。これらの手続きは、これまでに広く文献において説明されてきた。
【０００５】
独立成分分析及び多次元尺度構成法などの主成分分析（ＰＣＡ）及び関連技法が、法医学的及び民間用途において人間の指紋の生物医学的分析に適用されてきた。フィンガープリント・フォレンジクスにおいて、これらの技法は、局所的な尾根の不連続、尾根の終端及び分岐から生じるフィンガープリント特徴の広く受け入れられているクラスに適用される。フィンガープリント分析への主成分分析の取り組みは、元の非圧縮データと同様の性能を与えると見られているが、計算が低減される。これらの取り組みは、認証及び認識の両方に使用されてきた。
【０００６】
主成分分析の別の主な適用例は、化学成分のデータセットからのフィンガープリンティングの生物学的現象にある。実例には、様々な石油源（例えば、石油タンカー）及び石油流出から得たサンプルの化学的シグネチャが含まれる。これらの適用例は、ＧＣ−ＭＳ（ガス・クロマトグラフィー質量分析法）クロマトグラムから得たデータの最初のいくつかの主成分を見出し、それにより、データのより包括的な利用を行う迅速で客観的なフィンガープリンティング手続きが可能になる。何故なら、変数の大きな組の間の共変動は、直交成分の小さな組に凝縮されるからである。ＰＣＡは、妊娠ブタの閉じ込めと仕上げ用に閉じ込めたブタとのスラリー間の相違などのブタ厩肥中の微生物群を定義するのにも使用されてきた。研究結果では、いくつかの他の技法と組み合わせたＰＣＡの適用例が、異なる、代謝的に活性な母集団を正確に監視するのに使用することができることが示されている。
【０００７】
別の実例において、ＰＣＡ技法は、高価な蒸留酒（例えば、テキーラ、ウオッカ、ウイスキー、ラム酒、コニャックなど）の液体クロマトグラフィー・タンデム質量分析装置分析から生成された化学データセットを分析するために適用されてきた。それはマーカー化合物（酸、糖類、及びポリフェノール）を識別し、異なるサンプルを差別化するのに使用された。目的は、マーカー化合物を使用して、蒸留酒を認証し、不正な偽造を識別することにあった。
【０００８】
これらのバイオマーカー研究のすべてにおける共通のテーマは、存在する変動性のコンパクトで、直交の及び倹約的な表現（シグネチャ）を実現するために、ＰＣＡがデータセットを分析するのに使用されることである。次いで、異なるデータセットのコンパクトなデータ・シグネチャが、比較認証及び認識目的のために調査／法医学的意味で使用される。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】国際特許出願番号ＰＣＴ／ＵＳ２０１７／０１７００７
【発明の概要】
【発明が解決しようとする課題】
【００１０】
リッチ・テキスト・データ分析論の別の領域は、統計又は計算方法によって支持される作者の属性に焦点を合わせている。これらは、電子メール、オンライン・フォーラム、ブログ、ソース・コード、文献などの電子テキストに適用されてきた。作者の帰属への自動化された取り組みの最近の進展は、テキスト表現及びテキスト分類の両方の観点から調べられてきた。語彙、文字、構文、及び意味の特徴を含むスタイル・マーカーが、まず調べられ、続いて、ある言語又はテキスト領域だけにおいて定義できるアプリケーション固有の属性が調べられる。語彙及び文字の特徴は、テキストをワード・トークン又は文字の列とみなす。語彙の特徴は、一般に、文字の特徴よりも複雑である。構文及び意味の特徴は、より深い言語分析を必要とする。様々な特徴の選択及び抽出方法が調べられるが、これらの技法のいずれも、データ低減及び直交化の目的のためには多変量統計の使用を含まない。
【課題を解決するための手段】
【００１１】
本発明は、コンテンツ・ベースであり、データの改変が関与しないので、フィンガープリントのカテゴリに分類される。その代わりに、本発明は、存在するデータの内部構造及び共変動の優勢なパターンを定義するために、データセットにおける変数の線形結合、又は関係変数のサブセットを使用する。主成分又は因子と呼ばれる、これらの変数の線形結合は、データセットの倹約的な圧縮されたシグネチャを表す。変数間に異なるパターンを有するデータセットは、主成分の異なるパターンを有する。漏洩したデータ・サブセットにおける変数（又はその関連サブセット）の主成分、又は「ワイルド・ファイル」を、計算し、データ・プロバイダの参照ファイル、又はその件に関する任意の参照ファイルにおける同一の変数の主成分と統計的に比較することができる。これは、識別及び他のファイルからの同様に定義されたパターンとの比較に使用することができる、ファイルの固有の及び圧縮されたシグネチャを構成する。
【００１２】
方法論は、ＰＣＡを異なる尺度で測定されたデータに適用する。まず、提案される本取り組みの理解の基本であるので、変数及び測定尺度が定義される。次いで、ＰＣＡが、分類別及び連続の多重尺度で測定された変数に適用され、それは、民生及びビジネスに関連するなどのフィンガープリント・データ・ファイルに使用される特定の方法を表す。次いで、ＰＣＡの取り組みは、データ変換及びデータ転置などのデータを盗み取る者によって使用される共通攻撃ベクトルに対して本質的に抵抗性があることを理解することができる。
【００１３】
本発明の様々な実施例において提示されるようにＰＣＡの適用は、結果として、個々のワイルド・ファイルがデータ所有者データセットからの実際に漏洩したデータであるかどうかを決定するとき比較しなければならない非常により小さなデータの組となる。これは、計算の複雑性を大きく低減する。典型的に採用されるファイルのタイプの途方もない大きさのため、この比較を任意の合理的に利用可能な計算資源を用いてファイル全体に対して実施することは単純に実際的でない。問題は、これらのファイルが、数億のレコードを有することがあり、各レコードが、千よりも多くのフィールドを有することがあることから生じる。さらに、各ワイルド・ファイルは、数千のデータ所有者データセットと比較して、もしあれば、どれが、ワイルド・ファイルが漏洩したファイルを表すのかを決定する必要がある可能性がある。したがって、文字列照合などの従来の仕組みを使用する計算努力は、極めて高く、処理が開始さえする前にデータを変換する広範な前処理を必要とする。したがって、ビジネスに妥当である時間内で、従来のやり方でこれらの計算を実施することは、標準的な計算装置では不可能であり、その場合、ファイルは、月単位で、又はさらに高い頻度で変化しており、ファイルは、前の比較実行が完了する前に更新によってすでに変化しているはずである。他方、ＰＣＡの取り組みは、選択された主成分に対して統計的相関を発生させ、各セルにおいて値を比較することとは対照的に比較が統計値間で実施され、結果として劇的に低減された処理時間となる。結果として、このＰＣＡの取り組みは、実際のビジネス環境においてこれまで解決不可能であった問題を解決し、標準ビジネス計算機を用いて実装することができる計算上効率的な問題の解決策を提供する。
【００１４】
本発明のこれらの及び他の特徴、目的、及び利点は、以下に説明する図面と併せて様々な実施例の以下の詳細な説明及び添付の特許請求の範囲の検討からよりよく理解されることになろう。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施例による、個々の実例における１５の主成分で占められる分散の量を示す棒グラフであり、次元（主成分）をｘ軸で示すが、それぞれに説明される分散の量はｙ軸で示す。
【図２】本発明の実施例による、変動性の最初の２つの次元（すなわち、最初の２つの主成分）上の、個別観察結果の、それらのスコアによる分布を示す散布図であり、２つの明確な点のクラウドは、データセットにおける分散の約３分の１を表す最初の２つの固有ベクトルの質によって定義された個体の２つの群を表す。
【図３】本発明の実施例による、分析の２次元平面に投影されたデータ・プロバイダ・データセット変数の変換された組を示すベクトル・グラフであり、長い方のベクトルは、２次元モデルにより良く適合する（すなわち、より強く相関する）変数を示すのに対し、短い方のベクトルは、２次元モデルに同様に適合しない変数を示す。
【図４】本発明の実施例による、変数と主成分との間の相関比として質的変数の二乗ローディングを示すグラフである。
【図５】本発明の実施例による、変動性の最初の２つの直交次元の質的変数のマッピングを示すグラフである。
【図６】本発明の実施例による、ＰＣＡ混合データフローを使用して２つのデータセット間の類似度分析及びスコアリングを示すデータ流れ図である。
【図７】本発明の実施例による、ＰＣＡフィンガープリンティング・システムのインフラストラクチャ及びアーキテクチャ図である。
【発明を実施するための形態】
【００１６】
本発明をさらに詳細に説明する前に、本発明が、説明する個々の実施例及び実装形態に限定されないこと、並びに個々の実施例及び実装形態を説明する際に使用される用語が、それらの個々の実施例及び実装形態だけを説明する目的のためであり、本発明の範囲が特許請求の範囲だけによって限定されるので、限定することが意図されていないことを理解されたい。
【００１７】
異なる尺度で測定されたデータの主成分の方法論を以下に説明する。まず、提案される本取り組みの理解の基本であるので、変数及び測定尺度が定義される。第二に、本発明の様々な実施例の一般的な分析の方向を与えるので、連続的尺度で測定された変数の従来の主成分分析が説明される。第三に、分類別及び連続の多重尺度で測定された変数の主成分分析が、本発明の実施例による、民生及びビジネスに関連するなどのフィンガープリント・データ・ファイルに使用される特定の方法を表す。第四に、実例が、実際のこのタイプのファイルからの地理的人口動態変数の小さな組を使用して提示される。
【００１８】
変数
変数とは、規定された組の値のうちのいずれかを自由に取ることができる可測実体と定義される。モデリングに使用されるデータは、測定値自体である。２つの所与の値の間の無限に大きな及び非加算の範囲の値のうちのいずれかを理論的に取ることができる変数は、連続型変数であり、離散変数は、有限範囲の値を取ることができ、すなわち、それは、整数があるだけの数と同じ数の値を有することができる。ドルでの支出、年齢、視聴者の傾向（例えば、個々の製品を購入する尤度）、及び居住の期間は、連続型変数の実例であるが、性別及び子供の有無は離散変数である。
【００１９】
測定は、ある一連の規則によりクラス又はスコアを、観察された現象に割り当てるプロセスである。しかし、必ずしも明確とは限らないものは、測定が、数が関与するプロセスだけからなるのではないことである。現象は、タイプに分類し、又は相互に対してランク付けすることもできる。測定の重要な側面は、観察が、可能な限り有効である再現可能な結果を生じさせる、動作的に定義されたプロセスを使用して行われることである。
【００２０】
名前又は数を現象に割り当てるのに使用される規則は、測定のレベルを決定し、異なる規則は、異なるレベルの測定に関連付けられる。変数の測定のレベルは、それを分析するのにどの方法が使用できるのかを決定し、最終的に、その分布を調べることから導き出すことができる推論の種類に影響する。測定のレベルは、変数の空間的構造を描くのに使用することができるマップのタイプにも強く影響する。本明細書において、名義、順序、間隔、及び比率の４つの測定の基本レベルが適用される。各レベルは、一つ前のレベルよりも厳密に定義され、それぞれが、より多くの情報を含む。
【００２１】
最低レベルは名義尺度である。値が、現象にラベルを付け、又は名前をつける明確なカテゴリに割り当てられる。唯一の要件は、カテゴリが両立的であること、すなわち、すべての目的はカテゴリに属さなければならないこと、及びそれらは相互排他的である、すなわち、目的は１つよりも多くのカテゴリに属さないことが可能であることである。したがって、名義尺度で測定された変数は、離散であるとみなされる。例えば、性別は、男性、女性、又は未知として符号化される。各レコードは、これらの特性のうちの１つを所有するが、２つ又は３つではない。名義尺度は、カテゴリの順序付け又はカテゴリ間の距離に関して仮定しない。名義尺度は、統計的演算及び地図作成操作において変数をどのように使用できるかに関して制限を設ける。しかし、ある状況において、値は、頻度分布を形成するために数えることができ、それらが空間的に参照された場合、数学演算をそれらの座標に対して実施することができる。
【００２２】
測定の順序レベルが存在するのは、クラス間に暗黙の関係があり、それらをある基準により一貫してランク付け（順序付け）することができるときである。順序尺度は、非対称及び推移的である。非対称とは、カテゴリＡがカテゴリＢよりも大きい場合、ＢがＡよりも大きいことはあり得ないことを意味する。推移的とは、ＡがＢよりも大きく、ＢがＣよりも大きい場合、ＡはＣよりも大きいことを意味する。順序尺度で測定された変数は、離散であるとみなされる。実例として、男性の年齢が１（１８〜２４）、２（２５〜３４）、３（３５〜４４）、４（４５〜５４）、５（５５〜６４）、６（６５〜７４）、及び７（７５＋）の５つのカテゴリを使用して順序尺度で記録されたとする。順序尺度の非対称及び推移的特性は、この変数を使用して示すことができる。例えば、ランキング２は、ランキング１よりも大きい年齢を示し、１は２よりも大きい年齢を決して示すはずがない。したがって、尺度は非対称である。ランキング２が１よりも大きい年齢を示すので、尺度は推移的であり、３は２よりも大きい年齢を示し、したがって、ランキング３もランキング１よりも大きい。
【００２３】
カテゴリが順序付けされ、それらの間の距離が固定された及び等しい単位を使用して定義された場合、測定のレベルは間隔である。間隔尺度はゼロ点を欠く。それは差を測定するのに使用することができ、したがって、絶対等級ではない。例えば、華氏目盛りの０は任意の点ではないので、２６．６７℃（８０°Ｆ）は４．４５℃（４０°Ｆ）の２倍の熱さではない。ゼロ点が現象自体によって確立されたときのみ、「２倍の多さ」などの比較は何らかの意味を有することができる。間隔尺度で測定された変数は、連続的であるとみなされる。
【００２４】
比率尺度は、間隔尺度の特性を有するが、固有のゼロ点も所有する。そのような尺度の定義特性は、任意の２つの測定が測定の単位にかかわらず互いに同じ比率を持つことである。例えば、点Ａから点Ｂまでの運転距離が１６０９．３４メートル（１マイル）であり、Ｂから点Ｃまでの距離が３２１８．６８メートル（２マイル）である場合、ＡＢ対ＢＣの距離の比率は両方の場合とも１：２である。間隔及び比率データは、それらが頻繁に算術的に及び統計的に同じやり方で操作することができるので、通常一緒に扱われる。
【００２５】
データは１つのレベルで集められている可能性があるが、それらを分析又は図形提示のためにより低いレベルに変換することは可能であり、しばしば便利である。しかし、一般に許可されていないことは、集めたデータを、それらが、より高い尺度で測定されたかのように、より低い尺度で扱うことである。例えば、間隔及び比率データを順序データに変換することは容易であるが、順序スコアを合計することは望ましくない。これは、混合尺度で測定された変数を用いてＰＣＡをデータセットに適用する際の基本的困難であった。ドルでの小売支出を得た場合、それらは、元の尺度で切点を確立することによって測定の順序尺度に容易に変換することができるはずである。例えば、ゼロには、１のランキングを割り当てることができ、２から１００の間に存在する値には、２のランクを割り当てることができ、１０１〜２００の値には、３のランキングを与えることができ、２０１〜３００の値には、ランク４を割り当てることができる、などすることができるはずである。
【００２６】
測定のレベルの特性に加えて、ほとんどの変数は、次元性の特性も有する。データセットにおいて、変数は、相関関係の意味で相互に独立又は直交した次元の大きさであることを望む。理想的には、変数は、１つの理論的次元だけの大きさであるが、実際には、通常そういうことではない。ほとんどのデータセットにおいて、様々な強度の相関関係が変数間に存在する。例えば、収入は、一般に、年齢、教育のレベル、住宅価値、純資産、居住の期間、自宅所有権、及び近隣から市及び州に及ぶ規模の地理的要因に相関している。現実の世界は、必ずしも直交ではない。
【００２７】
データセットが同じ次元を測定する変数を含むとき、それらが顕著に相互相関する（すなわち、それらが多重共線性を示す）可能性がある。これらの相関関係、及びそれらがデータセット間でどのように異なるかは、本明細書に説明するように、コンテンツ・ベースのゼロ・ウォーターマークを確立する際に利用するものである。主成分としての統計技法又は因子分析は、多くの変数に含まれる情報を少数の複合変数に約分するのに使用することができ、元の変数のすべてを検討する必要があるわけではない。この意味で、それは説明の正確な節約を導入する。
【００２８】
連続型変数の主成分及び因子分析
多くの分析状況において、測定は、各レコードの間隔及び比率尺度変数の組に対して行われる。通常、これらの変数は、地理的人口動態又は心理学的変動性のある側面を測定する。理想的には、各変数は、変動性の１つの次元だけを表し、これは、重回帰、ロジスティック回帰、及び判別関数分析としてのそのような統計手続きの仮定のうちの１つである。残念ながら、変数は、必ずしも相互に無相関とは限らず、１つの変数の値は、部分的に別の変数の関数である可能性があることを意味する。主成分分析は、元の変数の線形結合である新たな組の変数を作成するのに採用することができるデータ変換技法である。元のデータは、同じ量の変動性が同じ数の変数を使用して説明されるように、ただし、
１．  最初の軸（元の変数の線形結合）が、全分散の可能な限り多くを占め、
２．  二番目の軸が、残りの分散の可能な限り多くを占めるが、最初とは無相関であり、及び
３．  三番目の軸が、残りの分散の可能な限り多くを占めるが、最初の２つとは無相関である、などするように、変換される。
【００２９】
顕著な相関関係が変数の組の間に存在するとき、普通は少数の軸、又は主成分が全分散の実質的な割合を占めるが、より大きな数の軸がより小さな量の分散を占める。小さな量の分散だけを占める小さな軸は、普通はそれ以上の分析からは放棄される。したがって、調査員は、ｐ個の相関変数からなる初期データセットを、分散のほとんどを説明するｍ個の無相関変数のデータセットに変換しており、普通はｍがｐよりもはるかに小さい。
【００３０】
この新たな組の変数、又は「主成分」の作成は、いくつかの利点を有する。第一は、変数が相互に相関していないこと、すなわち、各１つが変動性の別個の次元を測定する。これは、顕著な直線関係が独立変数間に何も存在しないという予測モデル仮定を満足する１つのやり方である。主成分の二番目の利点は、元のデータセットにおける大きな量の分散が、より小さな組の変数によって説明され、普通は任意の科学的分析において望ましい倹約の原理を導入することである。元の変数と主成分との間の関係を調べることによって、元の変数の観点から主成分の意味を解釈することが頻繁に可能である。
【００３１】
しかし、ＰＣＡがデータ変換技法として使用されたときの興味の中心は、主成分に対して個々のレコードによって示されたスコアにある。個体などのそれぞれの場合は、元の変数間の変動性のある側面を定義する主成分のそれぞれに対してスコアを有する。これらのスコアは、元の変数の値の代わりに後続の統計分析に使用することができる。元の変数のすべての間の相互相関を再現するために、変数があるだけの数と同じ数の主成分が必要とされる。相対的に小さな量の分散を占める主成分が除去された場合、元のデータのより多くの倹約的な説明が得られたが、それは元の変数間の相互相関を再現する能力を場合により失うことを犠牲にして得たのである。所与の変数に対する観察スコアの変動の一部が、固有であり、組における他の変数と関係がないものに起因することである可能性があるが、ＰＣＡは、あらゆる変数に関するすべての情報を利用することに留意されたい。
【００３２】
この固有の分散が分析から除去されたとき、変数間の関係のより良い説明を提供することができる可能性がある。主成分分析において、生成された変数の新たな線形結合は、相互に無相関であり、各連続する主成分は、その先行したものよりも少ない分散を占める。調査員がデータの構造を決定する真の因子が、ほぼ等しい重要性のすべてであると思った場合、因子分析の技法は、ＰＣＡよりも適切である可能性がある。しかし、多くの作者が主成分分析を因子分析の形とみなし、それをそのような研究の第１のステップとして頻繁に使用することを述べておかねばならない。
【００３３】
因子分析という用語は、主成分分析の欠点のうちの１つ又は複数の補正を行う技法の族を表す。すべての因子モデルに共通するのは、変数間に共通に保持される分散からの固有の分散の明確な分離、及び変数間の観察された相関関係が、「潜在的」変数のより小さな組によって発生されるという仮定である。基礎的な変数の性質に関する予想により、各変数の共通性（すなわち、他の変数と共通に保持される分散率）は、あらかじめ規定されなければならない可能性がある。主成分分析の代わりに因子分析を採用することによって、研究者は、相対的に小さな数の因子から変数間の相互相関の元のパターンを再現する能力を得る。失われたものは、元の変数の事例のスコアと様々な因子のそのスコアとの直接的な関係である。
【００３４】
因子分析のほぼすべての形における別の損失は、解の一意性である。所与の因子構造が、単純に元の相互相関の説明を表す。付加制約が与えられない限り、相関関係パターンは、同じ数の因子を採用した任意の他の枠組みで説明することができる。ほとんどの因子分析方法は、予備因子構造を得るために、あるタイプの任意の制約を採用し、次いで、基準のある事前指定の組に近似する因子解が見つかるまで参照の枠組みを回転させる。無相関変数の新たな組へのデータの直接的な変換を単純に望む、多くの予測モデリング状況において、ＰＣＡは、このタスクを十分に成し遂げる。より精緻なタイプの因子分析は、通常、研究者が変数の組の間の関係のより良い説明を得ることに興味があるとき、適切である。いずれにせよ、因子分析は、慎重に及び理解して使用すべきである多変量統計の複雑な形である。主成分と因子分析との間のこの関係を所与として、前者が元のデータのより直接的な変換であるので、本発明においては前者に焦点を当てる。
【００３５】
混合データの主成分分析
ほとんどのマーケティング・データセットは、多重尺度で測定された変数を含む。個々の及び家庭のレベルにおいて、それらは、地理的、人口統計的、社会経済的及び心理学的変数を測定する。すべての測定尺度が表されるが、変数の大半は分類別である。この実例において、複数の測定尺度を表すデータに対してＰＣＡを実施するプロセス（本明細書においてＰＣＡｍｉｘ関数と称される）を示すために小さなデータセットを使用する。分析は、Ｒ統計システム（ｗｗｗ．ｒ−ｐｒｏｊｅｃｔ．ｏｒｇ）において利用可能となっている混合データのＰＣＡにＰＣＡｍｉｘ関数を使用する。それは標準主成分分析及びＭＣＡ（多重対応分析）機能を含む。
【００３６】
ＰＣＡｍｉｘ方法は、以下の３つのステップからなる。
１．  データを処理する、
２．  一般化特異値分解（ＧＳＶＤ）を実施する、及び
３．  主成分に対する各観察結果のスコアを作成する。
【００３７】
表１に示す以下の実例は、ＰＣＡが１つのデータセットに適用されることによってどのように働くかを示す。同じ手続きを複数のデータセットに適用することができるが、それは小さなサンプル・データセットを用いて示される。最初のステップの一部として、この分析の実例用に、より大きなデータ・プロバイダ・データセットからいくつかの変数を選択する。以下の表中の最初の行の項目は、実際の変数名（各行の二番目の項目）に関連付けられたラベルの短縮形（各行の三番目の項目）である。実際の変数名（例えば、ＩＢ７６０２）は情報をあまり含まず、ラベル自体が長すぎるので、短縮形が分析及びグラフに使用される。次いで、いくつかの行列が、ＧＳＶＤステップに使用するために作成される。
【００３８】
【表１】
2020502695.tif 000003
【００３９】
これは１つのデータセットであり、各観察は、個体であり、列は変数である。最初の変数（列）はＣｏｎｓｌｉｎｋ、固有の個々の識別子である。データセットは、カテゴリ変数と数値変数との混合を含む。ｎ行及びｐ１列の数値型行列Ｘ１（以下の表２に示す）と、ｎ行及びｐ２列のカテゴリ型行列Ｘ２（以下の表３に示す）との２つに水平に（並んで）区分されると考え、その場合、「ＮＡ」は欠損値を示す。
【００４０】
【表２】
2020502695.tif 000004
【００４１】
【表３】
2020502695.tif 000005
【００４２】
ｍはＸ２におけるカテゴリの総数とする。次いで、処理は以下のように進む。
【００４３】
ステップ１
次元ｎ行ｘ（ｐ１＋ｍ）列の数値データ行列Ｚ＝（Ｚ１｜Ｚ２）を構築し、ここで、
Ｚ１＝Ｘ１の標準化バージョン
Ｚ２＝Ｘ２のレベルの中央指標行列
【００４４】
行の重みの対角行列Ｎを構成し、ここで、ｎ行は１／ｎで重み付けされる。
【００４５】
列の重みの対角行列Ｍを構築し、ここで、
最初のｐ１列は１で重み付けされる。
【００４６】
最後のｍ列は、ｎ／ｎｓで重み付けされ、ここで、ｎｓは、レベルｓを有する観察結果の数である。
【００４７】
全分散はｐ１＋ｍ−ｐ２である。
【００４８】
ステップ２
ＰＣＡｍｉｘ方法の二番目の大きなステップには、測定基準Ｎ及びＭを有するＺのＧＳＶＤ（一般化特異値分解）を実施することが関与し、それにより、
Ｚ＝ＵＤＶｔが得られ、ここで、
Ｄ＝ｄｉａｇ（ｓｑｒｔ（ｌ１），．．．，ｓｑｒｔ（ｌｒ））はＺＭＺｔＮ及びＺｔＮＺＭの特異値のｒｘｒ対角行列であり、ｒはＺのランクであり、
Ｕ＝ＺＭＺｔＮの最初のｒ固有ベクトルのｎｘｒ行列であり、したがって、ＵｔＮＵ＝ＩＩｒであり、
Ｖ＝ＺｔＮＺＭの最初のｒ固有ベクトルのｐｘｒ行列であり、したがって、ＶｔＭＶ＝ＩＩｒである。
【００４９】
各主成分ｆａは、Ｘ＝（Ｘ１｜Ｇ）の列の線形結合であり、ここで、Ｘ１は数値データ行列であり、Ｇは行列Ｘ２のレベルの標識行列である。
【００５０】
【数１】
2020502695.tif 000006
【００５１】
表４は、各次元（固有ベクトル）に関連付けられた固有値、固有ベクトルで説明されるデータセットにおける分散の割合、及び固有ベクトルで説明される累積分散を示す。
【００５２】
【表４】
2020502695.tif 000007
【００５３】
表４は、最初の固有ベクトル、又は変動性の次元が、分散のほぼ５分の１を占め、二番目が１０パーセント超を占めるなど、を示すことが分かるであろう。これらの２つの固有ベクトルだけでデータセットにおける分散のほぼ３分の１を占める。これは、低減された主成分の組がデータセットのコンパクトで倹約的な表現、本質的に圧縮されたシグネチャを提供するのに使用できることを示す。様々な実施例において、分散の顕著な部分を占める固有ベクトルだけが維持される。様々な実施例において、「顕著な」部分は、１０％超、２５％超、又はより大きな値である可能性がある。これらの１５の主成分（次元）は、図１にグラフで示す。
【００５４】
ステップ３
ＰＣＡｍｉｘ方法における三番目の大きなステップには、行及び列の因子スコアの計算が関与する。行の因子スコアの組は、Ｆ＝ＵＤである。これらは主成分スコアとしても知られている。列の因子スコアの組は、Ａ＝ＭＶＤである。標準ＰＣＡにおいては、Ａ＝ＶＤである。主成分１から４に対する最初の６つの観察結果のスコアは、表５に示し、最初の２つの次元（すなわち、主成分１及び２）は、図２において散布図に作成されている。
【００５５】
【表５】
2020502695.tif 000008
【００５６】
変数ｊのｃｊａの成分ａに対する寄与は、次の通りである。
ｃｊａ＝ａｊａ２＝変数ｊが数値である場合二乗相関関係、及び
ｃｊａ＝ｓｌｊ（ｎ／ｎｓ）（ａｓａ２）の和＝変数ｊがカテゴリである場合相関比
【００５７】
以下の表６は、５つの元の変数と主成分１〜４との間の非標準的なローディング（相関関係）を示す。例えば、ＩＢ７６０２、子供の数は、ｄｉｍ２とは最も高く、ｄｉｍ１とは比較的程度は低く、ｄｉｍ３とはわずかに相関しているが、ｄｉｍ４とは共変しない。
【００５８】
【表６】
2020502695.tif 000009
【００５９】
最初の２つの主成分の相関関係は図３に示す。ＰＣＡバイプロットは、分析の２次元平面に投影されたデータ・プロバイダ・データセット変数の変換された組を示す。長い方のベクトルは、２次元モデルにより良く適合する（すなわち、より高く相関している）変数を示す。それらのより大きな成分は、グラフの平面にある。対照的に、短い方のベクトルは、２次元モデルに同様に適合しない変数を示す。それらは、グラフにおいて、より少なく、及びグラフからさらに遠くに配置される傾向があり、したがって、それらのグラフへの投影は、より短い。例えば、結果は、ＩＢ７６０２、子供の数が最初の２つの固有ベクトルによってよく表されていることを示す。対照的に、ＩＢ８４６３、自宅市場値十分位は、最初の２つの固有ベクトルにはそれほどよく表されていない（相関していない）。上部及び下部の右側の象限における短い方のベクトルの長さ及び他の変数とのその関係は、それが、より高次の次元によってよく表されることを示す。実際に、表６は、ＩＢ８４６３がｄｉｍ３と最も高く相関していることを示す。
【００６０】
表７は、最初の４つの次元、又は主成分に対するある変数の二乗ローディングを提供する。この行列の要素は、単純に表６のそれらのそれぞれの値の二乗である。
【００６１】
【表７】
2020502695.tif 000010
【００６２】
表７に示すように最初の２つの次元のローディングは、図４において作図されている。質的変数の二乗ローディングは、変数と主成分との間の相関比である。定量的（数値）変数の場合、それらは、変数と主成分との間の二乗相関関係である。例えば、ＩＢ７６２２の子供の存在は、最初の２つの主成分と強く相関している。ＩＢ７６０９の婚姻状態は、最初の主成分と高く相関しており、二番目の主成分とはほぼ直交している（無相関）。ＩＢ７６２８の世帯内の大人は、二番目の主成分とさらにもっと直交し、最初と高く相関している。
【００６３】
図５は、変動性の最初の２つの直交次元に対する質的変数のマッピングを提供する。例えば、上部右側の象限において、ＩＢ７６２２＝Ｙ、子供の存在＝はいは、ＩＢ７６０９＝Ａに密接にマッピングし、婚姻状態＝Ａであり、Ａは既婚である。上部左端の象限において、自宅の所有者／賃借人＝賃借人は、婚姻＝Ｂに密接にマッピングし、Ｂは独身であり、及び教育＝４、高校卒業後の職業／技術訓練である。同様の推論を他の質的変数のレベルに対しても行うことができる。以下の表８は、最初の４つの固有ベクトルに対する質的変数のレベルの値を示す。最初の２つの次元の値は、図５のグラフの座標に対応する。
【００６４】
【表８】
2020502695.tif 000011
【００６５】
データセットの類似度を識別するためのＰＣＡｍｉｘの適用例
図６は、前節で説明した、２つのデータセット間の類似度を識別するＰＣＡシステム及び方法の適用例を示すデータ流れ図である。この計算を実施するために、４つの主サブルーチンが採用される。すなわち、レコード照合サブルーチン１１０、サブセット選択プロセス・ルーチン１２０、ＰＣＡｍｉｘデータ分析サブルーチン２００、及びスコア生成サブルーチン３００である。例示した実例だけが２つのデータセットを比較するが、仕組みは、計算効率をさらに高めるために複数のプロセッサ又はマルチプロセッサ・システム上で場合によっては並列に複数のデータセットに適用することができる。並列処理環境において、サブルーチンが並列スレッドに沿って実行されるので、ワイルド・ファイルは、複数のデータ所有者データセットと同時に比較することができ、スレッドは、一致があるかどうかを決定するためにワイルド・ファイルが比較されるデータ所有者データセットがあるだけの数と潜在的に同じ数のスレッドである。
【００６６】
システムへの入力は、データ所有者データセット１０とワイルド・ファイル２０とである。ファイル日付決定ステップ１００において、ワイルド・ファイル２０は、それが始まる年及び月を決定するために生年月日（ＤＯＢ）変更フィンガープリンティングを受ける。このステップを実施するためのプロセスは、参照によりその全体が本明細書に組み込まれている、「Ｃｈａｎｇｅ  Ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ  ｆｏｒ  Ｄａｔａｂａｓｅ  Ｔａｂｌｅｓ，  Ｔｅｘｔ  Ｆｉｌｅｓ，  ａｎｄ  Ｄａｔａ  Ｆｅｅｄｓ」という名称の国際特許出願番号ＰＣＴ／ＵＳ２０１７／０１７００７に開示されている。このステップの目的は２つある。まず、それは、母集団を、ファイル日付決定ステップ１００において決定される日付に一致するものだけに限定することによって、一致し得るデータ所有者データセットの母集団を低減することができる。第二に、それは、ワイルド・ファイル２０における日付を、それらが、一致する可能性のあるデータ所有者データセットの現在の日付と一致するように調整することができる。これらの日付は、ワイルド・ファイル２０が漏洩してからの時間の経過に起因してずれる可能性があり、そのことは、ファイル日付決定ステップ１００において日付を調整することなくワイルド・ファイル２０がそのままシステムに供給された場合、結果として偽陰性の照合結果となり得る。
【００６７】
サブルーチン１１０、レコード照合において、ワイルド・ファイル２０における個々のレコードは、ステップ１００において識別された月／年に関してデータ所有者データセット１０と照合される。これは、後続の分析に選択することができるデータ所有者データ・サブセットを決定する。サブルーチン１２０、サブセット選択プロセスに移動すると、低減された組の変数が、データセット、最も重要そうなもの又はワイルド・ファイル２０からの変数の組に一致する必要があるもののそれぞれに対して選択される。最も重要な変数は、多くの順序で存在する高い充足率（低い欠損値）を有するものである。高い充足率のデータフィールドの実例には、例えば、姓名、住所、及び婚姻状態が含まれる可能性がある。代替案として、データ所有者データセット１０から選択された変数は、ワイルド・ファイル２０にも存在するものによって決まる可能性がある。次いで、何億もの観察結果を表すのに、より小さなサブセットで十分であるので、小さなサンプルの観察結果が選択される。共分散構造を定義するのに、データ所有者データセット１０の１パーセントのランダムサンプルで十分である。結果は、データ所有者サブセット１３０及びワイルド・ファイル・サブセット１４０である。
【００６８】
サブルーチン２００、ＰＣＡｍｉｘデータ分析において、ＰＣＡが実施される。ＰＣＡＭｉｘデータ分析サブルーチン２００において実施される計算の技術的詳細は、データ・サブセットからの固有値及び固有ベクトルの生成に関して上記に提供される。固有値のベクトルは、データ所有者サブセット１３０及びワイルド・ファイル・サブセット１４０に対して、それぞれ、データ所有者サブセット固有値２１０及びワイルド・ファイル・サブセット固有値２２０として生成される。これにより、固有値、関連した固有ベクトルで説明される分散の量及び説明した累積分散が得られる。元の変数間に相関関係がある場合、固有値は、低減された固有ベクトルの組が、データセットにおける分散のほとんどを占めるが、少量の分散を占めるものは、後続の分析の目的のために放棄するか又は無視することができることを示す。固有ベクトル行列は、データ所有者サブセット１３０及びワイルド・ファイル・サブセット１４０に対して、それぞれ、データ所有者サブセット固有ベクトル２３０及びワイルド・ファイル固有ベクトル２４０として生成される。これらの行列は、データセットの圧縮されたシグネチャ、又はむしろ、それが基づく変数のサブセットである。元の変数があるだけの数と同じ数の固有ベクトルがある。各固有ベクトルは、元の変数の重みである要素を有するベクトルである。重みは、異なる固有ベクトルにおける個々の変数の重要性を示す。データセットが同一である場合、固有ベクトル行列は同一である。それらが同一でない場合、２つの固有ベクトル行列は異なる。
【００６９】
サブルーチン３００、スコア生成において、固有ベクトル・スコアの行列が、データ所有者サブセット１３０及びワイルド・ファイル・サブセット１４０に対して生成される。各観察が元の変数の値を有するのとまったく同じように、それらは固有ベクトルの各１つに対するスコアをやはり有する。類似度スコア４００は、データ所有者サブセット１３０及びワイルド・ファイル・サブセット１４０からの固有値の比較から出力される。両方の分析が同じ観察結果及び変数で実施された場合、固有値は、ファイルが同じである場合、多かれ少なかれ同一であるはずである。そうでない場合、それは、結果が、異なる個体（観察結果）及び変数に基づく可能性があることを示している。さらに、両方の固有ベクトルが比較される。両方の分析が同じ観察結果及び変数に対して実施された場合、固有ベクトルは、同一であるはずである。異なる観察結果のサブセットであるが、同じ変数に基づく場合、最も重要な固有ベクトル（すなわち、ほとんどの分散を占めるもの）は、極めて同様であるはずである。分析が同じ個体及び同じ変数に基づき、個々の固有ベクトルにおける要素の一部が異なる場合、これは、フィールドの一部が異なる発生源から導き出された可能性があることを示している。共通の個体の組では、データ所有者サブセット１３０とワイルド・ファイル・サブセット１４０との間の主成分スコアの相関関係は、ファイルがまったく同じである場合、１．００であるか、又はそれに近似するはずである。すなわち、データ所有者サブセット１３０の主成分１と、ワイルド・ファイル・サブセット１４０との間の相関関係は、１であるはずであり、データ所有者サブセット１３０の主成分２と、ワイルド・ファイル・サブセット１４０との間の相関関係は、１であるはずであるなど、最も重要な主成分の残りについて同様であるはずである。１でない場合、又はそれに非常に近似する場合、それらは、統計的に顕著な差を示さないはずである。データ所有者サブセット１３０が他のデータ所有者からの大きな代表的ファイルを有する場合、ワイルド・ファイルは、上記に説明したＰＣＡｍｉｘ手続きを使用してそれらの各１つと照合することができる。やはり上述のとおり、この処理は、システム内で利用できるだけの数と同じ数の並列処理スレッドに対して並列に処理することができる。
【００７０】
図６のプロセスは、データ所有者データセット１０及びワイルド・ファイル２０の両方からフィンガープリントを生成し、次いで、それらの間に一致があるかどうかを決定することが意図された構成で示すが、プロセスは、単純にデータ所有者データセット１０のフィンガープリントを提供するために、わずかに改変することができる。この構成において、ワイルド・ファイル２０は使用されず、したがって、ファイル日付決定１００及びレコード照合１１０は、処理の一部ではない。サブセット選択プロセス・サブルーチン１２０は、データ所有者データセット１０をその唯一の入力として受け取り、データ所有者サブセット１３０だけを生成する。ＰＣＡｍｉｘデータ分析サブルーチン２００は、データ所有者サブセット１３０だけをその入力として受け取り、データ所有者サブセット固有値２１０及びデータ所有者サブセット固有値２３０だけを生成する。単一のファイルのスコアを計算する有効なやり方がなく、２つのファイルの間の比較だけであるので、スコア生成サブルーチン３００は省略される。ワイルド・ファイル２０が調査のために提示されると、必要な計算をさらに加速するやり方として、オフラインでこのやり方で又はワイルド・ファイル２０との任意の比較を実施する前に、データ所有者データセット１０のフィンガープリンティングを実施することが望ましい可能性がある。
【００７１】
図７を参照し、図６のデータフローを実装するためのハードウェア・システムを示す。ワイルド・ファイルからのＤＯＢ照合レコードのサブセット５４０（図６のワイルド・ファイル・サブセット１４０に対応する）が、本明細書に説明する分析を実施するサーバ５３０に入力される。この実例において、ワイルド・ファイル２０は、クライアントＸデータ・ストア・キャッシュ５００、クライアントＹデータ・ストア・キャッシュ５１０、及びクライアントＺデータ・ストア・キャッシュ５２０に対応する３つの潜在的発生源、Ｘ〜Ｚだけからのデータセットと比較されている。しかし、システムは、任意の数のデータ所有者データセット１０に対して比較を実施することができる可能性があり、実際の実例において、数百又はさらには数千のそのような比較がある可能性があることに留意されたい。各比較に対する固有ベクトルは、上記に説明したように計算され、３つのクライアントのそれぞれの結果は、ワイルド・ファイル２０が各個々のクライアントによって維持されるデータから導き出されたかどうかを示すスコアである。個々のデータ所有者データセット１０のスコアが、他のデータ所有者データセット１０のいずれかに対するよりも特に強い場合、これは、ワイルド・ファイル２０がこのデータ所有者データセット１０から実際に導き出されたことの強力な指標である。
【００７２】
本明細書に説明するシステム及び方法の実装形態が、結果として、完全にデータ所有者データセット１０及びワイルド・ファイル２０において単純に比較することと比較して途方もない計算効率となることが前述から理解されよう。まず、方法は、全データの１％以下でも、データのサンプルで動作することができる。尺度の効率は、民生目的に使用される典型的なファイルが、それぞれ数百又は数千のデータフィールドを有する、１億５０００万から３億５０００万の異なるレコードを有することができることを考慮して理解される。この大きさのファイルに対して任意のタイプの多変量分析を実施することは、計算的に実用的でない。何故なら、結果を意味あるものにする時間内に結果を実現することができないからである。他方、この大きさの１％に低減されたファイルに対して共分散行列を計算することは、計算時間が１／１００に低減されることを意味する。さらに、データセットからのサンプルの変数（フィールド）のそれぞれは、使用されず、圧縮されたシグネチャを、最も人気のある変数の人口が多い組から作成することができる。例えば、典型的なファイルは、１５００個の変数（すなわち、各レコードのフィールド）を有することができるが、実際には、これらのファイルは疎行列である。性別、年齢、収入、婚姻状態、自宅所有者／賃借人、及び子供の数などの、ファイルから最も一般的に選択された変数の多くは、人口が多い可能性があり、すなわち、それらは、欠損観察をほとんど有しない。低迷する非常に集中した関心（例えば、編み物、ハイキング、又は個々のスポーツ）などの他の変数は、１０％未満の、しばしば５％未満の充足率を有することがある。１５００の変数の代わりに５０の変数を用いてシグネチャを作成することは、９５％超だけ検討の組を低減する。利用可能なレコードの１％のサンプルだけを使用することによる低減と組み合わせて、ＰＣＡｍｉｘプロセスから生じる比較の非常に小さな範囲が与えられ、それは、計算効率の向上は途方もなく、ビジネス計算環境で見出される現実的な計算装置で必要な計算を商業的に実現可能な時間内で実施することを可能にすることが分かる可能性がある。要約すれば、このプロセスの適用は、実際問題として解決不可能である問題を、ビジネスの有意味な時間内で容易に解決可能である問題に変換する。
【００７３】
特に明記しない限り、本明細書において使用されるすべての技術及び科学用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書に説明するものと同様の又は同等の任意の方法及び材料を本発明の実施又は試験に使用することもできるが、限定された数の例示的な方法及び材料は、本明細書に説明する。本明細書における発明概念から逸脱することなくより多くの変更が可能であることは当業者には明らかであろう。
【００７４】
本明細書において使用されるすべての用語は、文脈に一致した可能な限り広いやり方で解釈すべきである。本明細書においてグループ分けが使用されたとき、グループのすべての個々の要素並びにグループの可能なすべての組合せ及び部分的組合せは、個々に含まれることが意図されている。本明細書において範囲が記載されているとき、範囲は、すべての部分範囲及び範囲内の個々の点を含むことが意図されている。本明細書において引用するすべての参照は、本明細書の開示との不一致が何もない限りにおいて、参照により本明細書に組み込まれている。
【００７５】
本発明は、添付の特許請求の範囲に記載されているように、例示的だけであることが意図されている、及び本発明の全範囲に限定されない、ある好ましい及び代替の実施例を参照して説明されている。
【図１】
2020502695.tif 000012
【図２】
2020502695.tif 000013
【図３】
2020502695.tif 000014
【図４】
2020502695.tif 000015
【図５】
2020502695.tif 000016
【図６】
2020502695.tif 000017
【図７】
2020502695.tif 000018
【国際調査報告】
2020502695.tif 000019