(57)【要約】      （修正有）【課題】入力データセットについてコンテキスト及び知識ドメインをマシンが認識する能力を高めること。【解決手段】プロセスは、複数の登録されたエンティティの各登録されたエンティティについて、複数の（異種）データセットの各データセットから、当該登録されたエンティティを表す登録エンティティプロパティ−値ペアの配列を、前記整合化データストアに記憶することと、前記複数の登録されたエンティティの各登録されたエンティティについて、前記複数の（異種）データセットの各データセットに関する少なくとも１つの識別子プロパティ−値ペアを含むレジストリエントリを、前記レジストリに記憶することと、前記整合化データストアとの整合化のために、データセットを取得することと、を含む、データ記憶システムを含む。【選択図】図１
2018198047.tif 000002
【特許請求の範囲】
【請求項１】
メモリに接続されるプロセッサを有するデータ記憶システムであって、前記メモリは、整合化データストア及びレジストリを含み、前記プロセッサは、プロセスを実行するよう構成されており、
前記プロセスは、
複数の登録されたエンティティの各登録されたエンティティについて、複数のデータセットの各データセットから、当該登録されたエンティティを表す登録エンティティプロパティ−値ペアの配列を、前記整合化データストアに記憶することであって、前記登録エンティティプロパティ−値ペアの各々は、登録されたエンティティのプロパティを表すプロパティラベルと、それぞれの該登録されたエンティティのついての前記プロパティの値範囲を表す値と、を含む、記憶することと、
前記複数の登録されたエンティティの各登録されたエンティティについて、前記複数のデータセットの各データセットに関する少なくとも１つの識別子プロパティ−値ペアを含むレジストリエントリを、前記レジストリに記憶することであって、前記識別子プロパティ−値ペアの各々は、登録されたエンティティを一意に識別する、該登録されたエンティティの識別子プロパティを表す識別子プロパティラベルと、それぞれの該登録されたエンティティについての前記識別子プロパティの値を表す識別子値と、を含む、記憶することと、
前記整合化データストアとの整合化のために、データセットを取得することであって、前記の取得されたデータセットは、１つ以上の取得データセットエンティティの第１のセットの各取得データセットエンティティについての複数の取得データセットプロパティ−値ペアを含み、前記取得データセットプロパティ−値ペアの各々は、取得データセットエンティティのプロパティを表すプロパティラベルと、それぞれの該取得データセットエンティティについての前記プロパティの値範囲を表す値と、を含む、取得することと、
を含み、
前記プロセスは、前記１つ以上の取得データセットエンティティの各取得データセットエンティティについて、
当該取得データセットエンティティについての取得データセットプロパティ−値ペアに合致する、前記レジストリに記憶されている識別子プロパティ−値ペアを識別することと、
当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、前記の識別された識別子プロパティ−値ペアの前記識別子値により識別される前記登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合することと、
をさらに含む、データ記憶システム。
【請求項２】
前記の取得されたデータセットは、１つ以上の取得データセットエンティティの第２のセットの各メンバーについての複数の取得データセットプロパティ−値ペアをさらに含み、前記第２のセットの各メンバーについての前記複数の取得データセットプロパティ−値ペアは、前記レジストリに記憶されている識別子プロパティ−値ペアに合致せず、
前記プロセスは、前記第２のセットの各メンバーについて、類似度検索プロセスを実行することをさらに含み、
前記類似度検索プロセスは、前記レジストリにおける前記レジストリエントリの各レジストリエントリについて、
当該レジストリエントリにより識別される前記登録されたエンティティに関して前記整合化データストアに記憶されている前記登録エンティティプロパティ−値ペアの前記配列の中から、前記取得データセットプロパティ−値ペアのうちのプロパティラベルに合致するプロパティラベルのセットを識別することと、
前記合致するプロパティラベルのセットの各合致するプロパティラベルについて、文字列類似度距離又は数値距離でそれぞれの前記値を比較し、該比較の結果を組み合わせて、当該レジストリエントリにより識別される前記登録されたエンティティと前記第２のセットの前記メンバーとの間の距離尺度を得ることと、
前記第２のセットの前記メンバーへの前記の得られた距離尺度が最も短い登録されたエンティティを、前記第２のセットの前記メンバーに最も類似する登録されたエンティティとして選択することと、
を含む、請求項１に記載のデータ記憶システム。
【請求項３】
前記プロセスは、
前記第２のセットの前記メンバーに前記最も類似する登録されたエンティティとして選択された前記登録されたエンティティと前記第２のセットの前記メンバーとの間の前記の得られた距離尺度が、閾値よりも大きいか又は前記閾値以下であるかを判定することと、
前記の得られた距離尺度が、前記閾値以下であると判定された場合、前記第２のセットの前記メンバーについての前記取得データセットプロパティ−値ペアを、前記最も類似する登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合することと、
前記の得られた距離尺度が、前記閾値よりも大きいと判定された場合、前記第２のセットの前記メンバーに関する登録エンティティプロパティ−値ペアとして、前記第２のセットの前記メンバーについての前記取得データセットプロパティ−値ペアを前記整合化データストアに追加し、前記第２のセットの前記メンバーについて前記レジストリにおいて新たなエントリを作成することと、
をさらに含む、請求項２に記載のデータ記憶システム。
【請求項４】
前記プロセスは、
前記第２のセットの前記メンバーについての１つ以上の取得データセットプロパティ−値ペアを、ユーザインタフェースを介して、システムユーザに提示し、前記最も類似する登録されたエンティティについての１つ以上の登録エンティティプロパティ−値ペアを、前記ユーザインタフェースを介して、前記システムユーザに提示することと、
前記システムユーザから、前記の提示された取得データセットプロパティ−値ペアが、前記の提示された登録エンティティプロパティ−値ペアと同じエンティティを表すか否かのインジケーションを受け取ることと、
前記の受け取られたインジケーションが同じエンティティを表すことである場合、前記第２のセットの前記メンバーについての前記取得データセットプロパティ−値ペアを、前記最も類似する登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合することと、
前記の受け取られたインジケーションが同じエンティティを表さないことである場合、前記第２のセットの前記メンバーに関する登録エンティティプロパティ−値ペアとして、前記第２のセットの前記メンバーについての前記取得データセットプロパティ−値ペアを前記整合化データストアに追加し、前記第２のセットの前記メンバーについて前記レジストリにおいて新たなエントリを作成することと、
をさらに含む、請求項３に記載のデータ記憶システム。
【請求項５】
前記レジストリエントリは、前記データ記憶システム内の前記登録されたエンティティを一意に識別するシステムエンティティＩＤをさらに含み、
前記登録エンティティプロパティ−値ペアの前記配列は、前記システムエンティティＩＤに関連付けられて記憶される、請求項１に記載のデータ記憶システム。
【請求項６】
前記登録エンティティプロパティ−値ペアの前記プロパティラベル及び前記取得データセットプロパティ−値ペアの前記プロパティラベルは、前記データ記憶システムにより記憶された標準化されたプロパティラベルのセットからのものである、請求項１に記載のデータ記憶システム。
【請求項７】
当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、前記の識別された識別子プロパティ−値ペアの前記識別子値により識別される前記登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に前記統合することは、各取得データセットプロパティ−値ペアについて、
当該取得データセットプロパティ−値ペアの前記プロパティラベルが、前記登録エンティティプロパティ−値ペアの前記の記憶された配列におけるプロパティラベルに合致し、当該取得データセットプロパティ−値ペアの前記値が、前記の合致するプロパティラベルを有する前記登録エンティティプロパティ−値ペアの前記値に合致する場合、前記の記憶された配列に対して変更を行わず、当該取得データセットプロパティ−値ペアの前記値が、前記の合致するプロパティラベルを有する前記登録エンティティプロパティ−値ペアの前記値に合致しない場合、登録エンティティプロパティ−値ペアとして、当該取得データセットプロパティ−値ペアを、前記の記憶された配列に追加することと、
当該取得データセットプロパティ−値ペアの前記プロパティラベルが、前記登録エンティティプロパティ−値ペアの前記の記憶された配列におけるプロパティラベルに合致しない場合、登録エンティティプロパティ−値ペアとして、当該取得データセットプロパティ−値ペアを、前記の記憶された配列に追加することと、
を含む、請求項１に記載のデータ記憶システム。
【請求項８】
前記プロセスは、前記１つ以上の取得データセットエンティティの各取得データセットエンティティについて、
当該取得データセットエンティティについての取得データセットプロパティ−値ペアと前記レジストリにおける識別子プロパティ−値ペアとの全ての組合せについて、それぞれのプロパティが合致し、それぞれの値が合致するか否かを判定することと、
判定された合致する組合せの数が０である場合、請求項２に記載の類似度検索プロセスを実行することと、
判定された合致する組合せの数が１である場合、又は、判定された合致する組合せの数が２以上であり、且つ、該合致する組合せの前記識別子プロパティ−値ペアにより識別される異なる登録されたエンティティの数が１である場合、当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、該合致する組合せからの前記識別子プロパティ−値ペアの前記識別子値により識別される前記登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合することと、
判定された合致する組合せの数が２以上であり、且つ、該合致する組合せの前記識別子プロパティ−値ペアにより識別される異なる登録されたエンティティの数が２以上である場合、エンティティ曖昧性解消プロセスを実行することであって、前記エンティティ曖昧性解消プロセスは、該合致する組合せの前記識別子プロパティ−値ペアにより識別される各異なる登録されたエンティティについて、
当該登録されたエンティティに関して前記整合化データストアに記憶されている前記登録エンティティプロパティ−値ペアの前記配列の中から、当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアのうちのプロパティラベルに合致するプロパティラベルのセットを識別することと、
該合致するプロパティラベルのセットの各合致するプロパティラベルについて、文字列類似度距離又は数値距離でそれぞれの前記値を比較し、該比較の結果を組み合わせて、当該登録されたエンティティと当該取得データセットエンティティとの間の距離尺度を得ることと、
当該取得データセットエンティティへの前記の得られた距離尺度が最も短い登録されたエンティティを、当該取得データセットエンティティについての整合化ターゲットとして選択することと、
当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、前記整合化ターゲットに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合することと、
を含む、実行することと、
を含む、請求項２に記載のデータ記憶システム。
【請求項９】
データ記憶方法であって、
複数の登録されたエンティティの各登録されたエンティティについて、複数のデータセットの各データセットから、当該登録されたエンティティを表す登録エンティティプロパティ−値ペアの配列を、整合化データストアに記憶するステップであって、前記登録エンティティプロパティ−値ペアの各々は、登録されたエンティティのプロパティを表すプロパティラベルと、それぞれの該登録されたエンティティのついての前記プロパティの値範囲を表す値と、を含む、ステップと、
前記複数の登録されたエンティティの各登録されたエンティティについて、前記複数のデータセットの各データセットに関する少なくとも１つの識別子プロパティ−値ペアを含むレジストリエントリを、レジストリに記憶するステップであって、前記識別子プロパティ−値ペアの各々は、登録されたエンティティを一意に識別する、該登録されたエンティティの識別子プロパティを表す識別子プロパティラベルと、それぞれの該登録されたエンティティについての前記識別子プロパティの値を表す識別子値と、を含む、ステップと、
前記整合化データストアとの整合化のために、データセットを取得するステップであって、前記の取得されたデータセットは、１つ以上の取得データセットエンティティの第１のセットの各取得データセットエンティティについての複数の取得データセットプロパティ−値ペアを含み、前記取得データセットプロパティ−値ペアの各々は、取得データセットエンティティのプロパティを表すプロパティラベルと、それぞれの該取得データセットエンティティについての前記プロパティの値範囲を表す値と、を含む、ステップと、
を含み、
前記データ記憶方法は、前記１つ以上の取得データセットエンティティの各取得データセットエンティティについて、
当該取得データセットエンティティについての取得データセットプロパティ−値ペアに合致する、前記レジストリに記憶されている識別子プロパティ−値ペアを識別するステップと、
当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、前記の識別された識別子プロパティ−値ペアの前記識別子値により識別される前記登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合するステップと、
をさらに含む、データ記憶方法。
【請求項１０】
コンピューティング装置により実行されたときに前記コンピューティング装置に方法を実行させるコンピュータプログラムであって、
前記方法は、
複数の登録されたエンティティの各登録されたエンティティについて、複数のデータセットの各データセットから、当該登録されたエンティティを表す登録エンティティプロパティ−値ペアの配列を、整合化データストアに記憶するステップであって、前記登録エンティティプロパティ−値ペアの各々は、登録されたエンティティのプロパティを表すプロパティラベルと、それぞれの該登録されたエンティティのついての前記プロパティの値範囲を表す値と、を含む、ステップと、
前記複数の登録されたエンティティの各登録されたエンティティについて、前記複数のデータセットの各データセットに関する少なくとも１つの識別子プロパティ−値ペアを含むレジストリエントリを、レジストリに記憶するステップであって、前記識別子プロパティ−値ペアの各々は、登録されたエンティティを一意に識別する、該登録されたエンティティの識別子プロパティを表す識別子プロパティラベルと、それぞれの該登録されたエンティティについての前記識別子プロパティの値を表す識別子値と、を含む、ステップと、
前記整合化データストアとの整合化のために、データセットを取得するステップであって、前記の取得されたデータセットは、１つ以上の取得データセットエンティティの第１のセットの各取得データセットエンティティについての複数の取得データセットプロパティ−値ペアを含み、前記取得データセットプロパティ−値ペアの各々は、取得データセットエンティティのプロパティを表すプロパティラベルと、それぞれの該取得データセットエンティティについての前記プロパティの値範囲を表す値と、を含む、ステップと、
を含み、
前記方法は、前記１つ以上の取得データセットエンティティの各取得データセットエンティティについて、
当該取得データセットエンティティについての取得データセットプロパティ−値ペアに合致する、前記レジストリに記憶されている識別子プロパティ−値ペアを識別するステップと、
当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、前記の識別された識別子プロパティ−値ペアの前記識別子値により識別される前記登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合するステップと、
をさらに含む、コンピュータプログラム。
【請求項１１】
請求項１０に記載のコンピュータプログラムを記憶している非一時的なコンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ記憶の分野に属し、詳細には、入力データセットの認識に関する。
【背景技術】
【０００２】
データサイエンス領域における課題は、異なる構造、フォーマット、及び性質を有する異種データソースからの入力データセットの統合である。オーバーラップするデータの分析及び異なるデータセットからの同じエンティティを表すデータの識別は、高レベルの手動インタラクションを必要とする。ほとんどの場合、入力データセットをどのように解釈するか又はデータがどの情報に関連するかを知ることは、正しいデータ解釈、したがって統合にとってキーとなる要素である。多くの場合、入力データセットを適切に統合するためには、入力データセットにより表される知識の分野におけるバックグラウンドを有する必要がある。
【０００３】
入力データセットにおいて表される情報は、テクノロジー企業の意思決定においてますます重要な役割を担っている。入力データセットに含まれる知識が取り入れられるべき場合、マシンがデータセットを抽象化の可変のレベルで正確に表すことを可能にすることが望ましい。
【０００４】
マシンの相互運用性は、正確な記述子を用いてデータセットを記憶することにより高められる。さらに、ストレージのアクセス性及び効率性は、意味あるように注釈付けされたデータによって高められる。
【０００５】
処理オーバーヘッドが、デバイスをまたがる走査及びアクセス動作により、データセンターにおいて課せられる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
入力データセットについてコンテキスト及び知識ドメインをマシンが認識する能力を高めることが望ましい。異なる異種データソースからの同じ現実世界エンティティを表すデータをマシンが適切且つ正確に整合化する能力を高めることが望ましい。
【課題を解決するための手段】
【０００７】
実施形態は、
メモリに接続されるプロセッサを有するデータ記憶システムであって、前記メモリは、整合化データストア及びレジストリを含み、前記プロセッサは、プロセスを実行するよう構成されており、
前記プロセスは、
複数の登録されたエンティティの各登録されたエンティティについて、複数の（異種）データセットの各データセットから、当該登録されたエンティティを表す登録エンティティプロパティ−値ペアの配列を、前記整合化データストアに記憶することであって、前記登録エンティティプロパティ−値ペアの各々は、登録されたエンティティのプロパティを表すプロパティラベルと、それぞれの該登録されたエンティティのついての前記プロパティの値範囲を表す値と、を含む、記憶することと、
前記複数の登録されたエンティティの各登録されたエンティティについて、前記複数の（異種）データセットの各データセットに関する少なくとも１つの識別子プロパティ−値ペアを含むレジストリエントリを、前記レジストリに記憶することであって、前記識別子プロパティ−値ペアの各々は、（それぞれの前記データセット内の）登録されたエンティティを一意に識別する、該登録されたエンティティの識別子プロパティを表す識別子プロパティラベルと、それぞれの該登録されたエンティティについての前記識別子プロパティの値を表す識別子値と、を含む、記憶することと、
前記整合化データストアとの整合化のために、データセットを取得することであって、前記の取得されたデータセットは、１つ以上の取得データセットエンティティの第１のセットの各取得データセットエンティティについての複数の取得データセットプロパティ−値ペアを含み、前記取得データセットプロパティ−値ペアの各々は、取得データセットエンティティのプロパティを表すプロパティラベルと、それぞれの該取得データセットエンティティについての前記プロパティの値範囲を表す値と、を含む、取得することと、
を含む、
データ記憶システムを含む。
前記プロセスは、前記１つ以上の取得データセットエンティティの各取得データセットエンティティについて、
当該取得データセットエンティティについての取得データセットプロパティ−値ペアに合致する、前記レジストリに記憶されている識別子プロパティ−値ペアを識別することと、
当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、前記の識別された識別子プロパティ−値ペアの前記識別子値により識別される前記登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合することと、
をさらに含む。
【０００８】
有利なことに、異なる異種データソースからの同じエンティティを表すデータの自動統合は、データサイエンス領域における抽出、変換、及びロード（ＥＴＬ：extract,  transform,  and  load）タスクにおいて要求される手動介入を相当低減させる。実施形態は、とりわけ以下の利点を提供する、データの自動取得及び整合化のためのインテリジェントなシステムを提供する：
−低付加価値タスクであるＥＴＬタスクにおける労力の低減。
−特に非標準フォーマットによる、半自動的且つインテリジェントなやり方でのマシン読み取り可能なメタデータの生成。
−アシスタント及びインテリジェントなプラットフォームのためのデータ取得及び整合化の自動化の促進。
【０００９】
識別子プロパティは、エンティティを一意に識別する。一意性は、システムにおいて既に取得されており記憶されているデータ及び取得されるデータの範囲に制約される、エンティティが属する、エンティティの集合の間でのものである。例えば、法的エンティティの間で一意であることもあるし、特定のリスト又はレジストリにおいて列挙されるエンティティの間で一意であることもある。
【００１０】
別の態様の実施形態は、
データ記憶方法であって、
複数の登録されたエンティティの各登録されたエンティティについて、複数のデータセットの各データセットから、当該登録されたエンティティを表す登録エンティティプロパティ−値ペアの配列を、整合化データストアに記憶するステップであって、前記登録エンティティプロパティ−値ペアの各々は、登録されたエンティティのプロパティを表すプロパティラベルと、それぞれの該登録されたエンティティのついての前記プロパティの値範囲を表す値と、を含む、ステップ
を含むデータ記憶方法
を含む。
本データ記憶方法はまた、
前記複数の登録されたエンティティの各登録されたエンティティについて、前記複数のデータセットの各データセットに関する少なくとも１つの識別子プロパティ−値ペアを含むレジストリエントリを、レジストリに記憶するステップであって、前記識別子プロパティ−値ペアの各々は、登録されたエンティティを一意に識別する、該登録されたエンティティの識別子プロパティを表す識別子プロパティラベルと、それぞれの該登録されたエンティティについての前記識別子プロパティの値を表す識別子値と、を含む、ステップ
を含む。
本データ記憶方法はまた、
前記整合化データストアとの整合化のために、データセットを取得するステップであって、前記の取得されたデータセットは、１つ以上の取得データセットエンティティの第１のセットの各取得データセットエンティティについての複数の取得データセットプロパティ−値ペアを含み、前記取得データセットプロパティ−値ペアの各々は、取得データセットエンティティのプロパティを表すプロパティラベルと、それぞれの該取得データセットエンティティについての前記プロパティの値範囲を表す値と、を含む、ステップ
を含む。
本データ記憶方法は、前記１つ以上の取得データセットエンティティの各取得データセットエンティティについて、
当該取得データセットエンティティについての取得データセットプロパティ−値ペアに合致する、前記レジストリに記憶されている識別子プロパティ−値ペアを識別するステップと、
当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、前記の識別された識別子プロパティ−値ペアの前記識別子値により識別される前記登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合するステップと、
をさらに含む。
【００１１】
別の態様の実施形態は、コンピューティング装置により実行されたときに前記コンピューティング装置に実施形態の方法を実行させるコンピュータプログラムを含む。このようなコンピュータプログラムは、非一時的なコンピュータ読み取り可能な媒体等のコンピュータ読み取り可能な媒体に記憶され得る。
【図面の簡単な説明】
【００１２】
添付の図面を参照して、本発明の好ましい特徴が、単に例として説明される。
【図１】データ記憶システムにより実行される例示的なプロセスを示す図。
【図２】例示的なハードウェアアーキテクチャを示す図。
【図３】インテリジェントなデータ取得及び整合化システムを示す図。
【図４】サンプルが取得されるデータセットエンティティを参照する図３のシステムの動作を示す図。
【図５】データプロパティ整合化プロセスを示す図。
【図６】エンティティタイプ及びドメイン認識プロセスを示す図。
【図７】請求項１のシステムにより実行されるエンティティ認識プロセスを示す図。
【図８】例示的なエンティティ認識プロセスを示す図。
【図９】エンティティインデックスレジストリ管理プロセスを示す図。
【図１０】エンティティインデックスレジストリを示す図。
【図１１】レジストリエントリを示す図。
【図１２】図１のデータ記憶システムにおけるコンピューティングデバイスのハードウェア構造を示す図。
【発明を実施するための形態】
【００１３】
データ記憶システム１００は、コンピューティングシステムであり、データを記憶するためのメモリハードウェアと、処理命令を実行するためのプロセッサハードウェア１０１と、を有する。プロセッサハードウェア１０１は、プロセッサハードウェアに接続されているメモリ１０２に記憶されている処理命令を実行することにより、図１に示されているプロセスを実行するよう構成されている。プロセッサハードウェア１０１は、プロセッサと呼ばれ、１つ以上のＣＰＵデバイスであってよい。メモリハードウェアは、メモリと呼ばれ、処理命令と、処理命令の実行中にプロセッサに入力されプロセッサから出力されるデータと、を記憶するための、プロセッサがアクセス可能である記憶デバイス１０２を含む。メモリハードウェアはまた、レジストリ１０４を記憶するための記憶領域と、整合化データストア１０３を記憶するための記憶領域と、を含み得る。これらの記憶領域の各々は、１つ以上の相互接続される記憶デバイスの一部又は全てを含み得る。
【００１４】
図１のプロセスのＳ１０１において、整合化データストア１０３は、例えば、データ記憶システムに既に入力されている複数の異種データセットからの各データセットから、登録されたエンティティを表す登録エンティティプロパティ−値ペアの配列を記憶し、ここで、登録エンティティプロパティ−値ペアの各々は、登録されたエンティティのプロパティを表すプロパティラベルと、それぞれの登録されたエンティティについてのプロパティの値範囲を表す値と、を含む。例えば、データセットは、そのデータセットの元々のストレージから、リレーショナルデータとして読み出され得、そこでは、エンティティは、エントリの行により表され、プロパティラベルは、列ヘッダであり、値は、行のエントリからの、それぞれの列におけるデータである。代替的に、データセットは、そのデータセットの元々のストレージから、グラフデータとして読み出されることもあり、そこでは、例えば、プロパティラベルは、ｈａｓＶａｌｕｅ述語又はこれと同等のものにより目的語ノードに連結されている主語ノードのラベルであり、値は、連結されている目的語ノードにより指定される値である。データセットは、プロパティ−値ペアの削除又は追加、リファレンスＩＤ、タイムスタンプ、及び他のメタデータの追加、並びに、データ記憶システム１００に記憶されている規定されたプロパティラベルのセットとのプロパティラベルの整合化等の変更があったとしても、整合化データストア１０３において、データセットそれぞれの元々の形式を保つことができる。
【００１５】
整合化データストア１０３は、情報の重複を回避するために、（データ記憶システムに対して）外部にある複数の物理的データ記憶位置からの各登録されたエンティティに関する情報の全てを、統合された形式で、単一のアクセスポイントを介してアクセス可能である１つの物理的データ記憶領域に記憶する。
【００１６】
このプロセスのＳ１０２において、レジストリ１０４は、複数の登録されたエンティティの各登録されたエンティティについて、複数のデータセットの各々に関する少なくとも１つの識別子プロパティ−値ペアを含むレジストリエントリを記憶し、ここで、識別子プロパティ−値ペアの各々は、それぞれのデータセット内の登録されたエンティティを一意に識別する、登録されたエンティティの識別子プロパティを表す識別子プロパティラベルと、それぞれの登録されたエンティティについての識別子プロパティの値を表す識別子値と、を含む。登録されたエンティティは、レジストリにおいて生じるエンティティ、すなわち、識別子プロパティ−値ペアが、入力データセットの間で識別され、レジストリエントリにおいて記憶されるエンティティ、を意味すると解される。複数のデータセットは、同じエンティティに関連するデータを格納し、したがって、各エンティティは、２つ以上の対応する識別子プロパティ−値ペアを有する。単一のデータセットについて、２つ以上の識別子プロパティ−値ペアが、単一のエンティティについてレジストリエントリにおいて記録されることも可能である。
【００１７】
識別子プロパティは、そのようなものとして、システムユーザ（ここで、システムユーザは、例えばユーザインタフェースを介する、データ記憶システムへの手動入力者であると解される）により、若しくはそれぞれのプロパティラベルの意味分析により、又はこれら２つの組合せにより、表され得る。例えば、プロパティラベルの自動意味分析は、識別子プロパティについての候補を識別することができ、このような候補が、承認又は否認のために、システムユーザに提示される。
【００１８】
ステップＳ１０３において、新たなデータセットが、整合化データストア１０３に既に記憶されているデータとの整合化のために取得される。新たなデータセットは、（例えば、ＵＲＬによりアドレス指定されている、）新たなデータセットの物理的記憶位置からデータを読み出し、該データをデータ記憶システムへとパーシングすることにより、取得される。取得されたデータセットは、１つ以上の取得データセットエンティティの第１のセットの各々についての複数の取得データセットプロパティ−値ペアを含み、ここで、取得データセットデータプロパティ−値ペアの各々は、取得データセットエンティティのプロパティを表すプロパティラベルと、それぞれの取得データセットエンティティについてのプロパティの値範囲を表す値と、を含む。
【００１９】
例えば、データ取得は、プロセッサ１０１が、ネットワークインタフェースハードウェアを介してデータを読み出すために、メモリ１０２に記憶されている処理命令を実行することにより、実行され得、ここで、プロセッサ１０１、メモリ１０２、及びネットワークインタフェースハードウェアの組合せが、取得モジュールを実現する。取得モジュールに加えて、システムにはまた、データプロパティ認識モジュールが提供され得る。データプロパティ認識は、プロセッサ１０１が、メモリ１０２に記憶されている処理命令を実行し、ネットワークインタフェースハードウェアを介して知識ベース又は他のデータストアへの読み出しアクセスを行うことにより、実行され得、ここで、プロセッサ１０１、メモリ１０２、及びネットワークインタフェースハードウェアの組合せが、データプロパティ認識モジュールを実現する。
【００２０】
取得モジュール及びデータプロパティ認識モジュールが提供されないシステムにおいて、入力データセット、すなわち、整合化データストアと整合化されるデータセットは、ステップＳ１０３の開始の際の認識された（すなわち、データ記憶システム１００により記憶されたセットからのプロパティラベルでラベル付けされた）プロパティの値から構成され、認識されたプロパティに対する値のマッピングが既知である、と仮定される。したがって、入力データセットにおける値は、プロパティラベルの記憶されたセット又はリストにおけるプロパティラベルにより表されるプロパティに起因し得る。例えば、プロパティラベルの記憶されたセット又はリストは、グラフベースのオントロジモデルのプロパティ−レベルノードとして記憶され得る。
【００２１】
取得モジュール及びデータプロパティ認識モジュールが提供されるシステムにおいて、入力データセット、すなわち、元々のストレージから取得モジュールによりシステムに読み出されるデータセットには、データセットにおいて表される各プロパティについて、プロパティラベルの記憶されたセットからのプロパティラベルが割り当てられる。各プロパティについて、データセットは、当該プロパティの値又は値の範囲をそれぞれ規定している値のセットを含む。ここで、値のセットは、例えば、表データセットにおける値の列、又は、データグラフにおける同じプロパティ−レベル概念をインスタンス化した値の集合、である。
【００２２】
取得モジュールは、異種の分散されているデータを収集及び抽出し、入力データセットの形で、システムへと統合する。入力データセットは、異なるフォーマットであり得、異なる度合いの情報複雑性を含み得る。
【００２３】
データプロパティ整合化モジュール２２０は、図１のプロセスによる、データにおいて表されるエンティティの識別のために、標準化されたデータプロパティをデータ記憶システムに提供する目的で、データを標準化する。データプロパティ整合化モジュールは、記憶されたリストにおけるプロパティラベルのうちの１つのプロパティラベルにマッピングされる値を有するデータセットを提供するために、このプロセスをサポートする。データプロパティ整合化モジュールは、記憶されたリストからのプロパティラベルを、入力データセット内の値により表されるプロパティに割り当てる。データプロパティ整合化モジュールは、未処理のデータを、その記述子（すなわち、元々のプロパティラベル）とともに受信し、記述子の意味とプロパティ及び知識の値とに基づいて、記述子を、記憶されたリストからのプロパティと整合化する。このプロセスは、独国特許出願第１０２０１６２２０７８１．４号及び第１０２０１６２２０７７１．７号において、より詳細に説明されており、これらの内容が、参照により、本明細書に組み込まれる。データプロパティ整合化モジュールの動作は、標準化されたデータプロパティ記述子のリストからデータプロパティ記述子を決定して又は新たなデータプロパティ記述子を決定して、データ値のセットに割り当てることであり、したがって、この機能は、認識機能とみなすことができ、データプロパティ整合化モジュールは、データプロパティ認識モジュールと呼ばれることもある。
【００２４】
より広範なデータ取得及び整合化システムのコンテキストにおけるデータプロパティ認識モジュール２２０の動作の原理が、図３に示されている。例えば、３つのエンティティの各エンティティについての３つのプロパティの各プロパティの値を含む未処理のデータが、図５に示されているように、データプロパティ認識モジュール２２０により、未処理のデータとして取得される。プロパティは、記述子でラベル付けされている。例示的なデータプロパティ認識モジュール２２０は、未処理のデータにおけるプロパティをラベル付けしている記述子の意味を、記憶されたリストからのプロパティラベルの意味と比較する意味エンジンを含む。データプロパティ認識モジュール２２０は、未処理のデータにおけるプロパティの値の統計的特性を、記憶されたリストからのプロパティラベルを表す値のセットの統計的特性と比較するデータ値フィンガープリントエンジンを含む。これらの比較に基づいて、値の各セット（すなわち、各列）に、記憶されたリストからのプロパティラベルが割り当てられる。
【００２５】
取得モジュール２１０及びデータプロパティ整合化モジュール２２０が、本システムに含まれるか、又は、データを本システムに提供する外部モジュールであるか、にかかわらず、これらのモジュールは、独国特許出願第１０２０１６２２０７８１．４号及び第１０２０１６２２０７７１．７号において開示されているもの等のデータプロパティ認識装置、データプロパティ認識方法、又はデータプロパティ認識プログラムにより提供され得、これらの内容は、参照により、本明細書に組み込まれる。
【００２６】
このプロセスはＳ１０４に進み、Ｓ１０４において、エンティティに関する取得データセットプロパティ−値ペアを使用して、登録されたエンティティからそれぞれのエンティティを識別する。詳細には、エンティティに関する取得データセットプロパティ−値ペアが、レジストリに記憶されている識別子プロパティ−値ペアに合致するプロパティ−値ペアを含んでいる場合である。取得データセットプロパティ−値ペアの全てが、合致するプロパティ−値ペアを探すために、識別子プロパティ−値ペアと比較され得る。代替的に、取得データセットプロパティ−値ペアのサブセットが、例えば、識別値を含むと仮定されたプロパティラベルとのプロパティラベルの意味比較に基づいて、比較のために選択されてもよい。代替的に、はじめに、上記のサブセットが、レジストリの識別子プロパティ−値ペアと比較され、合致が見つけられなかった場合、続いて、残りのプロパティ−値ペアと比較される、上記の両方の手法が組み合わされてもよい。合致とは、例えば、２つのペアのプロパティラベルが等しく、且つ、２つのペアの値が等しいことであることもあるし、２つのペアのプロパティラベルが等しく、且つ、２つのペアの値が、予め規定された許容範囲内で等しいことであることもあるし、２つのペアのプロパティラベルが、予め規定された許容範囲で等しく、且つ、２つのペアの値が等しいことであることもあるし、２つのペアのプロパティラベルが、予め規定された許容範囲で等しく、且つ、２つのペアの値が、予め規定された許容範囲で等しいことであることもある。
【００２７】
ステップＳ１０５において、取得データセットプロパティ−値ペアが、整合化データストレージへと統合される。例えば、ステップＳ１０５は、取得データセットエンティティについての取得データセットプロパティ−値ペアを、合致する識別子プロパティ−値ペアの識別子値により識別される登録されたエンティティに関して記憶されている登録エンティティプロパティ−値ペアの配列に統合することを含み得る。
【００２８】
詳細には、この統合することは、各取得データセットプロパティ−値ペアについて、プロパティラベルが、登録エンティティプロパティ−値ペアの記憶された配列におけるプロパティラベルに合致し、取得データセットプロパティ−値ペアの値が、合致するプロパティラベルを有する登録エンティティプロパティ−値ペアの値に合致する場合、記憶された配列に対して変更を行わず、取得データセットプロパティ−値ペアの値が、登録エンティティプロパティ−値ペアに合致しない場合、取得データセットプロパティ−値ペアを、登録エンティティプロパティ−値ペアとして、記憶された配列に追加すること；及び、プロパティラベルが、登録エンティティプロパティ−値ペアの記憶された配列におけるプロパティラベルに合致しない場合、取得データセットプロパティ−値ペアを、登録エンティティプロパティ−値ペアとして、記憶された配列に追加すること、を含み得る。
【００２９】
エントリについてのレジストリエントリが、新たに追加されたプロパティ−値ペアを表すメタデータを用いて拡張される。このメタデータは、整合化データストア１０３内の記憶位置を識別する情報、１つ以上の識別子プロパティ−値ペア、及び、システム１００に入力された複数のデータセットのうちの取得されたデータセットであって、プロパティ−値ペアが整合化データストア１０３に記憶された元となるデータセットを一意に識別するデータセットＩＤを含む。
【００３０】
図３は、インテリジェントなデータ取得及び整合化システムのより広範なコンテキストにおけるデータ記憶システム１００のコンポーネントを示している。図４は、サンプルが取得されるデータセットエンティティを参照する図３のシステムの動作を示している。
【００３１】
図２のデータ記憶システム１００は、インテリジェントなデータ取得及び整合化システムの一部を形成することができ、システムは、データ取得タスクを自動化してデータプロパティを認識及びラベル付けし、入力データセットにおいて表されるエンティティのエンティティタイプ及びドメインを認識し、上記データセット内のエンティティを識別する。音声認識装置が、オーディオを、音声の成文化された表現すなわちテキストに変換するのと同じように、インテリジェントなデータ取得及び整合化システムは、異種データセットを、単一の統合された異種知識ベース１０３ａ内の整合化された識別されたデータに変換する。図３のコンテキストにおけるエンティティ認識モジュール１０１ａに帰すると考えられ得る図１のプロセスは、図３のシステムにより促進される、マシンによる入力データセットの理解におけるキーとなる役割を提供する。
【００３２】
データ取得モジュール２１０は、それぞれの元々のデータソースから、異種の分散されているデータを収集及び抽出し、本システムへと統合し、これは、図１のステップＳ１０３に関連して上述されている。これらのデータソースは、異なるフォーマット及び異なる度合いの情報複雑性であり得る。
【００３３】
データ標準化モジュール２１２は、データ取得モジュール２１０により取得されたデータを取得し、該データを処理して、適切なフォーマット、すなわち、本システム用の標準フォーマットを提供する。データ標準化モジュール２１２は、本システム用の規定されているフォーマットに準拠するように、本システムへのパーシングの際に、値の単位及びデータフォーマットを変更する。データ標準化モジュール２１２は、本システムにより読み取り可能な標準化されたフォーマットを提供する目的で、データを標準化する。データ標準化モジュール２１２は、認識及び整合化モジュールにより認識される正しいフォーマットを提供するために、このプロセスをサポートする。図４に示されているように、取得されたデータは、取得データセットプロパティ−値ペアへとパーシングされる。
【００３４】
データプロパティ整合化モジュール２２０は、データ取得モジュール２１０及びデータ標準化モジュール２１２を介して取得されたプロパティのセットを認識するよう構成されており、また、入力データセットが整合化されるだけでなく、どのプロパティ−値ペアが識別子プロパティ−値ペアであり得るかを認識する、標準化されたデータプロパティのセットを記憶するよう構成されている。データプロパティ整合化モジュール２２０は、整合化機能又は認識機能を実行し、ここで、整合化は、データプロパティの規定されたリスト又はセットとの整合化である。図４に示されているように、入力データセットの元々のプロパティラベルは、プロパティラベルの記憶されたリストからのプロパティラベルに合致するように変更される。取得されたデータセットのプロパティを、記憶されたリストからのプロパティと照合するために、元々のプロパティラベルの意味と記憶されたリストのプロパティラベルの意味とが、値の統計的特性とともに、比較される。加えて、データプロパティ整合化モジュール２２０は、取得データセットプロパティ−値ペアのうちのどれが識別子であり得るかを認識する。例えば、記憶されたリストにおける特定のプロパティラベルは、本システムにより、識別子を表すと仮定され得る。このモジュールは、それぞれのプロパティラベルの意味分析を実行することができる。例えば、プロパティラベルの自動意味分析は、識別子プロパティについての候補を識別することができ、このような候補が、承認又は否認のために、システムユーザに提示される。データプロパティ整合化モジュールの出力は、抽出されたデータプロパティ−値ペアを含む、取得されたデータセットのクリーンで注釈付けされたバージョンである。
【００３５】
エンティティタイプ及びドメイン認識２３０は、入力データセットにおいて表されるエンティティを、カテゴリ分類、エンティティタイプ、及びドメインの２つの階層レベルで分類するための手順である。本システムは、知識に基づいて、受信されたデータプロパティのセット及び可能性のある識別子から、追加の情報を推測することができる。エンティティタイプ及びドメイン認識２３０は、エンティティタイプラベル及びドメインラベルを用いて、入力データセットにおいて表されるエンティティを注釈付けする又は分類するために、ユーザプリファレンス並びにデータの意味及び統計的特性の知識ベースを用いて、自動化され得る、あるいは、部分的に自動化され部分的に手動であり得る。プロパティラベルが、規定されたリストからのものであるのと同じように、エンティティタイプ及びドメインも、規定されたリストからのものであり得る。全ての場合において、リストは、部分的に予め規定され得るが、新たなプロパティラベル、エンティティタイプ、又はドメインに遭遇したときに拡張され得ることに留意されたい。図４に示されているように、取得データセットプロパティ−値ペアは、エンティティタイプ記述子及びドメイン記述子という新たな記述子で注釈付けされる。
【００３６】
エンティティ認識モジュール１０１ａは、図１のプロセスの一表現であり、これは、取得データセットプロパティ−値ペアが、整合化データストアに書き込まれることをもたらす。整合化データストアは、統合された異種知識ベース１０３ａにより、図３に例示されている。エンティティ認識モジュールは、取得データセットプロパティ−値ペアが参照する特定のエンティティを認識するよう構成されている。エンティティ認識モジュール１０１ａは、エンティティタイプ及びドメイン認識モジュール２３０から、エンティティの、標準化されたデータプロパティのセット、可能性のある識別子のセット、並びに、可能性のあるタイプ及びドメインを取得し、このモジュールは、これらの入力、レジストリに記憶されている知識、及び整合化データストア１０３に記憶されている知識の一部又は全てに基づいて、入力データセットにおけるどの特定のエンティティプロパティ−値ペアが参照するかに関するレコメンデーションを提供する。図４に示されているように、本システムに既知であり、レジストリ１０４におけるエントリにより表されるエンティティが、取得データセットプロパティ−値ペアにより表されるエンティティであると判別される。
【００３７】
統合された異種知識ベース１０３ａは、複数の異種データセットからのエンティティに関する知識の統合ビューを提供するインテリジェントなデータリポジトリである。統合された異種知識ベース１０３ａは、本システムに記憶された全てのデータ及び知識についての統一されたインタフェースを提供する。任意的に、統合された異種知識ベース１０３ａのコンポーネントは、データの性質に応じて、最良のデータリポジトリを決定及び提供することができる。統合された異種知識ベース１０３ａは、整合化データストア１０３に記憶されている特定のエンティティに関するデータの全ての統合ビューを提供する。
【００３８】
図５は、データプロパティ整合化モジュール２２０に入力されデータプロパティ整合化モジュール２２０から出力されるサンプルを例示している。この出力は、プロパティ−値ペアに加えて、プロパティラベルの記憶されたリストに関連付けられて記憶されているプロパティラベルに関連するメタデータが、取得データセットプロパティ−値ペアを注釈付けするために使用されることを示している。
【００３９】
図６は、エンティティタイプ及びドメイン認識２３０に入力されエンティティタイプ及びドメイン認識２３０から出力されるサンプルを例示している。エンティティタイプ及びドメイン認識モジュール２３０は、知識ベースに記憶されている知識と、受信されたデータプロパティについてのユーザエクスペリエンスと、に基づいて、エンティティタイプ及びドメインの注釈を、各取得データセットエンティティに提供するよう構成されている。このコンポーネントは、オントロジから知識を抽出し、ユーザフィードバックからプリファレンスを抽出し、知識を利用して、データプロパティに従って、エンティティタイプを認識し、エンティティタイプ及びデータプロパティに従って、対応するドメインを認識する。図６に示されているように、エンティティタイプ認識モジュール２３１が、エンティティタイプを認識し、ドメイン認識モジュール２３２が、ドメインを認識する。
【００４０】
データ取得モジュール２１０、データ標準化モジュール２１２、データプロパティ整合化モジュール２２０、及び、エンティティタイプ及びドメイン認識モジュール２３０は、図２のシステムにより実行される図１のプロセスについての前処理タスクを実行するとみなされ得る。これらのモジュールの記載は、図１のプロセス及び図２のシステムについてのコンテキストを説明するために提供されている。図１のプロセスは、図２のハードウェアアーキテクチャ等のハードウェアアーキテクチャ上で実行される。図３の概略図において、図１のプロセスは、エンティティ認識モジュール１０１ａにより表される。
【００４１】
エンティティ認識モジュール１０１ａは、取得されたデータセットから一意なエンティティを識別し、一意なエンティティを、レジストリ１０４に登録されているエンティティにマッチング又はマッピングする。レジストリ１０４は、図７のエンティティインデックスレジストリにより例示されている。エンティティインデックスレジストリ１０４は、エンティティメタデータを、エンティティごとのレジストリエントリにおいて記憶する。例示的なエンティティメタデータは、システム識別子（すなわち、エンティティと、これに関連する、データ記憶システム１００内の全てのデータと、についてのＩＤ）、データセットレジストリ（エンティティを表すプロパティ−値ペアが、整合化データストア１０３に記憶されている物理的位置へのポインタを記憶している接続されているレジストリ）の識別子、及び、本システムにより処理された全てのデータセットにおいて見つけられたエンティティ識別子の識別子プロパティ−値ペアを含む。エンティティインデックスレジストリに問い合わせるために、ＲＥＳＴ  ＡＰＩが、例えば、所与の識別子プロパティ−値ペアを有するエンティティを探すためのメソッドといった、このレジストリの情報を取得するための異なるメソッドを提供する。
【００４２】
図７は、エンティティ認識モジュール１０１ａにより提供される機能を、より詳細に示している。
【００４３】
エンティティ認識モジュール１０１ａは、登録されたエンティティの中から、取得データセットプロパティ−値ペアが参照する具体的なエンティティを認識するよう構成されている。エンティティ認識モジュール１０１ａは、エンティティインデックスレジストリ１０４を管理し、このレジストリの使用を調整し、受信された取得データセットプロパティ−値ペアのセットと、任意的に、可能性のある１つ以上の識別子プロパティ−値ペアと、任意的に、エンティティタイプ及びドメインの注釈と、を所与として、レジストリに対して更新を行う。この機能をより詳細に例示するために、図７のエンティティ認識モジュール１０１ａが、整合化エンジン１０１１及びエンティティインデックスマネージャ１０１２という２つの機能サブモジュールに分割される。これらのサブモジュールは、以降の段落においてさらに説明される。さらに、このモジュールをより良く理解するために、エンティティ認識モジュール１０１ａにより実行される例示的なプロセスの図が、図８に示されている。
【００４４】
図２のプロセッサ１０１は、エンティティ認識モジュール１０１ａとして機能するために、接続されているメモリ１０２に記憶されている処理命令を実行する。図８は、エンティティ認識モジュール１０１ａにより実行される例示的なエンティティ整合化プロセスを示している。
【００４５】
ステップＳ８０１〜Ｓ８１５のプロセスは、エンティティごとに実行され、したがって、これらのステップの全ては、取得されたデータセットにおいて表される単一のエンティティに関する。ステップＳ８０１において、エンティティについての取得データセットプロパティ−値ペアのうちの識別子プロパティ−値ペアの数が判別される。この判別は、識別子プロパティ−値ペアに起因するプロパティラベル（すなわち、エンティティが値により一意に識別されるプロパティ）に関する、システム１００により記憶されたルールに基づき得る。エンティティを表す取得データセットプロパティ−値ペアにおいて識別子プロパティ−値ペアが存在しない場合、フローはＳ８０２に進む。１つの識別子プロパティ−値ペアが存在する場合、フローはＳ８０５に進む。Ｓ８０５において、取得されたデータセットからの識別子プロパティ−値ペアが、レジストリ１０４に記憶されている識別子プロパティ−値ペアに合致するか否かが判定される。合致する場合、フローはＳ８０６に進む。合致しない場合、フローはＳ８０７に進む。エンティティを表す取得データセットプロパティ−値ペアにおいて２つ以上の識別子プロパティ−値ペアが存在する場合、フローはＳ８１１に進む。Ｓ８１１において、取得データセットエンティティについての２つ以上の識別子プロパティ−値ペアのうち、レジストリ１０４に記憶されている識別子プロパティ−値ペアに合致する少なくとも１つの識別子プロパティ−値ペアが存在するか否かが判定される。存在する場合、フローはＳ８１２に進み、存在しない場合、フローはＳ８０７に進む。
【００４６】
ステップＳ８０１、Ｓ８０５、Ｓ８０７、及びＳ８１１の例において、取得データセットエンティティを表す識別子プロパティ−値ペアは、前もって識別される。しかしながら、代替的に、全ての取得データセットプロパティ−値ペアが、識別子である可能性を有するとして扱われてもよく、したがって、全ての取得データセットプロパティ−値ペアが、レジストリに記憶されている識別子プロパティ−値ペアと比較されてもよい。比較により、合致が存在しないと判定された場合、フローはＳ８０７に進む。比較により、１つの合致が存在すると判定された場合、フローはＳ８０６に進む。比較により、２つ以上の合致が存在すると判定されたが、レジストリからの合致する識別子プロパティ−値ペアが、同じエンティティに関連する場合、フローはＳ８０６に進む。比較により、２つ以上の合致が存在すると判定され、レジストリからの合致する識別子プロパティ−値ペアが、異なるエンティティに関連する場合、フローはＳ８１２に進む。
【００４７】
Ｓ８０１において、（識別値によりインスタンス化されると推定されるプロパティラベルのリスト等の記憶されたロジックに基づいて、）識別子プロパティラベルであると推定されるプロパティラベルの存在を本システムが識別できなかった場合、Ｓ８０２において、ユーザ見識に基づいて、取得データセットプロパティ−値ペアが表す１つ以上の登録されたエンティティを認識するために、ダイアログが、ユーザインタフェースを介して、ユーザに対して確立される。
【００４８】
Ｓ８０２において、ユーザインタフェースを介して、システムユーザは、エンティティについての取得データセットプロパティ−値ペアのうちの１つを、識別子プロパティ−値ペアとして指定するように要求されるか、あるいは、ユーザは、取得データセットプロパティ−値ペアの全てを、識別子プロパティ−値ペアとして指定してもよいか、のいずれかである。いずれにせよ、取得データセットエンティティの識別子プロパティ−値ペアと、レジストリの識別子プロパティ−値ペアと、の間の比較が実行される。比較により、合致が存在しないと判定された場合、フローはＳ８０７に進む。比較により、１つの合致が存在すると判定された場合、フローはＳ８０６に進む。比較により、２つ以上の合致が存在すると判定されたが、レジストリからの合致する識別子プロパティ−値ペアが、同じエンティティに関連する場合、フローはＳ８０６に進む。比較により、２つ以上の合致が存在すると判定され、レジストリからの合致する識別子プロパティ−値ペアが、異なるエンティティに関連する場合、フローはＳ８０３に進み、Ｓ８０３はＳ８１２と同じである。
【００４９】
ステップＳ８０３及びＳ８１２において、エンティティ曖昧性解消プロセスが実行される。このプロセスは、取得データセットプロパティ−値ペアにおける識別子プロパティ−値ペアにより識別されるエンティティに関する曖昧性を解決するものである。エンティティ曖昧性解消プロセスは、キーとなる入力として、識別子プロパティ−値ペアのセット（識別子を有する場合）と、オリジナルデータを含む全ての関連情報（データプロパティのセット、データプロパティについての値、及び、任意的にエンティティタイプ及びドメインを含む１つ以上のエンティティ記述子）と、を有する。これらの情報を用いて、エンティティ曖昧性解消コンポーネントは、整合化データストア１０３に記憶されている知識を検索して、登録されたエンティティに関連する各識別子について、確率Ｐｅとともに関連する重みＷｅを取得する。最後に、以下の式の結果として、最上位ランクのエンティティが返される：
【数１】
2018198047.tif 000003
【００５０】
エンティティ曖昧性解消プロセスは、取得データセットプロパティ−値ペアが、２つ以上の異なるエンティティレジストリエントリの識別子プロパティ−値ペアに合致することにより生じる曖昧性を解決するプロセスである。
【００５１】
例示的なエンティティ曖昧性解消プロセスは、合致する組合せの識別子プロパティ−値ペアにより識別される異なる登録されたエンティティの各登録されたエンティティについて：登録されたエンティティに関して整合化データストアに記憶されている登録エンティティプロパティ−値ペアの配列から、取得データセットプロパティ−値ペアのうちのプロパティラベルに合致するプロパティラベルのセットを識別すること；合致するプロパティラベルのセットの各合致するプロパティラベルについて、（文字列類似度距離又は数値距離で）それぞれの値を比較し、比較の結果を組み合わせて、取得データセットエンティティと登録されたエンティティとの間の距離尺度を得ること；及び、取得データセットエンティティへの得られた距離尺度が最も短い登録されたエンティティを、取得データセットエンティティについての整合化ターゲットとして選択すること、を含み得る。
【００５２】
代替的に、Ｓ８０２において、類似度検索プロセスを実行するシステム１００のオプションが、ユーザに提示されてもよい。選択された場合、フローはＳ８０７に進む。
【００５３】
ステップＳ８０７において、類似度検索プロセスが実行される。類似度検索プロセスは、データプロパティ及び値と、識別子と、エンティティタイプ記述子と、ドメイン記述子と、のうちの１つ以上のうちの受信されたデータに基づいて、最も類似する登録されたエンティティを決定するものである。類似度検索プロセスは、取得データセットエンティティと登録されたエンティティの各々との間の距離尺度を計算する。例示的な類似度検索プロセスの第１のステップにおいて、システム１００は、データの性質を分析し、データのタイプに基づいて、データを分類する。これは、プロパティ−値ペアについての距離比較の形式を決定するためである。データが分類されると、システム１００は、取得データセットプロパティ−値ペアのプロパティラベルと登録エンティティプロパティ−値ペアのプロパティラベルとの間の共通部分を判別する。最後に、システム１００は、共通しているプロパティラベルに起因する値に基づいて距離計算を実行して、取得データセットエンティティと登録されたエンティティとの間の類似度を計算し、結果として、異なるエンティティの間の共通部分を確立する、プロパティ間のユークリッド距離を得る：
【数２】
2018198047.tif 000004
【００５４】
プロパティ間の距離を計算するための異なる関数は、現在の技術を用いて計算される文字列類似度距離及び数値距離に基づく。
【００５５】
類似度検索プロセスは、レジストリの識別子プロパティ−値ペアに限定されず、取得データセットプロパティ−値ペアを、整合化データストア１０３に記憶されている、登録されたエンティティに関するプロパティ−値ペアの配列と比較する。これは、エンティティに関する全ての知識に基づく深い検索と考えられ得る。例示的な類似度検索プロセスは、レジストリにおけるレジストリエントリの各レジストリエントリについて：レジストリエントリにより識別される登録されたエンティティに関して整合化データストアに記憶されている登録エンティティプロパティ−値ペアの配列から、取得データセットプロパティ−値ペアのうちのプロパティラベルに合致するプロパティラベルのセットを識別すること；合致するプロパティラベルのセットの各合致するプロパティラベルについて、（文字列類似度距離又は数値距離で）それぞれの値を比較し、比較の結果を組み合わせて、取得データセットエンティティとレジストリエントリにより識別される登録されたエンティティとの間の距離尺度（上記で例示されたようなユークリッド距離）を得ること；及び、取得データセットエンティティへの得られた距離尺度が最も短い登録されたエンティティを、第２のセットのメンバーに最も類似する登録されたエンティティとして選択すること、を含む。
【００５６】
ステップＳ８０８において、取得データセットエンティティと第２のセットのメンバーに最も類似する登録されたエンティティとして選択された登録されたエンティティとの間の得られた距離尺度が、規定された閾値よりも大きいか又は閾値以下であるかが判定される。規定された閾値は、本システムにおけるグローバル変数であり、これは、システム管理者により予め規定されて適応可能であり得る。得られた距離尺度が、閾値以下（below）であると判定された場合、フローはＳ８０９に進み、エンティティについての取得データセットプロパティ−値ペアを、最も類似する登録されたエンティティに関して記憶されている登録エンティティプロパティ−値ペアの配列に統合する。得られた距離尺度が、閾値よりも大きい（above）と判定された場合、フローはＳ８１０に進み、これは、エンティティに関する登録エンティティプロパティ−値ペアとして、取得データセットプロパティ−値ペアを、整合化データストアに追加するＳ８１５と、エンティティについてレジストリにおいて新たなエントリを作成するＳ８１４と、を含む。
【００５７】
ステップＳ８０４、Ｓ８０６、Ｓ８０９、及びＳ８１３において、取得データセットプロパティ−値ペアが、整合化ターゲットエンティティについて、整合化データストア１０３に統合される。これらのステップは、ターゲットエンティティを表す取得データセットプロパティ−値ペアを、ターゲットエンティティを表す既に記憶されているプロパティ−値ペア（すなわち、登録エンティティプロパティ−値ペア）とどのように整合化するかを決定する。この目的のため、システム１００は、既に記憶されているプロパティ−値ペアと取得データセットプロパティ−値ペアとの間のオーバーラップを判定する。オーバーラップしていないデータの場合、取得データセットプロパティ−値ペアが、ターゲットエンティティについての登録エンティティプロパティ−値ペアとして、整合化データストア１０３に書き込まれる。オーバーラップしているデータの場合、例示的なプロシージャは、取得されたデータセットについての信頼度スコアと、オーバーラップしている登録エンティティプロパティ−値ペアが取得された取得元のデータセットについての信頼度スコアと、を決定し、整合化データストア１０３に記憶されるべき、高い方の信頼度スコアを有するプロパティ−値ペアを選択することである。例えば、信頼度スコアは、データセットにおけるシステムユーザの信頼度、及び／又は、新たなデータのプロパティ−値ペアが各エンティティを参照する回数、に基づき得る。これらの信頼度スコアが、注釈として、知識ベースに記憶され得る。
【００５８】
統合の例は次の通りである：各取得データセットプロパティ−値ペアについて：プロパティラベルが、登録エンティティプロパティ−値ペアの記憶された配列におけるプロパティラベルに合致し、取得データセットプロパティ−値ペアの値が、合致するプロパティラベルを有する登録エンティティプロパティ−値ペアの値に合致する場合、記憶された配列に対して変更を行わず、取得データセットプロパティ−値ペアの値が、登録エンティティプロパティ−値ペアに合致しない場合、取得データセットプロパティ−値ペアを、登録エンティティプロパティ−値ペアとして、記憶された配列に追加し（Ｓ８１４）；プロパティラベルが、登録エンティティプロパティ−値ペアの記憶された配列におけるプロパティラベルに合致しない場合、取得データセットプロパティ−値ペアを、登録エンティティプロパティ−値ペアとして、記憶された配列に追加する（Ｓ８１４）。Ｓ８１３において、取得データセットプロパティ−値ペアからの識別子プロパティ−値ペアが、それぞれのレジストリエントリに追加される。
【００５９】
エンティティインデックスマネージャ１０１２は、エンティティインデックスレジストリ１０４における全てのＣＲＵＤ（Create（作成）操作、Read（読み取り）操作、更新（Update）操作、及び削除（Delete）操作）要求を管理するよう構成されている。図９は、エンティティインデックスマネージャ１０１２が従う例示的なロジックを示している。
【００６０】
Ｓ９０１において、整合化エンジン１０１１は、取得データセットエンティティのうちのエンティティを指定するｐｕｔ要求を、エンティティインデックスマネージャ１０１２に発行する。エンティティは、ＪＳＯＮエンティティとして、エンティティインデックスマネージャ１０１２によりパーシングされる。
【００６１】
Ｓ９０２において、エンティティ、すなわち、ＪＳＯＮエンティティ内に含まれる取得されたデータセットからのプロパティ−値ペアが、新たなエンティティとして、整合化データストア１０３に追加されているか（例えば、図８のＳ８１０の一部として又は図８のＳ８１０に続いて）、又は、登録されたエンティティについて、整合化データストア１０３に既に記憶されているプロパティ−値ペアの配列と統合されているか（例えば、図８のステップＳ８０４、Ｓ８０６、Ｓ８０９、及びＳ８１３の一部として）、が判定される。前者の場合、フローはＳ９０３に進み、後者の場合、フローはＳ９０４に進む。
【００６２】
Ｓ９０３において、ＰＯＳＴ動作が実行され、エンティティについてのレジストリエントリが、エンティティインデックスレジストリ１０４において作成される。エントリは、エンティティを表す取得データセットプロパティ−値ペアのうちの識別子プロパティ−値ペアとともに、本システムにおける登録されたエンティティの間でエンティティを一意に識別するシステムＩＤ又はリファレンス番号を含む。加えて、データセットＩＤ又はＵＲＬ等の、データセットについてのメタデータが、レジストリエントリに含められ得る。エンティティを表す取得データセットプロパティ−値ペアが、登録エンティティプロパティ−値ペアとして、整合化データストア１０３に追加される。
【００６３】
Ｓ９０４において、データセット識別子に基づいて、データセットからの識別子プロパティ−値ペアが、レジストリエントリに既に追加されているかどうかが判定される。データセットからの識別子プロパティ−値ペアが、レジストリエントリに既に追加されていると判定された場合、フローはＳ９０６に進み、そうでない場合、フローはＳ９０５に進む。
【００６４】
Ｓ９０５において、エンティティについての取得されたデータセットからの識別子プロパティ−値ペアを含むデータセットオブジェクトが、レジストリエントリに追加される。エンティティについての残りの取得データセットプロパティ−値ペアが、整合化データストア１０３における、エンティティについての登録エンティティプロパティ−値ペアの配列に追加される。この追加は、全てのプロパティ−値ペアであってもよいし、又は、同じエンティティについての既存の登録エンティティプロパティ−値ペアに合致する取得データセットプロパティ−値ペアを除いてもよい。
【００６５】
Ｓ９０６において、各取得データセットプロパティ−値ペアについて、プロパティラベルが、エンティティについての登録エンティティプロパティ−値ペアの配列の中に既に存在しているか否かが判定される。プロパティラベルが、配列の中に存在していないと判定された場合、フローはＳ９０７に進む。プロパティラベルが、配列の中に既に存在していると判定された場合、フローはＳ９０８に進む。
【００６６】
Ｓ９０７において、取得データセットプロパティ−値ペアが、エンティティについての登録エンティティプロパティ−値ペアの配列に追加される。
【００６７】
Ｓ９０８において、値が、合致するプロパティラベルについての登録エンティティプロパティ−値ペアの配列の中に既に存在している値のいずれかに合致するかどうかが判定される。値が合致する場合、フローはＳ９１０に進む。値が合致しない場合、フローはＳ９０９に進む。
【００６８】
Ｓ９０９において、取得データセットプロパティ−値ペアが、エンティティについての登録エンティティプロパティ−値ペアの配列に追加される。
【００６９】
Ｓ９１０において、エンティティインデックスレジストリ又は登録エンティティプロパティ−値ペアの配列に対する変更なく、取得データセットプロパティ−値ペアが破棄される。
【００７０】
このプロシージャは、ステップＳ９０４及びＳ９０５を省いてもよく、したがって、ステップＳ９０２における肯定的な判定がステップＳ９０６に直接的につながることに留意されたい。
【００７１】
エンティティインデックスレジストリ１０４が、図１０に示されている。エンティティインデックスレジストリ１０４は、データ記憶デバイス又はデータ記憶デバイス内のメモリ領域であり、システムにより記憶された、全てのエンティティのメタデータとともにリファレンスインデックスを含む情報を記憶する。このレジストリは、複数の異なるデータストアにおける分散されているエンティティを記憶する可能性を可能にする。例えば、レジストリ１０４は、各エンティティに関連する以下のパラメータとともにインデックスを、エンティティについてのエントリにおいて記憶する：一意なシステムｉｄ、識別子プロパティ−値ペア、データストアリファレンス又はデータセットリファレンス、及び、データセットが、整合化データストア１０３においてアクセスされ得るアドレス等の、図１１に示されているような他のパラメータ。
【００７２】
図１１は、例示的なレジストリエントリを示しており、このレジストリエントリは、図１０におけるエンティティインデックスレジストリ１０４内に例示されている。
【００７３】
エンティティインデックスレジストリ１０４は、集中型のインデックスを、システム１００に記憶される全てのエンティティに提供する。さらに、エンティティについてのプロパティ−値ペアを含む各データセットについてのデータセットＩＤ及び少なくとも１つの識別子プロパティ−値ペアを含めることは、この分散されている情報が特定され得る識別子だけでなく、エンティティがこの情報の一部を有する各データストアにおけるエンティティが識別されることを可能にする。最後に、エンティティインデックスレジストリ１０４は、図１１に示されているように、最終更新のタイムスタンプ又は他のメタデータ等の何らかの追加の情報を提供することができる他の追加の情報を記憶する。
【００７４】
統合された異種知識ベース１０３ａは、整合化データストアの例であり、システム１００に存在する知識の統合ビューを提供するインテリジェントなデータリポジトリである。各エンティティについての登録エンティティプロパティ−値ペアの配列が、統合された異種知識ベース１０３ａにおいて記憶される。知識ベース１０３ａは、データセットを、データセットの元々のフォーマットで記憶することができ、したがって、例えば、ドキュメントストア（例えば、ＭｏｎｇｏＤＢ）、グラフデータベース（例えば、Ｎｅｏ４ｊ）、又はインメモリデータ（Ｓｐａｒｋ  ＲＤＤ）として、様々なデータリポジトリを内部的に使用することができる。これらのデータリポジトリの各々は、異なるコンピュータに配置されることもあるし、可能である場合は、それらのうちの複数（クラスタ）に配置されることもある。異種知識ベースは、各データフラグメントについての最も適切な１つの場所又は複数の場所（可能であれば複製される）を選択して、内部データリポジトリにデータを記憶して更新することができる。統合された異種知識ベース１０３ａはまた、以下のことにより、知識ベースに対するデータクエリ操作を処理し、記憶されているデータに対するクエリに応答するためのインタフェースを提供するよう構成されている：
システムにおいて利用可能な知識を使用してクエリを拡張して、クエリに回答するのに関連する全てのデータを識別すること；
データの関連部分を、対応するクエリに関連するそれらの対応するデータストアにおいて特定すること；
クエリの要件及びデータストアの能力に応じて、クエリ最適化のために異なるデータストアを利用すること；
これらのデータストアの各々から取得された部分的回答を、単一のデータストアから取得されたものであるように、統一された回答に統合すること。
【００７５】
図１２は、本発明を具現化し図１の実施形態の方法を実施するために使用され得るデータ記憶システム１００の全て又は一部を形成するデータ記憶サーバ等のコンピューティングデバイスのブロック図である。コンピューティングデバイスは、プロセッサ９９３及びメモリ９９４を有する。任意的に、コンピューティングデバイスは、例えば本発明の実施形態の他のコンピューティングデバイスといった他のコンピューティングデバイスとの通信のためのネットワークインタフェース９９７も有する。
【００７６】
例えば、一実施形態は、そのようなコンピューティングデバイスのネットワークから構成され得る。任意的に、コンピューティングデバイスは、キーボード及びマウス等の１つ以上の入力機構９９６及び１つ以上のモニタ等のディスプレイユニット９９５も有する。これらのコンポーネントは、バス９９２を介して互いに接続可能である。
【００７７】
メモリ９９４は、コンピュータ読み取り可能な媒体を含み得、コンピュータ読み取り可能な媒体という用語は、コンピュータ実行可能な命令又はデータ構造を運ぶ又は記憶するよう構成されている１つの媒体又は複数の媒体（例えば、中央データベース若しくは分散データベース並びに／又は関連するキャッシュ及びサーバ）を指し得る。コンピュータ実行可能な命令は、例えば、汎用コンピュータ、専用コンピュータ、又は専用処理デバイス（例えば、１つ以上のプロセッサ）によりアクセス可能であり、汎用コンピュータ、専用コンピュータ、又は専用処理デバイス（例えば、１つ以上のプロセッサ）に１つ以上の機能又は動作を実行させる命令及びデータを含み得る。したがって、「コンピュータ読み取り可能な記憶媒体」という用語はまた、マシンにより実行され、マシンに本開示の方法のうちの任意の１つ以上を実行させる命令のセットを記憶する、符号化する、又は運ぶことができる任意の媒体を含み得る。したがって、「コンピュータ読み取り可能な記憶媒体」という用語は、ソリッドステートメモリ、光媒体、及び磁気媒体を含むが、これらに限定されるものではないと解釈され得る。限定ではなく例として、そのようなコンピュータ読み取り可能な媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）又は他の光ディスクストレージ、磁気ディスクストレージ又は他の磁気記憶デバイス、フラッシュメモリデバイス（例えば、ソリッドステートメモリデバイス）を含む非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。
【００７８】
プロセッサ９９３は、コンピューティングデバイスを制御し、例えば、本明細書及び特許請求の範囲に記載のエンティティ認識モジュール１０１ａ、エンティティインデックスレジストリ１０４、エンティティタイプ及びドメイン認識モジュール２３０、データ取得モジュール２１０、データ標準化モジュール２１２、及び、データプロパティ整合化モジュール２２０の様々な異なる機能を実装するようにメモリに記憶されているコードを実行するといった処理動作を実行するよう構成されている。メモリ９９４は、プロセッサ９９３により読み書きされるデータを記憶する。本明細書において言及されているように、プロセッサは、マイクロプロセッサ、中央処理装置等の１つ以上の汎用処理デバイスを含み得る。プロセッサは、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は、他の命令セットを実装しているプロセッサ若しくは命令セットの組合せを実装しているプロセッサを含み得る。プロセッサはまた、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ等といった１つ以上の専用処理デバイスを含み得る。１つ以上の実施形態において、プロセッサは、本出願において説明されている動作及びステップを実行するための命令を実行するよう構成されている。
【００７９】
ディスプレイユニット９９５は、コンピューティングデバイスにより記憶されたデータの表現を表示することができ、ユーザとコンピューティングデバイスに記憶されているプログラム及びデータとの間のインタラクションを可能にするカーソル及びダイアログボックス並びにスクリーンも表示することができる。入力機構９９６は、ユーザがコンピューティングデバイスにデータ及び命令を入力することを可能にし得る。
【００８０】
ネットワークインタフェース（ネットワークＩ／Ｆ）９９７は、インターネット等のネットワークに接続され得、ネットワークを介して他のそのようなコンピューティングデバイスに接続可能である。ネットワークＩ／Ｆ９９７は、ネットワークを介する他の装置からの／へのデータ入力／出力を制御することができる。マイクロフォン、スピーカ、プリンタ、電力供給ユニット、ファン、ケース、スキャナ、トラッカボール等といった他の周辺デバイスも、コンピューティングデバイスに含まれ得る。
【００８１】
図２、図３、図４、図７、及び図１０のデータ記憶システム１００は、メモリ９９４に記憶されている処理命令（プログラム）を実行し、ネットワークＩ／Ｆ９９７を介してデータを取得する１つ以上のプロセッサ９９３であってよい。詳細には、プロセッサ９９３は、図１の方法のように、元々のデータストアから、ネットワークＩ／Ｆを介して、取得データセットプロパティ−値ペアを受信し、データを、整合化データストアへと整合化するための処理命令を実行する。さらに、プロセッサ９９３は、整合化されたデータを、接続されている記憶ユニットに記憶するための、且つ／又は、記憶のために、ネットワークＩ／Ｆ９９７を介して、整合化されたデータを、統合された異種知識ベース１０３ａに送信するための処理命令を実行することができる。
【００８２】
図２、図３、図４、図７、及び図１０のエンティティ認識モジュール１０１ａは、メモリ９９４に記憶されている処理命令（プログラム）を実行し、ネットワークＩ／Ｆ９９７を介して且つ／又はデータ取得モジュール２１０を介してデータを取得する１つ以上のプロセッサ９９３であってよい。詳細には、プロセッサ９９３は、図１の方法のように、元々のデータストアから、ネットワークＩ／Ｆを介して、取得データセットプロパティ−値ペアを受信し、データを、整合化データストアへと整合化するための処理命令を実行する。さらに、プロセッサ９９３は、整合化されたデータを、接続されている記憶ユニットに記憶するための、且つ／又は、記憶のために、ネットワークＩ／Ｆ９９７を介して、整合化されたデータを、統合された異種知識ベース１０３ａに送信するための処理命令を実行することができる。
【００８３】
図２、図７、及び図１０のエンティティインデックスレジストリ１０４は、メモリ９９４に記憶されている処理命令（プログラム）を実行し、ネットワークＩ／Ｆ９９７を介して且つ／又は内部データ交換メカニズムを介してデータを交換する１つ以上のプロセッサ９９３であってよい。詳細には、プロセッサ９９３は、図１のステップＳ１０４のように又は図９の方法のように、エンティティ認識モジュール１０１ａから、ネットワークＩ／Ｆ又は内部データ交換メカニズムを介して、エンティティを表す取得データセットプロパティ−値ペアを受信し、受信したデータを、整合化データストア１０３へと統合するための処理命令を実行する。さらに、プロセッサ９９３は、取得データセットプロパティ−値ペアを、エンティティインデックスレジストリ１０４又は整合化データストア１０３等の接続されている記憶ユニットに記憶するための処理命令を実行することができる。
【００８４】
図３、図４、図６、及び図７のエンティティタイプ認識モジュール２３０は、メモリ９９４に記憶されている処理命令（プログラム）を実行し、ネットワークＩ／Ｆ９９７を介してデータを交換する１つ以上のプロセッサ９９３であってよい。詳細には、プロセッサ９９３は、図６に示されているように、データプロパティ認識モジュール２２０又は何らかの他の入力メカニズムから、取得されたデータセットを特徴付けるデータプロパティのセットを受信し、データプロパティのセットを処理して、入力データセットについてのエンティティタイプの選択をもたらすための処理命令を実行する。さらに、プロセッサ９９３は、取得されたデータセットとともに、選択されたエンティティタイプを、接続されている記憶ユニットに記憶するための、且つ／又は、入力データセットについてのドメインを選択する際の使用のために、ネットワークＩ／Ｆ９９７を介して、エンティティタイプの選択を、ドメイン認識モジュール２３０に送信するための処理命令を実行することができる。
【００８５】
図３、図４、図６、及び図７のドメイン認識モジュール２３０は、メモリ９９４に記憶されている処理命令（プログラム）を実行し、ネットワークＩ／Ｆ９９７を介してデータを交換する１つ以上のプロセッサ９９３であってよい。詳細には、プロセッサ９９３は、データプロパティ認識モジュール２２０又は何らかの他の入力メカニズムから、取得されたデータセットを特徴付けるデータプロパティのセットを受信し、エンティティタイプ認識モジュール２３０から、入力データセットについてのエンティティタイプの選択を受信し、データプロパティのセット及びエンティティタイプの選択を処理して、入力データセットについてのドメインの選択をもたらすための処理命令を実行する。さらに、プロセッサ９９３は、取得されたデータセットとともに、選択されたドメインを、接続されている記憶ユニットに記憶するための、且つ／又は、ネットワークＩ／Ｆ９９７を介して、エンティティタイプの選択、ドメインの選択、及びデータプロパティのセットを、エンティティ認識モジュール１０１ａに送信するための処理命令を実行することができる。
【００８６】
図３及び図４のデータ取得モジュール２１０は、メモリ９９４に記憶されている処理命令（プログラム）を実行し、ネットワークＩ／Ｆ９９７を介してデータを交換する１つ以上のプロセッサ９９３であってよい。詳細には、プロセッサ９９３は、取得データセットプロパティ−値ペアを、それらのそれぞれの元々のデータソースから、ネットワークＩ／Ｆを介して受信し、取得されたデータをシステム１００へとパーシングするための処理命令を実行する。さらに、プロセッサ９９３は、取得されたデータセットを、接続されている記憶ユニットに記憶するための、且つ／又は、処理のために、ネットワークＩ／Ｆ９９７を介して、且つ、任意的にデータ標準化モジュールを介して、取得されたデータセットを、データプロパティ整合化モジュール２２０（データプロパティ認識モジュール２２０とも呼ばれる）に送信するための処理命令を実行することができる。
【００８７】
図３及び図４のデータ標準化モジュール２１２は、メモリ９９４に記憶されている処理命令（プログラム）を実行し、ネットワークＩ／Ｆ９９７を介してデータを交換する１つ以上のプロセッサ９９３であってよい。詳細には、プロセッサ９９３は、データ取得モジュール２１０から、ネットワークＩ／Ｆを介して、取得されたデータセットを受信し、データを、システム１００用の標準として規定されているデータフォーマット及び単位へと標準化するための処理命令を実行する。さらに、プロセッサ９９３は、標準化された取得されたデータセットを、接続されている記憶ユニットに記憶するための、且つ／又は、処理のために、ネットワークＩ／Ｆ９９７を介して、標準化された取得されたデータセットを、データプロパティ整合化モジュールに送信するための処理命令を実行することができる。
【００８８】
図３及び図４のデータプロパティ整合化モジュールは、メモリ９９４に記憶されている処理命令（プログラム）を実行し、ネットワークＩ／Ｆ９９７を介してデータを交換する１つ以上のプロセッサ９９３であってよい。詳細には、プロセッサ９９３は、データ取得モジュール２１０から、ネットワークＩ／Ｆを介して、取得されたデータセットを受信し、プロパティラベルを、記憶されたリストにおけるプロパティラベルと整合化するための処理命令を実行する。さらに、プロセッサ９９３は、取得されたデータセットとともに、記憶されたリストのプロパティラベルに合致するように変更されたプロパティラベルを、接続されている記憶ユニットに記憶するための、且つ／又は、処理のために、ネットワークＩ／Ｆ９９７を介して、且つ、任意的にエンティティタイプ及びドメイン認識モジュール２３０を介して、取得されたデータセットを、エンティティ認識モジュール１０１ａに送信するための処理命令を実行することができる。
【００８９】
本発明を具現化する方法は、図１２に示されているコンピューティングデバイス等のコンピューティングデバイス上で実行され得る。そのようなコンピューティングデバイスは、図１２に示されている全てのコンポーネントを有する必要はなく、これらのコンポーネントのサブセットから構成されてもよい。本発明を具現化する方法は、ネットワークを介して１つ以上のデータ記憶サーバと通信する１つのコンピューティングデバイスにより実行され得る。コンピューティングデバイスは、整合化データストア１０３及びレジストリ１０４を記憶するデータストレージ自体であり得る。
【００９０】
本発明を具現化する方法は、互いと協調して動作する複数のコンピューティングデバイスにより実行されることもある。複数のコンピューティングデバイスのうちの１つ以上は、整合化データストア１０３及びレジストリ１０４の少なくとも一部を記憶するデータ記憶サーバであり得る。
【００９１】
以上の実施形態に関し、さらに以下の付記を開示する。
【００９２】
（付記１）
メモリに接続されるプロセッサを有するデータ記憶システムであって、前記メモリは、整合化データストア及びレジストリを含み、前記プロセッサは、プロセスを実行するよう構成されており、
前記プロセスは、
複数の登録されたエンティティの各登録されたエンティティについて、複数のデータセットの各データセットから、当該登録されたエンティティを表す登録エンティティプロパティ−値ペアの配列を、前記整合化データストアに記憶することであって、前記登録エンティティプロパティ−値ペアの各々は、登録されたエンティティのプロパティを表すプロパティラベルと、それぞれの該登録されたエンティティのついての前記プロパティの値範囲を表す値と、を含む、記憶することと、
前記複数の登録されたエンティティの各登録されたエンティティについて、前記複数のデータセットの各データセットに関する少なくとも１つの識別子プロパティ−値ペアを含むレジストリエントリを、前記レジストリに記憶することであって、前記識別子プロパティ−値ペアの各々は、登録されたエンティティを一意に識別する、該登録されたエンティティの識別子プロパティを表す識別子プロパティラベルと、それぞれの該登録されたエンティティについての前記識別子プロパティの値を表す識別子値と、を含む、記憶することと、
前記整合化データストアとの整合化のために、データセットを取得することであって、前記の取得されたデータセットは、１つ以上の取得データセットエンティティの第１のセットの各取得データセットエンティティについての複数の取得データセットプロパティ−値ペアを含み、前記取得データセットプロパティ−値ペアの各々は、取得データセットエンティティのプロパティを表すプロパティラベルと、それぞれの該取得データセットエンティティについての前記プロパティの値範囲を表す値と、を含む、取得することと、
を含み、
前記プロセスは、前記１つ以上の取得データセットエンティティの各取得データセットエンティティについて、
当該取得データセットエンティティについての取得データセットプロパティ−値ペアに合致する、前記レジストリに記憶されている識別子プロパティ−値ペアを識別することと、
当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、前記の識別された識別子プロパティ−値ペアの前記識別子値により識別される前記登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合することと、
をさらに含む、データ記憶システム。
【００９３】
（付記２）
前記の取得されたデータセットは、１つ以上の取得データセットエンティティの第２のセットの各メンバーについての複数の取得データセットプロパティ−値ペアをさらに含み、前記第２のセットの各メンバーについての前記複数の取得データセットプロパティ−値ペアは、前記レジストリに記憶されている識別子プロパティ−値ペアに合致せず、
前記プロセスは、前記第２のセットの各メンバーについて、類似度検索プロセスを実行することをさらに含み、
前記類似度検索プロセスは、前記レジストリにおける前記レジストリエントリの各レジストリエントリについて、
当該レジストリエントリにより識別される前記登録されたエンティティに関して前記整合化データストアに記憶されている前記登録エンティティプロパティ−値ペアの前記配列の中から、前記取得データセットプロパティ−値ペアのうちのプロパティラベルに合致するプロパティラベルのセットを識別することと、
前記合致するプロパティラベルのセットの各合致するプロパティラベルについて、文字列類似度距離又は数値距離でそれぞれの前記値を比較し、該比較の結果を組み合わせて、当該レジストリエントリにより識別される前記登録されたエンティティと前記第２のセットの前記メンバーとの間の距離尺度を得ることと、
前記第２のセットの前記メンバーへの前記の得られた距離尺度が最も短い登録されたエンティティを、前記第２のセットの前記メンバーに最も類似する登録されたエンティティとして選択することと、
を含む、付記１に記載のデータ記憶システム。
【００９４】
（付記３）
前記プロセスは、
前記第２のセットの前記メンバーに前記最も類似する登録されたエンティティとして選択された前記登録されたエンティティと前記第２のセットの前記メンバーとの間の前記の得られた距離尺度が、閾値よりも大きいか又は前記閾値以下であるかを判定することと、
前記の得られた距離尺度が、前記閾値以下であると判定された場合、前記第２のセットの前記メンバーについての前記取得データセットプロパティ−値ペアを、前記最も類似する登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合することと、
前記の得られた距離尺度が、前記閾値よりも大きいと判定された場合、前記第２のセットの前記メンバーに関する登録エンティティプロパティ−値ペアとして、前記第２のセットの前記メンバーについての前記取得データセットプロパティ−値ペアを前記整合化データストアに追加し、前記第２のセットの前記メンバーについて前記レジストリにおいて新たなエントリを作成することと、
をさらに含む、付記２に記載のデータ記憶システム。
【００９５】
（付記４）
前記プロセスは、
前記第２のセットの前記メンバーについての１つ以上の取得データセットプロパティ−値ペアを、ユーザインタフェースを介して、システムユーザに提示し、前記最も類似する登録されたエンティティについての１つ以上の登録エンティティプロパティ−値ペアを、前記ユーザインタフェースを介して、前記システムユーザに提示することと、
前記システムユーザから、前記の提示された取得データセットプロパティ−値ペアが、前記の提示された登録エンティティプロパティ−値ペアと同じエンティティを表すか否かのインジケーションを受け取ることと、
前記の受け取られたインジケーションが同じエンティティを表すことである場合、前記第２のセットの前記メンバーについての前記取得データセットプロパティ−値ペアを、前記最も類似する登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合することと、
前記の受け取られたインジケーションが同じエンティティを表さないことである場合、前記第２のセットの前記メンバーに関する登録エンティティプロパティ−値ペアとして、前記第２のセットの前記メンバーについての前記取得データセットプロパティ−値ペアを前記整合化データストアに追加し、前記第２のセットの前記メンバーについて前記レジストリにおいて新たなエントリを作成することと、
をさらに含む、付記３に記載のデータ記憶システム。
【００９６】
（付記５）
前記レジストリエントリは、前記データ記憶システム内の前記登録されたエンティティを一意に識別するシステムエンティティＩＤをさらに含み、
前記登録エンティティプロパティ−値ペアの前記配列は、前記システムエンティティＩＤに関連付けられて記憶される、付記１に記載のデータ記憶システム。
【００９７】
（付記６）
前記登録エンティティプロパティ−値ペアの前記プロパティラベル及び前記取得データセットプロパティ−値ペアの前記プロパティラベルは、前記データ記憶システムにより記憶された標準化されたプロパティラベルのセットからのものである、付記１に記載のデータ記憶システム。
【００９８】
（付記７）
当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、前記の識別された識別子プロパティ−値ペアの前記識別子値により識別される前記登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に前記統合することは、各取得データセットプロパティ−値ペアについて、
当該取得データセットプロパティ−値ペアの前記プロパティラベルが、前記登録エンティティプロパティ−値ペアの前記の記憶された配列におけるプロパティラベルに合致し、当該取得データセットプロパティ−値ペアの前記値が、前記の合致するプロパティラベルを有する前記登録エンティティプロパティ−値ペアの前記値に合致する場合、前記の記憶された配列に対して変更を行わず、当該取得データセットプロパティ−値ペアの前記値が、前記の合致するプロパティラベルを有する前記登録エンティティプロパティ−値ペアの前記値に合致しない場合、登録エンティティプロパティ−値ペアとして、当該取得データセットプロパティ−値ペアを、前記の記憶された配列に追加することと、
当該取得データセットプロパティ−値ペアの前記プロパティラベルが、前記登録エンティティプロパティ−値ペアの前記の記憶された配列におけるプロパティラベルに合致しない場合、登録エンティティプロパティ−値ペアとして、当該取得データセットプロパティ−値ペアを、前記の記憶された配列に追加することと、
を含む、付記１に記載のデータ記憶システム。
【００９９】
（付記８）
前記プロセスは、前記１つ以上の取得データセットエンティティの各取得データセットエンティティについて、
当該取得データセットエンティティについての取得データセットプロパティ−値ペアと前記レジストリにおける識別子プロパティ−値ペアとの全ての組合せについて、それぞれのプロパティが合致し、それぞれの値が合致するか否かを判定することと、
判定された合致する組合せの数が０である場合、付記２に記載の類似度検索プロセスを実行することと、
判定された合致する組合せの数が１である場合、又は、判定された合致する組合せの数が２以上であり、且つ、該合致する組合せの前記識別子プロパティ−値ペアにより識別される異なる登録されたエンティティの数が１である場合、当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、該合致する組合せからの前記識別子プロパティ−値ペアの前記識別子値により識別される前記登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合することと、
判定された合致する組合せの数が２以上であり、且つ、該合致する組合せの前記識別子プロパティ−値ペアにより識別される異なる登録されたエンティティの数が２以上である場合、エンティティ曖昧性解消プロセスを実行することであって、前記エンティティ曖昧性解消プロセスは、該合致する組合せの前記識別子プロパティ−値ペアにより識別される各異なる登録されたエンティティについて、
当該登録されたエンティティに関して前記整合化データストアに記憶されている前記登録エンティティプロパティ−値ペアの前記配列の中から、当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアのうちのプロパティラベルに合致するプロパティラベルのセットを識別することと、
該合致するプロパティラベルのセットの各合致するプロパティラベルについて、文字列類似度距離又は数値距離でそれぞれの前記値を比較し、該比較の結果を組み合わせて、当該登録されたエンティティと当該取得データセットエンティティとの間の距離尺度を得ることと、
当該取得データセットエンティティへの前記の得られた距離尺度が最も短い登録されたエンティティを、当該取得データセットエンティティについての整合化ターゲットとして選択することと、
当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、前記整合化ターゲットに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合することと、
を含む、実行することと、
を含む、付記１に記載のデータ記憶システム。
【０１００】
（付記９）
データ記憶方法であって、
複数の登録されたエンティティの各登録されたエンティティについて、複数のデータセットの各データセットから、当該登録されたエンティティを表す登録エンティティプロパティ−値ペアの配列を、整合化データストアに記憶するステップであって、前記登録エンティティプロパティ−値ペアの各々は、登録されたエンティティのプロパティを表すプロパティラベルと、それぞれの該登録されたエンティティのついての前記プロパティの値範囲を表す値と、を含む、ステップと、
前記複数の登録されたエンティティの各登録されたエンティティについて、前記複数のデータセットの各データセットに関する少なくとも１つの識別子プロパティ−値ペアを含むレジストリエントリを、レジストリに記憶するステップであって、前記識別子プロパティ−値ペアの各々は、登録されたエンティティを一意に識別する、該登録されたエンティティの識別子プロパティを表す識別子プロパティラベルと、それぞれの該登録されたエンティティについての前記識別子プロパティの値を表す識別子値と、を含む、ステップと、
前記整合化データストアとの整合化のために、データセットを取得するステップであって、前記の取得されたデータセットは、１つ以上の取得データセットエンティティの第１のセットの各取得データセットエンティティについての複数の取得データセットプロパティ−値ペアを含み、前記取得データセットプロパティ−値ペアの各々は、取得データセットエンティティのプロパティを表すプロパティラベルと、それぞれの該取得データセットエンティティについての前記プロパティの値範囲を表す値と、を含む、ステップと、
を含み、
前記データ記憶方法は、前記１つ以上の取得データセットエンティティの各取得データセットエンティティについて、
当該取得データセットエンティティについての取得データセットプロパティ−値ペアに合致する、前記レジストリに記憶されている識別子プロパティ−値ペアを識別するステップと、
当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、前記の識別された識別子プロパティ−値ペアの前記識別子値により識別される前記登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合するステップと、
をさらに含む、データ記憶方法。
【０１０１】
（付記１０）
コンピューティング装置により実行されたときに前記コンピューティング装置に方法を実行させるコンピュータプログラムであって、
前記方法は、
複数の登録されたエンティティの各登録されたエンティティについて、複数のデータセットの各データセットから、当該登録されたエンティティを表す登録エンティティプロパティ−値ペアの配列を、整合化データストアに記憶するステップであって、前記登録エンティティプロパティ−値ペアの各々は、登録されたエンティティのプロパティを表すプロパティラベルと、それぞれの該登録されたエンティティのついての前記プロパティの値範囲を表す値と、を含む、ステップと、
前記複数の登録されたエンティティの各登録されたエンティティについて、前記複数のデータセットの各データセットに関する少なくとも１つの識別子プロパティ−値ペアを含むレジストリエントリを、レジストリに記憶するステップであって、前記識別子プロパティ−値ペアの各々は、登録されたエンティティを一意に識別する、該登録されたエンティティの識別子プロパティを表す識別子プロパティラベルと、それぞれの該登録されたエンティティについての前記識別子プロパティの値を表す識別子値と、を含む、ステップと、
前記整合化データストアとの整合化のために、データセットを取得するステップであって、前記の取得されたデータセットは、１つ以上の取得データセットエンティティの第１のセットの各取得データセットエンティティについての複数の取得データセットプロパティ−値ペアを含み、前記取得データセットプロパティ−値ペアの各々は、取得データセットエンティティのプロパティを表すプロパティラベルと、それぞれの該取得データセットエンティティについての前記プロパティの値範囲を表す値と、を含む、ステップと、
を含み、
前記方法は、前記１つ以上の取得データセットエンティティの各取得データセットエンティティについて、
当該取得データセットエンティティについての取得データセットプロパティ−値ペアに合致する、前記レジストリに記憶されている識別子プロパティ−値ペアを識別するステップと、
当該取得データセットエンティティについての前記取得データセットプロパティ−値ペアを、前記の識別された識別子プロパティ−値ペアの前記識別子値により識別される前記登録されたエンティティに関して記憶されている前記登録エンティティプロパティ−値ペアの前記配列に統合するステップと、
をさらに含む、コンピュータプログラム。
【０１０２】
（付記１１）
付記１０に記載のコンピュータプログラムを記憶している非一時的なコンピュータ読み取り可能な媒体。
【符号の説明】
【０１０３】
１００    データ記憶システム
１０１    プロセッサハードウェア
１０２    メモリハードウェア
１０３    整合化データストア
１０４    （エンティティインデックス）レジストリ
１０１ａ  エンティティ認識モジュール
１０１１  整合化エンジン
１０１２  エンティティインデックスマネージャ
１０３ａ  統合された異種知識ベース
２１０    データ取得モジュール
２１２    データ標準化モジュール
２２０    データプロパティ整合化モジュール
２３０    エンティティタイプ及びドメイン認識モジュール
２３１    エンティティタイプ認識モジュール
２３２    ドメイン認識モジュール
【図１】
2018198047.tif 000005
【図２】
2018198047.tif 000006
【図３】
2018198047.tif 000007
【図４】
2018198047.tif 000008
【図５】
2018198047.tif 000009
【図６】
2018198047.tif 000010
【図７】
2018198047.tif 000011
【図８】
2018198047.tif 000012
【図９】
2018198047.tif 000013
【図１０】
2018198047.tif 000014
【図１１】
2018198047.tif 000015
【図１２】
2018198047.tif 000016
【外国語明細書】
2018198047000001.pdf