【手続補正書】
【提出日】平成19年6月15日(2007.6.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
データを処理するための方法であって、
データソースからのデータをプロファイリングするステップであって、前記データソースから前記データを読み取るステップ、前記データを読み取りながら前記データ中に現れる複数の値の出現数をカウントすることを含んで要約データを計算するステップ、および前記要約データに基づくプロファイル情報を格納するステップ、を含むプロファイリングステップと、
前記データソースからの前記データを処理するステップであって、前記格納したプロファイル情報にアクセスするステップ、および前記アクセスしたプロファイル情報に従って前記データを処理するステップを含む、処理ステップと、
を含む方法。
【請求項２】
前記データソースからの前記データを処理するステップが、前記データソースから前記データを読み取るステップを更に含む請求項１の方法。
【請求項３】
前記データをプロファイリングするステップが、前記データソース外に前記データのコピーを保持せずに実行される請求項１の方法。
【請求項４】
前記データが、条件付きフィールド、および可変数のフィールドのうちの少なくとも一方を有する可変レコード構造の記録を含む請求項３の方法。
【請求項５】
前記データを読み取りながら要約データを計算するステップが、前記可変レコード構造のレコードを解釈するステップを含む請求項４の方法。
【請求項６】
前記データソースが、データ格納システムを含む請求項１の方法。
【請求項７】
前記データ格納システムが、データベースシステムを含む請求項６の方法。
【請求項８】
前記要約データを計算するステップが、フィールドに対する個別の値のセットそれぞれの出現数をカウントするステップを含む請求項１の方法。
【請求項９】
プロファイル情報を格納するステップが、前記フィールドに対する前記出現カウント数に基づいて前記フィールドに対する統計を格納するステップを含む請求項８の方法。
【請求項１０】
前記データソースに関連するメタデータを収容するメタデータ格納を維持するステップを更に含む請求項１の方法。
【請求項１１】
前記プロファイル情報を格納するステップが、前記データソースに関連する前記メタデータを更新するステップを含む請求項１０の方法。
【請求項１２】
前記データをプロファイリングするステップ、および前記データを処理するステップがそれぞれ、前記データソースのメタデータを利用する請求項１０の方法。
【請求項１３】
前記データソースからのデータをプロファイリングするステップが、前記プロファイル情報に基づいてフォーマット仕様を決定するステップを更に含む請求項１の方法。
【請求項１４】
前記データソースからのデータをプロファイリングするステップが、前記プロファイル情報に基づいて検証仕様を決定するステップを更に含む請求項１の方法。
【請求項１５】
前記データを処理するステップが、前記検証仕様に基づいて前記データ内の妥当でないレコードを識別するステップを含む請求項１４の方法。
【請求項１６】
前記データソースからのデータをプロファイリングするステップが、前記プロファイル情報に基づいてデータ変換命令を指定するステップを更に含む請求項１の方法。
【請求項１７】
前記データを処理するステップが、前記データに前記変換命令を適用するステップを含む請求項１６の方法。
【請求項１８】
前記データを処理するステップが、データ格納サブシステムに前記データをインポートするステップを含む請求項１の方法。
【請求項１９】
前記データを処理するステップが、データ格納サブシステムに前記データをインポートする前に前記データを検証するステップを含む請求項１８の方法。
【請求項２０】
前記データを検証するステップが、前記データの特性を前記データの基準特性と比較するステップを含む請求項１９の方法。
【請求項２１】
前記基準特性が、前記データの統計特性を含む請求項２０の方法。
【請求項２２】
前記データをプロファイリングするステップが、前記データを並列にプロファイリングするステップを含み、前記並列プロファイリングステップは、前記データをパーツにパーティション化するステップ、および並列成分の第１セットの別々のものを用いて前記パーツを処理するステップを含む請求項１の方法。
【請求項２３】
前記データを並列にプロファイリングするステップが、並列成分の第２セットの別々のものを用いて、前記データの異なるフィールドに対する前記要約データを計算するステップを更に含む請求項２２の方法。
【請求項２４】
前記データを並列にプロファイリングするステップが、並列成分の前記第１セットの出力を再パーティション化して、並列成分の前記第２セットに対する入力を形成するステップを更に含む請求項２３の方法。
【請求項２５】
前記データを並列にプロファイリングするステップが、並列データソースからの前記データを読み取るステップを含み、前記並列データソースの各パーツは、並列成分の前記第１セットのうちの異なるものにより処理される請求項２２の方法。
【請求項２６】
データを処理するための方法であって、
データソースからのデータをプロファイリングするステップであって、前記データソースから前記データを読み取るステップ、前記データを読み取りながら前記データ中に現れる複数の値の出現数をカウントすることを含んで要約データを計算するステップ、および前記要約データに基づくプロファイル情報を格納するステップを含む、プロファイリングステップを含み、
前記データをプロファイリングするステップは、前記データを並列にプロファイリングするステップを含み、前記並列プロファイリングステップは、前記データをパーツにパーティション化するステップ、および並列成分の第１セットのうちの別々のものを用いて前記パーツを処理するステップを含む方法。
【請求項２７】
データ処理システム上で実行されると、請求項１から２６までの何れかの方法ステップ全てを実行するように成された命令を含むソフトウエア。
【請求項２８】
コンピューター可読媒体上に実装される請求項２７のソフトウエア。
【請求項２９】
データ処理システムであって、
データソースからデータを読み取り、前記データを読み取りながら前記データ中に現れる複数の値の出現数をカウントすることを含んで要約データを計算し、前記要約データに基づくプロファイル情報を格納するよう構成されるプロファイリングモジュールと、
前記格納したプロファイル情報にアクセスし、前記アクセスしたプロファイル情報に従って前記データソースからの前記データを処理するよう構成される処理モジュールと、
を含むデータ処理システム。
【請求項３０】
データ処理システムであって、
データソースからデータをプロファイリングするための手段であって、前記データソースから前記データを読み取るための手段、前記データを読み取りながら前記データ中に現れる複数の値の出現数をカウントすることを含んで要約データを計算するための手段、および前記要約データに基づくプロファイル情報を格納するための手段を含む、プロファイル手段と、
前記データソースからの前記データを処理するための手段であって、前記格納したプロファイル情報にアクセスするための手段、および前記アクセスしたプロファイル情報に従って前記データを処理するための手段を含む、処理手段と、
を含むデータ処理システム。
【請求項３１】
データを処理するための方法であって、
第１データソースのレコードの第１フィールドの値を特性化する情報、および第２データソースのレコードの第２フィールドの値を特性化する情報を受け取るステップと、
前記受け取った情報に基づいて、前記第１フィールドと、前記第２フィールドとの間の関連性を特性化する量を計算するステップと、
前記第１フィールド、および前記第２フィールドを関連付ける情報を提示するステップと、
を含む方法。
【請求項３２】
前記情報を提示するステップが、前記情報をユーザーに提示するステップを含む請求項３１の方法。
【請求項３３】
前記第１データソース、および前記第２データソースが同一のデータソースである請求項３１の方法。
【請求項３４】
前記第１データソース、および前記第２データソースのうちの少なくとも１つがデータベーステーブルを含む請求項３１の方法。
【請求項３５】
前記関連性を特性化する前記量が、前記第１フィールド、および前記第２フィールドの値の結合特性を特性化する量を含む請求項３１の方法。
【請求項３６】
前記第１フィールドの値を特性化する前記情報が、前記第１フィールドの値の分布を特性化する情報を含む請求項３５の方法。
【請求項３７】
前記第１フィールドの値の分布を特性化する前記情報が、複数のデータレコードを含み、前記各データレコードは、異なる値と、その値の前記第１データソースの前記第１フィールドにおける対応する出現数とを関係付ける請求項３６の方法。
【請求項３８】
前記第２フィールドの値を特性化する情報が、前記フィールドの値の分布を特性化する情報を含む請求項３６の方法。
【請求項３９】
前記結合特性を特性化する前記量を計算するステップが、前記第１フィールド、および前記第２フィールドの値の前記分布を特性化する前記情報を処理して、複数の値共出現カテゴリと関連する量を計算するステップを含む請求項３８の方法。
【請求項４０】
前記第１フィールド、および前記第２フィールドの値の前記分布を特性化する前記情報が、複数のデータレコードを含み、前記各データレコードは、異なる値と、その値の対応する出現数とを関係付け、値の前記分布を特性化する前記情報を処理するステップが、それぞれ前記第１フィールド、および前記第２フィールド上の、前記第１データソース、および前記第２データソースの結合の値分布を特性化する情報を計算するステップを含む請求項３９の方法。
【請求項４１】
前記複数の値共出現カテゴリと関連する前記量が、複数のデータレコードを含み、前記データレコードのそれぞれは、前記共出現カテゴリの１つと関係付けられ、前記カテゴリにある前記第１および前記第２フィールドの一意の値の数を含む請求項３９の方法。
【請求項４２】
前記第１フィールド、および前記第２フィールドの前記値の前記結合特性を特性化する前記量を計算するステップが、それぞれ前記第１フィールド、および前記第２フィールドを用いて、前記第１データソース、および前記第２データソースの結合の値分布を特性化する情報を計算するステップを含む請求項３５の方法。
【請求項４３】
前記第１フィールド、および前記第２フィールドの前記値の前記結合特性を特性化する前記量を計算するステップが、複数の値共出現カテゴリと関連する量を計算するステップを含む請求項３５の方法。
【請求項４４】
前記値共出現カテゴリが、前記第１フィールド、および前記第２フィールドのうちの一方に少なくとも一回出現するが、前記フィールドの他方には出現しない値を含む請求項４２の方法。
【請求項４５】
前記値共出現カテゴリが、前記第１フィールド、および前記第２フィールドのそれぞれに唯一回出現する値を含む請求項４２の方法。
【請求項４６】
前記値共出現カテゴリが、前記第１フィールドおよび前記第２フィールドの一方に唯一回出現し、前記フィールドの他方に二回以上出現する値を含む請求項４２の方法。
【請求項４７】
前記値共出現カテゴリが、前記第１フィールド、および前記第２フィールドのそれぞれに二回以上出現する値を含む請求項４２の方法。
【請求項４８】
値を特性化する情報を受け取るステップ、および前記値の結合特性を特性化する量を計算するステップを更に含み、複数の第１および第２フィールド対について繰り返される請求項３５の方法。
【請求項４９】
複数のフィールド対それぞれが、前記値の前記結合特性を特性化する前記量を計算するよう前記フィールド対の値とともに含まれる一意の識別子を有する請求項４８の方法。
【請求項５０】
前記複数のフィールド対のうちの１つ以上の前記フィールドに関連する情報を提示するステップを更に含む請求項４８の方法。
【請求項５１】
前記複数のフィールド対のうちの１つ以上の前記フィールドに関連する前記情報を提示するステップが、フィールドを、複数種類のフィールド関連性のうちの１つの候補フィールドと識別するステップを含む請求項５０の方法。
【請求項５２】
前記複数種類のフィールド関連性が、一次キーと外部キーとの関連性を含む請求項５１の方法。
【請求項５３】
前記複数種類のフィールド関連性が、共通領域関連性を含む請求項５１の方法。
【請求項５４】
前記量を計算するステップが、前記第１フィールド、および前記第２フィールドの文字値から変換される論理値に基づいて前記量を計算するステップを含む請求項３１の方法。
【請求項５５】
前記量を計算するステップが、前記量を並列計算するステップを含み、前記並列計算ステップは、前記データレコードをパーツにパーティション化するステップ、および並列成分のセットのうちの別々のものを用いて前記パーツを処理するステップを含む請求項３７の方法。
【請求項５６】
前記パーツが、前記第１フィールド、および前記第２フィールドの値に基づく請求項５５の方法。
【請求項５７】
同一の値を有するデータレコードが、同一のパーツにある請求項５６の方法。
【請求項５８】
データ処理システム上で実行されると、請求項３１から５７までの何れかの方法ステップ全てを実行するように成された命令を含むソフトウエア。
【請求項５９】
コンピューター可読媒体上に実装される請求項５８のソフトウエア。
【請求項６０】
データを処理するためのシステムであって、
第１データソースのレコード内の第１フィールドの値を特性化する情報、および第２データソースのレコード内の第２フィールドの値を特性化する情報を受け取るよう構成された値処理モジュールと、
前記受け取った情報に基づいて、前記第１フィールドと、前記第２フィールドとの間の関連性を特性化する量を計算するよう構成される関連性処理モジュールと、
前記第１フィールドと、前記第２フィールドとに関連する情報を提示するよう構成されるインターフェースと、
を含むシステム。
【請求項６１】
データを処理するためのシステムであって、
第１データソースのレコード内の第１フィールドの値を特性化する情報、および第２データソースのレコード内の第２フィールドの値を特性化する情報を受け取るための手段と、
前記受け取った情報に基づいて、前記第１フィールドと、前記第２フィールドとの間の関連性を特性化する量を計算するための手段と、
前記第１フィールドと、前記第２フィールドとを関連付ける情報を提示するための手段と、
を含むシステム。
【請求項６２】
データを処理するための方法であって、
データソースのデータレコードのフィールドの複数サブセットを識別するステップと、
前記複数サブセットのそれぞれに対する共出現統計を決定するステップと、
前記複数サブセットの１つ以上を、前記識別サブセットの前記フィールド間に機能関連性があると識別するステップと、
を含む方法。
【請求項６３】
フィールドの前記サブセットの少なくとも１つが、２つのフィールドのサブセットである請求項６２の方法。
【請求項６４】
前記複数サブセットの１つ以上を、前記識別サブセットの前記フィールド間に機能関連性があると識別するステップが、前記複数サブセットの１つ以上を、可能性がある所定の複数の機能関連性のうちの１つを有すると識別するステップを含む請求項６２の方法。
【請求項６５】
前記共出現統計を決定するステップが、それぞれが一対のフィールドを識別するデータ構成要素を形成するステップ、および前記データレコードのうちの１つにある前記フィールド対に出現する一対の値を識別するステップを含む請求項６２の方法。
【請求項６６】
前記共出現統計を決定するステップが、
前記データレコードをパーツにパーティション化するステップであって、前記データレコードは第１フィールド、および第２フィールドを有するパーティション化ステップと、
前記パーツの第１にある１つ以上のレコードの前記第２フィールドに出現する値の分布に基づいて量を決定するステップであって、前記１つ以上のレコードは、前記１つ以上のレコードの第１フィールドに出現する共通値を有する、決定ステップと、
前記量を前記パーツの他にあるレコードからの他の量と組み合わせて合計量を生成するステップと、
を含む請求項６２の方法。
【請求項６７】
前記複数サブセットの１つ以上を、前記識別サブセットの前記フィールド間に機能関連性があると識別するステップが、前記合計量に基づいて前記第１および第２フィールド間の機能関連性を識別するステップを含む請求項６６の方法。
【請求項６８】
前記パーツが、前記第１フィールド、および前記第２フィールドの値に基づく請求項６６の方法。
【請求項６９】
前記パーツが、並列成分のセットのうちの別々のものを用いて処理される請求項６６の方法。
【請求項７０】
前記複数サブセットの１つ以上を、前記識別サブセットの前記フィールド間に機能関連性があると識別するステップが、前記機能関連性に対する一致度を決定するステップを含む請求項６２の方法。
【請求項７１】
前記一致度が、前記機能関連性と整合しない幾つかの例外レコードを含む請求項７０の方法。
【請求項７２】
前記機能関連性が、第１フィールドの少なくとも幾つかの前記値の、第２フィールドの少なくとも幾つかの前記値へのマッピングを含む請求項６２の方法。
【請求項７３】
前記マッピングが、多対一のマッピングである請求項７２の方法。
【請求項７４】
前記マッピングが、一対多のマッピングである請求項７２の方法。
【請求項７５】
前記マッピングが、一対一のマッピングである請求項７２の方法。
【請求項７６】
前記複数のサブセットのフィールドの値を特性化する情報に基づいて前記複数のサブセットにフィルタをかけるステップを更に含む請求項６２の方法。
【請求項７７】
前記データレコードが、データベーステーブルのレコードを含む請求項６２の方法。
【請求項７８】
前記データレコードが、複数のデータベーステーブルのレコードを含む請求項７７の方法。
【請求項７９】
データ処理システム上で実行されると、請求項６２から７８までの何れかの方法ステップ全てを実行するように成された命令を含むソフトウエア。
【請求項８０】
コンピューター可読媒体上に実装される請求項７９のソフトウエア。
【請求項８１】
データを処理するためのシステムであって、
データソースのデータレコードのフィールドの複数サブセットを識別するよう構成される識別処理モジュールと、
前記複数サブセットのそれぞれに対する共出現統計を決定するよう構成される統計処理モジュールと、
前記複数サブセットの１つ以上を、前記識別サブセットの前記フィールド間に機能関連性があると識別するよう構成される機能関連性処理モジュールと、
を含むシステム。
【請求項８２】
データを処理するためのシステムであって、
データソースのデータレコードのフィールドの複数サブセットを識別するための手段と、
前記複数サブセットのそれぞれに対する共出現統計を決定するための手段と、
前記複数サブセットの１つ以上を、前記識別サブセットの前記フィールド間に機能関連性があると識別するための手段と、
を含むシステム。