(57)【要約】【課題】複数のデータストレージにデータセットを保存する際に、保存コストの低減とデータ処理性能の向上とを両立する。【解決手段】データ処理装置は、第１記憶部と第２記憶部とを具備するストレージシステムに適用される。データ処理装置は、データ処理命令によるデータセットに対するアクセス履歴を保存するアクセス履歴保存部と、アクセス履歴に応じてデータセットを分割して第１記憶部と第２記憶部との間で再配置する再配置制御部と、データセットを用いてデータ処理を実行するデータ処理部と、を具備する。【選択図】図２
2020149134.tif 000002
【特許請求の範囲】
【請求項１】
第１記憶部と第２記憶部とを具備するストレージシステムに適用されるデータ処理装置であって、
データ処理命令によるデータセットに対するアクセス履歴を保存するアクセス履歴保存部と、
前記アクセス履歴に応じて前記データセットを分割して前記第１記憶部と前記第２記憶部との間で再配置する再配置制御部と、
前記データセットを用いてデータ処理を実行するデータ処理部と、
を具備するデータ処理装置。
【請求項２】
前記再配置制御部は、前記データセットの一部として第１データを抽出して前記第１記憶部に記憶し、前記データセットの他の部分である第２データを前記第２記憶部に記憶するようにした、請求項１に記載のデータ処理装置。
【請求項３】
前記データセットは複数のデータにより構成され、前記複数のデータを前記アクセス履歴による参照範囲に応じて分割する、請求項１に記載のデータ処理装置。
【請求項４】
前記データセットは複数のデータにより構成され、前記複数のデータを前記アクセス履歴による参照頻度に応じて分割する、請求項１に記載のデータ処理装置。
【請求項５】
前記再配置制御部は、前記データセットを複数結合して新たなデータセットを作成し、その複製を前記第１記憶部に格納する、請求項１に記載のデータ処理装置。
【請求項６】
前記再配置制御部は、前記データセットの管理情報を参照して前記データセットの再配置を制御する、請求項１に記載のデータ処理装置。
【請求項７】
第１記憶部と、
第２記憶部と、
データ処理命令によるデータセットに対するアクセス履歴を保存するアクセス履歴保存部と、
前記アクセス履歴に応じて前記データセットを分割して前記第１記憶部と前記第２記憶部との間で再配置する再配置制御部と、
前記データセットを用いてデータ処理を実行するデータ処理部と、
を具備し、
前記再配置制御部は、前記データセットの一部を第１データとして抽出して前記第１記憶部に記憶し、前記データセットの他の部分である第２データを前記第２記憶部に記憶する、データ処理システム。
【請求項８】
第１記憶部と第２記憶部とを具備するストレージシステムに適用されるデータ処理方法であって、
データ処理命令によるデータセットに対するアクセス履歴を保存し、
前記アクセス履歴に応じて前記データセットを分割して前記第１記憶部と前記第２記憶部との間で再配置する際に、前記データセットの一部を第１データとして抽出して前記第１記憶部に記憶し、前記データセットの他の部分である第２データを前記第２記憶部に記憶し、
前記データセットを用いてデータ処理を実行する、
データ処理方法。
【請求項９】
第１記憶部と第２記憶部とを具備するストレージシステムに適用され、データ処理命令によるデータセットに対するアクセス履歴を保存するアクセス履歴保存部を備えるデータ処理装置のコンピュータを、
前記アクセス履歴に応じて前記データセットを分割して前記第１記憶部と前記第２記憶部との間で再配置する再配置制御手段、
前記データセットを用いてデータ処理を実行するデータ処理手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理装置、データ処理システム、データ処理方法、プログラムに関する。
【背景技術】
【０００２】
近年、企業などが保有するデータ量が増大しており、複数のストレージを管理する技術が開発されている。特に、データのアクセス頻度に応じて、特製の異なるストレージシステムにデータの配置先を変更する技術が開発されている。例えば、特許文献１は、データベースのデータを格納する複数の物理的記憶領域を含む計算機システムにおいて、物理的記憶領域へのアクセスに基づいてデータを格納すべき物理的記憶領域を設定する技術を開示している。特許文献２は、複数の記憶装置に基づく複数の論理記憶領域を有する階層化ストレージ装置において、ジョブ実行に伴う論理記憶領域内の複数のページへのアクセス履歴に応じて、ページ・データを異なる階層に属する論理記憶領域内のページに移動する再配置指示を実行する技術が開示されている。特許文献３は、ログ構造ファイル・システムにおいて、ログを複数のセグメントに分割して格納する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２２１５１３号公報
【特許文献２】特許第５０５２５９２号公報
【特許文献３】特許第３２４５００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように、ストレージに格納されているデータのアクセス頻度や、最終アクセス日時を観測し、使用頻度の低いデータをデータ保存コストの低いストレージシステムへ再配置するか、或いは、使用頻度の高いデータをデータ保存コストが高くデータ処理性能の高いストレージシステムへ再配置することにより、データを保存するためのコストの低減とデータ処理性能の向上に伴う利便性を両立している。
【０００５】
一方、データベースシステムなどのテーブル形式によるデータ格納システムでは、テーブルデータはファイルとして保存されているが、テーブルデータを構成するファイル単位や、テーブルデータ全体を単位としてデータを再配置することが困難であった。
【０００６】
また、データベースシステムに組み込まれるデータ処理エンジンは、データやその処理特性や統計情報に基づいて、データの保存方法と読出方法を変更することで、データ処理性能を改善する機能を実現している。しかし、データ処理特性に応じて複数のエンジンの中から最適なデータ処理エンジンを選択して動作させる場合には、データ処理エンジン毎にデータを保存する必要があり、これがデータ保存コストを増大させる要因となっていた。
【０００７】
また、大量のデータを集約して保存し、所定の目的に応じてデータを分析して集計することにより、新たな事実を明らかにするようなデータ分析システム（例えば、データマイニング技術）では、所定の業務などを処理するに当たって記録された事象を表すデータ群を二次利用し、分析や集計の対象としている。しかし、データ群は、元々分析や集計を目的に記録されていないため、データ群の二次利用の際には、その目的に合わせてデータを加工し、元のデータとともに、データ分析や集計用のデータ処理システムに保存される。その後、元のデータや加工前のデータとともに、他の二次利用の目的に応じて、データは直接に再加工されてデータ処理システムに保存される。このように、データ分析要件の追加や変更に伴い、二次利用されるデータの種別や範囲が異なり、その都度、二次利用の目的に応じたデータが生成されるため、データを保存するためのストレージ容量が増加するという問題があった。
【０００８】
本発明は、上述の課題を解決するデータ処理装置、データ処理システム、データ処理方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様によれば、第１記憶部と第２記憶部とを具備するストレージシステムに適用されるデータ処理装置であって、データ処理命令によるデータセットに対するアクセス履歴を保存するアクセス履歴保存部と、アクセス履歴に応じてデータセットを分割して第１記憶部と第２記憶部との間で再配置する再配置制御部と、データセットを用いてデータ処理を実行するデータ処理部と、を具備する。
【００１０】
本発明の第２の態様によれば、データ処理システムは、第１記憶部と、第２記憶部と、データ処理命令によるデータセットに対するアクセス履歴を保存するアクセス履歴保存部と、アクセス履歴に応じてデータセットを分割して第１記憶部と第２記憶部との間で再配置する再配置制御部と、データセットを用いてデータ処理を実行するデータ処理部と、を具備する。再配置制御部は、データセットの一部を第１データとして抽出して第１記憶部に記憶し、データセットの他の部分である第２データを第２記憶部に記憶する。
【００１１】
本発明の第３の態様によれば、第１記憶部と第２記憶部とを具備するストレージシステムに適用されるデータ処理方法であって、データ処理命令によるデータセットに対するアクセス履歴を保存し、アクセス履歴に応じてデータセットを分割して第１記憶部と第２記憶部との間で再配置する際に、データセットの一部を第１データとして抽出して第１記憶部に記憶し、データセットの他の部分である第２データを第２記憶部に記憶し、データセットを用いてデータ処理を実行する。
【００１２】
本発明の第４の態様によれば、プログラムは、第１記憶部と第２記憶部とを具備するストレージシステムに適用され、データ処理命令によるデータセットに対するアクセス履歴を保存するアクセス履歴保存部を備えるデータ処理装置のコンピュータを、前記アクセス履歴に応じて前記データセットを分割して前記第１記憶部と前記第２記憶部との間で再配置する再配置制御手段、前記データセットを用いてデータ処理を実行するデータ処理手段、として機能させる。
【発明の効果】
【００１３】
本発明によれば、データベースシステムなどのテーブル形式でデータを格納するストレージシステムにおいて、複数のデータ処理エンジンを組み替えて配備することが可能であり、テーブルデータ単位、テーブル内の一部データの単位などでデータ再配置可能であり、データの利用状況に適したデータ処理装置を実現することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係るデータ処理装置が適用されるデータ処理システムのブロック図である。
【図２】本発明の一実施形態に係るデータ処理装置の詳細な構成を示すブロック図である。
【図３】本発明の一実施形態に係るデータ処理装置のデータ管理部で管理されているデータセットの管理情報を示すテーブルである。
【図４】本発明の一実施形態に係るデータ処理方法のデータ処理手順を示すフローチャートである。
【図５】本発明の一実施形態に係るデータ処理方法のデータ再配置手順を示すフローチャートである。
【図６】本発明の一実施形態に係るデータ処理方法のデータセット分割・再配置手順を示すフローチャートである。
【図７】本発明の一実施形態に係るデータ処理方法のデータセット結合・複製手順を示すフローチャートである。
【図８】本発明に係るデータ処理方法を実装するシステム構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
本発明は、データ保存コストやデータ処理性能の異なる２種類以上のデータ・ストレージシステムに適用されるものであり、データ処理性能を担保するために、データ構造の異なる２種類以上のデータ保存形式を用い、データ処理履歴やデータ処理予定に応じて、データ保存先やデータ保存形式を変更することを特徴とするデータ処理装置を提供するものである。また、データ処理エンジンを組み替えても、上記の特徴を実現することが可能である。
【００１６】
以下、本発明の一実施形態によるデータ処理装置およびデータ処理方法について、図１乃至図８を参照して説明する。図１は、本発明の一実施形態に係るデータ処理装置１が適用されるデータ処理システムのブロック図である。データ処理システムは、データ処理装置１と、ストレージ装置２と、クライアント３と、を具備する。データ処理装置１とクライアント３はネットワーク４を介して接続され、データ処理装置１とストレージ装置２はネットワーク１００を介して接続される。なお、データ処理装置１、ストレージ装置２、およびクライアント３はそれぞれ１台に限らず、複数台設けてもよい。
【００１７】
データ処理装置１は、クライアント３から送信されたデータ処理命令に応じて、所定の処理を実行するデータ処理部５と、処理対象となるデータファイルを管理するファイル管理部６と、データファイルを蓄積するデータ蓄積部７と、を具備する。ストレージ装置２は、データファイルを管理するファイル管理部６と、データファイルを蓄積するデータ蓄積部７と、を具備する。また、クライアント３は、データ処理命令を発行するデータ処理命令発行部１０を具備する。
【００１８】
図２は、データ処理装置１の詳細な構成を示すブロック図である。データ処理装置１は、データ処理命令受領部１１と、データ処理エンジン１２と、アクセス履歴保存部１３と、データ管理部１４と、アクセス履歴解析部１５と、の各機能部を具備する。なお、データ処理装置１の機能部１１〜１５は、プロセッサ、通信インタフェース、メモリなどのハードウェアを用いて、所定のプログラムを実行することにより実現される。
【００１９】
次に、データセットの管理方法について図３を参照して説明する。図３は、データ処理装置１のデータ管理部１４で管理されているデータセットの管理情報２０を示す。管理情報２０には、４種類の項目（図表のカラム）、すなわちデータセット名、アドレス、構成情報１、および構成情報２が含まれる。データセット名として、クライアント３からデータ処理対象として指定可能なデータセットの名称が登録されている。例えば、データセット名として「ＡＡＡ」〜「ＦＦＦ」が登録されている。
【００２０】
アドレスには、データセットの格納先となるアドレスが登録されている。例えば、「サーバ名：パス名」のようにデータセットを構成するデータファイルの格納先が一意に把握されるようなアドレス情報が登録されている。また、アドレスには、複数のデータセット（ＤＤＤ、ＥＥＥ）を結合することにより生成されるデータセット（ＣＣＣ）を管理するために、他のデータセット名を登録してもよい。
【００２１】
構成情報１には、データセットを構成するデータ群のデータ定義とデータ名などが登録される。例えば、データセットをテーブル構造とする場合、テーブルのカラム名とそのカラムのデータ定義（例えば、バイナリ表記や数値のようなデータ解釈に必要となる定義）をセットにした構成情報が登録される。構成情報２には、データセット間の依存関係を示す情報が登録される。なお、他のデータセットと依存関係がないデータセットに対応する構成情報２には何の情報も登録されない。例えば、データセット（ＢＢＢ）に対応する構成情報２は空欄となっている。
【００２２】
他のデータセットと依存関係があるデータセットの場合、例えば、当該データセットが他のデータセットとの組み合わせにより構成される場合、その結合ルールが構成情報２として登録される。なお、結合ルールは、結合元となるデータセットがどのように他のデータセットと結合されているのかを、例えば、ＳＱＬ（Ｓｔｒｕｃｔｕｒｅｄ  Ｑｕｅｒｙ  Ｌａｎｇｕａｇｅ）などのデータ処理を記述可能な言語で表記される。例えば、データセット（ＡＡＡ）の場合、当該データセットを構成するデータファイルが存在するものの、構成情報２に結合ルールが登録されている場合、そのデータセットの一部を構成する他のデータセットが存在しており、そのデータの複製が保存されていることを示す。
【００２３】
上記のように、データの複製を作成している場合、データ複製元を監視し、データに更新があった場合に、複製を更新する目的で、複製元のデータセット名と、その更新間隔（時間）を構成情報２に登録してもよい。なお、データの複製の更新が登録されていた場合、データ管理部１４は、更新間隔毎に、データ複製元からデータを読み出して複製を作成する。
【００２４】
次に、本発明の一実施形態に係るデータ処理方法について図４乃至図７のフローチャートを参照して説明する。図４は、データ処理装置１のデータ処理手順を示すフローチャートである（ステップＳ１〜Ｓ８）。
クライアント３は、データ処理命令発行部１０からデータ処理命令を発行し、データ処理装置１へ送信する。データ処理命令は、データ処理内容とデータ処理対象とを記述した命令であり、ＳＱＬなどの記述言語を用いて記述される。
【００２５】
クライアント３からデータ処理装置１へ送信されたデータ処理命令は、データ処理命令受領部１１にて受領される（Ｓ１）。データ処理命令受領部１１は、データ処理命令をその受領日時とともにアクセス履歴保存部１３に保存する（Ｓ２）。また、データ処理命令受領部１１は、データ管理部１４に問い合わせて、データの格納形態に合わせて、データ処理命令の内容を変更して、データ処理エンジン１２へ転送する（Ｓ３）。
【００２６】
データ処理エンジン１２は、データ処理命令受領部１１から転送されたデータ処理命令に従って、データ処理の対象となっているデータセットを特定し、そのデータセット取得要求をデータ管理部１４へ転送する（Ｓ４）。データ管理部１４は、データセットを構成するファイルデータをデータ処理命令に従って読出し又は書込むよう、データ処理装置１のファイル管理部６若しくはストレージ装置２のファイル管理部８に要求する（Ｓ５：データ読出書込要求）。
【００２７】
データ読出書込要求に従って、データ処理装置１のファイル管理部６はデータ蓄積部７に対してデータ読出し又は書込みを実行する。或いは、ストレージ装置２のファイル管理部８は、データ読出書込要求に従って、データ蓄積部９に対してデータ読出し又は書込みを実行する。データ処理装置１又はストレージ装置２は、その実行結果をデータ管理部１４に応答する（Ｓ６）。データ管理部１４は、データ蓄積部７又はデータ蓄積部９から取得したデータをデータ処理エンジン１２に転送する（Ｓ７）。
【００２８】
データ処理エンジン１２は、上記の実行結果に基づいて、データ処理命令に応じたデータ処理を実行し、その結果をデータ処理命令受領部１１を介して、クライアント３のデータ処理命令発行部１０へ送信する（Ｓ８）。
【００２９】
次に、データ処理装置１によるアクセス履歴に基づくデータ再配置手順について説明する。図５は、データ処理装置１によるデータ再配置手順を示すフローチャートである（ステップＳ１１〜Ｓ１６）。データ処理装置１のアクセス履歴解析部１５は、アクセス履歴保存部１３に保存され、所定期間内に実行されたデータ処理命令に従って、データセットがデータ処理に利用されている回数を集計する（Ｓ１１）。
【００３０】
アクセス履歴解析部１５は、データ管理部１４に保存されているデータセットの管理情報２０に登録されているデータセットリストから、一定回数以上利用されているデータセットを抽出し、そのデータセットがデータ処理装置１のデータ蓄積部７に格納されているか否かを判定する（Ｓ１２）。データ蓄積部７に格納されていないデータセットが存在した場合、そのデータセットをストレージ装置２からデータ処理装置１への再配置候補として記録する（Ｓ１３）。
【００３１】
アクセス履歴解析部１５は、データ処理装置１に格納されているデータセットのうち、アクセス履歴保存部１３に格納されているアクセル履歴から、一定期間以上利用されていないデータセットを抽出し、そのデータセットをデータ処理装置１からストレージ装置２への再配置候補として記録する（Ｓ１４）。
【００３２】
アクセス履歴解析部１５は、上記のように再配置候補として記録されたデータセットについて、その再配置元と再配置先の情報とともに、再配置命令をデータ管理部１４に発行する（Ｓ１５）。データ管理部１４は、再配置命令に該当するデータセットを再配置元から再配置先へコピーし、再配置元から削除する。また、再配置が完了したデータセットについては、そのアドレス情報を更新する（Ｓ１６）。
【００３３】
次に、データ処理装置１によるアクセス履歴に基づくデータセットの分割・再配置手順について説明する。図６は、データ処理装置１によるデータセット分割・再配置手順を示すフローチャートである（ステップＳ２１〜Ｓ２８）。ここでは、アクセス履歴に基づいてデータセットを分割し、そのデータセットの一部のみをデータ処理装置１とストレージ装置２との間で再配置する。
【００３４】
アクセス履歴解析部１５は、アクセス履歴保存部１３に格納されている一定期間のアクセス履歴に基づいて、管理情報２０のうちデータセットに含まれるカラムに対する参照回数、カラム内のデータ参照レンジとその指定回数を集計する（Ｓ２１）。所定回数以上の指定回数を持つカラムの参照レンジを再配置候補として抽出する（Ｓ２２）。
【００３５】
アクセス履歴解析部１５は、データ処理装置１に格納されているデータセットのうち、アクセス履歴保存部１３に格納されているアクセル履歴にから、一定期間以上指定されていないカラム、及びそのカラムの参照レンジを再配置候補として抽出する（Ｓ２３）。
【００３６】
アクセス履歴解析部１５は、上述の再配置候補の中から、所定回数以上指定されており、かつ、再配置候補として記録されたデータセットのカラム及びカラムの参照レンジから、一定期間以上指定されていないカラム及びカラムの参照レンジが存在しているか判定する（Ｓ２４）。一定期間以上指定されていないカラム及びカラムの参照レンジを含むレコードを特定し、データ分割対象として記録する（Ｓ２５）。
【００３７】
アクセス履歴解析部１５は、データ分割対象となるデータセットが存在する場合、そのデータ分割対象となるデータセットと、そのカラム及びレコードに対するデータ分割命令と再配置命令とをデータ管理部１４に転送する（Ｓ２６）。
【００３８】
データ管理部１４は、データ分割命令及び再配置命令に従って、データ分割対象となるデータセットを分割し、一定期間上指定されていないレコードを含むデータセットを、データ処理装置１からストレージ装置２へ再配置し、それ以外のレコードを含むデータセットをデータ処理装置１に保存する（Ｓ２７）。また、データ管理部１４は、データセットの管理情報２０に対して、再配置を行ったデータセットに関するエントリを追加し、そのデータセット名、アドレス、構成情報１、及び構成情報２を生成する（Ｓ２８）。
【００３９】
次に、データ処理装置１によるアクセス履歴に基づくデータセットの結合・複製手順について説明する。図７は、データ処理装置１によるデータセット結合・複製手順を示すフローチャートである（ステップＳ３１〜Ｓ３６）。ここでは、複数のデータセットの中から指定頻度の高いデータのみを抽出して、新たなデータセットとして結合したデータを複製する手順について説明する。
【００４０】
アクセス履歴解析部１５は、アクセス履歴保存部１３に格納されている一定期間のアクセス履歴に基づいて、複数のデータセットを用いてデータ処理を実行するデータ処理命令の中から、所定回数以上実行されているデータ処理命令を抽出する（Ｓ３１）。
【００４１】
アクセス履歴解析部１５は、データ処理命令により指定されている複数のデータセット、そのデータセットに含まれるカラム、及びレコードを抽出し、それらのデータを結合して１つのデータセットとする結合命令をデータ管理部１４に転送する（Ｓ３２）。
【００４２】
データ管理部１４は、アクセス履歴解析部１５からの結合命令に従って、データ処理命令により指定されたデータセットから所定のデータを抽出し、新たにデータセットの複製を作成して、データ蓄積部７に格納する（Ｓ３３）。その後、データ管理部１４は、データセットの管理情報２０に新たなエントリを作成し、そのデータセット名、アドレス、構成情報１、及び構成情報２を登録する（Ｓ３４）。
【００４３】
データ処理命令受領部１１は、クライアント３からのデータ処理命令が、新たなデータセットの管理情報に登録された構成情報１及び構成情報２と一致するデータ処理命令であるかを判定する（Ｓ３５）。その場合、データ処理命令を、新たなデータセットの複製に係るデータ処理命令に変換して、データ処理エンジン１２に転送する（Ｓ３６）。
【００４４】
次に、本発明に係るデータ処理方法を実装するために必要なシステム構成について説明する。図８は、本発明に係るデータ処理方法を実装するシステム構成を示すブロック図である。図８のシステムは、アクセス履歴保存部１０１（アクセス履歴保存部１３に相当）、再配置制御部１０２（データ管理部１４に相当）、データ処理部１０３（データ処理エンジン１２に相当）、第１記憶部１０４（データ処理装置１のデータ蓄積部７に相当）、及び第２記憶部１０５（ストレージ装置２のデータ蓄積部９に相当）、により構成される。本発明は、少なくとも２つ以上のデータ記憶装置にデータセットを分散記憶して、適宜、データセットを読み出してデータ処理するものであり、データ処理命令のアクセス履歴に基づいて、データセットの配置を変更することを特徴としている。再配置制御部１０２は、アクセス履歴に基づいてデータセットを第１記憶部１０４と第２記憶部１０５との間で再配置する。再配置制御部１０２は、データセットを分割して、その一部のみを第１記憶部１０４から第２記憶部１０５に再配置し、その他の部分を第１記憶部１０４に保存してもよい。また、再配置制御部１０２は、複数のデータセットを結合して新たなデータセットとして第１記憶部１０４又は第２記憶部１０５に配置してもよい。
【００４５】
本発明では、データの再配置制御方法として、下記に示す技法を適用することにより、データの再配置（データ保存先の変更）やデータの削除を実行する。
（１）テーブルデータのうち頻繁に参照されるデータ部分のみを特定し、そのデータ部分のみで構成される第１のテーブルデータと、参照頻度の低いデータ部分のみで構成される第２のテーブルデータとに分割して保存することにより、データ処理で取り扱うデータサイズを削減し、データ処理を高速化する。分割処理の変形例として、複数のテーブルを参照して、適宜、テーブルを結合するようなデータ処理を頻繁に実行している場合には、各テーブルから参照個所のみを抽出して１つのテーブルを生成し、データ処理で取り扱うデータサイズを削減し、データ処理を高速化してもよい。
（２）上記の参照頻度の低いデータを含むデータ処理を実行する場合には、分割したテーブルデータを仮想的に１つのテーブルとして取り扱い、データ処理を実行する。
（３）データの参照頻度は、データ処理を実行するクエリ（ＳＱＬなどのクエリ）に記述された、アクセス先となるテーブル、カラム、データ範囲などからなる情報から処理対象となるデータを特定し、それぞれの参照頻度を算出する。
（４）参照頻度の低いデータは、低コストに保存可能なストレージシステムへ再配置する。
（５）データベースシステムに含まれるデータ処理エンジンへの入力データや、データ処理エンジンからデータストレージへインタフェース（Ｉｎｐｕｔ／Ｏｕｔｐｕｔなど）を介在したデータについて、上述の技法（１）〜（４）を用いて、データの配置先や保存形式を変更し、かつ、異なるデータ処理エンジンを用いた場合であっても、データ処理命令をデータ処理に必要となるデータセット群に対する要求として変換することにより、透過的なアクセス環境をデータ処理エンジンに対して提供する。
【００４６】
本発明の具体的な適用例として、上述のデータ処理方法を、データベースシステムのデータ管理部に組み入れることができる。この場合、データセット若しくはデータの利用頻度に応じて、データセットを分割してデータ処理の対象となるデータサイズを削減することができる。また、複数のデータセットから不要なデータを除外し、新たに１つのデータセットを生成することにより、高速にデータ処理を実行することができる。また、データセット若しくはデータの利用頻度に応じて、安価なデータストレージにデータセット若しくはデータを再配置することにより、安価に大量のデータを保存することができる。これらの相乗効果により、データ・ストレージシステムのコストを抑制しつつ、データ処理性能を向上させることができる。この効果は、データベースシステム内のデータ処理エンジンを変更しても、維持することができる。
【００４７】
本発明は、少なくとも２台の記憶装置を具備するストレージシステムにおいて、データセットに対するデータ処理命令に係るアクセス履歴を保存し、アクセス履歴に応じてデータセットの一部のデータを抽出して、その配置場所（例えば、記憶装置）を変更することにより、データセットを再配置するデータ処理装置を提供するものである。また、データ処理装置にはデータ処理エンジンが含まれており、データ処理命令に応じてデータセットの配置場所を変更し、データセットの一部を抽出して複数のデータに分割したとしても、データ処理エンジンに対してデータ配置先やデータ構成を隠蔽し、あたかも１つのデータセットが纏まって保存されている状態を維持することを特徴としている。
【００４８】
上述のデータ処理装置は、コンピュータシステムを有している。そして、上述のデータ処理方法の処理過程をコンピュータプログラムで記述し、コンピュータ読み取り可能な記録媒体に記憶することができる。このコンピュータプログラムをコンピュータが読み出して実行することによって、上述のデータ処理が実現される。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、そのコンピュータがコンピュータプログラムを実行するようにしても良い。
【００４９】
なお、「コンピュータシステム」とは、オペレーティングシステム（ＯＳ）などのソフトウェアや周辺機器などのハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムをも包含する。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワーク、電話回線、通信回線などを介してコンピュータプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも包含する。
【００５０】
また、コンピュータプログラムは、コンピュータシステムの記憶媒体から、有線又は無線の伝送媒体を介して、他のコンピュータシステムに伝送されてもよい。ここで、コンピュータプログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）、電話回線や通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、コンピュータプログラムは、データ処理装置の機能の一部を実現するためのものであっても良い。さらに、コンピュータプログラムは、上述の機能をコンピュータシステムのプリインストールプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００５１】
１  データ処理装置
２  ストレージ装置
３  クライアント
５  データ処理部
６  ファイル管理部
７  データ蓄積部
８  ファイル管理部
９  データ蓄積部
１０  データ処理命令発行部
１１  データ処理命令受領部
１２  データ処理エンジン
１３  アクセス履歴保存部
１４  データ管理部
１５  アクセス履歴解析部
１０１  アクセス履歴保存部
１０２  再配置制御部
１０３  データ処理部
１０４  第１記憶部
１０５  第２記憶部
【図１】
2020149134.tif 000003
【図２】
2020149134.tif 000004
【図３】
2020149134.tif 000005
【図４】
2020149134.tif 000006
【図５】
2020149134.tif 000007
【図６】
2020149134.tif 000008
【図７】
2020149134.tif 000009
【図８】
2020149134.tif 000010