(57)【特許請求の範囲】
【請求項１】
第１の計算機システムを構成する複数の第１のノード計算機における第１のアプリケーションシステムと第１のストレージ制御システムとを含んだ第１のデータ処理システムを備え、
前記第１のアプリケーションシステムは、データソースから多次元データを受信する都度に、当該多次元データを、前記複数の第１のノード計算機がそれぞれ有する複数の第１の物理記憶空間に基づく第１の論理記憶空間に書き込み、当該多次元データを前記第１の論理記憶空間から読み出し、当該読み出された多次元データの分析を行い、当該分析の結果を出力するようになっており、
前記第１のストレージ制御システムは、前記第１の論理記憶空間に書き込まれるデータについて、データローカリティを有するＥＣ（Erasure Coding）としての書込み処理であるデータローカリティＥＣ処理を行うようになっており、
前記第１のアプリケーションシステムは、前記複数の第１のノード計算機における一つ又は複数のアプリケーションのうちの少なくとも一つのアプリケーションであり、
前記第１のストレージ制御システムは、前記複数の第１のノード計算機における複数の第１のストレージ制御部であり、
前記第１のアプリケーションシステムが受信した多次元データについて、前記データローカリティＥＣ処理では、当該多次元データを受信したアプリケーションを有する第１のノード計算機における第１のストレージ制御部が、当該多次元データを構成する一つ又は複数のデータチャンクの全てを当該第１のノード計算機内の第１の物理記憶空間に書き込み、当該一つ又は複数のデータチャンクの各々について、当該データチャンクのパリティを、当該データチャンクと、当該第１のノード計算機以外の一つ以上の第１のノード計算機がそれぞれ有する一つ以上のデータチャンクとに基づき生成し、当該生成したパリティを、当該第１のノード計算機以外の第１のノード計算機における第１の物理記憶空間に書き込む、
システム。
【請求項２】
第２の計算機システムに設けられた第２のデータ処理システムを備え、
前記第１の計算機システムは、エッジシステムに含まれ、
前記第２の計算機システムは、コアシステムに含まれ、
前記第２のデータ処理システムは、前記第２の計算機システムが有する一つ又は複数の第２の物理記憶空間に基づく第２の論理記憶空間を管理する第２のストレージ制御システムを備え、
前記第１のストレージ制御システムと前記第２のストレージ制御システムとのうちの少なくとも一つが、前記第１の論理記憶空間から前記第２の論理記憶空間に少なくとも一部のデータをコピーすることを含むリモートコピー処理を行う、
請求項１に記載のシステム。
【請求項３】
前記第１のストレージ制御システムにおいて、各第１のストレージ制御部は、当該第１のストレージ制御部を有する第１のノード計算機内のアドレスとデータとの関係を表す情報である第１の重複排除情報を用いて、当該第１のノード計算機内の第１の物理記憶空間の重複するデータを排除するようになっており、
前記第２のストレージ制御システムは、前記第２の計算機システム内のアドレスとデータとの関係を表す情報である第２の重複排除情報を用いて、当該一つ又は複数の第２の物理記憶空間の重複するデータを排除するようになっており、
前記リモートコピー処理において、前記少なくとも一つのストレージ制御システムが、前記第１の重複排除情報と前記第２の重複排除情報とを用いて、コピー元におけるデータのうちコピー先におけるデータと重複の無いデータを特定し、当該特定したデータを前記第１の論理記憶空間から前記第２の論理記憶空間にコピーする、
請求項２に記載のシステム。
【請求項４】
前記第２の計算機システムは、前記複数の第２の物理記憶空間をそれぞれ備える複数の第２のノード計算機を有し、
前記第２のストレージ制御システムは、前記複数の第２のノード計算機における複数の第２のストレージ制御部であり、
前記第１の論理記憶空間が、前記複数の第１のノード計算機における複数の第１の論理ボリュームのうちの少なくとも一つの第１の論理ボリュームを含み、
前記第２の論理記憶空間が、前記複数の第２のノード計算機における複数の第２の論理ボリュームのうちの少なくとも一つの第２の論理ボリュームを含み、
前記リモートコピー処理は、コピー元の第１の論理ボリュームがあるコピー元の第１のノード計算機からコピー先の第２のノード計算機のコピー先の第２の論理ボリュームにデータをコピーする処理であり、
前記第１の重複排除情報は、前記コピー元の第１のノード計算機内のアドレスとデータとの関係を表す情報であり、
前記第２の重複排除情報は、前記コピー先の第２のノード計算機内のアドレスとデータとの関係を表す情報であり、
前記リモートコピー処理の開始前に、前記コピー先の第２のノード計算機における第２のストレージ制御部であるコピー先の第２のストレージ制御部が、リードオンリーモードになり、
前記リモートコピー処理において、
コピー元の第１のストレージ制御部と前記コピー先の第２のストレージ制御部とのうちの少なくとも一つが、前記第２の重複排除情報を前記コピー先の第２のノード計算機から前記コピー元の第１のノード計算機にコピーし、
前記コピー元の第１のストレージ制御部が、前記コピーされた第２の重複排除情報と、前記第１の重複排除情報とを用いて、前記コピー元の第１の論理ボリュームに格納されているデータのうち、前記コピー先の第２のノード計算機における物理記憶空間に無いデータを特定し、
前記コピー元の第１のストレージ制御部と前記コピー先の第２のストレージ制御部とのうちの少なくとも一つが、前記特定されたデータを前記コピー先の第２の論理ボリュームにコピーする、
請求項３に記載のシステム。
【請求項５】
前記第２のデータ処理システム、又は、前記第１及び第２の計算機システムとは別の第３の計算機システムに設けられた第３のデータ処理システムが第２のアプリケーションシステムを備え、
前記第１のデータ処理システムが、前記第１の論理記憶空間とは別の論理記憶空間であり学習モデルが格納される論理記憶空間である第１のモデル空間を管理し、
前記第１のアプリケーションシステムは、前記第１のモデル空間内の学習モデルを用いて、前記読み出された多次元データの分析を行うようになっており、
前記第２のアプリケーションシステムは、前記第２の論理記憶空間にコピーされたデータの少なくとも一部に基づき、前記学習モデルを更新し、
当該更新された学習モデルが、前記第１のモデル空間に格納される、
請求項２に記載のシステム。
【請求項６】
前記第２又は第３のデータ処理システムが、データ加工部を備え、
前記データ加工部が、前記第２の論理記憶空間におけるデータの少なくとも一部を加工し、加工後のデータを、前記第２又は第３の計算機システムに備えられた第３の論理記憶空間に格納し、
前記第２のアプリケーションシステムは、前記第３の論理記憶空間に格納されているデータを用いて、前記学習モデルを更新する、
請求項５に記載のシステム。
【請求項７】
前記第２のストレージ制御システム、又は、前記第３のデータ処理システムが有する第３のストレージ制御システムが、前記第３の論理記憶空間のスナップショットを取得し、
前記第２のアプリケーションシステムは、前記第３の論理記憶空間のスナップショットを用いて、前記学習モデルを更新する、
請求項６に記載のシステム。
【請求項８】
前記第２のアプリケーションシステムが、前記第２又は第３のデータ処理システムが管理する第２のモデル空間に、前記更新された学習モデルを格納し、
前記第１のストレージ制御システムと前記第２のストレージ制御システムとのうちの少なくとも一つのストレージ制御システム、又は、前記第１のストレージ制御システムと前記第３の計算機システムに備えられた第３のストレージ制御システムとのうちの少なくとも一つのストレージ制御システムが、前記第２のモデル空間から前記第１のモデル空間に前記更新された学習モデルをコピーする、
請求項５に記載のシステム。
【請求項９】
前記第１の論理記憶空間に格納されるデータは、前記分析の結果を表すデータを含む、
請求項２に記載のシステム。
【請求項１０】
アプリケーションの配置の最適化を支援するアプリ配置支援部を更に備え、
前記アプリ配置支援部は、前記複数の第１のノード計算機の各々の書込み量を表す情報を表示する、
請求項１に記載のシステム。
【請求項１１】
アプリケーションの配置の最適化を支援するアプリ配置支援部を更に備え、
前記アプリ配置支援部は、前記複数の第１のノード計算機のうち書込み量の最も少ない第１のノード計算機を、配置対象のアプリケーションの配置先に決定する、
請求項１に記載のシステム。
【請求項１２】
アプリケーションの配置の最適化を支援するアプリ配置支援部を更に備え、
前記複数のアプリケーションは、前記複数の第１のノード計算機における複数の実行環境において実行され、
前記複数の実行環境の各々について、当該実行環境に、当該実行環境を有する第１のノード計算機における少なくとも一つの論理ボリュームがマウントされ、
前記アプリ配置支援部は、前記複数の第１のノード計算機の書込み量のバラつきが一定度合に達した場合、
最も書込み量の多い第１のノード計算機である移動元の第１のノード計算機から移動対象の実行環境を選択し、
当該選択した移動対象の実行環境の移動先の第１のノード計算機を選択し、
前記移動元の第１のノード計算機から前記移動先の第１のノード計算機に前記選択された移動対象の実行環境を移動し、且つ、当該移動対象の実行環境にマウントされていた論理ボリュームも前記移動元の第１のノード計算機から前記移動先の第１のノード計算機に移動することを、実行環境の管理部に実行させる、
請求項１に記載のシステム。
【請求項１３】
前記第２又は第３の計算機システムに備えられたデータ加工部を更に備え、
前記データ加工部が、前記第２又は第３の計算機システムに備えられた第３の論理記憶空間に格納されるデータから、開示不可のデータの属性の条件に該当するデータを除く、
請求項５に記載のシステム。
【請求項１４】
複数の第１のノード計算機を有する第１の計算機システムにおいて、データソースから多次元データを受信する都度に、
（ａ）当該多次元データを、前記複数の第１のノード計算機がそれぞれ有する複数の第１の物理記憶空間に基づく第１の論理記憶空間に書き込み、
（ｂ）当該多次元データを前記第１の論理記憶空間から読み出し、
（ｃ）当該読み出された多次元データの分析を行い、
（ｄ）当該分析の結果を出力し、
（ａ）の書き込みは、データローカリティを有するＥＣ（Erasure Coding）としての書込み処理であるデータローカリティＥＣ処理であり、
前記多次元データを受信した第１のノード計算機において、前記データローカリティＥＣ処理では、当該多次元データを構成する一つ又は複数のデータチャンクの全てを当該第１のノード計算機内の第１の物理記憶空間に書き込み、当該一つ又は複数のデータチャンクの各々について、当該データチャンクのパリティを、当該データチャンクと、当該第１のノード計算機以外の一つ以上の第１のノード計算機がそれぞれ有する一つ以上のデータチャンクとに基づき生成し、当該生成したパリティを、当該第１のノード計算機以外の第１のノード計算機における第１の物理記憶空間に書き込む、
方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、データ分析を支援するコンピュータ技術に関する。
【背景技術】
【０００２】
データソース（例えばセンサ群）から収集したデータをエッジシステムが分析することが望まれるケースがある。特許文献１は、エッジでインテリジェンスを有効にする技術を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】US2017/0060574
【発明の概要】
【発明が解決しようとする課題】
【０００４】
データソースから収集されるデータが、多次元データ、例えば、静止画データ及び動画データのうちの少なくとも一方である静止画／動画データであるケースがあり得る。そして、そのような静止画／動画データをＡＩ（Artificial Intelligence）を用いてリアルタイムに分析することが必要とされるケースがあり得る。
【０００５】
ＡＩを用いてリアルタイムにデータ分析を行うエッジシステムが行うためには、エッジシステムとして、高性能（特に、低レイテンシー）なＩＴ（Information Technology）インフラ基盤が求められる。
【０００６】
性能を重視すると、ミラー構成（データの二重化）が考えられる。しかし、ミラー構成は、容量効率が悪い。特に、データソースからのデータが、静止画／動画データのような大サイズのデータであると、エッジシステムのＩＴインフラ基盤として、そのようなデータが二重化されてもデータを格納できる程の大きな容量が必要となる。
【０００７】
容量効率を改善する手法として、ＥＣ（Erasure Coding）がある。ＥＣ構成によれば、書込み対象のデータが、複数のデータチャンクに分割され、複数のデータチャンクが複数のノード計算機に分散配置されることになる。このため、データの読み出しのときは、ノード計算機間の通信が必要となり、性能（特に、読出し性能）が低い。
【０００８】
以上のような課題は、エッジシステム以外の計算機システムについてもあり得る。また、静止画／動画データ以外の多次元データは、例えば音声データについてもあり得る。
【課題を解決するための手段】
【０００９】
複数のノード計算機を有する計算機システムが、データソースから多次元データを受信する都度に、当該多次元データを、複数のノード計算機がそれぞれ有する複数の物理記憶空間に基づく論理記憶空間に書き込み、当該多次元データを当該論理記憶空間から読み出し、当該読み出された多次元データの分析を行い、当該分析の結果を出力する。多次元データの書き込みは、データローカリティＥＣ処理（データローカリティを有するＥＣとしての書込み処理）である。データローカリティＥＣ処理は、多次元データを構成する一つ又は複数のデータチャンクの全てを当該ノード計算機内の物理記憶空間に書き込み、当該一つ又は複数のデータチャンクの各々について、当該データチャンクのパリティを、当該データチャンクと、当該ノード計算機以外の一つ以上のノード計算機がそれぞれ有する一つ以上のデータチャンクとに基づき生成し、当該生成したパリティを、当該ノード計算機以外のノード計算機における物理記憶空間に書き込むことである。
【発明の効果】
【００１０】
高い性能と高い容量効率を両立し多次元データのリアルタイム分析が可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係るシステム全体の構成を示す。
【図２】１次ＩＴインフラ基盤の構成を示す。
【図３】２次ＩＴインフラ基盤の構成を示す。
【図４】３次ＩＴインフラ基盤の構成を示す。
【図５】データローカリティＥＣ処理の一例を示す。
【図６】アプリ配置支援の一例を示す。
【図７】重複排除処理を含んだリモートコピー処理の一例を示す。
【図８】ＡＩアルゴリズム管理テーブルの構成を示す。
【図９】学習データセット管理テーブルの構成を示す。
【図１０】分析結果管理テーブルの構成を示す。
【図１１】ノード状態管理テーブルの構成を示す。
【図１２】ＶＭ管理テーブルの構成を示す。
【図１３】リアルタイム分析処理の流れを示す。
【図１４】アーカイブ処理の流れを示す。
【図１５】データ提供処理の流れを示す。
【図１６】ＡＩアルゴリズム作成処理の流れを示す。
【図１７】ＡＩアルゴリズム提供処理の流れを示す。
【図１８】アップデート処理の流れを示す。
【図１９】データローカリティＥＣ処理の流れを示す。
【図２０】アプリデプロイ支援処理の流れを示す。
【図２１】平準化処理の流れを示す。
【図２２】重複排除処理を含んだリモートコピー処理の流れを示す。
【発明を実施するための形態】
【００１２】
以下の説明では、「通信インターフェース装置」は、一つ以上の通信インターフェースデバイスでよい。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Network Interface Card））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
【００１３】
また、以下の説明では、「メモリ」は、一つ以上の記憶デバイスの一例である一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。
【００１４】
また、以下の説明では、「永続記憶装置」は、一つ以上の記憶デバイスの一例である一つ以上の永続記憶デバイスでよい。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）でよく、具体的には、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＮＶＭｅ（Non-Volatile Memory Express）ドライブ、又は、ＳＣＭ（Storage Class Memory）でよい。
【００１５】
また、以下の説明では、「記憶装置」は、メモリと永続記憶装置の少なくともメモリでよい。
【００１６】
また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサデバイスでよい。少なくとも一つのプロセッサデバイスは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサデバイスでよいが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサデバイスでもよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサデバイスは、プロセッサコアでもよい。少なくとも一つのプロセッサデバイスは、処理の一部又は全部を行うハードウェア記述言語によりゲートアレイの集合体である回路（例えばＦＰＧＡ（Field-Programmable Gate Array）、ＣＰＬＤ（Complex Programmable Logic Device）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサデバイスでもよい。
【００１７】
また、以下の説明では、「ｘｘｘテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のデータでもよいし（例えば、構造化データでもよいし非構造化データでもよいし）、入力に対する出力を発生するニューラルネットワーク、遺伝的アルゴリズムやランダムフォレストに代表されるような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、一つのテーブルは、二つ以上のテーブルに分割されてもよいし、二つ以上のテーブルの全部又は一部が一つのテーブルであってもよい。
【００１８】
また、以下の説明では、「ｙｙｙ部」の表現にて機能を説明することがあるが、機能は、一つ以上のコンピュータプログラムがプロセッサによって実行されることで実現されてもよいし、一つ以上のハードウェア回路（例えばＦＰＧＡ又はＡＳＩＣ）によって実現されてもよいし、それらの組合せによって実現されてもよい。プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／又はインターフェース装置等を用いながら行われるため、機能はプロセッサの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機又は計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。
【００１９】
また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号（２桁以上の符号）又は参照符号のうちの共通符号を使用し、同種の要素を区別する場合は、要素の識別符号（１桁の符号）又は参照符号全体を使用することがある。
【００２０】
また、以下の説明では、ノード計算機を「ノード」と略す。
【００２１】
図１は、実施形態に係るシステム全体の構成を示す。なお、本実施形態では、多次元データとして、静止画／動画データが採用される。
【００２２】
１次データレイクシステム１１０と、２次データレイクシステム１２０と、３次データレイクシステム１３０とがある。２次データレイクシステム１２０及び３次データレイクシステム１３０は、同一のクラウド環境（例えば、パブリッククラウド）に設けられてもよいし、２次データレイクシステム１２０が設けられるクラウド環境と３次データレイクシステム１３０が設けられるクラウド環境は異なっていてもよい。２次データレイクシステム１２０及び３次データレイクシステム１３０の少なくとも一つは、クラウド環境以外の環境に設けられてもよい。
【００２３】
１次ＩＴインフラ基盤（１次データレイクシステム１１０が設けられるＩＴインフラ基盤）は、後述するように複数のノードから構成されている（図２参照）。２次ＩＴインフラ基盤（２次データレイクシステム１２０が設けられるＩＴインフラ基盤）と３次ＩＴインフラ基盤（３次データレイクシステム１３０が設けられるＩＴインフラ基盤）は、同一でも異なっていてもよい。２次ＩＴインフラ基盤と３次ＩＴインフラ基盤は、１次ＩＴインフラ基盤と同じ構成でも異なる構成でもよい。本実施形態では、１次データレイクシステム１１０と２次データレイクシステム１２０の連携、２次データレイクシステム１２０と３次データレイクシステム１３０の連携、及び、３次データレイクシステム１３０と１次データレイクシステム１１０の連携を容易にするために、１次ＩＴインフラ基盤、２次ＩＴインフラ基盤及び３次ＩＴインフラ基盤の構成は同じであるとする。また、２次データレイクシステム１２０及び３次データレイクシステム１３０は、クラウド環境にあるとする。
【００２４】
本実施形態の概要は、例えば以下の通りである。なお、以下の説明において、「ＶＯＬ」は、論理ボリュームの略であり、詳細は後述する。また、少なくとも一つのＶＯＬは、「リポジトリ」でよい。
【００２５】
エッジ環境において静止画／動画データを使ったＡＩによるリアルタイム分析を行いたい場合、高い性能と高い容量効率を両立したＩＴインフラ基盤が求められる。ミラー構成は、データが二重化されるため容量効率が悪く、ＥＣ（Erasure Coding）は、静止画／動画データを構成する複数のデータチャンクが複数のノードに分散されるため読出しの都度にノード間通信が生じ故に読出し性能が悪い。
【００２６】
そこで、本実施形態では、１次データレイクシステム１１０は、データローカリティを有するＥＣとしての書込み処理であるデータローカリティＥＣ処理を行う。データローカリティＥＣ処理によれば、ノードにおける書込み対象の静止画／動画データは、当該ノードに格納され、当該静止画／動画データを構成する複数のデータチャンクにそれぞれ対応した複数のパリティは、当該ノード以外のノードに格納される。このため、静止画／動画データは、単一のノードから読み出し可能なので、ノード間通信が不要であり、故に、高い性能（低レイテンシー）を実現できる。また、データローカリティを有するＥＣにより高い容量効率も実現できる。
【００２７】
また、１次データレイクシステム１１０は、アプリケーションシステムとストレージ制御システムとの両方を含んだいわゆるＨＣＩ（Hyper-Converged Infrastructure）である。ＨＣＩのハードウェアとしてのＩＴインフラ基盤は、複数のノードで構成された基盤であり、サーバ製品、ストレージ製品及びスイッチ製品を繋いで高信頼なＩＴシステムを構築する必要は無い。エッジ環境では一般に高いＩＴスキルを持ったエンジニアや運用管理者がいないケースが多いと考えられるので、ＨＣＩとしての１次データレイクシステム１１０をエッジ環境に導入することは容易である。
【００２８】
エッジ環境に配置したＨＣＩ（データローカリティを有するＥＣを備えたＨＣＩ）が、エッジ環境で収集された静止画／動画データをＡＩによりリアルタイム分析をする。エッジのＨＣＩの大容量化を防ぐため、１次データレイクシステム１１０が、例えばクラウド環境に配置された２次データレイクシステム１２０（例えば、データローカリティを有するＥＣを備えたＨＣＩ）にデータをアーカイブする。この時、重複排除処理と連携したリモートコピー処理によって、リモートコピー時のデータ転送容量が削減される。
【００２９】
クラウド環境における２次データレイクシステム１２０にアーカイブされたデータを、２次データレイクシステム１２０が、必要に応じてデータ加工し、加工されたデータを、エッジ環境のデータソース１０１を提供する機器メーカのような所定のユーザが使用可能な３次データレイクシステム１３０に、ＡＩ学習用のデータとして提供する。３次データレイクシステム１３０は、提供されたデータを使ってＡＩを学習させ、改善されたＡＩアルゴリズムを作成し、作成されたＡＩアルゴリズムを、クラウド環境のＡＩアルゴリズムＶＯＬ１８４Ｆに格納する。３次データレイクシステム１３０は、ＡＩアルゴリズムＶＯＬ１８４Ｆ内のＡＩアルゴリズムを、エッジ環境にあるＡＩアルゴリズムＶＯＬ１６４Ｅにコピーする。１次データレイクシステム１１０は、改善されたＡＩアルゴリズムを使用したリアルタイム分析をすることで、分析の精度が向上する。
【００３０】
また、１次データレイクシステム１１０が、改善されたＡＩアルゴリズムを使った分析結果を表す分析結果データ、分析結果ＶＯＬ１６４Ｄに格納する。分析結果データは、１次データレイクシステム１１０から２次データレイクシステム１２０を通じて３次データレイクシステム１３０に提供される。機器メーカのようなユーザは、３次データレイクシステム１３０に提供された分析結果データを閲覧又は使用することで、改善されたＡＩアルゴリズムが期待通りの動作を行ったか検証することができる。
【００３１】
また、本実施形態では、データローカリティを有するＥＣを備えたＨＣＩにおいて高性能を維持するため、アプリ配置支援部が、アプリの配置の最適化を支援する。
【００３２】
以下、本実施形態を詳細に説明する。１次データレイクシステム１１０、２次データレイクシステム１２０及び３次データレイクシステム１３０のいずれも、データローカリティを有するＥＣを備えたＨＣＩでよい。また、本実施形態では、データソース１０１を提供する者である「ソースサプライヤ」と、データレイクシステム１１０、１２０及び１３０を含んだシステムを提供する者である「システムサプライヤ」と、１次データレイクシステムを導入する者である「システムユーザ」とが存在するとする。
【００３３】
１次データレイクシステム１１０は、データソース１０１からデータを受信する。データソース１０１は、例えば、静止画を撮影し撮影された静止画を表す静止画データを出力する画像撮影機器１０２と、動画を撮影し撮影された動画を表す動画データを出力する動画撮影機器１０３とを含む。従って、データソース１０１から受信するデータは、静止画データと動画データとのうちの少なくとも一方である静止画／動画データである。
【００３４】
１次データレイクシステム１１０は、リアルタイム分析システム１６１、１次ストレージ制御システム１６２及びアプリ配置支援部１６５を有する。１次ストレージ制御システム１６２が、データローカリティＥＣ処理、重複排除及びリモートコピー（例えば、１次データレイク１６３から２次データレイク１７３へのコピー）を行う。１次ストレージ制御システム１６２が、１次データレイク１６３とＡＩアルゴリズムＶＯＬ１６４Ｅを提供する。ＡＩアルゴリズムＶＯＬ１６４Ｅに、データ分析のためのＡＩアルゴリズムが格納される。ＡＩアルゴリズムは、学習モデルの一例である。学習モデルは、既知の学習手法を利用して作成されたモデル、例えば、自己回帰移動平均モデル（例えばＡＲＩＭＡ（Autoregressive Integrated Moving Average）モデル）やニューラルネットワークでよい。
【００３５】
リアルタイム分析システム１６１は、データソース１０１から静止画／動画データを受信する都度に、当該静止画／動画データを、１次データレイク１６３に書き込み、当該静止画／動画データを１次データレイク１６３から読み出し、当該読み出された静止画／動画データを、ＡＩアルゴリズムＶＯＬ１６４内のＡＩアルゴリズムに従って分析する。リアルタイム分析システム１６１は、例えば、分析の結果を表す分析結果データを、１次データレイク１６３に書き込む。
【００３６】
１次データレイク１６３は、例えば、静止画データが格納される静止画ＶＯＬ１６４Ａ、動画データが格納される動画ＶＯＬ１６４Ｂ、静止画／動画データの関連データが格納される関連ＶＯＬ１６４Ｃ、及び、リアルタイム分析システム１６１による分析の結果を表す分析結果データが格納される分析ＶＯＬ１６４Ｄを含む。ここで、「ＶＯＬ」は、論理ボリュームの略であり、論理的な記憶デバイスでよい。ＶＯＬは、実体的なＶＯＬ（ＲＶＯＬ）であってもよいし、仮想的なＶＯＬ（ＶＶＯＬ）であってもよい。「ＲＶＯＬ」は、そのＲＶＯＬを提供するシステムのＩＴインフラ基盤が持つ物理的な記憶空間に基づくＶＯＬでよい。「ＶＶＯＬ」は、複数の仮想領域（仮想的な記憶領域）で構成されており容量仮想化技術（典型的にはThin Provisioning）に従うＶＯＬでよい。「プール」は、複数の実領域（実体的な記憶領域）で構成された記憶領域でよく、例えば複数のプールＶＯＬの集合でよい。ＶＶＯＬのライト先仮想領域に実領域が割り当てられ、割り当てられた実領域に、ライト対象のデータが書き込まれてよい。「プールＶＯＬ」は、プールの構成要素となるＶＯＬであり、例えばＲＶＯＬである。本実施形態では、ＶＯＬ１６４Ａ〜１６４Ｅの各々が、ＶＶＯＬである。ＶＶＯＬに格納されるデータは、図示しないプールＶＯＬを経て、ノードが有する物理記憶空間に格納される。
【００３７】
ＶＯＬ１６４に対する読み書きは、１次ストレージ制御システム１６２により行われる。例えば、リアルタイム分析システム１６１によるＶＯＬ１６４に対する読み書きは、１次ストレージ制御システム１６２経由で行われる。
【００３８】
アプリ配置支援部１６５が、１次ＩＴインフラ基盤上で動作するアプリの配置の最適化を支援する。例えば、１次ＩＴインフラ基盤上で動作する二つ以上のアプリが、リアルタイム分析システム１６１である。つまり、二つ以上のノードで実行される二つ以上のアプリによりリアルタイム分析システム１６１が実現される。アプリは、アプリケーションの略であり、典型的には、アプリケーションプログラムである。なお、ここで言う「二つ以上のアプリ」は、アプリ配置支援部１６５が機能する一例である。リアルタイム分析システム１６１は、一つのアプリで実現されてもよい。例えば、アプリが一つである例として、Hadoopアプリのように複数ノードで動作するアプリが挙げられる。アプリが一つでも、データローカリティＥＣは機能する。
【００３９】
２次データレイクシステム１２０は、データ加工部１７１、２次ストレージ制御システム１７２及びアプリ配置支援部１７５を有する。２次ストレージ制御システム１７２が、データローカリティＥＣ処理、重複排除及びリモートコピーを行う。２次ストレージ制御システム１７２が、２次データレイク１７３を提供する。データ加工部１７１が、２次データレイク１７３からデータを読み出し、読み出したデータを加工（例えば、所定の条件に適合するデータを削除）する。加工後のデータが、３次データレイクシステム１３０に格納される。
【００４０】
アプリ配置支援部１７５が、２次ＩＴインフラ基盤上で動作するアプリの配置の最適化を支援する。
【００４１】
２次データレイク１７３は、例えば、静止画ＶＯＬ１６４Ａ内の静止画データのアーカイブ先である静止画ＶＯＬ１７４Ａ、動画ＶＯＬ１６４Ｂ内の動画データのアーカイブ先である動画ＶＯＬ１７４Ｂ、関連ＶＯＬ１６４Ｃ内の関連データのアーカイブ先である関連ＶＯＬ１７４Ｃ、及び、分析ＶＯＬ１６４Ｄ内の分析結果データのアーカイブ先である分析ＶＯＬ１７４Ｄを含む。２次データレイク１７３に対する読み書きは、２次ストレージ制御システム１７２により行われる。
【００４２】
ＶＯＬ１７４に対する読み書きは、２次ストレージ制御システム１７２により行われる。例えば、データ加工部１７１によるＶＯＬ１７４からの読み出しは、２次ストレージ制御システム１７２経由で行われる。
【００４３】
３次データレイクシステム１３０は、改善システム１８１、３次ストレージ制御システム１８２、アプリ配置支援部１８５及びＥＴＬ（Extract/Transform/Load）部１８７を有する。３次ストレージ制御システム１８２が、データローカリティＥＣ処理、重複排除及びリモートコピー（例えば、ＡＩアルゴリズムＶＯＬ１８４ＦからＡＩアルゴリズムＶＯＬ１６４Ｅへのリモートコピー）を行う。３次ストレージ制御システム１８２が、３次データレイク１８３及びＡＩアルゴリズムＶＯＬ１８４Ｆを提供する。また、３次ストレージ制御システム１８２が、３次データレイク１８３からＥＴＬを経て得られたデータの格納先となるデータマートＶＯＬ１８４Ｇも提供できる。ＥＴＬ部１８７が、３次データレイク１８３内のデータに対するＥＴＬにより得られたデータをデータマートＶＯＬ１８４Ｇに格納する。
【００４４】
改善システム１８１が、学習データセットを用いてＡＩアルゴリズムの改善を行い、改善されたＡＩアルゴリズムを表すデータをＡＩアルゴリズムＶＯＬ１８４Ｆに格納する。学習データセットは、３次データレイク１８３の少なくとも一部のスナップショットである。学習データセットは、データマートＶＯＬ１８４Ｇの少なくとも一部を含んでもよい。
【００４５】
３次データレイク１８３は、例えば、静止画ＶＯＬ１７４Ａ内の静止画データ又はその加工後のデータの格納先である静止画ＶＯＬ１８４Ａ、動画ＶＯＬ１７４Ｂ内の動画データ又はその加工後のデータの格納先である動画ＶＯＬ１８４Ｂ、関連ＶＯＬ１７４Ｃ内の関連データ又はその加工後のデータの格納先である関連ＶＯＬ１８４Ｃ、及び、分析ＶＯＬ１７４Ｄ内の分析結果データ又はその加工後のデータの格納先である分析ＶＯＬ１８４Ｄを含む。また、３次データレイク１８３は、Ｗｅｂ上に公開されているデータが格納される公開ＶＯＬ１８４Ｅを含む。
【００４６】
ＶＯＬ１８４に対する読み書きは、３次ストレージ制御システム１８２により行われる。例えば、改善システム１８１やＥＴＬ部１８７によるＶＯＬ１７４に対する読み書きは、３次ストレージ制御システム１８２経由で行われる。
【００４７】
アプリ配置支援部１８５が、３次ＩＴインフラ基盤上で動作するアプリの配置の最適化を支援する。例えば、３次ＩＴインフラ基盤上で動作する二つ以上のアプリが、改善システム１８１である。つまり、二つ以上のノードで実行される二つ以上のアプリにより改善システム１８１が実現される。なお、ここで言う「二つ以上のアプリ」は、アプリ配置支援部１８５が機能する一例である。改善システム１８１は、一つのアプリで実現されてもよい。
【００４８】
以上が、システム全体の構成についての説明である。なお、一例として、以下のうちの少なくとも一つが採用されてもよい。
・アプリ配置支援部１７５及び１８５の少なくとも一つは無くてもよい。
・ＥＴＬ部１８７は無くてもよい。
・データ加工部１７１は無くてもよい。
・関連ＶＯＬ、分析ＶＯＬ及び公開ＶＯＬの少なくとも一つは無くてもよい。
【００４９】
図２は、１次ＩＴインフラ基盤の構成を示す。
【００５０】
１次ＩＴインフラ基盤２１０は、複数のノード２１１で構成される。ノード２１１は、例えば汎用計算機でよい。ノード２１１は、例えば、ＩＦ（通信インターフェース装置）２６１、永続記憶装置２６３、メモリ２６４及びそれらに接続されたプロセッサ２６５を有する。永続記憶装置２６３は、一つ以上の永続記憶デバイス２６２を有する。永続記憶装置２６３が物理記憶空間を提供する。プロセッサ２６５によりアプリ２５１が実行されストレージ制御部２５２が実現される。
【００５１】
複数のノード２１１に、例えば、リアルタイム分析システム１６１、１次ストレージ制御システム１６２及び１次データレイク１６３が跨る。
【００５２】
リアルタイム分析システム１６１は、複数のアプリ２５１で実現される。一つ以上のアプリ２５１が一つのノード２１１に配置される。リアルタイム分析システム１６１は、少なくとも一つのアプリ２５１で実現されてもよい。別の言い方をすれば、複数のアプリ２５１で、リアルタイム分析システム１６１に加えて別のアプリケーションシステムが実現されてもよい。また、リアルタイム分析システム１６１は、Hadoopアプリケーションのように、複数ノード２１１に跨ったアプリ２５１によって実現されてもよい。
【００５３】
１次ストレージ制御システム１６２は、複数のストレージ制御部２５２で実現される。ストレージ制御部２５２は、例えばＳＤＳ（Software Defined Storage）である。各ノード２１１に、ストレージ制御部２５２がある。
【００５４】
各ノード２１１に、ハイパバイザ２８２が実行される。ハイパバイザ２８２は、ＶＭ（Virtual Machine）を作成したり、ＶＭをノード２１１間で移動したり、ＶＭを削除したりできる。
【００５５】
いずれかのノード２１１が、アプリ配置支援部１６５を有してよい。アプリ配置支援部１６５は、二つ以上のノード２１１に跨ってもよい。
【００５６】
図３は、２次ＩＴインフラ基盤の構成を示す。
【００５７】
２次ＩＴインフラ基盤３１０は、複数のノード３１１で構成される。ノード３１１は、例えば汎用計算機でよい。ノード３１１は、例えば、ＩＦ３６１、永続記憶装置３６３、メモリ３６４及びそれらに接続されたプロセッサ３６５を有する。永続記憶装置３６３は、一つ以上の永続記憶デバイス３６２を有する。永続記憶装置３６３が物理記憶空間を提供する。プロセッサ３６５によりアプリ３５１が実行されストレージ制御部３５２が実現される。
【００５８】
複数のノード３１１に、例えば、データ加工部１７１、２次ストレージ制御システム１７２及び２次データレイク１７３が跨る。
【００５９】
データ加工部１７１は、複数のアプリ３５１で実現される。一つ以上のアプリ３５１が一つのノード３１１に配置される。
【００６０】
２次ストレージ制御システム１７２は、複数のストレージ制御部３５２で実現される。ストレージ制御部３５２は、例えばＳＤＳである。各ノード３１１に、ストレージ制御部３５２がある。
【００６１】
各ノード３１１に、ハイパバイザ３８２が実行される。ハイパバイザ３８２は、アプリ３５１の実行環境の一例であるＶＭを作成したり、ＶＭをノード３１１間で移動したり、ＶＭを削除したりできる。
【００６２】
いずれかのノード３１１が、アプリ配置支援部１７５を有してよい。アプリ配置支援部１７５は、二つ以上のノード３１１に跨ってもよい。
【００６３】
図４は、３次ＩＴインフラ基盤の構成を示す。
【００６４】
３次ＩＴインフラ基盤４１０は、複数のノード４１１で構成される。ノード４１１は、例えば汎用計算機でよい。ノード４１１は、例えば、ＩＦ４６１、永続記憶装置４６３、メモリ４６４及びそれらに接続されたプロセッサ４６５を有する。永続記憶装置４６３は、一つ以上の永続記憶デバイス４６２を有する。永続記憶装置４６３が物理記憶空間を提供する。プロセッサ４６５によりアプリ４５１が実行されストレージ制御部４５２が実現される。
【００６５】
複数のノード４１１に、例えば、改善システム１８１、３次ストレージ制御システム１８２及び３次データレイク１８３が跨る。
【００６６】
改善システム１８１は、複数のアプリ４５１で実現される。一つ以上のアプリ４５１が一つのノード４１１に配置される。改善システム１８１は、少なくとも一つのアプリ４５１で実現されてもよい。別の言い方をすれば、複数のアプリ４５１で、改善システム１８１に加えて別のアプリケーションシステムが実現されてもよい。また、改善システム１８１は、Hadoopアプリケーションのように、複数ノード４１１に跨ったアプリ４５１によって実現されてもよい。
【００６７】
３次ストレージ制御システム１８２は、複数のストレージ制御部４５２で実現される。ストレージ制御部４５２は、例えばＳＤＳである。各ノード４１１に、ストレージ制御部４５２がある。
【００６８】
各ノード４１１に、ハイパバイザ４８２が実行される。ハイパバイザ４８２は、アプリ４５１の実行環境の一例であるＶＭを作成したり、ＶＭをノード４１１間で移動したり、ＶＭを削除したりできる。
【００６９】
いずれかのノード４１１が、アプリ配置支援部１８５を有してよい。アプリ配置支援部１８５は、二つ以上のノード４１１に跨ってもよい。
【００７０】
また、いずれかのノード４１１が、ＥＴＬ部１８７を有してよい。ＥＴＬ部１８７は、二つ以上のノード４１１に跨ってもよい。
【００７１】
図５〜図７を参照して、１次データレイクシステム１１０により行われる処理の一例を説明する。なお、図５〜図７に説明する処理と同様の処理は、２次データレイクシステム１２０及び３次データレイクシステム１３０のいずれも行うことが可能でもよい。
【００７２】
図５は、データローカリティＥＣ処理の一例を示す。
【００７３】
データローカリティＥＣ処理によれば、複数のノード２１１−１〜２１１−４がそれぞれ有する複数の物理記憶空間５６３−１〜５６３−４で構成され冗長化されたデータを記憶する冗長化グループが実現される。複数の物理記憶空間５６３−１〜５６３−４は、複数のストライプ５０−１〜５０−４を有する。「ストライプ」は、複数の物理記憶空間５６３−１〜５６３−４に跨った記憶領域であり、複数の物理記憶空間５６３−１〜５６３−４がそれぞれ有する複数のストリップで構成される。「ストリップ」は、一つの物理記憶空間５６３の一部である。一つのストリップに一つのデータチャンク又はパリティが格納されるとする。言い換えれば、ストリップのサイズとデータチャンク及びパリティの各々のサイズとが同じでよい。
【００７４】
例えば、ノード２１１−１〜２１１−４の各々において、ハイパバイザ２８２により生成されたＶＭ５０１があり、ＶＭ５０１においてアプリ２５１が実行される。また、ノード２１１−１〜２１１−４において、プールＶＯＬ１６４Ｐ１〜１６４Ｐ４が存在する。
【００７５】
各ノード２１１において、データローカリティＥＣ処理が行われる。ノード２１１−１を例に取る。アプリ２５１−１が静止画／動画データを書き込む場合、ストレージ制御部２５２−１が、アプリ２５１−１を実行するＶＭ５０１−１から当該静止画／動画データの書込み要求を受け、当該静止画／動画データ（データチャンク１−Ｄ１〜１−Ｄ３）を、ノード２１１−１が有するプールＶＯＬ１６４Ｐ１に書き込む。ストレージ制御部２５２−１は、データチャンク１−Ｄ１〜１−Ｄ３の全てを、ノード２１１−１が有する物理記憶空間５６３−１に書き込む。また、ストレージ制御部２５２−１は、データチャンク１−Ｄ１〜１−Ｄ３にそれぞれ対応したパリティＰ１〜Ｐ３を、ノード２１１−１以外のノード２１１−２〜２１１−４がそれぞれ有する物理記憶空間５６３−２〜５６３−４にそれぞれ書き込む。
【００７６】
各データチャンク１−Ｄについて、当該データチャンク１−Ｄに基づくパリティの書込み先ストリップは、当該データチャンク１−Ｄの書込み先ストリップを含むストライプにおけるいずれかのストリップである。
【００７７】
各データチャンク１−Ｄについて、パリティは、当該データチャンク１−Ｄの書込み先ストリップを含むストライプにおける全データチャンク（当該データチャンク１−Ｄを含む）に基づく。例えば、ストライプ５０−１によれば、パリティＰ１は、当該ストライプ５０−１における全データチャンク１−Ｄ１、２−Ｄ１及び３−Ｄ１に基づいている。言い換えれば、各データチャンク１−Ｄについて、パリティは、当該データチャンク１−Ｄの他に、ノード２１１−１以外の一つ以上のノード２１１（例えば、ノード２１１−１以外のノード２１１から、一つのストライプにつき生成されるパリティの数と同数のノードを除いた全ノード２１１）の各々のデータチャンク（同一のストライプに書き込まれるデータチャンク）に基づく。或るストリップにデータチャンクが未格納の場合、当該ストリップには所定のデータ（例えば、全ビット“０”のデータ）に基づきパリティが生成される（そのようなパリティは「中間パリティ」と呼ばれてよい）。
【００７８】
従って、各ストライプについて、当該ストライプ内のパリティは、当該ストライプ内のいずれかのストリップ内のデータチャンクが更新された場合、当該データチャンクの更新を行ったストレージ制御部２５２により更新される。
【００７９】
図５に例示のデータローカリティＥＣ処理によれば、データ（例えば、データチャンク１−Ｄ１〜１−Ｄ３）の書き込みの際は、ノード間通信は生じる。ストレージ制御部２５２−１は、当該データを構成するデータチャンク１−Ｄ毎に、当該データチャンク１−Ｄに基づくパリティを、当該ストレージ制御部２５２−１を有するノード２１１とは別のノード２１１に書き込むためである。一方、データ（データチャンク１−Ｄ１〜１−Ｄ３）の読み出しでは、ストレージ制御部２５２−１は、当該データを単一のノード２１１−１の物理記憶空間５６３−１から読み出すことができる。つまり、データの読み出しでは、ノード間通信は不要である。
【００８０】
図６は、アプリ配置支援の一例を示す。
【００８１】
図６に例示のアプリ配置支援によれば、アプリ配置支援部１６５が、ノード２１１−１〜２１１−４の各々のノード内使用容量（書込み量の一例）をモニタリングする。ノード内使用容量のバラつきが一定度合に達した場合、アプリ配置支援部１６５が、ハイパバイザ２８２に対して、ＶＭ移動及びＶＯＬ移動を実施させる。具体的には、例えば、下記の通りである。
【００８２】
アプリ配置支援部１６５が、ノード内使用容量のバラつきが一定度合に達したことを検出する。
【００８３】
この場合、アプリ配置支援部１６５は、移動元ノードとして、ノード内使用容量が最も大きいノード２１１−１（例えば、五つのデータチャンクを格納しているノード２１１−１）を選択し、移動先ノードとして、ノード内使用容量が最も小さいノード２１１−３（例えば、一つのデータチャンクを格納しているノード２１１−３）を選択する。
【００８４】
また、アプリ配置支援部１６５は、移動元ノード２１１−１から移動先ノード２１１−３へ移動されるＶＭとして、当該ＶＭにマウントされているＶＯＬが移動することでノード内使用容量の平準化が最も期待できるＶＭを選択する。ここでは、移動元ノード２１１−１には、三つのデータチャンクを格納しているＶＯＬ１６４−１がマウントされているＶＭ５０１−１と、二つのデータチャンクを格納しているＶＯＬ１６４−５がマウントされているＶＭ５０１−５とがあるが、ＶＭ５０１−５が移動対象であることが、ノード内使用容量の平準化に最も貢献する。ＶＭ５０１−５及びＶＯＬ１６４−５が移動元ノード２１１−１から移動先ノード２１１−３に移動されると、ノード２１１−１〜２１１−４の全てにおいて、ノード内使用容量は、三つのデータチャンク分であるからである。アプリ配置支援部１６５は、ＶＭ５０１−５をノード２１１−１からノード２１１−３に移動することを移動元のハイパバイザ２８２−１と移動先のハイパバイザ２８２−３とのうちの少なくとも一つに実行させる。ハイパバイザ２８２−１及び２８２−３の少なくとも一つにより、ＶＭ５０１−５が、ノード２１１−１からノード２１１−３に移動し（矢印６０１）、ＶＭ５０１−５にマウントされているＶＯＬ１６４−５も、ノード２１１−１からノード２１１−３に移動する（矢印６０２）。ＶＯＬ１６４−５の移動に伴い、ストレージ制御部２５２−１及び２５２−３の少なくとも一つが、ＶＯＬ１６４−５内のデータチャンク５−Ｄ１及び５−Ｄ２を、物理記憶空間５６３−１から物理記憶空間５６３−３に移動する。それに伴い、ストレージ制御部２５２−１及び２５２−３の少なくとも一つが、当該データチャンク５−Ｄ１及び５−Ｄ２の各々について、当該データチャンク５−Ｄの書込み先ストリップを含んだストライプにおけるパリティを、当該データチャンク５−Ｄを基に更新する。なお、ＶＯＬ移動は、ハイパバイザ２８２−１及び２８２−３の少なくとも一つに代えて又は加えて、ストレージ制御部２５２−１及び２５２−３のうちの少なくとも一つにより行われてもよい。
【００８５】
以上が、ノード内使用容量の平準化を維持するアプリ配置支援である。アプリ配置支援の別の例として、例えば下記のうちの少なくとも一つがある。
・アプリ配置支援部１６５は、ノード２１１−１〜２１１−４の各々のノード内使用容量を表す情報を、管理者が使用するクライアント端末に表示する。これにより、管理者は、アプリ２５１の追加先をノード２１１−１〜２１１−４のいずれのノード２１１にするかを、ノード内使用容量の平準化の観点から適切に選択できる。
・アプリ配置支援部１６５は、ノード２１１−１〜２１１−４の各々のノード内使用容量を基に、ノード２１１−１〜２１１−４から、追加対象のアプリ２５１の追加先を自動選択し、追加対象のアプリ２５１を選択したノード２１１に配置する。これにより、ノード内使用容量の平準化の観点から適切なノード２１１が追加対象のアプリ２５１の追加先として決まる。
【００８６】
なお、アプリ２５１の追加の際、アプリ配置支援部１６５は、アプリ２５１の追加先ノード２２１のハイパバイザ２８２に、ＶＭ５０１を作成させ、当該ＶＭ５０１にアプリ２５１を追加してもよい。
【００８７】
また、アプリ２５１をノード２１１に配置するとは、当該アプリ２５１がインストール済のＶＭ５０１のＶＭファイルに従うＶＭ５０１の作成をノード２１１のハイパバイザ２８２に要求することであってもよい。
【００８８】
図７は、重複排除処理を含んだリモートコピー処理の一例を示す。なお、図７の説明では、便宜上、一つのデータの塊を「データセグメント」と呼ぶ。
【００８９】
図７によれば、１次データレイクシステム１１０から２次データレイクシステム１２０へのリモートコピー処理が例示されている。１次データレイクシステム１１０が、コピー元の一例であり、２次データレイクシステム１２０が、コピー先の一例である。図７に例示のリモートコピー処理は、２次データレイクシステム１２０から３次データレイクシステム１３０へのリモートコピー処理、及び、３次データレイクシステム１３０から１次データレイクシステム１１０へのリモートコピー処理のいずれにも適用できる。
【００９０】
各ノード２１１ついて、次の通りである。ストレージ制御部２５２が、当該ノード２１１の物理記憶空間のデータの重複を排除する機能を持つ。ストレージ制御部２５２は、重複排除テーブル７５１を管理する。重複排除テーブル７５１は、例えば、物理記憶空間の物理アドレス毎に、当該物理アドレスに属する領域に格納されているデータセグメントのハッシュ値（例えば、データセグメントのサマリの一例）と、当該データセグメントが格納先とされた一つ以上の論理アドレス（例えば、一つ以上のプールＶＯＬ１６４Ｐの一つ以上のアドレス）とを表す。図７の例によれば、プールＶＯＬ１６４Ｐ１には、互いに重複する二つのデータセグメント１−Ａが格納されているが、ノード２１１−１の物理記憶空間からは、ストレージ制御部２５２−１の重複排除機能により、一方のデータセグメント１−Ａは重複排除されている。
【００９１】
各ノード３１１について、ストレージ制御部３５２の重複排除機能は、ストレージ制御部２５２の重複排除機能と同様である。
【００９２】
リモートコピー処理の一例として、コピー元のノード２１１−１のＶＯＬ１６４Ｐ１をコピー先のノード３１１−１のＶＯＬ１７４Ｐ２にコピーするリモートコピー処理を例に取る。
【００９３】
一比較例に係るリモートコピー処理では、例えば下記課題がある。
・一方のデータセグメント１−Ａが重複排除されていても、ＶＯＬ１６４Ｐ１には論理的には二つのデータセグメント１−Ａが格納されている。このため、コピー対象には、二つのデータセグメント１−Ａが含まれてしまう。
・コピー先のノード３１１−１に、コピー元のＶＯＬ１６４Ｐ１内のデータセグメント１−Ｂと重複するデータセグメント１−Ｂが存在していたとしても、コピー対象には、データセグメント１−Ｂも含まれてしまう。データセグメント１−Ｂは、コピー先のノード３１１−１において重複排除される。
【００９４】
そこで、本実施形態では、下記の処理が行われる。なお、図７では、実線で表現されているデータセグメントは、物理記憶空間に格納されているデータセグメントであり、破線で表現されているデータセグメントは、論理的にはＶＯＬに格納されているが物理記憶空間には格納されていないデータセグメント（重複排除されたデータセグメント）である。
【００９５】
まず、リモートコピー処理の開始前に、ストレージ制御部３５２−１が、リードオンリーモードになる（Ｓ７１０）。これにより、コピー先ノード３１１−１では、ストレージ制御部３５２−１は、ＶＯＬ１７４Ｐからデータセグメントを読み出すことは行えるが、ＶＯＬ１７４Ｐにデータセグメントの書き込みを行うことはできない。故に、コピー先ノード３１１−１の物理記憶空間に新たなデータセグメントが書き込まれることは無い。
【００９６】
ストレージ制御部２５２−１及び３５２−１の少なくとも一つが、重複排除テーブル７７１−１をノード３１１−１からノード２１１−１にコピーする（Ｓ７１１）。これにより、ストレージ制御部２５２−１は、コピーされた重複排除テーブル７７１−１を参照すれば、コピー先ノード３１１−１の物理記憶空間に存在するデータセグメントのハッシュ値を特定できるようになる。
【００９７】
ストレージ制御部２５２−１が、重複排除テーブル７５１−１及び７７１−１を比較することで、コピー元ＶＯＬ１６４Ｐ１に格納されているデータのうち、コピー先ノード３１１−１の物理記憶空間に無いデータセグメント１−Ａを特定する（Ｓ７１２）。
【００９８】
ストレージ制御部２５２−１及び３５２−１の少なくとも一つが、Ｓ７１２で特定されたデータセグメント１−Ａをコピー先ＶＯＬ１７４Ｐ２にコピーする（Ｓ７１３）。その際、ストレージ制御部２５２−１は、ストレージ制御部３５２−１に、コピー元ＶＯＬ１６４Ｐ１の論理アドレスとデータセグメントのハッシュ値との対応関係を表すコピー管理情報を送信する。ストレージ制御部３５２−１が、当該コピー管理情報と、データセグメント１−Ａの書込み先物理アドレスとを基に、重複排除テーブル７７１−１を更新する。これにより、図７に示すように、ストレージ制御部３５２−１が、ＶＯＬ１７４Ｐ２に二つのデータセグメント１−Ａと一つのデータセグメント１−Ｂが存在していると管理できる。すなわち、更新後の重複排除テーブル７７１−１によれば、データセグメント１−Ｂが存在する物理アドレスに新たな論理アドレスが対応付けられ、且つ、新たなデータセグメント１−Ａの書込み先の物理アドレスに当該データセグメント１−Ａのハッシュ値と二つの論理アドレスが対応付けられる。
【００９９】
以上のリモートコピー処理によれば、コピー対象のサイズを削減できる。具体的には、下記を実現できる。
・ＶＯＬ１６４Ｐ１に論理的に二つのデータセグメント１−Ａが格納されていても、コピー対象に、二つのデータセグメント１−Ａが含まれてしまうことが無い。
・コピー先のノード３１１−１にあるデータセグメント１−Ｂと重複するデータセグメント１−Ｂがコピー対象に含まれてしまうことが無い。
【０１００】
以下、図８〜図１２を参照して、本実施形態で使用されるテーブルの一例を説明する。なお、図８〜図１２に示すテーブルのうちの少なくとも一部が、データレイクシステム１１０、１２０及び１３０のうちの二つ以上に共有されてよい。
【０１０１】
図８は、ＡＩアルゴリズム管理テーブルの構成を示す。
【０１０２】
ＡＩアルゴリズム管理テーブル８００は、改善システム１８１及びリアルタイム分析システム１６１が管理するテーブルの一つであり、例えば、所定のＶＯＬ１８４及び所定のＶＯＬ１６４に格納される。ＡＩアルゴリズム管理テーブル８００は、ＡＩアルゴリズムに関する情報を保持する。ＡＩアルゴリズム管理テーブル８００は、ＡＩアルゴリズム毎にレコードを有する。各レコードは、ＡＩアルゴリズムＩＤ８０１、ＡＩ−ＩＤ８０２、作成日時８０３、学習データセットＩＤ８０４及び分析結果ＩＤ８０５といった情報を格納する。一つのＡＩアルゴリズムを例に取る（図８の説明において「注目ＡＩアルゴリズム」）。
【０１０３】
ＡＩアルゴリズムＩＤ８０１は、注目ＡＩアルゴリズムのＩＤを表す。ＡＩ−ＩＤ８０２は、注目ＡＩアルゴリズムが属するＡＩのＩＤを表す。一つのＡＩにつき、ＡＩアルゴリズムが改善され、ＡＩアルゴリズムの改善の都度に、改善後のＡＩアルゴリズムにＡＩアルゴリズムＩＤが付与される。
【０１０４】
作成日時８０３は、注目ＡＩアルゴリズム（新規又は改善後のＡＩアルゴリズム）の作成日時を表す。学習データセットＩＤ８０４は、注目ＡＩアルゴリズムの作成に使用された学習データセットのＩＤを表す。分析結果ＩＤ８０５は、注目ＡＩアルゴリズムを用いた分析の結果のＩＤを表す。
【０１０５】
図９は、学習データセット管理テーブルの構成を示す。
【０１０６】
学習データセット管理テーブル９００は、改善システム１８１又は３次ストレージ制御システム１８２が管理するテーブルの一つであり、例えば、所定のＶＯＬ１８４に格納される。学習データセット管理テーブル９００は、学習データセットに関する情報を保持する。学習データセット管理テーブル９００は、学習データセット毎にレコードを有する。各レコードは、学習データセットＩＤ９０１、静止画日時９０２、動画日時９０３、関連日時９０４及び公開日時９０５といった情報を格納する。一つの学習データセットを例に取る（図９の説明において「注目学習データセット」）。
【０１０７】
学習データセットＩＤ９０１は、注目学習データセットのＩＤを表す。静止画日時９０２は、注目学習データセットに含まれる静止画データが取得された日時（例えば、静止画ＶＯＬ１８４Ａのスナップショット取得日時）を表す。動画日時９０３は、注目学習データセットに含まれる動画データが取得された日時（例えば、動画ＶＯＬ１８４Ｂのスナップショット取得日時）を表す。関連日時９０４は、注目学習データセットに含まれる関連データが取得された日時（例えば、関連ＶＯＬ１８４Ｃのスナップショット取得日時）を表す。公開日時９０５は、注目学習データセットに含まれる公開データが取得された日時（例えば、公開ＶＯＬ１８４Ｅのスナップショット取得日時）を表す。
【０１０８】
図１０は、分析結果管理テーブルの構成を示す。
【０１０９】
分析結果管理テーブル１０００は、リアルタイム分析システム１６１が管理するテーブルの一つであり、例えば、所定のＶＯＬ１６４に格納される。分析結果管理テーブル１０００は、分析結果に関する情報を保持する。分析結果管理テーブル１０００は、分析結果毎にレコードを有する。各レコードは、分析結果ＩＤ１００１、分析日時１００２、ＡＩ−ＩＤ１００３、ＡＩアルゴリズムＩＤ１００４及び顧客名１００５といった情報を格納する。一つの分析結果を例に取る（図１０の説明において「注目分析結果」）。
【０１１０】
分析結果ＩＤ１００１は、注目分析結果のＩＤを表す。分析日時１００２は、注目分析結果が得られた日時を表す。ＡＩ−ＩＤ１００３は、注目分析結果の取得に使用されたＡＩアルゴリズムが属するＡＩのＩＤを表す。ＡＩアルゴリズムＩＤ１００４は、注目分析結果の取得に使用されたＡＩアルゴリズムのＩＤを表す。顧客名１００５は、注目分析結果に関わる顧客（例えば、ソースサプライヤ又はシステムユーザ）のＩＤを表す。
【０１１１】
図１１は、ノード状態管理テーブルの構成を示す。
【０１１２】
ノード状態管理テーブル１１００は、データレイクシステム１１０、１２０及び１３０の各々において存在するテーブルの一つであり、例えば、当該データレイクシステムにおける所定のＶＯＬに格納される。ノード状態管理テーブル１１００は、ノード状態に関する情報を保持する。ノード状態管理テーブル１１００は、ノード毎にレコードを有する。各レコードは、ノード名称１１０１、平均プロセッサ使用率１１０２、ノード内空き容量１１０３及びノード内使用容量１１０４といった情報を格納する。一つのノード２１１を例に取る（図１１の説明において「注目ノード２１１」）。
【０１１３】
ノード名称１１０１は、注目ノード２１１の名称を表す。平均プロセッサ使用率１１０２は、注目ノード２１１のプロセッサ２６５の平均使用率を表す。ノード内空き容量１１０３は、注目ノード２１１の物理記憶空間のうちの空き容量を表す。ノード内使用容量１１０４は、注目ノード２１１の物理記憶空間のうちの使用容量（書込み容量）を表す。ノード内空き容量１１０３とノード内使用容量１１０４の合計が、注目ノードの物理記憶空間の容量を意味する。
【０１１４】
図１２は、ＶＭ管理テーブルの構成を示す。
【０１１５】
ＶＭ管理テーブル１２００は、データレイクシステム１１０、１２０及び１３０の各々において存在するテーブルの一つであり、例えば、当該データレイクシステムにおける所定のＶＯＬに格納される。ＶＭ管理テーブル１２００は、ＶＭ５０１に関する情報を保持する。ＶＭ管理テーブル１２００は、ＶＭ５０１毎にレコードを有する。各レコードは、ＶＭ名称１２０１、ノード名称１２０２、ＶＯＬ容量１２０３、及びＶＯＬ使用容量１２０４といった情報を格納する。一つのＶＭ５０１を例に取る（図１２の説明において「注目ＶＭ５０１」）。
【０１１６】
ＶＭ名称１２０１は、注目ＶＭ５０１の名称を表す。ノード名称１２０２は、注目ＶＭ５０１を有するノード２１１の名称を表す。ＶＯＬ容量１２０３は、注目ＶＭ５０１にマウントされているＶＯＬ１６４の容量を表す。ＶＯＬ使用容量１２０４は、注目ＶＭ５０１にマウントされているＶＯＬ１６４の容量のうちの使用容量を表す。
【０１１７】
以下、図１３〜図２２を参照して、本実施形態で行われる処理の一例を説明する。
【０１１８】
図１３は、リアルタイム分析処理の流れを示す。
【０１１９】
リアルタイム分析システム１６１が、データソース１０１から静止画／動画データを受信する（Ｓ１３０１）。リアルタイム分析システム１６１が、受信した静止画／動画データを、１次ストレージ制御システム１６２を通じて１次データレイク１６３（静止画ＶＯＬ１６４Ａ及び／又は動画ＶＯＬ１６４Ｂ）に書き込む（Ｓ１３０２）。
【０１２０】
リアルタイム分析システム１６１が、書き込んだ静止画／動画データを、１次ストレージ制御システム１６２を通じて１次データレイク１６３から読み出し、読み出した静止画／動画データを分析し、分析結果データを、１次ストレージ制御システム１６２を通じて１次データレイク１６３（分析ＶＯＬ１６４Ｄ）に書き込む（Ｓ１３０３）。その際、リアルタイム分析システム１６１が、分析結果管理テーブル１０００を更新してよい。
【０１２１】
リアルタイム分析システム１６１が、静止画／動画データと当該データの分析結果を表す分析結果データとを、所定の表示デバイスに表示する（Ｓ１３０４）。当該表示に応答して入力されたデータ（関連データの一例）を、リアルタイム分析システム１６１が、１次ストレージ制御システム１６２を通じて１次データレイク１６３（関連ＶＯＬ１６４Ｃ）に書き込む（Ｓ１３０５）。
【０１２２】
図１４は、アーカイブ処理の流れを示す。
【０１２３】
１次ストレージ制御システム１６２が、２次ストレージ制御システム１７２と連携して、１次データレイク１６３から２次データレイク１７３へのリモートコピーを開始する（Ｓ１４０１）。これにより、重複排除処理を含んだリモートコピー処理（図２２参照）が走る（Ｓ１４０２）。
【０１２４】
図１５は、２次データレイクシステム１２０から３次データレイクシステム１３０へのデータ提供処理の流れを示す。
【０１２５】
データ加工部１７１が、データ加工を行うか否か、例えばデータ加工条件が満たされているか否かを判定する（Ｓ１５０１）。データ加工条件とは、データ加工を行うことに該当する条件であり、例えば、データ属性や日時の条件でもよいし、管理者（例えば、ソースサプライヤ、システムサプライヤ又はシステムユーザの管理者）からデータ加工の要求を受けたことでもよい。
【０１２６】
Ｓ１５０１の判定結果が真の場合（Ｓ１５０１：Ｙｅｓ）、データ加工部１７１が、２次データレイク１７３から読み出されたデータを加工し、加工後のデータを、例えば２次ストレージ制御システム１７２を通じて３次データレイク１８３に格納する（Ｓ１５０２）。データ加工は、管理者からの操作に応答して、又は自動で行われてよい。
【０１２７】
Ｓ１５０１の判定結果が偽の場合（Ｓ１５０１：Ｎｏ）、２次ストレージ制御システム１７２が、３次ストレージ制御システム１８２と連携して、２次データレイク１７３から３次データレイク１８３へのリモートコピーを開始する（Ｓ１５０３）。これにより、重複排除処理を含んだリモートコピー処理（図２２参照）が走る（Ｓ１５０４）。
【０１２８】
図１６は、ＡＩアルゴリズム作成処理の流れを示す。
【０１２９】
改善システム１８１が、データマートを作成するか否か、例えばデータマート作成条件が満たされているか否かを判定する（Ｓ１６０１）。データマート作成条件とは、データマートＶＯＬ１８４Ｇの作成を行うことに該当する条件であり、例えば、ソースサプライヤからデータマートの作成要求を受けたことでもよい。
【０１３０】
Ｓ１６０１の判定結果が真の場合（Ｓ１６０１：Ｙｅｓ）、ＥＴＬ部１８７が、３次データレイク１８３から読み出されたデータのＥＴＬ（例えば、データの一部抽出又は加工）を行い、ＥＴＬ後のデータをデータマートＶＯＬ１８４Ｇに格納する（Ｓ１６０２）。ＥＴＬは、ソースサプライヤからの操作に応答して又は自動で行われてよい。
【０１３１】
Ｓ１６０２の後、又は、Ｓ１６０１の判定結果が偽の場合（Ｓ１６０１：Ｎｏ）、改善システム１８１は、選択可能なＡＩのＡＩ−ＩＤの一覧を、ソースサプライヤに対して表示し、ソースサプライヤが改善したいＡＩのＡＩ−ＩＤの選択を受け付け、選択されたＡＩのための改善されたＡＩアルゴリズムの作成を開始する（Ｓ１６０３）。
【０１３２】
改善システム１８１は、学習データセットの選択をソースサプライヤから受け付ける（Ｓ１６０４）。例えば、改善システム１８１が、ソースサプライヤから適宜に３次データレイク１８３（及び、データマートＶＯＬ１８４Ｇ）のスナップショット取得の要求を受け付け、３次データレイク１８３（及び、データマートＶＯＬ１８４Ｇ）のスナップショットを例えば学習データセット管理テーブル９００を用いて管理し、選択可能な学習データセット一覧をソースサプライヤに対して表示し、当該一覧からソースサプライヤ所望の学習データセットの選択を受け付けてよい。
【０１３３】
改善システム１８１が、Ｓ１６０４で選択された学習データセットを用いて、Ｓ１６０３で選択されたＡＩの改善されたＡＩアルゴリズムを作成する（Ｓ１６０５）。改善システム１８１は、作成されたＡＩアルゴリズムをＡＩアルゴリズムＶＯＬ１８４Ｆに格納し、ＡＩアルゴリズム管理テーブル８００を更新する（Ｓ１６０６）。
【０１３４】
図１７は、ＡＩアルゴリズム提供処理の流れを示す。
【０１３５】
３次ストレージ制御システム１８２は、１次ストレージ制御システム１６２と連携して、コピー元のＡＩアルゴリズムＶＯＬ１８４Ｆからコピー先のＡＩアルゴリズムＶＯＬ１６４ＥへのＡＩアルゴリズムのリモートコピーを開始する（Ｓ１７０１）。これにより、重複排除処理を含んだリモートコピー処理（図２２参照）が走り（Ｓ１７０２）、その後に、アップデート処理（図１８参照）が走る（Ｓ１７０３）。
【０１３６】
図１８は、アップデート処理の流れを示す。
【０１３７】
リアルタイム分析システム１６１が、ＡＩアルゴリズムＶＯＬ１６４ＥからＡＩアルゴリズムを読み出し、ＡＩアルゴリズム管理テーブル８００を更新し、使用可能なＡＩアルゴリズムのＡＩアルゴリズムＩＤの一覧を、例えば管理者（例えば、システムユーザ、システムサプライヤ又はソースサプライヤの管理者）が使用する情報処理端末である管理端末に表示する。
【０１３８】
リアルタイム分析システム１６１が、ＡＩアルゴリズムのＩＤの選択を受け付けたか否かを判定する（Ｓ１８０２）。
【０１３９】
Ｓ１８０２の判定結果が偽の場合（例えば、管理者から自動選択が指定された場合）（Ｓ１８０２：Ｎｏ）、リアルタイム分析システム１６１が、ＡＩアルゴリズム管理テーブルを参照し、リアルタイム分析システム１６１にとっての現在のＡＩアルゴリズムが属するＡＩ−ＩＤに対応した作成日時８０３が最新のＡＩアルゴリズムを選択し、現在のＡＩアルゴリズムを選択したＡＩアルゴリズムにアップデートする（Ｓ１８０３）。
【０１４０】
Ｓ１８０２の判定結果が真の場合（Ｓ１８０２：Ｙｅｓ）、リアルタイム分析システム１６１が、リアルタイム分析システム１６１にとっての現在のＡＩアルゴリズムを、選択されたＡＩアルゴリズムＩＤに対応したＡＩアルゴリズムにアップデートする（Ｓ１８０４）。
【０１４１】
図１９は、データローカリティＥＣ処理の流れを示す。図１９に示す処理は、ストレージ制御システム１６２、１７２及び１８３のいずれにも適用できる。以下、図５に例示のデータローカリティＥＣ処理を例に取る。
【０１４２】
１次ストレージ制御システム１６２（ストレージ制御部２５２−１）が、アプリ２５１−１からの静止画／動画データをデータチャンク１−Ｄ１〜１−Ｄ３に分割し、全てのデータチャンク１−Ｄ１〜１−Ｄ３を、物理記憶空間５６３−１に書き込む（Ｓ１９０１）。
【０１４３】
データチャンク１−Ｄ１〜１−Ｄ３の各々について、１次ストレージ制御システム１６２が、当該データチャンク１−Ｄと、当該データチャンク１−Ｄの書込み先ストリップを含むストライプにおける別の全データチャンクとを基に、パリティを生成し、当該パリティを、当該ストライプにおけるストリップ（データチャンクが格納されないストリップ）に書き込む（Ｓ１９０２）。
【０１４４】
１次ストレージ制御システム１６２が、Ｓ１９０２においてデータチャンクの不足があったストライプがあったか否かを判定する（Ｓ１９０３）。「データチャンクの不足」とは、データチャンク１−Ｄ以外の少なくとも一つのデータチャンクが初期チャンク（例えば、全ビットが“０”であるゼロデータチャンク）であることを意味する。
【０１４５】
Ｓ１９０３の判定結果が真の場合（Ｓ１９０３：Ｙｅｓ）、１次ストレージ制御システム１６２が、データチャンクの不足があったストライプについては、データチャンクの代わりに初期チャンクを使用してパリティを生成し（つまり中間パリティを生成し）、中間パリティを、パリティの書込み先のストリップに書き込む（Ｓ１９０４）。
【０１４６】
Ｓ１９０４の後、又は、Ｓ１９０３の判定結果が偽の場合（Ｓ１９０３：Ｎｏ）、１次ストレージ制御システム１６２が、書込み完了を、書込み対象の静止画／動画データの送信元のアプリ２５１−１に通知する（Ｓ１９０５）。
【０１４７】
ストレージ制御システム１６２が、中間パリティが格納されているストライプがあれば（Ｓ１９０６：Ｙｅｓ）、当該ストライプについては、全ての初期チャンクがデータチャンクに差し替えられた場合に、差し替え後のデータチャンクを用いて中間パリティをパリティに変更し、ストリップにおける中間パリティをパリティに差し替える（Ｓ１９０７）。
【０１４８】
図２０は、アプリデプロイ支援処理の流れを示す。図２０に示す処理は、データレイクシステム１１０、１２０及び１３０のいずれにも適用できる。以下、１次データレイクシステム１１０を例に取る。１次データレイクシステム１１０では、１次ストレージ制御システム１６２が適宜にノード状態管理テーブル１１００を更新し、ハイパバイザ２８２が適宜にＶＭ管理テーブル１２００を更新する。
【０１４９】
アプリ配置支援部１６５が、管理者から管理端末を通じて「手動選択」と「自動選択」のいずれにするかを受け付ける。
【０１５０】
「手動選択」が選択された場合（Ｓ２００２：Ｙｅｓ）、アプリ配置支援部１６５は、ノード状態管理テーブル１１００のうち、少なくとも、ノード２１１毎のノード内使用容量１１０４を含む情報を、管理端末に表示する（Ｓ２００３）。アプリ配置支援部１６５は、管理端末を通じて、管理者から、管理端末を通じて、ノード２１１の選択と、使用されるＶＭ５０１のＶＭファイル又はＶＭ情報（例えば、ＶＭ名称、プロセッサ、メモリ及びＶＯＬの情報）とを受け付ける（Ｓ２００４）。ＶＭファイルは、ＶＭ５０１（例えば、アプリ２５１がインストール済みのＶＭ５０１）のイメージファイルである。
【０１５１】
「自動選択」が選択された場合（Ｓ２００２：Ｎｏ）、アプリ配置支援部１６５は、管理者から、管理端末を通じて、使用されるＶＭ５０１のＶＭファイル又はＶＭ情報を受け付ける（Ｓ２００５）。アプリ配置支援部１６５は、ノード状態管理テーブル１１００を参照し、最もノード内使用容量が小さいノード２１１を選択する（Ｓ２００６）。
【０１５２】
Ｓ２００４又はＳ２００６の後、アプリ配置支援部１６５は、選択されたノード２１１のノード内空き容量１１０３と、ＶＭファイル又はＶＭ情報とを基に、選択されたノード２１１に、使用されるＶＭ５０１を作成する空き容量があるか否かを判定する（Ｓ２００７）。
【０１５３】
Ｓ２００７の判定結果が真の場合（Ｓ２００７：Ｙｅｓ）、アプリ配置支援部１６５は、選択されたノード２１１に、ＶＭファイル又はＶＭ情報に従いＶＭ５０１を作成する（Ｓ２００８）。
【０１５４】
Ｓ２００７の判定結果が偽の場合（Ｓ２００７：Ｎｏ）、アプリ配置支援部１６５は、管理端末に、ＶＭ作成失敗を表す情報を表示する（Ｓ２００９）。
【０１５５】
図２１は、平準化処理の流れを示す。図２１に示す処理は、データレイクシステム１１０、１２０及び１３０のいずれにも適用できる。以下、図６に例示の処理を例に取る。１次データレイクシステム１１０では、１次ストレージ制御システム１６２が適宜にノード状態管理テーブル１１００を更新し、ハイパバイザ２８２が適宜にＶＭ管理テーブル１２００を更新する。
【０１５６】
アプリ配置支援部１６５は、ノード状態管理テーブル１１００及びＶＭ管理テーブル１２００を参照する（Ｓ２１０１）。
【０１５７】
アプリ配置支援部１６５は、ノード内使用容量の不均衡が生じているか否か、すなわち、複数のノード２１１のノード内使用容量のバラつきが一定度合に達しているか否かを判定する（Ｓ２１０２）。
【０１５８】
Ｓ２１０２の判定結果が真の場合（Ｓ２１０２：Ｙｅｓ）、アプリ配置支援部１６５は、ノード内使用容量が最も大きいノード２１１−１からノード内使用容量が最も小さいノード２１１−３にＶＭ５０１−５及びＶＯＬ１６４−５を移動させることでノード内使用容量の不均衡が是正されるか否かを判定する（Ｓ２１０３）。
【０１５９】
Ｓ２１０３の判定結果が真の場合（Ｓ２１０３：Ｙｅｓ）、アプリ配置支援部１６５は、ノード内使用容量が最も大きいノード２１１−１からノード内使用容量が最も小さいノード２１１−３にＶＭ５０１−５及びＶＯＬ１６４−５を移動させる（Ｓ２１０４）。その際、ノード状態管理テーブル１１００及びＶＭ管理テーブル１２００が更新される。
【０１６０】
図２２は、重複排除処理を含んだリモートコピー処理の流れを示す。図２２に示す処理は、１次データレイクシステム１１０から２次データレイクシステム１２０へのリモートコピーにも、２次データレイクシステム１２０から３次データレイクシステム１３０へのリモートコピーにも、３次データレイクシステム１３０から１次データレイクレイクシステム１１０へのリモートコピーにも適用できる。以下、１次データレイクシステム１１０から２次データレイクシステム１２０へのリモートコピー（特に、図７に例示のリモートコピー）を例に取るが、２次ストレージ制御システム１７２及び３次ストレージ制御システム１８２のいずれも、コピー元ストレージ制御システムになり得るし、３次ストレージ制御システム１８２及び１次ストレージ制御システム１６２のいずれも、コピー先ストレージ制御システムになり得る。
【０１６１】
コピー元ストレージ制御システム１６２が、コピー先ストレージ制御システム１７２に、コピー先ノード３１１−１が持つ重複排除テーブル７７１−１を要求する（Ｓ２２０１）。
【０１６２】
コピー先ストレージ制御システム１７２は、コピー先ノード３１１−１（ストレージ制御部３５２−２）をリードオンリーモードに変更し、要求された重複排除テーブル７７１−１をコピー先ストレージ制御システム１７２に送信する（Ｓ２２０２）。
【０１６３】
コピー元ストレージ制御システム１６２は、コピー元ノード２１１−１が持つ重複排除テーブル７５１−１と送られてきた重複排除テーブル７７１−１とを比較することでコピー元ノード２１１−１のコピー元ＶＯＬ１６４Ｐ１のうちコピー先ノード３１１−１において重複していないデータセグメントを特定し、特定したデータセグメントをコピー先ノード３１１−１に転送し、コピー先ノードの重複排除テーブル７７１−１を更新する（Ｓ２２０３）。コピー先ストレージ制御システム１７２は、送られてきたデータセグメントを、コピー先ノード３１１−１のコピー先ＶＯＬ１７４Ｐ２に書き込む（Ｓ２２０４）。
【０１６４】
コピー元ストレージ制御システム１６２は、全てのデータ転送が終了したら、更新した重複排除テーブル７７１−１をコピー先ストレージ制御システム１７２に送信する（Ｓ２２０５）。コピー先ストレージ制御システム１７２は、送られてきた重複排除テーブル７７１−１で、コピー先ノード３１１−１の重複排除テーブル７７１−１を更新する（Ｓ２２０６）。コピー先ストレージ制御システム１７２は、コピー先ノード３１１−１のリードオンリーモードを解除する（Ｓ２２０７）。
【０１６５】
以上の実施形態の説明を、下記のように総括することができる。
【０１６６】
１次ＩＴインフラ基盤２１０（計算機システムの一例）を構成する複数のノード２１１におけるリアルタイム分析システム１６１（第１のアプリケーションシステムの一例）と１次ストレージ制御システム１６２（第１のストレージ制御システムの一例）とを含んだ１次データレイクシステム１１０（第１のデータ処理システムの一例）を含んだシステムが構築される。リアルタイム分析システム１６１は、データソース１０１から静止画／動画データを受信する都度に、当該静止画／動画データを、１次データレイク１６３（複数のノード２１１がそれぞれ有する複数の物理記憶空間５６３に基づく第１の論理記憶空間の一例）に書き込み、当該静止画／動画データを１次データレイク１６３から読み出し、当該読み出された静止画／動画データの分析を行い、当該分析の結果を出力するようになっている。１次ストレージ制御システム１６２は、１次データレイク１６３に書き込まれるデータについて、データローカリティＥＣ処理を行うようになっている。リアルタイム分析システム１６１は、複数のノード２１１における一つ又は複数のアプリ２５１のうちの少なくとも一つのアプリ２５１である。１次ストレージ制御システム１６２は、複数のノード２１１における複数のストレージ制御部２５２である。リアルタイム分析システム１６１が受信した静止画／動画データについて、データローカリティＥＣ処理では、当該静止画／動画データを受信したアプリ２５１−１を有するノード２１１−１におけるストレージ制御部２５２−１が、当該静止画／動画データを構成するデータチャンク１−Ｄ１〜１−Ｄ３（一つ又は複数のデータチャンクの一例）の全てを物理記憶空間５６３−１に書き込み、データチャンク１−Ｄ１〜１−Ｄ３の各々について、当該データチャンク１−Ｄのパリティを、ノード２１１−１以外のノード２１１における物理記憶空間５６３に書き込む。パリティの数お及びパリティの書込み先のノード２１１は、冗長構成に依存する。例えば、図５に例示のように、冗長構成がＲＡＩＤ５（３Ｄ＋１Ｐ）であれば、パリティは１つであり、データチャンク１−Ｄによって、パリティの書込み先ノード２１１は異なる。データローカリティＥＣ処理によれば、ノード２１１−１における書込み対象の静止画／動画データは、ノード２１１−１に格納され、当該静止画／動画データを構成するデータチャンク１−Ｄ１〜１−Ｄ３にそれぞれ対応した複数のパリティＰ１〜Ｐ３は、ノード２１１−１以外のノード２１１−２〜２１１−４に格納される。このため、静止画／動画データは、単一のノード２１１−１から読み出し可能なので、ノード間通信が不要であり、故に、高い性能（低レイテンシー）を実現できる。また、データローカリティを有するＥＣにより高い容量効率も実現できる。なお、データローカリティＥＣ処理では、静止画／動画データを受信したアプリ２５１−１を有するノード２１１−１におけるストレージ制御部２５２−１が、当該静止画／動画データを構成するデータチャンク１−Ｄ１〜１−Ｄ３のうち、例えばデータチャンク１−Ｄ１のパリティＰ１を、当該データチャンク１−Ｄと、ノード２１１−２及び２１１−３におけるデータチャンク２−Ｄ１及び３−Ｄ１に基づき生成する。このように他のノード２１１に格納されたデータチャンクを利用してパリティを生成することができる。
【０１６７】
システムが、２次ＩＴインフラ基盤３１０（第２の計算機システムの一例）における２次データレイクシステム１２０（第２のデータ処理システムの一例）を備えてよい。１次データレイクシステム１１０は、エッジシステムに含まれてよい。２次データレイクシステム１２０は、コアシステムに含まれてよい。２次データレイクシステム１２０は、２次データレイク１７３（２次ＩＴインフラ基盤３１０が有する一つ又は複数の物理記憶空間に基づく第２の論理記憶空間の一例）を管理する２次ストレージ制御システム１７２（第２のストレージ制御システムの一例）を備えてよい。ストレージ制御システム１６２及び１７２のうちの少なくとも一つが、１次データレイク１６３から２次データレイク１７３に少なくとも一部のデータをコピーすることを含むリモートコピー処理を行ってよい。このように２次データレイク１７３に１次データレイク１６３のデータをアーカイブできるので、１次データレイク１６３からアーカイブ済みデータが削除されてよく、故に、１次ＩＴインフラ基盤２１０の物理記憶容量が小さくてもよい。
【０１６８】
各ノード２１１のストレージ制御部２５２は、重複排除テーブル７５１（当該ストレージ制御部２５２を有するノード２１１内のアドレスとデータとの関係を表す情報である第１の重複排除情報の一例）を用いて、当該ノード２１１の物理記憶空間の重複するデータを排除するようになっていてよい。同様に、各ノード３１１のストレージ制御部３５２は、重複排除テーブル７７１（当該ストレージ制御部３５２を有するノード３１１内のアドレスとデータとの関係を表す情報である第２の重複排除情報の一例）を用いて、当該ノード２１１の物理記憶空間の重複するデータを排除するようになっていてよい。コピー元のストレージ制御部２５２−１及びコピー先のストレージ制御部３５２−１のうちの少なくとも一つが（例えば、図７の例によれば、ストレージ制御部２５２−１）が、重複排除テーブル７５１−１及び７７１−１を用いて、コピー元におけるデータセグメント１−Ａ及び１−Ｂのうちコピー先におけるデータセグメント１−Ｂと重複の無いデータセグメント１−Ａを特定し、当該特定したデータセグメント１−ＡをＶＯＬ１６４Ｐ１からＶＯＬ１７４Ｐ２にコピーしてよい。これにより、コピー対象のデータサイズを小さくできる。具体的には、リモートコピー処理の開始前に、コピー先のストレージ制御部３５２−１が、リードオンリーモードになり、その後に、リモートコピー処理が行われてよい。これにより、リモートコピー処理中にコピー先のノード３１１−１に新たなデータセグメントが増えることを防ぐことができ、結果として、コピー対象に含まれているデータセグメントと重複するデータセグメントがリモートコピー処理中にコピー先ノード３１１−１に生じてしまうこと（コピー先ノード３１１−１が重複排除処理を行う必要が出てしまうこと）を避けることができる。
【０１６９】
改善システム１８１（第２のアプリケーションシステムの一例）が、３次ＩＴインフラ基盤４１０（第３の計算機システムの一例）に設けられた３次データレイクシステム１３０に備えられてよい。改善システム１８１は、３次データレイクシステム１３０に代えて２次データレイクシステム１２０に設けられてもよい。１次データレイクシステム１１０が、ＡＩアルゴリズム（学習モデルの一例）が格納されるＡＩアルゴリズムＶＯＬ１６４Ｅ（第１のモデル空間の一例）を管理してよい。リアルタイム分析システム１６１は、ＡＩアルゴリズムＶＯＬ１６４Ｅ内のＡＩアルゴリズムＶＯＬを用いて、１次データレイク１６３から読み出された静止画／動画データの分析を行うようになっていてよい。改善システム１８１は、２次データレイク１７３にコピーされたデータの少なくとも一部に基づき、ＡＩアルゴリズムを更新してよい。当該更新されたＡＩアルゴリズムが、ＡＩアルゴリズムＶＯＬ１６４Ｅに格納されてよい。このように、１次データレイク１６３からアーカイブされたデータの少なくとも一部を使ってＡＩアルゴリズムが更新されていくので、分析の精度を高めることが期待できる。
【０１７０】
２次データレイクシステム１２０が、データ加工部１７１を備えてよい。データ加工部１７１が、２次データレイク１７３におけるデータの少なくとも一部を加工し当該加工されたデータを３次データレイク１８３（第３の論理記憶空間の一例）に格納してよい。改善システム１８１は、３次データレイク１８３に格納されているデータを用いて、ＡＩアルゴリズムを更新してよい。このように、ＡＩアルゴリズムの更新は、２次データレイク１７３とは別のデータレイクでありデータ加工部１７１により加工されたデータが格納された３次データレイク１８３を基に行われるので、分析の精度の更なる向上が期待される。なお、データ加工部１７１が、２次データレイクシステム１２０に代えて３次データレイクシステム１３０に備えられてもよいし、３次データレイク１８３が、３次データレイクシステム１３０に代えて２次データレイクシステム１２０に備えられてもよい。また、データ加工部１７１は、３次データレイク１８３に格納するデータから、開示不可のデータの属性の条件に該当するデータを除いてよい。これにより、３次データレイク１８３に、開示不可のデータが格納されソースサプライヤに閲覧されることを回避できる。
【０１７１】
３次ストレージ制御システム１８２（又は、２次ストレージ制御システム１７２）が、３次データレイク１８３のスナップショットを取得してよい。改善システム１８１は、３次データレイク１８３のスナップショットを用いて、ＡＩアルゴリズムを更新してよい。これにより、３次データレイク１８３の更新頻度が高くても、ＡＩアルゴリズムの更新がし易い。
【０１７２】
改善システム１８１が、３次データレイクシステム１３０が管理するＡＩアルゴリズムＶＯＬ１８４Ｆ（第２のモデル空間の一例）に、更新されたＡＩアルゴリズムを格納してよい。１次ストレージ制御システム１６２及び３次ストレージ制御システム１８２の少なくとも一つが、ＡＩアルゴリズムＶＯＬ１８４ＦからＡＩアルゴリズムＶＯＬ１６４Ｅに更新後のＡＩアルゴリズムにコピーするリモートコピー処理を行ってよい。これにより、静止画／動画データの１次データレイク１６３への格納、１次データレイク１６３から２次データレイク１７３へのアーカイブ、２次データレイク１７３から３次データレイク１８３へのデータの格納、３次データレイク１８３に基づくＡＩアルゴリズム更新、及び更新後のＡＩアルゴリズムのＡＩアルゴリズムＶＯＬ１８４ＦからＡＩアルゴリズムＶＯＬ１６４Ｅへの格納という一連の処理の自動化が期待できる。なお、３次データレイクシステム１３０に代えて２次データレイクシステム１２０が改善システム及びＡＩアルゴリズムＶＯＬ１８４Ｆを有する場合、１次ストレージ制御システム１６２と２次ストレージ制御システム１８２のうちの少なくとも一つが、ＡＩアルゴリズムＶＯＬ１８４ＦからＡＩアルゴリズムＶＯＬ１６４Ｅに更新後のＡＩアルゴリズムにコピーするリモートコピー処理を行ってよい。
【０１７３】
１次データレイク１６３に格納されるデータは、分析の結果を表す分析結果データを含んでよい。分析結果データが２次データレイク１７３にアーカイブされ、分析結果データの少なくとも一部をソースサプライヤが閲覧可能でよい。これにより、ＡＩアルゴリズムが期待通りの動作を行ったか検証することができる。
【０１７４】
１次データレイクシステム１１０が、アプリ２５１の配置の最適化を支援するアプリ配置支援部１６５を備えてよい。下記のうちの少なくとも一つが採用されてよい。なお、下記は、アプリ配置支援部１６５に代えて又は加えて、アプリ配置支援部１７５及び１８５の各々に適用されてよい。
・アプリ配置支援部１６５は、複数のノード２１１の各々のノード内使用容量（書込み量の一例）を表す情報を表示してよい。表示された当該情報を閲覧した管理者（例えば、システムサプライヤ、システムユーザ又はソースサプライヤの管理者）は、追加対象のアプリ２５１をいずれのノード２１１に配置するのが最適であるかを判断できる。
・アプリ配置支援部１６５は、複数のノード２１１のうちノード内使用容量の最も少ないノード２１１を、配置対象のアプリ２５１の配置先に決定してよい。これにより、アプリ２５１の配置先として最適なノード２１１が自動的に決定される。
・アプリ配置支援部１６５は、複数のノード２１１のノード内使用容量のバラつきが一定度合に達した場合、最もノード内使用容量の多い移動元ノード２１１−１から移動対象のＶＭ５０１−５を選択し、当該選択したＶＭ５０１−５の移動先ノード２１１−３を選択し、移動元ノード２１１−１から移動先ノード２１１−３に当該選択されたＶＭ５０１−５を移動し、且つ、当該ＶＭ５０１−５にマウントされていたＶＯＬ１６４−５も移動元ノード２１１−１から移動先ノード２１１−３に移動することを、ハイパバイザ２８２−１及び２８２−３の少なくとも一つ（実行環境の管理部の一例）に実行させる。これにより、運用中に複数のノード２１１のノード内使用容量のバラつきが一定度合に達してもアプリ２５１の最適な配置を維持することができる。
【０１７５】
以上、一実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実行することが可能である。
【０１７６】
例えば、アプリの実行環境は、ＶＭに代えて、コンテナのような他種の実行環境が採用されてもよい。
【０１７７】
また、例えば、本発明は、リアルタイム分析を行うエッジシステム以外の計算機システムに適用されてもよい。具体的には、例えば、下記のシステムが採用されてもよい。
【０１７８】
＜表現１＞
第１の計算機システムを構成する複数の第１のノード計算機における第１のストレージ制御システムを備え、
前記第１のストレージ制御システムは、前記複数の第１のノード計算機がそれぞれ有する複数の第１の物理記憶空間に基づく第１の論理記憶空間に書き込まれるデータについて、データローカリティを有するＥＣ（Erasure Coding）としての書込み処理であるデータローカリティＥＣ処理を行うようになっており、
前記ストレージ制御システムは、前記複数の第１のノード計算機における複数の第１のストレージ制御部であり、
前記データローカリティＥＣ処理では、第１のノード計算機における第１のストレージ制御部が、当該第１のノード計算機における書込み対象のデータを構成する一つ又は複数のデータチャンクの全てを当該第１のノード計算機内の第１の物理記憶空間に書き込み、当該一つ又は複数のデータチャンクの各々について、当該データチャンクのパリティを、当該第１のノード計算機以外の第１のノード計算機における第１の物理記憶空間に書き込む、
システム。
【０１７９】
＜表現２＞
第２の計算機システムにおける第２のデータ処理システムを備え、
前記第２のデータ処理システムは、前記第２の計算機システムが有する一つ又は複数の第２の物理記憶空間に基づく第２の論理記憶空間を管理する第２のストレージ制御システムを備え、
前記第１のストレージ制御システムと前記第２のストレージ制御システムとのうちの少なくとも一つのストレージ制御システムが、前記第１の論理記憶空間から前記第２の論理記憶空間に少なくとも一部のデータをコピーすることを含むリモートコピー処理を行う、
表現１に記載のシステム。
【０１８０】
＜表現３＞
前記第１のストレージ制御システムにおいて、各第１のストレージ制御部は、当該第１のストレージ制御部を有する第１のノード計算機内のアドレスとデータとの関係を表す情報である第１の重複排除情報を用いて、当該第１の物理記憶空間の重複するデータを排除するようになっており、
前記第２のストレージ制御システムは、前記第２の計算機システム内のアドレスとデータとの関係を表す情報である第２の重複排除情報を用いて、当該一つ又は複数の第２の物理記憶空間の重複するデータを排除するようになっており、
前記リモートコピー処理において、前記少なくとも一つのストレージ制御システムが、前記第１の重複排除情報と前記第２の重複排除情報とを用いて、コピー元におけるデータのうちコピー先におけるデータと重複の無いデータを特定し、当該特定したデータを前記第１の論理記憶空間から前記第２の論理記憶空間にコピーする、
表現２に記載のシステム。
【０１８１】
＜表現４＞
前記第２の計算機システムは、前記複数の第２の物理記憶空間をそれぞれ備える複数の第２のノード計算機を有し、
前記第２のストレージ制御システムは、前記複数の第２のノード計算機における複数の第２のストレージ制御部であり、
前記第１の論理記憶空間が、前記複数の第１のノード計算機における複数の第１の論理ボリュームのうちの少なくとも一つの第１の論理ボリュームを含み、
前記第２の論理記憶空間が、前記複数の第２のノード計算機における複数の第２の論理ボリュームのうちの少なくとも一つの第２の論理ボリュームを含み、
前記リモートコピー処理は、コピー元の第１の論理ボリュームがあるコピー元の第１のノード計算機からコピー先の第２のノード計算機のコピー先の第２の論理ボリュームにデータをコピーする処理であり、
前記第１の重複排除情報は、前記コピー元の第１のノード計算機内のアドレスとデータとの関係を表す情報であり、
前記第２の重複排除情報は、前記コピー先の第２のノード計算機内のアドレスとデータとの関係を表す情報であり、
前記リモートコピー処理の開始前に、前記コピー先の第２のノード計算機における第２のストレージ制御部であるコピー先の第２のストレージ制御部が、当該コピー先の第２のノード計算機をリードオンリーとし、
前記リモートコピー処理において、
前記コピー先の第２のストレージ制御部と、前記コピー元の第１のノード計算機における第１のストレージ制御部であるコピー元の第１のストレージ制御部とのうちの少なくとも一つのストレージ制御部が、前記第２の重複排除情報を前記コピー先の第２のノード計算機から前記コピー元の第１のノード計算機にコピーし、
前記コピー元の第１のストレージ制御部が、前記コピーされた第２の重複排除情報と、前記第１の重複排除情報とを用いて、前記コピー元の第１の論理ボリュームに格納されているデータのうち、前記コピー先の第２のノード計算機における物理記憶空間に無いデータを特定し、
前記少なくとも一つのストレージ制御部が、前記特定されたデータを前記コピー先の第２の論理ボリュームにコピーし、
前記コピー先の第２のストレージ制御部が、前記第２の重複排除情報を更新する、
表現３に記載のシステム。
【０１８２】
＜表現５＞
前記データローカリティＥＣ処理では、第１のノード計算機における第１のストレージ制御部が、当該第１のノード計算機における書込み対象のデータを構成する一つ又は複数のデータチャンクの各々について、当該データチャンクのパリティを、当該データチャンクと、当該第１のノード計算機以外の一つ以上の第１のノード計算機がそれぞれ有する一つ以上のデータチャンクとに基づき生成する、
表現１に記載のシステム。
【０１８３】
＜表現６＞
複数の第１のノード計算機における複数のアプリケーションの配置の最適化を支援するアプリ配置支援部を更に備え、
前記アプリ配置支援部は、前記複数の第１のノード計算機の各々の書込み量を表す情報を表示する、
表現１に記載のシステム。
【０１８４】
＜表現７＞
複数の第１のノード計算機における複数のアプリケーションの配置の最適化を支援するアプリ配置支援部を更に備え、
前記アプリ配置支援部は、前記複数の第１のノード計算機のうち書込み量の最も少ない第１のノード計算機を、配置対象のアプリケーションの配置先に決定する、
表現１に記載のシステム。
【０１８５】
＜表現８＞
複数の第１のノード計算機における複数のアプリケーションの配置の最適化を支援するアプリ配置支援部を更に備え、
前記複数のアプリケーションは、前記複数の第１のノード計算機における複数の実行環境において実行され、
前記複数の実行環境の各々について、当該実行環境に、当該実行環境を有する第１のノード計算機における少なくとも一つの論理ボリュームがマウントされ、
前記アプリ配置支援部は、前記複数の第１のノード計算機の書込み量のバラつきが一定度合に達した場合、
最も書込み量の多い第１のノード計算機である移動元の第１のノード計算機から移動対象の実行環境を選択し、
当該選択した移動対象の実行環境の移動先の第１のノード計算機を選択し、
前記移動元の第１のノード計算機から前記移動先の第１のノード計算機に前記選択された移動対象の実行環境を移動し、且つ、当該移動対象の実行環境にマウントされていた論理ボリュームも前記移動元の第１のノード計算機から前記移動先の第１のノード計算機に移動することを、実行環境の管理部に実行させる、
表現１に記載のシステム。
【０１８６】
また、上述の説明において、静止画／動画データは、多次元データの一例である。多次元データの他の例として、音声データ、又は他の多次元データが採用されてよい。例えば、近年、データの次元が多様化してきている。例えば、イメージセンサに関し、多波長のデータを取得する分光イメージングや、ＴＯＦ（Time Of Flight）カメラによる距離計測などがあり、このようなセンサから取得されたデータも多次元データである。
【符号の説明】
【０１８７】
１１０：１次データレイクシステム
１２０：２次データレイクシステム
１３０：３次データレイクシステム
【図１】
0006955588.tif 000002
【図２】
0006955588.tif 000003
【図３】
0006955588.tif 000004
【図４】
0006955588.tif 000005
【図５】
0006955588.tif 000006
【図６】
0006955588.tif 000007
【図７】
0006955588.tif 000008
【図８】
0006955588.tif 000009
【図９】
0006955588.tif 000010
【図１０】
0006955588.tif 000011
【図１１】
0006955588.tif 000012
【図１２】
0006955588.tif 000013
【図１３】
0006955588.tif 000014
【図１４】
0006955588.tif 000015
【図１５】
0006955588.tif 000016
【図１６】
0006955588.tif 000017
【図１７】
0006955588.tif 000018
【図１８】
0006955588.tif 000019
【図１９】
0006955588.tif 000020
【図２０】
0006955588.tif 000021
【図２１】
0006955588.tif 000022
【図２２】
0006955588.tif 000023