(57)【要約】【課題】本発明の記憶制御装置は、電力料金の時間帯による差異及び地域による差異を利用し、消費電力の異なる記憶デバイスの間で、データの格納先を制御する。【解決手段】各サイトの記憶制御装置１Ａ，１Ｂは、消費電力の異なるハードディスク及びフラッシュメモリデバイスをそれぞれ備える。スケジュール管理部３Ａは、ホストによって利用されるデータの格納先を制御するためのスケジュールを管理する。電力料金の安い夜間に、ハードディスクからフラッシュメモリデバイスにデータをコピーする（Ｓ１）。電力料金の高い昼間は、フラッシュメモリデバイス内のデータを用いて、ホストからのアクセスを処理する（Ｓ２）。離れたサイトにデータをコピーすることにより（Ｓ４）、ストレージシステム全体の電力コストを低減できる。【選択図】図１
2009134367.tif 000002
【特許請求の範囲】
【請求項１】
物理的に離れた複数のサイトを通信ネットワークを介して接続するストレージシステムであって、
前記複数のサイトの中に含まれ、かつ、第１地域に設けられる第１サイトであって、第１ホストコンピュータと、この第１ホストコンピュータに接続される第１記憶制御装置とを有する第１サイトと、
前記複数のサイトの中に含まれ、かつ、第２地域に設けられる第２サイトであって、第２ホストコンピュータと、この第２ホストコンピュータに接続される第２記憶制御装置を有する第２サイトと、
を備え、
前記第１記憶制御装置及び前記第２記憶制御装置は、消費電力が相対的に低い第１記憶デバイスと、消費電力が相対的に高い第２記憶デバイスと、前記第１記憶デバイスと前記第２記憶デバイスとの間で所定データを移動させる第１データ移動及び前記各サイト間で前記所定データを移動させる第２データ移動をそれぞれ制御するための制御部と、
をそれぞれ備えており、
電力コストに応じて前記所定データを移動させるためのスケジュール情報を管理するスケジュール管理部であって、同一の記憶制御装置内において前記第１記憶デバイスと前記第２記憶デバイスとの間で前記所定データを移動させるための第１移動計画と、前記第１記憶制御装置と前記第２記憶制御装置との間で前記所定データを移動させるための第２移動計画とがそれぞれ設定されている前記スケジュール情報を管理するスケジュール管理部を設け、
前記第１記憶制御装置の前記制御部及び前記第２記憶制御装置の前記制御部は、それぞれ前記スケジュール管理部により管理されている前記スケジュール情報に従って、前記所定データを移動させる、
ストレージシステム。
【請求項２】
前記第１地域の電力コストと前記第２地域の電力コストとは、相違する請求項１に記載のストレージシステム。
【請求項３】
前記スケジュール情報は、前記第１サイト及び前記第２サイトのうちいずれか電力コストの高い方のサイトにおいて、前記電力コストの相対的に高い時間帯における前記第２記憶デバイスの稼働率を最小化するように、設定されている、請求項１または請求項２のいずれかに記載のストレージシステム。
【請求項４】
前記スケジュール情報は、前記第１サイト及び前記第２サイトのうちいずれか電力コストの低い方のサイトにおいて、前記電力コストの相対的に低い時間帯における前記第２記憶デバイスの稼働率を、前記電力コストの相対的に高い時間帯における稼働率よりも高くするように、設定されている、請求項１または請求項２のいずれかに記載のストレージシステム。
【請求項５】
前記スケジュール情報の前記第１移動計画は、前記電力コストの相対的に高い時間帯では前記所定データを前記第１記憶デバイスに配置させ、前記電力コストの相対的に低い時間帯では前記所定データを前記第２記憶デバイスに配置させるように、設定されている請求項１〜請求項４のいずれかに記載のストレージシステム。
【請求項６】
前記スケジュール情報の前記第２移動計画は、前記第１記憶制御装置と前記第２記憶制御装置のうち、いずれか前記電力コストの低い方に前記所定データが配置されるように、設定されている請求項１〜請求項５のいずれかに記載のストレージシステム。
【請求項７】
前記第１制御部は、前記第１記憶制御装置内の前記第１記憶デバイスを用いて、前記第１ホストからのアクセス要求を処理し、
前記第２制御部は、前記第２記憶制御装置内の前記第２記憶デバイスを用いて、前記第２ホストからのアクセス要求を処理する、
請求項１〜請求項６のいずれかに記載のストレージシステム。
【請求項８】
前記スケジュール管理部は、前記第１サイト及び前記第２サイトの両方にそれぞれ設けられており、前記第１サイト内の前記スケジュール管理部と前記第２サイト内の前記スケジュール管理部とは、前記スケジュール情報を共用する請求項１〜請求項７のいずれかに記載のストレージシステム。
【請求項９】
前記第１記憶デバイスと前記第２記憶デバイスには、それぞれ論理ボリュームが設けられており、
前記第１記憶デバイスと前記第２記憶デバイスとの間における前記所定データの移動は、前記各論理ボリュームを用いて行われる、請求項１〜請求項８のいずれかに記載のストレージシステム。
【請求項１０】
前記スケジュール情報には、前記電力コストに応じて、前記第１ホストコンピュータと前記第２ホストコンピュータとの間で業務処理を移動させるための第３移動計画も設定されている、請求項１〜請求項９のいずれかに記載のストレージシステム。
【請求項１１】
前記第３移動計画は、前記第２移動計画に連動して実施されるように設定されている請求項１０に記載のストレージシステム。
【請求項１２】
前記各サイトのうち移動元となるサイト内の記憶制御装置は、前記第２移動計画を実施する場合に、他の前記各サイトのうち予め設定される所定条件に合致する、移動先サイトを選択し、この移動先サイト内の記憶制御装置との間で前記第２移動計画を実行する、請求項１〜請求項１０のいずれかに記載のストレージシステム。
【請求項１３】
前記所定条件には、前記移動元サイトと前記移動先サイトの間にデータをコピーするための通信経路が設定されているか、前記移動先サイト内の前記記憶制御装置に前記所定データを移動させた場合の応答時間が予め設定されている最低応答時間を超えるか、前記移動先サイト内の前記記憶制御装置が前記所定データを記憶するための記憶容量を備えているか、のうち少なくともいずれか１つが含まれている、請求項１２に記載のストレージシステム。
【請求項１４】
前記第１ホストコンピュータまたは前記第２ホストコンピュータが前記所定データにアクセスする状況を検出して管理するアクセス状況管理部をさらに備え、前記スケジュール管理部は、前記アクセス状況管理部を用いることにより前記スケジュール情報を生成する請求項１〜請求項１３のいずれかに記載のストレージシステム。
【請求項１５】
前記各制御部は、前記第１記憶デバイスの使用状況に基づいて前記第１記憶デバイスの寿命を予測し、予測された寿命が所定の閾値に達した場合には、前記所定データの格納先を前記第２記憶デバイスまたは別の第１記憶デバイスのいずれかに変更させる請求項１〜請求項１４のいずれかに記載のストレージシステム。
【請求項１６】
前記各制御部は、前記第１記憶デバイスの使用状況に基づいて前記第１記憶デバイスの寿命を予測し、予測された寿命が所定の閾値に達し、かつ、前記第１記憶デバイスに関する読出し要求の割合が予め設定された判定用閾値未満である場合に、前記所定データの格納先を前記第２記憶デバイスまたは別の第１記憶デバイスのいずれかに変更させる請求項１〜請求項１４のいずれかに記載のストレージシステム。
【請求項１７】
前記第１記憶デバイスはフラッシュメモリデバイスであり、前記第２記憶デバイスはハードディスクデバイスである、請求項１〜請求項１６のいずれかに記載のストレージシステム。
【請求項１８】
物理的に離れた複数のサイト間でデータを移動させるデータ移動方法であって、
前記複数のサイトの中に含まれ、かつ、第１地域に設けられる第１サイトであって、第１ホストコンピュータと、この第１ホストコンピュータに接続される第１記憶制御装置とを有する第１サイトと、
前記複数のサイトの中に含まれ、かつ、第２地域に設けられる第２サイトであって、第２ホストコンピュータと、この第２ホストコンピュータに接続される第２記憶制御装置を有する第２サイトと、
を備え、
前記第１記憶制御装置及び前記第２記憶制御装置は、消費電力が相対的に低い第１記憶デバイスと、消費電力が相対的に高い第２記憶デバイスと、前記第１記憶デバイスと前記第２記憶デバイスとの間で所定データを移動させる第１データ移動及び前記各サイト間で前記所定データを移動させる第２データ移動をそれぞれ制御するための制御部と、
をそれぞれ備えており、
電力コストに応じて、同一の記憶制御装置内において前記第１記憶デバイスと前記第２記憶デバイスとの間で前記所定データを移動させるステップと、
電力コストに応じて、前記第１記憶制御装置と前記第２記憶制御装置との間で前記所定データを移動させるステップと、
をそれぞれ実行するデータ移動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記憶制御装置及び記憶制御装置の制御方法に関する。
【背景技術】
【０００２】
例えば、企業等の組織では、多量のデータを管理するために、ストレージシステムを用いる。例えば、金融機関や病院等のような組織では、売買データや診療データ等を長期間保存する必要があるため、信頼性が高く、かつ、大容量のストレージシステムが必要とされる。そこで、多数のサイトを有し、データのコピーを複数のサイトで保持するようにしたストレージシステムも実現されている。
【０００３】
ストレージシステムの各サイトには、記憶制御装置がそれぞれ設けられる。記憶制御装置は、例えば、多数のハードディスクドライブを備えており、ＲＡＩＤ（Redundant Array of Independent Disks）に基づく記憶領域をホストに提供可能である。
【０００４】
企業等で長期間管理すべきデータは日々増大する。従って、記憶制御装置に搭載されるハードディスクドライブの数も増加する一方である。ハードディスクドライブは、よく知られているように、スピンドルモータで磁気ディスクを高速回転させながら、磁気ヘッドをシークさせてデータの読み書きを行う。このため、ハードディスクドライブは、半導体メモリのような記憶デバイスに比べて、消費電力が大きい。
【０００５】
記憶制御装置の記憶容量を大きくすればするほど、搭載されるハードディスクドライブの数が増大する。従って、記憶制御装置の消費電力が大きくなる。消費電力の増大につれて、ストレージシステムの総所有コスト（TCO）も大きくなる。
【０００６】
このため、ＭＡＩＤ（Massive Array of Idle Disks）と呼ばれる技術では、使用されていないハードディスクを待機状態とすることにより、消費電力を低減させる。また、待機中のハードディスクをできるだけ速やかにスピンアップ状態に移行させて、応答性能を改善するようにした技術（特許文献１）や、論理ボリュームの稼働実績に応じてハードディスクの電力消費量を管理する技術（特許文献２）も提案されている。
【０００７】
なお、本出願人は、消費電力の低い記憶デバイスと消費電力の高い記憶デバイスとの間でデータを移動させる発明を出願している（特願２００７−１２１３７９号）。しかし、この出願は、未だ公開されておらず、従来技術に該当しない。
【特許文献１】特開２００７−７９７４９号公報
【特許文献２】特開２００７−７９７５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記従来技術では、ハードディスクドライブの電力消費量を低減できる。しかし、現在では、より一層の電力コストの低減が要求されている。ところで、近年では、新たな記憶デバイスとして、フラッシュメモリデバイスが注目されている。フラッシュメモリデバイスとハードディスクドライブとを比較すると、一般的に、フラッシュメモリデバイスの方が消費電力は少なく、かつ、データの読出し速度も速い。
【０００９】
しかし、フラッシュメモリデバイスでは、セルの物理的構造に起因して、書込み回数に制限を受けることがある。また、セルに蓄積された電荷は、時間の経過につれて減少するため、データを長期間にわたって保存するために、定期的にリフレッシュ動作を実行する必要がある。
【００１０】
記憶制御装置は、大量のデータを長期間安定して保存する必要があるため、フラッシュメモリデバイスをそのまま使用することは難しい。もしも、記憶制御装置にフラッシュメモリデバイスとハードディスクドライブとの両方を搭載できるとしても、ホストコンピュータからのアクセスがハードディスクドライブに集中するような場合には、記憶制御装置全体としての電力消費量を低減することができない。
【００１１】
ところで、一般的に、電力料金は、地域や時間帯によって相違する。例えば、ある地域の電力料金は、他の地域の電力料金よりも高い、または、安いことがある。さらに、一般的に、電力需要の大きい昼間は電気料金が高く設定され、電力需要の少ない夜間は電気料金が安く設定される。各サイトが遠く離れて設けられている場合、あるサイトが電気料金の高い時間帯であっても、他のサイトは電気料金の安い時間帯にあることがある。従って、広域に分散されたサイトを含むストレージシステムでは、地域や時間帯まで考慮して、運用しなければ、ストレージシステム全体の電力コストを低減できない。
【００１２】
そこで、本発明の目的は、電力コストを考慮して、データの格納先を、サイト間で移動させたり、同一サイト内に設けられる消費電力のそれぞれ異なる記憶デバイス間で移動させることにより、電力コストを低減できるようにしたストレージシステム及びデータ移動方法を提供することにある。本発明の更なる目的は、後述する実施形態の記載から明らかになるであろう。
【課題を解決するための手段】
【００１３】
上記課題を解決すべく、本発明の第１観点に従うストレージシステムは、物理的に離れた複数のサイトを通信ネットワークを介して接続するストレージシステムであって、複数のサイトの中に含まれ、かつ、第１地域に設けられる第１サイトであって、第１ホストコンピュータと、この第１ホストコンピュータに接続される第１記憶制御装置とを有する第１サイトと、複数のサイトの中に含まれ、かつ、第２地域に設けられる第２サイトであって、第２ホストコンピュータと、この第２ホストコンピュータに接続される第２記憶制御装置を有する第２サイトと、を備え、第１記憶制御装置及び第２記憶制御装置は、消費電力が相対的に低い第１記憶デバイスと、消費電力が相対的に高い第２記憶デバイスと、第１記憶デバイスと第２記憶デバイスとの間で所定データを移動させる第１データ移動及び各サイト間で所定データを移動させる第２データ移動をそれぞれ制御するための制御部と、をそれぞれ備えており、電力コストに応じて所定データを移動させるためのスケジュール情報を管理するスケジュール管理部であって、同一の記憶制御装置内において第１記憶デバイスと第２記憶デバイスとの間で所定データを移動させるための第１移動計画と、第１記憶制御装置と第２記憶制御装置との間で所定データを移動させるための第２移動計画とがそれぞれ設定されているスケジュール情報を管理するスケジュール管理部を設け、第１記憶制御装置の制御部及び第２記憶制御装置の制御部は、それぞれスケジュール管理部により管理されているスケジュール情報に従って、所定データを移動させる。
【００１４】
第２観点では、第１観点において、第１地域の電力コストと第２地域の電力コストとは、相違する。
【００１５】
第３観点では、第１観点または第２観点のいずれかにおいて、スケジュール情報は、第１サイト及び第２サイトのうちいずれか電力コストの高い方のサイトにおいて、電力コストの相対的に高い時間帯における第２記憶デバイスの稼働率を最小化するように、設定されている。
【００１６】
第４観点では、第１観点または第２観点にいずれかにおいて、スケジュール情報は、第１サイト及び第２サイトのうちいずれか電力コストの低い方のサイトにおいて、電力コストの相対的に低い時間帯における第２記憶デバイスの稼働率を、電力コストの相対的に高い時間帯における稼働率よりも高くするように、設定されている。
【００１７】
第５観点では、第１〜第４観点のいずれかにおいて、スケジュール情報の第１移動計画は、電力コストの相対的に高い時間帯では所定データを第１記憶デバイスに配置させ、電力コストの相対的に低い時間帯では所定データを第２記憶デバイスに配置させるように、設定されている。
【００１８】
第６観点では、第１〜第５観点のいずれかにおいて、スケジュール情報の第２移動計画は、第１記憶制御装置と第２記憶制御装置のうち、いずれか電力コストの低い方に所定データが配置されるように、設定されている。
【００１９】
第７観点では、第１〜第６観点のいずれかにおいて、第１制御部は、第１記憶制御装置内の第１記憶デバイスを用いて、第１ホストからのアクセス要求を処理し、第２制御部は、第２記憶制御装置内の第２記憶デバイスを用いて、第２ホストからのアクセス要求を処理する。
【００２０】
第８観点では、第１〜第７観点のいずれかにおいて、スケジュール管理部は、第１サイト及び第２サイトの両方にそれぞれ設けられており、第１サイト内のスケジュール管理部と第２サイト内のスケジュール管理部とは、スケジュール情報を共用する。
【００２１】
第９観点では、第１〜第８観点のいずれかにおいて、第１記憶デバイスと第２記憶デバイスには、それぞれ論理ボリュームが設けられており、第１記憶デバイスと第２記憶デバイスとの間における所定データの移動は、各論理ボリュームを用いて行われる。
【００２２】
第１０観点では、第１〜第９観点のいずれかにおいて、スケジュール情報には、電力コストに応じて、第１ホストコンピュータと第２ホストコンピュータとの間で業務処理を移動させるための第３移動計画も設定されている。
【００２３】
第１１観点では、第１０観点において、第３移動計画は、第２移動計画に連動して実施されるように設定されている。
【００２４】
第１２観点では、第１〜第１０観点のいずれかにおいて、各サイトのうち移動元となるサイト内の記憶制御装置は、第２移動計画を実施する場合に、他の各サイトのうち予め設定される所定条件に合致する、移動先サイトを選択し、この移動先サイト内の記憶制御装置との間で第２移動計画を実行する。
【００２５】
第１３観点では、第１２観点において、所定条件には、移動元サイトと移動先サイトの間にデータをコピーするための通信経路が設定されているか、移動先サイト内の記憶制御装置に所定データを移動させた場合の応答時間が予め設定されている最低応答時間を超えるか、移動先サイト内の記憶制御装置が所定データを記憶するための記憶容量を備えているか、のうち少なくともいずれか１つが含まれている。
【００２６】
第１４観点では、第１〜第１３観点のいずれかにおいて、第１ホストコンピュータまたは第２ホストコンピュータが所定データにアクセスする状況を検出して管理するアクセス状況管理部をさらに備え、スケジュール管理部は、アクセス状況管理部を用いることによりスケジュール情報を生成する。
【００２７】
第１５観点では、第１〜第１４観点のいずれかにおいて、各制御部は、第１記憶デバイスの使用状況に基づいて第１記憶デバイスの寿命を予測し、予測された寿命が所定の閾値に達した場合には、所定データの格納先を第２記憶デバイスまたは別の第１記憶デバイスのいずれかに変更させる。
【００２８】
第１６観点では、第１〜第１４観点のいずれかにおいて、各制御部は、第１記憶デバイスの使用状況に基づいて第１記憶デバイスの寿命を予測し、予測された寿命が所定の閾値に達し、かつ、第１記憶デバイスに関する読出し要求の割合が予め設定された判定用閾値未満である場合に、所定データの格納先を第２記憶デバイスまたは別の第１記憶デバイスのいずれかに変更させる。
【００２９】
第１７観点では、第１〜第１６観点のいずれかにおいて、第１記憶デバイスはフラッシュメモリデバイスであり、第２記憶デバイスはハードディスクデバイスである。
【００３０】
第１８観点に従う本発明のデータ移動方法は、物理的に離れた複数のサイト間でデータを移動させるデータ移動方法であって、複数のサイトの中に含まれ、かつ、第１地域に設けられる第１サイトであって、第１ホストコンピュータと、この第１ホストコンピュータに接続される第１記憶制御装置とを有する第１サイトと、複数のサイトの中に含まれ、かつ、第２地域に設けられる第２サイトであって、第２ホストコンピュータと、この第２ホストコンピュータに接続される第２記憶制御装置を有する第２サイトと、を備え、第１記憶制御装置及び第２記憶制御装置は、消費電力が相対的に低い第１記憶デバイスと、消費電力が相対的に高い第２記憶デバイスと、第１記憶デバイスと第２記憶デバイスとの間で所定データを移動させる第１データ移動及び各サイト間で所定データを移動させる第２データ移動をそれぞれ制御するための制御部と、をそれぞれ備えており、電力コストに応じて、同一の記憶制御装置内において第１記憶デバイスと第２記憶デバイスとの間で所定データを移動させるステップと、電力コストに応じて、第１記憶制御装置と第２記憶制御装置との間で所定データを移動させるステップと、をそれぞれ実行する。
【００３１】
本発明の構成要素は、その全部または一部をコンピュータプログラムとして構成できる場合がある。このコンピュータプログラムは、記録媒体に固定して譲渡等することができるほかに、インターネット等の通信ネットワークを介して伝送することもできる。
【発明を実施するための最良の形態】
【００３２】
以下、図面に基づき、本発明の実施の形態を説明する。本実施形態では、以下に詳述するように、ストレージシステムの総電力コストを低減させるべく、電力コストに基づいて、同一サイト内及びサイト間で、データを移動させる。
【００３３】
図１は、本実施形態の全体概念を示す説明図である。図１に示すストレージシステムは、複数のサイトを備える。第１サイトは、記憶制御装置１Ａ及びホストコンピュータ（以下、ホスト）２Ａを備える。同様に、第２サイトは、記憶制御装置１Ｂ及びホスト２Ｂを備える。さらに、ストレージシステムは、スケジュール管理部３Ａを有する管理装置３を備える。
【００３４】
第１サイトと第２サイトとは、物理的に遠く離れた地域にそれぞれ設置される。各サイト間の距離を長くすることにより、広域災害等にも耐えることができ、ディザスタリカバリ性能を高めることができる。各サイトが遠く離れて設置される結果、各サイトに時差や電力料金の差が生じる場合がある。逆に、時差や電力料金の差が生じる程度に、各サイトの設置場所を選択することもできる。時差や電力料金の差によって、各サイトの電力コストが相違する。本実施形態では、各サイトの電力コスト差を利用して、データの配置先を制御することにより、ストレージシステム全体の総電力コストを抑制する。
【００３５】
第１記憶制御装置１Ａは、例えば、ハードディスクドライブ５Ａと、フラッシュメモリデバイス６Ａと、コントローラ７Ａとを備える。コントローラ７Ａは、「制御部」に該当し、ホスト２Ａからのアクセス要求を処理する。また、コントローラ７Ａは、ハードディスクドライブ５Ａとフラッシュメモリデバイス６Ａとの間のデータ移動と、フラッシュメモリデバイス６Ａと他のフラッシュメモリデバイス６Ｂまたは他のハードディスクドライブ５Ｂとの間のデータ移動とを、それぞれ制御する。
【００３６】
ハードディスクドライブ６Ａは、「第２記憶デバイス」に該当する。ハードディスクドライブ６Ａとしては、例えば、ＦＣ（Fibre Channel）ディスク、ＳＣＳＩ（Small Computer System Interface）ディスク、ＳＡＴＡディスク、ＡＴＡ（AT Attachment）ディスク、ＳＡＳ（Serial Attached SCSI）ディスク等を用いることができる。本実施例のハードディスクドライブ６Ａは、主として、ホスト２Ａによって利用される多量のデータを長期間安定して保存するために用いられる。
【００３７】
フラッシュメモリデバイス７Ａは、「第１記憶デバイス」に該当する。本実施例では、基本的に、データを記憶するためのメモリ素子のことをフラッシュメモリと呼び、フラッシュメモリ及び各種機構を備えたデバイスのことをフラッシュメモリデバイスと呼ぶことにする。各種機構としては、例えば、プロトコル処理部、ウェアラベリング調整部等を挙げることができる。ウェアラベリング調整とは、各セルへの書込み回数が均等となるように調整する機能である。フラッシュメモリデバイス７としては、ＮＡＮＤ型またはＮＯＲ型のフラッシュメモリデバイスを適宜使用することができる。
【００３８】
ホスト２Ａは、例えば、サーバコンピュータ、メインフレームコンピュータ、ワークステーション、パーソナルコンピュータのようなコンピュータ装置として構成される。ホスト２Ａと記憶制御装置１Ａとは、例えば、ＳＡＮ（Storage Area Network）のような通信ネットワークを介して接続される。ホスト２Ａと記憶制御装置１Ａとは、例えば、ファイバチャネルプロトコルやｉＳＣＳＩ（internet Small Computer System Interface）プロトコル等に従って、双方向通信を行う。ホスト２Ａは、例えば、データベースプログラム等のようなアプリケーションプログラムを備えており、アプリケーションプログラムは、記憶制御装置１Ａに記憶されたデータを利用する。
【００３９】
第２サイトも、第１サイトと同様に構成される。第２記憶制御装置１Ｂは、ハードディスクドライブ５Ｂとフラッシュメモリデバイス６Ｂ及びコントローラ７Ｂを備え、コントローラ７Ｂはホスト２Ｂに接続される。ハードディスクドライブ５Ｂ、フラッシュメモリデバイス６Ｂ、コントローラ７Ｂ及びホスト２Ｂについての説明は、省略する。
【００４０】
なお、以下の説明では、各サイトを特に区別する必要のない場合、記憶制御装置１Ａ，１Ｂを記憶制御装置１と、ホスト２Ａ，２Ｂをホスト２と、ハードディスクドライブ５Ａ，５Ｂをハードディスクドライブ５と、フラッシュメモリデバイス６Ａ，６Ｂをフラッシュメモリデバイス６と、コントローラ７Ａ，７Ｂをコントローラ７と、それぞれ総称する場合がある。
【００４１】
管理装置３は、例えば、サーバコンピュータやパーソナルコンピュータのようなコンピュータ装置として構成される。管理装置３は、各コントローラ７Ａ，７Ｂと通信を行うことにより、各記憶制御装置１Ａ，１Ｂの内部状態を収集したり、各記憶制御装置１Ａ，１Ｂに指示を与えたりする。各コントローラ７Ａ，７Ｂは、スケジュール管理部３Ａによって管理されているスケジュールのうち、必要な範囲の情報を取得してコントローラ内に記憶させることができる。各コントローラ７Ａ，７Ｂは、スケジュールに基づいて、データの配置先を移動させる。
【００４２】
スケジュール管理部３Ａにより管理されるスケジュールには、複数の移動計画に関する情報が設定される。第１移動計画は、同一の記憶制御装置内において、ハードディスクドライブ５とフラッシュメモリデバイス６との間でデータを移動させる計画である。第２移動計画は、それぞれ異なる記憶制御装置間で、データを移動させる計画である。第３移動計画は、アプリケーションプログラムが実行されるホストを切り替える計画である。
【００４３】
例えば、第１移動計画では、電力コストの低い夜間にハードディスクドライブ５からフラッシュメモリデバイス６に予めデータをコピーしておき、電力コストの高い昼間にフラッシュメモリデバイス６を用いてホスト２からのアクセス要求を処理させる。第２移動計画では、例えば、電力料金の安い時間帯から高い時間帯に切り替わる前に、電力料金の安い地域に設置された記憶制御装置にデータをコピーする。
【００４４】
なお、後述の実施例に示すように、管理装置は、各サイト毎にそれぞれ設けることもできる。その場合、各サイトの管理装置は、互いに通信を行って、それぞれで管理されるスケジュールの内容を同期させる。また、図１に示すように、ストレージシステム内のデータ移動を一元管理するための管理装置３を１つ設けることもできる。例えば、複数のサーバをクラスタ構成にして管理装置３を生成することにより、冗長性を高めてもよい。
【００４５】
また、スケジュール管理部３Ａを、各ホスト２や各記憶制御装置１のいずれか又は両方に設ける構成としてもよい。
【００４６】
本実施形態の動作を説明する。コントローラ７Ａは、スケジュール内の第１移動計画に基づいて、電力料金の安い夜間のうちに、ハードディスクドライブ５Ａに記憶されている所定データを、フラッシュメモリデバイス６Ａにコピーさせる（Ｓ１）。
【００４７】
所定データとは、例えば、ホスト２Ａにより利用される可能性の高いデータである。後述の実施例で明らかとなるように、例えば、ホスト２Ａによる記憶制御装置１Ａの利用状況を監視して履歴を作成することにより、いつどのホストが何のデータを利用するかを予測可能である。
【００４８】
昼間の利用が期待される所定データは、夜間のうちにハードディスクドライブ５Ａからフラッシュメモリデバイス６Ａにコピーされる。ホスト２Ａは、フラッシュメモリデバイス６Ａにコピーされた所定データの一部または全部を読み出したり、フラッシュメモリデバイス６Ａにコピーされた所定データの一部または全部を更新したりする（Ｓ２）。
【００４９】
つまり、本実施形態では、電力料金の安い夜間に、消費電力の大きいハードディスクドライブ５Ａを作動させて、フラッシュメモリデバイス６Ａに所定データをコピーさせることができる（Ｓ１）。電力料金の高い昼間では、消費電力の小さいフラッシュメモリデバイス６Ａを用いて、ホスト２Ａからのアクセス要求を処理することができる（Ｓ２）。従って、記憶制御装置１Ａ全体としての消費電力を抑制し、かつ、電力コストを低減させることができる。
【００５０】
昼間の間、ホスト２Ａのアプリケーションプログラム（図中、ＡＰＰ）は、ユーザ端末４に業務処理サービスを提供する。ユーザ端末４は、例えば、パーソナルコンピュータや携帯情報端末（携帯電話を含む）等として構成される。フラッシュメモリデバイス６Ａには、ユーザ端末４によって利用された新たなデータが記憶される。
【００５１】
電力料金が安くなる時間帯になると、フラッシュメモリデバイス６Ａからハードディスクドライブ５Ａへデータをコピーするデステージ処理が行われる（Ｓ３）。電力料金の安い時間帯であるから、ハードディスクドライブ５Ａを作動させても、記憶制御装置１Ａの総電力コストはそれほど上昇しない。
【００５２】
記憶制御装置１Ａ内でのデステージ処理とほぼ同時に、コントローラ７Ａは、第２記憶制御装置１Ｂへのリモートコピーを実施することもできる（Ｓ４）。即ち、第１記憶制御装置１Ａ内のフラッシュメモリデバイス６Ａの記憶内容を、第２記憶制御装置１Ｂ内のフラッシュメモリデバイス６Ｂに転送して記憶させる。
【００５３】
アプリケーションプログラムによる業務処理サービスの提供元も、ホスト２Ａからホスト２Ｂに切り替えることができる（Ｓ５）。業務処理サービスを利用するユーザ端末４のアクセス先は、ホスト２Ａからホスト２Ｂに切り替わる（Ｓ６）。ホスト２Ａとホスト２Ｂからクラスタを構成することにより、ユーザ端末４に意識させずに、ユーザ端末４のアクセス先を切り替えることができる。
【００５４】
ユーザ端末４からのアクセスに応じて、ホスト２Ｂは、フラッシュメモリデバイス６Ｂ内のデータにアクセスし（Ｓ７）、業務処理サービスをユーザ端末４に提供する。フラッシュメモリデバイス６Ｂ内のデータは、所定のタイミングで（できれば電力料金の安い時間帯に）、ハードディスクドライブ５Ｂに記憶される（Ｓ８）。
【００５５】
なお、業務処理サービスの提供元を切り替えない場合でも、第１記憶制御装置１Ａのフラッシュメモリデバイス６Ａから第２記憶制御装置１Ｂのフラッシュメモリデバイス６Ｂにデータを転送して記憶させることができる（Ｓ４）。安い電気料金を利用して、第２記憶制御装置１Ｂでは、フラッシュメモリデバイス６Ｂに記憶されたデータをハードディスクドライブ５Ｂに記憶させる。これにより、ストレージシステムの総電力コストの上昇を抑制しつつ、データのバックアップを取ることができる。
【００５６】
なお、後述の実施例で明らかとなるように、第１記憶制御装置１Ａのフラッシュメモリデバイス６Ａから第２記憶制御装置１Ｂのハードディスクドライブ５Ｂに、データを転送して記憶させることもできる。
【００５７】
さらに、後述の実施例で明らかとなるように、フラッシュメモリデバイス６とハードディスクドライブ５とに、それぞれ論理ボリュームを設定し、各論理ボリューム間でデータをコピーすることにより、データの配置先を制御することができる。
【００５８】
なお、データをコピーする方法としては、全コピーまたは差分コピーのいずれかを採用できる。全コピーとは、コピー元のデバイス内のデータを全てコピー先のデバイスに転送してコピーさせる方法である。差分コピーとは、コピー元デバイスとコピー先デバイスとの間の差分データのみを、コピー元デバイスからコピー先デバイスに転送してコピーさせる方法である。全コピーを用いる場合、コピー完了までに時間を要するが、コピーの制御は簡単である。差分コピーを用いる場合、比較的短時間でコピーを終了させることができるが、差分を管理するための仕組みが必要となる。
【００５９】
本実施形態では、消費電力の高いハードディスクドライブ５を、電力料金の安い時間帯または地域で動作させることができる。従って、ストレージシステム全体の総電力コストを低減させることができる。以下、本実施形態を詳細に説明する。
【実施例１】
【００６０】
図２は、ストレージシステムの全体構成を模式的に示す説明である。図２（ａ）に示すように、このストレージシステムは、広い地域に散在する複数のサイトＳＴ１〜ＳＴ４を備えている。各サイトＳＴ１〜ＳＴ４は、インターネット等の広域通信ネットワークＣＮ１０を介して、相互に接続されている。ユーザ端末（図中、ＰＣ）５０は、通信ネットワークＣＮ１０を介して、最寄りのサイトにアクセスすることにより、業務処理サービスを受けることができる。なお、各サイトを特に区別する必要が無い場合、符号を省略して「サイト」と示すか、あるいは、「サイトＳＴ」と呼ぶ。
【００６１】
図２（ｂ）には、ストレージシステムにおける電力供給状態の複数のパターンが示されている。図２（ａ）に示すように、サイトは、広大な地域に分散して設けることができるため、各サイトの設置された位置に応じて、時差や電力料金の差が生じる。例えば、図２（ａ）に示す例では、サイトＳＴ１，ＳＴ４とサイトＳＴ２，ＳＴ３との間には、距離に応じた時差が生じる。また、各サイトの設置された場所は、それぞれ電力料金が異なる可能性がある。特に、アメリカ合衆国や欧州連合のような広大な国家または国家連合では、地域による電力料金の格差が大きい。
【００６２】
さらに、同一の地域であっても、電力需要の集中するピークタイムと電力需要の少ないオフピークタイムとでは、電力料金が異なる。オフピークタイムの方がピークタイムよりも電力料金は安く設定される。
【００６３】
従って、図２（ｂ）に示すように、地域による電力料金の格差と電力を消費する時間帯の電力料金の差とによって、電力供給状態を例えば４つのパターンに分類することができる。第１パターンは、電力料金の高い地域において、電力料金の高いピークタイム中に電力を消費する場合である。第２パターンは、電力料金の安い地域において、電力料金の高いピークタイム中に電力を消費する場合である。第３パターンは、電力料金の高い地域において、電力料金の安いオフピークタイムに電力を消費する場合である。第４パターンは、電力料金の安い地域において、電力料金の安いオフピークタイムに電力を消費する場合である。
【００６４】
第１パターンの電力コストは第３パターンの電力コストよりも高く（第１パターン＞第３パターン）、第２パターンの電力コストは第４パターンの電力コストよりも高い（第２パターン＞第４パターン）。第１パターンの電力コストが最も高いこと、及び、第４パターンの電力コストが最も安いことは明らかである。第２パターンの電力コストと第３パターンの電力コストとのいずれが高いかは、場合による。
【００６５】
本発明は、上述の知見に基づき、広域分散型のストレージシステムにおいて、各サイトにおける電力コストの相違を利用することにより、ストレージシステム全体の総電力コストを抑制する。
【００６６】
図３は、ストレージシステムのより詳細な構成例を示す説明図である。先に図１との対応関係を説明する。記憶制御装置１０は図１中の記憶制御装置１に、ホスト２０は図１中のホスト２に、管理サーバ３０は図１中の管理装置３に、ユーザ端末５０は図１中のユーザ端末４に、それぞれ対応する。また、図４中のハードディスクドライブ２１０は図１中のハードディスクドライブ５に、図４中のＦＭ制御部（フラッシュメモリデバイスとも呼ぶ）１２０は図１中のフラッシュメモリデバイス６に、図４中のコントローラ１００は、図１中のコントローラ７に、それぞれ対応する。
【００６７】
図３に戻る。図３には、図２に示す複数のサイトのうち、２個のサイトＳＴ１，ＳＴ２が示されている。
【００６８】
第１サイトＳＴ１は、例えば、複数の記憶制御装置１０，４０と、複数のホスト２０と、少なくとも１つの管理サーバ３０とを備えて構成される。記憶制御装置４０は、外部記憶制御装置と呼ばれるもので、接続先の記憶制御装置１０（＃１０）に記憶制御装置４０の有する記憶領域を提供する。第２サイトＳＴ２は、例えば、複数の記憶制御装置１０と、複数のホスト２０と、少なくとも１つの管理サーバ３０とを備えて構成される。
【００６９】
ストレージシステムの接続構成を説明する。先に、サイト内の接続構成を説明する。各サイトにおいて、各ホスト２０と各記憶制御装置とは、第１サイト内ネットワークＣＮ１を介して双方向通信可能に接続される。外部接続元の記憶制御装置１０（＃１０）と外部接続先の記憶制御装置４０とは、第２サイト内通信ネットワークＣＮ２を介して双方向通信可能に接続される。管理サーバ３０は、各記憶制御装置１０及び各ホスト２０と、第３サイト内ネットワークＣＮ３を介して双方向通信可能に接続される。
【００７０】
第１サイト内ネットワークＣＮ１，第２サイト内通信ネットワークＣＮ２は、例えば、ＩＰ（Internet Protocol）を利用するＩＰ＿ＳＡＮでもよいし、ＦＣＰ（Fibre Channel Protocol）を利用するＦＣ＿ＳＡＮでもよい。第３サイト内通信ネットワークＣＮ３は、例えば、ＬＡＮ（Local Area Network）のようなネットワークとして構成される。なお、管理用の第３サイト内通信ネットワークＣＮ３によって、管理サーバ３０と外部記憶制御装置４０とを双方向通信可能に接続する構成でもよい。
【００７１】
サイト間の接続構成を説明する。各ホスト２０と各ユーザ端末５０とは、第１サイト間ネットワークＣＮ１０Ａを介して、相互通信可能に接続される。各サイトの第１サイト内ネットワークＣＮ１は、第２サイト間ネットワークＣＮ１０Ｂを介して、双方向通信可能に接続される。即ち、各サイトの各記憶制御装置１０は、通信ネットワークＣＮ１，ＣＮ１０Ｂを介して、それぞれ双方向通信可能に接続される。管理サーバ３０は、第３サイト間通信ネットワークＣＮ１０Ｃを介して、双方向通信可能に接続される。
【００７２】
第１サイト間ネットワークＣＮ１０Ａと第２サイト間ネットワークＣＮ１０Ｂとは、例えば、ＩＰ＿ＳＡＮやＦＣ＿ＳＡＮのような通信ネットワークとして構成される。第３サイト間ネットワークＣＮ１０Ｃは、例えば、ＬＡＮやインターネットのような通信ネットワークとして構成される。第１サイト間ネットワークＣＮ１０Ａと第２サイト間ネットワークＣＮ１０Ｂとを１つのネットワークとして構成してもよい。また、各サイト間ネットワークＣＮ１０Ａ，ＣＮ１０Ｂ，ＣＮ１０Ｃを１つのネットワークとして構成することもできる。但し、図３に示すように、目的に応じて異なるネットワークを用いることにより、あるネットワークの負荷が他のネットワークに影響を与えるのを防止できる。
【００７３】
図４は、１つのサイト内の構成に着目したブロック図である。外部記憶制御装置４０は、記憶制御装置１０の外部に存在する別の記憶制御装置であるため、本実施例では、外部記憶制御装置と呼ぶ。外部記憶制御装置４０は、ＳＡＮのような、外部接続用の第２サイト内通信ネットワークＣＮ２を介して、記憶制御装置１０に接続される。なお、外部接続用の通信ネットワークＣＮ２を廃止し、データ入出力用の第１サイト内ネットワークＣＮ１によって記憶制御装置１０と外部記憶制御装置４０とを接続する構成でも良い。
【００７４】
記憶制御装置１０の構成を説明する。記憶制御装置１０は、例えば、コントローラ１００と、ハードディスク搭載部２００とを備える。コントローラ１００は、例えば、少なくとも一つ以上のチャネルアダプタ１１０と、少なくとも一つ以上のフラッシュメモリデバイス制御部１２０と、少なくとも一つ以上のディスクアダプタ１３０と、サービスプロセッサ１４０と、キャッシュメモリ１５０と、制御メモリ１６０と、相互結合部１７０とを備えている。
【００７５】
以下の説明では、チャネルアダプタをＣＨＡと、ディスクアダプタをＤＫＡと、フラッシュメモリデバイス制御部をＦＭ制御部と、サービスプロセッサをＳＶＰと、それぞれ略記する。ＣＨＡ１１０，ＦＭ制御部１２０，ＤＫＡ１３０は、それぞれ複数ずつコントローラ１００内に設けられている。
【００７６】
ＣＨＡ１１０は、ホスト２０との間のデータ通信を制御するためのもので、例えば、マイクロプロセッサやローカルメモリ等を備えたコンピュータ装置として構成される。各ＣＨＡ１１０は、少なくとも一つ以上の通信ポートを備える。通信ポートには、例えば、ＷＷＮ（World Wide Name）やＩＰアドレスのような識別情報が設定される。ホスト２０と記憶制御装置１０とが、ｉＳＣＳＩ等を用いてデータ通信を行う場合、通信ポートには、ＩＰ（Internet Protocol）アドレス等の識別情報が設定される。
【００７７】
図４中には、２種類のＣＨＡ１１０が示されている。図４中右側に位置する一方のＣＨＡ１１０は、ホスト２０からのコマンドを受信して処理するためのものであり、その通信ポートは、ターゲットポートとなっている。図４中左側に位置する他方のＣＨＡ１１０は、外部記憶制御装置４０にコマンドを発行するためのものであり、その通信ポートは、イニシエータポートとなっている。
【００７８】
ＤＫＡ１３０は、各ディスクドライブ２１０との間のデータ通信を制御するためのもので、ＣＨＡ１１０と同様に、マイクロプロセッサやローカルメモリ等を備えたコンピュータ装置として構成される。
【００７９】
ＤＫＡ１３０と各ディスクドライブ２１０とは、例えば、ファイバチャネルプロトコルに従う通信経路を介して接続されている。ＤＫＡ１３０と各ディスクドライブ２１０とは、ブロック単位のデータ転送を行う。コントローラ１００が各ディスクドライブ２１０にアクセスするための経路は、冗長化されている。いずれか一方のＤＫＡ１３０や通信経路に障害が発生した場合でも、コントローラ１００は、他方のＤＫＡ１３０や通信経路を用いて、ディスクドライブ２１０にアクセス可能である。同様に、ホスト２０とコントローラ１００との間の経路、外部記憶制御装置４０とコントローラ１００との間の経路も冗長化することができる。なお、ＤＫＡ１３０は、ディスクドライブ２１０の状態を随時監視している。ＳＶＰ１４０は、ＤＫＡ１３０による監視結果を、内部ネットワークＣＮ４を介して取得する。
【００８０】
ＣＨＡ１１０及びＤＫＡ１３０の動作を簡単に説明する。ＣＨＡ１１０は、ホスト２０から発行されたリードコマンドを受信すると、このリードコマンドを制御メモリ１６０に記憶させる。ＤＫＡ１３０は、制御メモリ１６０を随時参照しており、未処理のリードコマンドを発見すると、ディスクドライブ２１０からデータを読み出して、キャッシュメモリ１５０に記憶させる。ＣＨＡ１１０は、キャッシュメモリ１５０に移されたデータを読み出し、ホスト２０に送信する。
【００８１】
一方、ＣＨＡ１１０は、ホスト２０から発行されたライトコマンドを受信すると、このライトコマンドを制御メモリ１６０に記憶させる。また、ＣＨＡ１１０は、受信したライトデータをキャッシュメモリ１５０に記憶させる。ＣＨＡ１１０は、キャッシュメモリ１５０にライトデータを記憶させた後、ホスト２０に書込み完了を報告する。ＤＫＡ１３０は、制御メモリ１６０に記憶されたライトコマンドに従って、キャッシュメモリ１５０に記憶されたデータを読出し、所定のディスクドライブ２１０に記憶させる。
【００８２】
但し、以上の説明は、ディスクドライブ２１０を用いてホスト２０からのアクセス要求を処理する場合の例である。後述のように、本実施例では、ホスト２０からのアクセス要求は、主として、ＦＭ制御部１２０を用いることにより処理される。フラッシュメモリの空き容量が足りなくなった場合や、フラッシュメモリに記憶されたデータをディスクドライブ２１０に記憶させる場合には、ＤＫＡ１３０によってディスクドライブ２１０にデータが書き込まれる。
【００８３】
ＦＭ制御部１２０は、「第１記憶デバイス」としてのフラッシュメモリデバイスに相当する。ＦＭ制御部１２０の構成はさらに後述するが、ＦＭ制御部１２０は、複数のフラッシュメモリを内蔵している。本実施例のＦＭ制御部１２０は、コントローラ１００内に設けられている。後述の実施例では、コントローラ１００の外部にフラッシュメモリデバイスを設けている。なお、本実施例では、第１記憶デバイスの例としてフラッシュメモリデバイスを挙げるが、これに限らず、書換可能であり、不揮発性を有し、消費電力が第２記憶デバイスに比べて少ない記憶デバイスであれば、本発明を適用できる。
【００８４】
ＳＶＰ１４０は、ＬＡＮのような内部ネットワークＣＮ４を介して、ＣＨＡ１１０，ＦＭ制御部１２０，ＤＫＡ１３０と通信可能に接続される。また、ＳＶＰ１４０は、管理用の第３サイト内ネットワークＣＮ３を介して、管理サーバ３０に接続されている。ＳＶＰ１４０は、記憶制御装置１０内部の各種状態を収集し、管理サーバ３０に提供する。ＳＶＰ１４０を、ＣＨＡ１１０またはＤＫＡ１３０のいずれか一方にのみ接続させる構成でもよい。ＳＶＰ１４０は、制御メモリ１６０を介して、各種のステータス情報を収集可能だからである。
【００８５】
キャッシュメモリ１５０は、例えば、ホスト２０から受信したデータ等を記憶するものである。キャッシュメモリ１５０は、例えば揮発性メモリから構成される。揮発性メモリからキャッシュメモリ１５０を構成する場合、バッテリ装置によってキャッシュメモリ１５０をバックアップする。これにより、停電等が生じた場合でも、デステージ処理に必要な時間を得ることができる。
【００８６】
制御メモリ１６０は、例えば不揮発性メモリから構成される。制御メモリ１６０には、例えば、後述の各種管理用情報等が記憶される。つまり、制御メモリ１６０には、管理サーバ３０によって管理されているスケジュールや各種テーブルのうち、必要な範囲の情報がコピーされる。コントローラ１００は、制御メモリ１６０にコピーされた情報に基づいて、データの移動を制御する。
【００８７】
制御メモリ１６０及びキャッシュメモリ１５０は、別々のメモリ基板としてそれぞれ構成することもできるし、または、同一のメモリ基板上に混在して設けることもできる。あるいは、メモリの一部をキャッシュ領域として使用し、他の一部を制御領域として使用することもできる。
【００８８】
相互結合部１７０は、各ＣＨＡ１１０と、ＦＭ制御部１２０と、ＤＫＡ１３０と、キャッシュメモリ１５０及び制御メモリ１６０をそれぞれ相互に接続させる。これにより、全てのＣＨＡ１１０，ＤＫＡ１３０は、ＦＭ制御部１２０とキャッシュメモリ１５０及び制御メモリ１６０にそれぞれアクセス可能である。相互結合部１７０は、例えばクロスバスイッチ等として構成することができる。
【００８９】
コントローラ１００の構成は、上述の構成に限定されない。例えば、一つまたは複数の制御基板上に、ホスト２０や外部記憶制御装置４０との間のデータ通信をそれぞれ行う機能と、フラッシュメモリデバイスとの間のデータ通信を行う機能と、ディスクドライブ２１０との間のデータ通信を行う機能と、管理サーバ３０と通信を行う機能と、データを一時的に保存する機能等を、それぞれ設ける構成でもよい。このようなコントローラ基板を用いることにより、記憶制御装置１０の外径寸法を小型化することができる。
【００９０】
ハードディスク搭載部２００の構成について説明する。ハードディスク搭載部２００は、複数のディスクドライブ２１０を備えている。各ディスクドライブ２１０は、「第２記憶デバイス」に該当する。ディスクドライブ２１０としては、例えば、ＦＣディスク、ＳＡＴＡディスク等のような種々のハードディスクドライブを用いることができる。
【００９１】
ＲＡＩＤ構成等によっても相違するが、例えば、３個１組や４個１組等の所定数のディスクドライブ２１０によって、パリティグループが構成される。パリティグループは、パリティグループ内の各ディスクドライブ２１０がそれぞれ有する物理的記憶領域を仮想化したものである。パリティグループは、図８で述べるように、仮想化された物理的記憶デバイス（ＶＤＥＶ：Virtual DEVice）である。
【００９２】
パリティグループの有する物理的記憶領域には、所定サイズまたは可変サイズの論理デバイス（LDEV：Logigal DEVice）２２０を一つまたは複数設定することができる。論理デバイス２２０は、論理的な記憶デバイスであり、論理ボリューム１１（図５，図８参照）に対応付けられる。
【００９３】
外部記憶制御装置４０は、記憶制御装置１０と同様に、例えば、コントローラ４１と、ハードディスク搭載部４２と、フラッシュメモリデバイス搭載部４３とを備えて構成することができる。コントローラ４１は、ディスクドライブの記憶領域やフラッシュメモリデバイスの記憶領域を利用して、論理ボリュームを生成することができる。
【００９４】
外部記憶制御装置４０は、記憶制御装置１０から見た場合に記憶制御装置１０の外部に存在するため、外部記憶制御装置と呼ぶ。また、外部記憶制御装置４０の有するディスクドライブを外部ディスクと、外部記憶制御装置の有するフラッシュメモリデバイスを外部フラッシュメモリデバイスと、外部記憶制御装置４０の有する論理ボリュームを外部ボリュームと、それぞれ呼ぶ場合がある。
【００９５】
例えば、外部記憶制御装置４０内の論理ボリュームは、通信ネットワークＣＮ２等を介して、記憶制御装置１０内に設けられる仮想的な論理デバイス（ＶＤＥＶ）に対応付けられる。そして、仮想的な論理デバイスの記憶領域上には、仮想的な論理ボリュームを設定することができる。従って、記憶制御装置１０は、外部記憶制御装置４０内の論理ボリューム（外部ボリューム）を、それがあたかも記憶制御装置１０内の論理ボリュームであるかのようにして、ホスト２０に見せかけることができる。
【００９６】
仮想的な論理ボリュームへのアクセス要求が発生した場合、記憶制御装置１０は、仮想的論理ボリュームに関するアクセス要求のコマンドを、外部記憶制御装置４０内の論理ボリュームにアクセスするためのコマンドに変換する。変換されたコマンドは、通信ネットワークＣＮ２を介して、記憶制御装置１０から外部記憶制御装置４０に送信される。外部記憶制御装置４０は、記憶制御装置１０から受領したコマンドに従ってデータの読み書きを行い、その結果を記憶制御装置１０に返す。
【００９７】
このように、記憶制御装置１０は、外部に存在する別の記憶制御装置４０内の記憶資源（論理ボリューム）を、記憶制御装置１０内の記憶資源であるかのように利用することができる。従って、記憶制御装置１０は、ディスクドライブ２１０やＤＫＡ１３０を備える必要は必ずしもない。外部記憶制御装置４０内のハードディスクが提供する記憶領域を使用可能だからである。従って、記憶制御装置１０は、フラッシュメモリデバイスを内蔵した、高機能のファイバチャネルスイッチや仮想化装置のように構成可能である。
【００９８】
図５は、記憶制御装置１０の一つの使われ方の例を示す説明図である。図４では、それぞれ別々のコンピュータ装置として構成される複数のホスト２０が、記憶制御装置１０にアクセスしてデータを読み書きする場合を例に挙げて示した。
【００９９】
これに対し、図５に示すように、一つのホスト２０内に、仮想的なホスト２１を複数個設けることもでき、これら仮想的なホスト２１は、記憶制御装置１０内の論理ボリューム１１にアクセスしてデータを読み書きすることができる。
【０１００】
一つのホスト２０の有するコンピュータ資源（CPU実行時間やメモリ等）を仮想的に分割することにより、複数の仮想ホスト２１を生成することができる。ユーザの使用する端末５０は、通信ネットワークを介して仮想ホスト２１にアクセスし、仮想ホスト２１を用いて、記憶制御装置１０内に設定された自分専用の論理ボリューム１１にアクセスする。ユーザ端末５０は、仮想ホスト２１を利用するために必要な最低限の機能を備えていればよい。
【０１０１】
記憶制御装置１０内には、ディスクドライブ２１０及びフラッシュメモリデバイス１２０（以下、ＦＭ制御部１２０のことをフラッシュメモリデバイスと呼ぶ場合がある）に対応付けられる、論理ボリューム１１が設けられる。各ユーザ端末５０は、仮想ホスト２１を介して、各ユーザ用の論理ボリューム１１にアクセスする。ホスト２０内に複数の仮想ホスト２１を設けることにより、コンピュータ資源を有効に利用することができる。
【０１０２】
図６は、ＣＨＡ１１０の構成を示す説明図である。ＣＨＡ１１０は、例えば、複数のマイクロプロセッサ（ＣＰＵ）１１１と、周辺処理部１１２と、メモリモジュール１１３と、チャネルプロトコル処理部１１４と、内部ネットワークインターフェース部１１５とを備えて構成される。
【０１０３】
各マイクロプロセッサ１１１は、バス１１６を介して、周辺処理部１１２に接続されている。周辺処理部１１２は、メモリモジュール１１３に接続されており、メモリモジュール１１３の動作を制御する。さらに、周辺処理部１１２は、バス１１７を介して、各チャネルプロトコル処理部１１４にそれぞれ接続されている。周辺処理部１１２は、各マイクロプロセッサ１１１，各チャネルプロトコル処理部１１４，内部ネットワークインターフェース部１１５から、それぞれ入力されるパケットを処理する。例えば、転送先がメモリモジュール１１３になっているパケットの場合、周辺処理部１１２は、そのパケットを処理し、必要ならば処理結果をパケット送信元に返す。内部ネットワークインターフェース部１１５は、相互結合部１７０を介して、他のＣＨＡ１１０，ＦＭ制御部１２０（フラッシュメモリデバイス１２０），ＤＫＡ１３０，キャッシュメモリ１５０及び制御メモリ１６０と通信するための回路である。
【０１０４】
メモリモジュール１１３内には、例えば、制御プログラム１１３Ａ、メールボックス１１３Ｂ及び転送リスト１１３Ｃが設けられる。各マイクロプロセッサ１１１は、制御プログラム１１３Ａを読み出して実行する。各マイクロプロセッサ１１１は、メールボックス１１３Ｂを介して、他のマイクロプロセッサ１１１と通信を行う。転送リスト１１３Ｃは、チャネルプロトコル処理部１１４がＤＭＡ（Direct Memory Access）を行うためのリストである。
【０１０５】
チャネルプロトコル処理部１１４は、ホスト２０との間で通信を行うための処理を実行する。チャネルプロトコル処理部１１４は、ホスト２０からのアクセス要求を受信すると、そのホスト２０を識別するための番号やＬＵＮ（Logical Unit Number）、アクセス先アドレス等をマイクロプロセッサ１１１に通知する。
【０１０６】
マイクロプロセッサ１１１は、チャネルプロトコル処理部１１４から通知された内容に基づいて、リード要求の対象とされたデータをホスト２０に送信させるための転送リスト１１３Ｃを作成する。チャネルプロトコル処理部１１４は、転送リスト１１３Ｃに基づいて、キャッシュメモリ１５０またはフラッシュメモリデバイス１２０のいずれかからデータを読み出して、ホスト２０に送信する。ライト要求の場合、マイクロプロセッサ１１１は、転送リスト１１３Ｃにライトデータの格納先アドレスをセットする。チャネルプロトコル処理部１１４は、転送リスト１１３Ｃに基づいて、フラッシュメモリデバイス１２０またはキャッシュメモリ１５０のいずれかに、ライトデータを転送する。
【０１０７】
なお、ＤＫＡ１３０は、制御プログラム１１３Ａの内容等は相違するが、実質的にＣＨＡ１１０と同様に構成される。
【０１０８】
図７は、ＦＭ制御部１２０の構成を示す説明図である。ＦＭ制御部１２０は、例えば、内部ネットワークインターフェース部１２１と、ＤＭＡコントローラ１２２と、メモリコントローラ１２３と、メモリモジュール１２４と、フラッシュメモリ用メモリコントローラ１２５と、フラッシュメモリ１２６とを備えて構成される。
【０１０９】
内部ネットワークインターフェース部１２１は、相互結合部１７０を介して、ＣＨＡ１１０，ＤＫＡ１３０，キャッシュメモリ１５０，制御メモリ１６０と通信するための回路である。ＤＭＡコントローラ１２２は、ＤＭＡ転送を行うための回路である。メモリコントローラ１２３は、メモリモジュール１２４の動作を制御するものである。メモリモジュール１２４には、転送リスト１２４Ａが記憶される。
【０１１０】
フラッシュメモリ用メモリコントローラ１２５は、複数のフラッシュメモリ１２６の動作を制御する回路である。フラッシュメモリ１２６は、例えば、ＮＡＮＤ型またはＮＯＲ型のフラッシュメモリとして構成される。フラッシュメモリ用メモリコントローラ１２５には、各フラッシュメモリ１２６に関するアクセス回数や消去回数等の情報を記憶するためのメモリ１２５Ａが設けられている。
【０１１１】
図８は、記憶制御装置１０の記憶階層構造を示す説明図である。図中上側の左に示すように、ディスクドライブ２１０の有する物理的記憶領域を仮想化して仮想的な中間デバイス１２を生成し、この中間デバイス１２の記憶領域に論理デバイス２２０を設けることができる。論理デバイス２２０にＬＵＮ（Logical Unit Number）を設定する等により、ホスト２０に論理ボリューム（ＬＵ）１１を提供することができる。細かな相違を無視するならば、論理ボリューム１１と論理デバイス２２０とは実質的に同一である。
【０１１２】
図８の上側の中央に示すように、フラッシュメモリデバイス１２０の有する物理的記憶領域を仮想化して中間デバイス１２を設けることもでき、この中間デバイス１２に論理デバイス２２０を設けることもできる。
【０１１３】
図８の右側に点線で示すように、仮想的な中間デバイス１２に、外部記憶制御装置４０内の論理デバイス２２０（論理ボリューム１１）を対応付けることもできる。仮想的な中間デバイス１２は、物理的な記憶領域が記憶制御装置１０内に存在せず、外部記憶制御装置４０内の記憶領域を使用する。
【０１１４】
図８に示すように、フラッシュメモリデバイス１２０に依存する論理ボリューム１１と、ディスクドライブに依存する論理ボリューム１１とでコピーペアを形成することにより、フラッシュメモリデバイスの記憶内容とディスクドライブの記憶内容を一致させることができる。
【０１１５】
なお、便宜上図示は省略しているが、外部記憶制御装置４０内にも、フラッシュメモリデバイス４３に基づく論理ボリューム１１を設けることができる。フラッシュメモリデバイス４３に基づく論理ボリュームも、記憶制御装置１０内の仮想的な中間デバイス１２に対応付けることができる。
【０１１６】
次に、ストレージシステムで使用される各テーブルの構成例を説明する。以下に述べる各テーブルは、コントローラ１００内の制御メモリ１６０や管理サーバ３０内のメモリに適宜記憶される。なお、各テーブルに示される具体的数値は、当該テーブルの構成を容易に理解できるように適宜設定された値であり、各テーブル間での整合性まで意図したものではない。
【０１１７】
図９は、マッピングテーブルＴ１の一例を示す説明図である。マッピングテーブルＴ１は、記憶制御装置１０が外部記憶制御装置４０内の論理ボリュームを利用するために使用される。このテーブルＴ１は、例えば、制御メモリ１６０内に記憶される。
【０１１８】
マッピングテーブルＴ１は、例えば、ＬＵＮ（図中ＬＵ＃）と、論理デバイス（ＬＤＥＶ）を識別するための番号と、中間デバイス（ＶＤＥＶ）を識別するための番号とを対応付けることにより構成することができる。
【０１１９】
中間デバイスを識別するための情報には、例えば、中間デバイスの番号と、中間デバイスが接続される物理的な記憶デバイスの種類を示す情報と、物理的な記憶デバイスへ接続するための経路情報等を含めることができる。中間デバイス１２が、記憶制御装置１０内のフラッシュメモリデバイス１２０またはディスクドライブ２１０のいずれかに対応付けられている場合、フラッシュメモリデバイス１２０またはディスクドライブ２１０にアクセスするための内部パス情報が設定される。
【０１２０】
中間デバイス１２が、外部記憶制御装置４０内の論理ボリュームに接続されている場合、その論理ボリュームへアクセスするために必要な外部パス情報が設定される。外部パス情報には、例えば、ＷＷＮやＬＵＮ等が含まれる。記憶制御装置１０のコントローラ１００は、マッピングテーブルＴ１を参照することにより、ホスト２０から受信したコマンドを、外部記憶制御装置４０に送信するためのコマンドに変換する。
【０１２１】
図１０は、構成管理テーブルＴ２と、デバイス状態管理テーブルＴ３及び寿命閾値管理テーブルＴ４の構成例をそれぞれ示す説明図である。各テーブルＴ２，Ｔ３，Ｔ４は、制御メモリ１６０に記憶される。
【０１２２】
構成管理テーブルＴ２は、記憶制御装置１０の管理下にある論理ボリュームの構成を管理するためのテーブルである。構成管理テーブルＴ２は、例えば、論理ボリュームを識別するための番号（ＬＵ＃）と、その論理ボリュームに対応付けられる論理デバイスを識別するための番号（ＬＤＥＶ＃）と、その論理デバイスに対応付けられる中間デバイスを識別するための番号（ＶＤＥＶ＃）と、その中間デバイスに対応付けられる物理的記憶デバイスを識別するための番号（ＰＤＥＶ＃）とを、管理する。
【０１２３】
ＬＵとＬＤＥＶ及びＶＤＥＶは、ディスクドライブ２１０から構成されるＰＤＥＶ上にマッピングすることもできるし、図８で述べたように、ＬＵ、ＬＤＥＶ及びＶＤＥＶを、フラッシュメモリデバイス１２０上にマッピングすることもできる。
【０１２４】
デバイス状態管理テーブルＴ３は、物理的記憶デバイスの状態を管理するためのテーブルである。図１０では、物理的記憶デバイスとしてフラッシュメモリデバイスの状態を管理するためのテーブルを示している。
【０１２５】
フラッシュメモリデバイスの状態を管理するテーブルＴ３は、例えば、そのフラッシュメモリデバイスを識別するための番号（ＰＤＥＶ＃）と、そのフラッシュメモリデバイスにデータが書き込まれた回数の総数と、そのフラッシュメモリデバイスからデータが読み出された回数の総数と、そのフラッシュメモリデバイスに記憶されたデータが消去された回数の総数と、そのフラッシュメモリデバイスに生じた不良ブロックの増加率と、そのフラッシュメモリデバイスに記憶されたデータを消去するために要する平均時間と、そのフラッシュメモリが稼働した累計時間と、そのフラッシュメモリの使用率（使用率＝記憶されたデータの量／フラッシュメモリの記憶容量）等とを、対応付けて管理する。
【０１２６】
フラッシュメモリは、セルの物理的構成に起因して書込み回数に上限が設定される場合がある。従って、書込み回数の累計値（総書込み回数）を管理することで、そのフラッシュメモリデバイスの残り寿命を推測できる。同様に、フラッシュメモリデバイスの不良ブロックの増加率の値が増加したり、平均消去時間が長くなったり、総稼働時間が長くなるほど、残り寿命が少なくなったと予測することができる。
【０１２７】
上述の各寿命予測パラメータは、一例であり、本発明はそれらに限定されない。なお、残り寿命は、フラッシュメモリデバイスの信頼性の度合と考えることもできるため寿命予測パラメータは、信頼性を判定するためのパラメータと呼び変えることもできる。
【０１２８】
寿命閾値管理テーブルＴ４は、フラッシュメモリデバイスの残り寿命が少なくなったことを検出するための寿命閾値を管理するテーブルである。寿命閾値管理テーブルＴ４では、上述の各寿命予測パラメータ（総書込み回数、不良ブロック増加率、平均消去時間等）毎に、それぞれ予め寿命閾値Ｔｈ１，Ｔｈ２，．．．が設定されている。
【０１２９】
なお、ディスクドライブについても同様に、例えば、総アクセス回数、総書込み回数、不良ブロック数、不良ブロック増加率、電源のオンオフ回数、総稼働時間等を収集することにより、そのディスクドライブの寿命を予測することができる。
【０１３０】
図１１は、アクセス履歴管理テーブルＴ５の構成例を示す説明図である。このテーブルＴ５は、管理サーバ３０内のメモリ及び記憶制御装置１０内の制御メモリ１６０にそれぞれ記憶させることができる。
【０１３１】
アクセス履歴管理テーブルＴ５は、各論理ボリューム毎のアクセスの履歴を管理するテーブルである。例えば、アクセス履歴管理テーブルＴ５は、各論理ボリュームへのアクセス回数を、各曜日の各時間帯毎にそれぞれ管理することができる。図１１では、ライトアクセス及びリードアクセスを区別していないかのように示しているが、実際には、ライトアクセス及びリードアクセスのそれぞれについて、各曜日の各時間毎にアクセス回数が検出されて記録される。テーブルＴ５に、アクセス一回あたりのデータ量（論理ブロック数）等も併せて記録する構成でもよい。
【０１３２】
図１２は、スケジュール管理テーブルＴ６の例を示す説明図である。このテーブルＴ６は、管理サーバ３０内のメモリ及び記憶制御装置１０内の制御メモリ１６０にそれぞれ記憶させることができる。
【０１３３】
スケジュール管理テーブルＴ６は、各論理ボリュームの使用予定等を管理するテーブルである。スケジュール管理テーブルＴ６は、例えば、グローバルデバイス番号（ＧＤＥＶ＃）と、論理デバイス番号（ＬＤＥＶ＃）と、中間デバイス番号（ＶＤＥＶ＃）と、物理デバイス番号（ＰＤＥＶ＃）と、使用予定日時と、ユーザの希望条件と、サイト番号と、配置先固定フラグと、現在の配置先と、リモートコピー番号（ＲＣ＃）とを対応付けて管理する。
【０１３４】
グローバルデバイス番号とは、広域に散在する各サイト内の論理ボリュームを一意に特定するための識別情報である。グローバルデバイス番号を用いない場合は、サイト番号と、コントローラ番号（ＤＫＣ＃）と、論理デバイス番号とによって、ストレージシステム内の論理ボリュームを一意に特定することができる。
【０１３５】
本実施例では、図１２に示すように、グローバルデバイス番号によってストレージシステム内の各論理ボリュームを識別する方法と、図１４に示すように、サイト番号とコントローラ番号及び論理デバイス番号によって、ストレージシステム内の各論理ボリュームを識別する方法の両方を示す。いずれの方法を用いてもよい。
【０１３６】
「使用予定日時」とは、ユーザが論理ボリュームを使用する予定の日時を示す情報であり、アクセス履歴管理テーブルＴ５に記録されたアクセス履歴に基づいて、管理サーバ３０が自動的に設定することができる。ユーザは、自動的に設定された使用予定日時を手動で修正することもできる。
【０１３７】
「ユーザの希望条件」とは、ユーザが論理ボリュームを使用する際に希望する条件を示す情報であり、例えば、「コスト優先」または「性能優先」のいずれかが設定される。コスト優先とは、電力コストの低減を優先させるモードである。コスト優先モードが選択されている場合、論理ボリュームを使用する際の合計消費電力ができるだけ少なくなるように、その論理ボリュームのデータの格納先が制御される。即ち、コスト優先モードが選択された場合、その論理ボリュームのデータが格納されるディスクドライブは、できるだけ電力料金の安い時間帯に駆動される。
【０１３８】
性能優先とは、アクセス性能の維持を優先させるモードである。性能優先モードが選択されている場合、論理ボリュームを使用する際の応答性能ができるだけ低下しないように、その論理ボリュームのデータの格納先が制御される。
【０１３９】
本実施例では、後述のように、電力料金の安い夜間の時間帯を利用して、論理ボリューム内のデータの少なくとも一部を、ディスクドライブ２１０（外部ディスクを含む。以下同様）からフラッシュメモリデバイス１２０（外部フラッシュメモリデバイスを含む。以下同様）に予めコピーさせておき、翌日昼間のユーザによる使用に備える。これにより、電力料金の安い昼間に、消費電力の少ないフラッシュメモリデバイスを用いて、ホスト２０からのアクセス要求を処理することができる。
【０１４０】
ディスクドライブ２１０からフラッシュメモリデバイス１２０にコピーするデータの量が少ない場合、電力料金の安い夜間のうちに、コピー対象の全データをディスクドライブ２１０からフラッシュメモリデバイス１２０にコピーさせることができる。しかし、記憶制御装置１０は、多数のユーザによって使用されるデータを管理しており、かつ、各ユーザが使用するデータの量は増加する一方である。
【０１４１】
従って、電力料金の安い時間帯に、コピー対象の全データのコピーを完了できない場合も考えられる。この場合、電力コストを重視するならば、コピーを途中で終了させて、ディスクドライブ２１０の稼働を停止させた方が良いと考えられる。電力料金の高い時間帯に、コピー元デバイスであるディスクドライブ２１０を稼働させると、その論理ボリュームに関する電力コストが増大するためである。
【０１４２】
これに対し、電力コストよりもアクセス性能を重視するならば、電力料金の高い時間帯に移行した後でも、ディスクドライブ２１０からフラッシュメモリデバイス１２０へのコピーを続行し、コピー対象の全データをフラッシュメモリデバイス１２０に格納させる方が良いと考えられる。一般的に、フラッシュメモリデバイス１２０の方がディスクドライブ２１０に比べて、データの読出し速度や書込み速度が優れているためである。
【０１４３】
「配置先固定フラグ」とは、論理ボリュームのデータの格納先を固定させるための情報である。配置先固定フラグに「ＨＤＤ」が設定された場合、そのデータの格納先はディスクドライブ２１０に固定される。従って、「ＨＤＤ」が設定されたデータは、フラッシュメモリデバイスにコピーされない。
【０１４４】
「現在の配置先」とは、論理ボリュームのデータが格納されている記憶デバイスを特定するための情報である。現在の配置先に「ＦＭ」が設定されている場合、そのデータはフラッシュメモリデバイスに記憶されている。現在の配置先に「ＨＤＤ」が設定されている場合、そのデータはディスクドライブ２１０に記憶されている。配置先の情報には、記憶デバイスの種別だけでなく、記憶デバイスを特定するための識別情報（ＰＤＥＶ＃）を含めることができる。
【０１４５】
図１３は、ローカルペア管理テーブルＴ７の構成例を示す説明図である。ローカルペアとは、同一の記憶制御装置１０内に存在する２個の論理ボリュームによって形成されるコピーペアである。本実施例では、フラッシュメモリデバイス１２０に基づいて生成される論理ボリューム１１（ＦＳ）とディスクドライブ２１０に基づいて生成される論理ボリューム１１（ＨＤＤ）とで、コピーペアを生成する。従って、フラッシュメモリデバイス１２０とディスクドライブ２１０との間では、ボリューム間のコピーによって、記憶内容を同期させるようになっている。
【０１４６】
ローカルペア管理テーブルＴ７は、例えば、コントローラ番号（ＤＫＣ＃）と、コピー元ボリューム番号（コピー元ＬＤＥＶ＃）と、コピー先ボリューム番号（コピー先ＬＤＥＶ＃）と、ペア状態とを対応付けて管理する。なお、これら以外に、例えば、各ローカルペアを識別するためのローカルペア番号等の項目をテーブルＴ７に加えてもよい。
【０１４７】
コントローラ番号とは、そのサイトに設けられている記憶制御装置１０を識別するための情報である。各サイトには、それぞれ複数の記憶制御装置１０を設けることができるため、テーブルＴ７では、コントローラ番号を管理する。コピー元ボリューム番号とは、コピー元となるボリュームを識別するための情報である。コピー先ボリューム番号とは、コピー先となるボリュームを識別するための情報である。
【０１４８】
ペア状態とは、コピーペアの状態を示す情報である。ペア状態には、例えば、サスペンド状態（図中「SUSP」）と、同期状態（図中「SYNC」）とがある。サスペンド状態とは、コピー元ボリュームとコピー先ボリュームとが切り離されている状態である。同期状態とは、コピー元ボリュームとコピー先ボリュームとがコピーペアを形成しており、両ボリュームの内容が一致している状態である。
【０１４９】
図１４は、サイト間ペア管理テーブルＴ８の構成例を示す説明図である。サイト間ペア管理テーブルＴ８は、移行元サイト（コピー元サイト）と移行先サイト（コピー先サイト）との間に設けられるコピーペアを管理するためのテーブルである。
【０１５０】
本実施例では、電力コストの安い地域及び安い時間帯でディスクドライブ２１０を使用するために、遠く離れたサイト間でデータをコピーする。このサイト間でのデータコピー（リモートコピーとも呼ばれる）は、各サイトに設けられるボリューム同士を同期させることにより実現される。
【０１５１】
サイト間ペア管理テーブルＴ８は、例えば、リモートコピーを識別する情報と、コピー元を識別する情報と、コピー先を識別する情報と、ペア状態を識別する情報とを対応付けて構成することができる。
【０１５２】
リモートコピー番号（ＲＣ＃）は、各サイト間に設定されるリモートコピーをそれぞれ識別するための情報である。コピー元を識別する情報には、例えば、コピー元サイト番号と、コピー元コントローラ番号と、コピー元ボリューム番号とが含まれる。コピー元サイト番号とは、コピー元ボリュームを有するサイトを識別する情報である。コピー元コントローラコントローラ番号とは、コピー元ボリュームを管理するコントローラを識別する情報である。
【０１５３】
コピー先を識別する情報には、コピー元を識別する情報と同様に、例えば、コピー先サイト番号と、コピー先コントローラ番号と、コピー先ボリューム番号とが含まれる。コピー先サイト番号とは、コピー先ボリュームを有するサイトを識別する情報である。コピー先コントローラ番号とは、コピー先ボリュームを管理するコントローラを識別する情報である。
【０１５４】
ペア状態は、リモートコピーの状態を示す情報である。ペア状態には、上述の通り、例えば、サスペンド状態及び同期状態が含まれる。図１４に示すテーブルＴ８を用いることにより、ストレージシステム内の複数のサイト間で、移動対象のデータがリモートコピーされる。
【０１５５】
図１５は、サイト間回線管理テーブルＴ９の構成例を示す説明図である。サイト間回線管理テーブルＴ９は、各サイト間に設定されている回線の状況を管理するものである。サイト間回線管理テーブルＴ９は、例えば、回線番号と、サイト番号と、サイト間距離と、回線速度と、回線種別とを対応付けることにより管理される。
【０１５６】
回線番号とは、各サイト間を結ぶ各回線をストレージシステム内で識別するための情報である。サイト番号とは、その回線によって接続されている２つのサイトをそれぞれ識別するための情報である。サイト間距離とは、その回線によって接続されている２つのサイトの間の物理的距離を示す。回線速度とは、その回線の通信速度を示す。回線種別とは、その回線の種類を示す。回線の種類には、例えば、専用線や公衆回線等がある。
【０１５７】
移動対象のデータのサイズを回線速度で除算することにより、その移動対象のデータの移動が完了するまでに要する時間を求めることができる。
【０１５８】
図１６は、ユーザ要求条件管理テーブルＴ１０の構成例を示す説明図である。このテーブルＴ１０は、ユーザによって要求される条件を管理するためのものである。本実施例では、データをサイト間で移動させることに伴って、そのデータを利用する業務処理サービスの提供元も変化させることができる。このテーブルＴ１０は、業務処理サービスの提供元を変化させることに関する、ユーザの条件が記録される。
【０１５９】
従って、ユーザ条件管理テーブルＴ１０は、例えば、アプリケーション番号と、サーバ番号と、サイト番号と、最低応答時間とを対応付けて管理される。アプリケーション番号とは、ストレージシステム内で提供されている各種の業務処理サービスを識別する情報である。サーバ番号とは、その業務処理サービスを提供するホストを識別するための情報である。サイト番号とは、業務処理サービスを提供するホストが存在するサイトを識別する情報である。最低応答時間とは、その業務処理サービスについて、ユーザの要求する最低応答時間を示す。
【０１６０】
通信回線の速度や記憶制御装置１０の性能等によっても相違するが、業務処理サービスを提供するサイトと、その業務処理サービスを利用するユーザ端末５０とが遠く離れるほど、応答時間が増大する傾向にある。通信の遅延時間が増加するためである。そこで、本実施例では、ユーザは、事前に、業務処理サービスが最低実現すべき応答時間をテーブルＴ１０に設定しておくことができる。
【０１６１】
図１７は、電力料金管理テーブルＴ１１の構成例を示す説明図である。このテーブルＴ１１は、各サイトの電力料金を管理する。電力料金管理テーブルＴ１１は、例えば、サイト番号と、ピーク時の電力料金と、ピークの時間帯と、オフピーク時の電力料金と、オフピークの時間帯と、その他の情報とを対応付けて管理する。
【０１６２】
ピーク時の電力料金には、例えば、昼間に適用される電力料金のように、最も高い電力料金が設定される。ピークの時間帯とは、ピーク時の料金が適用される時間帯を示す情報である。オフピーク時の電力料金は、例えば、夜間に適用される電力料金のように、最低の電力料金が設定される。オフピークの時間帯とは、オフピーク時の料金が適用される時間帯を示す情報である。その他の情報としては、例えば、そのサイトに電力を供給する電力会社の名称、電力料金が季節によって変化する場合の、その季節変動を示す情報、オプション契約に関する情報等を挙げることができる。
【０１６３】
電力料金管理テーブルＴ１１は、ストレージシステムの管理者または各サイトの管理者が、それぞれ主導で設定することができる。例えば、各地域の電力会社が電力料金等の情報を通信ネットワーク上に公開している場合、管理サーバ３０は、各電力会社のサーバから電力料金等の情報を取得して、テーブルＴ１１に記録することができる。
【０１６４】
図１８は、本実施例によるストレージシステムの動作を模式的に示す説明図である。図１９の上側には、電力料金の変化が示されており、図１８の下側には、データの格納先の変化が示されている。
【０１６５】
ある日の夜間ＴＺ１は、サイトＡの電力料金が低い。この夜間の時間帯ＴＺ１において、サイトＡ内のディスクドライブ２１０に記憶された所定データＤ１は、フラッシュメモリデバイス１２０にコピーされる。即ち、ディスクドライブ２１０からフラッシュメモリデバイス１２０へのステージング処理を、電力料金の安い時間帯ＴＺ１に行う。
【０１６６】
翌日の昼間ＴＺ２は、サイトＡの電力料金が高い。この昼間の時間帯ＴＺ２では、ホスト２０が記憶制御装置１０を利用する。例外はあるが、業務時間は昼間の時間帯ＴＺ２に設定されることが多い。従って、業務時間内に、ホスト２０は、論理ボリュームにアクセスする。上述のように、ホスト２０が記憶制御装置１０の利用を開始するよりも前に、ホスト２０によりアクセスされるデータの少なくとも一部（Ｄ１）は、フラッシュメモリデバイス１２０に予めコピーされている。
【０１６７】
従って、ホスト２０からのアクセス要求の少なくとも一部は、フラッシュメモリデバイス１２０に記憶されたデータＤ１によって処理される。フラッシュメモリデバイス１２０の消費電力はディスクドライブ２１０に比べると少ない。従って、フラッシュメモリデバイス１２０を用いてホスト２０からのアクセス要求を処理するほど、記憶制御装置１０の電力コストを低減することができる。
【０１６８】
なお、電気料金の高い昼間ＴＺ２では、ディスクドライブ２１０は、使用される機会が少ないため、スピンダウン状態にしておく。昼間ＴＺ２の電力コストをより低減するべく、所定データＤ１を記憶するディスクドライブ２１０への通電を完全に停止させたり、あるいは、ハードディスク搭載部２００への通電を停止または低減させる構成でもよい。さらに、外部記憶制御装置４０内のディスクドライブを利用する場合、外部記憶制御装置４０への通電を停止または低減させる構成でもよい。
【０１６９】
昼間の時間帯ＴＺ２において、ホスト２０からの更新要求により、フラッシュメモリデバイス１２０の空き容量が少なくなった場合等には、ホスト２０から受信したライトデータＤ２を、キャッシュメモリ１５０に記憶させることもできる。さらに、フラッシュメモリデバイス１２０にコピーされたデータＤ１以外のデータの読出しをホスト２０が要求した場合、記憶制御装置１０は、ディスクドライブ２１０を稼働させて、ホスト２０の要求するデータを読み出す。
【０１７０】
昼間の時間帯ＴＺ２が終了すると、サイトＡは、電力料金の安い夜間の時間帯ＴＺ３に移行する。夜間の時間帯ＴＺ３では、サイトＡ内でのローカルコピーと、サイトＡからサイトＢへのリモートコピーとが、それぞれ実施される。
【０１７１】
サイトＡ内のローカルコピーでは、フラッシュメモリデバイス１２０からディスクドライブ２１０に、昼間の時間帯ＴＺ２で更新されたデータＤ１をコピーする。このローカルコピーは、フラッシュメモリデバイス１２０内のデータＤ１とディスクドライブ２１０内のデータＤ１との差分だけを、フラッシュメモリデバイス１２０からディスクドライブ２１０にコピーする。さらに、サイトＡ内のキャッシュメモリ１５０にデータＤ２が記憶されている場合、このデータＤ２も、夜間の時間帯ＴＺ３において、キャッシュメモリ１５０からディスクドライブ２１０にコピーされる。
【０１７２】
夜間の時間帯ＴＺ３では、サイトＡのフラッシュメモリデバイス１２０からサイトＢのフラッシュメモリデバイス１２０へデータＤ１がリモートコピーされる。なお、図示は省略するが、サイトＡのキャッシュメモリ１５０にデータＤ２が記憶されている場合、このデータＤ２もサイトＢのフラッシュメモリデバイス１２０にリモートコピーさせることができる。
【０１７３】
サイトＢでは、サイトＡから受信したデータＤ１をサイトＢのフラッシュメモリデバイス１２０に記憶させる。さらに、サイトＢでは、サイトＢのフラッシュメモリデバイス１２０に記憶されたデータＤ１を、サイトＢのディスクドライブ２１０にデステージすることもできる。
【０１７４】
サイトＡからサイトＢへのリモートコピーによって、サイトＡで管理されるデータＤ１のコピーをサイトＢ内に設けることができる。サイトＢ内に記憶されたデータＤ１により、データＤ１の保護を冗長化することができる。あるいは、サイトＢのホスト２０は、サイトＢに記憶されたデータＤ１を用いて、業務処理サービスをユーザ端末５０に提供することができる。
【０１７５】
サイトＡの電力料金よりもサイトＢの電力料金の方が安い場合、サイトＡ内にデータＤ１のバックアップを設けるよりも低コストに、バックアップを設けることができ、かつ、ディザスタリカバリ性能を高めることができる。
【０１７６】
サイトＡとサイトＢとの間に大きな時差があり、サイトＡが夜間にある場合にサイトＢが昼間である場合を考える。この場合、サイトＡの夜間電力料金よりもサイトＢの昼間電力料金の方が安いか又は同等であれば、サイトＢ内のディスクドライブ２１０を作動させても、ストレージシステム全体としては電力コストの増大を抑制できる。
【０１７７】
上述の通り、本実施例では、業務処理サービスを主として提供するローカルサイトにおいて、業務処理サービスの提供が開始される前の電力料金の安い時間帯ＴＺ１に、ディスクドライブ２１０からフラッシュメモリデバイス１２０へのステージング処理を実行し、電力料金の高い業務時間ＴＺ２では、消費電力の低いフラッシュメモリデバイス１２０を用いてホスト２０からのアクセス要求を処理する。そして、業務終了後の電力料金の安い時間帯ＴＺ３に、フラッシュメモリデバイス１２０からディスクドライブ２１０へのデステージング処理を実行する。従って、消費電力の大きいディスクドライブ２１０は、主として、電力料金の安い時間帯ＴＺ１，ＴＺ３で動作するため、記憶制御装置１０の電力コストを低減させることができる。
【０１７８】
さらに、本実施例では、電力料金の異なる別のサイトＢにデータをリモートコピーすることにより、ストレージシステム全体の電力コストの増大を抑制して、バックアップ等を生成することができる。
【０１７９】
なお、サイト間でのリモートコピー処理及びサイト間で業務処理サービスの提供元を切り替える処理については、別の実施例で詳細に説明する。
【０１８０】
図１９〜図２３に基づいて、本実施例によるストレージシステムの動作を説明する。なお、以下に示す各フローチャートは、本発明の理解及び実施に必要な程度で、各処理の概要を示しており、実際のコンピュータプログラムとは相違する場合がある。いわゆる当業者であれば、図示されたステップの削除や変更等を行うことができるであろう。
【０１８１】
図１９は、データの格納先を制御するためのスケジュールを生成する処理を示すフローチャートである。スケジュール生成処理は、生成されたスケジュールを実施する記憶制御装置によって実行してもよいし、管理サーバ３０によって実行してもよい。ここでは、管理サーバ３０によって実行する場合を説明する。管理サーバ３０は、サイト内の各記憶制御装置１０からアクセス履歴を収集して管理することができる。
【０１８２】
管理サーバ３０は、アクセス履歴管理テーブルＴ５を参照し（Ｓ１０）、アクセス履歴に基づいてアクセスパターンを検出する（Ｓ１１）。アクセスパターンとは、その論理ボリュームが、いつどの程度アクセスされているかを分類した情報である。
【０１８３】
管理サーバ３０は、ユーザによる希望条件を取得する（Ｓ１２）。ユーザは、「コスト優先」か「性能優先」のいずれかを、手動で選択することができる。あるいは、管理サーバ３０は、ユーザ属性管理テーブルＴ１２に基づいて、ユーザ希望条件を自動的に設定することもできる。ユーザ属性管理テーブルＴ１２には、例えば、論理ボリュームを使用するユーザの所属部署、役職、業務内容等を設定することができる。
【０１８４】
管理サーバ３０は、Ｓ１０〜Ｓ１２を実行することにより、スケジュールを生成し（Ｓ１３）、スケジュール管理テーブルＴ６を更新する（Ｓ５）。なお、作成されたスケジュールをユーザが確認し、手動で修正できるように構成してもよい。データの移動に応じて業務処理サービスの提供元を変更する場合、管理サーバ３０は、ユーザ要求条件管理テーブルＴ１２も使用して、スケジュールを生成する。
【０１８５】
図２０は、同一の記憶制御装置１０内で、所定データを事前にディスクドライブ２１０からフラッシュメモリデバイス１２０にコピーする処理（ステージング処理）を示すフローチャートである。
【０１８６】
記憶制御装置１０は、スケジュール管理テーブルＴ６を参照し（Ｓ２０）、データの格納先をディスクドライブ２１０からフラッシュメモリデバイス１２０に切り替える時期が到来したか否かを判定する（Ｓ２１）。
【０１８７】
例えば、ユーザが月曜日の朝から論理ボリュームを使用する予定の場合、ユーザの業務が開始する前の電力料金の安い時間帯において、データのコピーに要する時間を考慮した時刻が、切替時期（即ち、ステージング開始時刻である）として選択される。
【０１８８】
切替時期が到来したと判定された場合（S21:YES）、記憶制御装置１０は、ディスクドライブ２１０からフラッシュメモリデバイス１２０への所定データのコピーを開始する（Ｓ２２）。所定データとは、論理ボリュームの全データの場合もあるし、論理ボリュームの先頭から所定量のデータである場合もある。あるいは、論理ボリュームに記憶されているデータのうち、更新時刻が比較的新しい所定量のデータである場合もある。
【０１８９】
記憶制御装置１０は、ディスクドライブ２１０からフラッシュメモリデバイス１２０へのデータのコピーが完了したか否かを判定する（Ｓ２３）。データコピーが完了していない場合（S23:NO）、記憶制御装置１０は、ユーザの希望条件が「コスト優先」であるか否かを判定する（Ｓ２４）。
【０１９０】
ユーザ希望条件がコスト優先の場合（S24:YES）、記憶制御装置１０は、電力料金の高い時間帯（典型的には昼間である）が到来したか否かを判定する（Ｓ２５）。電力料金の高い時間帯が到来した場合（S25:YES）、記憶制御装置１０は、ディスクドライブ２１０からフラッシュメモリデバイス１２０へのデータのコピーを終了させる（Ｓ２６）。これに対し、ユーザの希望条件が「性能優先」の場合（S24:NO）、または、電力料金の高い時間帯に移行していない場合（S25:NO）には、Ｓ２３に戻る。
【０１９１】
ディスクドライブ２１０からフラッシュメモリデバイス１２０へのデータのコピーが完了すると（S23:YES）、記憶制御装置１０は、フラッシュメモリデバイス１２０からディスクドライブ２１０にデータの格納先を切り替える時期（即ち、デステージ開始時刻である）が到来するまで待機する（Ｓ２７）。
【０１９２】
フラッシュメモリデバイス１２０からディスクドライブ２１０にデータをコピーする時期が到来すると（S27:YES）、記憶制御装置１０は、フラッシュメモリデバイス１２０に記憶されたデータとディスクドライブ２１０に記憶されたデータとの差分を、フラッシュメモリデバイス１２０からディスクドライブ２１０にコピーさせる（Ｓ２８）。
【０１９３】
図２１は、ホスト２０からのライト要求を処理するフローチャートである。記憶制御装置１０は、ライト要求を受信すると（Ｓ３０）、ホスト２０から受信したライトデータをフラッシュメモリデバイス１２０に記憶させる（Ｓ３１）。そして、記憶制御装置１０は、差分管理テーブルＴ１３（図２２参照）等の必要な管理テーブルを更新し（Ｓ３２）、ホスト２０に処理完了を通知する（Ｓ３３）。
【０１９４】
一方、記憶制御装置１０は、デステージ処理を実行する時期が到来したか否かを判定する（Ｓ４０）。デステージ処理の実行時期は、上述のように、電力料金の安い夜間の時間帯から選択される。
【０１９５】
デステージ処理の実行時期が到来した場合（S40:YES）、記憶制御装置１０は、書込先のディスクドライブ２１０にスピンアップコマンドを発行して、ディスクドライブ２１０を起動させ（Ｓ４１）、書込先のディスクドライブ２１０の準備が完了したか否かを判定する（Ｓ４２）。
【０１９６】
書込先のディスクドライブ２１０の準備が完了した場合（S42:YES）、記憶制御装置１０は、フラッシュメモリデバイス１２０に記憶されたデータを、その書込先のディスクドライブ２１０に転送して記憶させる（Ｓ４３）。記憶制御装置１０は、差分管理テーブルＴ１３等の必要な管理テーブルを更新し（Ｓ４４）、デステージ処理を終了する。
【０１９７】
図２２は、差分コピーを行うための処理を示すフローチャートである。記憶制御装置１０は、ホスト２０によって更新された位置（即ち、更新された論理ブロックアドレスである）を、差分管理テーブルＴ１３に記録する（Ｓ５０）。差分管理テーブルＴ１３は、所定単位で、データが更新された位置を管理する。差分管理テーブルＴ１３は、差分ビットマップとして構成することができる。
【０１９８】
そして、記憶制御装置１０は、差分管理テーブルＴ１３を参照することにより、ホスト２０によって更新された位置のデータのみを、ディスクドライブ２１０にコピーする（Ｓ５１）。これにより、比較的短時間で、フラッシュメモリデバイス１２０の記憶内容とディスクドライブ２１０の記憶内容とを一致させることができる。
【０１９９】
図２３は、ホスト２０からのリード要求を処理するフローチャートである。記憶制御装置１０は、ホスト２０から発行されたリード要求を受信すると（Ｓ６０）、キャッシュメモリ１５０に記憶されているデータを確認する（Ｓ６１）。
【０２００】
ホスト２０から読出しを要求されたデータが、キャッシュメモリ１５０に記憶されていない場合（S62:YES）、記憶制御装置１０は、フラッシュメモリデバイス１２０に記憶されているデータを確認する（Ｓ６３）。
【０２０１】
読出しを要求されたデータがフラッシュメモリデバイス１２０に記憶されていない場合（S64:YES）、記憶制御装置１０は、デバイス状態管理テーブルＴ３等の必要な管理テーブルを更新し（Ｓ６５）、ディスクドライブ２１０から読出し対象のデータを読み出して、このデータをキャッシュメモリ１５０に転送させる（Ｓ６６）。記憶制御装置１０は、キャッシュメモリ１５０から読出し対象のデータを読み出して（Ｓ６７）、このデータをホスト２０に送信する（Ｓ６８）。
【０２０２】
読出し対象のデータがキャッシュメモリ１５０に記憶されている場合（S62:NO）、記憶制御装置１０は、キャッシュメモリ１５０に記憶されているデータをホスト２０に送信する（Ｓ６７，Ｓ６８）。
【０２０３】
読出し対象のデータがフラッシュメモリデバイス１２０に記憶されている場合（S64:NO）、記憶制御装置１０は、フラッシュメモリデバイス１２０からデータを読み出して（Ｓ６９）、そのデータをホスト２０に送信する（Ｓ６８）。
【０２０４】
図２４は、同一の記憶制御装置１０内において、フラッシュメモリデバイス１２０とディスクドライブ２１０との間でデータを移動させる処理を示すフローチャートである。図２０，図２１では、例えば、セグメント単位やページ単位で、フラッシュメモリデバイス１２０とディスクドライブ２１０との間でデータを移動させる場合を示した。
【０２０５】
これに対し、図２４では、ボリューム単位でデータを移動させる場合を説明する。フラッシュメモリデバイス１２０及びディスクドライブ２１０には、それぞれ論理ボリューム１１が設けられている。フラッシュメモリデバイス１２０に基づく論理ボリューム１１とディスクドライブ２１０に基づく論理ボリューム１１とによって、ローカルコピーペアを構成することができる。
【０２０６】
記憶制御装置１０は、例えば、電力料金の切り替わる時刻等に基づいて、データの移動時期が到来したか否かを判定する（Ｓ１００）。移動時機が到来した場合（S100:YES）、記憶制御装置１０は、移動対象のボリュームを検出し（Ｓ１０１）、移動対象のボリュームが存在するか否かを判定する（Ｓ１０２）。
【０２０７】
移動対象のボリュームが無い場合（S102:NO）、本処理は終了する。移動対象のボリュームが存在する場合（S102:YES）、記憶制御装置１０は、移動対象のボリューム（移動元ボリューム）と移動先ボリュームとの間の差分データの量を検出し（Ｓ１０３）、移動の前後における電力コストの変化を算出する（Ｓ１０４）。差分データの量と回線速度とから、差分データの移動に要する時間を算出することができる。移動所要時間に基づいて、移動完了時刻を予測できる。移動完了時刻と電気料金とに基づいて、移動に要する電力コスト、移動した場合の電力コスト、移動しなかった場合の電力コスト等をそれぞれ予測可能である。
【０２０８】
記憶制御装置１０は、フラッシュメモリデバイス１２０とディスクドライブ２１０との間でデータを移動させることについて、電力コスト上のメリットがあるか否かを判定する（Ｓ１０５）。例えば、データ移動に要する時間が長く、電力料金の安い夜間だけではデータを移動させることができない場合、電力料金の高い昼間においてもディスクドライブ２１０が作動することになる。消費電力の高いディスクドライブ２１０が、電力料金の高い時間帯で長時間作動すると、電力コストが増大する。
【０２０９】
データ移動に関する電力コスト上のメリットが無いと判定された場合（S105:NO）、本処理は終了する。電力コスト上のメリットがあると判定された場合（S105:YES）、記憶制御装置１０は、フラッシュメモリデバイス１２０に基づく論理ボリューム１１とディスクドライブ２１０に基づく論理ボリューム１１とで構成されるコピーペアのペア状態を、サスペンド状態から同期状態に変更する（Ｓ１０６）。
ペア状態を同期状態にすることにより、フラッシュメモリデバイス１２０に基づく論理ボリューム１１とディスクドライブ２１０に基づく論理ボリューム１１との間で、差分データがリモートコピーされる（Ｓ１０７）。
【０２１０】
ボリューム間の同期が終了すると、記憶制御装置１０は、ペア状態を同期状態からサスペンド状態に変更し（Ｓ１０８）、ホスト２０に通知する（Ｓ１０９）。
【０２１１】
図２５，図２６に基づいて、複数の異なるサイト間で、ボリューム単位でデータを移動させる方法を説明する。図２５は、サイト間でデータを移動させる様子を模式的に示す説明図である。
【０２１２】
図２５に示すように、本実施例では、第１サイトＳＴ１のフラッシュメモリデバイス１２０から、第２サイトＳＴ２のフラッシュメモリデバイス１２０にデータを移動させることができる。なお、第１サイトＳＴ１のフラッシュメモリデバイス１２０から第２サイトＳＴ２のディスクドライブ２１０にデータを移動させることもできる。
【０２１３】
図２６は、コピー処理を示すフローチャートである。図２６に示すフローチャートは、図２４に示すフローチャート中のＳ１００〜Ｓ１０９を全て備えている。図２６では、新たにＳ１１０〜Ｓ１１５が追加されている。そこで、図２６で新たに追加されたステップを中心に説明する。本処理の説明では、第１サイトＳＴ１内に位置する各要素の符号には（ＳＴ１）を添え、第２サイトＳＴ２内に位置する各要素の符号に（ＳＴ２）を添えることとする。
【０２１４】
記憶制御装置１０（ＳＴ１）は、その内部のフラッシュメモリデバイス１２０（ＳＴ１）とディスクドライブ２１０（ＳＴ２）との間でデータが完了すると（Ｓ１０９）、第２サイトＳＴ２へのリモートコピーを実施するか否かを判定する（Ｓ１１０）。
【０２１５】
フラッシュメモリデバイス１２０（ＳＴ１）内の論理ボリューム１１について、リモートコピーが設定されていない場合（S110:NO）、本処理は終了する。リモートコピーが設定されている場合（S110:YES）、記憶制御装置１０（ＳＴ１）は、第２サイトＳＴ２にデータをコピーすることに関して、電力コスト上のメリットがあるか否かを判定する（Ｓ１１２）。メリットが無いと判定された場合（S112:NO）、本処理は終了する。
【０２１６】
電力コスト上のメリットがあると判定した場合（S112:YES）、記憶制御装置１０（ＳＴ１）は、リモートコピー元ボリュームとリモートコピー先ボリュームとで構成されるリモートコピーペアの状態を、サスペンド状態から同期状態に変更する（Ｓ１１３）。この例では、図２５に示すように、リモートコピー元の論理ボリューム１１（ＳＴ１）は、第１サイトＳＴ１のフラッシュメモリデバイス１２０（ＳＴ１）に存在し、リモートコピー先の論理ボリューム１１（ＳＴ２）は、第２サイトＳＴ２のフラッシュメモリデバイス１２０（ＳＴ２）に存在する。
【０２１７】
論理ボリューム１１（ＳＴ１）と論理ボリューム１１（ＳＴ２）のペアの状態を同期状態に設定することにより（Ｓ１１３）、論理ボリューム１１（ＳＴ１）から論理ボリューム１１（ＳＴ２）に差分データがリモートコピーされる（Ｓ１１４）。リモートコピーが完了すると、記憶制御装置１０（ＳＴ１）は、ペア状態を、同期状態からサスペンド状態に変更する（Ｓ１１５）。
【０２１８】
図２７，図２８は、本実施例のストレージシステムによるデータ移動の様子を模式的に示す説明図である。図２７（ａ）は初期状態を示す。図２７（ｂ）は、フラッシュメモリデバイス１２０（ＳＴ１）とディスクドライブ２１０（ＳＴ１）との間で実行される、ローカルコピーの様子を示す。これにより、ディスクドライブ２１０（ＳＴ１）内のボリューム１１（＃１１）に記憶された所定データの少なくとも一部が、フラッシュメモリデバイス１２０（ＳＴ１）内のボリューム１１（＃１０）に記憶される。
【０２１９】
図２８（ｃ）は、リモートコピーの様子を示す。フラッシュメモリデバイス１２０（ＳＴ１）内のボリューム１１（＃１０）とフラッシュメモリデバイス１２０（ＳＴ２）内のボリューム１１（＃２０）とによってリモートコピーペアが形成され、ボリューム１１（＃１０）とボリューム１１（＃２０）との差分データが、ボリューム１１（＃１０）からボリューム１１（＃２０）に送信される。
【０２２０】
図２８（ｄ）は、第２サイトＳＴ２におけるローカルコピーの様子を示す。ボリューム１１（＃２０）のデータは、ディスクドライブ２１０（ＳＴ２）内のボリューム１１（＃２１）に差分コピーされる。従って、元のデータのコピーが、第２サイトＳＴ２内にも保持されることになる。図２８（ｃ）に示すリモートコピー先サイトを電力料金の安い地域のサイトから選択し、さらに、リモートコピー先サイトにおけるローカルコピー処理を、電力料金の安い時間帯に実行させれば、ストレージシステム全体の電力コストが増大するのを防止してディザスタリカバリ性能を高めることができる。
【０２２１】
図２９は、ストレージシステムによるデータ移動の他の例を示す説明図である。図２９（ａ）に示すように、第１サイトＳＴ１のフラッシュメモリデバイス１２０（ＳＴ１）から第２サイトＳＴ２のディスクドライブ２１０（ＳＴ２）に、第２サイトＳＴ２のフラッシュメモリデバイス１２０（ＳＴ２）を経由させずに、データを直接コピーすることもできる。
【０２２２】
図２９（ｂ）に示すように、第１サイトＳＴ１のディスクドライブ２１０（ＳＴ１）内のボリューム（＃１１）と第２サイトＳＴ２のディスクドライブ２１０（ＳＴ２）内のボリューム（＃２１）とでリモートコピーペアを形成することもできる。
【０２２３】
本実施例は上述の構成を備えるため、以下の効果を奏する。本実施例では、フラッシュメモリデバイス１２０とディスクドライブ２１０との消費電力の差のみならず、電力料金の時間帯による差と各地域の電力料金の差を考慮して、データの格納先を制御する。
【０２２４】
従って、電力料金の安い夜間のうちに、消費電力の大きいディスクドライブ２１０を作動させて、フラッシュメモリデバイス１２０に所定データを予めコピーしておくことができる。電力料金の高い昼間では、消費電力の小さいフラッシュメモリデバイス１２０を用いて、ホスト２０からのアクセス要求を処理できる。この結果、記憶制御装置１０の消費電力を低減することができる。
【０２２５】
さらに、本実施例では、電力料金の地域差を利用し、電力料金の安い地域に設けられたサイトに、データのコピーを保持させる。従って、ストレージシステムの電力コストを増大させずに、データのバックアップ等を取ることができる。
【０２２６】
本実施例では、ホスト２０から受信したライトデータを、キャッシュメモリ１５０を介さずに、直接フラッシュメモリデバイス１２０に記憶させる構成のため、キャッシュメモリ１５０の使用量を低減することができ、さらに、ライトデータを記憶するまでの時間を短縮することができる。
【実施例２】
【０２２７】
図３０〜図３２に基づいて第２実施例を説明する。以下に述べる各実施例は、第１実施例の変形例に該当する。以下、第１実施例と共通する部分については説明を省略し、各実施例に特徴的な部分を中心に説明する。
【０２２８】
本実施例では、フラッシュメモリデバイス１２０に基づく論理ボリューム１１とディスクドライブ２１０に基づく論理ボリューム１１とがそれぞれ複数存在する場合において、ローカルコピーのペアを予め設定するのではなく、状況に応じてローカルコピーのペアを設定する。
【０２２９】
図３０は、本実施例によるコピー処理のフローチャートである。この処理は、図２６に示すフローチャートの全ステップＳ１００〜Ｓ１１５を備えており、さらに新たなステップＳ１２０が追加されている。なお、本実施例のＳ１０８では、ボリューム間の同期が完了した場合、コピー先ボリュームの状態を単独運用（simplex）に変更する。
【０２３０】
本実施例では、同一の記憶制御装置１０内で、フラッシュメモリデバイス１２０とディスクドライブ２１０との間でローカルコピーを行う場合（S102:YES）、記憶制御装置１０は、移動先のボリュームを選択する（Ｓ１２０）。移動先のボリュームとは、ローカルコピーのコピー先ボリュームである。
【０２３１】
図３１は、移動先ボリュームを選択するための処理を示すフローチャートである。記憶制御装置１０は、移動先ボリュームの候補となる各ボリュームについて情報をそれぞれ取得し（Ｓ１２１）、判定対象のボリューム番号に最初の候補ボリュームの番号をセットする（Ｓ１２２）。
【０２３２】
記憶制御装置１０は、候補ボリュームの容量と移動元ボリュームの容量とを比較し、候補ボリュームの容量が足りているか否かを判定する（Ｓ１２３）。候補ボリュームの容量が移動元ボリュームの容量よりも少ない場合（S123:NO）、記憶制御装置１０は、全ての候補ボリュームについて判定したか否かを判断する（Ｓ１２４）。未だ判定していない候補ボリュームが存在する場合（S124:NO）、記憶制御装置１０は、判定対象のボリューム番号に次の候補ボリュームの番号をセットし（Ｓ１２５）、Ｓ１２３に戻る。
【０２３３】
候補ボリュームの容量が移動元ボリュームの容量と等しいかそれ以上の場合（S123：YES）、記憶制御装置１０は、その候補ボリュームを移動先ボリュームとして選択する（Ｓ１２６）。
【０２３４】
図３２は、移動先ボリュームを選択する様子を示す説明図である。移動元ボリュームをボリューム１１（＃１１）とする。フラッシュメモリデバイス１２０に、複数のボリューム１１（＃１０），１１（＃１２）が設定されている場合、記憶制御装置１０は、いずれか１つのボリュームを移動先ボリュームとして選択する。図３２（ａ）では、ボリューム１１（＃１０）が選択された様子を、図３２（ｂ）では、別のボリューム１１（＃１２）が選択された様子をそれぞれ示す。
【０２３５】
このように構成される本実施例も第１実施例と同様の効果を奏する。さらに、本実施例では、例えば、ステージング先として選択可能なボリューム１１（＃１０，＃１２）が複数存在する場合、その中から適切なボリューム１１を選択してデータを移動させることができる。
【実施例３】
【０２３６】
図３３〜図３６に基づいて第３実施例を説明する。本実施例では、リモートコピー先のボリュームを予め設定せずに、リモートコピーを実行する際にリモートコピー先のボリュームを選択する。以下、リモートコピー元ボリュームを有する記憶制御装置１０によって本処理が実行される場合を説明する。これに代えて、管理サーバ３０が本処理を実行し、ローカルコピー及びリモートコピーを実施する記憶制御装置１０にコピー方法を設定するようにしてもよい。
【０２３７】
図３３は、本実施例によるコピー処理のフローチャートである。このフローチャートは、図３０に示す全てのステップＳ１００〜Ｓ１１４，Ｓ１２０を備えており、さらに、新たなステップＳ１３０が追加されている。本実施例では、記憶制御装置１０は、リモートコピーの実施を決定した場合（S109:YES）、リモートコピー先のボリュームを選択する（Ｓ１３０）。本実施例では、スケジュール管理テーブルＴ６において、リモートコピーを行う旨のみが設定されており、どのボリュームにリモートコピーをするかは設定されていない。
【０２３８】
図３４は、リモートコピー先ボリュームを選択するための処理を示す。記憶制御装置１０は、リモートコピー先ボリュームの候補となる各ボリューム１１について、それぞれ情報を取得する（Ｓ１３１）。
【０２３９】
記憶制御装置１０は、判定対象のボリューム番号に最初の候補ボリュームの番号をセットする（Ｓ１３２）。記憶制御装置１０は、その候補ボリュームの容量が足りているか否かを判定する（Ｓ１３３）。
【０２４０】
即ち、記憶制御装置１０は、リモートコピー元ボリュームの容量と候補ボリュームの容量とを比較し、候補ボリュームの容量がリモートコピー元ボリュームの容量以上であるか否かを判定する（Ｓ１３３）。候補ボリュームの容量が足りない場合（S133:NO）、Ｓ１３６に移る。
【０２４１】
候補ボリュームの容量が足りている場合（S133:YES）、記憶制御装置１０は、リモートコピー元ボリュームと候補ボリュームとの間に、リモートコピーを行うための通信経路が設定されているか否かを判定する（Ｓ１３４）。リモートコピー用の通信経路が設定されていない場合（S134:NO）、Ｓ１３６に移る。
【０２４２】
リモートコピー元ボリュームと候補ボリュームとの間にリモートコピー用の通信経路が設定されている場合（S134:YES）、記憶制御装置１０は、その候補ボリュームがユーザの要求する条件（例えば、最低応答時間）を満たすか否かを判定する（Ｓ１３５）。候補ボリュームがユーザの要求条件を満たさない場合（S135:NO）、Ｓ１３６に移る。
【０２４３】
候補ボリュームがユーザの要求条件を満たす場合（S135:YES）、記憶制御装置１０は、その候補ボリュームをリモートコピー先ボリュームとして選択する（Ｓ１３８）。
【０２４４】
Ｓ１３３，Ｓ１３４，Ｓ１３５のいずれかでNOと判定された場合、記憶制御装置１０は、全ての候補ボリュームについて判定したか否かを判定する（Ｓ１３６）。未判定の候補ボリュームが残っている場合（S136:NO）、記憶制御装置１０は、判定対象のボリューム番号に次の候補ボリュームの番号をセットし（Ｓ１３７）、Ｓ１３３に戻る。
【０２４５】
なお、リモートコピー用の通信経路が設定されていない場合（S134:NO）、その旨をユーザに通知する構成としてもよい。ユーザは、通知された内容に基づいて、リモートコピー用の通信経路を設定可能だからである。さらに、候補ボリュームがユーザの要求条件を満たさない場合（S135:NO）、その旨をユーザに通知する構成でもよい。通知を受けたユーザは、要求条件の緩和等について検討することができる。
【０２４６】
図３５は、本実施例によるリモートコピーを模式的に示す説明図である。第１サイトＳＴ１の記憶制御装置１０は、リモートコピー先候補のサイトＳＴ２，ＳＴ３が複数存在する場合に、いずれか一方のサイトＳＴ３を選択する。図３５の例では、第３サイトＳＴ３内のフラッシュメモリデバイス１２０に設けられているボリューム１１（＃３０）が、リモートコピー先ボリュームとして選択されている。
【０２４７】
図３６に示すように、複数の指標にそれぞれ優先度を設定し、ストレージシステム内からリモートコピー先ボリュームとして選択する構成でもよい。
【０２４８】
ボリューム選択用優先度管理テーブルＴ２０は、リモートコピー先のボリュームを選択する場合に考慮される、複数の指標の優先度を管理するためのテーブルである。判断指標としては、例えば、ボリューム容量（第１位）、応答時間（第２位）、通信帯域（第３位）、リモートコピーに要する時間（第４位）等を挙げることができる。各判断指標毎に、それぞれ予め優先度が設定されている。図３６に示す例では、数字が小さいほど優先度が高い。
【０２４９】
得点管理テーブルＴ２１は、各候補ボリュームが、各判断指標に基づいて取得した総得点を集計するテーブルである。記憶制御装置１０は、最も得点の高い候補ボリュームをリモートコピー先ボリュームとして選択することができる。
【０２５０】
図３６に示す例では、リモートコピー用の通信経路が設定されているか否かについては、特に問題としていない。必要に応じて、リモートコピー用の通信経路を設定することができるためである。但し、判断指標の１つとして、リモートコピー用の通信経路の有無を加えてもよい。
【０２５１】
このように構成される本実施例も第１実施例及び第２実施例と同様の効果を奏する。さらに、本実施例では、ストレージシステムの現況に応じて、リモートコピー先ボリュームを自動的に選択するため、使い勝手が向上する。なお、ローカルコピーの実行中（Ｓ１００〜Ｓ１０８）に、リモートコピー先ボリュームを選択する処理（Ｓ１３０）を予め実行しておく構成でもよい。
【実施例４】
【０２５２】
図３７〜図４０に基づいて第４実施例を説明する。本実施例では、記憶制御装置１０間でのデータの移動（リモートコピー）に応じて、ホスト２０間でアプリケーションプログラムの実行先を移動させる。
【０２５３】
図３７は、本実施例によるストレージシステムの全体構成を模式的に示す。第１サイトＳＴ１のアプリケーションプログラム２３（＃１０）は、第１サイトＳＴ１内のボリューム１１（＃１６），１１（＃１７）を用いて、ユーザ端末５０に業務処理サービスを提供している。
【０２５４】
一方のボリューム１１（＃１６）には、例えば、業務処理サービスで利用するプログラムやデータが格納されており、他方のボリューム１１（＃１７）には、例えば、顧客名簿等のような、業務処理サービスに関連するデータ等が格納されている。
【０２５５】
より安い電力コストを求めて、第１サイトＳＴ１から第２サイトＳＴ２にボリュームデータが移行される。一方のボリューム１１（＃１６）のデータは、一方のリモートコピー先ボリューム１１（＃２６）に、他方のボリューム１１（＃１７）のデータは、他方のリモートコピー先ボリューム１１（＃２７）に、それぞれリモートコピーされる。
【０２５６】
リモートコピーによるボリュームの移行に伴って、業務処理サービスの提供元も第１サイトＳＴ１から第２サイトＳＴ２に移る。移行元のホスト２０（＃１０）では、アプリケーションプログラム２３（＃１０）を停止させ、移行先のホスト２０（＃２０）では、アプリケーションプログラム２３（＃２０）が起動する。
【０２５７】
第１サイトＳＴ１で提供される業務処理サービスと第２サイトＳＴ２で提供される業務処理サービスとは、クラスタ１０００を構成する。即ち、本実施例では、複数のサイトを跨るようにして、業務処理サービスをクラスタ化している。
【０２５８】
図３８は、複数のサイトから構成されるクラスタ１０００を管理するためのテーブルを示す説明図である。サイト間クラスタ管理テーブルＴ３０は、例えば、アプリケーション番号と、プライマリサイト情報と、セカンダリサイト情報とを備える。プライマリサイト情報は、プライマリのホスト番号と、プライマリのサイト番号と、プライマリのボリューム番号と、プライマリの関連ボリューム番号とを含む。同様に、セカンダリサイト情報は、セカンダリのホスト番号と、セカンダリのサイト番号と、セカンダリのボリューム番号と、セカンダリの関連ボリューム番号とを含む。
【０２５９】
アプリケーション番号とは、移行対象のアプリケーションプログラム２３を識別するための情報である。プライマリのホスト番号とは、業務処理サービスを提供するアプリケーションプログラム２３が稼働しているホスト２０を識別する情報である。プライマリのサイト番号とは、プライマリのホスト２０を有するサイトを識別する情報である。プライマリのボリューム番号とは、アプリケーションプログラム２３により主に使用されるボリュームを識別する情報である。プライマリの関連ボリューム番号とは、プライマリボリュームと関連するデータを記憶するボリュームを識別する情報である。セカンダリサイト情報については、説明を省略する。
【０２６０】
図３９は、業務処理サービスを移行させる処理を示すフローチャートである。サービスの移行元サイトの記憶制御装置１０（以下、移行元記憶制御装置１０（ＳＴ１））は、スケジュールに基づいて、移行時期が到来したか否かを判定する（Ｓ１５０）。即ち、移行先サイトでは、ストレージシステム全体として電力コストを節約するために、業務処理サービスの提供元を移動させるべきか否かを判定する（Ｓ１５０）。
【０２６１】
移行時期が到来した場合（S150:YES）、移行元記憶制御装置１０（ＳＴ１）は、サービス移行先サイトの記憶制御装置１０（以下、移行先記憶制御装置１０（ＳＴ２））に、移行処理の開始を通知する（Ｓ１５１）。
【０２６２】
移行元記憶制御装置１０（ＳＴ１）は、移行対象のアプリケーションプログラム２３を停止させる（Ｓ１５２）。続いて、移行元記憶制御装置１０（ＳＴ１）は、移行対象のアプリケーションプログラム２３により使用されているボリューム１１（＃１６，＃１７）のデータを、移行先サイトＳＴ２のボリューム１１（＃２６，＃２７）にそれぞれリモートコピーする（Ｓ１５３）。
【０２６３】
ボリューム間のデータ移行については、上述の通りであるから、その詳細な説明を省略する。リモートコピー元ボリュームとリモートコピー先ボリュームとのペア状態を同期状態に設定することにより、データを移行させることができる。
【０２６４】
リモートコピー元ボリューム１１（＃１６，＃１７）からリモートコピー先ボリューム１１（＃２６，＃２７）へのリモートコピーが完了すると（S154:YES）、リモートコピーペアの状態はサスペンド状態に戻され、移行元サイトでの処理は完了する。
【０２６５】
移行先記憶制御装置１０（ＳＴ２）は、移行開始の通知を受領し（Ｓ１６０）、移行元記憶制御装置１０（ＳＴ１）から送信されたデータを移行先ボリューム１１（＃２６，＃２７）に記憶させる（Ｓ１６１）。
【０２６６】
リモートコピーが完了すると（S162:YES）、移行先記憶制御装置１０（ＳＴ２）は、移行先サイトＳＴ２のホスト２０上でアプリケーションプログラム２３（＃２０）を起動させ、業務処理サービスの提供を再開させる（Ｓ１６３）。
【０２６７】
図４０は、処理の順序を模式的に示す。図中左側に示すように、移行元サイトでは、アプリケーションプログラム→ファイルシステム→ボリュームの順番で、その使用が停止される。図中右側に示すように、移行先サイトでは、ボリューム→ファイルシステム→アプリケーションプログラムの順番で稼働する。
【０２６８】
このように構成される本実施例も第１実施例と同様の効果を奏する。さらに、本実施例では、電力料金の時間差及び地域差を利用し、より電力コストの安いサイトにデータを移し、かつ、より電力コストの安いサイトで業務処理サービスを提供する。従って、ストレージシステム全体としての電力コストを低減できる。
【実施例５】
【０２６９】
図４１に基づいて第５実施例を説明する。図４１は、データ配置先を決定するための処理を示すフローチャートである。この処理は、スケジュール管理テーブルＴ６中の「配置先固定フラグ」を自動的に設定するために実行される。
【０２７０】
即ち、以下の処理では、フラッシュメモリデバイス１２０の信頼性（残り寿命）やデータへのアクセスパターンに基づいて、ディスクドライブ２１０からフラッシュメモリデバイス１２０へのステージング処理の可否を決定し、決定の結果をスケジュール管理テーブルＴ６に登録する。
【０２７１】
記憶制御装置１０は、デバイス状態管理テーブルＴ３を参照し（Ｓ２００）、さらに、寿命閾値管理テーブルＴ４を参照する（Ｓ２０１）。記憶制御装置１０は、いずれかの寿命予測パラメータの一つでも寿命閾値に達したフラッシュメモリデバイス１２０が存在するか否かを判定する（Ｓ２０２）。
【０２７２】
寿命閾値に達したフラッシュメモリデバイス１２０が存在しない場合（S202:NO）、記憶制御装置１０は、フラッシュメモリデバイス１２０に関するアクセス状況を判定する（Ｓ２０３）。記憶制御装置１０は、フラッシュメモリデバイス１２０へのアクセスがリードアクセス中心であるか否かを判定する（Ｓ２０４）。記憶制御装置１０は、例えば、そのフラッシュメモリデバイス１２０に関するリードアクセスの総数とライトアクセスの総数の比率から、リードアクセスが中心であるか否かを判定することができる。例えば、リードアクセスの方がライトアクセスよりもｎ倍（ｎは自然数）大きいような場合、リードアクセス中心で使用されているフラッシュメモリデバイスであると判定可能である。
【０２７３】
リードアクセスが中心の場合（S204:YES）、記憶制御装置１０は、そのフラッシュメモリデバイス１２０をそのまま継続して使用することを決定し（Ｓ２０５）、必要があればスケジュール管理テーブルＴ６を更新する（Ｓ２０６）。但し、フラッシュメモリデバイス１２０の継続使用が決定された場合（Ｓ２０５）、スケジュール管理テーブルＴ６を更新する必要はない。
【０２７４】
これに対し、フラッシュメモリデバイス１２０へのアクセスがリードアクセス中心ではなく、ライトアクセスが比較的多い場合（S204:NO）、記憶制御装置１０は、そのフラッシュメモリデバイス１２０に記憶されたデータの格納場所を、ディスクドライブ２１０に変更する（Ｓ２０７）。即ち、記憶制御装置１０は、ライトアクセスが多くなるほど、フラッシュメモリデバイス１２０の寿命が低下するため、データの格納場所を予めディスクドライブ２１０に固定する（Ｓ２０７）。記憶制御装置１０は、そのデータの配置先固定フラグにディスクドライブ２１０のデバイス番号を設定する（Ｓ２０６）。
【０２７５】
いずれかの寿命予測パラメータが寿命閾値に達したフラッシュメモリデバイス１２０の場合（S202:YES）、記憶制御装置１０は、データの格納先を変更するための他のフラッシュメモリデバイス１２０を検索する（Ｓ２０８）。即ち、記憶制御装置１０は、空き容量及び寿命が十分に残っている、データ移転先の候補となるフラッシュメモリデバイス１２０を検出する（Ｓ２０８）。
【０２７６】
移転先候補のフラッシュメモリデバイス１２０が検出された場合（S209:YES）、記憶制御装置１０は、その移転先候補のフラッシュメモリデバイス１２０に関するアクセス状況を判定し（Ｓ２１０）、その移転先候補のフラッシュメモリデバイス１２０へのアクセスがリードアクセス中心であるか否かを判定する（Ｓ２１１）。
【０２７７】
移転先候補のフラッシュメモリデバイス１２０へのアクセスがリードアクセス中心である場合（S211:YES）、記憶制御装置１０は、寿命の少なくなったフラッシュメモリデバイス１２０の代わりに、その移転先候補のフラッシュメモリデバイス１２０をデータの格納先として選択する（Ｓ２１２）。この場合、記憶制御装置１０は、新たな格納先として選択されたフラッシュメモリデバイス１２０のデバイス番号をスケジュール管理テーブルＴ６に登録する（Ｓ２０６）。
【０２７８】
これに対し、移転先候補のフラッシュメモリデバイス１２０が一つも検出できなかった場合（S209:NO）、または、移転先候補のフラッシュメモリデバイス１２０へのアクセスがリードアクセス中心ではない場合（S211:NO）、記憶制御装置１０は、データの格納先をディスクドライブ２１０に変更する（Ｓ２０７）。
【０２７９】
このように構成される本実施例も第１実施例と同様の効果を奏する。さらに、本実施例では、書込みによって寿命が劣化するという、フラッシュメモリデバイスの技術的性質を考慮し、データの配置先を制御する。従って、フラッシュメモリデバイスの寿命低下を防止しつつ、電力コストを低減することができる。
【実施例６】
【０２８０】
図４２に基づいて第６実施例を説明する。本実施例では、ＦＭ制御部１２０の変形例を説明する。図４２は、本実施例によるＦＭ制御部１２０の構成を示す説明図である。本実施例のＦＭ制御部１２０は、第１実施例のメモリコントローラ１２５に代えてＦＭプロトコル処理部１２７を備える。また、本実施例のＦＭ制御部１２０は、フラッシュメモリ１２６に代えて、フラッシュメモリデバイス１２８を有する。
【０２８１】
ＦＭプロトコル処理部１２７は、フラッシュメモリデバイス１２８との間のデータ通信を行うものである。なお、ＦＭプロトコル処理部１２７に内蔵されているメモリ１２７Ａには、フラッシュメモリデバイス１２８へのアクセスに関する履歴情報を記録させることができる。
【０２８２】
ＦＭプロトコル処理部１２７は、コネクタ１２９を介して、フラッシュメモリデバイス１２８に接続されている。従って、フラッシュメモリデバイス１２８は、着脱可能にＦＭ制御部１２０に取り付けられている。
【０２８３】
第１実施例では、ＦＭ制御部１２０の回路基板上にフラッシュメモリ１２６を設ける構成を示した。従って、前記実施例では、フラッシュメモリの容量を増加させたり、故障したフラッシュメモリを交換するのは面倒な作業となる。これに対し、本実施例では、ＦＭプロトコル処理部１２７とフラッシュメモリデバイス１２８をコネクタ１２９を介して着脱可能に取り付けるため、新品のフラッシュメモリデバイス１２８や大容量のフラッシュメモリデバイス１２８に容易に交換することができる。
【実施例７】
【０２８４】
図４３に基づいて第７実施例を説明する。本実施例では、ＦＭ制御部１２０の別の変形例を説明する。本実施例のＦＭ制御部１２０は、各ＦＭプロトコル処理部１２７に、通信経路１２７Ｂを介して、それぞれ複数ずつのフラッシュメモリデバイス１２８を接続している。これにより、本実施例では、より多数のフラッシュメモリデバイス１２８を利用することができる。
【実施例８】
【０２８５】
図４４に基づいて第７実施例を説明する。本実施例では、フラッシュメモリデバイス１２０とディスクドライブ２１０との使用を切り替えるタイミングとして、第１実施例とは別の例を説明する。
【０２８６】
図４４は、本実施例による記憶制御装置１０により実行されるデータ事前コピー処理を示すフローチャートである。図２２に示すフローチャートは、図２０に示すフローチャートと共通のステップを含んでいる。そこで、重複した説明を割愛し、本実施例に特徴的なステップを中心に説明する。
【０２８７】
ディスクドライブ２１０からフラッシュメモリデバイス１２０への切替時期が到来したと判断された場合（S21:YES）、記憶制御装置１０は、ディスクドライブ２１０からフラッシュメモリデバイス１２０へのデータのコピーを開始し、かつ、記憶制御装置１０で消費される電力のおよそのコストの算出を開始する（Ｓ２２Ａ）。
【０２８８】
コスト重視の設定がされている場合（S24:YES）、記憶制御装置１０は、現在までの概算の電力コストが予め設定された基準値を越えたか否かを判定する（Ｓ２５Ａ）。基準値は、ユーザが予め設定することができる。基準値は、例えば、ユーザの許容できる電力コストの上限を示す金額として設定することができる。電力コストの概算金額が基準値を越えた場合（S25A:YES）、記憶制御装置１０は、ディスクドライブ２１０からフラッシュメモリデバイス１２０へのデータコピーを終了させる（Ｓ２６）。
【０２８９】
次に、記憶制御装置１０は、現在時刻が、管理テーブルに登録されているフラッシュメモリデバイス１２０の使用予定時刻の終了時刻よりも所定時間ｔｓ前の時刻であるか否かを判定する（Ｓ２７Ａ）。例えば、使用予定時刻が「平日の９時から１８時」に設定されており、所定時間ｔｓとして「１時間」が設定されている場合、記憶制御装置１０は、現在時刻が１７時であるか否かを判定する（１８−１＝１７）。
【０２９０】
Ｓ２７ＡでYESと判定された場合、記憶制御装置１０は、フラッシュメモリデバイス１２０からディスクドライブ２１０への差分コピーを開始する（Ｓ２８）。所定時間ｔｓは、ユーザが手動で設定することもできるし、予め設定される所定の観点に基づいて自動的に設定することもできる。所定の観点としては、例えば、フラッシュメモリデバイス１２０の使用中に発生した更新量の大小を挙げることができる。即ち、フラッシュメモリデバイス１２０からディスクドライブ２１０にコピーされる差分データの量に対応させて、所定時間ｔｓを設定することができる。例えば、差分データの量が増大するほど、所定時間ｔｓを長くすることができる。
【０２９１】
このように構成される本実施例も前記第１実施例と同様の効果を奏する。さらに、本実施例では、概算の電力コストが基準値を超えた場合に、ディスクドライブ２１０からフラッシュメモリデバイス１２０へのデータコピーを完了させるため、ユーザの予算を超える電力コストの発生を抑制することができる。従って、ユーザは、記憶制御装置１０のTCOを適切に管理することができ、使い勝手が向上する。
【０２９２】
さらに、本実施例では、フラッシュメモリデバイス１２０からディスクドライブ２１０への差分コピーの開始時刻を、フラッシュメモリデバイス１２０の使用予定日時に関連づけて設定するため、フラッシュメモリデバイス１２０の使用が終了する時刻に応じて差分コピーを開始させることができる。なお、所定時間ｔｓを廃止し、使用予定日時の終了時刻が到来した時点で、フラッシュメモリデバイス１２０からディスクドライブ２１０への差分コピーを開始させる構成でもよい。
【０２９３】
なお、本発明は、上述した実施の形態に限定されない。当業者であれば、本発明の範囲内で、種々の追加や変更等を行うことができる。例えば、NAND型フラッシュメモリデバイスとNOR型フラッシュメモリデバイスのように、技術的性質や性能等の相違する複数種類のフラッシュメモリデバイスを混在させて使用する構成でもよい。
【図面の簡単な説明】
【０２９４】
【図１】本発明の実施形態の概念を示す説明図である。
【図２】広い範囲に分散してサイトが設けられる様子と、地域の差及び時間帯の差によって電力コストが変わる様子をそれぞれ示す説明図である。
【図３】一部のサイトに着目して、ストレージシステムの構成を示す説明図である。
【図４】１つのサイトの全体構成を示す説明図である。
【図５】記憶制御装置の使用例を示す模式図である。
【図６】チャネルアダプタの構成を示す説明図である。
【図７】フラッシュメモリ制御部の構成を示す説明図である。
【図８】記憶制御装置の記憶階層構造を模式的に示す説明図である。
【図９】マッピングテーブルを示す説明図である。
【図１０】構成管理テーブル及びデバイス状態管理テーブル等を示す説明図である。
【図１１】アクセス履歴管理テーブルを示す説明図である。
【図１２】スケジュール管理テーブル等を示す説明図である。
【図１３】ローカルコピーペアを管理するテーブルを示す説明図である。
【図１４】サイト間のコピーペアを管理するテーブルを示す説明図である。
【図１５】サイト間の回線状況を管理するテーブルを示す説明図である。
【図１６】ユーザの要求条件を管理するテーブルを示す説明図である。
【図１７】各サイトの電力料金を管理するテーブルを示す説明図である。
【図１８】電力料金の変化とデータの格納先の変化との関係を模式的に示す説明図である。
【図１９】スケジュール生成処理を示すフローチャートである。
【図２０】ディスクドライブからフラッシュメモリデバイスにデータを事前にコピーさせる処理を示すフローチャートである。
【図２１】ライト処理を示すフローチャートである。
【図２２】差分コピー処理を示すフローチャートである。
【図２３】リード処理を示すフローチャートである。
【図２４】ローカルコピーペアによるデータ移行の処理を示すフローチャートである。
【図２５】サイト間に設定されるリモートコピーペアの様子を示す説明図である。
【図２６】ローカルコピーの後でリモートコピーを行う処理を示すフローチャートである。
【図２７】サイト内及びサイト間でのコピー処理の様子を段階的に示す説明図である。
【図２８】図２７に続く説明図である。
【図２９】リモートコピーペアの変形例を示す説明図である。
【図３０】第２実施例に係るストレージシステムで実行される、コピー処理を示すフローチャートである。
【図３１】図３０中のＳ１２０の詳細を示すフローチャートである。
【図３２】複数の候補ボリュームの中から１つのボリュームを選択して、ローカルコピーを行う様子を示す説明図である。
【図３３】第３実施例に係るストレージシステムで実行される、コピー処理を示すフローチャートである。
【図３４】図３３中のＳ１３０の詳細を示すフローチャートである。
【図３５】複数の候補ボリュームの中から１つのボリュームを選択して、リモートコピーを行う様子を示す説明図である。
【図３６】複数の判断指標に基づいて、各候補ボリュームのメリットを数値化し、最もメリットの大きい候補ボリュームを選択する様子を示す説明図である。
【図３７】第４実施例に係るストレージシステムの全体構成を模式的に示す説明図である。
【図３８】複数のサイト間に構成されるクラスタを管理するテーブルを示す説明図である。
【図３９】移行元サイトから移行先サイトにボリュームデータ及び業務処理サービスを移す処理を示すフローチャートである。
【図４０】アプリケーションプログラム、ファイルシステム及びボリュームの停止順序及び起動順序を示す説明図である。
【図４１】第５実施例に係るストレージシステムで実行される、データの格納先を決定する処理を示すフローチャートである。
【図４２】第６実施例に係るストレージシステムで使用されるフラッシュメモリ制御部の構成を示す説明図である。
【図４３】第７実施例に係るストレージシステムで使用されるフラッシュメモリ制御部の構成を示す説明図である。
【図４４】第８実施例に係るストレージシステムで実行される、ディスクドライブからフラッシュメモリデバイスにデータを事前にコピーさせる処理を示すフローチャートである。
【符号の説明】
【０２９５】
１Ａ，１Ｂ：各記憶制御装置、２Ａ，２Ｂ：ホスト、３：管理装置、３Ａ：スケジュール管理部、４：ユーザ端末、５Ａ，５Ｂ：ハードディスクドライブ、６Ａ，６Ｂ：フラッシュメモリデバイス、７Ａ，７Ｂ：コントローラ、ＳＴ１〜ＳＴ４：サイト、１０：記憶制御装置、１１：論理ボリューム、１２：中間デバイス（ＶＤＥＶ）、２０：ホスト、２１：仮想ホスト、２３：アプリケーションプログラム、３０：管理サーバ、４０：外部記憶制御装置、４１：コントローラ、４２：ハードディスク搭載部、４３：フラッシュメモリデバイス搭載部、５０：ユーザ端末、１００：コントローラ（ＤＫＣ）、１１０：チャネルアダプタ（ＣＨＡ）、１２０：ＦＭ制御部（フラッシュメモリデバイス）、１２８：フラッシュメモリデバイス、１３０：ディスクアダプタ、１４０：サービスプロセッサ、１５０：キャッシュメモリ、１６０：制御メモリ、１７０：相互結合部、２００：ハードディスク搭載部、２１０：ディスクドライブ、２２０：論理デバイス（ＬＤＥＶ）、１０００：クラスタ。
【図１】
2009134367.tif 000003
【図２】
2009134367.tif 000004
【図３】
2009134367.tif 000005
【図４】
2009134367.tif 000006
【図５】
2009134367.tif 000007
【図６】
2009134367.tif 000008
【図７】
2009134367.tif 000009
【図８】
2009134367.tif 000010
【図９】
2009134367.tif 000011
【図１０】
2009134367.tif 000012
【図１１】
2009134367.tif 000013
【図１２】
2009134367.tif 000014
【図１３】
2009134367.tif 000015
【図１４】
2009134367.tif 000016
【図１５】
2009134367.tif 000017
【図１６】
2009134367.tif 000018
【図１７】
2009134367.tif 000019
【図１８】
2009134367.tif 000020
【図１９】
2009134367.tif 000021
【図２０】
2009134367.tif 000022
【図２１】
2009134367.tif 000023
【図２２】
2009134367.tif 000024
【図２３】
2009134367.tif 000025
【図２４】
2009134367.tif 000026
【図２５】
2009134367.tif 000027
【図２６】
2009134367.tif 000028
【図２７】
2009134367.tif 000029
【図２８】
2009134367.tif 000030
【図２９】
2009134367.tif 000031
【図３０】
2009134367.tif 000032
【図３１】
2009134367.tif 000033
【図３２】
2009134367.tif 000034
【図３３】
2009134367.tif 000035
【図３４】
2009134367.tif 000036
【図３５】
2009134367.tif 000037
【図３６】
2009134367.tif 000038
【図３７】
2009134367.tif 000039
【図３８】
2009134367.tif 000040
【図３９】
2009134367.tif 000041
【図４０】
2009134367.tif 000042
【図４１】
2009134367.tif 000043
【図４２】
2009134367.tif 000044
【図４３】
2009134367.tif 000045
【図４４】
2009134367.tif 000046