(57)【要約】【課題】本発明は、論理ボリュームの容量を効率よく活用し得るストレージ装置を提案する。【解決手段】論理ボリュームに対する外部のストレージ装置の第２の動的記憶領域割当てボリュームのマッピングを管理すると共に、第２の動的記憶領域割当てボリュームにおける、ホスト装置から送信されるデータを格納するための記憶領域の管理単位を合わせて管理する管理部と、外部からの指示により第１の動的記憶領域割当てボリュームを作成する際に、第２の動的記憶領域割当てボリュームの記憶領域の管理単位に基づいて、第１の動的記憶領域割当てボリュームの管理単位を設定し、第１の動的記憶領域割当てボリュームを作成する第１の動的記憶領域割当てボリューム作成部と、ホスト装置の指示により、送信されたライトデータを該当する第２の動的記憶領域割当てボリュームの記憶領域に書き込むライトデータ書込み部とを備える。【選択図】図７
2009181265.tif 000002
【特許請求の範囲】
【請求項１】
論理ボリュームを割り当てることにより動的に拡張可能な第１の動的記憶領域割当てボリュームに基づいて、ホスト装置に対してライトデータを書き込む書込み領域を提供するストレージ装置であって、
前記論理ボリュームに対する外部のストレージ装置の第２の動的記憶領域割当てボリュームのマッピングを管理すると共に、前記第２の動的記憶領域割当てボリュームにおける、前記ホスト装置から送信されるデータを格納するための記憶領域の管理単位を合わせて管理する管理部と、
外部からの指示により前記第１の動的記憶領域割当てボリュームを作成する際に、前記第２の動的記憶領域割当てボリュームの記憶領域の管理単位に基づいて、前記第１の動的記憶領域割当てボリュームの管理単位を設定し、前記第１の動的記憶領域割当てボリュームを作成する第１の動的記憶領域割当てボリューム作成部と、
前記ホスト装置の指示により、送信された前記ライトデータを該当する第２の動的記憶領域割当てボリュームの記憶領域に書き込むライトデータ書込み部と
を備えることに特徴とするストレージ装置。
【請求項２】
前記第１の動的記憶領域割当てボリューム作成部は、
前記第２の動的記憶領域割当てボリュームの記憶領域の管理単位及び当該管理単位に対して割り切れる管理単位の値を提示して、外部からの選択により、前記第１の動的記憶領域割当てボリュームの管理単位を設定し、前記第１の動的記憶領域割当てボリュームを作成する
ことを特徴とする請求項１に記載のストレージ装置。
【請求項３】
前記ライトデータ書込み部は、
ライト対象の第１の動的記憶領域割当てボリュームの管理単位の領域に前記第２の動的記憶領域割当てボリュームの記憶領域が割り当てられていない場合には、前記ライト対象の第１の動的記憶領域割当てボリュームの管理単位の領域に前記第２の動的記憶領域割当てボリュームの記憶領域を割り当てて、当該記憶領域に前記ライトデータを書き込む
ことを特徴とする請求項２に記載のストレージ装置。
【請求項４】
前記ライトデータ書込み部は、
ライト対象の第１の動的記憶領域割当てボリュームの管理単位の領域が、当該管理単位の領域の終端位置でない場合には、ライトデータを蓄積し、当該管理単位の領域の終端位置である場合には、蓄積したライトデータと共に、前記第２の動的記憶領域割当てボリュームの記憶領域に書き込む
ことを特徴とする請求項１に記載のストレージ装置。
【請求項５】
前記ライトデータ書込み部は、
前記ライトデータがシーケンシャルライトデータである場合には、ライト対象の第１の動的記憶領域割当てボリュームの管理単位の領域に対して、当該シーケンシャルライトデータに対応する分の前記第２の動的記憶領域割当てボリュームの記憶領域を、事前にライト対象の第１の動的記憶領域割当てボリュームの管理単位の領域に割り当てて、当該記憶領域に前記シーケンシャルライトデータを書き込む
ことを特徴とする請求項１に記載のストレージ装置。
【請求項６】
論理ボリュームを割り当てることにより動的に拡張可能な第１の動的記憶領域割当てボリュームに基づいて、ホスト装置に対してライトデータを書き込む書込み領域を提供するストレージ装置のライトデータ書込み方法であって、
前記論理ボリュームに対する外部のストレージ装置の第２の動的記憶領域割当てボリュームのマッピングを管理すると共に、前記第２の動的記憶領域割当てボリュームにおける、前記ホスト装置から送信されるデータを格納するための記憶領域の管理単位を合わせて管理する第１のステップと、
外部からの指示により前記第１の動的記憶領域割当てボリュームを作成する際に、前記第２の動的記憶領域割当てボリュームの記憶領域の管理単位に基づいて、前記第１の動的記憶領域割当てボリュームの管理単位を設定し、前記第１の動的記憶領域割当てボリュームを作成する第２のステップと、
前記ホスト装置の指示により、送信された前記ライトデータを該当する第２の動的記憶領域割当てボリュームの記憶領域に書き込む第３のステップと
を備えることに特徴とするライトデータ書込み方法。
【請求項７】
前記第２のステップでは、
前記第２の動的記憶領域割当てボリュームの記憶領域の管理単位及び当該管理単位に対して割り切れる管理単位の値を提示して、外部からの選択により、前記第１の動的記憶領域割当てボリュームの管理単位を設定し、前記第１の動的記憶領域割当てボリュームを作成する
ことを特徴とする請求項６に記載のライトデータ書込み方法。
【請求項８】
前記第３のステップでは、
ライト対象の第１の動的記憶領域割当てボリュームの管理単位の領域に前記第２の動的記憶領域割当てボリュームの記憶領域が割り当てられていない場合には、前記ライト対象の第１の動的記憶領域割当てボリュームの管理単位の領域に前記第２の動的記憶領域割当てボリュームの記憶領域を割り当てて、当該記憶領域に前記ライトデータを書き込む
ことを特徴とする請求項７に記載のライトデータ書込み方法。
【請求項９】
前記第３のステップでは、
ライト対象の第１の動的記憶領域割当てボリュームの管理単位の領域が、当該管理単位の領域の終端位置でない場合には、ライトデータを蓄積し、当該管理単位の領域の終端位置である場合には、蓄積したライトデータと共に、前記第２の動的記憶領域割当てボリュームの記憶領域に書き込む
ことを特徴とする請求項６に記載のライトデータ書込み方法。
【請求項１０】
前記第３のステップでは、
前記ライトデータがシーケンシャルライトデータである場合には、ライト対象の第１の動的記憶領域割当てボリュームの管理単位の領域に対して、当該シーケンシャルライトデータに対応する分の前記第２の動的記憶領域割当てボリュームの記憶領域を、事前にライト対象の第１の動的記憶領域割当てボリュームの管理単位の領域に割り当てて、当該記憶領域に前記シーケンシャルライトデータを書き込む
ことを特徴とする請求項６に記載のライトデータ書込み方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストレージ装置及びライトデータ書込み方法に関し、例えば、データを格納するボリュームの記憶領域を動的に割当てる機能を有するストレージシステムに適用して好適なものである。
【背景技術】
【０００２】
従来、データを格納するボリュームの記憶領域を動的に割当てる記憶領域動的割当て機能を有するストレージシステムが知られており、これに関する種々の技術が提案されている。
【０００３】
例えば、特許文献１では、導入初期から物理ディスクをホスト計算機に提供する全容量分準備せずに、ディスク使用量が容量上限に近づいたときに、必要に応じ物理ディスクを追加し、ホスト計算機に提供する記憶容量を動的に変化させる。
【０００４】
この技術は、前記のストレージシステムにおいて、プール領域から固定容量の論理ボリュームを作成せずに、まずホスト計算機に仮想的な論理ボリュームを提供する。そして、ホスト計算機からのＩ／Ｏ（Input/Output）に応じて、その仮想的な論理ボリュームに対して、ある単位で記憶領域を、物理リソースであるプール領域から動的に割り当てることで動的な容量拡張を実現する。
【０００５】
一方、上位となるストレージ装置と外部のストレージ装置とを接続して、外部のストレージ装置をマッピングして内部記憶デバイスとして使用するバーチャライゼーション機能を有するストレージシステムも知られており、これに関しても種々の技術が提案されている。
【０００６】
例えば、特許文献２では、上位ストレージ装置自身が提供する記憶領域と、当該上位ストレージ装置に接続された内部記憶デバイスとして使用される外部のストレージ装置がそれぞれ提供する記憶領域とが上位ストレージ装置によって一括して管理され、ホスト計算機からのデータ入出力要求を上位ストレージ装置により対応する外部のストレージ装置に振り分けることで、対応するデータの読み書きを行う。
【特許文献１】特開２００３-０１５９１５号公報
【特許文献２】特開２００７-１０２４３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、外部のストレージ装置が上述の記憶領域動的割当て機能を有するストレージ装置である場合にも、上位ストレージ装置は、外部ストレージ装置の記憶領域動的割当て機能について考慮することなく、内部記憶デバイスにデータの書込みを行う。
【０００８】
このため、内部記憶デバイスには、書き込まれるデータに対して大きいサイズの記憶領域が割り当てられることがあり、この結果、内部記憶デバイスに割り当てる記録領域に、使用しない無駄な領域が生じ、効率よく記憶領域を割り当てることができないという問題がある。
【０００９】
本発明は以上の点を考慮してなされたもので、記憶領域を効率よく活用し得るストレージ装置及びライトデータ書込み方法を提案するものである。
【課題を解決するための手段】
【００１０】
かかる課題を解決するために本発明においては、論理ボリュームを割り当てることにより動的に拡張可能な第１の動的記憶領域割当てボリュームに基づいて、ホスト装置に対してライトデータを書き込む書込み領域を提供するストレージ装置であって、論理ボリュームに対する外部のストレージ装置の第２の動的記憶領域割当てボリュームのマッピングを管理すると共に、第２の動的記憶領域割当てボリュームにおける、ホスト装置から送信されるデータを格納するための記憶領域の管理単位を合わせて管理する管理部と、外部からの指示により第１の動的記憶領域割当てボリュームを作成する際に、第２の動的記憶領域割当てボリュームの記憶領域の管理単位に基づいて、第１の動的記憶領域割当てボリュームの管理単位を設定し、第１の動的記憶領域割当てボリュームを作成する第１の動的記憶領域割当てボリューム作成部と、ホスト装置の指示により、送信されたライトデータを該当する第２の動的記憶領域割当てボリュームの記憶領域に書き込むライトデータ書込み部とを備える。
【００１１】
また、本発明においては、論理ボリュームを割り当てることにより動的に拡張可能な第１の動的記憶領域割当てボリュームに基づいて、ホスト装置に対してライトデータを書き込む書込み領域を提供するストレージ装置のライトデータ書込み方法であって、論理ボリュームに対する外部のストレージ装置の第２の動的記憶領域割当てボリュームのマッピングを管理すると共に、第２の動的記憶領域割当てボリュームにおける、ホスト装置から送信されるデータを格納するための記憶領域の管理単位を合わせて管理する第１のステップと、外部からの指示により第１の動的記憶領域割当てボリュームを作成する際に、第２の動的記憶領域割当てボリュームの記憶領域の管理単位に基づいて、第１の動的記憶領域割当てボリュームの管理単位を設定し、第１の動的記憶領域割当てボリュームを作成する第２のステップと、ホスト装置の指示により、送信されたライトデータを該当する第２の動的記憶領域割当てボリュームの記憶領域に書き込む第３のステップとを備える。
【００１２】
従って、外部のストレージ装置の第２の動的記憶領域割当てボリュームの管理単位について考慮して、第１の動的記憶領域割当てボリュームにライトデータの書込みを行うため、第１の動的記憶領域割当てボリュームに割り当てられる外部のストレージ装置の第２の動的記憶領域割当てボリュームの記憶領域に、使用しない無駄な領域が生じることを未然かつ有効に防止することができる。
【発明の効果】
【００１３】
本発明によれば、記憶領域を効率よく活用し得るストレージ装置及びライトデータ書込み方法を実現できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施の形態を、図面を参照して詳細に説明する。なお、これにより本発明が限定されるものではない。
【００１５】
図１は、本実施の形態による記憶システム１の要部の構成を示すブロック図である。
【００１６】
ホスト装置２は、例えば、ＣＰＵ（Central Processing Unit）やメモリ等の情報処理資源を備えたコンピュータ装置であり、例えば、パーソナルコンピュータ、ワークステーション、メインフレーム等として構成される。ホスト装置２は、例えば、キーボードスイッチやポインティングデバイス、マイクロフォン等の情報入力装置（図示せず）と、例えば、モニタディスプレイやスピーカー等の情報出力装置（図示せず）とを備えている。さらに、ホスト装置２には、例えば、第１の記憶制御装置３が提供する記憶領域を使用するデータベースソフトウェア等のアプリケーションプログラム１１と、第１の通信ネットワーク７を介して第１の記憶制御装置３にアクセスするためのアダプタ１２とが設けられている。
【００１７】
ホスト装置２は、第１の通信ネットワーク７を介して、第１の記憶制御装置３に接続されている。第１の通信ネットワーク７としては、例えば、ＬＡＮ、ＳＡＮ、インターネット、専用回線、公衆回線等を場合に応じて適宜用いることができる。ＬＡＮを介するデータ通信は、例えば、TCP/IP（Transmission Control Protocol/Internet Protocol）プロトコルに従って行われる。ホスト装置２がＬＡＮを介して第１の記憶制御装置３に接続される場合、ホスト装置２は、ファイル名を指定してファイル単位でのデータ入出力を要求する。一方、ホスト装置２がＳＡＮを介して第１の記憶制御装置３等に接続される場合、ホスト装置２は、ファイバチャネルプロトコルに従って、複数のディスク記憶装置（ディスクドライブ）により提供される記憶領域のデータ管理単位であるブロックを単位としてデータ入出力を要求する。第１の通信ネットワーク７がＬＡＮである場合、アダプタ１２は、例えばＬＡＮ対応のネットワークカードである。第１の通信ネットワーク７がＳＡＮの場合、アダプタ１２は、例えばホストバスアダプタである。
【００１８】
なお、図中では、ホスト装置２は、第１の通信ネットワーク７を介して第１の記憶制御装置３のみに接続されているが、ホスト装置２と第２の記憶制御装置４とを第２の通信ネットワーク８を介して接続してもよい。第２の通信ネットワーク８は、例えば、ＳＡＮ、ＬＡＮ、インターネット、専用回線、公衆回線等から構成できる。
【００１９】
第１の記憶制御装置３は、例えば、ディスクアレイサブシステムとして構成されるものである。但し、これに限らず、第１の記憶制御装置３を、高機能化されたインテリジェント型のファイバチャネルスイッチとして構成することもできる。第１の記憶制御装置３は、後述のように、第２の記憶制御装置４の有する記憶資源を自己の論理ボリューム（Logical Unit）としてホスト装置２に提供するものであるから、自己が直接支配するローカルな記憶デバイスを有している必要はない。
【００２０】
第１の記憶制御装置３は、コントローラ部５と記憶部６とに大別することができ、コントローラ部５は、例えば、複数のチャネルアダプタ（ＣＨＡ）２１と、複数のディスクアダプタ（ＤＫＡ）２２と、コントロールユニット（ＣＵ）２３と、キャッシュメモリ２４と、共有メモリ２５と、接続部２６とを備えている。
【００２１】
各チャネルアダプタ２１は、ホスト装置２との間のデータ通信を行うものである。各チャネルアダプタ２１は、ホスト装置２と通信を行うための通信ポート２１Ａを備えている。また、各チャネルアダプタ２１は、それぞれＣＰＵやメモリ等を備えたマイクロコンピュータシステムとして構成されており、ホスト装置２から受信した各種コマンドを解釈して実行する。各チャネルアダプタ２１には、それぞれを識別するためのネットワークアドレス（例えば、ＩＰアドレスやＷＷＮ）が割り当てられており、各チャネルアダプタ２１は、それぞれが個別にＮＡＳ（Network Attached Storage）として振る舞うことができるようになっている。複数のホスト装置２が存在する場合、各チャネルアダプタ２１は、各ホスト装置２からの要求をそれぞれ個別に受け付けることができる。
【００２２】
各ディスクアダプタ２２は、記憶部６の記憶デバイス３１、３２との間のデータ授受を行うものである。各ディスクアダプタ２２は、記憶デバイス３１、３２に接続するための通信ポート２２Ａを備えている。また、各ディスクアダプタ２２は、ＣＰＵやメモリ等を備えたマイクロコンピュータシステムとして構成されている。各ディスクアダプタ２２は、チャネルアダプタ２１がホスト装置２から受信したデータを、ホスト装置２からのリクエストに基づいて（書込み命令）、所定の記憶デバイス３１、３２の所定のアドレスに書込み、また、ホスト装置２からのリクエストに基づいて（読み出し命令）、所定の記憶デバイス３１、３２の所定のアドレスからデータを読み出し、ホスト装置２に送信させる。記憶デバイス３１，３２との間でデータ入出力を行う場合、各ディスクアダプタ２２は、論理的なアドレスを物理的なアドレスに変換する。各ディスクアダプタ２２は、記憶デバイス３１，３２がＲＡＩＤ（Redundant Array of Inexpensive Disks）に従って管理されている場合は、ＲＡＩＤ構成に応じたデータアクセスを行う。
【００２３】
コントロールユニット２３は、装置全体の作動を制御するものである。コントロールユニット２３には、例えば、管理用のコンソール（図示せず）が接続される。コントロールユニット２３は、装置内の障害発生を監視してコンソールに表示させたり、コンソールからの指令に基づいて記憶ディスクの閉塞処理等を指示するようになっている。
【００２４】
キャッシュメモリ２４は、ホスト装置２から受信したデータや、記憶デバイス３１、３２から読み出したデータを一時的に記憶するものである。共有メモリ２５には、制御情報等が格納される。また、共有メモリ２５には、ワーク領域が設定されるほか、後述するＥＤＥＶ管理テーブル７４等の各種テーブル類や各種プログラムも格納される。なお、記憶デバイス３１、３２のいずれか１つあるいは複数を、キャッシュ用のディスクとして使用してもよい。
【００２５】
接続部２６は、各チャネルアダプタ２１、各ディスクアダプタ２２、コントロールユニット２３、キャッシュメモリ２４、共有メモリ２５を相互に接続させる。接続部２６は、例えば、高速スイッチング動作によってデータ伝送を行う超高速クロスバスイッチ等のような高速バスとして構成することができる。
【００２６】
記憶部６は、複数の記憶デバイス３１を備えている。記憶デバイス３１としては、例えば、ハードディスク、フレキシブルディスク、磁気テープ、半導体メモリ、光ディスク等のようなデバイスを用いることができる。記憶部６内に点線で示される記憶デバイス３２は、第２の記憶制御装置４の有する記憶デバイス４２を第１の記憶制御装置３側に取り込んだ状態を示すものである。即ち、本実施例では、第１の記憶制御装置３から見て外部に存在する記憶デバイス４２を、第１の記憶制御装置３の内部記憶デバイス（記憶デバイス３２）として認識し、ホスト装置２に外部記憶デバイス４２の記憶資源を提供する。
【００２７】
第２の記憶制御装置４は、通信ポート４１と記憶デバイス４２とを備えている。このほか、チャネルアダプタやディスクアダプタ等を備えることもできるが、第２の記憶制御装置４の詳細な構造は、本発明の要旨ではないので説明を割愛する。なお、第２の記憶制御装置４は、上述の第１の記憶制御装置３と同様の構成にするようにしても良い。第２の記憶制御装置４は、通信ネットワーク８を介して第１の記憶制御装置３に接続されており、第２の記憶制御装置４の記憶デバイス４２は、第１の記憶制御装置３の内部記憶デバイスとして扱われるようになっている。
【００２８】
図２は、第１の記憶制御装置３の記憶デバイス３２及び第２の記憶制御装置４の記憶デバイス４２の１つの論理的な概略構造（バーチャライゼーション機能）を示す模式図である。図２に示すように、第１の記憶制御装置３は、下層側から順番に、ＥＤＥＶ５２、ＶＤＥＶ５３と、ＬＤＥＶ５４、ＬＵＮ５５とからなる４層の記憶階層を有している。また、第２の記憶制御装置４は、論理ボリュームであるＬＤＥＶ（以下、外部ＬＤＥＶと呼ぶ。）５１を有している。
【００２９】
外部ＬＤＥＶ５１は、第２の記憶制御装置４の記憶デバイス４２を仮想化したものであり、ＲＡＩＤ構成を適用することもできる。即ち、１つの記憶デバイス４２から複数のＶＤＥＶ５１を形成することもできるし（スライシング）、複数の記憶デバイス３１から１つのＶＤＥＶ５１を形成することもできる（ストライピング）。
【００３０】
また、外部ＬＤＥＶ５１は、複数の経路を備えた交代パス構成を有している。即ち、各記憶デバイス４２の上には、外部ＬＤＥＶ５１が構築されており、この外部ＬＤＥＶ５１には、２つの経路（アクセスデータパス）を介してそれぞれアクセスすることができる。一方の経路は、第１の通信ポート４１ＡからＬＵＮ４３Ａを介して外部ＬＤＥＶ５１に到達し、他方の経路は、第２の通信ポート４１Ｂから別のＬＵＮ４３Ｂを介して外部ＬＤＥＶ５１に到達する。従って、仮にいずれか一方の経路が障害等で使用不能な場合でも、他方の経路を介して外部ＬＤＥＶ５１にアクセスすることができる。複数の経路からそれぞれアクセス可能な場合、一方の経路からデータを利用中に、他方の経路からアクセスしてデータを更新等することがないように、必要なデータ保護等が行われる。
【００３１】
なお、本実施の形態では、詳細については本発明の要旨ではないので説明を割愛するが、本発明はこれに限らず、ＬＤＥＶ５１と記憶デバイス４２との間に種々の中間記憶階層を有することもできる。また、外部ＬＤＥＶ５１は、動的記憶領域割当てボリュームである（後述）。
【００３２】
ＥＤＥＶ５２は、第１の記憶制御装置３の論理的な記憶階層の最下位に位置する仮想デバイス（Virtual Device）である。ＥＤＥＶ５２は、外部ＬＤＥＶ５１を仮想化することにより構成されている。即ち、本実施の形態では、第２の記憶制御装置４の１又は複数の記憶デバイス４２により提供される論理ボリューム（外部ＬＤＥＶ５１）を、後述のＥＤＥＶ管理テーブル７４を用いてＥＤＥＶ５２にマッピングすることにより、第１の記憶制御装置３の内部ボリュームとして使用できるようになっている。なお、ＥＤＥＶ５２は、第１の記憶制御装置３の記憶デバイス３１を仮想化することにより構成することもできるが、詳細については本発明の要旨ではないので説明を割愛する。
【００３３】
ＥＤＥＶ５２の上には、ＶＤＥＶ５３が設けられている。ＶＤＥＶ５３は、第１の記憶制御装置３の論理的な記憶階層の中間に位置する仮想デバイスである。ＶＤＥＶ５３は、ＥＤＥＶ５２を仮想化することにより構成されている。即ち、本実施の形態では、１又は複数のＥＤＥＶ５２を、後述のＶＤＥＶ管理テーブル７２及びページ管理テーブル７３を用いてＶＤＥＶ５３にマッピングすることにより、論理ボリュームとして使用できるようになっている。また、ＶＤＥＶ５３は、動的記憶領域割当てボリュームである（後述）。
【００３４】
ＶＤＥＶ５３の上には、ＬＤＥＶ５４が設けられている。ＬＤＥＶ５４は、仮想デバイス（ＶＤＥＶ５３）を仮想化した論理デバイス（論理ボリューム）である。１つのＶＤＥＶ５３から２つのＬＤＥＶ５４に接続することもできるし、複数のＶＤＥＶ５３から１つのＬＤＥＶ５４に接続することもできる。ＬＤＥＶ５４には、それぞれのＬＵＮ５５を介してアクセスすることができる。このように、本実施の形態では、ＬＵＮ５５と記憶デバイス４２との間に位置する中間記憶階層（外部ＬＤＥＶ５１、ＥＤＥＶ５２、ＶＤＥＶ５３、ＬＤＥＶ５４）に記憶デバイス４２を接続することにより、外部の記憶デバイス４２を第１の記憶制御装置３の内部ボリュームの１つとして利用できるようにしている。なお、本発明では、これに限らず動的記憶領域割当てボリュームをホスト装置２に提供するようにしても良い。
【００３５】
なお、図２に示す例では、第１の記憶制御装置３は、第２の記憶制御装置４の記憶資源（外部ＬＤＥＶ５１）を自己のＥＤＥＶ５２にマッピングすることにより、外部ＬＤＥＶ５１を内部のＬＤＥＶ５４として利用している。また、複数のＬＤＥＶ５４を１つのＶＤＥＶ５３上に設定すると共に、１つのＶＤＥＶ５３を１つのＥＤＥＶ５２上に設定し、このＥＤＥＶ５２には外部ＬＤＥＶ５１が複数の経路を介してマッピングされている。ホスト装置２は、ＬＵＮ５５のみを認識しており（結果的にＬＤＥＶ５４まで認識しており）、ＬＵＮ５５よりも下の構造は、ホスト装置２に対して隠されている。複数のＬＤＥＶ５４は、それぞれ同一のＶＤＥＶ５３及びＥＤＥＶ５２を利用し、このＥＤＥＶ５２は複数の経路を介して同一の外部ＬＤＥＶ５１に接続されている。従って、図２に示す例では、第２の記憶制御装置４の有する交代パス構造を利用して、第１の記憶制御装置３の冗長性を高めることができる。
【００３６】
図３は、第１の記憶制御装置３のＬＤＥＶ５２の１つの論理的な概略構造（記憶領域動的割当て機能）を示す模式図である。図５に示すように、第１の記憶制御装置３は、ホスト装置２がアクセスする仮想的な論理ボリューム（仮想ボリューム）であるＬＤＥＶ５４と、当該ＬＤＥＶ５４とのマッピングに使用される仮想ボリューム（動的記憶領域割当てボリューム）であるＶＤＥＶ５３と、当該ＶＤＥＶ５３とのマッピングに使用され、ＬＢＡ（Logical Block Address）順に関係なくデータを格納する実ボリューム（実際には、外部ＬＤＥＶ５１がマッピングされているので、仮想ボリュームとなる。）であるＥＤＥＶ５２とを有している。また、１又は複数のＥＤＥＶ５２によりストレージプール５６が形成される。
【００３７】
また、第２の記憶制御装置４は、ＥＤＥＶ５２とのマッピングに使用される仮想ボリューム（動的記憶領域割当てボリューム）である外部ＬＤＥＶ５１を有している。
【００３８】
動的記憶領域割当てボリュームであるＶＤＥＶ５３の記憶領域（仮想記憶領域）は、ＥＤＥＶ５２の記憶領域（論理記憶領域）と関連付けられている。また、ＥＤＥＶ５２の論理記憶領域は、動的記憶領域割当てボリュームである外部ＬＤＥＶ５１の記憶領域（仮想記憶領域）と関連付けられている。そして、動的記憶領域割当てボリュームである外部ＬＤＥＶ５１の仮想記憶領域は、第２の記憶制御装置４の記憶デバイス４２の記憶領域である実際にデータを格納する実記憶領域と関連付けられている（後述）。これにより、記憶システム１では、ホスト装置２に対してＬＤＥＶ５４を提供して、ホスト装置２から送信されるデータを第２の記憶制御装置４の記憶デバイス４２の実記憶領域に格納することができる。
【００３９】
動的記憶領域割当てボリュームであるＶＤＥＶ５３は、ストレージプール５６が割り当てられる領域が、所定の領域（スロット）ごとに区切って管理されており、ストレージプール５６が割り当てられたストレージプール割当て済領域及びストレージプール５６が割り当てられていないストレージプール未割当て領域から構成されている。動的記憶領域割当てボリュームであるＶＤＥＶ５３には、ホスト装置２からライト要求が受信されると、ストレージプール５６のＥＤＥＶ５２に関連付けられている外部ＬＤＥＶ５１の仮想記憶領域（記憶デバイス４２の記憶領域である実際にデータを格納する実記憶領域）が、動的に割当てられることにより、記憶領域が提供される。
【００４０】
ストレージプール５６には、当該ストレージプール５６のＥＤＥＶ５２に関連付けられている外部ＬＤＥＶ５１の仮想記憶領域（記憶デバイス４２の記憶領域である実際にデータを格納する実記憶領域）に、ＬＢＡ順に関係なくホスト装置２から送信された順に、ホスト装置２から送信されたデータが格納される。
【００４１】
また、ストレージプール５６では、当該ストレージプール５６の記憶領域を所定の領域（ページ）ごとに区切って管理するための管理単位であるページサイズで、ホスト装置２から送信されたデータが管理される。この場合、ストレージプール５６では、当該ストレージプール５６ごとに個別にページサイズの値を設定することができるようになされており、当該ページ（スロット）ごとにＶＤＥＶ５３に割り当てられるようになされている。
【００４２】
動的記憶領域割当てボリュームである外部ＬＤＥＶ５１は、記憶デバイス４２の記憶領域である実際にデータを格納する実記憶領域が割り当てられたストレージプール割当て済領域及び当該実記憶領域が割り当てられていない未割当て領域から構成されている。動的記憶領域割当てボリュームである外部ＬＤＥＶ５１には、第１の記憶制御装置３からのライト指示により、ストレージプール５６のＥＤＥＶ５２に関連付けられている外部ＬＤＥＶ５１の仮想記憶領域（記憶デバイス４２の記憶領域である実際にデータを格納する実記憶領域）が、動的に割当てられることにより、記憶領域が提供される。
【００４３】
外部ＬＤＥＶ５１には、当該外部ＬＤＥＶ５１に関連付けられている記憶デバイス４２の記憶領域である実際にデータを格納する実記憶領域に、ＬＢＡ順に関係なくホスト装置２から送信された順に、ホスト装置２から送信されたデータが格納される。
【００４４】
また、外部ＬＤＥＶ５１では、当該外部ＬＤＥＶ５１の記憶領域を所定の領域（ページ）ごとに区切って管理するための管理単位であるページサイズで、ホスト装置２から送信されたデータが管理される。この場合、外部ＬＤＥＶ５１では、当該外部ＬＤＥＶ５１ごとに個別にページサイズの値を設定することができるようになされている。
【００４５】
図４は、共有メモリ２５に格納されているプログラム及び各種テーブルの一例を示している。共有メモリ２５は、制御プログラム７１、ＶＤＥＶ管理テーブル７２、ページ管理テーブル７３及びＥＤＥＶ管理テーブル７４を備えて構成される。なお、制御プログラム７１は、第１の記憶制御装置３全体を制御するためのプログラムであり、詳細については後述する。
【００４６】
図５は、ＶＤＥＶ管理テーブル７２の構成を示している。ＶＤＥＶ管理テーブル７２は、ストレージプール５６のＥＤＥＶ５２のページをＶＤＥＶ５２にマッピングするためのテーブルである。ＶＤＥＶ管理テーブル７２は、ＶＤＥＶ５３を一意に識別するためのＶＤＥＶ番号を管理するＶＤＥＶ番号欄７２Ａ、ＶＤＥＶ５３のスロットを一意に識別するためのスロット番号を管理するスロット番号欄７２Ｂ、ＶＤＥＶ５３のスロットに割り当てられたストレージプール５６のＥＤＥＶ５２のページを一意に識別するためのページ番号を管理するページ番号欄７２Ｃ及び当該ページ先頭からのオフセット位置情報を管理するページ先頭からのオフセット位置情報欄７２Ｄから構成されている。
【００４７】
図６は、ページ管理テーブル７３の構成を示している。ページ管理テーブル７３は、ストレージプール５６のＥＤＥＶ５２のページがＶＤＥＶ５３のスロットに割り当てられている否かを管理するテーブルである。ページ管理テーブル７３は、ストレージプール５６のＥＤＥＶ５２のページを一意に識別するためのページ番号を管理するページ番号欄７３Ａ、当該ページがＶＤＥＶ５３のスロットに割り当てられている否かの判定情報を管理する割当て判定情報欄７３Ｂ、当該ページの記憶領域を有するＥＤＥＶ５２を一意に識別するためのＥＤＥＶ番号を管理するＥＤＥＶ番号欄７３Ｃ及び当該ＥＤＥＶ５２先頭からのオフセット位置情報を管理するＥＤＥＶ先頭からのオフセット位置情報欄７３Ｄから構成されている。
【００４８】
図７は、ＥＤＥＶ管理テーブル７４の構成を示している。ＥＤＥＶ管理テーブル７４は、第２のストレージ装置４の外部ＬＤＥＶ５１を、ＥＤＥＶ５２にマッピングするためのテーブルである。ＥＤＥＶ管理テーブル７４は、ＥＤＥＶ番号欄７４Ａ及び第２のストレージ装置４の外部ＬＤＥＶ５１等の外部デバイスの情報を管理する外部デバイス情報欄から構成されている。
【００４９】
また、外部デバイス情報欄は、外部デバイスの識別情報を管理するデバイス識別情報欄７４Ｂ、動的記憶領域割当てボリュームである外部デバイスに割り当てられる記憶デバイス４２のページサイズを管理するページサイズ欄７４Ｃ、外部デバイスの記憶容量を管理する容量欄７４Ｄ、外部デバイスのデバイス種別（例えば、テープ系デバイスかディスク系デバイスか等）を管理するデバイス種別欄７４Ｅ及び外部デバイスのパス情報を管理するパス情報欄から構成されている。
【００５０】
さらに、パス情報欄は、各通信ポート４１に固有の識別情報であるＷＷＮを管理するＷＷＮ欄７４Ｆ及びＬＵＮ４３を一意に識別するためのＬＵＮ番号を管理するＬＵＮ番号７４Ｇから構成されている。なお、図７中に示すデバイス識別情報やＷＷＮ等は、説明の便宜上の値であって特に意味はない。また、図７中の下側に示すＶＤＥＶ番号「３」のＥＤＥＶ５２には、３個のパス情報が対応付けられている。すなわち、このＥＤＥＶ５２（＃３）にマッピングされる記憶デバイス４２は、その内部に３つの経路を有する交代パス構造を備えているが、ＥＤＥＶ５２（＃３）には、この交代パス構造を認識してマッピングされている。これら３つの経路のいずれを通っても同一の記憶領域にアクセスできることが判明しているため、いずれか１つまたは２つの経路に障害等が発生した場合でも、残りの正常な経路を介して所望のデータにアクセスできる。
【００５１】
図８は、この記憶システム１における第１のストレージ装置３のＶＤＥＶ５３の作成処理に関する、第１のストレージ装置３のチャネルアダプタ２１の具体的な処理手順を示したフローチャートの一例である。
【００５２】
第１のストレージ装置３のチャネルアダプタ２１は、例えば、コントロールユニット２３のユーザの操作部（図示せず）の操作により、ＶＤＥＶ作成指示を受信すると、制御プログラム７１を実行することにより、図８に示すＶＤＥＶ作成手順ＲＴ１に従って、ＥＤＥＶ管理テーブル７４のページサイズ欄７４Ｃを参照することにより、ＥＤＥＶ５２のページサイズをチェックする（ＳＰ１）。
【００５３】
続いて、第１のストレージ装置３のチャネルアダプタ２１は、チェックしたすべてのページサイズ及び当該ページサイズに対して割り切れるページサイズの値を、ＶＤＥＶ５３に割り当てるストレージプール５６のＥＤＥＶ５２の設定候補として、コントロールユニット２３のユーザの表示部（図示せず）に表示する（ＳＰ２）。
【００５４】
続いて、第１のストレージ装置３のチャネルアダプタ２１は、コントロールユニット２３のユーザの操作部（図示せず）の操作により、ＶＤＥＶ５３に割り当てるストレージプール５６のＥＤＥＶ５２が選択されると、選択されたページサイズの値でＶＤＥＶ５３を作成する（ＳＰ３）。
【００５５】
やがて、第１のストレージ装置３のチャネルアダプタ２１は、この後、図８に示すＶＤＥＶ作成手順ＲＴ１を終了する（ＳＰ４）。
【００５６】
図９は、この記憶システム１における第１のストレージ装置３のライト処理に関する、第１のストレージ装置３のチャネルアダプタ２１の具体的な処理手順を示したフローチャートの一例である。
【００５７】
第１のストレージ装置３のチャネルアダプタ２１は、例えば、ホスト装置２からライト指示を受信すると、制御プログラム７１を実行することにより、図９に示すライト処理手順ＲＴ２に従って、ＶＤＥＶ管理テーブル７２のページ番号欄７２Ｃを参照することにより、ライト対象のＶＤＥＶのスロットに対してページが割り当てられているか否かをチェックする（ＳＰ１１）。
【００５８】
そして、第１のストレージ装置３のチャネルアダプタ２１は、ライト対象のＶＤＥＶのスロットに対してページが割り当てられている（ＳＰ１１：ＹＥＳ）には、ライト対象のＶＤＥＶのスロットに割り当てられているキャッシュメモリ２４にライトデータを書き込む（ＳＰ１２）。
【００５９】
続いて、第１のストレージ装置３のチャネルアダプタ２１は、ホスト装置２にライト完了応答を送信し（ＳＰ１３）、この後、図９に示すライト処理手順ＲＴ２を終了する（ＳＰ２０）。
【００６０】
これに対して、第１のストレージ装置３のチャネルアダプタ２１は、ライト対象のＶＤＥＶのスロットに対してページが割り当てられていない（ＳＰ１１：ＮＯ）には、ページ管理テーブル７２の割当て判定情報欄７３Ｂ及びＥＤＥＶ番号欄７３Ｃを参照することにより、ＶＤＥＶ５３に割り当てられているストレージプール５６のＥＤＥＶ５２に空きページがあるか否かをチェックする（ＳＰ１４）。
【００６１】
そして、第１のストレージ装置３のチャネルアダプタ２１は、ＶＤＥＶ５３に割り当てられているストレージプール５６のＥＤＥＶ５２に空きページがない場合（ＳＰ１４：ＮＯ）には、ホスト装置２にライト不可応答を送信し（ＳＰ１５）、この後、図９に示すライト処理手順ＲＴ２を終了する（ＳＰ２０）。
【００６２】
これに対して、第１のストレージ装置３のチャネルアダプタ２１は、ＶＤＥＶ５３に割り当てられているストレージプール５６のＥＤＥＶ５２に空きページがある場合（ＳＰ１４：ＹＥＳ）には、当該空きページを予約する（ＳＰ１６）。
【００６３】
続いて、第１のストレージ装置３のチャネルアダプタ２１は、ライト対象のＶＤＥＶ５３のスロットに割り当てられているキャッシュメモリ２４にライトデータを書き込む（ＳＰ１７）。
【００６４】
続いて、第１のストレージ装置３のチャネルアダプタ２１は、ホスト装置２にライト完了応答を送信する（ＳＰ１８）。
【００６５】
続いて、第１のストレージ装置３のチャネルアダプタ２１は、ライト対象のＶＤＥＶ５３のスロットに対して、予約した空きページを割り当てる（ＳＰ１９）。
【００６６】
やがて、第１のストレージ装置３のチャネルアダプタ２１は、この後、図９に示すライト処理手順ＲＴ２を終了する（ＳＰ２０）。
【００６７】
なお、第１のストレージ装置３のチャネルアダプタ２１は、この後、ＥＤＥＶ管理テーブル７４を参照することにより、非同期で第２のストレージ装置４の該当する外部ＬＤＥＶ５１にライトデータを送信する。そして、第２のストレージ装置２は、ライトデータを該当する記憶デバイス４２に書き込むようになされている。
【００６８】
このようにして、記憶システム１では、第１のストレージ装置３が第２のストレージ装置の外部ＬＤＥＶ５１をマッピングするときに、その外部ＬＤＥＶ５１のページサイズを取得してマッピングし、ＥＤＥＶ管理テーブル７４において管理することにより、外部ＬＤＥＶ５１のページサイズやページバウンダリを認識する。そして、記憶システム１では、第１のストレージ装置３がＶＤＥＶ５３を作成するときに、外部ＬＤＥＶ５１のページサイズに基づいてＶＤＥＶ５３を作成し、ホスト装置からのライトデータを書き込む。
【００６９】
また、記憶システム１では、第１のストレージ装置３のＶＤＥＶ５３が第２のストレージ装置４の外部ＬＤＥＶ５１のページサイズよりも小さいページサイズで管理する場合、第２のストレージ装置４の外部ＬＤＥＶ５１のページサイズを認識して、例えば、第１のストレージ装置３のＶＤＥＶ５３のページサイズの数ページ分が第２のストレージ装置４の外部ＬＤＥＶ５１の１ページ分に収まるように、第１のストレージ装置３のＶＤＥＶ５３に、ストレージプール５６のＥＤＥＶ５２のページを割り当てる。
【００７０】
例えば、第１のストレージ装置３は、第２のストレージ装置４の外部ＬＤＥＶ５１のページサイズが１ＭＢ（MByte）であり、第１のストレージ装置３のＶＤＥＶ５３のページサイズが２５６ＫＢ（Kbyte）の場合、第１のストレージ装置３のＶＤＥＶ５３の４ページ分（２５６ＫＢ×４ページ分）のページ割当て先を第２のストレージ装置４の外部ＬＤＥＶ５１の１ページ分（１ＭＢ×１ページ分）に収まるように、第１のストレージ装置３のＶＤＥＶ５３のページサイズを割り当てる。
【００７１】
従って、記憶システム１では、第２のストレージ装置４の動的記憶領域割当てボリュームである外部ＬＤＥＶ５１のページサイズについて考慮して、第１のストレージ装置３のＶＤＥＶ５３にライトデータの書込みを行うため、第１のストレージ装置３のＶＤＥＶ５３に割り当てられる第２のストレージ装置４の外部ＬＤＥＶ５１（記憶デバイス４２の記憶領域である実際にデータを格納する実記憶領域）に、使用しない無駄な領域が生じることを未然かつ有効に防止することができ、かくして、効率よく記憶領域を割り当てることができ、データエリアサイズを効率化することができる。
【００７２】
次に、本実施の形態における記憶システム１の第１のストレージ装置３によるライト処理の他の実施の形態について説明する。
【００７３】
図１０は、この記憶システム１における第１のストレージ装置３のライト処理に関する、第１のストレージ装置３のチャネルアダプタ２１の具体的な処理手順を示したフローチャートの一例である。
【００７４】
第１のストレージ装置３のチャネルアダプタ２１は、例えば、ホスト装置２からライト指示を受信すると、制御プログラム７１を実行することにより、図１０に示すライト処理手順ＲＴ３に従って、上述のステップＳＰ１１〜ステップＳＰ１９と同様の処理を実行する（ＳＰ２１〜ＳＰ２９）。
【００７５】
続いて、第１のストレージ装置３のチャネルアダプタ２１は、ＶＤＥＶ管理テーブル７２のページ先頭からのオフセット位置情報を参照することにより、ライト対象のＶＤＥＶ５３のスロット（ページ）の終端位置であるか否かをチェックする（ＳＰ３０）。
【００７６】
そして、第１のストレージ装置３のチャネルアダプタ２１は、ライト対象のＶＤＥＶ５３のスロット（ページ）が、当該スロット（ページ）の終端位置でない場合（ＳＰ３０：ＮＯ）には、ライトデータを蓄積する（ＳＰ３１）。
【００７７】
これに対して、第１のストレージ装置３のチャネルアダプタ２１は、ライト対象のＶＤＥＶ５３のスロット（ページ）が、当該スロット（ページ）の終端位置である場合（ＳＰ３０：ＮＯ）には、蓄積したライトデータと共に、第２のストレージ装置４の該当する外部ＬＤＥＶ５１にライトデータを送信する（ＳＰ３２）。そして、第２のストレージ装置２は、ライトデータを該当する記憶デバイス４２に書き込むようになされている。
【００７８】
やがて、第１のストレージ装置３のチャネルアダプタ２１は、この後、図１０に示すライト処理手順ＲＴ３を終了する（ＳＰ３３）。
【００７９】
このようにして、記憶システム１では、ライト対象のＶＤＥＶ５３のスロット（ページ）の終端位置になるまで、キャッシュメモリ２４に外部ＬＤＥＶ５１への未書込みデータを蓄積し、ライト対象のＶＤＥＶ５３のスロット（ページ）が、当該当該スロット（ページ）の終端位置になったときに、当該当該スロット（ページ）に書き込むライトデータをまとめて送信する。
【００８０】
従って、記憶システム１では、第２のストレージ装置４との通信回数を減少させることができると共に、上述の同様に第１のストレージ装置３のＶＤＥＶ５３に割り当てられる第２のストレージ装置４の外部ＬＤＥＶ５１（記憶デバイス４２の記憶領域である実際にデータを格納する実記憶領域）に、使用しない無駄な領域が生じることを未然かつ有効に防止することができる。
【００８１】
次に、本実施の形態における記憶システム１の第１のストレージ装置３によるライト処理のさらに他の実施の形態について説明する。
【００８２】
図１１は、この記憶システム１における第１のストレージ装置３のライト処理に関する、第１のストレージ装置３のチャネルアダプタ２１の具体的な処理手順を示したフローチャートの一例である。
【００８３】
第１のストレージ装置３のチャネルアダプタ２１は、例えば、ホスト装置２からライト指示を受信すると、制御プログラム７１を実行することにより、図１１に示すライト処理手順ＲＴ４に従って、上述のステップＳＰ１１〜ステップＳＰ１８と同様の処理を実行する（ＳＰ４１〜ＳＰ４８）。
【００８４】
続いて、第１のストレージ装置３のチャネルアダプタ２１は、ライトデータがシーケンシャルライトデータであるか否かをチェックする（ＳＰ４９）。
【００８５】
そして、第１のストレージ装置３のチャネルアダプタ２１は、ライトデータがシーケンシャルライトデータである場合（ＳＰ４９：ＹＥＳ）には、ライト対象のスロットに対してシーケンシャルデータに対応する分のストレージプール５６のＥＤＥＶ５２のページを、事前に第１のストレージ装置３のＶＤＥＶ５３に割り当てる（ＳＰ５０）。
【００８６】
これに対して、第１のストレージ装置３のチャネルアダプタ２１は、ライトデータがシーケンシャルライトデータでない場合（ＳＰ４９：ＮＯ）には、ライト対象のＶＤＥＶ５３のスロットに対して、予約した空きページを割り当てる（ＳＰ５１）。
【００８７】
やがて、第１のストレージ装置３のチャネルアダプタ２１は、この後、図１１に示すライト処理手順ＲＴ４を終了する（ＳＰ５２）。
【００８８】
このようにして、記憶システム１では、ライトデータがシーケンシャルライトデータである場合には、ライト対象のスロットに対してシーケンシャルデータに対応する分のストレージプール５６のＥＤＥＶ５２のページを、事前に第１のストレージ装置３のＶＤＥＶ５３に割り当てる。
【００８９】
従って、記憶システム１では、シーケンシャルライトデータがシーケンシャルにリードされた場合に、ランダムな位置の記憶領域に書き込まれていたのではリード性能が低下するため、ライトデータがシーケンシャルにリードされるのか、ランダムにリードされるのかを認識して、ストレージプール５６のＥＤＥＶ５２のページを割り当てることにより、リード性能の低下を未然かつ有効に防止することができる。また、記憶システム１では、これと共に、上述の同様に第１のストレージ装置３のＶＤＥＶ５３に割り当てられる第２のストレージ装置４の外部ＬＤＥＶ５１（記憶デバイス４２の記憶領域である実際にデータを格納する実記憶領域）に、使用しない無駄な領域が生じることを未然かつ有効に防止することができる。
【産業上の利用可能性】
【００９０】
本発明は、データを格納するボリュームの記憶領域を動的に割当てる機能を有するストレージシステムに広く適用することができる。
【図面の簡単な説明】
【００９１】
【図１】本実施の形態による記憶システムの構成を示すブロック図である。
【図２】論理的な概略構造（バーチャライゼーション機能）の説明に供する概念図である。
【図３】論理的な概略構造（記憶領域動的割当て機能）の説明に供する概念図である。
【図４】共有メモリ２５に格納されているプログラム及び各種テーブルの説明に供する概念図である。
【図５】ＶＤＥＶ管理テーブルの構成の説明に供する概念図である。
【図６】ページ管理テーブルの構成の説明に供する概念図である。
【図７】ＶＤＥＶ管理テーブルの構成の説明に供する概念図である。
【図８】ＶＤＥＶ作成手順を示すフローチャートである。
【図９】ライト処理手順を示すフローチャートである。
【図１０】ライト処理手順を示すフローチャートである。
【図１１】ライト処理手順を示すフローチャートである。
【符号の説明】
【００９２】
１……記憶システム、２……ホスト装置、３……第１のストレージ装置、４……第２のストレージ装置、５……コントローラ部、６……記憶部、７……第１の通信ネットワーク、８……第２の通信ネットワーク、１１……アプリケーションプログラム、１２……アダプタ、２１……チャネルアダプタ、２２……ディスクアダプタ、２３……コントロールユニット、２４……キャッシュメモリ、２５……共有メモリ、２６……接続部、３１、３２……記憶デバイス、４２……外部記憶デバイス、５１……外部ＬＤＥＶ、５２……ＥＤＥＶ、５３……ＶＤＥＶ、５４……ＬＤＥＶ、７１……制御プログラム、７２……ＶＤＥＶ管理プログラム、７３……ページ管理プログラム、７４……ＥＤＥＶ管理プログラム
【図１】
2009181265.tif 000003
【図２】
2009181265.tif 000004
【図３】
2009181265.tif 000005
【図４】
2009181265.tif 000006
【図５】
2009181265.tif 000007
【図６】
2009181265.tif 000008
【図７】
2009181265.tif 000009
【図８】
2009181265.tif 000010
【図９】
2009181265.tif 000011
【図１０】
2009181265.tif 000012
【図１１】
2009181265.tif 000013