(57)【特許請求の範囲】
【請求項１】
ストレージコントローラと通信可能に構成されるディスクエンクロージャであって、
前記ディスクエンクロージャは、
複数の磁気ディスク装置と、
前記複数の磁気ディスク装置のうちの１つと一対一で対応するように構成され、それぞれバッファメモリ有する、複数のバッファメモリ回路と、を備え、
前記ストレージコントローラから送信される書き込みデータを前記複数の磁気ディスク装置のうち前記ストレージコントローラが決定した磁気ディスク装置に分散して書き込む場合に、当該書込みデータを前記決定された磁気ディスク装置に対応するバッファメモリ回路のバッファメモリを介して前記磁気ディスク装置に書き込むように構成され、
前記バッファメモリ回路は、
書込みデータを記録するための、前記バッファメモリの記憶領域を特定する手段と、
前記ストレージコントローラから送信される書込みデータを、特定した前記バッファメモリの記憶領域に記録する手段と、
前記書込みデータの記録が完了した報告を前記ストレージコントローラに送信する手段と、
前記特定したバッファメモリの記憶領域に記録された書込みデータを、前記決定した磁気ディスク装置の記憶領域に記録する手段と、
前記特定したバッファメモリの記憶領域に記録された書込みデータと、前記決定した磁気ディスク装置の記憶領域に記録された書込みデータとの対応情報を対応情報テーブルに格納する手段と、
前記磁気ディスク装置の電源をオン又はオフにするアクセス監視タイマと、を備え、
前記アクセス監視タイマは、
予め設定された時間内に前記磁気ディスク装置に対してアクセスがない場合に、前記磁気ディスク装置の電源をオフにする手段と、
前記磁気ディスク装置に対してアクセスがある場合に、前記磁気ディスク装置の電源をオンにする手段と、
前記磁気ディスク装置へのアクセスが生じる毎に、前記予め設定された時間までの残り時間をリセットする手段と、
を備える、ディスクエンクロージャ。
【請求項２】
前記バッファメモリ回路は、
前記ストレージコントローラから送信される読出し要求に基づいて、前記対応情報テーブルを参照し、読出し対象データが前記バッファメモリの記憶領域に記録されている場合には、当該記憶領域から前記読出し対象データを読出す手段と、前記読出したデータを前記ストレージコントローラに送信する手段と、をさらに備える請求項１に記載のディスクエンクロージャ。
【請求項３】
前記ディスクエンクロージャは、拡張スロットを備え、
前記バッファメモリ回路は、前記拡張スロットに接続される、請求項１又は２に記載のディスクエンクロージャ。
【請求項４】
ストレージコントローラと通信可能に構成されるディスクエンクロージャであって、
複数の磁気ディスク装置と、
前記複数の磁気ディスク装置のうちの１つと一対一で対応するように構成され、それぞれバッファメモリ有する、複数のバッファメモリ回路と、
前記バッファメモリ回路に含まれて前記磁気ディスク装置の電源をオン又はオフにするアクセス監視タイマと、を備え、
前記ストレージコントローラから送信される書き込みデータを前記複数の磁気ディスク装置のうち前記ストレージコントローラが決定した磁気ディスク装置に分散して書き込む場合に、当該書込みデータを前記決定された磁気ディスク装置に対応するバッファメモリ回路のバッファメモリを介して前記磁気ディスク装置に書き込むように構成される、ディスクエンクロージャを有するストレージシステムの制御方法であって、
前記バッファメモリ回路は、
書込みデータを記録するための、前記バッファメモリの記憶領域を特定するステップと、
前記ストレージコントローラから送信される書込みデータを、特定した前記バッファメモリの記憶領域に記録するステップと、
前記書込みデータの記録が完了した報告を前記ストレージコントローラに送信するステップと、
前記特定したバッファメモリの記憶領域に記録された書込みデータを、前記決定した前記磁気ディスク装置の記憶領域に記録するステップと、
前記特定したバッファメモリの記憶領域に記録された書込みデータと、前記決定した磁気ディスク装置の記憶領域に記録された書込みデータとの対応情報を対応情報テーブルに格納するステップと、を実行し、
前記アクセス監視タイマは、
予め設定された時間内に前記磁気ディスク装置に対してアクセスがない場合に、前記磁気ディスク装置の電源をオフにするステップと、
前記磁気ディスク装置に対してアクセスがある場合に、前記磁気ディスク装置の電源をオンにするステップと、
前記磁気ディスク装置へのアクセスが生じる毎に、前記予め設定された時間までの残り時間をリセットするステップと、
を実行するストレージシステムの制御方法。
【請求項５】
前記バッファメモリ回路は、
前記ストレージコントローラから送信される読出し要求に基づいて、前記対応情報テーブルを参照し、読出し対象データが前記バッファメモリの記憶領域に記録されている場合には、当該記憶領域から前記読出し対象データを読出すステップと、
前記読出したデータを前記ストレージコントローラに送信するステップと、
をさらに実行する、請求項４に記載のストレージシステムの制御方法。                                                                                
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データの制御方法に関する。
【背景技術】
【０００２】
上位装置と通信可能に接続されたストレージシステムにおいて、ストレージシステムに搭載される磁気ディスク装置の応答速度は、上位装置の処理速度に対して遅い。このため近年では、磁気ディスク装置の応答速度の遅さが、ストレージシステム全体の応答性能を低下させる要因となっている。
【０００３】
このような上位装置と磁気ディスク装置との速度差を補填するために、例えば、特許文献１に記載の半導体ディスク装置のように、上位装置と磁気ディスク装置との間に上位装置からのデータを一時的に保存するメモリ（例えば、キャッシュメモリ）を介在させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１９９７１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１のように、上位装置と磁気ディスク装置との間にメモリを介在させることで、応答性能の低下は緩和される。しかしながら、上位装置と磁気ディスク装置との間に介在するメモリの使用量が飽和した場合には、該メモリと接続する上位装置及び磁気ディスク装置の入出力制御に影響を及ぼすため、依然として応答性能の低下を引き起こすおそれは残っている。
【０００６】
そこで、本発明は、ストレージシステムの応答性能の向上を図る、ディスクエンクロージャ及びストレージシステムの制御方法を提案しようとするものである。
【課題を解決するための手段】
【０００７】
かかる課題を解決するため、本発明は、外部と通信可能に構成され、磁気ディスク装置を搭載するディスクエンクロージャであって、バッファメモリを有するバッファメモリ回路を有し、バッファメモリ回路は、書込みデータを記録するための、バッファメモリの記憶領域を特定する手段と、外部から送信される書込みデータを、特定したバッファメモリの記憶領域に記録する手段と、書込みデータの記録が完了した報告を外部に送信する手段と、特定したバッファメモリの記憶領域に記録された書込みデータを、特定した磁気ディスク装置の記憶領域に記録する手段と、特定したバッファメモリの記憶領域に記録された書込みデータと、特定した磁気ディスク装置の記憶領域に記録された書込みデータとの対応情報を対応情報テーブルに格納する手段と、を備える。
【０００８】
また、本発明は、磁気ディスク装置を搭載するディスクエンクロージャを有するストレージシステムの制御方法であって、ディスクエンクロージャは、バッファメモリを有するバッファメモリ回路を備え、バッファメモリ回路は、書込みデータを記録するための、バッファメモリの記憶領域を特定するステップと、外部から送信される書込みデータを、特定したバッファメモリの記憶領域に記録するステップと、書込みデータの記録が完了した報告を外部に送信するステップと、特定したバッファメモリの記憶領域に記録された書込みデータを、特定した磁気ディスク装置の記憶領域に記録するステップと、特定したバッファメモリの記憶領域に記録された書込みデータと、特定した磁気ディスク装置の記憶領域に記録された書込みデータとの対応情報を対応情報テーブルに格納するステップと、を実行する。
【発明の効果】
【０００９】
本発明によれば、書込み・読出し動作に処理時間を要する磁気ディスク装置を使用するストレージシステムであっても、ディスクエンクロージャ内のバッファメモリ回路が磁気ディスク装置に代わって書込み・読出し動作を行うので、処理時間を短縮し、もってストレージシステムの応答性能を向上することができる。
【図面の簡単な説明】
【００１０】
【図１】コンピュータシステム１００の構成一例を示すブロック図である。
【図２】ディスクエンクロージャ６００の構成一例を示すブロック図である。
【図３】バッファメモリ回路６５０を示すブロック図である。
【図４】ディスクエンクロージャ６００の一例を示すブロック図である。
【図５】従来システムが実行するデータの書込み処理を示すフローチャートである。
【図６】図４に示すコンピュータシステム１００が実行するデータの書込み処理を示すフローチャートである。
【図７】図４に示すコンピュータシステム１００が実行するデータの書込み処理を示すフローチャートである。
【図８】従来システムが実行するデータの読出し処理を示すフローチャートである。
【図９】図４に示すコンピュータシステム１００が実行するデータの読出し処理を示すフローチャートである。
【図１０】図４に示すコンピュータシステム１００が実行するデータの読出し処理を示すフローチャートである。
【図１１】第２実施形態によるディスクエンクロージャ６０１の構成を示ブロック図である。
【図１２】第４実施形態のバッファメモリ回路６５０Ｃを示すブロック図である。
【図１３】第１実施形態のバッファメモリ回路６５０に代えて拡張スロット８００−ｉを配置したディスクエンクロージャ６０２を示すブロック図である。
【図１４】第２実施形態のバッファメモリ回路６５０Ｂに代えて拡張スロット８１０を配置したディスクエンクロージャ６０３を示すブロック図である。
【図１５】インターフェース６２２の内外に拡張スロット８００−ｉ，８１０を配置したディスクエンクロージャ６０４を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図面を参照して説明する。なお、図面中、同一の要素には同一の符号を付し、重複する説明を省略する。また、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。さらに、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。
【００１２】
（第１実施形態）
（１）コンピュータシステム１００の構成
図１は、本実施の形態によるコンピュータシステム１００の構成を示したブロック図である。コンピュータシステム１００は、中央演算装置であるコンピュータ２００が第１通信線４００を介してストレージシステム３００と通信可能に接続される構成である。
【００１３】
コンピュータ２００は、ＣＰＵ（図示せず）、バスに接続されたメモリ（図示せず）、入力部（図示せず）、出力部（図示せず）及び入出力インターフェース（図示せず）など、通常のコンピュータ装置と同様のハードウェアを備えている。コンピュータ２００は、物理的には、専用化したシステム、あるいは汎用の情報処理装置のいずれであってもよい。たとえば、一般的な構成の情報処理装置において、後述する制御方法における処理を規定したソフトウェアを実行することにより、本実施形態のコンピュータ２００として動作させることもできる。
【００１４】
ストレージシステム３００は、ストレージコントローラ５００とディスクエンクロージャ６００とを備える。図１に示すように、ストレージコントローラ５００は、第２通信線４０１を介してディスクエンクロージャ６００と通信可能に接続されている。
【００１５】
ディスクエンクロージャ６００は、磁気ディスク装置６６０を搭載する筐体である。ディスクエンクロージャ６００としては、複数台設けられている。複数台のディスクエンクロージャ６００−ｉ（ｉ＝０〜ｎ）は、デイジーチェーン接続方式によって接続されている。すなわち、各ディスクエンクロージャ６００−ｉは、他のディスクエンクロージャ６００−ｉと第３の通信線４０２，４０３…４０Ｎ（Ｎは自然数）を介して直列に連結されている。以下、ディスクエンクロージャの参照符号は、各ディスクエンクロージャを区別する場合を除いて、６００又は６００−ｉと明記して説明する。
【００１６】
ストレージコントローラ５００は、コンピュータ２００から送信されるデータを記録する際、該データのパリティデータを生成する機能、該データを複数の磁気ディスク装置６６０−ｉに分散して記録し又は二重化して記録する機能等、複数台の磁気ディスク装置６６０−ｉをＲＡＩＤ（Redundant Array of Independent/Inexpensive Disks）方式で管理する機能を有する。以下、磁気ディスク装置の参照符号は、特に区別する場合を除いて、６６０又は６６０−ｉと明記して説明する。
【００１７】
なお、第１通信線４００の一例としては、ＳＡＮ（Storage Area Network）構築のため，ＦＣ（Fibre Channel），ＳＡＳ（Serial Attached SCSI）のいずれかが使用される。また、第２通信線４０１及び第３通信線４０２，４０３…４０Ｎの一例としては、ＦＣ（Fibre Channel），ＳＡＳ（Serial Attached SCSI），ＳＡＴＡ（Serial ATA）のいずれかが使用される。
【００１８】
また、高い信頼性と高速性とを実現するために、コンピュータ２００とストレージシステム３００との接続、並びにストレージコントローラ５００とディスクエンクロージャ６００との接続及び各ディスクエンクロージャ６００間の接続は二重化するのが一般的である。図１では、説明を簡単にするため、一例として、基本的な接続形態を示している。
【００１９】
（２）ディスクエンクロージャ６００の構成
図２は、ディスクエンクロージャ６００の構成を示したブロック図である。ディスクエンクロージャ６００は、各磁気ディスク装置６６０−ｉを収容する磁気ディスク装置収容部６１０−ｉと、磁気ディスク装置収容部６１０−ｉと接続するエンクロージャ回路６４１と、各磁気ディスク装置６６０−ｉやエンクロージャ回路６４１に電力を供給する電源機構６４０と、を備えている。以下、磁気ディスク装置収容部の参照符号は、特に区別する場合を除いて、６１０又は６１０−ｉと明記して説明する。
【００２０】
図２に示すように、エンクロージャ回路６４１は、各磁気ディスク装置収容部６１０−ｉと通信線６８０を介してそれぞれ接続される各バッファメモリ回路６５０−ｉと、各バッファメモリ回路６５０−ｉと通信線６７０を介して接続されるインターフェース６２０と、を備えている。以下、バッファメモリ回路の参照符号は、特に区別する場合を除いて、６５０又は６５０−ｉと明記して説明する。
【００２１】
インターフェース６２０は、ストレージコントローラ５００からの読み書き要求及びデータを、通信線４０１を介してストレージコントローラ５００から受信し、又は通信線４０２，４０３…４０Ｎを介して前段のディスクエンクロージャ６００−ｉから受信する。また、インターフェース６２０は、受信した読み書き要求に従い内部スイッチ６３０のポート６３１を介して受信したデータを指定のバッファメモリ回路６５０に送信し、又は受信した読み書き要求に従い、通信線４０２，４０３…４０Ｎを介して次段のディスクエンクロージャ６００−ｉに読み書き要求又はデータを送信する。
【００２２】
（３）バッファメモリ回路６５０の構成
図３は、バッファメモリ回路６５０を示したブロック図である。本実施形態のバッファメモリ回路６５０は、各バッファメモリ回路６５０−ｉと各磁気ディスク装置６６０−ｉとが１対１の接続となるように、エンクロージャ回路６４１内に配置されている。
【００２３】
バッファメモリ回路６５０は、データを一時的に保存するバッファメモリ７００と、バッファメモリ７００へのデータの入出力を制御するバッファメモリ制御機構７１０と、バッファメモリ７００と接続し、且つバッファメモリ７００の一時的なバックアップ用電源となる二次電池７２０と、を備えている。
【００２４】
バッファメモリ制御機構７１０は、機能としては、記録機能と、置き換え機能と、通信機能とを備えている。
【００２５】
記録機能は、バッファメモリ７００の記憶領域と該記憶領域に記録されるデータと該データを記録すべき磁気ディスク装置６６０の記憶領域とを対応づけ、該情報を対応情報として対応情報テーブルに記録する機能である。なお、以下の説明では、バッファメモリ７００の記憶領域のうち、バッファメモリ７００にデータが記録された記憶領域を「使用領域」といい、バッファメモリ７００にデータが記録されていない記憶領域を「未使用領域」（空き領域）という。また、同様に、磁気ディスク装置６６０の記憶領域のうち、磁気ディスク装置６６０にデータが記録された記憶領域を「記憶済領域」といい、データが記録されていない記憶領域を「空き領域」という。
【００２６】
置き換え機能は、磁気ディスク装置６６０に代わってバッファメモリ制御機構７１０がストレージコントローラ５００に対し応答する機能である。
【００２７】
通信機能は、インターフェース６２０と磁気ディスク装置６６０との間でディスク制御プロトコル（例えば、ＳＣＳＩ）を用いて通信する機能である。具体的には、バッファメモリ制御機構７１０は、インターフェース６２０から送信される磁気ディスク装置６６０への読み書き要求及びデータを、磁気ディスク装置６６０に代わって受信し、読み書き要求に基づいて必要な動作を実行した上で、読み書き要求及びデータをインターフェース６２０に代わって磁気ディスク装置６６０へ送信する。磁気ディスク装置６６０からの応答についても同様であり、バッファメモリ制御機構７１０は、インターフェース６２０に代わって磁気ディスク装置６６０からの応答受信し、応答に基づいて必要な動作を実行した上で、磁気ディスク装置６６０からの応答を磁気ディスク装置６６０に代わってインターフェース６２０へ送信する。
【００２８】
（４）読み書き動作
図４は、読み書き動作を説明するため、一つのバッファメモリ回路６５０−０と一つの磁気ディスク装置６６０−０とに限ったディスクエンクロージャ６００の一例を示したブロック図である。ただし、バッファメモリ回路６５０と磁気ディスク装置６６０とが複数存在する場合にも同様に動作する。
【００２９】
図４に示すディスクエンクロージャ６００は、上述で説明したインターフェース６２０がバッファメモリ回路６５０−０と接続され、このバッファメモリ回路６５０−０に対応する１台の磁気ディスク装置６６０−０がバッファメモリ回路６５０−０と接続されている。また、図４に示すディスクエンクロージャ６００は、第２通信線４０１を介してストレージコントローラ５００と接続され、第３通信線４０２を介して次段のディスクエンクロージャ６０１と接続されている。
【００３０】
（４−１）書込み動作
図４に示すコンピュータシステム１００において、磁気ディスク装置６６０にデータが書き込まれる、書込み動作について説明する。
【００３１】
（４−１Ａ）従来システムの書込み動作
本発明に係るコンピュータシステム１００の書込み動作を説明する前に、比較のため、従来の書込み動作の一例について図５に示すフローチャートを用いて説明する。従来のコンピュータシステムは、図４においてバッファメモリ回路６５０−０を有さない従来型のディスクエンクロージャを備え、インターフェース６２０と磁気ディスク装置６６０とが直接接続される構成である。また、従来型のディスクエンクロージャはストレージコントローラ５００に接続され、ストレージコントローラ５００はコンピュータ２００に接続される。
【００３２】
このように構成される従来のコンピュータシステムにおいて、まず、コンピュータ２００は第１通信線４０１を介してストレージコントローラ５００に書込み要求及び書込み対象データを送信する（Ｓ１）。
【００３３】
ストレージコントローラ５００は、コンピュータ２００からの書込み要求及び書込み対象データを受信すると、書込み対象のデータを記録する磁気ディスク装置６６０を決定し（Ｓ２）、決定した磁気ディスク装置６６０の識別番号情報等を書込み要求に付加する。本例においては、磁気ディスク装置６６０−０が決定されたものとする。そして、ストレージコントローラ５００は、第２通信線４０１を介して、磁気ディスク装置６６０−０の識別番号情報等が付加された書込み要求をディスクエンクロージャに送信する（Ｓ３）。
【００３４】
ディスクエンクロージャのインターフェース６２０は、磁気ディスク装置６６０−０の識別番号情報等が付加された書込み要求を受信すると、受信した磁気ディスク装置６６０−０の識別番号情報等に基づき、書込み対象の磁気ディスク装置６６０−０を特定する（Ｓ４）。
【００３５】
インターフェース６２０は、特定した書込み対象の磁気ディスク装置６６０−０に、書込み要求を送信する（Ｓ５）。磁気ディスク装置６６０−０は、書込み要求を受信すると、磁気ディスク装置６６０−０の空き領域がアクセス可能となるまでインターフェース６２０に対する応答を延期する（Ｓ６）。
【００３６】
インターフェース６２０は、書込み要求が遅延中である旨の報告をストレージコントローラ５００に送信し、磁気ディスク装置６６０−０が書込み動作を開始できるようになるまで待機する（Ｓ７）。
【００３７】
磁気ディスク装置６６０−０は、空き領域がアクセス可能となると、書込み動作が開始できるようになるため、書込み対象データの送信要求をインターフェース６２０に送信する（Ｓ８）。インターフェース６２０は、書込み対象データの送信要求を磁気ディスク装置６６０から受信すると、ストレージコントローラ５００に書き込みデータの送信要求を送信する。
【００３８】
ストレージコントローラ５００は、インターフェース６２０から書き込みデータの送信要求を受信すると、インターフェース６２０に書き込みデータを送信する。インターフェース６２０は、受信した書き込みデータを磁気ディスク装置６６０−０に送信する。
【００３９】
磁気ディスク装置６６０−０は、書き込みデータを受信すると、所定の空き領域に受信した書込みデータを記録する（Ｓ９）。磁気ディスク装置６６０−０は、記録が完了すると、書込み動作の完了報告をインターフェース６２０に送信する（Ｓ１０）。インターフェース６２０は、書込み動作の完了報告を受信すると、ストレージコントローラ５００に書込み動作の完了報告を送信する（Ｓ１１）。ストレージコントローラ５００は、書込み動作の完了報告を受信すると、コンピュータ２００に書込み動作の完了報告を送信し（Ｓ１２）、従来の書込み動作が完了する。なお、ステップＳ６乃至Ｓ８は、書込むデータ量に応じて繰り返される。
【００４０】
以上、従来型のコンピュータシステムを使用すると、上述で説明した書込み処理時間の他、磁気ディスク装置６６０−０が書込み動作を開始するまでに要する時間がかかる。磁気ディスク装置６６０−０が書込み動作を開始するまでに要する時間には、ヘッドが所定の記憶領域まで到達する時間であるヘッドシーク時間と、所定の記憶領域の先頭が磁気ヘッドに回転してくるまでの時間である回転待ち時間と、がある。これらの時間は書込み動作において大きな割合を占めていた。すなわち、従来の書込み動作では、書込み完了の報告を送信するまでには、磁気ディスク装置６６０−０の記憶領域に実際に書き込む時間の他、ヘッドシーク時間や回転待ち時間も書き込み時間に含まれていたため、応答性能の低下を引き起こす要因の一つとなっていた。
【００４１】
（４−１Ｂ）図４に示すコンピュータシステム１００の書込み動作
次に、図４に示す本実施形態におけるコンピュータシステム１００の書込み動作を図６及び図７のフローチャートを用いて説明する。
【００４２】
まず、コンピュータ２００は第１通信線を介してストレージコントローラ５００に書込み要求及び書込み対象データを送信する（Ｓ２１）。
【００４３】
ストレージコントローラ５００は、コンピュータ２００からの書込み要求及び書込み対象データを受信すると、書込み対象のデータを記録する磁気ディスク装置６６０を決定し（Ｓ２２）、決定した磁気ディスク装置６６０の識別番号情報等を書込み要求に付加する。本例においては、磁気ディスク装置６６０−０が決定されたものとする。そして、ストレージコントローラ５００は、第２通信線４０１を介して、磁気ディスク装置６６０−０の識別番号情報等が付加された書込み要求をディスクエンクロージャ６００に送信する（Ｓ２３）。
【００４４】
ディスクエンクロージャ６００のインターフェース６２０は、磁気ディスク装置６６０−０の識別番号情報等が付加された書込み要求を受信すると、磁気ディスク装置６６０−０の識別番号情報等に基づき、書込み対象の磁気ディスク装置６６０−０を特定する（Ｓ２４）。
【００４５】
インターフェース６２０は、特定した書込み対象の磁気ディスク装置６６０−０に、書込み要求を送信すると（Ｓ２５）、書込み対象の磁気ディスク装置６６０−０に対応付けられたバッファメモリ回路６５０−０のバッファメモリ制御機構７１０が、磁気ディスク装置６６０−０に代わって書込み要求を受信する（Ｓ２６）。
【００４６】
バッファメモリ制御機構７１０は、磁気ディスク装置６６０−０に代わってインターフェース６２０に書込みデータの送信要求を送信する（Ｓ２７）。また、バッファメモリ制御機構７１０は、書込み対象データを記録するために、バッファメモリ内の未使用領域を特定し、未使用領域を特定した旨の報告をインターフェース６２０に送信する（Ｓ２８）。
【００４７】
インターフェース６２０は、バッファメモリ内の未使用領域を特定した旨の報告を受信すると、書込み対象データの送信要求をストレージコントローラ５００に送信する（Ｓ２９）。
【００４８】
ストレージコントローラ５００は、書込み対象データの送信要求を受信すると、書込み対象データをインターフェース６２０に送信する。インターフェース６２０は、書込み対象データを受信すると、受信した書込み対象データをバッファメモリ制御機構７１０に送信する（Ｓ３０）。
【００４９】
バッファメモリ制御機構７１０は、書込み対象データを受信すると、特定したバッファメモリ内の未使用領域に、受信した書込み対象データを記録する（Ｓ３１）。記録が完了すると、バッファメモリ制御機構７１０は、書込み完了報告をインターフェース６２０に送信する（Ｓ３２）。
【００５０】
インターフェース６２０は、書込み完了報告をストレージコントローラ５００に送信し（Ｓ３３）、ストレージコントローラ５００は、書込み完了報告をコンピュータ２００に送信する（Ｓ３４）。
【００５１】
一方、バッファメモリ制御機構７１０は、書込み完了報告をインターフェース６２０に送信した後、磁気ディスク装置６６０−０に書込み要求を送信する（Ｓ３５）。
【００５２】
磁気ディスク装置６６０−０は、書込み要求を受信すると、磁気ディスク装置６６０−０の空き領域がアクセス可能となるまでバッファメモリ制御機構７１０に対する応答を延期する（Ｓ３６）。
【００５３】
バッファメモリ制御機構７１０は、磁気ディスク装置６６０−０が書込み動作を開始できるようになるまで待機する（Ｓ３７）。
【００５４】
磁気ディスク装置６６０−０は、空き領域がアクセス可能となると、書込み動作が開始できるようになるため、書込み対象データの送信要求をバッファメモリ制御機構７１０に送信する（Ｓ３８）。
【００５５】
バッファメモリ制御機構７１０は、書込み対象データの要求を受信すると、バッファメモリ内の使用領域から書込み対象データを読み出し（Ｓ３９）、読み出した書込み対象データを磁気ディスク装置６６０−０に送信する（Ｓ４０）。
【００５６】
磁気ディスク装置６６０−０は、書込み対象データを受信すると、アクセス可能となった空き領域に書込み対象データを記録し、記録が完了した旨の報告をバッファメモリ制御機構７１０に送信する（Ｓ４１）。
【００５７】
バッファメモリ制御機構７１０は、記録が完了した旨の報告を受信すると、バッファメモリ７００の使用領域と該使用領域に保存されるデータと該データを記録した磁気ディスク装置６６０−０の記憶済領域とを対応情報として対応情報テーブルに記録し（Ｓ４２）、書込み動作を終了する。
【００５８】
なお、ステップＳ３５乃至Ｓ４２を実行する間、磁気ディスク装置６６０−０への電源供給が停止してしまうと、バッファメモリ７００に書込まれた書込み対象データが磁気ディスク装置６６０−０に記録される前に消失してしまう可能性がある。そこで、磁気ディスク装置６６０−０への電源供給が停止した場合には、磁気ディスク装置６６０−０に供給する電源が回復するまでバッファメモリに接続される二次電池７２０からの電力でバッファメモリ７００の記録を維持し、磁気ディスク装置６６０に供給する電源の回復後に、バッファメモリ制御機構７１０はステップＳ３５乃至Ｓ４２を実行すればよい。
【００５９】
上述のように、本実施形態の書込み動作によれば、バッファメモリ７００内に書込み対象データが記録されると、磁気ディスク装置６６０−０に書き込まれる前に、バッファメモリ制御機構７１０が書込み完了の報告をストレージコントローラ５００に送信し、ストレージコントローラ５００から、次の書込み要求を受信することができる。このため、従来の書込み動作で要していた書込み時間を要することはない。すなわち、本実施形態の書込み動作によれば、従来の書込み動作に比して、書込み動作に要する処理時間を短縮することができる。
【００６０】
（４−２）読出し動作
図４に示す本実施形態のコンピュータシステム１００において、磁気ディスク装置６６０−０からデータを読み出す、読出し動作について説明する。
【００６１】
（４−２Ａ）従来システムの読出し動作
まず、書込み動作と同様に、比較のため、従来の読出し動作について図８に示すフローチャートを用いて説明する。
【００６２】
従来のコンピュータシステムは、上記従来の書込み動作と同じく、バッファメモリ回路６５０を有さない従来型のディスクエンクロージャを備え、インターフェース６２０と磁気ディスク装置６６０とが直接接続される構成を例示する。
【００６３】
従来のコンピュータシステムにおいて、コンピュータ２００は第１通信線４００を介してストレージコントローラ５００に読出し要求を送信する（Ｓ５１）。
【００６４】
ストレージコントローラ５００は、コンピュータ２００からの読出し要求を受信すると、読出し対象のデータを記録する磁気ディスク装置を特定し（Ｓ５２）、特定した磁気ディスク装置の識別番号情報等を読出し要求に付加する。本例においては、磁気ディスク装置６６０−０の識別番号情報を特定したものとする。そして、ストレージコントローラ５００は、第２通信線４０１を介して、磁気ディスク装置６６０−０の識別番号情報等を付加した読出し要求をディスクエンクロージャ６００に送信する（Ｓ５３）。
【００６５】
ディスクエンクロージャ６００のインターフェース６２０は、磁気ディスク装置６６０−０の識別番号情報等を付加した読出し要求を受信すると、磁気ディスク装置６６０−０の識別番号情報等に基づき、読出し対象の磁気ディスク装置６６０−０を特定する（Ｓ５４）。
【００６６】
インターフェース６２０は、特定した読出し対象の磁気ディスク装置６６０−０に、読出し要求を送信する（Ｓ５５）。磁気ディスク装置６６０−０は、読出し要求を受信すると、読出し対象のデータが書き込まれている磁気ディスク装置６６０−０の記憶済領域がアクセス可能となるまでインターフェース６２０に対する応答を延期する（Ｓ５６）。
【００６７】
インターフェース６２０は、磁気ディスク装置６６０−０の記憶済領域がアクセス可能となるまで待機する（Ｓ５７）。
【００６８】
磁気ディスク装置６６０−０は、記憶済領域がアクセス可能となると、読出し動作が開始できるようになるため、読出し対象データの受け入れ待機要求をインターフェース６２０に送信する（Ｓ５８）。そして、磁気ディスク装置６６０−０は、読出し対象データを記憶済領域から読出すと、読出しデータ及び読出し動作の完了報告をインターフェース６２０に送信する（Ｓ５９）。
【００６９】
インターフェース６２０は、読出しデータ及び読出し動作の完了報告を受信すると、ストレージコントローラ５００に、読出しデータ及び読出し動作の完了報告を送信する（Ｓ６０）。ストレージコントローラ５００は、読出しデータ及び読出し動作の完了報告を受信すると、コンピュータ２００に、読出しデータ及び読出し動作の完了報告を送信し（Ｓ６１）、従来の読出し動作が完了する。なお、ステップＳ５６乃至Ｓ５８は読出すデータ量に応じて繰り返される。
【００７０】
以上、従来型のコンピュータシステムを使用すると、上述で説明した読出し処理時間の他、磁気ディスク装置６６０−０が読出し動作を開始するまでに要する時間がかかる。磁気ディスク装置６６０−０が読出し動作を開始するまでに要する時間には、ヘッドが所定の記憶領域まで到達する時間であるヘッドシーク時間と、所定の記憶領域の先頭が磁気ヘッドに回転してくるまでの時間である回転待ち時間と、がある。この時間は読出し動作において大きな割合を占めていた。すなわち、従来の読出し動作では、従来の書込み動作と同様、ヘッドシーク時間や回転待ち時間も書き込み時間に含まれていたため、応答性能の低下を引き起こす要因の一つとなっていた。
【００７１】
（４−２Ｂ）図４に示すコンピュータシステム１００の読出し動作
次に、図４に示す本実施形態のコンピュータシステム１００の読出し動作を図９及び図１０のフローチャートを用いて説明する。
【００７２】
まず、コンピュータ２００は第１通信線４００を介してストレージコントローラ５００に読出し要求を送信する（Ｓ７１）。
【００７３】
ストレージコントローラ５００は、コンピュータ２００からの読出し要求を受信すると、読出し対象のデータを記録する磁気ディスク装置を決定し（Ｓ７２）、決定した磁気ディスク装置の識別番号情報等を読出し要求に付加する。本例においては、決定した磁気ディスク装置６６０の識別番号情報は磁気ディスク装置６６０−０であるとする。そして、ストレージコントローラ５００は、第２通信線４０１を介して、磁気ディスク装置６６０−０の識別番号情報等が付加された読出し要求をディスクエンクロージャ６００に送信する（Ｓ７３）。
【００７４】
ディスクエンクロージャ６００のインターフェース６２０は、磁気ディスク装置６６０−０の識別番号情報等が付加された読出し要求を受信すると、磁気ディスク装置６６０−０の識別番号情報等に基づき、読出し対象の磁気ディスク装置６６０−０を特定する（Ｓ７４）。
【００７５】
インターフェース６２０は、特定した読出し対象の磁気ディスク装置６６０−０に、読出し要求を送信すると（Ｓ７５）、読出し対象の磁気ディスク装置６６０−０に対応付けられたバッファメモリ回路６５０のバッファメモリ制御機構７１０が、磁気ディスク装置６６０−０に代わって読出し要求を受信する（Ｓ７６）。
【００７６】
バッファメモリ制御機構７１０は、読出し要求を受信すると、磁気ディスク装置６６０−０に読出し要求を送信する（Ｓ７７）。また、バッファメモリ制御機構７１０は、受信した読出し要求に基づいて対応情報テーブルを参照し、要求された読出し対象のデータがバッファメモリ７００の使用領域に記録されているか否かを判断する（Ｓ７８）。
【００７７】
バッファメモリ制御機構７１０は、要求された読出し対象のデータがバッファメモリ７００の使用領域に記録されていないと判断した場合には（Ｓ７８  ＮＯ）、ステップＳ７７で要求した読出し対象データの読出しを磁気ディスク装置６６０−０が開始するまで待機する。磁気ディスク装置６６０−０が読出し対象データの読出しを開始すると、磁気ディスク装置６６０−０は記録済領域から読み出した読出しデータをバッファメモリ７００に送信する（Ｓ７９）。
【００７８】
バッファメモリ制御機構７１０は、磁気ディスク装置６６０−０から読み出された読み出しデータを受信すると、読み出しデータをバッファメモリの未使用領域に記録する。バッファメモリ制御機構７１０は、バッファメモリ７００に記録した読出しデータを磁気ディスクの記録済領域に記録されているデータに代えて取り扱い（Ｓ８０）、ステップＳ８２にすすむ。
【００７９】
一方、バッファメモリ制御機構７１０は、要求された読出し対象のデータがバッファメモリ７００の使用領域に記録されていると判断した場合には（Ｓ７８  ＹＥＳ）、磁気ディスク装置６６０−０から読み出された読出しデータを受信し、受信した読み出しデータを破棄し（Ｓ８１）、ステップＳ８２にすすむ。
【００８０】
バッファメモリ制御機構７１０は、バッファメモリ７００の使用領域に記憶されているデータをインターフェース６２０に送信する（Ｓ８２）。インターフェース６２０は、データを受信すると、読み出しデータをストレージコントローラ５００に送信し（Ｓ８３）、読み出し完了報告を送信する（Ｓ８４）。
【００８１】
ストレージコントローラ５００は、読み出しデータと読み出し完了報告をコンピュータ２００に送信すると（Ｓ８５）、読み出し動作が終了する。
【００８２】
上述のように、本実施形態の読出し動作によれば、バッファメモリ７００内に読出し対象データが記録されている場合には、磁気ディスク装置６６０−０から送信される読出しデータを待つことなく、バッファメモリ制御機構７１０が読出し完了の報告を送信し、ストレージコントローラ５００から、次の読出し要求を受信することができる。このため、本実施形態の読出し動作によれば、従来の読出し動作に比して、読出し動作に要する処理時間を短縮することができる。
【００８３】
なお、バッファメモリ７００内に読出し対象データが記録されていない場合には、磁気ディスク装置６６０−０から送信される読出しデータをバッファメモリ７００内の未使用領域に記録することになるが、以後の読出し要求に対しては、磁気ディスク装置６６０−０から送信される読出しデータを待つことなく、バッファメモリ制御機構７１０が読出し完了の報告を送信することができる。
【００８４】
また、ストレージシステム３００は、複数台の磁気ディスク装置（例えば、ハードディスクドライブ）をＲＡＩＤ方式で管理している。ここで例えば、レイドレベルがレイド５の場合には、パリティデータを複数の磁気ディスク装置６６０−ｉに分散して書込まれる。このため、パリティデータを生成するためには、一旦複数の磁気ディスク装置６６０−ｉに書込まれたデータ・ブロックをストレージコントローラ５００が読み出さなければならず、レイド５の書込み性能は高くない。
【００８５】
しかしながら、本実施形態によれば、バッファメモリ回路６５０を各磁気ディスク装置６６０−ｉに対応するように配置しているので、バッファメモリ制御機構７１０がバッファメモリに記録されたデータに基づいてパリティを生成すれば良く、ストレージコントローラ５００が磁気ディスク装置６６０に書込まれたデータ・ブロックを読み出す必要がない。
【００８６】
レイドレベルがレイド６の場合には、二重化したパリディデータを複数の磁気ディスク装置６６０−ｉに分散して書込まれる。本実施形態によれば、レイド５の場合と同様に、バッファメモリ制御機構７１０がバッファメモリ７００に記録されたデータに基づいてパリティを生成すれば良く、ストレージコントローラ５００が磁気ディスク装置６６０−ｉに書込まれたデータ・ブロックを読み出す必要がない。
【００８７】
このように、ストレージコントローラ５００への応答時に、不揮発性のバッファメモリ６５０−ｉを磁気ディスク装置６６０−ｉに代えて使用することで、ストレージコントローラ５００に対し、磁気ディスク装置６６０−ｉに比べて速い応答速度で対応することができるため、応答性能の向上を図ることができる。また、磁気ディスク装置６６０−ｉへの電源供給ができない等、磁気ディスク装置６６０−ｉが稼動しない場合にも、不揮発性のバッファメモリにデータを記録することができるため、省エネルギー化を図ることができる。
【００８８】
さらに、本実施形態のバッファメモリ回路６５０は、ストレージコントローラ５００によって磁気ディスク装置６６０−ｉごとに分散されたデータを送受信するため、ストレージコントローラ５００内にあるキャッシュメモリと比べて飽和し難くなる。
【００８９】
（第２実施形態）
次に本発明の第２実施形態について説明する。本第２実施形態は、一つのバッファメモリ回路がインターフェース内に搭載されている点で上記第１実施形態と異なる。上記第１実施形態と同じ構成には同一の符号を付し、説明を省略する。
【００９０】
図１１は第２実施形態によるディスクエンクロージャ６０１の構成を示すブロック図である。本第２実施形態によるディスクエンクロージャ６０１は、インターフェース６２１内にバッファメモリ回路６５０Ｂを備える構成である。本第２実施形態のバッファメモリ回路６５０Ｂは、バッファメモリ回路６５０Ｂと複数の磁気ディスク装置６６０−ｉとが１対複数の接続となるように、インターフェース６２１に内蔵されている。具体的なバッファメモリ回路６５０Ｂの要素は、図３で説明した要素と同様であり、バッファメモリ制御機構７１０，バッファメモリ７００Ｂ及び二次電池７２０を備える。本第２実施形態によるバッファメモリ７００Ｂの容量は、ディスクエンクロージャ６０１に搭載できる最大搭載数分の磁気ディスク装置６６０−ｉの容量を有する。本第２実施形態は、バッファメモリ回路６５０Ｂの配置及びバッファメモリ７００Ｂの容量を除いて、第１実施形態と同様の構成である。
【００９１】
このように本第２実施形態のバッファメモリ回路６５０Ｂと複数の磁気ディスク装置６６０−ｉとは１対複数の接続である。このため、バッファメモリ制御機構７１０が、バッファメモリ７００Ｂの容量を磁気ディスク装置６６０−ｉの搭載数に対応させて割当てることができる。したがって、複数の磁気ディスク装置６６０−ｉと１対１の接続であった第１実施形態のバッファメモリ回路６５０−ｉと比べて、ディスクエンクロージャ６０１が磁気ディスク装置６６０の最大搭載数を搭載していない場合であってもバッファメモリ６５０Ｂを有効に活用することができる。また、二次電池７２０も磁気ディスク装置６６０−ｉの搭載数に対応させて保持する必要がないため、ディスクエンクロージャ６０１の内部構造を簡素化することができる。
【００９２】
（第３実施形態）
次に本発明の第３実施形態について説明する。本第３実施形態は、図２に示す第１実施形態のディスクエンクロージャ６００又は図１１に示す第２実施形態のインターフェース６２１を独立した回路とする形態である。本第３実施形態の回路部分は取付け及び取外し可能な構成となっている。
【００９３】
以上、第３実施形態のように、図２に示す第１実施形態のディスクエンクロージャ６００又は図１１に示す第２実施形態のインターフェース６２１を独立した回路とすることで、従来型のディスクエンクロージャにも独立した回路を簡単に取付け及び取外しをすることができる。このため、従来型のディスクエンクロージャであってもシステム性能を向上することができるとともに機器の延命化を図ることができる。
【００９４】
（第４実施形態）
次に本発明の第４実施形態について説明する。本第４実施形態のストレージシステムは、上述した第１実施形態又は第２実施形態の動作に加え、ＭＡＩＤ（Massive Array of Inactive Disks）機能を有するシステムに関する。
【００９５】
図１２は、第４実施形態のバッファメモリ回路６５０Ｃを示すブロック図である。第４実施形態のバッファメモリ回路６５０Ｃは、図２に示す第１のバッファメモリ回路６５０又は図１１に示す第２実施形態のバッファメモリ回路６５０Ｂに代えて適用する。
【００９６】
第４実施形態のストレージシステムでは、磁気ディスク装置６６０へのアクセスがないとき、バッファメモリ回路６５０Ｃが磁気ディスク装置６６０の電源をオフ（ＯＦＦ）にする。
【００９７】
第４実施形態のバッファメモリ回路６５０Ｃは、バッファメモリ制御機構７１０、バッファメモリ７００、二次電池７２０の他、アクセス監視タイマ７３０を備える。
【００９８】
アクセス監視タイマ７３０に予め設定した時間内に、対応する磁気ディスク装置６６０へのアクセスがないとき、アクセス監視タイマ７３０は、該磁気ディスク装置６６０の電源をオフにする。また、その後、対応する磁気ディスク装置６６０にアクセスがあったとき、アクセス監視タイマ７３０は該磁気ディスク装置６６０の電源をオンにする。アクセス監視タイマ７３０は、磁気ディスク装置６６０へのアクセスが生じる毎に予め設定した時間までの残り時間をリセットする。
【００９９】
本実施形態によれば、アクセス監視タイマ７３０に予め設定した時間内に、対応する磁気ディスク装置６６０へのアクセスがないとき、アクセス監視タイマ７３０が該磁気ディスク装置６６０の電源をオフにする。このため、ストレージコントローラ５００からの指示がなくても磁気ディスク装置６６０の停止及び稼動をバッファメモリ回路６５０Ｃで行うことができ、ストレージシステムの省エネルギー化を図ることができる。
【０１００】
また、一般に、ＭＡＩＤ機能を有するストレージシステムにおいて、磁気ディスク装置の電源をオフするときには、通常、該磁気ディスク装置へのアクセスを行わないように制御する必要があり、ＭＡＩＤ機能の活用が制限されていた。しかしながら、本実施形態によれば、アクセス監視タイマ７３０によって、特定の磁気ディスク装置６６０の電源をオフにしても、ストレージコントローラ５００からのアクセスは、まずバッファメモリ制御機構７１０が応答し、該応答中に特定の磁気ディスク装置６６０の電源をオンにするので、ＭＡＩＤ機能の活用が制限されることはなく、磁気ディスク装置６６０の応答速度の遅さもカバーすることができる。これにより、応答性能の高速化を図ることができる。
【０１０１】
（第５実施形態）
次に第５実施形態について説明する。第５実施形態は、図２に示す第１実施形態のバッファメモリ回路６５０に代えて第４実施形態のバッファメモリ回路６５０Ｃを組み込んだ第１実施形態のディスクエンクロージャ６００を独立した回路する形態、又は図１１に示す第２実施形態のバッファメモリ回路６５０Ｂに代えて第４実施形態のバッファメモリ回路６５０Ｃを組み込んだ第２実施形態のインターフェース６２１を独立した回路とする形態である。
【０１０２】
本第５実施形態によれば、第４実施形態のバッファメモリ回路６５０Ｃを組み込んだ第１実施形態のディスクエンクロージャ６００又は、第４実施形態のバッファメモリ回路６５０Ｃを組み込んだ第２実施形態のインターフェース６２１を独立した回路とすることで、ストレージシステムの省エネルギー化を図ることができるとともに、ＭＡＩＤ機能の活用が制限されることなく応答性能の高速化を図ることができる。
【０１０３】
（第６実施形態）
次に第６実施形態について説明する。本第６実施形態は、図２に示す第１実施形態のバッファメモリ回路６５０に代えて、又は図１１に示す第２実施形態のバッファメモリ回路６５０Ｂに代えて、拡張スロット８００−ｉ，８１０がディスクエンクロージャ６０２に搭載されている形態である。
【０１０４】
図１３は、第１実施形態のバッファメモリ回路６５０に代えて拡張スロット８００−ｉを配置したディスクエンクロージャ６０２を示すブロック図である。図１４は、第２実施形態のバッファメモリ回路６５０Ｂに代えて拡張スロット８１０を配置したディスクエンクロージャ６０３を示すブロック図である。図１５は、インターフェース６２２の内外に拡張スロット８００−ｉ，８１０を配置したディスクエンクロージャ６０４を示すブロック図である。
【０１０５】
拡張スロット８００−ｉ，８１０は、バッファメモリ回路６５０をディスクエンクロージャ６０２，６０３，６０４と接続するための挿し込み口である。例えば、第３実施形態による独立したバッファメモリ回路及び第５実施形態による独立したバッファメモリ回路のそれぞれを図１３乃至図１５に示すディスクエンクロージャ６０２，６０３，６０４と接続するため、拡張スロット８００−ｉ，８１０にバッファメモリ回路を差し込むことができる。
【０１０６】
図１３に示すディスクエンクロージャ６０２の拡張スロット８００−ｉには、図２に示す第１実施形態のバッファメモリ回路６５０−ｉが差し込まれる。また、図１４に示すディスクエンクロージャ６０３の拡張スロット８１０には、図１１に示す第２実施形態のバッファメモリ回路６５０Ｂが差し込まれる。さらに、図１５に示すディスクエンクロージャ６０６の拡張スロット８００−ｉ，８１０のそれぞれには、図２に示す第１実施形態のバッファメモリ回路６５０−ｉ，図１１に示す第２実施形態のバッファメモリ回路６５０Ｂが差し込まれる。
【０１０７】
第６実施形態のディスクエンクロージャ６０２，６０３，６０４によれば、拡張スロット８００−ｉ，８１０を介してバッファメモリ回路６５０，６５０Ｂ，６５０Ｃを接続する形態である。このため、製造時にバッファメモリ回路を搭載するようなディスクエンクロージャを製造する必要がなく、ディスクエンクロージャ自体のコストが低廉になる。また、ストレージシステムの使用状況に応じて適宜バッファメモリ回路を接続すれば、応答性能を向上させることができる。さらに、例えば、第５実施形態で説明したような、アクセス監視タイマ付きの独立したバッファメモリ回路を接続すれば、ストレージシステムの省エネルギー化を図ることができるとともに、ＭＡＩＤ機能の活用が制限されることなく応答性能の高速化を図ることができる。
【産業上の利用可能性】
【０１０８】
本発明は、応答性能の向上を図ることを目的とするストレージシステムに広く適用することができる。
【符号の説明】
【０１０９】
１００…コンピュータシステム、２００…コンピュータ、３００…ストレージシステム、４００…第１通信線、４０１…第２通信線、４０２〜４０Ｎ…第３通信線、５００…ストレージコントローラ、６００−ｉ，６００〜６０４…ディスクエンクロージャ、６１０−ｉ，６１０…磁気ディスク装置収容部、６２０〜６２２…インターフェース、６３０…内部スイッチ、６４０…電源機構、６４１…エンクロージャ回路、６５０−ｉ，６５０…バッファメモリ回路、６６０−ｉ，６６０…磁気ディスク装置、７００…バッファメモリ、７１０…バッファメモリ制御機構、７２０…二次電池、７３０…アクセス監視タイマ、８００−ｉ，８１０…拡張スロット。
【図１】
0005621246.tif 000002
【図２】
0005621246.tif 000003
【図３】
0005621246.tif 000004
【図４】
0005621246.tif 000005
【図５】
0005621246.tif 000006
【図６】
0005621246.tif 000007
【図７】
0005621246.tif 000008
【図８】
0005621246.tif 000009
【図９】
0005621246.tif 000010
【図１０】
0005621246.tif 000011
【図１１】
0005621246.tif 000012
【図１２】
0005621246.tif 000013
【図１３】
0005621246.tif 000014
【図１４】
0005621246.tif 000015
【図１５】
0005621246.tif 000016