(57)【要約】【課題】ディスクアレイ装置にけるディスク故障時における縮退運転時間を短縮することである。【解決手段】アレイを構成する複数のディスク装置と待機ディスク装置とを有するディスクアレイ部と、前記ディスクアレイ部を制御するディスクアレイ制御部からなるディスクアレイ装置であって、前記複数のディスク装置の故障を予測する手段と、前記故障予測手段で予測した前記複数のディスク装置の故障確率に基づき少なくとも第１に故障確率の高いディスク装置の台数を決定する手段と、第１に故障確率の高いディスク装置の台数が１台の場合に、第１に故障確率の高いディスク装置の内容を前記待機ディスク装置に複製し、第１に故障確率の高いディスク装置がｍ（ｍは２以上の整数）台の場合、当該複数の各ディスク装置の内容を、ｍ分の１ずつ前記待機ディスクに複写する手段を含むディスクアレイ装置。【選択図】図１
2009211619.tif 000002
【特許請求の範囲】
【請求項１】
所定のRAIDレベルにしたがってアレイを構成する複数のディスク装置と待機ディスク装置とを有するディスクアレイ部と、前記ディスクアレイ部を制御するディスクアレイ制御部からなるディスクアレイ装置であって、前記複数のディスク装置の故障を予測する手段と、前記故障予測手段で予測した前記複数のディスク装置の故障確率に基づき少なくとも第１に故障確率の高いディスク装置の台数を決定する手段と、第１に故障確率の高いディスク装置の台数が１台の場合に、第１に故障確率の高いディスク装置の内容を前記待機ディスク装置に複製し、第１に故障確率の高いディスク装置がｍ（ｍは２以上の整数）台の場合、当該複数の各ディスク装置の内容を、ｍ分の１ずつ前記待機ディスク装置に複写する手段を含むディスクアレイ装置。
【請求項２】
前記複製手段は、複製対象となったディスク装置の内容を所定時間継続して待機ディスク装置に複写することを特徴とする請求項１記載のディスクアレイ装置。
【請求項３】
所定のRAIDレベルにしたがってアレイを構成する複数のディスク装置と少なくとも第１及び第２の待機ディスク装置とを有するディスクアレイ部と、前記ディスクアレイ部を制御するディスクアレイ制御部からなるディスクアレイ装置であって、前記複数のディスク装置の故障を予測する手段と、前記故障予測手段で予測した前記複数のディスク装置の故障確率に基づき少なくとも第１に故障確率の高いディスク装置の台数を決定する手段と、第１に故障確率の高いディスク装置の台数が１台の場合に、第１に故障確率の高いディスク装置の内容を前記第１の待機ディスク装置に複製し、第２に故障確率の高いディスク装置が１台の場合に、第２に故障確率の高いディスク装置の内容を前記第２のディスク装置に複製する複製手段を含むディスクアレイ装置。
【請求項４】
前記複製手段は、第２に故障確率の高いディスク装置がｑ（ｑは２以上整数）台の場合、当該第２に故障確率の高いディスク装置の内容をｑ分の１ずつ前記第２の待機ディスク装置に複写することを特徴とする請求項３記載のディスクアレイ装置。
【請求項５】
第１に故障確率が高いディスク装置が２台の場合、前記複製手段は、当該２台のディスク装置の内容をそれぞれ前記第１の待機ディスク装置及び第２の待機ディスク装置に複写すること特徴とする請求項３又は４記載のディスクアレイ装置。
【請求項６】
第１に故障確率が高いディスク装置がｒ（ｒは３以上の整数）台の場合に、前記複製手段は、当該第１に故障確率の高いディスク装置の内容をｒ分の２ずつ前記第１の待機ディスク装置及び第２の待機ディスク装置に複写することを特徴とする請求項５記載のディスクアレイ装置。
【請求項７】
前記複製手段は、複製対象となったディスク装置の内容を所定時間継続して待機ディスク装置に複写することを特徴とする請求項３乃至６のいずれか１に記載のディスクアレイ装置。
【請求項８】
所定のRAIDレベルにしたがってアレイを構成する複数のディスク装置と待機ディスク装置とを有するディスクアレイ部と、前記ディスクアレイ部を制御するディスクアレイ制御部からなるディスクアレイ装置における故障対策方法であって、前記複数のディスク装置の故障を予測するステップと、前記複数のディスク装置の予測した故障確率に基づき少なくとも第１に故障確率の高いディスク装置の台数を決定するステップと、第１に故障確率の高いディスク装置の台数が１台の場合に、第１に故障確率の高いディスク装置の内容を前記待機ディスク装置に複製し、第１に故障確率の高いディスク装置がｍ（ｍは２以上の整数）台の場合、当該複数の各ディスク装置の内容を、ｍ分の１ずつ前記待機ディスク装置に複写するステップを含むディスクアレイ装置の故障対策方法。
【請求項９】
所定のRAIDレベルにしたがってアレイを構成する複数のディスク装置と少なくとも第１及び第２の待機ディスク装置とを有するディスクアレイ部と、前記ディスクアレイ部を制御するディスクアレイ制御部からなるディスクアレイ装置における故障対策方法であって、前記複数のディスク装置の故障を予測するステップと、前記故障予測手段で予測した前記複数のディスク装置の故障確率に基づき少なくとも第１に故障確率の高いディスク装置の台数を決定するステップと、第１に故障確率の高いディスク装置の台数が１台の場合に、第１に故障確率の高いディスク装置の内容を前記第１の待機ディスク装置に複製し、第２に故障確率の高いディスク装置が１台の場合に、第２に故障確率の高いディスク装置の内容を前記第２のディスク装置に複製する複製ステップを含むディスクアレイ装置の故障対策方法。
【請求項１０】
前記複製ステップは、第２に故障確率の高いディスク装置がｑ（ｑは２以上整数）台の場合、当該第２に故障確率の高いディスク装置の内容をｑ分の１ずつ前記第２の待機ディスク装置に複写することを特徴とする請求項９記載のディスクアレイ装置の故障対策方法。
【請求項１１】
第１に故障確率が高いディスク装置が２台の場合、前記複製ステップは、当該２台のディスク装置の内容をそれぞれ前記第１の待機ディスク装置及び第２の待機ディスク装置に複写すること特徴とする請求項９又は１０記載のディスクアレイ装置の故障対策方法。
【請求項１２】
第１に故障確率が高いディスク装置がｒ（ｒは３以上の整数）台の場合に、前記複製ステップは、当該第１に故障確率の高いディスクの内容をｒ分の２ずつ前記第１の待機ディスク装置及び第２の待機ディスク装置に複写することを特徴とする請求項１１記載のディスクアレイ装置の故障対策方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスクアレイ装置に関し、特に、待機ディスク装置（ホットスペア）を有するディスクアレイ装置及びディスクアレイ装置の復旧対策に関する。
【背景技術】
【０００２】
従来のディスクアレイ装置では、RAID（Redundant Arrays of Inexpensive（independent）Disks）を構成しているディスクに障害が発生した場合、ホットスペアディスクを使用してRAIDの再構築をするため、障害発生ディスクと同等のデータをホットスペアディスクに書き込みRAIDの冗長性を復旧させる処理が行われる。したがって、ディスクアレイ装置では、復旧のための書き込みが完了するまでの間、冗長性が縮退した状態のサービスが提供される。
【０００３】
年々１ディスクあたりの容量も増大しておりホットスペアディスクへのデータ書き込み時間、すなわちディスク障害発生時の冗長性の縮退時間が長くなってきている。このため、RAIDの復旧時間の短縮によるリスク低減の方法が重要となっている。
【０００４】
RAIDの再構築による復旧時間を短縮する方法として、特開２００３−１０８３１６号公報（特許文献１）は、RAID構成しているディスク（ｎ個）に対してそれぞれの物理ディスクのデータをホットスペアディスクに１/ｎずつ事前に書き込んでおく技術を開示している。この方法ではRAIDの冗長性復旧時のデータ書き込み時間は、通常の書き込み時間がｔ時間かかる場合、ｔ*（１/ｎ）時間短縮される。時間短縮効果はRAIDを構成するディスク数に反比例するため、ディスク数が多くなると時間短縮効果も小さくなる。
【０００５】
RAID5、RAID6、RAID10やRAID50等では構成するディスク数が十数ディスクになる場合も多いため時間短縮効果は充分といえず、より冗長性の復旧に要する時間の短縮が課題となっている。
【０００６】
一方、特開平８−２４９１３３号公報（特許文献２）は、故障時のデータの保護を目的として、ディスク・ドライブの故障可能性を予測することにより、実際に故障する前にそのディスク・ドライブから予備のディスク・ドライブへデータの複写を開始する技術を開示している。
【０００７】
しかし、特許文献２に開示の技術は故障が予測されるディスク上のデータをホットスペア相当のディスクに複写を行うが、複写完了後に故障が予測されるディスクにデータが書き込まれると、２つのディスクで差分が生じる部分について、実際にディスクが故障した時点で差分の複写を行う必要がある。このため、複写後の書き込みデータが多くなると故障時の差分書き込み時間が長くなり、ディスク内容の複写が完了したタイミングとディスク故障が発生するタイミングが一致した時にしかRAIDの再構築時間を短縮する効果が期待できない。
【０００８】
また、ディスクの故障発生の可能性を予測してスペアディスクにデータを予め書込む技術として、特開２００５−１２２３３８号公報（特許文献３）に開示された技術がある。特許文献３では、ディスクについて故障発生の可能性の程度を複数に分け、可能性の高いディスクのデータの半分をスペアディスクに書込み、これよりより可能性の低いディスクが見つかれば、そのディスクのデータの半分をスペアディスク書込み、実際にこれらのディスクに故障が発生した時には、書込まれていないデータについてだけスペアディスクに書込むことによって、書込み時間を短縮するものである。
【０００９】
特許文献３の開示技術は、予め故障可能性を予測したディスクについては、データの半分いついての再構築は必要なくなることから、平均的な冗長性縮退運転時間を短縮できる。しかし、当該故障ディスクについて、残り半分のデータについて再構築する時間を短縮するのに難点がある。
【００１０】
さらに、ディスクの故障可能性を予測して、事前に当該ディスクの内容をスペアディスクに書込んでおくものとして、特開２００６−０７９２１９号公報（特許文献４）開示のディスクアレイ制御装置がある。
【００１１】
特許文献４では、予備ディスクを設け、事前に故障発生の可能性を予測して、故障発生の可能性のあるディスクの内容を予備ディスクに書込み、さらに、書込まれた予備ディスクと、元のディスクの故障危険率を閾値と比較し、予備ディスクと元のディスクのラベル交換を行い故障の可能性のあるディスクに予備デスクのラベルが付されるようにし、所定の閾値を越えた予備ディスクは新たなディスクの交換を行う運転をしている。すなわち、稼働中にディスクが故障することを未然に防ぐ運転をする技術である。この技術は、冗長性の縮退した運転をしないという前提に立っていると考えられる。しかし、故障の可能性のあるディスクでも、故障するまでは使用できるので、ディスクコストをできるだけ抑えてディスクアレイ装置を運用したい場合には必ずしも得策とはいえない。
【００１２】
【特許文献１】特開２００３−１０８３１６号公報
【特許文献２】特開平８−２４９１３３号公報
【特許文献３】特開２００５−１２２３３８号公報
【特許文献４】特開２００６−０７９２１９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
上述した従来技術は、ディスクのコストを抑えて運転するディスクアレイ装置におけるディスク故障時の冗長性縮退運転時間の短縮には十分とはいえない。
【００１４】
したがって、本発明の目的は、ディスクアレイ装置にけるディスク故障時における縮退運転時間を短縮することである。
【課題を解決するための手段】
【００１５】
本発明によれば、所定のRAIDレベルにしたがってアレイを構成する複数のディスク装置と待機ディスク装置とを有するディスクアレイ部と、前記ディスクアレイ部を制御するディスクアレイ制御部からなるディスクアレイ装置であって、前記複数のディスク装置の故障を予測する手段と、前記故障予測手段で予測した前記複数のディスク装置の故障確率に基づき少なくとも第１に故障確率の高いディスク装置の台数を決定する手段と、第１に故障確率の高いディスク装置の台数が１台の場合に、第１に故障確率の高いディスク装置の内容を前記待機ディスク装置に複製し、第１に故障確率の高いディスク装置がｍ（ｍは２以上の整数）台の場合、当該複数の各ディスク装置の内容を、ｍ分の１ずつ前記待機ディスク装置に複写する手段を含むディスクアレイ装置が得られる。
【００１６】
本発明の第２の視点によれば、所定のRAIDレベルにしたがってアレイを構成する複数のディスク装置と少なくとも第１及び第２の待機ディスク装置とを有するディスクアレイ部と、前記ディスクアレイ部を制御するディスクアレイ制御部からなるディスクアレイ装置であって、前記複数のディスク装置の故障を予測する手段と、前記故障予測手段で予測した前記複数のディスク装置の故障確率に基づき少なくとも第１に故障確率の高いディスク装置の台数を決定する手段と、第１に故障確率の高いディスク装置の台数が１台の場合に、第１に故障確率の高いディスク装置の内容を前記第１の待機ディスク装置に複製し、第２に故障確率の高いディスク装置が１台の場合に、第２に故障確率の高いディスク装置の内容を前記第２のディスク装置に複製する複製手段を含むディスクアレイ装置が得られる。
【００１７】
望ましくは、前記複製手段は、複製対象となったディスク装置の内容を所定時間継続して待機ディスク装置に複写する。
【００１８】
本発明の第３の視点によれば、所定のRAIDレベルにしたがってアレイを構成する複数のディスク装置と待機ディスク装置とを有するディスクアレイ部と、前記ディスクアレイ部を制御するディスクアレイ制御部からなるディスクアレイ装置における故障対策方法であって、前記複数のディスク装置の故障を予測するステップと、前記複数のディスク装置の予測した故障確率に基づき少なくとも第１に故障確率の高いディスク装置の台数を決定するステップと、第１に故障確率の高いディスク装置の台数が１台の場合に、第１に故障確率の高いディスク装置の内容を前記待機ディスク装置に複製し、第１に故障確率の高いディスク装置がｍ（ｍは２以上の整数）台の場合、当該複数の各ディスク装置の内容を、ｍ分の１ずつ前記待機ディスク装置に複写するステップを含むディスクアレイ装置の故障対策方法が得られる。
【００１９】
本発明の第４の視点によれば、所定のRAIDレベルにしたがってアレイを構成する複数のディスク装置と少なくとも第１及び第２の待機ディスク装置とを有するディスクアレイ部と、前記ディスクアレイ部を制御するディスクアレイ制御部からなるディスクアレイ装置における故障対策方法であって、前記複数のディスク装置の故障を予測するステップと、前記故障予測手段で予測した前記複数のディスク装置の故障確率に基づき少なくとも第１に故障確率の高いディスク装置の台数を決定するステップと、第１に故障確率の高いディスク装置の台数が１台の場合に、第１に故障確率の高いディスク装置の内容を前記第１の待機ディスク装置に複製し、第２に故障確率の高いディスク装置が１台の場合に、第２に故障確率の高いディスク装置の内容を前記第２のディスク装置に複製する複製ステップを含むディスクアレイ装置の故障対策方法が得られる。
【発明の効果】
【００２０】
本願発明では、ディスク故障予測手段および複製情報決定手段で故障が予測される１つもしくは複数ディスクを特定し、ディスク内容をホットスペアディスクに事前に書き込むので、予測していたディスクが実際に故障した場合に、RAIDの再構成で短時間にRAID状態の復旧ができる。
【発明を実施するための最良の形態】
【００２１】
次に本発明の実施の形態について図面を参照して説明する。
【００２２】
図１は、本発明の第１の実施形態を示す図である。
【００２３】
図１を参照すると、本発明の一実施例としてのディスクアレイ装置10は、ディスクアレイ制御装置100とディスク部からなる。ディスク部は、RAID構成ディスク装置150、ホットスペアディスク装置160から構成されている。後の説明では、RAID構成ディスク装置150を単にRAID構成ディスクと、ホットスペアディスク装置を単に、ホットスペア、待機ディスク装置又は待機ディスクと呼んで説明する。RAID構成ディスク150は、ディスク150-1、150-2、・・・150-nのｎ個のディスクで構成されている。
【００２４】
ディスクアレイ制御装置100は、RAID制御手段（ディスクアレイ制御手段）130、ディスク情報蓄積手段120、ディスク故障予測手段110、複製情報決定手段140を含む。RAID制御手段130はさらに複製手段131を含む。RAID制御手段130は、既存技術であるRAID構築機能を有し、ディスク150-1〜150-nおよびホットスペアディスク160を使用してRAIDを構成する。ディスク制御情報蓄積手段120はRAID制御手段130の制御情報からディスク故障予測手段110で必要な情報を蓄積しておく。ディスク故障予測手段110はディスク制御情報蓄積手段120のデータ（ディスクの致命的でないエラーの発生回数をチェック等）を利用して、故障する可能性が高いディスクを予測する。複製情報決定手段140は、ディスク故障予測手段110の予測情報を基にホットスペアディスク160に書き込むべき情報を判断する。複製手段131は、ホットスペアディスク150にRAIDを構成しているディスクの情報を書き込み、故障が予測されるディスクが故障するか、一番故障確率高いディスクが別のディスクに変更されるまでの一定期間継続して複製する機能を提供する。したがって、故障が予測されるディスクの状態を、ホットスペアディスクに継続的に複製することになるから、この処理により、故障が予測されるディスクが故障した時点でもホットスペアディスクの内容が複製されていることを保障でき、即時RAIDの再構築が可能になるようにしている。
【００２５】
図１のディスクアレイ装置100、ディスク故障予測手段110、ディスク情報蓄積手段120、RAID制御手段130、複製手段131、RAID構成ディスク150、ホットスペアディスク160は、当業者にとってよく知られているので、その詳細な構成は省略する。
【００２６】
次に図１、及び図２のフローチャートを参照して本発明の第１の実施例の動作について詳細に説明する。
【００２７】
まず、ディスク制御情報蓄積手段120によって蓄積されたデータを基に、ディスク故障予測手段110は、RAIDを構成しているｎ台の各ディスク150-1〜150-nの故障予測をする（図２のステップA1）。複製情報決定手段140によってｎ台のディスク150-1〜150-nのうちディスクの故障確率が一番高いディスクが１台か、複数台か判断する（図２のステップA2）。１台の場合、そのディスクの内容を複製手段131用いてホットスペアディスク160に複製する（図２のステップA3）。複数台（ｍ台）の場合、当該ディスクの内容を複製手段131を用いて１/ｍづつホットスペアディスク160に複製する（図２のステップA4）。これら複製は、一定期間継続して行われるが、ディスクの故障予測は時間経過で変わってくることが期待できるので、任意の期間毎にディスクの故障予測を行うのが望ましい。このため、任意の期間毎に、ステップA1からA4を繰り返す。任意の期間とは具体的には１日や１週間ぐらいの期間で、ホットディスクに一通りの複写が完了するまでの時間より長い時間で、故障予測に変化が出そうな期間である。
【００２８】
次に、本発明の第２の実施形態について図３を用いて説明する。第２の実施形態の基本的な構成は、第１の実施形態と同じであるが、第２の実施形態では、ホットスペアディスクを２台使用している点が異なる。
【００２９】
図３を参照すると、本発明の一実施例としてのディスクアレイ装置20は、ディスク制御装置200、RAID構成ディスク250、ホットスペアディスク260、ホットスペアディスク261から構成されている。RAID構成ディスク250は、ディスク250-1、250-2、・・・250-nのｎ個のディスクで構成されている。
【００３０】
ディスクアレイ制御装置200は、RAID制御手段230、ディスク情報蓄積手段220、ディスク故障予測手段210、複製情報決定手段240を含む。RAID制御手段230はさらに複製手段231を含む。RAID制御手段230は、既存技術であるRAID構築機能を有し、ディスク250-1〜250-nおよびホットスペアディスク260を使用してRAIDを構成する。
【００３１】
ディスク制御情報蓄積手段220はRAID制御手段230の制御情報からディスク故障予測手段210で必要な情報を蓄積しておく。ディスク故障予測手段210はディスク制御情報蓄積手段220のデータ（ディスクの致命的でないエラーの発生回数をチェック等）を利用して、故障する可能性が高いディスクを予測する。
【００３２】
複製情報決定手段240は、ディスク故障予測手段210の予測情報を基に、ホットスペアディスク260、ホットスペアディスク261に書き込むべき情報を判断する。
【００３３】
複製手段231は、ホットスペアディスク260、ホットスペアディスク261にRAID構成している故障が予測されるディスクの情報を書き込む複製処理を一定期間継続的に行う。
【００３４】
図３のディスクアレイ装置200、ディスク故障予測手段210、ディスク情報蓄積手段220、RAID制御手段230、複製手段231、RAID構成ディスク250、ホットスペアディスク260は、当業者にとってよく知られており、また本発明とは直接関係しないので、その詳細な構成は省略する。
【００３５】
次に図３、及び図４のフローチャートを参照して動作について詳細に説明する。まず、ディスク制御情報蓄積手段220によって蓄積されたデータを基に、ディスク故障予測手段210によって、RAIDを構成しているｎ台の各ディスク250-1〜250-nの故障予測をする（図４のステップB1）。複製情報決定手段240によってｎ台のディスク250-1〜250-nのうちディスクの故障確率が一番高いディスクが１台か、どうか判断する（図４のステップB2）。
【００３６】
１台の場合、そのディスクの内容を複製手段231用いてホットスペアディスク260に複製する（図４のステップB3）。その後ディスクの故障確率が二番目に高いディスクが１台か、複数台か判断する（図４のステップB4）。１台の場合、そのディスクの内容を複製手段231用いてホットスペアディスク261に複製する（図４のステップB5）。複数台（ｍ台）の場合、当該ディスクの内容を複製手段231用いて１/ｍづつホットスペアディスク261に複製する（図４のステップB6）。
【００３７】
図４のステップB2の判断でディスクの故障確率が一番高いディスクが１台ではない場合、故障確率が一番高いディスクが２台か判断する（図４のステップB7）。２台の場合、ホットスペアディスク260とホットスペアディスク261に故障が予測される２台のディスクの内容をそれぞれコピーし、複製する（図４のステップB8）。
【００３８】
２台ではない場合、ディスクの故障確率が一番高いディスクが３台以上（ｍ台）存在するので、ホットスペアディスク260とホットスペアディスク261に一番故障確率の高いディスクｍ個の内容を複製手段231用いて２/ｍづつコピーし、複製する（図４のステップB9）。例えば、ディスク150-1、150-3、150-5が故障確率の１番高いディスクと判断された時、まず、ホットスペアディスク260にディスク250‐1のデータの2/3を書き込み、次に、ディスク250-3のデータの1/3をホットスペアディスク260に書込み、残りの1/3をスペアディスク261に書込む。そして、ディスク150-5の2/3をスペアディスク261に書込む。ディスクの故障予測は時間経過で変わってくることが期待できるので、任意の期間毎にディスクの故障予測を行うのが望ましく、このため、任意の期間毎に、ステップB1からB9を繰り返す。
【００３９】
このように、本実施形態では、ホットスペアディスクを２台で構成しているので、ディスク故障予測で一番故障する確率が高いディスクの予測が外れた場合でも、二番目に故障確率を高いと判断したディスクが故障した場合に、RAID復旧時間を０にできるという効果が得られる。
【００４０】
以上のように、本発明は、ディスクアレイ装置において、デイスク故障時における冗長性が縮退した状態での運転時間を大幅に短縮することができる。特に、故障予測ロジックが優秀な場合には、冗長性が縮退した状態での運転がほとんどないような状態にすることができる。障害が予測されるディスクのデータをあらかじめホットスペアディスクに書き込んでおくためRAID最構成時のディスク書き込み時間が不要になるためである。
【００４１】
したがって、業務上運用を停止できないシステムのストレージ分野でディスクの２重障害による業務停止やデータロストを防止するのに役立つ。
【００４２】
以上本発明の実施形態について説明してきたが、本発明は、これら実施形態に限定されることはなく、発明の本旨を逸脱しない限り種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施形態のブロック図である。
【図２】本発明の第１の実施形態の動作のフローを説明する図である。
【図３】本発明の第２の実施形態のブロック図である。
【図４】本発明の第２の実施形態の動作のフローを説明する図である。
【符号の説明】
【００４４】
10、  20  ディスクアレイ装置
100、200  ディスクアレイ制御装置
130、230  RAID制御手段
110、210  ディスク故障予測手段
120、220  ディスク情報蓄積手段
131、231  複製手段
150、250  RAID構成ディスク
160、260、261  ホットスペアディスク
【図１】
2009211619.tif 000003
【図２】
2009211619.tif 000004
【図３】
2009211619.tif 000005
【図４】
2009211619.tif 000006