(57)【特許請求の範囲】
【請求項１】
データを保管するストレージシステムであって、
デイジーチェーン接続された機器とピアツーピア通信する通信プロトコルに準拠したターゲットとして前記データを記憶する複数の記憶装置と、
前記通信プロトコルに準拠したイニシエータとして前記複数の記憶装置を制御する制御装置と、
前記制御装置および前記複数の記憶装置を前記通信プロトコルに準拠してデイジーチェーン接続可能に構成された複数のエクスパンダと、
前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整するパス調整部と
を備え、
前記パス調整部は、
前記複数の記憶装置に記憶されているデータの中から調整対象となるデータを特定する対象特定部と、
前記対象特定部によって特定されたデータのデータ転送経路となるエクスパンダの数が減少するように、前記対象特定部によって特定されたデータを格納すべき記憶装置を前記複数の記憶装置の中から選定する移動先選定部と、
前記対象特定部によって特定されたデータを、前記移動先選定部によって選定された記憶装置に移動させるデータ移動部と
を備え、
前記制御装置には、前記複数のエクスパンダが直列に数珠繋ぎで環状に接続されており、
前記対象特定部は、前記複数の記憶装置に記憶されているデータのうち、当該ストレージシステムにエクスパンダが増設された際に前記制御装置との間でデータ転送経路となるエクスパンダの数が増加したデータを、前記調整対象として特定する手段を含む、ストレージシステム。
【請求項２】
前記移動先選定部は、前記対象特定部によって特定されたデータに要求されるデータ転送速度に応じて、該データのデータ転送経路となるエクスパンダの数が減少するように、該データを格納すべき記憶装置を前記複数の記憶装置の中から選定する請求項１記載のストレージシステム。
【請求項３】
前記対象特定部は、前記複数の記憶装置に記憶されているデータのうち、より少ないエクスパンダの数で前記制御装置に接続された他の記憶装置におけるデータよりも要求されるデータ転送速度が高いデータを、前記調整対象として特定する手段を含む、請求項１または２記載のストレージシステム。
【請求項４】
前記対象特定部は、前記複数の記憶装置に記憶されているデータのうち、より少ないエクスパンダの数で前記制御装置に接続された他の記憶装置におけるデータよりもアクセス頻度が高いデータを、前記調整対象として特定する手段を含む、請求項１ないし３のいずれか記載のストレージシステム。
【請求項５】
前記対象特定部は、前記複数の記憶装置に記憶されているデータのうち、当該ストレージシステムに保管されているデータ量が所定値を超えた際に前記制御装置との間でデータ転送経路となるエクスパンダの数が所定数を超える記憶装置に記憶されているデータを、前記調整対象として特定する手段を含む、請求項１ないし４のいずれか記載のストレージシステム。
【請求項６】
請求項１から請求項５までのいずれか一項に記載のストレージシステムであって、
前記移動先選定部は、
前記対象特定部によって特定されたデータに要求されるデータ転送速度を満たすエクスパンダの位置を、記憶装置の増設位置として提示する手段と、
前記増設位置の提示に基づいて前記増設位置に増設された記憶装置を、前記対象特定部によって特定されたデータを格納すべき記憶装置として選定する手段と
を含む、ストレージシステム。
【請求項７】
前記対象特定部は、前記複数の記憶装置に記憶されているデータのうち所定値以下のデータ長でアクセスされるデータを、前記調整対象として特定する手段を含む、請求項１ないし６のいずれか記載のストレージシステム。
【請求項８】
前記対象特定部は、前記複数の記憶装置に記憶されているデータのうちランダムアクセスされるデータを、前記調整対象として特定する手段を含む、請求項１ないし７のいずれか記載のストレージシステム。
【請求項９】
請求項１ないし８のいずれか記載のストレージシステムであって、
更に、前記複数の記憶装置における記憶領域を複数の論理ユニットとして管理する論理ユニット管理部を備え、
前記対象特定部は、前記論理ユニット管理部によって管理される論理ユニット単位で、前記複数の記憶装置に記憶されているデータの中から調整対象となるデータを特定する、ストレージシステム。
【請求項１０】
請求項１から請求項９までのいずれか一項に記載のストレージシステムであって、
前記パス調整部は、更に、
前記複数の記憶装置の中から調整対象となる記憶装置を特定する装置特定部と、
前記装置特定部によって特定された記憶装置に至る第１のデータ転送経路となるエクスパンダの数と、該記憶装置に至る第２のデータ転送経路となるエクスパンダの数とを比較するパス比較部と、
前記パス比較部によって比較されたデータ転送経路のうちエクスパンダの数が少ない方のデータ転送経路を、前記装置特定部によって特定された記憶装置に用いるデータ転送経路として設定するパス設定部と
を備える、ストレージシステム。
【請求項１１】
請求項１０記載のストレージシステムであって、
前記制御装置は、前記複数のエクスパンダのうち第１および第２のエクスパンダとそれぞれ直接的に並行して接続され、
前記パス比較部は、前記第１のエクスパンダを経由する第１のデータ転送経路となるエクスパンダの数と、前記第２のエクスパンダを経由する第２のデータ転送経路となるエクスパンダの数とを比較する、ストレージシステム。
【請求項１２】
請求項１０記載のストレージシステムであって、
前記複数のエクスパンダのうち、第１のエクスパンダは、第２および第３のエクスパンダとそれぞれ直接的に並行して接続され、
前記パス比較部は、前記第１および第２のエクスパンダを経由する第１のデータ転送経路となるエクスパンダの数と、前記第１および第３のエクスパンダを経由する第２のデータ転送経路となるエクスパンダの数とを比較する、ストレージシステム。
【請求項１３】
請求項１０記載のストレージシステムであって、
前記制御装置は、第１および第２の制御装置を備え、
前記パス比較部は、前記第１の制御装置を経由する第１のデータ転送経路となるエクスパンダの数と、前記第２の制御装置を経由する第２のデータ転送経路となるエクスパンダの数とを比較する、ストレージシステム。
【請求項１４】
前記パス調整部は、当該ストレージシステムに制御装置，記憶装置およびエクスパンダの少なくとも一つが増設された場合、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整する請求項１ないし１３のいずれか記載のストレージシステム。
【請求項１５】
前記パス調整部は、当該ストレージシステムにアクセスするアクセス元が増設された場合、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整する請求項１ないし１４のいずれか記載のストレージシステム。
【請求項１６】
前記パス調整部は、当該ストレージシステムに保管されているデータ量が所定値を超えた場合、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整する請求項１ないし１５のいずれか記載のストレージシステム。
【請求項１７】
前記パス調整部は、当該ストレージシステムに新たなデータが保管される場合、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整する請求項１ないし１６のいずれか記載のストレージシステム。
【請求項１８】
前記パス調整部は、当該ストレージシステムにアクセス要求が発生した場合、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整する請求項１ないし１７のいずれか記載のストレージシステム。
【請求項１９】
前記パス調整部は、定期的に、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整する請求項１ないし１８のいずれか記載のストレージシステム。
【請求項２０】
前記通信プロトコルは、ＳＡＳおよびＳＡＴＡの少なくとも一方に対応するプロトコルである請求項１ないし１９のいずれか記載のストレージシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計算機システムにおいてデータを保管するストレージシステムに関し、特に、デイジーチェーン接続された複数の記憶装置を備えるストレージシステムに関する。
【背景技術】
【０００２】
ストレージシステムには、ハードディスクドライブ（Hard Disk Drive、ＨＤＤ）を始めとする複数の記憶装置（ストレージデバイス）と、これら複数の記憶装置を制御する制御装置とを、エクスパンダを介してデイジーチェーン(Daisy chain)接続したものがある。このようなストレージシステムでは、制御装置と記憶装置との間でピアツーピア（Peer to Peer）通信するためにＳＡＳ（Serial Attached SCSI）やＳＡＴＡ（Serial ATA）などの通信プロトコルを適用することが考えられる。下記非特許文献１には、ＳＡＳの標準仕様が開示されている。
【０００３】
【非特許文献１】Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ−Ｓｅｒｉａｌ  Ａｔｔａｃｈｅｄ  ＳＣＳＩ−１．１（ＳＡＳ−１．１），ＩＳＯ／ＩＥＣ  １４７７６−１５１，２００５年９月２１日
【発明の開示】
【発明が解決しようとする課題】
【０００４】
デイジーチェーン接続された複数の記憶装置を備えるストレージシステムでは、制御装置と記憶装置との間でデータ転送経路となるエクスパンダの数が多くなるほどレイテンシが増大してしまうにもかかわらず、従来、データ転送経路となるエクスパンダがレイテンシに与える影響について十分な考慮がなされていなかった。なお、本明細書では、レイテンシとは、ストレージシステムに接続されたホスト計算機がストレージシステムにデータを要求してから、実際にデータがホストに到着するまでにかかる遅延時間を意味する。例えば、ストレージシステムにおける記憶容量の不足への対応として、エクスパンダを付け足して記憶装置を増設していった場合、アクセス頻度が比較的高いと考えられる新しいデータほど、より多くのエクスパンダを経由してデータ転送しなければならない記憶装置に格納されることになり、ストレージシステムにおける平均的なレイテンシが増大してしまうという問題があった。
【０００５】
本発明は、上記した課題を踏まえ、デイジーチェーン接続された複数の記憶装置を備えるストレージシステムにおいてレイテンシを抑制することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
本発明の一形態のストレージシステムは、データを保管するストレージシステムであって、デイジーチェーン接続された機器とピアツーピア通信する通信プロトコルに準拠したターゲットとして前記データを記憶する複数の記憶装置と、前記通信プロトコルに準拠したイニシエータとして前記複数の記憶装置を制御する制御装置と、前記制御装置および前記複数の記憶装置を前記通信プロトコルに準拠してデイジーチェーン接続する複数のエクスパンダと、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整するパス調整部とを備え、前記パス調整部は、前記複数の記憶装置に記憶されているデータの中から調整対象となるデータを特定する対象特定部と、前記対象特定部によって特定されたデータのデータ転送経路となるエクスパンダの数が減少するように、前記対象特定部によって特定されたデータを格納すべき記憶装置を前記複数の記憶装置の中から選定する移動先選定部と、前記対象特定部によって特定されたデータを、前記移動先選定部によって選定された記憶装置に移動させるデータ移動部とを備え、前記制御装置には、前記複数のエクスパンダが直列に数珠繋ぎで環状に接続されており、前記対象特定部は、前記複数の記憶装置に記憶されているデータのうち、当該ストレージシステムにエクスパンダが増設された際に前記制御装置との間でデータ転送経路となるエクスパンダの数が増加したデータを、前記調整対象として特定する手段を含む。この形態のストレージシステムによれば、直列に数珠繋ぎで環状に接続された複数のエクスパンダに対してエクスパンダを増設した場合に、エクスパンダの増設によってデータ転送経路となるエクスパンダの数が増加したデータが、データ転送経路となるエクスパンダの数が減少するように複数の記憶装置の間を移動するため、データ転送経路となるエクスパンダの数に起因するレイテンシを抑制することができる。
【０００７】
［適用例１］  適用例１のストレージシステムは、データを保管するストレージシステムであって、デイジーチェーン接続された機器とピアツーピア通信する通信プロトコルに準拠したターゲットとして前記データを記憶する複数の記憶装置と、前記通信プロトコルに準拠したイニシエータとして前記複数の記憶装置を制御する制御装置と、前記制御装置および前記複数の記憶装置を前記通信プロトコルに準拠してデイジーチェーン接続する複数のエクスパンダと、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整するパス調整部とを備え、前記パス調整部は、前記複数の記憶装置に記憶されているデータの中から調整対象となるデータを特定する対象特定部と、前記対象特定部によって特定されたデータのデータ転送経路となるエクスパンダの数が減少するように、前記対象特定部によって特定されたデータを格納すべき記憶装置を前記複数の記憶装置の中から選定する移動先選定部と、前記対象特定部によって特定されたデータを、前記移動先選定部によって選定された記憶装置に移動させるデータ移動部とを備えることを特徴とする。適用例１のストレージシステムによれば、データ転送経路となるエクスパンダの数が減少するように、複数の記憶装置におけるデータが、これらの記憶装置の間を移動するため、データ転送経路となるエクスパンダの数に起因するレイテンシを抑制することができる。
【０００８】
［適用例２］  適用例１のストレージシステムにおいて、前記移動先選定部は、前記対象特定部によって特定されたデータに要求されるデータ転送速度に応じて、該データのデータ転送経路となるエクスパンダの数が減少するように、該データを格納すべき記憶装置を前記複数の記憶装置の中から選定するとしても良い。適用例２のストレージシステムによれば、要求されるデータ転送速度に見合ったエクスパンダの数で制御装置に接続された記憶装置にデータを移動させることができる。
【０００９】
［適用例３］  適用例１または２のストレージシステムにおいて、前記対象特定部は、前記複数の記憶装置に記憶されているデータのうち、より少ないエクスパンダの数で前記制御装置に接続された他の記憶装置におけるデータよりも要求されるデータ転送速度が高いデータを、前記調整対象として特定する第１特定部を備えるとしても良い。適用例３のストレージシステムによれば、要求されるデータ転送速度が比較的に高いデータを、エクスパンダの数がより少ない記憶装置に移動させることができる。
【００１０】
［適用例４］  適用例１ないし３のいずれかのストレージシステムにおいて、前記対象特定部は、前記複数の記憶装置に記憶されているデータのうち、より少ないエクスパンダの数で前記制御装置に接続された他の記憶装置におけるデータよりもアクセス頻度が高いデータを、前記調整対象として特定する第２特定部を備えるとしても良い。適用例４のストレージシステムによれば、アクセス頻度が比較的に高いデータを、エクスパンダの数がより少ない記憶装置に移動させることができる。
【００１１】
［適用例５］  適用例１ないし４のいずれかのストレージシステムにおいて、前記対象特定部は、前記複数の記憶装置に記憶されているデータのうち、当該ストレージシステムに保管されているデータ量が所定値を超えた際に前記制御装置との間でデータ転送経路となるエクスパンダの数が所定数を超える記憶装置に記憶されているデータを、前記調整対象として特定する第３特定部を備えるとしても良い。適用例５のストレージシステムによれば、データ転送速度を改善すべきデータとして、データ量が増加した際に比較的に後段のエクスパンダに接続された記憶装置に記憶されたデータを選定することができる。
【００１２】
［適用例６］  適用例１ないし５のいずれかのストレージシステムにおいて、前記対象特定部は、前記複数の記憶装置に記憶されているデータのうち、当該ストレージシステムにエクスパンダが増設された際に前記制御装置との間でデータ転送経路となるエクスパンダの数が増加したデータを、前記調整対象として特定する第４特定部を備えるとしても良い。適用例６のストレージシステムによれば、データ転送速度を改善すべきデータとして、エクスパンダの増設によってデータ転送経路となるエクスパンダの数が増加したデータを選定することができる。
【００１３】
［適用例７］  適用例１ないし６のいずれかのストレージシステムにおいて、前記対象特定部は、前記複数の記憶装置に記憶されているデータのうち所定値以下のデータ長でアクセスされるデータを、前記調整対象として特定する第５特定部を備えるとしても良い。適用例７のストレージシステムによれば、所定値以下のデータ長でアクセスされるデータを、要求されるデータ転送速度が比較的に高いデータとして選定することができる。
【００１４】
［適用例８］  適用例１ないし７のいずれかのストレージシステムにおいて、前記対象特定部は、前記複数の記憶装置に記憶されているデータのうちランダムアクセスされるデータを、前記調整対象として特定する第６特定部を備えるとしても良い。適用例８のストレージシステムによれば、ランダムアクセスされるデータを、要求されるデータ転送速度が比較的に高いデータとして選定することができる。
【００１５】
［適用例９］  適用例１ないし９のいずれかのストレージシステムであって、更に、前記複数の記憶装置における記憶領域を複数の論理ユニットとして管理する論理ユニット管理部を備え、前記対象特定部は、前記論理ユニット管理部によって管理される論理ユニット単位で、前記複数の記憶装置に記憶されているデータの中から調整対象となるデータを特定するとしても良い。適用例９のストレージシステムによれば、データ移動が論理ユニット単位で実施されるため、ストレージシステムにおける論理ユニット構成の複雑化を防止することができる。
【００１６】
［適用例１０］  適用例１０のストレージシステムは、データを保管するストレージシステムであって、デイジーチェーン接続された機器とピアツーピア通信する通信プロトコルに準拠したターゲットとして前記データを記憶する複数の記憶装置と、前記通信プロトコルに準拠したイニシエータとして前記複数の記憶装置を制御する制御装置と、前記制御装置および前記複数の記憶装置を前記通信プロトコルに準拠してデイジーチェーン接続する複数のエクスパンダと、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整するパス調整部とを備え、前記パス調整部は、前記複数の記憶装置の中から調整対象となる記憶装置を特定する装置特定部と、前記装置特定部によって特定された記憶装置に至る第１のデータ転送経路となるエクスパンダの数と、該記憶装置に至る第２のデータ転送経路となるエクスパンダの数とを比較するパス比較部と、前記比較部によって比較されたデータ転送経路のうちエクスパンダの数が少ない方のデータ転送経路を、前記装置特定部によって特定された記憶装置に用いるデータ転送経路として設定するパス設定部とを備えることを特徴とする。適用例１０のストレージシステムによれば、エクスパンダの数がより少ないデータ転送経路がデータに応じて選定されるため、データ転送経路となるエクスパンダの数に起因するレイテンシを抑制することができる。
【００１７】
［適用例１１］  適用例１１のストレージシステムであって、前記制御装置は、前記複数のエクスパンダのうち第１および第２のエクスパンダとそれぞれ直接的に並行して接続され、前記パス比較部は、前記第１のエクスパンダを経由する第１のデータ転送経路となるエクスパンダの数と、前記第２のエクスパンダを経由する第２のデータ転送経路となるエクスパンダの数とを比較するとしても良い。適用例１１のストレージシステムによれば、制御装置に直接的に接続されたそれぞれ異なるエクスパンダを経由するデータ転送経路の中から、エクスパンダの数がより少ないデータ転送経路を選定することができる。
【００１８】
［適用例１２］  適用例１２のストレージシステムであって、前記複数のエクスパンダのうち、第１のエクスパンダは、第２および第３のエクスパンダとそれぞれ直接的に並行して接続され、前記パス比較部は、前記第１および第２のエクスパンダを経由する第１のデータ転送経路となるエクスパンダの数と、前記第１および第３のエクスパンダを経由する第２のデータ転送経路となるエクスパンダの数とを比較するとしても良い。適用例１２のストレージシステムによれば、他のエクスパンダから分岐してそれぞれ異なるエクスパンダを経由するデータ転送経路の中から、エクスパンダの数がより少ないデータ転送経路を選定することができる。
【００１９】
［適用例１３］  適用例１３のストレージシステムであって、前記制御装置は、第１および第２の制御装置を備え、前記パス比較部は、前記第１の制御装置を経由する第１のデータ転送経路となるエクスパンダの数と、前記第２の制御装置を経由する第２のデータ転送経路となるエクスパンダの数とを比較するとしても良い。適用例１３のストレージシステムによれば、それぞれ異なる制御装置を経由するデータ転送経路の中から、エクスパンダの数がより少ないデータ転送経路を選定することができる。
【００２０】
［適用例１４］  適用例１ないし１３のいずれかのストレージシステムであって、前記パス調整部は、当該ストレージシステムに制御装置，記憶装置およびエクスパンダの少なくとも一つが増設された場合、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整するとしても良い。適用例１４のストレージシステムによれば、制御装置や記憶装置，エクスパンダの増設に応じて、データ転送経路となるエクスパンダの数に起因するレイテンシを抑制することができる。
【００２１】
［適用例１５］  適用例１ないし１４のいずれかのストレージシステムであって、前記パス調整部は、当該ストレージシステムにアクセスするアクセス元が増設された場合、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整するとしても良い。適用例１５のストレージシステムによれば、増設されたアクセス元に応じて、データ転送経路となるエクスパンダの数に起因するレイテンシを抑制することができる。
【００２２】
［適用例１６］  適用例１ないし１５のいずれかのストレージシステムであって、前記パス調整部は、当該ストレージシステムに保管されているデータ量が所定値を超えた場合、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整するとしても良い。適用例１６のストレージシステムによれば、ストレージシステムに保管されているデータ量に応じて、データ転送経路となるエクスパンダの数に起因するレイテンシを抑制することができる。
【００２３】
［適用例１７］  適用例１ないし１６のいずれかのストレージシステムであって、前記パス調整部は、当該ストレージシステムに新たなデータが保管される場合、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整するとしても良い。適用例１７のストレージシステムによれば、ストレージシステムに新たに保管されるデータに応じて、データ転送経路となるエクスパンダの数に起因するレイテンシを抑制することができる。
【００２４】
［適用例１８］  適用例１ないし１７のいずれかのストレージシステムであって、前記パス調整部は、当該ストレージシステムにアクセス要求が発生した場合、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整するとしても良い。適用例１８のストレージシステムによれば、発生したアクセス要求に応じて、データ転送経路となるエクスパンダの数に起因するレイテンシを抑制することができる。
【００２５】
［適用例１９］  適用例１ないし１８のいずれかのストレージシステムであって、前記パス調整部は、定期的に、前記制御装置と前記記憶装置との間でデータ転送経路となるエクスパンダの数を調整するとしても良い。適用例１９のストレージシステムによれば、データ転送経路となるエクスパンダの数に起因するレイテンシを抑制するための処理を定期的に実施することができる。
【００２６】
［適用例２０］  適用例１ないし１９のいずれかのストレージシステムであって、前記通信プロトコルは、ＳＡＳおよびＳＡＴＡの少なくとも一方に対応するプロトコルであるとしても良い。適用例２０のストレージシステムによれば、ＳＡＳ（Serial Attached SCSI）やＳＡＴＡ（Serial ATA）が適用されたストレージシステムにおいて、データ転送経路となるエクスパンダの数に起因するレイテンシを抑制することができる。
【００２７】
本発明の形態は、ストレージシステムの形態に限るものではなく、例えば、ストレージステムを管理する管理装置の他、ストレージシステムや管理装置の機能をコンピュータに実現させるためのプログラム、これらのプログラムをコンピュータ読み取り可能に記録した記録媒体、ストレージシステムを管理する方法などの種々の形態に適用することも可能である。また、本発明は、前述の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。
【発明を実施するための最良の形態】
【００２８】
以上説明した本発明の構成および作用を一層明らかにするために、以下本発明を適用した計算機システムについて次の順序で説明する。
Ａ．第１の実施例
Ａ１．計算機システムの構成
Ａ２．計算機システムの動作
Ａ３．効果
Ａ４．変形例
Ａ４−１．変形例ａ１
Ａ４−２．変形例ａ２
Ａ４−３．変形例ａ３
Ａ４−４．変形例ａ４
Ａ４−５．変形例ａ５
Ａ４−６．変形例ａ６
Ａ４−７．変形例ａ７
Ａ４−８．変形例ａ８
Ａ４−９．変形例ａ９
Ａ４−１０．変形例ａ１０
Ｂ．第２の実施例
Ｂ１．計算機システムの構成
Ｂ２．計算機システムの動作
Ｂ３．効果
Ｂ４．変形例
Ｂ４−１．変形例ｂ１
Ｂ４−２．変形例ｂ２
Ｂ４−３．変形例ｂ３
Ｃ．その他の実施形態
Ｃ１．変形例ａ１１
【００２９】
Ａ．第１の実施例：
Ａ１．計算機システムの構成：
図１は、計算機システム１０の構成を示す説明図である。計算機システム１０は、ホスト計算機３０と、ストレージシステム２０と、ストレージネットワーク４０とを備える。計算機システム１０のホスト計算機３０は、電子的に情報処理を実行する。ホスト計算機３０は、セントラルプロセッシングユニット（Central Processing Unit、以下「ＣＰＵ」という）やメモリ、各種インタフェースなどのハードウェア資源を備え、ソフトウェアに基づく各種の情報処理を実行する計算機である。計算機システム１０のストレージシステム２０は、ホスト計算機３０の指示に基づいて、ホスト計算機３０で処理されるデータを保管する。ストレージシステム２０の詳細構成については後述する。計算機システム１０のストレージネットワーク４０は、ホスト計算機３０とストレージシステム２０との間でデータをやり取り可能に接続する。本実施例では、ストレージシステム２０は、複数のホスト計算機３０とストレージネットワーク４０を介して接続可能であり、複数のホスト計算機３０で処理されるデータをそれぞれ保管することが可能である。
【００３０】
本実施例では、計算機システム１０は、更に、ストレージ管理装置６０と、管理ネットワーク５０とを備える。計算機システム１０のストレージ管理装置６０は、ストレージシステム２０の動作を管理する。ストレージ管理装置６０は、ＣＰＵやメモリ、各種インタフェースなどのハードウェア資源を備え、ソフトウェアに基づく各種の情報処理を実行する計算機である。計算機システム１０の管理ネットワーク５０は、ストレージ管理装置６０とストレージシステム２０との間でデータをやり取り可能に接続する。本実施例では、管理ネットワーク５０は、ストレージネットワーク４０とは異なるネットワークとして構成されるが、他の実施形態として、管理ネットワーク５０は、ストレージネットワーク４０と共通するネットワークとして構成されても良い。
【００３１】
図２は、第１の実施例におけるストレージシステム２０の構成を主に示す説明図である。ストレージシステム２０は、ＳＡＳコントローラ２５０と、複数のエクスパンダ２６０と、複数のハードディスクドライブ(Hard Disk Drive、以下、「ＨＤＤ」という)２７０とを備える。ストレージシステム２０のＳＡＳコントローラ２５０は、ＳＡＳ（Serial Attached SCSI、以下「ＳＡＳ」という）に準拠したＳＡＳイニシエータとして動作する回路チップや接続ポートを備え、ＨＤＤ２７０に対するデータの書き込みおよび読み出しを制御する。ストレージシステム２０のエクスパンダ２６０は、ＳＡＳに準拠したＳＡＳエクスパンダとして動作する回路チップや接続ポートを備え、ＳＡＳコントローラ２５０とＨＤＤ２７０との間をＳＡＳに準拠してデータ転送可能にデイジーチェーン(Daisy chain)接続する。
【００３２】
ストレージシステム２０のＨＤＤ２７０は、磁性体を塗布したハードディスクや磁気ヘッドに加え、ＳＡＳターゲットとして動作する回路チップを備え、ＳＡＳコントローラ２５０の指示に基づいてデータを記憶する。本実施例では、ＳＡＳイニシエータとしてデータを記憶する記憶装置にＨＤＤを採用したが、他の実施形態として、ＤＶＤ（Digital Versatile Disk）ドライブや半導体メモリなど他の記憶装置を利用しても良い。本実施例では、ＳＡＳコントローラ２５０とＨＤＤ２７０との間におけるデータ転送に用いる通信プロトコルとしてＳＡＳを採用したが、ＳＡＳに限定するものではなく、デイジーチェーン接続された機器とピアツーピア通信する通信プロトコルであれば良く、例えば、ＳＡＴＡ（Serial ATA）を採用しても良い。
【００３３】
図２に示す例では、ＳＡＳコントローラ２５０には、「ｎ」（「ｎ」は自然数）台のエクスパンダ２６０が直列に数珠繋ぎで接続されている。これらエクスパンダ２６０の各々には、それぞれ一台のＨＤＤ２７０が接続され、合計「ｎ」台のＨＤＤ２７０がＳＡＳコントローラ２５０にデイジーチェーン接続されている。図２に示す例では、一台のエクスパンダ２６０に一台のＨＤＤ２７０が接続されているが、他の実施形態において、一台のエクスパンダ２６０に複数のＨＤＤ２７０が接続されても良いし、ＨＤＤ２７０と直接的に接続されていないエクスパンダ２６０が存在しても良い。本明細書では、エクスパンダの符号に関し、ＳＡＳコントローラ２５０との位置関係を特定する場合には、ＳＡＳコントローラ２５０に近い方から順に、エクスパンダ２６０−１，２６０−２，２６０−３，…，２６０−ｎと記すが、ＳＡＳコントローラ２５０からの位置を特定しない場合には、これらを総称して、単に、エクスパンダ２６０と記すものとする。本明細書では、ＨＤＤの符号に関し、ＳＡＳコントローラ２５０との位置関係を特定する場合には、ＳＡＳコントローラ２５０に近い方から順に、ＨＤＤ２７０−１，２７０−２，２７０−３，…，２７０−ｎと記すが、ＳＡＳコントローラ２５０からの位置を特定しない場合には、これらを総称して、単に、ＨＤＤ２７０と記すものとする。
【００３４】
ストレージシステム２０は、更に、ホストインタフェース２２０と、スイッチ２３０と、ディスクインタフェース２４０と、管理インタフェース２１８と、主制御部２１０とを備える。ストレージシステム２０のホストインタフェース２２０は、ホスト計算機３０とデータをやり取り可能にストレージネットワーク４０に接続し、ホスト計算機３０からデータの書き込みや読み出しなどのアクセスリクエスト（アクセス要求）を受け付けると共に、これらのリクエストに対する応答をホスト計算機３０へと転送する。ストレージシステム２０のスイッチ２３０は、ホストインタフェース２２０とディスクインタフェース２４０との間のデータ転送経路を切り換える。ストレージシステム２０のディスクインタフェース２４０は、前述したＳＡＳコントローラ２５０を備え、ホストインタフェース２２０で受け付けられたコマンドに従って、ＨＤＤ２７０におけるデータの書き込みや読み出しを、ＳＡＳコントローラ２５０を通じて制御する。本実施例では、ホスト計算機３０からのアクセスリクエストに基づいて転送されるデータを円滑にやり取りするために、ホストインタフェース２２０、スイッチ２３０、ディスクインタフェース２４０の各々は、転送データを一時的に記憶するキャッシュメモリ（図示しない）を備える。ストレージシステム２０の管理インタフェース２１８は、ストレージ管理装置６０とデータをやり取り可能に管理ネットワーク５０に接続する。
【００３５】
ストレージシステム２０の主制御部２１０は、ホスト計算機３０からのアクセスリクエストに対してデータの書き込みや読み出しを処理するために、ストレージ管理装置６０からの指示情報や設定情報に従って、ホストインタフェース２２０、スイッチ２３０、ディスクインタフェース２４０の各部を制御する。主制御部２１０は、ＬＵ管理部８１０と、対象特定部８３０と、移動先選定部８５０と、データ移動部８６０とを備える。主制御部２１０のＬＵ管理部８１０は、複数のＨＤＤ２７０における記憶領域を複数の論理ユニット（Logical Unit、本明細書では「ＬＵ」ともいう）として管理する。本実施例では、ＬＵ管理部８１０は、ＲＡＩＤ（Redundant Arrays of Independent (Inexpensive) Disks、レイド）技術を用いて複数のＨＤＤ２７０を管理する。
【００３６】
主制御部２１０の対象特定部８３０、移動先選定部８５０、データ移動部８６０は、ＳＡＳコントローラ２５０とＨＤＤ２７０との間でデータ転送経路となるエクスパンダ２６０の数を調整するパス調整部として処理を実行する。パス調整部を構成する対象特定部８３０は、複数のＨＤＤ２７０に記憶されているデータの中から調整対象となるデータを特定する。パス調整部を構成する移動先選定部８５０は、対象特定部８３０によって特定されたデータのデータ転送経路となるエクスパンダ２６０の数が減少するように、そのデータを格納すべきＨＤＤ２７０を複数のＨＤＤ２７０−１〜２７０−ｎの中から選定する。本実施例では、対象特定部８３０によって特定されるデータは、ＬＵ管理部８１０によって管理される論理ユニット単位で選定され、その対象特定部８３０によって特定された論理ユニットが複数のＨＤＤ２７０で構成されている場合、移動先選定部８５０は、その論理ユニットにおけるデータを格納すべきＨＤＤ２７０として、その論理ユニットを構成するのに十分な記憶領域を有する複数のＨＤＤ２７０を選定する。パス調整部を構成するデータ移動部８６０は、対象特定部によって特定されたデータを、移動先選定部８５０によって選定されたＨＤＤ２７０に移動させる。本実施例では、データの移動とは、移動先の記憶領域にデータを複製し、移動元の記憶領域からデータを削除することを意味する。
【００３７】
本実施例では、主制御部２１０は、ＣＰＵ２１２と、メモリ２１４とを備える。本実施例では、ＬＵ管理部８１０、対象特定部８３０、移動先選定部８５０、データ移動部８６０の各機能は、ＣＰＵ２１２がソフトウェアに基づいて演算処理を実行することによって実現される。なお、他の実施形態として、ＬＵ管理部８１０、対象特定部８３０、移動先選定部８５０、データ移動部８６０の少なくとも一部の機能は、主制御部２１０の電子回路がその物理的な回路構成に基づいて動作することによって実現されるとしても良い。主制御部２１０の動作についての詳細は後述する。
【００３８】
主制御部２１０のメモリ２１４には、ＬＵ管理テーブル９１０と、要求性能テーブル９２０と、性能対応データ９３０とが記憶されている。
【００３９】
図３は、第１の実施例におけるＬＵ管理テーブル９１０を示す説明図である。ＬＵ管理テーブル９１０は、ＬＵ管理部８１０によって管理されている論理ユニットとエクスパンダ２６０およびＨＤＤ２７０との関係を示す情報を格納したデータである。本実施例では、ＬＵ管理テーブル９１０は、論理ユニットの構成やＨＤＤ２７０の接続構成が変更された場合に更新される。ＬＵ管理テーブル９１０の更新についての詳細は後述する。
【００４０】
ＬＵ管理テーブル９１０には、ＬＵ識別符号９１１０と、ＨＤＤ識別符号９１２０と、エクスパンダ段数９１３０とが格納されている。ＬＵ管理テーブル９１０のＬＵ識別符号９１１０は、ＬＵ管理部８１０によって管理されている論理ユニットの各々を特定するデータである。ＬＵ管理テーブル９１０のＨＤＤ識別符号９１２０は、ＬＵ識別符号９１１０に対応する論理ユニットが構成されているＨＤＤ２７０を特定するデータである。ＬＵ管理テーブル９１０のエクスパンダ段数９１３０は、ＬＵ識別符号９１１０に対応する論理ユニットとＳＡＳコントローラ２５０との間でデータ転送経路となるエクスパンダ２６０の数を示すデータである。すなわち、エクスパンダ段数９１３０は、その論理ユニットが構成されているＨＤＤ２７０とＳＡＳコントローラ２５０との間でデータ転送経路となるエクスパンダ２６０の数を示すデータである。
【００４１】
図３の例では、ＬＵ識別符号「ＬＵ０」で特定される論理ユニットは、ＨＤＤ識別符号「ＨＤＤ２」で特定されるＨＤＤ２７０−２に構成され、そのエクスパンダ段数は「２」であることが示されている。ＬＵ識別符号「ＬＵ１」で特定される論理ユニットは、ＨＤＤ識別符号「ＨＤＤ５」で特定されるＨＤＤ２７０−５に構成され、そのエクスパンダ段数は「５」であることが示されている。ＬＵ識別符号「ＬＵ２」で特定される論理ユニットは、ＨＤＤ識別符号「ＨＤＤ３」で特定されるＨＤＤ２７０−３に構成され、そのエクスパンダ段数は「３」であることが示されている。ＬＵ識別符号「ＬＵ３」で特定される論理ユニットは、ＨＤＤ識別符号「ＨＤＤ４」で特定されるＨＤＤ２７０−４に構成され、そのエクスパンダ段数は「４」であることが示されている。図３の例では、エクスパンダ段数が「１」であり、ＨＤＤ識別符号「ＨＤＤ１」で特定されるＨＤＤ２７０−１には、論理ユニットが構成されていないことが示されている。
【００４２】
図４は、主制御部２１０の要求性能テーブル９２０を示す説明図である。要求性能テーブル９２０は、ＬＵ管理部８１０によって管理されている論理ユニットに要求される要求性能を示す情報を格納したデータである。本実施例では、要求性能テーブル９２０は、ストレージシステム２０の管理者がストレージ管理装置６０を操作することによって主制御部２１０に格納される。要求性能テーブル９２０には、ＬＵ識別符号９２１０と、要求性能９２２０とが格納されている。要求性能テーブル９２０のＬＵ識別符号９２１０は、ＬＵ管理部８１０によって管理されている論理ユニットの各々を特定するデータである。要求性能テーブル９２０の要求性能９２２０は、ＬＵ識別符号９２１０に対応する論理ユニットの要求性能を示すデータであり、本実施例では、その論理ユニットのデータをＨＤＤ２７０からＳＡＳコントローラ２５０へと転送するのに要求されるデータ転送速度を示すデータである。図４の例では、ＬＵ識別符号「ＬＵ０」で特定される論理ユニットは、８００メガビット毎秒（以下、「ＭＢ／ｓ」と記す）のデータ転送速度が要求されることが示されている。ＬＵ識別符号「ＬＵ１」で特定される論理ユニットは、５００ＭＢ／ｓのデータ転送速度が要求されることが示されている。ＬＵ識別符号「ＬＵ２」および「ＬＵ３」で特定される論理ユニットは、３００ＭＢ／ｓのデータ転送速度が要求されることが示されている。
【００４３】
図５は、主制御部２１０の性能対応データ９３０を示す説明図である。性能対応データ９３０は、要求性能テーブル９２０に示された要求性能を満足するエクスパンダ段数を示すデータである。本実施例では、性能対応データ９３０は、ストレージシステム２０の管理者がストレージ管理装置６０を操作することによって主制御部２１０に格納される。図５の例では、エクスパンダ段数が「２」以下であれば、８００ＭＢ／ｓの要求性能を実現できることが示されている。エクスパンダ段数が「５」以下であれば、５００ＭＢ／ｓの要求性能を実現でき、エクスパンダ段数が「８」以下であれば、３００ＭＢ／ｓの要求性能を実現できることが示されている。
【００４４】
Ａ２．計算機システムの動作：
図６は、第１の実施例においてストレージシステム２０の主制御部２１０が実行するパス調整処理（ステップＳ１００）を示すフローチャートである。本実施例では、ストレージシステム２０の主制御部２１０は、図６のパス調整処理（ステップＳ１００）を定期的に実行する。本実施例では、図６のパス調整処理（ステップＳ１００）は、主制御部２１０のＣＰＵ２１２がソフトウェアに基づいて動作することによって実現されるが、他の実施形態として、主制御部２１０の電子回路がその物理的な回路構成に基づいて動作することによって実現されても良い。
【００４５】
ストレージシステム２０の主制御部２１０は、図６のパス調整処理（ステップＳ１００）を開始すると、ＳＡＳコントローラ２５０やエクスパンダ２６０、ＨＤＤ２７０の増設，移設，撤去などに伴って、ＨＤＤ２７０の接続構成に変化があるか否かを判断する（ステップＳ１１０）。本実施例では、主制御部２１０は、ＨＤＤ２７０の接続構成をＳＡＳコントローラ２５０に問い合わせることによって、ＨＤＤ２７０の接続構成に変化があるか否かを判断する（ステップＳ１１０）。ＨＤＤ２７０の接続構成に変化がある場合（ステップＳ１１０）、主制御部２１０は、ＬＵ管理テーブル更新処理を実行する（ステップＳ１２０）。ＬＵ管理テーブル更新処理（ステップＳ１２０）において、主制御部２１０は、ＨＤＤ２７０の接続構成の変化をＬＵ管理テーブル９１０に反映させる。
【００４６】
図７は、図６におけるＬＵ管理テーブル更新処理（ステップＳ１２０）の詳細を示すフローチャートである。主制御部２１０は、図７のＬＵ管理テーブル更新処理（ステップＳ１２０）を開始すると、複数のＨＤＤ２７０における論理ユニットの構成を示す構成情報を、ストレージ管理装置６０から取得する（ステップＳ１２１０）。その後、主制御部２１０は、ＨＤＤ２７０とエクスパンダ２６０との対応関係を示す対応情報を、ＳＡＳコントローラ２５０から取得する（ステップＳ１２２０）。その後、主制御部２１０は、ストレージ管理装置６０から取得した論理ユニットの構成情報と、ＳＡＳコントローラ２５０から取得したＨＤＤ２７０とエクスパンダ２６０との対応情報とに基づいて、論理ユニットに対応付けられたＨＤＤ２７０が位置するエクスパンダ段数を算出する（ステップＳ１２３０）。その後、主制御部２１０は、算出したエクスパンダ段数に基づいてＬＵ管理テーブル９１０を書き換える（ステップＳ１２４０）。ＬＵ管理テーブル９１０が書き換えられた後、主制御部２１０は、ＬＵ管理テーブル更新処理（ステップＳ１１０）を終了する。
【００４７】
図６の説明に戻り、ＬＵ管理テーブル更新処理（ステップＳ１２０）の後、ストレージシステム２０の主制御部２１０は、対象特定部８３０として動作することによって対象特定処理を実行する（ステップＳ１３０）。対象特定処理（ステップＳ１３０）において、主制御部２１０は、複数のＨＤＤ２７０に記憶されているデータの中から調整対象となるデータを特定する。本実施例では、対象特定処理（ステップＳ１３０）で調整対象として特定されるデータは、ＬＵ管理部８１０によって管理される論理ユニット単位で特定されるが、他の実施形態として、論理ユニットにおけるファイル単位で特定されるとしても良い。
【００４８】
図８は、図６における対象特定処理（ステップＳ１３０）の詳細を示すフローチャートである。主制御部２１０は、図８の対象特定処理（ステップＳ１３０）を開始すると、メモリ２１４に記憶されている要求性能テーブル９２０を参照して、各論理ユニットに要求される要求性能を確認する（ステップＳ１３１２）。その後、主制御部２１０は、メモリ２１４に記憶されているＬＵ管理テーブル９１０を参照して、各論理ユニットが位置するエクスパンダ段数を確認する（ステップＳ１３１４）。その後、主制御部２１０は、より少ないエクスパンダ段数の他の論理ユニットよりも要求性能が高い論理ユニットにおけるデータを、調整対象データとして特定する（ステップＳ１３１６）。図３のＬＵ管理テーブル９１０および図４の要求性能テーブル９２０に示す例では、エクスパンダ段数「５」の論理ユニット「ＬＵ１」は、要求性能「５００ＭＢ／ｓ」であるところ、エクスパンダ段数「３」の論理ユニット「ＬＵ２」や、エクスパンダ段数「４」の論理ユニット「ＬＵ３」は、要求性能「３００ＭＢ／ｓ」である。したがって、図３および図４に示す状況では、対象特定処理（ステップＳ１３０）において、論理ユニット「ＬＵ１」におけるデータが調整対象データとして特定される。調整対象データが特定された後（ステップＳ１３１６）、主制御部２１０は、対象特定処理（ステップＳ１３０）を終了する。
【００４９】
図６の説明に戻り、対象特定処理（ステップＳ１３０）において調整対象データが特定されない場合（ステップＳ１４０：「ＮＯ」）、例えば、ＳＡＳコントローラ２５０やエクスパンダ２６０、ＨＤＤ２７０の増設，移設，撤去などＨＤＤ２７０の接続構成に変化があっても、論理ユニットに対する要求性能とエクスパンダ段数との関係が維持できる場合、ストレージシステム２０の主制御部２１０は、調整対象データがない、すなわち、調整対象データが特定されなかったと判断し、パス調整処理（ステップＳ１００）を終了する。一方、対象特定処理（ステップＳ１３０）において調整対象データが特定された場合（ステップＳ１４０：「ＹＥＳ」）、ストレージシステム２０の主制御部２１０は、移動先選定部８５０として動作することによって移動先選定処理を実行する（ステップＳ１５０）。移動先選定処理（ステップＳ１５０）において、主制御部２１０は、対象特定処理（ステップＳ１３０）において特定された調整対象データのデータ転送経路となるエクスパンダの数が減少するように、その調整対象データを格納すべきＨＤＤを複数のＨＤＤ２７０の中から選定する。
【００５０】
図９は、図６における移動先選定処理（ステップＳ１５０）の詳細を示すフローチャートである。主制御部２１０は、図９の移動先選定処理（ステップＳ１５０）を開始すると、メモリ２１４に記憶されている要求性能テーブル９２０を参照して、調整対象データとして特定された論理ユニットに要求される要求性能を確認する（ステップＳ１５１２）。その後、主制御部２１０は、メモリ２１４に記憶されている性能対応データ９３０を参照して、調整対象データの要求性能を満たすエクスパンダ段数を確認する（ステップＳ１５１４）。その後、主制御部２１０は、要求性能を満たすエクスパンダ段数以下のＨＤＤ２７０を、調整対象データの移動先として選定する（ステップＳ１５１６）。
【００５１】
本実施例では、先の対象特定処理（ステップＳ１３０）において、論理ユニット「ＬＵ１」におけるデータが調整対象データとして特定されている。そこで、移動先選定処理（ステップＳ１５０）では、図４の要求性能テーブル９２０に基づいて、論理ユニット「ＬＵ１」の要求性能は「５００ＭＢ／ｓ」であると確認される（ステップＳ１５１２）。その後、図５の性能対応データ９３０に基づいて、要求性能「５００ＭＢ／ｓ」を満たすエクスパンダ段数は「５」以下であると確認される（ステップＳ１５１４）。したがって、図４および図５に示す状況では、移動先選定処理（ステップＳ１５０）において、エクスパンダ段数「５」以下である５台のＨＤＤ２７０−１〜２７０−５が移動先として選定される（ステップＳ１５１６）。
【００５２】
調整対象データの移動先が選定された後（ステップＳ１５１６）、主制御部２１０は、移動先として複数のＨＤＤ２７０が選定された場合であって、これらのＨＤＤ２７０の総記憶容量が調整対象データの総記憶容量を超える場合に、調整対象データの移動先を絞り込む必要があるか否かを判断する（ステップＳ１５３１）。移動先を絞り込む必要がある場合（ステップＳ１５３１：「ＹＥＳ」）、主制御部２１０は、ＬＵ管理テーブル９１０および要求性能テーブル９２０を参照して、要求性能を満たすエクスパンダ段数以下のＨＤＤ２７０の中から、要求性能がより低い論理ユニットに割り当てられているＨＤＤ２７０を移動先として絞り込む（ステップＳ１５３２）。
【００５３】
その後、主制御部２１０は、調整対象データの移動先を更に絞り込む必要があるか否かを判断する（ステップＳ１５３３）。移動先を更に絞り込む必要がある場合（ステップＳ１５３３：「ＹＥＳ」）、主制御部２１０は、ＳＡＳコントローラ２５０で管理されている各ＨＤＤ２７０のアクセスログを参照して、要求性能を満たすエクスパンダ段数以下で要求性能がより低い論理ユニットに割り当てられているＨＤＤ２７０の中から、アクセス頻度がより低い論理ユニットに割り当てられているＨＤＤ２７０を移動先として絞り込む（ステップＳ１５３４）。
【００５４】
その後、主制御部２１０は、調整対象データの移動先を更に絞り込む必要があるか否かを判断する（ステップＳ１５３５）。移動先を更に絞り込む必要がある場合（ステップＳ１５３５：「ＹＥＳ」）、主制御部２１０は、ＬＵ管理テーブル９１０を参照して、要求性能を満たすエクスパンダ段数以下で要求性能およびアクセス頻度がより低い論理ユニットに割り当てられているＨＤＤ２７０の中から、論理ユニット番号すなわちＬＵ識別符号９１１０がより小さい論理ユニットに割り当てられているＨＤＤ２７０を移動先として絞り込む（ステップＳ１５３６）。
【００５５】
論理ユニット番号がより小さい論理ユニットのＨＤＤ２７０が移動先として絞り込まれた後（ステップＳ１５３６）、主制御部２１０は、移動先選定処理（ステップＳ１５０）を終了する。また、移動先の絞り込みが必要でない場合（ステップＳ１５３１，Ｓ１５３３，Ｓ１５３５）、主制御部２１０は、移動先選定処理（ステップＳ１５０）を終了する。
【００５６】
図６の説明に戻り、移動先選定処理（ステップＳ１５０）の後、ストレージシステム２０の主制御部２１０は、データ移動部８６０として動作することによってデータ移動処理を実行する（ステップＳ１６０）。データ移動処理（ステップＳ１６０）において、主制御部２１０は、対象特定処理（ステップＳ１３０）で特定された調整対象データである論理ユニットのデータを、移動先選定処理（ステップＳ１５０）で選定されたＨＤＤ２７０に移動させる。
【００５７】
図１０は、図６におけるデータ移動処理（ステップＳ１６０）の詳細を示すフローチャートである。主制御部２１０は、図１０のデータ移動処理（ステップＳ１６０）を開始すると、移動先選定処理（ステップＳ１５０）で移動先として選定されたＨＤＤ２７０における記憶領域に、調整対象データのデータ量に相当する空き領域があるか否かを判断する（ステップＳ１６１０）。移動先として選定されたＨＤＤ２７０に空き領域がある場合（ステップＳ１６１０）、主制御部２１０は、対象特定処理（ステップＳ１３０）で特定された調整対象データである論理ユニットのデータを、移動先として選定されたＨＤＤ２７０における空き領域に移動させる（ステップＳ１６２０）。本実施例では、調整対象データは、移動先として選定されたＨＤＤ２７０における空き領域のうち、最もエクスパンダ段数の少ないＨＤＤ２７０における空き領域に格納されるが、他の実施形態として、最もエクスパンダ段数の多いＨＤＤ２７０における空き領域に格納されるとしても良いし、他の調整対象データとの関係に応じて設定される空き領域に格納されるとしても良い。
【００５８】
移動先として選定されたＨＤＤ２７０に空き領域がない場合（ステップＳ１６１０）、主制御部２１０は、移動先として選定されたＨＤＤ２７０とは異なるＨＤＤ２７０における記憶領域に、調整対象データのデータ量に相当する空き領域があるか否かを判断する（ステップＳ１６３０）。移動先として選定されたＨＤＤ２７０とは異なるＨＤＤ２７０に空き領域がある場合（ステップＳ１６３０）、主制御部２１０は、移動先として選定されたＨＤＤ２７０に既に記憶されているデータのうち、調整対象データのデータ量に相当するデータを、移動先として選定されたＨＤＤ２７０とは異なるＨＤＤ２７０における空き領域に移動させる（ステップＳ１６４０）。その後、主制御部２１０は、移動先として選定されたＨＤＤ２７０に作成された空き領域に、調整対象データである論理ユニットのデータを移動させる（ステップＳ１６４２）。
【００５９】
移動先として選定されたＨＤＤ２７０とは異なるＨＤＤ２７０に空き領域がない場合（ステップＳ１６３０）、主制御部２１０は、移動先として選定されたＨＤＤ２７０に既に記憶されているデータのうち、調整対象データのデータ量に相当するデータを、記憶領域の一部である一時領域に退避する（ステップＳ１６５０）。本実施例では、データを退避するための一時領域には、主制御部２１０のメモリ２１４における記憶領域や、ホストインタフェース２２０、スイッチ２３０、ディスクインタフェース２４０において転送データを一時的に記憶するキャッシュメモリ（図示しない）における記憶領域が利用される。本実施例では、移動先として選定されたＨＤＤ２７０に既に記憶されているデータのうち、アクセス頻度が最も低い論理ユニットにおけるデータが、一時領域に退避されるデータとして選定される。一時領域にデータが退避された後（ステップＳ１６５０）、主制御部２１０は、移動先として選定されたＨＤＤ２７０に作成された空き領域に、調整対象データである論理ユニットのデータを移動させる（ステップＳ１６５２）。その後、調整対象データの移動元に作成された空き領域に、移動先として選定されたＨＤＤ２７０から移動され一時領域に記憶されているデータを格納する（ステップＳ１６５４）。
【００６０】
対象特定処理（ステップＳ１３０）で特定された調整対象データである論理ユニットのデータが、移動先選定処理（ステップＳ１５０）で選定されたＨＤＤ２７０に移動された後（ステップＳ１６２０，Ｓ１６４２，Ｓ１６５４）、主制御部２１０は、ＨＤＤ２７０におけるデータの移動をＬＵ管理テーブル９１０に反映する（ステップＳ１６９０）。その後、主制御部２１０は、データ移動処理（ステップＳ１６９０）を終了して、図６のパス調整処理（ステップＳ１００）を終了する。
【００６１】
Ａ３．効果：
以上説明した第１の実施例におけるストレージシステム２０によれば、パス調整処理（ステップＳ１００）において、データ転送経路となるエクスパンダ２６０の数が減少するように、複数のＨＤＤ２７０におけるデータが、これらのＨＤＤ２７０の間を移動するため、データ転送経路となるエクスパンダ２６０の数に起因するレイテンシを抑制することができる。
【００６２】
また、移動先選定処理（ステップＳ１５０）において、調整対象データに要求されるデータ転送速度に応じて、その調整対象データのデータ転送経路となるエクスパンダ２６０の数が減少するように、その調整対象データを格納すべきＨＤＤが複数のＨＤＤ２７０の中から選定されるため、要求されるデータ転送速度に見合ったエクスパンダ２６０の数でＳＡＳコントローラ２５０に接続されたＨＤＤ２７０に、データを移動させることができる。
【００６３】
また、対象特定処理（ステップＳ１３０）において、複数のＨＤＤ２７０に記憶されているデータのうち、より少ないエクスパンダ２６０の数でＳＡＳコントローラ２５０に接続された他のＨＤＤ２７０におけるデータよりも要求されるデータ転送速度が高いデータが、調整対象データとして特定されるため、要求されるデータ転送速度が比較的に高いデータを、エクスパンダ２６０の数がより少ないＨＤＤ２７０に移動させることができる。
【００６４】
また、対象特定処理（ステップＳ１３０）において、ＬＵ管理部８１０によって管理される論理ユニット単位で、調整対象データが特定された後、データ移動処理（ステップＳ１６０）において、その論理ユニット単位で調整対象データが移動されるため、ストレージシステム２０における論理ユニット構成の複雑化を防止することができる。
【００６５】
また、パス調整処理（ステップＳ１００）において、ＨＤＤ２７０の接続構成に変化があった場合（ステップＳ１１０）への対応として、データ移動処理（ステップＳ１６０）が実施されるため、変化したＨＤＤ２７０の接続構成に応じて、データ転送経路となるエクスパンダ２６０の数に起因するレイテンシを抑制することができる。
【００６６】
Ａ４．変形例：
Ａ４−１．変形例ａ１：
前述の実施例では、対象特定処理（ステップＳ１３０）において、ストレージシステム２０の主制御部２１０は、要求されるデータ転送速度が高いデータを調整対象データとして特定したが、アクセス頻度が高いデータを調整対象データとして特定するとしても良い。
【００６７】
図１１は、変形例ａ１における対象特定処理（ステップＳ１３０）の詳細を示すフローチャートである。変形例ａ１では、図６のパス調整処理（ステップＳ１００）において、ストレージシステム２０の主制御部２１０は、図８の対象特定処理（ステップＳ１３０）に代えて、図１１の対象特定処理（ステップＳ１３０）を実行する。主制御部２１０は、図１１の対象特定処理（ステップＳ１３０）を開始すると、ＳＡＳコントローラ２５０で管理されている各ＨＤＤ２７０のアクセスログを解析することによって、ＬＵ管理部８１０で管理されている各論理ユニットのアクセス頻度を算出する（ステップＳ１３２２）。その後、主制御部２１０は、より少ないエクスパンダ段数の他の論理ユニットよりもアクセス頻度が高い論理ユニットにおけるデータを、調整対象データとして特定する（ステップＳ１３２６）。
【００６８】
変形例ａ１におけるストレージシステム２０によれば、対象特定処理（ステップＳ１３０）において、複数のＨＤＤ２７０に記憶されているデータのうち、より少ないエクスパンダ２６０の数でＳＡＳコントローラ２５０に接続された他のＨＤＤ２７０におけるデータよりもアクセス頻度が高いデータが、調整対象データとして特定されるため、アクセス頻度が比較的に高いデータを、エクスパンダ２６０の数がより少ないＨＤＤ２７０に移動させることができる。
【００６９】
Ａ４−２．変形例ａ２：
前述の実施例では、対象特定処理（ステップＳ１３０）において、ストレージシステム２０の主制御部２１０は、データ転送速度が高いデータを調整対象データとして特定したが、ストレージシステム２０に保管されている総データ量が所定値を超えた際に、エクスパンダの数が所定数を超えるＨＤＤ２７０のデータを調整対象データとして特定するとしても良い。
【００７０】
図１２は、変形例ａ２における対象特定処理（ステップＳ１３０）の詳細を示すフローチャートである。変形例ａ２では、図６のパス調整処理（ステップＳ１００）において、ストレージシステム２０の主制御部２１０は、図８の対象特定処理（ステップＳ１３０）に代えて、図１２の対象特定処理（ステップＳ１３０）を実行する。主制御部２１０は、図１２の対象特定処理（ステップＳ１３０）を開始すると、ストレージシステム２０に保管されている総データ量が所定値を超えるか否かを判断する（ステップＳ１３３２）。本実施例では、ストレージシステム２０に保管されている総データ量を判断する所定値は、ストレージシステム２０がデータを保管可能な総記憶容量の８０％に相当するデータ量である。他の実施形態において、ストレージシステム２０に保管されている総データ量を判断する所定値は、総記憶容量の８０％よりも大きな値でも良いし、総記憶容量の８０％より小さな値であっても良く、ストレージシステム２０の装置構成や利用形態などに応じて適宜設定されるとしても良い。
【００７１】
ストレージシステム２０に保管されている総データ量が所定値を超える場合（ステップＳ１３３２）、主制御部２１０は、メモリ２１４に記憶されているＬＵ管理テーブルを参照して、各論理ユニットのエクスパンダ段数を確認する（ステップＳ１３３４）。その後、主制御部２１０は、エクスパンダ段数が所定数を超える論理ユニットのデータを、調整対象データとして特定する（ステップＳ１３３６）。本実施例では、論理ユニットのエクスパンダ段数を判断する所定数は、ストレージシステム２０における最も後段のエクスパンダ段数、すなわち、「５」台のエクスパンダ２６０が直列に接続されている場合にはエクスパンダ段数「５」である。他の実施形態において、論理ユニットのエクスパンダ段数を判断する所定数は、ストレージシステム２０の装置構成や利用形態などに応じて適宜設定されるとしても良い。
【００７２】
変形例ａ２におけるストレージシステム２０によれば、データ転送速度を改善すべきデータとして、データ量が増加した際に比較的に後段のエクスパンダ２６０に接続されたＨＤＤ２７０に記憶されたデータを選定することができる。
【００７３】
Ａ４−３．変形例ａ３：
前述の実施例では、対象特定処理（ステップＳ１３０）において、ストレージシステム２０の主制御部２１０は、データ転送速度が高いデータを調整対象データとして特定したが、ストレージシステム２０にエクスパンダ２６０が増設された際に、エクスパンダ段数が増加したＨＤＤ２７０に記憶されているデータを調整対象データとして特定するとしても良い。
【００７４】
図１３は、変形例ａ３における対象特定処理（ステップＳ１３０）の詳細を示すフローチャートである。変形例ａ３では、図６のパス調整処理（ステップＳ１００）において、ストレージシステム２０の主制御部２１０は、図８の対象特定処理（ステップＳ１３０）に代えて、図１３の対象特定処理（ステップＳ１３０）を実行する。主制御部２１０は、図１３の対象特定処理（ステップＳ１３０）を開始すると、エクスパンダ２６０が創設されている場合（ステップＳ１３４２）、メモリ２１４に記憶されているＬＵ管理テーブルを参照して、各論理ユニットのエクスパンダ段数を確認する（ステップＳ１３３４）。その後、主制御部２１０は、エクスパンダ増設の前後でエクスパンダ段数が変化した論理ユニットのデータを、調整対象データとして特定する（ステップＳ１３４６）。
【００７５】
変形例ａ３におけるストレージシステム２０によれば、データ転送速度を改善すべきデータとして、エクスパンダ２６０の増設によってデータ転送経路となるエクスパンダ２６０の数が増加したデータを選定することができる。
【００７６】
Ａ４−４．変形例ａ４：
前述の実施例では、対象特定処理（ステップＳ１３０）において、ストレージシステム２０の主制御部２１０は、データ転送速度が高いデータを調整対象データとして特定したが、所定値以下のデータ長でアクセスされるデータを調整対象データとして特定するとしても良い。
【００７７】
図１４は、変形例ａ４における対象特定処理（ステップＳ１３０）の詳細を示すフローチャートである。変形例ａ４では、図６のパス調整処理（ステップＳ１００）において、ストレージシステム２０の主制御部２１０は、図８の対象特定処理（ステップＳ１３０）に代えて、図１４の対象特定処理（ステップＳ１３０）を実行する。主制御部２１０は、図１４の対象特定処理（ステップＳ１３０）を開始すると、複数のＨＤＤ２７０に記憶されているデータに対するアクセスを記録したアクセスログを確認する（ステップＳ１３５２）。本実施例では、主制御部２１０は、主制御部２１０のメモリ２１４に記憶されているアクセスログを確認するが、他の実施形態において、ＳＡＳコントローラ２５０に問い合わせることによってＳＡＳコントローラ２５０が保有するアクセスログを確認しても良い。アクセスログが確認された後（ステップＳ１３５２）、主制御部２１０は、ＳＡＳコントローラ２５０に問い合わせたアクセスログに基づいて、所定値以下のデータ長でアクセスされる論理ユニットのデータを調整対象データとして特定する（ステップＳ１３５６）。本実施例では、調整対象データとして特定されるデータは、「２キロバイト」以下のデータ長でアクセスされるデータであるが、他の実施形態において、ストレージシステム２０の装置構成や利用形態などに応じたデータ長が適宜設定されるとしても良い。
【００７８】
変形例ａ４におけるストレージシステム２０によれば、所定値以下のデータ長でアクセスされるデータを、要求されるデータ転送速度が比較的に高いデータとして選定することができる。
【００７９】
Ａ４−５．変形例ａ５：
前述の実施例では、対象特定処理（ステップＳ１３０）において、ストレージシステム２０の主制御部２１０は、データ転送速度が高いデータを調整対象データとして特定したが、ランダムアクセスされるデータを調整対象データとして特定するとしても良い。
【００８０】
図１５は、変形例ａ５における対象特定処理（ステップＳ１３０）の詳細を示すフローチャートである。変形例ａ５では、図６のパス調整処理（ステップＳ１００）において、ストレージシステム２０の主制御部２１０は、図８の対象特定処理（ステップＳ１３０）に代えて、図１５の対象特定処理（ステップＳ１３０）を実行する。主制御部２１０は、図１５の対象特定処理（ステップＳ１３０）を開始すると、ＳＡＳコントローラ２５０に問い合わせることによって、複数のＨＤＤ２７０に記憶されているデータに対するアクセスを記録したアクセスログを確認する（ステップＳ１３６２）。その後、主制御部２１０は、ＳＡＳコントローラ２５０に問い合わせたアクセスログに基づいて、ランダムアクセスされる論理ユニットのデータを調整対象データとして特定する（ステップＳ１３６６）。
【００８１】
変形例ａ５におけるストレージシステム２０によれば、ランダムアクセスされるデータを、要求されるデータ転送速度が比較的に高いデータとして選定することができる。
【００８２】
Ａ４−６．変形例ａ６：
前述の実施例では、パス調整処理（ステップＳ１００）において、ストレージシステム２０の主制御部２１０は、ＨＤＤ２７０の接続構成に変化があった場合（ステップＳ１１０）への対応として、データ移動処理（ステップＳ１６０）を実施したが、ストレージシステム２０にアクセスするアクセス元であるホスト計算機３０が増設された場合への対応として、データ移動処理（ステップＳ１６０）を実施するとしても良い。
【００８３】
図１６は、変形例ａ６におけるパス調整処理（ステップＳ１００）を示すフローチャートである。変形例ａ６では、ストレージシステム２０の主制御部２１０は、ストレージ管理装置６０から提供される情報に基づいて、ホスト計算機３０が増設されたか否かを判断する（ステップＳ１１２）。ホスト計算機３０が増設された場合（ステップＳ１１２）、主制御部２１０は、図６のパス調整処理（ステップＳ１００）と同様に、ＬＵ管理テーブル更新処理（ステップＳ１２０）、対象特定処理（ステップＳ１３０）、移動先選定処理（ステップＳ１５０）、データ移動処理（ステップＳ１６０）を順に実行する。
【００８４】
変形例ａ６におけるストレージシステム２０によれば、増設されたアクセス元であるホスト計算機３０に応じて、データ転送経路となるエクスパンダ２６０の数に起因するレイテンシを抑制することができる。
【００８５】
Ａ４−７．変形例ａ７：
前述の実施例では、パス調整処理（ステップＳ１００）において、ストレージシステム２０の主制御部２１０は、ＨＤＤ２７０の接続構成に変化があった場合（ステップＳ１１０）への対応として、データ移動処理（ステップＳ１６０）を実施したが、ストレージシステム２０に保管されているデータ量が所定値を超えた場合への対応として、データ移動処理（ステップＳ１６０）を実施するとしても良い。
【００８６】
図１７は、変形例ａ７におけるパス調整処理（ステップＳ１００）を示すフローチャートである。変形例ａ７では、ストレージシステム２０の主制御部２１０は、ストレージシステム２０に保管されている総データ量が所定値を超えるか否かを判断する（ステップＳ１１３）。本実施例では、ストレージシステム２０に保管されている総データ量を判断する所定値は、ストレージシステム２０がデータを保管可能な総記憶容量の８０％に相当するデータ量である。他の実施形態において、ストレージシステム２０に保管されている総データ量を判断する所定値は、総記憶容量の８０％よりも大きな値でも良いし、総記憶容量の８０％より小さな値であっても良く、ストレージシステム２０の装置構成や利用形態などに応じて適宜設定されるとしても良い。ストレージシステム２０に保管されている総データ量が所定値を超える場合（ステップＳ１１３）、主制御部２１０は、図６のパス調整処理（ステップＳ１００）と同様に、対象特定処理（ステップＳ１３０）、移動先選定処理（ステップＳ１５０）、データ移動処理（ステップＳ１６０）を順に実行する。
【００８７】
変形例ａ７におけるストレージシステム２０によれば、ストレージシステム２０に保管されているデータ量に応じて、データ転送経路となるエクスパンダ２６０の数に起因するレイテンシを抑制することができる。
【００８８】
Ａ４−８．変形例ａ８：
前述の実施例では、パス調整処理（ステップＳ１００）において、ストレージシステム２０の主制御部２１０は、ＨＤＤ２７０の接続構成に変化があった場合（ステップＳ１１０）への対応として、データ移動処理（ステップＳ１６０）を実施したが、ストレージシステム２０に新たなデータが保管された場合への対応として、データ移動処理（ステップＳ１６０）を実施するとしても良い。
【００８９】
図１８は、変形例ａ８におけるパス調整処理（ステップＳ１００）を示すフローチャートである。変形例ａ８では、ストレージシステム２０の主制御部２１０は、ホスト計算機３０からストレージシステム２０に対して送信されるデータの書き込みコマンドに基づいて、ストレージシステム２０に新たなデータが保管されたか否かを判断する（ステップＳ１１４）。ストレージシステム２０に新たなデータが保管された場合（ステップＳ１１４）、主制御部２１０は、図６のパス調整処理（ステップＳ１００）と同様に、対象特定処理（ステップＳ１３０）、移動先選定処理（ステップＳ１５０）、データ移動処理（ステップＳ１６０）を順に実行する。
【００９０】
変形例ａ８におけるストレージシステム２０によれば、ストレージシステム２０に新たに保管されるデータに応じて、データ転送経路となるエクスパンダ２６０の数に起因するレイテンシを抑制することができる。
【００９１】
Ａ４−９．変形例ａ９：
前述の実施例では、パス調整処理（ステップＳ１００）において、ストレージシステム２０の主制御部２１０は、ＨＤＤ２７０の接続構成に変化があった場合（ステップＳ１１０）への対応として、データ移動処理（ステップＳ１６０）を実施したが、定期的に、パス調整処理（ステップＳ１００）を実施するとしても良い。
【００９２】
図１９は、変形例ａ９におけるパス調整処理（ステップＳ１００）を示すフローチャートである。変形例ａ９では、ストレージシステム２０の主制御部２１０は、先回のパス調整処理（ステップＳ１００）の実行から所定期間が経過したか否かを判断する（ステップＳ１１５）。本実施例では、その所定期間は、「１ヶ月」に設定されているが、他の実施形態において、ストレージシステム２０の装置構成や利用形態などに応じて適宜設定されるとしても良い。先回のパス調整処理（ステップＳ１００）の実行から所定期間が経過している場合（ステップＳ１１５）、主制御部２１０は、図６のパス調整処理（ステップＳ１００）と同様に、対象特定処理（ステップＳ１３０）、移動先選定処理（ステップＳ１５０）、データ移動処理（ステップＳ１６０）を順に実行する。
【００９３】
変形例ａ９におけるストレージシステム２０によれば、データ転送経路となるエクスパンダ２６０の数に起因するレイテンシを抑制するための処理を定期的に実施することができる。
【００９４】
Ａ４−１０．変形例ａ１０：
前述の実施例では、移動先選定処理（ステップＳ１５０）において、ストレージシステム２０の主制御部２１０は、既存のＨＤＤ２７０の中から移動先を選定したが、既存のＨＤＤ２７０に増設されたＨＤＤ２７０を移動先として選定しても良い。
【００９５】
図２０は、変形例ａ１０における移動先選定処理（ステップＳ１５０）の詳細を示すフローチャートである。変形例ａ１０では、図６のパス調整処理（ステップＳ１００）において、ストレージシステム２０の主制御部２１０は、図９の移動先選定処理（ステップＳ１５０）に代えて、図２０の移動先選定処理（ステップＳ１５０）を実行する。主制御部２１０は、図２０の移動先選定処理（ステップＳ１５０）を開始すると、メモリ２１４に記憶されている要求性能テーブル９２０を参照して、調整対象データとして特定された論理ユニットに要求される要求性能を確認する（ステップＳ１５２２）。その後、主制御部２１０は、メモリ２１４に記憶されている性能対応データ９３０を参照して、調整対象データの要求性能を満たすエクスパンダ段数を確認する（ステップＳ１５２４）。
【００９６】
その後、主制御部２１０は、要求性能を満たすエクスパンダ段数の位置をＨＤＤ２７０の増設位置として、ストレージ管理装置６０を介してストレージシステム２０の管理者に提示する（ステップＳ１５２５）。ＨＤＤ２７０の増設位置が提示された後（ステップＳ１５２５）、主制御部２１０は、エクスパンダ増設処理を実行する（ステップＳ１５２６）。エクスパンダ増設処理（ステップＳ１５２６）において、ストレージシステム２０の管理者が、ストレージ管理装置６０を介して提示された増設位置にＨＤＤ２７０を増設し終えるまで、主制御部２１０は、ホストインタフェース２２０からのアクセスを閉塞する。エクスパンダ増設処理（ステップＳ１５２６）においてＨＤＤ２７０が増設された後（ステップＳ１５２６）、主制御部２１０は、その増設されたＨＤＤ２７０を、調整対象データの移動先として選定する（ステップＳ１５２８）。
【００９７】
変形例ａ１０におけるストレージシステム２０によれば、ストレージシステム２０において記憶領域が不足する場合であっても、要求されるデータ転送速度に見合ったエクスパンダの数で制御装置に接続されたＨＤＤ２７０にデータを移動させることができる。
【００９８】
Ｂ．第２の実施例：
Ｂ１．計算機システムの構成：
第２の実施例における計算機システム１０の構成は、ストレージシステム２０の構成が異なる他は、第１の実施例における計算機システム１０と同様である。図２１は、第２の実施例におけるストレージシステム２０の構成を主に示す説明図である。第２の実施例におけるストレージシステム２０の構成は、主制御部２１０の構成が異なる点、ＳＡＳコントローラ２５０、エクスパンダ２６０、ＨＤＤ２７０の接続構成が異なる点の他は、第１の実施例におけるストレージシステム２０と同様である。
【００９９】
第２の実施例では、ＳＡＳコントローラ２５０には、「ｎ」（「ｎ」は自然数）台のエクスパンダ２６０が直列に数珠繋ぎで環状に接続されている。複数のエクスパンダ２６０において一方の端に位置するエクスパンダ２６０−１は、ＳＡＳに準拠した機器間を接続するパス配線２８１によってＳＡＳコントローラ２５０に直接的に接続されている。複数のエクスパンダ２６０において他方の端に位置するエクスパンダ２６０−ｎは、ＳＡＳに準拠した機器間を接続するパス配線２８２によってＳＡＳコントローラ２５０に直接的に接続されている。すなわち、ＳＡＳコントローラ２５０は、第１のエクスパンダ２６０−１および第２のエクスパンダ２６０−ｎとそれぞれ直接的に並行して接続されている。複数のエクスパンダ２６０の各々には、それぞれ一台のＨＤＤ２７０が接続され、合計「ｎ」台のＨＤＤ２７０がＳＡＳコントローラ２５０にデイジーチェーン接続されている。図２１に示す例では、一台のエクスパンダ２６０に一台のＨＤＤ２７０が接続されているが、他の実施形態として、一台のエクスパンダ２６０に複数のＨＤＤ２７０が接続されても良いし、ＨＤＤ２７０と直接的に接続されていないエクスパンダ２６０が存在しても良い。
【０１００】
第２の実施例における主制御部２１０は、ＬＵ管理部８１０に加え、装置特定部８７０と、パス比較部８８０と、パス設定部８９０とを備える。主制御部２１０の装置特定部８７０、パス比較部８８０、パス設定部８９０は、ＳＡＳコントローラ２５０とＨＤＤ２７０との間でデータ転送経路となるエクスパンダ２６０の数を調整するパス調整部として処理を実行する。パス調整部を構成する装置特定部８７０は、複数のＨＤＤ２７０の中から調整対象となるＨＤＤ２７０を特定する。パス調整部を構成するパス比較部８８０は、装置特定部８７０によって特定されたＨＤＤ２７０に至る第１のデータ転送経路となるエクスパンダ２６０の数と、そのＨＤＤ２７０に至る第２のデータ転送経路となるエクスパンダ２６０の数とを比較する。パス調整部を構成するパス設定部８９０は、パス比較部８８０によって比較されたデータ転送経路のうちエクスパンダ２６０の数が少ない方のデータ転送経路を、装置特定部８７０によって特定されたＨＤＤ２７０に用いるデータ転送経路として設定する。
【０１０１】
本実施例では、主制御部２１０は、ＣＰＵ２１２と、メモリ２１４とを備える。本実施例では、ＬＵ管理部８１０、装置特定部８７０と、パス比較部８８０と、パス設定部８９０の各機能は、ＣＰＵ２１２がソフトウェアに基づいて演算処理を実行することによって実現される。なお、他の実施形態として、ＬＵ管理部８１０、対象特定部８３０、装置特定部８７０と、パス比較部８８０と、パス設定部８９０の少なくとも一部の機能は、主制御部２１０の電子回路がその物理的な回路構成に基づいて動作することによって実現されるとしても良い。主制御部２１０の動作についての詳細は後述する。
【０１０２】
主制御部２１０のメモリ２１４には、ＬＵ管理テーブル９６０が記憶されている。図２２は、第２の実施例におけるＬＵ管理テーブル９６０を示す説明図である。ＬＵ管理テーブル９６０は、ＬＵ管理部８１０によって管理されている論理ユニットとエクスパンダ２６０およびＨＤＤ２７０との関係を示す情報を格納したデータである。本実施例では、ＬＵ管理テーブル９１０は、論理ユニットの構成やＨＤＤ２７０の接続構成が変更された場合に更新される。
【０１０３】
ＬＵ管理テーブル９６０には、ＬＵ識別符号９６１０と、第１のデータ転送経路におけるエクスパンダ段数９６２０と、第２のデータ転送経路におけるエクスパンダ段数９６３０とが格納されている。ＬＵ管理テーブル９６０のＬＵ識別符号９６１０は、ＬＵ管理部８１０によって管理されている論理ユニットの各々を特定するデータである。ＬＵ管理テーブル９６０における第１のエクスパンダ段数９６２０は、ＬＵ識別符号９６１０に対応する論理ユニットとＳＡＳコントローラ２５０との間でパス配線２８１を用いてＳＡＳコントローラ２５０から第１のエクスパンダ２６０−１を経由する第１のデータ転送経路となるエクスパンダ２６０の数を示すデータである。ＬＵ管理テーブル９６０における第２のエクスパンダ段数９６３０は、ＬＵ識別符号９６１０に対応する論理ユニットとＳＡＳコントローラ２５０との間でパス配線２８２を用いてＳＡＳコントローラ２５０から第２のエクスパンダ２６０−ｎを経由する第２のデータ転送経路となるエクスパンダ２６０の数を示すデータである。
【０１０４】
図２２の例では、ＬＵ識別符号「ＬＵ０」で特定される論理ユニットは、第１のデータ転送経路を用いた場合のエクスパンダ段数は「４」であり、第２のデータ転送経路を用いた場合のエクスパンダ段数は「２」であることが示されている。ＬＵ識別符号「ＬＵ１」で特定される論理ユニットは、第１のデータ転送経路を用いた場合のエクスパンダ段数は「１」であり、第２のデータ転送経路を用いた場合のエクスパンダ段数は「５」であることが示されている。ＬＵ識別符号「ＬＵ２」で特定される論理ユニットは、第１のデータ転送経路を用いた場合のエクスパンダ段数は「３」であり、第２のデータ転送経路を用いた場合のエクスパンダ段数は「３」であることが示されている。ＬＵ識別符号「ＬＵ３」で特定される論理ユニットは、第１のデータ転送経路を用いた場合のエクスパンダ段数は「２」であり、第２のデータ転送経路を用いた場合のエクスパンダ段数は「４」であることが示されている。ＬＵ識別符号「ＬＵ４」で特定される論理ユニットは、第１のデータ転送経路を用いた場合のエクスパンダ段数は「５」であり、第２のデータ転送経路を用いた場合のエクスパンダ段数は「１」であることが示されている。
【０１０５】
Ｂ２．計算機システムの動作：
図２３は、第２の実施例においてストレージシステム２０の主制御部２１０が実行するパス調整処理（ステップＳ２００）を示すフローチャートである。本実施例では、ストレージシステム２０の主制御部２１０は、ホスト計算機３０からアクセスリクエスト（アクセス要求）が発生した場合に、図２３のパス調整処理（ステップＳ２００）を実行する。本実施例では、図２３のパス調整処理（ステップＳ２００）は、主制御部２１０のＣＰＵ２１２がソフトウェアに基づいて動作することによって実現されるが、他の実施形態として、主制御部２１０の電子回路がその物理的な回路構成に基づいて動作することによって実現されても良い。
【０１０６】
ストレージシステム２０の主制御部２１０は、図２３のパス調整処理（ステップＳ２００）を開始すると、装置特定部８７０として動作することによって装置特定処理を実行する（ステップＳ２７０）。装置特定処理（ステップＳ２７０）において、主制御部２１０は、複数のＨＤＤ２７０の中から調整対象となるＨＤＤ２７０を特定する。装置特定処理（ステップＳ２７０）では、主制御部２１０は、ホスト計算機３０からアクセスリクエストを受領した後（ステップＳ２７２）、そのアクセスリクエストに含まれるターゲットである論理ユニットに対応付けられたＨＤＤ２７０を調整対象として特定する（ステップＳ２７４）。
【０１０７】
装置特定処理（ステップＳ２７０）の後、主制御部２１０は、パス比較部８８０として動作することによってパス比較処理を実行する（ステップＳ２８０）。パス比較処理（ステップＳ２８０）において、主制御部２１０は、装置特定処理（ステップＳ２７０）で調整対象として特定されたＨＤＤ２７０に至る第１のデータ転送経路となるエクスパンダ２６０の数と、そのＨＤＤ２７０に至る第２のデータ転送経路となるエクスパンダ２６０の数とを比較する。パス比較処理（ステップＳ２８０）では、主制御部２１０は、メモリ２１４に記憶されているＬＵ管理テーブル９６０を参照して、調整対象であるＨＤＤ２７０における論理ユニットが位置する第１および第２のデータ転送経路におけるエクスパンダ段数を確認し（ステップＳ２８２）、これら第１および第２のエクスパンダ段数を比較する（ステップＳ２８４）。
【０１０８】
パス比較処理（ステップＳ２８０）の後、主制御部２１０は、パス設定部８９０として動作することによってパス設定処理を実行する（ステップＳ２９０）。パス設定処理（ステップＳ２９０）において、主制御部２１０は、パス比較処理（ステップＳ２８０）で比較されたデータ転送経路のうちエクスパンダ２６０の数が少ない方のデータ転送経路を、装置特定処理（ステップＳ２７０）で調整対象として特定されたＨＤＤ２７０に用いるデータ転送経路として設定する。パス設定処理（ステップＳ２９０）では、主制御部２１０は、第１のエクスパンダ段数が第２のエクスパンダ段数よりも少ない場合、第１のデータ転送経路、すなわち、パス配線２８１を用いたデータ転送経路に対するリクエスト処理を発行することによって、調整対象として特定されたＨＤＤ２７０に用いるデータ転送経路に第１のデータ転送経路を設定する（ステップＳ２９７）。第１のエクスパンダ段数が第２のエクスパンダ段数よりも多い場合、主制御部２１０は、第２のデータ転送経路、すなわち、パス配線２８２を用いたデータ転送経路に対するリクエスト処理を発行することによって、調整対象として特定されたＨＤＤ２７０に用いるデータ転送経路に第２のデータ転送経路を設定する（ステップＳ２９８）。本実施例では、第１のエクスパンダ段数が第２のエクスパンダ段数と同じ場合、主制御部２１０は、第１のデータ転送経路、すなわち、パス配線２８１を用いたデータ転送経路に対するリクエスト処理を発行することによって、調整対象として特定されたＨＤＤ２７０に用いるデータ転送経路に第１のデータ転送経路を設定する（ステップＳ２９６）。他の実施形態において、第１のエクスパンダ段数が第２のエクスパンダ段数と同じ場合、主制御部２１０は、調整対象として特定されたＨＤＤ２７０に用いるデータ転送経路に第２のデータ転送経路を設定するとしても良いし、パス調整処理（ステップＳ２００）を実施する毎に第１および第２のデータ転送経路を交互に設定するとしても良い。本実施例では、リクエスト処理を発行する対象を変更することによって、データ転送経路が切り換えられるが、他の実施形態において、パス配線を物理的に切り換えることによって、データ転送経路が切り換えられるとしても良い。
【０１０９】
Ｂ３．効果：
以上説明した第２の実施例におけるストレージシステム２０によれば、エクスパンダ２６０の数がより少ないデータ転送経路がデータに応じて選定されるため、データ転送経路となるエクスパンダ２６０の数に起因するレイテンシを抑制することができる。また、ＳＡＳコントローラ２５０に直接的に接続されたそれぞれ異なるエクスパンダ２６０−１，２６０−ｎを経由するデータ転送経路の中から、エクスパンダ２６０の数がより少ないデータ転送経路を選定することができる。また、アクセスリクエストが発生した場合に、データ転送経路となるエクスパンダ２６０の数を調整するため（ステップＳ２７２）、発生したアクセスリクエストに応じて、データ転送経路となるエクスパンダ２６０の数に起因するレイテンシを抑制することができる。
【０１１０】
Ｂ４．変形例：
Ｂ４−１．変形例ｂ１：
前述の第２の実施例では、ＳＡＳコントローラ２５０が第１のエクスパンダ２６０−１および第２のエクスパンダ２６０−ｎとそれぞれ直接的に並行して接続されているが、他の異なる接続形態であっても良い。
【０１１１】
図２４は、変形例ｂ１におけるＳＡＳコントローラ２５０とエクスパンダ２６０との接続形態を示す説明図である。図２４の例では、ＳＡＳコントローラ２５０には、「ｎ」（「ｎ」は自然数）台のエクスパンダ２６０が直列に数珠繋ぎで接続されている。複数のエクスパンダ２６０において一方の端に位置するエクスパンダ２６０−１は、パス配線２８３でエクスパンダ２６０−２に直接的に接続されると共に、パス配線２８４で他方の端に位置するエクスパンダ２６０−ｎとも並行して直接的に接続されている。すなわち、第１のエクスパンダ２６０−１は、第２のエクスパンダ２６０−２、および第３のエクスパンダ２６０−ｎとそれぞれ直接的に並行して接続されている。複数のエクスパンダ２６０の各々には、それぞれ一台のＨＤＤ２７０が接続され、合計「ｎ」台のＨＤＤ２７０がＳＡＳコントローラ２５０にデイジーチェーン接続されている。図２４に示す例では、一台のエクスパンダ２６０に一台のＨＤＤ２７０が接続されているが、他の実施形態として、一台のエクスパンダ２６０に複数のＨＤＤ２７０が接続されても良いし、ＨＤＤ２７０と直接的に接続されていないエクスパンダ２６０が存在しても良い。
【０１１２】
変形例ｂ１におけるストレージシステム２０の動作は、第１のデータ転送経路が、ＳＡＳコントローラ２５０とＨＤＤ２７０との間でパス配線２８３を用いて第１のエクスパンダ２６０−１および第２のエクスパンダ２６０−２を経由する経路であり、第２のデータ転送経路が、ＳＡＳコントローラ２５０とＨＤＤ２７０との間でパス配線２８４を用いて第１のエクスパンダ２６０−１および第３のエクスパンダ２６０−ｎを経由する経路である点を除き、第２の実施例と同様である。
【０１１３】
変形例ｂ１におけるストレージシステム２０によれば、第１のエクスパンダ２６０−１から分岐してそれぞれ異なる第２のエクスパンダ２６０−２および第３のエクスパンダ２６０−ｎを経由するデータ転送経路の中から、エクスパンダ２６０の数がより少ないデータ転送経路を選定することができる。
【０１１４】
Ｂ４−２．変形例ｂ２：
図２５は、変形例ｂ２におけるＳＡＳコントローラ２５０とエクスパンダ２６０との接続形態を示す説明図である。図２５の例では、ストレージシステム２０は、第１のＳＡＳコントローラ２５０−１および第２のＳＡＳコントローラ２５０−２を備える。第１のＳＡＳコントローラ２５０−１には、「ｎ」（「ｎ」は自然数）台のエクスパンダ２６０が直列に数珠繋ぎで接続されている。複数のエクスパンダ２６０において一方の端に位置するエクスパンダ２６０−１は、パス配線２８５で第１のＳＡＳコントローラ２５０−１に接続されている。一方、第２のＳＡＳコントローラ２５０−２には、「ｎ」台のエクスパンダ２６２が直列に数珠繋ぎで接続されている。本明細書では、エクスパンダの符号に関し、第２のＳＡＳコントローラ２５０−２との位置関係を特定する場合には、第２のＳＡＳコントローラ２５０−２に遠い方から順に、エクスパンダ２６０−１，２６０−２，２６０−３，…，２６０−ｎと記すが、ＳＡＳコントローラ２５０からの位置を特定しない場合には、これらを総称して、単に、エクスパンダ２６２と記すものとする。複数のエクスパンダ２６２において一方の端に位置するエクスパンダ２６２−ｎは、パス配線２８６で第２のＳＡＳコントローラ２５０−２に接続されている。複数のエクスパンダ２６０の各々には、複数のエクスパンダ２６２の各々と共通して、それぞれ一台のＨＤＤ２７０が接続され、合計「ｎ」台のＨＤＤ２７０が第１のＳＡＳコントローラ２５０−１および第２のＳＡＳコントローラ２５０−２に共通してデイジーチェーン接続されている。図２５に示す例では、一台のエクスパンダ２６０，２６２に共通して一台のＨＤＤ２７０が接続されているが、他の実施形態として、一台のエクスパンダ２６０，２６２に共通して複数のＨＤＤ２７０が接続されても良いし、ＨＤＤ２７０と直接的に接続されていないエクスパンダ２６０，２６２が存在しても良い。
【０１１５】
変形例ｂ２におけるストレージシステム２０の動作は、第１のデータ転送経路が、第１のＳＡＳコントローラ２５０−１とＨＤＤ２７０との間でパス配線２８５を用いてエクスパンダ２６０を経由する経路であり、第２のデータ転送経路が、第２のＳＡＳコントローラ２５０−２とＨＤＤ２７０との間でパス配線２８６を用いてエクスパンダ２６２を経由する経路である点を除き、第２の実施例と同様である。
【０１１６】
変形例ｂ２におけるストレージシステム２０によれば、それぞれ異なるＳＡＳコントローラ２５０−１，２５０−２を経由するデータ転送経路の中から、エクスパンダ２６０の数がより少ないデータ転送経路を選定することができる。
【０１１７】
Ｂ４−３．変形例ｂ３：
図２６は、変形例ｂ３におけるＳＡＳコントローラ２５０とエクスパンダ２６０との接続形態を示す説明図である。図２６の例では、ストレージシステム２０は、第１のＳＡＳコントローラ２５０−１および第２のＳＡＳコントローラ２５０−２を備える。第１のＳＡＳコントローラ２５０−１には、「ｎ」（「ｎ」は自然数）台のエクスパンダ２６０が直列に数珠繋ぎで接続されている。複数のエクスパンダ２６０において一方の端に位置するエクスパンダ２６０−１は、パス配線２８７で第１のＳＡＳコントローラ２５０−１に接続されている。一方、複数のエクスパンダ２６０において他方の端に位置するエクスパンダ２６０−ｎは、パス配線２８８で第２のＳＡＳコントローラ２５０−２に接続されている。複数のエクスパンダ２６０の各々には、それぞれ一台のＨＤＤ２７０が接続され、合計「ｎ」台のＨＤＤ２７０が第１のＳＡＳコントローラ２５０−１および第２のＳＡＳコントローラ２５０−２にデイジーチェーン接続されている。図２６に示す例では、一台のエクスパンダ２６０に一台のＨＤＤ２７０が接続されているが、他の実施形態として、一台のエクスパンダ２６０に複数のＨＤＤ２７０が接続されても良いし、ＨＤＤ２７０と直接的に接続されていないエクスパンダ２６０が存在しても良い。
【０１１８】
変形例ｂ３におけるストレージシステム２０の動作は、第１のデータ転送経路が、第１のＳＡＳコントローラ２５０−１とＨＤＤ２７０との間でパス配線２８７を用いてエクスパンダ２６０を経由する経路であり、第２のデータ転送経路が、第２のＳＡＳコントローラ２５０−２とＨＤＤ２７０との間でパス配線２８８を用いてエクスパンダ２６２を経由する経路である点を除き、第２の実施例と同様である。
【０１１９】
変形例ｂ３におけるストレージシステム２０によれば、それぞれ異なるＳＡＳコントローラ２５０−１，２５０−２を経由するデータ転送経路の中から、エクスパンダ２６０の数がより少ないデータ転送経路を選定することができる。
【０１２０】
Ｃ．その他の実施形態：
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。例えば、本実施例では、パス調整処理（ステップＳ１００，Ｓ２００）は、ストレージシステム２０における主制御部２１０によって実施されるとしたが、他の実施形態において、ストレージ管理装置６０によって実施されるとしても良い。
【０１２１】
Ｃ１．変形例ａ１１：
前述の第１の実施例では、パス調整処理（ステップＳ１００）において、ストレージシステム２０の主制御部２１０は、ＨＤＤ２７０の接続構成に変化があった場合（ステップＳ１１０）への対応として、データ移動処理（ステップＳ１６０）を実施したが、主制御部２１０のメモリ２１４に記憶されている要求性能テーブル９２０が更新された場合への対応として、データ移動処理（ステップＳ１６０）を実施するとしても良い。
【０１２２】
図２７は、変形例ａ１１におけるパス調整処理（ステップＳ１００）を示すフローチャートである。変形例ａ１１では、ストレージシステム２０の主制御部２１０は、主制御部２１０のメモリ２１４に記憶されている要求性能テーブル９２０が更新されたか否かを判断する（ステップＳ１１６）。本実施例では、主制御部２１０における要求性能テーブル９２０は、ストレージ管理装置６０の指示に基づいて更新される。他の実施形態において、主制御部２１０における要求性能テーブル９２０は、ホスト計算機３０の指示に基づいて更新されても良いし、ストレージシステム２０が管理者からの入力を受け付けるインタフェースを備える場合、そのインタフェースから入力された情報に基づいて更新されるとしても良い。主制御部２１０における要求性能テーブル９２０が更新された場合（ステップＳ１１６）、主制御部２１０は、図６のパス調整処理（ステップＳ１００）と同様に、対象特定処理（ステップＳ１３０）、移動先選定処理（ステップＳ１５０）、データ移動処理（ステップＳ１６０）を順に実行する。
【０１２３】
変形例ａ１１におけるストレージシステム２０によれば、論理ユニットに求められる要求性能の変化に応じて、データ転送経路となるエクスパンダ２６０の数に起因するレイテンシを抑制することができる。
【図面の簡単な説明】
【０１２４】
【図１】計算機システム１０の構成を示す説明図である。
【図２】第１の実施例におけるストレージシステム２０の構成を主に示す説明図である。
【図３】第１の実施例におけるＬＵ管理テーブル９１０を示す説明図である。
【図４】主制御部２１０の要求性能テーブル９２０を示す説明図である。
【図５】主制御部２１０の性能対応データ９３０を示す説明図である。
【図６】第１の実施例においてストレージシステム２０の主制御部２１０が実行するパス調整処理（ステップＳ１００）を示すフローチャートである。
【図７】図６におけるＬＵ管理テーブル更新処理（ステップＳ１２０）の詳細を示すフローチャートである。
【図８】図６における対象特定処理（ステップＳ１３０）の詳細を示すフローチャートである。
【図９】図６における移動先選定処理（ステップＳ１５０）の詳細を示すフローチャートである。
【図１０】図６におけるデータ移動処理（ステップＳ１６０）の詳細を示すフローチャートである。
【図１１】変形例ａ１における対象特定処理（ステップＳ１３０）の詳細を示すフローチャートである。
【図１２】変形例ａ２における対象特定処理（ステップＳ１３０）の詳細を示すフローチャートである。
【図１３】変形例ａ３における対象特定処理（ステップＳ１３０）の詳細を示すフローチャートである。
【図１４】変形例ａ４における対象特定処理（ステップＳ１３０）の詳細を示すフローチャートである。
【図１５】変形例ａ５における対象特定処理（ステップＳ１３０）の詳細を示すフローチャートである。
【図１６】変形例ａ６におけるパス調整処理（ステップＳ１００）を示すフローチャートである。
【図１７】変形例ａ７におけるパス調整処理（ステップＳ１００）を示すフローチャートである。
【図１８】変形例ａ８におけるパス調整処理（ステップＳ１００）を示すフローチャートである。
【図１９】変形例ａ９におけるパス調整処理（ステップＳ１００）を示すフローチャートである。
【図２０】変形例ａ１０における移動先選定処理（ステップＳ１５０）の詳細を示すフローチャートである。
【図２１】第２の実施例におけるストレージシステム２０の構成を主に示す説明図である。
【図２２】第２の実施例におけるＬＵ管理テーブル９６０を示す説明図である。
【図２３】第２の実施例においてストレージシステム２０の主制御部２１０が実行するパス調整処理（ステップＳ２００）を示すフローチャートである。
【図２４】変形例ｂ１におけるＳＡＳコントローラ２５０とエクスパンダ２６０との接続形態を示す説明図である。
【図２５】変形例ｂ２におけるＳＡＳコントローラ２５０とエクスパンダ２６０との接続形態を示す説明図である。
【図２６】変形例ｂ３におけるＳＡＳコントローラ２５０とエクスパンダ２６０との接続形態を示す説明図である。
【図２７】変形例ａ１１におけるパス調整処理（ステップＳ１００）を示すフローチャートである。
【符号の説明】
【０１２５】
１０…計算機システム
２０…ストレージシステム
３０…ホスト計算機
４０…ストレージネットワーク
５０…管理ネットワーク
６０…ストレージ管理装置
２１０…主制御部
２１２…ＣＰＵ
２１４…メモリ
２１８…管理インタフェース
２２０…ホストインタフェース
２３０…スイッチ
２４０…ディスクインタフェース
２５０…ＳＡＳコントローラ
２６０，２６２…エクスパンダ
２８１−２８８…パス配線
８３０…対象特定部
８５０…移動先選定部
８６０…データ移動部
８７０…装置特定部
８８０…パス比較部
８９０…パス設定部
９１０…ＬＵ管理テーブル
９２０…要求性能テーブル
９３０…性能対応データ
９６０…ＬＵ管理テーブル
【図１】
0005033041.tif 000002
【図２】
0005033041.tif 000003
【図３】
0005033041.tif 000004
【図４】
0005033041.tif 000005
【図５】
0005033041.tif 000006
【図６】
0005033041.tif 000007
【図７】
0005033041.tif 000008
【図８】
0005033041.tif 000009
【図９】
0005033041.tif 000010
【図１０】
0005033041.tif 000011
【図１１】
0005033041.tif 000012
【図１２】
0005033041.tif 000013
【図１３】
0005033041.tif 000014
【図１４】
0005033041.tif 000015
【図１５】
0005033041.tif 000016
【図１６】
0005033041.tif 000017
【図１７】
0005033041.tif 000018
【図１８】
0005033041.tif 000019
【図１９】
0005033041.tif 000020
【図２０】
0005033041.tif 000021
【図２１】
0005033041.tif 000022
【図２２】
0005033041.tif 000023
【図２３】
0005033041.tif 000024
【図２４】
0005033041.tif 000025
【図２５】
0005033041.tif 000026
【図２６】
0005033041.tif 000027
【図２７】
0005033041.tif 000028