(57)【要約】【課題】複数のファイルサーバ間でファイルシステムを移動しても、クライアントからファイルシステムへのアクセス性能を低下させることがないようにできるストレージシステムを提供すること。【解決手段】ファイルシステムに対してアクセスする、クライアントに対し、同じ名前空間を持つ共有ファイルシステムを提供するストレージシステムである。メモリ１４に、ファイルシステムと、このファイルシステムがマウントされているファイルサーバとの対応関係が格納された第１の情報テーブルと、ファイルシステムと、このファイルシステムにクライアントがアクセスした頻度と、の対応関係が格納された第２の情報テーブルと、を備えている。【選択図】図２
2007115140.tif 000002
【特許請求の範囲】
【請求項１】
複数のファイルサーバと、
このファイルサーバにマウントされる複数のファイルシステムと、
前記ファイルサーバに対して記憶領域を提供するストレージデバイスと、
前記ファイルサーバに対するクライアントの前記ファイルシステムへのアクセスを管理する管理モジュールと、を備え、
前記ファイルシステムに対してアクセスする、前記クライアントに対し、同じ名前空間を持つ共有ファイルシステムを提供するストレージシステムであって、
前記管理モジュールは、
前記ファイルシステムと、このファイルシステムがマウントされている前記ファイルサーバとの対応関係が格納された第１の情報テーブルと、
前記ファイルシステムと、このファイルシステムに前記クライアントがアクセスした頻度と、の対応関係が格納された第２の情報テーブルと、を備える、
ストレージシステム。
【請求項２】
前記管理モジュールは、前記クライアントが前記ファイルシステムへアクセスするたびに、前記第２の情報テーブルの前記アクセス頻度を更新する、請求項１記載のストレージシステム。
【請求項３】
前記管理モジュールは、前記第２の情報テーブルを前記クライアント毎に集計して、特定のクライアントの前記ファイルシステムへのアクセス回数が減少するように、当該ファイルシステムとこのファイルシステムの移動先となる他のファイルサーバとを決定する、請求項１記載のストレージシステム。
【請求項４】
前記管理モジュールは、前記ファイルシステムを前記他のファイルサーバにマウントするプログラムを備える、請求項３記載のストレージシステム。
【請求項５】
前記管理モジュールは、前記アクセス回数が減少する、前記ファイルシステムと、このファイルシステムが移動されるファイルサーバとの組み合わせを計算し、この結果を出力する、請求項３記載のストレージシステム。
【請求項６】
前記管理モジュールは、前記第２の情報テーブルを前記クライアント毎に集計して、特定のクライアントの前記ファイルサーバに対するアクセス回数が減少するように、当該特定のクライアントが接続すべき他のファイルサーバを決定する、請求項１記載のストレージシステム。
【請求項７】
前記管理モジュールは、前記クライアントが前記他のファイルサーバに接続するように、前記クライアントから前記他のファイルサーバへのアクセス経路を変更するプログラムを備える、請求項６記載のストレージシステム。
【請求項８】
前記管理モジュールは、前記ファイルシステムが移動される前記他のファイルサーバのＣＰＵ利用率が少なくなるような、前記ファイルシステムと前記他のファイルサーバとの組み合わせを決定する、請求項３記載のストレージシステム。
【請求項９】
前記管理モジュールは、前記ファイルシステムが移動される前記他のファイルサーバのＩ／Ｏ負荷が少なくなるような、前記ファイルシステムと前記他のファイルサーバとの組み合わせを決定する、請求項３記載のストレージシステム。
【請求項１０】
前記管理モジュールは、前記ファイルシステムが移動される前記他のファイルサーバのネットワーク負荷が少なくなるような、前記ファイルシステムと前記他のファイルサーバとの組み合わせを決定する、請求項３記載のストレージシステム。
【請求項１１】
複数のノードと、
このノードにマウントされる複数のリソースと、
前記リソースに対して記憶領域を提供するストレージデバイスと、
前記ノードに対するクライアントの前記ファイルシステムへのアクセスを管理する管理モジュールと、
前記リソースに前記クライアントがアクセスしている状況を管理するテーブルと、
このテーブルを参照して、前記リソースがマイグレーションされるべきノードを決定し、前記クライアントが目的のリソースにアクセスできるまでの試行回数を少なくする、管理モジュールと、を備える、
ストレージシステム。
【請求項１２】
前記ノードがファイルサーバであり、前記リソースが、ファイルシステム、ディレクトリ、又は、ファイルである請求項１１記載のストレージシステム。
【請求項１３】
複数のファイルサーバと、
このファイルサーバにマウントされる複数のファイルシステムと、
前記ファイルサーバに対して記憶領域を提供するストレージデバイスと、
前記ファイルサーバに対するクライアントの前記ファイルシステムへのアクセスを管理する管理モジュールと、を備え、
前記ファイルシステムに対してアクセスする、前記クライアントに対し、同じ名前空間を持つ共有ファイルシステムを提供するストレージシステムの制御方法であって、
前記管理モジュールは、前記ファイルシステムに前記クライアントがアクセスしている状況を管理するテーブルを参照して、前記ファイルシステムがマイグレーションされるべき前記ファイルサーバを決定して、前記クライアントが目的のファイルシステムにアクセスできるまでの試行回数を少なくする、ようにしたストレージシステムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はストレージシステムに係り、特に、複数のファイルサーバが、クライアントに対して、同一の名前空間をもつ共有ファイルシステムを提供してなる、ストレージシステムに関するものである。
【背景技術】
【０００２】
近年、サーバ毎に分散配置されていたストレージを一箇所のストレージシステムに集約するストレージコンソリデーションが普及している。さらに、ストレージシステムにファイルサーバを搭載して、ＮＦＳ（Network File System）やＣＩＦＳ（Common Interface File System）等のファイル共有プロトコルを利用して、ネットワーク上のコンピュータ間でファイルを共有するサービスが普及している。
【０００３】
企業内においてストレージに関する構築、運用、保守等のサービスを提供するシステム管理部門は、ストレージコンソリデーションの運用形態として、例えば、１台のストレージシステムを論理的に分割してなる論理ボリュームを、ファイルサーバを介して各部門に提供している。このようなストレージ・サービスを提供しているシステム管理部門は、ストレージコンソリデーションによって、ストレージ管理の集約化と管理コストの低減を図らんとしている。
【０００４】
さらに、ストレージシステムに、ファイルサーバを複数搭載して、クライアント装置からのファイルアクセスに伴う負荷をファイルサーバ間で分散することにより、ファイルアクセスサービスの性能を向上する負荷分散技術がある。このストレージシステムでは、複数のファイルサーバが提供する共有ファイルシステムの名前空間を統一することにより、ファイルサービスを享受するクライアントに対して、複数のファイルサーバがあたかも１つの共有したファイルシステムを提供しているように振舞うことができる。
【０００５】
これを達成する従来技術として、US 6,671,773(特許文献１)に記載されたものがある。特許文献１には、ファイルサービスを享受するクライアントと複数のファイルサーバの間に、クライアントがアクセスする共有ファイルシステムの名前空間と、ファイルサーバがクライアントに提供する共有ファイルシステムの名前空間とを変換する機能を有するスイッチに関する技術が開示されている。
【０００６】
また、RFC3010, http://www.ietf.org/rfc/rfc3010.txt（非特許文献１）には、複数のファイルサーバが、同じ名前空間を持つ共有ファイルシステムを提供しているストレージシステムにおいて、クライアントが、目的とするファイルシステムを有していないファイルサーバにアクセスした場合、このファイルサーバが目的とするファイルシステムを備えている他のファイルサーバの名前あるいはＩＰ（Internet Protocol）アドレスを、クライアント装置に通知する技術が開示されている。この技術によれば、ファイルサーバの特定情報を受信したクライアントは、このファイルサーバにアクセスすることにり、目的とするファイルシステムにアクセスすることができる。
【特許文献１】US 6,671,773
【非特許文献１】RFC3010，第６章第４頁, http://www.ietf.org/rfc/rfc3010.txt
【発明の開示】
【発明が解決しようとする課題】
【０００７】
複数のファイルサーバが、あたかも１つの共有ファイルシステムをクライアントに提供しているように振舞うと、クライアントはファイルサーバの構成に依存することなくファイルサービスを享受することができる。したがって、新規のファイルサーバをストレージシステムに増設する場合や、ファイルサーバの負荷分散のためのファイルサーバの構成を変更することが、クライアントに影響を与えることなく実現可能である。例えば、ある１つのファイルサーバに対する、クライアントからのアクセス頻度が高い場合、このファイルサーバにマウントされた、アクセス頻度の高いファイルシステムを他のファイルサーバに移動する。これにより、特定のファイルサーバに対してクライアントからのアクセスが集中することを避け、複数のサーバ間でアクセス負荷を均一化できる。クライアントは、目的としたファイルシステムが他のファイルサーバにマイグレーションされたとしても、目的とするファイルシステムに引き続きアクセスすることができる。
【０００８】
クライアントが最初にアクセスするファイルサーバとは異なるファイルサーバへファイルシステムが移動すると、クライアントがファイルサーバへアクセスする毎に、ファイルサーバはクライアントへファイルシステムの移動先のファイルサーバの情報を通知しなければならない。通知を受信したクライアントはファイルシステムが移動した先であるファイルサーバへ再度アクセスする処理を行わなければならない。その結果、特定のファイルサーバへアクセス負荷が集中することを緩和できたにも拘わらず、クライアントが目的のファイルシステムへアクセスできるまでの試行回数が増加して、クライアントからファイルシステムへのアクセス性能が低下する可能性がある。
【０００９】
そこで、本発明の一態様は、複数のファイルサーバ間でファイルシステムを移動しても、クライアントからファイルシステムへのアクセス性能を低下させることがないようにできるストレージシステムを提供する。
【００１０】
本発明の他の態様は、複数のファイルサーバ間でファイルシステムを移動しても、あるファイルサーバが、クライアントから、他のファイルサーバにマウントされたファイルシステムへのリクエストを受け付けた場合、そのリクエストを他のファイルサーバへ転送する回数を、システム全体として少なくできる、ストレージシステムを提供する。本発明のさらに他の態様は、このストレージシステムの制御方法を提供する。
【課題を解決するための手段】
【００１１】
上記課題の少なくとも一つを解決、或いは、上記態様の少なくとも一つを実現するために、本発明は、ノードのリソースにクライアントがアクセスしている状況を管理するテーブルを設け、このテーブルを参照して、リソースがマイグレーションされるべきノードを決定するようにして、クライアントが目的のリソースにアクセスできるまでの試行回数を少なくなるようにしたものである。
【００１２】
すなわち、本発明の第１は、複数のファイルサーバと、このファイルサーバにマウントされる複数のファイルシステムと、前記ファイルサーバに対して記憶資源を提供するストレージと、前記クライアントの前記ファイルシステムへのアクセスを管理する管理モジュールと、を備え、前記ファイルシステムに対してアクセスするクライアントに対して、同じ名前空間を持つ共有ファイルシステムを提供するストレージシステムであって、前記管理モジュールは、前記ファイルシステムと、このファイルシステムがマウントされているファイルサーバとの対応関係が格納された第１の情報テーブルと、前記ファイルシステムと、このファイルシステムに前記クライアントがアクセスした頻度と、の対応関係が格納された第２の情報テーブルと、を備える、ことを特徴とするものである。
【００１３】
さらに、本発明の第２は、複数のノードと、このノードにマウントされる複数のリソースと、前記リソースに対して記憶領域を提供するストレージと、前記ノードに対するクライアントの前記ファイルシステムへのアクセスを管理する管理モジュールと、前記リソースに前記クライアントがアクセスしている状況を管理するテーブルと、このテーブルを参照して、前記リソースがマイグレーションされるべきノードを決定し、前記クライアントが目的のリソースにアクセスできるまでの試行回数を少なくする、管理モジュールと、を備える、ことを特徴とするものである。
【００１４】
さらに、本発明の第３は、複数のファイルサーバと、このファイルサーバにマウントされる複数のファイルシステムと、前記ファイルサーバに対して記憶領域を提供するストレージと、前記ファイルサーバに対するクライアントの前記ファイルシステムへのアクセスを管理する管理モジュールと、を備え、前記ファイルシステムに対してアクセスする、前記クライアントに対し、同じ名前空間を持つ共有ファイルシステムを提供するストレージシステムの制御方法であって、前記管理モジュールは、前記ファイルシステムに前記クライアントがアクセスしている状況を管理するテーブルを参照して、前記ファイルシステムがマイグレーションされるべき前記ファイルサーバを決定して、前記クライアントが目的のファイルシステムにアクセスできるまでの試行回数を少なくする、ことを特徴とするものである。
【００１５】
なお、本発明第４は、このファイルサーバにマウントされる複数のファイルシステムと、前記ファイルサーバに対して記憶領域を提供するストレージと、前記ファイルサーバに対するクライアントの前記ファイルシステムへのアクセスを管理する管理モジュールと、を備え、前記ファイルシステムに対してアクセスする、前記クライアントに対し、同じ名前空間を持つ共有ファイルシステムを提供するストレージシステムに適用されるコンピュータプログラムであって、前記ファイルシステムに前記クライアントがアクセスしている状況を管理するテーブルを生成し、そして、この管理テーブルを参照して、前記ファイルシステムがマイグレーションされるべき前記ファイルサーバを決定して、前記クライアントが目的のファイルシステムにアクセスできるまでの試行回数を少なくする、処理を前記管理モジュールに実行させることを特徴とする。
【発明の効果】
【００１６】
以上説明したように本発明によれば、複数のファイルサーバが同じ名前空間を持つ共有ファイルシステムを提供するストレージシステムにおいて、ファイルシステムに対するクライアントのアクセス頻度が減少するような、ファイルシステムと該ファイルシステムの移動先であるファイルサーバとを決定できる。したがって、ファイルシステムに対するクライアントのアクセス性能を向上することができる。
【発明を実施するための最良の形態】
【００１７】
以下、各図を参照して、本発明の実施形態について説明する。図１は、本発明に係るストレージシステムの一例を示すハードウエア構成図である。このストレージシステムは、ファイルサーバとしてＮＡＳを備えている。すなわち、ファイルサーバがストレージシステムに組み込まれている。
【００１８】
ストレージシステム６００は、複数の記憶デバイス３００と、情報処理装置（クライアント）からの入出力要求に応答して、記憶デバイス３００への入出力制御を行う記憶デバイス制御装置１００とを備えて構成されている。情報処理装置１乃至３（２１０，２２０，２３０）はＬＡＮ４００を介してストレージシステム６００と接続され  ている。情報処理装置１乃至３からはストレージシステム６００に対してファイル名指定によるデータアクセス要求（ファイル単位でのデータ入出力要求）が後述のチャネル制御部ＣＨＮ１乃至ＣＨＮ４（１１０）に送信される。
【００１９】
ＬＡＮ４００にはバックアップデバイス９１０が接続されている。バックアップデバイス９１０はＬＡＮ４００を介して記憶デバイス制御装置１００との間で通信を行うことにより記憶デバイス３００に記憶されているデータのバックアップデータを記憶する。
【００２０】
記憶デバイス制御装置１００はチャネル制御部ＣＨＮ１乃至４（１１０）を備える。記憶デバイス制御装置１００は、チャネル制御部ＣＨＮ１乃至４（１１０）とＬＡＮ４００とを介して、情報処理装置１乃至３と、バックアップデバイス９１０と、記憶デバイス３００との間のライトアクセス又はリードアクセスを媒介する。チャネル制御部ＣＨＮ１乃至４（１１０）は情報処理装置１乃至３からのファイルアクセス要求を個々に受け付ける。すなわち、チャネル制御部ＣＨＮ１乃至４（１１０）には個々にＬＡＮ４００上のネットワークアドレス（例えば、ＩＰアドレス）が割り当てられていて、それぞれが個別に、後述のファイルサーバ（ＮＡＳ）として振る舞い、ファイルサーバといしてのサービスを情報処理装置１乃至３（２００）に提供する。
【００２１】
このように１台のストレージシステム６００に個別にＮＡＳとしてのサービスを提供するチャネル制御部ＣＨＮ１乃至４（１１０）を備えるように構成したことで、従来、独立したコンピュータで個々に運用されていた、ファイルサーバが一台のストレージシステム６００に集約される。そして、これによりストレージシステム６００の統括的な管理が可能となり、各種設定・制御や障害管理、バージョン管理といった保守業務の効率化が図られる。
【００２２】
情報処理装置３乃至４（２００）はＳＡＮ５００を介して記憶デバイス制御装置１００と接続されている。ＳＡＮ５００は、記憶デバイス３００が提供する記憶領域におけるデータの管理単位であるブロックを単位として情報処理装置３乃至４（２３０，２４０，２５０）との間でデータの授受を行うためのネットワークである。
【００２３】
ＳＡＮ５００を介して行われる情報処理装置３乃至４と記憶デバイス制御装置１００との間の通信は一般にファイバチャネルプロトコルに従って行われる。ＳＡＮ５００にはＳＡＮ対応のバックアップデバイス９００が接続されている。
【００２４】
記憶デバイス制御装置１００は、チャネル制御装置ＣＨＮ１乃至４（１１０）に加えて、更にチャネル制御部ＣＨＦ１乃至２（１１１）を備える。記憶デバイス制御装置１００はチャネル制御部ＣＨＦ１乃至２（１１１）とＳＡＮ５００とを介して、情報処理装置３乃至４及びＳＡＮ対応バックアップデバイス９００との間の通信を行う。
【００２５】
情報処理装置５（２５０）は、更に、ＬＡＮ４００やＳＡＮ５００等のネットワークを介さずに記憶デバイス制御装置１００と接続されている。ＳＡＮ５００には、ストレージシステム６００の設置場所（プライマリサイト）とは遠隔した場所（セカンダリサイト）に設置される他のストレージシステム６１０が接続されている。ストレージシステム６１０は、レプリケーション又はリモートコピーの機能におけるデータの複製先の装置として利用される。
【００２６】
このように、ストレージシステム６００内にチャネル制御部ＣＨＮ１乃至４（１１０）、チャネル制御部ＣＨＦ１乃至２（１１１）、チャネル制御部ＣＨＡ１乃至２（１１２）を混在させて装着させることにより、異種ネットワークに接続できるストレージシステムを実現できる。即ち、このストレージシステム６００は、チャネル制御部ＣＨＮ１乃至４（１１０）を用いてＬＡＮ４００に接続し、かつチャネル制御部ＣＨＦ１乃至２（１１１）を用いてＳＡＮ５００に接続するという、ＳＡＮ−ＮＡＳ統合ストレージシステムである。
【００２７】
接続部１５０は、各々のチャネル制御部１１０、共有メモリ１２０、キャッシュメモリ１３０、及び各々のディスク制御部１４０を相互に接続する。これらのチャネル制御部１１０、共有メモリ１２０、キャッシュメモリ１３０、及びディスク制御部１４０相互間のコマンド又はデータの送受信は接続部１５０を介して行われる。接続部１５０は例えば高速スイッチングによりデータ伝送を行う超高速クロスバスイッチ等の高速バスで構成される。接続部１５０は、記憶デバイス３００のボリュームとファイルサーバ（ＣＨＮ１乃至ＣＨＮ４）との間のパスの形成及び切り替えを行う。
【００２８】
共有メモリ１２０、及びキャッシュメモリ１３０はチャネル制御部１１０、及びディスク制御部１４０が共用するメモリ装置である。共有メモリ１２０は主として制御情報やコマンド等を記憶するために利用され、キャッシュメモリ１３０は主としてデータを記憶するために利用される。ディスク制御部１４０は共有メモリ１２０を監視しており、共有メモリ１２０に書き込みコマンドが書き込まれたと判定すると、当該書き込みコマンドに従ってキャッシュメモリ１３０からライトデータを読み出して、これを記憶デバイス３００に書き込む。
【００２９】
あるチャネル制御部１１０が情報処理装置２００から受け取ったデータ入出力コマンドが読み出しコマンドであった場合に、当該チャネル制御部１１０はその読み出しコマンドを共有メモリ１２０に書き込むとともに、読み出し対象となるデータがキャッシュメモリ１３０に存在しているか否かをチェックする。
【００３０】
ディスク制御部１４０はチャネル制御部１１０から送信された論理アドレス指定による記憶デバイス３００へのデータアクセス要求を、物理アドレス指定によるデータアクセス要求に変換し、チャネル制御部１１０から出力されるＩ/Ｏ要求に応答して記憶デバイス３００へのデータの書き込み又は読み取りを行う。
【００３１】
記憶デバイス３００は、単一又は複数のディスクドライブを備えており、情報処理装置２００からアクセス可能な記憶領域を提供する。記憶デバイス３００が提供する記憶領域には単一又は複数の物理ボリュームの記憶空間を合わせた論理ボリュームが設定されている。記憶デバイス３００に設定される論理ボリュームには、情報処理装置２００からアクセス可能なユーザ論理ボリュームや、チャネル制御部１１０の制御のために使用されるシステム論理ボリュームがある。管理端末１６０はストレージシステム６００を保守・管理するためのコンピュータ装置であり、内部ＬＡＮ１５１を通じて各々のチャネル制御部１１０とディスク制御部１４０に接続している。管理者は管理端末１６０を操作することで記憶デバイス３００のディスクドライブの設定、論理ボリュームの設定、チャネル制御１１０やディスク制御部１４０で実行されるマイクロプログラムのインストール等を行うことが可能である。
【００３２】
図２は、図１に示したストレージシステムの構成のうち、共有ファイルシステムの部分を抜粋して簡略化した、システム構成図である。さらに、図３はファイルサーバ１０のメモリ１４の構成を示したブロック図である。図２において、図１のチャネル制御部ＣＨＮ１乃至４がそれぞれファイルサーバ１０に該当する。図１の情報処理装置１，２がクライアント２０に該当する。ボリューム３０は、図１の記憶デバイス３００の一つ又は複数によって構成される、クライアント２０がアクセス可能な論理的な記憶領域である。
【００３３】
ファイルサーバ１０は、メモリ１４に実装されたファイル共有プログラム６２を、ＣＰＵ１２を用いて実行して、クライアント２０に対して、複数のクライアントが共有できる、共有ファイルシステムとしての、ボリューム３０に格納されたファイルシステム３１を提供する。複数のクライアント２０は、ネットワーク４０を介して、論理ボリューム３０に格納されたファイルシステム３１にアクセスすることができる。クライアント２０は、ＣＰＵやメモリ等を備えたコンピュータ装置であり、例えば、ワークステーション、メインフレームコンピュータ、パーソナルコンピュータ等で構成される。クライアント２０は複数台のコンピュータをネットワーク接続して構成されることもできる。クライアント２０は、オペレーティングシステム上で動作するアプリケーションプログラムを実装している。アプリケーションプログラムとしては、例えば、銀行の自動預金預け払いシステムや航空機の座席予約システム等がある。
【００３４】
ボリューム３０に格納された、ファイルシステム３１は、共有ファイルシステムとして、クライアントがアクセスできる形態であるならば、ディレクトリあるいはファイルであってもよい。
【００３５】
ネットワークインタフェース１１は、ファイルサーバをネットワーク４０に接続するためのインタフェースである。ＣＰＵ１２は、ネットワークの負荷情報として、ネットワークインタフェース１１が、ファイルサーバがネットワーク４０を介してクライアント２０との間で送受信したデータの量と送信した回数等を取得する。ネットワークインタフェース１１として、例えば、イーサネット（登録商標）等を用いることができる。
【００３６】
ストレージインタフェース１３は、ファイルサーバ１０を記憶デバイス３００(図１)のボリューム３０に接続するためのインタフェースである。ＣＰＵ１２は、ストレージインタフェース１３がボリューム３０との間で送受信したデータの量と送信した回数等をＩ／Ｏ負荷情報として取得する。ストレージインタフェース１３としては、例えば、ＡＴＡ（Advanced Technology Attachement）、ＳＣＳＩ（Small Computer System Interface）、ファイバーチャネル等がある。
【００３７】
或るファイルサーバ１０のファイル共有プログラム６２は、他のファイルサーバ１０上で実行されているファイル共有プログラムとの間で、ファイル共有プログラム６２がクライアント２０に共有ファイルシステムとして提供するファイルシステム３１の格納場所をお互いに通知しあうことによって、一つの名前空間を持つ共有ファイルシステムをクライアントに提供する。したがって、全クライアント２０は、ファイルサーバの構成に影響されることなく、あたかも一つの共有ファイルシステムであるかのようにファイルシステムにアクセスすることができる。この構成は、ファイルサーバの構成がクライアント２０に影響を与えないようにできることから、ファイルサーバ間でファイルアクセスの際の負荷を分散する場合やファイルサーバをストレージシステムに新規に導入する場合に好適である。
【００３８】
図４は、図１で説明した管理端末１６０を構成する管理計算機５０を示している。管理計算機５０は、メモリ５３上の管理プログラム５４を、ＣＰＵ５１を用いて実行して、ファイルサーバ１０およびクライアント２０を管理する。管理計算機５０は、管理者が管理プログラム５４を利用するためのインタフェースとしての管理画面５５をユーザに提供する。管理プログラム５４は管理モジュールの一例である。なお、管理モジュールとは、あるプログラムの一部の機能を示すものや、複数のプログラムを纏めたものである。
【００３９】
図５は、クライアント２０の構成を示している。クライアント２０は、メモリ２３上のファイル共有クライアント２４を、ＣＰＵ２１を用いて実行して、ネットワークインタフェース２２を介して、ファイルサーバ１０がクライアントに提供する共有ファイルシステムへアクセスする。
【００４０】
図３に示すように、ファイルサーバ１０には、既述のファイル共有プログラム６２の他、性能測定プログラム６１が常駐している。図３に示す、各プログラム及び情報テーブルが管理モジュールを構成する。図２に示すように、ボリューム３０には、例えばクライアント（Ｃ１）２０が使用するファイルシステム３１が格納されており、ファイルサーバ１０（ＮＡＳ１）は、ストレージインタフェース１３を介してファイルシステム３１にリード又はライトアクセスする。クライアント（Ｃ１）２０は、ネットワークインタフェース１１に接続されたネットワーク４０を介して、ファイル共有プログラム６２が提供する共有ファイルシステムの一部としての、ファイルシステム３１へアクセスすることができる。
【００４１】
ネットワーク４０が、例えばＬＡＮ（Local Area Network）である場合には、クライアント２０とファイルサーバ１０との通信にはＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）やＵＤＰ（User Datagram Protocol）の通信プロトコルが用いられる。共有ファイルシステムとして、例えば、ＮＦＳ(Network File System)やＣＩＦＳ(Common Internet File System)がある。ボリューム３０は、単体のハードディスクや、ＲＡＩＤ（Redundant Array of Independent Inexpensive Disks）構成された複数のハードディスク、あるいは単体のハードディスクやＲＡＩＤ上の論理的な記憶領域でもよい。
【００４２】
ファイル共有プログラム６２は、クライアント２０がファイルサーバ１０にマウントされていないファイルシステムを指定して、このファイルサーバ１０にアクセスしてきた場合、ファイルシステム位置テーブル６３を参照して、目的とするファイルシステムがマウントしているファイルサーバ名を取得して、クライアント２０にこのファイルサーバ名を返信、すなわち、クライアントからのリクエストをこのクライアントに転送する。クライアント２０は、リクエストの転送を受けて、別のファイルサーバに改めてアクセスすることで、目的とするファイルシステム３１にアクセスすることができる。リクエストの転送が発生すると、そのクライアントにはオーバヘッドとなって、クライアントのファイルサーバへアクセスする際の性能が低下することになる。
【００４３】
図６は、ファイルシステム位置テーブル６３（図２）の構造の例を示したものである。ファイルシステム位置テーブル６３には、同じ名前空間を持つ共有ファイルシステムを提供する、個々のファイルサーバと、このファイルサーバにマウントされている、ファイルシステムとの対応関係が格納されている。
【００４４】
図３のメモリ１４に格納された、移動プログラム６０（図３）は、図７に示すように、ファイルサーバ（ＮＡＳ１）１０Ａにマウントされたファイルシステム３１が指定され、さらに、他のファイルサーバ（ＮＡＳ２）１０Ｂが指定されると、ファイルサーバ１０Ａからファイルシステムを３１を切り離して（（１）アンマウント）、ファイルサーバとボリューム（論理ユニットＬＵ）３０とのパスを切り替え（（２））、次いでこのファイルシステム３１を他のサーバへ１０Ｂに接続する（（３）マウント）。
【００４５】
ファイルシステムを指定する方法として、例えば、ファイルシステムの名前を指定する方法がある。ファイルサーバを指定する方法として、例えば、ファイルサーバの名前やファイルサーバのＩＰアドレスを指定する方法がある。
【００４６】
移動プログラム６０は、或るファイルサーバから他のファイルサーバへファイルシステムを移動すると、ファイルシステム名と、このファイルシステムを新たに接続（マウント）したファイルサーバ名を、ファイルシステム位置テーブル６３（図３）に記録する。このファイル位置テーブル６３が請求項記載の第１のテーブルに対応する。ファイルサーバ名の代わりに、既述のように、ファイルサーバのＩＰアドレスがこのテーブルに記録されても良い。
【００４７】
図８は、図２の性能情報テーブル６１の構造を示したものである。性能測定プログラム６１は、あるファイルシステムに対してクライアント２０がアクセスした回数を、性能情報テーブル６４に記録する。性能情報テーブル６４は、ファイルシステム名をキーとして、このファイルシステムにアクセスしたクライアント名と、クライアントがファイルシステムにアクセスした回数を保持する。この性能情報テーブルが、請求項記載の第１のテーブルに対応する。
【００４８】
図８のテーブル構造は、図９に示す、クライアント２０（Ｃ１，Ｃ２，Ｃ３）−ファイルサーバ１０（ＮＡＳ１（Ｎ１），ＮＡＳ２（Ｎ２））−ファイルシステム３１（ｆｓ０，ｆｓ１，ｆｓ２，ｆｓ３）からなるシステムについてのものである。クライアントＣ１、Ｃ２はＮＡＳ１にアクセスし（９００，９０２）、クライアントＣ３はＮＡＳ３にアクセスする（９０４）。ＮＡＳ１にはファイルシステムｆｓ０とｆｓ１がマウントされ、ＮＡＳ２にはファイルシステムｆｓ２とｆｓ３とがマウントされている。
【００４９】
クライアントの特定は、クライアント名の代わりにクライアントのＩＰアドレスに依ってもよい。図８は、ファイルシステムｆｓ１に対して、クライアントＣ１から４回のアクセスがあり、クライアントＣ２から２回のアクセスがあり、クライアントＣ３から３回のアクセスがあったことを示している。その他のファイルシステムについては図８記載のとおりである。
【００５０】
なお、図８に示されるカッコ（）は、クライアントからファイルサーバへのリクエストが他のファイルサーバへリクエストすべきであるとして、クライアントへ転送されることを示している。図９を参照して説明すると、例えば、クライアントＣ３がファイルシステムｆｓ０にアクセスする場合、クライアントＣ３は、最初に予め決められたアクセス先である、ファイルサーバＮ２にアクセスする。ファイルサーバＮ２は自身のファイルシステム位置情報テーブル６３（図２）を参照し、クライアントＣ３に、ファイルサーバＮ１にアクセスすべきであるとする情報を送信する。このために、図８のｆｓ１・クライアントＣ３の欄のアクセス頻度に（）が付されている。
【００５１】
或るファイルサーバの性能測定プログラム６１（図３）は、さらに、他のファイルサーバ上で実行されている性能測定プログラムからの要求を、ネットワーク４０（図２）を介して受け付けて、性能情報テーブル６４の内容、性能測定プログラム６１が実行されているファイルサーバ１０のＣＰＵ利用率、ネットワーク負荷情報、Ｉ／Ｏ負荷情報を他のファイルサーバに返却することができる。
【００５２】
図１０は、図３の副性能情報テーブル６５の構造を示したものである。性能測定プログラム６１は、他のファイルサーバ上で実行されている性能測定プログラムに要求を送信し、他のファイルサーバのＣＰＵ利用率やＩ／Ｏ負荷、ネットワーク負荷、あるいはその他ファイルサーバの性能を表す数値を受信して、副性能情報テーブル６５に格納してもよい。図１０は、ファイルサーバ１（File Server１）のＩ／Ｏ負荷は、１００００ＩＯｐｓ（Input/Output per second）であり、ＣＰＵ利用率は５０％であることを示している。
【００５３】
図１１は、図５のクライアント２０のメモリ２３に格納された接続情報テーブル２５の構成を示したものである。ファイル共有クライアント２４は、接続情報テーブルに基づき、アクセス先ファイルサーバがマウントしているファイルシステムに対して、ファイル共有プログラム６２が提供する共有ファイルサーバを介して、アクセスする。
【００５４】
ファイル共有クライアント２４が、接続情報テーブル２５から、ファイルサーバ名とファイルシステム名を取得して、ファイルサーバへアクセスしたにもかかわらず、このファイルサーバに目的とするファイルシステムがマウントされていなかった場合、ファイルサーバ１０は、目的とするファイルシステムをマウントしている正しいファイルサーバ名をファイル共有クライアント２４へ返却する。ファイル共有クライアント２４は、正しいファイルサーバ名を受信し、必要に応じて接続情報テーブル２５を更新するなどし、正しいファイルサーバへアクセスする。この処理を繰り返すことで、複数のファイルサーバ１０の間でファイルシステム３０が移動していた場合でも、ファイル共有クライアント２４は目的とするファイルシステム３０へアクセスできる。
【００５５】
図１２は、ファイルサーバ１０が性能情報テーブル６４を作成する処理手順を記述したフローチャートである。クライアント２０は、接続情報テーブル２５を参照してアクセスしたいファイルシステム３１に対応するファイルサーバ１０の名前を取得する（Ｓ１０）。クライアント２０は、ファイル共有クライアント２４を実行して、このファイルサーバ１０にネットワーク４０を介してアクセスする（Ｓ１１）。性能測定プログラム６１は、性能情報テーブル６４の中から、クライアント２０がアクセスしようとしたファイルシステム名と、クライアント名２０と、に対応するアクセス回数を１つインクリメントして、アクセス回数性能情報テーブルに格納する（Ｓ１２）。
【００５６】
次いで、ファイルサーバ１０は、クライアントに指定されたファイルシステム３１が自身にマウントされているか否かを調べる（Ｓ１３）。ファイルシステム３１がマウントされている場合は（Ｓ１３：ＹＥＳ）、サーバ１０は、ファイルシステム３１に対して、クライアント２０の要求に従って、ライトアクセス或いはリードアクセスを実行し、結果をクライアント２０に送る（Ｓ１４）。
【００５７】
一方、ファイルサーバ１０がファイルシステム３１をマウントしていない場合（Ｓ１３：ＮＯ）、ファイルサーバ１０はファイルシステム位置テーブル６３を参照して、ファイルシステム３１をマウントしている他のファイルサーバ名を取得する（Ｓ１５）。ファイルサーバ名が取得できた場合（Ｓ１５：ＹＥＳ）、ファイルサーバ１０はクライアント２０に対して、このファイルサーバ名を返却する（Ｓ１７）。クライアント２０がファイルサーバ名を受信すると、正しいファイルサーバに対して再度Ｓ１１〜Ｓ１３の処理を繰り返す。ファイルサーバ１０が、ファイルシステム３１をマウントしているファイルサーバ名を取得できなかった場合（Ｓ１５：ＮＯ）、ファイルサーバ１０はクライアント２０に対して、ファイルシステムが存在しない旨のエラーを通知する（Ｓ１８）。
【００５８】
図１２に示す処理によって、ファイルサーバがマウントしている全てのファイルシステムに対する、クライアントからのアクセス頻度が明らかとなる。管理者は、管理計算機を介して、全てのサーバから性能情報テーブルを取得し、これに基づいて、あるファイルサーバにマウントされたファイルシステムを別のファイルサーバへ移動することによって、クライアントからサーバへのアクセスをクライアントにリトライさせることなく、クライアントからサーバへのアクセス回数を低減して、共有ファイルシステム全体の負荷を低減し、クライアントのファイルシステムへのアクセス性能を向上するようにする。なお、全てのファイルサーバではなく、予め決められた範囲のファイルサーバのアクセス頻度を管理者が取得するようにしても良い。
【００５９】
図１３は、管理計算機５０が、すべてのファイルサーバ１０から性能情報テーブル６４を取得し、全ての全てのクライアントから、クライアント−クライアントのアクセス先であるファイルサーバとの接続情報を取得した後、クライアントごとに、アクセス先として指定されているファイルサーバ名、およびファイルシステムへのアクセス回数を記録したテーブルの一例である。ここで、図９をも参照して説明すると、クライアントＣ３（client３）に着目すると、クライアントＣ３は、アクセス先のファイルサーバとしてＮ２（File Server２）が指定されているにもかかわらず、ファイルサーバＮ１（File Server１）にマウントされたｆｓ１へのアクセスが多いことが分かる。
【００６０】
すなわち、クライアントＣ３は、一度ファイルサーバＮ２へアクセスを試行して（９０４）、このサーバからリトライ命令を受け、その後にファイルサーバＮ１に対して再度アクセスして（９０５）、最終的にｆｓ１にアクセスしている。そこで、ｆｓ１をファイルサーバＮ２へ、そして、ｆｓ３をファイルサーバＮ１へマイグレーション（９０６）すると、クライアントＣ３はファイルシステムへのアクセスをリトライする必要がなく、一度でファイルシステムｆｓ１にアクセスすることができるようになる。
【００６１】
図１４は、管理計算機５０の画面に表示される管理用インタフェースの一例である。管理用インタフェース画面には、ファイルシステムとこのファイルシステムが接続されているファイルサーバ、およびクライアントのアクセス性能を向上するために推奨されるファイルシステムの移動先ファイルサーバが表示されている。これは、例えば、ファイルシステムを移動する前と、ファイルシステムを移動した後のファイルサ−バとファイルシステムとの対応関係の全てについて、アクセス数の比較をシミュレーションした後、行われる。なお、このシミュレーションは、所望により後述する図１８のフローチャートの処理と組み合わされる。
【００６２】
図１４は、ファイルシステムｆｓ１がファイルサーバ１からファイルサーバ２にマイグレーションすること、ｆｓ３はその逆にすべき推奨している事を示している。管理者は、管理用インタフェース画面に表示された推奨に従って、管理計算機を操作して、ファイルシステムのマイグレーションを行えば良い。勿論、ファイルシステムの移動が管理計算機のプログラムによって自動化されても良い。
【００６３】
図１４の管理画面には、さらに副性能情報テーブルに格納された、ファイルサーバのＣＰＵ利用率やＩ／Ｏ負荷といった性能情報をあわせて表示されても良い。管理者は、ファイルシステムを移動する際に、ファイルサーバの性能情報を参考にできる。この性能情報も勘案されてファイルシステムが移動されるべきファイルサーバが決定される。ファイルシステムの移動は、管理計算機５０の管理プログラムが行っても良いし、他のファイルサーバに対してマスターとなるファイルサーバ１０の性能測定プログラム６１（図３）が行っても良い。
【００６４】
図１５は、性能測定プログラム６１が、ファイルシステムを移動する処理手順の一例を記したフローチャートである。性能測定プログラム６１は、すべてのファイルサーバで動作する性能測定プログラム６１から、ファイルサーバに格納された性能情報テーブル６４の内容を取得する（Ｓ２０）。性能測定プログラム６１は、すべてのクライアントの接続情報テーブル２５を取得する（Ｓ２１）。次いで、性能測定プログラムはメモリ１４上に図１３に示すテーブルを作成する（Ｓ２２）。
【００６５】
管理者あるいは性能測定プログラム６１が、アクセス数を低減したいクライアント名を指定すると（Ｓ２３）、性能測定プログラム６１は、該クライアントのファイルシステムに対するアクセス回数を取得し、アクセス先として指定されていないファイルサーバにマウントされたファイルシステム名を取得する（Ｓ２４）。もし、ファイルシステム名が１つ以上取得できれば（Ｓ２４：ＹＥＳ）、性能測定プログラム６１は、ファイルシステムの中から、最もアクセス数の多いファイルシステム、もしくはすべてのファイルシステムを、該クライアントのアクセス先として指定されているファイルサーバへ移動する旨、移動プログラム６０へ指示する（Ｓ２５）。もし、ファイルシステム名が取得できなかった場合（Ｓ２４：ＮＯ）は処理を終了する。
【００６６】
なお、該ファイルシステムを移動する際、性能測定プログラム６１は、図１０に示す副性能情報テーブルを参照してもよい。例えば、移動先のファイルサーバのＣＰＵ負荷やＩ／Ｏ負荷が高い場合、ファイルシステムのマイグレーションを中止することができる。
【００６７】
図１５は、性能測定プログラム６１がファイルシステムを移動する処理手順のフローチャートであるが、既述のとおり、管理者の操作のもとで、管理プログラム５４が同様の手順で処理してもよい。図１４が管理画面５５の一例であって、管理者に対してファイルシステムが現在どのようにマウントされているか、およびファイルシステムの移動先として推奨すべき場所はどこかを表示することによって、管理者は、ファイルシステムを移動すべきか否かを判断することができる。
【００６８】
既述の説明によれば、同じ名前空間を持つ共有ファイルシステムを提供するファイルサーバがマウントしているすべてのファイルシステムに対する、特定のクライアントのアクセス性能を向上することができる。この際、クライアントの設定を変更する必要がないため、管理コストの低減に資する。
【００６９】
次に、図１５のフローチャートを実行して取得されたアクセス頻度をもとに、クライアントがアクセスするファイルサーバを変更することによって、クライアントのアクセス回数を低減し、もってクライアントのアクセス性能を向上する方法について説明する。
【００７０】
図１６は、すべてのファイルサーバ１０から性能情報テーブル６４を取得し、またすべてのクライアントから接続情報テーブル２５を取得した後、クライアントごとに、アクセス先として指定されているファイルサーバ名、およびファイルシステムへのアクセス回数を、該ファイルシステムをマウントしているファイルサーバごとに合計したテーブルの一例である。
【００７１】
図９をも参照して説明すると、例えば、クライアントＣ２は、アクセス先のファイルサーバとしてファイルサーバＮ１が指定されているにもかかわらず（９０２）、ファイルサーバＮ２に対するアクセスのほうが多いことが分かる。そこで、クライアントＣ２のアクセス先をファイルサーバＮ２に変更すると（９０８→９０８Ａ）、クライアントＣ２のアクセス性能が向上する。
【００７２】
図１７は、管理計算機５０の管理画面として表示される管理用インタフェース画面の一例である。管理用インタフェース画面には、クライアントと該クライアントが現在接続しているファイルサーバ、およびクライアントのアクセス性能を向上するために推奨する該クライアントの接続先ファイルサーバを表示する。管理者は、管理用インタフェース画面に表示された推奨に従うことで、クライアントのアクセス性能を向上することができるので、管理コストの低減に資する。
【００７３】
管理画面には、さらに副性能情報テーブルに格納された、ファイルサーバのＣＰＵ利用率やＩ／Ｏ負荷といった性能情報をあわせて表示してもよい。管理者は、該ファイルシステムを移動する際に、ファイルサーバの性能情報を考慮することができるため、クライアントのアクセス性能をさらに向上することができる。
【００７４】
図１８は、性能測定プログラム６１がクライアントのアクセス先ファイルサーバを変更する処理手順を記したフローチャートである。性能測定プログラム６１は、すべてのファイルサーバで動作する性能測定プログラム６１から、該ファイルサーバに格納された性能情報テーブル６４の内容を取得する（Ｓ３０）。性能測定プログラム６１は、すべてのクライアントの接続情報テーブル２５を取得する（Ｓ３１）。次いで、性能測定プログラムはメモリ１４上に図１６に示すテーブルを作成する（Ｓ３２）。
【００７５】
管理者あるいは性能測定プログラム６１が、アクセス数を低減したいクライアント名（図１６のクライアント２）を指定すると（Ｓ３３）、性能測定プログラム６１は、該クライアントのファイルサーバに対するアクセス回数を取得する（Ｓ３４）。もし、このクライアントのアクセス先として指定されているファイルサーバ（ファイルサーバ１）へのアクセスが少なければ（Ｓ３４：ＹＥＳ）、性能測定プログラム６１は、ファイルサーバの中から、最もアクセス数の多いファイルサーバ（ファイルサーバ）をアクセス先とするように、経路変更プログラム６６を用いて接続情報テーブル２５を変更する（Ｓ３５）。もし、クライアントがアクセス先として指定されているファイルサーバへのアクセスが少なくなければ（Ｓ３４：ＮＯ）、性能測定プログラム６１は処理を終了する。既述の図９のクライアントのアクセス先となるファイルサーバの変更は、図１８のフローチャートによって実行される。
【００７６】
なお、ファイルシステムを移動する際、性能測定プログラム６１は、図１０に示す副性能情報テーブルを参照してもよい。例えば、アクセス先変更後のファイルサーバのＣＰＵ負荷やＩ／Ｏ負荷が高い場合、変更を中止することができる。
【００７７】
図１８は、性能測定プログラム６１がクライアントのアクセス先ファイルサーバを変更する処理手順のフローチャートであるが、管理者の操作のもとで、管理プログラム５４が同様の手順で処理してもよい。図１７が管理画面５５の一例であって、管理者に対して、クライアントのアクセス先ファイルサーバが現在どのように設定されているか、およびアクセス先ファイルサーバとして推奨すべき変更先ファイルサーバはどのファイルサーバかを表示することによって、管理者は、アクセス先ファイルサーバを変更すべきか否かを判断することができる。
【００７８】
なお、ファイルサーバ１０の用途は、特に限定されるものではなく、共有ファイルシステムをクライアントに提供できる動作環境を備えた計算機一般に用いることができる。例えば、ワークステーション、メインフレームコンピュータ、ネットワークサーバ、パーソナルコンピュータ等の各種コンピュータシステムに適用できる。
【００７９】
性能測定プログラム６１など、本発明の管理モジュールを実現するコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記録することができる。記録媒体として、例えば、光記録媒体（ＣＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ等の光学的にデータの読み取りが可能な記録媒体）や、磁気記録媒体（フレキシブルディスク、磁気カード、磁気テープ、ハードディスクドライブ等の磁気的にデータの読み取りが可能な記録媒体）、あるいはメモリ素子（ＤＲＡＭ等の半導体メモリ素子、ＦＲＡＭ等の強誘電体メモリ素子等）などが好適である。
【００８０】
図１は、ファイルサーバ（ＮＡＳ）をストレージに組み込んだシステムについて説明したが、複数のファイルサーバを、ＳＡＮを介してストレージと接続するようにしても良い。
【００８１】
性能測定プログラム、管理プログラムなどの管理モジュールは、ファイルシステムではなくディレクトリあるいはファイルを対象としてもよい。ファイルシステムにかわってディレクトリあるいはファイルを対象とした場合、クライアントのアクセス性能についてより細かな制御に好適である。
【００８２】
本発明に係るストレージシステムは、図３のテーブルを常時作成・モニタし、定期的にファイルシステムにマイグレーションを行い、クライアントのファイルシステムのアクセス性能が常時低下しないようにしている。
【００８３】
なお、図９では、２機のファイルサーバについて、クライアントからのアクセス頻度を考慮したが、３機以上のファイルサーバでも、同様にアクセス頻度に応じてファイルシステムのマイグレーションを行っても良い。以上説明した実施形態は一例であり、本発明の範囲内で、既述の実施形態を適宜変更することが可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明に係るストレージシステムの実施形態に係る機能ブロック図である。
【図２】図１のストレージシステムから、共有ファイルシステムの機能を抜粋した機能ブロック図である。
【図３】図２のファイルサーバ上のメモリの構成図である。
【図４】管理計算機の機能ブロック図である。
【図５】クライアントの機能ブロック図である。
【図６】ファイルシステム位置テーブルの構造図である。
【図７】ファイルシステムのマイグレーションに係る動作ブロック図である。
【図８】性能情報テーブルの構造図である。
【図９】ファイルシステムのパス切り替えを示す動作ブロック図である。
【図１０】副性能情報テーブルの構造図である。
【図１１】接続情報テーブルの構造図である。
【図１２】ファイルサーバがクライアントのアクセス頻度を取得する処理フローである。
【図１３】クライアントのアクセス頻度を示すテーブルの構造図である。
【図１４】管理計算機に表示される管理インタフェースである。
【図１５】ファイルシステムを移動する処理フローである。
【図１６】クライアントのアクセス頻度を示すテーブルの構造図である
【図１７】管理計算機に表示される管理インタフェースである。
【図１８】クライアントのアクセス先ファイルサーバを変更する処理フローである。
【符号の説明】
【００８５】
１０  ファイルサーバ、２０  クライアント、３０  ボリューム、３１  ファイルシステム  ５０…管理計算機
【図１】
2007115140.tif 000003
【図２】
2007115140.tif 000004
【図３】
2007115140.tif 000005
【図４】
2007115140.tif 000006
【図５】
2007115140.tif 000007
【図６】
2007115140.tif 000008
【図７】
2007115140.tif 000009
【図８】
2007115140.tif 000010
【図９】
2007115140.tif 000011
【図１０】
2007115140.tif 000012
【図１１】
2007115140.tif 000013
【図１２】
2007115140.tif 000014
【図１３】
2007115140.tif 000015
【図１４】
2007115140.tif 000016
【図１５】
2007115140.tif 000017
【図１６】
2007115140.tif 000018
【図１７】
2007115140.tif 000019
【図１８】
2007115140.tif 000020