(57)【特許請求の範囲】
【請求項１】
複数種のネットワーク機器とサーバ装置とストレージ装置と管理サーバとを備え、クライアント毎に、前記ネットワーク機器のうち所望のネットワーク機器と前記サーバ装置による仮想サーバと前記ストレージ装置による仮想ストレージを含む仮想的なシステムであるテナントを構成し、複数のテナントを収容するマルチテナント型情報処理システムにおける前記管理サーバであって、
テナントを構成する機器毎に、機器に設定される設計項目と、設計項目それぞれがテナントに依存するか否かを示す情報が予め記憶されたテナント設計項目記憶領域と、
設計項目に対応して、設計項目の設計値をテナント毎に異なる値になるように算出するための算出規則が予め記憶された設計アルゴリズム記憶領域と、
テナントの初期構築時に、前記テナント設計項目記憶領域を参照して、該テナントを構成する機器に対する設計項目のうち、テナント依存の設計項目を特定し、特定したテナント依存の設計項目に対して、前記設計アルゴリズム記憶領域の算出規則に従って設計項目の設計値を算出して記憶するテナント設計部と
を備えた前記管理サーバ。
【請求項２】
前記管理サーバは、テナント毎に、テナントの初期構築時にテナントを構成する機器に設定する設計項目の設計値を記憶するテナント設計値記憶領域
をさらに備え、
前記テナント設計部は、算出した設計項目の設計値を前記テナント設計値記憶領域に記憶する請求項１に記載の管理サーバ。
【請求項３】
前記管理サーバは、構成パタン識別子に対応して、テナントを構成する機器の識別情報が予め記憶される構成テンプレート
をさらに備え、
前記テナント設計部は、初期構築するテナントについて、入力される構成パタン識別子に基づき前記構成テンプレートを参照して、テナントを構成する機器を特定する請求項１に記載の管理サーバ。
【請求項４】
前記管理サーバは、テナントの初期構築よりも前に、前記テナント設計項目記憶領域と、前記設計アルゴリズム記憶領域に各情報を予め登録する請求項１に記載の管理サーバ。
【請求項５】
前記管理サーバは、テナントの初期構築よりも前に、前記構成テンプレートに各情報を予め登録する請求項３に記載の管理サーバ。
【請求項６】
前記テナント設計項目記憶領域はさらに、設計項目がテナントに依存する場合に、前記設計項目では前記算出規則に従い新たな値を算出するか、既に算出された値を参照するかを示す分類情報を含み、
前記テナント設計部は、該分類情報が新たな値を算出することを示す設計項目に対して、前記算出規則に従い設計値を新たに算出して記憶することを特徴とする請求項１に記載の管理サーバ。
【請求項７】
前記テナント設計項目記憶領域は、参照先情報をさらに含み、
前記テナント設計部は、該分類情報が既に算出された値を参照することを示す設計項目に対し、参照先情報に従い、既に算出され記憶された設計値を読み出して、該設計項目に対する設計値として記憶する請求項６に記載の管理サーバ。
【請求項８】
前記管理サーバは、
前記複数種のネットワーク機器のリソースを管理するリソース記憶領域
をさらに備え、
前記設計項目の設計値を算出するときに、前記リソース記憶領域を参照して、リソース不足か否かを判定することを特徴とする請求項１に記載の管理サーバ。
【請求項９】
前記管理サーバは、
構築したテナントを一意に識別する識別情報と、該テナントがどの機器を使用して構成されているかを示すテナントの構成機器情報が対応した第１の対応情報と、
テナントの構成機器情報と、該当する機器に設定するコマンド列とが対応した第２の対応情報と
を管理し、
入力される構成管理要求に含まれるテナントの識別情報に基づき、前記第１の対応情報と、前記第２の対応情報を用いて機器毎に設定するコマンド列を作成する設定作成部
をさらに備えることを特徴とする請求項１に記載の管理サーバ。
【請求項１０】
前記設定作成部は、前記第２の対応情報のコマンド列に、前記テナント設計値記憶領域に記憶された、対応する機器の設計値を組み込んで、機器毎に設定するコマンド列を作成する請求項９に記載の管理サーバ。
【請求項１１】
前記管理サーバは、作成されたコマンド列を、対応する機器に送信して設定させる機器設定部をさらに備える請求項９に記載の管理サーバ。
【請求項１２】
複数種のネットワーク機器とサーバ装置とストレージ装置と管理サーバとを備え、クライアント毎に、前記ネットワーク機器のうち所望のネットワーク機器と前記サーバ装置による仮想サーバと前記ストレージ装置による仮想ストレージを含む仮想的なシステムであるテナントを構成し、複数のテナントを収容するマルチテナント型情報処理システムであって、
前記管理サーバは、
テナントを構成する機器毎に、機器に設定される設計項目と、設計項目それぞれがテナントに依存するか否かを示す情報が予め記憶されたテナント設計項目記憶領域と、
設計項目に対応して、設計項目の設計値をテナント毎に異なる値になるように算出するための算出規則が予め記憶された設計アルゴリズム記憶領域と、
テナントの初期構築時に、前記テナント設計項目記憶領域を参照して、該テナントを構成する機器に対する設計項目のうち、テナント依存の設計項目を特定し、特定したテナント依存の設計項目に対して、前記設計アルゴリズム記憶領域の算出規則に従って設計項目の設計値を算出して記憶するテナント設計部と
を備えたマルチテナント型情報処理システム。
【請求項１３】
前記管理サーバは、前記設計値に基づき、機器毎の設定コマンドを作成し、テナントを構成する機器に対して前記設定コマンドを出力してテナントを新規に構成する請求項１２に記載のマルチテナント型情報処理システム。
【請求項１４】
複数種のネットワーク機器とサーバ装置とストレージ装置と管理サーバとを備え、クライアント毎に、前記ネットワーク機器のうち所望のネットワーク機器と前記サーバ装置による仮想サーバと前記ストレージ装置による仮想ストレージを含む仮想的なシステムであるテナントを構成し、複数のテナントを収容するマルチテナント型情報処理システムにおいて、テナントの新規構成時に、テナントを構成する機器に設定する設計値を求めるための構成管理方法であって、
前記管理サーバは、
テナントを構成する機器毎に、機器に設定される設計項目と、設計項目それぞれがテナントに依存するか否かを示す情報をテナント設計項目記憶領域に記憶し、
設計項目に対して、設計項目の設計値をテナント毎に異なる値になるように算出するための算出規則を設計アルゴリズム記憶領域に記憶し、
テナントの初期構築時に、テナント設計項目記憶領域を参照して、該テナントを構成する機器に対応する設計項目のうち、テナント依存の設計項目を特定し、特定したテナント依存の設計項目に対して、設計アルゴリズム記憶領域の算出規則に従って設計項目の設計値を算出して記憶する前記構成管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチテナント型情報処理システム、管理サーバ及び構成管理方法に係り、特に、複数の業務システム（いわゆるテナント）を単一のシステムに集約するマルチテナント型情報処理システムにおいて、テナントの初期構築（新規構成）時、テナントが利用するネットワーク機器に設定する設計項目をテナント間の重なりがないように自動で算出することで、テナントおよび機器間の設定の独立性を保障するマルチテナント型情報処理システム、管理サーバ及び構成管理方法に関する。
【背景技術】
【０００２】
近年、データセンタ（ＤＣ）へのクラウドコンピューティング（クラウド）適用が進展し、活発化している。一般的なクラウドでは、ＤＣ事業者がサーバ・ストレージ・ネットワークからなる情報処理システム上に、複数の企業ＩＴシステムや企業内の複数の業務システムを仮想化して構築する。クラウドは、仮想化技術がベースであるため、物理システムと比較して拡張性に優れる反面、複数の企業ＩＴシステムを単一の情報処理システムに統合するため、複数のＩＴシステムが混在し、複雑化している。なお、例えばクラウドに統合された、顧客ごとの仮想化されたＩＴシステムあるいは仮想化された業務システムをテナントと呼ぶ。
構成の複雑化を回避するため、現在提供されているクラウドの例では、顧客に提供するＩＴシステム構成のうち、仮想化されたサーバリソースや仮想化されたストレージリソースのカスタマイズは可能であるが、ネットワークの接続構成が固定化されている。このため、企業ＩＴシステムのクラウド適用は限定的である。
一方、ネットワークの接続構成を柔軟にできるクラウドも提供されてきている。このようなクラウドでは、テナントの初期構築にあたり、台帳などを用いてテナント間の独立性を保障できるように、仮想化されたネットワークリソースの管理を行っている。近年仮想化されたサーバリソースや仮想化されたストレージリソースはプール化されてきているが、仮想化されたネットワークリソースはプール化されておらず、管理者が仮想ネットワークを識別するための番号（例えばＶＬＡＮ番号やＩＰアドレスなど）を決めたのち、設定を行う作業プロセスを用いている。これはネットワークリソースの仮想化に当たっては、様々な機器や種類を考慮する必要があり、単一のリソース管理方法を用いることができないことが原因の一つとなっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２７２９０８号公報
【特許文献２】特開２００４−４０３７４号公報
【非特許文献】
【０００４】
【非特許文献１】「サーバ仮想化環境における管理コストを低減するネットワーク］管理システムＥａｓｙＬａｙｅｒｉｎｇの実装および評価」、電子情報通信学会技術研究報告、ＮＳ、ネットワークシステム１０９（２７３）、ｐ．７１−７６、２００９年１１月
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来のマルチテナント型情報処理システムにおけるテナントの初期構築では、次の点が課題となっている。
第一の課題は、マルチテナント型情報処理システムを構成する各種ネットワーク機器について、テナントに依存する設計項目を特定することが困難である。例えば、マルチテナント型情報処理システムにおけるレイヤ３のスイッチの設計においては、テナント間の独立性を保障するため、レイヤ３の仮想ネットワーク識別子（例えばＶＲＦ（Ｖｉｒｔｕａｌ  Ｒｏｕｔｉｎｇ  ａｎｄ  Ｆｏｒｗａｒｄｉｎｇ）識別子）やレイヤ２の仮想ネットワーク識別子（例えばＶＬＡＮ（Ｖｉｒｔｕａｌ  ＬＡＮ）識別子）はテナント毎に決定される（テナントに依存する）が、レイヤ３スイッチの設定に必要なその他の設計項目、例えばネットマスク値等、はテナントに依存しない値として管理されることが多い。また、ファイヤウォールの設定項目のうち、例えば、仮想ルータの識別子や、サブインタフェースの識別子、ＶＬＡＮ識別子、サーバ識別子、ポリシー識別子等はテナント毎に決定されるが、その他の設計項目、例えばネットマスク値等は、テナントには依存しない値として管理される。さらにテナント毎に決定される設計項目の中には、テナント毎に設計値を算出する必要がある項目と、一度算出した設計値を参照する項目が存在する。このように、従来のマルチテナント型情報処理システムにおけるテナントの初期構築では、機器の設計項目ごとにテナントに依存する設計項目を特定することが困難である。
第二の課題は、テナントを初期構築する場合に、テナントが様々なネットワーク構成をとりうるため、テナントを構成する機器を特定するのが難しい点である。例えば、ひとつのテナントがファイヤウォールとレイヤ３のスイッチを使ってＷｅｂ三階層を構成する場合もあれば、別のテナントが計算サーバのみをレイヤ３スイッチで接続する構成をとる場合もある。あるいは、別のテナントが、ネットワークストレージを接続した業務システム構成をとる場合もある。このように、従来のマルチテナント型情報処理システムでは、テナントによって、利用する機器群が異なるため、テナントを構成する機器群を特定するのは困難である。
第三の課題は、たとえ機器を特定できて、テナントに依存する設計項目を特定できたとしても、その設計項目の設計値の決定方法が不明瞭な点である。例えば、テナントの初期構築において、スイッチのＶＬＡＮ設計を行う場合に、当該テナントに対して、ＶＬＡＮ識別子として何番を利用すべきか、より具体的には、ＶＬＡＮのＩＤとして何番を使うべきか、を特定することが難しい。あるいは、ファイヤウォールの設計時に、仮想ルータを利用する場合には、仮想ルータ識別子として何を利用すべきかを特定することが難しい。これらの値は、テナント間の独立性を保障するように決定する必要がある。
これらの課題を解決するために、上述のマルチテナント型情報処理システムにおいて、テナントの初期構築時に、テナントを構成する機器においてテナントに依存する設計項目を特定し、特定した設計項目に対する設計値を他のテナントと重なりなく迅速に算出することが課題となる。
【０００６】
なお、従来技術として以下の技術が開示されている。
特許文献１には、例えば、システムの設計、展開、管理のフェーズを統合する方法が開示されている（関連技術１）。データセンタでは、複数のアプリケーションをホストすることが求められているが、分散アプリケーションは複雑なネットワーキング要件を有する場合が多く、アプリ要件に適合するように物理ネットワークのトポロジを構築する作業は時間のかかるプロセスになる可能性が高い。また、このプロセスは、人為的ミスをこうむりやすい。この課題を解決するため、関連技術１には、システム定義モデルを使用して、システムを設計し、システム定義モデルを利用してシステムを一つまたは複数のコンピューティングデバイス上に展開する方法が開示されている。
特許文献２には、仮想ネットワーク設計装置およびサブネットワーク設計装置および仮想ネットワーク設計方法が開示されている（関連技術２）。関連技術２では、仮想ネットワークの設計およびメンテナンスを短時間で正確に完了させるため、物理ネットワークと仮想ネットワークの情報を並列に表示する。それにより、ＩＰアドレスに関して、ユーザ間の重なりがないかどうかをＧＵＩ上で確認できるため、設計コストを削減できる。
非特許文献１には、例えば、サーバ・ネットワーク機器の物理および論理接続構成を管理し、ＶＬＡＮ設定作業を容易化する技術が開示されている（関連技術３）。テナントの仮想サーバの増設時に、仮想サーバを接続するＶＬＡＮの識別子を入力すると、そのＶＬＡＮ識別子に関連する複数スイッチの接続構成を検索し、関連するスイッチ群を特定して、複数スイッチのＶＬＡＮ設定を自動的に行う。
上述の関連技術１は、テナントの初期構築時に、システム定義モデルを利用してテナントが構成する機器群を特定できる。しかしながら、以下の点で本発明が対象とする課題を解決できない。例えば、テナントを構成する機器を特定したのち、機器に設定すべき項目がテナントに依存する項目か、依存しない項目であるかを特定することは困難である。また、各設計項目に対して設定する設計値を算出することが困難である。
関連技術２では、仮想ネットワークの設計およびメンテナンスを短時間で正確に完了させるために、物理ネットワークと仮想ネットワークの情報を並列に表示するが、以下の点で本発明が対象とする課題を解決できない。例えば、テナントを構成する機器に設定する項目がテナントに依存する項目であるか、依存しない項目であるかを特定することが困難である。また、テナントを構成する機器を特定することも困難である。さらに、テナントを構成する機器と設計項目を特定したのち、各設計項目に対して設定する設計値を算出することは困難である。
関連技術３では、テナントを構成する機器がルータおよびスイッチである場合には、管理者が決定したＶＬＡＮの設計値に基づき、そのＶＬＡＮの設計値を設定すべき構成機器を特定して、その機器に対するＶＬＡＮの設定を自動でできる。しかしながら、以下の点で本発明が対象とする課題を解決できない。たとえば、テナントを構成する機器を特定することが困難である。また、特定した機器に設定する設計項目のうちテナントに依存する設計項目を特定することも困難である。さらに、各設計項目に対して機器に設定する設計値を算出することも困難である。
本発明は、以上の点に鑑み、マルチテナント型情報処理システムにおいて、テナントの初期構築時に、テナントを構成する機器からテナントに依存する設計項目を特定し、設計項目に対する設計値を、他テナントとの重なりなく迅速に算出することを目的の一つとする。
【課題を解決するための手段】
【０００７】
本発明では、このようなマルチテナント型情報処理システムにおいて、テナントの初期構築時に、テナントを構成する機器においてテナントに依存する設計項目を特定し、設計項目に対する設計値を他のテナントと重なりなく迅速に算出する。
例えば、テナントを構成する機器に設定する項目のうち、テナントに依存する設計項目を特定する課題に対しては、機器毎に、テナント依存の設計項目、テナント非依存の設計項目にあらかじめ分類し、テナント依存の設計項目をさらに、算出すべき項目と参照すべき項目に分類する。
また、テナントの初期構築時に、テナントを構成する機器群を特定する課題に対しては、テナントがどの機器で構成されるかを示す構成パターンを複数種類、事前に用意することにより使用機器を静的に決定する。
さらに、特定したテナント依存の設計項目に対して、設計値の算出方法を明確化する課題に対しては、テナント依存の設計項目の算出項目ごとにテナント間でオーバラップさせない算出アルゴリズムを静的に管理する。
【０００８】
本発明の第１の解決手段によると、
複数種のネットワーク機器とサーバ装置とストレージ装置と管理サーバとを備え、クライアント毎に、前記ネットワーク機器のうち所望のネットワーク機器と前記サーバ装置による仮想サーバと前記ストレージ装置による仮想ストレージを含む仮想的なシステムであるテナントを構成し、複数のテナントを収容するマルチテナント型情報処理システムにおける前記管理サーバであって、
テナントを構成する機器毎に、機器に設定される設計項目と、設計項目それぞれがテナントに依存するか否かを示す情報が予め記憶されたテナント設計項目記憶領域と、
設計項目に対応して、設計項目の設計値をテナント毎に異なる値になるように算出するための算出規則が予め記憶された設計アルゴリズム記憶領域と、
テナントの初期構築時に、前記テナント設計項目記憶領域を参照して、該テナントを構成する機器に対する設計項目のうち、テナント依存の設計項目を特定し、特定したテナント依存の設計項目に対して、前記設計アルゴリズム記憶領域の算出規則に従って設計項目の設計値を算出して記憶するテナント設計部と
を備えた前記管理サーバが提供される。
【０００９】
本発明の第２の解決手段によると、
複数種のネットワーク機器とサーバ装置とストレージ装置と管理サーバとを備え、クライアント毎に、前記ネットワーク機器のうち所望のネットワーク機器と前記サーバ装置による仮想サーバと前記ストレージ装置による仮想ストレージを含む仮想的なシステムであるテナントを構成し、複数のテナントを収容するマルチテナント型情報処理システムであって、
前記管理サーバは、
テナントを構成する機器毎に、機器に設定される設計項目と、設計項目それぞれがテナントに依存するか否かを示す情報が予め記憶されたテナント設計項目記憶領域と、
設計項目に対応して、設計項目の設計値をテナント毎に異なる値になるように算出するための算出規則が予め記憶された設計アルゴリズム記憶領域と、
テナントの初期構築時に、前記テナント設計項目記憶領域を参照して、該テナントを構成する機器に対する設計項目のうち、テナント依存の設計項目を特定し、特定したテナント依存の設計項目に対して、前記設計アルゴリズム記憶領域の算出規則に従って設計項目の設計値を算出して記憶するテナント設計部と
を備えたマルチテナント型情報処理システムが提供される。
【００１０】
本発明の第３の解決手段によると、
複数種のネットワーク機器とサーバ装置とストレージ装置と管理サーバとを備え、クライアント毎に、前記ネットワーク機器のうち所望のネットワーク機器と前記サーバ装置による仮想サーバと前記ストレージ装置による仮想ストレージを含む仮想的なシステムであるテナントを構成し、複数のテナントを収容するマルチテナント型情報処理システムにおいて、テナントの新規構成時に、テナントを構成する機器に設定する設計値を求めるための構成管理方法であって、
前記管理サーバは、
テナントを構成する機器毎に、機器に設定される設計項目と、設計項目それぞれがテナントに依存するか否かを示す情報をテナント設計項目記憶領域に記憶し、
設計項目に対して、設計項目の設計値をテナント毎に異なる値になるように算出するための算出規則を設計アルゴリズム記憶領域に記憶し、
テナントの初期構築時に、テナント設計項目記憶領域を参照して、該テナントを構成する機器に対応する設計項目のうち、テナント依存の設計項目を特定し、特定したテナント依存の設計項目に対して、設計アルゴリズム記憶領域の算出規則に従って設計項目の設計値を算出して記憶する前記構成管理方法が提供される。
【発明の効果】
【００１１】
本発明によると、マルチテナント型情報処理システムにおいて、テナントの初期構築時に、テナントを構成する機器からテナントに依存する設計項目を特定し、設計項目に対する設計値を、他テナントとの重なりなく迅速に算出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態におけるシステム構成を示す図である。
【図２】本発明の実施の形態におけるサーバ１１０ａの構成例である。
【図３】本発明の実施の形態における管理サーバ１１６の構成例である。
【図４】本発明の実施の形態における設計算出部３６２の構成例である。
【図５】テナント設計項目管理テーブル３５０の構成例である。
【図６】構成テンプレート３５１の構成例である。
【図７】設定アルゴリズム管理テーブル３５２の構成例である。
【図８】テナント設計値管理テーブル３５３ａの構成例である。
【図９】テナント設計値管理テーブル３５３ｂの構成例である。
【図１０】テナント非依存項目管理テーブル３５４の構成例である。
【図１１】テナントシステム構成管理フローを示す図である。
【図１２】テナント新規構成フローを示す図である。
【図１３】設計値算出フローを示す図である。
【図１４】本発明の実施の形態におけるテナントの構成例である。
【図１５】本発明の第二の実施の形態におけるテナント新規構成フローを示す図である。
【図１６】テナントパタン管理テーブル３５８の構成例である。
【図１７】コマンドパタン管理テーブル３５９の構成例である。
【図１８】設定生成フローを示す図である。
【図１９】リソース管理テーブル３５５の構成例である。
【図２０】リソース管理部３０９の構成例である。
【発明を実施するための形態】
【００１３】
１．第１の実施の形態
図１は、本実施の形態におけるシステム構成を示す図である。
データセンタ１００は、例えば、広域ネットワーク１０５ａ、１０５ｂ、専用線ネットワーク１０６等の適宜のネットワークを介して顧客拠点１０１ａ、１０１ｂの装置と通信する。データセンタ１００は、顧客へサービスを提供するサーバ１１０と、ストレージエリアネットワーク（ＳＡＮ）１１４と、ストレージエリアネットワーク１１４を介してサーバ１１０に接続するストレージ１１１と、サービスネットワーク１１３と、管理用スイッチ１２０と、管理サーバ１１６と、構成管理Ｉ／Ｆ１８０ｂを有する管理端末１３５ａとを備える。ストレージエリアネットワーク１１４は、一つ以上のＳＡＮスイッチ１１２ａ、１１２ｂで構成され、ファイバチャネルプロトコル等のストレージ接続プロトコルが用いられる。ストレージ１１１は一つ以上の仮想ストレージ１１１ａ、１１１ｂ、１１１ｃで構成される。仮想ストレージは例えばＬＵ（論理ユニット）と呼ばれる。管理用スイッチ１２０は、例えば、データセンタ１００内の各機器（物理装置）と接続され、管理ネットワーク１１５を介して管理サーバ１１６に接続される。また、データセンタ１００の管理サーバ１１６は、管理用広域ネットワーク１０７を介して構成管理インタフェース（Ｉ／Ｆ）１８０ａを有する管理端末１３５ｂと通信する。サーバ１１０や管理スイッチ１２０は、ひとつに限らず複数備えることができる。
管理サーバ１１６は、管理端末１３５からテナント構成管理要求を入力として受け取り、その要求に付加される情報を利用してテナントを構成する機器毎の設計項目を特定する。
サービスネットワーク１１３は、例えば、ルータ１３１、ファイヤウォール１４１、ロードバランサ１５１、スイッチ１６１等の物理装置を、それぞれひとつ又は複数含む。顧客の要件に応じて、複数のルータ１３１、ファイヤウォール１４１、ロードバランサ１５１、スイッチ１６１、ＳＡＮスイッチ１１２ａ等の機器が選択的に利用され、テナントを構成する。ここで、テナントとは、顧客毎の仮想的に構成されたシステムをいう。
ルータ１３１、ファイヤウォール１４１、ロードバランサ１５１は、物理装置としては１つであるが、仮想的に複数のルータやファイヤウォール、ロードバランサを提供する機能を備えていてもよい。この場合、例えば一つのテナントが必要に応じて物理ルータのうちの一つの仮想ルータ機能を利用するようにしてもよい。あるいは、近年ルータ、ロードバランサ、ファイヤウォールの機能を一つの物理装置に搭載する統合型のネットワーク装置を備えてもよい。さらに、近年ルータ１３１、ファイヤウォール１４１、ロードバランサ１５１の機能をソフトウェア化し、仮想サーバ上に搭載する仮想ネットワークアプライアンスも登場してきている。したがって、構成管理対象のサービスネットワーク１１３の中には、物理装置だけでなく、仮想ネットワークアプライアンス装置を備えてもよい。これら物理装置、統合型ネットワーク装置、仮想ネットワークアプライアンス装置、又は適宜の装置であり、ルータ１３１、ファイヤウォール１４１、ロードバランサ１５１、スイッチ１６１、ＳＡＮスイッチ１１２等の機能を提供する装置を、本実施の形態ではネットワーク機器と称する。このような統合型ネットワーク装置や各仮想ネットワークアプライアンス装置をサービスネットワークに備える場合は、サービスネットワーク１１３内部の機器間の物理的な接続関係のみ異なり、機器に設定する項目は、従来型の物理装置の場合と同じであり、本実施の形態では図示せず、物理装置を利用した場合の構成管理方法について説明する。
【００１４】
図１４に、マルチテナントシステムの構成例を示す。
データセンタ１００内では、各物理装置を用いて、顧客毎の仮想化サービスネットワークを構成している。仮想化サービスネットワークには、ＳＡＮスイッチを用いたストレージエリアネットワークも含む。テナントにより仮想化サービスネットワークを構成する物理装置が異なる。各物理装置、サーバは、複数の仮想化サービスネットワークに用いられる。
例えば、テナント１（１４０１）は、ルータ１３１ａ、ファイヤウォール１４１ａ、スイッチ１６１ａ、ファイヤウォール１４１ｃ、スイッチ１６１ｃ、１６１ｄ、ＳＡＮスイッチ１１２ａ、ＬＵ１１１ａを含む。サーバ１１０は、複数のセグメントに配置されている。図１４のテナント１は、例えば、セグメントＡ〜Ｄを有する。セグメントは、例えば一般に非武装地帯（ＤＭＺ：ＤｅＭｉｌｉｒａｒｉｚｅｄ  Ｚｏｎｅ）と称される、インターネットなどの外部との通信に利用されるサーバ群（例えばＷｅｂサーバやメールサーバなど）を配置する部分を区切るものや（例えば、図１４のセグメントＣ及びＤ）、ファイヤウォール１４１ｃを介して社内ネットワークなどの内部にある業務サーバ等を配置するセグメント（例えば、図１４のセグメントＡ及びＢ）がある。
テナント２（１４０２）は、例えばルータ１３１ａ、ファイヤウォール１４１ａ、スイッチ１６１ａ、スイッチ１６１ｂ、ＳＡＮスイッチ１１２ｂ、ＬＵ１１１ｂを含む。また、サーバを配置するセグメントとしてセグメントＥ、Ｆを含む。
テナント３（１４０３）は、例えば、スイッチ１６１ｄ、ロードバランサ１５１ｂ、スイッチ１６１ｃ、ＳＡＮスイッチ１１２ａ、ＬＵ１１１ｃを含む。また、サーバを配置するセグメントとして、セグメントＧ、Ｈを含む。テナント３のような構成は、顧客の拠点とテナントとを専用線ネットワークを介してアクセスさせるようなケースで利用される。テナントの構成は、これらに限らず適宜の構成をとることができる。
図１４では、それぞれのテナントがＳＡＮスイッチを介して独立したＬＵをもつ例をしめしているが、各テナントが一つ以上のＬＵを持ってもよい。また各テナントが一つのＬＵを共有してもよい。また、各テナントが信頼性を向上するために複数のＳＡＮスイッチを介して独立したＬＵと接続していてもよい。
【００１５】
図２は、本実施の形態におけるサーバ１１０ａの構成例である。他のサーバ１１０ｂ〜１１０ｈの構成も同様であるので、サーバ１１０ａについて説明し、他の説明は省略する。
サーバ１１０ａは、物理的なハードウェア２０１を有する。ハードウェア２０１は、物理ＣＰＵ２１０と、物理メモリ２１１と、物理ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）２１２と、物理ＨＢＡ（Ｈｏｓｔ  Ｂｕｓ  Ａｄａｐｔｅｒ）２１３を含む。物理ＮＩＣと物理ＨＢＡの機能を統合した統合型ネットワークアダプタＣＮＡ（Ｃｏｎｖｖｅｒｇｅｄ  Ｎｅｔｗｏｒｋ  Ａｄａｐｔｅｒ）２１４を含んでもよい。統合型ネットワークアダプタとしては、例えばＩｎｆｉｎｉＢａｎｄやＦＣｏＥに対応したものがある。一般に、ＣＮＡは従来のファイバチャネルカードとしても、ネットワークカードとしても利用できる。また、ＣＮＡを利用する場合には、ＣＮＡの先に接続するスイッチとして、統合型ネットワークプロトコルに対応したスイッチを利用する（非図示）。
サーバ１１０ａは、仮想化されており、仮想化部２０２と、仮想サーバ２０３ａ、２０３ｂを有する。仮想化部２０２は、仮想サーバ制御部２２０と、仮想化スイッチ部２３０とを有する。仮想サーバ制御部２２０は、仮想ＣＰＵ制御部２２１ａ及び２２１ｂと、物理ＣＰＵ制御部２２２とを有し、物理ＣＰＵ２１０と連携して動作して、仮想サーバ２０３に対する仮想的なＣＰＵ資源を割り当てる。仮想化スイッチ部２３０は、仮想ＮＩＣ制御部２３１ａ及び２３１ｂと、物理ＮＩＣ制御部２３２と、仮想ＮＩＣ構成管理部２３３と、仮想化スイッチ構成管理部２３４とを有する。仮想ＮＩＣ制御部２３１ａ及び２３１ｂと、物理ＮＩＣ制御部２３２は、仮想サーバ制御部２２０と同様に、物理ＮＩＣ２１２と連携して動作して、仮想サーバ２０３に対する仮想的なインタフェース資源を割り当てる。仮想ＮＩＣ構成管理部２３３は、仮想ＮＩＣの容量・帯域を設定する。仮想化スイッチ構成管理部２３４は、仮想サーバ間で通信する際のスイッチを管理する。
仮想サーバ２０３ａは、業務アプリケーション２４１ａと、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）２４２と、仮想ＮＩＣ２４３を含む。図示していないが、仮想ＨＢＡや仮想ＣＮＡも含んでもよい。仮想サーバ２０３ｂも同様である。
なお、サーバ１１０は、仮想化部２０２にＶＭｗａｒｅやＨｙｐｅｒ−Ｖ、Ｘｅｎを利用してもよい。
【００１６】
図３は、本実施の形態における管理サーバ１１６の構成例である。
管理サーバ１１６は、例えば、構成管理要求受付部３０１と、テーブル生成部３０２と、テナント新規構成部３０３と、テナント構成変更部３０４と、テナント構成削除部３０５５と、テナント管理テーブル３０６、テーブル更新部３０７、テナント表示部３０８、リソース管理部３０９とを有する。
構成管理要求受付部３０１は、管理端末１３５ａ、１３５ｂから構成管理要求を入力し、構成管理要求の内容を調査し、テナント新規構成部３０３、テナント構成変更部３０４、テナント構成削除部３０５、テーブル生成部３０２、テナント表示部３０８、及び、リソース管理部３０９のいずれかに転送する。構成管理要求は、テナントの新規構成要求、テナントの構成変更要求、テナントの構成削除要求、テナントの設定コマンド作成要求、テナントの表示要求、テーブル作成要求、リソース初期化要求等を含む。このうち、テナントの設定コマンド作成要求は、テナントの新規構成要求、構成変更要求、構成削除要求に基づき、テナント設計値管理テーブル３５３を用いて、機器毎に設定するコマンドを生成するための要求である。この要求には、テナントを識別するための情報を含む。テナントの表示要求は、生成済のテナントの構成を管理端末１３５に表示するための要求である。テナントの表示要求も、表示対象のテナントに関する識別情報を含む。リソース初期化要求は、テナントの構成管理に先立ち、テナントの構成に利用する各種リソースを管理するテーブルを初期化するための要求である。もちろん、これら以外の要求を必要に応じて備えてもよい。
テーブル生成部３０２は、テナント管理テーブル３０６で管理する各種テーブルを生成し、情報を登録する。
テナント新規構成部３０３は、テナントを初期構築する際に、機器毎の設計項目を特定し、特定した設計項目の設計値を算出する。テナント新規構成部３０３は、例えば、要求分析部３３０と、仮想ストレージ構成部３３１と、仮想サーバ構成部３３２と、ネットワーク構成部３３３とを有する。ネットワーク構成部３３３は、例えば、テナント設計部３４０と、設定作成部３４１と、機器設定部３４２とを有する。また、テナント設計部３４０は、構成機器特定部３６０と、設計項目特定部３６１と、設計値算出部３６２とを有する。
テナント構成変更部３０４は、テナントの構成変更を行う。これは、テナント管理テーブル３０６から該当する項目を特定し、テーブル更新部３０７を介して特定した項目を変更する。テナント構成変更部３０４には記載していないが、テナント新規構成部３０４と同様に、テナント設計部、設定作成部、機器設定部を含む。
テナント構成削除部３０５は、テナントの構成削除を行う。これはテナント構成変更部３０４での処理に加えて、テナント管理テーブル３０６から該当する項目を削除する。テナント構成削除部３０５には記載していないが、テナント新規構成部３０４と同様に、テナント設計部、設定作成部、機器設定部を含む。
【００１７】
テナント管理テーブル３０６は、例えば、テナント設計項目管理テーブル３５０と、構成テンプレート３５１と、設計アルゴリズム管理テーブル３５２と、テナント設計値管理テーブル３５３と、テナント非依存項目管理テーブル３５４と、リソース管理テーブル３５５と、リソース閾値管理テーブル３５６と、エラーフラグ３５７と、テナントパタン管理テーブル３５８と、コマンドパタン管理テーブル３５９と、アドレス管理テーブル３７０とを有する。各テーブルについては後述する。なお、各テーブルは、テーブル構成以外にも適宜の記憶形態の記憶領域でもよい。
テーブル更新部３０７は、テナント新規構成部３０３、テナント構成変更部３０４、テナント構成削除部３０５からの指示により、テナント管理テーブル３０６の該当する項目を追加、変更、削除する。
テナント表示部３０８は、ＨＴＭＬ生成部３８０と、ＧＵＩ生成部３８１を含む。ＨＴＭＬ生成部３８０は、構成管理要求受付部３０１を介してテナントの表示要求を受け付けると、テナント設計値管理テーブル３５３に設定された情報に従って、例えば、ＨＴＭＬ形式のファイルを生成する。ＧＵＩ生成部３８１は、構成管理要求受付部３０１を介してテナントの表示要求を受け付けると、テナント設計値管理テーブル３５３に設定された情報にしたがって、管理端末１３５上に、例えばＧＵＩで表示する。ＨＴＭＬ形式で表示させる、あるいはＧＵＩ表示させるかは要求の引数で認識できるようにすることができる。本実施の形態では、ＨＴＭＬ生成部３８０、ＧＵＩ生成部３８１を示しているが、テキスト形式で表示してもよい。あるいは、管理者が所望の形式で設計値を表示させてよい。
リソース管理部３０９は、構成管理要求受付部３０１を介して入力された構成管理要求に従い、リソース管理テーブル３５５の内容を初期化する。また、テナント新規構成部３０３、テナント構成変更部３０４、テナント構成削除部３０５からの入力に従い、リソース管理テーブル３５５の内容を更新する。さらに、構成管理要求受付部３０１を介して入力された要求に従い、リソース閾値管理テーブル３５６の内容を設定する。
【００１８】
テナント新規構成部３０３の要求分析部３３０は、例えば、構成管理要求受付部３０１から入力した構成管理要求が、テナントの仮想サーバの構成要求か、テナントの仮想ストレージの構成要求か、テナントのネットワーク構成要求か等を分析する。仮想ストレージ構成部３３１は、要求分析結果に基づき、テナントを構成するのに必要な複数ストレージ装置におけるＬＵを構成するのに必要な設定を生成する。例えば、仮想ストレージ構成部３３１は、ストレージ１１１にアクセスし、生成した設定を用いてＬＵを生成する。仮想サーバ構成部３３２は、要求分析結果に基づき、テナントを構成するのに必要な複数サーバ装置における設定を生成する。例えば、仮想サーバ構成部３３２は、仮想ＮＩＣの設定や、ＮＩＣに割り当てるＶＬＡＮの設定などを行う。なお、仮想ストレージ構成部３３１の処理と、仮想サーバ構成部３３２の処理は、公知の技術を用いることができる。ネットワーク構成部３３３は、サービスネットワーク１１３およびストレージエリアネットワーク１１４を構成する機器群における設定を生成する。
ネットワーク構成部３３３は、上述のように、例えばテナント設計部３４０と、設定作成部３４１と、機器設定部３４２を有する。ネットワーク構成部３３３は、テナント構成変更部３０４、テナント構成削除部３０５にも含まれるが、同様の構成であるため、図面上は省略する。
テナント設計部３４０は、例えば、構成管理要求受付部３０１から入力した構成管理要求が、テナントのネットワーク構成管理要求である場合に、テナントを構成する機器を特定し、特定した機器に設定する設計項目を特定し、設計項目に設定する設計値を算出する。設定作成部３４１は、テナント設計部３４０が設計した設計値に基づき、テナントを構成する各機器に設定する設定コマンド列を生成する。機器設定部３４２は、設定作成部３４１が生成した設定コマンド列を対象となる機器に設定する。
テナント設計部３４０は、構成機器特定部３６０と、設計項目特定部３６１と、設計値算出部３６２を有する。構成機器特定部３６０は、構成管理要求受付部３０１から入力した構成管理要求が、テナントのネットワーク構成管理要求である場合に、テナントを構成する機器を特定する。例えば、テナントのネットワーク構成管理要求に、テナントの構成要件（構成パターン識別子）が含まれている場合には、その構成要件を抽出し、テナント管理テーブル３０６の該当するテーブルとして構成テンプレート３５１に設定された機器を特定する。設計項目特定部３６１は、構成機器特定部３６０により特定された機器それぞれに対する設計項目を特定する。例えば、設計項目のうち、テナントに依存する設計項目と、テナントに依存しない設計項目を分類して特定する。設計値算出部３６２は、設計項目特定部３６１で特定したテナント構成に依存する設計項目それぞれについて、テナント管理テーブル３０６中の設計アルゴリズム管理テーブル３５２を用いて設計値を算出する。そして算出後に、テナント管理テーブル３０６のテナント設計値管理テーブル３５３に算出した設計値を反映する。
【００１９】
次に、テナント管理テーブル３０６の各テーブルについて説明する。なお、いくつかのテーブルについては後にさらに詳細な構成例を示す。
テナント設計項目管理テーブル３５０は、マルチテナント型情報処理システムを構成する機器毎に、テナントを設計するのに必要な設計項目を管理する。また、それぞれの設計項目が、テナントに依存した設計項目か、テナントに依存しない設計項目であるかを管理する。これらの設計項目は、どのようにテナントを設計すべきかといったテナントの設計方針により決定されうるため、テーブル生成部３０２を介して、テナント設計に先立ち設定する。さらに、テナントに依存した設計項目の場合には、その項目の設計値を新たに算出する必要があるか、それとも既に算出された値を参照するかを管理する。テナント設計項目管理テーブル３５０は、機器毎に存在する。
構成テンプレート３５１は、テナントの構成パターンを管理する。マルチテナント型情報処理システムでは、様々な構成のテナントが混在するため、テナントがとりうる構成パターンを管理する。例えば、マルチテナント型情報処理システムの一つのテナントがＷｅｂ３階層システムのような構成をとる場合、あるいは別のテナントがグリッドコンピューティングのような計算サーバのみを持つ場合等のパターンにより、テナントが利用する機器は異なる。
設計アルゴリズム管理テーブル３５２は、テナントを構成する機器を特定し、特定した機器の設計項目を特定し、設計項目がテナントに依存する場合に、設計項目に対して適用する設計値の算出式を管理する。この設計値の算出式も、テナント設計項目管理テーブル３５０の設計項目と同様に、テナントの設計方針により決定されるため、テナント設計に先立ち、テーブル生成部３０２を介して設定される。なお、算出式に限らず、適宜の形式の算出規則が記憶されてもよい。
テナント設計値管理テーブル３５３は、テナント設計部３４０により設計された設計値を保持するテーブルであり、テナント毎に存在する。テナント設計部３４０は、構成機器特定部３６０により機器を特定し、設計項目特定部３６１により機器の設計項目のうちテナントに依存する項目を特定し、設計値算出部３６２によりテナントに依存する設計項目の設計値を算出した結果をテナント設計値管理テーブル３５３に反映する。
テナント非依存項目管理テーブル３５４は、設計項目特定部３６１により、機器の設計項目がテナントに依存しない場合に参照される。テナント非依存項目管理テーブル３５４も、テナント設計項目管理テーブル３５０、および設計アルゴリズム管理テーブル３５２と同様に、テナントの設計方針により決定されるため、テナント設計に先立ち、例えば管理端末１３５等からテーブル生成部３０２を介して設定される。
リソース管理テーブル３５５は、設計値算出部３６２が、設計値を算出する場合に、リソースの残量を確認するために利用する。設計値算出部３６２により参照され、テーブル更新部３０７（又はリソース管理部３０９）により更新される。例えば、リソース残量（利用可能なリソース）が記憶される。リソース管理テーブル３５５は、管理対象のリソースの種類に応じて用意する。
【００２０】
リソース閾値管理テーブル３５６は、設計値算出部３６２が設計値を算出する場合に、リソースの残量を確認するために利用する。設計値算出部３６２により参照され、テーブル生成部３０２あるいはテーブル更新部３０７（又はリソース管理部３０９）により更新される。リソース閾値管理テーブル３５６も管理対象のリソースの種類に応じて用意し、利用可能なリソースが一定の値を下回ったかどうかを確認するための閾値が記憶される。
エラーフラグ３５７は、設計値算出部３６２でリソース残量を確認した場合に、リソースが不足する場合に、設定される。また、リソース管理テーブル３５５やリソース閾値管理テーブル３５６が更新され、リソース不足が解消された場合に、リセットされる。
テナントパタン管理テーブル３５８は、テナントの識別子と構成パタンを管理する（第１の対応情報）。テナントの新規構築時に設定される。また、設定作成部３４１により参照される。
コマンドパタン管理テーブル３５９は、構成パタンに含まれる機器とその機器に設定するコマンドテンプレートを管理する（第２の対応情報）。コマンドテンプレートとは、テナントの新規構築、構成変更、構成削除にあたって、各機器の設定に必要なコマンド列を管理する。本テーブルは、構成パタンおよび管理要求の種類毎に事前に用意する。
アドレス管理テーブル３７０は、テナントが利用するＩＰアドレスとそのアドレスを利用するテナントの識別子を管理する。
図４は、設計値算出部３６２の構成例である。
設計値算出部３６２は、リソース残量確認部４０１と、算出部４０２と、エラー生成部４０３とを備える。リソース残量確認部４０１は、リソース管理テーブル３５５およびリソース閾値管理テーブル３５６の該当する項目を参照し、テナントを初期構築する場合のリソース残量を確認する。リソース残量が不足する場合には、エラー生成部４０３でエラー処理を行う。リソース残量が十分である場合には、算出部４０２の処理を行う。算出部４０２は、対象とする設計項目について設計アルゴリズム管理テーブル３５２の算出式を用いて設計値を生成する。エラー生成部４０３は、リソース残量確認部４０１の処理の結果、リソース不足が発生する場合に、テナント管理テーブル３０６のエラーフラグ３５７を設定する。
【００２１】
図５は、テナント設計項目管理テーブル３５０の構成例である。図５にはＦＷ２（ファイヤウォール）の構成例を示す。
テナント設計項目管理テーブル３５０は、テナントの新規構成前にあらかじめ、管理者の操作等による管理端末からの管理要求によりテーブル生成部３０２を介して作成される。テナント設計項目管理テーブル３５０は、テナントを構成するのに必要な設計項目を機器毎に管理するのに利用される。またテナントを構成するのに必要な機器毎に設定した設計項目それぞれに対して、テナントに依存する設計項目か、テナントに非依存の設計項目であるかを管理する。さらに、テナントに依存する設計項目である場合には、その項目の設計値を算出しなければならない項目であるか、参照するのでよい項目であるかを管理する。さらに、テナント設計項目管理テーブル３５０は、例えば、設計値を算出あるいは参照する場合には算出するのに利用するテーブルあるいは参照先のテーブルへのポインタを保持する。
より具体的な例としては、テナント設計項目管理テーブル３５０は、設計情報５０１と、設計情報の小項目５０２と、テナント依存か非依存を示す項目５０３と、算出か参照かを示す分類情報５０４と、アクセス先のポインタ５０５と、参照先の識別子５０６を有する。設計情報５０１は、例えば、機器毎に設計に必要な項目を管理する。小項目５０２は、例えば、設計情報５０１毎に設計に必要な項目を管理する。例えば、設計情報５０１と、設計情報の小項目５０２とで具体的な設計項目が特定される。例えば図５の例では、仮想ルータという設計情報に対してゾーン識別子と仮想ルータ識別子の２つを管理する。テナント依存５０３は、それぞれの設計項目が、テナントを構成する場合にテナントに依存した情報であるか、テナントには依存しない情報であるかを管理する。図示の例では、例えばゾーン識別子や仮想ルータ識別子はテナントに依存する項目であるため「○」が、サブインタフェースのネットマスクはテナントには依存しない項目であるため「×」が記載されている。なお、データ上は「○」「×」に相当する識別情報、フラグを用いることがきる。分類５０４は、それぞれの項目に対して設計値を算出すべきか、参照すべきかを示す。例えば、ゾーン識別子など同じものを用いる場合は、ひとつを算出とし、他を参照として別々のものが算出されないようにする。また計算量も削減できる。算出すると記載された項目は、設計アルゴリズム管理テーブル３５２に記載された算出式を用いて設計値を算出する。参照すると記載された項目は、アクセス先ポインタ５０５に記載されたテーブルの、参照先識別子５０６で特定される情報参照して設計値を求める。アクセス先ポインタ５０５は、項目ごとに、設計値を特定するのに利用するテーブルへのポインタを保持する。参照先識別子５０６は、設計値を特定するのに利用するテーブルの中のどの部分をみたら特定できるかを示す。
【００２２】
図６は、構成テンプレート３５１の構成例である。構成テンプレート３５１は、テナントを構成する典型的な構成のパタンを管理する。具体的には、パタン毎にマルチテナント型情報処理システムを構成する機器群のどの機器を利用するかを管理する。例えば、マルチテナント型情報処理システムにおいて、Ｗｅｂ３階層のテナントを構成する場合には、複数のスイッチと複数のファイヤウォールを利用するが、例えば、グリッドコンピューティングを実現するための計算サーバのみを構成する場合には、単一のスイッチと複数のサーバを利用する。図６に示す構成パタンでは、ネットワーク機器のみを管理しているが、サーバおよびストレージ装置も管理してもよい。構成テンプレート３５１は、テナント設計前に管理者によりテーブル生成部３０２を介して設定される。マルチテナント型情報処理システムの各テナントの構成が同じである場合には、構成テンプレート３５１をもつ必要はない。テナントを構成する機器を特定できるのであればどのような方法で管理してもよい。
構成テンプレート３５１は、構成パタン識別子６０１と、構成機器６０２を有する。構成パタン識別子６０１は、パタンを一意に特定するための識別子である。構成機器６０２は、構成パタン毎にそのパタンを構成するのに利用する機器の識別子を管理する。
図７は、設計アルゴリズム管理テーブルの構成例である。設計アルゴリズム管理テーブル３５２は、テナントに依存する設計項目それぞれに対して、どのような方法で設計値を決定するかを定義するテーブルである。マルチテナント型情報処理システムの管理サーバ１１６に少なくとも一つ以上を有する。設計アルゴリズム管理テーブル３５２は、識別子７０１と、算出式７０２を含む。識別子７０１は、設計アルゴリズム管理テーブル３５２で管理される設計項目に一意な値である。算出式は、設計項目ごとに設計値を算出するための計算式である。例えば、識別子Ｔ１−１は、テナント設計項目管理テーブル３５０ａの仮想ルータのゾーン識別子に対応するが、設計アルゴリズム管理テーブル３５２の算出式では、ゾーン識別子を、生成済テナント識別子の最大値に１を加算するという算出式を用いて決定する。なお、テナント識別子は、例えばテナント新規構成時に割り当てられ、後述するテナントパタン管理テーブル３５８のテナント識別子１６０１に対応する。また、Ｔ１−２はテナント設計項目管理テーブル３５０ａｂの仮想ルータの仮想ルータ識別子に対応するが、設計アルゴリズム管理テーブル３５２の算出式を用いて、仮想ルータ識別子を、生成済みテナント識別子の最大値に１を加算する算出式を用いて決定する。
【００２３】
図８は、テナント設計値管理テーブル３５３の構成例である。テナント設計値管理テーブル３５３は、テナント設計部３４０により設計した設計値を保持し、例えばテナント毎に存在する。本実施の形態では、テナント毎に本テーブルを持つが、テナント毎に設計値を管理できる方法であればどのような方法でもよい。テナント設計値管理テーブル３５３は、テナント識別子８０１、機器識別子８０２、識別子８０３、設計情報８０４、小項目８０５、設計値８０６、参照先８０７を含む。
テナント識別子８０１は、マルチテナント型情報処理システム内に構成されるテナントを一意に識別する。機器８０２は、各テナントを構成する機器の識別子である。識別子８０３は、テナント設計値管理テーブル３５３で管理する各設計項目を一意に特定するための識別子である。設計情報８０４、小項目８０５はそれぞれ、テナント設計項目管理テーブル３５０の設計情報５０１、小項目５０２と同義である。設計値８０６は、テナントの新規構成により生成した値を設計項目ごとに保持する。参照先８０７は、生成した設計項目のうち、既に算出した項目を参照する項目である場合に設定される。例えば、識別子８０３「７」に設定される小項目８０５「ゾーン識別子」の設計値８０６「Ｚｏｎｅ１」は、参照先８０７が「１−ＦＷ２−１」となっているが、これはテナント設計値管理テーブル３５３のテナント識別子「１」の機器識別子「ＦＷ２」の識別子「１」に設定される情報を参照することを意味する。もちろん、テナント設計値管理テーブル３５３のテナント識別子「１」の機器識別子「ＦＷ２」の識別子「１」を設定するときに、同時に識別子「７」「１１」「１５」に対応する各情報も設定されるようにしてもよい。
図９は、テナント設計値管理テーブル３５３のスイッチ部分の構成例である。図９のテーブルの各項目は、図８に示すテーブルと同様な構成であるため、詳細説明を省略するが、図９ではスイッチに設定する設計項目を管理している。図８および図９を含めて単一のテーブルで管理してもよい。
図１０は、テナント非依存項目管理テーブル３５４の構成例である。テナント非依存管理テーブル３５４は、テナントに依存しない設計項目を管理するテーブルであり、マルチテナント型情報処理システムに少なくとも一つあればよい。テナント非依存項目管理テーブル３５４は、識別子１００１と、設計値１００２を含む。識別子１００１はテナント非依存項目管理テーブル３５４で管理される項目を一意に特定するための識別子である。設計値１００２は、それぞれの識別子に対して設計値として用いる値を設定する。これらの設計値１００２は、テナントの新規構成前にあらかじめ管理者が、テーブル生成部３０２を介して設定することが望ましい。
【００２４】
図１６は、テナントパタン管理テーブル３５８の構成例である。テナントパタン管理テーブル３５８は、構成済テナントを管理するテーブルであり、マルチテナント型情報処理システムに少なくとも一つあればよい。テナントパタン管理テーブル３５８は、テナント識別子１６０１、パタン識別子１６０２、テナント名１６０３、履歴識別子１６０４を含む。テナント識別子１６０１は、テナントを識別するために一意に設定された整数である。新規構成時に、例えば昇順に設定される。なお、昇順以外でもよいが、この場合設計アルゴリズム管理テーブル３５２の算出式７０２により算出される設定値が、テナント間で重ならないように算出式７０２を適宜定める。パタン識別子１６０２は、構成されたテナントが構成テンプレート３５１のいずれの構成であるかを識別する。テナント名１６０３は、テナントをわかりやすくするために付加する名前情報である。履歴識別子１６０４は、テナントの構成履歴を管理するための識別子であり、テナント新規構成時に設定され、テナントの構成を削除する場合に、リセットされる。例えば、テナント生成時に１を設定し、削除時に０に設定する。テナントを削除したことを管理する必要がない場合には、履歴識別子１６０４は不要である。
図１７は、コマンドパタン管理テーブル３５９の構成例である。コマンドパタン管理テーブル３５９は、構成テンプレートと、構成管理要求のタイプ毎に用意される。例えば、構成テンプレートが４つあり、構成管理要求が３種類ある場合には、１２通り存在する。コマンドパタン管理テーブル３５９は、機器識別子１７０１と、コマンド列１７０２を含む。設定作成部３４１は、テナントの新規構成要求の分析結果が、コマンド生成要求である場合に、コマンド生成要求に含まれるテナント識別子に基づき、テナントパタン管理テーブル３５８と、コマンドパタン管理テーブル３５９と、テナント設計値管理テーブル３５３を参照して、機器毎に設定する設定コマンド列を生成する。
【００２５】
図１９は、リソース管理テーブル３５５の構成例である。リソース管理テーブル３５５は、ＶＲＦの利用状況を管理するリソース管理テーブル３５５ａ、ＶＬＡＮの利用状況を管理するリソース管理テーブル３５５ｂ、仮想ルータの利用状況を管理するリソース管理テーブル３５５ｃを含む。リソース管理テーブル３５５は、リソース単位に、その識別子毎に、リソース利用状況とそのリソースを利用しているテナントの識別情報を管理する。例えば、リソース管理テーブル３５５ａは、識別子１９０１、利用状況１９０２、テナント識別子１９０３を含む。識別子１９０１は、ＶＲＦとして利用可能な識別子を管理する。また、リソース管理テーブル３５５ｂは、ＶＬＡＮ番号として利用可能な識別子１９２１と、利用状況１９２２と、テナント識別子１９２３とを管理する。さらに、リソース管理テーブル３５５ｃは、仮想ルータ番号として利用可能な識別子１９４１と、利用状況１９４２と、利用しているテナント識別子の識別情報１９４３を管理する。図１９に示すテーブル以外にも管理対象のリソースが存在する場合には、そのリソースについてのテーブルをもってもよい。また、リソースは、対応関係が管理できれば、いずれの方法で管理してもよい。
図２０は、リソース管理部３０９の構成例である。リソース管理部３０９は、例えば初期化部２００１、リソース変更部２００２、閾値制御部２００３を含む。初期化部２００１は、構成管理要求受付部３０１から受け付けた初期化要求に従い、リソース管理テーブル３５５を初期化する。例えば、新しいネットワーク機器の導入により、管理対象のリソースが増える場合、初期化部２００１によりテーブルを生成し、テーブル内容を初期化する。新規にリソースを追加する場合には、すべてのリソースを利用可能として登録する。あるいは、すでに機器が導入されており、既存の設定がある環境において、リソース管理を新たに行う場合には、既存の設定済リソースを利用不可として登録する。リソース変更部２００２は、テナント新規構成部３０３、テナント構成変更部３０４、テナント構成削除部３０５からの入力を受け、リソース管理テーブル３５５の対象のリソースの利用状況を更新する。例えば、テナント新規構成部３０３からの入力の場合は、新規テナントがリソースを消費することになるため、該当するリソースの識別子に対応して、「利用済」であることを登録し、合わせてテナントの識別子を登録する。テナントの構成変更部３０４からの入力では、いずれかの登録済のリソースを削除して新たにリソースを確保する場合には、登録済のリソースの対応する識別子部分の情報をクリアし、新たに確保するリソースの識別子の利用状態を「利用済」とし、利用するテナント識別子を登録する。テナント構成削除部３０５からの入力では、削除対象のテナントが利用しているリソースを利用可能状態にするために登録内容を末梢し、「利用可」とする。例えば、削除対象のテナントが、ＶＲＦとＶＬＡＮと仮想ルータを利用している場合には、リソース管理テーブル３５５ａ、３５５ｂ、３５６ｃのすべてのテーブルの該当する欄の登録を末梢する。
【００２６】
図１１は、テナントシステム構成管理フローを示す図である。
構成管理要求受付部３０１は、管理端末１３５ａ、１３５ｂからテナント構成管理要求を受け付ける（Ｓ１１０１）。テナント構成管理要求は、例えば、テナントの新規構成の要求（Ａ）と、構成変更の要求（Ｂ）と、構成削除の要求（Ｃ）と、テナント管理テーブル設定要求（Ｄ）、テナント表示要求（Ｅ）、リソース管理要求（Ｆ）等がある。これらを識別するための情報が、テナント構成管理要求に含まれてもよい。構成管理要求受付部３０１は、テナント構成管理要求が、テーブル設定要求か、新規構成か、構成変更か、構成削除か、テナント表示、リソース管理かを識別し、新規構成の場合は、テナント構成管理要求をテナント新規構成部３０３に出力する。一方、構成変更の場合は、テナント構成管理要求をテナント構成変更部３０４に出力する。さらに、構成削除の場合には、テナント構成管理要求をテナント構成削除部３０５に出力する。あるいはテナント設計用の各種テーブルを生成するテーブル設定要求の場合には、当該要求をテーブル生成部３０２に出力する。
ここで、テナント構成管理要求が新規構成の要求（新規構成要求）の場合、新規構成要求は、例えば、テナントがどのような構成であるかを示す構成パタン識別子と、サーバのリソース数に関する情報、ストレージのリソース数に関する情報を含む。
受信したテナント構成管理要求がテナント管理テーブル３０６への設定要求（Ｄ）である場合には、テーブル生成部３０２は、テナント管理テーブル３０６の設計項目、あるいは設計アルゴリズム管理テーブル３５２の算出式を生成する（Ｓ１１０３）。各テーブルの設定は、適宜の手法を用いることができる。例えば、機器に応じた設定項目ファイルが予め作成され、それをテナント管理テーブル３０６の該当する項目に設定してもよい。また、ユーザインターフェース等を用いて逐次設定してもよい。
受信したテナント構成管理要求が構成変更要求（Ｂ）の場合には、テナント構成変更部３０４は、構成変更要求の内容を分析し、例えば、構成変更要求が、仮想サーバ追加、削除、移動のいずれであるかを特定し、特定した内容に従い、仮想サーバの設定を変更し、サービスネットワークおよびストレージエリアネットワークの設定変更を行い、テナント設計値管理テーブル３５３の登録内容を更新する（Ｓ１１３０）。
【００２７】
受信したテナント構成管理要求が構成削除要求（Ｃ）の場合には、テナント構成削除部３０５は、削除対象のテナントの仮想サーバおよび仮想ストレージ、サービスネットワーク、ストレージエリアネットワークの構成に従い、リソース管理テーブル３５５の各項目を削除し、テナント設計値管理テーブル３５３から登録内容を削除する（Ｓ１１４０）。
受信したテナント構成管理要求が新規構成要求（Ａ）の場合、テナント新規構成部３０３は、テナントの新規構成を行う。まず、要求分析部３３０が、新規構成要求を分析する（Ｓ１１１０）。続いて新規構成要求を分析の結果を受け、仮想ストレージ構成部３３１は、テナントを構成する仮想ストレージを新規構成する（Ｓ１１１１）。仮想ストレージの新規構成では、新規構成要求に含まれる仮想ストレージ数に従って、例えばＬＵを生成する。ＬＵの生成は、従来の同様の手法を用いることができる。数だけではなく、性能やサイズも要求に含まれる場合には、含まれた情報に従ってＬＵを生成する。仮想ストレージとしてＬＵ以外のストレージを生成してもよい。たとえば、ｉＳＣＳIストレージ、ファイルストレージなどを構成してもよい。これらのストレージの生成方法は、従来と同様の手法を用いることができる。仮想サーバ構成３３２は、新規構成要求に含まれるサーバ数に従って、テナントを構成する仮想サーバを新規構成する（Ｓ１１１２）。仮想サーバの新規構成では、例えば仮想マシンを生成する。仮想マシンの生成は、従来と同様の手法を用いることができる。続いて、ネットワーク構成部３３３のテナント設計部３４０は、テナントを構成するネットワーク機器の設計項目ごとに設計値を生成する（Ｓ１１１３）。その後、設定作成部３４１は、テナント設計部３４０が生成した設計値に基づき、設定コマンドを生成する（Ｓ１１１４）。機器設定部３４２は、設定作成部３４１が生成した設定コマンドを対象となる機器に設定する（Ｓ１１１５）。
【００２８】
図１２は、テナントの設計フローＳ１１１３を示す図である。
テナント設計フローでは、テナント設計部３４０は、まず新規構成要求から構成パタン識別子を抽出する（Ｓ１２０２）。新規構成要求に含まれてもよいし、管理端末１３５から別に設定させてもよい。次に、テナント設計部３４０は、構成テンプレート３５１を参照し、構成パタン識別子に対応するテンプレートを特定し、テンプレートで使用する機器６０２を特定する（Ｓ１２０３）。例えば、新規構成要求に含まれる構成テンプレート識別子が構成パタン１の場合は、構成テンプレート３５１の構成パタン識別子６０１の該当欄を参照し、構成機器６０２がスイッチ１およびＦＷ１等であると特定する。また、テナント設計部３４０は、テナントパタン管理テーブル３５８にテナント識別子１６０１、パタン識別子１６０２、テナント名１６０３、履歴識別子１６０４を記憶する。
次に、テナント設計部３４０は、構成機器６０２の中から一つを選択する（Ｓ１２０４）。そしてテナント設計部３４０は、選択した機器に対応するテナント設計項目管理テーブル３５０を参照し、設計項目５０２のうち一つを選択する（Ｓ１２０５）。テナント設計部３４０は、テナント依存情報５０３に従い、選択した設計項目がテナントに依存するのかあるいは依存しない（非依存）かを判定する（Ｓ１２０６）。テナントに依存する項目の場合はステップＳ１２０７に移り、テナントに依存しない項目の場合はステップＳ１２２１に移る。テナントに依存する項目の場合、テナント設計部３４０は、分類情報５０４に従い、選択した設計項目が設計値を算出すべき項目であるか、設計値を参照すべき項目であるかを判定する（Ｓ１２０７）。算出すべき項目の場合は、ステップＳ１２０８に移り、参照すべき項目の場合は、ステップＳ１２０１１に移る。算出すべき項目の場合、テナント設計部３４０は、設計アルゴリズム管理テーブル３５２を参照し、識別子５０６、７０１に対応する算出式７０２に基づき設計値を算出し、テナント設計値管理テーブル３５３に仮登録し（Ｓ１２０８）、その後ステップＳ１２０９へ移る。なお、ステップＳ１２０８については後に、より詳細に説明する。
【００２９】
一方、ステップ１２０６において選択した設計項目がテナントに依存しない場合には、テナント設計部３４０は、アクセス先ポインタ５０５と参照先識別子５０６に従い、テナント非依存項目管理テーブル３５４の該当する識別子１００１に対応する設計値１００２を読み出し、テナント設計値管理テーブル３５３に仮登録して、次のステップＳ１２０９に移行する。
ステップ１２０７において、選択した設計項目が参照項目である場合には、テナント設計部３４０は、アクセス先ポインタ５０５と参照先識別子５０６に従い、テナント設計値管理テーブル３５３のテナント識別子８０１、機器８０２及び識別子８０３を検索して、参照先識別子５０６に該当するエントリを特定し、対応する設計値８０６を参照する。参照した設計値を自設計項目の設計値として仮登録して、次のステップＳ１２０９に移行する。
ステップＳ１２０９では、テナント設計部３４０は、設計項目が残っているかを判定し、残っている場合には、ステップＳ１２０５に戻る。選択すべき設計項目が残っていない場合には、次のステップに移行する（Ｓ１２０９）。すべての設計項目の設計を終えたら、テナント設計部３４０は、未設計機器があるかどうかを判定する。未設計機器がある場合には、ステップＳ１２０４に戻り、未設計機器がない場合には、次のステップに移行する（Ｓ１２１０）。次に、テナント設計部３４０は、エラーフラグが設定されているかどうかを判定する（Ｓ１２１１）。エラーフラグは設計値を算出する場合に、マルチテナント型情報処理システム内でテナントに割り当てるリソースが不足している場合に設定される。エラーフラグが設定されている場合には、ステップＳ１２３１の処理を行い、エラーフラグが設定されていない場合には、問題なく設計できているため、テナント設計部３４０は、テナント設計値管理テーブル３５３に仮登録された内容を確定し、また、リソース管理テーブル３５５のリソース利用状況を更新する（Ｓ１２１２）。そしてテナント設計フローを完了する。
【００３０】
また、ステップ１２１１において、エラーフラグが設定されている場合には、テナント設計部３４０は、テナント設計値管理テーブルの仮登録内容を削除し、エラーメッセージを生成して管理端末１３５に送出する（Ｓ１２３１）。
図１３は、テナント設計フローのうち設計値算出フローＳ１２０８を示す図である。本フローでは、テナント設計部３４０は、まずリソース管理テーブル３５５を参照して、対象の設計項目に対するリソース残量を確認する（Ｓ１３０１）。続いてテナント設計部３４０は、リソース閾値管理テーブル３５６を参照して、対象の設計項目に対するリソース残量が閾値より大きいかどうかを判定する（Ｓ１３０２）。リソース残量が閾値より大きい場合には、テナントを設計可能であるため、次のステップＳ１３０３の処理に移る。一方、リソース残量が閾値以下の場合には、ステップＳ１３１１の処理に移る。Ｓ１３０３では、テナント設計部３４０は、アクセス先ポインタ５０５と参照先識別子５０６に従い、設計アルゴリズム管理テーブル３５２の識別子７０１が参照先識別子５０６に該当するエントリを特定して対応する対象項目の算出式７０２を参照して設計値を算出する（Ｓ１３０３）。なお、生成済みテナント識別子の最大値は、適宜記憶・更新されてもよい。本実施の形態では、テナントパタン管理テーブル３５８のテナント識別子１６０１のうちの最大値を参照する。その他、算出式で必要となる各情報は、テーブル、構成管理要求等から抽出できる。算出後Ｓ１２０９のフローに戻る。
Ｓ１３０２においてリソース残量が閾値以下の場合には、テナント設計部３４０は、エラーフラグ３５７を設定する。エラーフラグ３５７を設定するのは、一部のリソースが確保できない場合にはテナントを新規構成することができないため、設計を無効化する必要があるためである。例えば、テナント構成のためのあるリソースが確保できない場合は、そのテナントについて仮登録されている情報がエラーフラグに従いクリアされる。
図１８は、テナント設計部３４０で生成した設計値を用いて機器毎の設定コマンドを生成するフローＳ１１１４を示す図である。本フローでは、要求分析部３３０の処理の結果、管理端末１３５からの要求が設定作成処理である場合に、設定作成部３４１が、要求から、テナントの識別子と、要求の種類（新規構築等）を特定する（Ｓ１８０１）。本要求は、管理端末１３５から入力する以外にも、上述の新規構成や構成変更等の要求に対し、設計値の算出が終了することでテナント設計部３４０から設定作成部３４１に発行されてもよい、次に、テナント設計部３４０は、テナントパタン管理テーブル３５８を参照し、特定したテナントの識別子に対応する構成パタン識別子を特定する（Ｓ１８０２）。そして、テナント設計部３４０は、特定した構成パタン識別子と、要求の種類に対応するコマンドパタン管理テーブル３５９を特定する（Ｓ１８０３）。特定したコマンドパタン管理テーブル３５９の機器識別子１７０１欄に登録された機器群から一つ選択し、テナント設計値管理テーブル３５３に設定された内容（設計値）に基づき、コマンドパタン１７０２の参照部分に値を設定しコマンド列を生成する（Ｓ１８０４）。具体的には、コマンドパタン管理テーブル３５９の機器としてＳＷ１を選択した場合には、コマンドパタン欄を参照し、＜ＶＬＡＮ識別子＞、＜ゲートウェイ識別子＞、＜ネットマスク＞を、テナント設計値管理テーブル３５３の該当する欄から読み出し、その情報を追加してコマンド列を生成する。生成したコマンド列は機器毎に画面に表示する形式でもよいし、機器毎にファイル形式で保持してもよい。管理者の所望の形式で管理されてよい。そして、コマンドパタン管理テーブル３５８に登録された機器すべてについて設定すべきコマンド列を生成しおわるまで処理を繰り返す（Ｓ１８０５）。その後、機器設定部３４２が、各コマンドパタンを対応する機器に送信して設定させる。管理者の確認が不要な場合には、テナント設計部３４０で設計した設計値に基づき、コマンド列を生成した結果を、機器設定部３４２がテナントを構成する機器に自動で設定してもよい。
【００３１】
本実施の形態によると、テナントの初期構築時に、テナントを構成する機器群に設定する設計項目の中の、テナントに依存する設計項目を迅速かつ容易に特定できる。
また、特定したテナントに依存する設計項目の設計値を、他のテナントとの重なりなく算出することで、テナント間の設定の独立性を保障しながら、迅速なテナントの初期構築を実現し設計効率を向上できる。
従来技術と比較して、本実施の形態では複雑化したシステムにおいて、テナントの初期構築時、テナントを構成する機器に対応する設計項目のうち、テナントに依存する設計項目を迅速かつ簡単に特定し、特定した設計項目の設計値をテナント間の重なりがないように算出することで、テナント間の独立性を容易に保障できる。
【００３２】
２．第２の実施の形態
第２の実施の形態では、マルチテナント型情報処理システムに構成される各テナントの構成が同じである場合に、機器の設定項目のうち、テナントに依存する設計項目を特定し、特定した設計項目に対して設計値を算出する。
本発明の第２の実施の形態における、システム構成は第１の実施の形態と同じであるため、図示を省略する。なお、構成テンプレート３５１を省略できる。テナントの設計フローは一部変更になる。
図１５は、テナントの設計フローの変形例である。マルチテナント型情報処理システムに構成される各テナントの構成が同じである場合には、構成テンプレート３５１によりテナントの構成を特定する処理は不要であるため、図１２のＳ１２０２およびＳ１２０３の処理は不要である。その代りにマルチテナント型情報処理システムが利用する機器を特定する手段を用いて、機器を選択する（Ｓ１５０１）。どの機器を利用しているかを特定できればどのような方法を用いてもよい。
【００３３】
３．その他
本実施の形態のマルチテナント型情報処理システム、管理サーバ及び構成管理方法は、その各手順をコンピュータに実行させるための構成管理プログラム、構成管理プログラムを記録したコンピュータ読み取り可能な記録媒体、構成管理プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。
【産業上の利用可能性】
【００３４】
本発明は、例えばマルチテナント型情報処理システムに利用可能である。
【符号の説明】
【００３５】
１００  データセンタ
１０１ａ、１０１ｂ  顧客拠点
１０５ａ、１０５ｂ  広域ネットワーク
１０６  専用線ネットワーク
１０７  管理用広域ネットワーク
１１０  サーバ
１１１  ストレージ
１１２  ＳＡＮスイッチ
１１３  サービスネットワーク
１１４  ストレージエリアネットワーク
１１５  管理ネットワーク
１１６  管理サーバ
１２０  管理用スイッチ
１３５ａ、１３５ｂ  管理端末
１３１  ルータ
１４１  ファイヤウォール
１５１  ロードバランサ
１６１  スイッチ
２０１  ハードウェア
２０２  仮想化部
２０３ａ、２０３ｂ  仮想サーバ
３０１  構成管理要求受付部
３０２  テーブル生成部
３０３  テナント新規構成部
３０４  テナント構成変更部
３０５  テナント構成削除部
３０６  テナント管理テーブル
３０７  テーブル更新部
３０８  テナント表示部
３０９  リソース管理部
３３０  要求分析部
３３１  仮想ストレージ構成部
３３２  仮想サーバ構成部
３３３  ネットワーク構成部
３４０  テナント設計部
３４１  設定作成部
３４２  機器設定部
３５０  テナント設計項目管理テーブル
３５１  構成テンプレート
３５２  設計アルゴリズム管理テーブル
３５３  テナント設計値管理テーブル
３５４  テナント非依存項目管理テーブル
３５５  リソース管理テーブル
３５６  リソース閾値管理テーブル
３５７  エラーフラグ
３５８  テナントパタン管理テーブル
３５９  コマンドパタン管理テーブル
３６０  構成機器特定部
３６１  設計項目特定部
３６２  設計値算出部
３８０  表示部
４０１  リソース残量確認部
４０２  算出部
４０３  エラー生成部
２００１  初期化部
２００２  リソース変更部
２００３  閾値制御部
【図１】
0005707239.tif 000002
【図２】
0005707239.tif 000003
【図３】
0005707239.tif 000004
【図４】
0005707239.tif 000005
【図５】
0005707239.tif 000006
【図６】
0005707239.tif 000007
【図７】
0005707239.tif 000008
【図８】
0005707239.tif 000009
【図９】
0005707239.tif 000010
【図１０】
0005707239.tif 000011
【図１１】
0005707239.tif 000012
【図１２】
0005707239.tif 000013
【図１３】
0005707239.tif 000014
【図１４】
0005707239.tif 000015
【図１５】
0005707239.tif 000016
【図１６】
0005707239.tif 000017
【図１７】
0005707239.tif 000018
【図１８】
0005707239.tif 000019
【図１９】
0005707239.tif 000020
【図２０】
0005707239.tif 000021