(57)【要約】【課題】  サーバの消費電力に応じて電源ユニットの稼働台数を制御した場合、稼働台数の変化に伴う電源効率特性の落ち込みが発生する。そのため、電源ユニットの稼働数制御を実施した場合でも、境界条件付近においては十分に消費電力の低減を図ることができない。【解決手段】  サーバの消費電力に基づいて電源ユニットの稼働台数を制御する。さらに、サーバの消費電力に基づいて、電源装置から入力される直流電源電圧とサーバ内で生成する直流電源電圧とを、任意の負荷率に対して電源効率が高くなるように選択する。【選択図】図２
2011221724.tif 000002
【特許請求の範囲】
【請求項１】
給電バスを介して並列接続される複数の電源ユニットと、
上記給電バスから直流電源電圧が入力され並列接続される複数のサーバと、
上記複数のサーバとネットワークを介して接続され、上記複数のサーバの消費電力に基づいて上記複数の電源ユニットの稼働数を制御する監視サーバと、を備え、
上記複数の電源ユニットそれぞれは、第１の直流電源電圧及び上記第１の直流電源電圧とは異なる電圧レベルの第２の直流電源電圧を上記給電バスに出力し、
上記複数のサーバそれぞれは、上記第１の直流電源電圧から上記第２の直流電源電圧と同じ電圧レベルの第３の直流電源電圧を生成し、上記第２の直流電源電圧と上記第３の直流電源電圧を切り替えて使用し、
上記監視サーバは上記複数のサーバの消費電力に基づいて、上記第２の直流電源電圧と上記第３の直流電源電圧との切り替えを制御する情報処理システム。
【請求項２】
請求項１に記載の情報処理システムにおいて、
上記複数のサーバそれぞれは、任意の負荷率に対して上記電源ユニットの電源効率が高くなるように、上記第２の直流電源電圧と上記第３の直流電源電圧を切り替える情報処理システム。
【請求項３】
請求項１に記載の情報処理システムにおいて、
上記監視サーバは、上記電源ユニットの稼働数を制御した場合における、上記電源ユニットの入力電力に対する負荷電力の割合を示す電源効率と、上記複数の電源ユニットが供給可能な最大電力容量に対する各電源ユニットの負荷電力の和の割合を示す負荷率との関係を示す電源効率特性を記録装置に格納し、
上記監視サーバは、上記サーバが上記第２の直流電源電圧を使用する場合の上記電源ユニットの第１の電源効率特性と、上記サーバが上記第３の直流電源電圧を使用する場合の上記電源ユニットの第２の電源効率特性を上記記録装置に格納する情報処理システム。
【請求項４】
請求項３に記載の情報処理システムにおいて、
上記監視サーバは、上記最大電力容量を上記記録装置に記録し、
上記監視サーバは、上記複数のサーバの消費電力と上記最大電力容量に基づいて負荷率を算出し、上記第１の電源効率特性と上記第２の電源効率特性とに基づいて上記負荷率に対する電源効率が高くなるように、上記サーバに対して制御信号を出力する情報処理システム。
【請求項５】
請求項４に記載の情報処理システムにおいて、
上記サーバは、上記制御信号に基づいて、上記第２の直流電源電圧と上記第３の直流電源電圧とを切り替えるスイッチを有する情報処理システム。
【請求項６】
請求項１に記載の情報処理システムにおいて、
上記第２の直流電源電圧又は上記第３の直流電源電圧は、上記サーバにおいて定常的に電力を消費する装置で使用される情報処理システム。
【請求項７】
請求項１に記載の情報処理システムにおいて、
上記監視サーバは、ネットワークインタフェースを介して入力される上記複数のサーバのジョブ情報に基づいて、上記複数のサーバの消費電力を予測する情報処理システム。
【請求項８】
給電バスを介して並列接続される複数の電源ユニットと、
上記給電バスから直流電源電圧が入力され並列接続される複数のサーバと、
上記複数のサーバとネットワークを介して接続される監視サーバと、を備え、
上記複数の電源ユニットそれぞれは、第１の直流電源電圧を上記給電バスに出力する第１のＡＣ／ＤＣ変換器と、上記第１の直流電源電圧とは異なる電圧レベルの第２の直流電源電圧を上記給電バスに出力する第２のＡＣ／ＤＣ変換器と、を有し、
上記複数のサーバそれぞれは、上記第１の直流電源電圧から上記第２の直流電源電圧と同じ電圧レベルの第３の直流電源電圧を生成するＤＣ／ＤＣ変換器と、上記第２の直流電源電圧と上記第３の直流電源電圧とを切り替える装置と、上記第２の直流電源電圧又は上記第３の直流電源電圧が入力される装置と、を有し、
上記監視サーバは、上記ネットワークに接続されるネットワークインタフェースと、上記ネットワークインタフェースに接続されるプロセッサとを有し、上記プロセッサは上記複数のサーバの消費電力に基づいて上記複数の電源ユニットの稼働を制御するための電源制御信号を上記複数の電源ユニットに出力するとともに、上記複数のサーバの消費電力に基づいて上記第２の直流電源電圧と上記第３の直流電源電圧との切り替えを制御するための制御信号を上記複数のサーバに出力する情報処理システム。
【請求項９】
請求項８に記載の情報処理システムにおいて、
上記複数のサーバそれぞれは、任意の負荷率に対して上記第１のＡＣ／ＤＣ変換器の電源効率が高くなるように、上記第２の直流電源電圧と上記第３の直流電源電圧を切り替える情報処理システム。
【請求項１０】
請求項８に記載の情報処理システムにおいて、
上記監視サーバは、上記プロセッサに接続される記録装置を備え、
上記監視サーバは、上記電源ユニットの稼働を制御した場合における、上記電源ユニットの入力電力に対する負荷電力の割合を示す電源効率と、上記複数の電源ユニットが供給可能な最大電力容量に対する各電源ユニットの負荷電力の和の割合を示す負荷率との関係を示す電源効率特性を上記記録装置に格納し、
上記監視サーバは、上記サーバが上記第２の直流電源電圧を使用する場合の上記第１のＡＣ／ＤＣ変換器の第１の電源効率特性と、上記サーバが上記第３の直流電源電圧を使用する場合の上記第１のＡＣ／ＤＣ変換器の第２の電源効率特性を上記記録装置に格納する情報処理システム。
【請求項１１】
請求項１０に記載の情報処理システムにおいて、
上記監視サーバは、上記最大電力容量を上記記録装置に記録し、
上記プロセッサは、上記複数のサーバの消費電力と上記最大電力容量に基づいて負荷率を算出し、上記第１の電源効率特性と上記第２の電源効率特性とに基づいて上記負荷率に対する電源効率が高くなるように、上記サーバに対して上記制御信号を出力する情報処理システム。
【請求項１２】
請求項８に記載の情報処理システムにおいて、
上記第２の直流電源電圧又は上記第３の直流電源電圧が入力される装置は、定常的に電力を消費する装置である情報処理システム。
【請求項１３】
請求項８に記載の情報処理システムにおいて、
上記プロセッサは、上記ネットワークインタフェースを介して入力される上記複数のサーバのジョブ情報に基づいて、上記複数のサーバの消費電力を予測する情報処理システム。
【請求項１４】
並列接続される複数の電源ユニットと、上記複数の電源ユニットから直流電源電圧が入力され並列接続される複数のサーバと、上記複数のサーバとネットワークを介して接続される監視サーバとからなる情報処理システムにおける情報処理方法であって、
上記複数の電源ユニットそれぞれは、第１の直流電源電圧及び上記第１の直流電源電圧とは異なる電圧レベルの第２の直流電源電圧を出力し、
上記複数のサーバそれぞれは、上記第１の直流電源電圧から上記第２の直流電源電圧と同じ電圧レベルの第３の直流電源電圧を生成し、上記第２の直流電源電圧又は上記第３の直流電源電圧を使用し、
上記監視サーバは、上記第２の直流電源電圧と上記第３の直流電源電圧のうち、任意の負荷率に対して、上記第２の直流電源電圧又は上記第３の直流電源電圧を使用する場合の上記電源ユニットの電源効率が高い方を選択し、
上記複数のサーバそれぞれは、上記選択された上記第２の直流電源電圧又は上記第３の直流電源電圧を使用する情報処理方法。
【請求項１５】
請求項１４に記載の情報処理方法において、
上記第２の直流電源電圧又は上記第３の直流電源電圧は、上記サーバにおいて定常的に電力を消費する装置で使用される情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置と、その情報処理装置に給電する電源装置からなる給電システムに関するものである。
【背景技術】
【０００２】
近年、データ管理を外部に委託するデータセンタサービスが注目され、データセンタの市場規模は年々拡大を続けている。それに伴い、データ処理を実施する情報処理装置の増加や、情報処理装置の高性能化も推進され、データセンタの消費電力は年率１０％で増加傾向にある。一方で地球温暖化防止に向けて政府や企業の取り組みが加速しており、地球環境に配慮した技術開発が重要視されている。このような背景の下、部品、機器、装置、と広範にわたって、低電力化に向けての技術開発が実施されている。
【０００３】
特許文献１に記載の電源装置は、複数の電源ユニットで構成されて、各電源ユニットの出力は、給電バスに接続される。そして、給電バスに接続されるサーバ機器に流れる負荷電流を検出し、その負荷電流に応じて動作する電源ユニット数を制御する。例えば、４台の電源ユニットで構成されている場合、検出された消費電流値が最大電流の５０％のとき、４台の電源ユニットのうち、２台を停止させる制御を実施する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２０４２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本明細書において、「電源効率」とは１電源ユニットに入力される入力電力に対する１電源ユニットから出力される負荷電力の割合（負荷電力／入力電力）を示し、ＡＣ／ＤＣ変換器ごとに定義される。また、「負荷率」とは全ての電源ユニットが供給可能な最大電力容量に対する各電源ユニットの負荷電力の和の割合（各電源ユニットの負荷電力の和／最大電力容量）を示し、ＡＣ／ＤＣ変換器ごとに定義される。そして、負荷率が高いほど電源ユニットの電源効率は高くなることが一般的に知られている。例えば、負荷率が５０％以上の場合、電源ユニットの電源効率は８５％以上と高い特性が得られるが、負荷率が２０％以下だと、電源ユニットの電源効率は低下する。
【０００６】
以下、公知ではないが本願に先立って本発明者らが検討した図１１に示す電源ユニットとサーバの構成を用いて、本願課題を説明する。この構成において、サーバの消費電力に応じて電源ユニットの稼働数を制御した場合の課題を、比較例１として説明する。
【０００７】
図１１は、電源ユニット１１０１とブレードサーバ１１０２とを示したものである。１１０１ａ、ｂそれぞれはＡＣ／ＤＣ変換器、１１０２はブレードサーバ、１１０３ｂ〜ｄそれぞれはＤＣ／ＤＣ変換器である。
【０００８】
ＡＣ／ＤＣ変換器１１０１ａは、入力されるＡＣ１００Ｖを直流電源電圧ａＶに変換し、ＡＣ／ＤＣ変換器１１０１ｂは、入力されるＡＣ１００Ｖを直流電源電圧ｂＶへ変換するものである。ここで、直流電源電圧ａＶはラック内で消費する電力の大きな割合を占めるものであり、ブレードサーバ１１０２に入力される。一方、直流電源電圧ｂＶは常時待機状態で一定電流を流す必要がある機器、装置、例えばネットワークスイッチなどに入力される。また、ＡＣ／ＤＣ変換器１１０１ａとＡＣ／ＤＣ変換器１１０１ｂの供給可能な電力量は、それぞれ接続される負荷電力に最適化されるものである。
【０００９】
ブレードサーバ１１０２は、電源ユニット１１０１ａから直流電源電圧ａＶが入力される。ブレードサーバ１１０２内の基板上に設置されたＤＣ／ＤＣ変換器１１０３ｂは、直流電源電圧ａＶを直流電源電圧ｂＶに変換する。同様に、ＤＣ／ＤＣ変換器１１０３ｃは、直流電源電圧ａＶを直流電源電圧ｃＶに変換し、ＤＣ／ＤＣ変換器１１０３ｄは、直流電源電圧ａＶを直流電源電圧ｄＶに変換する。ここで、変換されたそれぞれの電圧はブレードサーバ１１０２内の各ブロックで使用される。
【００１０】
図１２は、電源ユニット１１０１を３台設置し、ジョブ情報に基づいて算出されるサーバの消費電力に応じて電源ユニットの稼動数を制御した場合の負荷率と電源効率の関係を示す電源効率特性の例である。図１２は、図１１におけるａＶ系の電源効率特性を示している。ａＶ系の電源効率特性に着目する理由は、直流電源電圧ａＶはラック内で消費する電力の大きな割合を占めるものであり、この電源効率を高めることが低消費電力化を図る上で重要だからである。
【００１１】
電源ユニットは３台で全てのブレードサーバの最大消費電力を賄うことが可能であるとする。例えば、最大消費電力が１．２ｋＷｈであった場合、１電源ユニット当たりの電力容量は４００Ｗｈとなる。そして、サーバの消費電力に応じて電源ユニットの稼働数を制御する。例えばサーバの消費電力が４００Ｗｈ未満、つまり負荷率が３３．３％未満の場合は電源ユニットの稼動数は１台、消費電力が８００Ｗｈ未満、つまり負荷率が６６．６％未満の場合は電源ユニットの稼動数を２台、それ以外の負荷率の場合は稼動数を３台とする。そして、電源ユニットの稼働数制御を行った場合の電源効率特性は、電源ユニットの稼働台数ごとの電源効率特性をつなぎあわせたものとなる。
【００１２】
１２０１は３台の電源ユニットの稼動数制御を実施した場合の電源効率特性である。電源効率特性は、１２０１に示すように負荷率３３．３％と６６．６％を少し超過した条件、例えば３４％と６７％において、１電源ユニット当たりの負荷率が減少するため、電源効率特性の低下が発生する。このように、電源ユニットの稼働数制御を行う境界条件付近においては、稼働台数の変化に伴う電源効率特性の落ち込みが発生する。そのため、電源ユニットの稼働数制御を実施した場合でも、境界条件付近においては十分に消費電力の低減を図ることができない。
【００１３】
また一方で、ブレードサーバ１１０２内で生成していた直流電源電圧ｂＶに着目し、ＡＣ／ＤＣ変換器１１０１ｂが出力する直流電源電圧ｂＶを、直接ブレードサーバ内の直流電源電圧ｂＶで稼動する機器、装置に接続する構成も考えられる。しかしながらこの構成も、ａＶ系の電源効率特性において落ち込みが発生する。この構成を比較例２として、図１３及び図１４を用いて説明する。
【００１４】
図１３は、ＡＣ／ＤＣ変換器１３０１ｂが出力する直流電源電圧ｂＶを、直接ブレードサーバ内の直流電源電圧ｂＶで稼動する機器、装置に接続する例を示す図である。図１３に示すように、ブレードサーバ１３０２は、電源ユニット１３０１から直流電源電圧ａＶと直流電源電圧ｂＶが入力され、ＤＣ／ＤＣ変換器１３０３ｃは直流電源電圧ａＶを直流電源電圧ｃＶに変換し、ＤＣ／ＤＣ変換器１３０３ｄは直流電源電圧ａＶを直流電源電圧ｄＶに変換する。ここで、変換されたそれぞれの電圧はブレードサーバ１３０２内の各ブロックで使用される。
【００１５】
図１４は、図１３におけるａＶ系の電源効率特性の例を示したものである。ａＶ系に着目すると、図１３では電源ユニット１３０１から直流電源電圧ｂＶがブレードサーバに入力されることになるため、図１１と比較して直流電源電圧ｂＶ分が除かれることになる。そのため、直流電源電圧ｂＶ分に相当する負荷率分だけ、電源効率特性があたかも右へシフトするような特性を示す。ｂＶ分に相当する負荷率を、例えば５％として示した電源効率特性が図１４の１４０１となる。このように、ＡＣ／ＤＣ変換器１３０１ｂが出力する直流電源電圧ｂＶを、直接ブレードサーバ内の直流電源電圧ｂＶで稼動する機器、装置に接続した場合であっても稼働台数の変化に伴う電源効率特性の落ち込みが発生する。そのため、電源ユニットの稼働数制御を実施した場合でも、境界条件付近においては十分に消費電力の低減を図ることができない。
【００１６】
このような事情に鑑み、本願は、電源ユニットの稼働数を切り替えた場合に、その切り替え条件付近の電源効率の落ち込みの影響を少なくすることにより、消費電力の低減を図ることを目的とする。
【課題を解決するための手段】
【００１７】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
【００１８】
給電バスを介して並列接続される複数の電源ユニットと、給電バスから直流電源電圧が入力され並列接続される複数のサーバと、複数のサーバとネットワークを介して接続され、複数のサーバの消費電力に基づいて複数の電源ユニットの稼働数を制御する監視サーバと、を備える情報処理システムである。複数の電源ユニットそれぞれは、第１の直流電源電圧及び第１の直流電源電圧とは異なる電圧レベルの第２の直流電源電圧を給電バスに出力する。複数のサーバそれぞれは、第１の直流電源電圧から第２の直流電源電圧と同じ電圧レベルの第３の直流電源電圧を生成し、第２の直流電源電圧と第３の直流電源電圧を切り替えて使用する。監視サーバは複数のサーバの消費電力に基づいて、第２の直流電源電圧と第３の直流電源電圧との切り替えを制御する。
【００１９】
また、給電バスを介して並列接続される複数の電源ユニットと、給電バスから直流電源電圧が入力され並列接続される複数のサーバと、複数のサーバとネットワークを介して接続される監視サーバと、を備える情報処理システムである。複数の電源ユニットそれぞれは、第１の直流電源電圧を給電バスに出力する第１のＡＣ／ＤＣ変換器と、第１の直流電源電圧とは異なる電圧レベルの第２の直流電源電圧を給電バスに出力する第２のＡＣ／ＤＣ変換器とを有する。複数のサーバそれぞれは、第１の直流電源電圧から第２の直流電源電圧と同じ電圧レベルの第３の直流電源電圧を生成するＤＣ／ＤＣ変換器と、第２の直流電源電圧と第３の直流電源電圧とを切り替える装置と、第２の直流電源電圧又は第３の直流電源電圧が入力される装置とを有する。監視サーバは、ネットワークに接続されるネットワークインタフェースと、ネットワークインタフェースに接続されるプロセッサとを有し、プロセッサは複数のサーバの消費電力に基づいて複数の電源ユニットの稼働を制御するための電源制御信号を複数の電源ユニットに出力するとともに、複数のサーバの消費電力に基づいて第２の直流電源電圧と第３の直流電源電圧との切り替えを制御するための制御信号を複数のサーバに出力する。
【００２０】
さらに、並列接続される複数の電源ユニットと、複数の電源ユニットから直流電源電圧が入力され並列接続される複数のサーバと、複数のサーバとネットワークを介して接続される監視サーバとからなる情報処理システムにおける情報処理方法である。複数の電源ユニットそれぞれは、第１の直流電源電圧及び第１の直流電源電圧とは異なる電圧レベルの第２の直流電源電圧を出力する。複数のサーバそれぞれは、第１の直流電源電圧から第２の直流電源電圧と同じ電圧レベルの第３の直流電源電圧を生成し、第２の直流電源電圧又は第３の直流電源電圧を使用する。監視サーバは、第２の直流電源電圧と第３の直流電源電圧のうち、任意の負荷率に対して、第２の直流電源電圧又は第３の直流電源電圧を使用する場合の電源ユニットの電源効率が高い方を選択する。複数のサーバそれぞれは、選択された第２の直流電源電圧又は第３の直流電源電圧を使用する。
【発明の効果】
【００２１】
本発明によれば、電源ユニットの電源効率を高く維持することで、消費電力の削減を実現できる。
【図面の簡単な説明】
【００２２】
【図１】実施例１のシステム全体の構成図の例である。
【図２】実施例１の電源ユニットとサーバの構成図の例である。
【図３】実施例１の監視サーバの構成図の例である。
【図４】実施例１の電源数制御テーブルの例である。
【図５】実施例１の電源効率特性の例である。
【図６】実施例１のサーバの構成図の例である。
【図７】シミュレーション結果の例である。
【図８】実施例２のシステム全体の構成図の例である。
【図９】実施例２の監視サーバの構成図の例である。
【図１０】実施例２の電源効率特性の例である。
【図１１】比較例１の電源ユニットとサーバの構成図の例である。
【図１２】比較例１の電源効率特性の例である。
【図１３】比較例２の電源ユニットとサーバの構成図の例である。
【図１４】比較例２の電源効率特性の例である。
【図１５】シミュレーション結果の例である。
【図１６】シミュレーション結果の例である。
【図１７】シミュレーション結果の例である。
【発明を実施するための形態】
【００２３】
本発明は、ＰＣやサーバ等の情報処理装置に対し、低消費電力化を実現するものである。ここでは、データセンタ等で導入されるブレードタイプのサーバを例に採り、説明する。
【実施例１】
【００２４】
本発明の第１の実施例による電源装置の構成について、図１、２を用いて説明する。
【００２５】
まず、図１は第１の実施例に係るシステム全体の構成図である。１０１はクライアント端末、１０２はラック、１０３は商用電源、１０４は電源タップＰＤＵ、１０５ａ〜ｄは電源装置を構成する電源ユニットＰＳＵ、１０６はネットワークスイッチ、１０７は監視サーバ、１０８ａ〜ｄはブレードサーバである。
【００２６】
本実施例においては、ラック１０２にネットワークスイッチ１０６、監視サーバ１０７、ブレードサーバ１０８ａ〜ｄ、電源ユニット１０５ａ〜ｄが組み込まれている。ラック１０２に対しては、様々な要因で重畳されるノイズ、サージの抑制回路を内蔵する電源タップＰＤＵ１０４を介して、商用電源１０３が入力される。ネットワークスイッチ１０６を介して、クライアント端末１０１からサーバが実行すべきデータ処理内容等を示すジョブ情報、監視サーバを制御するための制御信号、および各種データ等が入力されるものとする。
【００２７】
次に、構成ブロックのそれぞれについて説明する。クライアント端末１０１は、ラック１０２に対してネットワークスイッチ１０６を介してジョブを投入、具体的にはデータ処理やデータ管理の依頼を行い、その提供を受ける端末である。なお、図１ではクライアント端末が１個の例を示しているが、複数存在してもよい。
【００２８】
ネットワークスイッチ１０６は、クライアント端末１０１、及びラック１０２内の各ブロックを接続するものであり、例えば各ブロックをＬＡＮケーブル、ファイバーチャネルなどで接続する。
【００２９】
電源装置は、複数の電源ユニット１０５ａ〜ｄで構成され、その出力は給電バスに接続されている。複数の電源ユニット１０５ａ〜ｄは、給電バスを介して並列に接続されている。そして、それぞれの電源ユニット１０５ａ〜ｄは、図２に示すように、ＡＣ／ＤＣ変換器（２０１ａ、２０２ｂ）の役割を果たし、商用電源１０３から入力される交流（例えば、１００Ｖ）を、直流電源電圧ａＶ、あるいは直流電源電圧ａＶ以外にもａＶとは電圧レベルが異なる直流電源電圧ｂＶに変換する。ａＶ系の直流電源電圧はブレードサーバ１０８ａ〜ｄに供給され、ｂＶ系の直流電源電圧はネットワークスイッチ１０６、監視サーバ１０７、及びブレードサーバ１０８ａ〜ｄに対して供給される。電源装置は、複数のＮ台、本実施例ではＮ＝３でラック１０２内の機器の最大電力容量を供給できるものとする。さらに、複数の電源ユニット１０５ａ〜ｄそれぞれは、監視サーバ１０７から出力される電源制御信号に応じて、稼働するか否かを制御する。
【００３０】
なお、ＲＡＩＤ装置と同様に、例えば（Ｎ＋１）の冗長化構成とすることもできる。これにより、仮に電源装置を構成する電源ユニット１０５ａ〜ｄが1台故障した場合でも、冗長化構成の電源ユニット１０５ａ〜ｄによりラック１０２内で要求される最大電力容量が保証され、給電バスにおける電源電圧の瞬低を回避でき、サーバの安定運用が可能になる。
【００３１】
監視サーバ１０７は、ネットワークスイッチ１０６を介して入力されるジョブ情報に基づいて、各サーバで消費する電力を予測して、電力予測データを算出する。そして、電力予測データに基づいて稼働させる電源ユニット数を制御する。
【００３２】
また、監視サーバ１０７は、前述のネットワークスイッチ１０６を介して、ラック１０２内に設置されたブレードサーバ１０８ａ〜ｄに対して、起動やシャットダウンを制御したり、クライアント端末１０１から投入されるジョブを分配するバランサーとしての役割を果たしたりする。
【００３３】
ブレードサーバ１０８ａ〜ｄそれぞれはプロセッサ、メモリ、記録装置（例えば、ＨＤＤ、ＣＤ−ＲＯＭドライブ、フラッシュメモリなど）、ＵＳＢなどの各種インタフェースで構成されている。ブレードサーバ１０８ａ〜ｄには給電バスから直流電源電圧が入力され、ブレードサーバ１０８ａ〜ｄは並列に接続される。そして、監視サーバ１０７から入力されるジョブ情報に応じて、各種演算、処理を実施し、その結果を監視サーバ１０７、あるいはクライアント端末１０１に対して転送する。プロセッサ、メモリ、記録装置、各種インタフェースはブレードサーバ１０８ａ〜ｄそれぞれのメイン基板に搭載、あるいは接続される。
【００３４】
さらに、電源ユニットから入力される直流電源電圧をメイン基板上の各ブロックで使用する電源電圧に変換するＤＣ／ＤＣ変換器（２０３ｂ、２０３ｃ、２０３ｄ、・・・）が搭載される。ＤＣ／ＤＣ変換器は、電源装置から入力される直流電源電圧ａＶを、それぞれ電圧レベルが異なる直流電源電圧ｂＶ、ｃＶ、ｄＶ…に変換する。そして、本実施例では、電源ユニット１０５ａ〜ｄは、直流電源電圧ａＶの他に直流電源電圧ｂＶを出力し、各ブレードサーバ１０８ａ〜ｄは、監視サーバ１０７からの制御信号に基づいて、直流電源電圧ｂＶとメイン基板上のＤＣ／ＤＣ変換器により生成した直流電源電圧ｂＶとを切り替えるスイッチ（２０１、２０２）を有することを特徴とする。
【００３５】
図３は、監視サーバ１０７のブロック構成を示した図である。監視サーバ１０７は、インタフェース３０１（Ｉ／Ｆ（Ａ））、３０２（Ｉ／Ｆ（Ｂ））、プロセッサ３０３、メモリ３０４、記録装置３０５を備える。インタフェース３０１はネットワークスイッチ１０６に接続するためのインタフェースであり、インタフェース３０２は各電源ユニット、各ブレードサーバと通信を行うためのインタフェースである。記録装置３０５は、後述する各種プログラム、各種データを記録するものであり、例えば、ハードディスクドライブやＣＤ−ＲＯＭドライブ、フラッシュメモリなどである。なお、複数の記録装置に各種プログラム、各種データを分割して記録するようにしてもよい。
【００３６】
プロセッサ３０３は、記録装置３０５に記録されているプログラムをメモリ３０４に読み出して実行することにより、各種機能を実現する。
【００３７】
プロセッサ３０３は、電力予測プログラム３０６を実行することにより、クライアント端末からインタフェース３０１を介して入力されるジョブ情報に基づいてブレードサーバの消費電力（負荷電力）を予測して電力予測データを算出する。具体的には、サーバの作業内容、例えばデータの処理、格納、読み出し、バックアップ等を解析する。ここで、作業内容に応じた一連のシーケンスにおける動作ごとの消費電力は予め判っているため、作業内容と取り扱うデータサイズが特定されると、ブレードサーバで消費する消費電力は推定できる。
【００３８】
また、プロセッサ３０３は、電源数判定プログラム３０７を実行することにより、稼働する電源ユニット数を判定し、電源ユニットを稼働させるための電源制御信号を、インタフェース３０２を介して各電源ユニットに出力する。稼働する電源ユニット数の判定には、電源数制御テーブル３０９を参照する。
【００３９】
図４は、電源数制御テーブル３０９の例を示したものである。電源数制御テーブル３０９は、複数のブレードサーバの負荷電力の合計と電源ユニット稼働数との対応関係を示すものである。図４では、電源ユニット１０５ａ〜ｄのうち３台でブレードサーバの最大消費電力を賄うことが可能であるとする。図４では、最大消費電力が１．２ｋＷｈであった場合、１電源ユニット当たりの電源容量は４００Ｗｈとなる例を示している。
【００４０】
そして、電力予測プログラムの実行により算出された負荷電力に応じて、電源ユニットの稼働数を制御する。例えば負荷電力が４００Ｗｈ未満、つまり負荷率が３３．３％未満の場合は電源ユニットの稼動数は１台、負荷電流が８００Ｗｈ未満つまり負荷率が６６．６％未満の場合は電源ユニットの稼動数を２台、それ以外の負荷率の場合は稼動数を３台となるように制御を行う。
【００４１】
また、電源数制御テーブル３０９を用いる例について説明したが、各電源ユニットの電力容量、又は、電源ユニット数及び最大電力容量を予め設定パラメータ３１１として記録しておき、それらの情報に基づいてサーバの負荷電力を賄えるように、電源ユニットの稼働数を決定するようにしてもよい。なお、各電源ユニットの電源電力容量、又は、電源ユニット数及び最大電力容量は、サーバ管理者により予め管理サーバに設定されている。
【００４２】
また、プロセッサ３０３は、電源選択プログラム３０８を実行することにより、サーバの負荷電力と設定パラメータ３１１を用いて負荷率を算出する。そして、負荷率に基づいて、直流電源電圧ｂＶの負荷電流をＡＣ／ＤＣ変換器から供給するか、あるいはＤＣ／ＤＣ変換器から供給するか、を制御するための制御信号を生成し、各ブレードサーバへ出力する。直流電源電圧ｂＶの負荷電流をＡＣ／ＤＣ変換器から供給するか、あるいはＤＣ／ＤＣ変換器から供給するか、の選択に際しては電源効率特性データ３１０を参照する。
【００４３】
図５は、電源効率特性データ３１０の例を示したものである。５０１は、直流電源電圧ｂＶの負荷電流をＤＣ／ＤＣ変換器から供給する場合のａＶ系の電源効率特性を示し、５０２は、直流電源電圧ｂＶの負荷電流をＡＣ／ＤＣ変換器から供給する場合のａＶ系の電源効率特性を示している。電源効率特性５０１は、図１２に示す１２０１に相当するものであり、電源効率特性５０２は、図１４に示す１４０１に相当するものである。上述したように、電源効率特性５０２は、電源効率特性５０１に対して直流電源電圧ｂＶに対応する負荷率分だけあたかも右へシフトするような特性を示す。これらの電源効率特性は、電源ユニットの構成、ブレードサーバの構成から算出することができ、予め監視サーバの記録装置に電源効率特性データ３１０として格納されている。
【００４４】
そして、プロセッサ３０３は、算出された負荷率に対して電源効率が高い方を選択して、選択された直流電源電圧を使用するようにブレードサーバを制御する。図５の例でいうと、例えば負荷率３４．０％では、直流電源電圧ｂＶの負荷電流をＡＣ／ＤＣ変換器から供給するようにブレードサーバに制御信号を出力する。一方、例えば負荷率３９．０％では、直流電源電圧ｂＶの負荷電流をＤＣ／ＤＣ変換器から供給するようにブレードサーバに制御信号を出力する。
【００４５】
そして、その制御信号を受信したブレードサーバ１０８ａ〜ｄは、制御信号に基づいてスイッチ２０１、２０２を制御することにより、電源ユニットから入力される直流電源電圧ａＶから作成する直流電源電圧ｂＶと、電源ユニットから入力される直流電源電圧ｂＶとを切り替える。
【００４６】
図６は、ブレードサーバ１０８ａのブロック構成を示した図である。ブレードサーバは、インタフェース６０１（Ｉ／Ｆ（Ｃ））、６０２（Ｉ／Ｆ（Ｄ））、ＵＳＢインタフェース６０３、メモリ６０４、記録装置６０５、プロセッサ６０６、ＰＣＩスロット６０７を備える。インタフェース６０１は、監視サーバ１０７と通信を行うためのインタフェースである。インタフェース６０２は、ネットワークスイッチ１０６と接続するためのインタフェースである。記録装置６０５は、各種プログラム、各種データを記録するものであり、例えば、ハードディスクドライブやＣＤ−ＲＯＭドライブ、フラッシュメモリなどである。なお、複数の記録装置に各種プログラム、各種データを分割して記録するようにしてもよい。
【００４７】
プロセッサ６０６は、記録装置６０５に記録されているプログラムをメモリ６０４に読み出して実行することにより、各種機能を実現する。監視サーバから入力されるジョブ情報に応じて、各種演算、処理を実施し、その結果を監視サーバ１０７あるいはクライアント端末１０１に対して転送する。
【００４８】
スイッチ２０１は、ＤＣ／ＤＣ変換器の出力部に設置され、ＤＣ／ＤＣ変換器２０３ｂが出力する直流電源電圧ｂＶに対して、ブレードサーバ１０８ａ内の電源ラインへの接続と非接続を切り替えるためのものである。その動作は、監視サーバ１０７から転送される制御信号に基づいて制御される。
【００４９】
スイッチ２０２は、ＡＣ／ＤＣ変換器から入力される直流電源電圧ｂＶに対して、ブレードサーバ１０８ａ内の電源ラインへの接続と非接続を切り替えるためのものである。スイッチ２０１と同様に、その動作は、監視サーバ１０７から転送される制御信号に基づいて制御される。
【００５０】
直流電源電圧ａＶにより稼動する装置、部品は基板上では比較的高い電圧を使用するもので、例えばＰＣＩスロットである。直流電源電圧ｂＶにより稼動する装置、部品は、ジョブ情報の内容によらず定常的に電力を消費するもので、例えばＵＳＢインタフェースである。一方、直流電源電圧ｃＶ、ｄＶ…により稼動する装置、部品は、ジョブ情報の内容に応じて消費電力が変化するもので、例えばプロセッサ、記録装置、メモリ等である。
【００５１】
ここで、交流を直流電源電圧ｃＶ、ｄＶ…に変換するためのＡＣ／ＤＣ変換器を電源ユニットに持たせ、直流電源電圧ａＶから作成する直流電源電圧ｃＶ、ｄＶ…と、電源ユニットから入力される直流電源電圧ｃＶ、ｄＶ…とをブレードサーバで切り替える構成も考えられる。しかしながら、直流電源電圧ｃＶ、ｄＶ…により稼動する装置、部品は、ジョブ情報の内容に応じて消費電力が変化するものであるため、監視サーバは電源効率の高い方が選択されるようにブレードサーバを制御することが困難となる。そこで、本実施例では、定常的に変化の少ない電力を消費する装置で使用される直流電源電圧ｂＶに関して、制御を行うのである。
【００５２】
以上のように、本実施例では、監視サーバがジョブ情報を解析してブレードサーバの消費電力を予測し、その消費電力に基づいて電源ユニットの稼働数を切り替えるとともに、ブレードサーバは、任意の負荷率に対して電源効率が高くなるように、電源ユニットから入力される直流電源電圧ａＶから作成する直流電源電圧ｂＶと、電源ユニットから入力される直流電源電圧ｂＶとを切り替えて使用する。これにより、電源ユニットの稼働数制御を実施した場合に、境界条件付近における電源効率の落ち込みの影響を少なくして、消費電力の低減を図ることが可能となる。
【００５３】
次に、システム全体としての電源効率のシミュレーション結果の例を、図７、図１５〜１７を用いて説明する。
【００５４】
図１５は、ＡＣ／ＤＣ変換器とＤＣ／ＤＣ変換器に関して、負荷率ごとの電源効率の例を纏めたものである。図７は、本実施例の制御を行った場合の電源効率の計算結果の例である。また、図１６は、図１１に示す電源ユニットとブレードサーバの構成に関する電源効率の計算結果の例である。さらに、図１７は、図１３に示す電源ユニットとブレードサーバの構成に関する電源効率の計算結果の例である。
【００５５】
最初に、図１１に示す電源ユニットとブレードサーバの構成に関する電源効率について説明する。
【００５６】
電源ユニットのａＶ系のＡＣ／ＤＣ変換器の電源効率特性が１２０１であるとすると、負荷率が３３．３％を少し超過した３４％条件において電源効率８８％、負荷率２９％において電源効率９２％、負荷率３９％において電源効率９２％となる。さらにブレードサーバ内のＤＣ／ＤＣ変換器の効率（＝出力電力／入力電力）が電流量によらず一律８５％とすると、ＡＣ／ＤＣ変換器の入力（ＡＣ１００Ｖ）からＤＣ／ＤＣ変換器の出力間における電源効率はそれぞれの効率の掛け算で決定される。その結果、図１５に示すように、負荷率２９％において電源効率７８．２％（＝９２％×８５％）、負荷率３４％において電源効率７４．８％（＝８８％×８５％）、負荷率３９％において電源効率７８．２％（＝９２％×８５％）となる。つまり、ラック内の消費電力の大半を占める直流電源電圧ａＶの電源系統においては、負荷率３４％の条件で電源効率が３．４％低下し、その他の負荷率条件以上に、電源ユニットに入力する電力を増加する必要がある。
【００５７】
そして、直流電源電圧ｂＶが負荷率５％に相当する電力を常時消費し、それ以外の電力は直流電源電圧ａＶがジョブ量に応じて消費するという前提で、ＡＣ／ＤＣ変換器のトータルの電源効率を算出した結果が図１６である。
【００５８】
ブレードサーバ１１０２は、すべての直流電源電圧が直流電源電圧ａＶから生成されるため、トータル効率は、図１５にしたがって、ＡＣ／ＤＣ変換器とＤＣ／ＤＣ変換器の２段分の電源効率となる。
【００５９】
次に、図１３に示す電源ユニットとブレードサーバの構成に関する電源効率について説明する。
【００６０】
電源ユニットのａＶ系のＡＣ／ＤＣ変換器の電源特性が１４０１であるとすると、負荷率が３８．３％を少し超過した３９％条件において電源効率は８８％、負荷率３４％において電源効率は９２％、負荷率４４％において電源効率は９２％となる。さらにＤＣ／ＤＣ変換器の効率（＝出力電力／入力電力）が、電流量によらず一律８５％とすると、ＡＣ／ＤＣ変換器の入力（ＡＣ１００Ｖ）からＤＣ／ＤＣ変換器の出力間における電源効率はそれぞれの効率の掛け算で決定される。その結果、負荷率３４％において電源効率７８．２％（＝９２％×８５％）、負荷率３９％において電源効率７４．８％（＝８８％×８５％）、負荷率４４％において電源効率７８．２％（＝９２％×８５％）となる。
【００６１】
ここで、上述した電源効率１４０１に着目すると、ラック１０２内の消費電力の大半を占める直流電源電圧ａＶの電源系統においては、負荷率が３９％の条件で電源効率が低下する。つまり、ブレードサーバ１３０２の構成では、直流電源電圧ｂＶの電源効率は向上するものの、ラック１０２内の消費電力の大半を占める直流電源電圧ａＶの電源効率においては、やはり図１１の場合と同様に電源効率特性が低下する負荷率条件が存在する。
【００６２】
そして、直流電源電圧ｂＶが負荷率５％に相当する電力を常時消費し、かつＡＣ／ＤＣ変換器から入力されるものとし、それ以外の電力は直流電源電圧ａＶでジョブ量に応じて消費するという前提で、ＡＣ／ＤＣ変換器のトータルの電源効率を算出した結果が図１７である。ブレードサーバ１３０２は、トータルの負荷率が３４％の場合、直流電源電圧ｂＶ分の負荷率５％は除かれるため、直流電源電圧ａＶの負荷率は２９％になる。直流電源電圧ａＶの電源効率はＡＣ／ＤＣ変換器とＤＣ／ＤＣ変換器の２段構成で決定され、直流電源電圧ｂＶの電源効率はＡＣ／ＤＣ変換器のみで決定されるとしてトータル効率を計算した。その結果、図１６との比較で言うと、負荷率３４％においてはブレードサーバ１３０２の方が電源効率が高いが、負荷率３９％においてはブレードサーバ１１０２の方が電源効率が高いことが判る。
【００６３】
これらに対して、本実施例の電源効率について説明する。前述したように、本実施例は、電源ユニットから入力される直流電源電圧ａＶから作成する直流電源電圧ｂＶと、電源ユニットから入力される直流電源電圧ｂＶとを負荷率に応じて選択する。そのため、図５で示される電源効率特性５０１と５０２のうち、より高い電源効率を得ることができる。
【００６４】
例えば、直流電源電圧ｂＶが負荷率５％に相当する電力を常時消費し、トータル負荷率が３４％の場合、直流電源電圧ｂＶはＡＣ／ＤＣ変換器から入力されるものとし、トータル負荷率が３９％の場合は、ＤＣ／ＤＣ変換器から入力されるものとする。そして、それ以外の電力は直流電源電圧ａＶでジョブ量に応じて消費するという前提で、ＡＣ／ＤＣ変換器のトータルの電源効率を算出した結果が図７であり、図１６と図１７で示す総合効率のうち、より高い電源効率を選択できていることを示している。
【００６５】
以上のように、監視サーバに投入されるジョブ情報の解析による電力予測データに基づいて、電源ユニットの稼動数を切り替えると共に、ブレードサーバは電源ユニットから入力される直流電源電圧ａＶから作成する直流電源電圧ｂＶと、電源ユニットから入力される直流電源電圧ｂＶとを切り替える。これにより、比較例１と２で示したような、負荷率と電源効率の関係において発生していた電源効率特性の落ち込みを回避することができる。その結果、低消費電力化の実現が可能となる。
【００６６】
また、本実施例では、監視サーバがジョブ情報に基づいてサーバの消費電力を予測する方法を説明したが、各サーバの消費電力値を解析して全てのサーバの消費電力を予測することもできる。その場合、各サーバは消費電力測定装置を備え、その測定結果をネットワークスイッチ１０６を介して監視サーバ１０７に転送する。監視サーバ１０７は、時系列に一定間隔の消費電力値から全てのサーバの消費電流を予測できる。なお、消費電力測定装置は公知のものでよく、例えばサーバの給電入力部に設置されたシャント抵抗（抵抗値は既知）の両端電位を測定して消費電力を求めるものでよい。
【００６７】
また、本実施例では、全てのサーバの消費電力を予測して、予測された消費電力に基づいて負荷率を算出する方法を説明したが、各サーバで実測された消費電力に基づいて負荷率を算出することもできる。その場合、上述したように、各サーバは消費電力測定装置を備え、その測定結果をネットワークスイッチ１０６を介して監視サーバ１０７に転送する。監視サーバ１０７は、各サーバで実測された消費電力から負荷率を算出することができる。
【００６８】
なお、本実施例では、ラックに搭載するブレードサーバ数を４台として説明したが、それより増やしても構わないし、少なくても構わない。また、電源ユニット１０５ａ〜ｄの数を４台として説明したが、電源ユニットに関しても、４台より増やしても構わないし、少なくても構わない。ただし、電源ユニット１０５ａ〜ｄの数が４台で、冗長化構成の場合、制御の基準となる負荷率が２レベルとなり、図５に示すように、電源効率において、２箇所の段差が発生する。これに対し、電源ユニット１０５ａ〜ｄの数を増やすことで、より詳細な制御が可能になり、電源効率における段差数を削減できる。
【００６９】
また、入力されるＡＣ電源を１００Ｖとして説明したが２００Ｖでも構わない。また、直流電源電圧のＤＣ電源であっても本実施例の電源ユニット１０５ａ〜ｄ内のＡＣ／ＤＣ変換器をＤＣ／ＤＣ変換器に置換すればよく、サーバ内部で生成する直流電源電圧ｂＶと電源ユニットが生成する直流電源電圧ｂＶとを切り替える本実施例の特徴を有し、電源効率を向上させることができれば構わない。
【００７０】
本実施例では、データセンタを想定したラックマウントタイプのサーバを例に説明したが、複数の電源ユニットを搭載し、電源ユニットの稼動状態を、スタンバイモードや電源オフモードのようにモード切り替え機能が搭載可能な機器であれば、適用可能である。
【実施例２】
【００７１】
本発明の第２の実施例の構成について、図８から図１０を用いて説明する。
【００７２】
本発明の第２の実施例は、電源ユニット内のＡＣ／ＤＣ変換器の負荷電力の調整をブレードサーバと並列に設置されたキャパシタの接続、非接続の切り替えで実現することを特徴とする。具体的には、図１０に示す１００１の電源効率特性において、負荷率が電源ユニットの稼働数制御を行う境界条件付近の場合に、キャパシタを接続し、充電負荷を付加させ、言い換えると負荷率を上昇させる。これにより、電源効率を向上させるものである。図１０の例で説明すると、例えば負荷率１００２から負荷率１００３に上昇させるものである。また、負荷率が境界条件付近でないと判断した場合には、前述のキャパシタを非接続にし、負荷率を維持し、電源効率の高い条件でサーバの運用を続ける。
【００７３】
図８は本発明の第２の実施例に係る構成図である。８０１はスイッチ、８０２はＤＣ／ＤＣ変換器、８０３はキャパシタ、８０５ａ〜ｄは電源ユニット、監視サーバ８０７である。
【００７４】
図９は、本実施例における監視サーバ８０７のブロック構成を示した図である。実施例１の監視サーバと同構成については同符号を付し、ここでの説明は割愛する。本実施例では、電源制御プログラム９０１を備えていることを特徴とする。
【００７５】
プロセッサ３０３は、電源制御プログラム９０１を実行することにより、サーバの消費電力に基づいてスイッチ８０１の動作を制御するための制御信号を出力する。より具体的には、サーバの消費電力と設定パラメータ３１１により負荷率を算出する。そして負荷率と電源効率特性データ３１０から得られる境界条件との差が所定値（例えば５％）内であるか否かを判定し、スイッチ８０１に対して制御信号を出力する。
【００７６】
スイッチ８０１は、並列接続された電源ユニット１０５ａ〜ｄの出力部である給電バスと後述するＤＣ／ＤＣ変換器８０２との間に設置され、その動作は監視サーバ１０７から転送される制御信号で制御される。
【００７７】
ＤＣ／ＤＣ変換器８０２は、電源ユニット８０５ａ〜ｄが出力する直流電源電圧ａＶを入力とし、出力部に接続されたキャパシタを充電する。なお、ＤＣ／ＤＣ変換器８０２は、定電流出力が可能なものとする。これにより、充電に要する負荷電力量が既知にできるため、負荷率調整が可能になる。なお、充電時の電流量は、例えば負荷率の１０％に相当する電流とする。
【００７８】
キャパシタ８０３は、充電機能を果たすＤＣ／ＤＣ変換器８０２の出力部に設置され、スイッチ８０１が閉じた状態で充電されるものとする。なお、キャパシタ８０３にチャージされた電荷は、ＤＣ／ＤＣ変換器８０２の逆方向の電圧変換、あるいは図８では図示していないが別のＤＣ／ＤＣ変換器で定電圧化され、ラック１０２で使用されるものとして構わない。
【００７９】
以上の構成と制御内容により、ブレードサーバに投入されるジョブ情報を解析した電力予測データに基づいて、電源ユニットの稼動数を切り替えると共に、キャパシタ８０３をスイッチ８０１と、ＤＣ／ＤＣ変換器８０２を介して、給電バスへの接続、非接続を切り替える。これにより、図１０の１００１で示される電源効率特性の落ち込みを向上させることができる。その結果、低消費電力化の実現が可能となる。
【００８０】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々変形実施可能であり、上述した各実施形態を適宜組み合わせることが可能であることは当業者に理解されよう。
【符号の説明】
【００８１】
１０１…クライアント端末
１０２…ラック
１０３…商用電源
１０４…電源タップ
１０５ａ〜ｄ…電源ユニット
１０６…ネットワークスイッチ
１０７…監視サーバ
１０８ａ〜ｄ…サーバ
２０１、２０２…スイッチ
２０１ａ〜ｂ…ＡＣ／ＤＣ変換器（アナログ−デジタル変換器）
２０３ｂ〜ｄ…ＤＣ／ＤＣ変換器（デジタル−デジタル変換器）
３０１、３０２…インタフェース
３０３…プロセッサ
３０４…メモリ
３０５…記録装置
３０６…電力予測プログラム
３０７…電源数判定プログラム
３０８…電源選択プログラム
３０９…電源数制御テーブル
３１０…電源効率特性データ
３１１…設定パラメータ
５０１、５０２…電源効率特性
６０１、６０２…インタフェース
６０３…ＵＳＢインタフェース
６０４…メモリ
６０５…記録装置
６０６…プロセッサ
６０７…ＰＣＩスロット
８０１…スイッチ
８０２…ＤＣ／ＤＣ変換器（デジタル−デジタル変換器）
８０３…キャパシタ
９０１…電源制御プログラム
【図１】
2011221724.tif 000003
【図２】
2011221724.tif 000004
【図３】
2011221724.tif 000005
【図４】
2011221724.tif 000006
【図５】
2011221724.tif 000007
【図６】
2011221724.tif 000008
【図７】
2011221724.tif 000009
【図８】
2011221724.tif 000010
【図９】
2011221724.tif 000011
【図１０】
2011221724.tif 000012
【図１１】
2011221724.tif 000013
【図１２】
2011221724.tif 000014
【図１３】
2011221724.tif 000015
【図１４】
2011221724.tif 000016
【図１５】
2011221724.tif 000017
【図１６】
2011221724.tif 000018
【図１７】
2011221724.tif 000019