(57)【要約】【課題】サーバ・システム内のスイッチ・モジュールの負荷を平衡させる方法およびシステム、ならびにこれらを利用したコンピュータ・システムを提供すること。【解決手段】サーバ・システム内のスイッチ・モジュールの負荷を平衡させる方法およびシステム、ならびにこれらを利用したコンピュータ・システムを開示する。第１の態様ではこの方法が、複数のスイッチ・モジュールのそれぞれに割り当てられたサーバの数が実質的に等しくなるように、複数のスイッチ・モジュールの１つのスイッチ・モジュールに複数のサーバをそれぞれを割り当てることを含む。第２の態様では、コンピュータ・システムが、複数のスイッチ・モジュールに結合された複数のサーバと、管理モジュールと、管理モジュールに結合された負荷平衡機構とを備え、負荷平衡機構が、複数のスイッチ・モジュールのそれぞれに割り当てられたサーバの数が実質的に等しくなるように、複数のサーバをそれぞれ、複数のスイッチ・モジュールの１つのスイッチ・モジュールに割り当てる。【選択図】図５
2005018753.tif 000002
【特許請求の範囲】
【請求項１】
複数のサーバを含むサーバ・システム内の複数のスイッチ・モジュールの負荷を平衡させる方法であって、
ａ）前記複数のスイッチ・モジュールのそれぞれに割り当てられたサーバの数が実質的に等しくなるように、前記複数のサーバをそれぞれ、前記複数のスイッチ・モジュールの１つのスイッチ・モジュールに割り当てるステップ
を含む方法。
【請求項２】
ｂ）割り当てられた前記スイッチ・モジュールを識別するスイッチ割当てを、サーバごとに、該サーバの不揮発性記憶装置に記憶するステップ
をさらに含む、請求項１に記載の方法。
【請求項３】
前記割当てステップ（ａ）がさらに、
（ａ１）サーバを前記スイッチ・モジュールに割り当てなければならないかどうかを、該サーバの不揮発性記憶装置を調べることによって判定するステップ
を含む、請求項２に記載の方法。
【請求項４】
前記判定ステップ（ａ１）がさらに、
（ａ１ｉ）前記不揮発性記憶装置がスイッチ割当てを含まない場合に、前記サーバを割り当てなければならないと結論するステップと、
（ａ１ｉｉ）前記不揮発性記憶装置の中にスイッチ割当てがあった場合に、既存のスイッチ割当てが有効かどうかを判定するステップと、
（ａ１ｉｉｉ）前記既存のスイッチ割当てが無効である場合に、前記サーバを割り当てなければならないと結論するステップと
を含む、請求項３に記載の方法。
【請求項５】
前記割当てステップ（ａ）がさらに、
（ａ２）前記サーバを割り当てなければならない場合に、スイッチ割当てテーブルにアクセスして、前記複数のスイッチ・モジュールのうちのどのモジュールを前記サーバに割り当てるのかを決定するステップ
を含む、請求項３に記載の方法。
【請求項６】
前記スイッチ割当てテーブルが、それぞれの前記スイッチ・モジュールおよびそれに割り当てられたサーバに関する情報を含む、請求項５に記載の方法。
【請求項７】
前記アクセス・ステップ（ａ２）がさらに、
（ａ２ｉ）前記スイッチ割当てテーブルを利用して、前記複数のスイッチ・モジュールのその時点の負荷分散を評価するステップと、
（ａ２ｉｉ）カレントのスイッチ・モジュールに割り当てられたサーバの数が、次のスイッチ・モジュールに割り当てられたサーバの数よりも多い場合に、前記サーバを前記次のスイッチ・モジュールに割り当てるステップと
を含む、請求項５に記載の方法。
【請求項８】
前記アクセス・ステップ（ａ２）がさらに、
（ａ２ｉｉｉ）前記カレントのスイッチ・モジュールに割り当てられたサーバの数が、前記次のスイッチ・モジュールに割り当てられたサーバの数以下である場合に、前記サーバを前記カレントのスイッチ・モジュールに割り当てるステップと、
（ａ２ｉｖ）前記カレントのスイッチ・モジュールに割り当てられたサーバの数が、前記次のスイッチ・モジュールに割り当てられたサーバの数に等しく、かつ前記次のスイッチ・モジュールが最後のスイッチ・モジュールである場合に、前記サーバを前記カレントのスイッチ・モジュールに割り当てるステップと、
（ａ２ｖ）前記カレントのスイッチ・モジュールに割り当てられたサーバの数が、前記次のスイッチ・モジュールに割り当てられたサーバの数に等しく、かつ前記次のスイッチ・モジュールが最後のスイッチ・モジュールでない場合に、前記次のスイッチ・モジュールをカレントのスイッチ・モジュールとしてステップ（ａ２ｉｉ）から（ａ２ｖ）までを繰り返すステップと
を含む、請求項７に記載の方法。
【請求項９】
前記割当てステップ（ａ）がさらに、
（ａ３）前記スイッチ割当てテーブルを更新するステップ
を含む、請求項５に記載の方法。
【請求項１０】
（ｃ）前記割り当てられたスイッチ・モジュールを利用してネットワークにアクセスするステップ
をさらに含む、請求項２に記載の方法。
【請求項１１】
前記利用ステップ（ｃ）がさらに、
（ｃ１）リモート・ブート・プロセス時に前記サーバの不揮発性記憶装置を調べて、スイッチ割当てが存在するかどうかを判定するステップと、
（ｃ２）スイッチ割当てが存在しない場合に、新しいスイッチ割当てを要求し、受け取り、記憶するステップと、
（ｃ３）割り当てられたスイッチを経由してブートするステップと
を含む、請求項１０に記載の方法。
【請求項１２】
前記割当てステップ（ａ）が、システム電源投入時シーケンスの最中、および前記複数のサーバに新しいサーバが追加されたときに実行される、請求項５に記載の方法。
【請求項１３】
複数のサーバを含むサーバ・システム内の複数のスイッチ・モジュールの負荷を平衡させるプログラム命令を含むコンピュータ可読媒体であって、前記命令が、
ａ）前記複数のスイッチ・モジュールのそれぞれに割り当てられたサーバの数が実質的に等しくなるように、前記複数のサーバをそれぞれ、前記複数のスイッチ・モジュールの１つのスイッチ・モジュールに割り当てる命令である
コンピュータ可読媒体。
【請求項１４】
ｂ）割り当てられた前記スイッチ・モジュールを識別するスイッチ割当てを、サーバごとに、該サーバの不揮発性記憶装置に記憶する命令
をさらに含む、請求項１３に記載のコンピュータ可読媒体。
【請求項１５】
前記割当て命令（ａ）がさらに、
（ａ１）サーバを前記スイッチ・モジュールに割り当てなければならないかどうかを、該サーバの不揮発性記憶装置を調べることによって判定する命令
を含む、請求項１４に記載のコンピュータ可読媒体。
【請求項１６】
前記判定命令（ａ１）がさらに、
（ａ１ｉ）前記不揮発性記憶装置がスイッチ割当てを含まない場合に、前記サーバを割り当てなければならないと結論する命令と、
（ａ１ｉｉ）前記不揮発性記憶装置の中にスイッチ割当てがあった場合に、既存のスイッチ割当てが有効かどうかを判定する命令と、
（ａ１ｉｉｉ）前記既存のスイッチ割当てが無効である場合に、前記サーバを割り当てなければならないと結論する命令と
を含む、請求項１５に記載のコンピュータ可読媒体。
【請求項１７】
前記割当て命令（ａ）がさらに、
（ａ２）前記サーバを割り当てなければならない場合に、スイッチ割当てテーブルにアクセスして、前記複数のスイッチ・モジュールのうちのどのモジュールを前記サーバに割り当てるのかを決定する命令
を含む、請求項１５に記載のコンピュータ可読媒体。
【請求項１８】
前記スイッチ割当てテーブルが、それぞれの前記スイッチ・モジュールおよびそれに割り当てられたサーバに関する情報を含む、請求項１７に記載のコンピュータ可読媒体。
【請求項１９】
前記アクセス命令（ａ２）がさらに、
（ａ２ｉ）前記スイッチ割当てテーブルを利用して、前記複数のスイッチ・モジュールのその時点の負荷分散を評価する命令と、
（ａ２ｉｉ）カレントのスイッチ・モジュールに割り当てられたサーバの数が、次のスイッチ・モジュールに割り当てられたサーバの数よりも多い場合に、前記サーバを前記次のスイッチ・モジュールに割り当てる命令と
を含む、請求項１７に記載のコンピュータ可読媒体。
【請求項２０】
前記アクセス命令（ａ２）がさらに、
（ａ２ｉｉｉ）前記カレントのスイッチ・モジュールに割り当てられたサーバの数が、前記次のスイッチ・モジュールに割り当てられたサーバの数以下である場合に、前記サーバを前記カレントのスイッチ・モジュールに割り当てる命令と、
（ａ２ｉｖ）前記カレントのスイッチ・モジュールに割り当てられたサーバの数が、前記次のスイッチ・モジュールに割り当てられたサーバの数に等しく、かつ前記次のスイッチ・モジュールが最後のスイッチ・モジュールである場合に、前記サーバを前記カレントのスイッチ・モジュールに割り当てる命令と、
（ａ２ｖ）前記カレントのスイッチ・モジュールに割り当てられたサーバの数が、前記次のスイッチ・モジュールに割り当てられたサーバの数に等しく、かつ前記次のスイッチ・モジュールが最後のスイッチ・モジュールでない場合に、前記次のスイッチ・モジュールをカレントのスイッチ・モジュールとして命令（ａ２ｉｉ）から（ａ２ｖ）までを繰り返す命令と
を含む、請求項１９に記載のコンピュータ可読媒体。
【請求項２１】
前記割当て命令（ａ）がさらに、
（ａ３）前記スイッチ割当てテーブルを更新する命令
を含む、
請求項１７に記載のコンピュータ可読媒体。
【請求項２２】
（ｃ）前記割り当てられたスイッチ・モジュールを利用してネットワークにアクセスする命令
をさらに含む、請求項１４に記載のコンピュータ可読媒体。
【請求項２３】
前記利用命令（ｃ）がさらに、
（ｃ１）リモート・ブート・プロセス時に前記サーバの不揮発性記憶装置を調べて、スイッチ割当てが存在するかどうかを判定する命令と、
（ｃ２）スイッチ割当てが存在しない場合に、新しいスイッチ割当てを要求し、受け取り、記憶する命令と、
（ｃ３）割り当てられたスイッチを経由してブートする命令と
を含む、請求項２２に記載のコンピュータ可読媒体。
【請求項２４】
前記割当て命令（ａ）が、システム電源投入時シーケンスの最中、および前記複数のサーバに新しいサーバが追加されたときに実行される、請求項１７に記載のコンピュータ可読媒体。
【請求項２５】
複数のサーバを含むサーバ・システム内の複数のスイッチ・モジュールの負荷を平衡させるシステムであって、
それぞれの前記複数のサーバに結合された負荷平衡機構を備え、
前記負荷平衡機構が、前記複数のスイッチ・モジュールのそれぞれに割り当てられたサーバの数が実質的に等しくなるように、前記複数のサーバをそれぞれ、前記複数のスイッチ・モジュールの１つのスイッチ・モジュールに割り当てる
システム。
【請求項２６】
それぞれの前記サーバが、
割り当てられた前記スイッチ・モジュールを識別するスイッチ割当てを、該サーバの不揮発性記憶装置に記憶する手段と、
前記割り当てられたスイッチ・モジュールを利用してネットワークにアクセスする手段と
を備えた、請求項２５に記載のシステム。
【請求項２７】
前記負荷平衡機構がスイッチ割当てテーブルを備え、前記スイッチ割当てテーブルが、それぞれの前記スイッチ・モジュールおよびそれに割り当てられた前記サーバの数に関する情報を含む、請求項２６に記載のシステム。
【請求項２８】
割当てが必要な場合に、前記負荷平衡機構が前記スイッチ割当てテーブルにアクセスして、前記複数のスイッチ・モジュールのうちのどのモジュールを前記サーバに割り当てるのかを決定する、請求項２７に記載のシステム。
【請求項２９】
前記負荷平衡機構がさらに、前記サーバの不揮発性記憶装置を調べて、該サーバが前記スイッチ・モジュールへの割当てを必要としているかどうかを判定する手段を備えた、請求項２７に記載のシステム。
【請求項３０】
前記負荷平衡機構がさらに、前記サーバが前記スイッチ・モジュールに割り当てられた後に前記スイッチ割当てテーブルを更新する手段を備えた、請求項２７に記載のシステム。
【請求項３１】
前記利用手段がさらに、
前記サーバの不揮発性記憶装置を調べて、スイッチ割当てが存在するかどうかを判定する手段と、
スイッチ割当てが存在しない場合に、新しいスイッチ割当てを要求し、受け取り、記憶する手段と、
割り当てられたスイッチを経由してネットワークにアクセスする手段と
を備えた、請求項２６に記載のシステム。
【請求項３２】
複数のサーバと、
前記複数のサーバに結合された複数のスイッチ・モジュールと、
それぞれの前記複数のサーバに結合された管理モジュールと、
前記管理モジュールに結合された負荷平衡機構と
を備え、
前記負荷平衡機構が、前記複数のスイッチ・モジュールのそれぞれに割り当てられたサーバの数が実質的に等しくなるように、前記複数のサーバをそれぞれ、前記複数のスイッチ・モジュールの１つのスイッチ・モジュールに割り当てる
コンピュータ・システム。
【請求項３３】
それぞれの前記サーバが、
割り当てられた前記スイッチ・モジュールを識別するスイッチ割当てと管理モジュール識別子とを、前記サーバの不揮発性記憶装置に記憶する手段と、
前記割り当てられたスイッチ・モジュールを利用してネットワークにアクセスする手段と
を備えた、請求項３２に記載のシステム。
【請求項３４】
前記負荷平衡機構がスイッチ割当てテーブルを備え、前記スイッチ割当てテーブルが、それぞれの前記スイッチ・モジュールおよびそれに割り当てられたサーバに関する情報を含む、請求項３３に記載のシステム。
【請求項３５】
前記負荷平衡機構がさらに、前記サーバの不揮発性記憶装置を調べて、該サーバがスイッチ・モジュールへの割当てを必要としているかどうかを判定する手段を備えた、請求項３４に記載のシステム。
【請求項３６】
前記負荷平衡機構がさらに、前記サーバが前記スイッチ・モジュールに割り当てられた後に前記スイッチ割当てテーブルを更新する手段を備えた、請求項３４に記載のシステム。
【請求項３７】
複数のサーバを含むサーバ・システム内の複数のスイッチ・モジュールの負荷を平衡させる方法であって、
ａ）前記複数のスイッチ・モジュールのそれぞれに割り当てられたサーバの数が実質的に等しくなるように、前記複数のサーバをそれぞれ、前記複数のスイッチ・モジュールの１つのスイッチ・モジュールに割り当てるステップと、
ｂ）前記複数のサーバの１つのサーバが取り外されたことを検出するステップと、
ｃ）前記複数のスイッチ・モジュールのそれぞれに割り当てられた残りのサーバの数が実質的に等しくなるように、必要に応じて、前記複数のスイッチ・モジュールの負荷を調整するステップと
を含む方法。
【請求項３８】
前記調整ステップ（ｃ）がさらに、
（ｃ１）それぞれの前記スイッチ・モジュールおよびそれに割り当てられたサーバに関する情報を含むスイッチ割当てテーブルにアクセスするステップと、
（ｃ２）前記複数のスイッチ・モジュールのそれぞれに割り当てられた残りのサーバの数を比較するステップと、
（ｃ３）前記比較に基づいて前記負荷を調整するステップと
を含む、請求項３７に記載の方法。
【請求項３９】
前記調整ステップ（ｃ３）がさらに、
（ｃ３ｉ）前記スイッチ・モジュールのそれぞれに割り当てられた残りのサーバの数が等しいか、または前記スイッチ・モジュールのそれぞれに割り当てられた残りのサーバの数の差が１である場合に、前記負荷を維持するステップと、これ以外の場合に、
（ｃ３ｉｉ）割り当てられたサーバの数が最も多いスイッチ・モジュールを識別し、このモジュールに割り当てられた１つのサーバを選択するステップと、
（ｃ３ｉｉｉ）割り当てられたサーバの数が最も少ないスイッチ・モジュールを識別し、このモジュールに前記選択されたサーバを割り当てなおすステップと
を含む、請求項３８に記載の方法。
【請求項４０】
複数のサーバを含むサーバ・システム内の複数のスイッチ・モジュールの負荷を平衡させるプログラム命令を含むコンピュータ可読媒体であって、前記命令が、
ａ）前記複数のスイッチ・モジュールのそれぞれに割り当てられたサーバの数が実質的に等しくなるように、前記複数のサーバをそれぞれ、前記複数のスイッチ・モジュールの１つのスイッチ・モジュールに割り当て、
ｂ）前記複数のサーバの１つのサーバが取り外されたことを検出し、
ｃ）前記複数のスイッチ・モジュールのそれぞれに割り当てられた残りのサーバの数が実質的に等しくなるように、必要に応じて、前記複数のスイッチ・モジュールの負荷を調整する
命令であるコンピュータ可読媒体。
【請求項４１】
前記調整命令（ｃ）がさらに、
（ｃ１）それぞれの前記スイッチ・モジュールおよびそれに割り当てられたサーバに関する情報を含むスイッチ割当てテーブルにアクセスする命令と、
（ｃ２）前記複数のスイッチ・モジュールのそれぞれに割り当てられた残りのサーバの数を比較する命令と、
（ｃ３）前記比較に基づいて前記負荷を調整する命令と
を含む、請求項４０に記載のコンピュータ可読媒体。
【請求項４２】
前記調整命令（ｃ３）がさらに、
（ｃ３ｉ）前記スイッチ・モジュールのそれぞれに割り当てられた残りのサーバの数が等しいか、または前記スイッチ・モジュールのそれぞれに割り当てられた残りのサーバの数の差が１である場合に、前記負荷を維持する命令と、これ以外の場合に、
（ｃ３ｉｉ）割り当てられたサーバの数が最も多いスイッチ・モジュールを識別し、このモジュールに割り当てられた１つのサーバを選択する命令と、
（ｃ３ｉｉｉ）割り当てられたサーバの数が最も少ないスイッチ・モジュールを識別し、このモジュールに前記選択されたサーバを割り当てなおす命令と
を含む、請求項４１に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にコンピュータ・サーバ・システムに関し、詳細には、サーバ・システム内の少なくとも２つのスイッチ・モジュールの負荷を平衡させる方法およびシステムに関する。
【背景技術】
【０００２】
今日の環境において、コンピューティング・システムはたいてい、サーバ、ハード・ディスク・ドライブ、他の周辺装置など、いくつかのコンポーネントを含む。これらのコンポーネントは一般にラックに格納されている。大きな企業ではこのような格納ラックの数が数百にもなり、それらが占有する床面積も莫大なものになる。さらに、これらのコンポーネントは一般に独立型のコンポーネントであり、すなわち統合されていないので、フロッピー（登録商標）・ディスク・ドライブ、キーボード、モニタなどの資源の共用はできない。
【０００３】
上で述べたコンピューティング・システムを束ねてコンパクトなオペレーショナル・ユニットとするシステムが、米ニューヨーク州Armonkのインターナショナル・ビジネス・マシーンズ社によって開発された。このシステムは、IBM eServerBladeCenter（商標）として知られている。BladeCenterは、別個のサーバ・ブレードを１４個まで収容することができる７Ｕモジュール・シャシである。サーバ・ブレードないしブレードは、業界標準サーバのプロセッサ、メモリ、ハード・ディスク記憶装置およびファームウェアを提供するコンピュータ・コンポーネントである。それぞれのブレードは、シャシのスロットに「ホット・プラグ」することができる。このシャシはさらに、電源、スイッチ、管理および送風モジュールなどの支援資源を収容する。したがってこのシャシは、個々のブレードが支援資源を共用することを可能にする。
【０００４】
代理機能を与えるため、このシャシには、２つのイーサネット（商標）（Ethernet）スイッチ・モジュール（ＥＳＭ）が搭載されている。これらのＥＳＭは、ブレード・サーバ・システムにイーサネット（商標）・スイッチング機能を提供する。それぞれのスイッチ・モジュールの主な目的は、サーバ・ブレード、管理モジュールおよび外部ネットワーク・インフラストラクチャ間のイーサネット（商標）・インターコネクティビティを提供することにある。
【０００５】
ブレードが例えば外部ネットワークを経由してリモート・ブートを実行するときには一般に、そのブレードがデフォルトのＥＳＭを選択し、リモート・ブート・シーケンスを開始する。リモート・ブートを実行するブレードが少数である場合、またはそれらのブレードが異なる時刻にリモート・ブートを実行する場合には、このプロセスで十分だが、いくつかのブレードがほぼ同時にデフォルトのＥＳＭを介してブートしようとすると、このプロセスは管理不能になる。この状況では、このデフォルトＥＳＭプロセスのためにデフォルトのＥＳＭが事実上のボトルネックとなり、その結果、性能が低下する。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、リモート・ブーティング時に少なくとも２つのＥＳＭの負荷を平衡させるシステムおよび方法が求められている。このシステムおよび方法は静的なものであってはならず、ＥＳＭの使用状況に応じて負荷を動的に調整できるものでなければならない。本発明はこのようなニーズを対象とする。
【課題を解決するための手段】
【０００７】
サーバ・システム内のスイッチ・モジュールの負荷を平衡させる方法およびシステム、ならびにこれらを利用したコンピュータ・システムを開示する。第１の態様ではこの方法が、複数のスイッチ・モジュールのそれぞれに割り当てられたサーバの数が実質的に等しくなるように、複数のサーバをそれぞれ、複数のスイッチ・モジュールの１つのスイッチ・モジュールに割り当てることを含む。第２の態様では、コンピュータ・システムが、複数のスイッチ・モジュールに結合された複数のサーバと、管理モジュールと、管理モジュールに結合された負荷平衡機構とを備え、負荷平衡機構が、複数のスイッチ・モジュールのそれぞれに割り当てられたサーバの数が実質的に等しくなるように、複数のサーバをそれぞれ、複数のスイッチ・モジュールの１つのスイッチ・モジュールに割り当てる。
【発明を実施するための最良の形態】
【０００８】
本発明は一般にサーバ・システムに関し、詳細には、サーバ・システム内の少なくとも２つのスイッチ・モジュールの負荷を平衡させる方法およびシステムに関する。以下の説明は、当業者が本発明を実施し使用することができるように提示するものであり、特許出願およびその要件の文脈で提供される。本発明の好ましい実施形態はBladeCenterの文脈で説明されるが、好ましい実施形態ならびに本明細書に記載する一般原理および特徴のさまざまな変更は、当業者には直ちに明白となろう。したがって、本発明を本明細書に示す実施形態に限定しようとする意図はなく、本発明の範囲は、本明細書に記載する原理および特徴と整合する最も幅の広い範囲に一致する。
【０００９】
本発明の好ましい一実施形態によれば、複数のそれぞれのサーバに結合された負荷平衡機構が、サーバと複数のスイッチ・モジュールと間のトラフィック・フローを監督し、それぞれのスイッチ・モジュールが受け持つ負荷を制御する。負荷平衡機構はこれを、リモート・ブート時に使用する１つのＥＳＭをそれぞれのサーバに割り当てることによって実施する。それぞれのサーバに１つのＥＳＭを割り当てることによって、それぞれのサーバをデフォルトのまま同じＥＳＭに割り当てるのに比べて、ネットワーク・アクセスはより効率的かつ予測可能になる。
【００１０】
本発明の特徴を説明するため、本発明とともに利用することができるBladeCenterなどのコンピュータ・システムについて説明する以下の議論および図を参照する。図１は、BladeCenterシステム１００の分解透視図である。この図を参照すると、主シャシ１０２がこのシステムの全てのコンポーネントを収容している。最大１４個のサーバ・ブレード１０４（またはストレージ・ブレードなどの他のブレード）が、シャシ１０２の前面の１４個のスロットに差し込まれている。ブレード１０４は、システム１００の他のブレード１０４の動作に影響を及ぼすことなく「ホット・スワップ（hotswap）」することができる。システム１００の機械および電気インタフェースならびに電源および冷却要件に従うものである限り、サーバ・ブレード１０４ａは、任意のマイクロプロセッサ技術を使用することができる。
【００１１】
シャシ１０２のほぼ中央にはミッドプレーン回路板１０６が配置されており、この回路板は２つのコネクタ列１０８、１０８’を含む。１４個のスロットはそれぞれ、上下に配置された一対のミッドプレーン・コネクタ、例えば１０８ａ、１０８ａ’を含み、これらのそれぞれのミッドプレーン・コネクタ対、例えば１０８ａ、１０８ａ’は、それぞれのサーバ・ブレード、例えば１０４ａの後縁の一対のコネクタ（図示せず）と対合する。
【００１２】
図２は、BladeCenterシステム１００の後部の透視図である。同種のコンポーネントは同種の参照符号で識別されている。図１および２を参照すると、第２のシャシ２０２も、冷却、電源、管理およびスイッチングのためのさまざまなホット・コンポーネントを収容している。第２のシャシ２０２は主シャシ１０２の後部にすべり込み、そこでラッチする。
【００１３】
図１および２に示すように、任意選択でホット・プラグ可能とすることができる２つの送風器２０４ａ、２０４ｂが、ブレード・システムのコンポーネントを冷却する。任意選択でホット・プラグ可能とすることができる４つの電力モジュール２０６が、サーバ・ブレードおよび他のコンポーネントに電力を供給する。管理モジュールＭＭ１およびＭＭ２（２０８ａ、２０８ｂ）は、制御、監視、警報、再始動、診断などの基本管理機能を提供するホット・プラグ可能なコンポーネントとすることができる。管理モジュール２０８はさらに、共用資源を管理するために必要な他の機能、例えばキーボード／ビデオ／マウス（ＫＶＭ）を多重化して個々のブレード・サーバ１０４にローカル・コンソールを提供する機能、システム１００およびスイッチング・モジュール２１０を構成する機能などを提供する。
【００１４】
管理モジュール２０８は、スイッチ・モジュール２１０、電源モジュール２０６、送風モジュール２０４およびブレード・サーバ１０４自体を含む、システム１００の全てのキー・コンポーネントと通信する。管理モジュール２０８は、これらのそれぞれのコンポーネントの存在の有無、ならびにその状態を検出する。２つの管理モジュールがインストールされているときには、第１のモジュール、例えばＭＭ１（２０８ａ）が実際の管理を担当し、第２のモジュールＭＭ２（２０８ｂ）は待機モジュールの役目を果たす。
【００１５】
第２のシャシ２０２はさらに、４個までのスイッチング・モジュールＳＭ１からＳＭ４（２１０ａ〜２１０ｄ）を収容する。一般に、２つのファイバ・チャネル（Fiber Channel）スイッチ・モジュール、例えばＳＭ１（２１０ａ）およびＳＭ２（２１０ｂ）、ならびに２つのイーサネット（商標）・スイッチ・モジュール、例えばＳＭ３（２１０ｃ）およびＳＭ４（２１０ｄ）が提供される。スイッチ・モジュールはそれぞれ、外部ネットワーク・インフラストラクチャに接続するためのいくつかの外部データ・ポート（図示せず）を含む。スイッチ・モジュール２１０はそれぞれ、全てのブレード１０４に結合されている。スイッチ・モジュール２１０の主な目的は、サーバ・ブレード（１０４ａ〜１０４ｎ）、管理モジュール（２０８ａ、２０８ｂ）および外部ネットワーク・インフラストラクチャ間にインターコネクティビティを提供することにある。外部インタフェースは、その応用に応じて、バンド幅および機能に対するさまざまな要件を満たすように構成することができる。
【００１６】
図３は、サーバ・ブレード・システムの管理サブシステム３００の回路図である。同種のコンポーネントは同種の識別符号を共用している。この図を参照すると、管理モジュール（２０８ａ、２０８ｂ）はそれぞれ、それぞれのスイッチ・モジュール（２１０ａ〜２１０ｄ）に対して個別のイーサネット（登録商標）・リンク３０２を有している。このリンクは、それぞれのスイッチ・モジュール（２１０）へ通じる制御および管理目的専用の安全な高速通信路を提供する。さらに、管理モジュール（２０８ａ、２０８ｂ）は、管理モジュール（２０８ａ、２０８ｂ）とスイッチ・モジュール（２１０ａ〜２１０ｄ）との間の「バンド外」通信を提供するよく知られた２本のシリアルＩ２Ｃバス（３０４）を介して、スイッチ・モジュール（２１０ａ〜２１０ｄ）に結合されている。Ｉ２Ｃシリアル・リンク３０４は、管理モジュール（２０８）が、スイッチ・モジュール（２１０）を内部的に制御し、システム状況およびベンダ・プロダクト・データ（「ＶＰＤ」）情報を収集する目的に使用される。管理モジュール（２０８ａ、２０８ｂ）はさらに、管理モジュール（２０８ａ、２０８ｂ）とサーバ・ブレード（１０４ａ〜１０４ｎ）との間の「バンド外」通信用の２本のシリアル・バス（３０８）を介してサーバ・ブレード（１０４ａ〜１０４ｎ）に結合されている。
【００１７】
図４は、サーバ・ブレード・システムの管理機能の機構図である。図３および４を参照すると、管理モジュール２０８は、それぞれのサーバ・ブレード１０４の中の専用サービス・プロセッサ４０６を介してそれぞれのブレード・サーバ１０４と通信する。このような通信は、バンド外シリアル・バス３０８上で実施され、１つの管理モジュール２０８がマスタの働きをし、サーバ・ブレードのサービス・プロセッサ４０６がスレーブの働きをする。図４に示すように、管理モジュール（２０８）はさらに、安全な専用管理サーバ４０４に接続するためのポート４０２を含む。この管理モジュール・ファームウェアは、直接アクセスまたはリモート・アクセス用のウェブ・ブラウザ・インタフェースをサポートする。管理モジュール２０８は、ブレード１０４またはモジュールの取外し、追加などの状況の変化を指示する警報を管理サーバ４０４に送ることができる。
【００１８】
それぞれのサーバ・ブレード１０４は一般に、ローカル・ブーティング、例えばシャシ１０２に搭載されたＣＤ−ＲＯＭまたはフロッピー（商標）・ディスク・ドライブ、あるいはブレード自体のハード・ディスク・ドライブからのブーティングをサポートする。リモート・ブーティング、すなわち外部ネットワークからのブーティングもサポートされている。リモート・ブートを実行するとき、ブレード１０４は、デフォルトのイーサネット（商標）・スイッチ・モジュール（ＥＳＭ）、例えばＳＭ３  ２１０ｃを選択し、リモート・ブート・シーケンスを開始する。それぞれのサーバ・ブレード１０４は互いに独立して動作するので、いくつかのブレードが同じデフォルトのＥＳＭ（２１０ｃ）を使用してほぼ同時にリモート・ブートを実行しようとする可能性がある。現在のところスイッチ・モジュール・トラフィックを制御する機構はないので、これによってこのＥＳＭにボトルネックが生じ、その結果、性能が低下する。
【００１９】
本発明はこの問題を解決する。次に図５を参照されたい。この図は、本発明の好ましい一実施形態に基づくサーバ・ブレード・システム５００の概略ブロック図である。分かりやすくするため、図５には、１つの管理モジュール５０２、３つのブレード５０４ａ〜５０４ｃ、および２つのＥＳＭ５０６ａ、５０６ｂだけしか示されていない。とはいえ、以下で説明する原理は、２つ以上の管理モジュール、４つ以上のブレード、および３つ以上のＥＳＭまたは他のタイプのスイッチ・モジュールに適用することができるを理解されたい。
【００２０】
ブレード５０４ａ〜５０４ｃはそれぞれ、全てのＥＳＭ５０６ａ、５０６ｂに自体を結合するいくつかの内部ポート５０５を含む。したがって、ブレード５０４ａ〜５０４ｃはそれぞれ、全てのＥＳＭ５０６ａ、５０６ｂにアクセスすることができる。本発明の好ましい実施形態では、それぞれのブレード５０４ａ〜５０４ｃに負荷平衡機構５１６が結合される。一実施形態では、負荷平衡機構５１６が管理モジュール５０２の中にあり、したがって、「バンド外」シリアル・バス５１０を利用して、それぞれのブレード５０４ａ〜５０４ｃと、そのブレードの専用サービス・プロセッサ５０８ａ〜５０８ｃを介して通信する。他の実施形態では、負荷平衡機構５１６を、サービス・プロセッサ５０８ａ〜５０８ｃに結合された独立型モジュールとすることもできる。負荷平衡機構５１６は、ＥＳＭ５０６ａ、５０６ｂの負荷情報を含むスイッチ割当てテーブル５１４を含む。
【００２１】
サーバ・ブレード５０４ａ〜５０４ｃはそれぞれ、関連サービス・プロセッサ５０８ａ〜５０８ｃがアクセスすることができる不揮発性記憶装置（ＮＶＳ）５１２ａ〜５１２ｃを含む。ＮＶＳ５１２ａ〜５１２ｃは、ハード・ファイル・パーティション上の記憶装置、不揮発性メモリ（ＣＭＯＳ）など、当技術分野で周知の任意の記憶媒体とすることができる。
【００２２】
本発明の好ましい一実施形態では、負荷平衡機構５１６が、ブレード５０４ａ〜５０４ｃとスイッチ・モジュール５０６ａ、５０６ｂとの間のトラフィック・フローを監督し、それぞれのスイッチ・モジュールが受け持つ負荷を制御する。負荷平衡機構５１６はこれを、リモート・ブート時に使用する複数のＥＳＭ５０６ａ、５０６ｂのうちの１つのＥＳＭをそれぞれのサーバ５０４ａ〜５０４ｃに割り当てることによって実施する。それぞれのブレード、例えば５０４ａに１つのＥＳＭ、例えば５０６ａを割り当てることによって、それぞれのブレードをデフォルトのまま同じＥＳＭに割り当てるのに比べて、ネットワーク・アクセスはより効率的かつ予測可能になる。
【００２３】
図６は、負荷平衡機構５１６がそれぞれのブレード５０４ａ〜５０４ｃをＥＳＭ５０６ａ、５０６ｂに割り当てる本発明の好ましい一実施形態に基づくプロセスの流れ図である。プロセス６００は、コンピュータ・システムの初期電源投入時シーケンスから、すなわち管理モジュール５０２に電源が投入されたときに始まる（ステップ６０２）。管理モジュール５０２は、全てのブレード５０８ａ〜５０８ｃを電源オフ状態に維持し（ステップ６０４）、後に、それぞれのブレード５０８ａ〜５０８ｃを以下のように処理した後に、それぞれのブレードに電源を投入する。
【００２４】
ステップ６０６で、負荷平衡機構５１６は、第１のブレード、例えば５０４ａの不揮発性記憶装置（ＮＶＳ）５１２ａをチェックして、既存のスイッチ割当てを持っているかどうかを判定する（ステップ６０８）。例えば以前に他のシャシに接続されており、その負荷平衡機構からスイッチ割当てを受け取った場合に、ブレード５０４ａは既存の割当てを持っている。ステップ６０８でスイッチ割当てが検出されなかった場合、負荷平衡機構５１６はステップ６１０で、スイッチ割当てテーブル５１４（図５）にアクセスする。好ましい一実施形態では、割当てテーブル５１４が、ブレードの数、およびそれぞれのＥＳＭ５０６ａ、５０６ｂにどのブレードが割り当てられているかについての情報を含む。
【００２５】
ステップ６１２で、負荷平衡機構５１６は、それぞれのＥＳＭ５０６ａ、５０６ｂに割り当てられたブレードの数を比較する。ＥＳＭ１  ５０６ａに割り当てられたブレードの数が、ＥＳＭ２  ５０６ｂに割り当てられたブレードの数よりも多い場合、負荷平衡機構５１６はステップ６１６で、ＥＳＭ２  ５０６ｂを第１のブレード５０４ａに割り当て、この割当てを第１のブレードのＮＶＳ５１２ａに記憶する。ＥＳＭ１  ５０６ａに割り当てられたブレードの数が、ＥＳＭ２  ５０６ｂに割り当てられたブレードの数に等しいか、または少ない場合には、負荷平衡機構５１６はステップ６１４で、ＥＳＭ１  ５０６ａを第１のブレード５０４ａに割り当て、この割当てを第１のブレードのＮＶＳ５１２ａに記憶する。この割当てプロセスは２つのＥＳＭ５０６ａ、５０６ｂの文脈で説明されるが、このプロセスを拡張して、３つ以上のＥＳＭに適用することもできる。
【００２６】
上で述べたとおり、ブレードのＮＶＳ５１２ａにスイッチ割当てが存在しない場合には、負荷平衡機構５１６によってスイッチ割当てが生成される（ステップ６１０〜６１６）。しかし、スイッチ割当てが存在する場合、負荷平衡機構５１６はステップ６０９で、その割当てが有効かどうか、すなわち、その割当てが別の負荷平衡機構によって生成されたものでないかどうかを判定しなければならない。好ましい一実施形態では、負荷平衡機構５１６がスイッチ割当てテーブル５１４にアクセスし、既存のスイッチ割当てがテーブル５１４内のどのエントリとも一致しない場合、この既存のスイッチ割当ては消去され、新しいスイッチ割当てが生成される（ステップ６１０〜６１６）。
【００２７】
好ましい他の実施形態では、記憶されたスイッチ割当てが特定の管理モジュール５０２に関連したものであることを指示するために、負荷平衡機構５１６が、スイッチ割当てとともに管理モジュールの識別子をＮＶＳ５１２ａに記憶する。この識別子は、管理モジュールのシリアル番号など、管理モジュール５０２を一意的に識別する任意の文字数字列とすることができる。したがって、次に管理モジュール５０２に電源が投入され、負荷平衡機構５１６が、ブレードのＮＶＳ５１２ａをチェックしてスイッチ割当てがあるかどうかを調べた（ステップ６０２〜６０６）ときに、この識別子が管理モジュール５０２の識別子と一致する場合、負荷平衡機構５１６はこのような割当てが有効であると結論し、管理モジュール５０２に対して、ブレード５０４ａに電源を投入し、ブーティングのためにブレード５０４ａを解放する（ステップ６２０）よう命令する。しかし、識別子が管理モジュール５０２の識別子と一致しない場合、例えば、管理モジュール５０２が取り外され、電源の投入と投入との間に再び差し込まれたものである場合、負荷平衡機構５１６は、既存のスイッチ割当ておよび識別子を消去し、ステップ６１０から６１６によって、ブレード５０４ａにＥＳＭ５０６ａ、５０６ｂを割り当てる。
【００２８】
スイッチ割当てを第１のブレード５０４ａに記憶した後、負荷平衡機構５１６はステップ６１８で、割当てテーブル５１４を更新して、最新の割当てを含むようにする。次に、管理モジュール５０２は、ステップ６２０で、ブレード５０４ａに電源を投入し、ブーティングのためにブレード５０４ａを解放する。別のブレードをさらに処理しなければならない（とステップ６２２で判定された）場合、負荷平衡機構５１６は次のブレード、例えば５０４ｂへ進み、ステップ６２４で、そのＮＶＳをチェックしてスイッチ割当てがあるかどうかを調べる。全てのブレード５０４ａ〜５０４ｃを処理し、それらに電源を投入するまで、ステップ６０８から６２２までのプロセスを繰り返す。最終的には、それぞれのブレード５０４ａ〜５０４ｃが、そのそれぞれのＮＶＳ５１２ａ〜５１２ｃに記憶されたスイッチ割当てを有し、それぞれのブレードに電源が投入され、それぞれのブレードがブーティングのために解放される。
【００２９】
好ましい一実施形態では、全てのブレードに対して高度かつ効率的なブート手順を達成するため、管理モジュール５０２は、スイッチＩＤまたはエヌメレーション（enumeration）、例えばアドバンスト・コンフィギュレーション・アンド・パワー・インタフェース（AdvancedConfiguration and Power Interface：ＡＣＰＩ）エヌメレーションを、それぞれのブレード５０４ａ〜５０４ｃに割り当てる。この高度なネットワーク・アクセス・スキームをそれぞれのブレード５０４ａ〜５０４ｃに対して制御するため、管理モジュール５０２はこのエヌメレーションを、それぞれのブレード５０４ａ〜５０４ｃのＮＶＳ５１２ａ〜５１２ｃに書き込み、これによってそれぞれのブレード５０４ａ〜５０４ｃ上に永続的なブート制御コード・インジケータを保持する。個々のブレード、例えば５０４ａがブートするとき、ブレード５０４ａはそのＮＶＳ５１２ａのブート制御コード・インジケータにアクセスし、そのリモート・ブートを割り当てられたＥＳＭから自立的に実行する。
【００３０】
図７は、本発明の好ましい一実施形態に基づくブレード・ブート・プロセス７００を示す流れ図である。このプロセスは、サーバ・ブレード、例えば５０４ａにステップ７０２で電源が投入され、またはこれがリセットされたときに開始される。ステップ７０４で、ブレード５０４ａは一般的なＰＯＳＴ操作を実行する。このＰＯＳＴシーケンス中にブレード５０４ａは、ステップ７０６で、リモート・ブートを実行するのかどうかを判定する。リモート・ブートを実行しない場合、ブレード５０４ａはステップ７０８で、ブート・リスト中のローカル装置、例えばＣＤ−ＲＯＭ、ＦＤＤまたはハード・ディスクからブートする。
【００３１】
リモート・ブートを実行する場合、ブレード５０４ａはブート制御コードを呼び出し、ステップ７１０で、そのＮＶＳ５１２ａをチェックして、スイッチ割当てがあるかどうかを調べる。割当てが存在する（とステップ７１２で判定された）場合、ブレード５０４ａはステップ７１８で、割り当てられたスイッチを経由してリモート・ブートする。反対に、例えばブレード５０４ａがシステムの電源オンまたはリセット間に挿入されたために、割当てが存在しない場合、ブレード５０４ａはステップ７１４で、負荷平衡機構５１６にスイッチ割当てを要求し、割当てを受け取る。負荷平衡機構５１６がスイッチ割当てを生成するプロセスは、図６のステップ６１０〜６１６に記載したとおりである。
【００３２】
ステップ７１４でブレード５０４ａがスイッチ割当てを受け取った後、ステップ７１６で、このスイッチ割当ておよびその管理モジュールの識別子が、ブレード５０４ａのローカルＮＶＳ５１２ａに記憶される。次に、ブレード５０４ａはステップ７１８で、その割り当てられたスイッチを経由してブートし、ステップ７２０でこのブート・プロセスは完了となる。
【００３３】
上記図６および７は、負荷平衡機構５１６がスイッチ割当てを生成する２つの状況を記述したものである。１つは、管理モジュール５０２に電源が投入され、またはリセットされたときであり、２つめは、ブレード５０４ａがこのような割当てを直接に要求するときである。本発明の好ましい一実施形態によれば、少なくとも２つの追加のシナリオで、負荷平衡機構５１６にスイッチ割当てを生成させることができる。第１のシナリオは、シャシへの新しいブレード、例えば５０４ｃの挿入を含む。管理モジュール５０２は挿入事象を自動的に検出するので、管理モジュール５０２は、負荷平衡機構５１６が新しいブレードのＮＶＳ５１２ｃ中にスイッチ割当てがあるかどうかをチェックし、必要ならば割当てを生成する（図６のプロセス・ステップ６０６〜６２０）まで、この新しいブレード５０４ｃをオフ状態に維持する。
【００３４】
第２のシナリオは、シャシからのブレードの取外し、例えば５０４ｂの取外しを含む。この状況では、ブレード５０４ａの取外しが、ＥＳＭ５０６ａ、５０６ｂに対する負荷割当ての不均衡を引き起こす可能性がある。本発明の好ましい実施形態によれば、負荷平衡機構５１６は、負荷を調整しなければならないかどうかを判定し、自律的に負荷を調整する。
【００３５】
このプロセスをさらに説明するため、次に図８を参照する。この図は、複数のＥＳＭ間で負荷平衡を動的に調整する、本発明の好ましい実施形態に基づく流れ図である。プロセス８００は、ステップ８０１で、ブレードが取り外されたことを管理モジュール５０２が検出したときに開始される。ステップ８０２で、負荷平衡機構５１６は、そのスイッチ割当てテーブル５１４にアクセスし、取り外されたブレードがどのＥＳＭ５０６ａ、５０６ｂに割り当てられていたかを決定する。次いで、負荷平衡機構５１６は、ＥＳＭ２  ５０６ｂに対する残りのエントリの数を、ＥＳＭ１  ５０６ａに対する残りのエントリの数と比較する。それぞれのエントリは、ＥＳＭ５０６ａ、５０６ｂに割り当てられたブレードを表す。
【００３６】
ＥＳＭ１とＥＳＭ２に対する残りのエントリの数が等しい（とステップ８０４で判定された）場合、負荷は平衡しており、負荷調整は必要ない（ステップ８０５）。一方のＥＳＭ、例えば５０６ａに対する残りのエントリの数と、もう一方のＥＳＭ、例えば５０６ｂに対する残りのエントリの数の差が１の場合、負荷調整は実行されない（ステップ８０５）。それ以外の場合には、負荷平衡機構５１６は、ＥＳＭ５０６ａ、５０６ｂ間の負荷を動的に調整する。
【００３７】
ブレード５０４ｃを表すエントリを含めてＥＳＭ１  ５０６ａが残りのエントリを６つ有し、ＥＳＭ２  ５０６ｂが残りのエントリを４つ有するとする。本発明の好ましい実施形態によれば、負荷平衡機構５１６は、エントリの数が多いほうのＥＳＭ、例えばＥＳＭ１  ５０６ａに割り当てられた１つのブレード、例えば５０４ｃを選択し（ステップ８０８）、ステップ８１０で、選択されたブレード５０４ｃを、エントリの数が少ないほうのＥＳＭ、例えばＥＳＭ２  ５０６ｂに割り当てなおし、これに合わせてスイッチ割当てテーブル５１４を更新する。最後に、ステップ８１２で、新しいスイッチ割当てを、選択されたブレードのＮＶＳ５１２ｃに記憶する。
【００３８】
本発明の諸態様を通じて、負荷平衡機構５１６は、リモート・ブート・プロセス時の負荷を複数のＥＳＭ５０６ａ、５０６ｂ間で均一に分散させる。これによってリモート・ブーティングはより効率的となり、複数のブレード５０４ａ〜５０４ｃが同時にブートしているときのブート時間が最小化される。２つのＥＳＭ５０６ａ、５０６ｂしかない環境で本発明の好ましい実施形態を説明してきたが、２つのＥＳＭ５０６ａ、５０６ｂよりも多くのＥＳＭを有する環境でも同じ原理およびプロセスを適用できることを当業者は直ちに理解しよう。
【００３９】
BladeCenter環境の文脈で本発明の好ましい実施形態を説明してきたが、負荷平衡機構５１６の機能は、複数のサーバが接近して結合された任意のコンピュータ環境に実装することができる。したがって、示した実施形態に従って本発明を説明してきたが、これらの実施形態に変形形態が存在し、これらの変形形態は本発明の趣旨および範囲に含まれることを当業者は容易に認識しよう。したがって、当業者なら、添付の請求項の趣旨および範囲から逸脱することなく多くの変更を加えることができる。
【図面の簡単な説明】
【００４０】
【図１】BladeCenterの前部を示す透視図である。
【図２】BladeCenterの後部の透視図である。
【図３】このサーバ・ブレード・システムの管理サブシステムの回路図である。
【図４】このサーバ・ブレード・システムの管理機能の機構図である。
【図５】本発明の好ましい一実施形態に基づくサーバ・ブレード・システム５００の概略ブロック図である。
【図６】管理モジュールがそれぞれのブレードをＥＳＭに割り当てる本発明の好ましい一実施形態に基づくプロセスの流れ図である。
【図７】本発明の好ましい一実施形態に基づくブレード・ブート・プロセスを示す流れ図である。
【図８】複数のＥＳＭ間の負荷平衡を動的に調整する、本発明の好ましい実施形態に基づく流れ図である。
【符号の説明】
【００４１】
１００  BladeCenterシステム
１０２  主シャシ
１０４  サーバ・ブレード
１０６  ミッドプレーン回路板
１０８  ミッドプレーン回路板のコネクタ
１０８’  ミッドプレーン回路板のコネクタ
２０２  第２のシャシ
２０４  送風モジュール
２０６  電源モジュール
２０８  管理モジュール
２１０  スイッチ・モジュール
３００  サーバ・ブレード・システムの管理サブシステム
３０２  イーサネット（商標）・リンク
３０４  シリアルＩ２Ｃバス
３０８  シリアル・バス
４０２  ポート
４０４  管理サーバ
４０６  サービス・プロセッサ
５００  サーバ・ブレード・システム
５０２  管理モジュール
５０４  ブレード
５０５  内部ポート
５０６  イーサネット（商標）・スイッチ・モジュール（ＥＳＭ）
５０８  サービス・プロセッサ
５１０  シリアル・バス
５１２  不揮発性記憶装置（ＮＶＳ）
５１４  スイッチ割当てテーブル
５１６  負荷平衡機構
【図１】
2005018753.tif 000003
【図２】
2005018753.tif 000004
【図３】
2005018753.tif 000005
【図４】
2005018753.tif 000006
【図５】
2005018753.tif 000007
【図６】
2005018753.tif 000008
【図７】
2005018753.tif 000009
【図８】
2005018753.tif 000010