(57)【要約】【課題】転送速度設定方法、データ転送装置及び情報処理システムにおいて、ブロードキャスト転送速度を向上可能にすることを目的とする。【解決手段】プロセッサを有する情報処理装置が複数個１又は複数個のデータ転送装置を介して接続された情報処理システムにおける転送速度設定方法において、前記情報処理システムを複数の独立したシステムに分割して運用するパーティションに応じて、前記パーティションに含まれる各データ転送装置内でブロードキャスト転送速度を設定するようにする。【選択図】図３
2011013919.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサを有する情報処理装置が１又は複数個のデータ転送装置を介して接続された情報処理システムにおける転送速度設定方法であって、
前記情報処理システムを複数の独立したシステムに分割して運用するパーティションに応じて、前記パーティションに含まれる各データ転送装置内でブロードキャスト転送速度を設定する、転送速度設定方法。
【請求項２】
前記複数個の情報処理装置及び前記１又は複数個のデータ転送装置は、複数個の筐体内に設けられており、
前記パーティションが１個の筐体内で閉じているか、或いは、２個以上の筐体間に跨っているかに応じて、前記パーティションに含まれる各データ転送装置内でブロードキャスト転送速度を設定する、請求項１記載の転送速度設定方法。
【請求項３】
情報処理システムが有する複数のノードを接続するデータ転送装置であって、
前記情報処理システムを複数の独立したシステムに分割して運用する前記データ転送装置が含まれるパーティションに応じてブロードキャスト転送速度を設定する設定手段を備えた、データ転送装置。
【請求項４】
前記データ転送装置は、複数のノードと共に１個の筐体内に設けられており、
前記設定手段は、前記パーティションが前記１個の筐体内で閉じているか、或いは、２個以上の筐体間に跨っているかに応じて前記ブロードキャスト転送速度を設定する、請求項３記載のデータ転送装置。
【請求項５】
前記設定手段は、前記情報処理システムのパワーオン前のパワーオフ状態で前記ブロードキャスト転送速度の設定を行う、請求項３又は４記載のデータ転送装置。
【請求項６】
前記設定手段は、前記情報処理システムのパワーオン時に、前記情報処理システムのオペレ−ティングシステムを停止することなくハ−ドウェアリソ−スを前記情報処理システムに追加又は削除する動的再構成のタイミングで前記ブロードキャスト転送速度の設定を行う、請求項３記載のデータ転送装置。
【請求項７】
前記設定手段は、前記情報処理システムのサスペンド状態で行う、請求項６記載のデータ転送装置。
【請求項８】
前記設定手段は、設定する前記ブロードキャスト転送速度を示す設定情報を出力し、
前記データ転送装置は、前記設定情報に基づいて各ノードからのコマンドの遅延時間を調整する時間差調整手段を更に備えた、請求項３乃至７のいずれか１項記載のデータ転送装置。
【請求項９】
前記時間差調整手段はセレクタ及びバッファを有し、
前記セレクタは前記設定情報に基づいて、各ノードからのコマンドを前記バッファを介して出力するか、或いは、前記バッファをバイパスして出力する、請求項８記載のデータ転送装置。
【請求項１０】
請求項３乃至９のいずれか１項記載のデータ転送装置と、
プロセッサを有する複数個の情報処理装置とを備え、
前記複数個の情報処理装置は、前記データ転送装置に接続され前記ノードとして機能する、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、転送速度設定方法、データ転送装置及び情報処理システムに関する。
【背景技術】
【０００２】
複数の演算処理装置としてのＣＰＵ（Central Processing Unit）がメモリ空間を共有する情報処理システムとしてのマルチプロセッサシステムでは、キャッシュコンシステンシ（Cache Consistency：キャッシュメモリが保持する内容の一貫性）を保つ必要がある。つまり、各瞬間にメモリ空間の各領域が保持する内容が、どのＣＰＵから見ても同一である必要がある。各ＣＰＵがメモリ内容を必要に応じてキャッシュして保持しているので、キャッシュコンシステンシを保証するために各ＣＰＵ間でデ−タ転送を行う際のコマンドパケットによる要求は、全てのＣＰＵに対してブロ−ドキャスト転送を行う。このようにブロ−ドキャスト転送されたパケットの到着順を保証するためには、転送先である全タ−ゲットノードにパケットが同時に到着する必要がある。又、ＣＰＵ間のデ−タ転送を中継する機能を有するデータ転送装置としてのクロスバ装置に対しては、効率の高いデ−タ転送を行う要望がある。
【０００３】
図１は、一般的なマルチプロセッサシステムの構成の一例を示すブロック図である。この例では、マルチプロセッサシステムは、複数のシステムボード（ＳＢ：System Board）１−００〜１−１５（ＳＢ００〜ＳＢ１５）と、システムボード１−００〜１−１５間のデータ転送を中継する複数のクロスバ（ＸＢ：Crossbar）装置２−００，２−１０，２−２０，２−３０（ＸＢ００，ＸＢ１０，ＸＢ２０，ＸＢ３０）を有するサーバシステムを形成する。各システムボード１−００〜１−１５は、ＣＰＵ、メモリ及びシステムコントロ−ラ（ＳＣ：System Controller）を有するが、このような構成自体は周知であるため図１における図示は省略する。
【０００４】
この例では、システムボード１−００〜１−０７及びクロスバ装置２−００，２−１０は同じ筐体３−０内に搭載されている。又、システムボード１−０８〜１−１５及びクロスバ装置２−２０，２−３０は同じ筐体３−１内に搭載されている。筐体３−０内のクロスバ装置２−００，２−１０は、筐体３−１内のクロスバ装置２−２０，２−３０とケーブル等の接続部４により接続されている。
【０００５】
図２は、従来のクロスバ装置の構成の一例を示すブロック図である。図２では説明の便宜上、クロスバ装置２−００の構成のみを示すが、図１のクロスバ装置２−１０，２−２０，２−３０の構成もクロスバ装置２−００と同様で良い。クロスバ装置２−００は、図２に示す如く接続されたバッファ部２１、出力パケット選択部２２，２７、時間差調整部２３，２５、及び同期分配部２６を有する。
【０００６】
バッファ部２１は、クロスバ装置２−００が接続されているシステムボード１−００〜１−０３に対応させて４個設けられており、システムボード１−００〜１−０３からのブロードキャスト（ＢＣ：BroadCast）コマンドを保持する。
【０００７】
出力パケット選択部２２は、バッファ部２１に保持されたＢＣコマンドを、運用管理部１１、即ち、ファームウェアからのパーティション構成判定情報に基づいて転送が必要であると特定された同じ筐体３−０内のクロスバ装置２−１０、及び／又は、異なる筐体３−１内のクロスバ装置２−２０，２−３０へ転送する。運用管理部１１（即ち、ファ−ムウェア）は、サーバシステムを形成している装置に関する情報に基づいてパーティション構成を判定してパーティション構成判定情報を出力すると共に、パーティション構成判定情報に応じたレジスタ設定情報を出力する。クロスバ装置２−００は、この例では１６個のシステムボード１−００〜１−１５に対するパーティション構成、即ち、パーティションを識別する。パーティションＩＤに対するパーティション構成判定情報を運用管理部１１から設定されて出力パケット選択部２２内に保持しており、クロスバ装置２−００が接続されているシステムボード１−００〜１−０３とパーティションＩＤが等しいシステムボードに接続されているクロスバ装置に対してＢＣコマンドを転送する。後述するように、クロスバ装置２−００は、ＢＣコマンド送信元ＳＢのパーティション情報を判定し、パーティションＰ２を示す場合はクロスバ装置２−１０に対してＢＣコマンドを転送し、パーティションＰ３の場合はクロスバ装置２−１０，２−２０，２−３０に対してＢＣコマンドを転送する。
【０００８】
時間差調整部２３は、セレクタ２３０及びバッファ２３１を有し、バッファ部２１に保持されたＢＣコマンド及び運用管理部１１、即ち、ファームウェアからのレジスタ設定情報が入力される。時間差調整部２３は、システムボード１−００〜１−０３に対応させて４個設けられている。時間差調整部２３は、バッファ部２１からのＢＣコマンドを受け取り、ＢＣコマンドを全てのターゲットノード、即ち、ターゲットシステムボードに同時に到着させるため、運用管理部１１からのレジスタ設定情報に応じてセレクタ２３０を切り替えて予め設定された遅延時間だけ遅らせてからＢＣコマンドを後述する同期分配部２６へ出力する。単一筐体内でクロスバ装置間の接続が無い場合には、時間差調整部２３のバッファ２３１は運用管理部１１からのレジスタ設定情報に応じてセレクタ２３０を切り替えることでバイパスされる。又、クロスバ装置２−００とクロスバ装置２−１０との間の転送に合わせる場合は遅延時間が１τに設定され、クロスバ装置２−００とクロスバ装置２−２０又はクロスバ装置２−３０との間の転送に合わせる場合は遅延時間が２τに設定される。時間差調整部２３のバッファ２３１がリングバッファで形成されている場合、前者の場合にはリングバッファのポインタを１τ毎にインクリメントし、後者の場合はリングバッファのポインタを２τ毎にインクリメントする。
【０００９】
バッファ部２１、出力パケット選択部２２及び時間差調整部２３は、ＬＢＣ（Local BroadCast）制御部２８を形成する。
【００１０】
ＧＢＣ（Global BroadCast）制御部２９は、ＬＢＣ制御部２８及びクロスバ装置２−１０，２−２０，２−３０から受け取ったＢＣコマンドをタ−ゲットシステムボ−ドに出力する。ＧＢＣ制御部２９は、時間差調整部２５、同期分配部２６及び出力パケット選択部２７で形成される。
【００１１】
時間差調整部２５は、セレクタ２５０、バッファ２５１を有し、クロスバ装置２−１０，２−２０，２−３０から到来したＢＣコマンド及び運用管理部１１、即ち、ファームウェアからのレジスタ設定情報が入力される。時間差調整部２５は、ＢＣコマンドを全タ−ゲットシステムボ−ドに同時に到着させるために、クロスバ装置２−１０からのＢＣコマンドはレジスタ設定情報に応じてセレクタ２５０を切り替えることでバッファ２５１を経由させて同期分配部２６へ出力し、クロスバ装置２−２０，２−３０からのＢＣコマンドは同期分配部２６へ出力することで、異なる転送速度のパスを経由したＢＣコマンドの転送時間を合わせる。又、図１においてクロスバ装置間の接続が無いモデルＭ１の場合及びクロスバ装置２−２０，２−３０が無いモデルＭ２の場合には、時間差調整部２５のバッファ２５１は運用管理部１１からのレジスタ設定情報に応じてセレクタ２５０を切り替えることでバイパスされる。図１において、モデルＭ３の場合はクロスバ装置２−１０，２−２０，２−３０，２−４０間の接続が有る。
【００１２】
同期分配部２６は、各クロスバ装置２−００，２−１０，２−２０，２−３０のＬＢＣ部２８から送られてくるＢＣコマンドを受信し、パ−ティション範囲内で同期させて各ターゲットシステムボードに分配する。同期分配部２６は、ＢＣコマンドを同期させて各システムボード１−００〜１−０３に分配するために、システムボード１−００〜１−０３に対応させて４個設けられている。
【００１３】
同期分配部２６が出力するＢＣコマンドは、出力パケット選択部２７により選択されて対応するシステムボード１−００〜１−０３に入力される。出力パケット選択部２７は、対応するシステムボード１−００〜１−０３に対応させて４個設けられている。
【００１４】
尚、クロスバ装置が処理するコマンドはＢＣコマンドのみではない。ピアツーピア（ＰＰ：Peer-to-Peer）のパケットも同じクロスバ装置を通過させて良い。出力パケット選択部２７はＢＣコマンドパケットとこれらピアツーピア等の他の種類のパケットから、出力するパケットを選択する機能を持つ。
【００１５】
図１及び図２において、クロスバ装置２−００，２−１０間、及びクロスバ装置２−２０，２−３０間は、同一筺体内で接続されている（即ち、筐体内接続である）。一方、クロスバ装置２−００，２−２０間、クロスバ装置２−００，２−３０間、クロスバ装置２−１０，２−２０間、及びクロスバ装置２−１０，２−３０間は、異なる筐体３−０，３−１間の接続部４を介した接続（即ち、筐体間接続）であるため、接続に用いるバスの転送速度は筐体内接続に比べて遅い。つまり、例えば図１に示すクロスバ装置２−００が有する３つのインタフェースｘｂ１，ｘｂ２，ｘｂ３のうち、インタフェースｘｂ１は速い転送速度に設定可能であるが、インタフェースｘｂ２，ｘｂ３は遅い転送速度にしか設定できない。又、同一筐体内に筐体内接続がある場合の転送速度は、筐体内接続が無い場合と比べて遅い。
【００１６】
このように、図１に示す如きサ−バシステムにおいて、一般的には筐体内接続に比べて筐体間接続の伝送性能は低い。この例では、筐体間接続に用いるバスの転送速度は、筐体内接続の半分の速度に設定されている。このため、ＢＣコマンドを転送先である全タ−ゲットノードに同時に到着させるためには、ブロードキャスト転送速度は筐体内接続においても筐体間接続の場合と同じ遅い転送速度に設定する必要がある。
【００１７】
しかし、複数のパ−ティションを筐体内に閉じるように設定した場合、筐体間は接続されているものの、実際には筐体間のデ−タ転送が行われないパ−ティション構成もあり得る。１つの本体装置を複数の独立したシステムに分割して運用する機能（パ−ティショニング機能）により、本体装置内のリソ−スを業務負荷や処理量等に応じて任意に割り当てることができ、この分割した個々のシステムのことをパーティションと言う。例えば、図１に二点鎖線、破線及び一点鎖線で示すパーティションＰ１，Ｐ２，Ｐ３のようなパ−ティション構成のうち、パーティションＰ１，Ｐ２の場合は筐体間のＢＣコマンド転送が行われない。しかし、従来は、パーティションＰ１，Ｐ２，Ｐ３のようなパーティション構成にかかわらず、全てのクロスバ装置間のインタフェ−スに対して遅い転送速度が設定されている。このように、単体の筐体内の転送の場合と比較すると、複数の筐体を接続したパ−ティション構成もあり得る場合には、筐体間接続を想定して転送速度が設定されるため、ブロ−ドキャスト転送速度が筐体内の転送の場合の半分に低下してしまう。
【００１８】
サーバシステムの稼動中にブロードキャスト転送速度の設定変更を行うには、サーバシステムの各装置内の処理中のパケットを一度クリアして、何も処理が行われていない状態、即ち、サスペンド状態にしてからブロードキャスト転送速度の設定を変更する必要があり、制御が複雑になる。このため、従来は筐体間の転送時のブロードキャスト転送速度が固定的に設定されていた。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２０００−２５９５４２号公報
【特許文献２】特開平６−３１４２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
従来のサーバシステムでは、ブロードキャスト転送速度が筐体間の転送速度、即ち、サーバシステム内で最も遅い転送速度に固定的に設定されているため、ブロードキャスト転送速度を向上することが難しいという問題があった。
【００２１】
そこで、本発明は、ブロードキャスト転送速度を向上可能な転送速度設定方法、データ転送装置及び情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
本発明の一観点によれば、プロセッサを有する情報処理装置が１又は複数個のデータ転送装置を介して接続された情報処理システムにおける転送速度設定方法であって、前記情報処理システムを複数の独立したシステムに分割して運用するパーティションに応じて、前記パーティションに含まれる各データ転送装置内でブロードキャスト転送速度を設定する転送速度設定方法が提供される。
【００２３】
本発明の一観点によれば、情報処理システムが有する複数のノードを接続するデータ転送装置であって、前記情報処理システムを複数の独立したシステムに分割して運用する前記データ転送装置が含まれるパーティションに応じてブロードキャスト転送速度を設定する設定手段を備えたデータ転送装置が提供される。
【００２４】
本発明の一観点によれば、上記のデータ転送装置と、プロセッサを有する複数個の情報処理装置とを備え、前記複数個の情報処理装置は、前記データ転送装置に接続され前記ノードとして機能する情報処理システムが提供される。
【発明の効果】
【００２５】
開示の転送速度設定方法、データ転送装置及び情報処理システムによれば、ブロードキャスト転送速度を向上することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】一般的なマルチプロセッサシステムの構成の一例を示すブロック図である。
【図２】従来のクロスバ装置の構成の一例を示すブロック図である。
【図３】本発明の一実施例におけるマルチプロセッサシステムの構成の一例を示すブロック図である。
【図４】クロスバ装置の構成の一例を示すブロック図である。
【図５】出力パケット選択部の構成の一例を示すブロック図である。
【図６】静的設定変更処理を説明するフローチャートである。
【図７】パーティション構成制御レジスタに設定されるパーティション構成情報を説明する図である。
【図８】動的設定変更処理を説明するフローチャートである。
【図９】一実施例における各パ−ティション構成に応じたクロスバ装置の設定を説明する図である。
【図１０】構成制御レジスタの設定内容を説明する図である。
【図１１】本発明の他の実施例における筐体の構造を示すブロック図である。
【発明を実施するための形態】
【００２７】
開示の転送速度設定方法、データ転送装置及び情報処理システムでは、パーティション構成に基づいてブロードキャスト転送速度を設定する。このため、パーティション内に筐体間接続が無い場合には、パーティション内に筐体間接続がある場合と比べてブロードキャスト転送速度を速く設定することができ、ブロードキャスト転送速度を向上可能となる。
【００２８】
以下に、開示の転送速度設定方法、データ転送装置及び情報処理システムの各実施例を図面と共に説明する。
【実施例】
【００２９】
図３は、本発明の一実施例における情報処理システムとしてのマルチプロセッサシステムの構成の一例を示すブロック図である。図３中、図１と同一部分には同一符号を付し、その詳細な説明は省略する。
【００３０】
図３に示すように、マルチプロセッサシステムは、複数のシステムボード（ＳＢ：System Board）１−００〜１−１５（ＳＢ００〜ＳＢ１５）と、システムボード１−００〜１−１５間のデータ転送を中継するデータ転送装置としての複数のクロスバ（ＸＢ：Crossbar）装置３２−００，３２−１０，３２−２０，３２−３０（ＸＢ００，ＸＢ１０，ＸＢ２０，ＸＢ３０）を有するサーバシステムを形成する。各システムボード１−００〜１−１５は、ＣＰＵ、メモリ及びシステムコントロ−ラ（ＳＣ：System Controller）を有する情報処理装置であるが、このような構成自体は周知であるため図３における図示は省略する。
【００３１】
この例では、システムボード１−００〜１−０７及びクロスバ装置３２−００，３２−１０は同じ筐体３３−０内に搭載されている。又、システムボード１−０８〜１−１５及びクロスバ装置３２−２０，３２−３０は同じ筐体３３−１内に搭載されている。筐体３３−０内のクロスバ装置３２−００，３２−１０は、筐体３３−１内のクロスバ装置３２−２０，３２−３０とケーブル等の接続部４により接続されている。
【００３２】
尚、説明の便宜上、筐体が２個の場合を例にとって説明するが、筐体の数は２個以上であれば良いことは言うまでもない。
【００３３】
図４は、クロスバ装置の構成の一例を示すブロック図である。図４中、図２と同一部分には同一符号を付し、その詳細な説明は省略する。図４では説明の便宜上、クロスバ装置３２−００の構成のみを示すが、図３のクロスバ装置３２−１０，３２−２０，３２−３０の構成もクロスバ装置３２−００と同様で良い。クロスバ装置３２−００は、図４に示す如く接続されたバッファ部２１、出力パケット選択部４２，２７、時間差調整部２３，２５、及び同期分配部２６を有する。
【００３４】
バッファ部２１は、クロスバ装置３２−００が接続されているシステムボード１−００〜１−０３に対応させて４個設けられており、システムボード１−００〜１−０３からのブロードキャスト（ＢＣ：BroadCast）コマンドを保持する。
【００３５】
出力パケット選択部４２は、バッファ部２１に保持されたＢＣコマンドを、運用管理部４１、即ち、ファームウェアからのパーティション構成情報に基づいて転送が必要であると特定された同じ筐体３３−０内のクロスバ装置３２−１０、及び／又は、異なる筐体３３−１内のクロスバ装置３２−２０，３２−３０へ転送する。運用管理部４１は、周知のプロセッサにより形成可能である。クロスバ装置３２−００は、この例では１６個のシステムボード１−００〜１−１５に対するパーティション構成、即ち、パーティションを識別するパーティションＩＤを出力パケット選択部４２内に保持しており、クロスバ装置３２−００が接続されているシステムボード１−００〜１−０３とパーティションＩＤが等しいシステムボードに接続されているクロスバ装置に対してＢＣコマンドを転送する。後述するように、クロスバ装置３２−００は、パーティション構成情報がパーティションＰ２を示す場合はクロスバ装置３２−１０に対してＢＣコマンドを転送し、パーティションＰ３の場合はクロスバ装置３２−１０，３２−２０，３２−３０に対してＢＣコマンドを転送する。
【００３６】
更に、出力パケット選択部４２は、運用管理部４１からのパーティション構成情報に基づいて、時間差調整部２３，２５のレジスタ設定を行うレジスタ設定情報を生成出力する。出力パケット選択部４２の動作の詳細については後述するが、出力パケット選択部４２は、パーティション構成を識別するパーティション構成情報に基づいてブロードキャスト転送速度を設定する設定手段として機能する。
【００３７】
時間差調整部２３は、セレクタ２３０及びバッファ２３１を有し、バッファ部２１に保持されたＢＣコマンド及び出力パケット選択部４２からのレジスタ設定情報が入力される。時間差調整部２３は、システムボード１−００〜１−０３に対応させて４個設けられている。時間差調整部２３は、バッファ部２１からのＢＣコマンドを受け取り、ＢＣコマンドを全てのターゲットノード、即ち、ターゲットシステムボードに同時に到着させるため、出力パケット選択部４２からのレジスタ設定情報に応じてセレクタ２３０を切り替えることで予め設定された遅延時間だけ遅らせてからＢＣコマンドを後述する同期分配部２６へ出力する。図３においてクロスバ装置間の接続が無いモデルＭ１の場合及びクロスバ装置３２−２０，３２−３０が無いモデルＭ２の場合には、時間差調整部２３のバッファ２３１は出力パケット選択部４２からのレジスタ設定情報に応じてセレクタ２３０を切り替えることでバイパスされる。図３において、モデルＭ３の場合はクロスバ装置３２−１０，３２−２０，３２−３０，３２−４０間の接続が有る。又、クロスバ装置３２−００とクロスバ装置３２−１０との間の転送に合わせる場合は遅延時間が１τに設定され、クロスバ装置３２−００とクロスバ装置３２−２０又はクロスバ装置３２−３０との間の転送に合わせる場合は遅延時間が２τに設定される。時間差調整部２３のバッファ２３１がリングバッファで形成されている場合、前者の場合にはリングバッファのポインタを１τ毎にインクリメントし、後者の場合はリングバッファのポインタを２τ毎にインクリメントする。
【００３８】
バッファ部２１、出力パケット選択部４２及び時間差調整部２３は、ＬＢＣ（Local BroadCast）制御部４８を形成する。
【００３９】
ＧＢＣ（Global BroadCast）制御部２９は、ＬＢＣ制御部２８及びクロスバ装置３２−１０，３２−２０，３２−３０から受け取ったＢＣコマンドをタ−ゲットシステムボ−ドに出力する。ＧＢＣ制御部２９は、時間差調整部２５、同期分配部２６及び出力パケット選択部２７で形成される。
【００４０】
時間差調整部２５は、バッファ２５１を有し、クロスバ装置３２−１０〜３２−３０から到来したＢＣコマンド及び出力パケット選択部４２からのレジスタ設定情報が入力される。時間差調整部２５は、ＢＣコマンドを全タ−ゲットシステムボ−ドに同時に到着させるために、クロスバ装置３２−１０からのＢＣコマンドはレジスタ設定情報に応じてセレクタ２５０を切り替えることでバッファ２５１を経由させて同期分配部２６へ出力し、クロスバ装置３２−２０，３２−３０からのＢＣコマンドは同期分配部２６へ出力することで、異なる転送速度のパスを経由したＢＣコマンドの転送時間を合わせる。又、クロスバ装置間の接続が無い場合には、時間差調整部２５のバッファ２５１は出力パケット選択部４２からのレジスタ設定情報に応じてセレクタ２５０を切り替えることでバイパスされる。時間差調整部２５は、時間差調整部２３と共に、レジスタ設定情報に基づいて各システムボード（即ち、ノード）からのコマンドの遅延時間を調整する時間差調整手段として機能する。
【００４１】
同期分配部２６は、各クロスバ装置３２−００，３２−１０，３２−２０，３２−３０のＬＢＣ部２８から送られてくるＢＣコマンドを受信し、パ−ティション範囲内で同期させて各ターゲットシステムボードに分配する。同期分配部２６は、ＢＣコマンドを同期させて各システムボード１−００〜１−０３に分配するために、システムボード１−００〜１−０３に対応させて４個設けられている。
【００４２】
同期分配部２６が出力するＢＣコマンドは、出力パケット選択部２７により選択されて対応するシステムボード１−００〜１−０３に入力される。出力パケット選択部２７は、対応するシステムボード１−００〜１−０３に対応させて４個設けられている。
【００４３】
尚、クロスバ装置が処理するコマンドはＢＣコマンドのみではない。ピアツーピア（ＰＰ：Peer-to-Peer）のパケットも同じクロスバ装置を通過させて良い。出力パケット選択部２７はＢＣコマンドパケットとこれらピアツーピア等の他の種類のパケットから、出力するパケットを選択する機能を持つ。
【００４４】
図３及び図４において、クロスバ装置３２−００，３２−１０間、及びクロスバ装置３２−２０，３２−３０間は、同一筺体内で接続されている（即ち、筐体内接続である）。一方、クロスバ装置３２−００，３２−２０間、クロスバ装置３２−００，３２−３０間、クロスバ装置３２−１０，３２−２０間、及びクロスバ装置３２−１０，３２−３０間は、異なる筐体３３−０，３３−１間の接続部４を介した接続（即ち、筐体間接続）であるため、接続に用いるバスの転送速度は筐体内接続に比べて遅い。つまり、例えば図３に示すクロスバ装置３２−００が有する３つのインタフェースｘｂ１，ｘｂ２，ｘｂ３のうち、インタフェースｘｂ１は速い転送速度に設定可能であるが、インタフェースｘｂ２，ｘｂ３は遅い転送速度にしか設定できない。又、同一筐体内に筐体内接続がある場合の転送速度は、筐体内接続が無い場合と比べて遅い。
【００４５】
このように、図３に示す如きサ−バシステムにおいて、筐体内接続に比べて筐体間接続の伝送性能は低い。この例では、筐体間接続に用いるバスの転送速度は、筐体内接続の半分の速度に設定されている。このため、ＢＣコマンドを転送先である全タ−ゲットノードに同時に到着させるためには、ブロードキャスト転送速度は筐体内接続においても筐体間接続の場合と同じ遅い転送速度に設定する必要がある。しかし、複数のパ−ティションを筐体内に閉じるように設定した場合、筐体間は接続されているものの、実際には筐体間のデ−タ転送が行われないパ−ティション構成もあり得る。例えば、図３に一点鎖線、破線及び二点鎖線で示すパーティションＰ１，Ｐ２，Ｐ３のようなパ−ティション構成のうち、パーティションＰ１，Ｐ２の場合は筐体間のＢＣコマンド転送が行われない。
【００４６】
そこで、本実施例では、出力パケット選択部４２が運用管理部４１からのパーティション構成情報に基づいて各時間差調整部２３，２５にレジスタ設定情報を出力することにより、パーティション構成に基づいてブロードキャスト転送速度を設定する。このため、パーティション内に筐体間接続が無い場合には、パーティション内に筐体間接続がある場合と比べてブロードキャスト転送速度を速く設定することができ、ブロードキャスト転送速度を向上可能となる。この結果、パーティション構成によっては、従来と比べてブロ−ドキャスト転送のスル−プットが改善できる。又、筐体間を跨がない構成でクロスバ装置間の接続があるパーティション構成の場合も、本実施例によればサーバシステムのブロ−ドキャスト転送性能が改善できる。更に、ブロ−ドキャスト転送速度は、従来のように固定的に設定されるのではなく、パ−ティション構成に基づいて設定されるので、ブロ−ドキャスト転送速度の変更は、サーバシステムが稼働中のパ−ティション変更時であっても可能である。
【００４７】
図５は、出力パケット選択部４２の構成の一例を示すブロック図である。出力パケット選択部４２は、図５に示す如く接続されたレジスタ設定インタフェース４２１、パーティション構成制御レジスタ４２２、パーティション構成判定部４２３、時間差調整制御部４２４、及び構成制御レジスタ４２５を有する。出力パケット選択部４２は、以下に説明する手順で運用管理部４１から通知されるパーティション構成情報に応じて時間差調整部２３，２５に対してバッファ２３１，２５１による待ち合わせの要否を指示することで、クロスバ装置間のブロードキャスト転送速度を変更する。
【００４８】
パ−ティション構成の判定は、出力パケット選択部４２内のパ−ティション構成判定部４２３で行われる。パーティション構成の判定自体は、図１に示す従来のサーバシステムの運用管理部１１が実行するパーティション構成の判定と同様に行うことができる。パ−ティション構成判定部４２３は、１６個のシステムボ−ド（ＳＢ）のパ−ティションＩＤを比較することにより、サーバシステムのパ−ティション構成を把握し、本実施例では、サーバシステムのパワーオン（Power On）前のパワーオフ（Power Off）状態でパ−ティション構成に応じてブロードキャスト転送速度の変更を行う静的設定変更、或いは、サーバシステムのパワーオン時に動的再構成（ＤＲ：Dynamic Reconfiguration）のタイミングでパ−ティション構成に応じてブロードキャスト転送速度の変更を行う動的設定変更を実行する。ＤＲとは、サーバシステムのオペレ−ティングシステム（ＯＳ：Operating System）を停止することなく、プロセッサ、メモリ、入出力（Ｉ／Ｏ：Input and Output）デバイス等のハ−ドウェアリソ−スを追加したり削除できる周知の技術である。ＤＲによる構成変更を行う際、クロスバ装置はサーバシステムをサスペンド状態にする。
【００４９】
図６は、静的設定変更処理を説明するフローチャートである。先ず、ステップＳ１では、出力パケット選択部４２が属するクロスバ装置（この例ではクロスバ装置３２−００）を、このクロスバ装置を介したパケット通信が行われていない状態にする。具体的には、運用管理部４１がサーバシステムを電源オフ（Power Off）状態に設定する。次に、ステップＳ２では、運用管理部４１からのパーティション構成情報をレジスタ設定インタフェース４２１を介してパーティション構成制御レジスタ４２２に設定する。
【００５０】
図７は、パーティション構成制御レジスタ４２２に設定されるパ−ティション構成情報を説明する図である。各クロスバ装置３２−００，３２−１０，３２−２０，３２−３０のパーティション構成制御レジスタ４２２には、運用管理部４１からのパーティション構成情報が設定される。この例では、パーティション構成制御レジスタ４２２には１６個のシステムボ−ド（ＳＢ）、即ち、ＳＢｘｘ（ｘｘ＝００〜１５）のパ−ティションＩＤ（SBxx_PAR_ID）がパーティション構成情報として保持される。
【００５１】
ステップＳ３では、パーティション構成判定部４２３がパーティション構成制御レジスタ４２２の設定内容から筐体内接続や筐体を跨ぐ筐体間接続を含むパーティションの有無を判定する。ステップＳ３の判定の結果、筐体内のクロスバ装置間の接続が無く筐体間接続も無い場合には処理がステップＳ４へ進み、筐体内のクロスバ装置間の接続が有り筐体間接続が無い場合には処理がステップＳ５へ進み、筐体内のクロスバ装置間の接続が有り筐体間接続が有る場合には処理がステップＳ６へ進む。ステップＳ４，Ｓ５，Ｓ６では、パーティション構成判定部４２３が判定結果を時間差調整制御部４２４へ通知する。
【００５２】
時間差調整制御部４２４は、パーティション構成判定部４２３からの通知を受けて現在のパーティション構成と使用するバッファ２３１，２５１を構成制御レジスタ４２５に設定する。この例では、時間差調整制御部４２４は、パーティション構成判定部４２３からの選択指示XBy_SEL_ENBが有効であると、ステップＳ６でモデルＭ３相当の設定MODEL[1:0]="1x", BUF1=1, BUF2=1を出力する（y=2,3）。そうではなく選択指示XB1_SEL_ENBが有効であると、ステップＳ５でモデルＭ２相当の設定MODEL[1:0]="01", BUF1=1, BUF2=0を出力する。前者、後者のどちらでもなく、選択指示XB0_SEL_ENBが有効であると、ステップＳ４でモデルＭ１相当の設定MODEL[1:0]="00", BUF1=0, BUF2=0を出力する。ここで、BUF1は時間差調整部２３のバッファ２３１の設定であり、例えばBUF1=0はバッファ２３１を経由しないバイパス設定を示し、BUF1=1はバッファ２３１を経由する設定を示す。又、BUF2は時間差調整部２５のバッファ２５１の設定であり、例えばBUF2=0はバッファ２５１を経由しないバイパス設定を示し、BUF2=1はバッファ２５１を経由する設定を示す。
【００５３】
これにより、構成制御レジスタ４２５は、時間差調整部２３，２５に対してバッファ（例えば、リングバッファ）２３１，２５１等の待ち合わせ回路の選択をセレクタ２３０，２５０に指示することで、クロスバ装置間のブロードキャスト転送速度を変更する。筐体内のクロスバ装置間の接続が無く、且つ、筐体間接続が無いと判定されたパ−ティションに対しては、モデルＭ２の場合であっても、モデルＭ３の場合であってもモデルＭ１相当の設定を行う。又、筐体内のクロスバ装置間の接続が有り、且つ、筐体間接続が無いと判定されたパ−ティションに対しては、モデルＭ２相当の設定を行う。更に、筐体内のクロスバ装置間の接続が有り、且つ、筐体間接続が有りと判定されたパ−ティションに対しては、モデルＭ３相当の設定を行う。
【００５４】
ステップＳ７では、サーバシステムを電源オン状態に設定し、静的設定変更処理は終了する。
【００５５】
尚、構成制御レジスタ４２５への設定は、時間差調整制御部４２４を経由せずに、図５において破線で示すように運用管理部４１からレジスタ設定インタフェース４２１を経由して設定しても良い。
【００５６】
サーバシステムの制御上、システムボード側にもパーティション構成情報が必要になる場合は、運用管理部４１からシステムボード内のシステムコントローラへ設定を行えば良い。又、時間差調整制御部４２４へ入力される選択指示XBx_SEL_ENBが複数出力される場合には、その中で最も規模の大きいパーティション相当に対する設定を行えば良い。
【００５７】
例えば図３に示す筐体間接続構成でクロスバ装置３２−００，３２−１０が第１のパ−ティション、クロスバ装置３２−２０，３２−３０が第２のパ−ティションに設定されている時は、筐体間（ＸＢ００とＸＢ２０又はＸＢ３０の間、ＸＢ１０とＸＢ２０又はＸＢ３０の間）の通信は行われない。このように、本実施例では、パ−ティション構成判定部４２３で筺体間接続が無いと判断された場合はブロードキャスト転送速度を高速に設定することが可能になる。
【００５８】
図４に示すクロスバ装置３２−００は、クロスバ装置３２−００が接続されている各システムボ−ド（ＳＢ００〜ＳＢ０３）とパ−ティションＩＤが等しいシステムボ−ド（ＳＢ）に接続されているクロスバ装置のインタフェ−スに対してＢＣコマンドを転送する。図５において、選択指示XB2_SEL_ENB[i]又はXB3_SEL_ENB[i]（i＝０，１，２，３）が有効な時は筐体間を跨るパ−ティション構成となるため、全クロスバ装置間を遅い速度に設定する。
【００５９】
図８は、動的設定変更処理を説明するフローチャートである。先ず、ステップＳ１１では、サーバシステムを電源オン状態に設定する。次に、ステップＳ１２では、運用管理部４１からのパーティション構成情報をレジスタ設定インタフェース４２１を介してパーティション構成制御レジスタ４２２に設定する。ステップＳ１３では、サーバシステムが稼働中の動作を実行し、ステップＳ１４では、動的再構成（ＤＲ）を開始すると共にクロスバ装置３２−００がサーバシステムをサスペンド状態にする。即ち、ＢＣコマンドに対するサスペンドコマンドがクロスバ装置３２−００からシステムボードの全システムコントロ−ラに送信され、システムコントロ−ラは実行中の処理が完了した時点でサスペンド解除待ち状態になる。
【００６０】
次に、システムボ−ドの増減設等の操作に伴いパ−ティション構成を変更し、ステップＳ１５では運用管理部４１から変更後のパーティション構成情報を出力パケット選択部４２内のパーティション構成制御レジスタ４２２に設定する。尚、サスペンド前に構成情報を予め送っておき、クロスバ装置内部での更新だけがサスペンド中に行われるような実装も可能である。パ−ティション構成変更後、サーバシステムの動作を再開する前に、ステップＳ１６では、パーティション構成判定部４２３がパーティション構成制御レジスタ４２２の設定内容から筐体内接続や筐体を跨ぐ筐体間接続を含むパーティションの有無を判定する。ステップＳ１６の判定の結果、筐体内のクロスバ装置間の接続が無く筐体間接続も無い場合には処理がステップＳ１７へ進み、筐体内のクロスバ装置間の接続が有り筐体間接続が無い場合には処理がステップＳ１８へ進み、筐体内のクロスバ装置間の接続が有り筐体間接続が有る場合には処理がステップＳ１９へ進む。ステップＳ１７，Ｓ１８，Ｓ１９では、パーティション構成判定部４２３が判定結果を時間差調整制御部４２４へ通知する。ステップＳ１７，Ｓ１８，Ｓ１９の処理は、図６に示すステップＳ４，Ｓ５，Ｓ６の処理と同様である。
【００６１】
これにより、構成制御レジスタ４２５は、時間差調整部２３，２５に対してバッファ（例えば、リングバッファ）２３１，２５１等の待ち合わせ回路の選択をセレクタ２３０，２５０に指示することで、クロスバ装置間のブロードキャスト転送速度を変更する。筐体内のクロスバ装置間の接続が無く、且つ、筐体間接続が無いと判定されたパ−ティションに対しては、モデルＭ２の場合であっても、モデルＭ３の場合であってもモデルＭ１相当の設定を行う。又、筐体内のクロスバ装置間の接続が有り、且つ、筐体間接続が無いと判定されたパ−ティションに対しては、モデルＭ２相当の設定を行う。更に、筐体内のクロスバ装置間の接続が有り、且つ、筐体間接続が有りと判定されたパ−ティションに対しては、モデルＭ３相当の設定を行う。
【００６２】
ステップＳ２０では、サーバシステムのサスペンド状態を解除してＤＲを完了させ、動的設定変更処理は終了する。
【００６３】
図９は、本実施例における各パ−ティション構成に応じたクロスバ装置の設定を説明する図である。パ−ティション構成判定部４２３は、この例では一番大きいモデル３のパ−ティション構成の判定結果から以下の如き設定を行う。図９中、「ＸＢ２／３」とは、ＸＢ２又はＸＢ３を意味する。
【００６４】
モデルＭ１相当の場合、パ−ティション構成がクロスバ装置３２−００内に閉じると判定し、時間差調整部２３のバッファ２３１をレイテンシ（Latency）向上のためバイパス設定にする。その結果、ＳＢ→ＸＢ（→ＸＢ）→ＳＢの合計レイテンシはブロードキャスト転送速度が最高速の場合の設定となる。
【００６５】
モデルＭ２相当の場合、パ−ティション構成が筐体３３−０内のクロスバ装置３２−００，３２−１０間に跨ると判定し、時間差調整部２３のバッファ２３１をクロスバ装置３２−００，３２−１０間の時間分調整のため経由する設定にすると共に、時間差調整部２５のバッファ２５１をバイパス設定にする。その結果、ＳＢ→ＸＢ（→ＸＢ）→ＳＢの合計レイテンシはブロードキャスト転送速度が高速の場合の設定となる。
【００６６】
モデルＭ３相当の場合、パ−ティション構成が筐体３３−０，３３−１間に跨ると判定し、時間差調整部２３のバッファ２３１をクロスバ装置３２−００，３２−２０間、或いは、クロスバ装置３２−００，３２−３０間の時間分調整のため経由する設定にすると共に、時間差調整部２５のバッファ２５１をクロスバ装置３２−００，３２−２０間、或いは、クロスバ装置３２−００，３２−３０間の時間分からクロスバ装置３２−００，３２−１０間の時間分を引いた時間分の時間調整のため経由する設定にする。その結果、ＳＢ→ＸＢ（→ＸＢ）→ＳＢの合計レイテンシはブロードキャスト転送速度が低速の場合の設定となる。
【００６７】
このように、本実施例によれば、出力パケット選択部４２内のパ−ティション構成判定部４２３にあるパ−ティション構成情報から、そのパーティションを実現しうる最小規模のモデル相当の設定を実現することができる。転送能力の低い筐体間接続を含む構成を有するサーバシステムにおいてクロスバ装置間の接続を含まないパ−ティション構成に設定した場合でも、転送速度を落とさずにブロ−ドキャスト転送が可能になる。
【００６８】
尚、時間差調整部２３のバッファ２３１は、受信側のシステムボ−ドに対応して４個設けられるので、個別にバッファ２３１を設定することで、クロスバ装置間を跨らないパ−ティションを常に最小レイテンシに設定することもできる。
【００６９】
図１０は、出力パケット選択部４２の構成制御レジスタ４２５の設定内容を説明する図である。構成制御レジスタ４２５には、パーティション構成MODEL[1:0]及びバッファ設定BUF1, BUF2が設定される。例えば、モデルＭ１相当の設定例は「hX0000000」であり、モデルＭ２相当の設定例は「hX0000001」であり、モデルＭ３相当の設定例は「hX0000003」である。
【００７０】
図１１は、本発明の他の実施例における筐体の構造を示すブロック図である。図１１中、図３と同一部分には同一符号を付し、その詳細な説明は省略する。
【００７１】
図１１では、筐体３３−０内に運用管理部４１が設けられており、筐体３３−０内の１又は複数のクロスバ装置３２は筐体３３−１内の１又は複数のクロスバ装置３２とケーブル等の接続部４を介して接続されている。筐体３３−１内にも運用管理部４１が設けられている。例えば、筐体３３−０が基本筐体であり、筐体３３−１が拡張筐体であっても良い。
【００７２】
尚、運用管理部４１は、筐体３３−０又は筐体３３−１の外部に設けられていても良いことは言うまでもない。
【００７３】
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
プロセッサを有する情報処理装置が複数個１又は複数個のデータ転送装置を介して接続された情報処理システムにおける転送速度設定方法であって、
前記情報処理システムを複数の独立したシステムに分割して運用するパーティションに応じて、前記パーティションに含まれる各データ転送装置内でブロードキャスト転送速度を設定する、転送速度設定方法。
（付記２）
前記複数個の情報処理装置及び前記１又は複数個のデータ転送装置は、複数個の筐体内に設けられており、
前記パーティションが１個の筐体内で閉じているか、或いは、２個以上の筐体間に跨っているかに応じて、前記パーティションに含まれる各データ転送装置内でブロードキャスト転送速度を設定する、付記１記載の転送速度設定方法。
（付記３）
前記ブロードキャスト転送速度の設定を、前記情報処理システムのパワーオン前のパワーオフ状態でパ−ティション構成に応じて行う、付記１又は２記載の転送速度設定方法。
（付記４）
前記ブロードキャスト転送速度の設定を、前記情報処理システムのパワーオン時に、前記情報処理システムのオペレ−ティングシステムを停止することなくハ−ドウェアリソ−スを前記情報処理システムに追加又は削除する動的再構成のタイミングで行う、付記１又は２記載の転送速度設定方法。
（付記５）
前記ブロードキャスト転送速度の設定を、前記情報処理システムのサスペンド状態で行う、付記４記載の転送速度設定方法。
（付記６）
情報処理システムが有する複数のノードを接続するデータ転送装置であって、
前記情報処理システムを複数の独立したシステムに分割して運用する前記データ転送装置が含まれるパーティションに応じてブロードキャスト転送速度を設定する設定手段を備えた、データ転送装置。
（付記７）
前記データ転送装置が含まれるパーティションは、外部から前記設定手段に設定されるパーティション構成情報により識別される、付記６記載のデータ転送装置。
（付記８）
前記データ転送装置は、複数のノードと共に１個の筐体内に設けられており、
前記設定手段は、前記パーティションが前記１個の筐体内で閉じているか、或いは、２個以上の筐体間に跨っているかに応じて前記ブロードキャスト転送速度を設定する、付記６又は７記載のデータ転送装置。
（付記９）
前記設定手段は、前記情報処理システムのパワーオン前のパワーオフ状態で前記ブロードキャスト転送速度の設定を行う、付記６乃至８のいずれか１項記載のデータ転送装置。
（付記１０）
前記設定手段は、前記情報処理システムのパワーオン時に、前記情報処理システムのオペレ−ティングシステムを停止することなくハ−ドウェアリソ−スを前記情報処理システムに追加又は削除する動的再構成のタイミングで前記ブロードキャスト転送速度の設定を行う、付記６又は７記載のデータ転送装置。
（付記１１）
前記設定手段は、前記情報処理システムのサスペンド状態で行う、付記１０記載のデータ転送装置。
（付記１２）
前記設定手段は、設定する前記ブロードキャスト転送速度を示す設定情報を出力し、
前記データ転送装置は、前記設定情報に基づいて各ノードからのコマンドの遅延時間を調整する時間差調整手段を更に備えた、付記６乃至１１のいずれか１項記載のデータ転送装置。
（付記１３）
前記時間差調整手段はセレクタ及びバッファを有し、
前記セレクタは前記設定情報に基づいて、各ノードからのコマンドを前記バッファを介して出力するか、或いは、前記バッファをバイパスして出力する、付記１２記載のデータ転送装置。
（付記１４）
付記６乃至１３のいずれか１項記載のデータ転送装置と、
プロセッサを有する複数個の情報処理装置とを備え、
前記複数個の情報処理装置は、前記データ転送装置に接続され前記ノードとして機能する、情報処理システム。
（付記１５）
２個以上のデータ転送装置と複数個の情報処理装置が搭載された筐体を複数個備えた、付記１４記載の情報処理システム。
（付記１６）
異なる筐体内のデータ転送装置を接続するケーブルを更に備え、
同じ筐体内のデータ転送装置を接続するインタフェースの転送速度は、前記ケーブルの転送速度より高速に設定可能である、付記１４又は１５記載の情報処理システム。
【００７４】
以上、開示の転送速度設定方法、データ転送装置及び情報処理システムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【符号の説明】
【００７５】
１−００〜１−１５      システムボード
４      接続部
３２−００，３２−１０，３２−２０，３２−３０      クロスバ装置
３３−０，３３−１      筐体
２１      バッファ部
２３，２５      時間差調整部
２６      同期分配部
２７，４２      出力パケット選択部
４１      運用管理部
２３０，２５０      セレクタ
２３１，２５１      バッファ
【図１】
2011013919.tif 000003
【図２】
2011013919.tif 000004
【図３】
2011013919.tif 000005
【図４】
2011013919.tif 000006
【図５】
2011013919.tif 000007
【図６】
2011013919.tif 000008
【図７】
2011013919.tif 000009
【図８】
2011013919.tif 000010
【図９】
2011013919.tif 000011
【図１０】
2011013919.tif 000012
【図１１】
2011013919.tif 000013