(57)【特許請求の範囲】
【請求項１】
論理的に多次元配列された複数の演算ノードと、第１、第２、第３のクロスバースイッチに区分された複数のクロスバースイッチとからなり、上記複数の演算ノードが、複数のグループに分割され、グループ毎に第１のクロスバースイッチに収容され、該第１のクロスバースイッチに接続された第２、第３のクロスバースイッチを介して他のグループの演算ノードと相互接続される多次元クロスバーネットワークにおいて、
第１のクロスバースイッチと第２のクロスバースイッチとを接続する各パケット伝送路上に、上記第１、第２のクロスバースイッチと第３のクロスバースイッチに接続されるスイッチング装置を備え、
上記スイッチング装置によって、上記第１、第２、第３のクロスバースイッチ間のパケット交換を行うと共に、上記何れかのクロスバースイッチと光信号でパケット通信するためのインタフェース変換を行うことを特徴とする多次元クロスバーネットワーク。
【請求項２】
論理的に多次元配列された複数の演算ノードと、これらの演算ノードを相互接続するための複数のＸ、Ｙ、Ｚ軸クロスバースイッチとからなり、上記複数の演算ノードが、複数のグループに分割され、グループ毎にＸ軸クロスバースイッチに収容され、該Ｘ軸クロスバースイッチに接続されたＹ軸、Ｚ軸のクロスバースイッチを介して他のグループの演算ノードと相互接続される多次元クロスバーネットワークにおいて、
Ｘ軸クロスバースイッチとＹ軸クロスバースイッチとの間の各パケット伝送路上に、上記Ｘ軸およびＹ軸クロスバースイッチからの受信パケットをＺ軸クロスバースイッチに選択的に転送すると共に、該Ｚ軸クロスバースイッチからの受信パケットを上記Ｘ軸またはＹ軸クロスバースイッチに転送するためのスイッチング装置を有し、
上記各スイッチング装置が、上記Ｚ軸クロスバースイッチと光ファイバを介してパケット通信するためのインタフェース変換機能を備えることを特徴とする多次元クロスバーネットワーク。
【請求項３】
前記各スイッチング装置が、前記Ｘ軸クロスバースイッチが備える複数の入出力ポートのうちの１つに接続するための第１入出力ポートと、前記Ｙ軸クロスバースイッチが備える複数の入出力ポートのうちの１つに接続するための第２入出力ポートと、発光素子と受光素子からなる光モジュールに接続するための第３入出力ポートと、上記第１、第２入出力ポートと上記第３入出力ポートの間で送受信パケットのインタフェース変換を行うための手段とを備え、
前記Ｚ軸クロスバースイッチとの間のパケット伝送路の一部が上記光モジュールに結合される光ファイバによって構成されることを特徴とする請求項２に記載の多次元クロスバーネットワーク。
【請求項４】
前記インタフェース変換手段が、前記第１、第２入出力ポートで送受信されるパケットと前記第３入出力ポートで送受信されるパケットとを互いに独立した異なる同期クロックによって処理することを特徴とする請求項２または請求項３に記載の多次元クロスバーネットワーク。
【請求項５】
それぞれ多次元配列された複数の演算ノードを複数のＸ、Ｙ、Ｚ軸クロスバースイッチによって相互接続した第１、第２のクロスバーネットワークからなり、上記複数の演算ノードが、複数のグループに分割され、グループ毎にＸ軸クロスバースイッチに収容され、該Ｘ軸クロスバースイッチに接続されたＹ軸、Ｚ軸クロスバースイッチを介して他のグループの演算ノードと相互接続される多次元クロスバーネットワークにおいて、
上記各クロスバーネットワークが、それぞれ３次元座標系で同一のＹ、Ｚ座標値をもつ複数の演算ノード間でＸ軸方向のパケット交換を行う複数のＸ軸クロスバースイッチと、３次元座標系で同一Ｚ軸座標値をもつ演算ノードを収容している複数のＸ軸クロスバースイッチ間でＹ軸方向のパケット交換を行う複数のＹ軸クロスバースイッチ群と、上記複数のＹ軸クロスバースイッチ群の間でＺ軸方向のパケット交換を行う複数のＺ軸クロスバースイッチとからなり、
上記第１、第２のクロスバーネットワークにおける互いに対応した位置関係にある２つのＹ軸クロスバースイッチを該Ｙ軸クロスバースイッチとＺ軸クロスバースイッチとの間の各パケット経路上に配置された複数のスイッチングＬＳＩによって結合し、上記各スイッチングＬＳＩによって上記第１、第２のクロスバーネットワーク間のパケット交換を行うようにしたことを特徴とする多次元クロスバーネットワーク。
【請求項６】
前記各スイッチングＬＳＩが、前記２つのＹ軸クロスバースイッチに接続するための第１、第２入出力ポートと、発光素子と受光素子からなる第１、第２の光モジュールに接続するための第３、第４の入出力ポートと、上記第１、第２の入出力ポートからの受信パケットをヘッダ情報に従って上記第１、第２の入出力ポートのうちの他方、上記第３または第４の入出力ポートに選択的に出力すると共に、上記第３、第４の入出力ポートからの受信パケットをそれぞれ上記第１、第２の入出力ポートに転送するための手段とからなり、
前記各Ｙ軸クロスバースイッチとＺ軸クロスバースイッチとの間のパケット伝送路の一部を上記各光モジュールに結合される光ファイバによって構成したことを特徴とする請求項５に記載の多次元クロスバーネットワーク。
【請求項７】
それぞれ３次元座標系で同一のＹ、Ｚ座標値をもつ複数の演算ノード間でＸ軸方向のパケット交換を行うための複数のＸ軸クロスバースイッチと、それぞれ３次元座標系で同一Ｚ軸座標値をもつ演算ノードを収容している複数のＸ軸クロスバースイッチ間でＹ軸方向のパケット交換を行うための複数のＹ軸クロスバースイッチ群と、上記複数のＹ軸クロスバースイッチ群の間でＺ軸方向のパケット交換を行う複数のＺ軸クロスバースイッチング手段とからなる多次元クロスバーネットワークにおいて、上記各Ｚ軸クロスバースイッチング手段が、
３次元座標系で同一のＸ軸座標値をもつ複数のＹ軸クロスバースイッチの互いに対応したＸ軸座標位置にある入出力ポートに接続される第１入出力ポート群と、それぞれ発光素子と受光素子とを含む複数の光モジュールに接続される第２入出力ポート群とを有する第１のスイッチングＬＳＩと、
３次元座標系で同一のＸ軸座標値をもつ他の複数のＹ軸クロスバースイッチの互いに対応したＸ軸座標位置にある入出力ポートに接続される第１入出力ポート群と、それぞれ発光素子と受光素子とを含む複数の光モジュールに接続される第２入出力ポート群とを有する第２のスイッチングＬＳＩと、
上記第１のスイッチングＬＳＩの第２入出力ポート群と上記第２のスイッチングＬＳＩの第２入出力ポート群との間にそれぞれ光モジュールを介して結合される複数対の光ファイバとからなることを特徴とする多次元クロスバーネットワーク。
【請求項８】
それぞれＬ個の演算ノード収容し、Ｌ個の外部入出力ポートをもつＸ軸クロスバースイッチが搭載された複数のＸ軸ボードと、
Ｍ個の入出力ポートをもつＹ軸クロスバースイッチと、上記Ｘ軸クロスバースイッチに接続するための外部入出力ポートと光信号送受信用光モジュールに接続するための入出力ポートを有し、上記Ｙ軸クロスバースイッチの各入出力ポートに接続される複数のスイッチングＬＳＩとが搭載された複数のＹ軸ボードと、
Ｎ個の入出力ポートをもつＺ軸クロスバースイッチと、光信号送受信用光モジュールに接続するための入出力ポートを有し、上記Ｚ軸クロスバースイッチの各入出力ポートに接続される複数のインタフェース変換ＬＳＩとが搭載された複数のＺ軸ボードと、
上記Ｘ軸クロスバースイッチの外部入出力ポートと上記Ｙ軸ボード上の外部入出力ポートとの間を接続する複数の電気信号線と、
上記Ｙ軸ボード上の光信号送受信用光モジュールと上記Ｚ軸ボード上の光信号送受信用光モジュールとの間を接続する光信号線と
からなることを特徴としたＬ×Ｍ×Ｎの多次元配列並列計算機システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、多次元クロスバーネットワークおよび多次元配列並列計算機システムに関し、更に詳しくは、多数の演算装置間を接続するためのネットワーク構成に関する。
【０００２】
【従来の技術】
膨大な計算処理を高速に実行するために、例えば、複数の演算装置を密結合したマルチプロセッサ型計算機を１つの演算ノードとして、多数のノード間をネットワークで相互接続した構成の並列計算機システムが知られている。
並列計算機システムでは、多次元配列された各演算ノード毎にメモリを配置しておき、各演算ノードが、計算に必要なデータの一部を他ノードのメモリから自ノード内のメモリにコピーする分散メモリ型のものが多い。
上記分散メモリ型の並列計算機上で動作させるためにメモリ共有モデルから書き換えられたプログラムは、全ノードが同一プログラム／異データで動作するモデルに該当し、演算動作とノード間通信の現れ方が、例えば、通信中の各ノード対の一方のノードからみて、相手ノードの相対位置と通信データ量とが各ノード対で一定となる等方転送になることが多い。メモリ共有モデルにおける最も基本的なデータアクセスは、メモリ空間の連続したアドレスでデータをアクセスするパターンを有し、上記基本パターンを分散メモリに素直に割り当てると、隣接ノード間でのデータ転送（隣接転送）が最も頻繁に現れる。
【０００３】
この種の並列計算機システムでは、任意の２つのノード間で通信できるように演算ノードネットワークを構成する必要がある。現在では、例えば、メッシュ型、トーラス型、多次元クロスバー型、完全クロスバー型などと呼ばれるネットワーク構成によって、数百台〜数千台の演算ノードからなる並列計算機システムが実現可能となっている。
「メッシュ型」および「トーラス型」のネットワーク構成では、各演算ノードに多次元論理座標を割り当てたとき、座標空間で互いに隣接した位置関係にある演算ノード間にのみネットワーク配線が存在する。従って、多数の演算ノードを論理座標と対応がとれた形で物理的に配置できれば、短い配線長で非常に多数の演算ノードを接続できる利点がある。しかしながら、このタイプのネットワーク構成では、上述した隣接転送は経路競合なしに行えるが、非隣接ノードのデータを頻繁にアクセスする等方転送の計算処理では、ノード間通信中に経路競合が発生し、システムの実効性能が低下する。従って、メッシュ型、トーラス型構成の並列計算機は、特定用途の大規模計算に適しており、汎用性には欠けるという性質がある。
【０００４】
「完全クロスバー型」のネットワーク構成は、任意に組み合された複数対のノード間で同時にパケット通信できるため、各演算ノードに分散して存在するデータをグローバルにアクセスする等方転送の計算処理でも、ノード間通信ロスが少なく、効率的に計算処理を実行できる。完全クロスバー型のネットワークでは、クロスバースイッチを構成するＬＳＩ群を一箇所に集中して配置した場合、各演算ノードとクロスバースイッチとの接続配線長が長距離化する。
【０００５】
「多次元クロスバー型」のネットワークは、上記２つの形式の中間的な論理構造をもつもので、ノード間のグローバルな通信を比較的効率的に実行でき、接続ノード数とシステム性能のスケーラブルな拡張を可能とする。
多次元クロスバーネットワークは、例えば、次元数が３の場合、Ｌ×Ｍ×Ｎの直方体の各格子点に演算ノードをマップしておき、Ｘ軸方向に並ぶＬ個のノード間を接続するクロスバースイッチと、Ｙ軸方向に並ぶＭ個のノード間を接続するクロスバースイッチと、Ｚ軸方向に並ぶＮ個のノード間を接続するクロスバースイッチとによって多段クロスバースイッチを構成し、演算ノード毎に、ノード内メモリと、各ノードを上記Ｘ、Ｙ、Ｚ軸方向の各クロスバーに選択的に接続するためのExchangerと呼ばれるスイッチとを設けた論理構成となっている。
しかしながら、多次元クロスバーネットワークでは、各ノード毎に設けられるExchangerに、Ｘ、Ｙ、Ｚ軸方向の各クロスバースイッチと選択的に接続するための３系統の配線が必要となるため、何れかの系統が長距離集中配線となってしまう。
【０００６】
例えば、Ｘ軸クロスバースイッチと該Ｘ軸クロスバースイッチに接続されるＬ個の演算ノードを同一の基板上に搭載し、それぞれ同一Ｚ座標のノード群を含むＭ枚の基板を同一のバックボードに収容し、該バックボード上に搭載されたＬ個のＹ軸クロスバーによって、同一Ｘ座標をもつＭ個のノード間を接続することによって、２次元配列のノード群までは比較的近接した配線によってネットワーク化できる。Ｎ個の２次元ノード配列からなるＬ×Ｍ×Ｎの３次元ノード配列は、Ｎ枚のバックボードに分散配置された合計Ｌ×Ｍ×Ｎ個のノードをＬ×Ｍ系統のＺ軸クロスバースイッチの何れかのポートに接続することによって得られる。
【０００７】
多次元クロスバー型は、完全クロスバー型に比較して、各軸方向のクロスバースイッチを構成するＬＳＩの接続ポート数が少なくて済むため、設計が容易になる。また、クロスバースイッチ用のＬＳＩ群と演算ノード群を幾つかのボードに分散配置し、各ボード上で部分的に配線を済ませることによって、完全クロスバー型にような演算ノードからクロスバースイッチ部への配線の集中を回避できる。但し、上述したＬ×Ｍ系統のＺ軸クロスバースイッチ群を一箇所に集めて配置した場合、バックボード上の各演算ノードとＺ軸クロスバースイッチとの接続に長距離配線が必要となる。
【０００８】
上記多次元クロスバー型を改良したネットワーク構成として、Ｘ、Ｙ、Ｚの各軸方向への配線源となるExchanger機能を分割し、演算ノードとＸ軸クロスバースイッチとの間の乗換え機能は各演算ノードにもたせ、Ｘ軸クロスバースイッチとＹ軸クロスバースイッチとの間の乗換え機能はＸ軸クロスバースイッチに、Ｙ軸クロスバースイッチとＺ軸クロスバースイッチとの間の乗換え機能はＹ軸クロスバースイッチにもたせた構成が「分散Exchanger方式」の多次元クロスバーネットワークとして知られている。分散Exchanger方式によれば、演算ノードからＸ軸、Ｙ軸、Ｚ軸クロスバースイッチと順次に辿って、配線を一箇所に収束する接続形態でネットワークを構成できる。
【０００９】
【発明が解決しようとする課題】
しかしながら、分散Exchanger方式の多次元クロスバーネットワーク構成では、Ｙ軸クロスバースイッチとＺ軸クロスバースイッチとの間の接続配線が、システム規模に応じて長距離化するため、接続ケーブルの電気的特性によって、接続可能な演算ノード数やシステム性能が制限される。
また、分散Exchanger方式の多次元クロスバーネットワークでは、最上位軸（３次元の場合はＺ軸）以外の各軸方向のクロスバースイッチにおいて、別軸方向のクロスバースイッチへの乗換え機能をもたせるために、各演算ノードがExchanger機能をもつ通常の多次元クロスバーネットワークのクロスバースイッチに比較して、約２倍の外部接続ピン（ＬＳＩピン）が必要となる。
【００１０】
例えば、通常の多次元クロスバーネットワーク構成では、Ｌ×Ｍ×Ｎ個のノードを接続する場合、Ｙ軸クロスバースイッチには、Ｙ軸方向のノード数に等しいＭセットの入出力ポートがあればよい。これに対して、分散Exchanger方式のＹ軸クロスバースイッチには、Ｘ軸クロスバースイッチに接続するためのＭセットの入出力ポートと、Ｚ軸クロスバースイッチに接続するためのＭセットの入出力ポートが必要となるため、ＬＳＩの外部接続ピン数を同一にした場合、Ｙ軸方向に配列できるノード数が半分になってしまう。
また、分散Exchanger方式のクロスバーネットワークでは、Ｚ軸方向に隣接する２つのノード間で通信する場合でも、Ｘ軸クロスバーとＹ軸クロスバーを経由しなければＺ軸クロスバースイッチに到達できない。従って、最も頻繁に現れる隣接転送のノード間通信において、隣接ノードの位置関係によっては、送信パケットが宛先ノードに到達する迄の所要時間が長くなるという問題がある。
【００１１】
本発明の目的は、ノード間接続コストの上昇を抑えてシステム規模（接続可能ノード数）を拡張できる分散Exchanger方式の多次元クロスバーネットワークおよび並列計算機システムを提供することにある。
本発明の他の目的は、長距離配線区間における特性劣化の少ない分散Exchanger方式の多次元クロスバーネットワークおよび並列計算機システムを提供することにある。
本発明の更に他の目的は、クロスバースイッチ当たりの収容ノード数を増加できる分散Exchanger方式の多次元クロスバーネットワークおよび並列計算機システムを提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、本発明は、論理的に多次元配列された複数の演算ノードを複数のクロスバースイッチによって相互接続した多次元クロスバーネットワークにおいて、第１のクロスバースイッチと第２のクロスバースイッチとを接続するパケット伝送路上に、上記第１、第２のクロスバースイッチと第３のクロスバースイッチに接続されるスイッチング装置を備え、上記スイッチング装置によって、上記第１、第２、第３のクロスバースイッチ間のパケット交換を行うと共に、上記何れかのクロスバースイッチと光信号でパケット通信するためのインタフェース変換を行うことを特徴とする。
本発明によれば、クロスバースイッチ間を接続するスイッチング装置（ＬＳＩ）に、光信号でパケット通信するためのインタフェース変換機能をもたせたことによって、距離の長い配線区間では光信号によってパケット通信できる。この場合、電気信号ケーブル接続ポートで送受信されるパケットと、光信号ケーブル（光ファイバ）接続ポートで送受信されるパケットとを互いに独立した異なる同期クロックによって処理することによって、長距離配線区間で光信号伝送の適した通信形態を採用できる。
【００１３】
本発明において、上記スイッチング装置は、例えば、座標軸の異なるクロスバースイッチ間で受信パケットを他の座標軸のクロスバースイッチに転送するパケット分岐用スイッチとして適用される。本発明の１実施例では、論理的に多次元配列された演算ノード群を相互接続するための複数のＸ、Ｙ、Ｚ軸クロスバースイッチからなる多次元クロスバーネットワークおよび並列計算機システムにおいて、Ｘ軸クロスバースイッチとＹ軸クロスバースイッチとの間の各パケット伝送路上に、上記Ｘ軸およびＹ軸クロスバースイッチからの受信パケットをＺ軸クロスバースイッチに選択的に転送するためのスイッチング装置を有することを特徴とする。
上記構成によれば、Ｙ軸クロスバースイッチの外部でＺ軸クロスバースイッチへの乗り換えが実行されるため、Ｙ軸クロスバースイッチＬＳＩには、Ｚ軸クロスバースイッチとの接続ピンが不要となり、これらの接続ピンをＸ軸クロスバースイッチとの接続用として有効に利用できる。また、Ｚ軸方向に隣接するノード間で通信を行う場合に、Ｘ軸クロスバースイッチからＹ軸クロスバースイッチを経由せずにＺ軸クロスバーにパケットを転送できるため、通信パケットが宛先ノードに到達する迄の所要時間を短縮できる。
【００１４】
本発明において、上記スイッチング装置は、例えば、異なる多次元クロスバーネットワーク間でのパケット交換用スイッチとしても適用される。本発明の第２実施例では、それぞれ多次元配列された複数の演算ノードを複数のＸ、Ｙ、Ｚ軸クロスバースイッチによって相互接続した第１、第２のクロスバーネットワークからなる多次元クロスバーネットワークにおいて、上記各クロスバーネットワークが、それぞれ３次元座標系で同一のＹ、Ｚ座標値をもつ複数の演算ノード間でＸ軸方向のパケット交換を行う複数のＸ軸クロスバースイッチと、３次元座標系で同一Ｚ軸座標値をもつ演算ノードを収容している複数のＸ軸クロスバースイッチ間でＹ軸方向のパケット交換を行う複数のＹ軸クロスバースイッチ群と、上記複数のＹ軸クロスバースイッチ群の間でＺ軸方向のパケット交換を行う複数のＺ軸クロスバースイッチとからなり、上記第１、第２のクロスバーネットワークにおける互いに対応した位置関係にある２つのＹ軸クロスバースイッチを該Ｙ軸クロスバースイッチとＺ軸クロスバースイッチとの間の各パケット経路上に配置された複数のスイッチングＬＳＩによって結合し、上記各スイッチングＬＳＩによって上記第１、第２のクロスバーネットワーク間のパケット交換を行うようにしたことを特徴とする。
【００１５】
この場合、スイッチングＬＳＩは、具体的には、上記２つのＹ軸クロスバースイッチに接続するための第１、第２入出力ポートと、発光素子と受光素子からなる第１、第２の光モジュールに接続するための第３、第４の入出力ポートと、上記第１、第２の入出力ポートからの受信パケットをヘッダ情報に従って上記第１、第２の入出力ポートのうちの他方、上記第３または第４の入出力ポートに選択的に出力すると共に、上記第３、第４の入出力ポートからの受信パケットをそれぞれ上記第１、第２の入出力ポートに転送するための手段とからなり、上記各Ｙ軸クロスバースイッチとＺ軸クロスバースイッチとの間のパケット伝送路の一部が上記各光モジュールに結合される光ファイバによって構成される。
【００１６】
本発明において、上記スイッチング装置は、例えば、多次元クロスバーネットワークにおける特定軸のクロスバースイッチに代わるパケット交換用スイッチとしても適用される。本発明の第３実施例では、それぞれ３次元座標系で同一のＹ、Ｚ座標値をもつ複数の演算ノード間でＸ軸方向のパケット交換を行うための複数のＸ軸クロスバースイッチと、それぞれ３次元座標系で同一Ｚ軸座標値をもつ演算ノードを収容している複数のＸ軸クロスバースイッチ間でＹ軸方向のパケット交換を行うための複数のＹ軸クロスバースイッチ群と、上記複数のＹ軸クロスバースイッチ群の間でＺ軸方向のパケット交換を行う複数のＺ軸クロスバースイッチング手段とからなる多次元クロスバーネットワークにおいて、上記各Ｚ軸クロスバースイッチング手段が、３次元座標系で同一のＸ軸座標値をもつ複数のＹ軸クロスバースイッチの互いに対応したＸ軸座標位置にある入出力ポートに接続される第１入出力ポート群と、それぞれ発光素子と受光素子とを含む複数の光モジュールに接続される第２入出力ポート群とを有する第１のスイッチングＬＳＩと、３次元座標系で同一のＸ軸座標値をもつ他の複数のＹ軸クロスバースイッチの互いに対応したＸ軸座標位置にある入出力ポートに接続される第１入出力ポート群と、それぞれ発光素子と受光素子とを含む複数の光モジュールに接続される第２入出力ポート群とを有する第２のスイッチングＬＳＩと、上記第１のスイッチングＬＳＩの第２入出力ポート群と上記第２のスイッチングＬＳＩの第２入出力ポート群との間にそれぞれ光モジュールを介して結合される複数対の光ファイバとからなることを特徴とする。上記構成によれば、ノード間接続コストを抑えて３次元クロスバーネットワークを構成できる。
【００１７】
【発明の実施の形態】
以下、本発明の実施例を図面を参照して説明する。
図１は、本発明による分散Exchanger方式の３次元クロスバーネットワークにおけるＸ、Ｙ、Ｚ軸方向のクロスバースイッチ間の接続関係を説明するための図である。
図において、２０はＸ軸クロスバースイッチ（ＬＳＩ）２１を搭載したＸ軸ボード、３０はＹ軸クロスバースイッチ（ＬＳＩ）３１を搭載したＹ軸ボード、４０はＺ軸クロスバースイッチ（ＬＳＩ）４１を搭載したＺ軸ボードを示す。
【００１８】
Ｌ×Ｍ×Ｎ個のノードを接続する３次元クロスバーネットワークを構成する場合、Ｘ軸ボード２０には、Ｘ軸上の座標値と対応するＬ個のノードボード１０が収容される。２２−１〜２２−Ｌは、これらのノードボードを接続するためのコネクタを示す。各コネクタ２２は、Ｘ軸ボードの表面あるいは内部に形成されたプリント配線によってＸ軸クロスバースイッチ２１の入出力ポートと結合されている。
【００１９】
各ノードボード１０は、図２に示すように、複数のＬＳＩからなる演算処理部１１と、ネットワークインタフェースＬＳＩ：１２と、これらのＬＳＩで共有して使用されるメモリＬＳＩ：１３と、メモリスイッチ１４とを有し、これらの回路要素によって演算ノードが形成されている。１５は、ボード端部に設けられたリード端子群であり、これらのリード端子をＸ軸ボード２０上のコネクタ２２−ｉに挿し込むことによって、演算ノードがＸ軸クロスバースイッチ２１の所定の入出力ポートに接続される。
演算処理部１１は、他の演算ノードにデータを送信するとき、メモリ１３の所定の領域に送信データと制御情報を設定した後、ネットワークインタフェースＬＳＩ：１２を起動する。起動されたネットワークインタフェースＬＳＩ：１２は、メモリ１３に用意された制御情報に従って送信データを読み出し、例えば、８バイト幅のパケットを生成して、Ｘ軸クロスバースイッチ２１に送出する。上記パケットのヘッダ部には、宛先アドレスとして、３次元クロスバーネットワークにおける宛先ノード位置を示すＸ、Ｙ、Ｚ座標値が設定される。
【００２０】
以下、宛先アドレス［ｉ，ｊ，ｋ］をもつパケットに着目して、図１の３次元クロスバーネットワーク上での転送動作を説明する。
Ｘ軸クロスバースイッチ２１は、上述したノードボード（演算ノード）１０を収容するためのＬ個の入出力ポートの他に、Ｙ軸クロスバースイッチ３１との接続線を収容するためのＬ個の外部入出力ポートを備える。Ｘ軸クロスバースイッチ２１とＹ軸クロスバースイッチ３１との接続には、例えば、同軸ケーブルからなる入出力線２００［１，ｙ，ｚ］〜２００［Ｌ，ｙ，ｚ］が利用される。
【００２１】
ここで、鍵括弧内に文字は、３次元クロスバーネットワークにおける演算ノードのアドレス（Ｘ、Ｙ、Ｚ座標値）を示しており、例えば、入出力線２００［１，ｙ，ｚ］には、コネクタ２２−１に接続されたアドレス［１，ｙ，ｚ］をもつ演算ノードから出力された他の演算ノード宛の送信パケット、あるいは他の演算ノードから上記アドレス［１，ｙ，ｚ］をもつ演算ノード宛の受信パケットが流れることを意味している。また、座標値［ｙ，ｚ］は、Ｘ軸クロスバースイッチ２１に収容された演算ノード群に共通するＹ、Ｚ座標値であり、Ｘ軸クロスバースイッチ２１には、上記座標値［ｙ，ｚ］がボードアドレスとして予め設定されている。
【００２２】
Ｘ軸クロスバースイッチ２１は、収容している何れかの演算ノードから宛先アドレス［ｉ，ｊ，ｋ］のパケットを受信すると、パケットヘッダの宛先Ｘ座標に従って、第ｉポートにスイッチングする。また、受信パケットの宛先Ｙ、Ｚ座標ｊ、ｋを上記Ｘ軸ボードアドレスと比較し、Ｙ軸上またはＺ軸上でのスイッチングを要する受信パケットについては、上記第ｉポートの外部入出力線、例えば、２００［ｉ，ｙ，ｚ］に送出する（ｉ＝宛先Ｘ座標値）。宛先Ｙ、Ｚ座標値ｊ、ｋがボードアドレス［ｙ，ｚ］と一致し、Ｙ軸、Ｚ軸上でのスイッチングを必要としないパケットについては、第ｉポートのノードボード側（コネクタ２２−ｉ）に送出する。
【００２３】
Ｙ軸ボード３０は、図３、図４で後述するように、３次元クロスバーネットワークのＺ座標値毎に、Ｘ座標と対応してＬ個ずつ用意され、それぞれボードアドレスとして特定のＸ、Ｚ座標値が割り当てられている。各Ｙ軸ボードには、Ｙ軸クロスバースイッチ３１と、３次元クロスバーネットワークのＹ座標と対応したＭ個のスイッチングＬＳＩ：３２−１〜３２−Ｍとが搭載されている。
本実施例において、各スイッチングＬＳＩ：３２は、Ｘ軸、Ｙ軸のクロスバースイッチ間でＺ軸クロスバースイッチ方向にパケットを分岐し、分岐パケットについて光伝送のためのインタフェース変換を行うためのものであり、以下の説明では、インタフェース変換ＬＳＩと呼ぶことにする。
【００２４】
Ｘ軸クロスバースイッチ２１から入出力線２００［ｉ，ｙ，ｚ］に送出されたパケットは、Ｘ、Ｚ座標値［ｉ，ｚ］をボードアドレスとするＹ軸ボード３０の第ｙ番目のインタフェース変換ＬＳＩ：３２−ｙに入力される。上記インタフェース変換ＬＳＩ：３２−ｙは、入出力配線２００［ｉ，ｙ，ｚ］からの受信パケットの宛先アドレスをチェックし、Ｙ軸上でのスイッチングを必要としないパケット、即ち、宛先Ｙ座標値ｊが上記インタフェース変換ＬＳＩ：３２−ｙのＹ座標ｙに一致したパケットは、レーザー発光素子３３Ｔ−ｙと受光素子３３Ｒ−ｙとからなる光モジュール３３−ｙに接続された入出力線３２０−ｙ（＝３２０−ｊ）に送出し、Ｙ軸上でのスイッチングを要するパケット、すなわち、宛先Ｙ座標値ｊがインタフェース変換ＬＳＩのＹ座標値ｙに一致しないパケットは、Ｙ軸クロスバースイッチ３１に接続された入出力線３１０−ｙに出力する。
【００２５】
入出力線３１０−ｙに出力されたパケットは、Ｙ軸クロスバースイッチ３１によって、宛先Ｙ座標値ｊと対応した第ｊ番目のインタフェース変換ＬＳＩ：３２１―ｊにスイッチングされる。上記インタフェース変換ＬＳＩ：３２−ｊは、Ｙ軸クロスバースイッチ３１からの受信パケットについて宛先アドレスをチェックし、Ｚ軸上でのスイッチングを必要としないパケット、すなわち、宛先Ｚ座標値ｋがＹ軸ボードアドレスのＺ座標値ｚと一致したパケットについては、入出力線２００［ｉ，ｊ，ｚ］に出力し、Ｚ軸上でのスイッチングを要するパケットは、入出力回線３２０−ｊに出力する。
入出力線３２０−ｊに出力されたパケットは、レーザー発光素子３３Ｔ−ｊで光信号に変換され後、入出力線（光ファイバ）３００［ｉ，ｊ，ｚ］に送出される。上記入出力線（光ファイバ）３００［ｉ，ｊ，ｚ］は、ボードアドレスとしてＸ、Ｙ座標値［ｉ，ｊ］をもつＺ軸ボード４０に接続されている。
【００２６】
各Ｚ軸ボード４０は、Ｚ軸クロスバースイッチ４１と、３次元クロスバーネットワークのＺ座標値と対応したＮ個のインタフェース変換ＬＳＩ：４２−１〜４２−Ｎとを有し、各インタフェース変換ＬＳＩ：４２−ｑ（ｑ＝１〜Ｎ）は、Ｚ軸クロスバースイッチ４１に接続された入出力線４１０−ｑと、レーザー発光素子４３Ｔ−ｑと受光素子４３Ｒ−ｑとを含む光モジュール４３−ｑに接続された入出力線４２０−ｑとを備えている。
【００２７】
Ｙ軸ボード３０上のインタフェース変換ＬＳＩ：３２とは異なり、Ｚ軸ボード４０上の各インタフェース変換ＬＳＩ：４２の入出力ポートは、Ｚ軸クロスバースイッチ側と光モジュール側の２つとなっている。このため、Ｙ軸ボード３０から入出力線（光ファイバ）３００［ｉ，ｊ，ｚ］に光信号として送出されたパケットは、Ｚ軸ボード４０側の受光素子４３Ｒ−ｚで電気信号に変換された後、無条件で入出力線４１０−ｚに転送され、Ｚ軸クロスバースイッチ４１に入力される。Ｚ軸クロスバースイッチ４１は、上記パケットを宛先Ｚ座標値ｋに対応した第ｋインタフェース変換ＬＳＩ：４２−ｋにスイッチングする。
上記第ｋインタフェース変換ＬＳＩ：４２−ｋは、Ｚ軸クロスバースイッチ４１からの入力パケットを入出力線４２０−ｋに転送する。従って、上記パケットは、レーザー発光素子４３Ｔ−ｋで光信号に変換された後、光ファイバ３００［ｉ，ｊ，ｋ］に送出される。
【００２８】
上記光ファイバ３００［ｉ，ｊ，ｋ］は、ボードアドレスとしてＸ、Ｚ座標値［ｉ，ｋ］をもつＹ軸ボード３０の第ｊインタフェース変換ＬＳＩ：３２−ｊの光モジュールに接続されている。この時点では、受信パケットの宛先Ｘ、Ｚ座標は、上記Ｙ軸ボードのボードアドレス［ｉ，ｋ］と既に一致しており、且つ、宛先Ｙ座標ｊが上記第ｊインタフェース変換ＬＳＩ：３２−ｊのアドレスｊと一致しているため、Ｙ軸クロスバースイッチ３１でスイッチングする必要はない。このため、上記受信パケットは、上記Ｙ軸ボード上の第ｊインタフェース変換ＬＳＩ：３２−ｊによって入出力線２００［ｉ，ｊ，ｋ］に出力される。
上記入出力線２００［ｉ，ｊ，ｋ］は、ボードアドレスとしてＹ、Ｚ座標値［ｊ，ｋ］をもつＸ軸ボード２０のＸ軸クロスバースイッチ２１に接続されている。上記Ｘ軸クロスバースイッチ２１は、入出力配線２００［ｉ，ｊ，ｋ］からの上記パケットを受信すると、これを第ｉコネクタ２２−ｉが接続された第ｉポートに送出する。これによって、上記パケットは、パケットヘッダの宛先アドレス［ｉ，ｊ，ｋ］に対応した演算ノードで受信処理されたことになる。
【００２９】
図３は、同一のＺ座標値ｚをもつＸ軸クロスバースイッチ群とＹ軸クロスバースイッチ群との接続関係を示す。ここでは、図面の簡略化のために、各インタフェース変換ＬＳＩに接続される光モジュールは省略してある。
Ｌ×Ｍ×Ｎ個の演算ノードからなる３次元クロスバーネットワークの各ＸＹ平面を構成する２次元クロスバーネットワークは、Ｙ座標値と対応して用意されたＭ個のＸ軸ボード２０−１〜２０−Ｍと、Ｘ座標値と対応して用意されたＬ個のＹ軸ボード３０−１〜３０−Ｌとからなる。Ｘ軸ボード２０−１〜２０−Ｍ上のＭ個のＸ軸クロスバースイッチ２１−１〜２１−Ｍで形成されるＬ×Ｍ個の外部入出力ポートのうち、同一のＸ座標値ｉをもつＭ個の入出力ポートが、入出力線２００［ｉ，１，ｚ］〜２００［ｉ，Ｍ，ｚ］を介して、ボードアドレス［ｉ，ｚ］をもつＹ軸ボード３０−ｉ上のクロスバースイッチ３１−ｉに接続される。
【００３０】
Ｙ軸ボード３０−１〜３０−Ｌ上の各インタフェース変換ＬＳＩには、夫々に接続された入出力線２００［ｉ，１，ｚ］〜２００［ｉ，Ｍ，ｚ］と対応したアドレスを割り当てることができる。以下の説明では、Ｙ軸ボード３０−ｉ上の配線２００［ｉ，ｊ，ｚ］と接続されたインタフェース変換ＬＳＩは、符号３２［ｉ，ｊ，ｚ］、上記インタフェース変換ＬＳＩの光モジュール３３、３４に接続された光信号入出力線（光ファイバ）は、符号３００［ｉ，ｊ，ｚ］で示すことにする。
【００３１】
図４は、複数のＸＹ平面を統合するＺ軸ボード４０とＹ軸ボード３０との間の接続関係を示す。
図において、３０−１−１〜３０−Ｌ−１は、Ｚ座標値が「１」のＹ軸ボード群、３０−１−２〜３０−Ｌ−２は、Ｚ座標値が「２」のＹ軸ボード群を示し、３０−１−Ｎ〜３０−Ｌ−Ｎは、Ｚ座標値が「Ｎ」のＹ軸ボード群を示す。また、各Ｙ軸ボードとＺ軸ボードとの接続関係を光信号入出力線３００［１，１，１］〜３００［Ｌ，Ｍ，Ｎ］によって示す。
光信号入出力線３００に付されたアドレス値から明らかなように、３次元クロスバーネットワークの構成に必要なＺ軸ボード４０の枚数は、Ｘ、Ｙ座標値の組み合わせ数に対応しており、各Ｚ軸ボードは、Ｎ層のＸＹ平面から引き出された同一Ｘ、Ｙ座標値をもつ入出力線３００間でパケット交換できるように、それぞれ特定のＹ軸ボード群と結合されている。
【００３２】
図５は、Ｙ軸ボード３０上に搭載され、Ｙ軸クロスバースイッチ３１とＺ軸クロスバースイッチ４１との間でのパケット交換機能を備えるインタフェース変換ＬＳＩ：３２の１実施例を示す。
インタフェース変換ＬＳＩ：３２は、Ｘ軸クロスバースイッチ２１と接続する入出力線２００を収容するための第１入出力ポート５１Ａと、Ｙ軸クロスバースイッチ３１と接続する入出力線３１０を収容するための第２入出力ポート５１Ｂと、光モジュール３３と接続する入出力線３２０を収容するための第３入出力ポート５１Ｃとを有し、上記各入出力ポートは入力ポートＩＮと出力ポートＯＵＴを備える。
ＣＬＫ１は、Ｘ軸ボード２０とＹ軸ボード３０間の電気信号によるデータ転送のための基準クロックを示し、ＣＬＫ２は、Ｙ軸ボード３０とＺ軸ボード４０間の光信号によるデータ転送のための基準クロックを示す。ＰＬＬ回路６０と６１は、それぞれ上記クロックＣＬＫ１、ＣＬＫ２に同期した内部クロックを発生する。
【００３３】
第１入出力ポート５１Ａの入力ポートＩＮで受信されたパケット信号は、位相調整回路５２Ａを経てデータバッファ５３Ａに入力される。上記位相調整回路５２Ａは、ＰＬＬ回路６０で生成される内部クロックに基づいて入力信号の位相を調整し、入力ポートＩＮから入力されたパケット信号を、例えば、８バイト幅のデータとして上記データバッファ５３Ａに蓄える。
上記第１入出力ポート５１Ａの出力ポートＯＵＴには、後述するように、セレクタ５５Ａで選択された第２、第３入出力ポートからの入力パケットが出力される。尚、上記セレクタ５５Ａの選択動作は、出力制御回路５６Ａによって制御されている。以下の説明では、入出力線２００と対応する回路要素５１Ａ〜５６Ａからなる回路部分を第１インタフェースユニットと呼び、入出力線３１０、３２０と対応する同様の回路部分を第２、第３インタフェースユニットと呼ぶことにする。
【００３４】
入力パケット制御回路５４Ａは、位相調整回路５２Ａの出力を監視し、パケットの先頭を示すスタートフラグを識別して、パケットヘッダの所定位置に設定された宛先Ｙ座標を抽出する。上記入力パケット制御回路５４Ａは、各パケットから抽出した宛先Ｙ座標値と、予め記憶されている各インタフェース変換ＬＳＩ：３０に固有のＹ座標値とを比較し、Ｙ座標値が一致した場合は、第３インタフェースユニットの出力制御回路５６Ｃに、また、Ｙ座標値が一致しない場合は、第２インタフェースユニットの出力制御回路５６Ｂに対して、それぞれパケットの出力許可要求信号ＲＥＱ１を送り、出力制御回路５６Ｂまたは５６Ｃが返送するパケット出力許可信号Ｃ２０またはＣ３０に応答して、データバッファ５３Ａ内のパケットを内部バス６２Ａに出力する。上記内部バス６２Ａは、第２インタフェースユニットの出力セレクタ５５Ｂと、第３インタフェースユニットの出力セレクタ５５Ｃに接続されている。
【００３５】
第２インタフェースユニットも、上記第１インタフェースユニットと同様に、位相調整回路５２Ｂ、データバッファ５３Ｂ、入力パケット制御回路５４Ｂ、セレクタ５５Ｂ、出力制御回路５６Ｂを備えている。
第２インタフェースユニットの入力ポートＩＮには、Ｙ軸クロスバースイッチ３１によってＹ軸方向のスイッチングを終えたパケットが入力されるため、入力パケット制御回路５４Ｂでは、入力パケットのヘッダから宛先Ｚ座標値を抽出し、これを予め記憶されているボードアドレスのＺ座標値とを比較する。
Ｚ座標値が一致した場合は、第１インタフェースユニットの出力制御回路５６Ａに、また、Ｚ座標値が一致しない場合は、第３インタフェースユニットの出力制御回路５６Ｃにパケットの出力許可要求信号ＲＥＱ２を送り、出力制御回路５６Ａまたは５６Ｃが返送するパケット出力許可信号Ｃ１０またはＣ３０に応答して、データバッファ５３Ｂ内のパケットを内部バス６２Ｂに出力する。上記内部バス６２Ｂは、第１インタフェースユニットの出力セレクタ５５Ａと、第３インタフェースユニットの出力セレクタ５５Ｃに接続されている。
【００３６】
第３インタフェースユニットは、データバッファ５３Ｃ、入力パケット制御回路５４Ｃ、セレクタ５５Ｃ、出力制御回路５６Ｃの他に、同期化回路５７、５８と、データ幅変換回路５９を備えている。出力制御回路５６Ｃは、要求信号ＲＥＱ１またはＲＥＱ２を受信すると、要求発生順にパケット出力許可信号Ｃ３０を返送し、セレクタ５５Ｃを切替えることによって、要求元と対応する内部バス６２Ａまたは６２Ｂのパケットデータを同期化回路５７に取り込む。
同期化回路５７は、ＰＬＬ回路６１が発生する内部クロックに同期して動作し、第３入出力ポート５１Ｃにおけるデータ送信を外部クロックＣＬＫ２に同期させる。上記同期化回路５７から出力された８バイト幅のパケットは、データ幅変換回路５９によって、例えば、２２ビット幅のパケットデータに変換された後、第１、第２入出力ポートにおけるデータ転送の４倍の速度（周波数）で出力ポートＯＵＴから送出される。出力ポートＯＵＴから送出されたパケットデータは、レーザ発光素子３３Ｔで光信号に変換され、光ファイバ３００を介してＺ軸ボード４０に送られる。尚、上記入出力ポート５１Ｃと、レーザ発光素子３３Ｔおよび受光素子３３Ｒを含む光モジュール３３との間では、上記パケットデータの他に同期クロックも送受信される。
【００３７】
Ｚ軸クロスバースイッチ４１でＺ軸方向のスイッチングを終えたパケットは、光ファイバ３００を介して受光素子３３Ｒに入力され、電気信号に変換された後、上記第３入出力ポート５１Ｃの入力ポートＩＮに入力される。入力ポートＩＮで受信されたパケットデータは、データ幅変換回路５９で８バイト幅に変換された後、同期化回路５８を経て、データバッファ５３Ｃに蓄積される。尚、同期化回路５８は、ＰＬＬ回路６０が発生する内部クロックに同期して動作している。
【００３８】
入力パケット制御回路５４Ｃは、同期化回路５８からデータバッファ５３Ｃに供給されるパケットデータを監視し、パケットヘッダの宛先Ｙ座標を抽出して、予め記憶されているインタフェース変換ＬＳＩ：３０に固有のＹ座標値とを比較する。Ｙ座標値が一致した場合は、第１インタフェースユニットの出力制御回路５６Ａに、また、Ｙ座標値が一致しない場合は、第２インタフェースユニットの出力制御回路５６Ｂに対して、それぞれパケットの出力許可要求信号ＲＥＱ３を送り、出力制御回路５６Ａまたは５６Ｂが返送するパケット出力許可信号Ｃ１０またはＣ２０に応答して、データバッファ５３Ｃから内部バス６２Ｃにパケットデータを出力する。
内部バス６２Ｃは、第１インタフェースユニットの出力セレクタ５５Ａと、第２インタフェースユニットの出力セレクタ５５Ｂに接続されている。尚、第３入出力ポート５１Ｃで入出力されるパケットは、既にＹ軸方向のスイッチングを終えた状態となっているため、実際の動作において、入力パケットが第２インタフェースユニットに転送されることはない。
【００３９】
第１、第２インタフェースユニットにおける出力セレクタ５５Ａ、５５Ｂも、セレクタ５５Ｃと同様に、それぞれ出力制御回路５６Ａ、５６Ｂによって制御され、内部バス６２Ｂと６２Ｃ、６２Ａと６２Ｃの中からパケット出力を許可された内部バス選択する。
上記構成によって、上記インタフェース変換ＬＳＩ：３２は、第１、第２、第３の３つのインタフェースユニット間で、受信パケットの宛先アドレスと該ＬＳＩの固有アドレスとの関係に応じたパケット転送動作を行うことができ、これをＹ軸ボードに適用することによって、図１で説明した３次元配列の任意の演算ノード間のパケット転送が可能となる。
【００４０】
上記インタフェース変換ＬＳＩでは、電気信号インタフェース側で使用する同期クロックＣＬＫ１と、光信号インタフェース側で使用する同期クロックＣＬＫ２とを独立させ、Ｘ軸クロスバースイッチとＹ軸クロスバースイッチとの間ではクロックＣＬＫ１に同期した電気信号によってパケット転送し、Ｙ軸ボードとＺ軸ボードとの間ではクロックＣＬＫ２に同期した光信号でパケット転送するようになっているため、位相調整回路５２に必要な同期クロックＣＬＫ１の分配範囲を、例えば、同軸ケーブルで分配容易な範囲に局所化することができる。
【００４１】
従って、上記インタフェース変換ＬＳＩを使用すれば、同一クロック源による同期クロック分配範囲、例えば、１群のＸ、Ｙボードで構成されるＬ×Ｍ個の演算ノードを含むクロスバーネットワークを単位として、クロック源の異なる複数のクロスバーネットワーク間を容易に相互接続できる。また、小規模クロスバーネットワークの需要には上記Ｌ×Ｍ個の演算ノードからなる基本ユニットで対処し、必要に応じてＺ軸ボードと光ファイバによる接続ユニット数を増加することによって、需要に応じたクロスバーネットワーク規模の拡張（ノード数の増設）が極めて容易になる。
【００４２】
図６は、インタフェース変換ＬＳＩ：３２の実用的な形態の１例を示す。
ここに示した例では、図５で説明した回路構成を同一ＬＳＩ基板上に２組搭載し、５１Ａ−１、５１Ｂ−１、５１Ｃ−１を入出力ポートとする第１の回路部と、５１Ａ−２、５１Ｂ−２、５１Ｃ−２を入出力ポートとする第２の第２の回路部で、ＰＬＬ回路６０と６１を共用するようにしている。
このように、図５の回路構成を同一ＬＳＩ基板上に複数組搭載し、Ｙ軸ボード３０上でのインタフェース変換ＬＳＩ：３２の占有面積を減らすことによって、３次元クロスバーネットワークの小型化と、接続ノード数の増加が可能となる。
【００４３】
Ｚ軸ボード４０に搭載されるインタフェース変換ＬＳＩ：４１は、図５の回路構成において、入出力線２００に接続される第１インタフェースユニットが不要となり、Ｚ軸クロスバースイッチに接続される第２インタフェースユニットと、光モジュール３３に接続される第３インタフェースユニットのみが必要となる。この場合、内部バス上での出力パケットの競合が発生しないため、各インタフェースユニットは、入力パケット制御回路５４Ｂ、５４Ｃ、セレクタ５５Ｂ、５５Ｃ、出力競合制御回路５６Ｂ、５６Ｃを省略した簡単な回路構成を採用できる。上記Ｚ軸ボード用のインタフェース変換ＬＳＩ：４１についても、図６と同様、同一ＬＳＩ基板上に複数組の回路部を搭載した装置構成を採用できる。
【００４４】
図７は、Ｙ軸クロスバースイッチ３１の主要部の構成を示す。
Ｙ軸クロスバースイッチ３１は、入出力線３１０−ｊ（ｊ＝１〜Ｍ）と対応した複数のインタフェースユニット７０−ｊをデータバスと制御線で相互接続した構成となっている。Ｘ軸クロスバースイッチ４１もこれと同様の構造をもつ。
【００４５】
各インタフェースユニット７０−ｊは、入出力線３１０−ｊを接続するための入出力ポート５１と、位相調整回路５２と、データバッファ５３と、入力パケット制御回路５４と、セレクタ５５と、出力制御回路５６、クロックＣＬＫ１に同期した内部クロックを発生するＰＬＬ回路６０とからなり、図５で説明したインタフェース変換ＬＳＩ３２における第１、第２のインタフェースユニットと類似した機能を備える。
即ち、入力パケット制御回路５４は、位相調整回路からデータバッファ５３に入力されるパケットデータを監視し、パケットヘッダから宛先Ｙ座標を抽出すると、上記宛先Ｙ座標値ｑに対応した第ｑインタフェースユニットの出力制御回路に接続された制御線７２Ａ−ｑに、パケット出力許可の要求信号ＲＥＱを発行する。この状態で、上記第ｑインタフェースユニットから、制御線７３Ａ−ｑを介して出力許可信号ＣＮＴを受信すると、入力パケット制御回路５４は、データバッファ５３からデータバス７１にパケットデータを出力する。
【００４６】
上記データバス７１は、各インタフェースユニットに専用のバスとなっており、セレクタ５５には、インタフェースユニットの個数と対応した複数のバスが接続されている。上記セレクタ５５を制御する出力制御回路５６は、制御線７２Ｂと７３Ｂを介して、他の複数のインタフェースユニット７０−ｊ（ｊ＝１〜Ｍ−１）の入力パケット制御回路５４に接続されている。
出力制御回路５６は、何れかの制御線７２Ｂ−ｋから要求信号ＲＥＱを受信すると、これに対応する制御線７３Ｂ−ｋに出力許可信号ＣＮＴを返送し、制御線７２Ｂ−ｋと対応するバス７１−ｋが選択されるようにセレクタ５５を制御する。制御線７２Ｂから複数の要求信号ＲＥＱを受信した場合、出力制御回路５６は、所定のアルゴリズム、例えば、要求信号発生順に選ばれた制御線７３Ｂ−ｋに対して出力許可信号ＣＮＴを返送する。
【００４７】
図８は、Ｙ軸クロスバースイッチ３１の実用的な１実施例を示す。
図１に示したＹ軸クロスバースイッチ３１は、各インタフェース変換ＬＳＩ３２との間で、例えば、８バイト単位でパケットデータを送受信する。この場合、図７に示した各インタフェースユニット７０−ｊの入出力ポート５１に８バイト分の外部接続ピンが必要となる。また、各インタフェースユニット間の接続バス７１に各々８バイト幅の信号線が必要となるため、ＬＳＩの構造が複雑化し、ポート数の増加が困難となる。
図８に示した実施例は、Ｙ軸クロスバースイッチ３１をＬＳＩ化した場合に必要となる外部接続ピン数を少なくし、構造を簡素化することによってＬＳＩ化を容易にしたものであり、各入出力ポートが２バイト幅でパケットデータを送受信できるように、Ｙ軸クロスバースイッチ３１をＬＳＩ：３１Ａ〜３１Ｄに４分割（バイトスライス構造）したことを特徴としている。
【００４８】
Ｙ軸クロスバースイッチ３１に上記構造を採用した場合、図５に示した各インタフェース変換ＬＳＩ：３２の第２入出力ポート５１Ｂにおいて、入力ポートＩＮと出力ポートＯＵＴに接続される入出力線３１０をそれぞれ２バイト幅をもつ第１〜第４の入出力線に分割し、図８に示すように、上記各ＬＳＩ：３１Ａ〜３１Ｄに２バイト幅で並列的に入出力するようにしておく。また、各クロスバースイッチ３１が２バイト幅のパケットを受信して経路選択できるようにするため、各パケットヘッダには、宛先ノードアドレスやデータ長等の情報を予め４重化して与えておく。上記分割構造は、Ｘ軸クロスバースイッチ４１も同様に適用できる。
【００４９】
多数のＬＳＩと入出力線（ケーブル）接続用外部コネクタの搭載を必要とするＹ軸ボード３０およびＺ軸ボード４０は、例えば、多層プリント配線基板の表面側に、クロスバースイッチＬＳＩ：３１（３１Ａ〜３１Ｄ）と、入出力線（例えば、同軸ケーブル）２００を接続するためのコネクタ群とを配置し、上記基板の裏面側に、インタフェース変換ＬＳＩ群３２と、それぞれ複数の光モジュール３３を搭載した光ボード接続用のコネクタとを搭載し、各インタフェース変換ＬＳＩ：３２とクロスバースイッチＬＳＩ：３１との接続（入出力線３１０）と、上記入出力線接続コネクタ群とインタフェース変換ＬＳＩ群３２との間の接続は、上記基板を貫通して一方の面から他方の面に延びて形成されるプリント配線によって達成する。
【００５０】
Ｙ軸ボードの構成に必要なその他の回路要素、例えば、上記クロスバースイッチＬＳＩ：３１にデータ転送用クロック信号を分配するためのＬＳＩは基板表面に、上記光モジュール３３にクロック信号を分配するためのＬＳＩは基板裏面に、上記クロスバースイッチＬＳＩ：３１およびインタフェース変換ＬＳＩ：３２に初期値を設定するために必要なＬＳＩと、終端抵抗やノイズ低減用のコンデンサは基板の両面に配置し、上記何れかの面に電源ボード搭載用コネクタを搭載すればよい。
【００５１】
図９は、本発明による分散Exchanger方式の３次元クロスバーネットワークの第２の実施例を示す。
本実施例は、図１〜図４で説明した３次元クロスバーネットワークを２組使用し、Ｙ軸ボード３０とＺ軸ボード４０の間に、図１０で後述する４つのインタフェースユニット間のスイッチング機能を備えるスイッチングＬＳＩ：８０を介在させることによって、第１クロスバーネットワークから第２クロスバーネットワークに、あるいはその逆方向にパケット転送を可能としたものである。
【００５２】
図９において、符号Ａが付されたＸ軸クロスバースイッチ２１Ａ−１〜２１Ａ−Ｍ、Ｙ軸クロスバースイッチ３１Ａ、Ｚ軸クロスバースイッチ４１Ａ−１〜４１Ａ−Ｍは、第１クロスバーネットワークを構成し、符号Ｂが付されたＸ軸クロスバースイッチ２１Ｂ−１〜２１Ｂ−Ｍ、Ｙ軸クロスバースイッチ３１Ｂ、Ｚ軸クロスバースイッチ４１Ｂ−１〜４１Ｂ−Ｍは、第２クロスバーネットワークを構成している。上記Ｙ軸クロスバースイッチ３１Ａ、３１Ｂは、それぞれ図４に示したＹ軸ボード３０−１−１〜３０−Ｌ−Ｎのうちの１つに相当する。
【００５３】
図９において、インタフェース変換ＬＳＩ：４２−１〜４２−Ｍは、１つのＬＳＩ基板に２ポート分の回路を含んでおり、実質的には、Ｚ軸クロスバースイッチ４１Ａ−１〜４１Ａ−Ｍ用のＬＳＩ群と、Ｚ軸クロスバースイッチ４１Ｂ−１〜４１Ｂ−Ｍ用のＬＳＩ群とに分かれている。
本実施例では、Ｘ軸クロスバースイッチ群に接続される各演算ノードに、ノードアドレスとして、３次元クロスバーネットワークにおける座標値［ｘ，ｙ，ｚ］と、各ノードが所属する３次元クロスバーネットワークの識別子（セット識別子）［ｔ］を与えておき、演算ノードと対応したＸ軸クロスバースイッチの各入出力線２００が［ｘ，ｙ，ｚ，ｔ］のアドレスをもつようにする。また、各演算ノードから送信されるパケットのヘッダには、宛先アドレスとして、宛先ノードの座標値とネットワーク識別子を設定する。ここでは、第１、第２のクロスバーネットワークの識別子ｔをそれぞれＡ、Ｂで表すことにする。
【００５４】
Ｙ軸クロスバースイッチ３１Ａ、３１Ｂは、それぞれＸ軸クロスバースイッチに接続するための第１の入出力ポート群と、Ｚ軸クロスバースイッチに接続するための第２の入出力ポート群を備え、第１の入出力ポート群は、入出力線２００によってＸ軸クロスバースイッチの入出力ポートに直結され、第２の入出力ポート群は、入出力線群３４０Ａまたは３４０Ｂによって、スイッチングＬＳＩ：８０−１〜８０−Ｍの第１または第２入出力ポートに接続される。
上記Ｙ軸クロスバースイッチ３１Ａ、３１Ｂでは、Ｘ軸クロスバースイッチから受信したパケットの宛先Ｙ座標に従ってＹ軸方向のスイッチングを行い、Ｚ軸方向またはネットワーク間スイッチングを要するパケットについては、スイッチングＬＳＩ側の出力ポートに送出し、これらのスイッチングを必要としないパケットについては、Ｘ軸クロスバースイッチ側の出力ポートに送出する。
【００５５】
上記各スイッチングＬＳＩ：８０―ｉ（ｉ＝１〜Ｍ）は、Ｙ軸クロスバースイッチ３１Ａから受信したパケットの宛先アドレスをチェックし、宛先ネットワーク識別子ｔが予め上記受信パケットの入力ポートに割り当てられたネットワーク識別子と異なる場合には、ネットワーク間のスイッチングを行ない、Ｚ軸方向のスイッチングを要するパケットは、光モジュール８３側の出力ポートに送出し、Ｚ軸方向のスイッチングを必要としないパケットは、他方のネットワークに属したＹ軸クロスバースイッチ側の出力ポートに送出する。上記光モジュール８３は、光ファイバによってＺ軸ボード上の光モジュール４３に接続されているため、前述した第１実施例と同様に、Ｚ軸クロスバースイッチ４１Ａまたは４１ＢによるＺ軸方向のスイッチングが可能となる。
【００５６】
図１０は、スイッチングＬＳＩ：８０の構成を示す。
スイッチングＬＳＩ：８０は、Ｙ軸クロスバースイッチ３１との間でパケットを送受信する２つのインタフェースユニット８１Ａ、８１Ｂと、光モジュール８３に接続される２つのインタフェースユニット８１Ｃ、８１Ｄとからなり、これらのインタフェースユニット間でパケット交換を行う。図９に示したクロスバーネットワークに適用した場合、インタフェースユニット８１Ａと８１Ｃが第１クロスバーネットワーク用、インタフェースユニット８１Ｂと８１Ｄが第２クロスバーネットワーク用となる。
インタフェースユニット８１Ａと８１Ｂは、図５で説明したインタフェース変換ＬＳＩ：３２の第１インタフェースユニットと同様の構成要素からなり、インタフェースユニット８１Ｃと８１Ｄは、上記インタフェース変換ＬＳＩの第３インタフェースユニットと同様の構成要素からなっている。
【００５７】
スイッチングＬＳＩ：８０を図９のクロスバーネットワークに適用する場合、インタフェースユニット８１Ａの入力パケット制御回路５４Ａで、入力ポートＩＮから入力された受信パケットのヘッダから宛先Ｚ座標値ｚと宛先ネットワーク識別子ｔを抽出し、予め記憶している固有のＺ座標値およびネットワーク識別子（この例ではＡ）と比較する。
宛先Ｚ座標値ｚと宛先ネットワーク識別子ｔの双方が固有値と不一致の場合は、第２クロスバーネットワーク用の光モジュール側のインタフェースユニット８１Ｄの出力制御回路５６Ｄにパケット出力許可要求を出し、出力許可信号を待って、データバッファ５３Ａから内部バス６３Ａにパケットを出力する。
宛先Ｚ座標値ｚが一致し、宛先ネットワーク識別子ｔが不一致の場合は、第２クロスバーネットワーク用のＸ軸クロスバースイッチ側のインタフェースユニット８１Ｂの出力制御回路５６Ｂに、宛先Ｚ座標値ｚが不一致で、宛先ネットワーク識別子ｔが一致した場合は、第１クロスバーネットワーク用の光モジュール側のインタフェースユニット８１Ｃの出力制御回路５６Ｃにパケット出力許可要求を出し、出力許可信号を待って、データバッファ５３Ａから内部バス６３Ａにパケットを出力する。
【００５８】
インタフェースユニット８１Ｂの入力パケット制御回路５４Ｂは、固有値として入力パケット制御回路５４Ａとは異なるネットワーク識別子（この例ではＢ）を記憶している。入力パケット制御回路５４Ｂは、受信パケットの宛先Ｚ座標値ｚと宛先ネットワーク識別子ｔの双方が固有値と不一致の場合は、第１クロスバーネットワーク用の光モジュール側のインタフェースユニット８１Ｃの出力制御回路５６Ｃに、宛先Ｚ座標値ｚが一致し、宛先ネットワーク識別子ｔが不一致の場合は、第１クロスバーネットワーク用のＸ軸クロスバースイッチ側のインタフェースユニット８１Ａの出力制御回路５６Ａに、宛先Ｚ座標値ｚが不一致で、宛先ネットワーク識別子ｔが一致した場合は、第２クロスバーネットワーク用の光モジュール側のインタフェースユニット８１Ｄの出力制御回路５６Ｄに、パケット出力許可要求を出す。そして、出力制御回路５６Ａ、５６Ｃまたは５６Ｄからの出力許可信号を待って、データバッファ５３Ｂから内部バス６３Ｂにパケットを出力する。
【００５９】
インタフェースユニット８１Ｃと８１Ｄの入力ポートＩＮには、既にＹ軸、Ｚ軸方向およびネットワーク間のスイッチングを完了したパケットが入力されるため、受信パケットをそれぞれＹ軸クロスバースイッチ側のインタフェースユニット８１Ａ、８１Ｂに転送すればよい。従って、インタフェースユニット８１Ｃと８１Ｄの入力パケット制御回路５４Ｃ、５４Ｄは、入力ポートＩＮからパケットが入力された時、それぞれ転送先インタフェースユニットの出力制御回路５６Ａ、５６Ｂにパケット出力許可要求を出し、出力許可信号を待って、データバッファ５３Ｃ、５３Ｄから内部バス６３Ｃ、６３Ｄにパケットを出力すればよい。しかしながら、図１０に示した実施例では、スイッチングＬＳＩ：８０の用途を汎用化するため、内部バス６３Ｃと６３Ｄをインタフェースユニット８１Ａ、８１Ｂの双方の出力セレクタ５５Ａ、５５Ｂに接続し、パケット転送先を選択できるようにしてある。
【００６０】
インタフェースユニット８１Ａ、８１Ｂでは、それぞれのセレクタ５５Ａ、５５Ｂに他の３つのインタフェースユニットの内部バスを接続し、そのうちの１つを出力制御回路５６Ａ、５６Ｂで選択することによって、３つの入力ポートからの受信パケットを出力ポートＯＵＴに選択的に送出できるようになっている。また、インタフェースユニット８１Ｃ、８１Ｄでは、それぞれのセレクタ５５Ｃ、５５ＤにＹ軸クロスバースイッチ側の２つの内部バス６３Ａ、６３Ｂを接続し、そのうちの１つを出力制御回路５６Ｃ、５６Ｄで選択することによって、２つの入力ポートからの受信パケットを出力ポートＯＵＴに選択的に送出できるようになっている。
【００６１】
上記第２実施例の構成によれば、スイッチングＬＳＩ：８０を４次元目のスイッチとして利用し、Ｚ軸クロスバースイッチを２組の３次元クロスバーネットワークで共用させることによって、ハードウエア規模を倍増することなく、演算ノード数の倍増することができる。また、上述した分散Exchanger方式クロスバースイッチ機能を併せ持つスイッチングＬＳＩ：８０をＺ軸クロスバースイッチ側にも適用すれば、安価な間接続コストで更に次元数の高いクロスバーネットワークを構成することが可能となる。
【００６２】
図１１は、本発明による分散Exchanger方式の３次元クロスバーネットワークの第３の実施例を示す。
本実施例は、図１〜図４で説明した３次元クロスバーネットワークにおけるＺ軸クロスバースイッチ４１の機能をスイッチングＬＳＩ：８０によって実現したことを特徴とする。
図において、Ｙ軸クロスバースイッチ３１Ａ、３１Ｂ、３１Ｃ、３１Ｄは、それぞれ異なるＺ座標値ｚ、例えば、ｚ＝１、２、３、４をもつ。
【００６３】
本実施例では、第２実施例と同様に、Ｙ軸クロスバースイッチ３１Ａと３１Ｂの同一Ｙ座標をもつ入出力ポート同士を第１のスイッチングＬＳＩ群８０−１〜８０−Ｍにより接続し、これらのＬＳＩ群におけるパケットのスイッチング機能を利用して、Ｙ軸クロスバースイッチ３１Ａと３１Ｂの間でのＺ軸方向のスイッチングを行う。これと同様に、Ｙ軸クロスバースイッチ３１Ｃと３１Ｄを第２のスイッチングＬＳＩ群８２−１〜８２−Ｍにより接続し、これらのＬＳＩ群によって、Ｙ軸クロスバースイッチ３１Ｃと３１Ｄの間のＺ軸方向のスイッチングを行う。
上記第１、第２のスイッチングＬＳＩ群は、同一Ｙ座標をもつＬＳＩ：８０−ｉと８２−ｉ（ｉ＝１〜Ｍ）の間を光モジュール８３、８４と光ファイバ３００を介して結合する。
【００６４】
第１ＬＳＩ群に属した各スイッチングＬＳＩ：８０−ｉのインタフェースユニット８１Ａ、８１Ｂでは、それぞれの入力パケット制御回路によって、Ｙ軸クロスバースイッチ３１Ａまたは３１Ｂから受信したパケットの宛先Ｚ座標値ｚに応じて、ｚ＝１またはｚ＝２の場合はインタフェースユニット８１Ａと８１Ｂの間で、ｚ＝３の場合はインタフェースユニット８１Ｃ宛に、ｚ＝４の場合はインタフェースユニット８１Ｄ宛にパケットを転送制御する。一方、第２ＬＳＩ群に属した各スイッチングＬＳＩ：８２−ｉのインタフェースユニット８１Ａ、８１Ｂでは、Ｙ軸クロスバースイッチ３１Ｃまたは３１Ｄから受信したパケットの宛先Ｚ座標値ｚに応じて、ｚ＝１の場合はインタフェースユニット８１Ｃ宛に、ｚ＝２の場合はインタフェースユニット８１Ｄ宛に、ｚ＝３またはｚ＝４の場合はインタフェースユニット８１Ａ、８１Ｂ間でパケットを転送制御する。
本実施例によれば、第１、第２のスイッチングＬＳＩ群８０、８２のパケットスイッチング機能を利用して、ノード数がＬ×Ｍ×４の分散Echanger方式３次元クロスバーネットワークを構成できる。
【００６５】
【発明の効果】
以上の説明から明かなように、本発明によれば、多次元クロスバーネットワークおよび並列計算機システムの少なくとも一部のクロスバースイッチ間に光インタフェースを備えたスイッチング装置を介在させることによって、システム性能を低下させることなく、接続可能なノード数を増加できるという効果がある。
【図面の簡単な説明】
【図１】本発明によるExchanger方式の３次元クロスバーネットワークにおけるＸ、Ｙ、Ｚ軸クロスバースイッチ間の接続関係を説明するための図。
【図２】演算ノードが搭載されるノードボード１０の構成を示す図。
【図３】本発明の分散Exchanger方式の３次元クロスバーネットワークにおけるＸ軸クロスバースイッチとＹ軸クロスバースイッチとの接続関係を示す図。
【図４】本発明の分散Exchanger方式の３次元クロスバーネットワークにおけるＹ軸クロスバースイッチとＺ軸クロスバースイッチとの接続関係を示す図。
【図５】インターフェース変換ＬＳＩ：３２の構成を示すブロック図。
【図６】インターフェース変換ＬＳＩ：３２の実用的な形態の１例を示す図。
【図７】Ｙ軸クロスバースイッチの主要部を示す図。
【図８】Ｙ軸クロスバースイッチの変形実施例を示す図。
【図９】本発明によるExchanger方式の３次元クロスバーネットワークの第２の実施例を示す図。
【図１０】図９におけるスイッチングＬＳＩ：８０の１実施例を示す図。
【図１１】本発明によるExchanger方式の３次元クロスバーネットワークの第３の実施例を示す図。
【符号の説明】
１０：ノードボード、  ２０：Ｘ軸ボード、
２１：Ｘ軸クロスバースイッチ、  ２２：ノードボード接続コネクタ、
３０：Ｙ軸ボード、  ３１：Ｙ軸クロスバースイッチ、
３２：インタフェース変換ＬＳＩ、３３：光モジュール、
４０：Ｚ軸ボード、４２：インタフェース変換ＬＳＩ、４３：光モジュール、
５１：入出力ポート、５２：位相調整回路、５３：データバッファ、
５４：入力パケット制御回路、５５：セレクタ、５６：出力制御回路、
５７、５８：同期化回路、５９：データ幅変換回路、６０、６１：ＰＬＬ回路、
２００：入出力線（同軸ケーブル）、３００：入出力線（光ファイバ）。
【図１】
0003709322.tif 000002
【図２】
0003709322.tif 000003
【図３】
0003709322.tif 000004
【図４】
0003709322.tif 000005
【図５】
0003709322.tif 000006
【図６】
0003709322.tif 000007
【図７】
0003709322.tif 000008
【図８】
0003709322.tif 000009
【図９】
0003709322.tif 000010
【図１０】
0003709322.tif 000011
【図１１】
0003709322.tif 000012