(57)【要約】【課題】  ＮＵＭＡ分散型共有メモリ並列計算機システムにおいて、データ転送の実効性能を向上可能なリードリクエスト調停制御方式を得る。【解決手段】  一般に、ＮＵＭＡ型分散共有メモリ並列計算機内での、データ転送においては、リードリクエスト間では、オーダリングの保障は必要がないために、リクエスト先物理アドレスから当該リクエストのアクセスレイテンシを算出し、リクエスト先物理アドレスのレイテンシがより長いリクエストを優先するようにオーダリングを変更してリードリクエストを発行するためのリードリクエスト調停ユニット１０を、データ転送経路上に設ける。これにより、リードリクエストの転送を効率化し、結果として、データ転送効率の性能向上を可能とする。【選択図】      図２                                                  
2005242500.tif 000002
【特許請求の範囲】
【請求項１】
一以上のプロセッサと主記憶装置を有する複数のノードでシステムを構成する分散型共有メモリ並列計算機におけるリードリクエスト調停制御システムであって、リードリクエストのリクエスト先アドレスに対するアクセスレイテンシに応じて、前記リードリクエストの調停制御をなす制御手段を含むことを特徴とするリードリクエスト調停制御システム。
【請求項２】
前記制御手段は、前記アクセスレイテンシがより長いリードリクエストを優先して発行するよににしたことを特徴とする請求項１記載のリードリクエスト調停制御システム。
【請求項３】
前記制御手段は、前記リードリクエスト先の各アドレスとこれらアドレスにそれぞれ対応したレイテンシとを予め格納したテーブルと、前記リードリクエストの発生に応答して、そのリクエスト先により前記テーブルを参照して前記レイテンシを算出する手段とを有することを特徴とする請求項１または２記載のリードリクエスト調停制御システム。
【請求項４】
前記リードリクエストに対する実際の応答を元に、前記テーブルの前記レイテンシの更新をなす手段を、更に含むことを特徴とする請求項３記載のリードリクエスト調停制御システム。
【請求項５】
一以上のプロセッサと主記憶装置を有する複数のノードでシステムを構成する分散型共有メモリ並列計算機におけるリードリクエスト調停制御方法であって、リードリクエストのリクエスト先アドレスに対するアクセスレイテンシに応じて、前記リードリクエストの調停制御をなす制御ステップを含むことを特徴とするリードリクエスト調停制御方法。
【請求項６】
前記制御ステップは、前記アクセスレイテンシがより長いリードリクエストを優先して発行するよににしたことを特徴とする請求項５記載のリードリクエスト調停制御方法。
【請求項７】
前記制御ステップは、前記リードリクエストの発生に応答して、前記リードリクエスト先の各アドレスとこれらアドレスにそれぞれ対応したレイテンシとを予め格納したテーブルを、そのリクエスト先により参照して前記レイテンシを算出するステップを有することを特徴とする請求項５または６記載のリードリクエスト調停制御方法。
【請求項８】
前記リードリクエストに対する実際の応答を元に、前記テーブルの前記レイテンシの更新をなすステップを、更に含むことを特徴とする請求項７記載のリードリクエスト調停制御方法。
【請求項９】
一以上のプロセッサと主記憶装置を有する複数のノードでシステムを構成する分散型共有メモリ並列計算機におけるリードリクエスト調停制御方法をコンピュータに実行させるためのプログラムであって、リードリクエストのリクエスト先アドレスに対するアクセスレイテンシに応じて、前記リードリクエストの調停制御をなす処理を含むことを特徴とするコンピュータ読取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はリードリクエスト調停制御システム及びその方法に関し、特にＮＵＭＡ（NonUniform Memory Access）型分散共有メモリ並列計算機におけるリードリクエスト調停制御方式に関するものである。
【背景技術】
【０００２】
従来の共有メモリシステムの一例として、図１７に示すようなＵＭＡ（Uniform Memory Access ）システムがある。このシステムでは、物理アドレスに依存することなく、メモリアクセスレイテンシが同じであるとして、各プロセッサ８０１〜８０４の主記憶ユニット８０６に対するリードリクエストのリプライは、制御ユニット８０５によって、当該リードリクエストの発行順に返却されるようになっている。
【０００３】
よって、リードリクエスト間の調停は必要なく、図１８に示すように、リードリクエスト調停ユニット１１内において、リードリクエスト１１０をリードリクエスト登録テーブル１０２に登録しておき、登録した順番にリードリクエストを発行する、いわゆるＦＩＦＯ（First In First Out：先入れ先出し）方式を採用することで、何等問題を生ずることはなかった。
【０００４】
近年、コストの面でのメリットのために、図１９に示すようなＮＵＭＡ（Non-Uniform Memory Access ）システムがある。図を参照すると、本システムは、複数のプロセッサノード２０，２１と、これ等ノード間を接続するプロセッサ間接続装置４０とを含んでいる。各プロセッサノード２０，２１は同一構成であり、例えば、プロセッサノード２０は、複数のプロセッサ２００ａ，２００ｂと、プロセッサノード接続ユニット２０２と、主記憶ユニット２０１とを有している。
【０００５】
このシステムでは、物理アドレスに依存してメモリアクセスレイテンシが異なるために、リードリクエストを、従来のように、リクエスト順に発行するＦＩＦＯ方式では、リードリクエスト転送の効率が悪化し、ノード間データ転送の実効性能が低下する。
【０００６】
ここで、特許文献１を参照すると、各プロセッサのメモリアクセスタイムを均等化することを目的としたマルチプロセッサシステムが開示されており、デー転送経路上に、リクエスト間の調停を行う調停部を設け、この調停部で、リクエスト元からの蓄積された（リクエストに付加された）伝達時間を元に、最も長い伝達時間を有する（つまり、リクエスト元で発行されてから、最も長く待たされている）リクエストから、優先して発行するというものである。すなわち、この技術では、複数のリクエスト元から、一つのリクエスト先へのリクエストの性能向上を図るようになっている。
【０００７】
【特許文献１】特開平２−２９４８６７号公報
【特許文献２】特開２００３−２１６４８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した図４に示したＮＵＭＡ型分散共有メモリ並列計算機では、物理アドレスに依存してメモリアクセスレイテンシが異なるために、リードリクエストを、従来のように、リクエスト順に発行するＦＩＦＯ方式では、リードリクエスト転送の効率が悪化し、ノード間データ転送の実効性能が低下するという課題の他に、他社の既存のシステムを組み合わせて、一部を自社開発するということが行われ他社製品には変更が難しいので、汎用的な方法でないと、自社開発部分だけで性能を向上させることが難しいという課題もある。
【０００９】
また、上述した特許文献１の技術では、複数のリクエスト元から、一つのリクエスト先へのリクエストの性能向上を図るものであって、一つのリクエスト元から複数のリクエスト先へのリクエストの場合の性能向上を図ることはできないという課題がある。また、この技術においては、リクエストに特殊なプライオリティ情報を付加することが必要であり、よってこの技術の実際の適用に当たっては、システム変更が必要になるという欠点があり、よってＮＵＭＡ型分散共有メモリ並列計算機に汎用的に適用できないという課題がある。
【００１０】
本発明の目的は、ＮＵＭＡ型分散共有メモリ並列計算機に汎用的に適用でき、データ転送を効率化することにより、データ転送実効性能の向上を可能としたリードリクエスト調停制御システム及びその方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明によるリードリクエスト調停制御システムは、一以上のプロセッサと主記憶装置を有する複数のノードでシステムを構成する分散型共有メモリ並列計算機におけるリードリクエスト調停制御システムであって、リードリクエストのリクエスト先アドレスに対するアクセスレイテンシに応じて、前記リードリクエストの調停制御をなす制御手段を含むことを特徴とする。
【００１２】
本発明によるリードリクエスト調停制御方法は、一以上のプロセッサと主記憶装置を有する複数のノードでシステムを構成する分散型共有メモリ並列計算機におけるリードリクエスト調停制御方法であって、リードリクエストのリクエスト先アドレスに対するアクセスレイテンシに応じて、前記リードリクエストの調停制御をなす制御ステップを含むことを特徴とする。
【００１３】
本発明によるプログラムは、一以上のプロセッサと主記憶装置を有する複数のノードでシステムを構成する分散型共有メモリ並列計算機におけるリードリクエスト調停制御方法をコンピュータに実行させるためのプログラムであって、リードリクエストのリクエスト先アドレスに対するアクセスレイテンシに応じて、前記リードリクエストの調停制御をなす処理を含むことを特徴とする。
【００１４】
本発明の作用を述べる。一般に、ＮＵＭＡ型分散共有メモリ並列計算機内での、データ転送においては、リードリクエスト間では、オーダリングの保障は必要がないために、リクエスト先物理アドレスから当該リクエストのアクセスレイテンシを算出し、リクエスト先物理アドレスのレイテンシがより長いリクエストを優先するようにオーダリングを変更してリードリクエストを発行するよう構成する。これにより、リードリクエストの転送を効率化し、結果として、データ転送効率の性能向上を可能とする。
【発明の効果】
【００１５】
本発明による第１の効果は、ＮＵＭＡ型分散共有メモリ並列計算機内のデータ転送の特徴であるリクエスト物理アドレスに依存したアクセスレイテンシに合わせて、リクエスト先物理アドレスへのアクセスレイテンシが長いリクエストを優先するように、オーダリングを変更して、リードリクエストを発行しているので、リードリクエスト転送が効率化されデータ転送実効性能を向上できるということである。
【００１６】
本発明による第２の効果は、一般的に計算機内のデータ転送でオーダリング保証の必要の無いリードリクエスト間に対してオーダリングを変更しているので、特に何等の制約なく、ＮＵＭＡ型分散共有メモリ並列計算機に対して適用可能となって、データ転送実効性能を向上できるということである。
【００１７】
本発明による第３の効果は、リードリクエスト調停ユニットを、データ転送系路上で、リードリクエスト間の調停が出来る任意の箇所に設けることができるので、ＮＵＭＡ型分散共有メモリ並列計算機のプロセッサノード、Ｉ／Ｏノード、または、ノード間接続装置内等、任意の箇所に設けることにより、データ転送実効性能を向上できるということである。
【発明を実施するための最良の形態】
【００１８】
以下に、図面を参照しつつ本発明の実施の形態について説明する。図１は本発明の実施の形態を示すブロック図である。図１においては、本発明の一実施の形態としてのＮＵＭＡ型分散共有メモリ並列計算機が示されている。同図に示すように、ＮＵＭＡ型分散共有メモリ並列計算機は、複数のプロセッサノード２０〜２３、複数のＩ／Ｏノード３０〜３３、およびこれらノード間を接続するノード間接続装置４０からなる。本例では、プロセッサノード数およびＩ／Ｏノード数がそれぞれ４であるが、実際には任意の数で実現可能である。
【００１９】
図２を参照すると、図１のブロックの各々の詳細な構成が示されている。プロセッサノード２０は、一以上のプロセッサ２００ａ〜２００ｂ、主記憶ユニット２０１、プロセッサノード制御ユニット２０２からなり、プロセッサ２００およびプロセッサノード制御ユニット２０２は、システムバス２１０で接続されている。Ｉ／Ｏノード３０は、Ｉ／Ｏノード制御ユニット３００からなる。
【００２０】
また、ノード間接続装置４０は、ノード間接続制御ユニット４００からなる。さらに本実施例では、データ転送経路上、つまりプロセッサノード２０とノード間接続装置の間、およびＩ／Ｏノード制御３０とノード間接続装置４０の間に、本発明によるリードリクエスト調停ユニット１０が接続される。リードリクエスト調停ユニット１０は、データ転送経路上に備えるので、本実施例のように各ノード内に備えることも、図３に示すように、ノード間接続ユニット４００内に備えることも、あるいは、その両方に備えることも可能である。
【００２１】
分散共有メモリは、各プロセッサノード２０〜２３の主記憶ユニット２０１に分散配置されている。分散配置の第一の例は、図４に示すように、各プロセッサノードの主記憶をスタックしてシステムの主記憶空間を形成するもの、つまりメモリアドレス上位ビットでプロセッサノードを指定する方式がある。
【００２２】
本実施例では、主記憶空間のアドレス０００（１６進数）から３ＦＦ番地がプロセッサノード２０に、４００から７ＦＦ番地がプロセッサノード２１に、８００からＢＦＦ番地がプロセッサノード２２に、Ｃ００から最後のＦＦＦ番地までがプロセッサノード２３にそれぞれ分散配置され、アドレス上位２ビットでプロセッサノードを指定する。
【００２３】
分散配置の第二の例は、特許文献２に開示の如く、すなわち、図５に示すように、各プロセッサノード２０〜２３に、ノード間インタリーブ制御ユニットを備え、各プロセッサノードの主記憶ユニット間でインタリーブを行う方式、つまりアドレス途中ビットでノードを指定する方式がある。
【００２４】
本例では、主記憶空間のアドレス０００（１６進数）から０ＦＦ番地と４００から４ＦＦ番地と８００から８ＦＦ番地とＣ００からＣＦＦ番地までがプロセッサノード２０に、アドレス１００から１ＦＦ番地と５００から５ＦＦ番地と９００から９ＦＦ番地とＤ００からＤＦＦ番地までがプロセッサノード２１に、アドレス２００から２ＦＦ番地と６００から６ＦＦ番地とＡ００からＡＦＦ番地とＥ００からＥＦＦ番地までがプロセッサノード２２に、アドレス３００から３ＦＦ番地と７００から７ＦＦ番地とＢ００からＢＦＦ番地とＦ００から最後のＦＦＦ番地までがプロセッサノード２３に、それぞれ２５６バイト単位でインタリーブされて分散配置され、アドレス下位８ビットよりも上２ビットでプロセッサノードを指定する。
【００２５】
図６を参照すると、図２に示した本発明によるリードリクエスト調停ユニット１０の詳細な構成が示されている。図において、物理アドレス別レイテンシ検索テーブル１０１は、物理アドレス毎のメモリアクセスレイテンシつまり、リクエストを発行してからリプライが返ってくるまでの時間を、予め保持しており、リクエスト物理アドレス１１１を入力するとアクセスレイテンシ１１２が出力される。
【００２６】
本例では、例えば、図４に示したように、主記憶空間が各プロセッサノードに分散配置されている場合、図７に示すように、物理アドレス別レイテンシ検索テーブル１０１は、アクセスレイテンシを保持するエントリー１２０と、選択回路１２１とにより構成される。このとき、各プロセッサノードに対して１エントリー、全部で４エントリー必要であり、例えば、プロセッサノード２０〜２３の各々に対するアクセスレイテンシが、それぞれ２００ｎＳ、４００ｎＳ、６００ｎＳ、８００ｎＳと、予め保持されている。また、選択回路１２１は、１１ビットのリクエスト先物理アドレス１１１の上位２ビット、つまりビット１１およびビット１０で、エントリーが選択される。
【００２７】
また、例えば、図５に示したように、主記憶空間が各プロセッサノードにインタリーブされて分散配置されている場合も、図８に示すように、物理アドレス別レイテンシ検索テーブル１０１は、アクセスレイテンシを保持するエントリー１２０と、選択回路１２２とにより構成される。このときも、各プロセッサノードに対して１エントリー、全部で４エントリー必要であり、例えば、プロセッサノード２０〜２３の各アクセスレイテンシが、それぞれ２００ｎＳ、４００ｎＳ、６００ｎＳ、８００ｎＳと、予め保持されている。また、選択回路１２２は、１１ビットのリクエスト先物理アドレス１１１の下位８ビットより上位２ビット、つまりビット９およびビット８で、エントリーが選択される。
【００２８】
リードリクエスト登録テーブル１０２は、図９にその詳細が示されるように、複数のエントリーからなり、一つのエントリーには、リクエスト先物理アドレスおよびリクエストデータ長等の、通常のリードリクエスト１１０のリードリクエスト情報、物理アドレス別レイテンシ検索テーブル１０１によりリクエスト先物理アドレス１１１から得られたアクセスレイテンシ１１２、およびリードリクエスト登録時にタイマ１０３から出力される登録時刻１１３が格納される。
【００２９】
調停手段１００は、図１０にその詳細を示すように、リードリクエスト登録テーブル１０２の各エントリーに対して、タイマ１０３が示す現在時刻１１５からリクエスト登録時刻１３０を引いた、登録されてからの待ち時間１３１を算出し、さらにアクセスレイテンシ１３２を加えて登録時刻からのレイテンシ１３３を算出し、その登録時刻からのレイテンシ１３３が最長であるリードリクエスト１１６を選択して発行する。タイマ１０３は現在時刻を保持する。
【００３０】
以上、詳細に実施例の構成を述べたが、図１のＮＵＭＡ型分散共有メモリ並列計算機、図２のプロセッサノード２０、Ｉ／Ｏノード３０、ノード間接続装置４０、および図４、図５の分散共有メモリの分散配置方式は、当業者にとってよく知られており、また本発明とは直接関係しないので、その詳細な構成は省略する。
【００３１】
次に、図６に示したリードリクエスト調停ユニット１０の動作を説明する。リードリクエスト調停ユニット１０は、リードリクエスト１１０の発生からリードリクエスト登録テーブル１０２のエントリーへの登録動作および、調停手段１００により、リードリクエスト登録テーブル１０２に登録されているリードリクエスト間で調停を行い、リクエスト１１６を発行する動作からなる。
【００３２】
まず、図１１を使用してリードリクエスト１１０発生からリードリクエスト登録テーブル１０２のエントリーへの登録動作を説明する。図において、リードリクエスト１１０がリードリクエスト調停ユニット１０に与えられると、リードリクエスト１１０のリクエスト先物理アドレス１１１およびリクエストデータ長等のリードリクエスト情報が、リードリクエスト登録テーブル１０２の空きエントリーに登録される（図１１（ａ））。
【００３３】
また、このときの時刻１１３をタイマ１０３から得て、登録時刻として同エントリーに登録する（図１１（ｂ））。さらに、リードリクエスト１１０のリクエスト先物理アドレス１１１が物理アドレス別レイテンシ検索テーブル１０１に与えられ（図１４（ｃ））、その物理アドレスへのアクセスレイテンシ１１２つまり、リードリクエストを発行してからリプライが返ってくるまでの時間が出力されるので、アクセスレイテンシとして同エントリーに登録する（図１１（ｄ））。
【００３４】
なお、リードリクエスト登録テーブル１０２に空きエントリーがなくなると、リクエスト元に対してフロー制御等が行われるが、当業者にとってよく知られており、また本発明とは直接関係しないので、その詳細な構成は省略する。
【００３５】
次に、図１０を使用して、調停手段１００により、リードリクエスト登録テーブル１０２に登録されているリードリクエスト間で調停を行い、リクエスト１１６を発行する動作を説明する。図１０において、フローコントロール等の結果により、リードリクエスト１１６が発行可能となると、リードリクエスト登録テーブル１０２に登録されているエントリーに対して、タイマ１０３から得られる現在時刻１１５からリクエスト登録時刻１３０を引き算し、リクエストが登録されてから現在時刻までの待ち時間１３１を算出する（図１０（ａ））。
【００３６】
次に、この待ち時間１３１にアクセスレイテンシ１３２を加算して、登録時刻からリードリプライを受け取るまでのレイテンシ１３３を得る（図１０（ｂ））。調停手段１００では、空きエントリ以外の全てのエントリーに対してこれら登録時間からのレイテンシ１３３を算出し、レイテンシ最長のリクエストを選択し、リードリクエスト１１６として発行する（図１０（ｃ））。発行したリードリクエスト１１６は、占めていたエントリーから削除される。
【００３７】
さらに、具体例を用いて実施例の動作を説明する。図３に示されるＩ／Ｏノード３０において、Ｉ／Ｏノード制御ユニット３００で４Ｋバイトのリードリクエストが発生し、調停ユニット１０に対してＩ／Ｏノード制御ユニット３００から２５６バイトに分割されたリードリクエストが１６個発行されたとする。フロー制御により、調停ユニット１０からは２５ｎＳに１回リクエストが発行されるものとする。
【００３８】
図４に示すように、主記憶空間が各プロセッサノードに分散配置されている場合、従来のようにリクエスト順に発行するＦＩＦＯ方式では、図１２に示すように、０ｎＳ後から２５ｎＳ間隔でリードリクエストが発行され、最後のリクエストのリプライは、１２７５ｎＳ後に返る。
【００３９】
一方、図７に示す物理アドレス別レイテンシ検索テーブルを持つ本発明による調停ユニット１０を備えた場合は、図１３に示すように、リクエスト先物理アドレスへのアクセスレイテンシが長いリクエストを優先するようにオーダリングを変更し、リードリクエストを発行しているので、０ｎＳ後から２５ｎＳ間隔でリードリクエストが発行され、最後のリクエストのリプライは、８７５ｎＳ後に返る。つまり、従来よりも４００ｎＳ早くリプライが返り、リードリクエスト転送が効率化されデータ転送実効性能が向上されていることがわかる。
【００４０】
また、図５に示すように、主記憶空間が各プロセッサノードにインタリーブ分散配置されている場合も、従来のようにリクエスト順に発行するＦＩＦＯ方式では、図１４に示すように、０ｎＳ後から２５ｎＳ間隔でリードリクエストが発行され、最後のリクエストのリプライは、１２７５ｎＳ後に返る。
【００４１】
一方、図８に示す物理アドレス別レイテンシ検索テーブルを持つ本発明による調停ユニット１０を備えた場合は、図１５に示すように、リクエスト先物理アドレスへのアクセスレイテンシが長いリクエストを優先するようにオーダリングを変更し、リードリクエストを発行しているので、０ｎＳ後から２５ｎＳ間隔でリードリクエストが発行され、最後のリクエストのリプライは、８７５ｎＳ後に返る。つまり、従来よりも４００ｎＳ早くリプライが返り、リードリクエスト転送が効率化されデータ転送実効性能が向上されていることがわかる。
【００４２】
本発明の他の実施の形態として、その基本的構成は上記の通りであるが、物理アドレス別レイテンシ検索テーブル１０１について、先の実施の形態では、予め設定されていた物理アドレスに依存したアクセスレイテンシを、実際のリードリクエストとそのリプライを元に、動的に設定するように、更に工夫している。
【００４３】
その構成を図１６に示す。本図において、調停手段１００によりリードリクエスト１１６が発行されると、レイテンシ計算手段１０４にアクセス先物理アドレスおよびタイマ１０３から得られるリクエスト発行時刻１４０を登録する（図１６（ａ））。リードリクエスト１１６に対するリードリプライ１１７が返却されると、タイマ１０３から得られるリプライ到着時刻１４１を登録する（図１６（ｂ））。更に、リプライ到着時刻１４１からリクエスト発行時刻１４０を引き算したアクセスレイテンシ１１８を計算する（図１６（ｃ））。最後に、物理アドレス別レイテンシ検索テーブル１０１の、物理アドレス１１９に対応するアクセスレイテンシをアクセスレイテンシ１１８で更新する（図１６（ｄ））。
【００４４】
このように、本例では、先の実施の形態では予め設定されていた物理アドレスに依存したアクセスレイテンシを、実際のリードリクエストとそのリプライをもとに動的に更新するようにしているので、初期設定が必要なく、また、ＮＵＭＡ型分散共有メモリ並列計算機の動的な構成変更や実行ジョブの負荷に応じて、動的にデータ転送が最適化されデータ転送実効性能が向上するという効果が得られる。
【００４５】
本構成において、レイテンシ計算手段１０４を複数備え、複数のリードリクエストに対してアクセスレイテンシを動的に設定することできる。また、一回のリクエストだけでなく複数回のリクエストのレイテンシの平均を求め物理アドレス別レイテンシ検索テーブル１０１を更新する構成にしてもよい。
【００４６】
なお、上述した各実施の形態の動作は、予めＲＯＭなどの記録媒体にその動作手順を記録しておき、これをコンピュータにより読み取らせて実行させるように構成することができることは明白である。
【図面の簡単な説明】
【００４７】
【図１】本発明が適用されるＮＵＭＡ型分散共有メモリ並列計算機システムの構成図である。
【図２】図１の各部の具体例を示す図である。
【図３】図２の変形例を示す図である。
【図４】各プロセッサノードの主記憶をスタックしてシステムの主記憶空間を形成した例を示す図である。
【図５】各プロセッサノードの主記憶間でインタリーブしてシステムの主記憶空間を形成した例を示す図である。
【図６】図１のリードリクエスト調停ユニット１０の一例の詳細を示す図である。
【図７】物理アドレス別レイテンシ検索テーブル１０１の一例を説明する図である。
【図８】物理アドレス別レイテンシ検索テーブル１０１の他の例を説明する図である。
【図９】リードリクエスト登録テーブル１０２の例を説明する図である。
【図１０】調停手段１００の例を説明する図である。
【図１１】リードリクエスト調停ユニット１０の動作を説明する図である。
【図１２】従来の分散配置方式のＦＩＦＯ方式によるリードリクエストとリードリプライとの時間関係を示す図である。
【図１３】本発明の分散配置方式によるリードリクエストとリードリプライとの時間関係を示す図である。
【図１４】従来のインタリーブ分散配置方式のＦＩＦＯ方式によるリードリクエストとリードリプライとの時間関係を示す図である。
【図１５】本発明のインタリーブ分散配置方式によるリードリクエストとリードリプライとの時間関係を示す図である。
【図１６】図１のリードリクエスト調停ユニット１０の他の例の詳細を示す図である。
【図１７】従来のＵＭＡシステムの例を示す図である。
【図１８】従来のＦＩＦＯ方式によるリードリクエストの発行の例を示す図である。
【図１９】従来のＮＵＭＡシステムの例を示す図である。
【符号の説明】
【００４８】
１０  ノードリクエスト調停ユニット
２０〜２３  プロセッサノード
３０〜３３  Ｉ／Ｏノード
４０  ノード間接続装置
１００  調停手段
１０１  物理アドレスレイテンシ検索テーブル
１０２  リードリクエスト登録テーブル
１０３  タイマ
２００ａ，２００ｂ  プロセッサ
２０１  主記憶ユニット
２０２  プロセッサノード制御ユニット
３００  Ｉ／Ｏノード制御ユニット
【図１】
2005242500.tif 000003
【図２】
2005242500.tif 000004
【図３】
2005242500.tif 000005
【図４】
2005242500.tif 000006
【図５】
2005242500.tif 000007
【図６】
2005242500.tif 000008
【図７】
2005242500.tif 000009
【図８】
2005242500.tif 000010
【図９】
2005242500.tif 000011
【図１０】
2005242500.tif 000012
【図１１】
2005242500.tif 000013
【図１２】
2005242500.tif 000014
【図１３】
2005242500.tif 000015
【図１４】
2005242500.tif 000016
【図１５】
2005242500.tif 000017
【図１６】
2005242500.tif 000018
【図１７】
2005242500.tif 000019
【図１８】
2005242500.tif 000020
【図１９】
2005242500.tif 000021