(57)【要約】【課題】コスト負担を要することなく、高精度に各演算処理装置（計算機）間の同期を実現することを課題とする。【解決手段】第２同期メッセージ発行装置は、第１同期メッセージ発行装置に対して、所定のタイミングで、各演算処理装置における演算処理を同期させるための同期メッセージを一斉に発行する。このとき、第２同期メッセージ発行装置は、演算処理装置において実行すべき処理内容を演算処理装置内で一意に特定できる情報を同期メッセージに挿入する。第１の同期メッセージ発行装置は、第２の同期メッセージ発行装置から同期メッセージを受信した場合に、同期メッセージを汎用インタコネクト用のプロトコルを用いて変換し、変換された同期メッセージをスイッチを介して演算処理装置に送信する。【選択図】        図１
2010108407.tif 000002
【特許請求の範囲】
【請求項１】
相互に通信可能な状態で接続された複数のスイッチを含むインタコネクトと、当該インタコネクトに接続された複数の演算処理装置とを有する大規模演算処理システムにおいて、演算処理装置に直接接続されたスイッチにそれぞれ接続し、当該スイッチを介して、汎用インタコネクト用のプロトコルを用いて、各演算処理装置における演算処理を同期させるための同期メッセージを各演算処理装置に一斉送信する同期メッセージ発行装置。
【請求項２】
演算処理装置において実行すべき処理内容を演算処理装置内で一意に特定できる情報を前記同期メッセージに含めて一斉送信する請求項１に記載の同期メッセージ発行装置。
【請求項３】
相互に通信可能な状態で接続された複数のスイッチを備えたインタコネクトと、当該インタコネクトに接続された複数の演算処理装置とを有する大規模演算処理システムにおいて、
前記演算処理装置に直接接続されたスイッチに接続する複数の第１の同期メッセージ発行装置と、
前記第１の同期メッセージ発行装置と通信可能な状態で接続される第２の同期メッセージ発行装置と、
を有し、
前記第２の同期メッセージ発行装置は、第１の同期メッセージ発行装置に対して、各演算処理装置における演算処理を同期させるための同期メッセージを一斉送信し、
前記第１の同期メッセージ発行装置は、前記第２の同期メッセージ発行装置から同期メッセージを受信した場合に、当該同期メッセージを汎用インタコネクト用のプロトコルを用いて変換し、変換された同期メッセージを前記スイッチを介して演算処理装置に送信する同期メッセージ発行システム。
【請求項４】
相互に通信可能な状態で接続された複数のスイッチを含むインタコネクトと、当該インタコネクトに接続された複数の演算処理装置とを有する大規模演算処理システムにおいて、演算処理装置に直接接続されたスイッチにそれぞれ接続し、当該スイッチを介して、汎用インタコネクト用のプロトコルを用いて、各演算処理装置における演算処理を同期させるための同期メッセージを各演算処理装置に一斉送信する同期メッセージ発行方法。
【請求項５】
相互に通信可能な状態で接続された複数のスイッチを含むインタコネクトと、当該インタコネクトに接続された複数の演算処理装置とを有する大規模演算処理システムにおいて、演算処理装置に直接接続されたスイッチにそれぞれ接続し、当該スイッチを介して、汎用インタコネクト用のプロトコルを用いて、各演算処理装置における演算処理を同期させるための同期メッセージを各演算処理装置に一斉送信する処理をコンピュータに実行させる同期メッセージ発行プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、同期メッセージ発行装置、同期メッセージ発行システム、同期メッセージ発行方法および同期メッセージ発行プログラムに関する。
【背景技術】
【０００２】
一般に、計算機の理論的な演算能力であるピーク性能に対して、計算機上で実際にアプリケーションを実行したときの演算能力である実効性能が占める割合で表される実効効率が低下する要因の一つとして、いわゆるＯＳジッタと呼ばれる現象が存在する（Fabrizio Petrini, Darren J. Kerbyson, Scott Pakin, “The Case of the Missing Supercomputer Performance: Achiving Optimal Performance on the 8,192 Processors of ASCI Q”, SC2003参照）。
【０００３】
このＯＳジッタとは、ＯＳ（Operation System）や、その他に起因する処理（いわゆる、「housekeeping」処理）によって、アプリケーションの実行が一時的かつランダムに妨げられる現象をいう。したがって、このＯＳジッタと呼ばれる現象が計算機内に発生することにより、アプリケーションの実行時間に対して待ち時間（ＣＰＵの遊び時間）が占める割合が増大するので、上記した実行効率が著しく低下することとなる。
【０００４】
ところで、従来から、各計算機に同期メッセージを配信して計算機間の同期を取ることにより、演算処理を並列に実行するスーパーコンピュータシステムが存在する。このようなシステムにおいて、上記した実行効率の低下を抑制するために、例えば、非特許文献１では、各計算機で実行されるプロセスのスケジューリングを行う技術が提案されている。具体的には、システム全体でプロセスのスケジューリングを高精度に同期させ、あるタイミングでは各計算機で一斉にアプリケーションの処理を実行し、別のタイミングでは各計算機で一斉に上記した「housekeeping」処理を実行する。
【０００５】
【非特許文献１】Paul Terry, Amar Shan, Pentti Huttunen, “Improving Application Performance on HPC Systems with Process Synchronization”, Linux Journal, Volume 2004, Issue 127 (November 2004), 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した非特許文献１に提案の技術は、専用のインタコネクトを介して接続された各計算機に、同期メッセージ配信のための専用のプロトコルに基づいた同期メッセージを配信することで、各計算機を高い精度で同期させる。このため、汎用のインタコネクトを用いる場合と比較してコスト負担が大きくなるという問題点があった。
【０００７】
また、計算機間の同期を取るために、汎用のインタコネクトを介して接続された各計算機に対して同期メッセージをシリアルに送る場合には、最初に受信する計算機と最後に受信する計算機との間で同期メッセージの受信時刻に大きな開きが発生するので、高い精度で同期を実現することができない。
【０００８】
また、汎用のインタコネクトを用いる場合には、同期メッセージが配信の過程でロストしてしまった場合に備え、各計算機間の同期を保つ仕組みが必要となる。
【０００９】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、コスト負担を要することなく、高精度に各計算機間の同期を実現することが可能な同期メッセージ発行装置、同期メッセージ発行システム、同期メッセージ発行方法および同期メッセージ発行プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するため、開示の装置は、相互に通信可能な状態で接続された複数のスイッチを含むインタコネクトと、当該インタコネクトに接続された複数の演算処理装置とを有する大規模演算処理システムにおいて、演算処理装置に直接接続されたスイッチにそれぞれ接続し、当該スイッチを介して、汎用インタコネクト用のプロトコルを用いて、各演算処理装置における演算処理を同期させるための同期メッセージを各演算処理装置に一斉送信する。
【発明の効果】
【００１１】
開示の装置によれば、コスト負担を要することなく、高精度に各演算処理装置（計算機）間の同期を実現できる。
【発明を実施するための最良の形態】
【００１２】
以下に、同期メッセージ発行装置、同期メッセージ発行システム、同期メッセージ発行方法および同期メッセージ発行プログラムの一実施形態について詳細に説明する。なお、以下では、同期メッセージ発行システムの一実施形態として実施例１を説明する。
【実施例１】
【００１３】
［同期メッセージ発行装置の概要（実施例１）］
図１は、実施例１に係る同期メッセージ発行システムを説明するための図である。実施例１に係る同期メッセージ発行システムは、大規模計算処理システムにおいて、各演算処理装置（計算機）で実行される処理（プロセス）のスケジューリングを行うことを概要とする。そして、実施例１に係る同期メッセージ発行装置は、コスト負担を要することなく、高精度に各演算処理装置間の同期を実現できる。
【００１４】
具体的には、図１に示すように、実施例１に係る同期メッセージ発行システムは、相互に通信可能な状態で接続された複数のスイッチを含むインタコネクトと、当該インタコネクトに接続された複数の演算処理装置とを有する大規模演算処理システムに適用される。そして、実施例１に係る同期メッセージ発行システムは、複数の第１同期メッセージ発行装置、および第２同期メッセージ発行装置を有する。
【００１５】
第１同期メッセージ発行装置は、演算処理装置に直接接続されたスイッチに接続する。第２同期メッセージ発行装置は、複数の第１の同期メッセージ発行装置と通信可能な状態で接続される。
【００１６】
そして、第２同期メッセージ発行装置は、第１同期メッセージ発行装置に対して、所定のタイミングで、各演算処理装置における演算処理を同期させるための同期メッセージを一斉に発行する。このとき、第２同期メッセージ発行装置は、演算処理装置において実行すべき処理内容を演算処理装置内で一意に特定できる情報（Ｇ（Generation）値）を同期メッセージに挿入する。
【００１７】
上記したＧ値は、例えば、図２に示すように、同期メッセージを発行するごとに、１ずつインクリメントされる数値である。そして、Ｇ値が奇数であれば「アプリケーション処理」、Ｇ値が偶数であれば「ハウスキーピング処理」を実行すべき処理内容として演算処理装置に特定させる。なお、図２は、実施例１に係る同期メッセージを説明するための図である。
【００１８】
第１の同期メッセージ発行装置は、第２の同期メッセージ発行装置から同期メッセージを受信した場合に、同期メッセージを汎用インタコネクト用のプロトコルを用いて変換し、変換された同期メッセージをスイッチを介して演算処理装置に送信する。
【００１９】
このようなことから、実施例１に係る同期メッセージ発行システムは、コスト負担を要することなく、高精度に各計算機間の同期を実現できる。
【００２０】
［同期メッセージ発行システムの構成（実施例１）］
図３は、実施例１に係る同期メッセージ発行システムの構成を示す図である。同図に示すように、実施例１に係る同期メッセージ発行システムは、複数の第１同期メッセージ発行装置４００、および第２同期メッセージ発行装置３００を有する。
【００２１】
第２同期メッセージ発行装置３００は、図３に示すように、通信制御部３１０および同期メッセージ発行部３２０を有する。通信制御部３１０は、第１同期メッセージ発行装置４００との間の通信を制御する。
【００２２】
同期メッセージ発行部３２０は、第１同期メッセージ発行装置４００に対して、所定のタイミングで、各演算処理装置における演算処理を同期させるための同期メッセージを一斉に発行する。具体的には、同期メッセージ発行部３２０は、同期メッセージの発行タイミングを計測するために内部に有するタイマをモニタして、同期メッセージを発行するタイミングへの到達を待機する。同期メッセージを発行するタイミングに到達すると、同期メッセージ発行部３２０は、内部に有するカウンタから現時点のカウンタ値を読み込み、カウンタ値を「１」インクリメントする。そして、同期メッセージ発行部３２０は、「１」インクリメントしたカウンタ値をＧ（Generation）値として採用して同期メッセージに挿入し、第１同期メッセージ発行装置４００へ一斉に発行する。このようにして、同期メッセージ発行部３２０は、所定のタイミングで（例えば、１０秒ごとに）、同期メッセージを一斉に発行する。
【００２３】
上記したＧ値は、例えば、奇数であれば「アプリケーション処理」、Ｇ値が偶数であれば「ハウスキーピング処理」を実行すべき処理内容として演算処理装置１００に特定させる役割を有する。また、演算処理装置１００に対して同期メッセージの欠落を認識させる。このようにすることで、演算処理装置１００側で、他の演算処理装置との処理の足並みを揃えさせることができる。なお、演算処理装置１００側での対応は、後に説明する。
【００２４】
第１同期メッセージ発行装置４００は、図３に示すように、通信制御部４１０と、同期メッセージ変換部４２０と、同期メッセージ送信部４３０とを有する。通信制御部４１０は、第２同期メッセージ発行装置３００との間の通信を制御する。
【００２５】
同期メッセージ変換部４２０は、第２同期メッセージ発行装置３００から同期メッセージを受信すると、受信した同期メッセージを汎用インタコネクト用のプロトコルを用いて変換し、変換した同期メッセージを同期メッセージ送信部４３０に送出する。汎用インタコネクト用のプロトコルとしては、例えば、InfinibandのＵＤ（Unreliable Datagram）プロトコルなどを採用することができる。また、汎用インタコネクト用のプロトコルで変換された同期メッセージは、例えば、図４に示すような構成を有し、ＩｍｍＤｔ（Immediate Data）にＧ値（３２ビット）が挿入される。なお、図４は、実施例１に係る同期メッセージの構成例を示す図である。
【００２６】
同期メッセージ送信部４３０は、スイッチ２００に対して、同期メッセージ変換部４２０から受けた同期メッセージを送信する。
【００２７】
スイッチ２００は、第１同期メッセージ発行装置４００から受信した同期メッセージを演算処理装置１００にそれぞれ転送する。
【００２８】
演算処理装置１００は、スイッチ２００から受信した同期メッセージに基づいて、自らが現時点で実行すべき処理を判断し、各演算処理装置間で実行される同期したアプリケーション処理あるいはハウスキーピング処理のスケジューリングの足並みを揃える。
【００２９】
具体的には、演算処理装置１００は、アプリケーション処理実行中に、現時点で実行すべき処理がハウスキーピング処理であることを示す偶数のＧ値が挿入された同期メッセージを受信すると、処理内容を強制的に切り替えてハウスキーピング処理を実行する。また、演算処理装置は、ハウスキーピング処理実行中に、現時点で実行すべき処理がハウスキーピング処理であることを示す偶数のＧ値が挿入された同期メッセージを受信すると、処理内容を強制的に切り替えてアプリケーション処理を実行する。
【００３０】
さらに、演算処理装置１００は、例えば、Ｇ値「１」が挿入された同期メッセージを受信した後に、Ｇ値「３」が挿入された同期メッセージを受信すると、演算処理装置１００では、一つ前の同期メッセージが受信されずに欠落したことを認識したとする。このような場合、演算処理装置は、現時点で実行中のアプリケーションをそのまま継続し、Ｇ値「４」が挿入された次の同期メッセージを受信した時点で、ハウスキーピング処理に切り替える。
【００３１】
上述してきたようにして、演算処理装置１００は、各演算処理装置間で実行される同期したアプリケーション処理あるいはハウスキーピング処理のスケジューリングの足並みを揃える。
【００３２】
［同期メッセージ発行システムによる処理（実施例１）］
図５は、実施例１に係る同期システム発行システムの処理の流れを示す図である。同図に示すように、第２同期メッセージ発行装置３００の同期メッセージ発行部３２０は、同期メッセージの発行タイミングを計測するために内部に有するタイマをモニタして、同期メッセージを発行するタイミングへの到達を待機する（ステップＳ１）。
【００３３】
同期メッセージを発行するタイミングに到達すると（ステップＳ１肯定）、同期メッセージ発行部３２０は、内部に有するカウンタから現時点のカウンタ値を読み込み、カウンタ値を「１」インクリメントする（ステップＳ２）。そして、同期メッセージ発行部３２０は、「１」インクリメントしたカウンタ値をＧ（Generation）値として採用して同期メッセージに挿入し、第１同期メッセージ発行装置４００へ一斉に発行する（ステップＳ３）。
【００３４】
第１同期メッセージ発行装置４００の同期メッセージ変換部４２０は、第２同期メッセージ発行装置３００から同期メッセージを受信すると（ステップＳ４）、受信した同期メッセージを汎用インタコネクト用のプロトコルを用いて変換する（ステップＳ５）。そして、同期メッセージ変換部４２０は、変換した同期メッセージを同期メッセージ送信部４３０に送出し、同期メッセージ送信部４３０は、スイッチ２００に対して、同期メッセージ変換部４２０から受けた同期メッセージを送信する（ステップＳ６）。
【００３５】
スイッチ２００は、第１同期メッセージ発行装置４００から同期メッセージを受信すると（ステップＳ７）、受信した同期メッセージを演算処理装置１００にそれぞれ転送する（ステップＳ８）。
【００３６】
［実施例１による効果］
上述してきたように、実施例１によれば、同期メッセージ発行システムは、汎用インタコネクト用のプロトコルを用いて変換した同期メッセージを演算処理装置１００へ送信するので、コスト負担を要することなく、高精度に各計算機間の同期を実現できる。
【００３７】
また、上記の実施例１では、第２同期メッセージ発行装置３００により同期メッセージに挿入されるＧ値として、メッセージを発行するごとに、「１」インクリメントされる値を採用する場合を説明した。しかしながら、これに限定されるものではなく、「１」、「０」を交互に挿入するなど、演算処理装置１００において実行すべき処理内容を演算処理装置１００内で一意に特定できる情報であれば、どうような値を採用しても良い。
【００３８】
また、上記の実施例１では、第２同期メッセージ発行装置３００は、第１同期メッセージ発行装置４００に対して同期メッセージを一斉に発行する場合を説明した。しかしながら、これに限定されるものではなく、第２同期メッセージ発行装置３００は、例えば、同期メッセージに挿入すべきＧ値のみを第１同期メッセージ発行装置４００に対して発行する。そして、第１同期メッセージ発行装置４００は、汎用インタコネクト用のプロトコルを用いて同期メッセージを生成し、生成した同期メッセージにＧ値を挿入して演算処理装置１００に送信するようにしても良い。このようにすることで、第２同期メッセージ発行装置３００における同期メッセージ発行の際の処理負荷が軽減される。
【００３９】
また、上記の実施例１では、第１同期メッセージ発行装置４００が、第２同期メッセージ発行装置３００から一斉に発行された同期メッセージを受け付けると、スイッチ２００を介して、各計算機ノード１００に転送する場合を説明した。しかしながら、これに限定されるものではなく、第１同期メッセージ発行装置４００を介することなく、例えば、第２同期メッセージ発行装置３００が、スイッチ２００を介して、各計算機ノード１００に直接同期メッセージを一斉発行するようにしてもよい。
【実施例２】
【００４０】
同期メッセージ発行装置、同期メッセージ発行システム、同期メッセージ発行方法および同期メッセージ発行プログラムの他の実施形態について説明する。
【００４１】
（１）同期メッセージ発行システムの適用形態
例えば、図６に示すように、多数のスイッチ２００がトーラス状に接続されたフラット（全てのスイッチが平等な）システムに、上記の実施例１で説明した同期メッセージ発行システムを適用することができる。例えば、横一列に接続されたスイッチ２００の中から、一つのスイッチ２００を選択し、選択されたスイッチに第１同期メッセージ発行装置４００を接続する。これにより、第２同期メッセージ発行装置３００から発行される同期メッセージは、第１同期メッセージ発行装置４００を介して、横一列のスイッチ２００に受信される。なお、図６は、実施例１に係る同期メッセージ発行システムの適用例を示す図である。
【００４２】
上述したように、多数のスイッチ２００がトーラス状に接続されたフラットなシステムに、同期メッセージ発行システムを適用することで、コスト負担を要することなく、高精度に各計算機間の同期を実現できるとともに、システム構成時のスケーラビリティを向上することもできる。
【００４３】
（２）システム構成等
また、図１に示した同期システム発行システムの構成は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、第２同期メッセージ発行装置３００、および第１同期メッセージ発行装置４００の機能を有する物理的に一つの装置で構成するようにしても良い。
【００４４】
また、図２に示した第２同期メッセージ発行装置３００、および第１同期メッセージ発行装置４００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、第２同期メッセージ発行装置３００、および第１同期メッセージ発行装置４００の分散・統合の具体的形態は図示のものに限られず、例えば、第１同期メッセージ発行装置４００のメッセージ変換部４２０と同期メッセージ送信部４３０とを統合する。このように、第２同期メッセージ発行装置３００、あるいは第１同期メッセージ発行装置４００の全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、第２同期メッセージ発行装置３００、および第１同期メッセージ発行装置４００の各装置にて行なわれる各処理機能（例えば、図５参照）は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００４５】
（３）同期メッセージ発行プログラム
また、上記の実施例１で説明した第２同期メッセージ発行装置３００、および第１同期メッセージ発行装置４００の各種の処理（例えば、図５等参照）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、図７を用いて、例えば、上記の実施例１で説明した第２同期メッセージ発行装置３００と同様の機能を有する同期メッセージ発行プログラムを実行するコンピュータの一例を説明する。図７は、同期メッセージ発行プログラムを実行するコンピュータを示す図である。
【００４６】
同図に示すように、コンピュータ５００は、通信制御部５１０、ＨＤＤ５２０、ＲＡＭ５３０およびＣＰＵ５４０をバス６００で接続して構成される。
【００４７】
ここで、通信制御部５１０は、他の装置との間でやり取りされる各種情報の関する通信を制御する。ＨＤＤ５２０は、ＣＰＵ５４０による各種処理の実行に必要な情報を記憶する。ＲＡＭ５３０は、各種情報を一時的に記憶する。ＣＰＵ５４０は、各種演算処理を実行する。
【００４８】
そして、ＨＤＤ５２０には、図７に示すように、上記の実施例１に示した第２同期メッセージ発行装置３００の各処理部と同様の機能を発揮する同期メッセージ発行プログラム５２１と、同期メッセージ発行用データ５２２とがあらかじめ記憶されている。なお、この同期メッセージ発行プログラム５２１を適宜分散させて、ネットワークを介して通信可能に接続された他のコンピュータの記憶部に記憶させておくこともできる。
【００４９】
そして、ＣＰＵ５４０が、この同期メッセージ発行プログラム５２１をＨＤＤ５２０から読み出してＲＡＭ５３０に展開することにより、図７に示すように、同期メッセージ発行プログラム５２１は、同期メッセージ発行プロセス５３１として機能するようになる。すなわち、同期メッセージ発行プロセス５３１は、同期メッセージ発行用データ５３２等をＨＤＤ５２０から読み出して、ＲＡＭ５３０において自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種処理を実行する。なお、同期メッセージ発行プロセス５３１は、図２に示した第２同期メッセージ発行装置３００の同期メッセージ発行部３２０等において実行される処理に対応する。
【００５０】
なお、上記した同期メッセージ発行プログラム５２１については、必ずしも最初からＨＤＤ５２０に記憶させておく必要はない。例えば、コンピュータ５００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ５００に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ５００がこれらから各プログラムを読み出して実行するようにしてもよい。
【００５１】
（４）同期メッセージ発行方法
上記の実施例１で説明した同期メッセージ発行システムにより、相互に通信可能な状態で接続された複数のスイッチを含むインタコネクトと、当該インタコネクトに接続された複数の演算処理装置とを有する大規模演算処理システムにおいて、以下のような同期メッセージ発行方法が実現される。
【００５２】
すなわち、演算処理装置に直接接続されたスイッチにそれぞれ接続し、当該スイッチを介して、汎用インタコネクト用のプロトコルを用いて、各演算処理装置における演算処理を同期させるための同期メッセージを各演算処理装置に一斉送信する同期メッセージ発行方法が実現される（例えば、図５のステップＳ３〜ステップＳ６等参照）。
【図面の簡単な説明】
【００５３】
【図１】実施例１に係る同期メッセージ発行システムを説明するための図である。
【図２】実施例１に係る同期メッセージを説明するための図である。
【図３】実施例１に係る同期メッセージ発行システムの構成を示す図である。
【図４】実施例１に係る同期メッセージの構成例を示す図である。
【図５】実施例１に係る同期システム発行システムの処理の流れを示す図である。
【図６】実施例２に係る同期メッセージ発行システムの適用例を示す図である。
【図７】同期メッセージ発行プログラムを実行するコンピュータを示す図である。
【符号の説明】
【００５４】
１００  演算処理装置
２００  スイッチ
２３２  同期メッセージ発行用データ
３００  第２同期メッセージ発行装置
３１０  通信制御部
３２０  同期メッセージ発行部
４００  第１同期メッセージ発行装置
４１０  通信制御部
４２０  同期メッセージ変換部
４３０  同期メッセージ送信部
５００  コンピュータ
５１０  通信制御部
５２０  ＨＤＤ
５２１  同期メッセージ発行プログラム
５２２  同期メッセージ発行用データ
５３０  ＲＡＭ
５３１  同期メッセージ発行プロセス
５４０  ＣＰＵ
６００  バス
【図１】
2010108407.tif 000003
【図２】
2010108407.tif 000004
【図３】
2010108407.tif 000005
【図４】
2010108407.tif 000006
【図５】
2010108407.tif 000007
【図６】
2010108407.tif 000008
【図７】
2010108407.tif 000009