学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

14-IS01

シミュレーションによる大規模並列プログラムへのパケットペーシングの適用と有効性の検証
柴村英智（公益財団法人九州先端科学技術研究所）
概要 実践的な大規模並列プログラムの通信部分に対して，アプリケーション毎に適切な間隔でパケットを送出するパケットペーシングを適用することでネットワークの輻輳を抑制し，全体の通信時間を短縮できることをシミュレーションによって明らかにする．
本研究では，全球雲解像モデル NICAM の主要通信部分についてインターコネクト・シミュレーションを通じた輻輳状況の可視化・解析を行った．その結果，多くのメッセージが通過する通信リンクを発端として輻輳が発生することが明らかになった．そこで，パケットの送出間隔を適切に制御するパケットペーシングを適用することによって，ほぼ完全に輻輳の発生を抑制することができ，理論計算値に近い通信性能を達成できる可能性があること確認した．

1.

共同研究に関する情報通信時間を短縮できることをシミュレーション(1) 共同研究を実施した拠点名によって明らかにすることである．これは，通九州大学 情報基盤研究開発センター

信全体の高速化を図ることによってプログラム(2) 共同研究分野全体の実行時間を短縮することにつながる．

超大規模数値計算系応用分野

パケットペーシングとは，通常は切れ目無く

超大規模データ処理系応用分野

連続して送出されるパケットを所定の間隔（パ

超大容量ネットワーク技術分野

ケット間ギャップ）を空けて断続的に送出する■ 超大規模情報システム関連研究分野ことである．通信経路上で異なるメッセージの(3) 参加研究者の役割分担

パケットが衝突する場合に，パケットペーシン

柴村英智【九州先端科学技術研究所】

グを適用すると他方のパケット間ギャップのタ①実践的な大規模並列プログラムの選定・取得

イミングで自パケットの転送を行うことができ，②シミュレーション評価に向けた準備

通信衝突が解消された円滑な通信となる．その③大規模インターコネクト・シミュレーションの実施

結果，ルータにおけるパケットの待ち時間や転④シミュレーション結果の解析・評価

送再開までの遅延が大幅に無くなり，通信全体

南里豪志【九州大学】の高速化が達成される．

①実践的な大規模並列プログラムの選定・取得

このようなパケットペーシング技術の研究と③大規模インターコネクト・シミュレーションの実施して，これまで申込者らは全対全通信をはじめ④シミュレーション結果の解析・評価とする集団通信を評価対象とし，シミュレーショ

眞木淳【九州先端科学技術研究所】

ン評価や実機での検証実験を経てパケットペー②シミュレーション評価に向けた準備

シングの有効性を実証してきた．本研究では，④シミュレーション結果の解析・評価

評価対象を主流のスーパーコンピュータ上で走行されるアプリケーションと定め，特に実用的

2.

研究の目的と意義な大規模並列プログラムに対してシミュレーショ

研究の目的

ンによる通信ボトルネックの解析を行い，パケッ

実践的な大規模並列プログラムの通信部分にトペーシングを施した際の通信の高速化，延い対してパケットペーシング（後述）を適用し，てはプログラム全体の高速化の可能性を探る．
1

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

4. 前年度までに得られた研究成果の概要

研究の意義
これまでのパケットペーシングに関する研究なし（※新規課題のため）で得られた知見の中で注目すべき点は，通信衝突の頻度が高いほど，換言すると，通信メッセー5. 今年度の研究成果の詳細

ジサイズが大きく通信ホップが長くなるほどパ

5.1 評価対象プログラムの MGEN プログラム化

ケットペーシングの効果が増すことである．こ本研究で評価対象とする実践的な大規模並列プ

れは大量の計算ノードを利用する近年の大規模

ロ グ ラ ム と し て ， 全 球 雲 解 像 モ デ ル NICAM

並列プログラムに対して通信高速化の観点から（http://fiber-miniapp.github.io/）を選定した．

大きく貢献できることを意味する．

このコードから主要通信部を抽出し，インターコ

また，パケットペーシングはノード間通信のネクトシミュレータ NSIM に与える MGEN プロ

みならず他の通信ネットワークでの活用が考えグラムを作成した．NSIM の入出力ファイルを図 1られる．その一つは，メニーコア化が進むプロに示す．NSIM ではアプリケーションの振る舞い

セッサ内の NoC(Network on Chip)への適用であに従ったシミュレーションを行うために，MGENる．現在のノード間通信における問題と同様，プログラムと呼ぶ MPI 相当の C プログラム（図 2）

コア数が増加するに従いコア間通信における遅を駆動させ，シミュレーション中にオンデマンド延や通信衝突が問題になる日は近いであろう．

で通信イベントを生成している．したがって，実もう一つのネットワークとして多数のストレー

際の MPI プログラムの通信パターンに則したインジや外部入出力装置を接続する HPC 向けの I/Oターコネクトのシミュレーションができる．ただネットワークへの適用も有効であると考える．

し，シミュレーションではメッセージデータの授以上のように，パケットペーシングは，ポス受は行わないため，受信メッセージの内容に応じトペタ／エクサ時代の大規模通信における実用て通信パターンが変化するようなプログラムのシ的な技術として幅広い応用が期待できる．本来

ミュレーションについては対象外としている．

パケットペーシングは，インターネットのよう現在，基本的な 1 対 1 の同期・非同期通信をはな中長距離のオープンネットワークでの QoS をじめ，ランデブー通信，ゼロコピー通信をサポー提供するための技術であるが，これをインタートしており，基本的な集団通信は MGEN プログ

コネクトのような短距離かつクローズドなネッラムとして別途提供している．また，インターコ

トワークで積極的に活用する事例は課題代表者

ネクトの詳細仕様をインターコネクト・コンフィらの知る限り初めてであり，本研究が当該分野グレーションファイルと呼ぶ設定ファイルで与えに果たす役割は大きい．

るため，実機のみならず新規のインターコネクトの性能予測ツールとしても利用できる．そして，

3. 当拠点公募型共同研究として実施した意義

MPI プロセスと物理ノードの対応を任意に与えら実際の計算機運用に携わる拠点スタッフと連携れるように，ランク・ノード変換テーブルファイすることで，インターコネクトシミュレータ NSIMルを入力とする．

による大規模シミュレーションの実行に終始せず，NSIM はシミュレーション終了後，性能情報ファ

シミュレーションで想定するインターコネクトのイル，統計情報ファイル，通信履歴ファイルを出仕様設定やシステム構成に関する現実的なシミュ力する（図 3）．性能情報ファイルは，シミュレーレーションパラメータを決定するために綿密な情ションによって得られた評価対象インターコネク報交換ができる点に大きな意義がある．また，シトの性能情報（MGEN プログラムの予測実行時間，ミュレーション結果の分析についても，運用面か総転送パケット数，総転送データ量，実効バンドらみた実践的な判断が期待できる．

幅，リンクスループット，リンクビジー率など）
2

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

図 1

図 2

NSIM の入出力ファイル

MGEN プログラム例を含む．また，統計情報ファイルは，リンクスルー

NICAM における正 20 面体格子の展開図を図 4プット，仮想チャネルバッファの利用率，通信レに示す．隣接する 2 つの面（3 角形）を併せ１つイテンシ，ネットワークレイテンシなどの詳細なのダイヤとした 10 個のダイヤ（X=0～9）から成っ統計情報である．そして，シミュレーションされており，最小規模の並列実行（10 プロセス）ではた通信イベントの詳しい履歴を通信履歴ファイル

ダイヤ自身が region となる．矢印はデータ分割にに出力する．
NSIM は並列離散事象シミュレーショおける通信パターンを表す．

ンモデルに基づき，MPI で実装しており，多くの1 つの region は計算領域であり，さらに再帰的並列処理プラットフォームで実行可能である．に 4 分割していくことで並列性を高める工夫をし

NICAM では有限体積法による離散化を行い，ている．この再帰の繰り返し回数は Rlevel-n と定水平方向の格子としては正 20 面体格子を用いる．

義されている．したがって，各 region を図 4 の通信に関しては幾つかの control volume をまとめように 4 つのサブ region に分割し，再帰的に n 回て“region”とし，region と MPI ランク（プロセス）

分割を繰り返すと region の数は全体として 10×が 1 対 1 に対応する．

4n となる．本研究では２種類の規模のシミュレー
3

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

図 3

NSIM が出力する性能情報ファイル，統計情報ファイル，通信履歴ファイル

図 4

正 20 面体の展開と通信パターン（rlevel=1）

ションを実施した．一つは rlevel=2 とした小規模により，4 プロセス分の通信をシミュレーション実行モデル（160 プロセス）であり，もう一つはするものとした．

rlevel=7 とした大規模実行モデル（163,840 プロ

評価対象インターコネクトのトポロジは 3 次元セス）である．分割された正 20 面体格子内でのトーラス網（X, Y, Z）とし，NICAM における論region の位置を指定するため，論理的な region 座

理ノード座標（x, y’, z’）から物理ノード座標（X, Y,標を（x, y, z）と表す．大規模実行モデルでは 4Z）へのマッピング方法を図 6 に示す．

プロセス／ノードでの実行とし，図 5 のように隣

このマッピングにより，小規模実行モデルでは接する 2×2 の 4 プロセスを 1 ノードに割り当て

図 4 中のダイヤ内に加えてダイヤ間の通信の一部た．ここで，ノード座標を指定するために（x, y', z'）が隣接通信となる．それ以外のダイヤ間の通信経と表す．

路は他の通信経路と重なり合うことになり，１つNICAM の主要な通信は各 region と隣接する 4のリンクを共有する通信経路の数（共有数）は最つの region との間のデータ交換であり，これは対大で 3 となる．また，マッピングされるノードの応するプロセス間の非同期な 1 対 1 通信となる．

形状は，10×2×2（論理ノード座標）から 5×4

また，ノード内通信はノード間通信よりも速いた×2（物理ノード座標）となる（図 6（a））．

め通信時間は隠蔽できるものとし，本研究ではノー同様に，大規模実行モデルではノードの形状は10×64×64（論理ノード座標）から 40×32×32ド間通信のみを扱う．
以上のような NICAM の主要通信を模擬する通（物理ノード座標）となり（図 6（b）），ダイヤ内信パターンプログラム（MGEN プログラム）を作の隣接通信の大部分はマッピング後も隣接通信と成した．この MGEN プログラムでは，NSIM のして残る．それ以外の通信はトーラスリンクがあ制約のため，ノード内の 4 プロセスを 1 プロセス

る X 方向の面上を 1 ないしは 2 ホップ通過する．

で置き換え，4 方向への通信を 2 回ずつ行うこと

北側のダイヤ同士および南側のダイヤ同士の一4

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

図 5

実行モデル毎のノード内通信とノード間通信(a) 小規模実行モデル

図 6(b) 大規模実行モデル

実行モデル毎のノードマッピング（概要）

部の通信では YZ 面上で多くの経路がダイヤ型の下，通信開始時刻のインバランス）により，ペー角に位置するノード（北側では Y=31, Z=0，南側シングが効かない場合もある．

では Y=0, Z=0）を通過し，それらが共有するリン本研究では，プロセス配置をノードの次元昇順

クで共有数が 17 と最大になる．なお，どの経路でにプロセスを配置するノーマルマップを基準とし，も X 方向へはトーラスリンクがある 4 つの面上

パケットペーシングを適用した場合について通信（Y=0，Y=31 の 2 つの XZ 面上，ならびに Z=0，性能の推定を行った．また，実機で生じる通信開Z=31 の 2 つの XY 面上）だけを通過し，内部（0Y，始時刻のインバランスがパケットペーシングにもZ31）では X 方向のデータ移動は存在しない．

たらす影響についても評価を行った．

5.2 パケットペーシングによる NICAM 通信の高速化

本研究で用いるパケットペーシング機構は，
ハー

パケットペーシングは，通信時のパケット送出ドウェア実装によって実現されていることを前提間隔を適切に設定することで，通信衝突を抑制しとする．メッセージの送信手続きが開始され，ルー効率の良い通信を実現するものである．これまで

タに搭載された NIC（通信コントローラ）からネッの研究から，ホップ数やメッセージ長が大きくなトワークに対してパケットを送出する際に，パケッるほど通信衝突を抑制する効果が高いことが明らト長の転送に要する時間を基準とした非送出期間かになっており，大規模インターコネクトへの活（以下，パケット間ギャップ：Inter-Packet Gap）用が期待できる．一方で，通信パターン（アルゴを設ける．ここで，パケット送出時に n パケットリズム）によっては，通信開始時刻のばらつき（以分のリンク転送に要する時間だけ待たせる場合を，
5学際大規模情報基盤共同利用・共同研究拠点 平成 26Capacity
年度共同研究2015 年 5 月
Run 最終報告書(3DT-5x4x2)

1.2

通信時間 (msec.)

1.0
0.8

1,152 KiB
576 KiB

0.6

480 KiB
288 KiB

0.4

21 KiB

0.2

16 KiB

0.0
0.0

0.5

1.0

1.5
2.0
2.5
Inter-Packet GAP

3.0

3.5

4.0

図 7

パケット間ギャップに対する通信時間の変化（小規模実行モデル）

図 8

パケット間ギャップに対する通信時間の変化（大規模実行モデル）

パケット間ギャップ=n（ただし，n≧0）とする．

評価対象とするインターコネクトは 3 次元トー

また，パケット間ギャップが 0 の場合，パケットラス網とし，NICAM 通信の実行モデルは小規模は連続して送出されるものとする．

実行モデルと大規模実行モデルとする．これらのこのようなパケットの転送間隔時間を変更でき実行モデルについて，パケット間ギャップ（パケッる機能を搭載したスーパーコンピュータには，理トの送信間隔）を 0.0（パケットペーシング無し）

研の京や富士通社製 FX10 がある．これらに搭載から変化させながら，各データサイズにおける通されている Tofu インターコネクトのルータチップ信時間が最小となるギャップ値を調査した．

（ICC）では，トーラス網のような不等距離網で小規模実行モデルにおける推定通信時間を図 7の通信において広域的な公正性（global fairness）に示す．各データサイズともパケット間ギャップをパケットの調停時に保つよう，転送パケット間が大きくなるにつれて通信時間が徐々に減少してのギャップを設定し，ネットワークへのパケットいることがわかる．そして，パケット間ギャップの投入率を制御することが可能となっている．

が 2.0 付近において，各通信時間が最小になってNSIM は，MPI 通信に相当する関数群以外に，いる．ここで，各データサイズにおける最小通信

パケット間ギャップを明示的に設定しパケットペー時間から全通信時間を積算すると，パケットペーシングをともなうメッセージ通信を行う，独自のシングによって約 40％の通信時間を削減できるこ低レベル通信関数を備えている．この低レベル通とがわかった．さらにパケット間ギャップを大き信関数を用いて評価対象アプリケーションにパくすると無駄な非通信時間が増えるため，通信時ケットペーシングを適用した通信性能推定を行う．

間はギャップ値に比例して増加している．
6

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

同様に，大規模実行モデルにおける推定通信時の推移を示す．データサイズが 1,152KiB 程度と間を図 8 に示す．各データサイズともパケット間大きい場合は，引き続くパケット数が多くパケッギャップが増加するにしたがって徐々に通信時間トペーシングの効果が効きやすいため，インバラが減少している．さらにパケット間ギャップが増

ンス係数が 0 から 100 マイクロ秒まで大きく変化

加すると無駄な非通信時間が多くなるため全通信してもパケット間ギャップが 2.0 付近で最小の通時間はギャップ値に比例して増加する．この増加信時間を保っている．しかし，データサイズが小傾向は小規模実行モデルのものと比較すると穏やさくなるにつれてインバランスの影響を受けやすかであるため，パケット間ギャップを数パケットくなり，最適なパケット間ギャップ値は増加傾向

分大きめに設定しても全通信時間は大きく変化しになっていることが確認できる．さらに，インバない．したがって，多数のノードを使う実行モデ

ランス係数を 1 ミリ秒と大きくしすぎると，パケッ

ルでは，十分なパケットペーシングの効果を発揮

トペーシングの効果が全く出ていない．

できるといえる．なお，大規模実行モデルにおい

一方，大規模実行モデルにおいてインバランスて全通信時間を最小にするパケット間ギャップ値値を変化させた場合の通信時間の推移を図 9（a）

は 17.125 であった．

～（g）に示す．小規模実行モデルと比較して，ノー5.3 インバランスの影響調査

ド規模が大きい大規模実行モデルではホップ数も実際のシステムでは OS ジッタや負荷の不均衡大きいため，すべてのデータサイズについてインによって通信開始時刻のインバランスが発生する．

バランスに左右されず，十分なパケットペーシン

これまでのパケットペーシングに関する研究から，グの効果が発揮されている．

通信の高速化を図るためにパケットペーシングを以上のことから，NICAM 通信では，ノード規適用しても，通信開始時刻のインバランスや通信模が小さい場合はインバランスの影響を受けやす

アルゴリズムによっては通信性能が大きく変化し，いため最適なパケット間ギャップを適宜導出する

場合によってはペーシングの効果を損なう可能性ことは容易ではない．一方，ノード規模が大きいもあることがわかっている．そこで，実システム

場合はインバランスの影響を受けにくく，理論的での実行を想定した，NICAM 通信に対するインなパケット間ギャップから若干大きめの値を設定バランスの影響を調査した．具体的には，各プロすることで十分なパケットペーシングの効果を得

セスでの通信開始前に様々な空白時間を加え，パることができる．今後の課題として，この適切なケットペーシングを適用した場合の通信時間の変パケット間ギャップ値を導出する手法の開発が重化を観測した．

要である．

通信開始前に加える空白時間は，プロセス毎にこれまでの結果をまとめ，NICAM 通信についインバランス係数（fimb）を越えない値を乱数によっての通信時間の推定結果を整理する．て生成した．インバランス係数を 0 秒（インバラ小規模実行モデルにおける推定結果を図 11 にンス無し），100 ナノ秒，1 マイクロ秒，10 マイク

示す．最左のバーは，机上計算による通信時間（理ロ秒，100 マイクロ秒，1 ミリ秒とした場合の空論値）である．残る 4 つのバーは NSIM によるシ白時間，ならびに，参考のためにバリア同期によミュレーション結果によるものであり，パケットる空白時間を用いた．なお，バリア同期はソフトペーシングの有無，インバランスの有無により 4ウェア実装とし，同期アルゴリズムには種となる．それぞれのバーは，データサイズ毎のdissemination を用いた．

通信時間を積算しており，この図から全通信時間

図 10（a）～（g）に，小規模実行モデルにおは 288KiB 以上の通信によって支配されているこ

いてインバランス値を変化させた場合の通信時間とがわかる．
7

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

図 9各インバランス係数における通信時間の推移（大規模実行モデル）

机上計算値を基点とし，NSIM によって通信衝を短縮できる可能性がある．

突のオーバヘッドを考慮した通信時間と比較する

同様に，大規模実行モデルの推定結果を図 12と，281.7 ミリ秒（机上計算）から，638.1 ミリ秒に示す．小規模実行モデルの結果と同様に，通信（インバランス無し）もしくは 654.2 ミリ秒（イ衝突を考慮した場合，理論値から約 2.2 倍の通信ンバランス有り）へと約 2.27 倍の通信時間の増加時間の増加となった．そして，パケットペーシンとなった．これらに対し，パケットペーシングをグを適用することで約 49%と大幅な短縮が可能と適用することによって，それぞれ 385.9 ミリ秒，なり，理論値に近い通信性能を達成できる見込み

440.9 ミリ秒とそれぞれ 60%から 67%に通信時間があることがわかった．
8学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

図 106.

各インバランス係数における通信時間の推移（小規模実行モデル）

今年度の進捗状況と今後の展望

コストが大きく，種々のアプリケーションの通信

本課題では，当所の計画にもとづき実践的なアパターンを取得するには至らなかった．

プリケーションの通信部分にパケットペーシング

今後は，主要通信パターンの導出手法を見直すを適用し，通信時間全体を短縮できることをシミュとともに，NSIM によるアプリケーションの具体レーションによって明らかにした．一方で，実ア的な実行時間を推定する手法を確立することが急

プリケーションから主要な通信パターンを抽出し，務の課題である．

NSIM 向けの MGEN プログラムを生成する作業
9

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

図 11

NICAM 通信における推定通信時間（小規模実行モデル）

図 12 NICAM 通信における推定通信時間（大規模実行モデル）

7.

ference

研究成果リスト

on

ParallelComputing(1) 学術論文(ParCo2015), Sep. 2015. (to appear)

該当なし(4) 国内会議発表(2) 国際会議プロシーディングス

該当なし

該当なし

(5) その他（特許，プレス発表，著書等）(3) 国際会議発表

該当なし(3-1) Hidetomo Shibamura: Active Packet
Pacing as a Congestion Avoidance Techniquetoward Extreme Scale Interconnect, International

Supercomputing

Conference

2014(ISC’14), Poster at HPC in Asia Poster Session,
2014．
(3-2) Hidetomo Shibamura: Active Packet
Pacing as a Congestion Avoidance Technique inInterconnection Network, International Con102015