ICSC2017＠横浜ベイホテル東急

FOCUSスパコンにおけるiconCFDの並列性能ベンチマークテスト２
2017年11月10日
三菱電機株式会社 先端技術総合研究所
熱流体システム技術部 流体・伝熱制御グループ
永安 哲也

目次
１．目的
２．FOCUSスパコンとは
３．ベンチマーク方法
４．解析対象５．解析条件６．解析メッシュ
７．解析ケース
８．解析結果９．ベンチマーク結果
10．まとめ１．目的
FOCUSスパコンのDシステム，Eシステム，Fシステム，Hシステムを使用し，オープンソースベースの汎用CFDソフトウェアiconCFDの並列性能ベンチマークテストを実施する．

２．FOCUSスパコンとはスーパーコンピュータ「京」の産業利用の促進を図り産業界のスパコン利用企業層を拡大するための技術高度化支援を中心に供用を行うほか，産学連携研究や実践的な企業技術者の育成を推進することを目的に整備された国内唯一の産業界専用の公的スーパーコンピュータ．
2011年4月に高度計算科学研究支援センター内で稼働を開始して以来，利用者のニーズに応えるためシステムの増強を繰り返し実施し，2017年8月
現在、総理論演算性能は344テラフロップス（「京」の約1/30）に達している．

FOCUSスパコン

１２．FOCUSスパコンとは今回のベンチマークでは，ノード間の高並列演算を指向するDシステム，搭載メモリ量の多いEシステム，Fシステム，Hシステムを対象とした．

前回評価

今回評価

FOCUSスパコンのシステム概要図２

３．ベンチマーク方法
同一形状の流体解析モデルをメッシュ数・並列数を変更し，それぞれ iconCFDによる流体解析を実施する．前回は， 500イタレーションまでの計算時間で評価したが，今回は，実行開始から100イタレーションまでで打ち切った．ただし，前回の結果との比較を可能にするため，今回の計算時間についても，500イタレーションまでの計算時間相当に換算して比較した．（※ 原則として，最終的な収束に達するまでの解析は行っていない．）（例） Dシステムで，① Coarse Mesh（約2000万メッシュ）を960並列（フルコア使用）で計算した場合．（前回の結果より）
前回
1イタレーション
2～500イタレーション
計算時間（500イタレーション）

今回
計算時間（100イタレーション）

93.02[sec/iter]

平均0.64[sec/iter]

1イタレーション

2～100イタレーション

換算

計算時間のイメージ

流体計算では，1イタレーション目の計算に非常に時間がかかる．また，100イタレーションと500イタレーションの計算時間を比較すると，単純に5倍ではない．
３３．ベンチマーク方法
そのため，以下の式を使用し，100イタレーションまでの計算時間を500イタレーション相当の計算時間に換算して，比較を行った．
計算時間＝（1イタレーション目の計算時間）＋（2～100イタレーションの平均計算時間）×499
ここで，MPI（Message Passing Interface）は，iconCFDにバンドルされているintelMPIを使用した．環境は，通常運用中のFOCUSスパコン（Dシステム，Eシステム，Fシステム，Hシステム）とした．他のジョブの影響を小さくするため，原則３回の繰り返し測定を実施し，平均値を採用した．使用するiconCFDのバージョンは，前回との連続性から，v3.2.8（最新バージョンではない）とした．

４．解析対象
解析対象は，iconCFDの標準ベンチマークで用いられているレーシングカー
モデルの外部流れとした．流れは，定常，非圧縮とし，乱流状態であるとした．
200km/ hourの走行状態を仮定し，解析では，車体を固定，周囲流及び路面に相対的な速度を与えた．タイヤとホイールには，走行速度に合わせた回転速度を与えた．なお，流体の物性は，空気（密度： 1.205 [kg/m3]，動粘度：1.511×10-5 [m2/s]）とし，乱流モデルは，k-ωSSTを使用した．
４

４．解析対象

10

解析対象

解析領域

５

５．解析条件ⅱ）流出部：圧力規定ⅴ）壁面（すべり条件）ⅲ）壁面（すべりなし）移動速度ありⅰ）流入部：速度規定ⅳ）壁面（すべりなし）移動速度なし

境界条件

６

６．解析メッシュ① Coarse Mesh：約2000万メッシュ（20,399,141メッシュ）

車体表面ベースサイズ：
約2.8 [mm]７６．解析メッシュ② Standard Mesh：約1億メッシュ（102,608,986メッシュ）

車体表面ベースサイズ：
約1.6 [mm]８６．解析メッシュ③ Fine Mesh：約5億メッシュ（501,384,138メッシュ）

車体表面ベースサイズ：
約0.8 [mm]９７．解析ケース
当初実施を計画した解析ケースの一覧を示す．
（ⅰ） システム比較 [E・F・Hシステム]
120 240Eシステム 並列数 60[20/20コア] ノード数3612
① Coarse Mesh✓✓✓
② Standard Mesh✓✓
③ Fine Mesh

メモリ不足の可能性大360
18
✓
✓
✓

48024
✓
✓
✓

72036
✓
✓
✓

Fシステム 並列数
[40/40コア] ノード数
① Coarse Mesh
② Standard Mesh
③ Fine Mesh

802
✓1203
✓
✓

2406✓
✓

360
9✓
✓

48012
✓
✓

24012✓✓

Hシステム 並列数
[8/8コア]ノード数① Coarse Mesh
② Standard Mesh
③ Fine Mesh648
✓

12816
✓✓

25632
✓✓✓

38448
✓
✓✓

51264
✓✓
✓

76896
✓
✓
✓

900
45
✓✓✓

450
45
✓✓✓
半分のコアを使用(間引き）比較が困難なため計画なし

1024128✓✓✓512128✓✓✓ 10

７．解析ケース（ⅰ） システム比較 [E・F・Hシステム（ここでは，Eシステムの例）]
最大並列数のケースのみ，使用するノードの数は変えず，並列数を半分に減らしたケースを追加で実施した．1コア当たりのメモリ使用量を増加させる狙い．
core02

core03

core04

core05

core06

core07

core08

core09core10

core12

core13

core14

core15

core16

core17

core18

core19core20

node02 core01（128GB） core11

core02

core03

core04

core05

core06

core07

core08core09

core10

core12

core13

core14

core15

core16

core17

core18

core19core20

node03 core01（128GB） core11

core02

core03

core04

core05

core06

core07

core08

core09core10

core12

core13

core14

core15

core16

core17

core18

core19core20

node44 core01（128GB） core11

core02

core03

core04

core05

core06

core07

core08

core09core10

core12

core13

core14

core15

core16

core17

core18

core19core20

node45 core01（128GB） core11

core02

core03

core04

core05

core06

core07

core08

core09core10

core12

core13

core14

core15

core16

core17

core18

core19core20・・・・・

node01 core01（128GB） core11

450並列（20→10コア/ノード×45ノード）
900並列（20コア/ノード×45ノード）

11７．解析ケース

メモリ不足の可能性大（ⅱ） 半分間引きの影響検証 [Dシステムのみ]
120 180 240
Dシステム 並列数 60[10/20コア] ノード数
6121824① Coarse Mesh✓✓✓✓② Standard Mesh✓✓✓③ Fine Mesh✓（ⅲ） 間引きの最適化検証 [Dシステムのみ]

36036
✓
✓✓

48048
✓
✓
✓

並列数

192384

480

576

768

960

（ノード数固定） ノード数

4848

48

48

48

48

[4/20コア][8/20コア][10/20コア][12/20コア][16/20コア][20/20コア]✓✓✓✓✓✓✓✓✓✓✓✓

並列数480480

480

480

480

（並列数固定） ノード数

6048403024[8/20コア][10/20コア][12/20コア][16/20コア][20/20コア]

✓✓

✓✓

✓
✓

✓
✓

✓
✓

Dシステム

① Coarse Mesh
② Standard Mesh
Dシステム

① Coarse Mesh
② Standard Mesh12

７．解析ケース（ⅱ） 半分間引きの影響検証 [Dシステム]
前回のベンチマークでは，使用するノード数（48）を変更せず，コア数を半分にすると計算速度が向上したが，他の（少ない）ノード数（6～36）でも向上するか？
core01

core02

core03

core04

core05

core06

core07

core08

core09core10

core11

core12

core13

core14

core15

core16

core17

core18

core19core20

node48（64GB）

core01

core02

core03

core04

core05

core06

core07

core08

core09core10

core11

core12

core13core14

core15

core16

core17

core18

core19core20・・・

node01（64GB）

960→480並列（20→10コア/ノード×48ノード）
960並列（20コア/ノード×48ノード）

計算速度向上core01

core02

core03

core04

core05

core06

core07

core08

core09core10

core11

core12

core13

core14

core15

core16

core17

core18

core19core20

node06（64GB）

core01

core02

core03

core04

core05

core06

core07

core08

core09core10

core11

core12

core13

core14

core15

core16

core17

core18

core19core20・・・

node01（64GB）

120→60並列（20→10コア/ノード×6ノード）
120並列（20コア/ノード×6ノード）

計算速度向上？
13

７．解析ケース（ⅲ） 間引きの最適化検証 [Dシステム]
同じノード数で間引きを変えると計算時間はどの程度変化するか？
同じ並列数でノード数を変えると計算時間はどの程度変化するか？
node01（64GB）

node02（64GB）

core01

core02

core03

core04

core05

core06

core07

core08

core09core10

core11

core12

core13

core14

core15

core16

core17

core18

core19core01

core02

core03

core06

core07

core11

core01

core02

core03

core04

core05

core06

core07

core08

core09core10

core11

core12

core13

core14

core15

core20

core16

core17

core18

core19core20

core04

core05

core01

core02

core03

core04

core05

core08

core09core10

core06

core07

core08

core09core10

core12

core13

core14

core15

core11

core12

core13

core14

core15

core16

core17

core18

core19core20

core16

core17

core18

core19core20

core01

core02

core03

core04

core05

core01

core02

core03

core04

core05

core06

core07

core08

core09core10

core06

core07

core08

core09core10

core11

core12

core13

core14

core15

core11

core12

core13

core14

core15

core16

core17

core18

core19core20

core16

core17

core18

core19core20

node01（64GB）

node02（64GB）

・・・

・・・

node48（64GB）

node48（64GB）

960→576並列
960→384並列（20→12コア/ノード×48ノード）（20→8コア/ノード×48ノード）
どちらが速い？

14８．解析結果（圧力分布）① Coarse Mesh：約2000万メッシュ（20,399,141メッシュ）15８．解析結果（圧力分布）② Standard Mesh：約1億メッシュ（102,608,986メッシュ）16８．解析結果（圧力分布）③ Fine Mesh：約5億メッシュ（501,384,138メッシュ）17

（カッコ）内は，各基準に対する計算速度を示す（スケーラビリティ）

９．ベンチマーク結果（ⅰ） システム比較 [E・Fシステム]

計算時間（実行開始から500イタレーション相当として換算[単位：sec]）
Eシステム 並列数 60[20/20コア] ノード数
3
① Coarse Mesh
2699
（約2000万メッシュ） （0.5）② Standard Mesh
（約1億メッシュ）③ Fine Mesh
（約5億メッシュ）

120
61422（1.0）
7386
（1.0）

240
12741.2
（1.9）
3763
（2.0）

360
18
521.7
（2.7）
2852
（2.6）
15637
（1.0）

48024473.4（3.0）
2312
（3.2）
11093
（1.4）

720
36
426.5
（3.3）
1743
（4.2）
9491
（1.6）

480
12
499.3（3.4）
2661
（3.4）

240
12
435.2
（3.9）
2324
（3.9）

900
45
423.4
（3.4）
1476（5.0）
8248
（1.9）

450
45
244.7
（5.8）
1170
（6.3）
6251
（2.5）

メモリ不足で実行不可 スケーラビリティ算出の基準

Fシステム 並列数 80[40/40コア] ノード数
2
① Coarse Mesh
2442
（約2000万メッシュ） （0.7）② Standard Mesh
（約1億メッシュ）

120
3
1693
（1.0）
9132
（1.0）

240
6
874.8
（1.9）
4563
（2.0）

360
9
587.0
（2.9）
3322
（2.7）

半分のコアを使用(間引き）18（カッコ）内は，各基準に対する計算速度を示す（スケーラビリティ）

９．ベンチマーク結果（ⅰ） システム比較 [Hシステム]

計算時間（実行開始から500イタレーション相当として換算[単位：sec]）
原則３回の繰り返し測定を行う予定であったが，１回目の計算で時間がかかりすぎたため，２回目の計算以降を中止

128256
Hシステム 並列数 64[8/8コア] ノード数
81632
① Coarse Mesh4197 3086 2339
（約2000万メッシュ） （0.7） （1.0） （1.3）② Standard Mesh
15467 16204（約1億メッシュ）（1.0） （1.0）③ Fine Mesh
（約5億メッシュ）
メモリ不足で実行不可

384
5127681024
486496128
7459 39838 414186（0.4） （0.1） （0.01）
18116
（0.9）

512128スケーラビリティ算出の基準

Hシステムでは，並列数が384を超えると，計算時間が大幅に増加する傾向が見られた．スケーラビリティも大幅に低下したため，以降の計算（③ Fine Meshなど）を中止した．
19

９．ベンチマーク結果（ⅱ） 半分間引きの影響検証 [Dシステム]（カッコ）内は，各基準にスケーラビリティ 対する計算速度を示す
算出の基準 （スケーラビリティ）

計算時間（実行開始から500イタレーション相当として換算[単位：sec]）
Dシステム 並列数 60[10/20コア] ノード数
6
① Coarse Mesh1460
メモリ不足で実行不可（約2000万メッシュ） （0.5）② Standard Mesh
（約1億メッシュ）（参考）③ Fine Mesh
前回実施
（約5億メッシュ）

120
12767.5（1.0）
3948
（1.0）

180
18499.9（1.5）
2625（1.5）24024390.0
（2.0）
1986
（2.0）
11059
（1.0）

36036274.1（2.8）
1478
（2.7）
8300
（1.3）

480
48
241.9
（3.2）
1180
（3.3）
5871
（1.9）

Dシステム 並列数 60[20/20コア] ノード数
3
① Coarse Mesh
2740
（約2000万メッシュ） （0.3）② Standard Mesh 18801（約1億メッシュ）（0.2）③ Fine Mesh
（約5億メッシュ）

240
12
720.3
（1.0）
3770
（1.0）

360
18
526.5
（1.4）
2747
（1.4）
12532
（0.8）

480
24
428.3
（1.7）
2130
（1.8）
9745
（1.0）

720
36
413.6
（1.7）
1645
（2.3）

960
48
392.9
（1.8）
1538
（2.5）
5944
（1.6）

1206
1413
（0.5）
7442
（0.5）

20（カッコ）内は，各基準に対する計算速度を示す（スケーラビリティ）

９．ベンチマーク結果（ⅲ） 間引きの最適化検証 [Dシステム]

計算時間（実行開始から500イタレーション相当として換算[単位：sec]）
１ ノード数固定（料金一定）
Dシステム

並列数

192

384

480576768960

ノード数

4848

4848

48

48

[4/20コア][8/20コア][10/20コア][12/20コア][16/20コア][20/20コア]

337.5
（1.2）
1800（0.9）

266.8
（1.5）
1358
（1.1）

241.9
（1.6）
1180
（1.3）

250.8
（1.6）
1162
（1.3）

271.3
（1.4）
1270
（1.2）

392.9
（1.0）
1538
（1.0）
スケーラビリティ
算出の基準（全コア使用）① Coarse Mesh
（約2000万メッシュ）② Standard Mesh（約1億メッシュ）
２ 並列数固定Dシステム

計算時間が最も短い

並列数

480

480

480

480

480

ノード数

60

48

4030

24

[8/20コア][10/20コア][12/20コア][16/20コア][20/20コア]

231.2
（1.9）
1154
（1.8）

241.9
（1.8）
1180
（1.8）

261.4
（1.6）
1325
（1.6）

313.3
（1.4）
1656
（1.3）

428.3
（1.0）
2130
（1.0）

① Coarse Mesh
（約2000万メッシュ）② Standard Mesh
（約1億メッシュ）

21

９．ベンチマーク結果（ⅰ） システム比較 [Eシステム] ① Coarse Mesh：約2000万メッシュ

使用ノード数と計算時間の関係
使用ノード数とスケーラビリティの関係
・Eシステムの① Coarse Meshでは，480並列（24ノード使用）以上で計算時間はほぼ一定となった．各ケースとも計算時間のばらつきは，非常に少ない．
・45ノード使用時に，使用するコア数を半分に間引くことで，並列効率は大幅に向上した（6ノード使用時を基準として，45→77%）．
22

９．ベンチマーク結果（ⅰ） システム比較 [Eシステム] ② Standard Mesh：約1億メッシュ

使用ノード数と計算時間の関係

使用ノード数とスケーラビリティの関係

・Eシステムの② Standard Meshでも，並列数の増加に伴い，計算時間は短くなった．
・45ノード使用時に，使用するコア数を半分に間引くことで，並列効率は向上した（6ノード使用時を基準として，67→84%）．
23

９．ベンチマーク結果（ⅰ） システム比較 [Eシステム] ③ Fine Mesh：約5億メッシュ

使用ノード数と計算時間の関係

使用ノード数とスケーラビリティの関係

・Eシステムの③ Fine Meshでも，並列数の増加に伴い，計算時間は短くなった．
・45ノード使用時に，使用するコア数を半分に間引くことで，並列効率は大幅に向上した（18ノード使用時を基準として，76→100%）．
24

９．ベンチマーク結果（ⅰ） システム比較 [Fシステム] ① Coarse Mesh：約2000万メッシュ

使用ノード数と計算時間の関係
使用ノード数とスケーラビリティの関係
・Fシステムの① Coarse Meshでも，並列数の増加に伴い，計算時間は短くなった．
計算時間のばらつきも少ない．
・12ノード使用時に，使用するコア数を半分に間引くことで，並列効率はやや改善した（3ノード使用時を基準として，85→97%）．
25

９．ベンチマーク結果（ⅰ） システム比較 [Fシステム] ② Standard Mesh：約1億メッシュ

使用ノード数と計算時間の関係
使用ノード数とスケーラビリティの関係
・Fシステムの② Standard Meshでも，並列数の増加に伴い，計算時間は安定的に短くなった．
・12ノード使用時に，使用するコア数を半分に間引くことで，同じく並列効率はやや改善した（3ノード使用時を基準として，86→98%）．
26

９．ベンチマーク結果（ⅰ） システム比較 [Hシステム] ① Coarse Mesh：約2000万メッシュ

拡大使用ノード数と計算時間の関係

使用ノード数と計算時間の関係（拡大）・Hシステムの① Coarse Meshでは，256並列（32ノード使用）までは計算時間が短くなるが，384並列（48ノード使用）以上では計算時間は長くなった．
・512並列（64ノード使用）では，計算時間のばらつきも大きい．768並列（96ノード使用）の計算は1回のみ（2回目以降は中止）．
27

９．ベンチマーク結果（ⅰ） システム比較 [Hシステム] ① Coarse Mesh：約2000万メッシュ

使用ノード数とスケーラビリティの関係
・Hシステムの① Coarse Meshでは，256並列（32ノード使用）を超えるとスケーラビリティが大幅に低下した．これは，Hシステムのノード間通信が10Gbpsであり，通信負荷が増大したためと考えられる．
28

９．ベンチマーク結果（ⅰ） システム比較 [Hシステム] ② Standard Mesh：約1億メッシュ

使用ノード数と計算時間の関係

使用ノード数とスケーラビリティの関係

・Hシステムの② Standard Meshでは，並列数を増やすほど計算時間が長くなる傾向が見られた．計算時間のばらつきも大きい．
・前述の通り，通信負荷の増大が原因として考えられる．
29

９．ベンチマーク結果（ⅱ） 半分間引きの影響検証 [Dシステム] ① Coarse Mesh：約2000万メッシュ

使用ノード数と計算時間の関係
使用ノード数とスケーラビリティの関係
・Dシステムの① Coarse Meshでは，18ノード以上の並列で，使用するコアを半分に間引いた方が計算時間が短くなった．
・最大の48ノード使用時には，使用するコア数を半分に間引くことで，大幅に並列30効率が改善した（12ノード使用時を基準として，45→79%）．

９．ベンチマーク結果（ⅱ） 半分間引きの影響検証 [Dシステム] ② Standard Mesh：約1億メッシュ

使用ノード数と計算時間の関係

使用ノード数とスケーラビリティの関係

・Dシステムの② Standard Meshでも，18ノード以上の並列で，使用するコアを半分に間引いた方が計算時間が短くなった．
・最大の48ノード使用時には，使用するコア数を半分に間引くことで，大幅に並列31効率が改善した（12ノード使用時を基準として，63→84%）．

９．ベンチマーク結果（ⅱ） 半分間引きの影響検証 [Dシステム] ③ Fine Mesh：約5億メッシュ

使用ノード数と計算時間の関係

使用ノード数とスケーラビリティの関係

・Dシステムの③ Fine Meshでも，並列数の増加に伴い，計算時間が短くなった．
ここでは，48ノードを使用した場合を除き，全部のコアを使用した方が計算時間が短くなった．ただし，測定点数が少なく明確な傾向は得られなかった．

32

９．ベンチマーク結果（ⅲ） 間引きの最適化検証（48ノード固定）[Dシステム]① Coarse Mesh：約2000万メッシュ，② Standard Mesh：約1億メッシュ

使用コア数と計算時間の関係
使用コア数とスケーラビリティの関係
・Dシステムで使用するノード数を48で固定し，1ノード当たりの使用コア数を変化させたところ，① Coarse meshでは，10/20コア使用で，② Standard Meshでは，12/20コアの使用で計算時間が最も短くなった．
33

９．ベンチマーク結果（ⅲ） 間引きの最適化検証（480コア固定）[Dシステム]① Coarse Mesh：約2000万メッシュ，② Standard Mesh：約1億メッシュ

使用ノード数と計算時間の関係
使用ノード数とスケーラビリティの関係
・Dシステムで並列数を480で固定し，使用するノード数を変化させたところ，いずれのメッシュでも，使用ノード数が48以上で，計算時間はほぼ一定となった．
全コア（24ノード）使用時を基準としたスケーラビリティは，約1.8に達した．
34

９．ベンチマーク結果（まとめ）① Coarse Mesh：約2000万メッシュ（20,399,141メッシュ）

使用コア数と計算時間の関係
・① Coarse Meshでは，Dシステム，Eシステムで計算時間が最も短く，使用するコアを間引くことでさらに短くなる．Fシステムは，CPUの動作周波数の影響と考えられるが，Dシステム，Eシステムよりはやや計算時間が長い．
35

９．ベンチマーク結果（まとめ）① Coarse Mesh：約2000万メッシュ（20,399,141メッシュ）

使用コア数とスケーラビリティの関係
・① Coarse Meshでは，Dシステム，Eシステムで480並列（全コア使用）以上になると，スケーラビリティはほぼ一定に近づく．ただし，使用するコア数を半分にすることで，高並列時でもスケーラビリティは向上する．

36

９．ベンチマーク結果（まとめ）② Standard Mesh：約1億メッシュ（102,608,986メッシュ）

使用コア数と計算時間の関係
・② Standard Meshでも，Dシステム，Eシステムで計算時間が最も短く，使用するコアを間引くことでさらに短くなった．Fシステムは，CPUの動作周波数の影響と考えられるが，Dシステム，Eシステムより，計算時間がやや長い．
37

９．ベンチマーク結果（まとめ）② Standard Mesh：約1億メッシュ（102,608,986メッシュ）

使用コア数とスケーラビリティの関係
・② Standard Meshでは，Dシステム，Eシステム（，Fシステム）とも使用するコア数の増加に伴い，スケーラビリティは向上した．また，使用するコア数を半分にしても，スケーラビリティは向上した．
38

10．まとめ
FOCUSスパコンのDシステム，Eシステム，Fシステム，Hシステムを使用し，オープンソースベースの汎用CFDソフトウェアiconCFDの並列性能ベンチマークテストを実施した．
○ FOCUSスパコンのEシステム，Fシステムでは，並列数を増やすことで，計算時間は短くなった．高並列時に使用するコアを間引くことで，さらに並列効率は向上した．バラつきもほぼ見られなかった．
○ FOCUSスパコンのHシステムでは，約2000万メッシュの解析で，256並列（32ノード使用）を超えると，並列効率は著しく低下した．バラつきも大きい．
○ FOCUSスパコンのDシステムでは，18ノード以上の並列で，使用するコアを半分に間引いた方が計算時間が短くなった．
○ FOCUSスパコンのDシステムで使用するノード数を48（一定）としたところ，1ノード当たりの使用コア数を半分[10/20コア]，もしくは，半分からやや多め[12/20コア]とすることで，計算速度は最大となった．
○ 前回のベンチマーク結果も含めると，FOCUSスパコンではDシステム，Eシステムの計算時間が最も短く，次いでFシステムの計算時間が短い．
Hシステムは，大規模な計算には向かない場合がある．コストも考慮して考えると，バラつきはあるが，Aシステムの選択が良い場合もある．
39

謝辞
本ベンチマークは，公益財団法人 計算科学振興財団（FOCUS）様の協力を得て実施した．