SENAC Vol. 52, No. （1 2019. 1）［大学 ICT 推進協議会― 25 ―2018 年度年次大会論文集より］

東北大学サイバーサイエンスセンターにおける高速化推進研究活動の取り組みについて小野 敏 1), 大泉 健治 1), 山下 毅 1), 齋藤 敦子 1), 佐々木 大輔 1), 森谷 友映 1),
江川 隆輔 2,3), 滝沢 寛之 2,3)
1) 東北大学 情報部情報基盤課
2) 東北大学 サイバーサイエンスセンター
3) 東北大学 情報科学研究科
ono@tohoku.ac.jp

Research Activities to Promote Tuning Program in Cyberscience Center,Tohoku University
Satoshi Ono 1), Kenji Oizumi 1), Takeshi Yamashita 1), Atsuko Saito 1), Daisuke Sasaki 1), TomoakiMoriya 1), Ryusuke Egawa 2,3), Hiroyuki Takizawa 2,3)
1) Information Infrastructure Division of Information Department, Tohoku Univ.
2) Cyberscience Center, Tohoku Univ.
3) Graduate School of Information Sciences, Tohoku Univ.
概要
東北大学サイバーサイエンスセンター（以下、本センター）は、最新のコンピュータ設備を導入し、大規模シミュレーションの実行環境を整備すると共に、利用者、本センター教員・技術職員、ベンダ技術者が一体となってプログラムの高速化技術および新しいシミュレーション技術に関する研究・開発に取り組み、計算科学・計算機科学の発展に貢献してきた。本稿では、本センターの特徴的な取り組みである高速化推進研究活動について紹介する。

1

はじめに状である。
そこで本センターでは、利用者、本センター

本センターでは、常に最高・最新鋭の大型教員・技術職員、ベンダ技術者が一体となって計算機を導入し、大規模科学技術計算の要求に利用者アプリケーションの高度化・高速化、並応えてきた。現在、本センターの大規模科学計列化に取り組み、高速化支援を行うと共に、そ算システムは、主に研究室のワークステーショの技術的な知見を蓄積し利用者に還元していくンでは実行できないような大規模シミュレーシことが重要であると考え、高速化推進研究活動

ョンに用いられている。2015 年 2 月より運用しを行ってきた。
本稿では、この高速化推進研究活動の取りているスーパーコンピュータシステム
SX-ACE[1]の運用においても、これまでと同様に大規模・長時間シミュレーションの実行を運用の中心として考え、運用環境の構築を行った。
コンピュータのハードウェア技術、ソフト組みについて紹介する。

2

大規模科学計算システム

高速化推進研究活動の詳細説明に先立ち、本ウェア技術の進歩に伴い、コンピュータの機能、 センターの大規模科学計算システムの概要を述
および性能は飛躍的に向上してきているが、そべる。本センター大規模科学計算システムの構の潜在的な処理能力を最大限に引き出し、大規成を図 1 に示す。本センターの大規模科学計算模なシミュレーションを実現するためには、コシステムはベクトル型スーパーコンピュータ
ンピュータシステム、およびプログラミング技
SX-ACE、スカラ型並列コンピュータ LX 406Re-2、術に関する高度な専門知識を必要とするのが現― 26 ―

SENAC Vol. 52, No. （1 2019. 1）

図 1 大規模科学計算システム構成図
表 1 高速化支援活動実績
1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

件数

298

9107182082910

単体性能向上比

1.9

46.7

4.5

2.5

1.6

2.2

6.7

2.9

1.5

3.1

33.0

並列性能向上比

11.1

18.4

31.7

8.6

4.9

2.8

18.6

4.5

4.1

8.0

1.9

年度

2008

2009

2010

2011

2012

2013

2014

2015

2016

2017

件数

1588136119697

単体性能向上比

9.3

47.0

47.2

16.2

19.7

16.7

10.3

3219.25.9

並列性能向上比

5.1

3.6

48.5

17.2

15.3

12.9

8.0

531.2

ストレージシステム、三次元可視化システム、から構成される。1 つのノードは理論演算性能および大判プリンタから構成される。主力シス

230GFLOPS の Intel Xeon プロセッサ 2 基と 128GB

テムはその規模が示すとおり SX-ACE であり、主の主記憶容量を有している。なお OS は Linuxにユーザが開発した大規模シミュレーションのである。

実行を担っている。一方、SX-ACE には適さない3アプリケーションや、汎用・商用のアプリケー高速化推進研究活動

ションの実行には LX 406Re-2 が活用され、両シ本センターでは 1999 年よりユーザアプリケステムが相補的な役割を担っている。ベクトルーションの高度化・高速化、大規模化の支援を型スーパーコンピュータ SX-ACE は 2,560 のノー目的とした共同研究制度を施行している。利用ドから構成される。1 つのノードは、理論演算者、センター教員・技術職員、ベンダ技術者が性能 276GFLOPS のベクトルプロセッサ 1 基と連携してアプリケーションの高度化・高速化に64GB の主記憶容量を有している。各ノードは、取り組んでいる。また、本センターでは社会貢ノード間接続装置(IXS)で高速に相互接続され献の一環として、サイバーサイエンスセンターており、1 ジョブで最大 1,024 ノードを占有す共同研究制度の他に、産学連携共同研究に基づる並列処理が可能である。なお、OS は UNIXく民間企業利用も実施しており、学術分野のみSystem V に準拠した SUPER-UX である。スカラ

ならず産業のイノベーション創出にも貢献して型並列コンピュータ LX 406Re-2 は 68 のノードいる。

東北大学サイバーサイエンスセンターにおける高速化推進研究活動の取り組みについて― 27 ―

さらには全国の情報基盤センター等と連携し時点のオリジナルコードに対してのものであて JHPCN(学際大規模情報基盤共同利用・共同研る。
ユーザアプリケーションの高度化・高速化究拠点)を形成しての学際的な共同利用・共同研究の実施、HPCI(革新的ハイパフォーマンス・コンピューティング・インフラ)への資源提供機関としての活動など近年はその役割を広げ、こに取り組み高速化の成果を出すと共に、担当者の技術力強化のため、システムの特徴を有効に活用する高速化の技法に関するノウハウを表 2～表 4 のように年度毎にまとめ蓄積している。

れらの研究課題を通じて計算科学分野の利用者
表 2 2015 年度の高速化支援性能向上比と共同研究を行い、様々な分野におけるアプリケーションの高度化・高速化、並列化に取組み高速化推進研究活動を行ってきた。

番号

年 JHPCN、HPCI を介した共同研究課題が増加し1ている。これは、サイバーサイエンスセンター
共同研究を通してユーザアプリケーションが高2度化、大規模化し JHPCN、HPCI 採択課題へとステップアップしているためだと考えられ、継続ADB ヒット率の改善
未並列ループの MPI による並列化
MPI 分割方法の改良によるロードインバランスの改善

-

-

3

MPI 転送処理の最適化によるデータ転送量の削減-

4

MPI による並列化-

的な高速化推進研究活動が一定の成果をあげていることがわかる。また、表 1 にこれまで本セ性能向上比
単体
並列性能
性能

作業配列の導入によるベクトル化の促進

サイバーサイエンスセンター共同研究は恒常的に年 10 件程度実施されていることに加え、近主な改善点ンターが行ってきた高速化支援の成果を示す。

速化に取り組んでおり、単体性能、並列性能と5

このような高速化支援体制のもと、大規模計算利用者との共同研究を実施し、大学の多様な6計算モデルの大規模化、高精度化、高効率化、並列化に関する研究開発に取り組み、その知見

2015 年[6]に出版すると共に本センターweb ペ番号ージでも広く公開し、日本の大規模科学計算コ1

現在運用している SX-ACE 導入後の代表的なユーザアプリケーションの性能改善例を表 2～
表 4 に示す。なお、性能向上比は相談を受けた-

コンパイラ指示行によるメモリアクセス性能の改善
ファイルアクセス方法の変更

32 倍

-

主な改善点

性能向上比
単体
並列性能
性能

自動インライン展開によるベクトル化の促進

ミュニティにその成果を還元している。

4 SX-ACE におけるユーザアプリケーシ
ョンの性能改善例

32 倍

表 3 2016 年度の高速化支援性能向上比を高速化推進研究活動報告として、2001 年[1]、2003 年[2]、2005 年[3]、2008 年[4]、2011 年[5]、ループ分割によるベクトル化の促進
ファイルアクセス方法の変更
作業配列の導入によるベクトル化の促進

もに大幅な向上を実現している。

研究分野で活用される様々なシミュレーション

1.1 倍(256 コア並列)
1.4 倍（32 コア並列）
15.5 倍（16 コア並列）

自動インライン展開によるベクトル化の促進

1997 年から 2017 年にかけて 222 件の共同研究に基づくユーザアプリケーションの高度化・高1.8 倍(64 コア並列)

2

ループ展開によるベクトル化の促進
ループ分割、ループ交換によるベクトル化の促進
自動インライン展開によるベクトル化の促進
ループ分割、ループ交換によるベクトル化の促進

45 倍

-

43 倍

-

― 28 ―

SENAC Vol. 52, No. （1 2019. 1）

コンパイラ指示行によるベクトル化の促進

34567

ファイル出力方法の変更
ストリップマイニングによるメモリアクセス性能の改善
ASL ライブラリへの置換
ループ 1 重化とループ融合によるメモリアクセス性能の改善
配列サイズの変更によるメモリバンクコンフリク
トの改善
MPI_ISSEND の MPI_ISENDへの変更による通信性能の効率化
不必要な MPI_BARIIER の削除
作業配列の導入によるベクトル化の促進
リ ダ ク シ ョ ン 処 理(ALLREDUCE)の最適化
ファイル出力方法の変更
多重ループの融合/分割/入れ換えによるベクトル化の促進

配列定義の変更による平均ベクトル長の改善

23.3倍-

18 倍-

31.5 倍3倍-（32 コア並列）
-

5

3.8 倍
（636 コア並列）

89番号

MPI による並列化
GTHREORDER 指示行の挿入によるリストベクトルア
クセスの効率化
MPI_ISSEND の MPI_ISENDへの変更による通信性能の効率化

10 倍-

1.7倍-

依存関係解消のための作業配列追加によるベクトル化の促進-

約 5000倍（512 コア並列・推定値）

7

メモリ使用量の削減
指示行の挿入による演算効率の改善
指示行の挿入によるメモ
リアクセス性能の改善
複雑な条件分岐の簡略化のためのループ分割によるベクトル化の促進
通信命令の並び替えによる通信性能の改善

-

1.3 倍
（32 コア並列）

10 倍1.05 倍（636 コア並列）

5 スーパーコンピュータ SX-ACE のベク
トル化・並列化の状況
スーパーコンピュータ SX-ACE システムを導入した 2014 年度から 2017 年度までの各年度に-1.4 倍（32 コア並列）

おける、ベクトル化率および並列化率とノード時間割合との関係を図 2 に示す。SX-ACE を導入した 2014 年度において特徴的なのは、並列化率は 80%以上であるがベクトル化率がほぼ 0%であ

表 4 2017 年度の高速化支援性能向上比るジョブのノード時間割合が、15%程度あった点性能向上比
単体
並列性能性能である。これは他のシステムにおいて高度に並主な改善点
グローバルメモリ機能の使用による通信性能の改善

13倍

ループブロック化、マスク処理、ループ交換によるベクトル化の促進
計算カーネル部分について、ループブロック化、マスク処理によるベクトル化の促進
不要な演算の削減

ハイブリッド並列の効率化

65.1 倍（4→16コア並列）-

MPI 通信性能の改善

IF 文のループ外への移動によるベクトル化の促進
MAX・MIN 関数への置き換
え、除算の乗算化、冗長演算の削除による演算の効率化
作業配列の変数化によるメモリアクセス性能の改善
RedBlack 法の間接参照からマスク処理への変更によるメモリアクセス性能の改善

1.8倍

指示行によるメモリアクセス性能の改善
指示行の挿入によるベクトル化の促進

4-

指示行による再内ループの展開

非同期通信への変更による通信性能の改善
演算オーバーラップ機能の使用

1.2 倍（32 コア並列）

列化されてはいるがベクトル化を考慮していないジョブが、SX-ACE で実行されたためであると考えられる。高速化支援によってこのようなジョブのベクトル化が促進されたことにより、翌年の 2015 年度ではベクトル化率および並列化率ともに 80%を超えるジョブのノード時間割合

ノード時間割合― 29 ―ノード時間割合

ノード時間割合

ノード時間割合東北大学サイバーサイエンスセンターにおける高速化推進研究活動の取り組みについて

図 2 ベクトル化率および並列化率とノード時間割合
は 50%を上回った。また、2016 年度においては新規利用者が実行したと思われる、ベクトル化率および並列化率ともに 10%未満のジョブが見[2]られるが、2017 年度ではベクトル化率についてはほぼ 80%以上となっている。

6まとめ
本稿では、東北大学サイバーサイエンスセン

ターにおける高速化推進研究活動への取り組み

[3]
[4]
[5]
[6]

を紹介し、SX-ACE での代表的な性能改善例、ベクトル化・並列化の状況を報告した。大規模シミュレーションの実行には高度化・高速化、並列化が不可欠であり、今後も利用者アプリケーションの高速化支援を継続し、その知見を利用者に還元することを推進して行きたいと考える。
それとともに、高速化に対する認識を利用者に高めてもらうよう努力していきたい。

参考文献[1] 日本電気株式会社、萩原 孝、浜口 博幸、

山信田 恒、スーパーコンピュータ SX-ACE[7]のハードウェア、東北大学サイバーサイエンスセンター大規模科学計算システム広報
Vol.48、No.1、pp.5-14、2015.
東北大学サイバーサイエンスセンター、高速化推進研究活動報告 第 1 号、2001．
東北大学サイバーサイエンスセンター、高速化推進研究活動報告 第 2 号、2003．
東北大学サイバーサイエンスセンター、高速化推進研究活動報告 第 3 号、2005．
東北大学サイバーサイエンスセンター、高速化推進研究活動報告 第 4 号、2008．
東北大学サイバーサイエンスセンター、高速化推進研究活動報告 第 5 号、2011．
東北大学サイバーサイエンスセンター、高速化推進研究活動報告 第 6 号、2015．