学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

jh140008-NA06

高精度凝固組織予測のための大規模フェーズフィールドシミュレーションとその高速化
高木 知弘（京都工芸繊維大学）
本研究では，平成２５年度に構築した大規模フェーズフィールドシミュレーション手法の更なる高速化と，それを用いた一方向凝固過程におけるデンドライトの 3 次元配向メカニズムの解明にチャレンジした．平成２５年度に作成した並列化コードは，計算領域を一次元分割するものであったが，より大規模計算を可能とするため，今年度は二次元分割並列計算を可能とした．また，作成した並列コードを用いることで，温度勾配を変えた二元合金単結晶材の一方向凝固シミュレーションを行い，デンドライト配向性評価を試みた．また，次年度予定しているフェーズフィールド計算に必要となる物性値の獲得および計算結果の妥当性の検証を見据えて，分子動力学（MD）シミュレーションのGPU 実装と計算に着手した．加えて，昨年度の計算データを用いて論文を執筆した．

1.

分子動力学シミュレーションの GPU 実装とシミ共同研究に関する情報(1) 共同研究を実施した拠点名ュレーションおよびデータ整理．

東京工業大学(2) 共同研究分野

下川辺 隆史（東京工業大学・学術国際情報センタ■

超大規模数値計算系応用分野ー）



超大規模データ処理系応用分野

並列 GPU プログラムとデータ処理の高速化およ

超大容量ネットワーク技術分野

び計算のサポート

超大規模情報システム関連研究分野(3) 参加研究者の役割分担

堀井 麻有（京都工芸繊維大学・工芸科学研究科）

高木 知弘（京都工芸繊維大学・大学院工芸科学研計算の実行およびデータ処理究科）
研究全体の統括・プログラムの 2 次元分割並列化

2.

作業・論文執筆

研究の目的と意義

平成２５年度は，界面幅を変えても結果が変わ青木 尊之（東京工業大学・学術国際情報センター）

らない定量的フェーズフィールドモデルを用いた大規模 GPU 計算の統括・Kepler コアの GPU に大規模一方向凝固計算を，東京工業大学の対するチューニングTSUBAME2.5 を用いて可能とした．今年度は，この計算をより大規模な条件で行うために計算の大野 宗一（北海道大学・大学院工学研究院）

更なる高速化を図り， 単結晶材の複数デンドライ

定量的フェーズフィールドモデルの精度評価・フト成長過程におけるデンドライトの 3 次元配向メェーズフィールド計算による大規模計算条件の探カニズムの解明にチャレンジする．
材料開発では，材料組織を適切にコントロール索するプロセス設計の最適化が不可欠である．しか澁田しながら，材料加工プロセスにおけるコントロー

靖（東京大学・大学院工学系研究科）
1

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

ル因子は非常に多く，それらを従来の実験によるが一方向凝固計算の GPU コーディングを行い，青試行錯誤的な評価のみで行うには限界があり，数木・下川辺（東工大）が TSUBAME 用にコードを並値シミュレーションによる材料組織評価法および列 GPU 化およびチューニングし，高木・堀井（京プロセス設計法の確立と，それによる材料組織形工繊大）が計算を行い，計算結果の整理を行った．

成メカニズムの解明が不可欠である．最も強力な

今年度はまずはじめに，昨年度のデータを用い材料組織予測手法であるフェーズフィールド法はて高木と大野がメインとなって論文を執筆した．

計算コストが大きく，2 次元計算や，デンドライ次に，今年度の研究目的が大規模計算による二元ト１or 2 本程度の 3 次元計算に限定されているの合金単結晶材の一方向凝固シミュレーションによが現状である．材料組織の高精度予測には複数デるデンドライト配向メカニズム解明であり，更なンドライトの 3 次元競合成長現象を取扱う必要がる大規模計算を可能とするため，高木が並列計算あるが，そのためにはフェーズフィールド計算のの高速化を行った．その際，青木・下川辺がサポ大規模化が重要である．一方で，そのような計算ートを行った．平行して，大野が 2 次元計算によは世界的に見ても申請者のグループの結果しか存り 3 次元大規模計算のための計算条件の探索と精在しない．このゴードンベル賞を受賞した申請者度評価を行った．加えて，次年度から予定していらの先行研究は，世界中の研究者に大きなインパる大規模 MD シミュレーションの準備を行うため，クトを与えた．この研究を継続し，この研究分野MD シミュレーションの GPU コーディングを行い，で世界をリードし国内の研究者に大きなモチベーその成果を用いて論文執筆および投稿の作業を，ションを与え続けることにも本研究の役割である． 今年度から共同研究者に加わった澁田（東大）が今年度は，二元合金の単結晶材の一方向凝固シ担当した．

ミュレーションを行い，デンドライト配向挙動の以上のように，共同研究者が各自の専門におけメカニズム解明を目的とした．この研究を行うにる作業を担当し，この分野で世界一の研究を効率あたり，昨年度よりも大規模な計算を行う必要が的に進めることができており，大変意義深い共同あることから，2 次元分割並列コードを作成する．

研究となっている．

また，次年度から予定している分子動力学（MD）

4. 前年度までに得られた研究成果の概要

シミュレーションの大規模計算の準備も目的とし本一連の研究は，平成 23 年のゴードンベル賞のた．

継続研究であるが，本共同研究は平成 25 年度から3. 当拠点公募型共同研究として実施した意義であり，今年度で 2 年目となる．

本研究は，昨年度に引き続き，フェーズフィー

平成 25 年度は，界面幅を変化させても結果が変ルド法と材料工学の専門家と超大規模計算の専門わらない定量的フェーズフィールド法を GPU 計算家のコラボレーションによる本共同研究ならではに適用し，二元合金の一方向凝固の複数 GPU 計算の研究体制で進められた．また，極めて効果的なを新たに可能とした．合金凝固時に形成されるデ連携作業を進めており，着実に成果を出すことがンドライトの競合成長に着目し，デンドライト競できている．さらに，研究対象はスパコン合成長に関するいくつかの計算を試みた．

TSUBAME2.5 を用いなければ達成できないもの

図 1 はデンドライト競合成長の様子を示した模である．このように，研究成果および研究者間連式 図 で あ る ． 通 常 ， 熱 流 方 向 に 成 長 す る FO

携とも本共同研究として実施したから達成できた(favorably oriented)デンドライトが，斜めに成ことであり，大変意義深いといえる．

長する UO (unfavorably oriented)デンドライト

昨年度は，大野（北大）が構築した定量的を淘汰し成長し続けることが広く知られている．

phase-field モデルを用いて，高木（京工繊大）

一方で，最近の研究で，UO デンドライトが FO デ2

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

ンドライトを淘汰したり，UO デンドライトは直ぐ課題として申請した．には淘汰されず，かなり長い間成長を維持できるという，これまでの常識とは異なる現象が報告されている．

Fig. 1 Schematic illustration of dendrite
competitive growth.
以上の研究背景をもとに，図 2（2 次元計算）や図 3（3 次元計算）のような 2 結晶体の競合成長シFig. 2 Two-dimensional bicrystal competitivegrowth simulation.

ミュレーションを行い，実験において新しく確認された UO デンドライトが FO デンドライトを淘汰する現象を詳細に検討した．この結果，成長の過程で UO デンドライトが FO デンドライトに近づきデンドライト先端周辺の溶質拡散場が相互作用することで，FO デンドライトは徐々に左へ移動し，一番右側の FO デンドライトとその左隣の FO デンドライトの間隔が，2 本が安定に存在できる最も小さい間隔に達したときに一番右側の FO デンドライトが淘汰されることを明らかにした．この現象は図 3 に示す 3 次元でも同様であった．ただし，3 次元では拡散場が広くなるため，FO デンドライトの淘汰に要する時間は長くなることを明らかにした．また，このような新しい淘汰現象は UO デンドライトの傾き角度が大きい場合には生じないことも示した．
また，デンドライト成長方向の垂直面内におけるデンドライトの配向性を決定するメカニズムを解明すべく，図 4 のような単結晶におけるデンドライトの競合成長を試みた．図 4 の計算は，512×512×1536 の領域を用い 1,700 万ステップの計算を行っているが，現時点で配向性を決定する支配因子の特定および配向メカニズムの解明には至っておらず，より広い領域と長い時間での評価がFig. 3 Bicrystal competitive growth simulationin thin three-dimensional system.

必要である．このため，本テーマを平成 26 年度の3

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

域と計算時間では評価が困難であるため，より大きな領域，長い計算時間を可能とするプログラミングが必要となる．昨年度は一次元並列しか行うことができていなかったため，図 5 に示す計算領域の二次元並列化を行い，並列化効率の確認を行った．なお，本計算で用いる支配方程式は昨年度の報告書に記載したものと同じであり，ここでの(a) Side views

詳細な説明は割愛する．

Fig. 5 Image of two-dimensional decompositionof a full computational domain.
図 6 は強スケーリング（単精度計算）の結果を示している．512×512×768 の結果に見られるように，使用する GPU 数が 100 以下程度であれば GPU数を増やしても計算性能は低下しないが，GPU 数(b) Top views
Fig. 4 Dendrite competitive growth simulationin single crystal. 100,000, 1,000,000,10,000,000, and 17,000,000 steps.

を 100 より増やすと，通信に必要となる時間が増え実行性能が低下している．一方で，領域の大きな 1024×1024×768 の計算では，使用 GPU 数が 100を超えても実行性能は線形的に向上し，行った評

5. 今年度の研究成果の詳細価の範囲内では良い結果を示した．図 7 は，1 GPUまずはじめに，昨年度行った図 2 の計算結果のあたり 128×256×192 の格子を割り当てた際の弱考察を行い，論文を執筆＆投稿し掲載された[Actaスケーリングにおける性能結果である．図 7 より，Mater. 81, 2014, 272-283]．図 3 の 3 次元薄膜内使用する GPU 数を増加させても実行性能は線形的における結果は，追加計算を行いより良い論文にに向上した．以上の結果より，今回作成した領域投稿するため投稿保留とした．また，これらの結の 2 次元分割による並列化コードは，計算を大規

果は国内外の学会で発表（「8. 研究成果リスト」

模化しても効率的に計算を実行できることを確認参照）し，関連する研究者から高い評価を得た．

した．一方で，計算速度の絶対値に対しては，よGPU を用いたフェーズフィールド計算は行われる

り効率の高いコーディングを試みる必要があり，ようになってきたが，複数 GPU を用いた大規模計継続的にチューニング作業を行う．

算は世界的にもまだ行われておらず，本研究成果に対する評価は極めて高い．
今年度の研究目的は，図 4 のような単結晶体におけるデンドライト配向メカニズムの解明である．
「昨年度の成果」で示したように，図 4 の計算領
4学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

Performance [TFlops]

2.67857160×10-5 s としているため，実際の全計算時間は 4.46 分である．使用した GPU 数は，G = 5K/mm の場合が 512 GPU，それ以外が 256 GPU であ101り，計算時間はいずれもおおよそ 170 時間であった．

512×512×768
1024×1024×768

100 1
10102
Number of GPUs

103

Fig. 6 Multi-GPU computational performance intwo-dimensionaldecomposition.
(Strongscaling, single precision)

Performance [TFlops]

102101100

101102

103

Number of GPUs

Fig. 7 Multi-GPU computational performance intwo-dimensional decomposition. (Weak scaling,single precision)
構築した並列計算コードを用いて，図 8 のような Al-3wt%Cu 二元合金の単結晶一方向凝固シミュFig. 8 Dendrite morphologies at 3,000,000 steps
in the directional solidification of a binary
alloy single crystal.

レーションを行った．領域の引き抜き速度は Vp =100 m/s，格子サイズx = 0.75 m，初期化冷却度 u0 = -0.3 とした．また，温度勾配 G を，G = 5,10, 50, 100, 200 K/mm のように変化させることで，セル構造からデンドライト構造までの形態を再現し，結晶形態の違いによる配向性に及ぼす影響評価を試みた．この際，G = 5 K/mm の条件におい て の み 1536×1536×1024 差 分 格 子 (1.152mm×1.152 mm×0.768 mm)を用い，それ以外の条件に お い て は 1024×1024×1024 差 分 格 子 (0.768mm×0.768 mm×0.768 mm)を用いた．これは，温度勾配が小さくなるとデンドライト間隔が広くなるため，ある一定量以上のデンドライトを維持するためである．計算は全ての条件において 1,000 万Fig. 9 Dendrite morphological changes for G =10 K/mm.

ステップまで行った．この際，時間増分は t =5

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

図 9 は，G = 10 K/mm におけるデンドライト形態変化を示している．液相で満たした領域の底面中央に小さい固体の核を配置し，この状態を初期状態として計算を開始した．計算開始直後，固体は底面を濡らすように広がり，そこから上方向にデンドライトが成長し，競合成長が開始した．
150,000 step と 100,0000 step を見比べるとわかるように，競合成長によりデンドライト本数は減
少し，一定時間経過後はデンドライト本数に変化は確認されなくなった．図 8 は 3,000,000 step 時における形態である．
図 10 は G = 100 K/mm におけるデンドライト先端の x-y 面内の軌跡を 4,000,000 step まで示した
Fig. 11 Top view at 4,000,000 steps for G = 5K/mm and triangular meshing.

ものである（赤点が 4,000,000 step）．このように，デンドライト本数が変化しなくなった後も，デンドライトは移動を続け，安定な配置を探索していることがわかる．デンドライトがどのような配列になるのかを調べるため，図 11 に示すようなデンドライト先端を頂点とする三角形分割による方法を現在検討し，考察を行っているところである．図 12 は，デンドライト本数が変化しなくなった後のデンドライト一次アーム間隔を，Kurz &Fisher モデルと Hunt モデルと比較したものである．今回のシミュレーション結果はこれらの理論モデルの中間的な値をとっており，良好な傾向といえる．

Fig. 12 Dendrite primary arm spacing.
計算されるデンドライト形態は，用いる物性値や異方性関数に敏感であり，精度の高いフェーズフィールド計算を行うためには，より現実に近い物性値の入力を行う必要がある．そこで，物性値の取得およびフェーズフィールド計算の妥当性の検証のため，次年度に分子動力学法による大規模凝固計算を新規に行う計画を立てた．今年度は，
MD シミュレーションのコードを GPU 実装し，単一GPU による計算を行い，次年度の研究のための準備を行った．
図 13 は，TSUBAME2.5 の単一 GPU を用いて計算

Fig. 10 Changes of dendrite tip positions in x-yplane until 4,000,000 steps for G = 100 K/mm.

を行った純鉄の凝固計算例である．53.4×4.3×
53.4 nm の計算領域において 1,037,880 個の原子6学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月を配置させ，融点 Tm に対して図のような過冷却状

次年度は，このデンドライト成長シミュレーシ態に維持したところ，自発的な核生成と凝固核のョンを更に大規模化し，多結晶一方向凝固におけ成長，およびその後の多結晶粒成長が確認された．

る競合成長シミュレーションを行い，競合現象をこのような現象はこれまで報告されていなかった詳細に検討したいと考えている．また，今年度準ため，データ整理および考察を行い，現在備した MD 計算の並列 GPU コードを作成し，大Scientific Reports に投稿中である．

規模 MD 計算による完全 3D 条件における凝固計

本 MD シミュレーションは当初予定していなか算を行う予定である．いずれも世界一の研究成果った研究内容であるが，各計算は単一 GPU を用いを得られると強く期待している．

たものであり，割り当てられた計算資源内で用い7.

た計算量は極わずかである．

研究成果リスト(1) 学術論文
T. Takaki, M. Ohno, T. Shimokawabe, T. Aoki,
Two-dimensional phase-field simulations of dendrite
competitive

growthduringthedirectional

solidification of a binary alloy bicrystal, Acta
Materialia, 81 (2014) 272-283.
(2) 国際会議プロシーディングス
なし
Fig. 13 Snapshots of atomic configuration
duringnucleation,
grain
growthandmicrostructure evolution at 0.67Tm, 0.58 Tm and0.50 Tm. Red and white spheres represent atoms
with and without the bcc configuration,
respectively, and hereinafter the same applies.
Yellow circles highlight small grains, which
shrink and disappear due to the graincoarsening.

(3) 国際会議発表
T. Takaki, M. Ohno, GPU accelerated phase-field
simulations during dendrite competitive growth ofbinary alloy polycrystal [Keynote], The 9th Pacific
Rim International Conference on Modeling of Casting
and Solidification Processes (MCSP2014)
Proceedings, pp. 202-205, November 24-26, 2014,
Senri Life Science Center, Suita, Japan.

6.

今年度の進捗状況と今後の展望

T. Takaki, M. Ohno, T. Shimokawabe, T. Aoki,

2 次元分割の並列計算コードの作成に時間がか

Large-scale Dendrite Competitive Growth Simulations

かり，実際に計算を開始したのが年末と大変遅く

Using Phase-field Method, International Workshop on

なったが，予定の計算を完了することができた．

Multiscale

今回，温度勾配を 5 通りに変化させたシミュレー

November 10-11, 2014, Institute for Materials

ションを行ったが，非常に長い計算時間を要する

Research, Tohoku University, Sendai, Japan.

ため，各条件に対する複数回の計算を行うには至T. Takaki, Large Scale Phase-Field Simulations ofらなかった．各条件一度の計算においてどの程度

Growing Dendrites [invited], US-Japan Workshop onの物理現象を抽出できるかはデータ整理および考Exascale Applications, September 5-6, Park Cista

察を行ってみないとわからないが，データ整理おHotel, Gatlinburg, Tennessee, USA.

よび考察を完了し，論文執筆にこぎつけたいと考T. Takaki, M. Ohno, T. Shimokawabe, T. Aoki, 3D

えている．

Large-scale Phase-field Simulations of Competitive
7ComputationalMaterials

Science,

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

月 5 日受賞.

Dendritic Growth during Directional Solidification[invited oral presentation], The Third International
Symposium on Phase-field Method 2014 (PFM2014),＜招待講演等＞

August 26 – 29, 2014, State College, PA, USA.

高木 知弘, 大規模フェーズフィールド法によるT. Takaki, 2D and 3D Phase-Field Simulations of

材料組織予測シミュレーション[CAE 懇話会推薦],

Competitive Dendrite Growth During Directional

日本学術会議第４回計算力学シンポジウム, 2014solidification of Binary Alloy, 11th. World Congress

年 12 月 1 日on Computational Mechanics (WCCM XI), 20-25, July,高木知弘, 数値計算による材料組織設計

2014, Barcelona, Spain.

「Phase-Field Method」, 第 1 回 「京」と大型実験施設との連携利用シンポジウム, 2014 年 9 月 2(4) 国内会議発表日.

高木 知弘, 坂根 慎治, 大野 宗一, 澁田 靖,

高木知弘, TSUBAME2.5 によるデンドライト成長のPhase-field 法による多結晶二元合金のデンドラ

phase-field 計算, 第 3 回 CMSI「京」・HPCI スパ

イト競合成長シミュレーション, 日本鉄鋼協会第コン利用情報交換会&CMSI アプリ高度化合宿 (理169 回春季講演大会, 2015/03/18-20.

化学研究所計算科学研究機構), 2014 年 6 月 30 日.

高木 知弘, 大野 宗一, 下川辺 隆史, 青木 尊之,高木知弘, フェーズフィールド法による材料組織GPU スパコン TSUBAME2.5 によるデンドライ予測シミュレーション, 第 39 回関西 CAE 懇話会,

ト一方向凝固の phase-field シミュレーション, 日2014 年 6 月 20 日.

本 機 械 学 会 第 27 回 計 算 力 学 講 演 会 ,高木知弘, 形の変化を伴う材料・構造・流体のコ

2014/11/22-24.

ンピュータシミュレーション －フェーズフィー

高木 知弘, 大野 宗一, Phase-field 法による一方ルド法とスパコンによる大規模計算－, 松機会講

向凝固過程における多結晶競合成長シミュレーシ

演会, 2014 年 4 月 26 日.

ョ ン , 日 本 鉄 鋼 協 会 第 168 回 秋 季 講 演 大 会 ,2014/09/24-26.
高木知弘, 大野宗一, 下川辺隆史, 青木尊之, 複数GPU によるデンドライト競合成長過程の 3 次元
phase-field シミュレーション, 第 19 回計算工学講演会, 2014/6/11-13.
高木知弘, 大野宗一, Phase-field 法による一方向凝固過程における多結晶競合成長シミュレーション,
日 本 鉄 鋼 協 会 第 168 回 秋 季 講 演 大 会 ,2014/09/24-26.
(5) その他（特許，プレス発表，著書等）＜受賞＞
T. Takaki, The Third International Symposium on
Phase-field Method Poster Award, 2014 年 8 月
29 日受賞.
高木知弘, 一般社団法人溶接学会 界面接合研究委員会 平成 25 年度 界面接合研究賞, 2014 年 68