学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

jh150014-NA10

フェーズフィールド法と分子動力学法による大規模デンドライト成長シミュレーション
高木 知弘（京都工芸繊維大学）
GPU スパコン TSUBAME を用いた大規模フェーズフィールドシミュレーションにより，多結晶二元合金におけるデンドライト競合現象を評価し，典型的な凝固組織である柱状晶の形成メカニズム解明にアプローチする．ここで，大規模計算を更に効率的に行うために液相領域に粗な格子を用いる工夫を行う．加えて，分子動力学法による複数 GPU大規模凝固シミュレーション手法を確立し，分子動力学法による超大規模凝固シミュレーションを可能とする．

1.

共同研究に関する情報

下川辺 隆史（東京工業大学・学術国際情報セ(1) 共同研究を実施した拠点名ンター）

東京工業大学並列 GPU コードのチューニング・大規模デー
タ処理＆可視化技術サポート(2) 共同研究分野■

超大規模数値計算系応用分野

坂根 慎治（京都工芸繊維大学・工芸科学研究

超大規模データ処理系応用分野科）



超大容量ネットワーク技術分野

GPU 並列コーディング・フェーズフィールド

超大規模情報システム関連研究分野

計算実行・データ処理＆考察・論文執筆(3) 参加研究者の役割分担

2.

高木 知弘（京都工芸繊維大学・機械工学系）

研究の目的と意義

研究全体の統括・GPU 並列コーディング・フ

金属材料製品の開発において，凝固組織を高精ェーズフィールド計算実行・データ処理＆考度に予測および制御することは，製品の軽量化や察・論文執筆

高機能化において極めて重要である．一般的な凝固組織は，デンドライトと呼ばれる樹枝状結晶の青木 尊之（東京工業大学・学術国際情報セン

成長によって形成されるため，凝固組織を精度良ター）

く評価するためにはデンドライトを再現すること大規模 GPU 計算の統括・並列 GPU コードのチが必要である．デンドライトを精度良く再現するューニング

唯一の連続体モデルはフェーズフィールド法であるが，フェーズフィールド法は拡散界面モデルで大野 宗一（北海道大学・大学院工学研究院）あるため，計算コストが高くなる問題がある．加

データ整理・データ考察・論文執筆補助

えて，凝固組織は多くのデンドライトの相互作用によって形成される．このため，HPC 技術の確立

靖（東京大学・大学院工学系研究科）が不可欠である．また，フェーズフィールド法は分子力学計算の実行・データ整理＆考察・論現象論モデルであり，物性値や界面異方性のモデ文執筆リングを必要とする．そこで，原子系シミュレー

澁田ション手法との連成技術の開発により現状を打破
1

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

行い，熱流方向（y 方向）から傾いて成長する UOすることが課題である．
上記のような背景を受け，本研究では GPU スパ(unfavorably oriented) デ ン ド ラ イ ト が ， FO

コン TSUBAME を用いた大規模フェーズフィール(favorably oriented)デンドライトを淘汰する新しいドシミュレーションにより，二元合金多結晶体に淘汰現象のメカニズムを解明した[Acta Mater. 81

おけるデンドライト競合現象を評価し，典型的な(2014) 272-283, JOM 67 (2015) 1793-1804]．この計凝固組織である柱状晶の形成メカニズム解明を試

算は 2 次元ではあるが，通常の CPU 計算では領みる．ここで，大規模計算をこれまで以上に効率域・時間とも困難な計算であり，TSUBAME の利的に行うため，液相領域に粗い格子を用いる手法用により極めて効率的に結果を出すことができた．

を適用する．加えて，複数 GPU による分子動力学法による大規模凝固シミュレーション手法を確立し，自発的核生成から凝固および粒成長までの一貫したシミュレーションを可能とする．

3. 当拠点公募型共同研究として実施した意義
本研究は，フェーズフィールド法，分子動力学法，材料工学，超大規模計算の専門家のコラボレーションによって進められており，本共同研究ならではの世界的研究を可能とする極めて意義深い研究である．当拠点公募型研究は 3 年目になるが，本研究成果は国内外で高く評価されており，この研究を継続し，当該分野で世界的なイニシアチブを取り続けることに大きな意義がある．また，今Fig. 1 Two-dimensional bicrystal dendrite competitive
growth simulation. [JOM 67 (2015) 1793-1804]

年度から新規に大規模分子動力学法の研究を取り入れ，連続体モデルと原子系モデルの新しい形のマルチスケール連成モデルの構築を目指す．

4. 前年度までに得られた研究成果の概要
本一連の研究は，平成 23 年のゴードンベル賞の継続研究であり，本共同研究は平成 25 年度から開始し，今年度で 3 年目となる．平成 25 年度（初年度）は，結果が界面幅に依存しない二元合金凝固問題に対する定量的フェーズフィールドモデルをGPU 実装し，TSUBAME による大規模計算を可能とした．平成 26 年度（2 年目）は，コードのチューニングを行いフェーズフィールド法による本格的な大規模計算に着手した．これまでに得られた主な成果は下記の通りである．
4.1 2 次元二結晶競合成長シミュレーション

Fig. 2 Three-dimensional bicrystal dendrite
competitive growth simulation. [JOM 67 (2015)
1793-1804]

図 1 に示すような Al-Cu 二元合金の一方向凝固過程における二結晶競合成長シミュレーションを2

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

4.2 3 次元二結晶競合成長シミュレーション
図 2 は，3 次元 2 結晶競合成長シミュレーショ

5. 今年度の研究成果の詳細

ンの結果である[JOM 67 (2015) 1793-1804]．図 1 の昨年度までは単結晶・二結晶のデンドライト競3 次元バージョンである．3 次元では粒界がジグザ合現象を対象とした．今年度は，多結晶におけるグになり，また図 1 の 2 次元同様，条件によってデンドライト競合成長現象を対象とし，より現実UO デンドライトが FO デンドライトを淘汰する現的な柱状晶の形成メカニズム解明を目的に研究を象を確認することができた．このような計算にお進めた．また，分子動力学法を用いた単一 GPU にいて UO デンドライトの傾きを変えた 3 通りの計よる系統的シミュレーションを行い，大規模並列算を行った[ISIJ Int. 56 (2016) in print]．

コードを作成した．詳細は下記の通りである．

Fig. 3 Three-dimensional directional solidification ofsingle crystal.
4.3 3 次元単結晶デンドライト配向挙動評価
図 3 は，単結晶の一方向凝固過程におけるデンドライト競合成長シミュレーションを，温度勾配を変化させて行った結果である．このシミュレー

Fig. 4 Two-dimensional polycrystal directional
solidification simulation. [J. Cryst. Growth 442 (2016)14-24]

ションは，温度勾配方向（z 方向）垂直断面内のデンドライト配向性のメカニズムを解明するために行った．Voronoi 分割と Deloney 三角分割によりデ5.1 2 次元多結晶デンドライト競合成長ータ整理を行い，六角形配列が安定配列であるこ

図 4 は，2 次元多結晶デンドライト競合成長シとを明らかにした．現在論文を投稿中である．

ミュレーション結果の一例である．計算領域下端3学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

部に 17 個の結晶方位の異なる核を配置し，そこか5.2 3 次元多結晶デンドライト競合成長ら一方向（y 方向）に温度勾配を与えデンドライ

図 5 は，3 次元多結晶デンドライト競合成長シト成長させている．2 次元計算ではあるが，8,192ミュレーション結果である．図 5 は，1,024×1,0247×1,536 格子を用い 2×10 ステップの計算を 8×1,024 格子領域を可視化しており，実際の計算でGPU 並列で 2 日間行っている．この計算を温度勾は，この上部に更に 512 格子分の領域を設けてい配 4 通り，初期核配置を 5 通り変化させ，全部でる．図 2 や図 3 の昨年度までの計算では，全領域20 回の計算を行った．この結果，必ずしも温度勾に同じサイズの格子を用いる計算を行っていたが，配方向に成長するデンドライトが生き残るわけで液相領域は溶質拡散のみを解けばよく，溶質濃度はないことを示し，詳細なメカニズムを考察した．

はフェーズフィールドに比べると勾配が非常に小

この結果は Journal of Crystal Growthさく，液相領域では粗い格子を用いることができ[J. Cryst.

Growth 442 (2016) 14-24]に掲載された．

る．そこで今年度は，液相領域に粗い格子を用い，計算を効率化できるようにコードをチューニングした．領域分割と格子サイズの関係を図 6 に示す．
図 5 のシミュレーションでは，可視化領域の上部に溶質拡散のみを解く 512x（x は最小格子サイズ）を設けているが，この領域の実際の格子サイズは 2x としており，実際は 1,0243+512×512×256個の格子で計算を行っている．このため，1,024×1,024×1,536 の格子を用いる場合の 70%の格子数で同じ計算を可能としている．図 5 は 106 ステップ時の計算結果でり，温度勾配を 5 通り，初期核配置を 3 通り変化させ，全部で 15 回の計算をおこなった．現在データを整理中であり，近いうちに論文執筆を行いたいと考えている．

Fig. 5 Three-dimensional polycrystal directional
solidification simulations.

Fig. 7 Single GPU MD simulation of 12,454,560
atoms. [Acta Mater. 105 (2016) 328-337]
5.3 単一 GPU による大規模 MD 計算
単一 GPU 計算による 107 原子スケールの大規模計算を可能とし，過冷却融液からの自発的な核生成，多結晶凝固，粒成長の連続シミュレーションが可能であることを示した[Acta Mater. 105 (2016)328-337]．
Fig. 6 Domain subdivision and mesh division forphase-field directional solidification simulation

4

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

研究が順調に進んでいることを裏付けている．

7.

研究成果リスト(1) 学術論文
T. Takaki, S. Sakane, M. Ohno, Y. Shibuta, T.
(a) Atomic information

Shimokawabe, T. Aoki, Large-scale phase-field studiesof three-dimensional dendrite competitive growth at
the converging grain boundary during directional
solidification of a bicrystal binary alloy, ISIJInternational, 56 (2016). (in print)(b) Lattice information
Fig. 8 Large-scale MD simulation by parallel GPUcomputation.

T. Takaki, M. Ohno, Y. Shibuta, S. Sakane, T.
Shimokawabe, T. Aoki, Two-dimensional phase-fieldstudy of competitive grain growth during directional
solidification of polycrystalline binary alloy, Journal

5.4 MD の複数 GPU 並列コーディングof Crystal Growth, 442 (2016) 14-24.

MD 計算を大規模かつ高速化するため，複数GPU 並列コーディングを行った．また，計算が超E.

大規模となるため，離散的原子情報を構造格子データに落とし込み可視化を容易にする方法（図 8），

Miyoshi,T.

Takaki,

Extended

multi-phase-fieldmodelfor

higher-orderthree-dimensional

anisotropic-grain-growth simulations, Computational

および Common Neighbor Analysis (CNA)による原

Materials Science, 120 (2016) 77-83.

子構造判定，また平均粒径や粒界方位差評価など，データ整理用コードも構築した．実際の計算ではE. Miyoshi, T. Takaki, Validation of a novel107 原子スケールの計算を行った．現在データ整理

higher-order multi-phase-field model for grain-growthと論文執筆中である．また，次年度からの粒成長

simulations

計算における MD による多結晶粒成長計算とフェusing

anisotropic

grain-boundary

properties, Computational Materials Science, 112, Partーズフィールド計算結果を比較するため，マルチA (2016) 44-51.

フェーズフィールド法の高精度化も進めている[Comp. Mater. Sci. 112A (2016) 44-51, Comp. Mater.

Y. Shibuta, S. Sakane, T. Takaki, M. Ohno,

Sci. 120 (2016) 77-83]．

Submicrometer-scale molecular dynamics simulation

6.

of nucleation and solidification from undercooled

今年度の進捗状況と今後の展望

melt: Linkage between empirical interpretation andフェーズフィールド法と分子動力学法とも，当初予定していた目的をほぼ達成することができた．

atomistic nature, Acta Materialia, 105 (2016) 328-337.

ただし，分子動力学計算では当初予定していたデY. Shibuta, K. Oguchi, T. Takaki, M. Ohno,

ンドライト構造の再現よりインパクトの高い超大Homogeneous nucleation and microstructure evolution

規模計算による自発的核生成からの凝固計算を優in million-atom molecular dynamics simulation,先させた．また，過年度のデータを整理し論文投Scientific Reports 5, 2015/08, 13534.

稿も順調に行えた．この結果，一連の研究成果は業績欄にあるように 8 編のジャーナルに掲載され，Y. Shibuta, M. Ohno, T. Takak, Solidification in a5

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

Supercomputer: From Crystal Nuclei to Dendrite

T. Takaki, R. Rojas, M. Ohno, T. Shimokawabe, T.

Assemblages, JOM, Volume 64, Issue 8, 2015/08,

Aoki, GPU phase-field lattice Boltzmann simulations

1793-1804.

of growth and motion of binary alloy dendrite [invited],
ModelingofCasting,Welding

andAdvanced

S. Sakane, T. Takaki, M. Ohno, T. Shimokawabe, T.

Solidification Processes (MCWASP XIV 2015), June

Aoki, GPU-accelerated 3D phase-field simulations of21-26,

dendrite

Conference Center, Japan.

competitivegrowthduring

directional

2015,

Awaji

YumebutaiInternational

solidification of binary alloy, Materials Science andEngineering, Vol. 84, 2015/06, 012063.

S. Sakane, T. Takaki, M. Ohno, T. Shimokawabe, T.
Aoki, GPU-accelerated 3D phase-field simulations of(2) 国際会議プロシーディングス

dendrite

competitive

growthduringdirectional無し

solidification of binary alloy, Modeling of Casting,Welding and Advanced Solidification Processes(3) 国際会議発表(MCWASP XIV 2015), June 21-26, 2015, Awaji

Y. Shibuta, S. Sakane, T. Takaki, M. Ohno, Nucleation,

Yumebutai International Conference Center, Japan.

Solidification and Grain Growth in Large-Scale
MolecularDynamics

Simulation

Performedon(4) 国内会議発表

Graphics Processing Unit, 2015 MRS Fall Meeting &○高木 知弘, 坂根 慎治, 大野 宗一, 澁田 靖, 下Exhibit, November 29-December 4, 2015, Boston,

川辺 隆史, 青木 尊之, 大規模 phase-field 計算に

Massachusetts, USA.

よる単結晶二元合金一方向凝固過程の一次枝配列
挙動評価, 日本鉄鋼協会第 171 回春季講演大会,

E. Miyoshi, T. Takaki, Higher-order multi-phase field

2016/3/23-25.

model for 3D polycrystalline-grain-growth simulations
The 8th International Workshop on Modeling in○澁田 靖, 坂根 慎治, 高木 知弘, 大野宗一, 大Crystal Growth (IWMCG-8), November 15-18, 2015,

規模分子動力学法シミュレーョン による凝固組

Spa, Belgium.

織生成過程の考察, 日本鉄鋼協会第 171 回春季講演大会, 2016/3/23-25.

Y. Shibuta, T. Takaki, S. Sakane, M. Ohno, Large scale
molecular dynamics simulation of solidification and○三好 英輔, 高木 知弘, 粒界特性の方位差依存

microstructure性を考慮した 2 次元粒成長の大規模

Workshop

onevolution,

TheModelingin8thInternational

CrystalGrowthmulti-phase-field 解析, 日本鉄鋼協会第 171 回春季(IWMCG-8), November 15-18, 2015, Spa, Belgium.

講演大会, 2016/3/23-25.

T. Takaki, M. Ohno, Y. Shibuta, S. Sakane, T.

○三好 英輔, 高木 知弘, 金属熱処理組織の高精Shimokawabe, T. Aoki, Dendrite competitive growth

度制御を目指した高次 multi-phase-field モデルの構

by large-scale phase-field simulations using GPU

築, 関西支部第 91 期定時総会講演会, 2016/3/11-12.

supercomputer[Invited],

The

3rdInternational

Workshops on Advances in Computational Mechanics○坂根慎治, 高木知弘, 定量的 Phase-field 法によ(IWACOM-III), October 12-14, 2015, Tokyo, Japanるデンドライト競合成長の GPU 超並列大規模シミ ュ レ ー シ ョ ン , 第 1 回 材 料 WEEK,
6学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

2015/10/13-17.
国内招待講演○三次英輔, 高木知弘, 再結晶集合組織予測に向けた multi-phase-field 粒成長シミュレーション, 第高木知弘, Phase-field 法と GPU スパコンによる大1 回材料 WEEK, 2015/10/13-17.

規模凝固シミュレーション, 日本機械学会北海道支部 特別講演会 , 2015 年 12 月 10 日（北海道大○三好英輔, 高木知弘, 高精度 3D 粒成長シミュレ学）

ーションのための高次 multi-phase-field モデル, 日
本機械学会第 28 回計算力学講演会, 2015/10/10-12.

高 木 知 弘 , TSUBAME2.5 を 用 い た 大 規 模phase-field シミュレーションによる凝固組織の高○高木知弘, 坂根慎治, 大野宗一, 澁田靖, 下川辺

精度予測, GPU Technology Conference (GTC Japan隆史, 青木尊之, 二結晶二元合金におけるデンド2015), 2015 年 9 月 18 日(虎ノ門ヒルズフォーラム).

ライト競合成長の大規模 3D phase-field シミュレーション, 日本鉄鋼協会第 170 回秋季講演大会,

高木知弘, Phase-field 法の基礎と研究紹介, 第 27 回

2015/9/16-18.

コンピュテーショナル・マテリアルズ・デザイン
ワークショップ, 2015 年 9 月 4 日 （大阪大学豊中○澁田靖, 高木知弘, 坂根慎治, 大野宗一, 過冷融キャンパス）.

液からの核生成および凝固過程の大規模分子動力学法シミュレーション, 日本鉄鋼協会第 170 回秋

高木知弘, フェーズフィールド法の概要と材料組季講演大会, 2015/9/16-18.

織解析の最先端, 公益社団法人 精密工学会 成形
プラスチック歯車研究専門委員会 第 19 回講習会
2015 年 8 月 28 日（機械振興会館）.

○三次英輔, 高木知弘, 高次 multi-phase-field モデ
ルによる多結晶粒成長シミュレーション, 日本金高木知弘, GPU スパコンによるデンドライト成長

属学会 2015 年秋季(157 回)講演会, 2015/9/16-9/18.の大規模 phase-field シミュレーション, 公益社団
○三好英輔, 高木知弘, 異方性粒界特性を考慮し法人 日本鋳造工学会 鋳造 CAE 研究部会, 2015 年

た多結晶粒成長の GPU multi-phase-field シミュレ

8 月 4 日（大阪産業大学ーション, 第 20 回計算工学講演会, 2015/06/8-10.
(5) その他（特許，プレス発表，著書等）
受賞
2015 年 6 月 24 日受賞
ModelingofCasting,WeldingandAdvanced

Solidification Processes XIV Best Poster Awardタ イ ト ル ： GPU-accelerated

3D

phase-field

simulations of dendrite competitive growth during
directional solidification of binary alloy
著者：S. Sakane, T. Takaki, M. Ohno, T. Shimokawabe,T. Aoki7梅田サテライト）.