学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

jh140033-NA18

マルチフェーズフィールド法の大規模 GPU 計算による金属多結晶組織制御法の探索
山中晃徳（東京農工大学）
概要	 
本研究では、平成 25 年度に開発したマルチフェーズフィールド法の複数 GPU 計算法を応用して、金属材料中の分散粒子による多結晶粒成長のピンニング効果や逆ピンニング効果を解明するための大規模シミュレーション方法を構築し、実用金属材料の力学的特性向上につながる有効な材料学的知見を得ることを目的としている。本最終報告書では、分散粒子を含む金属材料における多結晶粒成長を表現するマルチフェーズフィール(MPF)ドモデルを説明する。また、MPF モデルを東京工業大学の TSUBAME2.5 スーパーコンピューターに実装し、大規模 3 次元シミュレーションを実施した結果について報告する。結果として、平成 25 年度に開発したプログラムの大幅変更なく、分散粒子を含む多結晶粒成長の大規模 3 次元シミュレーションをも実行可能であることを実証した。

1.

共同研究に関する情報	 

2.

研究の目的と意義	 

(1) 共同研究を実施した拠点名	 	  背景：研究代表者は、これまでマルチフェー	  東京工業大学学術国際情報センター

ズフィールド法を主な計算ツールとして使用し、	 鉄鋼材料やアルミニウム合金などの金属材料の(2) 共同研究分野	 性能を飛躍的に向上させるための材料学的知見	  超大規模数値計算系応用分野	 を提供しうる材料シミュレーション法を開発す	 ることを目的に研究を行ってきた。	 

参加研究者の役割分担	 	  鉄鋼材料やアルミニウム合金は、日本の主要	  参加研究者は、東京農工大学から山中晃徳と工業製品である自動車のボディ部材などに、非同大学院工学府機械システム工学専攻 修士 1

常に広範に使用されている。最近では、地球環年である岡本成史が参加した。山中は、研究代境問題や省エネルギー問題の解決のために、ハ表者として研究全体の統括を行った。岡本は、イブリッド自動車が普及してきているが、さら平成 25 年度より本共同利用研究に従事しておなる燃費向上のために、従来よりも高強度かつり、マルチフェーズフィールド法の GPU 計算プ

軽量（薄い）な高強度鋼板やアルミニウム合金

ログラムの開発および東京工業大学のスーパー板材を開発し、それを自動車車体に適用するこコンピューターTSUBAME2.5 への実装を担当とで車体のさらなる軽量化を達成することが求し、大学院生ながら重要な役割を果たした。

められている。

一方、東京工業大学からは、副代表者として	  上記を可能とする金属板材をより効率的に低青木尊之教授、下川辺隆史助教が参加した。下コストで開発するために、材料製造プロセスに川辺助教は、TSUBAME2.5 への実装評価手法やおいて材料中に形成する 10-6 メートルオーダー

大規模計算のためのプログラムチューニング、のミクロ組織（結晶粒や析出物）の 3 次元分布

特に GPU のオンボードメモリアクセスのチュや形態を数値シミュレーションで高精度に予測ーニュングを担当した。青木教授は、超高速化する技術が必要とされており、世界的にも激しのためのノード間チューニングを担当した。

い研究競争となっている。そのなかで、マルチ	 フェーズフィールド法は、実用金属材料の多結1

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

晶組織の形成過程の 3 次元シミュレーションをすます国際競争が激しくなる材料分野において行う計算方法のうち、最も有力な方法として注大きな武器となると期待できる。

目されている。しかしながら、マルチフェーズフィールド法は、非線形項を含んだ複数の偏微

3. 当拠点公募型共同研究として実施した意義	  	 分方程式を解く必要があり、かつ、メモリアク	  マルチフェーズフィールド法は、鉄鋼材料やセス律速な計算のため 3 次元シミュレーション

アルミニウム合金のみならず、極めて多岐にわには非常に膨大な計算コストを必要とする。

たる実用材料の組織制御や開発に、現在最も有	  そのため、平成 25 年度までの本共同利用研究

効な数値シミュレーション方法として国内はもにおいて、マルチフェーズフィールド法の大規ちろん世界的にも注目されている。したがって、

模 3 次元シミュレーションを可能とする複数マルチフェーズフィールド法の超高速・超大規GPU 計算方法を開発した。また、開発した計算

模計算手法を確立することは、日本の強みであ方法を東京工業大学のスーパーコンピューターる材料開発の国際競争において、今後も世界のTSUBAME2.5 に実装し、実行性能評価を行った

イニシアティブを握るうえで、非常に大きな意

結果、良好なスケーリング性能が得られること義があると考える。事実として、2011 年のゴーを実証してきた。

ドンベル賞受賞以来、世界の主要研究機関でフ	  目的：本年度の研究では、平成 25 年度に開発ェーズフィールド法の GPU 計算が盛んに実施したマルチフェーズフィールド法の大規模複数されるようになってきており、マルチフェーズGPU 計算法を応用し、実際に金属材料の特性向フィールド法の大規模 GPU 計算技術において上につながる有効な材料学的知見を得ることをアドバンテージを示しておく必要がある。	 

目指した。具体的な研究対象としては、微細な	  しかしながら、TSUBAME2.5 のような世界ト分散粒子が存在する金属材料中での多結晶粒成ップクラスの GPU スパコンを用いた大規模計長とし、分散粒子による結晶粒成長のピンニン算を実施し、優れた実行性能を得るためには、グ効果（抑制効果）や逆ピンニング効果（促進使用するスーパーコンピューターの特性の理解効果）のシミュレーションを実施し、これらのと様々な計算技術ノウハウを必要とする。特に、現象を解明することを目的とした。

研究代表者のように学外者にとって、それは研	  意義：現在、鉄鋼メーカーや軽金属メーカー究を実施するうえで、非常に大きな壁となる。

では、材料中に分散粒子を形成させることで、本共同研究課題を通じて、GPU を用いた高性能金属材料の降伏強度を決定づける最大の因子で計算のエキスパートである青木尊之教授と下川ある結晶粒サイズを精緻に制御している。最新

辺助教と共同研究を行うことは、効率的に研究の材料組織制御技術を用いれば、分散粒子の形を進め、優れた研究成果を得るうえで非常に大成位置やサイズを高精度に制御可能であると言きな意義がある。

える。しかしながら、所望の力学特性を材料に発現させるための分散粒子の最適な形成位置等

4. 前年度までに得られた研究成果の概要	 を決定することは、膨大な数の実験回数を必要	  平成 25 年度は、マルチフェーズフィールド法とする。したがって、マルチフェーズフィールを複数 GPU で高速計算するための計算技術をド法を用いて、結晶粒サイズに及ぼす分散粒子開発した。詳細は、「 山中晃徳, 学際大規模情報のサイズ・体積分率・分布状態の影響を高精度基盤共同利用・共同研究拠点 平成 25 年度共同研に予測可能となれば、現在の材料組織制御技術

究最終報告書, (2014)」を参照されたい。特筆すべを一段と向上でき、材料開発期間の短縮、試験

きは、マルチフェーズフィールドシミュレーシコストの削減に大きく貢献できる。これは、まョンの計算と並列計算のためのデータ通信を非2

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月
Number of grains/Number of grids: 512/(256x256x256)
Number of calclation steps: 200

Performance [GFLOPS]

1000

10010overlapping
non overlpping

11

10100

1000

Number of GPUs

Fig. 1 Strong scaling
computingofof the multiple-GPU

polycrystalline

grain

Fig. 2 Weak scalability of the multiple-GPU

growthcomputingof

polycrystalline

grain

growthsimulation with and without the overlapping method

simulation on TSUBAME 2.5 supercomputer.

for 2563, 5123 and 10243 grids on TSUBAME2.5	 supercomputer.

る。この成果は中間報告時のやや遅れた進捗状
況を考慮すれば、研究を大きく進展させること同期に実行し、データ通信によるオーバーヘッができたと評価できる。以後、結果を詳細に説ドを隠蔽するためのオーバーラッピング法を開明するために、今年度に使用したマルチフェー発した点である。オーバーラッピング法の詳細

ズフィールド法の方程式系を説明する。	 

は、文献（岡本成史, 山中晃徳, 下川辺隆史, 青	  一般にマルチフェーズフィールド法では、N木尊之,マルチフェーズフィールド法による個の結晶粒で構成される材料の持つ全自由エネ

多結晶粒成長シミュレーションの複数 GPU 計

ルギーを次式の Ginzburg-Landau 型の自由エネ

算 , 日 本 計 算 工 学 会 論 文 集 , Vol.2013, (2013),

ルギー汎関数で表す。	 

p.20130018.）において論文発表した。

⎡ N NG = ∫ ⎢∑ ∑ Wijφiφ jV⎢⎣ i =1 j =i +1(	  さらに、平成 25 年度の研究では、開発した計算 手 法 を 大 規 模 GPU ス パ コ ン で あ る)

NN ⎛
⎤
aij⎞
+ ∑ ∑ ⎜⎜ −∇φ i ⋅ ∇φ j ⎟⎟ + g chem ⎥ dV
2i =1 j =i +1⎝⎥⎦⎠

TSUBAME2.5 に実装し、金属材料中での多結晶(1)粒成長過程の大規模シミュレーションを行い、ここで、右辺の被積分項の第 3 項は、系の化学良好な強スケーリング(Fig. 1)および弱スケーリ的自由エネルギーを表している。 φi は結晶粒 iング性能(Fig. 2)を得られることを実証した。

（i = 1～N）の局所的な体積分率を表す変数であり、場所と時間の関数である。また、マルチフ

5. 今年度の研究成果の詳細	 ェーズフィールド法では、界面が有限の長さを5.1	 分散粒子を含む材料における多結晶粒成長有するものとし、界面領域内ではφi は 0 から 1挙動を表すマルチフェーズフィールドモデル	  	  	  へと滑らかに変化するものと定義される。	  今年度(平成 26 年度)の主な研究成果は、平成	  また、gchem は材料の化学的自由エネルギーを25 年度に開発したマルチフェーズフィールド法表しており、本研究では次式により表現する。の大規模 GPU 計算法を応用して、分散粒子を含N

gchem = ∑φi fi ( ci )む金属材料における多結晶粒成長の大規模 3 次(2)i

ここで、fi(ci)は多結晶構造をなす母相と分散粒元シミュレーションを実行可能としたことであ3

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

子の化学的自由エネルギーである。ci は、母相った。

や分散粒子内のそれぞれで定義される溶質濃度	  数値シミュレーションにおいては、式(5)およ変数であり、i は母相もしくは分散粒子の番号をび式(7)の方程式を差分法で離散化し、3 次元規表す。ci を用いて、任意座標における溶質濃度則差分格子上でステンシル計算を行った。本研

変数は次式で定義する。

究では、空間微分については二次精度の有限差N

c = ∑φi ci分法、時間積分には、一次精度のオイラー法で(3)離散化した。

i

本研究では温度一定の条件を想定しているため、式(2)の fi(ci)は次式のような簡便な二次関数で表5.2	 シミュレーション結果す。

5.2.1	 多結晶粒成長におけるピンニング効果	 

fi = K k ( ci − ak )2

今年度に構築したマルチフェーズフィールド(4)

モデルを用いて、分散粒子による多結晶粒成長

ここで、Kk は母相や分散粒子の安定性を決定すのピンニング効果（抑制効果）を再現できるかるパラメータ、ak は母相や分散粒子の平衡状態を確認するために、小規模な 3 次元シミュレーでの溶質濃度である。

ションを行った（岡本成史, 日本鉄鋼協会第 169	  式(1)の全自由エネルギーの時間に対する単回春季講演大会学生ポスターセッション, 学生調減少を仮定すると、φi の時間発展方程式は、ポスターセッションアブストラクト集, p. 36.）。
計算領域の大きさは 25.6 × 25.6 × 25.6 µm3 と以下の式で与えられる。

し、2563 個の規則差分格子で分割した。初期状⎡ n ⎧∂φi2 n1⎫= − ∑ M ijφ ⎢∑ ⎨(Wik − W jk )φk + aik2 − a 2jk ∇2φk ⎬
∂tn j =12⎭⎣ k =1 ⎩(+ fi ( ci ) − f j ( c j ) − ( ci − c j ) µ "#)態として、1638 個の母相の多結晶組織中に析出物をランダムに配置した。母相および析出物中(5)の初期濃度は、それぞれの平衡濃度とした。析

ここで、µは化学ポテシャルであり、次式で表さ

出物の形状は、半径 2.8×10-7 m の球形状とし、れる擬平衡条件を仮定して定義する。

その体積分率 fp = 0.06 および 0.1 と変化させた。

µ≡∂f1 ∂f2∂f==! = N
∂c1 ∂c2∂cN

境界条件として、周期境界条件を用いた。

(6)	  Fig. 3 に、析出物の体積分率 fp = 0.06 および 0.1

一方、溶質濃度変数 c の時間発展方程式、すなの場合の多結晶粒の時間変化を示す。図中の小さわち非線形拡散方程式は、次式で表される。

い球が析出物、黒の実線が結晶粒界を表している。

∂cδG	 = ∇ ⋅ M c∇∂tδc

どちらの条件においても、時間とともに母相の結晶粒が粗大化している点は昨年度までのシミュレ

N= ∇ ⋅ D∑φi ∇ciーション結果と変わらないが、その過程で析出物(7)により粒界移動が妨げられるピンニング効果を再i式(7)については、ci の計算方法が若干異なるも現できていることを確認した。また、Fig. 3(b)に示のの平成 25 年度に開発したプログラムをほぼすように、析出物の体積分率が大きい方が、母相現状のまま利用できた。の結晶成長は抑制され、結晶粒径は小さくなるこ	  以上で示したように、また中間報告時にも述とも実験的知見を再現できていることもわかる。

べたように、本研究で用いたマルチフェーズフ	 ィールドモデルは、昨年度に開発したマルチフ	 ェーズフィールドモデルのプログラムに若干の	 変更を加えるだけで対応可能であることがわか	 
4

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月	 

50 s

150 s

250 s

500 s

(a)

(b)

Fig. 3 Polycrystalline grain growth behavior for different the volume fraction of particles: (a) 0.06 and (b)0.1. The number of computational grids was 2563.	 	 
3Fig. 4 Polycrystalline grain growth behavior simulated using 512 computational grids and 128 GPUs.	 
3Fig. 5 Polycrystalline grain growth behavior simulated using 1024 computational grids and 512 GPUs.	 

ーターTSUBAME2.5 に実装し、大規模 3 次元シミ

5.2.2	 TSUBAME2.5 を用いた大規模 3 次元シミュュレーションを実施した。

レーション結果	  まずは、計算領域の大きさを 51.2 × 51.2 × 51.2	  今年度の研究で開発したマルチフェーズフィーµm3 とし、5123 個の規則差分格子を用いた場合

ルドモデルにより多結晶粒成長のピンニング効果の大規模シミュレーション結果を示す。本シミを再現できることを確認したのち、東京工業大学

ュレーションでは、初期状態として 12468 個の学術国際情報センターの GPU スーパーコンピュ

母相の結晶粒と 44840 個の析出物をランダムに5

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月配置した。このときの析出物の体積分率は fp =7.

0.06 である。Fig. 4 に、シミュレーションで得ら(1) 学術論文	 れた、195 秒間の多結晶粒成長挙動を示す。こなしのシミュレーションにおいては、128 GPU を使(2) 国際会議プロシーディングス	 用し、約 5 時間の実行時間を要した。さらに、・A. Yamanaka, M. Okamoto, T. Shimokawabe, T.

3

研究成果リスト	 

計算領域の大きさを 102.4 × 102.4 × 102.4 µm とAoki, Large Scale 3D Multi-phase-field Simulation

し、10243 個の規則差分格子を用いた場合の超大of Microstructure Evolution using TSUBAME2.5規模シミュレーションも実施した。本シミュレ

GPU-supercomputer, Proceedings of Internationalーションでは、初期状態において 85290 個の母Congress on 3D Materials Science 2014, (2014),相の結晶粒と 358722 個もの析出物を考慮する

CD-ROM.

ことが可能となった。Fig. 5 にシミュレーション(3) 国際会議発表	 で得られた多結晶粒成長挙動を示す。本シミュ・Masashi Okamoto, Akinori Yamanaka, Takashi

レーションにおいては、512GPU を用いて約 24

Shimokawabe, Takayuki Aoki, Extreme Large-scale

時間の実行時間を要した. Fig. 4 および Fig. 5 にMulti-Phase-Field Simulation of Polycrystalline

示したどちらの結果においても、 析出物によりGrain

粒界移動が妨げられるピンニング効果を再現でき

GPU-Supercomputer, 11th World Congress onており、10243 格子というマルチフェーズフィール

Computational Mechanics, Barcelona, Spain, July

ドシミュレーションとしては、世界でも類を見な

20 - 25, 2014.

い大規模なシミュレーションが可能となった。

・Akinori Yamanaka, Masashi Okamoto, Takashi	 Shimokawabe, Takayuki Aoki, Large Scale 3D

Growthusing

TSUBAME2.5

Multi-phase-field

Simulation	  平成 26 年度の研究では、平成 25 年度から開Evolution

using

発してきたマルチフェーズフィールド法の大規

GPU-supercomputer, Proceedings of International

模 GPU 計算法を用いて、分散粒子による結晶粒

Congress on 3D Materials Science 2014, Annecy,

成長のピンニング効果や逆ピンニング効果を解France, June 29 – July 2, 2014.

明するためのマルチフェーズフィールドモデル

・ Akinori Yamanaka and Sukeharu Nomoto,の検討と TSUBAME2.5 上での大規模シミュレ

Simulation of Stress and Strain Partitioning inーションを達成した。中間報告時と比較して、

Dual-phase Steel using Multi-Phase-Field and6.

今年度の進捗状況と今後の展望	 

ofMicrostructure
TSUBAME2.5

予想を上回る研究成果が得られたと考えている。 Crystal Plasticity FFT Methods, 1st International
ただし、本研究の目標である、実際に金属材料

Workshop on Software Solutions for ICME, Aachen,の特性向上につながる有効な材料学的知見を得Germany, June 24 - 27, 2014.

るためには、ピンニング効果のみならず逆ピン(4) 国内会議発表	 

ニング効果のシミュレーション、さらには析出

・岡本成史, 山中晃徳, 下川辺隆史, 青木尊之,

物が可動な条件における粒成長挙動のシミュレ

GPU スパコンを用いたフェライト変態の大規模ーションも重要な課題となる。これらの課題にマルチフェーズフィールドシミュレーション,ついては、平成 27 年度の研究においてすでに着

日本計算工学会第 19 回計算工学講演会, 広島国手しており、鉄鋼メーカーの研究者の協力を得際会議場, 2014 年 6 月 11-14 日.て、実際の材料組織制御技術に有効な知見を得・岡本成史, マルチフェーズフィールド法を用ることを目指す。

いた多結晶粒成長におけるピンニング効果の大規模計算, 日本鉄鋼協会第 169 回春季講演大会
6

学際大規模情報基盤共同利用・共同研究拠点 平成 26 年度共同研究 最終報告書 2015 年 5 月

学生ポスターセッション, 2015 年 3 月 18-20 日.
(5) その他（特許，プレス発表，著書等）	 

・平成 26 年 8 月 15 日付 日刊工業新聞 16 面	 
「深層断面」にて、TSUBAME2.5 を用いたマルチフェーズフィールド法の大規模計算が紹介。
・平成 27 年 3 月 19 日, 日本鉄鋼協会第 169 回春季講演大会学生ポスターセッション努力賞,受賞者: 岡本成史, 受賞発表題目：マルチフェー
ズフィールド法を用いた多結晶粒成長におけるピンニング効果の大規模計算.	 

7