7th Symposium	

学際大規模情報基盤共同利用・共同研究拠点 公募型共同研究 平成２７年度採択課題	

jh150017-NA13	

山中 晃徳 (東京農工大学)

可動な分散粒子を含む金属材料における多結晶粒成長の大規模マルチフェーズフィールドシミュレーション	
金属材料のミクロ組織制御技術	

研究目的	

CO2排出削減
省エネルギー化	

平成25・26年度の研究で構築したマルチフェーズフィールド法の複数GPU計算法を応用し, 可動分散粒子を含む金属材料中での多結晶粒成長のシミュレーションを行う. また, 分散粒子の分率, サイ
ズ, 形態, 温度による結晶粒径変化を高精度に予測可能とする. 	

車体軽量化による	自動車の燃費向上	

自動車車体の軽量化
どんなミクロ組織が最適か？  どのように造り込むか？
実験のみでは予測困難！
シミュレーションによる結晶粒径の制御	
ミクロ組織予測に注目

軽くて強い金属材料の適用	

研究計画	
・分散粒子の半径,	  体積率,	  空間配置,	  形態などのパラメータを 種々に変更したシミュレーションを実施する.	  	  	  ・種々の温度でシミュレーションを行い,	  ピンニング効果の温度依存性 を調査する.	  	  	マルチフェーズフィールド法	

計算方法	

Simulation results
全自由エネルギーを基礎に、多結晶金属材料内のミクロ組織形成に	  おける界面移動、溶質拡散、変形を解析できる強力な計算手法.	  	  	  計算スキーム	  空間微分：2次精度
中心差分法
Figure 3 shows the grain growth behavior in a polycrystalline system containing mobile
secondオイラー法
全自由エネルギー	＋ 弾性ひずみエネルギー＋ 勾配エネルギーの総和”	  phaseparticles simulated“化学的自由エネルギー
by using theinitial microstructureof Case C. It is時間積分：1次精度
seen that the
プログラミング言語： CUDA FortranNcoarsening of⎧the mother phase Ngrains⎛ and⎞⎫ occur simultaneously.
aik2the Ostwald ripening
Gtotal = ∫ ⎨ f chemical + f elastic + ∑ ∑ ⎜⎜ − ∇φi ⋅ ∇φk + Wikφiφk ⎟⎟⎬dV
コンパイラ: CUDA + PGI Accelerator FortranV
2i =1 k =i +1 ⎝⎠⎭⎩
Figure 4 shows the performance and scalability of the large-scale
3D MPF simulation.
For all
並列化：OpenMPI,GPU Direct2.0
フェーズフィールド方程式	
“結晶粒界などの界面移動を表す方程式”	
initialmicrostructures, the performance
improves in proportion to the number of GPUs up to 128
計算機資源	
GPUs.
theareuseddoes
notimprovelinearly. The⎡ n ⎧performance when⎤∂φi However,2 n
1 2 5122 GPUs8⎫2− thisM φdecreaseφk +extent
aik − aofjk ∇performanceφk ⎬ − φi φ jimprovement
ΔEij ⎥
東京工業大学GSIC
クラウド型グリーンスパコンTSUBAME2.5	
⎨ Wik −inW jkthereason =foris theunbalanced⎢∂tn j =1 ⎣ k =1 ⎩2π⎭computational load on each node. Thus, the performance can⎦ be steadily東京農工大学
improved by 山中研究室 GPUクラスター	
溶質拡散方程式	
introducing
the dynamic
load balancing method [10] to the present multiple-GPU CPU：Intel
computation“溶質原子拡散を表す方程式”	
Xeon E5-2690 (2.9GHz 8core L3=20MB) x 2and parameters
used in this study are shown in Table 1. Note that we did not focus on
GPU：NVIDIA
Tesla
Kepler K20X 6GB x 2technique.
計算負荷とメモリアクセス量が大きいことが,	  実
用的な	  ∂C⎧⎫
specificmaterialinthis study.
計5ノード	
ΛΛMemory：128GB(DDR3-1600
REG
ECC
8GBx16)= ∇ ⋅ ⎨∑ φi DC ∇Ci ⎬ シミュレーション（実験との比較）への問題点であったが,	  	  ∂tHCA：InfiniBand QDR 40Gbps x1⎩ i⎭ 平成25年度の研究で複数GPU計算により可能となった.	  	
When we evaluated the performance and the scalability of the large-scale 3D MPF simulatiConclusion∑∑()()

the value of FLoating-point Operations Per Second (FLOPS) in the MPF simulation withtime steps was counted.

In計算結果this paper, (研究進捗状況)	
we present the large-scale 3D MPF simulations of the grain growth inpolycrystalline systems with finely dispersed mobile second-phase particles using the multipleComputation for local composition on whole sub-domain and ϕ on Boundry
平成25・26年度に開発したオーバーラッピング法*をGPU computation technique, carried out on the TSUBAME2.5 GPU-supercomputer Stream
at theComputation for ϕ inner region
1:
分散粒子を含む系のシミュレーションのために改良
Computation for C
Tokyo Instituteof Technology. The performance and scalability of the large-scale
MPF (x)APT algorithm
GPU Stream 2:
on whole sub-domain [inner region]
*岡本成史,
山中晃徳, 下川辺隆史,
青木尊之, 日本計算工学会論文集,(y)3:
simulation
were investigated.
The results demonstrated
that good scalability was obtainedStream
in theC
(x)
Vol.2013,(2013),p.20130018	
(z)Stream 4:
Download, C(y)3D MPF simulations of the grain growth in polycrystalline materials containing mobile second(z)
(x)
(x)
phase
particles.
APT
algorithm,(x),(y),(z)
(y)(y) Upload
Download➡︎分散粒子を考慮しても良好なスケーリング性能を実現 	
CPU45000 steps (225 s)

90000 steps (450 s)

180000 steps (900 s)

270000 steps (1350 s)

(z)

(z)
C

Download

MPI communication, (x), (y), (z) , CNext step Time

Figure 1 Computational
diagramthe MPF simulationof polycrystalline
grain growth in a
*M. Okamoto,A.ofYamanaka,T. Shimokawabe,
T. Aoki,system containing mobile second-phase particles.

MS&T15, (2015), to be presented. 	

51.1 µm
(a) Temporal evolution behavior of microstructure.
45000 steps (225 s)

90000 steps (450 s)

180000 steps (900 s)

270000 steps (1350 s)Figure 2 Initial polycrystalline structures of the mother-phase and second-phase particles

Table 1 Material values and parameters for the MPF simulation.
Grid size, Δx
1.0 × 10-7 [m]7.0 × Δx [m]Interfacial thickness, δTime increment, Δt
5.0 × 10-3 [s]ϕ-8
3Phase-fieldmobility,M
8.0×
10[m/(J s)]
ij
51.1 µm 0.0495
Diffusivity, D
1.0 × 10-13 [m2/s]
scalability of the large-scale 0.5
3D[J/mMPF
simulation of the(b) Temporal evolution behavior of average composition of mixture. Figure 4 Performance and2
可動分散粒子を含む系における多結晶粒成長	  Interfacial energy, σij]
in polycrystalline
systems
containing
mobile second-phase
Equilibrium
concentration,a10.05particles.
[at.%]
Figure3 Grain growth in a polycrystalline system containing finely dispersed
mobile secondシミュレーションの強スケーリング性能と初期組織依存性	
TSUBAME2.5で計算した可動分散粒子を含む系での多結晶粒成長挙動
Equilibrium concentration, a20.95 [at.%]phase particles, simulated by using the initial microstructure of Case C (Fig. 2).
Parameter, K1 Acknowledgement
5.0×103 [J/mol]Parameter, K2
5.0×103 [J/mol]
C [at.%]
0.951

今後の課題	

共同研究者	

青木尊之,	  下川辺隆史（東京工業大学GSIC）,	  岡本成史(東京農工大学大学院生)	  Ø 分散粒子の体積分率, サイズ, 形態と結晶粒径との関係の解明
This research was supported by the “Joint Usage/Research Center for InterdiscipØ 計算アルゴリズムのチューニングとさらなる効率化
学際大規模情報基盤共同利用・共同研究拠点
第７回シンポジウム	
scale Information
Infrastructures” and “High Performance Computing
Infrastructure
2015年 7月9日，10日 	

References
THE	  GRAND	  HALL	  （品川）