学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

JH130002-NA02

鉄鋼材料におけるミクロ組織形成マルチフェーズフィールド
シミュレーションの大規模 GPU 計算技術の構築
山中晃徳（東京農工大学）
概要
	
  本研究では, 極めて高い演算性能とメモリバンド幅を有する GPU を多数使用し, マル
チフェーズフィールド(MPF)法による金属材料のミクロ組織形成シミュレーションの高速化および大規模計算を実現することを目的とした. 中間報告時までに, 計算と並列計
算のためのデータ通信を非同期実行するためのオーバーラッピング法を適用した MPF
法の計算手法を TSUBAME2.5 スーパーコンピューターに実装し, 多結晶粒成長シミュ
レーションにおいて良好なスケーリング性能が得られ, 大規模シミュレーションを実行することに成功した. 本最終報告書では, その成果を整理するとともに同計算手法が合
金元素の拡散を伴う実用鉄鋼材料中でのミクロ組織形成シミュレーションにおいても有効であり, 当初計画の目的を達成したこと示す.

1. 研究の目的と意義	 技術開発が活発に行われている. 実際に, 米国で	  高い燃費性能を有するハイブリッド自動車や航は, マテリアルゲノムイニシィアティブプロジェ

空機などの開発には, 革新的な材料の開発が不可

クトが実施され, 日本でもマテリアルズインフォ

欠である. 特に, 鉄鋼材料は安価でありながらもマティクスの潮流が生まれている.

高強度で加工性が良いため, 社会を支える基盤材

	  近年, 材料中のミクロ組織形成過程の数値シミ料として広く使用されている. したがって, 従来ュレーションを行うための計算手法のなかでも,よりも軽量で高強度な鉄鋼材料の作製が可能とな金属材料のミクロ組織形成過程を解析する強力なれば, 社会に非常に大きなインパクトを与えるこ方法としてフェーズフィールド法が注目されていとになる.

る. 今日では, フェーズフィールド法は材料中で	  鉄鋼材料の強度や延性などの機械的特性は, 材生じる凝固, 再結晶, 結晶粒成長, 相変態, 析出な料内部のミクロ組織（µm オーダーの結晶粒や析出

ど様々なミクロ組織形成過程のシミュレーション

物など）の分布状態や形態に大きく影響され, 製鉄に適用されている. なかでも下川辺らは,	
  フェー

工程の温度や変形を制御することで様々な特性をズフィールド法による金属凝固組織形成シミュレ

有する材料を作ることができる. 鉄鋼材料の研究

ーションの大規模 GPU 計算を TSUBAME2.0 で行開発は, 極めて長い間行われているが, 鉄鋼材料

い, 2011 年ゴードンベル賞特別賞を受賞した. この中のミクロ組織は, あらゆる金属材料の中でも極成功は, 材料工学分野にも極めて大きなインパク

めて複雑であると言え, 長年蓄積された知見をもトを与えた.

ってしても, ミクロ組織の形成機構について未だ	  一方で, 実用金属材料のほとんどで観察される

明らかになっていない点も多い. したがって, 無多結晶構造を有するミクロ組織の形成過程を数値

限の組み合わせがある製鉄プロセスの条件から材解析するための方法として MPF 法がいま最も注目料中に作り込まれるミクロ組織や機械的特性を実されている. しかしながら, MPF 法は複雑な非線形

験的なアプローチのみで理解し, それを予測する項を含んだ複数の偏微分方程式を解く必要がある

ことは, 事実上不可能であると言える.

ため, 演算とメモリの両面で計算コストが大きい	  したがって, 近年では数値シミュレーションをことが問題となっている.

援用して, 材料中のミクロ組織形成を解析し, 実	  そこで本研究では, 筆者らがこれまで研究して験では観察や分析が難しい現象を理解するためのきた GPU を用いたフェーズフィールド法の超高速1

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

計算技術を応用し, MPF 法による鉄鋼材料中のミを遂行するうえでは, 申し分無く最適な計算機環

クロ多結晶組織形成の数値シミュレーションを複境である. また, GPU 計算を用いた高性能計算機

数 GPU で高速かつ大規模に計算するための数値計

シミュレーションの世界的研究者である青木教授

算技術・可視化技術を開発することを目的とした.

と下川辺博士との共同研究を行うことで, 極めて	  中間報告の段階では, オーバーラッピング法(計効率的にプログラムチューニングやスーパーコン

算とデータ通信の非同期実行アルゴリズム)を適用

ピューターへの実装を行うことが可能となった.	
 	
 した MPF 法の複数 GPU 計算手法を東京工業大学

	
 のスーパーコンピューターTSUBAME2.5 に実装し,

3. 研究成果の詳細と当初計画の達成状況	
 金属多結晶粒成長のシミュレーションにおいて良(1)	
 研究成果の詳細について	 好なスケーリング性能が得られることを確認した.

3.1	
 マ ル チ フ ェ ー ズ フ ィ ー ル ド 法 	
 本報告においては, その成果を整理するとともに	  本研究では, Steinbach らによって 1999 年に提案

同計算手法を用いて, Fe-C 合金中で生じる拡散型

された MPF 法を採用する. フェーズフィールド法

相変態であるオーステナイト→フェライト変態のは,	
 系の全自由エネルギーを基礎におく計算方法

MPF シミュレーションの大規模計算を行い, 合金

であり,本研究では全自由エネルギーは次式で表元素の拡散を伴うようなミクロ組織形成過程のシ

される。	
 

ミュレーションにおいても, 本研究で開発した計⎡ N NG = ∫ ⎢∑ ∑ Wijφiφ jV⎣⎢ i =1 j =i +1
	
  	
  	
 

(

算法が有効であることを示す.

N	 2. 当拠点公募型共同研究として実施した意義	 N)⎛ aij	  + ∑ ∑ ⎜⎜ −⎝

i =1 j =i +1⎤⎞∇φ i ⋅ ∇φ j ⎟⎟ + g chem ⎥ dV 	
 
2
⎠
⎦⎥

ここでは,	
 異なる N 個の結晶粒からなる材料を考(1) 共同研究を実施した拠点名	
 え, 結晶粒 i（i = 1～N）の存在確率を表す秩序変

東京工業大学学術国際情報センター	
 数として, フェーズフィールド変数φi(r, t)（以後,(2) 役割分担	 東京農工大学	 山中晃徳(役割：研究統括)	
 簡単のため(r, t)を省略してφi と表記する）を定義

東京農工大学	 岡本成史（役割分担：小規模する. ここで, r は空間座標, t は時刻を表す. たとGPU クラスターへの実装評価およびデバッグ）	
 えば, 番号 1 の結晶粒(結晶粒 1 と呼ぶ)が存在する

東京農工大学	 橋本圭右(役割分担：プログラ

座標ではφ1 の値を 1, 結晶粒 1 が存在しない座標

ム構築およびデバッグ)	
 ではφ1 の値を 0 と定義する. また, 結晶粒 1 と他

東京工業大学	 下川辺隆史(役割分担：大規模の結晶粒との界面は, 有限の長さを有するものと計算のためのプログラムチューニングおよび	 し,TSUBAME への実装評価)	
 滑らかに変化するものと定義される.また,	
 全自

東京工業大学	 青木尊之（役割分担：超高速化

由エネルギーの右辺の被積分項の第一項はポテンのためのノード間通信のチューニング）	
 シャルエネルギー項, 第二項は勾配エネルギー項,(3) 共同研究分野	
 その界面領域内の座標ではφ1 は 0 から 1 へと

第三項は, バルクの化学的自由エネルギーを表し

超大規模数値計算系応用分野	
 

ている.

(4)	
 当公募型共同研究ならではという事項	
 全自由エネルギーの時間に対する単調減少を仮	  	  本研究では, 多数の GPU を用いた並列計算	
  	  定すると, φ i の時間発展方程式は, 以下の式で与によって, MPF 法の超高速・大規模計算技術を開えられる．	
 発することを目的とした. 東京工業大学の⎡ n ⎧
∂φi
2 n
1
⎫
= − ∑ M ijφ ⎢∑ ⎨(Wik − W jk )φk + aik2 − a 2jk ∇2φk ⎬∂tn j =12⎭⎣ k =1 ⎩(

TSUBAME2.5 は, 世界最高性能を誇る GPU クラスター型スーパーコンピューターであり, 本研究2)

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

−

8

π

⎤

	
  中間報告時に, MPF シミュレーションを複数⎦

GPU と複数 CPU を用いて計算する場合には, CPU

φiφ j ΔEij ⎥また,	
 Fe-C 合金におけるオーステナイト→フェラと GPU の数を増やすほど GPU-CPU 間の通信とイト変態の MPF シミュレーションにおいては, 合CPU 間のデータ通信のオーバーヘッドが発生する

金元素である炭素原子の拡散による炭素濃度 C のことを示した. そこで, CUDA4.0 以降より使用可変化を計算する必要あるため,	
 次式の炭素拡散方能となった GPU 上での複数カーネルの非同期実程式を解く.	
 	
 行機能と GPU-CPU 間の非同期通信機能, および

%N
(
	
 	
 	
  ∂C = ∇ ⋅ ' ∑φi Di ∇C * 	
 
∂t
& i=1
)

これらの同時実行機能を利用して,計算と通信をなお数値シミュレーションにおいては, 上記の φiーヘッドを隠蔽するための非同期実行アルゴリズ

および C の時間発展方程式を離散化し, ステンシム(オーバーラッピング法)を開発した.

CPU と GPU の両方で実行し, データ通信のオーバ

ル計算を行う. 本研究では, 三次元直交格子(x, y,

One time stepz)を用いて, 空間微分については二次精度の有限

Stream 1:

差分法, 時間積分には, 一次精度のオイラー法で

GPU

APT1

Stream 3:
Stream 4:

Comp.(Boundary)

GPU-CPU comm.

MPI comm.

離散化した．	
 	 Comp.(Inside region)

Stream 2:

UpdateAPT2

CPU
Update3.2	
 Active	 Parameter	 Tracking 法の導入	
 APT1 (Boundary) APT2 (Boundary)

MPF 法では, N 個すべての結晶粒ではなく, 任Elapsed time

意座標に存在する結晶粒数 n を表す秩序変数 ϕi

Fig.

について時間を計算する．したがって, 全ての計

computing of polycrystalline grain growth simulation

算格子点上で N 個すべての ϕi の値や結晶粒番号 iusing the overlapping method.

1

Calculation

diagramofmultiple–GPUの値をメモリ上に保存しておく必要はない. 一般に, 各格子点において多結晶組織の時間発展に寄Fig.1 に, 開発したオーバーラッピング法を適用与している ϕi の数は多くても 5 個ほどである. よした多結晶粒成長の MPF シミュレーションの計って, 数値シミュレーションにおいては, 1 格子点

算ダイアグラムを示す．本方法では, GPU で行う

あたり 5～8 個の ϕi の値を保存できる配列を用意

計算を 4 つの stream (stream1~stream4)として用意すれば良い. 本研究では, 上記のようなメモリ効する. まず, stream1 では, 各 GPU に割り当てられ率化手法として, Active Parameter Tracking (APT)法

たサブ領域内部に対して時間発展方程式の計算を用いる. 本研究のように,

APT1 の処理を行う. これと並行して stream2~4 で多結晶組織形成の三非常には, stream1 において領域分割した計算領域内部に多くの秩序変数を扱うことになるため, メモリア

対する APT 2 の処理を行うために必要な, 袖領域

クセス数やデータ通信量を低減するためにも,の秩序変数を計算する. これらの stream2~4 でのAPT 法は必須の方法であるが, これを導入するこ

計算が終わり次第, グローバルメモリからホストとにより, 計算アルゴリズムは煩雑になる. 以下メモリへのデータ転送を cudaMemCpyAsync を用では APT 法の処理のうち, 格子点(x, y, z)におけるいた非同期通信で行う.

次元シミュレーションを行う場合には,データのみで APT 法の処理が可能な処理を“APT

一方, CPU 側では前ステップにおいて GPU で計1”と呼び, 隣接差分格子点のデータを必要とする算された袖領域のデータをグローバルメモリから処理を“APT 2”と呼ぶことにする.

cudaMemCpyAsync に よ り 受 け 取 っ た 後 ,stream2~stream4 の処理が完了するのを待機し, 袖
領域について APT1 と APT2 の処理および MPI 通

3.3	
 オーバーラッピング法の適用	
 3

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

信を行う. さらに, CPU で計算された袖領域のデ計算が終了次第, 計算結果を cudaMemCpyAsync

ータを cudaMemCpyAsync によりグローバルへ転で CPU へ送る. 一方, CPU では, 多結晶粒成長の送する. そして, 全ての stream の実行完了を確認

MPF モデルと同様の処理を行うが, 2 回目の MPI

GPU で袖領域内部に対して APT 2 のによる CPU 間通信の前までにグローバルメモリ

計算と次の計算ステップのための更新を行い, 1 計

からホストメモリへ, stream 2 による炭素原子の拡算ステップが完了する．なお, ホストメモリ上の散方程式の計算結果を cudaMemCpyAsync で受けデータの更新は, stream1~4 を実行している間に行

取る.

してから,

う.

3.4	
 オ ー バ ー ラ ッ ピ ン グ 法 を 適 用 し た 複 数
GPU 計 算 の 性 能 評 価 	
 本研究で開発したオーバーラッピング法と MPF
法の複数 GPU 計算の有効性を検証するため, 小規
模な GPU クラスター上で多結晶粒成長の MPF シ
ミュレーションを実施し, スケーリング性能を調
査した.
Fig.2

Calculation

diagramofmultiple–GPU

まず, 弱スケーリング性能を評価するため, 各

computing of austenite-to-ferrite transformation in

GPU が計算する計算領域の差分格子点数を 2883,

Fe-C alloy using the overlapping method.

結晶粒数を 1728 で一定とし, 500 ステップのシミュレーションの所要時間を測定した. Fig.3 に弱ス

Fig.2 に, 中間報告後に開発した Fe-C 合金におケーリング性能を示す. このとき計算領域は, z 方

けるオーステナイト→フェライト変態の MPF シ

向に 1 次元等分割とした. オーバーラッピング法

ミュレーションの計算ダイアグラムを示す. オーを適用していない複数 GPU 計算では, CPU もしく

ステナイト→フェライト変態の MPF シミュレー

は GPU の数を増加させるほど, データ通信時間がションでは炭素の拡散を扱うため, Fig.１に示した

オーバーヘッドとして現れることがわかった. 	
 多結晶粒成長の MPF モデルの計算ダイアグラムに炭素原子の拡散方程式の計算を加える. すなわち, 多結晶粒成長の MPF モデルと同様に, stream

7000(stream 1～stream 4)を用意する. ここでも, stream

Number of grids: 288x288x288/Subdomains
Number of grains: 1728/Subdomains
Number of calclation steps: 500

6000

1 では, 各 GPU に割り当てられたサブ領域内部に5000

Elapsed time [s]対してフェーズフィールド変数の時間発展方程式を計算して, 時刻Δt におけるフェーズフィールド
変数の値を求めた後, APT 1 の処理を行う. これと並行して stream 2～4 では, stream 1 においてサブ

4000
w. overlapping
w.o. overlapping
Ideal

3000

領域内部に対する APT 2 の処理を行うために必要な, 境界領域の時刻Δt におけるフェーズフィール
2000

ド変数を計算する. ここで, stream 2～4 での計算が終わり次第,1

5

10

Number of GPUs

グローバルメモリからホストメ

モリへ cudaMemCpyAsync で計算結果の通信と炭Fig. 3 Weak scaling results of multiple-GPU

素原子の拡散方程式の計算を同時に開始する. 炭computing of polycrystalline grain growth simulation

素の拡散方程式の計算は stream 2 で行っており,with and without the overlapping method.
4

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月とその 8 倍の 5763 にした条件で, 500 ステップのシ	  一方, オーバーラッピング法を導入した複数

ミュレーションを行ったときの実行性能を FLOPS

GPU 計算では, GPU の数を増やしてもシミュレー

値で示す. GPU 数の増加に伴い, FLOPS 値は線形

ションの所要時間は一定であり, データ通信によに増加している. さらに, オーバーラッピング法

るオーバーヘッドを計算に要する時間で完全に隠を導入することにより, FLOP 値はほぼ倍増してい蔽できていることがわかる．また, シミュレーシ

ることがわかる. さらに, 8GPU を用いた計算におョンの所要時間は, オーバーラッピング法を適用いては, 格子点数を 2883 とした計算と 5763 としたしていない場合の約 50 %となり, 良好な弱スケー

計算で, 同じ FLOPS 値となっていることから,リング性能を示した.

1GPU で計算する格子点数が増加しても良好な強スケーリング性能を示すことがわかる.

Number of grids: 288x288x288
Number of grains: 1728
Number of calclation steps: 500以上の結果より, MPF 法に必要な計算とメモリ
操作(APT 法)と並列計算のためのデータ通信を非10000
288x288x288[w. overlapping]
288x288x288[w.o. overlapping]

同期に行うオーバーラッピング法を適用すること

Elapsed time [s]で MPF シミュレーションの複数 GPU 計算において良好な実行性能が得られることを実証した.
	
 

1000

Number of grains/Number of grids: 1728/(288x288x288)
Number of calclation steps: 500

30

1

5

10

Performance [GFLOPS]

100

Number of GPUs

Fig. 4 Strong scaling results of the multiple-GPUcomputing of polycrystalline grain growth simulation
with and without the overlapping method.

10
5288x288x288 [w. overlapping]
576x576x576 [w. overlapping]
288x288x288 [w.o. overlapping]
576x576x576 [w.o. overlapping]1

次に, 強スケーリング性能を評価するため, 計

1

算領域の差分格子点数を 2883, 結晶粒数を 1728 と5

10

Number of GPUs

して, 500 ステップのシミュレーションの所要時間

Fig. 5 Strong scaling results of multiple-GPUを測定した. このときの領域分割は, z 方向に 1 次

computing of polycrystalline grain growth simulation

元等分割である. Fig.4 に示すように, オーバーラ

with and without the overlapping method using 2883

ッピング法を適用していない複数 GPU 計算でも,and 5763 grids.

GPU の数を増やすほど分割数に見合った計算時間の短縮がなされ, 良好な強スケーリング性を示す

3.5 	
 TSUBAME2.5 への実装と性能評価	
 ことがわかる. しかしながら, オーバーラッピン

3.5.1 多結晶粒成長の超大規模 MPF シミュレー

グ法を適用することで, 良好な強スケーリング性ション	
 が得られるのみならず, シミュレーションに要す	
  3.4 節では, 小規模 GPU クラスターを用いたオる時間は約半分となり, さらなる高速化が達成さーバーラッピング法を適用した MPF 法の複数れた.

GPU 計算法の性能評価を行い, 良好なスケーリン

さらに, Fig.5 に 2883 の格子点数あたりに含まれグ性能が得られることを示した. そこで, 同計算

3

手法を東京工業大学の GPU スーパーコンピューる結晶粒数を 1728 で一定とし, 計算領域を 288

5学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

ターである TSUBAME2.5 に実装し,	
 MPF シミュ	  全計算領域を 2563 格子, 5123 格子および 10243

レーションの超大規模計算における実行性能の評

格子として, 強スケーリング性能の評価を行った

価を行った.	
 	 結果を Fig. 7 に示す. GPU 数に対して線形的に	 	
 多結晶粒成長シミュレーションの超大規模計算

FLOPS は増加し, 良好なスケーリング性能が得らにおける弱スケーリング性能の評価のために, 計

れているが, 2563 格子の計算領域を 128 分割した算規模を 2563 格子あたり 512 結晶粒で一定として,場合の結果のように, 分割数が大きすぎると, 実

使用する GPU の台数を変えた時の実効性能の変行性能が低下する. これは, 分割数を大きくする化を Fig. 6 に示す. オーバーラッピング法の導入とともに, GPU 当たりの計算領域が小さくなり,の有無にかかわらず, いずれも良好なスケーリン

GPU 側の処理時間が CPU 側の通信などの処理よグ性能が得られているが, オーバーラッピング法

りも短くなることで通信時間の隠ぺいができなくを導入したことで, GPU 数によらず, 実行性能はなってしまっているためである. しかし, 5123 格

全体的に 3〜4 倍に向上する. この結果, 729 GPU子および 10243 格子を用いた計算では, この実行という非常に多数の GPU を用いて, 計算格子点数

性能の低下は GPU 当たりの計算領域を大きくす

32304 , 結晶粒数 373248 の超大規模計算が実現し,ることで回避することができ, スケーラビリティ

1.9 TF の実行性能が得られた.

が保証されることがわかる.

	 Number of grains/Number of grids: 512/(256x256x256)
Number of calclation steps: 200

Performance [GFLOPS]

1000

100

10
overlapping
non overlpping

1

1

10

100

1000

Number of GPUs

Fig.6 Weak scalability of multiple-GPU computing of

Fig.7 Strong scaling of multiple-GPU computing ofpolycrystalline grain growth simulation on TSUBAME

polycrystalline grain growth simulation using 2563,

2.5 supercomputer.

5123 and 10243 computational grids on TSUBAME2.5	 supercomputer.

	  次に,	
 中間報告時には測定していなかった強ス	 ケーリング性能についても評価するために, 結晶

Fig. 8 は, 10243 格子において 32768 個の結晶粒を

粒数を 2563 格子あたり 512 個で一定とし, 全計算

ランダムに初期配置した多結晶粒成長の超大規模領域を分割する GPU の台数を増やすときの実効シミュレーションを行って得られた多結晶粒成長

性能の評価を行った. 分割数は条件毎に最適な分挙動である. 同図においては, 結晶粒ごとに色付割を行っており, 通信速度は演算速度よりも遅いけを行い可視化している. シミュレーション結果

ため, GPU 側の計算時間の短縮よりも CPU 間通信

より, 時間の経過とともに, 系のエネルギーの総の隠ぺいを優先して行うように領域分割の最適化

和を減少させるように, サイズの比較的大きい結を行った.

晶粒のみが粗大化していく過程が良好に再現でき6

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月ている. また, 界面エネルギーが釣り合うように域を一辺 5.12 µm の立方体とし, 5123 格子で分割し結晶粒界が湾曲しており, 精度の高い計算ができた. 計算領域内には 4096 個のオーステナイト粒とていることが確認でき, 大規模計算においても適512 個のフェライト粒を分布させた. MPF シミュ

切な計算結果が得られている.このような大規模

レーションの経過時間と計算に使用した GPU 数

マルチフェーズフィールドシミュレーションを行の関係を Fig.9 に示す. 128GPU を用いたときの経うことで, 非常に多数の多結晶組織の変化を解析

過時間を基準としたとき, 256GPU を使用すること可能であり, これにより初めてミクロ組織の統計

で約 4100s 経過時間が短縮されている. さらに,学的に正しい評価が可能となる.

512GPU まで増加すると経過時間は約 8200s 短縮されており, 時間の短縮の割合は 256GPU のときのさらに 2 倍となる. したがって, Fe-C 合金中のオ

1000step (510s)

ーステナイト→フェライト変態の MPF シミュレーションにおいても良好なスケーラビリティが得られることがわかる.
Number of grids: 5123
Number of calclation steps: 100000

8000step (4080s)

128GPUs
16867sGrain Number
32768

Elapsed time [s]

16000

1

16000step (8160s)

14000
256GPUs
12733s

12000

10000

8000
100

512GPUs
8498s

200

300

400

500

Number of GPUs

0.512 mm

Fig.9scaling
Strongofscaling
result of multiple-GPU
Fig. 6.1 Strong
the multiple-GPUcomputing forcomputing
5123 grids on TSUB3
Fig. 5.8 Polycrystalline growth behavior simulated by MPF method using 1024
AME2.5
Fig.8 Polycrystalline growth behavior simulated
by super-computer.
of large-scale multi-phase-field simulation ofgrids and 32768 crystal grains.

large-scale multi-phase-field simulation using 10243

austenite-to-ferrite transformation in a Fe-C alloy on

computational grids and60 32768 crystal grains on

TSUBAME2.5 supercomputer.

ϯʹ͓͍ͯ΋ྑ޷ͳεέʔϥϏϦςΟ͕ಘΒΕΔ͜ͱ͕Θ͔Δ.

TSUBAME2.5 supercomputer.

6.2

௒େ‫ن‬໛γϛϡϨʔγϣϯさらに, Fig. 10 に, 計算格子数を 10243 格子としとFig. 6.2 ʹ, ‫਺ࢠ֨ࢉܭ‬Λ 10243 ֨ࢠͱ͠ͱ͠, ΦʔεςφΠτཻΛ 32768 ‫ݸ‬, ϑΣ
し, ‫ͨͬߦͯ͠ͱݸ‬ΦʔεςφΠτˠϑΣϥΠτมଶ‫ڍ‬ಈͷγϛϡϨʔオーステナイト粒を 32768 個, フェライト粒
3.5.2	 Fe-C 合金におけるオーステナイト→フェϥΠτཻΛ 4096
γϣϯ݁ՌΛࣔ͢. ·ͨ個として行ったオーステナイト→フェラ, Fig. 6.3 ʹ୸ૉೱ౓෼෍ͷ࣌ؒมԽΛࣔ͢. ࣌ؒͱͱ΋ʹ,を 4096
ライト変態の超大規模 MPF シミュレーション	 ϑΣϥΠτ૬ͷ݁থཻ͕୸ૉ‫ࢠݪ‬Λు͖ग़ͯ͠੒௕͍ͯ͘͠‫ڍ‬ಈ͕ྑ޷ʹ࠶‫͞ݱ‬Ε	
  Fig.2 で示した計算手法を TSUBAME2.5 ͍ͯΔ͜ͱ͕Θ͔Δに実装
イト変態のシミュレーション結果(炭素濃度変化). ͜ͷγϛϡϨʔγϣϯ͸, ݁থཻΛ 3 ສ‫ݸ‬Ҏ্༻͍ͨ mm Φʔμʔͷ௒େ‫ن‬໛γϛϡϨʔγϣϯͰ͋Δ͕
໿ 16 ࣌ؒͰ‫͕ࢉܭ‬ՄೳͰ͋Γ, ຊ‫Ͱڀݚ‬し, Fe-C 合金中のオーステナイト→フェライト変を示す. 時間とともに, , フェライト相(図中の青ఏҊ͢Δෳ਺ GPU ‫ࢉܭ‬Λద༻͢Δ͜ͱͰ, ‫࣮ݱ‬తͳ‫Ͱؒ࣌ࢉܭ‬ͷγϛϡϨʔγϣϯ
態の超大規模シミュレーションを行い, 複数 GPUい結晶粒)が炭素原子を吐き出して成長していくΛ࣮‫ͨ͠ݱ‬.
計算の有効性を評価した.
ɹɹɹɹ 挙動が良好に再現されていることがわかる. このシミュレーションでは, 結晶粒を 3 万個以上用い	  強スケーリング性能を評価するために, 計算領

763

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月ており, 計算領域も mm オーダーという, 従来のッドを隠蔽するためのオーバーラッピング法を開計算方法では不可能であった世界最大規模の MPF

発することで複数 GPU 計算において良好な実行

シミュレーションである. 本研究で提案する複数性能が得られることを実証した. また, 開発した

GPU 計算を適用することで, 現実的な計算時間

計 算 手 法 を 大 規 模 GPU ク ラ ス タ ー で あ る(約 16 時間)で実施することが可能となった.

TSUBAME2.5 に実装し, 金属材料でみられる多結
晶粒成長挙動のみならず実用鉄鋼材料中で合金元10000step (0.1s)

素の拡散を伴うようなミクロ組織形成過程の MPF
シミュレーションの超大規模計算を実現した.
	
  本研究で確立した MPF シミュレーションの複数 GPU 計算技術は, 実際の材料開発に貢献することはもちろん, 今後も日本が材料開発の国際競争において先頭に立ち, 世界のイチシアティブをと110000step (1.1s)

るうえで極めて大きな意義があると考える次第で
Carbon Concentration[wt.%]
0.286

ある.

0.2

4. 今後の展望	
 

0.15

	
  鉄鋼材料などの金属材料では,	
 材料内部の結晶
粒の大きさ（結晶粒径）や結晶粒径の統計的分布

220000step (2.2s)

状態が強度および延性を決定づける.	
 実際の材料

0.01

開発の現場では材料中に分散粒子を形成させることで,	
 結晶粒径を非常に精緻に制御している.	
 現
在の最新の材料製造技術をもってすれば,	
 分散粒子の形成位置やその数を高精度に制御できるが,	
 それでもなお、材料中に３次元的に存在する分散
0.1 mm

粒子の大きさや分布状態を実験的に測定することは極めて大きな困難を伴う.	
 したがって,	
 次年度
Fig.10
Variationof carbon
duringFig. 6.3
Evolutionof carbon concentration
during concentration
austenite-to-ferrite transformationin Fe-C arroy simulated by MPF method. The number of computational grid is 10243 .
austenite-to-ferrite

transformation

in

Fe-C

alloy

の研究では材料メーカーとも協力し,	
 本研究で開simulated by large-scale multi-phase-field
simulation
65

発した MPF 法の高速計算技術を活用して,	
 分散粒

performed on TSUBAME2.5 supercomputer.

子のサイズ,	
 体積率,	
 分布状態とミクロ組織形成機構を明らかとしたい.	
 また,	
 高速化や並列計算(2)	
 当初計画の達成状況について	
 の実行性能のみを追求するのではなく,	
 新しい材

	
  本研究の当初計画では, 金属材料の多くに見ら料開発や材料制御技術に繋がる有益な知見を提供れる多結晶組織の形成過程を解析するための強力できる計算結果を生み出すことが,	
 今後の最も重なツールとして注目を集めている MPF 法を, 複数

要な課題である.	
 	
 の GPU で高速にかつ大規模に計算するための計	
 算技術を開発することを目的とした. 上記で示し

5. 研究成果リスト	 たように, 目的はほぼ達成することができたと考(1) 学術論文	
 えている. 特筆すべき成果としては, MPF シミュ

岡本成史, 山中晃徳, 下川辺隆史, 青木尊之,

レーションの計算と並列計算のためのデータ通信

マルチフェーズフィールド法による多結晶粒を非同期に実行し, データ通信によるオーバーヘ

成長シミュレーションの複数 GPU 計算, 日本
8

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

計 算 工 学 会 論 文 集 , Vol.2013, (2013),
p.20130018(2) 国際会議プロシーディングス	 なし	 (3) 国際会議発表	
 M．Okamoto, A. Yamanaka, T. Shimokawabe, T.
Aoki, Large-scale Multi-Phase-Field Simulationof Austenite-to-Ferrite Transformation in Fe-C
Alloy using GPU-cluster Computer, 5th Asia
Pacific Congress on Computational Mechanics(APCOM2013), December, 2013, Singapore(4)	
 国内会議発表	 岡本成史,	
 山中晃徳,	
 下川辺隆史,	
 青木尊之,	
 多結晶粒成長の大規模マルチフェーズフィー
ル ド シ ミ ュ レ ー シ ョ ン ～ GPU ス パ コ ン
TSUBAME 2.0 への実装～, 日本機会学会第26 回計算力学講演会, 2013, 佐賀大学.
岡本成史, 山中晃徳, TSUBAME2.5 スーパーコンピューターを用いた Fe-C 合金中で生じるオーステナイト→フェライト変態挙動の大規模マルチフェーズフィールドシミュレーシ
ョン, 日本鉄鋼協会第 167 回春期講演大会,
2014, 東京工業大学.
(5)	
 その他（特許，プレス発表，著書等）	
 
	
  	
 	
 なし	
 
	
 

9