学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

jh160010-NAH

計算科学による大規模ナノ粒子創製プラズマ研究の新展開
茂田 正哉（大阪大学 接合科学研究所）
概要 スーパーコンピューターの高い性能を活かし，マイクロ～ミリメートルに渡る空間的マルチスケールの乱流渦に支配される熱プラズマの複雑流動およびナノ～ミリ秒に渡る時間的マルチスケールの形成過程が重畳したナノ粒子の集団的成長を数学表現した方程式系を数値的に解くことで，エネルギー・物質輸送現象のマルチフィジックスを解明するという計算科学に立脚した大規模ナノ粒子創製プラズマ研究の新機軸を打ち出す。
512 ノードを使用した MPI 並列により，アルゴンプラズマジェットが非電離状態のアルゴン中へ噴出しながら複雑な熱流動場を形成し，その中で均一核生成・不均一凝縮・粒子間凝集という３つの過程を経て単成分のナノ粒子群が生成・輸送される過程の非定常３次元数値シミュレーションを実現した。また多成分系ナノ粒子群については粒度分布空間（粒子サイズ・組成・粒子数の３軸を持つ陰的な空間）モデルによる数値予測が実現しているが，１次元計算に留まっているため，今後は３次元プラズマ流動計算モジュールとの組み合わせが期待される。

1. 共同研究に関する情報

ノ粒子の高速かつ大規模な創製プロセスの(1) 共同研究を実施した拠点名

開発が急務である。大規模創製の実現に向け東北大学て現在最も有力視されているものが熱プラ(2) 共同研究分野


超大規模数値計算系応用分野

ズマという高エンタルピー・化学的高活性を

超大規模データ処理系応用分野

有する特殊な電磁熱流体である。しかしなが

超大容量ネットワーク技術分野

ら，熱プラズマは強い発光を伴う１万℃を超



超大規模情報システム関連研究分野

える流体であり，その中でのナノ粒子形成は(3) 参加研究者の役割分担瞬時に完了してしまうため，実測による定量

茂田 正哉（大阪大学）：

評価は困難で，エンジニアの経験に頼りなが数理モデリングとコード開発

ら莫大な時間とコストを掛けて研究開発し江川 隆輔（東北大学）：
コードの並列化および最適化ているのが現状である。

小松 一彦（東北大学）：

そこで本研究では，スーパーコンピュータコードの並列化および最適化

ーの高い性能を活かし，マイクロ～ミリメートルに渡る空間的マルチスケールの乱流渦

2. 研究の目的と意義に支配される熱プラズマの複雑流動およびナノ粒子はマクロサイズの材料とは異なナノ～ミリ秒に渡る時間的マルチスケールる新奇的な物質機能を示すため，高温熱発電の形成過程が重畳したナノ粒子の集団的成用材料・ドラッグデリバリー用材料・DNA 検

長を数学表現した方程式系を数値的に解く

知プローブ用材料・太陽光パネル材料・排気ことで，時間・３次元空間・粒子サイズ・組ガス浄化触媒などへの応用が期待されてお成・粒子数のマルチディメンションのエネルり，工学・医療(バイオ)・環境科学等の分野ギー・物質輸送現象を解明するという当該分の発展のために粒径や組成が制御されたナ1

学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

野において誰も成し得ていない，計算科学に開として極めて大きな学術的意義を有する。

立脚した大規模ナノ粒子創製プラズマ研究

さらに最終目標であるプロセスシミュレーの新機軸を打ち出すことを目的とする。

ター（仮想実験装置）の実現によってナノ粒熱プラズマを利用した大規模ナノ粒子創子の創製コスト・工程が大幅に低減・短縮し，製プロセスに関する研究は世界各地で精力「ものづくりのブレークスルー」として工学的に行われているが（例えば EU における国の進展に寄与するだけでなく，医療(バイオ)際プロジェクト SIMBA (Scaling-up of ICP

分野および環境科学分野の発展の一助とな

technology for continuous production ofることも本研究の意義である。

Metallic

nanopowders

forBattery
3.

Applications) 等），様々な物理が複雑に重当拠点公募型共同研究として実施した意義

畳しているために，ほとんどは実験的な研究

本研究対象は，マイクロ～ミリメートルのを闇雲に行っているのみで，現象の本質的な熱プラズマ乱流渦の空間的マルチスケール理解には到底至っていない。そこで理論およ性とナノ～ミリ秒のナノ粒子集団形成の時

び数値計算に基づく研究アプローチが有用

間的マルチスケール性に加えて，３次元実空となるが，モデリングの困難さ故に，過剰に間の各座標点上で個々に粒度分布空間（粒子簡略化されたモデルを用いた小規模計算しサイズ・組成・粒子数の３軸を持つ陰的な空か行われていないのが現状である。すなわち間）が定義されるマルチディメンション問題

本研究課題で計画しているような，より正確であるため，工学的に意義のある時空間規模な数理モデルの構築およびスーパーコンピのシミュレーションを行うためには，スーパューターを用いた大規模計算による現象解ーコンピューターのメモリ性能と演算性能

明と最適化指針の提案は世界初の試みであが必要不可欠である。また，特に熱プラズマ

り，当該分野における研究アプローチの新展の流体計算モジュールでは，演算性能とバラFig. 1 Schematic illustration of nanopowder fabrication using a thermal plasma jet.
2

学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

ンスの取れた高いメモリバンド幅を有する

プラズマ中にはナノ粒子の前駆体となる原料

SX-ACE を利用することが極めて有効な研究

蒸 気 が 混 入 さ れ て お り ， そ の 供 給 率 は 0.1遂行手段となる。以上が当拠点公募型共同研

g/min とした。原料蒸気は対流および拡散によ究として実施した意義である。って輸送されるが，プラズマと非電離気体の境界領域でその温度が低下し，過飽和状態となる。

4. 前年度までに得られた研究成果の概要

過飽和状態の原料蒸気は均一核生成・不均一凝該当せず。

縮・粒子間凝集という３つの過程を経てナノ粒子の集団へと相を変える。

5. 今年度の研究成果の詳細

本計算は共同研究の課題である計算コー

Fig. 1 に本研究対象の系の概略図を示す。内ドの並列化によって，512 ノードを使用した

径 4.0 mm，外径 7.0 mm のノズルから約MPI 並 列 で 実 現 す る こ と が で き た 。 ま た

12,000 K のアルゴンプラズマジェットが流量

SX-ACE の高いメモリバンド幅を有効活用す13.4 Sl/min で 300 K・大気圧の非電離アルゴるために，指示行の追加による依存関係解消，ン雰囲気の計算領域へ噴出する。このアルゴン

作業配列の活用によるロード数の削減，ルーFig. 2 Snapshots of present computation:

Fig. 3 Snapshots of preliminary computation:(a) Vortex structure, (b) Si nanopowder distribution.

(a) Vortex structure, (b) Si nanopowder distribution.
3

学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

プ分割によるコンパイラ自動最適化の促進，

ェットは噴出孔の近傍で高温の渦輪を形成

IF 文の括りだし，ループ融合などを実施し，し，その周囲に低温の渦輪が生じている。ここれらの最適化の有効性を確認した。その後

れらの渦輪は高温・高速のプラズマの流れと供給する原料の種類にシリコン，アルミニウ

周囲の低温・低速の非電離気体との界面領域ム，タングステンを選び，それぞれについてにおける Kelvin-Helmholtz 不安定性によって実現象における 50 ms 分の数値計算を行った。

生じたものと考えられる。生成した渦輪は流１ケースあたりの使用メモリは 5,354 GB，演下しながらより小さな渦群へと崩壊してい算時間は約 59 時間であった。 Fig. 2(a)およく。これは 1991 年に Pfender らが行った実験

び Fig. 2(b)はそれぞれ本計算によって得られによる渦構造の可視化計測結果[1]と同じ様た空間内の渦構造およびシリコンナノ粒子相を呈しており，本計算はプラズマジェット群の空間分布の瞬間像を示している。Fig.の熱流体力学的な特徴を表現できていると2(a)の渦構造は速度勾配テンソルの第二不変言える。またプラズマジェット近傍の高温の量によって抽出・可視化されたもので，場の領域の渦構造は大きく，その周囲には低温の温度によって色付けられている。プラズマジ微細な渦群が広く存在するという結果が得られた。これは Kolmogorov の理論が予測するところでもあり，本計算は渦スケールについても傾向を良く捉えていると言える。
Fig. 2(b)はナノ粒子の数密度が 3.16×1018個/m3 である等値面に粒子直径で色付けしたものを表している。ナノ粒子群はそれ自身が拡散しながらも，主としてプラズマジェットが成す複雑な流れによって輸送されていることが見て取れる。また噴出孔からの距離に応じて粒子直径が等しくなるということはなく，同程度の距離においても大小様々なナノ粒子が存在することがわかる。
比較のため Fig. 3 に研究代表者が所有する計算機で同様の数値計算を行い得られた結果を示す。使用できるメモリが最大 64 GB であるため，十分な解像度と計算領域を確保できていない計算結果である。例えば Fig. 3(b)Fig. 4 Snapshots of spatial distributions:に示すナノ粒子数密度の等値面には不連続(a) Al nanopowder, (b) W nanopowder.

な箇所が散見され，物理現象を正確に捉えら4

学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

れていないことがわかる。これらの比較から

Fig. 5 に本計算および熱プラズマによるナも，当該の工学プロセスをシミュレートするノ粒子創製実験[2][3]によって得られた粒子ためにはスーパーコンピューターによる大直径の範囲を示す。条件等の差異により厳密規模計算が必要不可欠であると結論付けらな比較ではないが，いずれのナノ粒子も 1~10れる。

nm の粒子直径を有することがわかる。ここFig. 4(a)および Fig. 4(b)にそれぞれ原料をで，数値計算は粒子成長が完了する下流の領アルミニウムおよびタングステンとしたと域まで取り扱えなかったこと（特に融点の低きのナノ粒子群空間分布の瞬間像を示す。どいアルミニウム）と，実験において当時 3 nmちらもシリコンナノ粒子群と同様に複雑な以下の粒子を計測できなかったことを考慮分布を示しており，この系では対流輸送が支すると，本計算は妥当な結果を与えていると配的であることを示している。しかしながら言える。

シリコンの場合と比べて，アルミニウムの場Fig. 6 に多成分系の一例としてニオブとシ合にはより広がった分布を，タングステンのリコン蒸気が核生成・共凝縮・粒子間凝集を場合にはより絞られたような分布を示して経て金属間化合物ナノ粒子群を形成する過おり，これはそれぞれの拡散性の違いに依る程の数値計算結果を粒度分布空間（粒子サイものである。すなわち本系においては拡散輸

ズ・組成・粒子数の３軸を持つ陰的な空間）送もまた重要であることを示唆している。まによって示す。この計算結果から予測されるたタングステンナノ粒子群の方が小粒径と化合物の種類は実験によって得られたものなる結果が得られた。これは本計算では原料とおおよそ一致するが，依然として熱プラズの種類に依らず供給量を 0.1 g/min と固定しマ周囲での代表的な冷却率 105 K/s を与えた

たため，原子量の大きなタングステンは相対だけの１次元モデルに留まっているのが現的に少ない分子数で供給されたからである。

状である。今後，先述の３次元計算と組み合わせることによる計画の完遂が期待される。
引用文献[1] E. Pfender, J. Fincke and R. Spores, "Entrainmentof cold gas into thermal plasma jets Plasma",
Chemistry and Plasma Processing, Vol. 11, (1991),
pp. 529–543.
[2] X. Wang, J. Hafiz, R. Mukherjee, T. Renault, J.
Heberlein, S. L. Girshick and P. H. McMurry,"SystemforIn

Situ

CharacterizationofNanoparticles Synthesized in a Thermal Plasma

Fig. 5 Diameter ranges of obtained nanoparticles.

Process",

5PlasmaChemistryandPlasma

学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月Processing, Vol. 25, (2005), pp. 439–453.

および最適化については概ね順調であったと[3] J. Haidar, "Synthesis of Al nanopowders in an

言えるが，上述のとおり計画の完遂には至らな

anodic Arc", Plasma Chemistry and Plasma

かったため，達成率は 75%程度である。今後，Processing, Vol. 29, (2009), pp. 307–319.

多成分系ナノ粒子モジュールと３次元プラズ
マ流動計算モジュールを組み合わせ，より高度

6.

今年度の進捗状況と今後の展望

で汎用性の高いシミュレーターを実現する必計算手法の高次精度化，計算コードの並列化要がある。それに伴い，計算負荷およびリソー

Fig. 6 Collective growth process of Nb-Si nanopowder expressed by an implicit size-composition space.
6

学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

スが増大するため，より効率的なコーディングof Welding", Melbourne, Australia, (Julyが求められる。また現時点で既に，実行するノ10-15, 2016), Doc. 212-1432-16 (18 pages).

ード数の増加に伴いデータ転送時間が占める

2. M. Shigeta, "Modelling for fluid-dynamic

割合も増えているため，データ転送時間の削減

transport of nanopowder growing around aについて更なる検討を進める必要もある。これ

thermal plasma jet", Proceedings of theらの課題を一つ一つ解決していくことで，ナノ14th

粒子創製プロセスにおける諸現象の詳細が解Conference (HTPP 14), Munich, Germany,

明され，これまで暗中模索に等しかったプロセ(July 3-7, 2016), p. 7.

スの設計に本質的な指針を与えることができ3.

るようになると期待される。

RaghunandanHigh-TechTakashi

PlasmaSoga,Mathury,Processes

Kenta

Yamaguchi,Osamu

Watanabe,Akihiro Musa, Ryusuke Egawa, and Hiroaki
7.

研究成果リスト

Kobayashi,"EffectsofUsinga(1) 学術論文

Memory-Stalled Core for Handling MPI

1.

Communication Overlapping in the SOR

Masaya Shigeta, "Turbulence modellingof thermal plasma flows", Journal ofSolver,"

Proceedings

Physics D: Applied Physics, Vol. 49, No.

International

Conference49, (2016), pp. 493001 (18 pages).

Computational Fluid Dynamics (Parallel

DOI: 10.1088/0022-3727/49/49/493001

CFD2017), Glasgow, Scotland, UK, (March2.

Komatsu,16-17, 2017), pp. 1-2(USB).

Shintaro Momose, Yoko Isobe, Akihiro Musa,(3) 会議発表(口頭，ポスター等)

Hiroyuki Takizawa and Hiroaki Kobayashi,

1. M. Shigeta, "Modelling for fluid-dynamic"Potentialvectortransport of nanopowder growing around asupercomputer for practical applications:

thermal plasma jet", The 14th High-Techperformance evaluation of SX-ACE,"

The

Plasma Processes Conference (HTPP 14),

Journal of Supercomputing, (2017), pp 1 -(July 4, 2016), Munich, Germany. (口頭)29. DOI: 10.1007/s11227-017-1993-y.

（招待講演）

RyusukeEgawa,ofKazuhikoa

modernofon29thParallel(2) 国際会議プロシーディングス

2. 茂田 正哉, "熱プラズマを利用したナノ粒

1. M. Shigeta, S. Minami, M. Tanaka,

子創製プロセスにおける諸現象のモデリン"Modelling for collective growth of fumeグ", 第 23 回応用物理学会プラズマエレクト

primary particles with charge effect in

ロニクス分科会プラズマ新領域研究会・電気

arc

Annual学会プラズマ研究会 共催『高エンタルピー

Assembly 2016 of International Institute

プラズマの数値シミュレーション』, (2016of Welding (IIW), Study Group 212 "Physics

年 8 月 8 日), 大阪. (口頭)（招待講演）

welding",

Proceedingsof7学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

3. 茂田 正哉, "熱プラズマを利用したナノ粒
子創製プロセスの諸現象のモデル化と数値計算", 日本物理学会第 72 回年次大会領域

2 シンポジウム『高熱流プラズマ・熱プラズ
マの物理と工学応用への展開』, (2017 年 3月 18 日), 豊中. (口頭)（招待講演）
4. Ryusuke Egawa, “ An HPC Refactoring
Catalog – Accumulating Know-Hows of Sytem
Specific Optimization and its PracticalUsage, ”

2017 Conference on Advanced

Topics and Auto Tuning in High-Performance
Scientific Computing (ATAT in HPSC 2017),
March 12, 2017. (口頭) （招待講演）
5. Masaya Shigeta, "Modeling and Simulationof Nanopowder Growth Processes around
ThermalGas-phase

PlasmaFlows",

Synthesis

ofSymposium
Functional

Nanomaterials: Fundamental Understanding,Modeling and Simulation, Scale-up, (March22, 2017), Duisburg, Germany. (口頭) （招待講演）(4) その他（特許，プレス発表，著書等）
該当なし

8