平成 30 年度

文部科学省

ポスト「京」で重点的に取り組むべき社会的・科学的課題に関するアプリケーション開発・研究開発

平成 30 年度
「革新的クリーンエネルギーシステムの実用化」
成果報告書

令和元年 5 月 31 日
国立大学法人東京大学
吉村 忍

本報告書は、文部科学省の科学技術試験研究委託事業による委託業務として、国立大学法人東京大学が実施した平成３０年
度「革新的クリーンエネルギーシステムの実用化」の成果を取りまとめたものです。

目次
１．委託業務の題目 ..................................................................................................................................... 1２．実施機関（代表機関） .......................................................................................................................... 1
３．委託業務の目的 ..................................................................................................................................... 1
４．平成 29 年度（報告年度）の実施内容 .................................................................................................. 2
４－１．実施計画......................................................................................................................................... 2
４-１-１．
（サブ課題 A）高圧燃焼・ガス化を伴うエネルギー変換システム........................................... 2
４-１-２．
（サブ課題 B）気液二相流および電極の超大規模解析による燃料電池設計プロセスの高度化 ........ 2
４-１-３．
（サブ課題 C）高効率風力発電システム構築のための大規模数値解析 ................................... 3
４-１-４．
（サブ課題 D）核融合炉の炉心設計 .......................................................................................... 4
４-１-５．プロジェクトの全体推進 .......................................................................................................... 5
４－２．実施内容（成果） .......................................................................................................................... 6
４-２-１．
（サブ課題 A）高圧燃焼・ガス化を伴うエネルギー変換システム........................................... 6
４-２-２．
（サブ課題 B）気液二相流および電極の超大規模解析による燃料電池設計プロセスの高度化 ...... 36
４-２-３．
（サブ課題 C）高効率風力発電システム構築のための大規模数値解析 ................................. 53
４-２-４．
（サブ課題 D）核融合炉の炉心設計 ...................................................................................... 130
４-２-５．プロジェクトの全体推進 ...................................................................................................... 168
４－３．活動（研究会等） ...................................................................................................................... 178
４－４．実施体制..................................................................................................................................... 180
別添１ 学会等発表実績
別添２ 実施計画
別添３ 「次世代超高速電子計算機システムに関するコデザイン報告書」より「3.9.重点課題 6 ADVENTURE のコデザイン」

i１．委託業務の題目「革新的クリーンエネルギーシステムの実用化」

２．実施機関（代表機関）

代
表

課題
責任者

機関名

国立大学法人東京大学

所在地〒113-8656 東京都文京区本郷 7-3-1

ふ り が なよしむら しのぶ

生年西暦 1959 年 3 月 18 日（60 歳）

氏

吉村

月日

※2019 年 4 月 1 日現在

名

所属部署名
連絡先

機
関

忍

大学院工学系研究科
Tel.03-5841-6960
ばん みなこ

事務

氏

坂

連絡

所属部署名

担当者

連絡先

副学長・教授Fax.03-5841-0651

E-mail yoshi@sys.t.u-tokyo.ac.jp

ふ り が な

名

役職

美奈子

工学系・情報理工学系等事務部 役職
Tel.03-5841-0308
E-mail係長

Fax.03-5841-6058

jutaku@t-adm.t.u-tokyo.ac.jp

３．委託業務の目的
エネルギー資源小国である我が国にとって、エネルギー問題はエネルギーセキュリティの観点からも地球温暖化問題対応に向けた国際的責務の観点からも喫緊の重要課題である。エネルギー基本計画の中では、電源構成について、あらゆる面（安定供給、コスト、環境負荷、安全性）で優れるエネル
ギー源はないとの前提のもとにエネルギー源ごとの特性を踏まえ、現実的かつバランスの取れた需給構造を構築する方針が打ち出されている。このような我が国を取り巻く状況を踏まえ、本重点課題では、超高効率・低環境負荷を実現する革新的クリーンエネルギーシステムの中核をなす複雑な物理現象の詳細解明と定量予測を、ポスト「京」を駆使した超高精度解析（第一原理的解析を中核とするマ
ルチスケール・マルチフィジクスシミュレーション）によって実現し、革新的クリーンエネルギーシ
ステムの実用化を大幅に加速するアプリケーション群の研究開発を行う。
このため、中核機関の国立大学法人東京大学は、分担機関の国立大学法人豊橋技術科学大学、国立大学法人京都大学、国立大学法人九州大学大学院工学研究院、国立大学法人九州大学応用力学研究所、
国立大学法人名古屋大学、学校法人立教学院立教大学、国立研究開発法人日本原子力研究開発機構、
国立研究開発法人物質・材料研究機構、大学共同利用機関法人自然科学研究機構核融合科学研究所、
みずほ情報総研株式会社、株式会社風力エネルギー研究所と共同で業務を実施する。
国立大学法人東京大学は、上記の目的を達成するため、以下の４つのサブ課題（A、B、C、D）に関する研究開発とそのとりまとめを行うとともに、プロジェクトの全体推進を担当する。

1

４．平成 30 年度（報告年度）の実施内容
４－１．実施計画
本格実施期間の三年目にあたる平成 30 年度は、平成 29 年度の業務実績、および中間評価を受けて平成 29 年度に改定された実施計画に基づいて当該年度の研究開発を実施し、その結果をとりまとめた。以下に各サブ課題の業務内容について記す。
４-１-１．
（サブ課題 A）高圧燃焼・ガス化を伴うエネルギー変換システム
本サブ課題では、2020～2030 年代の実用化を目指して研究開発が進められている CCS を伴う石炭火力発電システムの実現のカギを握る高圧燃焼・ガス化炉をターゲットとし、従来の計算機環境では実現が不可能であった炉全系高精度シミュレーション技術を研究開発する。
平成 30 年度は、下記の各項目の内容ならびに成果目標等に関して研究開発を推進する。
a) サブ課題 A の総合的推進
下記項目 b)、c)、d)で各機関が実施する内容をとりまとめ、高圧燃焼・ガス化を伴うエネルギー
変換システムの実用化に資する炉全系高精度シミュレーションを実現するための課題、今後行うべき課題について検討を行う。
b) 高圧燃焼器のシミュレーション技術b)-1 パイロットスケール超臨界圧燃焼器を対象に計算を行い、実験との比較を実施する。＜再委
託機関：国立大学法人京都大学＞
c) ガス化炉のシミュレーション技術c)-1 ラボスケール石炭ガス化炉を対象に行った計算結果を用いて、三相計算の要素モデルおよび解法の詳細検証・高度化を実施する。＜再委託機関：国立大学法人九州大学大学院工学研究院＞
c)-2 ベンチスケール石炭ガス化炉を対象とした計算の事前検討（形状・条件確認）、試計算を実施する。＜再委託機関：国立大学法人九州大学大学院工学研究院、国立大学法人京都大学大学院工学研究科＞d) 高温構造健全性評価シミュレーション技術d)-1 構造健全性および炉構造内伝熱・反応・冷却システム全体のマルチスケール・マルチフィジク
ス統合シミュレーションを実施し、V&V を実施する。
４-１-２．
（サブ課題 B）気液二相流および電極の超大規模解析による燃料電池設計プロセスの高度化
本サブ課題では、次世代の主要なエネルギー変換機器として期待されている燃料電池を対象に、従来の計算機環境では実現が不可能であった大規模二相流動、電極構造および過電圧等の要素特性シミュ
レーション技術を研究開発する。
平成 30 年度は、平成 29 年度に引き続き、中間評価を受けて平成 29 年度に改定された実施計画に基づき下記の各項目の内容ならびに目標等に関して研究開発を推進する。
a) サブ課題 B の総合的推進
下記項目 b)、c)、d)、e)で各機関が実施した内容をとりまとめ、燃料電池設計プロセスの高度化に資する気液二相流および電極の超大規模解析を実現するための課題、今後行うべき課題について検2

討する。特に、個々のシミュレーション技術間の連携方法、およびシミュレーションが燃料電池の性能、コスト（開発期間を含む）、信頼性、開発に及ぼす影響を定量化するための検討を行う。
b) 大規模二相流解析による実機 PEFC スタックの設計プロセスの構築b)-1 並列気液二相流コードによるショートスタック解析と精度・規模の検証＜再委託機関：みずほ情報総研株式会社＞b)-2 セルレベルの二相流 DB の構築と発電性能の検証＜再委託機関：みずほ情報総研株式会社＞
c) SOFC 電極要素特性解析c)-1 直交格子系焼結シミュレーションコードの高速化c)-2 SOFC 電極過電圧特性の予測のための多相系コードの高速化c)-3 随伴解析を用いた電極構造最適化コードの適用d) PEFC 電極要素特性解析d)-1 FIB-SEM で取得した触媒層三次元電極構造を対象にした反応輸送解析と電圧損失予測＜再委託機関：国立大学法人九州大学大学院工学研究院＞e) PEFC 膜電極接合体(MEA)のナノ構造・機能解析e)-1 PEFC 膜電極接合体のナノ～メゾ構造の統合的解析＜再委託機関：学校法人立教学院立教大
学＞
e)-2 MEA 要素間相互作用の詳細解析と MEA 界面のナノ構造・機能解析＜再委託機関：国立研究開発法人物質・材料研究機構＞
４-１-３．
（サブ課題 C）高効率風力発電システム構築のための大規模数値解析
本サブ課題では、洋上ウィンドファームの発電性能予測、信頼性評価、風車単体性能の改善に注力したマルチスケール・マルチフィジクス統合シミュレーション技術の開発研究を実施する。
平成 30 年度は、平成 29 年度の検討課題および中間評価を受けて平成 29 年度に改定された実施計画に基づき、大規模解析による風車性能の予測、流体・構造振動連成解析を行い、下記の各項目について研究をとりまとめ、成果を得るものとする。
a) サブ課題 C の統合的推進＜再委託機関：国立大学法人豊橋技術科学大学＞
RIAM-COMPACT・FFB・ADVENTURE 等を連携させたシステムを用いて、洋上風車の発電性
能予測および信頼性評価を実施する。また、研究計画全体をとりまとめる。
b) 後流の影響を考慮した洋上風車高精度評価技術の開発＜国立大学法人東京大学生産技術研究所＞b)-1 FFB を用いた大規模流体解析（ブレード周りの 10～20mm オーダーの渦を解像しながら後流の発生プロセスを評価し、さらに数 100m～１km オーダーの後流の伝搬を解析する）技術の開発と高速化を行う。
b)-2 翼スケールの実験と解析を行い FFB に実装する壁モデルの性能検証を行う。
c) 流体構造連成振動解析による風車ブレードの信頼性評価の高精度化＜東京大学＞c)-1 複合材料構造特性を考慮した風車用ブレードの流体構造連成振動解析技術を構築する。
c)-2 風車ブレードの振動応答解析を行い、構造信頼性評価を高精度化する。（使用ソフト：FFB、
ADVENTURE、REVOCAP）

3d) 洋上ウィンドファーム全体の高精度流れ解析＜再委託機関：国立大学法人九州大学応用力学研究
所＞d)-1 ウィンドファームに配置される多複数の風車の後流および大気境界層の影響を考慮した大規模風況（大規模並列かつ多風向[16 ないし 24 方位]）システムの構築を行う。
d)-2 豊橋技科大・東大生研で実施する風車周りの流れ解析（FFB による実機風車 2 台の大規模風車解析）の結果を活用し、簡易風車モデルの高精度化の検討を行う。（使用ソフト：RIAMCOMPACT HPC 版）e) シミュレーションシステムの検証および実用化のための調査およびデータ提供＜再委託機関：株
式会社風力エネルギー研究所＞e)-1 本サブ課題において開発するシミュレーションシステムの有効性検証のために、欧米のウィ
ンドファーム情報の調査とデータ提供、および国内で想定される洋上ウィンドファームの仮想的なデータ提供を解析担当機関に行う。
e)-2 洋上ウィンドファームの発電量評価精度向上への寄与度を考慮し、風車相互干渉、気象解析との連携、流体構造連成振動・損傷、海面変動による風車揺動の影響を検討する。
４-１-４．
（サブ課題 D）核融合炉の炉心設計
本サブ課題では、長期代替クリーンエネルギー源として期待される核融合炉の実用化に向けて次世
代核融合実験炉 ITER を対象とし、従来の計算機環境では難しかった核燃焼プラズマの 5 次元第一原
理計算を実現し、炉心運転条件の最適化設計に貢献する。
平成 30 年度は、中間評価結果を反映して平成 29 年度に修正した研究実施計画を元に、以下の各項
目の研究開発を実施する。
a) サブ課題 D の総合的推進＜再委託機関：国立研究開発法人日本原子力研究開発機構＞
本サブ課題を効率的かつ効果的に推進するため、サブ課題 D 開発推進会議を適宜開催し、参画
各機関の連携・調整を実施する。
b) 核燃焼プラズマ解析に向けた計算モデル拡張b)-1 大域的乱流輸送解析の計算モデル拡張＜再委託機関：国立研究開発法人日本原子力研究開発機構＞
平成 29 年度までに開発した多種イオン系モデル、3 次元実形状磁場インターフェース等の物理モデルを大域的乱流輸送解析コード GT5D に統合し、有効性を検証する。
b)-2 局所的乱流輸送解析の計算モデル拡張＜再委託機関：国立大学法人名古屋大学＞
平成 29 年度までに開発した多種イオン系モデル、プラズマ回転効果、および、効率的な時間積分法等の物理モデルを局所乱流輸送解析コード GKV に統合し、有効性を検証する。
b)-3 高エネルギー粒子閉じ込め解析の計算モデル拡張＜再委託機関：大学共同利用機関法人
自然科学研究機構核融合科学研究所＞
平成 29 年度までに開発した多種イオン系モデル、熱イオンの運動論的効果等の物理モデルを高エネルギー粒子閉じ込め解析コード MEGA に統合し、有効性を検証する。
c) エクサスケール計算に向けたコデザイン4c)-1 ポスト「京」向け粒子法の開発＜再委託機関：大学共同利用機関法人自然科学研究機構核融合科学研究所＞
平成 29 年度までに開発したメニーコア最適化技術、領域分割手法の並列最適化技術等の計算技
術を粒子法コードに統合し、メニーコア環境で性能評価を実施する。
c)-2 ポスト「京」向け格子法の開発＜再委託機関：国立研究開発法人日本原子力研究開発機構＞
平成 29 年度までに開発したメニーコア最適化技術、省通信クリロフソルバ等の計算技術を格子法コードに統合し、メニーコア環境で性能評価を実施する。
d) 実証研究と ITER 物理課題検討＜再委託機関：大学共同利用機関法人自然科学研究機構核融合科
学研究所＞
開発コードを用いた JT-60、LHD 実験に関する実証研究、および、ITER 物理課題検討に関わる解析を実施する。
e) 開発コードの普及および人材育成＜再委託機関：国立大学法人名古屋大学＞
平成 29 年度に公開した局所乱流輸送解析コード GKV の機能拡充、および、利用拡大・普及に向けた取り組みを実施する。
４-１-５．プロジェクトの全体推進
４つの出口（石炭ガス化、燃料電池、洋上風力発電、核融合炉炉心設計）を有する本重点課題プロジ
ェクトを効率的かつ効果的に推進するため、重点課題責任者の指揮監督のもとに東京大学大学院工学系研究科内に設置した課題推進事務局を中核として推進業務を行う。具体的にはプロジェクト全体の管理・調整業務（会計・総務・連絡・調整等）、大型計算機資源の確保・同資源のサブ課題間の調整業
務、全サブ課題に共通的な課題の推進支援業務である。さらに、当該重点課題内全体推進会議、アプ
リケーション連携開発会議（重点課題⑧との連携）等を適宜開催し、参画各機関の連携・調整にあたる。特に、プロジェクト全体の進捗状況を確認しつつ計画の合理化を検討し、適宜諮問委員会を開催するなど、プロジェクトの効果的・効率的推進に資する施策を実施する。また、プロジェクトで得られた成果については、可能な限り積極的に公開して今後の展開に資するとともに、革新的クリーンエ
ネルギーシステムの実用化を大幅に加速するアプリケーション群の研究開発を推進する。
平成 30 年度は、プロジェクト全体ならびに各サブ課題で掲げる目標の妥当性確認のための諮問委員会の開催や、より確実な成果創出のための管理の仕組みを構築するとともに共通基盤技術としてマルチフィジクス連成と V&V およびマルチスケール連携と V&V、大規模行列計算・データ可視化に関する連携を推進するとともにコデザインを推進する。
また、平成 30 年度も継続して課題推進事務局に事務局長、同補佐、技術支援員を雇用する。事務局
長には、プロジェクト全体の管理・調整業務、大型計算機資源の確保・同資源のサブ課題間の調整業
務、全サブ課題に共通的な課題の推進支援業務の全体管理運営を担わせる。同補佐には、プロジェク
ト全体の会計、重点課題代表者とサブ課題間の連絡・調整等を担わせ、技術支援員には、全体推進の中で発生する上記 b)～d)共通的課題の推進支援業務を担わせる。

5

４－２．実施内容（成果）
本格実施期間の三年目にあたる平成 30 年度は、平成 29 年度の業務実績、および中間評価を受けて平成 29 年度に改定された実施計画に基づいて当該年度の研究開発を実施し、その結果をとりまとめた。以下に各サブ課題の成果について記す。
４-２-１．
（サブ課題 A）高圧燃焼・ガス化を伴うエネルギー変換システム＜再委託機関：国立大学法人京都大学、国立大学法人九州大学＞（１）研究成果の概要
本サブ課題では、2020～2030 年代の実用化を目指して研究開発が進められている Carbon dioxide
Capture and Storage（CCS）を伴う石炭火力発電システム実現のカギを握る高圧燃焼・ガス化炉を主なターゲットとする。従来の計算機環境では実現が不可能であった炉全系高精度シミュレーション技術を研究開発し、高圧燃焼・ガス化プロセスの詳細定量評価を実現することにより、適切な炉パラメ
ータ探索の試行錯誤プロセスを大幅に削減し、国際競争力のある実用炉に必須となる高効率化・低環
境負荷・高レジリエンス性能の実現を加速し、その実用化時期の早期化に貢献する。
平成 30 年度は、平成 29 年度に引き続き、下記の各項目の内容ならびに目標等に関して研究開発を推進した。
（２）サブ課題 A の総合的推進
平成 30 年度は、高圧燃焼器のシミュレーション技術、ガス化炉のシミュレーション技術、高温構造
健全性評価シミュレーション技術、およびマルチフィジックスシミュレーションの実施に係る課題を検討した。特に燃焼－炉構造伝熱間のマルチフィジックス現象を連成してシミュレーションするにあたり、双方向連成解析を実施した。連成解析の計算の流れを Figure4.2.1-1 に示す。石炭ガス化炉モデ
ルは複数の部品で構成される構造モデルと、その内側の燃焼解析を実施する流体モデルの間で熱の伝達が行われる。構造モデルの外側は一定温度の大気と接している他、内部には冷却管が配置されており、それぞれが熱伝達する。このような複雑な物理現象を双方向連成させるためには、各々の解析の高度化のみならず連成面における境界条件の整合性や時間ステップの検討が非常に重要であることから、双方向連成解析のフレームワーク構築と並行した検討を実施した。並列カプラ
REVOCAP_Coupler を用いたオンライン連成解析のフレームワーク構築についての詳細は全体推進にて後述する。

6

流体解析のRestartファイル

hpc_00000/restart_20
hpc_00001/restart_20
hpc_00002/restart_20：

流体の1 step

流体解析のRestart
ファイル

FFR
流体解析

流体モデル
各節点の
熱流束

REVOCAP
Coupler
連成

ADV
Thermal
構造解析

FFR
流体解析

REVOCAP
Coupler
連成

構造モデル
各節点の
温度

流体モデル
各節点の
熱流束

REVOCAP
Coupler
連成

ADV
Thermal
構造解析

FFR
流体解析

REVOCAP
Coupler
連成

構造モデル
各節点の
温度

流体モデル
各節点の
熱流束

REVOCAP
Coupler
連成

ADV
Thermal
構造解析

FFR
流体解析

REVOCAP
Coupler
連成

構造モデル
各節点の
温度

構造解析の
Resultファイル

result/advhddm_out_19_0.adv
result/advhddm_out_19_1.adv
result/advhddm_out_19_2.adv：

構造の
1 step

構造解析のResultファイル

Figure4.2.1-1 Flowchart of bidirectional coupling analysis（３）高圧燃焼器のシミュレーション技術
昨年度までは、ラボスケールの超臨界圧燃焼器[1-3]を対象に 3 次元ラージ・エディ・シミュレーシ
ョン（Large-eddy Simulation: LES）を実施することにより、燃焼モデルや物性モデル、および本 LES
手法の有効性と予測精度について検証した。そこで、平成 30 年度は、同手法をパイロットスケール（実機）の超臨界圧燃焼器に適用することにより、その適用性を検討した。
（３－１）解析対象および計算方法
Figure4.2.1-2 に、対象とした東芝エネルギーシステムズ製 50MWth 級検証試験用超臨界 CO2 ター
ビンおよび燃焼器の概要[4]を示す。東芝エネルギーシステムズでは、CO2 放出低減への取り組みの一つとして Allam cycle[5]を用いた超臨界 CO2 サイクル発電システム向けのガスタービンの開発を進めている。このシステムは CO2 雰囲気中で燃料の天然ガスと酸素で燃焼させて、発生した高温高圧のCO2 と H2O（水蒸気）の混合ガスでガスタービンを回す発電システムである[6]。タービンを出た混合
ガスは、再生熱交換器を通過後、冷却器で冷却されて H2O（水）を分離し、残りの CO2 の大部分を循
環させて再び燃焼器に供給する。また、燃料に含まれる C（炭素）から発生した CO2 は、余計なエネ
ルギーをかけることなく高濃度でそのまま抽出可能なため、高い発電効率を損なうことなく、CO2 を回収できる発電システムである[6]。本ガスタービン燃焼器は、酸化剤 / 燃料(CH4)/再循環 CO2 により燃焼が行われ、運転条件はタービン入り口圧力約 30MPa およびガス温度約 1,150℃の超高圧条件となっている[7]。このような高圧での燃焼は、ロケットエンジンなどでは運用されているが、燃焼時7間は短く使用回数は数回程度である。一方、本ガスタービン燃焼器は、超高圧下で、発電システムの運転に必要な長時間にわたり安定した燃焼が必要である。そのため、開発課題として、超高圧下の超臨界 CO2 雰囲気での燃焼特性の把握や燃焼器壁の冷却特性の把握が不可欠であり、実試験による検証に加えて、数値シミュレーションによる燃焼場や冷却特性の予測が有効な手段の一つである。
本研究では、この超臨界燃焼器を対象に NuFD/FrontFlow/Red（FFR-Comb）[8~11]を用いた熱流体―構造連成の LES を実施する。Figure4.2.1-3 に、解析格子の概要を示す。節点数およびセル数はそれぞれ、1.29 億点および 2.04 億点である。Figure4.2.1-4 に、流入口の配置の概要を示す。大半の酸化剤が、燃焼器の上流部最外周部からスワラを通して流入する。その内側の噴射プレートに、酸化剤、燃料、CO2 の噴射孔が円周状に配置される。また、冷却用 CO2 が燃焼器壁面設置された冷却スリットから壁面に沿って流入し、希釈用 CO2 が燃焼器壁面に複数存在する噴射孔から流入する。
本 LES では、乱流モデルとして標準 Smagorinsky モデルを用いた。圧縮性流体スキームを用い、
実気体モデルとして Soave-Redlich-Kwong (SRK)モデル[12]を適用した。乱流燃焼モデルとしては
Dynamically Thickened Flame モデル[13,14]を用い、反応機構としては Westbrook のメタン 2 段反応モデル[15]：
𝐶𝐶𝐶𝐶4 + 3⁄2 𝑂𝑂2 ⇒ 𝐶𝐶𝐶𝐶 + 2𝐻𝐻2 𝑂𝑂
𝐶𝐶𝐶𝐶 + 1⁄2 𝑂𝑂2 ⇔ 𝐶𝐶𝐶𝐶2を採用した。本 LES は、「京」コンピュータを用いて、10,000 並列で実施し、1,000 ステップ当た
り約 3 時間要した。総計算時間としては約 135 時間（約 6 日）であった。

Figure4.2.1-2 25MWe Supercritical CO2 turbine and combustor [4]Figure4.2.1-3 Computational grids
8Figure4.2.1-4 Schematic of layout of inlets（３－２）結果および考察
Figure4.2.1-5 に、乱流燃焼流れ場の温度、流速および化学種質量分率(O2, CH4, CO2, CO, H2O)の瞬時場および時間平均場を示す。ノズル出口中心部分の燃焼領域では燃料過濃条件で燃焼し、大量の COが生成されるが、その後、メイン酸化剤と混合反応することで CO は速やかに消費されることがわかる。また、高温の燃焼ガスは、ライナから流入する CO2 の希釈、および燃焼器の側面から与えられる冷却用 CO2 により温度が低く保たれることもわかる。
Figure4.2.1-6 に、固体壁表面の時間平均ガス温度を示す。燃焼器上流部の冷却スリット入り口のすぐ後流部の壁面は冷却ガスにより壁面温度が低く保たれるが、下流の壁面では冷却ガスの効果が低く
壁面温度が比較的高いことがわかる。さらに、燃焼器下流に行くにつれて、燃焼ガスの温度が下がる
ことで壁面温度が下がる傾向がみられる。
Table4.2.1-1 に、出口温度およびガス組成の理論値（実験での予測値）との比較を示す。温度は理論値に比べ 50K ほど過大評価しているものの、概ね一致していることがわかる。また、ガス組成についても良好な一致がみられる。
以上の結果から、本 LES 法は実機燃焼器内の超臨界燃焼場を予測する上で有効な手段となり得ることがわかる。

9

Figure4.2.1-5 Instantaneous (left) and time-averaged (right) combustion fields

10Figure4.2.1-6 Time-averaged inner metal wall temperature distribution

Table4.2.1-1 Comparisons of outlet temperature and species concentration
LES

理論値

温度 [K]

1,500.2

1,453

O2 質量分率 [-]0.004931

0.003935

H2O 質量分率 [-]0.030136

0.031966

CO2 質量分率 [-]0.964111

0.9641（３－３）まとめ
本研究では、パイロットスケールの東芝エネルギーシステムズ製 50MWt 級超臨界 CO2 タービン用
燃焼器を対象に、燃焼器金属壁の熱連成（熱流体―構造連成）を考慮した超臨界燃焼場の LES を行う
ことにより、本 LES 法が超臨界燃焼場の予測に有効な手段であることを示した。今後、本 LES 法を
商用スケール（約 10 倍の出力）の実機燃焼器に適用し、その設計および最適操作条件の選定に有効に利用していくためには、ポスト「京」コンピュータの利用が必須であると考えられる。
参考文献[1] Tucker, P., Menon, S., Merkle, C., Oefelein, J., and Yang, V., “Validation of high-fidelity CFD
simulations for rocket injector design”, 44th AIAA/ASME/SAE/ASEE Joint Propulsion
Conference & Exhibit, Hartford, USA, AIAA-2008-5226, 2008.
[2] Kishimoto, A., Moriai, H., Takenaka, K., Nishiie, T., Adachi, M., Ogawara, A., Kurose, R.,“Application of a non-adiabatic flamelet/progress-variable approach to Large Eddy Simulation of
H2/O2 combustion under a pressurized condition”, Journal of Heat Transfer, 139, 124501, 2017.
[3] Kai1, R., Kishimoto, A., Takenaka, K., Kurose, R., “Validity of LES/flamelet approach fortranscritical O2/H2 combustion”, 12th Asia-Pacific Conference on Combustion, Fukuoka
International Congress Center, Fukuoka, Japan, to appear.
[4] Sasaki, T., Itoh, M., Maeda, H., Tominaga, J., Saito, D., Niizeki, Y., “Development of Turbine andCombustor for a Semi-closed Re-cuperated Brayton Cycle of Supercritical Carbon Dioxide”, In
Proc. of the ASME 2017 Power Conference Joint With ICOPE-17, POWER-ICOPE2017-3419,
11

2017.
[5] Allam, R., Fetvedy, J., Forrest, B., Jones, C., Nomoto, H., Itoh, M., “A novel, high-efficiency, oxyfuel power plant with low-cost electricity production and 100% capture of carbon dioxide”,
POWER-GEN Internationa 2013.
[6] 岩井保憲, 伊東正雄, “超臨界 CO2 サイクル発電用ガスタービン燃焼器”, 東芝レビュー, 70 (5), 2015.
[7] Iwai, Y., Itoh, M., Morisawa, Y., Suzuki, S., Cusano, D., Harris, M., “Development approach to the
combustor of gas turbine for oxy-fuel, supercritical CO2 Cycle”, In Proc. of the ASME Turbo Expo
2015, Palais des Congres, Montreal, Canada, GT2015-43160, 2015.
[8] Moriai, H., Kurose, R., Watanabe, H., Yano, Y., Akamatsu, F., Komori, S., “Large-eddy simulationof turbulent spray combustion in a subscale aircraft jet engine combustor - Predictions of NO andsoot concentrations -", Journal of Engineering for Gas Turbines and Power, 135, 091503, 2013.
[9] Muto, M., Watanabe, H., Kurose, R., Komori, S., Balusamy, S., Hochgreb, S., “Large-eddy
simulation of pulverized coal jet flame-effect of oxygen concentration on NOx generation-", Fuel,142, 152-163,2015.
[10] Tachibana, S., Saito, K., Yamamoto, T., Makida, M., Kitano, T., Kurose, R., “Experimental andnumerical investigation of thermo-acoustic instability in a liquid-fuel aero-engine combustor atelevated pressure: validity of large-eddy simulation of spray com-bustion", Combustion and
Flame, 162, 2621-2637, 2015.
[11] Kishimoto, A., Moriai, H., Takenaka, K., Nishiie, T., Adachi, M., Ogawara, A., Kurose, R.,“Application of a non-adiabatic flamelet/progress-variable approach to Large Eddy Simulation of
H2/O2 combustion under a pressurized condition”, Journal of Heat Transfer, 139, 124501, 2017.
[12] Soave, G., “Equilibrium Constants from a Modified Redlich-Kwong Equation of State,” Chemical
Engineering Science., 27, 1197–1203, 1972.
[13] Charlette, F., Meneveau, C., Veynante, D., “A power-law flame wrinkling model for LES ofpremixed turbulent combustion. Part I. Non-dynamic formulation and initial tests,” Combustion
and Flame, 131, 159-180, 2002.
[14] Strakey, P.A., Eggenspieler, G., “Development and validation of a thickened flame modelling
approach for large eddy simulation of premixed combustion,” Journal of Engineering for Gas
Turbines and Power, 132, 071501, 2010.
[15] Westbrook, C.K., Dryer, F.L., “Simplified Reaction Mechanisms for the Oxidation of Hydrocarbon
Fuels in Flames", Combustion Science and Technology, 27, 31-43, 1981.

（４）ガス化炉のシミュレーション技術
石炭ガス化炉の設計に資するシミュレーション技術には、ガス化炉内の固気二相反応流れと溶融ス
ラグ流れを同時に解析する機能が必要とされる。本年度は、ラボスケール石炭ガス化炉の固気液三相計算の要素モデルおよび解法の詳細検証・高度化を実施した。また、ベンチスケール石炭ガス化炉を対象とした計算の事前検討、および試計算を実施した。

12

（４－１）ラボスケール石炭ガス化炉の数値解析
ラボスケール石炭ガス化炉を対象にして、固気液三相計算の要素モデルおよび解法の詳細検証・高度化を実施した。特に、固気二相のガス化反応解析と気液二相のスラグ流解析カップリング時における気液流動やボイド率輸送式生成項の取り扱いについて、実現象とのマッチングを図るべく、適正化を行った。
（４－１－１）解析方法
Eulerian-Lagrangian 法による固気二相反応流の Large-eddy simulation[1,2]と Eulerian-Eulerian（VOF）法による溶融スラグ流れの数値解析をカップリングさせた固気液三相流を、ラボスケール石炭ガス化炉を対象として実施した。本計算は固気液三相それぞれにおいて同一の化学種が定義され、反応に伴う相間の熱物質輸送を考慮することが可能である。気相の支配方程式は、連続の式、運動量
保 存 式 、エ ネ ルギ ー 保 存式 、 およ び 化学 種 保存式 を 解 いた 。 SGS 応 力モ デ ルに は Dynamic
Smagorinsky モデル[3]を用いた。固相については、個々の粒子のいわゆる BBO 方程式をパーセル近似により解き、流体と粒子の干渉効果については、PSI-CELL 法[4]により考慮した。ガス化炉内の化学反応としては、石炭の熱分解による揮発分放出、石炭チャーの固気（ガス化）反応、および気相反
応を考慮した。揮発分放出過程を Eq. (1)により表し、揮発分組成については、Umemoto らの実験データ[5]を用いた。揮発分放出速度については、Eq. (2)に示す単一一次反応モデルにより考慮し、その反応速度パラメータは FLASHCHAIN モデル[6]により見積もった。
𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 → 𝛼𝛼1 𝐶𝐶𝐻𝐻4 + 𝛼𝛼2 𝐻𝐻2 + 𝛼𝛼3 𝐶𝐶𝐶𝐶 + 𝛼𝛼4 𝐶𝐶𝑂𝑂2 + 𝛼𝛼5 𝐻𝐻2 𝑂𝑂 + 𝛼𝛼6 𝐶𝐶ℎ𝑎𝑎𝑎𝑎

𝑑𝑑𝑉𝑉𝑖𝑖
𝑑𝑑𝑑𝑑= 𝐴𝐴𝑖𝑖 exp �−

𝐸𝐸𝑖𝑖

𝑅𝑅𝑇𝑇𝑝𝑝(1)

� (𝑉𝑉𝑖𝑖∗ − 𝑉𝑉𝑖𝑖 )(2)

ここで、𝛼𝛼𝑖𝑖 は総和が 1 となる各揮発分の係数である。𝑉𝑉𝑖𝑖 は揮発した各揮発分量、𝐴𝐴𝑖𝑖 および𝐸𝐸𝑖𝑖 は頻度因子と活性化エネルギー、𝑉𝑉𝑖𝑖∗ は粒子が保有する総揮発分量である。

チャーガス化反応については、Eqs. (3)〜(5)に示す O2 ガス化、CO2 ガス化、および H2O ガス化の3 つの反応経路を考慮した。チャーガス化反応モデルには、CO2 ガス化および H2O ガス化について
は Eq. (6)に示す Langmuir-Hinshelwood モデルに基づく活性点部分共有モデル[5]を用いた。O2 ガ
ス化については nth-order モデル[7]を用いた。それぞれの反応経路の反応速度パラメータは文献[8]の値を用いた。
1

𝐶𝐶ℎ𝑎𝑎𝑎𝑎 + 2 𝑂𝑂2 → 𝐶𝐶𝐶𝐶

(3)

𝐶𝐶ℎ𝑎𝑎𝑎𝑎 + 𝐶𝐶𝑂𝑂2 → 2𝐶𝐶𝐶𝐶

𝐶𝐶ℎ𝑎𝑎𝑎𝑎 + 𝐻𝐻2 𝑂𝑂 → 𝐶𝐶𝐶𝐶 + 𝐻𝐻2
𝑑𝑑𝑑𝑑
𝑑𝑑𝑑𝑑

(4)
(5)

= 𝜂𝜂(1 − 𝑥𝑥)�1 − Ψln(1 − 𝑥𝑥) �𝑘𝑘21 𝑃𝑃𝐻𝐻2𝑂𝑂

1+𝑏𝑏𝑏𝑏𝑘𝑘12 𝑃𝑃𝐶𝐶𝐶𝐶2 +𝑏𝑏𝑏𝑏𝑏𝑏13 𝑃𝑃𝐶𝐶𝐶𝐶 +𝑘𝑘22 𝑃𝑃𝐻𝐻2𝑂𝑂 +𝑘𝑘23 𝑃𝑃𝐻𝐻2

𝑘𝑘11 𝑃𝑃𝐶𝐶𝐶𝐶2

1+𝑘𝑘12 𝑃𝑃𝐶𝐶𝐶𝐶2 +𝑘𝑘13 𝑃𝑃𝐶𝐶𝐶𝐶 +𝑎𝑎⁄𝑐𝑐 𝑘𝑘22 𝑃𝑃𝐻𝐻2𝑂𝑂 +𝑎𝑎⁄𝑐𝑐 𝑘𝑘23 𝑃𝑃𝐻𝐻2

�

+
(6)

ここで、𝑥𝑥は粒子内炭素分の反応率、𝜂𝜂は粒子内細孔に対する有効拡散係数、Ψは細孔の形態係数、𝑃𝑃𝑖𝑖

は各化学種分圧、𝑎𝑎、𝑏𝑏および𝑐𝑐はそれぞれ活性点部分共有効果を表すモデルパラメータである。

13

気相反応については、Eqs. (7)〜(11)の総括反応を考慮した。気相反応速度の算出にはアレニウス式の直接クロージャモデルである SSFRRM[9]（Eq. (12)）を用いた。
1

𝐶𝐶𝐻𝐻4 + 2 𝑂𝑂2 → 𝐶𝐶𝐶𝐶 + 2𝐻𝐻2
1

(7)

𝐻𝐻2 + 2 𝑂𝑂2 → 𝐻𝐻2 𝑂𝑂(8)1

𝐶𝐶𝐶𝐶 + 2 𝑂𝑂2 → 𝐶𝐶𝑂𝑂2(9)𝐶𝐶𝐶𝐶 + 𝐻𝐻2 𝑂𝑂 → 𝐶𝐶𝑂𝑂2 + 𝐻𝐻2(11)

𝐶𝐶𝐻𝐻4 + 𝐻𝐻2 𝑂𝑂 → 𝐶𝐶𝐶𝐶 + 3𝐻𝐻2

(10)���������������
����������������𝜔𝜔̇ 𝚤𝚤 = �������������
𝜔𝜔̇ �𝜌𝜌̅ , 𝑌𝑌�𝚤𝚤 , 𝑇𝑇�� + 𝐾𝐾1 �𝜔𝜔̇�𝜌𝜌̅ , 𝑌𝑌�𝚤𝚤 , 𝑇𝑇�� − 𝜔𝜔̇ �𝜌𝜌̿ , 𝑌𝑌�𝑘𝑘 , 𝑇𝑇���(12)���𝚤𝚤 は各反応物の消費速度である。
ここで、𝜔𝜔̇

輻射モデルには Discrete Ordinate 法[10]を用いた。
Eulerian-Eulerian（VOF）法による溶融スラグ流れの数値解析では、質量保存式、エネルギー保存式、および化学種保存式に加えて、ボイド率輸送式を解いた。各方程式には、粒子の壁面や液面への付着に伴う熱物質輸送を取り扱うための生成項が存在する。
ボイド率輸送式：

𝜕𝜕𝜕𝜕𝜕𝜕

化学種保存式：𝜕𝜕𝜕𝜕𝑌𝑌𝑖𝑖

エンタルピ保存式：

𝜕𝜕𝜕𝜕𝜕𝜕

質量保存式：

𝜕𝜕𝜕𝜕

𝜕𝜕𝜕𝜕

𝜕𝜕𝜕𝜕

𝜕𝜕𝜕𝜕

𝜕𝜕𝜕𝜕

+ 𝐶𝐶 = 𝜙𝜙̇,𝜙𝜙̇ =∑ 𝑚𝑚𝑝𝑝𝑉𝑉𝑐𝑐𝑐𝑐 ∑ ∆𝑡𝑡𝑠𝑠𝑠𝑠𝑠𝑠∑ 𝑚𝑚𝑝𝑝𝑌𝑌𝑝𝑝,𝑖𝑖
𝑌𝑌̇ = ∑ ∆𝑡𝑡+ 𝐶𝐶 = 𝑌𝑌̇ ,𝑉𝑉𝑐𝑐𝑐𝑐𝑠𝑠𝑠𝑠𝑠𝑠𝑉𝑉𝑐𝑐𝑐𝑐𝑠𝑠𝑠𝑠𝑠𝑠∑ 𝑚𝑚𝑝𝑝 𝑐𝑐𝑝𝑝𝑝𝑝 ∙𝑇𝑇𝑝𝑝
𝐻𝐻̇ =
∑ ∆𝑡𝑡

+ 𝐶𝐶 = 𝐻𝐻̇,+ ∇ ∙ (𝜌𝜌𝑣𝑣⃗) = 𝜌𝜌̇ ,𝜌𝜌̇ =∑ 𝑚𝑚𝑝𝑝𝑉𝑉𝑐𝑐𝑐𝑐 ∑ ∆𝑡𝑡𝑠𝑠𝑠𝑠𝑠𝑠

(13)
(14)
(15)
(16)

ここで、𝐶𝐶は対流項、𝜙𝜙はボイド率、𝑌𝑌は化学種質量分率、𝐻𝐻はエンタルピ、𝑚𝑚𝑝𝑝 は粒子質量、𝑉𝑉𝑐𝑐𝑐𝑐 は検査体積、∆𝑡𝑡𝑠𝑠𝑠𝑠𝑠𝑠 は粒子サブサイクル時間刻みである。

VOF 法の特徴として、セル内のボイド率がゼロより大きな値をもつ場合、気相と液相は同一の流速をもつため、気液界面（例えば、ボイド率=0.5 等値面）よりも液相側内部において1 − 𝜙𝜙で定義される気相がより質量流量の大きな液相の動きに追従し、気液界面から気相側の流速分布に影響を及ぼす。
石炭ガス化炉の場合、コンバスタ底部からスラグホールを通って炉底へ流下するスラグ流にガス流れが極端に追従する現象が発生する。そこで本研究ではこれを避けるため、ボイド率が一定値を超えるまで液相の移流を制限することで、気相流れと液相流れの分離を行った。チャー粒子がガス化炉内壁面もしくはスラグ流表面に衝突した際、チャー中の可燃成分が 99%以上気相へ相変化しているもののみ付着することとし、可燃成分の消失を防止した。
（４－１－２）解析条件
Figure4.2.1-7 に、対象とするラボスケール石炭ガス化炉の計算領域ならびに計算格子（バーナ部拡大）を示す。格子数は約 1.2 億要素である。ガス化炉の試験条件（解析条件）は、石炭供給量 100kg/h、
酸素比 0.52 の条件に対して、ガス化剤組成を O2/CO2=30%/70%に設定した。溶融スラグの密度は2700kg/m3、粘度については T-shift モデル[11]を、表面張力については CSF モデル[12]を用いて考14慮した。NS 方程式の対流項の離散化には 2 次中心差分に 5%の 1 次風上成分をブレンドしたものを用いた。時間進行にはオイラー陰解法を用い、時間刻みは 5×10-6 s、並列数は 9,216 とした。

(a) Computational domain.
Figure4.2.1-7(b) Computational grid (Focus on burner zone).
Computational domain and grid.

（４－１－３）解析結果
Figure4.2.1-8 に、(a)ガス温度、(b)H2、(c)CO、(d)CO2、および(e)H2O の瞬間分布をそれぞれ示す。
図より、ガス化炉コンバスタ内に高温の領域が形成され、この高温のガスはリダクタに流入するとともに迅速に温度が低下することがわかる。H2 や CO などの可燃性ガスが支配的であり、とくに H2 はリダクタ部で多く生成することがわかる。CO2 や H2O などの燃焼生成物はコンバスタ底部にのみ高濃度領域があり、これはコンバスタ内の高温領域の分布と一致する。これらの傾向から、石炭ガス化
反応 LES が示すガス化炉内の反応場は妥当なものであると考えられる。
Figure4.2.1-9 に、コンバスタおよびコンバスタ周辺の(a)垂直断面上の軸方向流速分布、および(b)水
平断面上の絶対流速分布をそれぞれ示す。軸方向流速分布より、コンバスタ内壁面やコンバスタ出口
中心部、およびリダクタ入口部内壁面近傍に強い上昇流が観察される。また、絶対流速分布より、炉内には強い旋回流が形成されており、上述の上昇流の様相は、この旋回流により形成されていることがわかる。これらの傾向は、昨年度までに実施された石炭ガス化反応 LES 単独の解析でも観察されており、スラグ流れ解析をカップリングした本解析においても、石炭ガス化反応 LES 単独解析で得られた流れ場を再現することができることを確認した。
Figure4.2.1-10 に、コンバスタおよびコンバスタ周辺の(a)粒子分布（ただし、色は粒子温度を表す）、(b)ガス化炉内壁面上のスラグ層、および(c)粒子分布とスラグ層分布を同時表示した図（ただし、粒子の色は粒子温度を表す）である。図より、コンバスタ内の粒子は迅速に昇温し、揮発分を放出して火炎を形成するとともに、続いて起こるチャーガス化反応により固定炭素が消失していく。粒子中の可燃成分が 99%消失した粒子は、旋回流による遠心力により内壁面に衝突した際に付着してスラグ層を形成する。図より、コンバスタ内壁面にはまんべんなく粒子の付着により初期スラグ層が形成されていることがわかる。なお、可視化図は、粒子付着・スラグ層形成条件の計算開始後 40,000 ステップ後のものである。今後、解析が進むにしたがって、顕著なスラグ層の流下が観察されるものと思われる。

15

(a) Temperature(b) H2(c) CO(d) CO2(e) H2O

Figure4.2.1-8 Instantaneous distributions of (a) temperature, (b) H2, (c) CO, (d) CO2 and (e) H2O.

(a) Axial velocity on vertical plane(b) Velocity magnitude on horizontal plane

Figure4.2.1-9 Instantaneous distributions of velocity.

16(a) Particles (color: particle(b) Slag layers(c) Particles and slag layers
temperature)
Figure4.2.1-10 Instantaneous distributions of (a) particles, (b) slag layers and (c) particles andslag layers.

（４－２）ベンチスケール石炭ガス化炉を対象とした計算の事前検討、および試計算
本研究では、本研究開発コードの実機設計プロセスへの適用に向けて、三菱日立パワーシステムズ（株）および三菱重工業（株）所有のベンチスケール石炭ガス化炉を対象とする数値解析を実施した。
（４－２－１）解析方法
前述の固気液三相反応流の数値解析のうち、Eulerian-Lagrangian 法による固気二相反応流のLarge-eddy simulation を、ベンチスケール石炭ガス化炉を対象として実施した。解析方法は全く同一であるため、前節を参照されたい。
（４－２－２）解析条件
対象とするベンチスケール石炭ガス化炉の計算格子の格子数は約 1 億要素である。ガス化炉の試験
条件（解析条件）は、初期圧力約 1.0 MPa、石炭供給量 50t/d、および酸素比約 0.4 である。炭種は、前節のラボスケース石炭ガス化炉の数値解析と同一種である。NS 方程式の対流項の離散化には 2 次
中心差分に 5%の 1 次風上成分をブレンドしたものを用いた。時間進行にはオイラー陰解法を用い、時間刻みは 5×10-6 s、並列数は 9,216 とした。
（４－２－３）解析結果
Figure4.2.1-11 に、中心軸上のガス温度分布を示す。図より、軸方向 0〜2 区間のコンバスタにおいて、高温の領域が形成されていることがわかる。この高温の領域は、軸方向 2.3 付近に存在するリダ
クタバーナから投入される石炭のガス化反応により急速に化学的に冷却される。リダクタ内はほぼ一定の値をもつことがわかる。
17

Figure4.2.1-12 に、中心軸上の主要ガス組成の質量分率分布を示す。炉内の主要なガスは CO そして H2 である。CO2 は石炭搬送にのみ用いられているため、炉内全域を通じて、ラボスケール石炭ガ
ス化炉のように高濃度な領域は存在しないことがわかる。

Figure4.2.1-11 Axial distribution of normalized gas temperature on center axis.

Figure4.2.1-12 Axial distributions of chemical species mass fractions on center axis.
（４－３）まとめ
本年度は、ラボスケール石炭ガス化炉の固気液三相計算の要素モデルおよび解法の詳細検証・高度化を実施した。また、ベンチスケール石炭ガス化炉を対象とした計算の事前検討、および試計算を実施した。次年度は、これら解析の V&V を実施する予定である。
参考文献[1] H. Watanabe, K. Tanno, Y. Baba, R. Kurose, S. Komori, Large-eddy simulation of coal combustion
in a pulverized coal combustion furnace with a complex burner, Turbulence, , 6, pp.1027-1030, 2009.
[2] M. Muto, H. Watanabe, R. Kurose, S. Komori, S. Balusamy, S. Hochgreb, Large-eddy simulation18

of pulverized coal jet flame -Effect of oxygen concentration on NOx formation, Fuel, 142, pp.152163, 2015.
[3] P. Moin, K. Squires, W. Cabot, S. Lee, A dynamic subgrid-scale model for compressible turbulenceand scalar transport, Phys. Fluids A, 3, pp.2746-2757, 1991.
[4] C.T. Crowe, M.P. Sharma, D.E. Stock, The Particle-Source-In Cell (PSI-CELL) model for gasdroplet flows, J. Fluids Eng., 99, pp.325-332, 1977.
[5] S. Umemoto, S. Kajitani, S. Hara, Modeling of coal char gasification in coexistence of CO2 andH2O considering sharing of active sites, Fuel, 103, pp.14-21, 2013.
[6] Niksa, S., A.R. Kerstein, FLASHCHAIN theory for rapid coal devolatilization kinetics, 1.
Formulation, Energy Fuels, 5, pp.647-665, 1991.
[7] H. Watanabe, M. Otaka, Numerical simulation of coal gasification in entrained flow coal gasifier,Fuel, 85, pp.1935-1943, 2006.
[8] H. Watanabe, K. Tanno, H. Umetsu, S. Umemoto, Modeling and simulation of coal gasification on
an entrained flow coal gasifier with a recycled CO2 injection, Fuel, 142, pp.250-259, 2015.
[9] P.E. DesJardin, S.H. Frankel, Large-eddy simulation of a nonpremixed reaction jet: application
and assessment of subgrid-scale combustion models, Phys. Fluids, 10, pp.2298-2314, 1998.
[10] W.A. Fiveland, Three-dimensional radiative heat-transfer solutions by the discrete-ordinates
method, J. Thermophys., 2, pp.309-316, 1988.
[11] G.J. Browning, G.W. Bryant, H.J. Hurst, J.A. Lucas, T.F. Wall, An empirical method for theprediction of coal ash slag viscosity, Energy Fuels, 17, pp.731-737, 2003.
[12] J.U. Brackbill, D.B. Kothe, C. Zemach, A continuum method for modeling surface-tension, J.
Compu. Phys., 100, pp.335-354, 1992.

（５）高温構造健全性評価シミュレーション技術
電力中央研究所において実際に稼働している石炭ガス化実験炉を本サブ課題における解析ターゲッ
トとしている。ここでは、流体領域の熱流動解析（燃焼解析）と周辺の炉構造部の固体中熱伝導解析
を双方向連成問題として解析し、その結果として得られた炉構造中の温度の時刻履歴を入力データとして、炉構造部の非線形構造解析を行う。本年度は平成 29 年度までに開発した構造健全性および炉構
造内伝熱・反応・冷却システムの各機能を統合し、マルチスケール・マルチフィジクス統合シミュレーションを構築した。また、石炭ガス化実験炉モデルを対象に「京」においてオンライン双方向連成
解析を実施し、そのワークフローを確立した。以下に統合シミュレーションの概要と数値計算結果について述べる。加えて、ベンチスケールモデルとして三菱重工実験炉を対象とした試解析を遂行中であるため、複雑な形状である冷却流路のモデル化手法の検討状況について述べる。
（５－１）
「京」コンピュータ上でのオンライン双方向連成解析の実施
本サブ課題では並列熱伝導解析コード ADVENTURE_Thermal と並列燃焼解析コード FFR-Comb
に対し並列カプラ REVOCAP_Coupler を用いて双方向連成解析を実現する。解析対象である石炭ガ

19

ス化実験炉モデルの格子要素は六面体要素、四面体要素、三角柱要素、四角錐要素であり、要素数は約１億である。モデルの概要および連成境界面の名称を Figure4.2.1-13、14 に、各境界面の条件をTable4.2.1-2 に示す。また、構造解析モデル中にある 4 種類の冷却管の配置を Figure4.2.1-15、仕様
を Table4.2.1-3 に示す。
構造解析モデルは複数の部品で構成され、その内側に流体解析モデルが入り、連成境界面を介して熱の伝達が行われる。構造物の外側は一定温度の大気と接している他、内部には冷却管が配置されており、それぞれが熱伝達する。
流体―構造間の双方向連成解析においては、流体と構造の間で計算のタイムスケールが異なるという問題がある。本解析においては、流体を∆t = 0.001(s)・構造を∆t = 1.0(s)とそれぞれ異なる時間刻みで計算し同一 step で通信を行うという方法を採用した。また、連成の際に通信を行う物理量としては、流体から熱流速を送信、温度を受信することとした。双方向連成燃焼解析によって得られた、
80,000step における温度・化学種分布を Figure4.2.1-16～22 に、壁面（第一格子点）温度・熱流束分
布を Figure4.2.1-23、24 に示す。コンバスタ部およびリダクタ部の壁面温度・熱流束の平均値をTable4.2.1-4 に示す。加えて石炭ガス化実験炉における実験結果を Table4.2.1-5 に、実験結果と双方

向連成解析結果、および参考解析となる流体単独の解析結果との比較を Table4.2.1-6 に示す。温度・
化学種の実験結果と解析結果には差異が見られるが、これらは 80,000step 時点で出力に基づくため、計算 step の増加によりこれらの差異が改善される可能性があると考えられる。

Figure4.2.1-13 Coal gasification reactor model outline, and its inflow / outflow boundary

20

Figure4.2.1-14 Wall boundary of coal gasification reactor model

21

Table4.2.1-2 Boundary conditions of model
流入境界
名称

流入流速(m/s)

流入化学種

温度(K)

c11

18.83101

O2(10.54%)＋N2(34.9%)+CO2(54.54%)＋299.15

H2O(0.02%)＋微粉炭(d=28.61μm)
c129.471399

O2(45.58%)＋N2(54.38%)＋H2O(0.04%)

413.14c21

18.83101

O2(10.54%)＋N2(34.9%)+CO2(54.54%)＋299.15

H2O(0.02%)＋微粉炭(d=28.61μm)
c229.471399

O2(45.58%)＋N2(54.38%)＋H2O(0.04%)

413.14a11

12.07626248

CO2＋微粉炭(d=17.04μm)

292.15a12

9.471399

O2(45.58%)＋N2(54.38%)＋H2O(0.04%)

413.14a21

12.07626248

CO2＋微粉炭(d=17.04μm)

295.15a22

9.471399

O2(45.58%)＋N2(54.38%)＋H2O(0.04%)

413.14r1

14.80662572

CO2＋微粉炭(d=28.61μm)

299.15r2

14.80662572

CO2＋微粉炭(d=28.61μm)

299.15bottom2

0

0

300.0

流出境界
名称

出口圧力(Pa)

出口温度(K)

outflow

2.0×106

306.05
壁面境界

名称

速度条件

温度条件

bwall

free slip

Transfer 条件、Tw=308K、
htc=10.0

bottomLog 則Transfer 条件、Tw=308K、
htc=10.0

cwall

Log 則

Transfer 条件、Tw=308K、
htc=10.0

throatLog 則Transfer 条件、Tw=308K、
htc=10.0

rwall

Log 則

Transfer 条件、Tw=308K、
htc=10.0

sgc

Log 則

Transfer 条件、Tw=308K、
htc=10.0

slagtap

Log 則

Transfer 条件、Tw=308K、
htc=10.0

22

③
②

①

④

Figure4.2.1-15 Cooling pipe layout
Table4.2.1-3 Cooling pipe specification

配管径

流路長

（mm）

（mm）

リダクタ下段テストパネル

φ48.6

スロート部冷却コイル

番号

部品名称

①
②

③

④

流量

冷媒

2979.218

1,100 l/h

水

φ15.3

3909.041

3,000 l/h

水

コンバスタ冷却コイル（A 系統）

φ27.2

4708.164（B 系統）（20A）

4739.958

3,000 l/h

水（C 系統）

4682.979（D 系統）

4711.397

スラグタップ冷却コイル

φ11

23

3831.471

2MPa
45kg/h蒸気

Figure4.2.1-16 Thermal and chemical species distribution at 80000 steps (overall view)24Figure4.2.1-17 Thermal and chemical species distribution at 80000 steps (the combustor section)

25

Figure4.2.1-18 Thermal and chemical species distribution at 80000 steps (cross section of burner)

26

Figure4.2.1-19 Thermal distribution on central axis at 80000 steps

Figure4.2.1-20 Chemical species distribution on central axis at 80000 steps

27

Figure4.2.1-21 Cross-section average thermal distribution at 80000 steps

Figure4.2.1-22 Cross-section average chemical species distribution at 80000 steps

28

Figure4.2.1-23 Wall thermal and heat flux distribution at 80000 steps (overall view)29Figure4.2.1-24 Wall thermal and heat flux distribution at 80000 steps（the combustor section）
Table4.2.1-4 Wall thermal and heat flux average value of the combustor section and the reductor
section
壁面平均温度

壁面平均熱流束

コンバスタ部

2803.7223895.8

リダクタ部

1573.43

12171.1

30

Table4.2.1-5 Experimental result (reference)
H22NM2R3T2
ガス温度
コンバスタ温度

K

1814.5

コンバスタ出口温度

K1640.62

リダクタ熱電対 1

K1404.15

リダクタ熱電対 2

K1357.96

リダクタ熱電対 3K1275.43

リダクタ熱電対 4

K1197.56

H2

vol%

4.650

CO

vol%

19.003

CO2

vol%27.483

H2O

vol%11.388

CH4

vol%

0.633

N2

vol%

36.323

炉内炭素転換率%

70.62

コンバスタ炭素転換率

%

79.39

リダクタ炭素転換率

%

63.35

生成ガス高位発熱量 wet

kcal/Nm3

779.32

冷ガス効率

%

47.83

出口ガス組成燃料反応率

Table4.2.1-6 Comparison of experimental results and analysis results
ガス温度

実験結果

解析結果

コンバスタ温度

K

1814.53069.944

コンバスタ出口温度

K1640.623110.5

K

1308.775 1669.884

H2

vol%

4.65

8.43256

CO

vol%19.00317.8106

CO2

vol%27.4839.86179

H2O

vol%11.3889.20997

CH4

vol%

0.633

3.51E-23

N2

vol%36.32354.6851

リダクタ温度（熱電対 1～4 の平均）
出口ガス組成31

（５－２）ベンチスケール石炭ガス化炉のモデル構築と試解析
先述したラボスケールの電力中央研究所実験炉に対し、ベンチスケールである三菱重工炉について
もモデル構築と試解析を実施した。双方のモデルは炉の規模において全長約 2.4 倍、圧力容器直径約1.4 倍、石炭の処理能力において 12 倍の差異を有する。なかでもベンチスケールモデルにおける冷却管の構造は非常に複雑であり広域におよぶため、伝熱特性を損なわない範囲での適切な簡略化について検討した。
解析モデルは、コンバスタ部冷却管から 1/4 周期を切り出した冷却管モデル（Figure4.2.1-25）と、それを単純化した冷却層モデル（Figure4.2.1-26）である。冷却層／冷却管の各モデルは、それぞれ水平方向および垂直方向の対称性を持ち、冷却層モデルの肉厚は冷却管モデルの冷却管直径（外径）に等しく、内径および管の長さも等しく設定した。各モデルのメッシュ生成条件は節点間隔 3.0mm の 4面体 2 次要素とし、生成されたメッシュモデルの規模は冷却管モデルが要素数 596,879、節点数
353,435、冷却層モデルが要素数 601,806、節点数 914,503 である。また、解析には一般的な低炭素鋼の材料物性を使用し、境界条件は Figure4.2.1-27 および Table4.2.1-7 のとおりである。
Figure4.2.1-28 に冷却管および冷却層モデルの熱伝導解析による温度分布を示す。また両モデルの解析結果の比較を Figure4.2.1-29～30 に示す。Figure4.2.1-29 では炉境界・冷却管境界部それぞれの温度分布、Figure4.2.1-30 では熱流束分布の比較を示す。Table4.2.1-8 に示した熱流束の表面積分値の比較結果より、同一材料・境界条件下においても、両モデルの間には冷却管構造の単純化による差異が生じていることがわかる。今後はこれらの試解析結果をもとに、冷却層モデルを用いて冷却管モ
デルと等価な解析結果の得られる物性値のパラメータ調整を検討していく。

Figure4.2.1-25 Cooling pipe model

32

Figure4.2.1-26 Cooling layer model

Figure4.2.1-27 Boundary condition configuration
Table4.2.1-7 Boundary condition configuration
項目

設定箇所

単位系

20

初期温度（冷却管/冷却層）
温度条件

冷却水温度

℃

冷却側
燃焼室側

33

20
1500

燃焼室温度
熱伝達係数

値

mW/K/mm2

5.0
50.0

Figure4.2.1-28 Thermal distribution (left: cooling layer model / right: cooling pipe model)

Figure4.2.1-29 Comparison of thermal distribution

34

Figure4.2.1-30 Comparison of heat flux
Table4.2.1-8 Heat flux surface integral value

炉境界 [W/m2]
冷却管境界
（1 本）

[W/m2]

冷却管境界（3 本計）[W/m2]

管モデル

層モデル

1.04×106

9.58×105

2.52×105

1.91×105

7.56×105

5.73×10535

４-２-２．
（サブ課題 B）気液二相流および電極の超大規模解析による燃料電池設計プロセスの高度化＜再委託機関：みずほ情報総研株式会社、国立大学法人京都大学、学校法人立教学院立教大学、国立研究開発法人物質・材料研究機構＞（１）研究成果の概要
本サブ課題では、将来のクリーンで高効率なエネルギー変換装置として期待されている固体高分子
形燃料電池および固体酸化物形燃料電池を対象として、大規模な気液二相流解析を行うことで革新的設計プロセスを構築するとともに、電極の構造形成から経時変化のシミュレーション技術を開発することを目的としている。
平成 30 年度は、昨年度に引き続き、PEFC 内の大規模二相流解析、SOFC 電極要素特性解析、PEFC
電極要素特性解析、PEFC 膜電極接合体（MEA）のナノ構造・機能解析の各サブ項目について、大規模並列計算コード作成を行い、その計算による現象の再現を行うとともに、他の国家プロジェクトや産業界との連携、および実用化に向けた研究開発動向に関する検討を行った。
（２）サブ課題 B の総合的推進
昨年度に引き続き、サブ項目で各機関が実施した内容の情報共有を図ることで、燃料電池設計プロセスの高度化に資する気液二相流、電極、MEA の超大規模解析を実現するための課題の抽出、およびその解決に向けた方策の検討および分析を行った。個々のシミュレーション間で受け渡す入出力パラメータを定義し、複数のシミュレーションをカップリングさせることで、燃料電池製品の性能、信頼性、コストに及ぼす効果を検討した。
（３）大規模二相流解析による実機 PEFC スタックの設計プロセスの構築
大規模二相流解析による実機 PEFC スタックの設計プロセスの構築に向けた検討として、以下の項目を実施した。
並列気液二相流コードによるショートスタック解析と精度・規模の検証については、まず計算規模と精度の関係を明らかにするために、実機構造模擬セルの圧力損失データと比較して燃料電池内気液二相流解析のメッシュ解像度の依存性を検証した。その結果、流れ方向 50μm 以下、断面方向 25μm以下で計算精度 15%以下となり、自動車用燃料電池の実機セルの反応面積（約 300cm2）を基準とした場合、上述の計算精度を確保するためには 1 セルあたり約 1.4 億メッシュが要求されることがわかった。この検討結果をもとに 10～20 セル積層のショートスタック内気液二相流計算（生成水量：電流密度 3.0 A/cm2 相当、空気流量：ストイキ 1.0、接触角：流路壁面 65°／GDL 界面 110°）を実施
し、Figure 4.2.2-1 に示すとおり、実現象 1.0 秒程度の解析を「京」で計算できることを確認した。並列効率については AMG ソルバにおける Smoother による収束改善の検討を実施し、昨年度の 4,096
ノードで 75%から 82%に改善した。また、上記成果の達成によって直径 10μm 程度のカーボン繊維を基材としたガス拡散層（GDL：Gas Diffusion Layer）内部の気液二相流動にも適用することが可能となり、Figure 4.2.2-2 に示すように GDL の基材構造の X 線 CT トモグラフィの 3D データから約 4億点の計算メッシュを生成して GDL からの液水排出挙動を計算することに成功した。これにより、燃料電池の性能向上に資する排水性の高いセパレータ流路構造と GDL の組み合わせを検討するため

36

の評価技術を確立することができた。
次に、セルレベルの二相流 DB の構築と発電性能の検証については、自動車用燃料電池の一般的な流路構造、および業界の評価セルとして標準の JARI セルの流路断面構造に対して、発電による生成
水量 5 条件×流入ガス流量 6 条件の計 30 ケースの二相流計算を実施し、Figure 4.2.2-3 に示すように各条件の圧損増倍、気液速度比を単位区間毎で統計処理することで当社が自社開発した全体性能シミュレーションの Coarse Grid モデルと連結できる二相流マクロパラメータ（気相と液相の相対浸透率）の DB を構築した。これらのマクロパラメータを全体シミュレーションに適用し、上述の評価セルに対する発電性能の検証を実施した。その結果、Figure 4.2.2-4 に示すように、空気極のストイキ比の低下（流路内の空気流量低下）に伴う性能低下および限界電流値を 10%以下の精度で再現、セル内の水バランスの指標となる電解質膜抵抗もほぼ再現した。

Figure 4.2.2-1 Two-phase flow simulation in a short stack (10 cells).

37

Figure 4.2.2-2 Behavior of water drainage from GDL substrate to flow channel for different wallcontact angle.

Figure 4.2.2-3 Macroscopic two-phase flow parameters of single flow channel for various operating
conditions of air stoichiometry and current density.

38

Figure 4.2.2-4 Validation of PEFC model coupled with the macroscopic two-phase flow paramaters
compared with the performance of JARI cell.
（４）SOFC 電極要素特性解析
SOFC 燃料極における Ni 焼結による微細構造変化の予測を目的としたフェーズフィールド法に基づくシミュレーションプログラム（コード名：SOFC-PFM）の開発では、昨年度に引き続き、計算コードの高速化を実施した。特に、並列化効率の改善を目的として、通信隠蔽処理の導入を試みた。その結果、今回試した範囲（4096 ノード以下）では、通信隠蔽の効果はほとんどないことを確認した。
これは本解析で用いる直交格子は「京」の Tofu ネットワークと非常に相性がよく、通信によるオーバーヘッドが小さいためと思われる。また、開発したコードにより、厚み方向長さ約 23.6 um、格子サ
イズ約 11.5 nm、総格子点数約 37 億点規模の格子を用いて、Ni 相粒成長過程のシミュレーションを実施した。Figure 4.2.2-5 に結果の一例を示す。ただし、計算機資源（主にメモリ）の制約から、可視化には各軸方向にデータを 2 点おきに間引いたデータを用いた。今後、長期運転時の Ni 凝集過程の詳細を確認する。
電極過電圧特性の予測を目的とした多孔体内ガス拡散-電気化学反応連成プログラム（コード名：
SOFC-ECR）の開発では、ガス、電子、イオンそれぞれの輸送プロセスを連成させるコードを作成した。その精度評価、性能評価を実施するとともに、線形解法のアルゴリズムの変更による高速化を実施した。解析精度に関しては、1 次元系の問題において理論値と計算値を比較し、良好な一致を確認した。また、高速化については、流体解析等でよく用いられる疑似非定常法を適用し、パラメータ値を適当に選ぶ必要はあるものの、反復回数の低減には非常に有効であることを確認した。次年度は、

39

引き続き反復解法の検討、パラメータの調整を行い、上記の Ni 焼結シミュレーションで得られた大規模構造を対象として、過電圧解析を実施する。
電極構造の最適化を目的とした随伴解析プログラム（コード名：SOFC-OPT）の開発では、電解質アノード間界面形状を対象とした最適化コードを開発し、その妥当性を検証した。最適化における目的関数はアノードにおける総反応電流、設計変数は界面構造を表すレベルセット関数の空間的分布とした。開発したコードを、電解質―アノード間界面に付加した円柱状構造の最適化に適用した。Figure
4.2.2-6 に結果の一例を示す。最適化が進むにしたがい、円柱は電解質から遠方方向に伸び、かつ、電解質付近では表面を覆うように成長し、皺のような構造を形成することがわかる。また、最適構造と円柱構造とで、周囲の電気化学ポテンシャル分布、電気化学的性能等を比較したところ、最適構造に見られる皺構造がイオン輸送を促進する上で重要な役割を果たすことが示された。さらに、電解質体積に関する制約を考慮できるように拡張した。今後、ガス拡散や電極内微細構造等を考慮できるよう拡張を進める。

Figure 4.2.2-5 FIB-SEM image of Ni/YSZ/pore anode (left) and phase field simulation of Ni grain
growth using 3.7 billion grids (right).

40

(a) 0(b) 100(c) 500(d) 1000(e) 10000

Figure 4.2.2-6 Evolution of electrolyte-anode interface after (a)0, (b)100, (c)500, (d)1000, and(e)10000 iterations of shape update during the optimization process, and the corresponding
electrochemical potential distribution around the interface.
（５）PEFC 電極要素特性解析
PEFC 触媒層内の反応輸送解析による最適構造設計に関して、昨年度はミクロ計算結果から得られたアイオノマー層内の特性情報の連結を進め、そしてアイオノマー被覆構造に関しても一部改良を進めた。カーボン担体の凝集構造による発電特性の影響を検証として、今年度は集束イオンビーム走査型電子顕微鏡（FIB-SEM）で取得した三次元構造情報と、昨年度開発した level set 法を利用し、カーボン、空隙、アイオノマーの分離を行った。Figure 4.2.2-7 にその一例を示す。そしてこれまで開発してきた計算コードへの適用を行い、実測と良好に一致することを確認した。一方、カーボンブラックの凝集構造に関して、種々の形状を再現し、モルフォロジーと平均球径の影響を検証した。Figure
4.2.2-8 のように酸素、水蒸気、プロトン、電子、輸送の最適化の観点から凝集径には最適値が存在す
ることがわかった。また、ナノ構造解析から得られるアイオノマーのプロトン伝導性を相関式として本メゾスケール解析に実装し、発電特性への影響を検証し、大規模計算コードへの展開も進め物質輸送の基本部分は実装完了した。今後は実装の本格化を進める予定である。

41

Figure 4.2.2-7 Reconstruction of 3D catalyst layer structure obtained by FIB-SEM and new image
processing with level set method.

Figure 4.2.2-8 Simulation of ionomer coating structure（６）PEFC 膜電極接合体（MEA）のナノ構造・機能解析（６－１）PEFC 膜電極接合体のナノ～メゾ構造の統合的解析
ナノレベルの電子状態計算であるフラグメント分子軌道（FMO）計算に基づき、メゾレベルの粗視化シミュレーション手法の一つである散逸粒子動力学（DPD）における有効相互作用を表わす χ パラ
メータを算定するワークフロー[1]を汎用システム化し、FCEWS（FMO-based Chi-parameter
Evaluation Workflow System）[2]として公開して「計算工学ナビ」にて Figure 4.2.2-9 のように告知している[3]。FCEWS の利用は個別でのご相談もあるが、J-OCTA システムに 2018 年 7 月からバン42

ドルされていることもあって既に数百の利用者がいる。FCEWS の主開発者である奥脇弘次氏が解説した文献[2]は、日本コンピュータ化学会から高く評価され論文賞（吉田賞）を受賞した。なお、FCEWS
を介して FMO と DPD をマルチスケールで繋いだ FMO-DPD 法の電解質膜（ナフィオン、SPEEK）の解析は査読付きオープンアクセス誌の RSC Adv.[4]に 2018 年の秋に出版している。
FMO 計算には全体推進枠で研究開発している ABINIT-MP を用いているが、既に何度か報告しているように重点課題⑧サブ課題 A の九州大学の小野謙二先生のグループで開発しているグラフィカルイ
ンターフェースを持つジョブ投入・回収システム WHEEL[5]とも連動させている。平成 30 年度には、「京」を使った数千個のジョブのハンドリングが容易にできるようになった。この点、重点課題⑥・⑧の連携によって Capacity Computing が実現されていると言える。
平成 30 年度の手法的な開発では、メゾスケール構造からナノスケール構造を復元するいわゆるリバ
ースマッピング[6]のワークフローをほぼ確立したことが大きな成果である。すなわち、FMO-DPD に
よってメゾ・粗視化レベルの構造を求め、それを逆向きにナノ構造に転換し、FMO 計算を再度行えば局所的な相互作用の様態が詳しく解析できる。DPD のメリットは、計算の速さと共に配座・配置空間の探索効率が高いことで、通常の分子動力学（MD）よりも広く様々な構造をサンプリングでき、統計的な評価をするには好適である。リバースマッピングは、メゾ構造からのアフィン変換、再原子化、（MD による）緩和を経るが、こうしたワークフローもシステム化しつつある（DSRMS: DPD-based
Structure Reverse Mapping System）。Figure 4.2.2-10 は、ナフィオンのリバースマップ構造で原子数は 1400 程であり、クローズアップにあるようにスルホン酸部と水との相互作用エネルギーを FMO
計算で評価することが可能である（-20 kcal/mol 程度の安定化）。より大きな系で 11509 原子/2566 フ
ラグメントの場合、名古屋大学の FX100 の 32 ノード（1024 コア）で 2～3 時間で FMO2-MP2/613G(d’)ジョブが完了する。さらに大型の系を高速に処理するにはノード数をさらに増やせばよく、こ
ちらは Capability Computing の文脈での計算となる。
全体推進での活動の要素を一部帯びるが、FMO-DPD の水平応用展開として複合脂質の膜・ベシクルへの応用[7]とタンパク質の畳み込みの試行も行った。ここでは後者のタンパク質のシミュレーショ
ンについて記す。Figure 4.2.2-11 は、人造タンパク質の Chignolin[8]の粒子化を示しており、ペプチ
ド結合で繋がった骨格部分の側鎖にアミノ酸毎に特徴ある官能基が付いている。これらから、Figure
4.2.2-12 のように FMO 計算にかけるべきセグメントとし、組み合わせの全てについて χ パラメータを算定する（水の粒子も含めた総計で 55 種：1 対あたり 2 千サンプル構造）。極めて膨大な量の FMO計算となるが、既述の WHEEL／「京」なども適宜利用して実行して求めた。Figure 4.2.2-13 は、棒状に伸びた構造からヘアピン型に畳まれた構造に転じた様子だが、一旦パラメータが得られていれば、水を含めて 3000 粒子の系の DPD のシミュレーションは 2 コアの計算機で 2 分で畳み込みまで完了した。脂質膜、タンパク質の FMO-DPD に関する平成 30 年度秋期の応用物理学会での報告は好意的に評価され、発表者の奥脇弘次氏は講演奨励賞を獲得した。現在、タンパク質の FMO-DPD の論文を準備中である。
平成 30 年度の DPD のタンパク質への応用では、重点課題①のリーダーである奥野恭史先生のグループとの共同研究が進展したことにもふれたい。DPD プログラムには、立教大学理学部の博士研究員であった土居英男氏が開発した CAMUS[9]を用い、アルツハイマー型の脳疾患の原因物質と仮定されているアミロイド β の凝集のシミュレーションを行っている。Figure 4.2.2-14 のように DPD で粗視

43

化することにより、全原子 MD では困難な（凝集のような）大域的な構造転移が調べられる。計算はまだ進行中であるが、重点課題⑥・①間の連携の成果として興味深い結果が得られそうである。
CAMUS の改良も土居英男氏中心に進み、Figure 4.2.2-15 のように空間分割による OpenMP/MPI
混成並列の動作も改良された。ハイパースレッド型の AMD Ryzen でのテストでは、仮想 16 コア（物理 8 コア）を使って 10 倍の加速を得ている。
2019 年度は最終年度となるので、FMO-DPD/FCEWS、リバースマッピング等、これまでに開発整備してきた技術要素を複合的に活用した成果の創出を狙いたい。具体的な応用例としては、山梨大学
が開発した新規の芳香族系の電解質膜[10]を考えている。
参考文献[1] "Fragment Molecular Orbital-based Parameterization Procedure for Mesoscopic Structure
Prediction of Polymeric Materials", K. Okuwaki, Y. Mochizuki, H. Doi, T. Ozawa, J. Phys. Chem.
B, 122 (2018) 338-347.
[2] "フラグメント分子軌道(FMO)法を用いた散逸粒子動力学シミュレーションのための有効相互作用パ
ラメータ算出の自動化フレームワーク", 奥脇弘次, 土居英男, 望月祐志, J. Comp. Chem. Jpn., 17(2018) 102-109.
[3] <http://www.cenav.org/fcews_ver1_rev2/>.
[4] "Theoretical Analyses on Water Cluster Structures in Polymer Electrolyte Membrane by Using
Dissipative Particle Dynamics Simulations with Fragment Molecular Orbital Based Effective
Parameters", K. Okuwaki, Y. Mochizuki, H. Doi, S. Kawada, T. Ozawa, and K. Yasuoka, RSC Adv.,
8 (2018) 34582-34595.
[5] <https://github.com/RIIT-KyushuUniv/WHEEL>.
[6] "Reverse Mapping of Coarse-Grained Polyethylene Chains from the Second Nearest Neighbor
Diamond Lattice to an Atomistic Model in Continuous Space", P. Doruker, W. L. Mattice,
Macromolecules, 30 (1997) 5520-5526.
[7] "X 線小角散乱と散逸粒子動力学法を用いた脂質膜およびベシクル形成メカニズムの解明", 新庄永治,
奥脇弘次, 土居英男, 望月祐志, 古石誉之, 福澤薫, 米持悦生, J. Comp. Chem. Jpn., 17 (2018) 172179.
[8] "10 Residue Folded Peptide Designed by Segment Statistics”, S. Honda, K. Yamasaki, Y. Sawada,
H. Morii, Structure, 12 (2004) 1507–1518.
[9] "A portable code for dissipative particle dynamics (DPD) simulations with additional specificinteractions", H. Doi, K. Okuwaki, T. Naitou, S. Saitou, Y. Mochizuki, ChemBio-Informatics J., 18(2018) 70-85.
[10] "Design of flexible polyphenylene proton-conducting membrane for next-generation fuel cells", J.
Miyake, R. Taki, T. Mochizuki, R. Shimizu, R. Akiyama, M. Uchida, K. Miyatake, Sci. Adv., 3 (2017)
eaao0476.

44Figure 4.2.2-9 Announcement of FCEWS availability at Keisan-kogaku navi.

Figure 4.2.2-10 Reverse-mapping for Nafion-water system: System including about 8000.
atoms (left) and close-up example (right)D

45

Tyr

Gly(N末)

Pro

Asp

Thr

Thr

Trp Gly(C末)Glu

Figure 4.2.2-11 Particle representation of Chignolin in DPD.

Tyr

Pro

Thr

Asp

Glu

Trp

(N末)

(C末)

(骨格)
Gly

Figure 4.2.2-12 Component residue models of Chignolin.

Figure 4.2.2-13 DPD-based folding of Chignolin.

46

Figure 4.2.2-14 DPD modeling for aggregation of amyloid beta

Figure 4.2.2-15 Illustrative example of DPD-cell partitioning（６－２）MEA 要素間相互作用の詳細解析と MEA 界面のナノ構造・機能解析
燃料電池において、電解質・触媒・担体からなる膜電極接合体（MEA）の三相界面は重要であり、そこでのイオン・電子・反応物質のナノスケールの輸送特性が発電性能に大きく影響するため、この領域を詳細に分析することが必要である。本研究課題では、MEA 三相界面における物質移動の挙動をナノ理論計算により解析することを目的としている。本年度は、昨年度に引き続き触媒／電解質の二相界面（Pt 触媒／水和ナフィオン電解質を想定）の構造解析を中心に検討を行った。
当初より、DPD シミュレーションにより粗視化レベルで Pt 触媒／水和ナフィオン電解質系の構造を解析することを図ってきた。Pt 触媒を含まない水和ナフィオン電解質系については、本サブ課題 B・
立教大学の望月グループにより DPD シミュレーションが行われているため [11]、我々はその粗視化

47

粒子系（Figure 4.2.2-16）に Pt 触媒に対応する粗視化粒子（PT）を導入して二相界面系のモデルを構築することを試みてきた。この際、PT 粒子と水和ナフィオン粒子 A-C および W（Figure 4.2.2-16参照）の間のポテンシャル（ソフトポテンシャル）を如何にして決めるかが懸案であった。昨年度報
告したように、分子性物質が対象の場合にしばしば用いられるソフトポテンシャルの決定法、即ち溶解度や界面張力を指標にポテンシャルパラメータを決める方法は、Pt 界面系には適用するのが困難であることがわかってきた。
今年度は、Pt 表面に対する水和ナフィオン成分の親和性を直接評価して、これをソフトポテンシャ
ルに反映させるアプローチを考えた。我々が問題とする親和性は、固体-疑流体間のものである。したがって、この親和性は、水和ナフィオンの成分 X（X = A-C, W）それぞれのバルクと裸の Pt 表面が別々にある状態を基準にして、Pt/X 界面を形成したときのエネルギー変化という形で表現できる。
我々は粗視化粒子間のソフトポテンシャルを決めようとしているので、上記のエネルギー変化は X の粗視化粒子１個当たりで数値化するのが適当である（界面単位面積あたりで表現すると湿潤エネルギーである）。こうした考えに基づき、Pt と X の親和性の尺度として Figure 4.2.2-17 のように定義した：即ち、成分 X の粗視化単位とその周囲との間の相互作用エネルギ
ものを採用した（ω-パラメータ）
ーを E と記すとして、X/Pt 界面系における値 Ei とバルク X における値 Eb の差である。
全原子古典 MD 計算を行いω-パラメータを評価した。この MD 計算では、ポリマーセグメント A-Cについては、Figure 4.2.2-18 の A"-C"の代替分子を使用した。計算系は Pt 原子～5000 個 のスラブと X 分子～300 個（X=W の場合は 2400 個）で構成した（Figure 4.2.2-19）。計算には EAM ポテン
シャル, SPC ポテンシャルと DREIDING 力場に加え、昨年度に求めた触媒-電解質の原子間 LJ ポテ
ンシャルを適用した。静電相互作用の計算には ESP 電荷を使用した。計算の結果、Table 4.2.2-1 のような数値を得た。ω-パラメータはどの X のものも負で、それぞれの X 成分が発熱的に白金表面を濡らすことを意味している。表の数値によれば、X = (H2O)4 つまり水の粗視化単位が白金表面を被覆する場合に最もエネルギーが下がり、B"と C"の場合がこれに続き、A"の場合にはエネルギー低下が最も小さいということになる。
上記の親和性の解析結果に鑑み、PT と X の間のソフトポテンシャルパラメータ（所謂 aij パラメー
タ）を Table 4.2.2-2 のように決定した。これには次のような事柄を考慮した。i) DPD シミュレーシ
ョンで得られる構造は aij パラメータの数値そのものより相互の大小関係を反映する。Table 4.2.2-2 の
数値は aW-PT < (aB-PT , aC-PT) < aA-PT の大小関係にすべきことを示唆している。ii) シミュレーション
において粗視化粒子対の親和性の違いが有意に生じるには、aij パラメータに 5 程度の差があれば十分である。iii)シミュレーションにおいて Pt 触媒に X 粒子が侵入しないように Pt-X 間の aij パラメータを基準値 （同種粒子間の値）25 より有意に大きくしておく必要がある。
Table 4.2.2-2 のパラメータを用いて触媒/電解質界面系の DPD シミュレーションを行った。 計算系
は次のように構成した: Pt 粒子の単純格子スラブ（8 層, 322 粒子/層）、640 個のナフィオン分子(AAA(BC)-)5、14,400 個の W 粒子（含水率~30 w%相当）で、1 辺が 15-20 nm に相当する大きさである。ナフィオンと W 粒子をランダムに混合した初期構造から出発し 10,000 ステップまで系の挙動を観察した（Figure 4.2.2-20）。シミュレーションの開始後直ちに、疎水性 DPD 粒子（A と B）と親水性粒子（C と W）はそれぞれのドメインを形成し始め、～1000 ステップには明確な相分離構造が形成される。この相分離構造においては、疎水層が～3-5 L0 (L0 ~0.71nm)の厚さの膜状になるのが特徴

48

である。～5000 ステップになると、白金スラブ表面は完全に W 粒子で被覆され、その直上に疎水層の一部が整列する。その後はこの特徴を保ったまま構造が推移するため（白金表面から隔たった水和
ナフィオ部で、親水・疎水ドメインの入り組み方が変化する程度）、このあたりで定常な構造に落ち着いたものと考えた。
この親水・疎水の層状構造は明らかに白金表面に誘起されたもので、水和ナフィオンのみの系では形成されない（Figure 4.2.2-21）。白金表面直上の親水層は白金表面がそれと最も親和性の高い W 粒子
を引き寄せたために形成されたもので、その上の疎水層は、W 粒子に配位する C 粒子が同一分子上のA, B 粒子を引き寄せて形成されたものである。この層構造は、含水率の小さい系（W 粒子を 4,800 個に減らした系, Figure 4.2.2-22）でも現れるため、おそらく水和ナフィオンの組成に関係なく白金スラ
ブ界面系で全般に現れる特徴と考えられる。実験的には、Pt/水和ナフィオンの界面系では water-rich
な界面層が形成されるという報告がある[12]。ナフィオンの親水・疎水の層状構造は Pt の界面系では報告されていないが SiO2 の界面系では報告されている[12]。この層構造において、疎水層が親水部の連結を上下に分断していることに着目されたい（Figure 4.2.2-21 の白金の無い系では親水層は全連結になっていることにも注意）。燃料電池反応における正極・負極間のプロトン伝導は、電解質の水チャネルを介して行われると考えられているので、界面構造が Figure 4.2.2-20 と Figure 4.2.2-22 のようになった場合、プロトン伝導が大いに損なわれることになる。従来、白金に吸着したナフィオンが表面-バルク間のプロトン伝導を阻害するという考え方があるが、この観点からすると、ナフィオンと白
金のコンタクトが直接ではないものの、Figure 4.2.2-20 と Figure 4.2.2-22 の構造は重要な示唆を含んでいるのかもしれない。以上、新たに決定したソフトポテンシャルパラメータを使った DPD シミュレーションにより、白金表面付近に親水・疎水の層状構造が形成されることを示唆する結果を得た。
参考文献[11] K. Okuwaki et al., JSAP spring meeting (2016) 20a-W323-6. K. Okuwaki, Y. Mochizuki, H. Doi,
S. Kawada, T. Ozawa, and K. Yasuoka, RSC Adv., 8, 34582 (2018).
[12] J. A. Dura, V. S. Murthi, M. Hartman, S. K. Satija, and C. F. Majkrzak, Macromolecules, 42, 4769
(2009).

Figure 4.2.2-16 Coarse-graining of a hydrated nafion system to DPD particles A-C and W (left), anda bead spring model of the coarse-grained nafion (right). Nafion molecules with n = 2 are simulated
in this study.

49

Figure 4.2.2-17 Schematic representations of intermolecular interactions of a molecule of X (X=A-C,
W) with surrounding molecules and a platinum surface, a) in a bulk state of X and b) at an
X/platinum interface. An ω-parameter between X and PT is defined as the intermolecularinteraction energy difference between X in a) and b), which corresponds to 3[E(X...PT) - E(X....X)] in
this 2D lattice model representation, where E(X...Y) denotes interaction energy for a pair of X and Y.
The ω -parameters to be used in DPD simulations are calculated from all atom molecularsimulations, where we use some molecular replacements (A"-B") for the polymer segments A-C.

A”

C”

B”

W

Figure 4.2.2-18 Molecules to represent nafion segments A-C, and a water cluster (W).

A” / Pt

C” / Pt

B” / Pt

W / PtFigure 4.2.2-19 X/Pt (X=A"-C" and W) interfacial systems of our MD simulations (see Figs.4.2.2-16
and 4.4.4-17 for A"-C" and W). Structures are taken from a final step MD snapshot of the respective
systems. The MD unit cells measure a ~ 43 Å, b ~ 44 Å, and c ~ 70-80 Å.

50

Table 4.2.2-1 Intermolecular interaction energy (in kcal/mol)a
A"
-15.3
(1.4)
-35.9
(2.7)
-20.6

Eb
Ei

ωc

B"
-20.9
(1.8)
-50.4
(5.5)
-29.5

C"
-21.9
(2.6)
-52.1
(10.7)
-30.2

H2O
-23.7
(4.3)
-38.4
(4.7)
-14.7

(H2O)4-59.7b
(10.8)b
-96.8b
(11.8)b-37.0ba Eb for the bulk state of X, and Ei for the X/platinum interfacial system. The final step MD

snapshots for the respective systems (Figure.4.2.2-18) are used for these analyses. Energies areaveraged over molecules (stdvs. in parentheses). b Calculated as (4)2/3 times energies for a monomer,
where the factor (4)2/3 is the surface area ratio of a tetramer to a monomer, expected from theirvolumes. cω-

A...PT
40

B...PT
35

C...PT
35

W...PT
30

Table 4.2.2-2 Strength parameters of soft potential for DPD particle pairs X...PT (X = A-C, W), i.e.
aX-PT.

1,000 step

5,000 step

10,000 step

27.3 L00 step22.2 L0

Figure 4.2.2-20 Morphology evolution of the simulation system of hydrated nafion and a platinum
slab (640 (-AAA(B)(C)-)5 + 14,400W + 8,192 PT): side views of all particle plot (top) and W-particle
plot (middle), and top vies of all particle plot (bottom). DPD particles are colored in blue (A), green(B), red (C), orange (W), and gray (PT). The unit of length L0 is 0.71 nm .

51

22.2 L0

Figure 4.2.2-21 A snapshot of DPD simulations (at 10,000 step) for hydrated nafion in the bulk state(640 (-AAA(B)(C)-)5 + 14,400W, cubic unit cell): all particle plot (left) and W-particle plot (right).

24.8 L0

DPD particles are colored in the same way as in Figure4.2.2-20. The unit of length L0 is 0.71 nm.

19.8 L0

Figure 4.2.2-22 A snapshot of DPD simulations (at 10,000 step) for an interfacial system of lesshydrated nafion (640(-AAA(B)(C)-)5 + 4,800W + 6,272PT): side views of all particle plot (left) and Wparticle plot (middle), and a top view of all particle plot (right). DPD particles are colored in thesame way as in Figure4.2.2-20. The unit of length L0 is 0.71 nm.

52

４-２-３．
（サブ課題 C）高効率風力発電システム構築のための大規模数値解析＜再委託機関：国立大学法人豊橋技術科学大学、国立大学法人九州大学応用力学研究所、株式会社風力エ
ネルギー研究所＞（１）研究成果の概要
本サブ課題では、洋上ウィンドファームの発電性能予測、信頼性評価、風車単体性能の改善に注力したマルチスケール・マルチフィジクス統合シミュレーション技術の開発研究を実施する。
平成 30 年度は、平成 29 年度の検討課題および中間評価を受けて平成 29 年度に改定された実施計画に基づき、大規模解析による風車性能の予測、流体・構造振動連成解析を行い、下記の各項目について研究開発を推進した。
（２）サブ課題 C の総合的推進
大型風車の数値解析を行う際に、重要な課題は大規模マルチスケール問題とマルチフィジックス問題である。Figure4.2.3-1、Figure4.2.3-2 に実際の洋上風車の全景と、大型風車のイメージ図を示す。
洋上風車周りの流れ場は非常に大規模であることがわかる。このような大規模な流れ場では、その内部に存在する渦スケールや時間スケールは非常に幅広くなり、いわゆるマルチスケール問題となる。
、ブレードの後方にできる渦（空間：すなわち、翼面の渦（空間：O(10−3)m 以下、時間：O(10−3)sec）、風車全体の流れ（空間：O(101)m、時間：O(101)sec）、気象条件
O(10−1)m 以下、時間：O(10−3) sec）に依存する流れ（空間：O(102)m、時間：O(103)sec）であり、様々な空間および時間スケールの現象を考慮して解析を実施する必要がある。しかし、空間スケール、時間スケールともに最大値と最小値の比が 106 倍も異なる現象を現状の数値流体解析手法で解くことは非常に難しい。本プロジェクトでは「京」コンピュータを用いて大規模な流れ場の解析を行っているが、「京」コンピュータあるいはポスト「京」コンピュータを用いる場合でも様々な工夫が必要であり、数値計算的に何らかの工夫を施す必要がある。本年度は、ブレード周りの流れ場と風車後流の流れをバランスよく解く方法を検討するとともに、大気乱流の導入方法について引き続き検討を行った。

Figure4.2.3-1 Flow field around an actual offshore windfarm (Horns Rev 3)<https://www.power- technology.com/projects/horns-rev-3-oﬀshore-wind-farm/>

53

Figure4.2.3-2 The trend of the enlargement of the wind turbine and the comparison of turbine scalewith the building (Bloomberg New Energy Finance.「Clean Energy Is Approaching a Tipping
Point」)
https://about.bnef.com/blog/tipping-point-coming-for-clean-energy-as-monster-turbines- arrive
本プロジェクトでは、解析対象としてアメリカ国立再生エネルギー研究所が策定した NREL5MW 風車とした。この風車は、ドイツの着床式洋上風力実証プロジェクト（Alpha Ventus プロジェクト[1]、Figure4.2.3-94 参照）で使用されている 5MW 風車をベースにしたもので、計測データが豊富であり、実験データが公開されているだけでなく、実際のウィンドファームでの利用実績があり、数値解析の対象として、解析結果の評価に適した風車である。NREL5MW 風車の外形および主な仕様を
Figure4.2.3-3 および Table4.2.3-1 に示す。また、ブレードの仕様および外形と断面を Figure4.2.3-4
および Table4.2.3-2 に示す。ここで、Table4.2.3-1 において、カットイン風速は風車が発電を開始する際の風速、定格風速はカット風速後に風車が定格出力に達する風速、カットアウト風速は風車の安全性を考慮して発電を停止する風速である。

Figure4.2.3-3 Schematics of NREL 5MW wind turbine.

54

Table4.2.3-1 Specifications of NREL 5MW wind turbine.
Description

Value

Rating

5 MW

Rotor Orientation

UpwindBlade Configuration

3 BladesRotor, Hun Diameter

126 m, 3 m

Cut-In, Rated, Cut-Out Wind

3 m/s. 11.4 m/s,

Speed

25m/s

Cut-In, Rated Rotor Speed

6.9 rpm, 12.1 rpm

Tip Speed

80 m/sTable 4.2.3-2 Wing-section data for NWEL 5MW wind turbine.
Structural twist angle [◦]Chord [m]Airfoil [-]2.866713.308

3.542

Cylinder5.600013.3083.854

Cylinder8.333313.3084.167

Cylinder11.7500

13.308

4.557

DU40_A17

15.8500

11.480

4.652

DU35_A17

19.9500

10.162

4.458

DU35_A17

24.0500

9.011

4.249

DU30_A17

28.1500

7.795

4.007

DU25_A17

32.2500

6.544

3.748

DU25_A17

36.3500

5.351

3.502

DU21_A1740.4500

4.188

3.256

DU21_A17

44.5500

3.125

3.010

NACA64_A17

48.6500

2.319

2.764

NACA64_A17

52.7500

1.526

2.518

NACA64_A17

56.1667

0.863

2.313

NACA64_A17

58.9000

0.370

2.086

NACA64_A17

61.6333

0.106

1.419

NACA64_A17

Radius [m]55Figure4.2.3-4 Section profile of NREL 5MW Windturbine（２－１）格子解像度が解析精度に及ぼす影響
格子の解像度が風車の性能係数に与える影響について議論するために、粗い格子と細かい格子を作成した。粗い格子と細かい格子の解析領域の概観を Figure4.2.3-5 に示す。各領域の重複部分における物理量の交換はオーバーセット法を用いた。動翼領域（緑色）は回転系、後流領域（青色）および外部領域（黒色）は静止系として扱う。格子に関する各諸量を Table4.2.3-3 および 4 に、ブレード周りの解像度の差異を Figure4.2.3-6 および Figure4.2.3-7 に示す。
次に、ブレード周りの格子の解像度について述べる。粗い格子は後縁付近での乱流境界層内の積分長スケールを解像することを前提に作成した。ただし、乱流境界層厚さはコード長の 4%、乱流境界層内の積分長スケールは境界層厚さの 10%と仮定した。細かい格子は前縁での加速および境界層遷移を再現できる解像度で作成した。摩擦速度を主流速度の 4%とした場合、粗い格子および細かい格子の乱流境界層における格子解像度は流れ方向、壁面垂直方向、スパン方向に壁座標でそれぞれ、およそ（2000、600、4000）および（1000、200、2000）程度である。ただし、粗い格子は後縁近傍の積分長スケー
ルを解像する程度、細かい格子はブレードの各スパン長におけるコード長 50%位置の積分長スケールを解像する程度の解像度である。

56

Figure4.2.3-5 Schematics of computational domain for coarse-grid LES.
Table4.2.3-3 Resolution of computational grid for wind turbine simulation

Table4.2.3-4 Computational mesh for LES Simulation
Coarse Grid

Fine Grid

Description

Blade

Wake

Outer

Blade

Wake

Outer

Minimum mesh size [m]

1

0.001

0.03

1

0.00350.05

Element type

Hex

Hex

Hex

Hex

Hex

Hex

59

76

7

192

80

7

60

77

7

194

81

7

Number of nodes [×106]
Number of elements [×106]57

(a)Coarse grid(b) Fine grid

Figure4.2.3-6 Surface grid around the blade tip and the hub.

(a) Coarse grid(b) Fine grid

Figure4.2.3-7 Grid around the blade at 50% and 90% spanwise position（２－１－１）解析条件
本計算における境界条件を Figure4.2.3-8 に示す。境界条件は、一様流入境界条件（赤色）、トラク
ションフリー境界条件（青色）、壁面境界条件または Wall modeled 境界条件（灰色）を与えた。また、
流体力を用いて風車の性能を評価する境界を緑色で表す。次に、本計算の各種解析条件を Table4.2.35 に示す。

58

Figure4.2.3-8 Boundary conditions for the NREL 5MW wind turbine.
Table 4.2.3-5 Computational conditions of the NREL 5MW wind turbine.
Description

Value

Reynolds number

6.72 × 108

Wind speed [m/s]11.4

1.65 × 10−4Time increment [s]Steps per revolution

30 000Turbulence model

Dynamic Smagorinsky
Model

Mach number

0.05

approximation
Coef. of BTD term

0.025

（２－１－２）解析結果（２－１－２－１）NREL5MW 風車周りの流れ場
NREL 5MW 風車周りの流れ場の概略について述べる。
解析領域全体の瞬時場において、Figure4.2.39 および Figure4.2.3-10 に主流方向速度分布を示す。また、Figure4.2.3-11 にブレード表面の限界流線と圧力分布を示す。Figure4.2.3-12 に速度勾配テンソルの第 2 不変量 Q の等値面を示す。第 2 不変
量 Q は流れ場の渦の分布を示すことからブレード周りの渦の様子を可視化することができる。
一般的には、翼端付近には翼端渦と呼ばれる前縁翼端から下流にまで至る細長い渦が風車の下流にできるイメージがあるが、Figure4.2.3-1 に見られるように風車の下流には、翼周りで旋回するような渦があるわけではなく、無数の小さな渦が下流に一様に分布している。このため、高解像度の LES 解

59

析を実施すると、大規模な渦構造としてではなく、小さな渦の集まりが観察される。粗い格子と細かい格子の解析結果を比較すると、ブレード壁面近傍および後流にて解像している渦の差異が見られる。

(a)Coarse grid(b) Fine grid

Figure4.2.3-9 Axial velocity at Z/D = 0.04(a) Coarse grid(b) Fine grid

Figure4.2.3-10 Axial velocity at X/D = 0.0.

(a) Coarse grid(b) Fine grid

Figure4.2.3-11 Limiting streamlines and pressure on the blade surface.

60

(a) Coarse grid(b) Fine grid

Figure4.2.3-12 Instantaneous vortical structures visualized by the second invariant of velocity
gradient tensor.
（２－１－２－２）風車の出力特性解析結果の精度を検証するため、風車のパワー係数 CP およびスラスト係数 CT を求めた。風車の基本性能はブレード先端速度と風速の比である周速比λに依存することから、λをパラメータとして評価を行った。

𝑃𝑃
1/2𝜌𝜌𝑈𝑈∞ 3 𝐴𝐴
𝑇𝑇
𝐶𝐶𝑇𝑇 =
1/2𝜌𝜌𝑈𝑈∞ 2 𝐴𝐴𝐴𝐴
𝐶𝐶𝑃𝑃 =

𝜆𝜆 =

(1)
(2)

𝜔𝜔𝜔𝜔

(3)

𝑈𝑈∞

𝐶𝐶𝑃𝑃 = 𝜆𝜆𝜎𝜎 𝐶𝐶𝑇𝑇

(4)

ここで P は風車の出力（パワー）、T はトルク、U∞は流入流速、R は風車半径、A は風車受風面
積、ω は回転角速度、σはソリディティ（風車翼面積と受風面積の比）、λは周速比であり、ブレード先
端の周速度と流入速度の比である。
風車の出力係数は周速比の関数であり、本研究で対象とした NREL
5MW 風車は周速比 7 で設計されている。
周速比 7 におけるスラスト係数およびパワー係数の回転位置における関係を Figure4.2.3-13 およびFigure4.2.3-14 に示す。また、各周速比における出力係数の計算結果を翼素運動量理論に基づいて求めた出力係数（参照解）と比較した結果を Figure4.2.3-15 に示す。粗い格子の解析によるパワーカー
ブは定性的な傾向をとらえているが定量的には参照解と差異が生じている。それに対して、細かい格子の解析によるパワーカーブは定性的かつ定量的に良好に一致している。粗い格子を用いた LES 解
析は実験値と比較して、20%程度の誤差がある。細かい格子を用いた LES 解析と実験値との差異は2%程度である。この解像度の差異による影響を議論するために、ブレードの根本から 50%および 90%
スパン長位置における流れ場に着目する。まず、50%および 90%スパン長位置周りの時間平均した流れ場を Figure4.2.3-16、Figure4.2.3-17、Figure4.2.3-18 および Figure4.2.3-19 に示す。また、圧力係数を実験値と比較した結果を Figure4.2.3-20 に示す。翼周りの流れ場の可視化および圧力係数分布61を比較した結果、前縁付近を起点にして差異が生じていることがわかる。50%および 90%スパン長位
置周りにおける渦（Q = 25000）の可視化結果を Figure4.2.3-21 および Figure4.2.3-22 に示す。前縁近傍において、渦が存在していないため、層流域であることがわかる。また、粗い格子では解像度が足らず、解像している渦の挙動は二次元的な構造であり、スパン方向から主流方向への渦軸の変換が生じていない。そのため、運動量の促進の寄与が小さく、境界層が剥離している。これは遷移位置における積分長スケールが 5.0 × 10−3m 程度の渦が粗い格子では解像できていないことが原因であると考えられる。次に、前縁近傍と後縁近傍の時間平均された速度の絶対値の可視化結果を Figure4.2.323、Figure4.2.3-24、Figure4.2.3-25 および Figure4.2.3-26 に示す。前縁付近において壁垂直方向の
格子解像度の差により、層流境界層の厚みが異なることがわかる。前縁付近の格子解像度が粗いと層流境界層を過大に、翼面での加速を過小に評価している。そのため、Figure4.2.3-20 の 0%から 10%スパン長領域にて、粗い格子は細かい格子と比べ、圧力係数が小さいと考えられる。粗い格子の後縁近傍における速度の絶対値が非物理的な値となっているが、これは格子のアスペクト比が大きく格子内で連続の式を満たしていないためであると考えられる。また、50%および 90%スパン長位置における各コード長の境界層分布の時間平均および変動を表す結果を正圧面および負圧面毎に Figure4.2.327、Figure4.2.3-28、Figure4.2.3-29、Figure4.2.3-30、Figure4.2.3-31、Figure4.2.3-32、Figure4.2.333 および Figure4.2.3-34 に示す。
50%スパン長位置における粗い格子を用いた LES 解析の時間平均された境界層分布では、解像度が不足しているために、非物理的な振動が生じている。これに対して、細かい格子を用いた LES 解析では前縁近傍の加速を十分に再現できているため、翼周りの流れを転向させていることがわかる。しかしながら、90%スパン長位置における時間平均された境界層分布においては、粗い格子および細かい
格子ともに、非物理的な振動が生じているため、細かい格子を用いた本解析でも解像度が十分ではな
いと言える。定量的にも、粗い格子を用いた LES 解析では、細かい格子を用いた LES 解析に比べ、境界層厚さを過大評価しているため、ロータの性能が過小評価されていることが確認できる。また、粗い格子を用いた LES 解析による、50%および 90%スパン長位置における境界層分布の変動値の最大値は、細かい格子と比較すると過小評価している。また、最大値の位置も上方に位置しているため、粗い格子では翼周りの渦を精度良く解像できていないことがわかる。解析結果より、高レイノルズ数の翼周りの流れでは境界層が非常に薄いため、翼前縁部における解析解像度が不十分であると流れ場の転向を正確にとらえることができないため、翼周りの流れを解析することができなくなる。逆に流れ場の転向をとらえることができれば、翼面境界層を正確に解像していなくても風車性能を評価できる程度には解析できることがわかった。実際の風車では、大気乱流の影響等により翼面周りの境界層
は外部乱れの影響を受けると予想される。このため、翼面の非常に小さな渦まで解析ができなくても、風車の性能評価を行うことができる可能性がある。

62

Figure4.2.3-13 Comparison of time-variations of thrust coeﬃcients computed by coarse-grid andfine-grid LES.

Figure4.2.3-14 Comparison of time-variations of power coeﬃcients computed by coarse-grid andfine-grid LES.

63

Figure4.2.3-15 Comparison of power coeﬃcients computed by coarse-grid and fine-grid LES
compared with a reference data.

Figure4.2.3-16 Time-averaged axial, tangential and radial velocities and static pressure at 50%
spanwise position computed by coarse-grid LES.

64

Figure4.2.3-17 Time-averaged axial, tangential and radial velocities and static pressure at 50%
spanwise position computed by fine-grid LES.

Figure4.2.3-18 Time-averaged axial, tangential and radial velocities and static pressure at 90%
spanwise position computed by coarse-grid.

65

Figure4.2.3-19 Time-averaged axial, tangential and radial velocities and static pressure at 90%
spanwise position.

66

50% SPAN

90% SPAN
Figure4.2.3-20 Comparison computed and measured time-average static pressure distribution

67

Figure4.2.3-21 Instantaneous vortical structures computed by coarse-grid LES and visualized by
iso- surfaces of second invariant of velocity-gradient tensor with a value of 25,000 at 50% and 90%
spanwise positions.

Figure4.2.3-22 Instantaneous vortical structures computed by fine-grid LES and visualized by isosurfaces of second invariant of velocity-gradient tensor with a value of 25,000 at 50% and 90%
spanwise positions.

68Figure4.2.3-23 Magnitude of time-averaged relative velocity around leading edge (left) and trailingedge (right) at 50% spanwise position computed by coarse-grid LES.

Figure4.2.3-24 Magnitude of time-averaged relative velocity around leading edge (left) and trailingedge (right) at 50% spanwise position computed by fine-grid LES.

69

Figure4.2.3-25 Magnitude of time-averaged relative velocity around leading edge (left) and trailingedge (right) at 90% spanwise position computed by coarse-grid LES.

Figure4.2.3-26 Magnitude of time-averaged relative velocity around leading edge (left) and trailingedge (right) at 90% spanwise position computed by fine-grid LES.

70

(a) 10 % of the chord length(b) 20 % of the chord length(c) 30 % of the chord length(d)(e) 50 % of the chord length(f) 60 % of the chord length

40 % of the chord length(g) 70 % of the chord length(h) 80 % of the chord length(i) 90 % of the chord length

Figure4.2.3-27 Magnitude of time-averaged relative velocity of a boundary layer on the pressure
surface

at 50% spanwise position computed by coarse-grid and fine-grid LES.

71

(a)

10 % of the chord length(b) 20 % of the chord length(c) 30 % of the chord length(d)40 % of the chord length(e) 50 % of the chord length(f) 60 % of the chord length(g) 70 % of the chord length(h) 80 % of the chord length(i) 90 % of the chord

Figure4.2.3-28 Magnitude of time-averaged relative velocity of a boundary layer on the suction
surface at 50% spanwise position computed by coarse-grid and fine-grid LES.

72

(a)

10 % of the chord length(b) 20 % of the chord length(c) 30 % of the chord length(d)40 % of the chord length(e) 50 % of the chord length(f) 60 % of the chord length(g) 70 % of the chord length(h) 80 % of the chord length(i) 90 % of the chord length

Figure4.2.3-29 Magnitude of time-averaged relative velocity of a boundary layer on the pressure
surface at 90% spanwise position computed by coarse-grid and fine-grid LES.

73

(a)

10 % of the chord length(b) 20 % of the chord length(c) 30 % of the chord length(d)40 % of the chord length(e) 50 % of the chord length(f) 60 % of the chord length(g) 70 % of the chord length(h) 80 % of the chord length(i) 90 % of the chord length

Figure4.2.3-30 Magnitude of time-averaged relative velocity of a boundary layer on the suction
surface at 90% spanwise position computed by coarse-grid and fine-grid LES.

74

(a)

10 % of the chord length(b) 20 % of the chord length(c) 30 % of the chord length(d)40 % of the chord length(e) 50 % of the chord length(f) 60 % of the chord length(g) 70 % of the chord length(h) 80 % of the chord length(i) 90 % of the chord length

Figure4.2.3-31 Magnitude of fluctuating relative velocity of a boundary layer on the pressure
surface at 50% spanwise position computed by coarse-grid and fine-grid LES.

75

(a)

10 % of the chord length(b) 20 % of the chord length(c) 30 % of the chord length(d)40 % of the chord length(e) 50 % of the chord length(f) 60 % of the chord length(g) 70 % of the chord length(h) 80 % of the chord length(i) 90 % of the chord length

Figure4.2.3-32 Magnitude of fluctuating relative velocity of a boundary layer on the suction surface
at 50% spanwise position computed by coarse-grid and fine-grid LES.

76

(a)

10 % of the chord length(b) 20 % of the chord length(c) 30 % of the chord length(d)40 % of the chord length(e) 50 % of the chord length(f) 60 % of the chord length(g) 70 % of the chord length(h) 80 % of the chord length(i) 90 % of the chord length

Figure4.2.3-33 Magnitude of fluctuating relative velocity of a boundary layer on the pressure
surface at 90% spanwise position computed by coarse-grid and fine-grid LES.

77

(a)

10 % of the chord length(b) 20 % of the chord length(c) 30 % of the chord length(d)40 % of the chord length(e) 50 % of the chord length(f) 60 % of the chord length(g) 70 % of the chord length(h) 80 % of the chord length(i) 90 % of the chord length

Figure4.2.3-34 Magnitude of fluctuating relative velocity of a boundary layer on the suction surface
at 90% spanwise position computed by coarse-grid and fine-grid LES.
（２－２）大気境界層を考慮した流体解析
流入風速を一様流ではなく、大気境界層（Atmospheric Boundary Layer: ABL）を考慮した解析を実施して、大気境界層が風車性能に寄与する影響について検討した。一般的に、大気境界層内の速度分布はべき乗則で表される。洋上の場合、大気境界層は一般的に 1/10 乗則が使われているため、本研
究でも境界層分布として 1/10 乗則を用いた。
流入風速分布を Figure4.2.3-35 に示す。
風車周りの主流方向速度の流れ場を Figure4.2.3-36 および Figure4.2.3-37 に示す。境界層分布の有無による風車の性能係数であるパワー係数とスラスト係数を比較した。今回導入した速度分布は通常の条件よりも速度変化を大きく設定したため、スラスト係数およびパワー係数はそれぞれ、26.7 % お
よび 42.8 % 低下した。実際の大気境界層の条件では、これほど大きな影響はでないと考えられるの78

で、次年度は速度分布を変えて評価を行う。また、大気境界層の有無による後流の比較を行った。風
車後方 D、0.50D、0.75D 位置における平均主流方向速度を比較した結果を、Figure4.2.3-38 に示す。
一様流入の解析結果と比較して、壁面近傍における主流方向速度が Wake Model に対して良好に一致することがわかった。

Figure4.2.3-35 Inflow velocity profile given by power-law with an exponential coeﬃcient of 10

Figure4.2.3-36 Instantaneous axial-velocity distribution downstream of wind turbine at Z/D=0。04
with ABL

79

Figure4.2.3-37 Instantaneous axial-velocity distribution at X/D=0.0 plane with ABL

Figure4.2.3-38 Comparisons of time-averaged wake profiles computed by LES with uniform inflow
and ABL inflow conditions.
（２－３）ブレードの位相位置による性能評価
ブレードの位相位置によるパワーおよびスラストの変化について考える。各ブレードの名称をFigure4.2.3-39 に 示 す 。 ま た 、 各 ブレ ー ドの 回転 角 度 と パワ ー およ び ス ラス ト 係数 の 関 係を
Figure4.2.3-40、Figure4.2.3-41 および Figure4.2.3-42 に示す。大気境界層の有無に関わらず、パワーおよびスラスト係数に周期性があることを確認できる。また、ブレードの位置が上方にあれば、パワーおよびスラスト係数が大きいこともわかる。

80

Figure4.2.3-39 A name of each blade

Figure4.2.3-40 Time-variation of thrust and power coefficients of one blade (blade A) computed by
LES with ABL inflow condition

Figure4.2.3-41 Time-variation of thrust and power coefficients of one blade (blade A) computed by
LES with ABL inflow condition

81

Figure4.2.3-42 Time-variation of thrust and power coefficients of one blade (blade A) computed by
LES with ABL inflow condition（２－４）乱れの影響
流れの数値解析では、境界から流入する流れ場は流入境界条件として与えることが一般的であるが、洋上風車のように流入流れが大気乱流の場合、大気乱流自体をモデル化して、境界条件として与える必要がある。昨年度は LES 解析において大気乱流等の乱れた流れ場を流入させる方法について検討し、比較的計算負荷の小さな方法を提案した。今年度は提案手法によって自然流れ場が作成できているかについて検討を行った。
Figure4.2.3-43 に翼周りの流れ場を示す。主流に変動を与えることにより、翼周りに一様な乱れが生成されていることがわかる。

Figure4.2.3-43 Flow field around an NACA0012 airfoil in turbulent flow field（２－５）まとめ洋上風車の大規模数値解析法について検討し、洋上風車規模の風車性能の予測精度を改善し、風車性能を評価できることを確認した。また、大気乱流場の影響を考慮するための手法について検討し、速度勾配、乱れの導入技術を開発した。これらの技術を最終的にブレードの構造振動解析と連成させ、風車の寿命評価を行ための基礎データを収取する。また、RIAM-COMPACT との比較を行うことによ82

り、風車性能予測システムの性能改善を進めていく。
参考文献
[1]

Alpha Ventus ホームページ、https://www.alpha-ventus.de/english（３）後流の影響を考慮した洋上風車高精度評価技術の開発（３－１）FFB を用いた大規模流体解析
FFB を用いた大規模流体解析（ブレード周りの 10～20mm オーダーの渦を解像しながら後流の発生プロセスを評価し、さらに数 100m～1km オーダーの後流の伝搬を解析する）技術の開発と高速化を行った。解析精度と解析規模のバランスを図るため、解析メッシュ、規模、境界条件を変えた解析を行い、直径 100m 規模の洋上風車の翼面流れおよび後流の評価に適した解析方法を明らかにした。得られた知見をもとに風車単体の評価、タンデム配置した風車の性能評価を行った。
（３－２）FFB に実装する壁モデルの精度検証
乱流境界層内の乱流エネルギーの生成を担う壁面近傍の微細な縦渦構造を解像できる十分な数の格子を用いた場合、Figure4.2.3-44 に示すように LES 解析結果と風洞実験値はよく一致する。一方、境界層中の縦渦を解像しない粗い格子を用いた LES 解析（Under-resolved LES: UR-LES）では、
乱流エネルギーの生成を直接計算できないため、解析精度が低下する。洋上風車（直径 120m）規模の場合、翼面壁面近傍の縦渦はレイノルズ数の増大に伴い、その大きさが小さくなる。NS 方程式をモデル化せずに解析する DNS 解析では、乱流中の渦を解像するために必要な格子数はレイノルズ数の1.8 乗となる。このため、DNS により大型風車や飛行機などのレイノルズ数が 107 を超えるような高レイノルズ数の乱流境界層中の縦渦を解像することは現在の計算機リソースでは困難である。LES 解析を用いる場合、空間スケールの小さな渦をモデル化するため、DNS よりも小さなリソースで解析することができるが、その場合でも風車のような大規模な流れ場における乱流境界層中の渦をすべて解像することは難しい。ここで乱流中の渦構造の中で乱流エネルギーの生成や壁面せん断応力に強くかかわる乱流境界層中の縦渦（Active eddy）を解像するのに十分な格子解像度を持つ LES 解析を Wallresolved LES（WR-LES）とし、乱流境界層中の縦渦構造を解像するには不十分であるが、乱流境界
層の平均的なふるまいを解くことができる LES を Under - resolved LES（UR-LES）とする。４－２－３（２）サブ課題 C の総合的推進の項において出力係数を求めるのに十分な格子解像度を備えていた Fine Mesh は UR-LES に相当する。UR-LES は風車の出力係数を求めるのに必要な解像を有するが、乱流境界層中の渦を解像できているわけではない。風車の出力係数が正しく得られていることか
ら後流の速度分布は（運動量保存則にしたがい）平均的には正しく得られていると考えられる。また
風車全体のスケールを考えた場合、境界層の縦渦そのものが及ぼす影響は小さいと予想されるが、翼面の摩擦抵抗を評価するには、Figure4.2.3-45 に示すように境界層のレイノルズ数と摩擦抵抗の関係が重要となる。境界層中の縦渦はレイノルズ数に依存するため、縦渦を解像することが重要となり、数値解析において境界層中の縦渦をモデル化する必要がある。上記の壁面近傍の計算コストに関する問題を解決するための代表的な二つの手法について説明する。

83

Figure4.2.3-44 Instantaneous flow field computed by LES and visualized by iso-surfaces of second
invariants of Instantaneous vortical structures visualized by the second invariant of velocity
gradient tensor colored by streamwise velocity.

Figure4.2.3-45 The relation between the friction coefficient and the wall Reynolds number.
一つ目は DES（Detached Eddy Simulation）や LES / RANS ハイブリッド法等と呼ばれる手法であり、乱流境界層中の内層域では 乱流モデルとして RANS を適用し、乱流渦粘性を用いる手法である。壁面近傍の微細な縦渦をモデル化して扱うので、解析に必要な格子数を大幅に削減できる。課題としては、内層域の非定常性を考慮できない点、LES と RANS の変換部において‘log-layer mismatch’が発生し、非物理的な大きなスケールの渦が生じることがある点である。基本的な付着乱流境界層においても壁面摩擦を 15%程度、過小評価することが知られている。改善策として、ランダムな擾乱を84

寄与する研究、DES における長さスケールを急激に変化させる研究がある。
二つ目の方法は LES の壁面モデル（Wall-modeled LES: WM-LES）と呼ばれる方法で、壁面摩擦応力をモデル化する手法である。Kawai、Larsson は、
WM-LES でも問題であった‘log-layer mismatch’の原因が壁面から数点の格子点に数値的なエラーとサブグリッドモデルのエラーがあることを明らかにした。また、従来の研究では壁から一点目の値を用いて壁面せん断応力を予測していたが、壁から数点離れた位置を参照点として乱流の渦スケールの影響を考慮することにより、正確な壁面せん断応
力を予測できる手法を提案している。Figure4.2.3-46 は参照する格子点から計算される壁面せん断応
力が平均速度分布に与える影響を表す。壁面から一点目が黒の実線、二点目が青の実線、三点目が赤の実線、四点目が緑の実線、五点目がシアンの実線であり、破線は壁法則、四角形は運動量厚みより定義されたレイノルズ数 3.1 × 104 における実験結果である。計算格子の寸法は一様であり、境界層
厚み δ を用いて ∆x = ∆z = 0.042δ、∆y = 0.011δ である。
本研究では、重点課題⑧で河合らが提案している LES 壁面モデルを使用した。風車の乱流解析に使用している FrontFlow/blue（FFB）に、河合らのモデルを実装し、WM-LES を実施する。河合らの解析では圧縮性流体解析を用いているため、壁面モデル領域（壁から参照点）で平衡流近似を用いた
平衡境界層方程式を解いて壁面摩擦速度 uτを求めることができるが、熱輸送のない非圧縮性流れ解
析の場合、壁面モデルは対数領域における log-low と同じ形式となる。以下に壁面せん断応力τw を求める手順を示す。まず、式（5）で表される Spalding 則を満たす壁面摩擦速度を式（8）の NewtonRaphson 法を用いて算出する。壁面摩擦速度を式（6）に代入して壁面せん断応力（9）を求める。

Figure4.2.3-46 Comparison of mean velocity profiles computed by Wall-modeled LES andmeasurement

11+
𝐹𝐹(𝑦𝑦 + , 𝑢𝑢+ ) = 𝑢𝑢+ − 𝑦𝑦 + + 𝑒𝑒 −𝜅𝜅𝜅𝜅 �𝑒𝑒 𝜅𝜅𝑢𝑢 − 1 − 𝜅𝜅𝑢𝑢+ − (𝜅𝜅𝑢𝑢 + )2 − − (𝜅𝜅𝑢𝑢+ )3 � = 0
2
6
85

(5)

𝑢𝑢+ =
𝑦𝑦 + =𝑢𝑢𝑢𝑢𝜏𝜏𝑢𝑢𝜏𝜏 𝑦𝑦𝜈𝜈𝑢𝑢𝜏𝜏 𝑛𝑛+1 = 𝑢𝑢𝜏𝜏 𝑛𝑛 −𝜏𝜏𝑤𝑤 = 𝜌𝜌𝜌𝜌𝜏𝜏 2

(6)

(7)
𝐹𝐹(𝑦𝑦 + , 𝑢𝑢+ )𝐹𝐹′(𝑦𝑦 + , 𝑢𝑢+ )

(8)
(9)

ただし、κ および B は定数であり、それぞれ 0.41 および 0.5 とする。
以下に NREL 5MW 風車に使用されている翼型（DU25 A17）を迎角 4 度で一様流中に設置した場
合の流れ場を対象とした。翼のコード長は 1m、レイノルズ数は 106 である。解析格子の最小サイズは4.16mm、0.83mm、8.33mm であり、それぞれ、壁面摩擦長さで無次元化すると 1000、200、2000 に相当する。この流れ場を WM-LES および UR-LES により解析を行った。
Figure4.2.3-47 に DU25 A17 の翼側、Figure4.2.3-48 に解析格子を示す。

Figure4.2.3-47 Wing shape profile of DU25 17

Figure4.2.3-48 Computational domain and grid for simulation of DU25 17
解析精度を確認するため、圧力係数 Cp を求めた（前述の出力係数は添え字が大文字の P であるこ
とに注意）
。

86

𝐶𝐶𝑝𝑝 =

𝑝𝑝 − 𝑝𝑝∞(10)

1/2𝜌𝜌∞ 𝑉𝑉∞ 2

ここで、添え字に∞を付けた物理量は一様流の静圧、密度および速度を表す。
時間平均圧力場の結果を Figure4.2.3-49 に示す。Figure4.2.3-49 より、時間平均された翼面圧力分
布は、UR-LES、WM-LES ともに実験値とよく一致することがわかる。このことは平均的な流れ場の特性であれば UR-LES でも解析できることを示している。また、風車全体解析でも境界層高さ方向のメッシュ寸法は y+=300 程度であったことから、平均場に関する結果は、翼単体の結果と整合性のとれた結果である。
一方、Figure4.2.3-50 に示す変動圧力分布の結果は、平均値とは異なる結果となる。UR-LES の結果は、壁面圧力変動は負圧面、圧力面ともにコード長の 50%付近まで小さく、流れが層流であることがわかる。コード長 50%付近で乱流に遷移し、変動が大きくなる。WM-LES の場合は、翼の前縁付近から変動が生じており、乱流への遷移が早くなっている。参照点を最小格子高さよりも内側とした場
合、壁面速度をゼロとし、参照点のデータを線形補間することになるため、UR-LES と同じように層流的なふるまいをする。この場合でも乱流への遷移は UR-LES よりも早くなる。参照点が第一格子より大きくなる場合、乱れは大きくなり、すぐに乱流に遷移する。コード長の 60%以降では、どのモデルの結果もほぼ同じ結果となった。このことから、翼面境界層が層流の場合、WM-LES 解析では、壁面の圧力変動および壁面近傍の速度変動を過大評価する可能性がある。
特に y/∆ymin を増加させると、その傾向が大きくなり、乱流域における変動成分も過大に評価され、圧力変動が大きくなる位置が前縁近傍へ移行している。WM-LES は、乱流境界層に適合させたモデルのため、翼面境界層が層流の場
合は正しく評価ができない。このため、風車翼のように前縁近傍の境界層が層流境界層となる条件では、壁面付近の物理量の勾配を正確に見積もれず、変動が生じてしまう。参照点を最小格子より内側に指定する場合、第一格子と壁面を線形補間するだけなので、正しい解を得ることは難しいが、翼前縁で層流境界層が予想される風車の場合、参照点を最小格子より大きくすることは乱流エネルギーを過大評価する可能性があるため、内側を指定する方が良いと考えられる。

87

Figure4.2.3-49 Comparison of time-averaged pressure distribution around DU25 A17 airfoil
computed by LES and measured by experiment.

Figure4.2.3-50 Fluctuating pressure (RMS) around DU25 A17 airfoil computed by LES.

88

Figure4.2.3-51-55 に流れ場の可視化結果を示す。WM-LES の場案、境界層内層に乱れが導入されるため、流れ場に変動が生じているが、非物理的な変動は見られないことから、対数則付近で流れ場が急激に変化するような現象は生じていないことが確認できた。圧力変動の計測結果からも UR-LES 解析では翼弦長 50%から 60%の位置において境界層が層流から乱流に遷移していることがわかる。

(a)Instantaneous flow(b) Mean and RMS flow

Figure4.2.3-51 Instantaneous and time-averaged velocity and pressure around DU25 A17 airfoil
computed by UR-LES.

(a) Instantaneous flow(b) Mean and RMS flow

Figure4.2.3-52 Instantaneous and time-averaged velocity and pressure around DU25 A17 airfoil
computed by WM-LES with y/∆ymin = 0.1

Figure4.2.3-53 Instantaneous and time-averaged velocity and pressure around DU25 A17 airfoil
computed by WM-LES with y/∆ymin = 0.5

89Figure4.2.3-54 Instantaneous and time-averaged velocity and pressure around DU25 A17 airfoil
computed by WM-LES with y/∆ymin =1.0

Figure4.2.3-55 Instantaneous and time-averaged velocity and pressure around DU25 A17 airfoil
computed by WM-LES with y/∆ymin =3.0
Figure4.2.3-56 および Figure4.2.3-57 に、揚力係数および抗力係数を実験値と比較した結果を示す。
実験値と比較して、UR-LES では揚力係数、抗力係数ともに過大評価である。WM-LES の場合は、参照点のとり方により揚力係数、抗力係数が変化する。最小格子よりも参照点を大きくすると揚力は過小評価、抗力は過大評価する傾向にある。最小格子点よりも参照点が小さい場合、UR-LES との差はそれほど大きくない。参照点を 400 から 500 の間にすると揚力が実験値とほぼ一致する参照点があると予想される。ただし、この場合も抗力は正しく評価できない。WM を導入すると、層流領域、乱流
領域ともに変動が過大評価されるため、抗力が増加すると考えられる。このため、層流領域では WMを外すような工夫が必要となると考えられる。
Figure4.2.3-58 および Figure4.2.3-59 に翼後流の速度分布を示す。後流の平均速度分布には翼面境界層の乱れの生成による違いはほとんど見られなかった。乱れ場については参照位置が大きいほど、後流の乱れ強度も増加することが確認された。

90

Figure4.2.3-56 Time-variations of lift coeﬃcients computed for DU25 A17 airfoil

Figure4.2.3-57 Time-variations of lift coeﬃcients computed for DU25 A17 airfoil

91

Figure4.2.3-58 Time-averaged wake profiles at 12.5% chord-length downstream of trailing edge
computed by LES of DU25 A17 airfoil.

Figure4.2.3-59 Fluctuating wake profiles at 12.5% chord-length downstream of trailing edge
computed by LES of DU25A17 airfoil

92

NACA64 A17 に対する同様の解析結果（レイノルズ数は 1.0 × 107）を Figure4.2.3-60～Figure4.2.370 に示す。比較対象とした実験のレイノルズ数は 6.0 × 106、迎え角 4◦である。翼型を変えた場合でも、UR-LES ならば、非物理的な現象がないこと、コード長の 40～50%位置にて層流境界層から乱流境界層へと遷移していることが確認された。参照点を変化させた各 WM-LES 解析は、前項と同様に、層流域において壁面の圧力変動および壁面近傍の速度変動が過大に評価され、参照点の増加と共に、圧力変動が前縁近傍へ移行している。乱流域においては、WM-LES による壁面近傍の物理量の変動値
は層流域よりも減少している。
揚力係数および抗力係数に関する結果もほぼ同等であり、実験値と比較して WM-LES は y/∆yminの増加に依存して、揚力係数を過小評価、抗力係数を過大評価している。後縁から 0.125C 離れた位置における速度分布の平均値および変動値の結果についても UR-LES の結果と比較して、WM-LESの結果は参照点の距離の増加に伴い境界層厚さおよび乱流強度が増大する。また、境界層厚さの増大に伴い、後流も過大評価していることが確認できる。

(a) Instantaneous flow(b) Mean and RMS flow

Figure4.2.3-60 Instantaneous and time-averaged velocity and pressure around NACA64 A17 airfoil
computed by UR-LES.

(a) Instantaneous flow(b) Mean and RMS flow

Figure4.2.3-61 Instantaneous and time-averaged velocity and pressure around NACA64 A17 airfoil
computed by WM-LES with y/∆y min = 0.1.

93(a) Instantaneous flow(b) Mean and RMS flow

Figure4.2.3-62 Instantaneous and time-averaged velocity and pressure around NACA64 A17 airfoil
computed by WM-LES with y/∆ymin = 0.5.

(a) Instantaneous flow(b) Mean and RMS flow

Figure4.2.3-63 Instantaneous and time-averaged velocity and pressure around NACA64 A17 airfoil
computed by WM-LES with y/∆ymin = 1.0.

(a) Instantaneous flow(b) Mean and RMS flow

Figure4.2.3-64 Instantaneous and time-averaged velocity and pressure around NACA64 A17 airfoil
computed by WM-LES with y/∆ymin = 3.0.

94

Figure4.2.3-65 Comparison of time-averaged pressure distribution around NACA64 A17 airfoil
computed by LES and measured by experiment.

Figure4.2.3-66 Fluctuating pressure (RMS) around NACA64 A17 airfoil computed by LES.

95

Figure4.2.3-67 Time-variations of lift coefficients computed for NACA64 A17 airfoil.

Figure4.2.3-68 Time-variations of drag coefficients computed for NACA64 A17 airfoil.

96

Figure4.2.3-69 Time-averaged wake profiles at 12.5% chord-length downstream of trailing edge
computed by LES of NACA64 A17 airfoil.

Figure4.2.3-70 Fluctuating wake profiles at 12.5% chord-length downstream of trailing edge
computed by LES of NACA64 A17 airfoil.

97

（３－３）タンデム配置解析
ウィンドファームにおける下流側風車の影響を評価するため、風車をタンデム配置した場合の解析を実施した。風車間隔は 3D とした。風車周りの解像度は出力係数を評価することができた Fine と同一であり、風車下流の渦の解像度は 0.6m である。風車が 1 回転するのに 6 万ステップの解析が必要であることから、下流側風車を流れが通過し、十分な回転後の結果を得るには 20 万ステップ程度の解析が必要となる。要素数は 6 億 5 千万、「京」コンピュータを 800 ノードで約 25 日の解析時間を必要とする。今後さらに高速化を進め、解析パラメータを考慮できるようにする必要がある。このように、
平成 30 年度はタンデム配置した風車の性能評価を行うことが可能な解析格子、解析条件を設定し、解析を開始したが、実際に評価するには解析時間が十分ではなく、引き続き次年度に定量的な評価を実施する。

Figure4.2.3-71 Flow pattern around tandem arrangement wind turbine（３－４）まとめ
Wall モデルを用いた解析技術を開発し、洋上風車解析への適用を検討した。現状の解析リソースでは境界層の内部に十分な格子点数を配置することは難しいため、Wall モデルを適用することが必要となるが、風車翼のように前縁側が層流境界層の場合は、Wall モデルにより乱れを過大評価する可能性がある。評価点を第一格子付近とした場合、揚力、後流速度分布はほぼ実験値と一致するが、抗力は過大評価であった。このため、前縁付近では UR-LES、流れが層流から乱流に遷移するコード長 50%付近から WM を適用することが適切であると考えられる。タンデム解析については、解析速度の向上が大きな課題となる。

98

（４）流体構造連成振動解析による風車ブレードの信頼性評価の高精度化（４－１）連成解析カプラを用いたデータ変換プロセスの確立
並列 LES 解析コード FrontFlow/Blue(FFB)による非定常流体解析で得られた構造物表面の流体力
を REVOCAP_Coupler を使って並列構造解析コード ADVENTURE_Solid (ADV)の表面力境界条件に変換するためのユーティリティ（以後「変換ユーティリティ」）を開発した。変換ユーティリティお
よび REVOCAP_Coupler を用いた時刻歴データの変換手順のうち、構造解析モデルの作成手順を
Figure4.2.3-72 に、カプラ設定ファイルの作成手順を Figure4.2.3-73 に、流体力の補間とフォーマット変換手順を Figure4.2.3-74 に、補間前後の流体力の可視化手順を Figure4.2.3-75 に示す。

assign anisotropic
material properties

blade_4.pcg

msh2pchblade.mshmateral.atx

blade_4.pch

blade_4.fgr
advmsh2trload

assign surface
traction B.C.
from fluid analysis

tr_load.cnd

advcndmerge(anisotoropic)

BcGUI2

a2adv.plblade_4.cnd

material.adv
advcatall.cndmakefem3

blade.adv

tmp.adv

mp.dat(isotropic)

adventure_metis
model/advhddm_in_*.adv

カプラ+ユーティリティ

ADV

FFB

Figure4.2.3-72 Structure analysis model production flow

surf_ffb.txt
blade.msh

MESH_RCAP.P*
model/advhddm_in_*.adv

blade_4.fgr

advfgr2rcapsurf

ffbsurf2rcapsurf

ffbcplpartlist

advmeshlist

surf_adv.txt

surf_ffb.txt

ffb_meshlist.txt

adv_meshlist.txt

mkcoupling.sh

ffb_partlist.txt

mkcprconf
cpr.conf

coupling.dat

99

FFB

Figure4.2.3-73 Coupler configuration file production flow

MESH_RCAP.P*

SURF.P*

ffb_partilst.txt

ffbsurftrac2rcap_all

カプラ+ユーティリティ

trac_*.dat

cpr.conf

cpr
trac_*.dat

coupling.dat

rcap2advtrac_all

ADV

adv_trac_*.txt
model/advhddm_in_*.adv

advsolid-p

Figure4.2.3-74 Fluid force interpolation and format conversion flow

FFB

MESH_RCAP.P*

trac_*.dat

rcap2vtk_all(rcap2vtk)

fluid_*.vtu

ParaViewなど

ADV

trac_*.dat
model/advhddm_in_*.adv

crp2vtk_adv_all(cpr2vtk_adv)

solid_*.vtu

Figure4.2.3-75 Visualization flow of fluid force before and after interpolation
REVOCAP_Coupler と変換ユーティリティを使用して、「京」上で行った FFB による洋上大型風車の非定常流体解析によって出力された風車ブレード表面の流体力ベクトルの時刻歴データを、ADV の表面力境界条件に変換した。風車ブレード表面の流体力分布と、変換後の表面力分布を並べて可視化したものを Figure4.2.3-76 に示す。

100

Figure4.2.3-76 Comparison of hydrodynamic force distribution on the surface of wind turbine blade
and surface force distribution（４－２）ブレード詳細構造モデルの構造信頼性評価の高精度化（４－２－１）NREL 5MW 風車のブレード詳細構造モデルの構築
本課題では「NREL 洋上 5MW 風車ブレード」の構造モデルを利用する[1]。風車ブレードの内部構
造は、風車ブレードの回転に対する先行側を Leading Edge、それに追随する側を Trailing Edge と呼ぶ。翼内部は、基本的に中は空洞であるが、Share Web という部材が 2 枚だけルート部から先端にかけて挿入されており、軽量化を維持しつつ適度の剛性を達成できるように補強されている。風車ブレ
ードは薄いシート状の一方向単層板（ラミナ）を何枚も重ねてできた積層材料で構成されており、各層の材料主軸が異なることによって、各方向への材料特性が達成される。しかし、積層材料を用いた薄肉構造物をソリッド要素で忠実に再現した上で有限要素モデルを構築しようとすると、非常に多くの要素に分割する必要があるが、計算資源を考えると現実的に無理がある。これは現実的に解析を行うためには六面体要素の場合全要素のアスペクト比が最大でも 10 程度に抑えることが必要だからである。また、Trailing Edge は尖った形状をしており、これをソリッド要素で忠実に再現するのは非常に難しい。したがって、以上の３点、すなわち薄肉構造、アスペクト比の制約、Trailing Edge の形状を考慮しメッシュを作成する必要がある。

101

これらの観点に基づき昨年度までに作成した Share web 付きブレード簡易構造モデルにおいては、
ブレード全体に均一な質量密度と直交異方性材料物性を設定した他、質量密度、ヤング率などの材料
物性値を構造同定により決定することで、要素数を抑えながらも本課題に適した性質を有するモデル化を行った。しかし簡易構造モデルでは板厚断面方向の積層構造の力学特性を正確にモデル化できな
い、疲労特性や寿命を正確にモデル化、評価できないといった問題点が存在した。そこで現状の幾何モデルをベースとしつつ、より正確なブレードの部分構造、および板厚断面方向の積層構造と物性値を考慮したブレード詳細構造モデルを構築した。従来の Share web 付きブレード簡易構造モデルと今年度構築したブレード詳細構造モデルの比較を Figure4.2.3-77 に、ブレード詳細構造モデルの各断面を Figure4.2.3-78 に示す。文献[2]に基づき、従来のブレードモデルを翼弦方向に 6 つの部分に分割し積層情報に基づく各部分の物性値（質量密度、直交異方性材料物性値）を設定した。要素数 289,202（六面体要素）・ノード総数 484,461・総質量 18,660kg である。またアスペクト比の分布を示した
Figure4.2.3-79 より、良好なアスペクト比を達成していることがわかる。

simplified model

detailed model

Figure4.2.3-77 FEM models for a 5MW blade102

Figure4.2.3-78 Finite elements of the cross section at different span position

Figure4.2.3-79 Aspect ratio distribution of the elements in the blade model（４－２－２）ADVENTURE_Fatigue の開発
大規模な洋上ウィンドファームでは、上流に配置された風車の後流（wake）の影響のため、下流側
風車においては数 10%もの発電量低下や乱流増加のための疲労荷重の増加が問題となっている。大規
模な複合積層構造の風車ブレードにとって、剥離や脱接合などの内部損傷モードが、表面損傷モード
よりも、よりクリティカルである。しかしながら、ほとんどの既存の FEM モデルでは、ブレードの全体挙動を記述するために、１層のシェルモデルを用いており、シェルモデルでは板厚方向の内部損

103

傷モードを精密に評価することができないという問題点があった。より高精度にブレード内部の損傷を評価するには、積層ソリッド要素を用いた FEM モデルが必要であったことから、前述の通りブレード詳細構造モデルを作成した。
一方、風車ブレードの疲労寿命評価には主に次の２つのアプローチ、工学モデルと損傷モデルがある。工学モデル[3]では、S-N カーブと累積損傷則（Miner 則)を用いる。ここで応力値は FEM 解析から求められ、各材料の S-N カーブは実験から求められる。この方法は簡単であるが、現実の破損メカ
ニズムをうまく説明できない可能性がある。また、風車ブレードの疲労損傷モデルは、連続損傷力学
CDM（Continuum Damage Mechanics）モデル[4-7]とコヒーシブソーンモデル CZM（Cohesive Zone
Model）[8-10]、の２つに分けられる。CDM モデルでは、疲労による材料劣化は、材料の構成則（応力－ひずみ関係）によって代表されると仮定する。このモデルではき裂の離散的、不連続な性質をとらえることができない。CZM モデルは離散的なき裂モデルに基づいており、徐々に進行する破損プロ
セスは、引張力による分離則によって支配されると仮定する。計算機シミュレーションへの実装の観
点 か ら は 、 CDM は 積 層 板 や マ ト リ ッ ク ス の 破 損 解 析 に よ く 用 い ら れ 、 CZM は 、 層 間 剥 離（delamination）や脱接合（debonding）のモデリングに広く用いられる。
そこで本課題においては、風荷重を受ける NREL 洋上 5MW 風車ブレードの構造解析および疲労解析のための計算システムとして ADVENTURE_Fatigue を開発した。システムの全体像としては、
風荷重の解析には並列流体解析コード FFB を、ブレードの構造解析には ADVENTURE_Solid を利用して片方向連成解析を実施し、その解析結果として得られる応力履歴を入力として疲労解析を実行する。解析システムの概要を Figure4.2.3-80 に示す。ADVENTURE_Fatigue は ADVENTURE シス
テムに属する疲労解析用のコードであり、材料パラメータを含む入力データ（.fat ファイル）は素材、要素、パーツといったキーワードによって制御される。また、2 つの疲労モデル、すなわち工学モデ
ルと損傷モデルを有する。以下では既に開発済みの工学モデルについて述べる。
工学モデルでは、S-N カーブと累積損傷則（Miner 則）を用いる。ここで応力値は FEM 解析から求められ、各材料の S-N カーブは実験から求められる経験的モデルである。ADVENTURE_Solid からの応力履歴データを考慮して、Rainflow counting アルゴリズムを使用して疲労サイクルを決定し、次にグッドマン図とマイナー則を使用してブレード全体の疲労損傷分布を推定する。Rainflow
counting アルゴリズムは、応力履歴を考慮した疲労サイクル数を決定するための工学的手法である。
Figure4.2.3-81 に示すとおり、Rainflow counting アルゴリズムは異なる荷重履歴間の疲労損傷を比較することが可能である。このアルゴリズムは Hysteresis filtering、Peak-valley filtering、離散化、および 4 点カウント方法により成り立っている。

104

Figure4.2.3-80 Flowchart of the computational system

Figure4.2.3-81 Rainflow counting method makes it possible to compare the fatigue damage
between different loading history
S-N カーブの実験データは通常以下の式で表される。利用可能なデータは応力比が-1 か 0.1 の限定的なものであることが一般的で、サイクルの平均応力と応力振幅が与えられると、グッドマン線図を介して同じサイクル値で実験 S-N 曲線で応力振幅を得ることができる。Figure4.2.3-82 にグッドマン
線図を示す。平均応力がゼロより大きいサイクルを考えると、まず応力比-1 の S-N 曲線で応力振幅を計算し、次に応力比 0.1 の S-N 曲線で応力振幅が計算できる。与えられた平均応力がゼロより小さい場合の挙動には類似性があることがわかる。
1
log 𝑆𝑆 = log 𝐶𝐶 − log 𝑁𝑁
𝑏𝑏105

Figure4.2.3-82 Schematic of the Goodman diagram
ブレード構造のモデリングには積層複合要素を使用する。各複合層には 12 の積分点があり、各積分点について与えられた負荷期間の疲労損傷はマイナー則によって推定できる。積層要素の場合、疲労損傷は全ての積分点の最大損傷として定義されることから、ブレードの疲労寿命推定が可能となる。
各要素の損傷をスカラー値として出力することでブレード全体の疲労損傷分布を視覚化する。
𝑛𝑛𝑖𝑖
D=�
𝑁𝑁𝑖𝑖
L=

𝑖𝑖

𝑇𝑇𝑠𝑠
𝑚𝑚𝑚𝑚𝑚𝑚𝐷𝐷𝑒𝑒（４－２－３）ブレード詳細構造モデルの構造信頼性評価
上述したブレード詳細構造モデルを対象に構造信頼性評価を実施した。はじめに、本年度構築した確
立したブレードモデルの有効性を検証するために、ADVENTURE_Solid を使用して固有周波数解析を実行した。ここでは６つの固有モードの解析結果を Table4.2.3-6 に、その可視化結果を Figure4.2.383 に示す。６つのモードはそれぞれ第１の横方向の曲げ、第１のエッジ方向の曲げ、第２のエッジ方向の曲げ、第２のエッジ方向の曲げ、第３のエッジ方向の曲げ、および第１のねじれである。その解析結果は、実験結果とおよそ 8％から 15％の範囲の差でよく一致した。また、Figure4.2.3-84 に動解析の結果、Figure4.2.3-85 に疲労解析結果を示す。境界条件として、ブレードの翼根を固定し、ブレード側面に予備解析の結果を参考に一様面荷重 {f}=(fx,fy,fz)=(-3.84e4, 1.152e1, 3.456e3)[unit:Pa]を設定した。応力履歴に基づいて、ADVEMNTURE_Fatigue の工学的モデルを用いることにより、仮に 20 年間の周期的荷重条件下のブレード全体の疲労損傷率分布を解析し、疲労の集中する箇所を定
量的・視覚的に評価することが可能となった。

106

Table4.2.3-6 Summry of eigenfrequency analysis
Mode

Frequency_ref (Hz)Frequency (Hz)Difference

Description

1

0.87

0.80

8.0%

1st flapwise bending

2

1.06

0.98

7.8%

1st edgewise bending

3

2.68

2.28

14.8%

2nd flapwise bending

4

3.91

3.43

12.2%

2nd edgewise bending

5

5.57

5.13

7.9%

3rd flapwise bending

6

6.45

7.39

14.6%

1st torsion

107Figure4.2.3-83 Simulation results for modes 1 to 6 (left to right and up to down)108

Figure4.2.3-84 Stress distribution in each time section under cyclic loading (0.1s, 1.0s, 2.0s, 3.0s)

Figure4.2.3-85 Damage rate distribution of the whole blade under cyclic loading for 20 years

109

参考文献
[1] J.Jonkman, S.Butterfield, W.Musial, G.Scott, “Definition of a 5-MW Reference Wind Turbine for
Offshore System Development”, Technical ReportNREL/TP-500-38060, pp.1–56, 2009.
[2] Herrema A. “A framework for isogeometric-analysis-based design and optimization of wind turbine
blades [D]”. Iowa State University, 2018.
[3] Zhang C, Chen H P, Huang T L. “Fatigue damage assessment of wind turbine composite blades
using corrected blade element momentum theory”. Measurement, 129: 102-111, 2018.
[4] Bazilevs Y, Korobenko A, Deng X, et al. “FSImodeling for fatigue-damage prediction in full-scale
wind-turbine blades”. Journal of Applied Mechanics, 2016, 83(6): 061010.
[5] Bazilevs Y, Deng X, Korobenko A, et al. “Isogeometricfatigue damage prediction in large-scale
composite structures driven by dynamic sensor data”. Journal of Applied Mechanics, 2015, 82(9):091008.
[6] Montesano J, Chu H, Singh C V. “Development of a physics-based multi-scale progressive damage
model for assessing the durability of wind turbine blades”. Composite Structures, 2016, 141: 5062.
[7] Zuo Y, Montesano J, Singh C V. “Assessing progressive failure in long wind turbine blades underquasi-static and cyclic loads”. Renewable Energy, 2018, 119: 754-766.
[8] Lee H G, Kang M G, Park J. “Fatigue failure of a composite wind turbine blade at its root end”.
Composite Structures, 2015, 133: 878-885.
[9] Salimi-Majd D, Azimzadeh V, Mohammadi B. “Loading analysis of composite wind turbine blade
for fatigue life prediction of adhesively bonded root joint”. Applied Composite Materials, 2015,22(3): 269-287.
[10] Hosseini-Toudeshky H, Jahanmardi M, Goodarzi M S. “Progressive debonding analysis ofcomposite blade root joint of wind turbines under fatigue loading”. Composite Structures, 2015,
120: 417-427.

（５）洋上ウィンドファーム全体の高精度流れ解析
本年度は、平成 30 年度以降の大規模な陸上・洋上ウィンドファームの数値風況シミュレーションの手法開発の本格実施等を見据えて、そこにおける課題点、現状状況把握、また一部、先行して風車ウ
エイクの気流性状把握と計算コードのチューニング作業を実施した。
日本のオンショア（陸上）風力発電では、複数台の大型風車を山岳地域に集中的に建設せざるを得な
い状況になりつつある。そのため、風車相互の干渉でウィンドファーム全体の発電電力量が低下しな
いよう、風車の離隔距離を適切に決定可能なウエイクモデルの開発が最重要な検討課題となっている。
一方、今後ますます注目を集めることが予想されるオフショア（洋上）風力発電においても、風車の離隔距離の問題、すなわち、風車の最適配置問題は顕在化してくると考えられる。
上記のような状況を受けて、本研究の最終目的は高精度なウエイクモデルを構築し、これを数値風況
予測シミュレータ RIAM-COMPACT に実装するとともに、ポスト「京」クラスのマシン性能を最大110

限に引き出すアプリとして確立するため、大規模・並列対応版（HPC 版）へチューニングすることである。
（５－１）ウィンドファームに配置される多複数の風車の後流および大気境界層の影響を考慮した大規模風況システムの構築
本年度は下記に列挙するチューニング項目のうち、自動格子生成（Fxgen の活用）およびベクトル長の確保に向けたチューニングに重点を置いた。
1．高い並列性能を達成するため、領域分割の最適化・自動処理
・自動格子生成（Fxgen の活用）
・ロードバランス・低通信量・ベクトル長の確保
2．ループ演算密度を高め、高い SIMD(※)性能を引き出す
・σ’座標系への対応
・Metric Array Free・多ベクトル解法※SIMD：コンピュータの処理形態の一つであり、一つの命令列に対して、それを複数のデータ列に適用し、並列処理する方法
3．GPU 利用・OpenACC
並行して、既存の数値風況予測シミュレータ RIAM-COMPACT を用いて、ベンチマークテストを実施した。最初に数値風況予測シミュレータ RIAM-COMPACT におけるチューニングの研究成果を報告する。
RIAM-COMPACT に低 B/F アルゴリズムを実装し、Skylake-SP での性能測定と A64FX の諸元に基づくルーフラインモデルを適用した実行性能の推定を実施した。適用対象の RIAM-COMPACT を大規模並列化する上で、効率的な領域分割の観点から、水平方向について領域分割を行い、分割しな
い鉛直方向を三次元配列の最内側ループとして SIMD 長を確保するデータ構造とした。非圧縮流を対象とする RIAM-COMPACT は分離解法を用いており、圧力の Poisson 方程式を反復法で解く。事前
プロファイルでは圧力反復法部分が約 40%を占めており、この部分の実行時間を短縮することが重要である。反復法として前処理付きの双共役勾配法（Preconditioned BICGSTAB 法、PBICGSTAB）は反復回数が少なく最良の候補の一つであるが、その内部処理に AXPY（STREAM）や Dot（内積）など高 B/F の演算処理を含むため、高速化のボトルネックとなる。そこで、前処理で固有値分布を改善することにより、BICGSTAB 自体の反復を削減し、高 B/F の演算処理時間を減らす方針をとる。こ111

のとき前処理としては、定常反復である SOR 法系統が比較的よい性質を示しているが、SpMV（疎行
列ベクトル積）としては B/F が高い点、キャッシュの再利用性が低い点が問題であった。そこで、
SpMV の解法として、直接法と反復法のハイブリッドである LSOR 法（Line SOR 法）を導入し、さらに効率的な並列化を導入した。
（５－１－１）計算パラメータの選定
まず、ターゲットとなる問題設定のパラメータを A64FX の諸元から見積もった。A64FX は 1CPU
内に 4 つの CMG をもち、ccNUMA 構造のメモリ構成で、各 CMG には 8GiB のメモリが接続されている。また、各 CMG は 12 演算コアと 1 アシスタントコアを持つ。これらの点から、1CPU 内に 4MPIランクを配し、各ランク内は 12 スレッド並列とする並列化の方針をとる。RIAM-COMPACT の要求
メモリ量は格子点あたり 140Byte（単精度）なので、1 プロセスは 8GiB のメモリ空間を利用できることを考慮し、プロセスあたり 5M〜10M 点（700MB〜1.4GB）を考える。この場合、配列として
A(100, 100, 500〜1000)となる配列形状とする。8GiB のメモリ空間から考えるとまだ余裕があるが、想定する問題規模 1.8G 点を計算するためには 300 プロセス、75CPU 程度の計算資源となる。風況予
測では、この程度の規模の計算を多数実行し、確度の高い発電量予測を行うシナリオである。また、In situ 可視化も導入予定であり、そのためのワークバッファを確保する観点からも、上記のような問題規模とした。
低 B/F 実装による A64FX 上での性能向上推定
Poisson 方程式の求解部分であるが、基礎方程式には微少な圧縮性を考慮した Poisson 方程式（11）
を用いる。
(11)
M はマッハ数、バーは格子スケールの物理量を意味する。RIAM-COMPACT では直交不等間隔格子を採用するため、座標変換のメトリクス計算が必要になる。物理空間と計算空間の計量関係を示すヤ
コビアン（12）と計算空間に変換後の式（13）は下記のようになる。

(12)

(13)
U は反変速度、*は部分段階での予測値を表す。ラプラシアンの表現は式（14）となる。

112

(14)

ここから、反復式は式（15）となり、(15)左辺の係数を a〜g、右辺を h で表すと、(16)
式（16）に対して、SOR 反復のナイーブな実装をすると、疑似コードはリスト 1 のようになる。
List 1 Naïve implementation of the SOR method.
do j = jst, jed
do i = ist, ied
do k = kst, ked
bb = RHS(k,i,j)
pp =P(k,i,j)
C1 = coef(k,i,j,1)C2 = coef(k,i,j,2)C3 = coef(k,i,j,3)
C7 = coef(k,i,j,4)
C8 = coef(k,i,j,5)
C9 = coef(k,i,j,6)
dd = C1 + C2 + C3
rp = 0.5 *((C1 *(P(k , i+1, j ) + P(k , i-1, j ))&+C2 * (P(k , i , j+1) + P(k , i , j-1))&+
C3 * (P(k+1, i , j ) + P(k-1, i , j ))&+C7 * (P(k , i+1, j ) - P(k , i-1, j )) * 0.5 &+C8 * (P(k , i , j+1) - P(k , i , j-1)) * 0.5 &+C9 * (P(k+1, i , j ) - P(k-1, i , j )) * 0.5) &+ bb)
dp = ( rp / dd - pp ) * omg
pn = pp + dp
P(k,i,j) = pn
de = -(rp - pn * dd)
res = res + de * de
enddo
enddo
enddo

113

これは、座標変換の係数はあらかじめ計算しておき、演算量を減らす実装である。k 方向は L1 キャ
ッシュ内、i 方向と j 方向へのアクセスは MMU と仮定すると、ロード 13、ストア 1、浮動小数点演
算数は 32 であることから B/F=1.75(float)となる。これは Operational Intensity で表現すると、
O.I.=1/(B/F)=0.57 である。Figure4.2.3-86 は A64FX の諸元から算出した 1CMG あたりのルーフラ
イン分析の結果である。メモリバンド幅は実測の推定値（公表されている STREAM の測定結果）を用いた。O.I.=0.57 の場合、SIMD 演算器がすべて動作している理想的な状態でも 117GFLOPS（ピーク性能の 8.6%）となる。そこで、メトリクス計算を展開し、ロードする変数を一次元の座標値のみにする。変更後の擬似コードはリスト 2 のようになる。座標値の配列は一次元なので、Z は L1, XY はL2 に収まることが期待される。MMU からのロードとストアの数は 7 に減少し、B/F=0.4375,
O.I.=2.2857 となる。これから推定される性能値は 468GFLOPS であり、ピーク性能の 34.6%となる。
しかし、この推定値は演算器がすべて動いている状態を想定しており、実際には、コア間のロードバ
ランスや命令発行、データ待ちなどが発生するためこの値より小さくなるが、ナイーブな実装に比べて 4 倍の性能向上は見込める。ただし、この推定では、SOR 法には再帰性がなく SIMD 適用可能であると仮定している。
実際には Red-Black SOR などにより SIMD 化可能な実装にする必要があるが、近年のキャッシュベースのアーキテクチャでは依存性を排除するための、Red-Black オーダリングにおける 2 回のスイープは B/F を大きくすることにつながるため、別の効率的な手法が必要になる。

Figure4.2.3-86 Performance estimation based on Roofline analysis for Poisson kernel on A64FX.
List 2 Metric array free implementation for the SOR method.
do j = jst, jed
do i = ist, ied
do k = kst, ked
bb = RHS(k,i,j)
pp =P(k,i,j)114

XG = 0.5 * (X(i+1) - X(i-1))
YE = 0.5 * (Y(j+1) - Y(j-1))
ZT = 0.5 * (Z(k+1) - Z(k-1)) ! 6
XGG= X(i+1) - 2.0*X(i) + X(i-1)
YEE= Y(j+1) - 2.0*Y(j) + Y(j-1)
ZTT= Z(k+1) - 2.0*Z(k) + Z(k-1) ! 9
YJA = XG * YE * ZTYJAI = 1.0 / YJA! 3
GX = YE * ZT * YJAIEY = XG * ZT * YJAITZ = XG * YE * YJAI ! 6
C1 = GX * GX
C2 = EY * EY
C3 = TZ * TZ
C7 = -XGG * C1 * GX
C8 = -YEE * C2 * EY
C9 = -ZTT * C3 * TZ ! 9
dd = C1 + C2 + C3 ! 3
rp = 0.5 *((C1 *(P(k , i+1, j ) + P(k , i-1, j ))&+C2 * (P(k , i , j+1) + P(k , i , j-1))&+
C3 * (P(k+1, i , j ) + P(k-1, i , j ))&+C7 * (P(k , i+1, j ) - P(k , i-1, j )) * 0.5 &+C8 * (P(k , i , j+1) - P(k , i , j-1)) * 0.5 &+C9 * (P(k+1, i , j ) - P(k-1, i , j )) * 0.5) &+ bb) ! 22
dp = ( rp / dd - pp ) * omg
pn = pp + dp
P(k,i,j) = pn
de = -(rp - pn * dd)
res = res + de * de ! 8
enddo
enddo
enddo

（５－１－２）LSOR-PCR 法
上記のメトリクスを展開する Metrics Array Free（MAF）実装は、B/F 低減に効果的であることがわかった。次に、BICGSTAB の前処理に利用する反復法について説明する。アイデアは 1980 年代に提案された Line-SOR 法であるが、この方法は SOR 反復の 1 座標軸方向に直接法を導入し、収束性を改善する手法である。直接法には最も演算量の観点から最も効率がよい LU 分解を用いている。しかしながら、この LU 分解は逐次アルゴリズムであり並列化ができない問題点がある。この問題点については、Cyclic Reduction やその並列アルゴリズムである Parallel Cyclic Reduction(PCR)が提案されており、近年、PCR の GPU 実装などが報告されている。ここでは SIMD 実装を導入した。Poisson
方程式 ∇2φ=Ψ を差分法により離散化し、k 方向のスイープを陰的に扱い、式（17）の三重対角行
列の連立一次方程式を得る。
(17)
これを LU 分解などで解き、式(10)に示す緩和過程を実行する。

115

(18)

PCR 法は LU 分解を並列処理する方法で、Figure4.2.3-87 に示すように、解くべき連立方程式を、依存関係のない複数の連立方程式の組へと縮約する操作により変形していく。1 回の縮約操作で 1 組の N 元連立一次方程式が 2 組の N/2 元連立一次方程式へと変わる。異なる組の連立一次方程式は独立に解ける。この縮約を繰り返していき、N 個の組になったときに解が得られる。図では、縮約ごとの方程式の一組のみを示している。例えば L3 では 4 組の方程式群がある。

116

Figure4.2.3-87 An algoritm of Parallel Cyclic Reduction.
リスト 3 に PCR 法の擬似コードを示す。カーネル部分は直交等間隔格子を想定しており、MAF 実
装ではない。LU 分解と比較すると 1 回あたりの演算量は増加するが、B/F の点からは有利になる。
また、ステージが進むとメモリアクセス幅は広がり（s=1,2,4,…）、B/F=1.7〜3.4 と変化するが、メモリアクセスは連続である。
List 3 Pseudo code of PCR.
void CZ::pcr(const int nx, const int pn,
REAL_TYPE* d, REAL_TYPE* a,
REAL_TYPE* c, REAL_TYPE* d1,
REAL_TYPE* a1, REAL_TYPE* c1, double& flop){
int s=0;for (int p=1; p<=pn; p++){s = 0x1 << (p-1); // s=2^{p-1}pcr_kernel(nx, s, d, a, c, d1, a1, c1, flop);
REAL_TYPE* tmp;
tmp = a; a = a1; a1 = tmp;
tmp = c; c = c1; c1 = tmp;
tmp = d; d = d1; d1 = tmp;}}
void CZ::pcr_kernel(const int nx, const int s,
REAL_TYPE* d,

REAL_TYPE* a,

REAL_TYPE* c,

REAL_TYPE* dn, REAL_TYPE* an, REAL_TYPE* cn,double& flop)117{
REAL_TYPE r, ap, cp;
int iL, iR;
flop += (double)(nx)*14.0;#pragma omp parallel for private(iL, iR, ap, cp, r)for (int i=1; i<=nx; i++){iL = std::max(i-s,0);iR = std::min(i+s,nx+1);
ap = a[i];cp = c[i];r = 1.0 / ( 1.0 - ap * c[iL] - cp * a[iR] );an[i] = - r * ap * a[iL];cn[i] = - r * cp * c[iR];dn[i] =r * ( d[i] - ap * d[iL] - cp * d[iR] );}}既に指摘されているように、ステージが進むと対角要素と非対角要素の係数の比が大きくなり、精度低下が懸念される。そこで、Figure4.2.3-88 に示すように、最終段の手前で縮約を終了し、最終段で得られる方程式を 2x2 あるいは 3x3 の小行列にとどめ、これらの小行列を直接反転する。小行列反転部のコードは低 B/F なので、高速化が期待できる。ルーフラインモデルによる推定では、小行列の反転部分は A64FX の 1CMG のピーク性能に対して約 30%程度の性能が見込める。なお、本アルゴリズ
ムは対角優位な係数行列を対象とするため、ピボッティングは不要である。
開発した反復カーネルを Skylake-SP(Intel Xeon Gold 6140 2.3GHz)を用いて性能評価を実施した。
Figure4.2.3-89 に測定結果を示す。まず、Red-Black SOR 法との比較を示す。図中の PCR(lsor_p1)と Red-Black SOR(sor2sma)を見ると、スレッド数が増えた場合に性能差が現れている。これは、最外側ループをスレッド並列化しているが（本アルゴリズムでは collapse(2)は使えない）、コア感のロー
ドインバランスが現れている。R-B SOR の場合にはループを 2 回スイープするが、有効ベクトル長は半分になり、SIMD に使うデータはアクセスした半分は無駄になる。メモリ連続になるようにコードを修正することもできるが、メモリバンド幅が狭い場合には有効な策とはならない。これに対し、PCR
ではループのスイープ順に並列化可能であるため実効性能はよいことが確認できる。次に、小行列を直接反転する実装の効果を見ると、わずかであるが性能向上が見られる。現在のところ、このカーネ
ルはメトリック計算を含んでおらず B/F は大きな傾向であるので、実際のコードではさらに計算性能が向上する。

118

Figure4.2.3-88 Improvement of PCR algorithm introducing direct inversion of 2x2 and 3x3 amtrices.

Figure4.2.3-89 Performance measurement of the developed LSOR-PCR algorithm kernel on ITO
system at Kyushu University.
以上のように、本年度は RIAM-COMPACT への低 B/F アルゴリズムの実装と高効率な LSOR-PCR法の開発と性能評価を実施した。また、ポスト「京」への適用を想定したパラメータとルーフライン
モデルから実効性能を推定した。この改良によりウィンドファームに配置される多複数の風車の後流

119および大気境界層の影響を考慮した大規模風況（大規模並列かつ多風向[16 ないし 24 方位]）がポス
ト「京」を使用すれば実用的な計算時間で解析可能なことを確認した。
（５－１－３）実施例：3 次元孤立地形解析（孤立峰）
アプリケーションの基本性能を評価するため、九州大学情報基盤研究開発センターに導入されたスーパーコンピュータシステム「ITO」を用いて 3 次元孤立峰を対象（Figure4.2.3-90）に、既存プログ
ラムと HPC 版との比較を行った。計算環境は下記に示す通りである。
・8 ノード（サブシステム A）を使用
・「16 MPI プロセス並列」×「18 OpenMP スレッド並列」のハイブリッド並列計算
・合計

288 コア を使用

Figure4.2.3-90 Schematics of Flow simulation around an isolated peak
孤立峰周りの流れ場の風洞実験結果を Figure4.2.3-91 に示す。また、今回開発した HPC 版による解析結果から得られた瞬時流れ場を Figure4.2.3-92 に示す。孤立峰の背後に渦領域が形成され、それが下流側に流下している様子がわかる。このように過去に実施した風洞実験による可視化結果と類似の流れパターンが得られた。従来の PC 版 RIAM-COMPACT で、本解析と同一条件のレイノルズ数
104 の解析を実施済みであり、両者を比較した結果を Figure4.2.3-93 に示す。孤立峰の頂部から剥離したせん断層が下流側の地面に再付着する長さ（孤立峰背後の渦領域の大きさ）を比較したところ、
既存プログラム（PC 版）および HPC 版ともに約 3.5h（h は孤立峰の高さ）となり、両ケースのほぼ同様な流れパターンを再現していることが示され、HPC 版は、従来解析と同様の精度を有することを
確認した。

120

Figure4.2.3-91 Visualization of flow pattern around an isolated peak by wind tunnel experiment

Figure4.2.3-92 Flow pattern around an isolated peak by RIAM-COMPACT/HPC

Figure4.2.3-93 Comparison of PC and HPC RIAM-COMPACT for flow analysis results aroundisolated peaks at Re = 104

121

また既存プログラムの場合、九州大学応用力学研究所の NEC 製のスパコン SX-ACE の 1 ノードとの比較では、500,000step （無次元時間 t*=100.0 → 200.0）の計算に関して、HPC 版では約 9 倍の高速化（並列化効率）が得られていることが示された。
（５－１－４）実施例：Alpha Ventus の洋上風力発電所
次に、既存の数値風況予測シミュレータ RIAM-COMPACT を用いたベンチマークテストに関する研究成果を報告する。
本研究にてターゲットにしたサイトは Figure4.2.3-94 に示す Alpha Ventus 洋上ウィンドファームである。ここは、ドイツ初の本格的なオフショア・ウインドファームであり、5MW クラスの風車が合計 12 基設置されている。
Figure4.2.3-95 に解析結果の一例を示す。観測データをもとに南西方向から吹いた場合を想定して解析を行った。風車群の後流解析が可能であることがわかる。風向は任意に変更することが可能である。解析精度の詳細については次年度以降に詳しく調べる。

Figure4.2.3-94 Alpha Ventus

122

Figure4.2.3-95 Flow field around offshore wind farm (Alpha Ventus)
今期は Figure4.2.3-94 に赤色で示す 1 号機風車を対象に風車ウエイクの気流性状の再現精度を検討した。この場合の風向は Figure4.2.3-94 に矢印にて示すように西風とした。Figure4.2.3-96 には、対象とした風車の諸元を示している。これらの数値は空力弾性シミュレーションコード FAST（翼素運
動量理論[1]、モード法及び制御をカップリングさせた解析手法を用いており、現在風車設計で用いられている主要なコードの一つ）にて得られた結果である。Table4.2.3-7 には本シミュレーションにて設定したパラメータを示す。なお、風車ブレードの回転についてはアクチュエータラインモデルを用いた。Figure4.2.3-97 には、RIAM-COMPACT にて得られたパワー係数を示す。概ね FAST による結果を一致していることが確認された。

123

Figure4.2.3-96 Specifications of NREL 5MW wind turbine
Table4.2.3-7 Parameters of simulation

本研究では流入風の変動成分が風車ウエイクの形成等にどのように影響をするかを検討するため、
Figure4.2.3-97 に示す inflow turbulence を Lund らの方法に従い作成した。なお、図中に示すように
N=10 のべき指数分布を仮定した。得られた結果はおおよそ想定した風速分布を満足する結果となった。

124

Figure4.2.3-97 Power coefficient (Cp)

Figure4.2.3-98 Inflow turbulence
Figure4.2.3-99 には流入変動がない場合とある場合に関して主流方向の風速成分の分布の比較を示す。両ケースともに風車ウエイクが下流まで形成されている様子がわかる。流入変動がない場合には、風車から 2D 下流付近まで tip vortex の存在が明確に確認できるが、流入変動風がある場合にはそれらは確認できず、また下流側ではウエイクのエッジで大きな変動が観察される。

125

Figure4.2.3-99 Comparison of streamwise velocity component diagram

Figure4.2.3-100 Comparison of mean velocity profile
Figure4.2.3-100 にはフレーム平均を行った流れ場から抽出した風車下流位置での平均風速プロフ
ァイルの比較を示す。図中には石原らにより提案されているウエイクモデルの結果も併せて示している[2]。流入変動がない場合とある場合に関して各位置でのプロファイルを考察すると、予想されるよ126

うに変動がある場合には風速の回復が早い傾向が見て取れる。一方、石原モデルとの比較では、特に2D で差異が大きいことが示された。これらの原因は現在、検討中であり、来期の課題の一つとしたい。
（５－２）FFB との比較による解析モデルの高精度化
FFB による風車解析が可能となったことに伴いアクチュエータモデルを用いている RIAMCOMPACT と大規模解析である FFB の直接的な比較が可能となった。Figure4.2.3-101 に比較結果の一例を示す。下流の微細渦構造は解像度が異なることから不一致がみられる。ブレードからの流れ場の広がり方にも差異がみられる。出力係数はどちらの解析も同程度の値となっていることから、マクロに見れば流れ場は一致しているが、詳細な渦構造については解像度の違いが生じる。今後はこれらのデータをもとに RIAM-COMPACT の解析結果をより高精度化するためのモデル化を検討していく必要がある。次年度はモデル化を重点的に進めていく。

Figure4.2.3-101 Comparison of flow field around a wind turbine (5 MW)
Above: FFB (LES)，Below: RIAM-COMPACT (LES /Actuator model)

127

参考文献
今村、風車の荷重連成解析コードの開発動向、日本風力エネルギー学会誌、Vol.37、No.2、2013.
石原、吉澤、風車後流の数値予測と解析モデルの提案、第 37 回風力エネルギー利用シンポジウム予
稿集、2015.
（６）シミュレーションシステムの検証および実用化のための調査およびデータ提供（６－１）
本サブ課題において開発するシミュレーションシステムの有効性検証のために、欧米のウィンドフ
ァーム情報の調査とデータ提供、および国内で想定される洋上ウィンドファームの仮想的なデータ提供を解析担当機関に対して行った。提供したデータおよびそれらによる解析等については、４-２-３
（２）
、
（３）
、
（４）
、
（５）を参照されたい。
また昨年度に引き続き IEA TASK31 に参画し、2018 年 4 月には東京大学生産技術研究所にてシンポジウムを開催し、本プロジェクトの概要を説明するとともに、世界各国のウィンドファーム開発事
例の調査、開発したシステムの評価、検証を実施した。
（６－２）
洋上ウィンドファームの発電量評価精度向上への寄与度を考慮し、風車相互干渉、気象解析との連携、流体構造連成振動・損傷、海面変動による風車揺動の影響を検討した。
具体的には、４-２-３（２）において詳述したとおり、洋上風車の大規模数値解析法について検討し、洋上風車規模の風車性能の予測精度を改善し、風車性能を評価できることを確認した。また、大気乱流場の影響を考慮するための手法について検討し、速度勾配、乱れの導入技術を開発した。これらの技術を最終的にブレードの構造振動解析と連成させ、風車の寿命評価を行ための基礎データを収取する。また、RIAM-COMPACT との比較を行うことにより、風車性能予測システムの性能改善を進めていく。
また４-２-３（３）において詳述したとおり、Wall model を用いた解析技術を開発し、洋上風車解析への適用を検討した。現状の解析リソースでは境界層の内部に十分な格子点数を配置することは難し
いため、Wall モデルを適用することが必要となるが、風車翼のように前縁側が層流境界層の場合は、Wall モデルにより乱れを過大評価する可能性がある。評価点を第一格子付近とした場合、揚力、後流
速度分布はほぼ実験値と一致するが、抗力は過大評価であった。このため、前縁付近では UR-LES、流れが層流から乱流に遷移するコード長 50%付近から WM を適用することが適切であると考えられる。タンデム解析については、解析速度の向上が大きな課題となる。
海面変動による風車揺動の影響については、定格運転が行われる状況では、浮体の振動制御を行うことにより影響が十分小さくなることを前年度にも確認 1（Figure4.2.3-102、103）したが、それらの結果をもとに IEA TASK31 の参加者とも協議し、影響度が小さいことを再度確認した。ただし、浮体式風車の開発は、洋上風車開発における重要な課題であることから、揺動については引き続き、文献調

1

洋上風車タワー振動に対する流体・振動構造連成解析を実施した結果、浮体を制御することにより、海面変動に対する揺動をほぼ抑制できることが確認された。

128

査や IEA などの報告をもとに検討していく必要がある。

Figure 4.2.3-102 Schematics model of swing motion analysis of FSI simulation
7.00E+03
6.00E+03

発電量 [kW]

5.00E+03
4.00E+03
3.00E+03
2.00E+03
1.00E+03
0.00E+00-1.00E+03

陸上型制御
0

500

1000

1500

2000

2500

3000

浮体式制御
3500

時間 [sec]

Figure 4.2.3-103 Effect of power generation on swing motion of turbine with Attitude control

129

４-２-４．
（サブ課題 D）核融合炉の炉心設計＜再委託機関：国立研究開発法人日本原子力研究開発機構、国立大学法人名古屋大学、大学共同利用機関
法人自然科学研究機構核融合科学研究所＞（１）研究成果の要旨
本サブ課題では、長期代替クリーンエネルギー源として期待される核融合炉の実用化に向けて次世
代核融合実験炉 ITER を対象とし、従来の計算機環境では難しかった核燃焼プラズマの 5 次元第一原
理計算を実現し、炉心運転条件の最適化設計に貢献する。
平成 30 年度は、核燃焼プラズマ解析に向けた計算モデル拡張に関しては、平成 29 年度までに開発した多種イオン系モデル等の物理モデルを実コードに統合し、多種イオン系の乱流輸送や長時間スケールの間欠的 MHD 現象の解析を実施し、その有効性を示した。エクサスケール計算技術開発に関しては、平成 29 年度までに開発した最適化技術やソルバを粒子法コード、および、格子法コードに統合
し、ポスト「京」プロトタイプ環境である最先端メニーコアスーパーコンピュータ、プラズマシミュ
レータ（FX100、2,592 ノード）
、および、Oakforest-PACS（KNL、8,208 ノード）における全系規模の強スケーリングを達成し、開発技術の有効性を示した。実証研究に関してはこれまでに開発したコードを用いて JT60U/SA や LHD における実験データの解析を進め、乱流輸送に関しては水素同位体
効果、不純物輸送、電磁乱流等に関する成果、高エネルギー粒子閉じ込めに関しては運動論的効果による MHD 不安定性の安定化、高エネルギー粒子駆動測地線音響モードによる熱イオンの加熱機構、長時間スケールの間欠的 MHD 現象の解析等に関する成果を得た。また、ITPA における ITER 物理
課題の検討にも取り組み、乱流輸送に関しては機械学習を応用した新しい乱流輸送モデル開発、タン
グステン不純物の衝突性輸送に関する成果、高エネルギー粒子閉じ込めに関しては熱イオンの運動論
効果を拡張した新しい解析モデルに関する成果を得た。
（２）サブ課題 D の総合的推進
本サブ課題の総合的推進に資する取り組みとして、各機関の責任者による意思決定を目的とする幹事会、プロジェクトメンバー全体の研究開発進捗報告を目的とする開発推進会議の運営を行うとともに、実施体制の構築、研究協力の推進に向けた以下の取り組みを実施した。
（２−１）実施体制の構築
LHD および JT-60 における実証研究に向けて、核融合科学研究所（NIFS）の「大型ヘリカル装置（LHD）実験共同研究」、および、量子科学技術研究開発機構（QST）の「トカマク炉心プラズマ共同研究」を継続し、連携体制を構築した。また、プロジェクト後半の実証研究に向けて、不純物輸送解析のためのポスドク 1 名を採用するとともに、QST および NIFS の乱流輸送解析の専門家 2 名、および、NIFS の磁気流体力学（MHD）現象解析の専門家 1 名を新たにプロジェクトメンバーに追加した。
（２−２）国際協力の推進
米国において核融合シミュレーションに関する SciDAC（Scientific Discovery through Advanced
Computing）、および、ECP（Exascale Computing Project）を推進しているプリンストン大学、オー130

クリッジ国立研究所（ORNL）の研究グループと国際協力を推進した。日米科学技術協力（核融合分野）の下で進められている核融合理論共同研究、JIFT（Joint Institute for Fusion Theory）の枠組みの支援の下に、2018 年 7 月 30 日〜31 日の 2 日間、プリンストン・プラズマ物理研究所（PPPL）において 4th US-Japan Joint Institute for Fusion Theory Workshop on “Innovations and co-designsof fusion simulations towards extreme scale computing”を開催し、日本側 10 名、米国側 14 名の参加者が日米のエクサスケール核融合シミュレーション開発に関する情報交換を行った。
一方、欧州との協力に関しては、フランス原子力・代替エネルギー庁（CEA）との国際協力を推進した。エクサスケール核融合シミュレーション開発を目的として CEA と共同で雇用したポスドクを中心として大域的乱流輸送解析コードを用いた不純物輸送解析を実施した。
（３）核燃焼プラズマ解析に向けた計算モデル拡張（３−１）大域的乱流輸送解析の計算モデル拡張（３−１−１）コードの概要と開発状況
大域的乱流輸送解析コード GT5D [1]はトーラス形状磁場（Figure4.2.4-1）で閉じ込められた核融合
プラズマを解析対象とする乱流輸送解析コードであり、5 次元ジャイロ運動論方程式（磁化プラズマにおける高周波のサイクロトロン運動を平均化して 6 次元ボルツマン方程式を 5 次元に簡約化したもの）と乱流場のポアソン方程式から構成される磁化プラズマの第一原理モデルを炉心プラズマ全体について計算し、乱流場の非線形発展とそれによって引き起こされるプラズマ輸送現象を解析する。
GT5D における物理モデルの大きな特徴は、炉心プラズマ全体を計算領域として、なおかつ、微視的なプラズマ乱流（相関長:~1mm、相関時間:~0.01ms）と巨視的なプラズマ分布（勾配特性長:~1m、エネルギー閉じ込め時間:100ms~1s）の時空間スケールの分離を仮定せずにマルチスケール現象を単一の第一原理モデルで統一的に記述する full-f モデルの計算を行うことである。以下に 5 次元位相空間(R,v//,v⊥)における多種イオン系モデルのジャイロ運動論方程式系を示す。

(1)
(2)
(3)

(4)
ここで、R は粒子位置、v//と v⊥は粒子速度、//と⊥は磁力線に並行、垂直方向、s は粒子種のラベル、〈φ〉は軌道平均した静電ポテンシ
qs は電荷、ms は質量、fs は粒子分布関数、φ は静電ポテンシャル、
ャル、C は異種粒子衝突演算子、Ss はソース・シンク項、B は磁場、B=|B|は磁場強度、b=B/B、
B*=B+(msc/qs)v//∇✕b、Ps は分極効果の係数を示す。

131

計算手法[2]としては、5 次元位相空間の移流方程式として与えられるジャイロ運動論方程式(1)に 4
次精度無散逸保存型差分を適用する。ポアソン方程式(4)にはトロイダル方向（φ 方向）にフーリエモード展開、トーラス断面上で 2 次元有限要素法を適用する。速度空間の移流拡散方程式として与えられる粒子衝突項には 6 次精度中心差分を適用する。時間積分には移流項と粒子衝突項の間にオペレー
タ分割法を適用し、前者に 2 次精度半陰的ルンゲ・クッタ法を採用して磁力線方向の高速な熱運動を陰的に取り扱うとともに、後者をクランク・ニコルソン法によって計算する。ここで、後者が与える速度空間の 2 次元移流・拡散項が与える非対称行列の連立一次方程式はノード内で計算可能な規模となるため容易に計算できるが、前者における 4 次元移流項が与える非対称行列の連立一次方程式は並列処理を必要とする大規模問題となるため、移流項の差分・陰解法ソルバが主要な計算コストを占める。この差分・陰解法ソルバには、これまで、非対称行列向けのクリロフ部分空間法である一般化共役残差法を用いてきたが、メニーコア環境でボトルネックとなる集団通信の問題を解決するために、
省通信クリロフ部分空間法も導入された[3]。並列化には MPI と OpenMP を用いたハイブリッド並列処理を採用しており、5 次元位相空間に対する 3 次元、もしくは、4 次元の領域分割モデルを階層的なネットワークで構築することによって通信コストを最小化し、OpenMP によって実装した通信隠蔽処理によって、「京」全系規模となる約 60 万コアまで強スケーリングを実現した[4,5]。これに加えて、省通信クリロフ部分空間法の導入によってメニーコア環境でボトルネックとなるクリロフ部分空間法の直交化処理に伴う縮約通信のコストを削減し、Oakforest-PACS 全系規模となる約 55 万コアまで強スケーリングを実現した。

Figure 4.2.4-1. Cylindrical coordinates (R,ζ,Z), Flux coordinates (r,θ,φ), and Field-following
coordinates (x,y,z) used in fusion plasma simulations. Here, z shows the direction of magnetic field
line and the safety factor q shows its winding pitch.
これまで、GT5D は重水素プラズマ実験におけるイオン系乱流が引き起こす熱輸送、および、温度分
布形成の解析を目的として開発されてきた。本サブ課題では重水素、三重水素、ヘリウム等を含む多種イオン系の核燃焼プラズマにおけるイオン系乱流と電子系乱流が引き起こす燃料粒子輸送、不純物
粒子輸送、運動量輸送、イオン熱輸送、電子熱輸送、および、それによる炉心プラズマ分布形成の解析を実現する。この目標達成に向けて、運動論的電子モデル、多種イオン系モデル、3 次元磁場配位モデルといった物理モデル拡張、および、格子法のエクサスケール計算技術開発に取り組んできた。
平成 27 年度には運動論的電子モデル、異種粒子衝突モデルといった基本的な物理モデルを開発した

132

[5]。平成 28 年度にはコードを多種イオン系モデルに拡張するとともに、運動論的電子モデルを用いた実証研究を実施した[6]。平成 29 年度はコードを 3 次元磁場配位モデルへ拡張して、LHD 配位における検証計算を実施するとともに[7]、トカマク配位における 3 次元摂動磁場の衝突性輸送現象に対する影響評価を実施した[8]。また、CEA との国際協力に基づくコード間ベンチマークも順調に進展し、
開発コードによる非線形乱流計算の精度検証を完了した[9]。平成 30 年度はプロジェクト前半で開発した要素物理モデルを統合して多種イオン系の大域的乱流輸送解析コードを整備し、実証研究で目標としている不純物輸送解析に関して衝突性輸送解析の精度検証[10]を実施するとともに、乱流輸送と衝突性輸送の相互作用に関する実証研究[11]を実施した。また、水素同位体効果についても試解析を実施し、水素プラズマに対する重水素プラズマの閉じ込め改善を定性的に再現した。これらの成果により、平成 30 年度の実施計画を十分に達成できた。
（３−１−２）平成 30 年度の研究成果（３−１−２−１）不純物の衝突性輸送解析の精度検証[10]ITER の核燃焼プラズマでは燃料粒子の重水素と三重水素の核融合反応によって 3.5MeV のヘリウ
ム（アルファ粒子）と 14MeV の中性子が発生する。中性子はブランケットと呼ばれる炉内機器で吸収されてそのエネルギーが発電に用いられるのに対し、アルファ粒子のエネルギーは炉心プラズマを自己加熱して高温状態を維持するために使われて、最終的に熱化したヘリウム（ヘリウム灰）が生成される。したがって、核燃焼プラズマは、主に、重水素、三重水素、ヘリウム、3 種類のイオンを含む
多種イオン系となる。これに加えて、ダイバータ、ブランケット、炉壁等の炉内機器のプラズマ対向材から放出されるベリリウムやタングステン、および、境界層プラズマ制御のために外部から注入されるアルゴン等の不純物も存在することから、炉心プラズマの運転シナリオを最適化する上で、多種
イオン系プラズマにおける様々な原子番号 Z、原子量 A の不純物に対する高精度な輸送特性評価が重
要な課題となっている。特に、タングステン（Z=74、A=184）のような高 Z 不純物の炉心への蓄積は、燃料の希釈による燃料純度の低下、あるいは、エネルギーの放射損失による炉心温度低下につながり、炉心出力への影響が大きいことから、タングステン不純物の挙動を理解することは ITER の最重要課題となっている。
従来の不純物輸送解析では衝突性輸送理論による衝突性輸送の評価と局所的乱流輸送解析による乱流輸送の評価を独立に計算し、それらの総和によって不純物輸送を評価してきたが、近年の研究から両者の相互作用の重要性が明らかになってきた[12]。このような背景から、本研究では、衝突性輸送と乱流輸送を大域的 full-f モデルで無撞着に取り扱うことにより、より高精度な不純物輸送解析を目指している。しかしながら、タングステンのような高 Z 不純物は燃料粒子の重水素や三重水素に比べて質量が大きく熱速度が一桁程度異なることから、高 Z 不純物を含む多種イオン系のシミュレーション
は速度空間のマルチスケール問題となる。このようなマルチスケール問題では、速度空間の解像度、および、クーロン衝突による速度空間の拡散過程の時間ステップ幅が厳しくなることから、平成 28 年
度に異種粒子衝突演算子の陰解法ソルバを開発した。この異種粒子衝突演算子の計算精度を検証する
ために、まずはプラズマ乱流が存在しない状態（ポアソン方程式(4)において乱流輸送を駆動しない軸
対称な電場のみを計算）で多種イオン系の衝突性輸送解析を実施し、衝突性輸送理論との比較を実施
した。

133

今回の解析では DIII-D 装置（米）の実験データを基準として設定された小型装置パラメータ（Cyclone Base Case）を採用し、まず最初に、燃料粒子の重水素、三重水素に加えてヘリウム（Z=2、A=4）からアルゴン（Z=18、A=40）まで 8 種類の不純物を含む核燃焼プラズマの衝突性輸送解析を実
施した。
ここで、
不純物イオンの電荷密度は電子密度の 10-4 倍のいわゆるトレーサーレベルに設定し、影響が小さいトレーサー不純物間の異種粒子衝突演算子は無視した。Figure 4.2.4-2 に示す解析結果
では、GT5D と衝突性輸送理論[13]は定量的に一致し、どちらの解析結果も電子、重水素、三重水素
は炉心から周辺への外向きの輸送、8 種類のトレーサー不純物は内向きの輸送を示し、粒子種に依存
して粒子束の大きさが異なることがわかった。この検証結果から修正版実施計画において設定した「核燃焼プラズマ解析で必要となる多種イオン系（最大 10 種類）の解析精度を検証する」という目標を達成した。

Figure 4.2.4-2. Comparisons of collisional transport fluxes ΓCs from GT5D and a collisionaltransport theory [13] at a reference magnetic surface r/a=0.5. Collisional transport of a DeuteriumTritium plasma with eight tracer impurities is computed in a Cyclone base case parameter with
R/Lns=R/Lts=1 and qsns/ene=10-4. Here, qs and ns are the charge and the density of particle speciess, R is the major radius, and Lns=-ns/∇ns (Lts=-Ts/∇Ts) is the scale length of density (temperature)gradient. e, D, and T give transport (ΓCs>0), while all tracer impurities show inward pinch (ΓCs<0).
次に、同様の小型装置パラメータにおいて 3 種類のトレーサー不純物、ヘリウム（Z=2、A=4）、炭素（Z=6、A=12）、タングステン（典型的なプラズマ温度に対するコロナモデルによる電離状態の評価
から Z=40、A=184 としている）を含む重水素プラズマの解析を実施した。衝突性輸送理論において、原子番号 Zs の不純物の粒子束 ΓCs の近似解は拡散係数 Ds と熱遮蔽係数 Hs を用いて以下のように表される。

(5)
ここで、Lns=-ns/∇ns 、Lts=-Ts/∇Ts は粒子種 s の密度勾配パラメータ、温度勾配パラメータを示す。

134

また、熱遮蔽係数は粒子衝突周波数が十分に大きい極限で Hs=-1/2 という解析解を持つ。上式から、トレーサー不純物の輸送は自身の密度勾配による拡散項（第 1 項）と主プラズマの密度勾配による内向き輸送（第 2 項）
、および、主プラズマの温度勾配による外向き輸送（第 3 項）の競合で決まり、特に、タングステンのような高 Z 不純物の場合には第 2 項と第 3 項が与える非拡散的輸送が支配的となることがわかる。Figure 4.2.4-3 左図に示す不純物密度勾配に対する輸送特性を検証した結果では、
低 Z 不純物のヘリウムでは、第 1 項の依存性が強く出るのに対し、高 Z 不純物のタングステンでは不純物密度勾配に対する依存性が弱いことがわかる。一方、Figure 4.2.4-3 右図に示す主プラズマ温度
勾配に対する輸送特性を検証した結果では、熱遮蔽効果によって R/LtD=0（一様温度）の場合と比べて R/LtD=1 の場合には内向き輸送が大きく低減することがわかる。この解析では、どのケースにおいても GT5D と衝突性輸送理論の解析結果が定量的に一致することを確認でき、多種イオン系の複雑な相互作用に起因する非拡散的な衝突性輸送特性を定量的にとらえることに成功した。

Figure 4.2.4-3. Radial profiles of collisional transport fluxes of a Deuterium plasma with three
tracer impurities ((a),(d) Helium, (b),(e) Carbon, (c),(f) Tungsten) in a Cyclone base case parameterwith qsns/ene=10-4. (a)-(c) show R/Lns scan with R/LnD=2.2 and R/LtD=R/Lts=0, and (d)-(f) show R/LtD
scan with R/LnD=R/Lns=2.2 and R/Lts=0. Solid lines show GT5D results, and dashed lines withdiamonds show estimations by a collisional transport theory [13].
（３−１−２−２）不純物の乱流輸送解析[11]多種イオン系の衝突性輸送解析の精度検証後に乱流輸送解析を実施した。計算パラメータは前節と同様の小型装置パラメータとし、これまでの JT-60U 装置における不純物輸送実験で観測されている

135

粒子種から 4 種類のトレーサー不純物、ヘリウム（Z=2）、ベリリウム（Z=4）、炭素（Z=6）、アルゴン（Z=18）を選択し、重水素プラズマにおける不純物輸送の数値実験を実施した。この数値実験では炉心領域にイオン加熱を印加してイオン温度勾配駆動（ITG）乱流と呼ばれるイオン系乱流を駆動し、準定常状態における密度分布を観測した。ここで、炉心領域に外部からの粒子源は印加せず、密度分布の境界条件として境界密度をクルック型衝突演算子でほぼ一定に保つモデルを用いた。したがって、
密度分布の発展はプラズマ境界から出入りした粒子の炉心領域への輸送によって引き起こされる。
Figure 4.2.4-4 に示す準定常状態の粒子分布は粒子種によって大きく異なる。主プラズマの電子と重水素の密度分布は準中性条件を満たすようにほぼ同じ分布形状を保ちながら初期分布から若干緩和する。これに対して、不純物の密度分布は明確な Z 依存性を示し、ヘリウムのような低 Z 不純物では強い分布緩和が発生するのに対して、アルゴンのような高 Z 不純物は炉心に蓄積する。この結果は JT60U の不純物輸送実験[14]で観測されている不純物分布と定性的に一致する。

Figure 4.2.4-4. Radial profiles of the density of a Deuterium plasma with four tracer impurities(Helium, Beryllium, Carbon, Argon) in a Cyclone base case parameter with qsns/ene=10-4. The
density profile is normalized by the volume averaged density at t=0. All species are initialized by
the same profile given by a dotted curve.
この不純物分布形成をもたらす衝突性輸送と乱流輸送を詳細に調べた結果、衝突性輸送理論の予測を大きく上回る乱流輸送が存在し、低 Z 不純物では外向きの乱流輸送が支配的であり、高 Z 不純物になるほど内向きの乱流輸送が大きくなる Z 依存性が観測された。一方、衝突性輸送に関しても、イオン系では衝突性輸送理論の予測を大きく上回る粒子束が観測された。この粒子束を詳細に解析した結果、乱流輸送と衝突性輸送の新たな相互作用機構が明らかになった。ITG 乱流により重水素の粒子束が駆動されると両極性条件（主プラズマにおける重水素と電子の粒子束の釣り合い）を満たすように
プラズマ半径方向の電場（径電場）が発展する。トーラスプラズマにおける磁場の非一様性によって、この径電場がつくる E×B 流が圧縮されると磁気面（トーラスを周回する磁力線が構成する r=const.
面）上で上下非対称な密度揺動が発生する。この密度揺動は磁力線方向の熱運動により打ち消される
ため、熱速度の大きい電子ではほとんど発生せず、A が大きく熱速度が小さい高 Z 不純物ほど大きな

136密度揺動が形成される。この密度揺動と衝突性輸送をもたらす磁場ドリフトが結合することで、主プ
ラズマの乱流粒子束を打ち消す方向に不純物粒子束が発生する。従来の衝突性輸送理論では磁気面上で一様な密度分布が仮定されていたため、このような乱流輸送との相互作用がもたらす不純物輸送過程は考慮されていなかった。上記の結果から、複雑な不純物輸送特性を理解するには乱流輸送と衝突性輸送の自己無撞着な相互作用を含めた解析が必須であることがわかった。
（３−１−２−３）水素同位体効果の試解析
多種イオン系プラズマの乱流輸送に関するもう一つの重要課題は水素同位体効果である。水素プラ
ズマと比べて重水素プラズマで乱流輸送が抑制される水素同位体効果は多くの核融合実験で観測されいる。古典的な乱流理論では、水素に比べて A が 2 倍の重水素の方が軌道半径 ρ∝A1/2 が約 1.4 倍大
きくなり、乱流の相関長もそれに比例するため、重水素プラズマの方が乱流輸送が大きくなると予想されるが、実験はそれと逆の結果を示しており、その物理機構は長年の未解決課題となっていた。この問題に関連して、本研究では規格化プラズマ半径 a/ρ の変化による大域的な背景シア流や雪崩現象
による非局所的輸送の違いに着目してイオン加熱を印加した ITG 乱流数値実験におけるプラズマサ
イズスケーリングを評価し、水素プラズマと重水素プラズマで乱流輸送がほぼ同程度となることを示した[15]。しかしながら、古典的乱流理論の予測を逆転するほどの重水素プラズマの閉じ込め改善を示すことはできなかった。この問題に関して、ASDEX-U 装置（独）における最近の水素同位体実験[16]で新たな実験的知見が示された。この実験では、プラズマ加熱方式の違いによって水素同位体効
果に違いが出ることが示されており、電子サイクロトロン共鳴加熱（ECRH）による電子加熱では水
素同位体効果が顕著に現れるのに対し、中性粒子ビーム入射（NBI）によるイオン加熱では水素同位体効果が弱まる、すなわち、水素プラズマと重水素プラズマで同程度の乱流輸送となることが示された。この実験的知見を検証するために、GT5D を用いて水素プラズマと重水素プラズマの電子加熱数値実験を実施した。
数値実験では上記の小型装置パラメータを用い、プラズマ分布の初期条件は ASDEX-U 装置の水素同位体実験で観測された密度分布と温度分布を参考に設定した。電子加熱の加熱パワーは水素プラズ
マ PH と重水素プラズマ PD で PH/PD~1.4 と設定した。上記実験ではこの加熱条件で水素プラズマと重水素プラズマで同じイオン温度分布、電子温度分布が形成されることが報告されている。Figure 4.2.45(a)は数値実験で観測したイオン温度分布と電子温度分布を示す。実験と同様に約 1.4 倍大きい電子
加熱を水素プラズマに印加することにより、重水素プラズマとほぼ同じ電子温度分布、イオン温度分布が形成されることを再現することに成功した。Figure 4.2.4-5(b)に示すイオン熱拡散係数と電子熱拡散係数から、水素プラズマの乱流輸送が重水素プラズマに比べて大きく増大していることがわかる。
このプラズマでは ITG 乱流が支配的であるが、粒子衝突効果による電子からイオンへのエネルギー移
行効果が水素と重水素で異なることにより、イオン系への実質的な加熱パワーが水素プラズマで増大し、ITG 乱流がより強く駆動されることがわかった。今後、系統的なパラメータスキャンを実施し、加熱パワーや原子量 A に対する閉じ込め時間スケーリングを評価する予定である。

137

Figure 4.2.4-5. Electron heating isotope scan numerical experiments with a Cyclone base caseparameter. (a) shows ion and electron temperature profiles in Hydrogen and Deuterium plasmas,
which give the similar profiles by applying electron heating with PH=10MW and PD=7MW,
respectively. (b) shows The thermal diffusivity normalized by the gyro-Bohm diffusivity χGB.
参考文献
Y. Idomura, H. Urano, N. Aiba, and S. Tokuda, “Study of ion turbulent transport and profile
formations using global gyrokinetic full-f Vlasov simulation”, Nucl. Fusion 49, 065029 (2009).
Y. Idomura, M. Ida, T. Kano, N. Aiba, and S. Tokuda, “Conservative global gyrokinetic toroidal
full-f five dimensional Vlasov simulation”, Comput. Phys. Commun., 179, 391-403 (2008).
Y. Idomura, T. Ina, A. Mayumi, S. Yamada, K. Matsumoto, Y. Asahi, and T. Imamura,“Application of a communication-avoiding generalized minimal residual method to a gyrokinetic
five dimensional Eulerian code on many core platforms”, Proceedings of 8th Workshop on Latest
Advances in Scalable Algorithms for Large-Scale Systems, Denver, CO USA, November 2017
(ScalA’17)
Y. Idomura, M. Nakata, S. Yamada, M. Machida, T. Imamura, T.-H. Watanabe, M. Nunami, H.
Inoue, S. Tsutsumi, I. Miyoshi, and N. Shida, “Communication overlap techniques for improved
strong scaling of gyrokinetic Eulerian code beyond 100k cores on the K-computer”, Int. J. HPC
Appl. 28, 73-86 (2014).
Y. Idomura, “A new hybrid kinetic electron model for full-f gyrokinetic simulations”, J. Comput.
Phys. 313, 511-531 (2016).
Y. Idomura, “Toroidal angular momentum balance during rotation changes induced by electron
heating modulation in tokamak plasmas”, Phys. Plasmas 24, 080701 (2017).
S. Matsuoka, Y. Idomura, and S. Satake, “Neoclassical transport benchmark of global full-f
gyrokinetic simulation in stellarator configurations”, Phys. Plasmas 25, 022510 (2018)
S. Matsuoka, Y. Idomura, and S. Satake, “Global kinetic simulations of neoclassical toroidal
viscosity in low-collisional perturbed tokamak plasmas”, Phys. Plasmas 24, 102522 (2017).
Y. Asahi, V. Grandgirard, Y. Idomura, X. Garbet, G. Latu, Y. Sarazin, G. Dif-Pradalier, P. Donnel,

138

C. Ehrlacher, “Benchmarking of flux-driven full-F gyrokinetic simulations”, Phys. Plasmas 24,
102515 (2017).
K. Obrejan, Y. Idomura, and M. Honda, “Numerical study of neoclassical impurity transport
using the code GT5D”, 24th Joint US-EU Transport Task Force Meeting, 18-21 March, Austin,
USA (2019).
Y. Idomura, “Enhancement of neoclassical impurity transport by a geodesic compression effectin full-f gyrokinetic simulations”, 20th ITPA Transport and Confinement Topical Group Meeting,
9-11 April, Daejon, Korea (2018).
D. Esteve et al., “Self-consistent gyrokinetic modeling of neoclassical and turbulent impurity
transport”, Nucl. Fusion 58, 036013 (2018).
S. P. Hirshman and D. J. Sigmar, “Neoclassical transport of impurities in tokamak plasmas”,
Nucl. Fusion 21, 1079 (1981).
H. Takenaga et al., “Relationship between particle and heat transport in JT-60U plasmas withinternal transport barrier”, Nucl. Fusion 43, 1235 (2003).
Y. Idomura and M. Nakara, “Plasma size and power scaling of ion temperature gradient driven
turbulence”, Phys. Plasmas 21, 020706 (2014).
P. A. Schneider et al., “Explaining the isotope effect on heat transport in L-mode with thecollisional electron-ion energy exchange”, Nucl. Fusion 57, 066003 (2017).
（３−２）局所乱流輸送解析の計算モデル拡張（３−２−１）コードの概要と開発状況
トーラス型核融合プラズマの閉じ込め領域で発生する微視的乱流による輸送現象について、電子ス
ケールまで含めて高解像度で解析するため、または全体の計算負荷を低減し実験解析への適用を効率的に進めるためには、局所モデルによる解析が適している。このため局所的乱流輸送解析コード GKV
では、Figure4.2.4-1 に示す沿磁力線座標(x,y,z)を用いてある磁力線沿った細長いチューブ状の計算領域を設定し、位相空間上の分布関数の発展方程式を解く。従来の GKV における具体的な手法としては、5 次元位相空間上の分布関数のジャイロ運動論的方程式を陽的時間積分法であるルンゲ・クッタ・
ギル法を用いて数値的に求める。磁力線を横切る方向の乱流揺動はスペクトル法を用いて高精度に扱うとともに、残りの 3 次元については差分法を適用している。並列計算手法の最適化により、これまでに「京」全系規模での高並列計算が実現し、ITER や JT-60 に代表されるトカマク型装置のイオン
乱流輸送解析はもとより、トロイダル方向（φ方向）に非一様な磁場分布を持つ LHD に代表される
ヘリカル型装置の乱流解析や、イオン軌道半径から電子軌道半径におよぶマルチスケール乱流輸送問
題などの先端的な乱流輸送研究が展開され、多くの学術的成果を上げてきた。
一方、今後の ITER 実験で目指す核燃焼プラズマへの適用を目指し、本課題においては、多種イオン
系へのモデル拡張とそのための計算手法の開発を進めてきた。これまでに、予備的研究として、異種粒子衝突演算子の実装、および多種イオン系に対する新たな時間積分法の開発を平成 27 年度に進め、
平成 28 年度には、多種イオン系に対する時間積分法の拡張、多種イオン系の乱流輸送シミュレーショ
ンモデルの拡張、JT-60U 実験および LHD 実験に対する実証研究を進めた。平成 29 年度には、衝突

139

項を陰解法化した新たな時間積分法の開発を進めるとともに、プラズマ回転効果の導入を行った。合わせてこれまでに構築した多種イオン系モデルを活用し、LHD に対する実証研究、高性能トカマクでの電磁乱流の研究を実施した。これまでの進捗を踏まえ、平成 30 年度は、背景プラズマ回転シア効果の検証、ならびに高並列度を志向した並列計算手法の改良を行い、GKV の計算モデル拡張を進めた。
GKV を適用した研究としては、高圧力トカマク型プラズマの平衡配位変化によるイオン温度勾配駆動（ITG）不安定性と乱流輸送への影響評価、我が国の次期大型トカマク装置である JT-60SA を対象とした高圧力領域での微視的不安定性解析、LHD 実験における温度分布の硬直性、水素同位体効果、
および、不純物輸送に関する実証研究を実施した。これらの成果により、平成 30 年度の実施計画を十分に達成できた。
（３−２−２）平成 30 年度の研究成果（３−２−２−１）背景シア流効果に関するシミュレーションモデルの拡張
磁場閉じ込めプラズマ中では、外部からの運動量ソースや自発的なトルク生成等によって巨視的な差動回転流がしばしば形成される。捻れた閉じ込め磁場中のトロイダル方向（φ方向）の運動量バラ
ンスやプラズマ半径方向の粒子輸送バランスに起因して、ポロイダル方向（θ方向）の E×B 回転が背景シア流として微視的不安定性や乱流輸送現象にしばしば作用する。背景シア流の効果は顕著な安定化効果を与えるため、数値シミュレーションにおいて正確に取り扱うことが輸送レベルの高精度計算や乱流抑制機構の解明にとって重要となる。前年度の回転効果の拡張に引き続き、GKV に背景シア流効果を実装する拡張を進め、他のコードとのベンチマークテストにより実装の妥当性を検証している。
背景シア流が存在する場合、GKV のような局所モデルの取扱いにおいては、波数空間上の t=0 での揺動スペクトルは一定シアを持つ流れに沿って定常的な変形を受け、安定化効果が相対的に強くなる
高波数領域に移流される（Figure 4.2.4-6(a)）
。ここでは、t=0 の背景シア流効果が作用しない状態における波数空間座標系に固定された、Euler 的な取扱いによって揺動スペクトルの移流作用を GKV に実装した。この方法は他のジャイロ運動論コード GKW [1] でも採用されているため、比較を通して
GKV における背景シア流効果の実装の妥当性を検証することができる。Figure 4.2.4-6(b),(c)に示す
ように、磁場閉じ込め核融合プラズマにおける主要な微視的不安性である捕捉電子モード（TEM）や
ITG モードに対して、背景シア流効果を実装した GKV によって計算された結果は GKW による結果と良い一致を示し、また、適切に安定化作用が働いていることが確認された。これらの成果の一部はプラズマ物理に関する国際学会での招待講演[2]において報告された。
背景シア流効果についてはこれまでにいくつかの実装方法が提案されているが、離散的な移流の取扱や高波数領域における数値散逸などに関する問題点も指摘されている。先行研究における実装手法の比較・検証と合わせながら、今後さらに GKV のシミュレーションモデルを拡張する予定である。

140

Figure 4.2.4-6. (a) Schematic picture of shear-flow effects in wavenumber space. Verification of theshear-flow effects for (b) TEM and (c) ITG instabilities, where GKV results for the cases with andwithout the shear-flow effect are compared with those of GKW.
（３−２−２−２）局所プラズマ乱流シミュレーションコード GKV の並列化拡張
GKV は、2004 年の開発以降、MPI+OpenMP のハイブリッド並列化や、「京」での 5 次元並列化、Tofu ネットワークにおける区分化プロセス配置、ノード間通信の隠蔽のための通信・演算オーバーラップなどの並列性拡張を行ってきた。また、平成 29 年度までの成果として、ポスト「京」を見据えた有限粒子間衝突領域での物理解析の高速化のために、異種粒子衝突演算子の実装やその効率的な陰的時間積分法の開発といった改良を行った。この際、異種粒子衝突演算子を扱うためには高い速度空間
解像度が必要となることが判明しており、これを受けて、メモリ容量のひっ迫や、コード全体の通信・演算比率の変化が顕在化してきた。これに対し、以下の 2 点の改善を行った。
まず、通信・演算オーバーラップの省メモリ化を行った。従来実装では 5 次元通信・演算を行う際に、5 次元作業配列を用意していたが、通信・演算のオーバーラップをパイプライン化する際、奇数ループと偶数ループで処理を分けて、互いの通信・演算をオーバーラップするようにすることで、同時に必要な作業配列を 4 次元×2 程度に抑えられる。この実装により、コード全体の使用メモリ量を半分まで削減することができた。
次に、並列スペクトル法計算における転置通信の見直しを行った。従来は 5 次元(x,y,z,v,m)に対する2 次元 x, y 空間にスペクトル法を適用する際、y ⇔ x という転置通信を行っていたが、新たに y ⇔z, m というスペクトル法とは独立次元 z, m に対する転置通信を行う方法を実装した。y⇔z,m 転置方式の利点は、y⇔x 転置方式の場合に比べて、3/2 則によるアンチエイリアシング分だけ通信配列サイズが 2/3 ほどに削減されること、転置後に微分演算などを行うので通信配列数が 3 変数から 2 変数に削減できることである。欠点は、z,m の格子点数により並列数が制限されることであったが、速度空間解像度 v,m の増大により、ポスト「京」で見込まれる並列数でも y⇔z,m 転置方式が適用可能となる見通しが得られた。なお、パラメータによって y⇔z,m 転置方式が適用できない場合は、y⇔x 転置方式に戻せるようにモジュールを残してある。これにより、並列スペクトル法演算部分では最大 2 倍程度、コード全体としては最大 3 割程度（ただし演算比率に依存）の高速化が実現された。
（３−２−２−３）高圧力プラズマの平衡配位変化によるイオン温度勾配不安定性と乱流輸送への影響

141

核融合を目指した磁場閉じ込めプラズマの重要なパラメータの一つに規格化された圧力、すなわちベータ値がある。この規格化圧力が重要な理由は、核融合反応率がこれに比例することや、トカマクプラズマの定常運転に欠かせないブートストラップ電流と呼ばれる自発電流の生成割合が規格化圧力に依存することによる。プラズマの閉じ込めを悪化させる乱流は、この規格化圧力の増加とともに電磁的になり、その乱流による熱および粒子輸送は規格化圧力に大きく依存すると考えられている。本
研究では、この乱流による輸送の規格化圧力依存性について新たな知見を得た。磁場閉じ込めプラズ
マにおいて乱流はドリフト波不安定性によって駆動される。この不安定性は閉じ込め磁場の不均一性によりトーラスの外側に現れる。本研究では、規格化圧力の上昇とともに入れ子状の磁気面がトーラ
ス外側にシフトして磁場構造が変化する点に着目し、この効果を GKV に組み込んで数値シミュレー
ションを行った。その結果、Figure 4.2.4-7（左）に示すように、ドリフト波不安定性の一種である ITG
モードは、有限圧力による磁場構造の変化がある場合（MFC: Magnetic Field Changed）、その効果がない場合（MFF: Magnetic Field Fixed）と比較して線形成長率が増大することを新たに示した。また
図中のωdC および k⊥C は、それぞれ、磁場構造変化の効果を磁場ドリフト周波数または波数にのみ取り入れた場合の結果を示す。そして、この磁場構造の変化による線形成長率増大に非線形飽和機構の変化が加わり、その結果、Figure 4.2.4-7（右）に示すように、MFC の場合は MFF と比較してイオンと電子のエネルギー拡散係数（χi,χe）が増大することを明らかにした。特に、MFC の場合、イオンのエネルギー拡散係数が規格化圧力の上昇とともに減少しない点は、従来信じられていた規格化
圧力の上昇とともに減少する傾向と大きく異なり、重要な結果である。さらに、この有限圧力による磁場構造の変化によって乱流拡散が規格化圧力の上昇ととともに減少しないことは、磁力線のねじれ変化（磁気シア）が小さい場合に起こらないことを示し、低磁気シアにおける閉じ込め改善を示唆する結果も得た[3]。

Figure 4.2.4-7. (Left) Dependence of the linear growth rate of drift instabilities and (Right) the ion
and electron energy diffusivity (χi,χe) on the normalized ion pressure, where MFC and MFF denotethe cases with and without effects of the magnetic field configuration changes. Left shows thegrowth rate γ of the ion temperature gradient driven mode (ITG), the trapped electron mode
(TEM), and the kinetic ballooning mode (KBM).
（３−２−２−４）高圧力領域での実証研究に向けた電磁乱流解析
核融合炉の経済性という観点からは、ベータ値が高いプラズマ、すなわち高圧力プラズマ配位の実現が望まれる。次世代の JT-60SA や ITER、原型炉といった装置で想定される高圧力プラズマでは、微142

視的不安定性においても電磁揺動効果が有意になることが予測されるが、従来多くの解析がなされた
静電乱流に比べて電磁乱流とその輸送過程への知見は十分とは言えない。
そこで、これまでの研究で静電近似および断熱的電子モデルを用いた条件の下で解析がなされてき
た、ITER-like 配位と高形状度配位と呼ばれる 2 つの JT-60SA 想定磁場平衡について、実磁場配位効
果を取り入れた GKV による電磁的微視的不安定性の解析を行った。結果を Figure 4.2.4-8 に示す。
静電近似・断熱的電子モデルの結果（A.E., β= 0%）は先行研究の結果に対応した ITG モードである。
運動論的電子モデルに変更すると（K.E., β= 0.04%）、捕捉電子による ITG モードの不安定化とみられる成長率の増大が確認された。規格化圧力を上げていくと（K.E., β= 2.0%）、ITG モードの成長率
は徐々に減少する。さらに規格化圧力を上げると、低波数側に急激な成長率の増大が観測された。この時、実周波数も同時に増大すること、成長率が規格化圧力に対して正の依存性を持つことから、運動論的バルーニングモード（KBM）が励起されたと考えられる。なお、仮定された密度・温度勾配の下で KBM が不安定化する臨界 β 値は、高形状度配位の方が ITER-like 配位よりも高い値である。このことは、先行研究の MHD 理論に基づく解析とも定性的に一致することが確認できた[4-6]。
以上により、有限圧力効果による ITG モードの安定化や KBM の不安定化といった高圧力プラズ
マにおける重要な物理モデルを取り入れた解析が可能となり、我が国の次期大型トカマク装置である
JT-60SA を対象とした高圧力領域での微視的不安定性の解析基盤を構築することができた。

Figure 4.2.4-8. Poloidal wavenumber dependence of linear growth rate in (a) ITER-like and (b)highly-shaped JT-60SA equilibria. Purple dots plot those in the case with the electrostatic adiabatic
electron (A.E.) model; and green, cyan, orange, yellow, blue dots correspond to the case withelectromagnetic kinetic electron (K.E.) model, where the plasma beta value is scanned.
（３−２−２−５）ヘリカル・プラズマの乱流輸送における温度分布の硬直性と分布予測手法の開発
これまでに開発を進めきた GKV を用いて、大型ヘリカル装置（LHD）に代表されるヘリカル配位におけるプラズマ乱流輸送の温度分布に対する影響について詳しく調べた。特に、これまでの乱流輸送解析で明らかになっていた温度分布（温度勾配分布）の硬直性（すなわち加熱パワーを増大しても乱流輸送が変化して温度勾配が上昇しない）という性質について、広範なプラズマ温度分布のパラメータ領域で詳しく調べた。さらに、シミュレーションから得られる温度勾配と乱流輸送の相関と、実143

際の実験で得られる温度分布から統計学的に推測される勾配分布を用いることで、乱流シミュレーシ
ョンからのプラズマ温度の勾配分布予測の手法を開発した。
ここでは、典型的な高イオン温度での LHD プラズマにおける ITG 不安定性に起因する乱流輸送を取り扱った。磁場配位依存性や、プラズマ半径方向依存性、運動論的電子/断熱的電子といった電子運動の計算手法の差異による影響を詳しく調べた。Figure 4.2.4-9 (a)は、各半径方向位置ρにおける乱流輸送係数とイオン温度勾配の関係である。どの場合においても、基本的に温度勾配に対して急峻な乱流輸送係数の変化が見られるが、標準配位と呼ばれる磁気軸が R=3.75m での場合では、半径方向
位置による急峻度の変化が小さいのに対し、内寄せ配位と呼ばれる R=3.6m での場合は、半径方向外側で急峻度が大きく緩和されているのがわかった。これは、内寄せ配位における帯状流生成の乱流輸送への低減効果が、半径方向位置によって大きく異なることを示している。
この解析で対象とした ITG 乱流を駆動する温度勾配は、実際の実験で観測される温度分布から見積もられる。従来の解析では、最小二乗法によって簡単な関数形に置き換えたものを用いていたが、上述のような敏感な温度勾配依存性を持つ乱流輸送を扱う場合は、観測データを慎重に取り扱う必要がある。そこで、温度の計測データからサンプリングされたデータ群に対して、赤池情報量基準（AIC)を用いて最尤の関数形を決定し、これを他のサンプリングデータにも適用することで、その関数形が作る分布から温度勾配の誤差範囲を同定した。この誤差範囲において、乱流シミュレーションの結果を適用すると、Figure 4.2.4-9 (b)のように、実験の乱流輸送係数を再現するシミュレーションは、断熱的電子計算の場合は、良い勾配予測値を与えることがわかる。しかし、運動論的電子を取り入れた計算（赤印）の場合は、予測値は誤差範囲からやや下方に外れることも確認された。この解析で実施したシミュレーションでは、乱流抑制をもたらす背景シア流効果を取り入れていないため、温度勾配の予測値が低めに現れていると考えられ、背景シア流効果を加えたより詳細なシミュレーション解析を進める必要性が示された。上記の成果は、Physics of Plasmas 誌に発表された [7]。

Figure 4.2.4-9. (a) The ion temperature gradient dependence of the ion heat transport coefficientsat each radial position in the standard LHD case (solid curves) and the inward shifted LHD case(dashed curves). (b) Prediction of ion temperature gradient based on the simulations and theallowable ranges of the temperature gradients from the experimental results evaluated by AIC.
（３−２−２−６）不純物を含む多種イオン系 LHD プラズマの粒子輸送に関する実証研究

144

多種イオン系プラズマの乱流輸送を扱えるように拡張した GKV を用いて、不純物イオンを含んだ
LHD プラズマの乱流粒子輸送について解析を進めた。解析対象にするプラズマは、主プラズマの電子、水素、および、不純物のヘリウム、炭素から成る 4 粒子種プラズマで、中心イオン温度が 5keV 以
上の高イオン温度放電である。ここで、各粒子種の電荷密度は qHnH/|qene|~0.5、qHenHe/|qene|~0.4、、（３−１−２−２）で議論したトレーサーレベルの
qCnC/|qene|~0.1 となっており、本章（３−１−２−１）
不純物輸送解析とは状況が異なる。このプラズマでは不純物炭素イオンの密度がプラズマ中心で極端に小さくなる、不純物ホールと呼ばれる特異な密度分布が観測されている。このような密度分布を維持する不純物輸送特性を理解するために GKV による乱流輸送解析の評価と衝突性輸送解析コードによる衝突性輸送解析を実施した。ヘリカル配位の場合には乱流輸送と衝突性輸送による粒子束は同程度の大きさとなるが、炉心領域における粒子源は存在しないため、準定常な不純物ホールが維持される条件として、炭素不純物の乱流輸送と衝突性輸送の釣り合いを満たすことが期待される。
乱流輸送に関しては、今回の解析対象としたプラズマでは ITG 不安定性が支配的である。本章（３−２−２−５）で議論したように、ITG 不安定性による乱流輸送には温度分布の硬直性と呼ばれる性質があり、勾配値に対する依存性を明らかにすることが極めて重要になる。平成 29 年度に実施した温度勾
配依存性の解析結果から、熱輸送は温度勾配に対して正の相関を持つが、粒子輸送は、輸送の向きを含め、粒子種毎に全く異なる依存性を示し、特に、炭素不純物イオンは常にプラズマ半径方向内向きとなることが示された。今年度は、さらに粒子輸送で重要となる密度勾配の依存性についても粒子種毎に詳細に解析を進めた。Figure 4.2.4-10 に、粒子種毎に個別に密度勾配を変化させた場合の各粒子種の乱流輸送による粒子束を示す。各粒子種の密度勾配が上昇するにつれ、対応する粒子種の粒子束も上昇することがわかるが、この時、他の粒子種の粒子束は、極めて複雑な応答を示す。これは電子とイオンの粒子束の釣り合い条件を満たすためように他の粒子種の粒子束が決定されるためである。
この結果においても、炭素不純物の粒子フラックスは、やはり常にプラズマ半径方向内向きであった。
衝突性輸送に関しては、まず、中性粒子ビーム入射（NBI）加熱によるトルク入力効果を考慮しない
従来の解析モデルを用いた結果、炭素不純物輸送はプラズマ半径方向内向きとなり、乱流輸送との釣り合い条件が満たされないことがわかった。次に、NBI 加熱のトルク入力効果を考慮した場合には、形成される電場の変化を介して、プラズマ半径方向に外向きの炭素不純物輸送が生じ、乱流輸送との釣り合い条件が満たされる可能性が新たに示された。今後、乱流輸送と衝突性輸送の釣り合い条件のさらに定量的な検証を進める。本研究の成果は ICPP2018 会議[8]と MPPC2019 会議[9]における招待
講演、26th IAEA-FEC 会議[10]で発表され、AAPPS-DPP 会議では Akira Hasegawa Poster Prize を受賞した[11]。

Figure 4.2.4-10. Turbulent particle transport in a LHD plasma with an impurity hole. Dependence145

of each turbulent particle flux on the density gradients of hydrogen (a), helium (b), carbon (c), andelectron (d).
（３−２−２−７）プラズマ乱流輸送における水素同位体効果に関する実証研究
将来の核燃焼プラズマの閉じ込め性能予測に向けて、燃料である水素同位体イオンや不純物イオンが混合されたプラズマ中の乱流輸送特性を明らかにする必要がある。多くの実験において、より質量の大きい同位体イオンから成るプラズマでの閉じ込め改善現象が観測されてきたが、乱流輸送に対す
る水素同位体効果の物理機構は未解明の点も多く、系統的な実験および理論・シミュレーション解析が求められている。
ここでは GKV を用いて、LHD における水素および重水素プラズマに対する微視的不安定性解析および乱流輸送解析を実施した。これまでの理論解析によって、TEM 不安定性や ITG 不安定性が駆動する乱流輸送に対する水素同位体効果が予測された。これらの理論予測に基づき、LHD における水素同位体プラズマ実験での分布計測や揺動計測などを活用した閉じ込め改善や乱流揺動特性の検証が実施された。特に、NBI 加熱による高イオン温度プラズマにおいて、水素と重水素がそれぞれ支配的となる場合について同程度の加熱吸収パワー分布が実現され、乱流熱輸送に対する水素同位体効果の定量比較に適した実験データが取得された。Figure 4.2.4-11(a)に示す実験観測から、重水素プラズマでのエネルギー閉じ込め改善による温度上昇が明確に示された。ここで、衝突性輸送に起因する熱輸送
レベルは全熱輸送レベルの 20%以下程度の寄与であり、乱流輸送が支配的であることが確認された。
GKV による線形微視的不安定性解析から、プラズマ内側の炉心領域では ITG 不安定性が、周辺領域
では TEM 不安定性および電子温度勾配駆動（ETG）不安定性が発現することが同定された。さらに、
重水素プラズマでは ITG および TEM 不安定性の成長率が低減しており、実験観測での閉じ込め改善の傾向と定性的に整合することが確認された。重水素プラズマにおける ITG 不安定性の低減は、主に密度勾配の増加および電子に対する温度比の増加に起因することが同定されている。さらに、大規模な非線形計算を実施し、炉心領域での ITG 不安定性による乱流輸送レベルを実験での定常熱輸送解析の結果と比較した。この解析では背景シア流の効果や 15%程度混合されている不純物イオンの効果は無視されており、本章（３−２−２−５）の結果と同様に乱流輸送レベルの絶対値は実験値に対してやや過大評価となっているが、水素プラズマに対する重水素プラズマの熱輸送レベルの低減率~0.31 を概ね再現することに成功している（Figure 4.2.4-11(b)）
。その際、重水素プラズマでは水素プラズマに比べて、乱流抑制効果を持つ帯状流の生成効率が約 30%増加していることが明らかとなった（Figure
4.2.4-11(c)）
。LHD 実験との連携による水素同位体効果に関する予測性能の実証や物理機構解明の一連の成果は、第 45 回欧州物理学会での招待講演などで報告された[12, 13]。

146

Figure 4.2.4-11. (a)Experimental observation of the ion temperature profiles for NBI-heatedhydrogen(H) and deuterium(D) plasmas in LHD. (b)Turbulent heat diffusivity and (c)zonal-flowenergy partition evaluated by the nonlinear GKV simulations of the ITG turbulence in LHD.
参考文献
[1]

A.G.Peeters et al., “The nonlinear gyro-kinetic flux tube code GKW”, Comput. Phys. Commun.
180, 2650 (2009).

[2]

M. Nakata, “Turbulence simulation studies for 3D helical plasmas and future prospects inadvanced optimization”, Max-Planck Princeton Center Workshop 2019, 18–21 Feb., Tokyo, Japan(2019).

[3]

浦野大介, 石澤明宏, 中村祐司, 渡邉智彦, “微視的乱流のベータ値依存性へのローカルシアの影響”,
第 35 回プラズマ・核融合学会年会 (2018 年).

[4]前山伸也, “JT-60SA・原型炉に向けた微視的電磁不安定性解析”、第 24 回 NEXT 研究会 (2018)．

[5]

前山伸也、“原型炉および JT-60SA に向けた微視的不安定性の電磁的ジャイロ運動論的解析”、第8 回 IFERC-CSC 研究会、(2019).

[6]

西岡賢二、前山伸也、相羽信行、本多充、仲田資季、渡邉智彦、“JT-60SA に向けた電磁的微視的不安定性の局所パラメータ依存性解析”、第 74 回日本物理学会年次大会 (2019).

[7]

M. Nunami, M. Nakata, S. Toda, A. Ishizawa, R. Kanno, and H. Sugama, “Simulation studies ontemperature profile stiffness in ITG turbulent transport of helical plasmas for flux-matching
technique”, Physics of Plasmas 25, 082504 (2018).

[8]

M. Nunami, M. Nakata, H. Sugama, S. Satake, M. Sato, S. Toda, M. Yokoyama, and H.
Yamaguchi, “Neoclassical and turbulent transport of impurities in multi-species plasmas”, 19thInternational Congress on Plasma Physics (ICPP 2018), 4-8 June, Vancouver, Canada (2018).

[9]

M. Nunami, M. Nakata, S. Satake, K. Fujita, S. Matsuoka, H. Yamaguchi, M. Sato, H. Sugama,
S. Toda, and M. Yokoyama, “Simulation studies on particle transport of multi-species plasma instellarator systems”, Max-Planck Princeton Center Workshop 2019, 18–21 Feb., Tokyo, Japan(2019).

[10] M. Nunami, M. Nakata, M. Sato, S. Toda, H. Sugama, H. Yamaguchi, and M. Yokoyama,“KINETIC SIMULATION STUDIES ON MULTI-ION-SPECIES PLASMA TRANSPORT IN
HELICAL SYSTEMS”, Proc. 27th IAEA-FEC (Ahmedabad, India, 22–27 October 2018) [TH/P68].

147

[11] M. Nunami, “Kinetic simulation studies on particle transport of multi-species plasma”, Akira
Hasegawa Poster Prize (2nd Asia-Pacific Conference on Plasma Physics).
[12] M. Nakata, “Isotope effects on turbulent transport and confinement in helical and tokamak
plasmas: theory and experiment”, EPS 45th Conference on Plasma Physics 2018, 2–6 July, Prague,
Czech (2018).
[13] M. Nakata, K. Nagaoka, K. Tanaka, H. Takahashi, M. Nunami, S. Satake, M. Yokoyama, F.
Warmer and the LHD Experiment Group, “Gyrokinetic microinstability analysis of high-Ti andhigh-Te isotope plasmas in Large Helical Device”, Plasma Physics and Controlled Fusion 61,
014016 (2019).
（３−３）高エネルギー粒子閉じ込め解析の計算モデル拡張（３−３−１）コードの概要と開発状況
MEGA[1]は、トーラス形状磁場閉じ込めプラズマにおいてアルファ粒子等の高エネルギー粒子が駆動する MHD 現象とそれによる高エネルギー粒子輸送の解析を目的とした、高エネルギー粒子と MHD
流体のハイブリッドシミュレーションコードである。高エネルギー粒子に関する 5 次元ジャイロ運動論方程式は粒子法で計算されるのに対して、バルクプラズマの挙動を近似する MHD 方程式は格子法で計算される。時間積分法は 4 次精度ルンゲ・クッタ法であり、MHD 方程式の空間微分には 4 次精度中心差分が適用されている。MEGA は MPI と OpenMP によって並列化されており、「京」において 13 万コアまでの強スケーリングを実現している。
トーラス形状磁場閉じ込めプラズマにおける高エネルギー粒子分布は、高エネルギー粒子の生成、粒子衝突、損失といった古典的な物理過程と MHD 揺動がもたらす輸送によって形成される。古典的物
理過程の時間スケールは粒子衝突による高エネルギーイオン減速時間（~100ms）程度であるのに対して、ハイブリッド計算の時間ステップ幅は MHD 方程式による制約が厳しく 1ns 程度に制限されるので、減速時間スケールのハイブリッド計算は難しい。この問題を解決するために、MHD 揺動を含まない古典的物理過程のみの計算（以下では「古典的計算」と呼ぶ）では時間ステップ幅を 10 倍以上にとることができることに着目し、MHD 揺動を含むハイブリッド計算と古典的計算を交互に繰り返し行うマルチフェーズ計算法を開発し、高エネルギーイオン減速時間程度の長時間の計算を可能とした[2]。また、MHD 揺動を平均化して安定化効果をもたらす高エネルギーイオンの軌道半径効果を取り入れるとともに、MHD 方程式に熱イオンの反磁性ドリフトと平衡プラズマ回転を導入して拡張する
ことにより、計算の信頼性が向上している。これらの効果を取り入れた米国の DIII-D トカマク実験データに関する実証研究では、実験において観測された不安定性による高エネルギーイオン分布の顕著な平坦化と不安定性に起因する電子温度揺動の周波数、空間分布、振幅がマルチフェーズ計算によってよく再現できており、シミュレーションの妥当性を確認している[3]。
平成 27 年度には、高エネルギー粒子駆動不安定性を安定化する熱イオンの運動論的効果を取り入れるための物理モデル拡張を検討し、平成 28 年度はこの検討に基づいて MEGA を拡張した。平成 29
年度には拡張した MEGA を用いた高エネルギー粒子駆動不安定性のシミュレーションを実行し、熱
イオンの温度が高い場合には熱イオンのランダウ減衰による安定化効果が強いことを実証した[4]。平成 30 年度には、熱イオンを運動論的に取り扱うシミュレーションを大型ヘリカル装置（LHD）にお148

ける MHD 不安定性に適用し、熱イオンの軌道幅を小さくとった極限において計算結果が MHD 解析と一致することを確認するとともに、熱イオン軌道による安定化効果を実証した。また、LHD における高エネルギー粒子駆動不安定性に高エネルギー粒子と熱イオンの双方を運動論的に取り扱うシミュ
レーションを適用し、高エネルギー粒子駆動不安定性による熱イオンの加熱を実証した。これらの成果により、平成 30 年度の実施計画を十分に達成できた。
（３−３−２）平成 30 年度の研究成果（３−３−２−１）LHD における MHD 不安定性に対する熱イオンの運動論的効果
LHD 実験では体積平均ベータ値が約 5%の高ベータプラズマが実現されている[5, 6]。ここでベータ値とは磁気圧力に対するプラズマ圧力の比である。このような高ベータ LHD プラズマに対して MHD
理論は圧力勾配駆動型不安定性を予測するが、実験で観測されている高ベータプラズマは安定であり、その安定性保持メカニズムは未解明のままである[7-9]。このことは MHD モデルの限界、すなわち、運動論的効果の重要性を示唆していると考えられる。そこで本研究では、熱イオンの運動論的効果を取り入れて拡張した MEGA コードを圧力勾配駆動型 MHD 不安定性の解析に適用し、熱イオンの運動論的効果について調べた[10, 11]。
平成 30 年度においては、トロイダルモード数 n=10 の圧力勾配駆動型 MHD 不安定性に対して拡張版 MEGA コードを用いて運動論的 MHD 解析を行った。熱イオン軌道の磁気面からのずれを人為的に無視した運動論的 MHD 解析では、不安定性の成長率は MHD 解析とほぼ一致し、拡張版 MEGA
コードの有効性を確認することができた。熱イオン軌道を正しく取り扱った運動論的 MHD 解析では、不安定性の線形成長率が MHD モデルより得られる線形成長率の約 60%程度に減少することがわかった。この時の n=10 モードの電子圧力、および、イオン圧力の摂動成分の固有関数を Figure 4.2.4-12に示す。電子圧力の揺動レベルに対してイオン圧力の揺動レベルが減少しており、特に、磁力線に垂直方向のイオン圧力の揺動成分が著しく抑制されていることがわかる。この抑制メカニズムを調べた
ところ、ヘリカルリップル（ヘリカルコイルによる磁場強度の非一様性）に捕捉されたイオンの歳差
ドリフト運動に起因することがわかった。Figure 4.2.4-13 に示すように、捕捉イオンは、トロイダル方向（φ方向）とポロイダル方向（θ方向）の歳差ドリフトにより、モードの位相が正、および、負の両方の領域を通過する。トカマクプラズマで代表される軸対称プラズマとは異なり、ポロイダル方
向にも歳差ドリフトが存在するため、モードの位相に対する歳差ドリフト周波数が、不安定性の線形成長率と同程度になる。その結果、捕捉イオンの MHD 不安定性に対する応答が弱まり、線形成長率の減少をもたらすことになる。ここでの解析では、計算時間の短縮のため、小さい磁気レイノルズ数（S=105）を仮定して行った。ここで調査した不安定モードは抵抗性モードであるため、実験値に対応した磁気レイノルズ数（S>106）のもとでは、不安定性の線形成長率は歳差ドリフト周波数よりも小さ
くなり、不安定性に対する捕捉イオンの応答は著しく弱くなることが予想される。よって、実験においては、ここで示した捕捉イオンの歳差ドリフトによる抑制効果が重要な役割をしているものと考え
られる。

149

Figure 4.2.4-12. Pressure perturbation profiles for the resistive ballooning mode with toroidal mode
number n=10 and different poloidal mode numbers m. Grey, green, and red lines represent electronpressure perturbation (Pe), ion parallel pressure perturbation to the magnetic field (Pi||), and ion
perpendicular pressure perturbation (Pi⊥), respectively. The amplitude is normalized by that of theelectron pressure perturbation for (m,n) = (13, 10).

Figure 4.2.4-13. Color represents the electron pressure perturbation of the MHD instability on amagnetic flux surface with red for positive perturbation and blue for negative perturbation. A
trapped-ion orbit is displayed in the figure. The trapped ion passes both the positive and thenegative electron pressure perturbations, which indicates that the interaction between the trapped
ion and the MHD instability is weakened by phase mixing.
（３−３−２−２）高エネルギー粒子駆動測地的音響モードによる熱イオンの加熱
高エネルギー粒子駆動測地的音響モード（EGAM）はトカマク型装置やヘリカル型装置の環状プラ
ズマにおいて高速イオンが引き起こす不安定性の一種である。EGAM はトロイダル方向に対称な空間構造を持つので粒子の半径方向輸送に寄与しない。EGAM との相互作用によってエネルギーを与える
粒子種とエネルギーを受け取る粒子種が存在するとき、粒子の半径方向分布を乱すことなく EGAM を媒介とする粒子種間のエネルギー移送が可能となる。高エネルギー粒子が EGAM を不安定化する際に、EGAM から熱イオンにエネルギーが受け渡されれば、EGAM を媒介として高エネルギー粒子か150

ら熱イオンへのエネルギー移送が可能となる。この機構は GAM チャネリングと呼ばれ、核融合反応
によって生じる高エネルギーアルファ粒子がプラズマ加熱の役割を担う核燃焼プラズマでの実現が期待されている。現在の核燃焼プラズマの想定では、アルファ粒子は粒子間衝突によって熱イオンと電子を加熱するが、特に高エネルギーのアルファ粒子の衝突は電子との衝突が支配的であり、核融合反応の燃料である熱イオンの加熱効率は低い。GAM チャネリングは高エネルギーアルファ粒子による熱イオンの効率的な加熱を可能とするため、核融合エネルギーの実現に向けて大きな貢献が期待される物理機構である。
高エネルギー粒子と熱イオンの双方を運動論的に取り扱うシミュレーションを適用し、LHD 実験に基づいた 3 次元実形状平衡とプラズマ分布を用いて、LHD における EGAM のシミュレーションを実行した[12, 13]。Figure 4.2.4-14 は EGAM と各粒子種エネルギーの時間発展を示している。EGAMの振幅は成長後に飽和し、周波数変調を伴ってほぼ一定レベルに保たれている。各粒子種エネルギーの時間発展を見ると、高エネルギー粒子のエネルギーが減少して熱イオンのエネルギーが増加しており、GAM チャネリングが実現していることがわかる。興味深い点は、EGAM の飽和後の周波数変調の期間にもエネルギー移送が続いていることである。周波数変調は、高エネルギー粒子と熱イオンの位相空間分布において EGAM の静電ポテンシャルに捕捉された粒子群によって構成される島状構造が自発的に形成されて、EGAM のエネルギー散逸と釣り合うように島状構造の軌道周回周波数が変化することにより実現することが理論的に提案されている。高エネルギー粒子と熱イオンの位相空間分
布関数を解析したところ、分布関数揺動の周回周波数が EGAM の周波数に同調して時間変化していることを確認し、周波数変調の理論との整合性を確認した。
（３−３−２−１）と（３−３−２−２）に述べた成果により、実施計画に挙げた「熱イオンの運動論的効
果等の物理モデルの検証」は十分に達成されたと言える。

Figure 4.2.4-14. Time evolution of (a) frequency spectrum of poloidal flow and (b) amplitude ofpoloidal flow for EGAM. (c) Energy evolution of various species during the EGAM activity. EP
denotes energetic particle.

151

（３−３−２−３）マルチフェーズ計算法による JT-60U における ALE のシミュレーション
マルチフェーズ計算法は粒子衝突時間スケールの長時間計算を可能とする計算法である。マルチフ
ェーズ計算法を用いたこれまでの実証研究は、米国のトカマク型装置 DIII-D と LHD を主な対象としてきた[2,3,14,15]。平成 29 年度に日本の JT-60U トカマクを対象として実証研究を行い、マルチフェーズ法とマルチフェーズ法を用いない連続ハイブリッド計算の結果を比較することにより、マルチフ
ェーズ法の有効性を実証した[16]。平成 30 年度は、JT-60U 実験において観測された大振幅のアルフ
ベン固有モード（AE）が繰り返し発生する現象（Abrupt Large-amplitude Event, ALE）にマルチフ
ェーズ計算法を適用した[17]。このシミュレーションでは中性粒子ビーム入射（NBI）による高速イオ
ン生成を考慮している。Figure 4.2.4-15 はシミュレーション結果において 40-60ms 間隔で ALE が発
生し、ALE に伴って高速イオンが大きく損失することを示している。これらの結果は実験結果をよく再現しており、マルチフェーズ計算法の有効性を実証している。以上の成果により、トカマク装置において「長時間スケールの間欠的 MHD 現象を再現する」という目標を達成できた。今後、さらに LHD
装置においても長時間スケール MHD 現象の実証研究を実施する。

Figure 4.2.4-15. Long-time simulations of multiple ALE cycles. Two simulations were performed
with different background magnetic field strengths, B0 = 1.16T and 1.20T, while fixing the beamto-Alfvén velocity ratio v0/vA0 = 1.432. Panels a and b show the respective time traces of themagnetic fluctuation amplitude δBpol. Panel c shows the evolution of the peak value of the beta
parameter βE for energetic ions with energies above 80 keV. During each ALE, max(βE) drops
abruptly as beam ions migrate from the plasma core into the periphery. The extent of this spatial
redistribution can be seen in panels d–f, where we compare snapshots of βE (R, Z) before and after
the ALE at t = 180ms in the B0 = 1.20T case. Panel g shows the radial profile βE (R) before and after
the ALE at the height of the plasma midplane (Z0 = 0.2m). For comparison, the dotted curve in gshows the overestimated βE (R) profile that one obtains when MHD activity is ignored. The dashdotted lines in d–g indicate the position of the plasma centre; namely, the magnetic axis [17].

152

[1]

Y. Todo and T. Sato, “Linear and nonlinear particle-magnetohydrodynamic simulations of thetoroidal Alfvén eigenmode”, Phys. Plasmas 5, 1321 (1998).

[2]

Y. Todo et al., “Multi-phase simulation of fast ion profile flattening due to Alfvén eigenmodes in
a DIII-D experiment”, Nuclear Fusion 54, 104012 (2014).

[3]

Y. Todo et al., “Multi-phase simulation of fast ion profile flattening due to Alfvén eigenmodes in
a DIII-D experiment”, Nuclear Fusion 55, 073020 (2015).

[4]

Y. Todo, H. Wang, and M. Sato, “A new magnetohydrodynamic hybrid simulation model withthermal and energetic ions”, Joint Meeting of 26th International Toki Conference and 11th Asia
Plasma and Fusion Association Conference, 5-8 Dec., Toki, Japan (2017).

[5]

Komori et al., “Development of net-current free heliotron plasmas in the Large Helical Device”,
Nuclear Fusion 49, 104015 (2009).

[6]

H. Yamada et al., “Overview of results from the Large Helical Device”, Nuclear Fusion 51, 094021(2011).

[7]

N. Nakajima et al., “Growth Rates and Structures of MHD Modes in Stellarator/Heliotron”, J.
Plasma Fusion Res. Ser. 6 45 (2004).

[8]

H. Miura and N. Nakajima, “Influences of ballooning modes with moderate wave number on
MHD equilibrium in LHD”, Nuclear Fusion 50, 054006 (2010).

[9]

M. Sato et al., “Characteristics of MHD instabilities for high beta plasmas in inward shifted LHD
configurations”, Nuclear Fusion 57, 126023 (2017).

[10] M. Sato and Y. Todo, “Ion kinetic effects on MHD instabilities in high beta LHD plasmas”, Proc.
27th IAEA-FEC (Ahmedabad, India, 22–27 October 2018) [TH/P5-25].
[11] M. Sato and Y. Todo, “Effect of precession drift motion of trapped thermal ions on ballooning
modes in helical plasmas”, submitted to Nuclear Fusion.
[12] H. Wang et al., “Simulations of two types of energetic particle driven geodesic acoustic modes
and the energy channeling in the Large Helical Device plasmas”, Proc. 27th IAEA-FEC(Ahmedabad, India, 22–27 October 2018) [TH/P2-11].
[13] H. Wang et al., “Simulation of energetic particle driven geodesic acoustic modes and the energy
channeling in the Large Helical Device plasmas”, submitted to Nuclear Fusion.
[14] Y. Todo et al., “Fast ion profile stiffness due to the resonance overlap of multiple Alfvén
eigenmodes”, Nuclear Fusion 56, 112008 (2016).
[15] Y. Todo et al., “Comprehensive magnetohydrodynamic hybrid simulations of fast ion driven
instabilities in a Large Helical Device experiment”, Phys. Plasmas 24, 081203 (2017).
[16] A. Bierwage and Y. Todo, Comput. “Benchmark of multi-phase method for the computation of
fast ion distributions in a tokamak plasma in the presence of low-amplitude resonant MHD
activity”, Comput. Phys. Comm. 220, 279 (2017).
[17] A. Bierwage et al., “Simulations tackle abrupt massive migrations of energetic beam ions in atokamak plasma”, Nature Communications 9, 3282 (2018).

153

（４）エクサスケール計算に向けたコデザイン
計算技術の概要と開発状況
本サブ課題では、ポスト「京」におけるエクサスケール計算に向けて、1,000 万コア級の強スケーリングを実現するハイブリッド並列処理技術や計算手法の開発を実施する。ポスト「京」に代表される
エクサスケール計算機にはいくつかの大きなハードウェア的な制約が存在する。第一に消費電力の厳しい制約のため、プロセッサの動作周波数を抑制し、演算器の並列度を拡大することが必須となる。
このため、特に、プロセッサ内部のコア数や SIMD 幅（SIMD 処理のベクトル長）が大きく増大する傾向にある。また、このような多数の演算器にデータ供給を行うために、メモリおよびキャッシュのハードウェアもより複雑な階層構造となりつつあり、さらに、メモリバンド幅と演算性能のギャップも増大する傾向にある。このため、並列度の増大、複雑なメモリ階層構造、メモリバンド幅の制約に対応する計算技術が必須となる。第二にエクサスケール計算機においてはノード演算性能が現在の「京」等のマルチコア CPU 環境に比べて一桁以上向上すると期待されるが、ノード間通信性能は演算性能向上に追いつかない可能性が高い。このため、ノード間通信のオーバーヘッドを最小化する計算技術が必須となる。第三にエクサスケール計算機では演算性能とデータ IO 性能のギャップも拡大するため、エクサスケール計算で生成される大量データの処理が困難になると予想される。このため、デー
タ IO を最小化しつつ、メモリ上の計算データを詳細に解析する技術が必須となる。
上記課題の解決に向けて、格子法、粒子法に基づくプラズマコードの計算技術開発を推進するとともに、プロジェクトの後半ではシミュレーションデータの可視化解析手法に関する研究も展開する。計算技術開発にあたっては、既存コードの最適化にとどまらず、計算手法選択のレベルから抜本的にアプローチを見直す可能性も出てくるため、幅広い計算手法を採用したプラズマコードを対象とする研究開発が必要となる。このため、本サブ課題でターゲットとしている GT5D、GKV、MEGA 以外にも、国際協力の枠組みに基づき、国内コードとは異なる計算手法を採用している国外コードを活用した計算技術開発、ベンチマークも展開する。
（４−１）ポスト「京」向け粒子法の開発（４−１−１）計算技術の概要と開発状況
ポスト「京」を想定したメニーコア環境におけるプラズマ粒子コードの基盤技術開発を目指し、プリンストン・プラズマ物理研究所（PPPL）、オークリッジ国立研究所（ORNL）との国際協力に基づき、米国エクサスケールプロジェクト（ECP）の主要プラズマ粒子コード XGC1 [1]を対象とした最適化技術開発による性能向上、ヘリカル型プラズマのシミュレーションへの適用、および、プラズマシミュレータ FX100 全系規模での性能評価を行った。さらに、そこで得られた最適化技術を国産コード
FORTEC-3D に展開し、開発技術の有効性を確認し、大幅な性能向上を達成した。
XGC1 は、ジャイロ運動論に基づく大域的乱流輸送解析コードであるが、粒子法による分布関数の時間発展と非構造格子による空間離散化を用いることにより特にトカマク周辺プラズマ領域における乱流現象の解析を実現している点が、オイラー法による分布関数の発展を計算する GKV や GT5D といった炉心プラズマ乱流コードと大きく異なる。また、構造格子系の粒子法を用いる MEGA とも大きく異なる手法である。これまで、ORNL の TITAN において、数十万コアを用いた XGC1 による大規模演算が実施されているが、その処理特性としては、カーネル部分の 9 割以上の演算が GPU 上で154

実行されており、対ピーク性能比は 8.61%を記録している。XGC1 コードが GPU 環境で開発されてきた経緯から、アーキテクチャの全く異なる FX100 における性能評価は、Oakforest-PACS やTSUBAME 等、アーキテクチャの異なる最先端アクセラレータ環境における粒子コードの性能移植性を理解する上で重要な課題となっている。平成 30 年度はこれまでカーネルレベルで開発してきた
SIMD 最適化技術や並列最適化技術を統合し、FX100 全系規模での総合的な性能評価を実施した。
一方、FORTEC-3D は国内で開発されたドリフト運動論に基づき衝突性輸送解析を行うモンテカル
ロ法プラズマ粒子コードである。これまでの XGC1 における研究開発で得た最適化技術はコード特有のものではなく、プラズマ粒子コード全般に応用できる可能性がある。平成 30 年度は、これまでの開発技術の展開として、FORTEC-3D を対象にした最適化も進めた。
（４−１−２）平成 30 年度の研究成果（４−１−２−１）ジャイロ運動論粒子コードの実計算への適用と FX100 全系計算による性能評価
ヘリカル型装置の周辺プラズマ解析を目指し、NIFS と PPPL が共同で XGC1 の非軸対称系となる
ヘリカル型磁場配位への一般化を進めてきた。平成 30 年度には、大型ヘリカル装置（LHD）における基礎プラズマ現象を対象としたベンチマーク計算として、本コードを測地的音響モード（GAM）振動の減衰や両極性電場を伴う衝突性輸送に適用し、FORTEC-3D や GT5D といった既存の国産輸送コードとよく一致する結果を確認した。またポスト「京」に向けたコード開発として、前年度までに最近接格子探索を含むほぼ全ての主要計算部分で SIMD 化やソフトウェアパイプライン化が効果的に機能するようにカーネル部分を改良し、FX100 上での単体およびスレッド並列化性能の調査を実施してきた。引き続き、平成 30 年度には XGC1 の超並列環境への適用可能性について検証した。
本コードの主要部分（荷電粒子の運動や電荷密度計算に関する部分）は 2 段階のプロセス並列化が施されている。一つめはトロイダル方向（φ方向）の領域分割である。もう一つの並列化として、各分割領域に含まれる計算粒子が複数のプロセスに配分される粒子分割が用いられている。後者の並列化では非構造格子や場の情報は共有されており、各プロセスが担当する粒子がほぼ均等になるように動的に負荷分散が行われる。非構造格子上の場の計算では、PETSc（Portable, Extensible Toolkit for
Scientific Computation）ライブラリを用いた有限要素法が用いられている。有限要素法の計算では、
perMETIS（Parallel Graph Partitioning and Fill-reducing Matrix Ordering）ライブラリと組み合わせることにより非構造格子の領域分割が行われる。
NIFS のプラズマシミュレータ（FX100、2,592 ノード（71,936 コア） / 理論性能 3.04 PFlops）の全系に近い規模で三種類のテスト計算を行い、時間ステップサイクル（100 ステップ）に対する経過時間を測定した。ここで、並列化は MPI のみを使用し、MPI プロセスあたり 1 コアを使用した。
一つめのテスト計算は領域分割並列化についての弱スケーリング性能に関するもので、トーラス 1
周、1/4 周、1/16 周、1/32 周、1/64 周をそれぞれ 65,536 プロセス（領域分割数 512）
、16,384 プロセ、2,048 プロセス（同 16）、1,024 プロセス（同 8）を用いて計ス（同 128）、4,096 プロセス（同 32）
算する。ここで、各プロセスが担当する領域の大きさと初期粒子数（120,000 個）は同一であり、計算領域あたりの粒子数を固定して全体計算領域と総粒子数が増加する。Figure 4.2.4-16 の(A)は、使用プロセス数に対する経過時間を示している。1,024 プロセスの場合に対し、16,384 プロセスでの経過時間は 3%増、65,536 プロセスでは同 40%増と、プロセス数の増加（64 倍）に比べて小さい範囲に155

とどまっている。1,024 プロセスと 65,536 プロセスの結果から求めた実効並列化率は 99.9993%、並列化効率は 71.1545%となる。
二つめのテスト計算は分割領域内の粒子配分についての弱スケーリング性能に関するもので、トーラス一周（分割領域数 512）を 2,048〜65,536 プロセスで計算する。プロセスあたりの初期粒子数はいずれも 120,000 個であり、全体計算領域を固定してプロセス数に比例して領域内の総粒子数が増加する。Figure 4.2.4-16 の(B)にテスト計算結果を示す。計算時間は一つめのテスト計算とほぼ同様で、
2,048 プロセスと 65,536 プロセスを使った計算時間から求めた実効並列化率は 99.9994%、並列化効
率は 72.016%である。
最後に分割領域内の粒子配分についての強スケーリング性能を測定した。トーラス一周（分割領域数512）を 2,048〜65,536 プロセスで計算するが、プロセスあたりの初期粒子数をプロセス数に応じて少なくすることで、総粒子数を一定にする。Figure 4.2.4-16 の(C)は総粒子数が約 40 億個、(D)は約10 億個の場合の経過時間である。いずれの場合も、プロセス数に反比例する理想的なスケーリング（点線 ） に 近 い 形 で 経 過 時 間 が 減 少 し て い る こ と が わ か る 。 実 効 並 列 化 率 は (C)99.9998% お よ び(D)99.995%、並列化効率は(C) 90.433%および(D)55.04%である。(C)に比べて(D)の並列化効率が低くなる要因として、プロセスあたりの粒子数が少なくなることによる単体性能の低下や、非構造格子上の集計計算（分割領域内の Allreduce を含む）の比率が上がることが挙げられる。前者については昨年度に検討したように、粒子数に応じて最内ループ長を調整しソフトウェアパイプライン化の効果を高めることで改善すると考えられる。
核融合炉周辺領域の運動論的シミュレーションでは、非熱的なプラズマダイナミクスを扱うために非常に多数の粒子が必要となる。上記の結果からプロセス毎の粒子数が十分にあれば、約 20 万プロセスあるいはそれ以上の並列化（並列化効率 50%を目安にした場合）が可能であると期待される。FX100
はポスト「京」のプロトタイプ環境の一つと考えられることから、以上の性能評価により「ポスト「京」プロトタイプ機全系規模の強スケーリング」というエクサスケール計算技術開発の目標を達成できた。

Figure 4.2.4-16. Scaling tests of XGC1 code on Plasma Simulator (FX100). The elapse time for 100
time steps is plotted against the number of MPI processes or cores. Here, all-MPI parallelization isused. Left shows weak scaling tests with (A) varying both computational domain size and numberof particles and (b) varying only number of particles with fixed computational domain size. Right156

shows strong scaling tests with (C) ~4 billion particles and (D) ~1 billion particles.
（４−１−２−２）国産の粒子コードへの最適化技術の展開
FORTEC-3D[5]はトーラス磁場中の荷電粒子運動とクーロン衝突によって引き起こされる、平均自由行程の長い核融合プラズマに特徴的な粒子・熱輸送現象をドリフト運動論方程式に基づいて解くモンテカルロ法プラズマ粒子コードとして NIFS で開発された。特に、LHD のようなヘリカル型装置
や、トカマク型装置における誤差磁場の影響を含めた現実的な 3 次元磁場配位中の大域的衝突性輸送
シミュレーションを可能とする高い汎用性が特筆すべき点である。
複雑な 3 次元形状の閉じ込め磁場は、磁束座標系(r,θ,φ)で表現される。この時、粒子軌道は磁場
B(r,θ,φ)とその微分、および、
いくつかの磁気面関数 I(r),G(r),… のみで記述できるという利点がある。
このため、磁場は B(r,θ,φ)=Σm,nBm,n(r)cos(mθ-nφ) のように、磁気面上のフーリエスペクトル Bm,n によって表現する。半径方向については各部分区間[ri,ri+1]毎に 3 次スプライン補間によって、
Bm,n(r)=B0(j,i)+dsB1(j,i)+ds2B2(j,i)+ds3B3(j,i)と表す。ここで、ds=r-ri と定義され、i は半径方向のイン
デックス、j は(θ,φ)方向のフーリエモード数(m,n)を指定するインデックスを示す。これによって、
B の微分が容易に計算できるようにしている。しかしながら、閉じ込め磁場を表現するのに必要なフーリエスペクトル数（以下 mmx）は装置のコイル形状によって 20~200 程度と大きく変わり、全てのシミュレーションマーカー（１MPI プロセスあたり数十万）に対して軌道計算の度に B の評価に含まれるコストの高い cos, sin 演算を mmx 回行う必要がある。mmx が大きくなると、この部分が全計算
時間の 9 割以上を占めるだけでなく、FX100 においては mmx の増加に対して演算時間が不規則な依存性を見せることが問題になっていた。XGC1 の最適化時においても見られたように、FX100 において SIMD 化やソフトウェアパイプライン化のチューニングが肝要であるため、この各マーカー位置の磁場計算のカーネル部分の最適化を以下のように行った。
1.

データの連続アクセス性を高めるために、4 つの異なる 2 次元配列 Bk(j,i) (k=0~3)に保存していたスプライン係数を B(k,j,i)という 1 つの 3 次元配列に保存する。

2.

プラズマ中の粒子は r 方向にはゆっくりとドリフトするため、各マーカーが現在いる半径区間 i(ri≦r<ri+1) の係数 B(:,:,i)を各自バッファ配列にコピーして保持しておき、軌道計算後隣の区間に移動した場合にのみ値を更新することで、データコピーの頻度を減らす。

3.

元のカーネルでは、Bm,n(r)cos(mθ-nφ)の計算は外側ループがマーカー番号、内側ループがフー
リエモード j=1,2,…,mmx とし、外側ループを OpenMP 並列していた。しかし、FX100 では最内側ループがある程度長くないと（本カーネルの場合 72 以上）コンパイラは SIMD 化はしてもソフトウェアパイプライン化しないことが判明した。これが、スペクトル数 mmx に対する演算速度のスケーリングの悪さの原因になっていたため、ストリップ・マイニングの技法を用いて外側ループを 1/100 にし、最内側に長さ 100 の固定長ループを作った。これにより該当ループがmmx によらず必ず SIMD 化かつソフトウェアパイプライン化の対象となるようになった。

これらの修正を加えた該当カーネルのソースコードのイメージを Figure 4.2.4-17 に示す。また、チューニングによる該当ループの計算時間のフーリエモード数 mmx に対するスケーリングを検証した
結果を Figure 4.2.4-18 に示す。性能測定は FX100 の 1 ノード（32 コア）を 16 スレッド×2MPI でハイブリッド並列実行して行い、1MPI 当たりのマーカー数は 4 万で固定した。ただし、2.を当てはめ

157

た後から 1.と 3.を順に適用していった時の変化を示している。1.と 2.だけでは、最内ループ長が mmxで決まるため、mmx の小さい場合にパイプライン化が利かず計算速度が遅かったが、3.を適用することによって良好なスケーリングが得られるようになった。1.~3.全体での速度向上は計算規模にもよる
がコード全体で約 2.5~3 倍となり、プロファイラで計測した実問題の実行性能も MFLOPS/PEAK(%)
値が 30%に到達するなど、一連のチューニングによって FX100 の性能を十分に発揮した計算が実行できるようになった。今回のチューニング法は粒子シミュレーションにおいて一般的に当てはめられるものであり、ポスト「京」における大規模な粒子コードを実行する上で役立つ知見が得られたと考える。
bbi(:)=0.d0
ni: マーカー数(3万~20万）
dbdti(:)=0.d0
mmx:フーリエモード数(20~200)!$OMP DOdo jj=1,ni/nk
nk:最内ループ長(100)do j=1,mmx
ccm=cm(j)ccn=cn(j)do kk=0,nk-1
ll=kk*4i=(jj-1)*nk+kk+1
ds=dsi(i)bc1=cofbx(0+ll,j,jj)+(cofbx(1+ll,j,jj)+&&(cofbx(2+ll,j,jj)+cofbx(3+ll,j,jj)*ds)*ds)*ds
ph=ccm*thetai(i)-ccn*zetai(i)bbi(i) =bbi(i) + bc1*cos(ph)! B
dbdti(i)=dbdti(i)- bc1*sin(ph)*ccm! 𝛛𝐁/𝛛𝛉
……
end doend doend do!$OMP END DO

Figure 4.2.4-17. Pseudo code of optimized FORTEC-3D kernel code.

Figure 4.2.4-18. Variations of FORTEC-3D kernel performance by applying three optimization
techniques, 1. Change data structure, 2. Reduce data copy by buffering, and 3. Software pipelining
by strip-mining loop optimization. Performance tests were made using a single node of FX100(32cores) with a hybrid parallelization model (16threads × 2MPI).

158

参考文献
[1] Toseo Moritaka, Robert Hager, Michael Cole, Samuel Lazerson, C.S. Chang, S. Ku, Seikichi
Matsuoka, Shinsuke Satake and Seiji Ishiguro, “Development of a Gyrokinetic Particle-in-Cell
Code for Whole-Volume Modeling of Stellarators”, Plasma, accepted for publication.
[2] T. Moritaka, R. Hager, M. Cole, S. Lazerson, S. Satake, C-S. Chang, S. Ku, S. Matsuoka and Seiji
Ishiguro, “Gyrokinetic Modeling with an Extended Magnetic Equilibrium including the Edge
Region of Large Helical Device”, Proc. 27th IAEA-FEC (Ahmedabad, India, 22–27 October 2018)[TH/P5-5].
[3] T. Moritaka, S. Matsuoka, S. Satake, S. Ishiguro, R. Hager, M.Cole, S. Lazerson, C-S. Chang, S.
Ku, “Development of XGC for stellarator configuration”, US-Japan JIFT Exascale Computing
Workshop, 30-31 July, Princeton, USA (2018).
[4] T. Moritaka, “Development of a gyrokinetic PIC simulation code for whole device modeling of
Stellarator”, US-Japan Joint Institute of Fusion Theory Workshop on “Multi-scale Simulations
in Plasma Physics”, 11-12 Jan., Inuyama, Japan (2019).
[5] S. Satake, Y. Idomura, H. Sugama, T.-H. Watanabe, “Benchmark test of drift-kinetic andgyrokineticcodes

throughneoclassicaltransport

simulations”,

ComputerPhysics

Communications 181, 1069 (2010).
（４−２）ポスト「京」向け格子法の開発（４−２−１）計算技術の概要と開発状況
本サブ課題のターゲットコードである GT5D、GKV、MEGA には格子法が用いられている。これらのコードにおける格子法の高性能化に向けて、メニーコア最適化技術、および、省通信アルゴリズムの研究開発を実施する。メニーコア最適化に関しては、平成 27 年度に CEA と共同で差分法に基づくGT5D[1]とセミラグランジアン法に基づく GYSELA[2]の逐次計算カーネルを対象とするメニーコア
最適化技術の開発を実施した。この研究開発では、上記 2 つの計算カーネルを GPU（K20X）、XeonPhi（KNC）、FX100 という 3 つの異なるアーキテクチャに対して最適化し、特に、計算手法によって異なるメモリアクセスパターンとアーキテクチャに依存して大きく異なるメモリ階層構造の適合性を評価した[3]。この結果、メニーコア環境でもピーク性能比と同程度の性能向上を達成し、電力性能比を大幅に改善する見通しを得た。平成 28 年度は省通信アルゴリズムの構築に着手し、クリロフ部分空間
解法の最も基本的なアルゴリズムである共役勾配（CG）法の省通信アルゴリズム[4]の検討を行い、省通信 CG（CACG）法ソルバを開発した[5]。平成 29 年度はこの成果を発展させ、チェビシェフ基底省
通信 CG（CBCG）法ソルバを開発して省通信アルゴリズムのロバースト性を向上するとともに[6]、GT5D の差分・陰解法ソルバで取り扱う非対称行列向けにも省通信一般化最小残差（CA-GMRES）法
ソルバを開発し、最先端メニーコア環境における GT5D のスケーラビリティを向上した[7]。また、シミュレーションデータの可視化解析手法に関する予備的研究にも着手し、粒子ベースボリュームレン
ダリング（PBVR）に基づく In-Situ 可視化システムを最先端メニーコア環境において構築した[8]。
平成 30 年度は CA-GMRES 法を適用した GT5D によって Oakforest-PACS 全系規模（8,192 ノード）159

の強スケーリングを達成した[9]。また、昨年度に構築した In-Situ 可視化システムの SIMD 最適化を実施した[10]。これらの成果により、平成 30 年度の実施計画を十分に達成できた。
（４−２−２）平成 30 年度の研究成果（４−２−２−１）GT5D による Oakforest-PACS 全系規模の強スケーリング[9]GT5D では（３−１−１）に示したジャイロ運動論方程式系において、式(1)左辺の 4 次元移流項のうちクーラン条件が最も厳しい線形移流項（式(2)第 1 項、第 3 項、式(3)第 2 項）を陰的に取り扱う。従来のコードでは 4 次元移流項の差分・陰解法における非対称行列の連立一次方程式を一般化共役残差（GCR）法で取り扱ってきたが、GCR 法では基底ベクトルの直交化処理のための縮約通信が反復毎に必要となるため、最先端のメニーコア環境において通信コストのボトルネックが顕在化してきた。
この問題を解決するために、CA-GMRES 法ソルバを開発した。GCR 法では反復毎に直交化処理の縮約通信を行うのに対して、CA-GMRES 法では s ステップ分の基底ベクトルをまとめて直交化するために縮約通信の回数が 1/s に削減される。CA-GMRES 法では、この省通信化のメリット以外に、演算特性も大幅に改善している。GCR 法は反復あたり 1 回の差分計算（疎行列ベクトル積、SpMV）と 4
回のベクトル計算（DAXPY）を行うのに対し、CA-GMRES 法では反復あたり 1 回の SpMV は共通
であるが、s 本の基底ベクトルをまとめて直交化する処理は密行列計算（DSYRK、DGEMV）から構成される QR 分解に帰着する。このような演算カーネル特性の違いにより、CA-GMRES 法の計算量は約 1.3 倍となるが、メモリアクセス数は約 1/3 となり、演算密度（計算量とメモリアクセス数の比）が約 4 倍に向上される。最先端メニーコア環境のアーキテクチャはメモリバンド幅 B と演算性能 F の比が B/F~1/10 となることから、演算密度が高くメモリアクセスが少ないほど処理効率が向上する。
こ れ まで に Plasma Simulator/FX100 （ F=1011GFlops, B=302GB/s, C=12.5GB/s ）、 お よび 、Oakforest-PACS/KNL（F=3046Flops, B=480GB/s, C=12.5GB/s）において、それぞれ 1,280 ノード
まで強スケーリングを確認しているが[7]、今回、Oakforest-PACS 大規模 HPC チャレンジ[9]において 8,192 ノードまでの強スケーリングを評価した。ここで、F、B、C はそれぞれ 1 ノードあたりの演
算性能、メモリバンド幅、および、通信性能を示す。
Figure 4.2.4-18 に CA-GMRES 法ソルバ（s=20）を組み込んだ GT5D コード全体の性能評価を示す。この性能評価では ITER 規模の重水素と電子を含む 2 成分プラズマを格子数 NR×Nζ×NZ×Nv//×Nv⊥=768×64×768×128×32 で計算し、2,048、4,096、8,192 ノードを用いて強スケーリング性能を評価した。今回のパラメータでは CA-GMRES 法の平均反復回数は約 560 回となり、コード全体の約 7 割のコストを占めている。袖領域通信については袖領域を参照しない中心領域の差分計算とのオーバーラップを実装して通信隠蔽を実現した。差分・陰解法ソルバ（Krylov）のコスト分布を見ると、4,096
ノードまでは袖通信（Halo）のコストは概ね計算処理（Calc）で隠蔽できているが、8,192 ノードでは袖通信がスケールせず、通信隠蔽を行う差分計算のコストより大きくなるため、若干の待ち時間（wait）が発生している。一方、縮約通信（Reduce）のコストはどのノード数でも全体コストの 5%以下に抑制できた。この結果、2,048 ノードの処理時間を基準として、4,096 ノードで 1.73 倍、8,192
ノードで 2.48 倍の性能向上を達成した。
ポスト「京」は F=2700+Flops, B=1024GB/s, C=6×6.8GB/s となり、Oakforest-PACS とほぼ同様のノード演算性能となることから、Oakforest-PACS はポスト「京」のプロトタイプ機とみなすこと

160

ができる。また、ポスト「京」ではさらに通信性能の向上が期待できることから、今回確認された強スケーリング性能はポスト「京」数万ノードを用いたエクサスケール計算を実行するのに十分な性能であると言える。以上の性能評価により「ポスト「京」プロトタイプ機全系規模の強スケーリング」というエクサスケール計算技術開発の目標を達成できた。

Figure 4.2.4-18. Strong scaling of GT5D with the CA-GMRES (s=20) solver (NR×Nζ×NZ×Nv//×Nv⊥=768×64×768×128×32) from 2,048-8,192 KNLs on the Oakforest-PACS.
（４−２−２−２）In-Situ 可視化システムの SIMD 最適化[10]平成 29 年度に実施された中間評価結果を反映した修正実施計画において、サブ課題間、さらには、
重点課題間で共通基盤技術の展開を図ることを目的として、平成 30 年度よりエクサスケール計算データの可視化技術に取り組む計画が新たに追加された。これを受けて、平成 29 年度に準備研究を実施
し、粒子ベースボリュームレンダリング（PBVR）に基づく In-Situ 可視化システムを最先端メニーコ
ア環境である Oakforest-PACS において構築した[8]。このシステムはスーパーコンピュータ上のシミュレーションに埋め込まれた粒子生成モジュール Sampler、
ユーザ PC 上の可視化モジュール Viewer、
そして、スーパーコンピュータの対話ノードやログインノード上で稼働するデータ転送モジュール
Daemon から構成される。ユーザは Viewer 上で提供される伝達関数合成機（TFS）の GUI を用いて物理値と色・不透明度の関係を定義する伝達関数を含む可視化パラメータを設計し、Daemon を介して Sampler に可視化パラメータを転送する。Sampler は可視化ライブラリ KVS、および、TFS パー
サを用いてシミュレーション実行時に生成される大規模ボリュームデータを小さい可視化用粒子デー
タに変換する。Daemon は粒子データを収集して Viewer に転送し、Viewer 上でそれが対話的に可視化される。この可視化システムの並列性能評価を Oakforest-PACS において実施し、多相流体 CFD コ
ードを用いて約 10 万コアまでの強スケーリングを確認した（Figure 4.2.4-19 右図）。
しかしながら、この性能評価において 2 つの課題が明らかになった。一つ目の課題は比較的少数ノードの処理コスト分布を見ると可視化処理（PBVR）のコストがシミュレーション（Solver）の 3 割程度に達しており、特に、メニーコアによる演算加速環境では可視化処理のコストが無視できなくなっていることである。もう一つの課題は、98,304 コアの大規模並列処理において可視化用粒子データの出力コストがボトルネックとなり、可視化処理のコストがスケールしなくなっていることである。

161

平成 30 年度は最先端メニーコア環境におけるこれらの性能ボトルネックを解決した。
まず、少数ノードにおける可視化処理コストの問題に関しては、詳細な処理性能分析の結果、TFS で多用されている関数翻訳処理が原因であることがわかった。TFS は計算途中のメモリ上のデータを合成して新たなボリュームデータを生成するデータ合成機能や多変量データの可視化で必須となる伝達関数合成機能といった非常に柔軟な可視化機能を提供している。これらの機能はユーザが定義する任意の代数式を関数翻訳処理することによって実現しており、従来の実装ではユーザ PC の GUI で入力された中置記法の代数式をテキストデータとしてスパコン上の Sampler に転送し、Sampler で中置記法の関数翻訳処理が行われていた。しかしながら、Figure 4.2.4-19 左図に示すように、中置記法の関数翻訳処理はテキストデータを扱う再帰的な処理となっているため、SIMD 処理が困難であり、最先端メニーコアプロセッサの性能を引き出すことが難しかった。そこで、SIMD 処理に適した逆ポーランド記法による逐次的な数式翻訳処理を実装した。Figure 4.2.4-19 左図に示すように、新たな実装
では中置記法の代数式をユーザ PC 上で逆ポーランド記法に変換して Sampler に転送する。Sampler
上では SIMD 幅のスタック領域を用意して、逆ポーランド記法の演算子を SIMD 幅の単位で逐次的に処理することによって、SIMD 最適化を実現する。これによって可視化処理を 14.4 倍加速することに成功した。
次に、大規模並列処理の可視化用粒子データ出力に関しては、従来の実装ではデータ出力に伴う通信処理を回避するために MPI プロセスあたり 1 ファイルを POSIX-IO で出力し、それを Daemon によって 1 ファイルに集約していた。しかしながら、この処理方法では大規模並列処理で数千ファイルが同時に生成されるため、ファイルシステムのメタデータサーバが高負荷となり、データ出力関数の応答が遅延するものと推測される。実際に Figure 4.2.4-19 右図の性能評価では、可視化用粒子データの全体サイズは変わらないのに 1,536 コア（24MPI プロセス）では 0.09s であったデータ処理のコスト
が 98,304 コア（1,536MPI プロセス）では 0.68s まで増大していた。この問題を回避するために、
C++11 以降で利用可能な std::thread によるタスク並列処理を利用して非同期 IO スレッドを Samplerに実装した。この IO スレッドはシミュレーションコード側で生成される OpenMP や pthread のスレ
ッドと干渉することなく実装できるため、シミュレーション側のプログラム修正無しに非同期 IO を実現できる。この非同期 IO により IO 処理のコストをシミュレーション処理の背後に隠蔽することが可能となった。上記の改良を適用して In-Situ 可視化システムの強スケーリングを再評価した結果、可視化処理（PBVR）のコストをシミュレーション（Solver）の 2%以下に抑制できた。以上の成果により、「エクサスケール計算データの可視化解析技術を開発する」という目標を達成した。今後、サブ
課題間、さらには、重点課題間での成果展開に向けて汎用インターフェースを整備し、ツールを公開
する。

162

Figure 4.2.4-19. Left shows SIMD-aware optimization of a function parser used in the In-Situ
visualization system based on Particle-Based Volume Rendering (In-Situ PBVR). Right shows astrong scaling test of the In-Situ PBVR on the Oakforest-PACS.
参考文献
Y. Idomura, H. Urano, N. Aiba, and S. Tokuda, “Study of ion turbulent transport and profile
formations using global gyrokinetic full-f Vlasov simulation”, Nucl. Fusion 49, 065029 (2009).
V. Grandgirard et al., “A 5D gyrokinetic full-f global semi-Lagrangian code for flux-driven ion
turbulence simulations”, Comput. Phys. Commun. 207, 35 (2016).
Y. Asahi, G. Latu, T. Ina, Y. Idomura, V. Grandgirard, and X. Garbet, “Optimization of fusion
kernels on accelerators with indirect or strided memory access patterns”, IEEE Trans. Para. Dist.
Sys. 14, 1 (2016).
M. Hoemmen, “Communication-Avoiding Krylov Subspace Methods”, Ph.D. dissertation, EECS
Dept., U.C. Berkeley, 2010.
A. Mayumi, Y. Idomura, T. Ina, S. Yamada, and T. Imamura, “Left-Preconditioned
Communication-Avoiding Conjugate Gradient Methods for Multiphase CFD Simulations on the
K Computer”, In: Proceedings of the 7th Workshop on Latest Advances in Scalable Algorithms
for Large-Scale Systems. ScalA ’16, Piscataway, NJ, USA, IEEE Press (2016) 17–24.
Y. Idomura, T. Ina, A. Mayumi, S. Yamada, T. Imamura, “Application of a preconditioned
Chebyshev basis communication-avoiding conjugate gradient method to a multiphase thermalhydraulic CFD code”, Lecture Notes in Computer Science 20776, 257 (2018).
Y. Idomura, T. Ina, A. Mayumi, S. Yamada, K. Matsumoto, Y. Asahi, and T. Imamura,“Application of a communication-avoiding generalized minimal residual method to a gyrokinetic
five dimensional Eulerian code on many core platforms”, Proceedings of 8th Workshop on Latest
Advances in Scalable Algorithms for Large-Scale Systems, Denver, CO USA, November 2017
(ScalA’17)
T. Kawamura, T. Noda, Y. Idomura, “Performance Evaluation of Runtime Data Exploration
Framework based on In-Situ Particle Based Volume Rendering”, Supercomputing Frontiers andInnovations 4, 43-54 (2017).
井戸村泰宏、他、平成30年度Oakforest-PACSスーパーコンピュータシステム大規模HPCチャレンジ「大163

規模原子力流体コードの性能評価」(2018).

河村拓馬、井戸村泰宏、“In-Situ PBVR の SIMD 最適化”、第 46 回可視化情報シンポジウム、9 月
14-16 日、東京 (2018).
（５）実証研究と ITER 物理課題検討（５−１）JT-60、LHD 実験に関する実証研究（５−１−１）トカマク装置に関する実証研究
乱流輸送に関しては、GKV を用いて平成 28 年度に JT-60U 実験[1]や米国の DIII-D 実験[2]に対する熱輸送の定量的比較を実施してきたが、平成 29 年度には JT-60U 実験を対象とする粒子輸送の解析に着手し、微視的不安定性の線形解析結果に基づく準線形輸送モデルの妥当性を検証した[3]。平成
30 年度はさらに局所的乱流輸送解析の準線形輸送モデルを広範なパラメータに適用し、この計算結果
を機械学習によってモデル化する新たな技術を開発した[4]。
乱流輸送の実証研究に関するもう一つの課題として、プラズマ圧力が高い高性能炉心プラズマで問題となる電磁乱流の研究に着手し、平成 29 年度はマルチスケール電磁乱流の新しい飽和機構を解明した[5]。平成 30 年度はこれをさらに発展させて JT-60SA 装置の実形状磁場を用いた電磁乱流を実施
し、電磁的乱流に対する磁場形状効果を明らかにした[6]。
一方、高エネルギー粒子閉じ込め解析に関しては、平成 29 年度は MEGA におけるマルチフェーズ
計算法を JT-60U 実験の解析に適用して、ハイブリッドモデルのみを用いる従来の高コスト計算との精度検証を実施し、マルチフェーズモデルにより長時間シミュレーションの計算コストを大幅に削減できることを示した[7]。平成 30 年度はマルチフェーズ計算法を JT-60U 実験で観測されたアルフベ
ン固有モードが突発的に大振幅に成長する現象（ALE）に適用して、ALE の発生時間間隔や ALE に伴う高速イオン損失の再現に成功した[8]。
（５−１−２）LHD に関する実証研究
乱流解析に関しては、GKV を用いた実証研究が進展しており、水素プラズマにおける熱輸送に関しては平成 29 年度までに従来モデルによる実証研究を完了した[9]。平成 30 年度はこの実証研究で課題となった、温度勾配の計測誤差の影響について、統計的手法に基づく合理的な誤差推定手法を確立し、実証研究の定量性を向上した[10]。
多種イオン系の乱流輸送解析に関連する実証研究としては、平成 29 年度に水素プラズマと重水素プ
ラズマの閉じ込め特性の違いをもたらす水素同位体効果の実証研究に着手し、重水素プラズマにおける捕捉電子モード乱流の抑制効果を示した[11]。平成 30 年度は LHD 実験データを用いた解析を実施
し、実験的に観測されている重水素プラズマの閉じ込め改善傾向を示した[12]。また、不純物輸送の関連する実証研究としては、平成 29 年度にヘリウムと炭素を不純物として含む水素プラズマの粒子輸
送解析に着手し、温度勾配に対する各粒子種の粒子輸送特性を解析した[13]。平成 30 年度はさらに不純物密度勾配に対する粒子輸送特性を解析するとともに、準定常密度分布の維持に必要となる乱流輸
送と衝突性輸送の釣り合い条件の検討に着手した[14]。
一方、高エネルギー粒子閉じ込め解析に関しても、MEGA を用いた実証研究が進展しており、平成
29 年度には LHD で実験的に観測されるアルフベン固有モードの周波数やモード構造を再現するとと164

もに[15]、LHD で観測された高エネルギー粒子駆動測地線音響モード（EGAM）と呼ばれる異なるタ
イプの MHD モードについても、非線形飽和機構を解明した[16]。平成 30 年度は熱イオンの運動論的効果による MHD 不安定性の安定化[17]と EGAM を媒介とする高速イオンから熱イオンへのエネル
ギー移送[18]を実証した。
（５−２）ITER 物理課題検討に関わる解析
国際トカマク物理活動（ITPA）「輸送と閉じ込め」に関する課題グループ会合に参加し、機械学習を応用した局所的乱流解析のデータベースをモデル化した新しい輸送モデルの JT-60U 実験データに対する実証研究[19-21]に関する成果発表を行うとともに、ITER 物理課題検討の重要課題となっている
不純物輸送に関して、GT5D を用いた衝突性輸送と乱流輸送の相互作用に関する物理機構[22]、および、タングステンの衝突性輸送に関する精度検証[23]に関する成果発表を行った。
国際トカマク物理活動（ITPA）「高エネルギー粒子物理」に関する課題グループ会合に参加し、熱イオンの運動論的効果を考慮した MEGA の拡張に関する成果発表を行うとともに[24]、ITER 物理検討
課題に関する情報を収集した。また、ITER 物理課題検討の重要課題として、ITER 運転シナリオの検討で問題となっている電流立ち上げフェーズにおいて励起される可能性がある磁気再結合不安定性とそれに伴う高速イオン輸送の評価を行った[25]。
参考文献
M. Nakata, M. Honda, M. Yoshida, H. Urano, M. Nunami, S. Maeyama, T. –H. Watanabe, and H.
Sugama, “Validation studies of gyrokinetic ITG and TEM turbulnece simulations in a JT-60U
tokamak using multiple flux matching”, Nucl. Fusion 56, 086010 (2016).
M. Yoshida, G. R. McKee, M. Murakami, B. A. Grierson, M. Nakata, et al., “Magnetic shear
effects on plasma transport and turbulence at high electron to ion temperature ratio in DIII-D
and JT-60U plasmas”, Nucl. Fusion 57, 056027 (2017).
E. Narita, M. Honda, M. Yoshida, N. Hayashi, H. Urano, and S. Ide, “Effects of toroidal rotation
on electron heat transport via changes in inertial force and impurity density”, Plasma Phys.
Control. Fusion 59, 044012 (2017).
E. Narita, M. Honda, M. Nakata, M. Yoshida, H. Takenaga, and N. Hayashi, “Gyrokinetic
modelling of the quasilinear particle flux for plasmas with neutral-beam fuelling”, Plasma Phys.
Control. Fusion 60, 025027 (2018).
S. Maeyama, T.-H. Watanabe, and A. Ishizawa, “Suppression of Ion-Scale Microtearing Modesby Electron-Scale Turbulence via Cross-Scale Nonlinear Interactions in Tokamak Plasmas”,
Phys. Rev. Lett. 119, 195002 (2017).
西岡賢二、前山伸也、相羽信行、本多充、仲田資季、渡邉智彦、“JT-60SA に向けた電磁的微視的不安定性の局所パラメータ依存性解析”、第 74 回日本物理学会年次大会 (2019).
A. Bierwage, Y. Todo, “Benchmark of multi-phase method for the computation of fast ion
distributions in a tokamak plasma in the presence of low-amplitude resonant MHD activity”,
Comput. Phys. Commun. 220, 279 (2017).

165

A. Bierwage et al., “Simulations tackle abrupt massive migrations of energetic beam ions in atokamak plasma”, Nature Communications 9, 3282 (2018).
A. Ishizawa et al., “Multi-machine analysis of turbulent transport in helical systems via
gyrokinetic simulation”, Nucl. Fusion 57, 066010 (2017).
M. Nunami, M. Nakata, S. Toda, A. Ishizawa, R. Kanno, and H. Sugama, “Simulation studies ontemperature profile stiffness in ITG turbulent transport of helical plasmas for flux-matching
technique”, Physics of Plasmas 25, 082504 (2018).
M. Nakata, M. Nunami, H. Sugama, and T.-H. Watanabe, “Isotope Effects on Trapped-ElectronMode Driven Turbulence and Zonal Flows in Helical and Tokamak Plasmas”, Phys. Rev. Lett.
118, 165002 (2017).
M. Nakata, K. Nagaoka, K. Tanaka, H. Takahashi, M. Nunami, S. Satake, M. Yokoyama, F.
Warmer and the LHD Experiment Group, “Gyrokinetic microinstability analysis of high-Ti andhigh-Te isotope plasmas in Large Helical Device”, Plasma Physics and Controlled Fusion 61,
014016 (2019).
M. Nunami, M. Sato, M. Nakata, S. Toda, H. Sugama, M. Yokoyama and H. Yamaguchi, “Impactsof External Momentum Torque on Impurity Particle Transport in LHD”, Plasma and Fusion
Research 12, 1203039 (2017).
M. Nunami, M. Nakata, M. Sato, S. Toda, H. Sugama, H. Yamaguchi, and M. Yokoyama,“KINETIC SIMULATION STUDIES ON MULTI-ION-SPECIES PLASMA TRANSPORT IN
HELICAL SYSTEMS”, Proc. 27th IAEA-FEC (Ahmedabad, India, 22–27 October 2018) [TH/P68].
Y. Todo, R. Seki, D. A. Spong, H. Wang, Y. Suzuki, S. Yamamoto, N. Nakajima, M. Osakabe,“Comprehensive magnetohydrodynamic hybrid simulations of fast ion driven instabilities in a
Large Helical Device experiment”, Phys. Plasmas 24, 081203 (2017).
H. Wang, Y. Todo, T. Ido, Y. Suzuki, “Chirping and sudden excitation of energetic-particle driven
geodesic acoustic modes in a Large Helical Device experiment”, Phys. Rev. Lett. 120, 175001(2018).
M. Sato and Y. Todo, “Ion kinetic effects on MHD instabilities in high beta LHD plasmas”, Proc.
27th IAEA-FEC (Ahmedabad, India, 22–27 October 2018) [TH/P5-25].
H. Wang et al., “Simulations of two types of energetic particle driven geodesic acoustic modes
and the energy channeling in the Large Helical Device plasmas”, Proc. 27th IAEA-FEC(Ahmedabad, India, 22–27 October 2018) [TH/P2-11].
E. Narita, M. Honda, M. Nakata, M. Yoshida, H. Takenaga, and N. Hayashi, “Density profile
prediction using the neural-network-based particle transport model”, 20th International
Tokamak Physics Activity (ITPA) Transport and Confinement Topical Group Meeting, 9-11 April,
Daejeon, Korea (2018).
E. Narita, M. Honda, M. Nakata, M. Yoshida, H. Takenaga, and N. Hayashi, “Dependence ofdensity peaking on particle pinch in JT-60U H-mode plasmas”, 21st International Tokamak

166

Physics Activity (ITPA) Transport and Confinement Topical Group Meeting, 17-20 Sep., St. Paullez-Durance, France (2018).
E. Narita, M. Honda, M. Nakata, M. Yoshida, H. Takenaga, and N. Hayashi, “Neural networktransport model based on GKW and JT-60U plasmas”, 22nd International Tokamak Physics
Activity (ITPA) Transport and Confinement Topical Group Meeting, 25-27 March, Austin, USA(2019).
Y. Idomura, “Enhancement of neoclassical impurity transport by a geodesic compression effectin full-f gyrokinetic simulations”, 20th International Tokamak Physics Activity (ITPA) Transportand Confinement Topical Group Meeting, 9-11 April, Daejeon, Korea (2018).
K. Obrejan and Y. Idomura, “Numerical study of neoclassical impurity transport using the code
GT5D”, 22nd International Tokamak Physics Activity (ITPA) Transport and Confinement TopicalGroup Meeting, 25-27 March, Austin, USA (2019).
Y. Todo, H. Wang, and M. Sato, “A new magnetohydrodynamic hybrid simulation model withthermal and energetic ions”, 20th International Tokamak Physics Activity (ITPA) Topical Groupon Energetic Particles Meeting, 23-25 May, St. Paul-lez-Durance, France (2018).
A. Bierwage et al., “Reconnecting instabilities in JT-60SA during current ramp-up with off-axis
N-NB injection”, Plasma Phys. Control. Fusion 61, 014025 (2019).
（６）開発コードの普及および人材育成
核融合プラズマにおける乱流輸送研究において、理論研究のためだけでなく、実験結果の解析においても、ジャイロ運動論的シミュレーションは今や必須のツールとなってきた。その必要性は、実験データ解析に携わる研究者においても認識されており、本課題で開発を進めている GKV の普及のため
核融合科学研究所において講習会を開催してきた。平成 30 年度は、平成 31 年 1 月 17 日（木）に第3 回講習会を開催した。この講習会は、コードに関する概略についての説明だけでなく、参加者が各
自のパソコンを持参し、核融合科学研究所の LHD 数値解析システム共同研究のサポートのもと、スーパーコンピュータを使った実習を行う点に特徴がある。簡単なコードの説明から、パラメータ設定、
平衡配位の入力、ジョブ実行、結果の確認、などの一連のシミュレーションの流れについて実践的な講習を行った。核融合科学研究所の実験研究者を含め合計 14 名の参加者があった。また、オープンソース化した GKV のバージョンアップを行い、最新版を上記講習会で活用した。講習会で使用した資料と新バージョンの GKV は web ページ[1]において順次公開する予定である。
参考文献[1] http://www.p.phys.nagoya-u.ac.jp/gkv/

167

４-２-５．プロジェクトの全体推進＜再委託機関：学校法人立教学院立教大学、国立研究開発法人物質・材料研究機構＞（１）研究成果の要旨
平成 30 年度は、プロジェクト全体ならびに各サブ課題で掲げる目標の妥当性確認のための諮問委員会の開催や、より確実な成果創出のための管理の仕組みを構築するとともに、共通基盤技術としてマルチフィジクス連成と V&V およびマルチスケール連携と V&V、大規模行列計算・データ可視化に関する連携を推進するとともにコデザインを推進し、本重点課題のターゲットアプリケーションである
ADVENTURE については 35 倍以上の成果を得た。コデザインの詳細については、本項（６）コデザ
インを参照されたい。
（２）プロジェクト全体の管理・効率化
平成 30 年度も引き続き実施機関内に課題推進事務局を設置し、4 つのサブ課題における共通的業務の推進支援を担わせた。諮問委員会を開催し（平成 30 年 5 月 23 日、12 月 5 日・10 日）、研究開発項目のブラッシュアップと進捗管理の徹底をはかるとともに、プロジェクトで得られた成果の積極的な公開のためホームページの更新につとめた。また第 3 回となるシンポジウムを平成 30 年 10 月に開催
し、アプリケーションのハンズオンセミナー・講習会・ワークショップを開催するなど、アウトリー
チ活動を推進した。
なお、
これまでのアプリケーション普及活動等の実績を Table4.2.5-1 にまとめた。
Table4.2.5-1 Outreach activities
No.
1

2

タイトル

開催日

重点課題⑥⑧ 第 1 回 HPC ものづくり統合
ワークショップ
重点課題⑥

革新的クリーンエネルギーシ

ステムの実用化 第 2 回シンポジウム

2017/9/12

場所
東京大学生産技術
研究所

参加者
80

2017/10/25

東京大学弥生講堂

143

2017/11/21

姫路商工会議所

50

Plasma Conference 2017、シンポジウム「ポ3

スト京に向けたプラズマシミュレーション
の新展開」

4

第 2 回 GKV 講習会

2017/12/15

核融合科学研究所

205

第 1 回東京ハンズオン ABINIT-MP 講習会

2018/2/23

RIST 東京事務所

10

6

7

ADVENTURE プロジェクト 20 周年記念シンポジウム
IEA Wind Task31 シンポジウム

2018/3/20

2018/4/17168東京大学大学院工学系研究科
東京大学生産技術
研究所

90

70

4th US-Japan Joint Institute for Fusion
8

Theory Workshop on "Innovations and co-

2018/7/30-

designs of fusion simulations towards

31

プリンストン大学

30

extreme scale computing"910

重点課題⑥⑧ 第 2 回 HPC ものづくり統合
ワークショップ
重点課題⑥

革新的クリーンエネルギーシ

ステムの実用化 第 3 回シンポジウム

2018/9/26

東京大学生産技術研究所

80

2018/10/23

東京大学弥生講堂

134

11

第 3 回 GKV 講習会

2019/1/17

核融合科学研究所

1012

第 2 回東京ハンズオン ABINIT-MP 講習会

2019/3/27

RIST 東京事務所

1013

第 1 回 FMO-DPD/FCEWS セミナー

2019/3/27

RIST 東京事務所

10（３）マルチフィジックスシミュレーション基盤の構築
革新的クリーンエネルギーシステムの実例である石炭ガス化炉（サブ課題 A）と大規模洋上風車の大規模並列マルチフィジクス解析（サブ課題 C）の実施補助のため、並列カプラ REVOCAP_Couplerを用いて並列熱伝導解析コード ADVENTURE_Thermal と並列燃焼解析コード FFR-Comb の双方向連成解析を、並列構造解析コード ADVENTURE_Solid と並列流体解析コード FFB の双方向連成解
析をそれぞれ「京」コンピュータで行えるようにマルチフィジックスシミュレーション基盤の構築作業を進めてきた。本年度は主に並列カプラ REVOCAP_Coupler の機能拡張と、「京」コンピュータ上でのオンライン双方向連成解析を行うためのワークフローを確立した。
大規模洋上風車の大規模並列マルチフィジクス解析については、FFB による非定常流体解析で得られた構造物表面の流体力を REVOCAP_Coupler を使って並列構造解析コード ADVENTURE_Solidの表面力境界条件に変換するための変換ユーティリティを開発し、機能拡張を行った。本件については本成果報告書４－２－３（４）の項目において詳細を記載した。また、昨年度開発した MPI 版
REVOCAP_Coupler については石炭ガス化炉でのテストを開始し、正常に連成解析が動作することを確認した。Figure4.2.5-1 はオンライン双方向連成の実行プロセスのイメージを表したものである。
REVOCAP_Coupler で 19、流体モジュール FFR_Comb で 24、構造モジュール ADV_Thermal で 4、計 47 プロセスで実行した。
計算結果の確認は FFR_Comb から ADV_Thermal へ流入する熱量と、解析結果で得られた温度変化を比較することにより行った。実施した計算結果を Figure4.2.5-2 に示す。各節点で得られた流入
熱量 Qi を構造側連成面節点数で積算し、全ステップの平均をとって平均総流入熱量∑ 𝑄𝑄𝑖𝑖 = 1.30 ×

105 (mJ/s)を得た。構造モデルの体積、密度および比熱から計算される構造モデル熱容量は 2.91(mJ/K)

である。 したがって平均総流入熱量と熱容量から得られる温度変化は 447K の上昇が見込まれることとなる。双方向連成計算で得られた構造側の温度はおよそ 482℃（755K）であり、初期温度 300K からの温度上昇は 455K であることから、解析の結果は概ね整合しているとみなせる。このオンライン
連成試計算により、両コード間で物理量データの受け渡しが適切に行われていることを確認し、同時169

に「京」コンピュータ上での双方向連成解析を行うための詳細なワークフローを確立した。

Figure4.2.5-1. Execution process overview

170

Figure4.2.5-2. Thermal distribution in structure and fluid model（４）マルチスケールシミュレーション基盤の構築
全体推進におけるマルチスケールシミュレーションは、サブ課題 B におけるフラグメント分子軌道（FMO）計算と散逸粒子動力学（DPD）を連携させた FMO-DPD 法の開発と応用と密接に関連している。サブ課題 B 分で既述のところは省き、FMO の計算エンジンである ABINIT-MP[1]の機能強化・改良についてまず述べる。
平成 30 年度の作業で、ABININIT-MP の Open シリーズは「計算工学ナビ」で告知[2]しているように、Ver. 1 の Rev. 10 から Rev. 15 に進化した。Rev. 15 では、JST-CREST プロジェクトの中で望月が以前に開発した多電子理論のモジュール[3]を再移植して、通常の FMO 計算で使う 2 次摂動（MP2）計算との比較参照が可能となった。これが一つ目の機能追加である。Table 4.2.5-2 には、水分子の環状クラスターの水素結合の安定化エネルギーを MP2 から高次の電子相関理論までで計算した結果を示す。CCSD(T)や BD(T)は最も信頼性の高い理論であるが、それらの値に比べると MP2 の値は若干過大評価気味であることが見てとれる。高次計算のコストは MP2 に対して桁違いに大きくなるので「気軽に」適用するのは難しいが、ベンチマーク的計算までが自己完結でできるようになった。

171Rev. 15 の二つ目の新しい特徴は、sp2 混成炭素（BDA）でのフラグメント分割を可能とする機能で、機能性分子の 2 重結合部での切断、タンパク質のアミノ酸残基間のペプチド結合での直截な分割がサポートされた。実は、通常の FMO の計算ではペプチド結合ではなく、一つ横の側鎖が結合した Cα炭素で分割されているが、ペプチド結合部のカルボニル酸素が相互作用に寄与する場合、アミノ酸残基の帰属がずれる問題[4]があった。今回、部分的に 3 体のフラグメント展開を導入して精度を担保しつつ、ペプチド結合での切断が達成できた（論文として 2019 年 8 月頃発表予定）。精度のテストとして、基本のハートリーフォック（HF）レベルで 10 残基の人造タンパク質 Chignolin の 18 個の構造を計算した結果を Figure4.2.5-3 にエネルギーの誤差、Figure 4.2.5-4 にエネルギー微分（力）の誤差として示すが、sp2 炭素で切断しても 3 体補正（FMO3SL）を施せば精度が保持されることが確認される。
三つ目の機能は、局所応答分散（LRD）[5]によるファンデルワールス力に起因する安定化エネルギ
ーの算定で、HF 計算での電子密度から+D として補正される。Figure 4.2.5-5 は、アルゴン原子間のポテンシャルエネルギー曲線（FMO は無し）であり、局所的な分極を表現する多重極の次数を上げていくと安定化が深まることがわかる。現在、+D 補正による FMO 相互作用エネルギーの評価を行いつ
つあり、MP2 計算を代替できるかどうかは未だ確定ではないが、利用者が実験的に使われる場合もあるので提供することにした。
LRD では一部の計算で数値積分を用いているが、そのルーチンは SMASH プログラム[6]のものを転用させていただいている。SMASH の作者は 2019 年 3 月まで重点課題⑤の研究員（分子科学研究所所属）であった石村和也氏である。密度汎関数（DFT）、有効内殻ポテンシャル（ECP）などの他のルーチンも SMASH からの ABINIT-MP への移植が進んできており、これは重点課題⑥－⑤間の連携の中で進められてきたことを明記しておきたい。なお、DFT や ECP の機能は、Ver. 2 のシリーズの中で提供される。
次に、重点課題⑥サブ課題 B で開発している FCEWS/FMO-DPD、および同全体推進で開発している ABINIT-MP の普及を狙って実施したハンズオンセミナーについて記したい。RIST との共催で、2019 年 3 月 27 日に東京 RIST 事務所にて午前中に FCEWS のセミナー（奥脇弘次氏と共に）、午後に ABINIT-MP Ver. 1 Rev. 15 のハンズオンセミナー（星薬科大学の福澤薫先生、みずほ情報総研の加藤幸一郎氏と共に）を行った。様子を Figure 4.2.5-6 に示すが、化学系企業などから各 10 名程の参加があった。アンケートでも好意的な評価がいただけたが、その後 FCEWS と ABINIT-MP の個別利用のご希望を複数の企業からいただいており、バイナリ提供の対応を始めている。
ABINIT-MP の応用計算では、統計的に構造ゆらぎを考慮するために古典的な分子動力学（MD）サンプリングと FMO 計算を組み合わせて、DNA にウラニルイオンが結合した影響を評価した論文[7]を Chem. Comm.誌（インパクトファクター6.3）に出版した。編集者から高い評価が得られ、幸いにも掲載号の表紙を獲得した（Figure 4.2.5-7）。
最後に、数値流体力学（CFD）による 2 次元化翼モデルの可視化シミュレーション結果の深層学習（DL）による解析についてふれる。この研究は平成 29 年度から始め、2018 年の始めには GeForce(GTX750Ti)を 2 枚積んだ専用サーバも利用できるようになり、隠れ層の厚いモデルも扱えるようになって研究開発が進んだ（DL 処理には Keras[8]を利用）。Figure 4.2.5-8 は、非対称翼を含めた場合の渦の剥離の様子をラベル化した図で、学習終了後には状態の遷移も判定できることを確認している。

172

転移学習・ファインチューニングによって学習コストを下げつつ汎化性能を保持する実験にも成功している。さらに、いわゆる生成モデルの試行にも取り組んでおり、Figure 4.2.5-9 は翼モデルの画像を
3 種の生成モデルによって模した画像であり、コストと画像の質のバランスからは変分自動変換（VAE）
が好ましい結果を出している。2019 年度は、画像に対する自動ラベル付けについても取り組む予定である。
Table 4.2.5-2 Stabilization energies of water clusters by various many-body methods(kcal/mol)
MP2
MP3
MP2.5
MP4(DQ)
MP4(SDQ)
MP4(SDTQ)
CCSD
CCSD(T)
CCD
BD
BD(T)

n=2
-7.2
-6.8
-7.0
-6.6
-6.8
-7.0
-6.5
-6.8
-6.5
-6.5
-6.8

n=3
-22.9
-21.2
-22.1
-20.9
-21.3
-22.2
-20.9
-21.7
-20.5
-20.8
-21.7

n=4
-38.3
-35.4
-36.8
-34.8
-35.4
-36.9
-34.8
-36.2
-34.3
-34.7
-36.2

n=5
-49.0
-45.4
-47.2
-44.5
-45.3
-47.1
-44.6
-46.2
-43.9
-44.4
-46.2

Cyclic conformers - MP2/6-31G** geometries (fc)35

FMO2(SP3)

Energy error (kcal/mol)

30

FMO3L

25

FMO3SL

20
15
10
5
0
-5

1

2

3

4

5

6

7

8

9
10
Model

11

12

13

14

15

16

17

18

Figure 4.2.5-3 Energy errors by sp2-BDA fragmentation for Chignolin (18 conformations)0.0014

FMO2(SP3)
FMO3L
FMO3SL

Gradient error (MAE)

0.00120.001
0.00080.00060.00040.0002
0

1

2

3

4

5

6

7

8

9
10
Model

11

12

13

14

15

16

17

18

Figure 4.2.5-4 Gradient errors by sp2-BDA fragmentation for Chignolin (18 conformations)173

Binding Energy (kcal/mol)

0.2
0.15
0.1
0.05
0
-0.05

HF

-0.1

HF+D(6)-0.15

HF+D(8)

-0.2
-0.25

HF+D(10)
3

3.5

4

4.5

5

5.5

R (angstrom)

6

6.5

7

Figure 4.2.5-5 HF+D potential energy curves of Ar-Ar (6-31++G** basis set)

Figure 4.2.5-6 Snapshots taken at Hands-on seminar (2019/3/27) of FCEWS/FMO-DPD (left) andABINIT-MP (right)

Figure 4.2.5-7. Cover art by paper published in Chemical Communications (RSC): Interactions
between DNA and uranyl ion were analyzed by MD and FMO calculations
174

Figure 4.2.5-8 Labels of vortex situations around 2-dimensional wing model

Figure 4.2.5-9 Generated vortex graphics: U-net (left), VAE (center) and DC-GAN (right)

参考文献[1] "Electron-correlated fragment-molecular-orbital calculations for biomolecular and nano systems",
S. Tanaka, Y. Mochizuki, Y. Komeiji, Y. Okiyama, K. Fukuzawa, Phys. Chem. Chem. Phys., 16(2014) 10310-10344.
[2] <http://www.cenav.org/abinit-mp-open_ver-1-rev-15/>.
[3] "Higher-order correlated calculations based on fragment molecular orbital scheme", Y. Mochizuki,
K. Yamashita, T. Nakano, Y. Okiyama, K. Fukuzawa, N. Taguchi, S. Tanaka, Theor. Chem. Acc.
130 (2011) 515.
[4] "Antigen–antibody interactions of influenza virus hemagglutinin revealed by the fragment
molecular orbital calculation", A. Yoshioka, K. Takematsu, I. Kurisaki, K. Fukuzawa, Y. Mochizuki,
T. Nakano, E. Nobusawa, K. Nakajima, S. Tanaka, Theor. Chem. Acc. 130 (2011) 1197–1202.
[5] "Density functional method including weak interactions: Dispersion coefficients based on the local
response approximation", T. Sato, H. Nakai, J. Chem. Phys. 131 (2009) 224104-1.
[6] <http://smash-qc.sourceforge.net/>.
[7] "Destabilization of DNA through interstrand crosslinking by UO22+" A. Rossberg, T. Abe, K.
Okuwaki, A. Barkleit, K. Fukuzawa, T. Nakano, Y. Mochizuki, S. Tsushima, Chem. Comm., 55
175

(2019) 2015-2018.
[8] <https://github.com/keras-team/keras>.
（５）大規模行列計算・データ可視化に関する連携
大規模行列計算に関するサブ課題 B、D 連携については、サブ課題 B における課題（固体酸化物形
燃料電池の電解質－電極界面構造の最適化）でみられる行列を対象として、サブ課題 B および D がこれまでに開発してきた行列ソルバを適用し、その収束特性を比較した。その結果、サブ課題 D の行列
ソルバを適用することで、2～3 倍程度の高速化が期待できることが示された。
Figure4.2.5-10 に問題設定の概要を示す。サブ課題 B では、イオン輸送の促進を目的として、電解質―電極界面構造の最適化を試みている。イオン輸送は反応拡散方程式で表現される。なお、拡散係
数は電解質と電極で 10 倍程度異なる。また、反応を表現するソース項は、今回の検討では考慮しない。イオン輸送方程式の数値解析には、直交格子上の有限体積法を適用している。そのため、3 次元解析では、7 重対角行列で表現された係数行列をもつ行列問題を解くことになる。なお、行列の固有値の最大値と最小値の比、すなわち、条件数は、電解質と電極の拡散係数の比に比例することが知られている。したがって、拡散係数比が大きくなると、行列の収束特性が悪化することが懸念される。
今回は、燃料電池分野での応用で想定される条件として拡散係数比 10 倍を仮定した。

Anode (transparent)Electrolyte (gray)

Figure4.2.5-10 Computational domain used for the comparison study of the matrix solvers. The
transport of oxide ion from the electrolyte (shown in gray) to the anode (transparent) is considered.
Figure4.2.5-11 はサブ課題 B およびサブ課題 D の行列ソルバを適用したときの収束特性の比較である。それぞれ、N=32、 64、 128（N:1 辺あたりの格子数）の 3 ケースの結果を示す。横軸は各ソル
バの反復回数、縦軸は各反復時における残差である。なお、サブ課題 D のソルバは CG 法（前処理：
D-ILU を用いたブロックヤコビ）、サブ課題 B のソルバは BiCGSTAB 法（前処理：Red-Black GaussSeidel 法、4 回）に基づいたものである。図からは、サブ課題 D のソルバの方が、収束までに要する反復数が 4 倍程度多くなっていることがわかる。これは、サブ課題 B のソルバでは、前処理で RBGS法を 4 回適用しているためと思われる。なお、計算時間については、サブ課題 B のソルバの方が、23 倍程度長いことを確認している。これは、前処理の回数に加え、ソルバの基本部分（つまり、BiCGSTAB 法）の 1 反復辺りの演算時間が長いためと思われる。また、サブ課題 D のソルバの方が、コードのチューニングが進んでいることも一因と考えられる。一方で、N を変化させた時の収束特性については、両者に大きな違いは見られない。いずれのソルバにおいても、残差を一定の基準まで減176

少させるには、N に比例した反復回数が必要であることが予想される。
今後は、両ソルバの計算時間の詳細なプロファイリングを実施した上で、より大きな規模の条件（N=O(10^3)）で比較検討を進める予定である。

(a) Sub. D solver (CG with D-ILU block Jacobi(b) Sub. B solver (BiCGSTAB with 4x Red-Black

preconditioner)

Gauss-Seidel preconditioner)

Figure4.2.5-11 Comparison of the convergence properties of the matrix solvers developed in Sub. Dgroup and Sub. B group. The history of residual in L2 norm is plotted against the number of
iterations.
（６）コデザインの推進
重点課題⑥では ADVENTURE をターゲットアプリケーションとしてこれまで NDA の下でコデザインに係る活動を行ってきた。今般「ポスト「京」性能評価結果の公開に関するガイドライン」が策定されたことにあわせ NDA 締結者のみに公開してきた「次世代超高速電子計算機システムに関する
コデザイン報告書」から ADVENTURE のコデザイン活動の公開可能部分（「3.9. 重点課題 6
ADVENTURE のコデザイン」）を本報告書に添付し（別添 3）、これまでの活動を報告する。コデザインの結果、ADVENTURE の実行性能は 35 倍以上となった（理化学研究所計算科学研究センターのウェブサイトにて公開：https://postk-web.r-ccs.riken.jp/perf.html）。

177

４－３．活動（研究会等）（１）諮問委員会
年

月 日

行

事

H30.5.23

第 7 回諮問委員会

H30.12.5、10

第 8 回諮問委員会（２）重点課題⑥⑧連携事務局会議（幹事会）
年

月

日

行

事

H30.4.5

第 13 回連携事務局会議（幹事会）

H30.8.6

第 14 回連携事務局会議（幹事会）

H30.11.28

第 15 回連携事務局会議（幹事会）

H31.3.22

第 16 回連携事務局会議（幹事会）（３）重点課題⑥⑧アプリケーション連携開発会議
年

月

日

行

事

H30.5.30

平成 30 年度

第 1 回アプリケーション連携開発会議

H30.11.27

平成 30 年度

第 2 回アプリケーション連携開発会議（５）個別サブ課題会議
サブ課題

年①（サブ課題 A）高圧燃

H30.4.2

連成解析に関する打合せ

焼・ガス化を伴うエネル

H30.5.17

石炭ガス化炉解析に関する打合せ

ギー変換システム

H30.5.18

カプラに関する打合せ

H30.5.21

連成解析に関する打合せ

H30.6.21

石炭ガス化炉解析に関する打合せ

H30.7.9

連成解析に関する打合せ

H30.12.21

連成解析に関する打合せ

H30.5.8

サブ課題 B 研究打合せ

相 流お よび 電極の 超 大 H30.9.3

サブ課題 B 研究打合せ

規 模解 析に よる燃 料 電 H30.12.4

サブ課題 B 研究打合せ②（サブ課題 B）気液二

月

日

行

池 設計 プロ セスの 高 度
化

178

事

③（サブ課題 C）高効率

H30.4.2

洋上風車解析の打合せ

風力発電システム構築のH30.5.25

洋上風車解析の打合せ

ための大規模数値解析

H30.7.31

洋上風車解析の打合せ

H30.4.11

サブ課題 C 全体会議

H30.6.18

連成解析に関する打合せ

H30.10.5

洋上風車解析の打合せ

H30.9.18

風車の FSI 解析打合せ

H30.9.25

風車の FSI 解析打合せ

H30.11.22

洋上風車解析の打合せ

H30.12.25

洋上風車解析の打合せ

H31.3.29

洋上風車解析の打合せ④（サブ課題 D）核融合

H30.6.14

第 1 回サブ課題 D 幹事会

炉の炉心設計

H30.7.18

第 1 回サブ課題 D 開発推進会議

H30.12.7

第 2 回サブ課題 D 開発推進会議

H30.12.25

第 2 回サブ課題 D 幹事会

H31.2.22

第 3 回サブ課題 D 開発推進会議（６）アウトリーチ活動
年

月

日

行

事

H30.4.17

IEA Wind Task31 シンポジウム（東大生研）

H30.7.30-31

4th US-Japan Joint Institute for Fusion Theory Workshop on”Innovations and co-designs of fusion simulations towards extreme
scale computing”（Princeton, USA）

H30.9.26

重点課題⑥⑧ 第 2 回 HPC ものづくり統合ワークショップ

H30.10.12

第6回

材料系 WS

H30.10.23

第3回

重点課題⑥ シンポジウム

H30.11.2

第5回

RIST 成果報告会

H30.11.23

2018 年 R-CCS 一般公開

H30.11.11-16

SC18

H31.1.17

第 3 回 GKV 講習会

H31.2.8

第7回

H31.3.27

第 1 回 FMO-DPD/FCEWS セミナー

H31.3.27

第 2 回東京ハンズオン：ABINIT-MP 講習会

材料系 WS

179

４－４．実施体制
業務項目

担当機関

①（サブ課題 A）高圧燃焼・

国立大学法人東京大学大学院工ガス化を伴うエネルギー変換

学系研究科

担当責任者
教授 吉村忍システム
国立大学法人京都大学教授

国立大学法人九州大学大学院工

准教授

黒瀬良一
渡邊裕章

学研究院
②（サブ課題 B）気液二相流

国立大学法人東京大学生産技術

および電極の超大規模解析に研究所

教授 鹿園直毅

よる燃料電池設計プロセスの高度化

みずほ情報総研株式会社

サイエンスソリューション部・次長

福岡県福岡市西区元岡744番地

准教授

米田雅一
井上元

国立大学法人九州大学大学院工学研究院
学校法人立教学院立教大学理学

教授

望月祐志

部化学科
国立研究開発法人物質・材料研
究機構

国際ナノアーキテクト

ニクス研究拠点180

主任研究員 奈良純

③（サブ課題 C）高効率風力

国立大学法人豊橋技術科学大学教授

国立大学法人九州大学応用力学

准教授

飯田明由

発電システム構築のための大規模数値解析

内田孝紀

研究所
国立大学法人東京大学大学院工

教授

吉村忍

学系研究科
国立大学法人東京大学生産技術准教授

長谷川 洋介研究所
株式会社風力エネルギー研究所

技術部・取締役

今村博④（サブ課題 D）核融合炉の国立研究開発法人日本原子力研

室長

井戸村泰宏

炉心設計

究開発機構システム計算科学セ

大学

教授

渡邉智彦

大学共同利用機関法人自然科学

教授

藤堂泰

教授

吉村忍

教授

望月祐志

ンター
国立大学法人名古屋大学
院理学研究科研究機構核融合科学研究所 ヘ
リカル研究部⑤プロジェクトの全体推進

国立大学法人東京大学大学院工学系研究科
学校法人立教学院立教大学理学部化学科
国立研究開発法人物質・材料研
究機構

国際ナノアーキテクト

ニクス研究拠点

181

主任研究員 奈良純

別添１

サブ課題A：高圧燃焼・ガス化を伴うエネルギー変換システム
サブ課題代表者：吉村忍
1．学会誌・雑誌等における論文掲載
No. 掲載した論文（発表題目）

発表者氏名

発表した場所（学会誌・雑誌名等）

発表した時期

国内・国際の 査読（有りの場
別合○を記入）

1

Numerical investigation of combustion noise in an
open turbulent spray flame

A. L. Pillai, R. Kurose

Applied Acoustics, Vol. 133, pp. 16-27

2018年4月

国際○

2

Numerical simulation of soot formation in pulverizedcoal combustion with detailed chemical reaction
mechanism

M. Muto, K. Yuasa, R. Kurose

Advanced Powder Technology, Vol. 29, pp.
1119-1127

2018年5月

国際○

3

Numerical investigation of flame propagation in fueldroplet arrays

Y. Haruki, A. L. Pillai, T. Kitano, R.
Atomization and Sprays, Vol. 28, pp. 357-388
Kurose2018年6月

国際○

4

Verification and Validation of Dynamic Response
Simulation Codes for BWR Fuel Assemblies Under
Seismic Loading

T. Yamada, S. Yoshimura, Y.
Koide, S. Onitsuka, T. Iijima

International Journal of Pressure Vessels andPiping, Vol. 167, pp. 25-3

2018年11月

国際○

5

Combustion noise analysis of a turbulent spray flameusing a hybrid DNS/APE-RF approach

A. L. Pillai, R. Kurose

Combustion and Flame, Vol. 200, pp. 168-191

2019年2月

国際○

別添１ - 1

別添１

2．学会等における口頭・ポスター発表
No. 発表した成果（発表題目、口頭・ポスター発表の別）

発表者氏名発表した時期

国内・国際の別

燃焼システム用次世代CAEコンソーシアム燃焼解析ワーキンググループ、 理化学研究所

2018年5月

国内

1

燃焼数値シミュレーションの事例紹介、口頭

2

石炭ガス化炉の大規模並列熱伝導・燃焼連成解析, 口 町田健輔、三目直登、宋 柄樹、頭
山田知典、吉村 忍

第23回計算工学講演会、 名古屋(ウインクあいち)

2018年6月

国内

3

Large-eddy simulation employing flamelet approach of R. Kai, K. Takenaka, A. Kishimoto,
ECCOMAS ECCM-ECFD 2018, Glasgow, UK
a transcritical O2/H2 jet flame、口頭
R. Kurose

2018年6月

国際

4

Parallel Simulation of Thermal Conduction in Coal
Gasification Vessel Coupled with Cooling Pipe Model,
口頭

Naoto MITSUME, Byungsoo
SONG, Tomonori YAMADA,
Shinobu YOSHIMURA

13th World Congress in Computational
Mechanics (WCCM2018), New York City, USA

2018年7月

国際

5Partially premixed flamelet in LES of acetone spray
flames、口頭

Y. Hu, R. Kurose

37th International Symposium on Combustion,
Dublin, Ireland

2018年7月

国際

6

Soot formation prediction in a pulverized coal
combustion field by Large Eddy Simulation with TDP
Model、口頭

H. Takahashi, N. Hashimoto, H.
Watanabe, R. Kurose, O. Fujita

37th International Symposium on Combustion,
Dublin, Ireland

2018年7月

国際

7Statistics of reaction progress variable and mixture
fraction gradients of a pulverised coal jet flame using
Direct Numerical Simulation data、口頭

U. Ahmed, C.T. d'Auzay, M. Muto, 37th International Symposium on Combustion,
N. Chakraborty, R. Kurose
Dublin, Ireland

2018年7月

国際

8

DNS and LES of soot formation in oxy-fuel spray
flame: Application of a non-adiabatic
flamelet/progress-variable approach、ポスター

The 16th International Heat Transfer
R. Kai, A. Kishimoto, K. Takenaka,
Conference (IHTC-16), China National
M. Muto, R. Kurose
Convention Center, Beijing, China

2018年8月

国際

9Large-eddy simulation of fluid-structure interaction
for Supercritical CO2 combustor、口頭

Y. Kobayashi1, Y. Iwai1, M. Itoh,
T. Nishiie, R. Kurose

2018年8月

国際

10

詳細反応機構を用いたメタン/空気拡散火炎中のNOx生成に及ぼす水噴霧の影響、口頭

武藤昌也，家田涼平，黒瀬良一，
日本流体力学会年会2018
本澤尚史

2018年9月

国内

11

Visualization of noise generated by turbulent flame、招A. Pillai, R. Kurose
待講演

第46回可視化情報シンポジウム、明治大学

2018年9月

国内

12

石炭ガス化実験炉の燃焼・伝熱・冷却連成シミュレー
ション（口頭）第3回ポスト「京」重点課題⑥シンポジウム、東京大学、東京2018年10月

国内

13

拡張CPDモデルと素反応モデルによる酸素燃焼方式石 チョウイ、 梅本賢、 渡邊裕章、
炭ガス化炉の数値解析、口頭北川敏明

第55回石炭科学会議、 北九州国際会議場

2018年10月

国内

14

3D-1D熱伝導‐冷却管連成モデルの並列解析システム
三目直登、山田知典、吉村 忍の開発, 口頭

日本機械学会第31回計算力学講演会、 徳島
大学 常三島キャンパス(徳島市)

2018年11月

国内

15Large-eddy simulation of turbulent hydrogen flame in a
Y. Hu, R. Kurose
vitiated co-ow、口頭

Fifteenth International Conference on Flow
Dynamics, Sendai, Miyagi, Japan2018年11月

国際

71st Annual Meeting of the American
A. L. Pilllai, T. Murata, T. Ikedo, R.
Physical Society’s Division of Fluid
Masuda, R. Kurose
Dynamics, Atlanta, Georgia

2018年11月

国際

Direct Numerical Simulation of Spray Flame-Wall
16 Interaction under Compression-Ignition Engine
Relevant Conditions、口頭

渡邊裕章

発表した場所（学会名等）

山田知典

The Asian Congress on Gas Turbines 2018
(ACGT2018), Morioka, Japan17

非断熱FGM法を用いた壁面近傍における火炎伝播の数値計算、口頭

甲斐玲央、 竹中健一朗、 黒瀬良 第56回燃焼シンポジウム、堺市産業振興セン
一ター、大阪

2018年11月

国内

18

Use of a hybrid tabulated chemistry in the LES oflifted H2/N2 jet flame with autoignition、口頭

Y. Hu, R. Kurose

第56回燃焼シンポジウム、堺市産業振興セン
ター、大阪

2018年11月

国内

19

噴霧燃焼振動のLarge-eddy Simulation -液体燃料の初期粒径と流量の時間変動の影響-、ポスター

長尾 順、 Abhishek L. Pillai、 粟根 遼、 黒瀬良一

第56回燃焼シンポジウム、堺市産業振興セン
ター、大阪

2018年11月

国内

20

非定常flamelet法を用いたヒドラジン/NTO燃焼の数値 小西健斗、 甲斐玲央、 谷 洋海、 第56回燃焼シンポジウム、堺市産業振興セン
シミュレーション、口頭
大門 優、 黒瀬良一
ター、大阪

2018年11月

国内

21

3-feed拡散燃焼場における準2次元flameletモデルの研究、口頭

Yu Panlong、 渡邊裕章、 黒瀬良 第56回燃焼シンポジウム、堺市産業振興セン
一、 北川敏明
ター、大阪

2018年11月

国内

22

圧縮自着火エンジン内噴霧火炎―壁面相互作用の数 村田拓也、 Pillai Abhishek、 池戸
第32回数値流体力学シンポジウム、東京
隆人、 増田糧、 黒瀬良一
値解析、口頭

2018年12月

国内

23

オイラー・ラグランジュ法を用いたクロスフロー型液体燃中西顕大、 温健、 黒瀬良一
料微粒化現象の数値シミュレーション、口頭

第27回微粒化シンポジウム、岡山

2018年12月

国内

The 1st R-CCS International Symposium,
Kobe, JAPAN2019年2月

国際International Conference on Computational &Experimental Engineering and Sciences(ICCES 2020), Tokyo, JAPAN2019年3月

国際International Conference on Computational &Experimental Engineering and Sciences(ICCES 2021), Tokyo, JAPAN2019年3月

国際International Conference on Computational &Naoto MITSUME, Tomonori
Experimental Engineering and Sciences
YAMADA, Shinobu YOSHIMURA(ICCES 2025), Tokyo, JAPAN2019年3月

国際

Fully Coupled Simulation of Coal Gasification System
24 Using LES based Solver for Combustion and Thermal
Conduction Solver in Vessel

Tomonori Yamada, Naoto
Mitsume, Hiroaki Watanabe,
Ryoichi Kurose, Hideaki Uchida,
Shinobu Yoshimura

Tomonori YAMADA, Yuki
Fluid-structure Interaction Analysis with MinimumYAMAMOTO, Giwon HONG,
height-based Mesh Moving Technique [Semi-Plenary]Shinobu YOSHIMURA
Tomoshi MIYAMURA, Yasunori
Implementation of Combined Ohno-Wang Nonlinear
YUSA, Jun YIN, Kuniaki KOIKE,
26 Kinematic Hardening Model and Norton-Bailey Creep
Takashi IKEDA, Tomonori
Model Using Partitioned Stress Integration Technique
YAMADA
25

27

Parallel Simulation of Thermal Conduction in Coal
Gasification Vessel Considering Cooling Pipes

別添１ - 2

招待講演（○を記入）○

別添１

サブ課題B：気液二相流及び電極の超大規模解析による燃料電池設計プロセスの高度化
サブ課題代表者：鹿園直毅
1．学会誌・雑誌等における論文掲載
発表者氏名発表した場所（学会誌・雑誌名等）

発表した時期

国内・国際の別

査読（有りの場
合○を記入）

1

Elucidation of the Atomic-Scale Mechanism of theAnisotropic Oxidation Rate of 4H-SiC Between the(0001) Si-Face and (000-1) C-Face by Using a New SiO-C Interatomic Potential

So Takamoto, Takahiro Yamasaki,
Takahisa Ohno, Chioko kaneta,
Asuka Hatano, and Satoshi Izumi

J. Applied Physics、123, 185303-1-6 (2018).

2018年5月

国際○

2

A portable code for disspative particle dynamics (DPD)
simulation with additional specific interactions

H. Doi, S. Saitou, K. Okuwaki, T.
Naitou, and Y. Mochizuki*

CBI-J., 18 (2018) pp.70-85

2018年6月

国際◯

3

AIを活用した流体解析シミュレーション技術の開発

小杉範仁、 近藤修司、 秋永宜伸、
機械設計、 2018年7月号、 62 (2018) 42-46
望月祐志

2018年6月

国内

4

RI-MP3 calculations of biomolecules based on the
fragment molecular orbital method

T. Ishikawa, K. Sakakura, and Y.
Mochizuki

2018年9月

国際◯

No. 掲載した論文（発表題目）

5

6

7

J. Comp. Chem., 39 (2018) pp.1970-1978

新庄永治、 奥脇弘次、 土居英男、
X線小角散乱と散逸粒子動力学法を用いた脂質膜および望月祐志、 古石誉之、 福澤薫、 J. Comp. Chem. Jpn., 17 (2018)pp. 172-179
ベシクル形成メカニズムの解明
米持悦生
Theoretical Analyses on Water Cluster Structures in
K. Okuwaki, Y. Mochizuki*, H. Doi,Polymer Electrolyte Membrane by Using Dissipative
S. Kawada, T. Ozawa, and K.
RSC Adv., 8 (2018) pp.34582-34595
Particle Dynamics Simulations with Fragment Molecular
Yasuoka
Orbital Based Effective Parameters
T. Nakano, K. Fukuzawa, Y.
Accuracy of Dimer-ES Approximation on Fragment
Okiyama, C. Watanabe, Y. Komeiji, CBI-J, 18 (2018) pp.119-122
Molecular Orbital (FMO) Method
and Y. Mochizuki

2018年9月

国内◯

2018年10月

国際◯

2018年10月

国際◯

8

FMO計算-粗視化シミュレーション連携手法の開発と応用

奥脇弘次、 土居英男、 望月祐志、
J. Comp. Chem. Jpn., 17 (2018) pp.144-146
小沢拓、 泰岡顕治、 福澤薫

2018年10月

国内◯

9

FMOプログラムABINIT-MPのOakForest-PACS上での多 渡邊啓正、 佐藤伸哉、 坂倉耕太、
J. Comp. Chem. Jpn., 17 (2018)pp. 147-149
齊藤天菜、 望月祐志
層並列化と性能評価

2018年10月

国内◯

APPLIED PHYSICS EXPRESS、11（10）,101304-1-4 (2018).

2018年10月

国際○

Material Processing - Theoretical andExperimental Approach "ECS Transactions"(ECST) Volume 88(1):203-215 (from the ECS
Yonezawa meeting)2018年12月

国際○

2019年1月

国際◯

2019年1月

国内

2019年2月

国内○

2019年2月

国際◯

2019年3月

国際◯First principles modeling of defect free abrupt SiC/SiO2
10interfaces on a- and m-face 4H-SiC
Interface of Hydrated Perfluorosulfonic Acid Electrolyte
11 and Platinum Catalyst: Dissipative Particle Dynamics
Simulation Model

Tomoaki Kaneko, Nobuo Tajima,
Takahiro Yamasaki, Jun Nara,
Tatsuo Schimizu, Koichi Kato, andTakahisa Ohno
Nobuo Tajima, Jun Nara, Takahiro
Yamasaki, Taku Ozawa, Hiroya
Nitta, Kosuke Ohata, Takahisa
Ohno

André Rossberg, Takaya Abe, Koji
Destabilization of DNA through interstrand crosslinking by Okuwaki, Astrid Barkleit, Kaori
Chem. Comm. (DOI: 10.1039/C8CC09329F)
12
Fukuzawa, Tatsuya Nakano, Yuji
UO22+
Mochizuki, Satoru Tsushima

13

FMO計算によるマルチスケールシミュレーション手法の開 望月祐志*、 奥脇弘次、 土居英発と材料開発への応用
男、 小沢拓14

Bond detached atom (BDA)を共有しているフラグメント間の相互作用エネルギーの補正に関する試みII：ラジカル 中野達也, 望月祐志, 福澤薫, 沖山 J. Comp. Aided Chem. 20 (2019) pp.1-6
開裂補正

15 Anomalous carbon clusters in 4H-SiC/SiO2 interfaces

16

Y. Kagoyama, M. Okamoto, T.
Yamasaki, N. Tajima, J. Nara, T.
Ohno, H. Yano, S. Harada, and T.
Umeda

マテリアルズ･インフォマティクスによる材料開発と活用集、 第5章第3節、 技術情報協会

Journal of Applied Physics 125, 065302 (2019)

Repeatable and reproducible formation/rupture of oxygen Sota Hida, Takumi Morita, Takahiro
vacancy filaments in the vicinity of a polycrystalline HfO2 Yamasaki, Jun Nara, Takahisa
AIP Advances 9, 035309 (2019)surfaceOhno, and Kentaro Kinoshita

別添１ - 3

別添１

2．学会等における口頭・ポスター発表

No. 発表した成果（発表題目、口頭・ポスター発表の別）

発表者氏名発表した場所（学会名等）

発表した時期

国内・国際の別招待講演（○を記入）

1

スタック高出力化に向けた触媒活性と物質移動特性の要
米田雅一
求仕様の数値解析

第139回燃料電池研究会セミナー（電気化学会
主催）、東京2018年4月

国内

2

低炭素社会実現のための密度汎関数法に基づいた第一 大野隆央、奈良純、 山崎隆浩、 田
平成29年度地球シミュレータ利用報告会、東京
原理分子動力学シミュレ-ション技術の開発、口頭
島暢夫、 甲賀淳一朗

2018年4月

国内○

3

燃料電池多孔質部材内のメゾスケール反応輸送シミュ
レーションとその応用、口頭

高分子学会 水素・燃料電池材料研究会、 東京

2018年6月

国内○

4

Carbon support effects on pefc performance analyzed by
T. Ohnishi, G. Inoue, M. So, R.
reaction and mass transport simurasition in catalyst layer,
Kotoi, M. Kawase, Y. Tsuge
posterGrand Renewable Energy 2018 Conference、横浜

2018年6月

国際

5

A discrete particle packing model of catalyst layer
formation in polymer electolyte fuel cells, poster

M. So, Y. Tsuge, T. Ohnishi, M.
Ono, G. Inoue

Grand Renewable Energy 2018 Conference、横浜

2018年6月

国際

6

二次元翼周り流れのCFD解析結果のTensorFlowによる自動解釈の試み、口頭伊藤隆登、 齊藤天菜、 土居英男、
計算工学講演会、 名古屋
望月祐志*、 近藤修司

2018年6月

国内

7

DNA-ウラニル系のFMO計算に基づく相互作用解析、ポスター

津島悟、阿部鷹也、奥脇弘次、望月祐志、古明地勇人、福澤薫、中 日本コンピュータ化学会2018年春季年会、 東京
野達也、沖山佳生、三好永作

2018年6月

国内

8

Kerasを使った転移学習の応用事例、ポスター

伊藤雅仁、 伊藤隆登、 齊藤天菜、
日本コンピュータ化学会2018年春季年会、 東京
土居英男、 望月祐志

2018年6月

国内

9

物性測定と粗視化シミュレーションによる脂質二重膜の構造解明、ポスター

新庄永治、 奥脇弘次、 土居英生、
望月祐志、 古石誉之、 福澤薫、 日本コンピュータ化学会2018年春季年会、 東京
米持悦生

2018年6月

国内

10

FMOプログラムABINIT-MPのOakForest-PACS上での多 渡邊啓正、 佐藤伸哉、 坂倉耕太、
日本コンピュータ化学会2018年春季年会、 東京齊藤天菜、 望月祐志
層並列化と性能評価、口頭2018年6月

国内

11

FMO計算-粗視化シミュレーション連携手法の開発と応用、口頭

奥脇弘次、 土居英男、 望月祐志、
日本コンピュータ化学会2018年春季年会、 東京
小沢拓、 泰岡顕治、 福澤薫

2018年6月

国内

12

Hydrated perfluorosulfonic acid electrolyte at platinum
interface: Dissipative particle dynamics simulation、ポス
ター田島暢夫、奈良純、山崎隆浩、小The 16th International Symposium on Polymer
沢拓、新田浩也、大畠広介、大野Electrolytes (ISPE-16), 横浜隆央

2018年6月

国際

13

新庄永治, 奥脇弘次, 土居英男, 望
散逸粒子動力学法シミュレーションを用いた脂質膜構成
月祐志, 古石誉之, 福澤薫, 米持悦 第34回日本DDS学会学術集会、長崎
メカニズムの予測、口頭生

2018年6月

国内

14

電池・電気化学システム設計のための化学工学アプロー
井上 元
チ、口頭

スマートエンジニアリング東京20182018年7月

国内○

12th International Conference on CeramicMaterials and Components for Energy andEnvironmental Applications (CMCEE 2018),
Singapore

2018年7月

国際○

13th World Congress in Computational
Mechanics, New York, U.S.A.

2018年7月

国際

Numerical Simulation of Solid Oxide Fuel Electrodes
15(Oral)

井上 元

Shikazono, N., Jiao, Z. Yan, Z. andHara, S.

16

Development of a Fully Parallelized Code for Phase Field
Onishi, J., Jiao, Z. and Shikazono,
Simulation of Microstructure Evolution in Solid Oxide FuelN.
Cell Electrodes (Oral)

17

Tomographic and Numerical Investigations of Composite
CathodesKim, Y., An, H., Sato, K., Okabe, T.,
5th Asian SOFC Conference, Shanghai China
Taniguchi, J. and Shikazono, N.

2018年8月

国際

18

An adjoint-based optimization method for SOFC
electrodes （Oral)

Onishi, J. and Shikazono, N.

5th Asian SOFC Conference, Shanghai, China

2018年8月

国際

19

Theoretical study on hydrogen atom behavior undergraphene buffer layer grown on SiC substrate、ポスター

奈良純、山崎隆浩、大野隆央

34th European Conference on Surface Scienceorganising committee、Danmark

2018年8月

国際

20Interface of Hydrated Perfluorosulfonic Acid Electrolyte
and Platinum Catalyst: Dissipative Particle Dynamics
Simulation Model、ポスター

田島暢夫、奈良純、山崎隆浩、小First International Conference on 4D materials
沢拓、新田浩也、大畠広介、大野and Systems (4DMS)、米沢隆央

2018年8月

国際

21

A Development of Self-Consistent Density Functional
Program and Its Application to Electronic Structure
Calculations of Semiconductors、ポスター

Tomoyuki Hamada, Takahiro
Yamasaki, and Takahisa Ohno

International Conference on Solid State Devices
and Materials (SSDM-2018)、東京

2018年9月

国際

22

金子智昭、 田島暢夫、 山崎隆浩、
第一原理計算によるa-,m-面上の4H-SiC/SiO2 界面モデ
奈良純、 清水達雄、 加藤弘一、 第79回応用物理学会秋季学術講演会、名古屋
ル構造の構築、ポスター
大野隆央

2018年9月

国内

23

Theoretical Study of Oxygen vacancies in Grain in
Polycrystalline HfO2 Thin Film、口頭

肥田聡太、 森田巧、 山崎隆浩、
奈良純、 大野隆央、 木下健太郎

第79回応用物理学会秋季学術講演会、名古屋

2018年9月

国内

24

First principles study on hydrogen intercalation into
buffer layer grown on SiC(0001) surface、ポスター

奈良純、 山崎隆浩、 大野隆央

The Americas International Meeting on
Electrochemistry and Solid State Science(AiMES 2018)、Mexico

2018年9月

国際

25

電気化学システムにおける物質移動現象とその解析技
術

井上 元

化学工学会第50秋季大会

2018年9月

国内○

26

フラグメント分子軌道(FMO)法のナノバイオ系への応用事
望月祐志*、 加藤幸一郎、 福澤薫 日本生物工学会大会シンポジウム、 大阪
例、口頭2018年9月

国内◯

27

3Dプリント、および複合現実感(MR)による分子モデルの表現、ポスター

望月祐志*、中村昇太、牧村健、藤本賢志、奥脇弘次、福澤薫、工藤 応用物理学会秋期年会2018、 名古屋
光子

2018年9月

国内

28

脂質ベシクル、タンパク質の非経験的粗視化シミュレー
ション、口頭奥脇弘次、 新庄英治、 土居英男、
応用物理学会秋期年会2018、 名古屋
望月祐志、 福澤薫、 米持悦生

2018年9月

国内

29

物性測定と非経験的粗視化シミュレーションによる脂質膜構成メカニズムの解明、口頭

新庄永治, 奥脇弘次, 土居英男, 望
月祐志, 古石誉之, 福澤薫, 米持悦 第27回DDSカンファランス、静岡生

2018年9月

国内

30

FMO法を用いたカルサイト結晶表面とペプチドの相互作
用解析、口頭加藤 幸一郎、福澤 薫、望月祐志

2018年9月

国内

2018年第79回応用物理学会秋季学術講演会,
名古屋

別添１ - 4

○

別添１

31

Macroscopic Modeling of Liquid Water Based on Detailed S. Tanaka, T. Takayama, H. Motegi,
AiMES 2018 ECS and SMEQ Joint International
Two-Phase CFD and Application on Full-Cell Scale
T. Tsukamoto, R. Takayama and M.
Meeting, Cancun, Mexico
YonedaMultiphysics Simulation（口頭）2018年9月

国際

32

Towards full-stack scale simulation of PEFC systemtransient control（口頭）

T. Takayama, H. Motegi, T.
Tsukamoto, R. Takayama, S.
Tanaka and M. Yoneda

AiMES 2018 ECS and SMEQ Joint International
Meeting, Cancun, Mexico

2018年10月

国際

33

Y. Mochizuki*, K. Sakakura, Y.
Development status of ABINIT-MP program in 2018 、ポ
Akinaga, H. Watanabe, K. Kato, K.
スター
Fukuzawa,T. Nakano

CBI conference 2018, Tokyo2018年10月

国内

34

T. Ishikawa, K. Sakakura, Y.
RI-MP3 calculations of biomolecules based on the
fragment molecular orbital method with PAICS、ポスター Mochizuki

CBI conference 2018, Tokyo2018年10月

国内

35

Non-empirical Coarse-grained Simulations for Lipid
Bilayer and Protein、ポスター

K. Okuwaki, E. Shinsho, H. Doi, Y.
Mochizuki, K. Fukuzawa, E.
Yonemochi

CBI conference 2018, Tokyo2018年10月

国内

望月祐志*、 伊東雅仁、 伊藤隆
登、 齊藤天菜、 奥脇弘次、 満野
仁美、 近藤修司

Vinasユーザー会議2018、 東京

2018年10月

国内

第3回ポスト「京」重点課題⑥シンポジウム、東京大学、東京2018年10月

国内

鹿園直毅

第3回ポスト「京」重点課題⑥シンポジウム、東京大学、東京2018年10月

国内

膜電極接合体の構造モデリング － 触媒周りのアイオノ
大野隆央
マー構造 －、口頭

第3回ポスト「京」重点課題⑥シンポジウム、東京大学、東京2018年10月

国内

日本機械学会第9回マイクロ・ナノ工学シンポジ
ウム、札幌市民交流プラザ

2018年10月

国内○

2018年10月

国内○

2018年11月

国際○

2018年11月

国内

2018年11月

国際

36 深層学習と転移学習の応用事例、口頭

37

FMO-DPD連携シミュレーション手法の整備と応用展開、
望月祐志
口頭

38 固体酸化物形燃料電池の電極構造モデリング、口頭
39

40 固体酸化物形燃料電池（SOFC）の課題と展望（口頭）

鹿園直毅

41

電極材料開発と電池デバイス設計の橋渡しとしての各種
井上 元
シミュレーション技術、口頭

42Computer aided technology for porous electrodescience、口頭

43 Ni(110)-c(2x2)S表面におけるグラフェンの成長、口頭Gen Inoue
鷺坂恵介、奈良純、藤田大介

第6回材料系ワークショップ～大規模シミュレー
ションと機械学習の新展開～、東京
2nd International Workshop on Phase Interfaces
for Highly Efficient Energy Utilization, Baltimore
Marriott Inner Harbor at Comden Yard (MD,USA)
2018年 日本表面真空学会学術講演会、神戸
国際会議場

◯

44

Theoretical Study on Oxygen Vacancies in Crystal
Grains in Polycrystalline HfO2 Thin Film、ポスター

45

FMO-DPDを連携したナノ-メゾ双方向解析手法の開発、 奥脇弘次、 土居英男、 望月祐志、
J-OCTAユーザー会議、 東京
ポスター
小沢拓、 泰岡顕治、 福澤薫

2018年11月

国内

46

FMOとDPDを連携したマルチスケールシミュレーション手 奥脇弘次、 土居英男、 望月祐志、分子シミュレーション討論会、 つくば法(FMO-DPD)の開発と先導的応用、ポスター
小沢拓、 泰岡顕治、 福澤薫

2018年11月

国内

47

伊藤雅仁、 齊藤天菜、 伊藤隆登、
2次元モデルのCFD結果の深層学習による解析の試み、
奥脇弘次、 土居英男、 満野仁美、 第32回数値流体力学シンポジウム、 東京口頭
望月祐志*、 近藤修司、 小杉範仁

2018年12月

国内

48

石川雄太郎、 阿部鷹也、 奥脇弘
タイヤゴム素材に関する計算化学的研究の事例紹介、口次、 土居英男、 望月祐志、 福澤
頭薫、 佐藤弘一

高分子基礎物性研究会・高分子計算機科学研究会・高分子ナノテクノロジー研究会、 大阪

2018年12月

国内

2018年度高分子基礎物性研究会・高分子計算
奥脇弘次, 土居英男, 望月祐志, 小
機科学研究会・高分子ナノテクノロジー研究会
沢拓, 泰岡顕治, 福澤薫
合同討論会, 大阪

2018年12月

国内

2018年12月

国際

応用物理学会先進パワー半導体分科会 第12回研究会「SiC MOS 界面の理解」、東京

2018年12月

国内○

Nisshin Engineering Particle Technology
International Seminar (NEPTIS-27)

2018年12月

国内○

2019年1月

国内○

2019年2月

国内○

肥田 聡太、森田 巧、山崎 隆浩、 2019年第66回応用物理学会春季学術講演会、
奈良 純、大野 隆央、木下 健太郎 東京

2019年3月

国内

肥田 聡太、酒井 貴弘、森田 巧、
山崎 隆浩、奈良 純、大野 隆央、
木下 健太郎2019年3月

国内

49 FMO-DPD連携シミュレーション手法の開発と応用、口頭

肥田聡太、 森田巧、 山崎隆浩、
奈良純、 大野隆央、 木下健太郎

The 2018 MRS Fall Meeting、USA

50

Interface Dipole Modulation in HfO2/SiO2 MOS Stack
Structures、口頭

Noriyuki Miyata, Kyoko Sumita,
2018 IEEE International Electron Devices
Takahiro Yamasaki, Jun Nara,
Meeting, San Francisco, USA
Ryousuke Sano, and Hiroshi Nohira

51

第一原理計算によるSiC 界面酸化(窒化)反応機構の解
明、口頭

大野隆央

52

数値計算技術を用いた多孔電極構造の理解と最適化に井上 元関する取組み、口頭

53

HfO2/SiO2 MOS積層構造中の界面ダイポール変調動
作、口頭

54

物質輸送（招待講演）

55

多結晶HfO2における酸素欠陥の拡散・凝集箇所に関する理論的検討56 多結晶NiO薄膜における溶媒供給効果の理論的検討

シリコンナノテクノロジー分科会 第213回研究
宮田典幸、奈良 純、山崎隆浩、住集会ーULSIデバイス・プロセス技術（IEDM2018
田杏子、佐野良介、野平博司
特集）ー、東京
最近の化学工学講習会67「進化する燃料電池・
井上元
⼆次電池－反応・構造・製造技術の基礎と未来
社会を支える電池技術－」2019年第66回応用物理学会春季学術講演会、
東京

別添１ - 5

別添１

3．受賞等

No. 名称

受賞者氏名

授賞機関(学会名等)受賞した時期

国内・国際の別

1

脂質ベシクル，タンパク質の非経験的粗視化シミュレー
ション

奥脇弘次* / 新庄英治、土居英男、望月祐志、福澤薫、米持悦生

応用物理学会2018秋期学術講演会 講演奨励賞

2018年12月

国内

2

日本機械学会熱工学部門業績賞

鹿園直毅

日本機械学会2018年10月

国内

4．メディアへの情報発信、ウェブサイト等での情報公開
No. 名称
1

理学研究科化学専攻博士課程後期課程の奥脇弘次さん（望月祐志研究室）が応用物理学会「講演奨励賞」を受賞

日付
2018年12月19日

説明
立教大学ホームページに掲載

別添１ - 6

備考

http://www.rikkyo.ac.jp/news/2018/12/mkn
pps000000qh9c.html

備考

別添１

サブ課題C：高効率風力発電システム構築のための大規模数値解析
サブ課題代表者：飯田 明由
1．学会誌・雑誌等における論文掲載
No. 掲載した論文（発表題目）

発表者氏名

発表した場所（学会誌・雑誌名等）

発表した時期

国内・国際の 査読（有りの場
別合○を記入）

1

Coupling Model between Finite Element-based
Analysis of Boussinesq-type Wave Model andParticle-based Analysis of Free-surface Flow

N. Mitsume, A. S. Donahue, J. J.
Westerink, S. YoshimuraInternational Journal for Numerical Methods
in Fluids, Vol. 88, No. 3, pp. 141-168

2018年5月

国際○

2

2-Stage Automatic Parallel Mesh Generation forLarge-Scale Atmospheric Fluid Simulation Over
Complex Terrain Geometry

International Meshing Roundtable 2018
Kenji Ono, Jorji Nonaka, Takanori,https://project.inria.fr/imr27/files/2018/09/
Uchida, and Tomohiro Kawanabe
2008.pdf

2018年10月

国際○

3

High-Performance Parallel Simulation of Airflow forComplex Terrain Surface

Kenji Ono and Takanori Uchida2019年2月

国際○

Modelling and Simulation in Engineering
Volume 2019, Article ID 5231839, 10 pages

別添１ - 7

別添１

2．学会等における口頭・ポスター発表
No. 発表した成果（発表題目、口頭・ポスター発表の別）

発表者氏名発表した場所（学会名等）

発表した時期

国内・国際の別1

Large eddy simulation of flow around a full scale wind tuY. Yamade

IEA Wind Task31 シンポジウム、東京大学生
産技術研究所2018年4月

国際

2

Applications of large-scale computation to industrial proC. KatoIEA Wind Task31 シンポジウム、東京大学生
産技術研究所2018年4月

国際

3

Towards Petascale Simulation of Flow Induced
Vibration of NREL5MW Wind Turbine Blade、口頭

S.Yoshimura

IEA Wind Task31 シンポジウム、東京大学生
産技術研究所2018年4月

国際

4Overview of Post K 6C project、口頭

Y.UedaIEA Wind Task31 シンポジウム、東京大学生
産技術研究所2018年4月

国際

5ファン騒音にケーシングのスリット構造が及ぼす影響に 蓑和克武,横山博史,板垣
関する直接計算
来翼, 飯田明由

一般社団法人ターボ機械協会 第79回 総会講演会

2018年5月

国内

6Giwon HONG, Tomonori
Evaluation of Mesh-Control Techniques for FSI
Analysis Handling Large Deformation in Structural and YAMADA, Naoto MITSUME,
Fluid Domains, 口頭
Shinobu YOSHIMURA

13th World Congress in Computational
Mechanics (WCCM2018), New York City, USA

2018年7月

国際

7High-Throughput Parallel Simulation of Airflow for
Detailed Land Configuration、口頭

the 12th Asian Computational Fluid Dynamics
Conference (ACFD), Yilan, Taiwan

2018年10月

国際

8

RIAM-COMPACTのHPC対応とウインドファームの全体
内田孝紀
解析、口頭

第3回ポスト「京」重点課題⑥シンポジウム、東京大学、東京2018年10月

国内

9大気境界層の影響を考慮したタンデム風車のLES解
析、口頭

飯田明由

第3回ポスト「京」重点課題⑥シンポジウム、東京大学、東京2018年10月

国内

10

洋上大型風車ブレードの流体構造連成解析と構造信
頼性評価、口頭吉村忍

第3回ポスト「京」重点課題⑥シンポジウム、東京大学、東京2018年10月

国内

11

タンデムに配置された洋上風車まわりの流れのLES解 織茂勝利、山出吉伸、鈴木康方、 日本機械学会 第96期流体工学部門講演会、
飯田明由、加藤千幸
析、口頭北海道

2018年11月

国内

Development of Large-scale Finite Element Solver for Yasunori YUSA, Tomoshi
International Conference on Computational &12 Wind Turbine Blade Structure Using Balancing Domain MIYAMURA, Tomonori YAMADA, Experimental Engineering and Sciences
Decomposition Methods
Shinobu YOSHIMURA(ICCES 2022), Tokyo, JAPAN2019年3月

国際

Zumei ZHENG, Naoto MITSUME,International Conference on Computational &Guangtao DUAN, Shunhua CHEN,
Experimental Engineering and Sciences
Tomonori YAMADA, Shinobu(ICCES 2023), Tokyo, JAPANYOSHIMURA

2019年3月

国際

A Computational Framework for Structural and Fatigue Shunhua CHEN, Shinobu
International Conference on Computational &YOSHIMURA, Kaoru YODO,
Experimental Engineering and Sciences
14 Analysis of a 5MW Wind Turbine Blade Under Wind
Loads
Naoto MITSUME, Yasunori YUSA (ICCES 2024), Tokyo, JAPAN2019年3月

国際Interaction Simulations Between Fluids and
13
Complicated Structures Using EMPS-FEM

Kenji Ono and Takanori Uchida

別添１ - 8

招待講演（○を記入）○

別添１

サブ課題D：核融合炉の炉心設計
サブ課題代表者：井戸村泰宏
1．学会誌・雑誌等における論文掲載
No. 掲載した論文（発表題目）

発表者氏名

発表した場所（学会誌・雑誌名等）

1

Chirping and sudden excitation of energetic-particle
driven geodesic acoustic modes in a Large Helical
Device experiment2

Implementation of a gyrokinetic collision operator with S. Maeyama, T.-H. Watanabe, Y.
an implicit time integration scheme and its
Idomura, M. Nakata, and M.
computational performance
Nunami3

Simulation studies on temperature profile stiffness in
ITG turbulent transport of helical plasmas for fluxmatching technique

4

Simulations tackle abrupt massive migrations ofenergetic beam ions in a tokamak plasma

5

Effects of the applied magnetic fields with various
M. Honda, S. Satake, Y. Suzuki, G. Nuclear Fusion, Volume 58, Number
toroidal phase differences on the neoclassical toroidal Matsunaga, K. Shinohara, N. Aiba, 11,https://iopscience.iop.org/article/10.1088/
viscosity in JT-60SA
M. Yoshida, S. Ide
1741-4326/aabaaa

6Communication avoiding multigrid preconditioned
conjugate gradient method for extreme scale
multiphase CFD simulations

Y. Idomura, T. Ina, S. Yamashita,
N. Onodera, S. Yamada, T.
Imamura7

Gyrokinetic microinstability analysis of high-Ti andhigh-Te isotope plasmas in Large Helical Device

M. Nakata, K. Nagaoka, K. Tanaka,
H. Takahashi, M. Nunami, S.
Plasma Physics and Controlled Fusion, 61
Satake, M. Yokoyama, F. Warmer, 014016
LHD experimetal group8

Introduction to the interaction between energetic
particles and Alfven eigenmodes in toroidal plasmas

Y. Todo

9

Multi-scale interactions between turbulence andmagnetic islands and parity mixture—a review

A Ishizawa, Y. Kishimoto and Y.
Nakamura

H. Wang, Y. Todo, T. Ido, Y.
Suzuki

発表した時期

国内・国際の 査読（有りの場
別合○を記入）

Physical Review Letters,120, 175001

2018年4月

国際○

Computer Physics Communications, Volume
235, 9-15

2018年7月

国際○

Masanori Nunami, Motoki Nakata,
Shinichiro Toda, Akihiro Ishizawa,
Physics of Plasmas, 25, 082504 (2018)
Ryutaro Kanno, and Hideo
Sugama2018年8月

国際○

A. Bierwage, K. Shinohara, Y.
Todo, N. Aiba, M. Ishikawa, G.
Matsunaga, M. Takechi, M. Yagi

2018年8月

国際○

2018年10月

国際○

2018年11月

国際○

2018年11月

国際○

Reviews of Modern Plasma Physics,
https://link.springer.com/article/10.1007/s41
614-018-0022-9

2018年12月

国際○

Plasma Physics and Controlled Fusion,
Volume 61, Number 5,
https://iopscience.iop.org/article/10.1088/13
61-6587/ab06a8

2019年3月

国際○

Nature Communications, 9, Article number:
3282 (2018)

Proceedings of 9th Workshop on Latest
Advances in Scalable Algorithms for LargeScale Systems , Dallas, TX USA, November
2017 (ScalA’18), 17-24

別添１ - 9

別添１

2．学会等における口頭・ポスター発表

No. 発表した成果（発表題目、口頭・ポスター発表の別）

発表者氏名発表した場所（学会名等）

発表した時期

国内・国際の別招待講演（○を記入）

1

Development of a New Transport Solver with Genetic
M. Honda
Algorithms: GOTRESS、口頭

ITPA 20th Transport and Confinement TopicalGroup Meeting, Daejeon, South Korea

2018年4月

国際2

Enhancement of neoclassical impurity transport by ageodesic compression effect in full-f gyrokinetic
simulations、口頭

Y. Idomura

ITPA 20th Transport and Confinement TopicalGroup Meeting, Daejeon, South Korea

2018年4月

国内

3

Density profile prediction using the neural-networkbased particle transport model、口頭

E. Narita, M. Honda, M. Nakata, M. ITPA 20th Transport and Confinement Topical
Yoshida, H. Takenaga, N. Hayashi Group Meeting, Daejeon, South Korea

2018年4月

国際

4

Simulations of chirping and half-frequency energetic
particle driven geodesic acoustic modes and theenergy channeling in the Large Helical Device、招待

H. Wang

Max-Planck/Princeton Center for Plasma
Physics Workshop

2018年4月

国際○

5Phase Space Entropy Transfer Analysis for
Gyrokinetic Turbulence、招待

T.-H. Watanabe

Max-Planck/Princeton Center for Plasma
Physics Workshop

2018年4月

国際○

6Numerical analysis of MHD instabilities for high beta
plasmas in inward shifted LHD configurations、招待

M. Sato, N. Nakajima, K. Y.
Watanabe, Y. Todo

12th West Lake International Symposium on
Plasma simulation2018年5月

国際○

7

A new magnetohydrodynamic hybrid simulation modelwith thermal and energetic ions、口頭

Y.Todo20th International Tokamak Physics Activity(ITPA) Energetic Particle Physics TopicalGroup Meeting、St. Paul-lez-Durance、France

2018年5月

国際

8Neoclassical and turbulent transport of impurities in
multi-species plasmas、招待

M. Nunami

19th International Congress on Plasma
Physics (ICPP 2018), Vancouver, Canada

2018年6月

国際○

9

Simulations of energetic particle driven geodesic
acoustic mode with two different models、招待

H. Wang

8th Asia-Pacific Transport Working GroupInternational Conference (APTWG), Leshan,
China

2018年6月

国際○

Simulation of energetic particle driven geodesic
10 acoustic mode channeling in the Large Helical
Device、ポスター

H. Wang

第12回核融合エネルギー連合講演会、滋賀県

2018年6月

国内

11

核融合プラズマ乱流輸送 シミュレーション研究の進展、
渡邉智彦
招待

第12回核融合エネルギー連合講演会、滋賀県

2018年6月

国内

12

高エネルギー粒子に関連したシミュレーション研究の進
藤堂泰
展、口頭

第12回核融合エネルギー連合講演会、滋賀県

2018年6月

国内

13

LHDにおけるバルーニングモードに対する運動論的
MHDシミュレーション、ポスター

佐藤雅彦、 藤堂泰第12回核融合エネルギー連合講演会、滋賀県

2018年6月

国内

14

Computational Challenges Towards Exascale Fusion
Plasma Turbulence Simulations、口頭

Y. Idomura

13th World Congress in Computational
Mechanics, NY, USA

2018年7月

国内

Prediction of kinetic profiles using a new transport
15 solver based on global optimization techniques、ポス
ター

M. Honda, S. Ide, E. Narita, N.
Hayashi45th EPS Conference on Plasma Physics,
Prague, Czech Republic

2018年7月

国際

Isotope effects on turbulent transport and
16 confinement in helical and tokamak plasmas: theory
and experiment、招待

M. Nakata

45th EPS Conference on Plasma Physics,
Prague, Czech Republic

2018年7月

国際

Advances and Optimizations of Gyrokinetic Turbulence
M. Nunami
Code GKV towards Exa-scale Computing、口頭The Platform for Advanced Scientific
Computing (PASC18), Basel, Switwerland

2018年7月

国際

A. Bierwage

45th EPS Conference on Plasma Physics,
Prague, Czech Republic

2018年7月

国際

17

Simulation and analysis of fast ion dynamics in a JT18 60SA tokamak plasma subject to pressure- andcurrent-driven instabilities
19

Recent progress of kinetic-MHD hybrid simulation ofenergetic particle driven instabilities、口頭

Y. Todo13th Japan-Korea Workshop

2018年7月

国際

20

Roles of sub-ion-scale structures on cross-scaleinteractions in Tokamak plasma turbulence、招待

S. Maeyama

11th Plasma Kinetics Working Meeting,
Wolfgang Pauli Institute, Vienna

2018年7月

国際

Y. Idomura

4th US-Japan Joint Institute for Fusion
Theory Workshop on innovations and codesigns of fusion simulations towards
extreme scale computing

2018年7月

国内

2018年7月

国内

2018年7月

国際

T. Moritaka, S. Matsuoka, S.
4th US-Japan Joint Institute for Fusion
Satake, S. Ishiguro, R. Hager,
Theory Workshop on innovations and coM.Cole, S. Lazerson, C-S. Chang, designs of fusion simulations towards
S. Ku
extreme scale computing

2018年7月

国際

Y. Asahi

4th US-Japan Joint Institute for Fusion
Theory Workshop on innovations and codesigns of fusion simulations towards
extreme scale computing

2018年7月

国際

T.-H. Watanabe

4th US-Japan Joint Institute for Fusion
Theory Workshop on innovations and codesigns of fusion simulations towards
extreme scale computing

2018年7月

国際

21 Status of GT5D、口頭Development of exascale matrix solvers based on
22communication avoiding algorithms、口頭23

Development of GT5D for stellerator configurations、
口頭

Development of XGC for stellarator configuration、口24
頭25 Porting GKV on Tsubame3、口頭

26 Recent status of GKV code、口頭

4th US-Japan Joint Institute for Fusion
T. Imamura, Y. Idomura, T. Ina, S.
Theory Workshop on innovations and coYamashita, N. Onodera, A. Yussuf,
designs of fusion simulations towards
S. Yamadaextreme scale computing
4th US-Japan Joint Institute for Fusion
S. Matsuoka, Y. Idomura, S.
Theory Workshop on innovations and coSatake, M. Honda, Y. Suzuki
designs of fusion simulations towards
extreme scale computing

別添１ - 10

○

○

○

○

別添１

Optimization of particle code on FX100 and recent
27
HPC efforts at NIFS、口頭

M. Nunami

28 Status of MEGA、口頭

Y. Todo4th US-Japan Joint Institute for Fusion
Theory Workshop on innovations and codesigns of fusion simulations towards
extreme scale computing
4th US-Japan Joint Institute for Fusion
Theory Workshop on innovations and codesigns of fusion simulations towards
extreme scale computing

2018年7月

国際

2018年7月

国際

第24回NEXT研究会、量子科学技術研究開発
機構 六ヶ所核融合研究所

2018年8月

国内

朝比祐一、前山伸也、渡邉智彦、 第24回NEXT研究会、量子科学技術研究開発
機構 六ヶ所核融合研究所
井戸村泰宏

2018年8月

国内

第24回NEXT研究会、量子科学技術研究開発
機構 六ヶ所核融合研究所

2018年8月

国内

藤堂泰

第24回NEXT研究会、量子科学技術研究開発
機構 六ヶ所核融合研究所

2018年8月

国内

佐藤雅彦、藤堂泰第24回NEXT研究会、量子科学技術研究開発
機構 六ヶ所核融合研究所

2018年8月

国内

H. Wang

Joint Varenna-Lausanne International
Workshop on "Theory of Fusion Plasmas",
Varenna, Italy

2018年8月

国際○

T.-H. Watanabe

Chengdu Theory Festival

2018年8月

国際○

河村拓馬, 井戸村泰宏(JAEA)

第46回可視化情報シンポジウム, 東京、日本

2018年9月

国内

K. Obrejan, Y. Idomura, M. Honda

プラズマシミュレータシンポジウム2018、核融合科学研究所2018年9月

国内

プラズマシミュレータシンポジウム2018、核融合科学研究所2018年9月

国内

プラズマシミュレータにおける、 モーメント分離法を用いプラズマシミュレータシンポジウム2018、核融39 た ジャイロ運動論的シミュレーションの高効率化、ポス 西岡賢二、 渡邉智彦、 前山伸也
合科学研究所ター

2018年9月

国内

29

ポスト京に向けた核融合プラズマ乱流コードのエクサス
井戸村泰宏
ケール計算技術開発、招待

30

Accelerating and modernizing the delta-f gyrokinetic
code on GPUs、口頭31

JT-60SA・原型炉に向けた微視的電磁不安定性解析、
前山伸也
ポスター

32 運動論的MHDシミュレーションの最近の進展、口頭

33

LHDプラズマにおけるバルーニングモードの運動論的
MHDシミュレーション、ポスター

Simulations of energetic particle driven geodesic
34 acoustic modes and the energy channeling in the
Large Helical Device、招待
35

Multi-Scale and Multi-Directional Kinetic Plasma
Turbulence、招待

36 In-Situ PBVRのSIMD最適化、口頭37

Numerical study of impurity transport using the code
GT5D、口頭38

プラズマ乱流マルチスケール相互作用の抽出とモデル
前山伸也
化、ポスター40

アルフベン固有モードバーストを発生させる高速イオン
藤堂泰
臨界分布、ポスター

プラズマシミュレータシンポジウム2018、核融合科学研究所2018年9月

国内

41

運動論に基づくヘリカルプラズマの粒子輸送シミュレー
沼波政倫
ション研究

プラズマシミュレータシンポジウム2018、核融合科学研究所2018年9月

国内

42

LHDプラズマにおけるバルーニングモードの運動論的
MHDシミュレーション、ポスター

佐藤雅彦、 藤堂泰プラズマシミュレータシンポジウム2018、核融合科学研究所2018年9月

国内

H. Wang

プラズマシミュレータシンポジウム2018、核融合科学研究所2018年9月

国内

44

菅野龍太郎、河村学思、沼波政
プラズマシミュレータシンポジウム2018、核融ドリフト運動論方程式に基づく不純物輸送シミュレーショ
倫、本間裕貴、星野一生、畑山明
ンコード開発、ポスター
合科学研究所聖

2018年9月

国内

45

大域的ジャイロ運動論粒子コード XGC の非軸対称系への拡張、口頭

森高外征雄プラズマシミュレータシンポジウム2018、核融合科学研究所2018年9月

国内

46

Dependence of density peaking on particle pinch in
JT-60U H-mode plasmas、口頭

E. Narita, M. Honda, M. Nakata, M. ITPA 21st Transport and Confinement Topical
Yoshida, N. Hayashi, H. Takenaga Group Meeting, St. Paul-lez-Durance, France

2018年9月

国際47

Development of GT5D for 2D/3D experimental
configurations、口頭

S. Matsuoka, Y. Idomura, S.
Satake, M. Honda, Y. Suzuki

Kinetic Theory Working Group Meeting 2018,
Madrid, Spain

2018年9月

国際

Kinetic Theory Working Group Meeting 2018,
Madrid, Spain

2018年9月

国際

Numerical Methods for the Kinetic Equations
Introduction of multi-species collision operator in
49 GT5D and its application to heavy impurity transport、 K. Obrejan, Y. Idomura, M. Honda of Plasma Physics (Numkin2018) workshop,
口頭
Garching bei München, Germany

2018年10月

国内

The HPC workshop

2018年10月

国際

Simulations of two types of energetic particle driven
51 geodesic acoustic modes and the energy channeling in H. Wang
the Large Helical Device plasmas、ポスター

27th IAEA Fusion Energy Conference,
Gandhinagar, India

2018年10月

国際

Critical fast ion distribution in phase space for the
Y. Todo52 synchronized sudden growth of multiple Alfven
eigenmodes and the global transport of fast ions、口頭

27th IAEA Fusion Energy Conference,
Gandhinagar, India

2018年10月

国際

2018年10月

国際

2018年10月

国際

2018年10月

国際

2018年10月

国際

Simulation of energetic particle driven geodesic
43 acoustic mode channeling in the Large Helical
Device、ポスター

Gyrokinetic and drift-kinetic simulation studies on
48 multi-species plasma transport in helical systems、口 M. Nunami
頭50

Accelerating and modernizing the delta-f gyrokinetic
code on GPUs、口頭

Y. Asahi, S. Maeyama, T.-H.
Watanabe, Y. Idomura

Effect of Magnetic Shear and the Finite-Orbit-Width
S. Satake, S. Matsuoka, J. L.
27th IAEA Fusion Energy Conference,
53 on the Neoclassical Toroidal Viscosity in Perturbed
Velasco, I. Calvo, M. Honda
Gandhinagar, India
Tokamaks、ポスター
Comprehensive magnetohydrodynamic hybrid
R. Seki, Y. Todo, Y. Suzuki, K.
27th IAEA Fusion Energy Conference,
simulations of fast ion losses due to the fast ion
54
Ogawa, M. Isobe, M. Osakabe
Gandhinagar, India
driven instabilities in the Large Helical Device、ポス
ター
Gyrokinetic Modeling of Turbulent Particle Fluxes
E. Narita, M. Honda, M. Nakata, M. 27th IAEA Fusion Energy Conference,
55 towards Efficient Predictions of Density Profiles、ポス
Yoshida, H. Takenaga, N. Hayashi Gandhinagar, India
ター
56

Kinetic Simulation Studies on Multi-ion-species
Plasma Transport in Helical Systems、ポスター

M. Nunami, M. Nakata, M. Sato,S. Toda, H. Sugama, H.
Yamaguchi and M. Yokoyama

27th IAEA Fusion Energy Conference,
Gandhinagar, India

別添１ - 11

○

○

○

別添１

57

Ion kinetic effects on MHD instabilities i high-beta
LHD plasmas、ポスター

M. Sato, Y. Todo

Simulation Study of Electrostatic Potential Generated
58 by NBI and its Effect on the Neoclassical Transport of H. Yamaguchi and S. Murakami
Carbon Impurity Ions in LHD, ポスター

27th IAEA Fusion Energy Conference,
Gandhinagar, India

2018年10月

国際

27th IAEA Fusion Energy Conference,
Gandhinagar, India

2018年10月

国際

2018年10月

国際

2018年10月

国際

T. Moritaka, S. Matsuoka, S.
Gyrokinetic Modeling with an Extended Magnetic
27th IAEA Fusion Energy Conference,
Satake, S. Ishiguro, R. Hager,
59 Equilibrium including the Edge Region of Large Helical
M.Cole, S. Lazerson, C-S. Chang, Gandhinagar, India
Device ポスター
S. Ku
2018 Korean Physical Society (KPS) Fall
Energetic-ion-driven instabilities and transport: MultiMeeting, Pioneer Symposium 8: Data-based
A. Bierwage
Plasma Science and Simulation for the
60 time-scale simulations, validation, predictions andinsights
Computer Aided Design, Chang-Won, South
Korea
61

エクサスケール核融合プラズマシミュレーションに向け
井戸村泰宏
た計算技術の進展、口頭第3回ポスト「京」重点課題⑥シンポジウム、東京大学、東京2018年10月

国内

62

磁場閉じ込め核融合プラズマにおける乱流輸送シミュ
レーション、口頭

仲田資季

第3回ポスト「京」重点課題⑥シンポジウム、東京大学、東京2018年10月

国内

63

トカマク実験の統合輸送解析ツールの開発と輸送解析
本多 充の現状、口頭第3回ポスト「京」重点課題⑥シンポジウム、東京大学、東京2018年10月

国内○

Magnetic shear effect on plasma transport in ECH
64
injected DIII-D plasma、ポスター

M. Yoshida, G. R. McKee, A. M.
Garofalo, C. C. Petty, M. Nakata,
B. A. Grierson, D. Ernst, T. L.
Rhodes, C. Holcomb, M. Ono

60th Annual Meeting of the APS Division of
Plasma Physics, Portland, Oregon, USA

2018年11月

国際

65

Global full-f kinetic simulation of neoclassicaltransport in stellarator/heliotron plasmas、口頭

S. Matsuoka (NIFS), Y. Idomura(JAEA), S. Satake (NIFS)

2nd Asia-Pacific Conference on Plasma
Physics, Kanazawa, Japan2018年11月

国際

○

66

Multi-scale interaction and parity mixture between
turbulence and magnetic islands、口頭

A. Ishizawa

2nd Asia-Pacific Conference on Plasma
Physics, Kanazawa, Japan2018年11月

国際○

Benchmarking of flux-driven full-F gyrokinetic
67
simulations、招待

Y. Asahi, V. Grandgirard, Y.
Idomura, G. Latu, Y. Sarazin, G.
Dif-Pradalier, X. Garbet, P.
Donnel

2nd Asia-Pacific Conference on Plasma
Physics, Kanazawa, Japan2018年11月

国際○

Comprehensive magnetohydrodynamic hybrid
68 simulations of fast ion losses due to the Alfvén
eigenmodes in the Large Helical Device、口頭

R. Seki, Y. Todo, Y. Suzuki, K.
Ogawa, M. Isobe, M. Osakabe

2nd Asia-Pacific Conference on Plasma
Physics, Kanazawa, Japan2018年11月

国際○

Y. Todo2nd Asia-Pacific Conference on Plasma
Physics, Kanazawa, Japan2018年11月

国際○

Masanori Nunami, Motoki Nakata,
Masahiko Sato, Shinichiro Toda, 2nd Asia-Pacific Conference on Plasma
Hiroyuki Yamaguchi, Masayuki
Physics, Kanazawa, Japan
Yokoyama, Hideo Sugama

2018年11月

国際

S. Maeyama

2nd Asia-Pacific Conference on Plasma
Physics, Kanazawa, Japan2018年11月

国際

H. Wang

The 27th International Toki Conference on
Plasma and Fusion Research & The 13th Asia
Pacific Plasma Theory Conference, Gifu,Japan
The 27th International Toki Conference on

2018年11月

国際

2018年11月

国際

2018年11月

国際

69

Energetic particle physics in fusion plasmas throughcomputer simulation、口頭

Kinetic simulation studies on particle transport of70
multi-species plasma、ポスター

71

Effects of electron-scale turbulence on ion-scale
turbulence in Tokamak plasmas、招待

Simulation of energetic particle driven geodesic
72 acoustic mode channeling in the Large Helical
Device、口頭

Critical ｆast Ion Distribution Function for the
73 Synchronized Burst of Multiple Alfvén Eigenmodes、ポ Y. Todo
スター

Plasma and Fusion Research & The 13th Asia
Pacific Plasma Theory Conference, Gifu,Japan
The 27th International Toki Conference on

74

Development of impurity transport simulation code
based on drift-kinetic equation、ポスター

R. Kanno, G. Kawamura, M.
Plasma and Fusion Research & The 13th Asia
Nunami, Y. Homma, K. Hoshino, A.
Pacific Plasma Theory Conference, Gifu,
Hatayama
Japan

75

Simulation of abrupt massive migrations of energetic
beam ions in a tokamak plasma

A. Bierwage

Kyoto Workshop on Nonlinear Wave Particle
Interactions in Plasmas、京都大学

2018年11月

国内

76

Exploring high power laser effects on magneticallyconfined fusion plasmas

A. Bierwage

2nd QST International Symposium, Nara,
Japan

2018年11月

国際

77

Kinetic simulations for particle transport of multispecies plasmas in LHD、口頭

沼波政倫

第16回核燃焼プラズマ統合コード研究会、九州大学

2018年11月

国内

78

Numerical study of the role of higher order flows inneoclassical transport of high-Z impurities、口頭

K. Obrejan, Y. Idomura (JAEA), M.
閉じ込め・輸送研究会, 土岐、日本
Honda (QST)

2018年12月

国内

79

イオン温度勾配駆動乱流における不純物輸送解析、ポ井戸村泰宏, K. Obrejan
スター

第35回 プラズマ・核融合学会 年会、大阪大学

2018年12月

国内

80

LHDにおける高イオン温度および高電子温度同位体プ
仲田資季
ラズマの乱流輸送シミュレーション、口頭第35回 プラズマ・核融合学会 年会、大阪大学

2018年12月

国内

H. Wang

第35回 プラズマ・核融合学会 年会、大阪大学

2018年12月

国内

菅野龍太郎、河村学思、沼波政倫

第35回 プラズマ・核融合学会 年会、大阪大学

2018年12月

国内

朝比祐一、 V. Grandgirard、 井戸
村泰宏、 X. Garbet、 G. Latu、 Y.
第35回 プラズマ・核融合学会 年会、大阪大学
Sarazin、 G. Dif-Pradalier、 P.
Donnel、 矢木雅敏

2018年12月

国内

Simulation of energetic particle driven geodesic
81 acoustic mode channeling in the Large Helical
Device、口頭82

トロイダルプラズマの不純物輸送に対する運動論的モ
デリング、ポスター

83 ポロイダル対称性破れの輸送への影響、ポスター

別添１ - 12

○

○

別添１

84

統合モデルの核としてのフラックスマッチングコード
GOTRESSの進展、口頭第35回 プラズマ・核融合学会 年会、大阪大学

2018年12月

国内

85

核融合プラズマにおける高速な分布予測のための機械 成田絵美、本多充、仲田資季、吉第35回 プラズマ・核融合学会 年会、大阪大学
学習を用いた輸送モデリング、口頭
田麻衣子、林伸彦、竹永秀信

2018年12月

国内

86

粒子供給を伴うコアプラズマにおける粒子拡散とピンチ 成田絵美、本多充、仲田資季、吉第35回 プラズマ・核融合学会 年会、大阪大学の密度分布形成に対する影響、ポスター
田麻衣子、林伸彦、竹永秀信

2018年12月

国内

87

磁場閉じ込め乱流シミュレーションから探るプラズマ輸
沼波政倫
送の物理、口頭第35回 プラズマ・核融合学会 年会、大阪大学

2018年12月

国内

第35回 プラズマ・核融合学会 年会、大阪大学

2018年12月

国内

西岡賢二、 渡邉智彦、 前山伸也 第35回 プラズマ・核融合学会 年会、大阪大学

2018年12月

国内

本多充、成田絵美、林伸彦

有限ラーマー半径効果を考慮した運動論的MHDモデル
88 に基づくLHDでのバルーニングモードのシミュレーション 佐藤雅彦、 藤堂泰研究、ポスター89

モーメント分離法のトロイダルジャイロ運動論的シミュ
レーションへの適用、ポスター

90

Development of the global full-f gyrokinetic simulation S. Matsuoka, Y. Idomura, S.
for stellarator/heliotron、口頭
SatakeWorkshop on Configuration Optimization of
Stellarator/Heliotron

2018年12月

国内

91

LHDプラズマにおける抵抗性バルーニングモードの運動論的MHDシミュレーション、口頭

佐藤雅彦、 藤堂泰平成30年度NIFS共同研究 研究会 「MHDシ
ミュレーションにおける精度保証の可能性について」

2018年12月

国内

92

Numerical study of the role of higher order flows inneoclassical transport of high-Z impurities、口頭

K. Obrejan, Y. Idomura, M. Honda

閉じ込め・輸送研究会2018、核融合科学研究所

2018年12月

国内

朝比祐一、 V. Grandgirard、 井戸
村泰宏、 X. Garbet、 G. Latu、 Y. 閉じ込め・輸送研究会2018、核融合科学研究
Sarazin、 G. Dif-Pradalier、 P.
所
Donnel、 矢木雅敏

2018年12月

国内

ジャイロ運動論的シミュレーションによるポロイダル対
93
称性破れの輸送への影響評価、口頭

94

多粒子種LHDプラズマの粒子輸送に関する新古典・乱
沼波政倫
流シミュレーション、口頭

閉じ込め・輸送研究会2018、核融合科学研究所

2018年12月

国内

95Multi-scale simulation of electron/ion-scale
turbulence in Tokamak plasmas、招待講演

S. Maeyama

US-Japan JIFT Workshop on Multi-scale
Simulations in Plasma Physics, Inuyama,Japan

2019年1月

国際

Recent progress in turbulence simulation study on
96 LHD plasma transport,
口頭発表

M. Nunami

US-Japan JIFT Workshop on multiscale
simulations in plasma physics

2019年1月

国際

Y. TodoUS-Japan JIFT Workshop on multiscale
simulations in plasma physics

2019年1月

国際

Development of Exascale Fusion Plasma Turbulence
98
Simulations for Post-K、口頭

Y. Idomura, T. Ina, K. Obrejan(JAEA), Y. Asahi (QST), S.
Matsuoka (NIFS), T. Imamura(Riken)

1st R-CCS International Symposium, Kobe,Japan

2019年2月

国際

Communication avoiding multigrid preconditioned
99 conjugate gradient method for extreme scale
multiphase CFD simulations、口頭

S. Yamada, N. Onodera, T. Ina, S.
1st R-CCS International Symposium, Kobe,
Yamashita, Y. Idomura (JAEA), T.
Japan
Imamura (Riken)

2019年2月

国際

Energetic-ion-driven instabilities and transport in
100 fusion plasmas: Multi-time-scale simulations,validation, predictions and insights、口頭

A. Bierwage(QST)Max Planck Princeton Center (MPPC)
Workshop 2019, Tokyo, Japan2019年2月

国際

○

○

97

Recent progress of kinetic-MHD hybrid simulations、
口頭発表

101

Gyrokinetic turbulence simulations for nonaxisymmetric stellarator plasmas, 招待講演

M. Nakata

Max-Planck/Princeton Center for Plasma
Physics Workshop 20192019年2月

国際

102

Application of Mori-Zwanzig projection operator
method to multi-scale turbulence problems、口頭

S. Maeyama, and T.-H. Watanabe

Max Planck Princeton Center Workshop 2019
(MPPC2019), Tokyo, Japan2019年2月

国際

M. Nunami

Max Planck Princeton Center Workshop 20192019年2月

国際

Simulation of energetic particle driven geodesic
104 acoustic mode channeling in the LHD plasma、口頭発 H. Wang
表Max Planck Princeton Center Workshop 20192019年2月

国際

Critical energetic particle distribution in phase space
105 for the collapse with multiple resonance overlaps、口頭発表

Y. TodoMax Planck Princeton Center Workshop 20192019年2月

国際

高エネルギー粒子駆動不安定性のハイブリッドシミュ
レーション、口頭発表

藤堂泰

第8回 IFERC-CSC研究会

2019年2月

国内

西岡賢二, 渡邉智彦, 前山伸也
（名大）第8回IFERC-CSC研究会

2019年2月

国内

Simulation studies on particle transport of multi103 species plasma in stellarator systems,
招待講演

106

線形ジャイロ運動論的シミュレーションを用いたJT107 60SAシナリオ解析並びに、その時間積分法の改良検討、口頭別添１ - 13

○

○

別添１

108

捕捉電子モードと電子温度勾配モードの競合過程、口渡邉智彦（名大）頭

第8回IFERC-CSC研究会

Numerical study of the influence of higher order flows
K. Obrejan, Y. Idomura (JAEA), M. 24th US-EU Transport Task Force Meeting,
109 in neoclassical transport of high-Z impurities、ポス
Austin, USA
Honda (QST)ター

2019年2月

国内

2019年3月

国際

2019年3月

国際

110Numerical study of neoclassical impurity transport
using the code GT5D、口頭

111

実験解析に向けた準局所的full-fジャイロ運動論シミュ 井戸村泰宏, K. Obrejan (JAEA),
日本物理学会第74回年次大会, 福岡、日本
レーションの開発、口頭
朝比祐一(QST), 松岡清吉(NIFS)

2019年3月

国内

112

運動論的電子応答に伴うポロイダル対称性破れの輸送への影響評価、口頭

日本物理学会第74回年次大会, 福岡、日本

2019年3月

国内

第8回 IFERC-CSC研究会

2019年3月

国内

K. Obrejan, Y. Idomura (JAEA), M. 22nd ITPA Transport and Confinement
Topical Group Meeting, Austin, USA
Honda (QST)

朝比祐一, 矢木雅敏(QST), 井戸
村泰宏(JAEA)

３次元配位における多粒子種プラズマ粒子輸送の運動
沼波政倫
113 論シミュレーション、
口頭発表

原型炉およびJT-60SAに向けた微視的不安定性の電磁的ジャイロ運動論的解析、口頭

前山伸也

第8回IFERC-CSC研究会、東京

2019年3月

国内

Impurity hole investigation via gyro- and drift-kinetic
115 simulations,
口頭発表（テレビ会議参加）

M. Nunami

19th Coordinated Working Group Meeting2019年3月

国際

116Simulation of energetic particle driven geodesic
acoustic mode channeling in LHD、口頭発表

H. Wang

日本物理学会第74回年次大会

2019年3月

国内

117

電子スケール乱流がイオンスケール乱流に及ぼす影響
前山伸也、渡邉智彦の抽出、口頭第74回日本物理学会年次大会、九州大学

2019年3月

国内

118

拡散とピンチ過程がコアプラズマの密度・温度分布形
成に与える影響のジャイロ運動論解析、口頭

成田絵美、本多充 (QST)、仲田資
季 (NIFS)、吉田麻衣子、林伸彦、 日本物理学会第74回年次大会, 福岡, 日本
竹永秀信 (QST)

2019年3月

国内

2019年3月

国内

第74回日本物理学会年次大会

2019年3月

国内

第22回若手科学者によるプラズマ研究会

2019年3月

国内

西岡賢二(名大), 前山 伸也(名MEUDAS-IGS-GKV 連携スクリプトを用いた JT-60SA 大), 相羽 信行(QST),
第22回若手科学者によるプラズマ研究会
122
シナリオ解析、口頭
本多 充(QST), 仲田 資季(NIFS),渡邉 智彦(名大)2019年3月

国内

114

西岡賢二(名大), 前山 伸也(名JT-60SAに向けた電磁的微視的不安定性の 局所パラ 大), 相羽 信行(QST),
第74回日本物理学会年次大会
119
メータ依存性解析、口頭
本多 充(QST), 仲田 資季(NIFS),渡邉 智彦(名大)120 捕捉電子モードと電子温度勾配乱流の競合過程、口頭121

渡邉智彦, 前山伸也, 西岡賢二（名大）, 仲田資季（NIFS）

燃焼プラズマを見据えた大規模乱流輸送シミュレーショ
仲田資季
ン研究、招待講演

123

Effects of kinetic ions on electron temperature
gradient turbulence、口頭

S. Kusaka, T.-H. Watanabe, and S. 24th Joint US-EU Transport Task Force
Maeyama (Nagoya U.)
Meeting2019年3月

国際

124

Neural network transport model based on GKW and
JT-60U plasmas、口頭

E. Narita, M. Honda (QST), M.
Nakata (NIFS), M. Yoshida, N.
Hayashi, H. Takenaga (QST)

22nd ITPA Transport and Confinement
Topical Group Meeting, Austin, USA

2019年3月

国際

A. Bierwage(QST)

5th Kyoto University-UNIST Workshop,
Busan, Korea

2019年4月

国際授賞機関(学会名等)受賞した時期

国内・国際の別

Association of Asia Pacific Physical Societies

2018年11月

国際

Effect of relativistically intense laser pulse in a
125 tokamak plasma: Results of scaled simulations andexperiments in cold gas limit、口頭

○

3．受賞等
No. 名称
1

Akira Hasegawa Poster Prize「Kinetic simulation studies on particle transport ofmulti-species plasma」

受賞者氏名
Masanori Nunami

4．メディアへの情報発信、ウェブサイト等での情報公開
No. 名称1

プラズマ中で起こる乱流の物理的なメカニズムをシミュ
レーションで解き明かす

日付
2018年12月28日

説明

備考

HPCI広報誌 京算百景 Vol. 24 インタビュー記
http://www.hpci-office.jp/pages/pr_magazine
事

別添１ - 14

備考

別添１

全体推進
サブ課題代表者：吉村 忍
1．学会誌・雑誌等における論文掲載
No. 掲載した論文（発表題目）

発表者氏名

発表した場所（学会誌・雑誌名等）

発表した時期

国内・国際の別査読（有りの場合○を記

1

Numerical Study of Active Control of the FluidStructure Interaction Phenomenon by PiezoelectricMaterials

S. Kaneko, G.-W. Hong, N.
Mitsume, T. Yamada, S.
Yoshimura

Journal of Sound and Vibration, Vol. 435, pp.
23-35

2018年11月

国際○

2

Scalable Parallel Elastic-Plastic Finite Element
Analysis Using a Quasi-Newton Method with a
Balancing Domain Decomposition Preconditioner

Y. Yusa, H. Okada, T. Yamada, S.
YoshimuraComputational Mechanics, Vol. 62, No. 6, pp.
1563–1581

2018年12月

国際○3

ハイパフォーマンス・デザインパターンに基づく連続体
力学分野向けテンソルライブラリの実装効率向上

2018年12月

国内○

4

Seismic analysis of nuclear power plants by using
three-dimensional finite element models: a review

2019年1月

国際○

発表した場所（学会名等）

発表した時期

国内・国際
の別

招待講演
（○を記入）

2．学会等における口頭・ポスター発表
発表した成果（発表題目、口頭・ポスター発表のNo.
別）

日本計算工学会論文集, vol. 2018, no.
河合浩志、遊佐泰紀、岡田裕、塩 20180012,
谷隆二、山田知典、吉村忍
https://doi.org/10.11421/jsces.2018.2018001
2
Onitsuka Shohei, Iijima Tadashi,
JOURNAL OF NUCLEAR SCIENCE AND
Yamada Tomonori, Yoshimura
TECHNOLOGY Vol. 56, No. 1, pp. 1-16
Shinobu

発表者氏名

1

連成境界面における数値受け渡しの誤差評価と検証、 坂 拓弥、三目直登、金子栄樹、口頭
山田知典、吉村 忍

第23回計算工学講演会、名古屋(ウインクあいち)2018年6月

国内

2

安定的な静電場流体構造連成解析システムの開発、口頭

金子栄樹、洪 基源、三目直登、
山田知典、吉村 忍

第23回計算工学講演会、名古屋(ウインクあいち)2018年6月

国内

3

一次元冷却管モデルの解析と三次元熱伝導解析との三目直登、山田知典、吉村 忍
双方向連成、 口頭

第23回計算工学講演会、名古屋(ウインクあいち)2018年6月

国内

4

Dynamic Load Balancing for Parallel MPS Analysis
Adopting Polygon Wall Boundary Model, 口頭

Yoshiki MIZUNO, NaotoMITSUME, Tomonori YAMADA,
Sinobu YOSHIMURA

第23回計算工学講演会、名古屋(ウインクあいち)2018年6月

国内

5Shunhua CHEN, Naoto MITSUME,A Discontinuous Galerkin/Cohesive Zone Approach for
Wei GAO, Tomonori YAMADA,
13th World Congress in Computational
Impact Failure Analyses of Automotive LaminatedMengyan ZANG, Shinobu
Mechanics (WCCM2018), New York City, USA
Glass, 口頭
YOSHIMURA

2018年7月

国際

6Shigeki KANEKO, Tomonori
Development of a Stable Structure-fluid-electrostatic
13th World Congress in Computational
YAMADA, Shinobu YOSHIMURA,
Analysis System, 口頭
Mechanics (WCCM2018), New York City, USA
Giwon HONG, Naoto MITSUME

2018年7月

国際

7Hiroshi KAWAI, Masao OGINO,
Subdomain Local FE Solver Design for DDM on ManyRyuji SHIOYA, Tomonori
core Architectures, 口頭
YAMADA, Shinobu YOSHIMURA

13th World Congress in Computational
Mechanics (WCCM2018), New York City, USA

2018年7月

国際

8High-Fidelity Seismic Response Analysis of a Nuclear
Power Plant Using K computer, 口頭

Tomoshi MIYAMURA, Shinobu
13th World Congress in Computational
YOSHIMURA, Tomonori YAMADA Mechanics (WCCM2018), New York City, USA

2018年7月

国際

9

分離型連成解析における非整合境界面での数値受け 坂 拓弥、三目直登、金子栄樹、
渡し誤差の評価と検証、 口頭
山田知典、吉村 忍

日本機械学会第31回計算力学講演会、徳島
大学 常三島キャンパス(徳島市)

2018年11月

国内

10

計算時間に基づく粒子法の動的負荷分散アルゴリズム 水野芳規、三目直登、山田知典、 日本機械学会第31回計算力学講演会、徳島の検討、 口頭吉村 忍
大学 常三島キャンパス(徳島市)

2018年11月

国内

11

BDDコースグリッド修正における逆行列アプローチ、 口 河合浩志、荻野正雄、塩谷隆二、 日本機械学会第31回計算力学講演会、徳島頭
吉村 忍
大学 常三島キャンパス(徳島市)

2018年11月

国内

12

革新的クリーンエネルギーシステムの実用化、ポス
ター

内田英明

第5回「京」を中核とするHPCIシステム利用研
究課題 成果報告会、コクヨホール、品川

2018年11月

国内

13

革新的クリーンエネルギーシステムの実用化、ポスター

瀧田忠彦、船井那女

2018年度 計算科学研究機構 一般公開、神戸

2018年11月

国内

14

Accelerated Development of Innovative Clean Energy
Systems、ポスター

内田英明

SC18、ダラス、USA

2018年11月

国際

15Accelerated Development of Innovative Clean Energy
Systems : Post-K Project Priority Issue 6

Shinobu Yoshimura, Tomonori
Yamada, Naoki Shikazono,
Akiyoshi Iida, Yasuhiro Idomura

The 1st R-CCS International Symposium, Kobe,JAPAN

2019年2月

国際

16

High-performance Coupled Simulations for Innovative
Clean Energy System [Plenary]Shinobu YOSHIMURAInternational Conference on Computational &Experimental Engineering and Sciences (ICCES
2019), Tokyo, JAPAN2019年3月

国際受賞者氏名授賞機関(学会名等)受賞した時期

国内・国際
の別

奥脇 弘次

第45回（2018年秋季）応用物理学会講演奨励賞

2018年12月

国内

3．受賞等
No. 名称1

第45回（2018年秋季）応用物理学会講演奨励賞『脂質ベシクル，タンパク質の非経験的粗視化シミュレーショ
ン』

別添１ - 15

備考

別添 2

ポスト「京」重点課題⑥「革新的クリーンエネルギーシステムの実用化」
実施計画

令和元年 5 月 31 日
国立大学法人東京大学
吉村忍

更新記録
平成 28 年 2 月 29 日版：サブ課題 E のサブ課題 B への統合に伴う更新
平成 29 年 5 月 29 日版：サブ課題 C の体制変更に伴う更新
平成 29 年 12 月 22 日版：中間評価に伴う更新
平成 30 年 5 月 31 日版：平成 29 年 12 月 22 日版を平成 29 年度成果報告書別添として提出
令和元年 5 月 31 日版：平成 29 年 12 月 22 日版を平成 30 年度成果報告書別添として提出

別添 2-2

目次
１．

実施概要 ..................................................................................................................................... 1（１）目的・意義 ................................................................................................................................. 1（２）研究開発内容.............................................................................................................................. 2（３）目標・期待される成果 ............................................................................................................... 3（４）周辺領域への波及効果、課題全体における計算科学やシミュレーションの位置づけ............. 4（５）年次計画 ..................................................................................................................................... 5（６）実施体制 ................................................................................................................................... 10（７）必要計算資源............................................................................................................................ 13
２．研究開発内容詳細 ............................................................................................................................ 16
２－１．サブ課題 A．高圧燃焼・ガス化を伴うエネルギー変換システム ........................................ 16（１）目的・意義 ............................................................................................................................... 16（２）実施内容 ................................................................................................................................... 16（３）目標・期待される成果 ............................................................................................................. 17（４）「京」でできていること、ポスト「京」でなければできないこと.......................................... 19（５）実施体制 ................................................................................................................................... 19（６）必要計算資源............................................................................................................................ 20
２－２．サブ課題 B．気液二相流および電極の超大規模解析による燃料電池設計プロセスの高度化............................................................................................................................................................. 20（１）目的・意義 ............................................................................................................................... 20（２）実施内容 ................................................................................................................................... 21（３）目標・期待される成果 ............................................................................................................. 24（４）「京」でできていること、ポスト「京」でなければできないこと.......................................... 25（５）実施体制 ................................................................................................................................... 25（６）必要計算資源............................................................................................................................ 26
２－３．サブ課題 C．高効率風力発電システム構築のための大規模数値解析................................. 27（１）目的・意義 ............................................................................................................................... 27（２）実施内容 ................................................................................................................................... 27（３）目標・期待される成果 ............................................................................................................. 30（４）「京」でできていること、ポスト「京」でなければできないこと.......................................... 31（５）実施体制 ................................................................................................................................... 31（６）必要計算資源............................................................................................................................ 32（７）平成２８年度までの成果と、平成２９年度からの体制変更について .................................... 32
２－４．サブ課題 D．核融合炉の炉心設計 ....................................................................................... 33（１）目的・意義 ............................................................................................................................... 33（２）実施内容 ................................................................................................................................... 34
別添 2-i（３）目標・期待される成果 ............................................................................................................. 37（４）「京」でできていること、ポスト「京」でなければできないこと.......................................... 39（５）実施体制 ................................................................................................................................... 39（６）必要計算資源............................................................................................................................ 40
２－５．全体推進 ............................................................................................................................... 41（１）コデザインについて ................................................................................................................. 41（２）マルチフィジクス連成と V&V ................................................................................................ 41（３）マルチスケール連携と V&V .................................................................................................... 42（４）大規模行列計算、データ可視化に関する連携......................................................................... 42（５）アプリケーションの普及活動と V&V ..................................................................................... 42（６）必要計算資源............................................................................................................................ 44（７）人材育成 ................................................................................................................................... 44（８）アウトプット成果 .................................................................................................................... 45
３．採択時の留意事項への対応状況 ...................................................................................................... 46
４．中間評価における指摘事項への対応状況 ....................................................................................... 49

別添 2-ii

１．実施概要
革新的クリーンエネルギーシステムの中核をなす複雑な物理現象を詳細に解明し、定量的に予測することができる、ポスト「京」を最大限に活用したマルチスケール・マルチフィジクス統合シミュレーション技術を研究開発し、これを活用して、超高効率・低環境負荷な革新的クリーンエネルギーシステムの実用化を大幅に加速する。同システムの実用化は我が国が抱える最重要課題の一つであり、すでに国策として数々の関連事業やハードウエア開発主体のプロジェクトが実施されている他、民間においても低炭素社会実現等へ向けた様々な努力が行われている。エネルギー資源小国である
我が国においては、特定のエネルギー源に特化した需給計画は立てにくく、多様なエネルギー源のそれぞれの特徴を十分に勘案した上でその可能性をできるだけ大きく引き出す努力が必要である。また、従来はその手段として実験や実証試験と称する実規模に近いハード開発が先行するケースが多かった。しかし、革新的クリーンエネルギーシステムのように、中核となる物理現象が多岐にわたることと大変複雑で強い非線形性を有するシステムでは、実験室での小規模実験から、実規模に近い実証試験、さらに実機（商業炉）へとスケールアップするプロセスにおいて、しばしば、前段階で適正化した設計パラメータや稼働条件ではうまく動作しないということが頻繁に起こり得る。このことが、開発コストの増大と実用化を遅らせる大きな要因であった。
一方、詳細かつ定量的に実現象を把握するもう一つの方法としてシミュレーションへの期待も大きかったが、計算機性能の限界により短期間で、実機レベルの大規模かつ詳細な解析を行うことは不可能だった。これに対して、本課題では、ポスト「京」のエクサスケール級の計算機性能を駆使し、革新的クリーンエネルギーシステムの実機レベルの複雑物理現象の大規模超精密解析を短時間で繰り返し行うことを実現し、実機条件における設計パラメータや稼働条件などの最適解を効率的に探索し、新技術開発実現の抜本的スピードアップに資する。
なお、後述するように、本重点課題においては、革新的クリーンエネルギーシステムとして、石炭ガス化、燃料電池、洋上風力発電、磁気閉じ込め核融合炉、の４システムを対象として取り上げる。
これらはプロジェクト出口であるエネルギー源としては、それぞれに独立したものであるが、その中核をなす物理現象（構造、流体、熱、電磁気、材料劣化等）や克服すべき計算科学的課題（ベクトル・
マトリックス演算、マルチフィジクス性、マルチスケール性、パラメトリック計算、最適解探索、コデザイン、実機レベルの V&V など）に、多くの共通点があり、既存の国家プロジェクト等の中ではそうした本質的課題に対する計算科学的取り組みがほとんどなされていないか、あるいは不十分であった。このため、出口（エネルギー源）の多様性、個別性に十分に配慮しながらも、アプリケーショ
ン研究開発レベルにおいて、サブ課題間の連携を十分にとることにより、各サブ課題を単独で遂行することに比べて、大きな相乗効果を生むように本重点課題全体の推進を図る。また、同様の観点から、重点課題⑧とは共通する主要アプリケーションも多いことから、アプリケーション研究開発レベル
において、重点課題⑥、⑧でも十分な連携体制をとることとした。
（１）目的・意義
エネルギー資源小国である我が国にとって、エネルギー問題はエネルギーセキュリティの観点からも地球温暖化問題対応に向けた国際的責務の観点からも喫緊の重要課題である。エネルギー基本計画の中で、電源構成については、あらゆる面（安定供給、コスト、環境負荷、安全性）で優れるエネル

別添 2-1

ギー源はないとの前提のもとに、エネルギー源ごとの特性を踏まえ、現実的かつバランスの取れた需給構造を構築する方針が打ち出されている。このような我が国を取り巻く状況を踏まえ、本重点課題
では、超高効率・低環境負荷を実現する革新的クリーンエネルギーシステムの中核をなす複雑な物理現象の詳細解明と定量予測を、ポスト「京」を駆使した超高精度解析（第一原理的解析を中核とする
マルチスケール・マルチフィジクス統合シミュレーション）によって実現し、革新的クリーンエネル
ギーシステムの実用化を大幅に加速する。
なお、革新的クリーンエネルギーシステムに関しては、すでに国策として数々の関連事業やハード
ウエア開発主体のプロジェクトが実施されている他、民間においても低炭素社会実現等へ向けた様々な努力が行われている。従来は新しいエネルギーシステムを実現化する手段として実験や実証試験と称する実規模に近いハード開発が先行するケースが多かった。しかし、革新的クリーンエネルギーシ
ステムのように、中核となる物理現象が多岐にわたることと大変複雑で強い非線形性を有するシステ
ムでは、実験室での小規模実験から、実規模に近い実証試験、さらに実機（商業炉）へとスケールア
ップするプロセスにおいて、しばしば、前段階で適正化した設計パラメータや稼働条件ではうまく動作しないということが頻繁に起こり得る。このことが、開発コストの増大と実用化を遅らせる大きな要因であった。
そこで、本課題では、ポスト「京」のエクサスケール級の計算機性能を駆使し、革新的クリーンエ
ネルギーシステムの実機レベルの複雑物理現象の大規模超精密解析を短時間で繰り返し行うことを実現し、実機条件における設計パラメータや稼働条件などの最適解を効率的に探索できるようにして、新技術開発実現の抜本的スピードアップに資する。
（２）研究開発内容
本研究開発では、革新的クリーンエネルギーシステムを対象とするが、具体的なエネルギーシステ
ムとしては、喫緊の課題はもとより中長期的な視点も加味して、我が国の国策と実情に合致したエネ
ルギー源であること（ニーズ）とポスト「京」を最大限に活用する最先端計算科学シミュレーション
により課題を克服し多大の効果が期待できること（シーズ）の両面を考慮することに主眼をおき、エネルギーシステムを選定し、その実現を最も効率的に行えるようなサブ課題実施体制を構築した。また、適用するアプリケーションソフトウェアについては、スパコン「京」等において実績のあるソフ
トウェアシーズの中から、ポスト「京」時代の主要アプリケーション（革新的クリーンエネルギーシ
ステムの実用化に必須）として選定し、重点的に研究開発し、戦力化する。
以下に本重点課題を構成するサブ課題の分類・具体名とその目的を記す。
【火力】⑥-A：高圧燃焼・ガス化を伴うエネルギー変換システム（実機石炭ガス化炉・超臨界圧 CO2 タービンを対象とする、世界初の炉構造・反応［燃焼］・冷却のマ
ルチスケール・マルチフィジクスを考慮した炉全系高精度シミュレーションシステムを開発。）【水素】⑥-B：気液二相流および電極の超大規模解析による燃料電池設計プロセスの高度化（固体高分子形燃料電池 PEFC スタックの高出力密度化・低コスト化（出力密度 4kW/L 以上、Pt 使用
量 0.1g/kW 以下）に貢献するセル・電極設計のためのマルチスケール・マルチフィジクス統合シミュレーション技術を開発。固体酸化物形燃料電池 SOFC 電極の高耐久性実現（15 年以上に相当する SOFC

別添 2-2

耐久性評価）に貢献できる電極 3 次元シミュレーション技術を開発。）【自然】⑥-C：高効率風力発電システム構築のための大規模数値解析（洋上ウィンドファームの後流や大気境界層の影響を考慮した発電性能予測および流体構造連成振動
解析に基づく風車の信頼性評価を高精度に行えるマルチスケール・マルチフィジクス統合シミュレー
ションシステムの開発。）【核融合】⑥-D：核融合炉の炉心設計（大型実験プロジェクトと連携した実証研究によって多種イオン系モデルを確立。エクサスケール計
算の要素技術を統合し、世界最先端の計算精度と計算性能をもつ国産核燃焼プラズマ解析コードを開発。）【太陽光 その他】⑥-E：膜・界面のナノレベルからの設計（H26、H27 年度で終了。H28-31 年度はサ
ブ課題 B と全体推進に再編）（マルチスケールシミュレーションの統合基盤に基づくクリーンエネルギー用革新的機能性膜の設計）
なお、本重点課題で取り上げた、上記の４システムはプロジェクト出口であるエネルギー源としては、それぞれに独立したものであるが、その中核をなす物理現象（構造、流体、熱、電磁気、材料劣化等）や克服すべき計算科学的課題（ベクトル・マトリックス演算、マルチフィジクス性、マルチス
ケール性、パラメトリック計算、最適解探索、コデザイン、実機レベルの V&V など）に、多くの共通点があり、既存の国家プロジェクト等の中ではそうした本質的課題に対する計算科学的取り組みがほ
とんどなされていないか、あるいは不十分であった。このため、出口（エネルギー源）の多様性、個別性に十分に配慮しながらも、アプリケーション研究開発レベルにおいて、サブ課題間の連携を十分にとることにより、各サブ課題を単独で遂行することに比べて、大きな相乗効果を生むように重点課
題全体の推進を図る。具体的には、「全体推進」という横串のサブ課題間の連携の体制を構築し、４サ
ブ課題と「全体推進」が連動して、重点課題⑥全体の研究開発を進めることとする。また、同様の観点から、重点課題⑧とは共通する主要アプリケーションも多いことから、アプリケーション研究開発
レベルにおいて、重点課題⑧とも十分な連携体制をとることとした。
なお、開発を効果的に推進する観点から、目標を設定し、産業界のニーズにも応じた研究開発を推進することとする。目標としては基本機能の開発、設計支援環境の構築、構築したシステムの例証を行う。サブ課題ごとの詳細および「全体推進」の内容については「２．研究開発内容詳細」で述べる。
（３）目標・期待される成果
超高効率・低環境負荷な革新的クリーンエネルギーシステムの実用化を、ポスト「京」を最大限活用する最先端計算科学シミュレーション技術を駆使することによって抜本的に加速する。
【アウトプット成果】（平成 29 年度終了時）：
革新的クリーンエネルギーシステム対応主要アプリケーション群の基本機能の整備を完了する。
（本格実施フェーズ終了時）：
各サブ課題で開発した革新的クリーンエネルギーシステム対応主要アプリの「京」レベル計算機による機能の予備確認。開発した主要アプリのポスト「京」による機能確認と実スケール問題での効果の別添 2-3実証に向けた準備。
（ポスト「京」運用開始 5 年後）：開発した主要アプリのポスト「京」による機能確認と実スケール問題での効果の実証。ポスト「京」を用いた実証計算により、革新的クリーンエネルギーシステムの早期実現に取り組む。
【アウトカム成果】（ポスト「京」運用開始 5 年後）：
サブ課題で対象とする各エネルギーシステムに関し、解析効果の認知・実機への利活用。
（ポスト「京」運用 10 年後）：
各サブ課題の技術的目標達成が主要アプリにより促進され、革新的クリーンエネルギーシステム全体の実用化時期の早期化に貢献。
（４）周辺領域への波及効果、課題全体における計算科学やシミュレーションの位置づけ
本重点課題の中で研究開発されるアプリケーション群は、ミクロ領域（第一原理計算、量子化学計算）からマクロ領域（熱、流体、構造、連成）に至る、我が国を代表し世界的にも競争力の高いマル
チスケール・マルチフィジクス解析の汎用性のあるソフトウェアであり、ポスト「京」の性能を最大限に活用できるように適切化されたものとして提供される。しかも、石炭ガス化、燃料電池、洋上風力発電などの本重点課題で対象とする革新的クリーンエネルギーシステムの課題を解決できるのみな
らず、極めて広い範囲の人工物等のミクロ現象、マクロ現象、マルチスケール・マルチフィジクス現
象の高精度解析にも適用できる。このため、計算科学としての学術面への貢献はもとより、幅広い産業課題解決への多大な貢献も期待できる。

別添 2-4

（５）年次計画
中間目標（平成29年度） 主要アプリケーションの基本機能の開発、コードの高度化（ポスト「京」対応）
課題全体

最終目標（平成31年度） マルチスケール・マルチフィジクス統合シミュレーション機能の検証、ポスト「京」による例証の実施に向けた準備

サブ課題名（分担機関・責任者）

サブ課題Ａ
高圧燃焼・ガス化を伴うエネルギー
変換システム（東京大学・吉村忍）調査研究・準備研究フェーズ

本格実施フェーズ

平成26年度

平成27年度

平成28年度

平成29年度

平成30年度

平成31年度（目標）
・推進体制の構
築、本格実施の準備（目標）
・推進体制の構
築、本格実施の準備（目標）
・流体構造連成の実装、およびラボスケールの
火炉・燃焼器を対象にした試計
算の実施（目標）
・ラボスケールの火炉・燃焼器を対象にした試
計算の実施（目標）
・ラボスケールの火炉・燃焼器を対象にした試計算の実施とV&Vの実施（目標）
・実機の火炉・燃焼器を対象にした実証計算の実施に向けた準備（実施内容）
・協力企業の選定・対象機器の選
定・連携プロジェ
クトの検討（実施内容）
・守秘義務契約の締結
・コード開発仕様の策定・モデルの調査（実施内容）
・石炭灰の壁面付着および溶融モデルの導入・試計算の実施・超臨界物性モデルの導入・試
計算の実施
・炉構造・反応・冷却のマルチフィジクスを考慮した流体構
造連成の実装（実施内容）
・石炭ガス化炉・超臨界圧CO2タービンを対象に、炉構造・反応・冷却のマルチフィジクスを考慮した試計算の実施（灰溶融の考慮無し）（実施内容）
・石炭ガス化炉・超臨界圧CO2タービンを対象に、炉構造・反応・冷却のマルチフィジクスを考慮した試計算の実施（灰溶融の考慮有り）とV&Vの実施（実施内容）
・石炭ガス化炉・超臨界圧CO2タービンを対象に、炉構造・反応・冷却のマルチフィジクスを考慮した実証計算の実施に向けた準備
・設計環境の構築

別添 2-5

サブ課題Ｂ
気液二相流および電極の超大規模解析による燃料電池
設計プロセスの高度化（東京大学・
鹿園直毅）

（目標）
・二相流解析技
術、電極構造解析技術の大規模化に向けた課題
設定（目標）
・二相流解析技
術、電極構造解析技術の大規模化に向けた課題設定（目標）
・大規模二相流解析技術の構築
・電極構造解析技術の構築（目標）
・セルレベルの二相流DB構築に向けた解析データ蓄積
・電極構造解析技術の構築（目標）
・セルレベル二相流DB構築と大規模二相流解析のスタックへの
適用
・電極構造解析技術の高度化

（実施内容）
・二相流解析技
術、電極構造解析技術の大規模化に向けた調査（実施内容）
・二相流解析技
術、電極構造解析技術の大規模化に向けた調査・課題設定に対する産業界のヒ
アリング（実施内容）
・並列CFDコード
への気液二相流計算機能の実装、動作検証・要素試験等による二相流解析
モデル検証
・電極構造解析
コード開発
・粗視化用有効パラメータの決定法の汎用化（触媒を含む）、各種電解質膜の系統的な比較（実施内容）
・並列気液二相流の大規模計算技術の開発
・セルレベルの二相流動様式の定量化
・電極構造解析
コード開発
・非経験的な有効パラメータに基づく膜電極接合体のモデリングの試み（解析から設計への道筋）（実施内容）
・並列気液二相
流コードによる
数十～百億メッ
シュ規模のスタック計算の検討・二相流DB構築とスタック内二相流動の試計算・電極構造解析
コードの適用・反応性種を含めた膜電極接合体の統合的シミュレーションの実施（解析から設計の流れを確立）

別添 2-6（目標）
・大規模二相流解析技術の評価
・電極構造解析技術の高度化・マルチスケール連携によるセ
ル性能解析技術の構築（実施内容）
・自動車運転モードに対応した
スタック排水性解析の実施
・電極構造解析
コードの適用・膜電極接合体の合理的な設計とポスト京利用を想定したV&V総合評価・膜電極複合体～触媒層～流路
モデリング連携によるセル性能のV&V

サブ課題C
高効率風力発電シ
ステム構築のための大規模数値解析（豊橋技術科学大学・飯田明由）

サブ課題D
核融合炉の炉心設計（日本原子力研
究開発機構・井戸村泰宏）（目標）
・推進体制の構築（協力企業との連携強化等）（目標）
・推進体制の構
築（課題の明確化等と実施計画の詳細化）（目標）
・洋上風車の性
能・安全性の基
礎解析（実施内容）
・ポスト京における計算資源の詳細見積もりと実施計画の詳細化（実施内容）
・洋上風車後流解析技術の調査および検討（実施内容）
テスト計算の実施。解析手法の高速化、問題点の把握。

（目標）
・洋上ウィンドファームのマルチスケール・マルチフィジクス
統合シミュレーション技術の要
素技術の開発（実施内容）
要素技術の解析
結果の検証、プ
ログラムの高速化、高精度化の検討。

（目標）・洋上ウィンドファームのマルチスケール・マルチフィジクス
統合シミュレーション技術の要
素技術の連携とそれを活用した
ウィンドファー
ムの発電性能、風車の信頼性評
価（目標）
・洋上ウィンドファームのマルチスケール・マルチフィジクス
統合シミュレーション技術を活用した設計ツールの実用化（実施内容）
統合シミュレーション技術を活用して設計ツールを構築し、ツールの精度検証、実用化に対応した課題の解決。

（実施内容）
要素技術を連携
し、統合シミュレーション技術を用いたウィン
ドファームの発電性能と風車の
信頼性評価
（目標）
（目標）
（目標）
（目標）
（目標）
・実施体制を構 ・開発コードの ・開発コードの ・開発コードの ・実証研究によ築し、研究計画の 予備検証を行い、 計 算 モ デ ル 拡 張 エ ク サ 計 算 技 術 り 計 算 モ デ ル の妥当性を評価
を開発
概要を策定
を完了
研究計画を完成（目標）
・開発コードの計算性能、計算精度を実証（実施内容）
・JT-60、LHDと連携した実証研究によって開発コードの計算精度を検証し、さら（実施内容）
・目標精度の達成に向けて実証研究を継続するとともに、計算技
術の有効性を実（実施内容）（実施内容）（実施内容）
・関連プロジェ ・開発コードの ・開発コードを
ク ト と 連 携 し た 計算モデル、計算 多 粒 子 種 に 拡 張実施体制を構築。 性 能 の 予 備 検 証 し、多種イオン系
想定されるリソ を反映した目標 における乱流輸
ー ス に 対 し て 開 の具体化を図り、 送とMHD現象の特別添 2-7（実施内容）
・開発コードにおいて、メニーコ
ア計算手法、陰解法ソルバ、高性能粒子法等のエク発項目を精査し、 研究計画を完成
研究計画を策定

サブ課題E
膜・界面のナノレ
ベルからの設計（立教大学・望月祐志）（目標）
計画の詳細立案、推進体制の構築（実施内容）
ﾏﾙﾁｽｹｰﾙ･ｼﾐｭﾚｰｼｮ
ﾝ（MSS）向け統合ﾌﾟﾗｯﾄﾌｫｰﾑの仕
様検討

全体推進

（目標）
・プロジェクトの効率的推進（実施内容）
・推進体制の構築

性 を 理 論 的 に 解 サ 計 算 技 術 を 開 に、計算モデルを 証
析
発
向上

（目標）
成果目標のFSと計画の詳細決定（実施内容）
有効ﾊﾟﾗﾒｰﾀの定義と算定法の妥当性の検証、MSS
統合ﾌﾟﾗｯﾄﾌｫｰﾑの仕様決定
検討をもとに平成28年度以降はサブ課題Bへ統合（目標）
・プロジェクトの効率的推進（実施内容）
・主要アプリケーション開発における共通項目の整理
・共通基盤の要素抽出

別添 2-8（目標）
・プロジェクトの効率的推進（目標）
・プロジェクトの効率的推進（目標）
・プロジェクトの効率的推進（目標）
・プロジェクトの効率的推進（実施内容）
・サブ課題間共
通主要アプリケーションの整備
・マルチフィジ
クスシミュレーション基盤の構築（REVOCAP_Cou
plerの整備）・マルチスケールシミュレーション連携システムのプロトタイ（実施内容）
・サブ課題間共
通主要アプリケーションの高度化
・マルチフィジ
クスシミュレーション基盤の実証（FFB/FFR-REV
OCAP連携の実証）
・マルチスケールシミュレーシ（実施内容）
・サブ課題間共
通主要アプリケーションの機能追加
・マルチフィジ
クスシミュレーション基盤の効率化（FFB/FFR-R
EVOCAP連携の高効率化）
・マルチスケールシミュレーシ（実施内容）
・サブ課題間共
通主要アプリケーションの実証
計算補助
・マルチフィジ
クスシミュレーション基盤の実証（FFB/FFR-REV
OCAP連携の実証
計算実施）
・ポスト京の試作機を活用したピング、並行ジ
ョブ（capacity
computing）環境の構築

別添 2-9

ョン連携システムの本実装と普及策の検討、ナノ系計算の高度化

ョン連携システムの利活用と普及促進、ナノ系
計算の高度化の継続

マルチスケール
シミュレーションの有効性の実
証

（６）実施体制
本重点課題の全体推進体制を下図に示す。まず、課題全体の運営方針決定機関として「重点課題運営会議」を設け、重点課題責任者、サブ課題責任者、推進管理者等を構成メンバーとする。その下部組織として、各サブ課題推進主要メンバーから構成される「サブ課題連絡会議」を設け、前記運営会
議での方針の共有並びにサブ課題間の連携促進等を議論する。また、「アプリケーション開発会議」を設け、本重点課題で開発する主要アプリケーションの効率的・効果的開発について議論する。さらに、重点課題全体の進捗状況の評価や助言を得るため「諮問委員会」を上部組織として設置し、産業界代表や有識者に参加頂く。一方、各サブ課題の研究開発の推進は、分類別の推進会議等の開催によって、遅滞のない成果創出を図る。以上の本重点課題全体の事務作業をサポートする組織として、東京大学
大学院工学系研究科内に課題推進事務局を設置する。本重点課題では、特に、スーパーコンピューテ
ィング技術産業応用協議会やＦＯＣＵＳとの連携を重視するとともに、アプリ開発にあたってはハード開発とのコデザインのため理化学研究所と密接な連携を図る。
なお、本重点課題で取り上げた、石炭ガス化、燃料電池、洋上風力発電、磁気閉込核融合炉の炉心設計の４システムはプロジェクト出口であるエネルギー源としては、それぞれに独立したものであるが、その中核をなす物理現象（構造、流体、熱、電磁気、材料劣化等）や克服すべきシミュレーショ
ン課題（ベクトル・マトリックス演算、マルチフィジクス性、マルチスケール性、パラメトリック計
算、最適解探索、コデザイン、実機レベルの V&V など）に、多くの共通点がある。このため、出口（エネルギー源）の多様性、個別性に十分に配慮しながらも、アプリケーション研究開発レベルにおいて、サブ課題間の連携を十分にとることにより、各サブ課題を単独で遂行することに比べて、大きな相乗効果を生むように重点課題全体の推進を図る。具体的には、「全体推進」という横串のサブ課題間の連携の体制を構築し、４サブ課題と「全体推進」が連動して、重点課題⑥全体の研究開発を進めることとする。また、同様の観点から、本重点課題⑥と重点課題⑧では、共通して活用するアプリケーショ
ンも多い（たとえば、FFB、FFR、ADVENTURE、REVOCAP など）ので、両者で連携をとり、情報交換を密に行い、効率的なアプリケーション開発を実施する。

別添 2-10図

平成２６、２７年度の実施体制

図

平成２８年度の実施体制

別添 2-11図

平成２９～３１年度の実施体制

主要アプリ

主要アプリ

※H28 年度まで

図

重点課題⑥内アプリケーション連携開発体制

別添 2-12

副学長 吉村忍教授

主要アプリ

主要アプリ

図

主要アプリ

重点課題⑥、⑧アプリケーション連携開発体制（７）必要計算資源
サブ課題 A：
これまでの「京」での計算資源実績、および、今後の解析規模の拡大（個々のシミュレーション規模で 100倍）を総計し、以下の計算資源が必要となる。
アプリケーション開発実施時に必要な「京」の計算資源量：550 万ノード時間／年（A）燃焼・ガス化・粒子追跡・灰溶融シミュレーション技術の高度化 300 万ノード時間／年（B）高温高圧極限環境における構造健全性および炉構造・反応・冷却のマルチフィジクス評価 250 万ノード時間／年
サブ課題 B：
これまでの「京」や他の計算資源実績を基礎として、今後の解析規模の拡大（計算格子点数で 100〜1000倍程度）を考慮すると、以下の計算資源が必要となる。
アプリケーション開発実施時に必要な「京」の計算資源量：975 万ノード時間／年（A） セルレベル二相流解

80 万ノード時間／年（B） スタック全体二相流解析

240 万ノード時間／年（C） 焼結予測 1032 ノード×200 時間×5 ケース = 103.2 万ノード時間／年（D） 過電圧評価 1032 ノード×200 時間×5 ケース = 103.2 万ノード時間／年

別添 2-13

（E） 構造最適化 1032 ノード×200 時間×3 ケース = 61.92 万ノード時間／年（F） その他：チューニング、デバッグ等 50 万ノード時間／年（G） MEA 構造解析：157 万ノード時間／年（H） MEA 機能解析：180 万ノード時間／年
サブ課題 C：
これまでの京における実績および解析規模の拡大から以下の計算資源を必要とする。
アプリケーション開発実施時に必要な「京」の計算資源量：750 万ノード時間／年
平成２８年度まで(A) 風車単体解析：250 万ノード時間/年(B) ウィンドファーム解析：300 万ノード時間/年(C) 先端流体制御解析:200 万ノード時間/年
平成２９年度以降(A) 風車単体解析：450 万ノード時間/年(B) ウィンドファーム解析：300 万ノード時間/年
サブ課題 D：
アプリケーション開発実施時に必要な「京」の計算資源量：550 万ノード時間／年
計算資源は主に LHD や JT-60 における実証研究に利用する。
「京」における既存装置の計算コストは GKVが JT-60 で約 1 万ノード時間/ショット、LHD で約 50 万ノード時間/ショット、GT5D が JT-60 で約 100 万
ノード時間/ショット（LHD は未実施）、MEGA が JT-60 で約 10 万ノード時間/ショット、LHD で約 100 万ノ
ード時間/ショットとなっていることから、各コードで年間平均 2〜3 ショット程度の解析を実行するために「京」の資源を約 550 万ノード時間/年を必要とする。これに加えて、FX100、MIC、GPU 等の最先端のメニーコアプロセッサにおけるコード開発を実施するために「京」以外の資源を約 40 万ノード時間/
年を必要とする。
全体推進：
全体推進では「京」の利用は行わず、「京」以外の計算資源を用いて主要アプリケーション群の整備、マ
ルチフィジクス/マルチスケールシミュレーション基盤の整備を中核として実施する。また、各サブ課題
において必要となる「京」以外の計算資源の調整を行う。
「京」の計算資源量（単位：ノード時間/年）
H27 年度

目標

180 万

H28 年度1993 万H29 年度2825 万「京」以外の計算資源量

H30 年度2825 万H31 年度2825 万（単位：ノード時間/年）
H27 年度

H28 年度別添 2-14

H29 年度

H30 年度

H31 年度

目標

0

320 万

別添 2-15

320 万

320 万

320 万

２．研究開発内容詳細
２－１．サブ課題 A．高圧燃焼・ガス化を伴うエネルギー変換システム（１）目的・意義
東日本大震災後に我が国のエネルギーベストミックスの一角を占める原子力発電が機能不全に陥り、電力供給に占める火力発電の割合は約 90%にまで上昇している（LNG43%、石炭 28%、原油 19%）。この
うち、石炭火力発電は世界の総発電量の約 40%を占め（2010 年時）、今後も新興国の旺盛な電力需要を受け、益々の増加が見込まれている。このため、我が国のエネルギーセキュリティ、世界的な地球温暖化対策、国が主導するインフラシステム輸出戦略のどの観点から見ても、高効率・低環境負荷・高レジリエンス技術をより一層高度化し石炭火力発電システムを革新することが必要不可欠である。特にゼロエミッションサイクル（CO2 排出総量ゼロ）を実現する CO2 分離・回収・貯留（CCS[Carbon Capture
Storage]）技術を導入した石炭ガス化炉と超臨界圧 CO2 タービンは次世代の本命の石炭火力発電に必須の革新技術であり、国家プロジェクトとして推進されている。しかし、この技術においては高圧燃
焼・ガス化という大変複雑な物理・化学現象を伴う上に、最近の火力発電システムを商業炉として実用に供するためには、より一層の効率向上と環境負荷低減のためにコンバインドサイクル等の複雑なシステム化も要求される。このため、設計・開発時に試行錯誤プロセスが増大し、中小規模の試験炉から大型実用炉にスケールアップする際に、試験・開発期間が増大し、それに伴い開発コストが肥大化し、結果的に実用炉の経済性の低下を引き起こす。これは国家プロジェクトの大きなリスク要因になるとともに、もし技術的に実現できたとしても社会的な実装段階において経済性の観点から大きな阻害要因となる。
本サブ課題では、2020～2030 年代の実用化を目指して研究開発が進められている CCS を伴う石炭火力発電システム実現のカギを握る高圧燃焼・ガス化炉を主なターゲットとする。従来の計算機環境では実現が不可能であった炉全系高精度シミュレーション技術を研究開発し、高圧燃焼・ガス化プロセスの詳細定量評価を実現することにより、適切な炉パラメータ探索の試行錯誤プロセスを大幅に削減
し、国際競争力のある実用炉に必須となる高効率化・低環境負荷・高レジリエンス性能の実現を加速し、その実用化時期の早期化に貢献する。
（２）実施内容
ポスト「京」によって初めて達成される第一原理的高精度シミュレーション（固気液三相のLES[Large Eddy Simulation]）により、実験では計測が不可能な燃焼・ガス化・粒子追跡・灰溶融等の非定常マルチスケール・マルチフィジクス挙動の定量把握を行う。主な実施項目を以下に具体的に記す。
（a） 超臨界圧 CO2 タービンおよび石炭ガス化炉を対象とする、燃焼・ガス化・粒子追跡・灰溶融の第一原理的燃焼流シミュレーション技術の高度化（物理化学モデルの高度化と時空間分解能の高精度化）（京大、九大）（b） 上記 2 炉型を対象とする構造健全性および炉構造内伝熱・反応（燃焼・ガス化・灰溶融等）
・冷却システム全体の非定常非線形マルチスケール・マルチフィジクス統合シミュレーションの実現（東大）別添 2-16

本サブ課題における実用化プロセス、チャレンジングな点、V&V プロセスは次の通りである。
・実用化へのプロセス
すでに実証炉から商用炉に転用された茨城県勿来の空気吹きの 25 万 kW の IGCC（Integrated coalGasification Combined Cycle）事例を参照しつつ、さらに経済性の高い 50 万～100 万 kW 級の石炭ガス化プラントの高効率化、および酸素吹きまたは酸素―CO2 吹きによる IGCC+CCS 実用化を念頭に NEDO
プロジェクト（現在、電中研―九大で実施中）、民間企業（三菱日立パワーシステムズ）との連携体制を構築する（電中研とは平成 27 年度に秘密保持契約を締結し、電中研炉の解析に関する共同研究を実施中。三菱日立パワーシステムズとはポスト「京」のターゲット問題である三菱重工実験炉の解析準備に向けて平成 29 年度中に秘密保持契約の締結を予定）。さらに、溶融スラグの詳細シミュレーショ
ン等、燃焼・構造・伝熱・冷却の統合シミュレーション環境を整備し、酸素吹きの CCS への適用は 2020
年代、また、酸素―CO2 吹きは 2030 年代の実用化に貢献する。
・チャレンジングな点
大規模燃焼解析については、現在、米国 Center for Exascale Simulation of Combustion in
Turbulence (ExaCT)等のコード開発があるが、燃焼シミュレーション部分のみに特化している。それに対して、本サブ課題では、実機の石炭ガス化炉を対象として、（1）気相、液相、分散粒子相、三相の同時解析モデルの実装、（2）灰の壁面付着、溶融メカニズムの解明とモデリング、（3）実機の燃焼系計算と炉容器の熱伝導計算および非線形損傷解析の双方向連成シミュレーションを行うこととしており、これらは、いずれも世界的にも例のないサイエンス的にもチャレンジングな研究開発課題である。
・V&V プロセス
固気液三相の燃焼解析を担当する FFR-Comb と固体中の熱伝導解析と非線形損傷解析を担当する
ADVENTURE_Thermal および ADVENTURE_Solid については、それぞれに、解析機能の高度化を行い、個別現象のベンチマーク問題などの解析を通して、平成 28～29 年度中に個別のコードの精度および性能検証を行う。一方、現実の石炭ガス化炉を対象としたマルチスケール・マルチフィジクス統合シミ
ュレーションの V&V は次のプロセスで行う。プロジェクト期間中（平成 31 年度まで）に確実に利用できる実験データとしては、電中研の石炭ガス化実験炉がある。これについては平成 27 年度に電中研と本サブ課題実施機関の間で秘密保持契約を締結し、解析対象のデータの受け渡しなどを実施済である。
平成 28 年度から平成 29 年度にかけて、FFR-Comb と ADVENTURE_Thermal および並列連成カプラー
REVOCAP_Coupler、ADVENTURE_Solid の相互接続を行い、また、電中研炉の解析モデルの構築を行い、その解析を実施し、同実験炉の試験結果と FFR-Comb と ADVENTURE_Thermal、および FFR-Comb とADVENTURE_Thermal 双方向連成シミュレーションの比較を行う。そして平成 30 年度前半に V&V を完了する。また、この解析を進めることと並行して、三菱重工・電中研との調整により、三菱重工実験炉（長崎研究所）の解析を行うべく交渉を進め、電中研実験炉の解析に次いで、これらの解析の準備を行う。平成 29 年度中に締結すべく三菱日立パワーシステムズと秘密保持契約の交渉を進めており、解析対象のデータ受け渡し、解析モデル作成、予備解析などの実施時期は平成 30～31 年度を想定する。
（３）目標・期待される成果
ポスト「京」を最大限に活用したシミュレーションの定量的目標として、石炭ガス化においては灰別添 2-17

の溶融・付着モデルを導入し、炉構造内伝熱解析と熱流体解析を双方向に連成することにより、ガス化炉出口温度の予測精度 10%未満、化学種組成・灰分量の予測精度 20%未満を目指す。また、超臨界圧燃焼においては実在気体モデルおよびそれに適した乱流燃焼モデル法を導入し、炉構造内伝熱解析と熱流体解析を連成することにより、超臨界圧（5MPa 程度以上）燃焼器出口温度の予測精度 10%未満、燃焼器内壁面熱フラックスの予測精度 20%未満を目指す。
【アウトプット成果】
平成２９年度終了時：
ラボスケールの石炭ガス化炉・超臨界圧 CO2 タービンを対象とする、炉構造・反応・冷却のマルチフィジクスを考慮した試計算を実施する（灰溶融の考慮無し）。
本格実施フェーズ終了時：
ラボスケールの石炭ガス化炉・超臨界圧 CO2 タービンを対象に、世界初の炉構造・反応・冷却のマ
ルチスケール・マルチフィジクス統合シミュレーションをし（灰溶融の考慮有り）、V&V を実証する。
また、このソフトウェアを用いた設計環境を構築する。さらに、三菱重工実験炉の解析準備を完了する。
本サブ課題では、中間評価時点で論文数８本（査読有５本）、学会発表数３０件（招待講演２件）であった。中間評価以降から本格実施フェーズ終了時までの間の達成目標としては、論文１０本（半数は国際ジャーナル論文）、学会発表数２５件（半数は国際会議）、解説等論文１件を目指す。
ポスト「京」運用開始 5 年後：開発した主要アプリのポスト「京」による機能確認と三菱重工実験炉をはじめとする実機での効果の実証。その後、本プロジェクトで開発したソフトウェアを様々な条件下で実施し、現場における火炉および燃焼器の設計および適切な操作条件の選定に役立てる。
【アウトカム成果】
ポスト「京」運用開始５年後：
実機燃焼過程の高精度シミュレーションに基づきバーナ形状、燃焼器形状、空気比等の操作条件選定、高温高圧の非定常非線形極限環境での構造健全性評価や冷却設備の適切な配置の効率的探索を実現する。
ポスト「京」運用開始１０年後：開発した技術を利用して、CO2 削減により大きく貢献する（マイナスエミッション）バイオマスガス
化炉の実用化にも資する。これらの成果物により、従来の経験的手法による試行錯誤的発電プラント
設計から脱却し、シミュレーション主導設計（Simulation-based Design）を実現する。さらに、実用化過程でのパイロット炉等のバーチャル化により、実用化時期のより一層の早期化および経済性の向上に貢献する。
【本サブ課題のもたらす波及効果と経済的効果】
実用化された石炭ガス化炉については、様々な産地で生産される石炭に対応する必要があるが、成別添 2-18

分の異なる石炭を効率的に燃焼するためには、炭種に応じた炉の操作条件を適切化することが必須である。本シミュレーション技術を活用することにより、そうした操作条件の適切化を効率的に行うことが可能となり、2030 年頃に予定される CCS を伴う石炭ガス化複合発電のより一層の普及に貢献することが期待できる。
また、本プロジェクトの貢献により、少なく見積もっても、年あたり 400 万 kW 級 1 基、5 年間で 5基の建設を上積みできる。400 万 kW 級 1 基あたり 1400 億円のプラント売り上げがあり、既存石炭火力発電に比べて年あたり 190 万トンの CO2 削減効果と、5.4 億円の燃料費節約効果が得られる。5 年では、7000 億円のプラント売り上げと 2850 トンの CO2 削減効果、81 億円の燃料費削減がある。
（４）「京」でできていること、ポスト「京」でなければできないこと
本サブ課題ではポスト「京」によって初めて可能となる高圧燃焼・ガス化プロセスの第一原理的予測を行う。このため、文科省 HPCI 戦略プログラムにおいて開発を行ってきた汎用並列熱流体解析コー
ド FFR-Comb において燃焼・ガス化モデルの高度化を行う。さらに、反応（燃焼・ガス化・灰溶融）過程のより一層の高精度シミュレーションのため高温流体と構造間の熱伝達条件を正確に記述する炉構
造・反応・冷却の非定常非線形マルチフィジクス評価を我が国屈指の汎用並列有限要素法解析コード
ADVENTURE_Solid および ADVENTURE_Thermal と、さらに、超並列環境で実行可能な世界唯一の汎用並列連成解析プラットフォーム REVOCAP_Coupler を本サブ課題の対象現象に適合するように高度化し実現する。なお、REVOCAP_Coupler の機能拡張と開発自体は全体推進において実施する。これまで、「京」を利用した HPCI 戦略プログラムでは計算能力の制限から、FFR-Comb では亜臨界状態でのガスタービ
ン燃焼器、ベンチスケールのガス化炉（実験炉）の解析、ADVENTURE では 100 億自由度規模の比較的シンプルな大変形弾塑性振動解析、REVOCAP_Coupler では有限要素法解析コード同士の比較的小規模な問題を対象とする 2 現象の連成解析に留まってきた。これらの先進的 HPC コード群をポスト「京」向けに高度化し、かつ、本サブ課題で対象とする実機の非定常非線形複雑連成現象に対応させることにより、初めて超臨界圧 CO2 タービンと石炭ガス化の CCS 導入実現の加速が可能となる。
（５）実施体制東京大学・京都大学・九州大学を中核として、民間協力機関注 1）、国プロ等注 2）と連携し、ポスト「京」の計算能力を最大限活用し、CCS を導入した次世代の本命の石炭火力発電における高効率・低環境負荷・高レジリエンス技術をより一層高度化する。
大規模シミュレーション技術・ソフトウェア資産に関しては「京」での卓越した研究実績（戦略分野４）があり、民間との共同研究もすでに着手している。今後、本サブ課題の実用化に向けて、特に開発するコードの実機レベルの V&V プロセスを中心に、NEDO プロジェクト等と積極的に連携を進めていく。
注１） 重工系企業数社と協議中。
注２） NEDO「ゼロエミッション石炭火力技術開発プロジェクト」「CCS 対応高効率システム開発」（実施期間：平成 27〜31 年度）、代表者：牧野尚夫（一般財団「CO2 回収型クローズド IGCC 技術開発」
法人電力中央研究所 エネルギー技術研究所 首席研究員）（協議中）。

別添 2-19

（６）必要計算資源
これまでの「京」での計算資源実績、および、今後の解析規模の拡大（個々のシミュレーション規模で100 倍）を総計し、以下の計算資源が必要となる。
アプリケーション開発実施時に必要な「京」の計算資源量：550 万ノード時間／年（A）燃焼・ガス化・粒子追跡・灰溶融シミュレーション技術の高度化 300 万ノード時間／年（B）高温高圧極限環境における構造健全性および炉構造・反応・冷却のマルチフィジクス評価 250 万ノード時間／年２－２．サブ課題 B．気液二相流および電極の超大規模解析による燃料電池設計プロセスの高度化（１）目的・意義
燃料電池は、究極的な高効率かつクリーンなエネルギー変換装置であり、将来の化石燃料消費量および CO2 排出量の削減に向け、次世代自動車用の動力源、定置用発電システムとしての本格普及が期待されている。自動車用の固体高分子形燃料電池（PEFC）はすでに実用化が図られているものの、今後の本格普及のためにはより一層のコスト低減と耐久性向上が課題である。具体的な課題としては、
中長期的には脱 Pt 触媒や高温作動電解質膜などの革新的材料のブレークスルーが要求される一方、直近では、PEFC の高出力密度化によるコスト低減として、電極の物質輸送抵抗の低減、Pt 使用量低減やフッ素系（Nafion）
・炭化水素系電解質のプロトン伝導性向上といった既存材料の改善、および低温
起動・負荷変動時の液水滞留の抑制による発電の均一化・安定化が重要な課題である。また、固体酸
化物形燃料電池（SOFC）は、炭化水素燃料を利用する際に最も高効率が実現でき、将来の主要なエネルギー変換装置として期待されている。しかし、高温での固体材料の拡散や反応による電極多孔体構
造自体の経時変化が性能低下の原因となっており、定置用発電システムに必要な耐久性向上が直近の課題となっている。
燃料電池はマクロスケールのセル・スタックから微細かつ複雑なメゾスケールの電極多孔体、Pt 触媒・担体・電解質のナノスケールの三相界面までの広範囲な領域にわたるイオン・電子・反応物質の輸送と電気化学反応が重畳した非常に複雑な現象である。原子レベルのナノスケールから数 10～
100nm オーダーのメゾスケールである三相界面、そして 10µm 厚の触媒層までの非常に大きなスケール比を有する複雑微細構造内およびセパレータ流路内での様々な運転条件、たとえば発電性能に関わる
電極内の反応・物質輸送の不均一性、液水滞留によるガス供給の不均一性、および耐久性能に関わる電極構造の経時変化等の計測は困難であり、そのための実験には膨大なコストを要する。このような燃料電池のマルチスケール現象を数値予測する試みはポスト「京」によって初めて実現できるものであり、サイエンス的にも大きな価値がある。
また、各メーカーともコストや信頼性だけでなく、製造プロセスといった多くの実績からほぼ製造
方法や材料を絞込みつつあり、それらを前提として製品競争力を向上させることが当面最大の課題となっている。つまり産業界のニーズとして、現在主流となっている材料や製法をベースとし、上述したマルチスケールの複雑現象を明らかにし、設計技術を高度化することが強く求められている。すな
わち、燃料電池の製品競争力向上に資するという観点からは、最終的な製品構成としてのスタックや電極の設計に役立つ数値シミュレーション技術開発が必要不可欠である。

別添 2-20

以上から、本サブ課題ではポスト「京」を用いた大規模数値シミュレーション技術によって、燃料電池のマクロ～メゾスケールおよびメゾ～ナノスケールにおける全体現象の理解に基づいた三相界面構造、電極構造とセル構造、作動条件の適切化等の設計指針を提示することにより、自動車用燃料電池および定置用燃料電池システムが直面する課題解決に直接的に貢献することを目的とする。
（２）実施内容
本サブ課題では、燃料電池セル・スタック内の大規模な気液二相流解析、電極全体の反応機構解析および電極内三相界面の機構解析を実現するとともに、それらの成果を燃料電池全体性能シミュレー
タへ反映することにより、PEFC の高性能化とセル・スタック小型化に資する構造・作動条件の適切化等の設計指針を提示することを目指す。また、SOFC については耐久性向上に資する電極構造変化と電極全体の反応機構解析にフォーカスする。
PEFC に関しては、膜電極接合体（MEA）におけるミクロスケールの構造・物質輸送解析、メゾスケー
ルの電極内の反応・輸送解析、およびマクロスケールの気液二相流解析を用いて、個々の部材における現象を解明するとともに構造設計指針を提示する。それに加えて、MEA およびセル・スタックの発電性能を評価するために、各スケールにおける解析結果を連携させたマルチスケール解析ワークフロ
ーを構築する。具体的には、ナノ構造・機能解析によって算出した電解質膜・電極三相界面のプロト
ン伝導度およびガス拡散係数を電極要素特性解析に適用することで、MEA の発電性能解析を実施する。
ナノレベルの計算は、経験パラメータ無しで第一原理的に行われるため、広範囲の素材材料を統一的な精度で扱うことが可能で汎用性が高く、メゾ・マクロ系を通じた設計ツールとしての基盤を支える。
触媒活性等の電気化学反応パラメータについては計測の必要があるものの、三相界面および触媒層の構造・輸送パラメータについては、実験による経験式を用いることなく計算結果による内部現象理解に基づいたモデル式として扱うことが可能になる。さらに、電極要素特性解析により算出した分極特性（活性化過電圧、電解質膜およびアイオノマーの抵抗過電圧、触媒層構造に起因した拡散過電圧）、
および大規模気液二相流解析によって算出した流路内の圧損増倍、液水滞留量等の二相流動パラメー
タを全体性能シミュレータに適用することで、部材レベルからセル・スタックの発電性能、特に自動車用 PEFC に要求される高電流密度域の限界性能を予測することが可能となる。ナノスケールシミュ
レーションから得られる物性値のメゾスケール電極シミュレーションへの反映、電極要素解析結果や
セル・スタックの二相流動解析結果の燃料電池全体性能シミュレータへのリンクといったミクロ・メ
ゾ・マクロのスケールを連携する試みは、世界を見ても例がなく、ポスト「京」で初めて実現される。
材料特性から電池デバイス設計やシステム設計にボトムアップで橋渡しするのみならず、電極作成プ
ロセスやシステムの制約をもとにあるべき材料特性をトップダウン的に示すことが可能になる。
なお、サブ課題 B の直交格子系のメゾスケール電極シミュレーションの高速化に関しては、全体推進とサブ課題 D も連携協力する。
(a) 大規模二相流解析による実機 PEFC スタックの設計プロセスの構築（みずほ情報総研、東大）
PEFC 流路における気液二相流解析の実績を有するオープンソース CFD コード（OpenFOAM）を流路／
GDL 界面からセルレベルの詳細解析に適用し、要素実験によるモデル検証を行い、流路構造・作動条
件（流量、圧力、温度）に対する排水速度や局所的な液水滞留量および圧損増加などのセルレベルの

別添 2-21

局所的な二相流動の定量化とデータベース（DB）構築を行う。また、大規模並列化に向けた行列ソルバの収束性向上への検討を実施するとともに実機セル・スタック設計において求められる精度を実現
するメッシュ規模を明らかにすることで、燃料電池自動車の実セル・スタック設計に資する大規模気液二相流解析コードとそのための計算格子生成とデータ入力システムを開発する。
PEFC 内の表面張力と流路壁面濡れ性の影響を考慮した 0.1mm～数 cm スケールの液水挙動の解明と二相流動の工学的評価、気液二相流動の数十～百億グリッド規模の大規模シミュレーションは、いずれも世界的に例のない挑戦的な研究開発課題である。
大規模二相流解析の V&V については以下の方針で実施する。
・基礎二相流現象（前進・後退接触角、メニスカス、等）の検証を行う。
・可視化セル要素試験（流路・カーボン多孔質界面）のデータを用い、燃料電池特有の二相流動（濡れ性、表面張力効果、水滴成長径）解析機能の検証を行う。
・NEDO 評価セル等を用いた高電流密度域の限界性能、圧力損失の検証、ショートスタック（20 枚積層）におけるセル間の流量・電圧分布等の検証を行う。
平成 29 年度は、気液二相流の大規模並列計算技術とそのための計算格子生成とデータ入力システ
ムを開発し、評価セルの流路構造に対して圧損増倍、液水滞留量等の相関量を算出し、全体シミュレーションに適用して発電特性を検証し、モデルの課題を整理する。平成 30 年度は、並列気液二相流コードを用いて単セルから 20 枚ショートスタックの解析に資する試計算を行い、実機相当セルの流路構造に対する二相流の相関量を算出し、それを用いた全体シミュレーションによるショートスタックの解析と同構造・同規模の詳細な気液二相流解析の結果を比較する。平成 31 年度は、自動車運転モードに対応したスタック排水性解析を実施する。また、標準材料を用いた NEDO 評価セルの発電性能を10mV 程度の精度で予測する技術の確立を目指すとともに、自動車用 PEFC の設計に要求されるショー
トスタックレベルでセル間の流量・電圧分布等の解析を行う。
（b） SOFC 電極要素特性解析（東大）
東京大学ですでに開発を進めている計算モデルを基盤とし、理化学研究所で開発を進めてきた階層
直交格子による大規模シミュレーション技術を導入することで、実電極における多孔体構造を考慮した実験９万時間（10 年間）に相当する長時間焼結予測技術、過電圧予測技術を開発する。また、より高性能、高信頼性な電極構造を明らかにするために、随伴解析に基づく複雑形状の最適化アルゴリズ
ムを搭載する。
SOFC 電極シミュレータの V&V については、東京大学にて Ni-YSZ や LSCF 等の標準的な SOFC 材料を用いたボタンセルを作製し、電流電圧特性評価、交流インピーダンス測定、FIB-SEM を用いた電極 3 次
元構造再構築を実施し、シミュレータの検証を行う。
平成 29 年度は、大規模並列計算に適用可能なフェーズフィールド法による 3 次元電極構造解析コードを開発する。平成 30 年度は、電極構造変化から過電圧までを予測する統合解析手法を完成させる。平成 31 年度は、100 億格子規模の電極構造解析を実施する。
（c） PEFC 電極要素特性解析（九大）
京都大学で開発を進めてきた PEFC 電極の形成プロセスおよび過電圧予測シミュレーション技術を別添 2-22

大規模化し、触媒層の各種構造パラメータ（担体粒径、凝集形状、電解質被覆構造、触媒担持量、分散）をもとに出力性能と反応分布の観点からデータベース構築を行う。さらに適切な構造パラメータ
探索のためのアルゴリズムを開発し実装する。また、その触媒層特性を反応速度定数と物質輸送特性
パラメータ（拡散係数、プロトン伝導度）に整理する。特に項目(d)のナノスケールシミュレーション（立教大・物材機構）にて行われるアイオノマーの輸送機構解析（プロトン伝導・ガス拡散）の知見
より、各種アイオノマー材料の特性を本メゾスケール解析に反映させて発電特性評価を行う。従来の研究では、アイオノマーのナノスケール解析が困難であるため、そのプロトン伝導性やガス拡散性の特性評価には実験的に取得された経験式が用いられていた。したがって各種アイオノマー材料の発電特性に及ぼす影響がこれまでは不明瞭であったが、本研究項目のように各スケールの知見を融合（マルチスケール連携）することで、新規材料利用時の発電特性予測にも応用できる。
SOFC、PEFC ともに電極有効反応領域である数 10μm スケールを数百億グリッド規模で解析する電極の数百億グリッド規模の大規模シミュレーションは、世界的に例のない非常に挑戦的な課題であり、サイエンス的にも大きな価値がある。
PEFC 電極要素特性解析の V&V については以下の方針で実施する。
・Pt 担持量の異なる各種 Pt/カーボン担体のモルフォロジーや微細孔のデータ収集および担体形成解
析の結果と比較し検証を行う。
・多孔質触媒層構造の形成解析（アイオノマー被覆考慮）と FIB-SEM による実材構造とを比較し検証を行う。
・触媒層反応輸送解析と実触媒層活性の電気化学測定との比較を行い触媒層レベルでの性能を検証する。
平成 29 年度は、触媒層の構造パラメータと電極特性を関連付ける反応速度パラメータおよび輸送
特性パラメータをモデル化する。平成 30 年度は、2-5nm の空間分解能を有する FIB-SEM で取得した触媒層三次元電極構造を対象に反応輸送解析を行い、内部の反応抵抗や物質輸送抵抗に起因する電圧損
失（過電圧）を 10mV 程度の精度で予測する。
（d） PEFC 膜電極接合体（MEA）のナノ構造・機能解析（立教大・物材機構）
立教大で研究開発を進めてきた全重点課題中で唯一のフラグメント分子軌道（FMO）法プログラム
ABINIT-MP を用いて、高分子の粗視化シミュレーション（OCTA で実行可能な散逸粒子動力学（DPD）など）の有効相互作用（χ）パラメータを非経験的かつ定量的に算定する手法を確立し、Nafion や PEEKなどの電解質膜の合理的設計に適用する。また、ABINIT-MP と物材機構で開発を進めてきた密度汎関数（DFT）
プログラム PHASE/0 を連携活用し、PEFC の三相界面構造・機能解析のための実用的 MSS（MultiScale Simulation）基盤を構築する。これにより、Pt クラスターとカーボン担体を含む三相界面の構
造モデリングを実施した上で、PEFC 性能を大きく左右するアイオノマーの輸送機構解析（プロトン伝
導・ガス拡散特性評価）を行い、メゾ～マクロシミュレーションで用いられる含水量に対する物質輸送係数との関係について界面構造とバルク膜構造における水チャネル構造等の相違点を明らかにする。
実験的な計測・評価が困難である電極内三相界面に関して、非経験的な有効パラメータのみに基づ
く Pt 触媒・担体・電解質を含めた三相界面の構造モデリングと機能解析、さらに合理的な設計への展
開は、世界的にも例のないチャレンジングな研究開発課題であり、サイエンス的にも大きな価値があ

別添 2-23

る。
平成 29 年度は、フラグメント分子軌道（FMO）法プログラム ABINIT-MP を用いて、高分子粗視化シ
ミュレーションの有効相互作用（χ）パラメータを非経験的かつ定量的に算定する手法を確立して相互作用パラメータ算出ワークフローシステムとしてまとめ、さらに膜電極接合体における水クラスタ
ー構造を再現するプロトコルを構築する。また、得られたメゾレベルの数値指標を項目(c)の九大グループのマクロ系のシミュレーションに転用することも試みる。平成 30 年度は、密度汎関数（DFT）プ
ログラム PHASE/0 を連携活用し、PEFC の三相界面構造と機能を解析するための統合的シミュレーショ
ンを実施する。平成 31 年度は、膜電極接合体の合理的な設計とポスト京利用を想定した V&V 総合評価を行う。
（３）目標・期待される成果【アウトプット成果】（平成２９年度終了時）：
PEFC では、セル流路内の 0.1～1 mm オーダーの水滴からスタック内の数 10cm オーダーの複雑な二相流動の予測が実現できる。大規模二相流コードと流動様式の DB については当該分野における計算例は存在せず、実験計測では困難であった実機 PEFC 内二相流動の解析により、発電均一化・安定化に向けたセル形状設計、作動条件設計のための主要アプリとして活用できる。電極解析では実材料スケール（10μm 前後）における反応不均一性と物質輸送の連成効果を再現するシミュレーション技術が実現される。また、実験計測が困難とされる MEA 内のナノ界面構造モデリングと輸送特性との相関把
握、ナノレベルの非経験的計算に基づいた高分子メゾ構造の高精度予測による電解質の合理的評価が可能となる。
SOFC では、10 年間の信頼性を短時間に評価できる技術、具体的には、電極過電圧および構造変化の評価に必要となる解像度である格子サイズ 10 nm 以下、計算領域として電極反応が実質的に進行する
領域サイズである 20 μm 以上、実験に換算して 9 万時間（10 年）に相当する 3 次元シミュレーショ
ン技術が実現される。
（本格実施フェーズ終了時）：
PEFC スタックの高出力密度化・低コスト化（出力密度 4kW/L 以上、Pt 使用量 0.1g/kW 以下）に貢献するセル・電極設計シミュレーション技術を開発。SOFC 電極の高耐久性実現（15 年以上に相当する
SOFC 耐久性評価）に貢献できる電極 3 次元シミュレーション技術を開発。
燃料電池メーカーの数が限られていることから、当プロジェクトで作成するアプリケーションはユーザーのニーズに直結したカスタマイズが必要であるが、NEDO プロジェクト等を通じて、燃料電池メーカーとの情報交換を活発に行っており、プロジェクト終了時にはメーカーへ展開する準備は整っている。さらに、サブ課題 B と全体推進で連携して開発を進めている散逸粒子動力学法（DPD）計算に必要となるχパラメータを FMO 計算から算定する相互作用パラメータ算出ワークフローのシステム FCEWS(Fragment molecular orbital-based Chi-parameter Evaluation Workflow System)を、「計算工学ナビ」のサイトから提供する予定である。
本サブ課題では、中間評価時点で論文数４本（査読有３本）、学会発表数３０件（招待講演３件）であった。中間評価以降から本格実施フェーズ終了時までの間の達成目標としては、論文１０本（半別添 2-24

数は国際ジャーナル論文）、学会発表数２８件（半数は国際会議）、解説等論文１件を目指す。
（ポスト「京」運用開始５年後）：PEFC については、実機 PEFC スタックの高出力密度化・コスト低減（出力密度 4kW/L 以上、Pt 使用
量 0.1g/kW 以下）に向けたセル・電極設計に貢献できるシミュレーション技術が実現される。SOFC については、15 年以上に相当する耐久性評価が可能な 3 次元シミュレーション技術が実現される。
【アウトカム成果】（ポスト「京」運用開始５年後）：
本成果が産業界において実際の燃料電池電極およびセル・スタックの評価に適用されるようになり、高性能化によるコスト低減・耐久性向上のための設計ツールとして認知されるようになる。
（ポスト「京」運用開始１０年後）：
本成果が当該分野の設計ツールとして産業界において活用されるようになる。
（４）「京」でできていること、ポスト「京」でなければできないこと
燃料電池の流路内二相流計算については、0.1～1 mm オーダーの水滴を捕捉できる解像度（10 μm～数 10μm）で数千万規模のメッシュを用いた実績があるが、実機セルからスタックを対象とするには計算規模が不足している。自動車用の実機セルからスタックの定量的な挙動を評価するためには 20
枚程度のセルを積層したショートスタックまでを対象とすることが必要であり、同等の解像度では数十～百億メッシュ規模が想定される。本プロジェクトでは、実際のセル・スタック設計で求められる精度を実現するために必要なメッシュ規模についても実験等による検証を通じて明らかにする。さらには流路・マニホールドの構造条件、供給ガス流量・出力密度の運転条件等、検討すべき条件が広範であることから、セルレベルからスタック全体の挙動を評価する二相流動解析による設計条件のパラ
メトリック評価はポスト「京」で初めて可能となる。また、SOFC 電極構造変化を予測するフェーズフ
ィールド計算においては、2563 個のメッシュを用いて GPU による約 2 万時間実験相当の計算が可能となっているが、解像度と計算領域ともに不足している。界面格子サイズ 10 nm 以下、電極厚み 20μm の計算領域、実験 9 万時間（10 年間）に相当する大規模な 3 次元電極シミュレーションは、ポスト「京」で初めて可能となる。PEFC の電極構造と過電圧を予測する計算においても SOFC と同レベ
ルの解像度と計算領域が要求される。
さらに、PEFC 電極内は Pt 触媒と担体および電解質（アイオノマー）の複雑な三相界面構造を有し、ナノスケールの現象解明が電極の性能および耐久性向上の鍵となっている。しかし、その界面構造における物質輸送特性、機械的強度や化学的安定性などへの指針を検討するためには、ポスト「京」が可能とする同時並行的なジョブ実行（capacity computing）を踏まえたナノレベルでの電子状態解析
やパラメータスタディを含め、実在系の界面構造モデリングを含めた超大規模解析が必要となる。
（５）実施体制東京大学、理化学研究所、みずほ情報総研、九州大学、立教大学、物質・材料研究機構が分担機関となり、セル・スタック大規模二相流解析、電極要素特性解析および三相界面構造の機能解析を実施する。協力機関として、自動車メーカー（予定）、SOFC メーカー（予定）が参画し、設計プロセス高度

別添 2-25

化による燃料電池の性能および信頼性向上を図る。産業界単独では、ポスト「京」の性能を十分に引き出す並列ソフトウェア開発は困難であり、国費の支援によるソフトウェア開発を行った上でメーカーでの適用を図る必要がある。メーカーからのニーズに基づいて共通の課題を抽出した上で、本サブ
課題の分担機関が標準ソフト開発を行う体制とするが、ソフトウェアの開発段階において各メーカーの課題に対応したシミュレーションを実施し、開発プロセスにフィードバックさせる。
また、東京大学（SOFC）、九州大学（PEFC）が参画している NEDO 技術開発プロジェクト（固体酸化物形燃料電池等実用化推進技術開発、固体高分子形燃料電池利用高度化技術開発事業）においては、
電極評価のための計測・解析手法の開発を目的としているが、計算機環境の制約から、電極の一部を切り出した比較的小規模な評価となっている。本サブ課題では、NEDO プロジェクトの成果となる電極解析手法を大規模並列化することで、実電極規模まで計算領域を拡大することができるようになる。

九九州（６）必要計算資源
これまでの「京」や他の計算資源実績を基礎として、今後の解析規模の拡大（計算格子点数で 100〜1000倍程度）を考慮すると、以下の計算資源が必要となる。
アプリケーション開発実施時に必要な「京」の計算資源量：975 万ノード時間／年（A） セルレベル二相流解

80 万ノード時間／年（B） スタック全体二相流解析

240 万ノード時間／年（C） 焼結予測 1032 ノード×200 時間×5 ケース = 103.2 万ノード時間／年（D） 過電圧評価 1032 ノード×200 時間×5 ケース = 103.2 万ノード時間／年

別添 2-26

（E） 構造最適化 1032 ノード×200 時間×3 ケース = 61.92 万ノード時間／年（F） その他：チューニング、デバッグ等 50 万ノード時間／年（G） MEA 構造解析：157 万ノード時間／年（H） MEA 機能解析：180 万ノード時間／年
２－３．サブ課題 C．高効率風力発電システム構築のための大規模数値解析（１）目的・意義
持続的なクリーンエネルギー供給システムを実現するためには、再生可能エネルギーがキーテクノ
ロジーの一つである。再生可能エネルギーの中でも風力発電は欧米および中国で導入が進んでおり、
近年欧州では立地制約の克服のため洋上へ展開され、3～5MW クラスの大型風車 50～150 機からなる大型洋上ウィンドファームが建設されている。我が国でも風力発電の導入は着実に進んでおり、日本風力発電協会によると国内では 2020 年までに 50 万 kW、2030 年には 760 万 kW の洋上ウィンドファーム
建設が可能との試算がある。大規模な洋上ウィンドファームでは、立地の制約上（輸送・施工、港湾区域、航路、漁協権など）、風車を格子状に配置する場合が多く、上流側風車の後流（ウェイク）の影
響のため下流側風車において数 10%もの発電量低下や乱流増加のための疲労荷重の増加が問題となっている。欧州の洋上ウィンドファームでは、ファーム内の増速機を全て交換した例もある。プロジェ
クトの事業性を評価するためには、ウィンドファームの設計開発において風車同士の流れの干渉に伴う発電性能低下、および疲労評価を高い精度で予測する必要がある。風車後流予測モデルは欧米で開発が行われているが、簡易な工学モデルが使われており、解析の不確かさはウィンドファームによっては年間発電量の予測誤差が 5%～30%程度もあり、プロジェクトの採算性・健全性を担保するためには精度の高い予測モデルの開発が求められている。さらに加えて、我が国では、立地制約や環境条件（台風による強風および複雑地形の影響を受けた高乱流の陸風等）が欧州よりも厳しく、上述した欧米で洋上ウィンドファームの設計に用いられている評価手法をそのまま適用することは適切ではなく、我が国に適した、風車後流や大気境界層の変動風が洋上ウィンドファームの発電性能およびブレード
やロータの信頼性に及ぼす影響を高精度に評価・設計する手法の構築が喫緊の課題である。
本サブ課題では、我が国において 2020 年代に複数建設される洋上ウィンドファームの高効率化を実現するためのマルチスケール・マルチフィジクス統合シミュレーションシステムの研究開発を行う。
開発メンバーは、乱流解析（FFB、LANS-3D）、複雑地形乱流解析（RIAM-COMPACT）、大規模構造解析（ADVENTURE）、並列流体構造連成解析（REVOCAP）、および風車性能の評価・環境アセスに関する十分な実績・実務経験、企業開発経験を持っており、これまでの解析経験をもとにポスト「京」の計算資源を活用した大規模解析システムを開発することにより、風力分野のデファクトスタンダードとなる発電性能や構造信頼性の評価に活用できるソフトウェアを開発する。本システムにより、大型風車および洋上ウィンドファームの開発・設計を支援し、日本の風力発電産業の国際競争力強化に貢献する。
（２）実施内容
洋上ウィンドファームの発電性能予測、構造信頼性評価、風車単体性能の改善に注力したマルチス
ケール・マルチフィジクス統合シミュレーション技術の開発研究を実施する。
(a)風車模型スケール解析（豊橋技術科学大学）
大気乱流、風車後流を考慮した風車周りの流れ解析、および発電性能評価を行い、ウィンドファーム
別添 2-27

の発電量や疲労荷重低減など風車性能向上を実現するシステムを提案するための基礎検討を行う。具
体的には、風車模型スケールの解析と実験を行い、模型スケールでの妥当性検討を行う。
(b)大規模洋上風車解析技術、特に後流影響の高精度評価技術の開発（東大生産技術研究所）
２台の大型風車を数100ｍ～1ｋｍの間隔を空けてタンデムに配置し、上流側配置の風車の後流が、下流側配置の風車の発電性能に与える影響を高精度に評価するため、FFBを用いた大規模流体解析（ブレード周りの10～20mmオーダーの渦を解像しながら後流の発生プロセスを評価し、さらに数100ｍ～
１kmオーダーの後流の伝搬を解析する）技術の開発と高速化を行う。また、翼スケールの実験と解析を行いFFBに実装する壁モデルの性能検証を行う。（使用ソフト：FFB）
なお、大規模洋上風車の風車ブレードレイノルズ数は107オーダーであり、境界層厚さはコード長（5m程度）の2%程度であり、最小渦スケールは10ミクロンのオーダーである。現在の計算リソース（「京」コンピュータ）では、1機当たりの格子点数を100億規模としても翼面付近の格子アスペクト比が大きくなりすぎるため、微細渦構造を正確に求めることは難しい。高レイノルズ数翼の境界層に関する課
題は、重点課題⑧の航空機解析でも同様の課題であり、重点課題⑧で提案される壁モデルをFFBに適用（重点課題⑥⑧間の連携）し、風車の後流解析の高精度化を行うとともに、壁モデルによるリソースの低減効果を確認する。
また、プロジェクト前半において諮問委員会で指摘された、浮体式洋上風車の場合に海面変動による風車の揺動の与える影響については、空力弾性連成を考慮した動的機構解析ツールFASTを用いて風車および浮体の連成解析を行い検討した結果、タワーや浮体の揺動はほとんど浮体式洋上風車の発電性能に影響がないことが示された。このため、後流の影響を評価するための大規模CFD解析および流体構造連成振動解析においては、基本的に揺動の影響を直接的には考慮しないこととした。ただし、
風車揺動の影響を含めたマルチスケール・マルチフィジクス統合シミュレーション解析技術に関する検討は引き続き行うこととする。
(c)流体構造連成振動解析による風車ブレードの信頼性評価の高精度化（東大工学系研究科）
上流側配置および下流側配置の大型風車に対するブレードの複合材料構造特性を考慮した流体構造連成振動解析技術を開発し、風車ブレードの振動応答、応力発生を解析し、ブレードおよびロータの構
造信頼性評価を高精度化する。（使用ソフト：FFB、 ADVENTURE、REVOCAP）(d)洋上ウィンドファーム全体の高精度流れ解析（九州大学）
ウィンドファームに配置される多風向に対する多数の風車の後流および大気境界層の影響を考慮した
大規模風況解析（大規模並列かつ多風向[16ないし24方位]）システムの構築を行う。また、本解析と豊橋技科大・東大生研で実施する風車周りの流れ解析（FFBによる実機風車2台を長距離離してタンデムに配置した大規模風車解析）を連携する。なお、本ウィンドファーム全体解析においては、個々の風車モデルに簡易的なモデルを用い、多数の風車の後流の相互干渉および地域特有の風況を考慮して年間発電量を予測することになるが、加えて、項目(b)で行う後流影響評価のための大規模流体解析の結果を活用し、ここで用いる簡易風車モデルの精度向上に関する検討を行う。（使用ソフト：
RIAM-COMPACT HPC版）(e)先進流体制御技術およびロバスト性を考慮した空力・空力音響解析技術の構築（JAXA）(平成２８
年度で完了）
大規模数値解析技術を開発、利用することで、風車ブレードに取り付けたマイクロデバイスを利用し別添 2-28

た高効率な動的流体制御による翼性能改善技術を開発する。（使用ソフト：LANS3D）(f)シミュレーションシステムの検証および実用化のための調査およびデータ提供（風力エネルギー研究所）
本サブ課題において開発するシミュレーションシステムの有効性検証のために、欧米のウィンドファ
ーム情報の調査とデータ提供、および国内で想定される洋上ウィンドファームの仮想的なデータ提供
を解析担当機関に行う。
(g)洋上ウィンドファームの発電量評価精度向上への寄与度を考慮し、風車相互干渉、気象解析との連携、流体構造連成振動・損傷、海面変動による風車揺動の影響を検討する（全機関）
本サブ課題を推進するにあたり、チャレンジングな点、V&Vプロセス、実用化プロセスは次の通りである。
・チャレンジングな点
風車が多数設置される洋上ウィンドファームは、立地の制約のため、風車が格子状に配置される場合が多い。格子状に配置された場合、卓越風向においても風上に設置された風車の後流の影響を受ける風下の風車の発電性能は低下する。このため、ウィンドファームの風車群の発電性能評価では、風
車間の相互干渉を正確に計算する必要がある。CFDにより複数の風車を含んだ解析を実施するためには、ウィンドファーム全体を囲む広大な空間（横数km×縦10km×高さ0.5km）に対して、風車ブレー
ド周りの境界層を解像するためには平均25cm（ブレード周りでは数mm）の詳細な計算格子を配置し計算する必要がある。大型風車一基であれば横0.5km×縦2km×高さ0.5kmの空間の計算に必要な計算格子は300億グリッドである。風車一基の計算（300億グリッド規模）であれば「京」を用いれば計算可能であったが、風車の相互干渉を精密に評価するためには、複数の風車をブレード直径Dの約2.5～10倍の距離を空けて配置し、上流側配置の風車からの後流の発生と後流の長距離（2.5D～10D）伝搬と、下流側風車への影響評価を計算する必要があったため、大規模メッシュによる数千万時間ステッ
プの長時間積分が必要であり、これまでの計算機では実現が不可能であった。
ポスト「京」を活用してこれら全てのスケールの効果を取り込んだ大規模かつ超精密な計算を実現することは、数値流体力学分野において学術的観点からも飛躍的な進歩をもたらす。
・V&Vプロセス
本サブ課題で対象とする大型風車について、実スケール風車のロータ・ナセル・タワー全体に対する精密な流体力学的評価と疲労特性評価を行った事例は極めて限られている。そこで、本サブ課題
では、風力の研究分野で広く研究が行われており、詳細な形状データ、材料データなどが入手可能
な、米国NREL（National Renewable Energy Laboratory）の5MW風車を複数機並べたものを対象として、シミュレーションを行い、風車後流の影響評価と、ブレードの疲労特性評価手法の第一段階の適用性検証を実施する。それと並行して、国内の大型洋上風車メーカーとの連携体制の構築を目指し、風車メーカーのニーズにマッチした風車の解析・設計ツールの構築を目指す。
・実用化プロセス

別添 2-29

FFB や ADVENTURE などのアプリケーション単体はすでに実用化や産業界への適用が進められているが、本サブ課題で研究開発される洋上ウィンドファームの発電性能予測シミュレーションシステムについても、産業界との連携協力体制のもとに適用性検証を実施しながら、実機風車の解析・設計ツールとして普及を図っていく。具体的に RIAM-Compact は、すでに国内風力発電業界の標準風況解析コードとして認知、活用されている。それを並列大規模化、多風向同時解析を実現するウィンドファーム用並列風況解析コード RIAM-Compact HPC 版は、特定のアプリケーションに特化しているもの、産業界ユーザーと密接に連携しながら研究開発を進めており、ユーザーニーズに応じてカスタマイズすることも可能である。
（３）目標・期待される成果【アウトプット成果】
・平成２９年度終了時
・大型風車の相互干渉解析手法の確立（FFB）
・流体・構造連成振動解析（片連成）による風車ブレードの振動応答、応力解析技術の開発（FFBADVENTURE、REVOCAP）
・洋上ウィンドファーム全体のシミュレーションの大規模並列化と多風向同時解析技術の開発（RIAMCOMPACT HPC 版）
・高度流体制御技術による風車性能の改善手法の提案（LANS3D）（平成 28 年度で完了）
・本格実施フェーズ終了時
洋上ウィンドファームの後流と大気境界層の影響を考慮した発電性能予測および流体構造連成振動解
析（双方向）によるブレードの信頼性評価を行う、マルチスケール・マルチフィジクス統合シミュレーションシステムを開発する。日本近海の海洋風況を考慮した風車性能の予測ツールの開発を行う。
また、高度流体制御技術を用いて、風車の空力性能を改善する手法を提案する（平成 28 年度で完了）。
本サブ課題では、中間評価時点で論文数３本（査読有１本）、学会発表数３１件であった。中間評価
以降から本格実施フェーズ終了時までの間の達成目標としては、論文１５本（半数は国際ジャーナル
論文）、学会発表数４５件（半数は国際会議）、解説等論文１件を目指す。
【アウトカム成果】（ポスト「京」運用開始５年後）：・ウィンドファームの発電量予測（誤差 10%以下）・ウィンドファームにおけるロータ応力解析（流体・構造連成解析）
・高効率流体制御手法の開発（性能改善効果 10%以下）・ウィンドファーム用風車の発電コスト低減案を産業界に向けて提案する。
（ポスト「京」運用開始１０年後）：
大規模洋上ウィンドファームの年間発電量の予測システムの実用化を行う。また、ウィンドファーム
における風車の寿命予測を可能とする。

別添 2-30

（４）「京」でできていること、ポスト「京」でなければできないこと「京」でできていること:ロータ、ナセル、タワーを含む大型風車単体の大規模な非定常解析が可能となり、さらに流体構造連成振動解析（片連成）による小型風車（等方均質材料モデル）の構造解
析も可能となっている。また、地形の影響を考慮した非定常解析が可能となった。しかし、実機の洋上ウィンドファームのような大型風車群の後流や大気境界層を考慮した流れ解析やそれを基礎とする
ウィンドファームの適切な配置設計に活用できる解析は実現できていない。
ポスト「京」でなければできないこと:大気境界層、地形、ブレード周りに及ぶマルチスケールを考慮した大規模洋上ウィンドファームにおける風車間の流れの相互干渉の解析は現状では確立されておらず、ポスト「京」での解析で初めて実現できる。この技術により実環境下における風車の解析を行い、発電量の向上、ブレードの寿命改善、低コスト化が可能となり、風力発電プロジェクトごとに発電コストをミニマムにする設計手法を実現することにより、我が国における風力発電の導入促進および風力発電産業の競争力向上に貢献する。
（５）実施体制
大学・研究機関を中核として、民間協力機関、外部協力機関と連携し、ウィンドファームの実用化においてポスト「京」の技術を活用する体制を構築する。大規模数値解析に関しては戦略分野４での研究実績があり、また、本サブ課題に関連したテーマとして、たとえば、分担者の一人である九州大学内田は NEDO「環境アセスメント迅速化研究開発事業」に課題名「風力発電施設周辺の数値風況診断
法の提案」を提案するなど、本サブ課題の実用化に向けて他の機関とも積極的に連携を進めていく予定である。このように、各分担機関には十分な設備、人員、実績がある。各機関の成果・進捗等は代表機関が一元管理することにより、プロジェクトが円滑に推進できるようにする。

RIAM-COMPACT

平成２８年度までの実施体制

別添 2-31

RIAM-COMPACT

平成２９～３１年度の実施体制（６）必要計算資源
これまでの京における実績および解析規模の拡大から以下の計算資源を必要とする。
アプリケーション開発実施時に必要な「京」の計算資源量：750 万ノード時間／年
平成２８年度まで(A) 風車単体解析：250 万ノード時間/年(B) ウィンドファーム解析：300 万ノード時間/年(C) 先端流体制御解析:200 万ノード時間/年
平成２９年度以降(A) 風車単体解析：450 万ノード時間/年(B) ウィンドファーム解析：300 万ノード時間/年（７）平成２８年度までの成果と、平成２９年度からの体制変更について
サブ課題 C のテーマの一つである「高度流体制御技術を用いた風車性能の改善」については分担機関である宇宙航空研究開発機構が研究を推進した。具体的には、(1) 流体制御用ソフトの開発、(2)ポスト京へ向けたチューニング、(3)流体制御技術の開発を行い、平成 28 年度末までに以下のような成果が得られた。
動的失速の流れ場での効率向上の可能性および静的な風車翼素まわり流れをボルテックスジェネレー
タ型に置いたプラズマアクチュエータで良く制御できることを明らかにした。これらの結果により流体制御により風車単体性能の向上の可能性を示すことができた。また実際の大型風車のブレードで利用されている断面形状の動的失速のシミュレーションおよび静止翼まわりの流れのシミュレーションを行い、これらの解析の信頼性を明らかにしつつ流体制御の効果を確かめた。詳細は、平成 28 年度までの成果報

別添 2-32

告書を参照されたい。
これらの課題を推進することにより、回転する風車翼の制御技術、解析技術を確立することができた。
すでに企業により実際の風車にプラズマアクチュエータを取り付けた実証実験（1 年間）も行われており、本解析技術は実用レベルとなっている。また、この技術は航空機などの他の分野にも応用が可能である。
「高度流体制御技術を用いた風車性能の改善」に関しては、諮問委員会からいくつか提起された課題、事業者側からの新たな課題、提案を受け、限られた資源の中で成果を効率的に上げるため、実施内容を精査した結果、風車の単体性能の向上は、洋上風車の実用化において重要な技術課題ではあるものの、HPCIを用いた風車性能評価システムを確立すれば、個別の案件として実施することも可能であり、計画全体に及ぼす影響は小さく、風車相互干渉、気象解析との連携、流体構造連成振動・損傷、海面変動による風車
揺動の発電量評価精度への影響という、より優先度の高い課題にリソースを集中し研究を実施することとし、当技術改善については平成 29 年度以降の研究課題からはずし、実施体制を変更することとした。

２－４．サブ課題 D．核融合炉の炉心設計（１）目的・意義
核融合炉は①燃料（重水素、リチウム）が無尽蔵かつ世界中で利用可能、②低環境負荷（低炭素、低レベル放射性廃棄物）、③原理的に爆発事故やメルトダウンが発生しない、といった特徴から、環境・エネルギー問題を根本的に解決しうる長期代替クリーンエネルギー源と期待されている。その科学的・工学的実証を目指して 2025 年から運転が開始される ITER は「エネルギー基本計画」における戦略的
技術課題に位置づけられている。本サブ課題の目的は核融合炉の炉心設計の中核をなす核燃焼プラズ
マ解析コードを開発し、炉心運転条件を探索する上で必要となるプラズマ解析技術を確立することである。この解析技術を活用し、現在設定されている ITER の標準運転条件の妥当性を検証するとともに、さらに炉心運転条件を向上することによって ITER の目標達成をプロアクティブに支援することが可能となる。しかしながら、ITER は既存実験と比べて炉心体積やエネルギー閉じ込め時間（炉心からエネルギーが散逸する特性時間）といった時空間スケールが一桁大きく、さらに、重水素、三重水
素、ヘリウムを含む多種イオン系、核反応生成アルファ粒子による炉心プラズマの自己加熱といった
核燃焼プラズマ固有の新たな物理効果を含むため、ITER 炉心プラズマにおける乱流現象や磁気流体（MHD）現象の 5 次元第一原理計算（ボルツマン方程式）はポスト「京」によって初めて実現可能となるサイエンス的に極めてチャレンジングな課題である。このような核燃焼プラズマ解析を実現するには、多数の演算コアから構成される将来のエクサスケールアーキテクチャに適した計算手法を確立すること、および、多種イオン系のプラズマ乱流輸送や高エネルギー粒子輸送といった核燃焼プラズマ解析において鍵となる物理現象を高精度に再現できる計算モデルを確立すること、すなわち、開発コードの V&V がクリティカルな問題である。本サブ課題でベースとするプラズマコードはノード並列化に関してはすでに「京」全系の強スケーリングを達成して SC13 の受賞を獲得した実績があるが、本サブ課題では、さらにメニーコアプロセッサにおける最適化技術を開発することによって 1000 万コア級のハイブリッド並列処理技術を実現する。V&V に関しては、JT-60 や LHD といった国内大型実験プロ
ジェクトと緊密に連携した実証研究によって計算モデルの信頼性を検証するとともに高精度化を図る。
これにより、世界に先駆けて ITER の核燃焼プラズマ解析に必要な計算手法と計算モデルの確立を目

別添 2-33指す。
なお、本サブ課題では人材育成と開発コードの普及について次のように考えている。国内大型実験
プロジェクトと連携した実証研究を通じて開発コードの利用実績を蓄積しながら国内ユーザーを育成
し、開発コードの普及を図る。これと同時に、ITER 機構の支援の下で活動している国際トカマク物理
活動（ITPA:International Tokamak Physics Activity）における ITER の物理課題検討に貢献することによって開発コードの国際競争力を向上させる。ITER 実験を主導するには国際競争力の高い核燃焼
プラズマ解析コードに裏付けられた実験提案が必要不可欠であることから、本サブ課題には ITER への投資効果を最大化し、我が国の核融合エネルギー開発を加速する上でも大変重要な意義がある。また、将来の原型炉や商用炉の炉心設計においても ITER で実績のある国際競争力の高い核燃焼プラズ
マコードが必須となるため、本サブ課題で推進する実証研究や ITPA への貢献といった取り組みはコード実用化への重要なプロセスとなる。
（２）実施内容
磁場閉じ込め型の核融合炉では約 1 億度の燃料プラズマをトーラス状の磁場で閉じ込めて核融合反応を持続させる。燃料プラズマ中の重水素と三重水素の核融合反応によって発生する 3.5MeV のヘリウム（アルファ粒子）は磁場に閉じ込められて燃料プラズマを自己加熱し、最終的に低エネルギーのヘリウム灰として炉心から排気される。このシステムの性能は核融合出力 PF と運転に必要なエネルギ
ーPH の比 Q=PF/PH で定義され、ITER は Q=10 を目標としている。この目標性能を達成する上で以下の炉心運転条件が重要となる。
・ 燃料純度を低下させるヘリウム灰や不純物の蓄積を回避し、高い炉心出力 PF を維持すること。
・ 炉心からのエネルギーの散逸を低減して、運転エネルギーPH を最小化すること。
・ 炉心を自己加熱するアルファ粒子を効率的に閉じ込めて、運転エネルギーPH を最小化すること。
たとえば、ITER 標準運転条件では 4.3%のヘリウムの蓄積が想定されているが、この比率を 50%低減できれば炉心出力は約 20%向上する。また、炉心からのエネルギーの散逸やアルファ粒子の損失を抑制できれば、より小さい運転エネルギーPH で核融合反応に必要な高温状態を維持することが可能となる。
したがって、閉じ込め磁場構造、プラズマ加熱、燃料供給等の工学的パラメータを制御して炉心運転条件を向上することは、核融合炉の発電コストに直結する重要課題である。
炉心運転条件はプラズマの乱流現象や磁気流体現象の非線形過程によって支配されているため理論的な評価が難しく、従来の炉心設計では実験データベースに基づく経験則が用いられてきた。しかしながら、既存装置では核燃焼のない単一イオン種の水素プラズマ、もしくは、重水素プラズマによる模擬実験が行われてきたのに対し、ITER では重水素、三重水素、ヘリウム等を含む多種イオン系の核燃焼プラズマ実験が実現し、炉心体積やエネルギー閉じ込め時間といった時空間スケールも既存実験
より一桁大きいものとなる。このギャップを埋めて、ITER の炉心運転条件をより確かなものにするためには、5 次元第一原理モデルに基づく炉心設計手法を確立し、従来の経験則による炉心設計をポス
ト「京」における第一原理計算で再検証する必要がある。
本サブ課題では既存プラズマコードをベースとして物理モデル拡張、計算技術開発、実証研究を推進し、ポスト「京」において ITER の解析を可能とする核燃焼プラズマ解析コードを開発する。この目
標達成に向けて、以下の目標に取り組む。

別添 2-34

本サブ課題では以下の３つのプラズマコードをベースとして核燃焼プラズマ解析コードを開発する。
・ 大域的乱流輸送解析コード：GT5D（実施機関：JAEA）
・ 局所的乱流輸送解析コード：GKV（実施機関：名大）・ 高エネルギー粒子閉じ込め解析コード：MEGA（実施機関：NIFS）
核融合プラズマの標準的な第一原理モデルは 5 次元位相空間（空間 3 次元×速度 2 次元）におけるプラズマ粒子分布の非線形発展を記述する移流・拡散方程式（ボルツマン方程式）で与えられる。GT5Dと GKV はどちらもこの 5 次元第一原理モデルを格子法（CFD 法）で計算し、プラズマ乱流によるプラズマ粒子やエネルギーの輸送を解析する。GT5D が炉心プラズマ全体を計算領域とする大域的モデルによる数値実験を行うのに対し、GKV は一本の磁力線に沿った局所領域をモデル化した局所的モデルに
よって乱流輸送を解析するため、比較的計算コストが小さい。GT5D と GKV はこれまで既存装置における単一イオン種の模擬実験を対象として開発されてきたが、本サブ課題では、これらを燃料となる重水素と三重水素、核融合反応で発生するヘリウム、および、構造材から放出される様々な不純物を含む多種イオン系（最大 10 種）に拡張する。これによって電荷中性条件の拘束下で無撞着に決定される
燃料とヘリウム灰、不純物の複雑な乱流輸送、および、衝突性輸送を第一原理計算で評価するとともに、多種イオン系のプラズマ乱流によるエネルギー輸送特性も評価できるようになる。
一方、MEGA は炉心プラズマに対しては大域的モデルの MHD 方程式を格子法で計算し、アルファ粒子
等の高エネルギー粒子に対する 5 次元第一原理モデルを粒子法で計算することにより高エネルギー粒子が駆動する MHD 現象、および、それによる高エネルギー粒子の輸送を解析する。MEGA はこれまで既存装置における単一加熱粒子ビーム入射実験において励起される MHD 現象を対象として開発されてきたが、本サブ課題ではこれを加熱粒子ビーム（重水素）に加えて核反応で発生するアルファ粒子が混在する ITER の運転条件に拡張する。さらに、これまで MHD 方程式で計算してきた炉心プラズマの挙動を多種イオン系の 5 次元第一原理モデルで取り扱うことにより、多種イオンの相互作用を厳密に考慮しつつ、多様な位相空間分布をもつ高エネルギー粒子が励起する MHD 現象の解析を可能とする。
以上の研究開発においては、乱流輸送解析の高度化とエクサスケール計算技術の開発が大きな割合を占めるため、それぞれの主担当となっている名大と JAEA においてポスドク各 1 名の採用を予定している。また、ポスドク以外にも本サブ課題における最先端のコード開発や実証研究に学生等の若手研究者を積極的に参画させることによって、計算機科学から数学、物理、実験まで見渡せる次世代のコード開発者の育成を目指す。
以下に本サブ課題における V&V プロセス、実用化プロセス、アプリ開発における目標性能を具体的に説明する。
・V&V プロセス
JT-60、LHD 等の国内大型実験プロジェクトと連携して開発コードの実証研究を実施する。これに向けて各プロジェクトの実験研究者と議論を行い、平成 27 年度より NIFS の「大型ヘリカル装置（LHD）
実験共同研究」、および、JAEA の「トカマク炉心プラズマ共同研究」を実施し、緊密な連携体制を構築した。具体的な実証研究の内容は以下の通り。
乱流輸送解析に関しては、計算コストが比較的小さく、機動性の高い GKV を用いて JT-60、および、

別添 2-35

LHD の実験データを系統的に解析する。解析にあたっては、従来から比較を進めている水素プラズマ、あるいは、重水素プラズマにおける熱輸送係数に加えて、ヘリウム等、ITER で想定される不純物を入射した模擬実験における各イオン種の粒子輸送係数や熱輸送係数を実験データと比較することによって、開発コードの妥当性を検証する。さらに、これらの実験解析結果に基づき、乱流輸送係数の簡易的な評価を可能とする乱流輸送モデルを構築する。
一方、計算コストが大きい GT5D に関しては、GKV で系統的に調べた実験データのうちの代表的なケースを対象として数値実験を行うことにより、輸送係数だけでなく大域的なプラズマの温度分布や密度分布の構造を実験データと比較する。また、計測誤差の影響を受けやすいプラズマの密度分布や温度分布、および、そこから評価される輸送係数だけでなく、よりロバストな評価が可能なエネルギー
閉じ込め時間の粒子種や装置サイズに対する経験則を評価することによって開発コードの妥当性を検証する。
高エネルギー粒子閉じ込め解析に関しては、これまで主に JT-60 の加熱粒子ビーム入射実験で進めてきた実証研究を LHD の実験データにも拡張する。2 次元トーラス形状磁場の JT-60 に比べて 3 次元
トーラス形状磁場の LHD の実形状磁場を用いる場合には MHD モードのスペクトル構造が複雑化するため、高い計算精度が求められる。このため、3 次元トーラス形状磁場に特有の粒子軌道に着目して、LHD 実験における MHD 現象の実証研究を推進する。これに加えて、LHD では磁場に対して接線方向と垂直方向の粒子ビームを組み合わせる重水素の加熱粒子ビーム入射実験が平成 28 年度より計画されていることから、多様な位相空間分布をもつ高エネルギー粒子が混在する状況で励起される MHD 現象に対する実証研究も推進する。
・実用化プロセス
本サブ課題で開発している 3 つのプラズマ解析コード GT5D、GKV、MEGA はいずれも国内外の実験装置を対象とする実証研究の実績を蓄積し、主要国際会議で招待講演を獲得する等、世界的な解析コードとして核融合分野で認知されてきた。これらのコードをさらに核融合分野における標準的コードとして発展させることを狙って、以下の取り組みを推進する。国内大型実験プロジェクトと連携した実証研究では、各コードの開発者が実験研究者と共同で計算誤差や計測誤差を評価しつつ開発コードのV&V を進めることにより、実験研究者へのコード普及を促進する。これにより、開発コードを新たな実験提案に活用し、LHD や JT-60 における高性能プラズマ開発に貢献することが可能となる。これ以外にも、開発コードを実験データ解析や炉設計において広く活用することを目指して、コードのオー
プンソース化、解析事例の公開、あるいは、実験研究者や炉設計技術者を対象としたセミナーといったコード普及のための取り組みを名大が主担当となって推進する。このような国内の取り組みと並行して、ITPA における ITER 物理課題検討やコード間ベンチマークといった国際的な取り組みを積極的に推進することによって開発コードの国際競争力を向上する。本サブ課題ではコード開発と実証研究によって核融合炉の炉心運転条件を探索する上で必要なプラズマ解析技術を確立し、さらに、開発コードの普及、国際的競争力向上のための取り組みを推進することによって、ITER の標準運転条件の妥
当性検証や新たな実験提案に活用できる核燃焼プラズマ解析コードの実用化を図る。
・アプリ開発の目標性能

別添 2-36これまで解析対象としてきた既存装置と比べて、ITER は炉心体積やエネルギー閉じ込め時間といった時空間スケールが一桁大きくなるため、計算コストの大幅な増大が見込まれる。これに加えて、核燃焼プラズマ解析では粒子種の数に比例して計算コストが増大するため、ITER 炉心プラズマの 5 次元
第一原理計算にはポスト「京」が必須となる。
乱流輸送解析コード GT5D、GKV については、多次元領域分割モデルや通信隠蔽技術といった先進的な超並列処理技術の開発によって、すでに「京」全系での強スケーリングを対ピーク性能比約 10%で達成している。本サブ課題では、さらにメニーコアプロセッサに対する最適化技術を開発することによって 1000 万コア級の強スケーリングを実現するハイブリッド並列処理技術を実現する。これに加え、時間ステップを制約している高速な電子運動の陰解法ソルバを、省通信クリロフ部分空間解法等の先進的な計算スキームを用いて開発し、計算コストの削減と処理効率の向上を図る。
高エネルギー粒子閉じ込め解析コード MEGA についてはこれまでに「京」1 万ノード規模の強スケー
リングを達成しているが、主要なコストを占める粒子法部分の対ピーク性能比が 5%程度に留まっている。この問題を解決するために、「京」で対ピーク性能比約 20％を達成しているプラズマ粒子コード
PARMER（神戸大、NIFS 等）や米国のプラズマ粒子コード XGC1（プリンストン大学）等、国内外の主要
粒子コードと連携した最適化技術開発による性能向上の可能性を検討する。時間スケールの問題に関しては、MEGA は陽解法を用いているが、準定常的に発展する乱流現象と異なり間欠的な励起と安定化を繰り返す MHD 現象の特徴を利用して、MHD 現象が励起されるフェーズのみに高コストな ParticleIn-Cell 法を適用するマルチフェーズ法を開発する。
上記のコード開発に加えて、プロジェクト後半ではエクサスケール計算データの可視化解析技術の開発も実施する。また本サブ課題で開発する行列ソルバやデータ可視化解析技術は他分野、特に構造格子系の計算を実施するサブ課題 B のメゾスケールの電極計算においても利用可能な共通基盤技術となりうる。全体推進との連携の下で、これらを行列計算ライブラリや可視化解析ツールとして整備し、オープンソースとして公開することによって、サブ課題間、さらには、重点課題間で共通基盤技術の展開を図る。
（３）目標・期待される成果【アウトプット成果】
平成２９年度終了時：
・既存装置における単一イオン種の水素プラズマ、もしくは、重水素プラズマによる模擬実験を解析対象として開発されてきた乱流輸送解析コード GT5D、GKV、および、高エネルギー粒子閉じ込め解析
コード MEGA を核燃焼プラズマ解析で必要となる多種イオン系（最大 10 種類）に拡張し、開発した計算モデルの理論的妥当性を検証する。
・メニーコアプロセッサ向け最適化技術、電子運動の陰解法ソルバ、粒子・流体マルチフェーズ法といったエクサスケール計算に向けた要素技術の開発を完了し、その有効性を検証する。
本格実施フェーズ終了時：
・プロジェクト前半で開発した多種イオン系の乱流輸送解析、および、高エネルギー粒子閉じ込め解
析のための計算モデルを統合し、さらに JT-60、LHD 等の国内大型実験プロジェクトと連携した実証研究によって開発コードの V&V を実施することにより、ITER の核燃焼プラズマ解析に必要となる計算モ

別添 2-37

デルを確立する。評価精度としては、実験的計測誤差やデータベースが含むデータ分散と同程度の評
価誤差を目標とする。具体的な実証研究の目標としては、乱流輸送解析では、大域的電場の効果を含
めて多種イオン系の輸送解析精度を向上する。平成 30 年度は改良モデルの精度検証を実施し、平成 31
年度は LHD における実証研究を実施する。高エネルギー粒子閉じ込め解析に関しては、長時間スケー
ルの間欠的 MHD 現象の再現を目指す。平成 30 年度はトカマク装置、平成 31 年度は LHD における実証研究を実施する。
・同時に、上記シミュレーションコードに関して、エクサスケール計算に向けた要素技術を統合し、ポスト「京」（プロトタイプ機）全系規模までの強スケーリング実現に向けた研究開発を行うとともに、エクサスケール計算データの可視化解析技術を開発する。以上の取り組みにより、世界最先端の計算
精度と計算性能をもつ国産核燃焼プラズマ解析コードを完成させ、ポスト「京」を活用した ITER 計画への貢献を可能とする。
・本サブ課題では、中間評価時点で論文数 15 本（査読有 15 本）、学会発表数 116 件（招待講演 12 件）、プレスリリース 1 件の成果を創出し、6 件の学会賞を獲得するなど、国内外から高い評価を得ている。
中間評価以降から本格実施フェーズ終了時までの間の達成目標としては、これとほぼ同数の論文 15 本、学会発表数 120 件を目指す。
ポスト「京」運用開始５年後：・ポスト「京」を用いた ITER の核燃焼プラズマ解析において実験条件あたり 10〜100 ケースの系統的なパラメータスキャンを行い、標準運転条件の定常炉心（~10ms）における乱流輸送特性、および、アルファ粒子閉じ込め特性それぞれについて、設計の妥当性を検証するとともに、さらなる高性能炉心開発に向けた理論的指針を示す。具体的には、まず、アルファ粒子による自己加熱によって決まる炉
心プラズマの位相空間構造を明らかにし、その上で、摂動磁場、加熱粒子ビーム入射、電磁場による加熱といったアクチュエータによる直接的制御、あるいは、アクチュエータによる乱流現象や MHD 現
象の変化を介した間接的制御による位相空間構造の制御性を明らかにすることを目指す。このような熱平衡から離れた速度空間構造の非線形な制御を必要とする工学系は核融合分野特有のものであり、サイエンス的な価値が高い。ITER の制御手法開発に必要なシミュレーションは、現在、「京」で実施している既存装置を対象とするシミュレーションの 10-1000 倍の計算規模となるため、ポスト「京」で初めてできる画期的な利活用である。
【アウトカム成果】（ポスト「京」運用開始５年後）：・ポスト「京」を用いた ITER の核燃焼プラズマ解析によって定常炉心運転条件の向上に向けた理論的指針を示す。これにより、ITER 実験を主導する標準的なコードとしての国際的地位を確立する。開発
コードを国内の実験研究者に普及し ITER 実験提案等に活用することによって、ITER 計画における我が国の優位性を高め、ITER 計画への投資効果を最大化することが可能になる。
（ポスト「京」運用開始１０年後）：・ITER の核燃焼プラズマ実験における定常炉心の乱流輸送特性、および、アルファ粒子閉じ込め特性
に対する実証研究が様々な実験条件で進展し、核燃焼プラズマ解析コードの信頼性がさらに向上する。

別添 2-38ITER の次の段階で計画されている原型炉（商用炉）では ITER より一桁大きい核融合出力を想定していることから、炉心パラメータのギャップを埋めて、より確度の高い炉心設計を行うには第一原理計算に基づく信頼性の高い核燃焼プラズマ解析コードが必要不可欠となっている。また、炉心設計の様々な技術的要求に対応してコードを改良するには、物理モデルから数値計算手法のレベルまで内容が把握できる国産炉心設計コード、および、それを支える人材の存在が極めて重要となる。このため、本サブ課題で開発する核燃焼プラズマ解析コードは、我が国の核融合炉開発における主要アプリとなり、長期的に産業界に大きな波及効果をもたらす。
（４）「京」でできていること、ポスト「京」でなければできないこと（「京」でできていること）
乱流輸送解析に関しては、JT-60、LHD 等の既存装置における単一イオン種の水素プラズマ、もしく
は、重水素プラズマの模擬実験の解析を「京」や Helios（1.5PF）を用いて行い、熱輸送特性の定量的比較が進展した。また、「京」をフル活用した超大規模計算（500 万ノード時間/ショット）によって単一イオン種の乱流輸送解析を ITER 規模の装置サイズ、および、イオン−電子系のマルチスケール乱流に拡張し、ITER で重要なプラズマ乱流輸送の装置サイズスケーリングや電子熱輸送の物理機構を提示した。
高エネルギー粒子閉じ込め解析に関しては、JT-60 等の既存装置における単一加熱粒子ビーム入射実験の解析を Helios（1.5PF）上で行い、実験で観測された MHD 現象の磁場揺動データの定量的比較が進展した。
（ポスト「京」でなければできないこと）
乱流輸送解析に関しては、開発する核燃焼プラズマ解析コードは ITER 規模の装置サイズで最大 10種の多種イオン系を取り扱うとともに、乱流輸送データベースの構築のために一つの実験条件（磁場配位）に対して 100 ケース程度のパラメータスキャンが必要となる。このため、現在、「京」1 万ノード規模（約 1PF）で実行しているプロダクションランの 10-1000 倍規模の計算が必要となる。
高エネルギー粒子閉じ込め解析に関しては、開発する核燃焼プラズマ解析コードでは既存装置より一桁大きい炉心体積の ITER 規模の装置サイズで最大 3 種の高エネルギー粒子を取り扱う。このため、
現在、Helios 千ノード規模（約 0.35PF）で実行しているプロダクションランの 30-1000 倍規模の計算が必要となる。
したがって、開発する核燃焼プラズマ解析コードについて、ポスト「京」を用いることで初めて ITERの解析が実現する。ポスト「京」を活用することによって ITER 実験における我が国の優位性を高める
とともに、ITER の次の段階で計画されている原型炉設計において、より確度の高い炉心設計を行うことが可能となり、核融合炉の早期実用化に貢献できる。
（５）実施体制
本サブ課題では各分担機関で 3 つのプラズマコード、GT5D（主担当 JAEA）、GKV（主担当名大）、MEGA（主担当 NIFS）の開発を推進するが、これにあたり、エクサスケール計算技術開発（主担当 JAEA）、
乱流輸送解析（主担当名大）、高エネルギー粒子閉じ込め解析（主担当 NIFS）を担当する 3 つのチー

別添 2-39

ムを設定し、マトリックス状の実施体制によって、コード間、および、課題間の連携・協調を図る。
コード普及や人材育成といった分野振興（主担当名大）としては、コードのオープンソース化や解析事例の公開を推進するとともに、実験研究者や炉設計技術者を対象としたセミナーを実施する。また、本サブ課題における最先端のコード開発や実証研究にポスドクや学生等の若手研究者を積極的に参画させることによって、計算機科学から数学、物理、実験まで見渡せる人材の育成を目指す。
実証研究については、JT-60、LHD 等の国内大型実験プロジェクトと連携して開発コードの信頼性向上を図るとともに、開発コードを各プロジェクトの高性能プラズマ開発に活用する。連携体制を具体化すべく各プロジェクトの実験研究者と議論を行い、平成 27 年度より NIFS の「大型ヘリカル装置（LHD）実験共同研究」、および、JAEA の「トカマク炉心プラズマ共同研究」を実施し、緊密な連携体制を構築した。また、平成 28 年度からは実証研究の推進を目的として実験研究者が本サブ課題に参画することも予定している。
ITER の物理課題検討を進めている国際トカマク物理活動（ITPA）への参画に関しては、乱流輸送解
析、および、高エネルギー粒子閉じ込め解析のタスクグループの日本委員と議論を行い、平成 27 年度
より本サブ課題メンバーが専門家会合に参画している。
エクサスケール計算技術開発に関しては、欧米の主要なエクサスケール核融合シミュレーションプ
ロジェクトを推進しているプリンストン大学プラズマ物理研究所（PPPL,C.S.Chang/ Managing
Principal Research Physicist,PI of SciDAC-3 EPSI）、フランス原子力庁（CEA,X.Garbet/Research
Director）との連携体制を構築し、最先端のプラズマシミュレーション技術に関する情報交換を行う
ことによりエクサスケール計算技術開発を加速する。この目的のために、名大が中心となって日米科学技術協力事業核融合分野に基づく日米協力体制を構築し、平成 27 年度よりエクサスケール核融合
シミュレーション開発に関する日米協力ワークショップを開始した。日欧協力に関しては、CEA-JAEA
連携協定に基づいて CEA で開発中のプラズマ乱流解析コード GYSELA を JAEA に導入し、FX100、MIC、
GPU といったメニーコアプロセッサにおける処理性能のコード間ベンチマークを開始した。
また、ポスト「京」に特化したエクサスケール計算技術開発に関しては、理研 AICS が主催するコデ
ザイン SUBWG に参画して情報収集を行うとともに、ポスト「京」に向けた大規模数値計算手法の開発
を理研 AICS（今村俊幸/大規模並列数値計算技術研究チームリーダ）と連携して実施している。

※QST:量子科学技術研究開発機構（旧 JAEA）（６）必要計算資源
アプリケーション開発実施時に必要な「京」の計算資源量：550 万ノード時間／年
計算資源は主に LHD や JT-60 における実証研究に利用する。
「京」における既存装置の計算コストは GKV

別添 2-40

が JT-60 で約 1 万ノード時間/ショット、LHD で約 50 万ノード時間/ショット、GT5D が JT-60 で約 100 万
ノード時間/ショット（LHD は未実施）、MEGA が JT-60 で約 10 万ノード時間/ショット、LHD で約 100 万ノ
ード時間/ショットとなっていることから、各コードで年間平均 2〜3 ショット程度の解析を実行するために「京」の資源を約 550 万ノード時間/年を必要とする。これに加えて、FX100、MIC、GPU 等の最先端のメニーコアプロセッサにおけるコード開発を実施するために「京」以外の資源を約 40 万ノード時間/
年を必要とする。
２－５．全体推進
４つの出口（石炭ガス化、燃料電池、洋上風力発電、核融合炉炉心設計）を有する本重点課題を効率的かつ効果的に推進するため、重点課題責任者の管理のもとに、全体推進として次のタスクを推進する。
タスク１：プロジェクト管理（会計・総務・連絡・調整等）事務
タスク２：大型計算機資源の確保・同資源のサブ課題間の調整
タスク３：アプリケーション研究開発における共通的課題の推進
このタスクには、次のような内容が含まれる。プロジェクト出口であるエネルギー源としては、それぞれに独立したものであるが、その中核をなす物理現象（構造、流体、熱、電磁気、材料劣化等）や克服すべきシミュレーション課題（ベクトル・マトリックス演算、マルチフィジクス性、マルチスケール性、パラメトリック計算、最適解探索、コデザイン、実機レベルの V&V など）に、多くの共通点がある。このため、出口（エネルギー源）の多様性、個別性に十分に配慮しながらも、アプリケーション研究開発レベル
において、十分にサブ課題間の連携をとることにより、各サブ課題を単独で遂行することに比して、大きな相乗効果を生むように重点課題全体の全体推進を図る。また、この観点から、重点課題⑧とは共通する
主要アプリも多いことから、アプリケーション研究開発においては重点課題⑥、⑧間でも十分な連携体制をとることとした。
（１）コデザインについて
平成 26 年度から平成 27 年度においては、ADVENTURE が重点課題⑥におけるターゲットアプリとして、
また、FFB が重点課題⑧におけるターゲットアプリとしてコデザインが推進されたが、平成 28 年度以降
は、コデザイン文書の公開に合わせて、そのノウハウを活用しながら、REVOCAP_Coupler、FFR-Comb 等の他のアプリケーションに順次コデザインを展開していく。なお、コデザインの進捗状況は、重点課題全体のコデザインに関する委員会において、確認される（２）マルチフィジクス連成と V&V
複数のマクロシミュレーションを連成させるプラットフォームのベースとして、東京大学において開発が進められてきた REVOCAP_Coupler を活用し研究開発を行い、特にサブ課題 A においては FFR-Comb REVOCAP_Coupler – ADVENTURE_Thermal、Solid 連携、サブ課題 C においては FFB - REVOCAP_Coupler ADVENTURE_Solid 連成を実現し、それぞれのサブ課題のターゲット課題のシミュレーションを行う。具体的に REVOCAP_Coupler の機能向上やチューニングは全体推進で行い、基本的な問題に対する動作確認・
性能推定、実応用と V&V は、２－１、２－３節で述べたようにサブ課題 A において石炭ガス化炉を解き、サブ課題 C において大型風車の解析を行うことにより実施する。なお、マルチフィジクス連成は、サブ課

別添 2-41

題 B や D においても共通の課題であるので、REVOCAP_Coupler の直接的活用のみならず、REVOCAP_Couplerの研究開発・利用を通して習得されたマルチフィジクス連成のノウハウやアルゴリズム（分離反復連成や、異なる離散化モデル（FEM、FVM 等）間でのデータ通信時の各種物理量の保存等）の要素的活用も推進し、サブ課題 B や D の推進に資する。さらに、複数のシミュレータのマルチフィジクス連成におけるV&V においても、その共通事項を整理し、重点課題⑥全体で共有する。また、この成果は、重点課題⑧とも共有する。この成果は、今後のエクサスケールコンピューティング時代の知識基盤として公表する。
（３）マルチスケール連携と V&V
ミクロあるいはメゾやマクロのシミュレーションを連携するマルチスケール連携については、汎用化
ツールを構築することはなかなか難しいものの、異なるスケールをブリッジングしていく際のノウハウや留意点をまとめ共有化することは大変有効である。本重点課題においては、サブ課題 B において、
ABINIT-MP と OCTA の連携（相互作用パラメータ算出ワークフロー）、PHASE/0 と古典的 MD の連携（ポテ
ンシャル算出ワークフロー）、ナノスケールシミュレーションから得られる物性値のメゾスケール電極シ
ミュレーションへの反映、電極要素解析結果やセル・スタックの二相流動解析結果の燃料電池全体性能シミュレータへのリンク等の研究開発が行われ、サブ課題 C においては、風車ブレード周りの乱流解析、風車後流の影響を考慮したウィンドファームの乱流解析、大気境界層における乱流解析のマルチスケール
連携に関する研究開発が行われる。そこで、これらの連携方法や V&V に関するノウハウや留意点をまとめ重点課題⑥⑧において共有できるようにする。この成果は、今後のエクサスケールコンピューティング
時代の知識基盤として公表する。
（４）大規模行列計算、データ可視化に関する連携
サブ課題 D で開発を進めている計算技術のうち、構造格子を対象とした行列ソルバやデータ可視化解
析技術は他分野、特に構造格子系の計算を実施するサブ課題 B のメゾスケールの電極計算においても利用可能な共通基盤技術となりうる。全体推進との連携の下で、これらを行列計算ライブラリや可視化解析ツールとして整備し、オープンソースとして公開することによって、サブ課題間、さらには、重点課
題間で共通基盤技術の展開を図る。
（５）アプリケーションの普及活動と V&V
本重点課題で研究開発するアプリケーションの多くは、汎用コードとなっており、各サブ課題で扱う重点課題の解決に資するのみならず、様々な産業応用分野を有する。また、現存する産業応用分野の問題の解析を通して、開発アプリケーションの V&V を実行することも可能となる。アプリケーションの普及活動や産業界との双方向連携（ニーズの吸い上げと、シーズの提供）については、スーパーコンピューティ
ング技術産業応用協議会やＦＯＣＵＳとの定期的な会合を通じて推進するとともに、各アプリケーションが有するユーザーグループや産学官連携コンソーシアムなどを通じて推進する。全重点課題の中で唯一のフラグメント分子軌道（FMO）法プログラム ABINIT-MP については、その単体機能の一部拡充と V&V、普及推進を本「全体推進」の中で展開する。また以下のように重点課題⑥⑧間の連携を推進する。すなわ
ち、省メモリ化と行列積演算（DGEMM）指向の徹底とともに、重点課題⑧で開発されている WHEEL（自動ジョブ投入・回収システム）を活用して、有効パラメータ算定や材料開発にとっては有益性の高い

別添 2-42

capacity computing への親和性を高める。また、重点課題⑤の中で開発されているプログラム/モジュール（量子計算では SMASH（分子研の石村 Gr.）の中の一部計算モジュールの移植、また全原子古典 MD による検証では MODYLAS（名大の岡崎 Gr.）の利用を検討）の活用も適宜行いつつ機能拡充を図る。また、平成 28 年春に設立予定の産官学コンソーシアムを通じ、OCTA コミュニティやスーパーコンピューティング
技術産業応用協議会との連携も図りつつ ABINIT-MP の産業応用を促進し、同時に V&V も推進する。
第一原理分子動力学プログラム PHASE/0 については、その単体機能の一部拡充と V&V、普及推進を本「全体推進」の中で展開する。演算量削減、徹底した演算並列化により第一原理分子動力学解析を大規
模・長時間化するとともに、有効パラメータの適切化手法を高度化しメソスケール解析手法との連携を強化する。ものづくり現場と連携して、膜電極接合体に加えて省エネルギーデバイス等を想定した実材料のナノ構造・機能解析を実施し開発手法の実用性を実証しつつ、実績のある利用講習会、ワークショップ、
ポータルサイト等の活動を通して PHASE/0 や ABINIT-MP の普及をさらに推進する。
この他サブ課題ごとに研究開発が進むアプリケーションの普及活動については、より具体的には次のように考えている。
サブ課題 A で研究開発が進む、有限体積法ベースの燃焼 LES 解析コード FFR-Comb、有限要素法ベースの汎用解析システム ADVENTURE（構造解析コード ADVENTURE_Solid、熱伝導解析コード ADVENTURE_Thermal）、
全体推進で研究開発が進む並列連成カプラーREVOCAP_Coupler、サブ課題 B で研究開発が進む、フラグメ
ント分子軌道法ベースの ABINIT-MP、第一原理分子動力学ベースの PHASE/0、サブ課題 C で研究開発が進む有限要素法ベースの LES 乱流解析コード FFB、構造解析コード ADVENTURE_Solid（前出）、並列連成カプ
ラーREVOCAP_Coupler（前出）は、いずれも汎用性を考慮したコードである。これらのアプリケーション
群は、重点課題⑥プロジェクトの開始前（日本学術振興会未来開拓プロジェクト、文科省戦略的シミュレ
ーションプロジェクト、同革新的シミュレーションプロジェクト、HPCI 戦略分野プロジェクト時代等）
からすでにユーザー群をコンソーシアム形式でとりまとめたり、ソフトベンダーも巻き込んだ産学協力体制のもとに研究開発や運用が行われている。このため重点課題⑥プロジェクトの成果は、個別サブ課題の解決に資するのみならず、これらの既設の産学連携体制を通じて産業界に普及していくことも予定されている。
汎用有限要素法解析システムである ADVENTURE については、本重点課題における開発のベースとして用いるオープンソース版と、商用版がある。オープンソース版、商用版ともにすでに広範な産業界での利用実績があるが、本重点課題の研究開発を通して新たに実装される非線形損傷解析機能（サブ課題 A）や複合材料解析機能（サブ課題 C）、ポスト「京」に向けた高速解析機能（コデザイン）、FFR-Comb や FFB との双方向マルチフィジクス連成解析機能（サブ課題 A、C）は、いずれも産業界にとっても大変魅力的な新機能である。その普及に関しては、ADVENTURE の定期セミナーおよびオープンソース版や商用版のユー
ザーネットワークを通じて、普及を図っていく予定である。なお、本研究開発においては、ADVENTURE 商
用版の開発・販売を行っているソフトベンダーを、開発委託機関の一つとして取り込んでいるので、オー
プンソース版での成果を商用版へ展開する準備を事実上進めていることになる。
また、サブ課題 D で開発されている３種類のプラズマ解析コード GT5D、GKV、MEGA はいずれも世界的な解析コードとしてプラズマ物理、核融合分野で認知されているものである。これらは、現時点では産業界の一般ユーザーに活用されることは想定されていないものの、プラズマ物理、核融合分野において標準的コードとして活用されることを狙って、実機実験結果との比較を通した V&V、解析事例公開、ユ

別添 2-43

ーザー向けセミナー、オープンソース化、実験研究者への提供等様々な活動を展開している。加えて、ITPA（国際トカマク物理活動）における ITER 物理課題検討やコード間ベンチマークといった国際的な取り組みを積極的に推進することによって開発コードの国際競争力の向上を図っている。
この他、サブ課題 B で研究開発が進められている PEFC や SOFC のメゾスケール電極解析コードや、サブ課題 C で開発が進められているウィンドファーム用並列風況解析コード RIAM-Compact HPC 版は、特定のアプリケーションに特化しているもの、それぞれの分野での産業界ユーザーと密接に連携しながら研究開発を進めており、ユーザーニーズに応じてカスタマイズすることも可能である。特に、RIAM-Compact
は、すでに国内風力発電業界の標準風況解析コードとして認知され、活用されている。
また、サブ課題 B で研究開発が進められている燃料電池スタックの大規模気液二相流解析では、OpenFOAM ベースで研究開発を進めてきている。これは、小規模モデルながら産業界において OpenFOAM が燃料電池スタックの気液二相流解析への適用が進められてきたからであり、サブ課題 B において、解析
精度と解析規模拡大に向けたソルバの研究開発と燃料電池特有のアスペクトの大きい部材構造（面方向のサイズに対して厚み方向が 1/100 以下）に対して、専用の計算格子生成技術を開発するなど、格子生成等の前処理のユーザー負担を軽減することも進めており、その成果は即産業応用が可能である。さらに、サブ課題 B で開発が進められているアプリケーションについては、燃料電池メーカーの数が限られていることから、当プロジェクトで作成するアプリケーションはユーザーのニーズに直結したカスタマイズが必要であるが、NEDO プロジェクト等を通じて、燃料電池メーカーとの情報交換を活発に行っており、
プロジェクト終了時にはメーカーへ展開する準備は整っている。また、サブ課題 B と全体推進で連携して開発を進めている散逸粒子動力学法（DPD）計算に必要となるχパラメータを FMO 計算から算定するシ
ステム FCEWS (Fragment molecular orbital-based Chi-parameter Evaluation Workflow System)を、「計算工学ナビ」のサイトから提供する予定である。
以上のように、本プロジェクトでは多種多様なコードの研究開発が進行しており、それぞれの特徴に配慮しながら、普及や産業応用を展開している。
（６）必要計算資源
コード開発・検証は外部の計算機資源を用いて行うため、「京」の利用はない。また、個々のサブ課題
における検証・実証計算はそれぞれのサブ課題の計算資源により行うこととする。
（７）人材育成
本重点課題⑥においては、様々な観点から計算科学分野の人材育成にも取り組む。その取り組み内容
は、大きく次の３種類に分けられる。
人材育成タイプ１：ポスドクなどの若手研究者・技術者を直接雇用し、プロジェクトへの直接的参画
を通してポスト京アプリの研究開発および V&V の中核を担う人材を育成するケース。
人材育成タイプ２：分担研究者の所属する大学および研究所の研究室において学ぶ修士課程や博士課程の学生が、本研究プロジェクトの R&D の一部に係ることによって、近い将来、大学などや企業などにおいて計算科学分野の第１線を担うことになる研究者・技

別添 2-44

術者の人材育成を行うケース。
人材育成タイプ３：開発アプリをサブ課題のターゲット分野の研究者、技術者が活用できるように講習会などを行うケース。
以下に、上記タイプ１～３の人材育成について具体的取り組みを記す。
人材育成タイプ１：サブ課題 A では、５名のポスドクを雇用し、２名は高圧高温燃焼モデルの構築に従事させ、１名は固気液三相流モデルの構築に従事させ、１名は熱構造連成解析技術開発に従事させる。サ
ブ課題 B では、ポスドク１名を雇用し、燃料電池電極構造解析技術開発に従事させる。サブ課題 C では、３名程度のポスドクおよび企業技術者に、企業ニーズを踏まえ、NREL の 5MW 風車をベースとした研究開発に従事させる。サブ課題 D では、２名のポスドクをそれぞれ原子力研究機構、名大、核融合科学研で雇用し、原子力研究機構と名大においてはそれぞれで開発するアプリの物理モデル開発と実証研究に従事させる。
人材育成タイプ２：本研究に参画する研究者の研究室（東大、京大、名大、九大、豊橋技科大、立教大、
原子力研究機構、物材機構、核融合科学研）に所属（指導委託を含む）する修士課程、博士課程の学生が、本重点課題⑥に一部係る研究分野において修士論文、博士論文の研究を実施する。
人材育成タイプ３：サブ課題 A では、開発する主要アプリ ADVENTURE、 FFR 等はすでにフリーコード
とともに商用コードも存在し、それぞれにユーザーグループを抱えているので、それらのネットワーク
をフル活用し、大学および企業ユーザーに対するセミナー／講習会を実施し、新規開発機能の産業資料の一層の促進を図る。サブ課題 B では、企業研究者を東京大学の共同研究員、立教大学の研修員としてそれぞれ招き、開発アプリを利用できるように教育する。また、ABINIT-MP プログラム単体や OCTA との連携などに関するハンズオン・セミナー／講習会などを行う。サブ課題 C では、２年間を目途に洋上ウィンドファームの適切化に関するアプリ技術開発に注力し、その間に研究会やセミナーにより企業ニーズを把握しつつ、３年目以降は企業の若手技術者には OJT によりスキルを高めてもらい、最終的には企業の若手技術者が自らアプリ開発が可能なスキルを身につける。サブ課題 D では、名大を中心として、
コード普及に向けたオープンソース化、セミナー等の分野振興の取り組みを推進する。これに加えて、実証研究に実験研究者にも業務協力者として参画してもらう。この過程においてコード開発者と、本サブ課題に関連する実験プロジェクトにおける実験研究者が共同で V&V を行うことによって、実験研究者にもコードの専門知識を習得してもらう。なお、どの分野でも共通することであるが、本重点課題⑥で開発するような最先端のコードにおいて計算結果の妥当性をユーザーが判断して使いこなすには、背景にある理論や計算手法の理解が不可欠となっているため、実証研究の取り組みを通して本事業と連携する実験プロジェクト側に高いレベルのユーザーを育成することが本格的なコードの活用、普及において重要だと考えている。
（８）アウトプット成果（本格実施フェーズ終了時）
全体推進では、中間評価時点で学会発表数３件であった。中間評価以降から本格実施フェーズ終了時までの間の達成目標としては、論文３本、学会発表数６件、解説等論文２件を目指す。

別添 2-45

３．採択時の留意事項への対応状況
対応済みの項目については特に個別記述の必要がないとのことであったが、対応状況を明確にするため以下に個々の指摘事項に対する対応を明記する。
全体指摘事項：（１）課題全体として達成すべき成果を明確にするとともに、その成果実現に向けた定量的・定性的な目標（年間目標および最終目標）を明確にすること。その際、目標設定においては、発電コストを意識し、シミュレーションによるコスト削減の効果についても明確にすること。
本重点課題では各サブ課題が対象とするエネルギー源ごとの特性を踏まえ、現実的かつバランスの取れたコスト削減、開発期間短縮の検討を行っている。平成 26 年度はサブ課題ごとの検討を実施し、平成 27 年度に重点課題全体としての検討結果を示し、その結果の一部を本実施計画改訂版の中にも記載した。

（２）相乗効果が期待される他プロジェクト等と効果的に連携して取り組むとともに、役割分担を明確にすること。
まず、重点課題⑥内のサブ課題間の連携、特にアプリケーション研究開発の効果的、効率的推進の観点から連携体制、連携内容について明記した。
サブ課題 B（旧 B）とサブ課題 E（旧 E）の燃料電池課題については、新規にサブ課題 B として統合
し、より強化を図った。特に、旧サブ課題 E が狙うミクロ～メゾのシミュレーションを、明示的に燃料電池課題に組み込むことにより、ミクロ～メゾ～マクロのマルチスケールシミュレーションの手法の研究開発を明確にした。その上で、本重点課題⑥の新サブ課題 B では、既存材料を高度化すること
により、燃料電池の高性能化を狙うという目標を明確化し、重点課題⑤および⑦の燃料電池関連研究の、革新的材料探索を目指す研究との差別化を明確化した。とはいえ、両者は決して排他的なものではない。本重点課題で研究開発するミクロのアプリケーションは、ABINIT-MP と PHASE/0 であるが、重点課題⑤⑦で開発されるミクロのアプリケーションを、本重点課題⑥でも連携利用することも計画している。

（３）シミュレーションで得られた成果を具現化することのできる実験研究者や産業界との連携体制を明確にすること。
革新的クリーンエネルギーシステムに関しては、すでに国策として数々の関連事業やハードウエア
開発主体のプロジェクトが実施されている他、民間においても低炭素社会実現等へ向けた様々な産業的な努力が行われている。従来の進め方は、実験室での小規模実験から、実規模に近い実証試験、さらに実機・商用化へとスケールアップするのが基本であったが、本重点課題で取り上げた、石炭ガス
化、燃料電池、洋上風力発電、核融合炉炉心設計においては、中核となる現象が多岐にわたりかつ大変複雑であることから、実証試験の実施のみで起こり得る現象を全て定量的に把握したり、適切な設計パラメータや稼働条件を見つけ出すことは困難となり、開発の効率化はなかなか困難であった。そこで、本重点課題においては、革新的クリーンエネルギーシステムの中核となる複雑な物理現象を、第一原理的解析を中核とするマルチスケール・マルチフィジクスシミュレーションで詳細かつ定量的

別添 2-46

に予測・評価できるようにすることにより、スケールアップに伴う予測性を大幅に高めると同時に、適切な設計パラメータや稼働条件の探索を実現することにより、革新的クリーンエネルギーシステムの実現化を大幅に効率化し加速することを可能とするものである。
一 方 、 一 般 に シ ミ ュ レ ー シ ョン に と っ て 定 量的 な 予 測 性 を 担 保 す る た め には 、 十 分 な V&V（Verification & Validation）を実施することが必須である。この観点から、現実に実験室規模の実験や実証試験等を遂行している国プロや民間企業とは、密に連携し、それらの実験条件のシミュレー
ションと実験結果やシミュレーション結果の比較を行うことが必要である。
以上のように、本重点課題で対象とするエネルギーシステムにおいて、大規模な国プロや実証試験と、本重点課題で研究開発する先進シミュレーションは相補的な関係にあり、これは本重点課題実施者のみならず、国プロ実施者や民間企業の担当者らも十分に認識している。ただし、このレベルになると、多くの機密事項が関連してくるので、サブ課題ごとに、適切に秘密保持契約などを結びながら、
研究開発を進めていくこととしている。具体的な対応については、本実施計画書改訂版内に記載した。

（４）開発したアプリケーションを産業界に広く展開していくために、ユーザーの利用環境や利用イ
メージを意識するとともに、市販アプリケーションとの差別化を明確にして開発に取り組む具体的な方針を明確にすること。その際、ADVENTURE の開発をオープンソース版ではなく商用版に基づいて実施することを検討した上で、産業界への展開を効率的に行うことのできる方針とすること。
ポスト「京」における自由な活用、一般への展開・普及ということを考えると、予定通り、オープ
ンソース版で ADVENTURE の研究開発を行うことは合理的と考えている。一方、本研究開発においては、
ADVENTURE 商用版の開発・販売を行っているソフトベンダーを、開発委託機関の一つとして取り込んでいるので、オープンソース版での成果を商用版へ展開する準備を事実上進めていることになる。また、本重点課題の全体責任者であり、ADVENTURE プロジェクトリーダーでもある吉村忍教授は、スーパーコンピューティング技術産業応用協議会メンバーと、ポスト「京」開発アプリケーションの産業界への普及、および産業界のニーズの汲み取りに関する情報交換会を定期的に実施しており、産業界への展開を効率的に進める準備を整えている。

（５）各サブ課題の独立性が高いが、サブ課題間の連携や、同様なアプリケーションの共通基盤化を図る具体的な取り組みを明確にすること。
革新的クリーンエネルギーシステムとして、本重点課題では、石炭ガス化、燃料電池、洋上風力発
電、核融合炉炉心設計、の４システムを対象として取り上げる。これらは、プロジェクト出口であるエネルギー源としてはそれぞれに独立したものであるが、その中核をなす物理現象（構造、流体、熱、
電磁気、材料劣化等）や克服すべきシミュレーション課題（ベクトル・マトリックス演算のポスト「京」対応、マルチフィジクス連携、マルチスケール連携、多数のパラメトリック計算、最適解探索、コデザイン、実機レベルの試験結果を活用した V&V など）に、多くの共通点がある。このため、出口（エネルギー源）の多様性、個別性に十分に配慮しながらも、アプリケーション研究開発レベルにおいて、サブ課題間で十分な連携を図ることにより、各サブ課題を単独で遂行することに比して、大きな相乗効果を生むように重点課題全体の全体推進を図る。また、同様の観点から、重点課題⑧とも共通する主要アプリも多いことから、アプリケーション研究開発においては重点課題⑥⑧でも十分な

別添 2-47

連携体制をとる。
なお、これまでの実施計画書においては、重点課題⑥⑧の連携を明示していたが、重点課題⑥内でのアプリケーション研究開発のサブ課題連携を明示していなかったので、本実施計画改訂版において、その点も明記した。

（８）人件費の占める割合が大きいが、本プロジェクトで雇用する研究者（ポスドク等）の人員計画を明確にするとともに、将来のステップアップまで見据えた登用、人材育成の取り組みの計画を明確にすること。
サブ課題ごとに縛られず、重点課題全体としてポスドク等の雇用にあたっては、計算機科学から数学、物理、実験まで見渡せる重点課題全体での研究テーマを意識し、将来的に各研究機関のエクサスケー
ルシミュレーションをリードできる人材の育成を目指す。本実施計画改訂版において、その点を明記した。
サブ課題ごとの指摘事項：（６）本提案のサブ課題 B については、重点課題⑤（エネルギーの高効率な創出、変換・貯蔵、利用の新規基盤技術の開発）において取り組まれる電池関連の研究開発ともコミュニケーションを図り、相乗効果を図ることのできる体制を明確にすること。
サブ課題 B（旧 B）とサブ課題 E（旧 E）の燃料電池課題については、新規にサブ課題 B として統合
し、より強化を図った。特に、旧サブ課題 E が狙うミクロ～メゾのシミュレーションを、明示的に燃料電池課題に組み込むことにより、ミクロ～メゾ～マクロのマルチスケールシミュレーションの手法の研究開発を明確にした。その上で、本重点課題⑥の新サブ課題 B では、既存材料を高度化すること
により、燃料電池の高性能化を狙うという目標を明確化し、重点課題⑤および⑦の燃料電池関連研究の、革新的材料探索を目指す研究との差別化を明確化した。とはいえ、両者は決して排他的なものではない。本重点課題で研究開発するミクロのアプリケーションは、ABINIT-MP と PHASE/0 であるが、重点課題⑤⑦で開発されるミクロのアプリケーションを、本重点課題⑥でも連携利用することも計画している。

（７）本提案のサブ課題Ｅについて、重点課題⑤（エネルギーの高効率な創出、変換・貯蔵、利用の新規基盤技術の開発）、重点課題⑦（次世代の産業を支える新機能デバイス・高性能材料の創成）と方法論に共通性があることから、重点課題間の効果的な連携や産業界との協力体制の一本化を検討した
上で、体制を具体化すること。
サブ課題 B（旧 B）とサブ課題 E（旧 E）の燃料電池課題については、新規にサブ課題 B として統合
し、より強化を図った。特に、旧サブ課題 E が狙うミクロ～メゾのシミュレーションを、明示的に燃料電池課題に組み込むことにより、ミクロ～メゾ～マクロのマルチスケールシミュレーションの手法の研究開発を明確にした。その上で、本重点課題⑥の新サブ課題 B では、既存材料を高度化すること
により、燃料電池の高性能化を狙うという目標を明確化し、重点課題⑤および⑦の燃料電池関連研究の、革新的材料探索を目指す研究との差別化を明確化した。とはいえ、両者は決して排他的なものではない。本重点課題で研究開発するミクロのアプリケーションは、ABINIT-MP と PHASE/0 であるが、別添 2-48

重点課題⑤、⑦で開発されるミクロのアプリケーションを、本重点課題⑥でも連携利用することも計画している。
４．中間評価における指摘事項への対応状況----------------------------------------------------------------------------------

１．課題全体として達成すべき成果を明確にするとともに、その成果実現に向けた定量的・定性的な目
標（年間目標及び最終目標）を明確にすること。その際、各サブ課題の進捗状況に基づいて、より優位性の高いクリーンエネルギーシステムの開発を選択的・戦略的に推進することを検討すること。
---------------------------------------------------------------------------------平成 29 年 5 月 29 日提出の実施計画の「１．実施概要」に述べているように、本重点課題で取り上げている４システム（石炭ガス化、燃料電池、洋上風力発電、磁気閉じ込め核融合炉）はエネルギー源としてはそれぞれに独立したものであり、これまでは完全に独立した国プロジェクト等として推進が図られてきている。しかしながら、計算科学的な観点からこれらの４プロジェクトを俯瞰すると、その中核をなす物理現象（構造、流体、熱、電磁気、材料劣化等）や克服すべき計算科学的課題（ベクトル・マ
トリックス演算、マルチフィジクス性、マルチスケール性、パラメトリック計算、最適解探索、コデザ
イン、実機レベルの V&V(Verification & Validation)など）に、多くの共通点がある。したがって、計算科学的には独立して研究開発を進めるよりも、同一プロジェクトの傘下のもとで、連携して研究開発を進めることが効率的と判断し本プロジェクトを遂行している。ただし、連携した研究開発を具体的かつ効果的に進めるために、各エネルギーシステムを対象とする４サブ課題に加えて、全体に横串を通す全体推進、を設定し、遂行してきている。また、同様の観点から、重点課題⑧とは共通する主要アプリ
ケーションも多いことから、アプリケーション研究開発レベルにおいて、重点課題⑥、⑧で協力して年に数回アプリケーション連携開発会議を実施するなど、十分な連携体制をとってきている。
ご指摘の点は、各エネルギーシステムを扱うサブ課題ごとの「達成すべき成果の明確化」、「その成果実現に向けた定量的・定性的な目標（年間目標及び最終目標）の明確化」、に留まらず、課題全体として、「達成すべき成果の明確化」、「その成果実現に向けた定量的・定性的な目標（年間目標及び最終目
標）の明確化」を行うべき、と理解したので、具体的に以下のように対応していく。
一方、「各サブ課題の進捗状況に基づいて、より優先順位の高いクリーンエネルギーシステムの開発
を選択的・戦略的に推進することを検討すること」、とのご指摘もあった。この点について、改めて本
重点課題の「革新的クリーンエネルギーシステムの実用化」の観点からの研究開発戦略を述べる。本重点課題⑥で取り上げている４つのエネルギーシステムは、実用化までの時間スケジュールも、クリーンエネルギー源としての国家的・社会的な役割も異なっており、それぞれの優劣を単純に論じることは適切でないと考えている。これらの４つのエネルギーシステムに共通しているのは、エネルギー小国の日
本にとっていずれも実現が望まれる重要なクリーンエネルギー源であり、計算科学プロジェクトとは独立して、大きな予算を投じて国家プロジェクト等として推進が図られているということである。まだ同時に、いずれもその中核の現象にマルチフィジクス、マルチスケール性が本質となる大変複雑な物理現象が介在しているにもかかわらず、既存の国家プロジェクト等の中では、実験研究主導で進められ、そ
うした本質的な課題に対する計算科学的取り組みがほとんどなされていないか、あるいは不十分である、という点も共通性がある。したがって、本重点課題⑥の中で、４エネルギーシステムの計算科学的

別添 2-49

課題を同時に扱うことは国費の戦略的活用という観点からも大変重要かつ意義があることと考えている。
確かに、平成 29 年夏に行われた中間評価の段階では、サブ課題ごとの進捗状況に差があることは実施者側としても十分に認識しているところである。しかし、それは、各サブ課題の計算科学プロジェク
トとしての特性に差があるために、中間段階で現れている差にすぎないと考えている。したがって、４エネルギーシステムのいずれかを選択するというアプローチではなく、サブ課題ごとの目標設定を精査し、その実現に向けた定量的・定性的目標を修正し、同時に全体推進機能をこれまで以上に強化し、課題全体としての目標設定を精査し、それに向けて強力に推進していくことで、十分に対応できると考えている。
以上が、本指摘に対する課題全体としての対応方針である。それを踏まえ、各サブ課題の対応と全体推進としての対応のポイントを以下に記す。ただし、年間目標等についてはここには記さず、本実施計
画書の改訂版に具体的に反映している。
【サブ課題 A】
サブ課題 A では、達成すべき成果を次のように設定する。
・実機実圧（亜臨界から超臨界圧まで）における燃焼・ガス化・粒子追跡・灰溶融（固気液三相）の第一原理的シミュレーション技術を実現する。（FrontFlow/red-Comb[FFR-Comb]の機能強化）
・実機実圧（亜臨界から超臨界圧まで）における燃焼等反応－炉構造内伝熱－冷却システム全体の非定常非線形マルチスケール・マルチフィジクス統合シミュレーションを実現する。（FFR-Comb とADVENTURE_Thermal との双方向連成解析の実現、ADVENTURE_Solid の非弾性解析機能強化、
ADVENTURE_Thermal から ADVENTURE_Solid への片連成解析の実現）
・電力中央研究所石炭ガス化実験炉等と上記シミュレーションとの比較による統合シミュレーションレ
ベルの V&V の実施。
・ポスト「京」を活用し実機のシミュレーションを実現するための準備作業（モデル作成、「京」等による予備解析等）【サブ課題 B】
サブ課題 B では、達成すべき成果を次のように設定する。
・固体高分子形燃料電池（PEFC）流路／GDL 界面からセルレベルの詳細気液二相流解析シミュレーション技術を開発し、それを用いて解析を実施し、要素実験によるモデル検証を行い、局所的な二相流動の定量化とデータベース（DB）を構築する。さらに、実規模スタック内の数十～百億グリッド規模の気液二相流解析へ展開し、自動車の様々な運転モードにおけるスタック内の排水性解析の評価・検証を実施する。
なお、計画当初は、OpenFOAM で二相流解析の検証を行い、その後、100 億メッシュ規模の大規模計算（単相流）を確立している FFB に二相流モデルを移植する計画であった。しかし、自動車業界を中心として産業界でも気液二相流を含めた CFD に OpenFOAM を利用する環境が整備され、実績も蓄積されつつあることから、OpenFOAM で燃料電池セル・スタックの大規模気液二相流解析が完結することのユーザメリッ
トが高まっている。また、OpenFOAM も単相流では「京」で 100 億メッシュ規模の計算が可能となっており、現時点までの実施結果を活かし、限られた開発リソースで最大の成果を達成するという立場に立つ

別添 2-50

と、OpenFOAM をそのまま用いる方が「産業界で活用する」という主目的に合致すると考えられる。そこ
で、産業界において燃料電池セル・スタック設計に求められる 20 セルスタックのメッシュ規模に関して
実験検証を含めて明らかにすることを目的として、既存の OpenFOAM コードには実装されていない行列ソルバ、気液界面捕獲スキームの導入、並列効率のチューニングと検証を集中的に実施して開発を加速していく。
・固体酸化物形燃料電池（SOFC）の焼結による電極形態変化および過電圧の経時変化の予測を目的として、階層直交格子に基づいた大規模シミュレータを開発する。また、高性能・高信頼性を持つ電極構造の解明を目的として、随伴解析に基づく構造最適化機能を開発する。
・PEFC 触媒層の各種構造パラメータ（担体粒径、凝集形状、電解質被覆構造、触媒担持量、分散）と出力性能の相関を定量化する過電圧シミュレーションを実施する。
・フラグメント分子軌道（FMO）法プログラム ABINIT-MP を用いて、高分子粗視化シミュレーションの有効相互作用（χ）パラメータを非経験的かつ定量的に算定する手法を確立し、PEFC 電解質膜設計に適用する。また、密度汎関数（DFT）プログラム PHASE/0 を連携活用し、PEFC の三相界面構造と機能を解析するための実用的 MSS（Multi-Scale Simulation）基盤を構築する。
【サブ課題 C】
サブ課題 C では、これまでの研究開発の中から、洋上ウィンドファーム発電量予測の高精度化を実現するために必要となる全ての要素技術をリストアップし、その中から、ポスト「京」を活用した大規模
高精度シミュレーションが必須となるマルチスケール大規模流れ解析（大気境界層の影響や後流［ウェイク］による下流側に設置される風車の発電性能低下の定量評価精度の向上）と、風車疲労荷重解析の高精度化を実現するための流体・構造双方向連成振動解析のシステム構築に着目し研究開発を進める。
さらに、この着実な実現のため、コアとなる技術要素を精査し、①ウィンドファーム全体の流れ解析、②流体構造連成振動解析、③ブレードの複合材料構造のモデル化と解析、④風車模型スケール流れ解析、⑤翼スケール流れ解析、とスケールごとに分けて、それぞれのレベルで研究開発と検証を進め、最終的に連携活用を図る。最終的な洋上ウィンドファーム発電量予測においては、ポスト「京」を活用
し、大規模並列化および多風向（16 ないし 24 方位）同時計算により高精度・高速計算を実現可能とすることを目標とする。また、流体・構造双方向連成振動解析においては、風車後流影響時の応力変動の定量的な評価を行う。本サブ課題では、洋上ウィンドファームのマルチスケール・マルチフィジクス統合シミュレーションを活用した感度解析を通して定性的妥当性確認を行う。
【サブ課題 D】
サブ課題 D では開発した物理モデルと計算技術の実証に関して以下の目標を設定する。
・プロジェクト前半で開発した多種イオン系の乱流輸送解析、および、高エネルギー粒子閉じ込め解析のための要素技術を統合し、さらに JT-60、LHD 等の国内大型実験プロジェクトと連携した実証研究によって開発コードの V&V を実施することにより、ITER の核燃焼プラズマ解析に必要となる計算モデルを確立する。評価精度としては、実験的計測誤差やデータベースが含むデータ分散と同程度の評価誤差を目標とする。具体的な実証研究の目標としては、乱流輸送解析では、大域的電場の効果を含めて多種イオン系の輸送解析精度を向上する。平成 30 年度は改良モデルの精度検証を実施し、平成 31 年度は LHD における

別添 2-51

実証研究を実施する。高エネルギー粒子閉じ込め解析に関しては、長時間スケールの間欠的 MHD 現象の再現を目指す。平成 30 年度はトカマク装置、平成 31 年度は LHD における実証研究を実施する。
・同時に、上記シミュレーションコードに関して、エクサスケール計算に向けた要素技術を統合し、ポス
ト「京」（プロトタイプ機）全系規模までの強スケーリング実現に向けた研究開発を行うとともに、エクサスケール計算データの可視化解析技術を開発する。
以上の取り組みにより、世界最先端の計算精度と計算性能をもつ国産核燃焼プラズマ解析コードを完成させ、ポスト「京」を活用した ITER 計画への貢献を可能とする。
【全体推進】
各サブ課題の具体的な遂行を通して進む、ポスト「京」向けのマルチフィジクス連成、マルチスケール
連携について、共通事項を整理し、今後のエクサスケールコンピューティング時代の知識基盤として公表する。また、実機の試験結果とマルチフィジクス・マルチスケールシミュレーションの結果の比較検討を行う V&V プロセスに関しても手順を整理し、併せて今後の知識基盤として公表する。
----------------------------------------------------------------------------------

２．情報科学技術分野における研究開発の論文数、学会発表数は、事業の成果を議論する上で１つの指標となりうるため、分野の特性を考慮の上、論文数、学会発表数の達成目標値を設定すること。
---------------------------------------------------------------------------------本重点課題では、プロジェクト前半は、サブ課題ごとの個別テーマの推進と同時に、サブ課題ごとの複数テーマやアプリケーションコードのマルチフィジクス＆マルチスケール統合方法の検討等に大きな労力を割いてきたことは否めず、結果的にサブ課題によっては論文数や学会発表数などが不十分だった
ことは否めない。また、本重点課題には、エンジニアリング的要素の強い技術課題から、サイエンス的要素の強い学術課題まで幅広く含んでいることや、成果創出までを比較的短期間で行える課題（新規モデルやアルゴリズムの提案、基本的なモデル解析を通した効果検証等）から、成果創出までに時間のかかる課題（マルチフィジクス連成やマルチスケール連携、実機の解析モデル作成と解析、解析結果と試
験結果との比較検討、V&V 等）までを含んでいることも、中間評価の段階では、論文数や学会発表数が不十分な分野があった原因と考えている。プロジェクト前半の研究開発成果を基盤として、プロジェク
ト後半は研究開発の加速が進むと考えているが、改めて、サブ課題ごとの特性を踏まえた上で、論文
数、学会発表数の達成目標値を以下のように設定する。
【サブ課題 A】
目標値（中間評価以降からプロジェクト終了時まで）
論文数：１０本、学会発表数：２５件、解説等：１本（それぞれ半数は国際ジャーナルや国際会議）【サブ課題 B】
目標数（中間評価以降からプロジェクト終了時まで）

別添 2-52

論文数：１０本、学会発表数：２８件、解説等：１本（それぞれ半数は国際ジャーナルや国際会議）【サブ課題 C】
目標数（中間評価以降からプロジェクト終了時まで）
論文数：１５本、学会発表数：４５件、解説等：１本（それぞれ半数は国際ジャーナルや国際会議）【サブ課題 D】
目標数（中間評価以降からプロジェクト終了時まで）
論文数：１５本、学会発表数：１２０件（論文数の２／３、学会発表数の１／３はそれぞれ国際ジャーナルや国際会議）【全体推進】
目標数（中間評価以降からプロジェクト終了時まで）
論文数：３本、学会発表数：６件、解説等：２本----------------------------------------------------------------------------------

３．予備計算などを通じて、サイエンス的な目標を明確にすること。その目標に対して、ポスト「京」でいつまでに何をどこまで明らかにすることを目指すのかを明確にすること。その時点でポスト「京」で初めてできる画期的な利活用について具体的に説明すること。
---------------------------------------------------------------------------------本重点課題は、ポスト「京」プロジェクトの全９重点課題の中では、工学的課題解決を目指すテーマを多分に含む重点課題と考えている。指摘事項の「サイエンス的な目標の明確化」の意味するところを「学術的な目標の明確化」と捉え、以下に今後の対応のポイントを記す。
【サブ課題 A】
・実機実圧（亜臨界から超臨界圧まで）における燃焼・ガス化・粒子追跡・灰溶融（固気液三相）の第一原理的シミュレーション技術を実現する。世界的に見ても過去にこのような現象のシミュレーションは行われていない。また、三菱重工実験炉以上の実機の計算はポスト「京」を用いてはじめて可能になる。
・実機実圧（亜臨界から超臨界圧まで）における燃焼等反応－炉構造内伝熱－冷却システム全体の非定常非線形マルチスケール・マルチフィジクス統合シミュレーションを実現する。
世界的に見ても過去にこのような現象のシミュレーションは行われていない。このような連成シミュレーションは、各種の次世代エンジンや熱機関の研究開発など、極めて広い応用範囲を持っており、その観点からも大変大きな学術的価値がある。また、三菱重工実験炉以上の実機の計算はポスト「京」を用いてはじめて可能になる。
・石炭ガス化炉では、空気吹き、O2 吹き、O2+CO2 吹きなど様々な手法が研究開発されており、また、世別添 2-53

界中で算出される様々な炭種を用いた運用が必要となる。そのため、極めて多様な実験研究が行われている。一方、本シミュレーションは、これらの多様な吹送方式、炭種に対して普遍的な解析基盤を提供するものであり、極めて画期的である。このような研究開発は高度な実験実証技術と、ポスト「京」のような世界最先端の計算科学基盤を有する日本においてしか実現することができない。それが国・産業界を問わず石炭ガス化炉プロジェクトの関係者からも大きな期待を集めている要因である。
【サブ課題 B】
サブ課題 B では、原子レベルのナノスケールから数 10～100nm オーダーのメゾスケールまでのマルチスケール解析ワークフローの構築が学術的にも実用的にも大きな特徴となっている。電解質についての解析ワークフローはすでにほぼ実現しており、プロジェクト終了時までに三相界面のモデリングも完成させる予定である。この解析ワークフローの中で、モデリングした三相界面構造に基づく材料特性解析（プロトン伝導等）は、ポスト「京」を用いてはじめて可能となる。また、同様にメゾスケールからナノ
スケール構造を再構築したリバースマップ構造を、原子レベルで詳細にフラグメント分子軌道法（FMO）
計算によって解析するのにも、ポスト「京」の利用が必須となる。このような燃料電池のマルチスケール
計算は、世界的にも行われておらず、学術的にも大きな価値がある。
2030 年頃の燃料電池車普及促進期に市場投入される次世代燃料電池車の出力性能向上には、実触媒層規模で実在材料における輸送抵抗要因を明確にする必要がある。たとえば 10µm 厚の触媒層は、約 0.02µm 程度の一次粒子から構成されており、本目標を達成するためには、スケール比 500 倍の複雑微細構造内を高精度にかつ様々な運転条件を解析する必要がある。複雑な触媒担体モルフォロジーが引き起こす、
ガス・電子・イオン輸送抵抗と電気化学反応界面の形成機構を定量的に明らかにすることは、ポスト「京」によって初めて実現できるものであり、学術的にも大きな価値がある。
【サブ課題 C】
洋上ウィンドファームにおける実機大規模風車を対象としたマルチスケール大規模流れ解析の取り組
みは、計算科学的にも非常に難度が高く、世界的に前例がない。しかし、今後ますます増大する風力発
電需要を考えた時に、限定されたスペースの中で洋上ウィンドファームを立地し、所定の発電性能を実現していくためには、大型風車の相互干渉、すなわち上流側風車の後流による下流側配置の風車の発電性能低下を高精度に予測し、さらに、後流に晒される後方配置の風車の流体構造連成振動に基づく疲労強度評価を高精度化していくことが必須となる。サブ課題 C において研究開発を行う、洋上ウィンドフ
ァームを対象とした多風向（16 方位あるいは 24 方位）マルチスケール大規模流れ解析（後流の発電性能に及ぼす影響）と、後流を受ける大規模風車の流体構造連成振動解析は、ポスト「京」によって初めて実現が可能となるものであり、数値流体力学的にも計算力学的にも世界的に例を見ない大きな学術的価値のあるものである。この解析システムを活用することにより、洋上ウィンドファームのサイト決定、サイト内の大型風車の設置基数や配置、発電性能予測など、を高精度化することができ、洋上ウィ
ンドファームの設置を推進することができる。
【サブ課題 D】
サブ課題 D ではポスト「京」運用開始 5 年後の目標として以下を設定する。

別添 2-54

ポスト「京」を用いた ITER の核燃焼プラズマ解析において実験条件あたり 10〜100 ケースの系統的なパラメータスキャンを行い、標準運転条件の定常炉心（～10ms）における乱流輸送特性、および、アルファ粒子閉じ込め特性それぞれについて、設計の妥当性を検証するとともに、さらなる高性能炉心開発に向けた理論的指針を示す。
具体的には、ポスト「京」を活用して、まず、アルファ粒子による自己加熱によって決まる炉心プラズ
マの位相空間構造を明らかにし、その上で、摂動磁場、加熱粒子ビーム入射、電磁場による加熱といったアクチュエータによる直接的制御、あるいは、アクチュエータによる乱流現象や MHD 現象の変化を介した間接的制御による位相空間構造の制御性を明らかにすることを目指す。このような熱平衡から離れた
速度空間構造の非線形な制御を必要とする工学系は核融合分野特有のものであり、サイエンス的な価値が高い。ITER の制御手法開発に必要なシミュレーションは、現在、「京」で実施している既存装置を対象とするシミュレーションの 10-1000 倍の計算規模となるため、ポスト「京」で初めてできる画期的な利活用である。
----------------------------------------------------------------------------------

４．成果の利活用について、開発したアプリケーションを産業界に広く展開していくために、ユーザーの利用環境や利用イメージを意識するとともに、市販アプリケーションとの差別化を明確にして開発に取り組む具体的な方針を明確にすること。
---------------------------------------------------------------------------------平成 29 年 5 月 29 日提出の実施計画の「１．実施概要」の「（４）周辺領域への波及効果、課題全体における計算科学やシミュレーションの位置づけ」、において述べたように、本研究課題の中で研究開発されるアプリケーション群は、ミクロ領域（第一原理計算、量子化学計算）からマクロ領域（熱、流体、構造、連成）に至る、我が国を代表し世界的にも競争力の高いマルチスケール・マルチフィジクス解析の汎用性のあるソフトウェアであり、これらはポスト「京」の性能を最大限に活用できるように適切化されたものとして提供される。しかも、石炭ガス化、燃料電池、洋上風力発電などの本重点課題で対象とする革新的クリーンエネルギーシステムの課題を解決できるのみならず、極めて広い範囲の人工物等のミクロ現象、マクロ現象、マルチスケール・マルチフィジクス現象の高精度解析にも適用できる。
具体的には、サブ課題 A で研究開発が進む、有限体積法ベースの燃焼 LES 解析コード FFR-Comb、有限要素法ベースの汎用解析システム ADVENTURE（構造解析コード ADVENTURE_Solid（重点課題⑥から提案されたコデザインのターゲットアプリ）、熱伝導解析コード ADVENTURE_Thermal）、並列連成カプラー
REVOCAP_Coupler、サブ課題 B で研究開発が進む、フラグメント分子軌道法ベースの ABINIT-MP、第一原
理分子動力学ベースの PHASE/0、サブ課題 C で研究開発が進む有限要素法ベースの LES 乱流解析コード
FFB（重点課題⑧から提案されたコデザインのターゲットアプリ）、構造解析コード ADVENTURE_Solid（前出）、並列連成カプラーREVOCAP_Coupler（前出）は、いずれも汎用性を考慮したコードである。これらのアプリケーション群は、重点課題⑥プロジェクトの開始前（日本学術振興会未来開拓プロジェクト、文科
省戦略的シミュレーションプロジェクト、同革新的シミュレーションプロジェクト、HPCI 戦略分野プロ
ジェクト等時代）からすでにユーザー群をコンソーシアム形式でとりまとめたり、ソフトベンダーも巻き込んだ産学協力体制のもとに研究開発や運用が行われている。このため重点課題⑥プロジェクトの成果
は、個別サブ課題の解決に資するのみならず、これらの既設の産学連携体制を通じて産業界に普及してい別添 2-55

くことも予定されている。なお、ADVENTURE システムはオープンソース版に加えて、日本学術会議未来開
拓プロジェクト終了時の 2002 年からすでにその商用版 ADVENTURECluster が株式会社アライドエンジニ
アリングから販売されており、現在すでに自動車会社や電機・重工関係などの産業界に幅広く普及されている。ADVENTURECluster は非線形有限要素法解析コード ABQUS と同様の非線形解析機能を有しつつ、超並列計算機環境で稼働し解析規模も計算速度も一桁から二桁大きな性能を有するソフトとして認知されている。
また、サブ課題 D で開発されている３種類のプラズマ解析コード GT5D、GKV、MEGA はいずれも世界的な解析コードとしてプラズマ物理、核融合分野で認知されているものである。これらは、現時点では産業界の一般ユーザーに活用されることは想定されていないものの、プラズマ物理、核融合分野において標準的コードとして活用されることを狙って、実機実験結果との比較を通した V&V、解析事例公開、ユーザー向けセミナー、オープンソース化、実験研究者への提供等様々な活動を展開している。加えて、ITPA（国際トカマク物理活動）における ITER 物理課題検討やコード間ベンチマークといった国際的な取り組みを積極的に推進することによって開発コードの国際競争力の向上を図っている。
この他、サブ課題 B で研究開発が進められている PEFC や SOFC のメゾスケール電極解析コードや、サブ課題 C で開発が進められているウィンドファーム用並列風況解析コード RIAM-Compact HPC 版は、特定のアプリケーションに特化しているもの、それぞれの分野での産業界ユーザーと密接に連携しながら研究開発を進めており、ユーザーニーズに応じてカスタマイズすることも可能である。特に、RIAM-Compact
は、すでに国内風力発電業界の標準風況解析コードとして認知、活用されている。
また、サブ課題 B で研究開発が進められている燃料電池スタックの気液二相流解析では、OpenFOAM ベースで研究開発を進めてきている。これは、小規模モデルながら産業界において OpenFOAM が燃料電池ス
タックの気液二相流解析への適用が進められてきたからであり、サブ課題 B において、解析精度と解析
規模拡大に向けたソルバの研究開発と燃料電池特有のアスペクトの大きい部材構造（面方向のサイズに対して厚み方向が 1/100 以下）に対して、専用の計算格子生成技術を開発するなど、格子生成等の前処理のユーザー負担を軽減することも進めており、その成果は即産業応用が可能である。
さらに、サブ課題 B と全体推進で連携して開発を進めている散逸粒子動力学法（DPD）計算に必要となる χ パラメータを FMO 計算から算定するシステム FCEWS (Fragment molecular orbital-based Chiparameter Evaluation Workflow System)を、「計算工学ナビ」のサイトから提供する予定である。
以上のように、本プロジェクトでは多種多様なコードの研究開発が進行しており、それぞれの特徴を配慮しながら、普及や産業応用を展開しているので、今後はその点を整理しながら、目標と成果を明確にしていきたい。
----------------------------------------------------------------------------------

５．各サブ課題の独立性が高いが、サブ課題間の連携や、同様なアプリケーションの共通基盤化を図る
具体的な取り組みを明確にすること。
---------------------------------------------------------------------------------このご指摘の点については、１の指摘事項の対応の部分でも一部回答させていただいているが、ここに改めて具体的な強化の取り組みを記す。

別添 2-56

（１）マルチフィジクス連成に関するサブ課題 A、C、全体推進の連携について
並列連成カプラーREVOCAP_Coupler については、サブ課題 A では有限体積法ベースの燃焼 LES 解析コ
ード FFR-Comb と有限要素法ベースの熱伝導解析コード ADVENTURE_Thermal との双方向連成解析を実現し、同時にサブ課題 C では有限要素法ベースの LES 乱流解析コード FFB と有限要素法ベースの
ADVENTURE_Solid との双方向連成解析を実現すべく研究開発を行っている。その成果は、非構造格子に対応するポスト「京」における並列マルチフィジクス連成解析の重要なプラットフォームとなっていく
ことが期待される。
（２）マルチスケール連携に関する重点課題⑥サブ課題 B と全体推進、重点課題⑧のサブ課題 A との連携について
FMO 計算からχパラメータを算定するワークフローをシステムとしてまとめた FCEWS (Fragment
molecular orbital-based Chi-parameter Evaluation Workflow System)を基盤ソフトとして公開予定である。また、重点課題⑧サブ課題 A で開発中の WHEEL（旧名 HPC/PF）を用いて、χパラメータ算定に必要な膨大な数の FMO 計算を ABINIT-MP のジョブとして自動実行するシステム連携も進めている。これは平成 29 年度下期から「京」の micro job 枠を使って実行予定である。
PHASE/0 に関しても、相互作用算出のアルゴリズムを確立した後、重点課題⑧サブ課題 A と連携して、WHEEL を利用したパラメトリック計算の自動実行の枠組み構築を計画している。
（３）大規模行列計算、データ可視化等に関するサブ課題 A、サブ課題 B、全体推進の連携について
サブ課題 D で開発を進めている計算技術のうち、構造格子を対象とした行列ソルバやデータ可視化解
析技術は他分野、特に構造格子系の計算を実施するサブ課題 B のメゾスケールの電極計算においても利用可能な共通基盤技術となりうる。全体推進との連携の下で、これらを行列計算ライブラリや可視化解析ツールとして整備し、オープンソースとして公開することによって、サブ課題間、さらには、重点課
題間で共通基盤技術の展開を図る。
（４）マルチフィジクス連成、マルチスケール連携手順の知識基盤の整理と公開、実機試験結果とマル
チフィジクス・マルチスケールシミュレーションの解析結果の V&V 手順の整理と公開について（１）、（２）の取り組みに加えて、各サブ課題の具体的な遂行を通して進む、ポスト「京」向けのマル
チフィジクス連成、マルチスケール連携について、共通事項を整理し、今後のエクサスケールコンピュー
ティング時代の知識基盤として公表する。また、実機の試験結果とマルチフィジクス・マルチスケールシ
ミュレーションの結果の比較検討を行う V&V プロセスに関しても手順を整理し、併せて今後の知識基盤として公表する。

別添 2-57

（別紙１） 実施機関一覧
実施機関
東京大学
立教大学
物質・材料研究機構
全体推進
自然科学研究機構分子科学研究所
星薬科大学
鳥取大学
長崎大学
東京大学
京都大学
九州大学
サブ課題A
東洋大学
高圧燃焼・ガ
諏訪東京理科大学
ス化を伴うエネルギー変換 日本大学
宮崎大学
システム
名古屋大学
電力中央研究所
神戸大学
東京大学
みずほ情報総研
サブ課題B
気液二相流 京都大学
および電極の 立教大学
超大規模解 物質・材料研究機構
析による燃料 九州大学
電池設計プロ 神戸大学
セスの高度化 産業技術総合研究所
理化学研究所計算科学研究機構
豊橋技術科学大学
サブ課題Ｃ
東京大学
高効率風力 九州大学応用力学研究所
発電システム
宇宙航空研究開発機構構築のための大規模数値 風力エネルギー研究所
東芝
解析
HPCシステムズ
日本原子力研究開発機構
名古屋大学
自然科学研究機構核融合科学研究所
サブ課題D
核融合炉の 理化学研究所計算科学研究機構
炉心設計
プリンストン大学プラズマ物理研究所
フランス原子力庁
量子科学技術研究開発機構（別紙１） 1 / 13 ページ

備考
代表機関（吉村忍）
分担機関
分担機関
協力機関
協力機関
協力機関
協力機関
代表機関（吉村忍）
分担機関
分担機関
協力機関
協力機関
協力機関
協力機関
協力機関
協力機関
協力機関
代表機関（鹿園直毅）
分担機関
分担機関
分担機関
分担機関
協力機関
協力機関
協力機関
協力機関
分担機関（飯田明由）
代表機関
分担機関
分担機関（H28まで）
分担機関
協力機関
協力機関
分担機関（井戸村泰宏）
分担機関
分担機関
協力機関
協力機関
協力機関
協力機関

別添3

第 3. アプリケーション

3.9. 重点課題 6 ADVENTURE のコデザイン

3.9 重点課題 6 ADVENTURE のコデザイン
3.9.1 アプリケーションの特徴とコデザインの方針
3.9.1.1 アプリケーションの特徴
領域分割法(Domain Decomposition Method,DDM)構造解析プログラム ADVENTURE では、解析対象は互いに重なり合わない複数の部分領域に分割されており、部分領域間境界上節点の変位に関する連立一次方程式(インターフェース問題)を、共役勾配法(Conjugate Gradient,CG)法によって反復的に解く部分
が主要処理部である。つまり、その主要処理部では、部分領域間境界での仮の強制変位から部分領域間
境界での反力が計算され、その反力の合計から部分領域間での仮の強制変位が更新されるということが、部分領域間境界での反力の合計が十分にゼロに近付くまで繰り返される。さらに、この CG 反復の反復回数を減少させるために、部分領域毎の対角スケーリングと、コースグリッド修正の 2 段階からなる前
処理も、この CG 反復の各回に行われる。この前処理は、BDD(Balancing Domain Decomposition)-diag
前処理と呼ばれ、この BDD-diag 前処理付きの CG 反復は、BDD 反復とも呼ばれる。
部分領域間境界での仮の強制変位から部分領域間境界での反力を計算する際の主要処理は、部分領域毎の有限要素法(Finite Element Method,FEM)計算(DomainFEM)である。DomainFEM では、部分領域毎に、一辺の長さがインターフェース自由度の対称密行列(ローカル Schur 補元行列)と、長さがインターフェ
ース自由度のベクトル(インターフェース自由度ベクトル)との積(MatVec_product)が行われる。各部分
領域のインターフェース自由度とは、各部分領域における、隣接部分領域との境界面上の節点の自由度の総数のことである。節点当たりの自由度は変位のみの 3 である。ここで、ローカル Schur 補元行列とインターフェース自由度ベクトルの両方とも、倍精度型で保持されており、この二つを掛け合わせる
MatVec_product に関する演算も倍精度で行われる。DomainFEM におけるプロセス並列化は、各プロセスに同数の部分領域を割り当てることにより行われるものであり、MatVec_product のソースプログラム自体はプロセス並列化されていない。つまり、各プロセスにおいては、そのプロセスに割り当てられた部
分領域の個数回 MatVec_product が実行される。DomainFEM の結果から、部分領域間境界上の反力の釣り合いを評価するために、隣接する部分領域との間で境界面上の節点データ(倍精度型)を交換するための隣接部分領域間境界面通信(Exchange：mpi isend&mpi irecv)と、2 つの作業変数(倍精度型)に関する総
和計算用縮約通信(Allreduce)が行われる。さらに、反力の合計が十分にゼロに近づいたか否かの判定を行うためと、反力の合計から部分領域間境界面上の仮の強制変位を更新するためのそれぞれにおいて、1 つの作業変数(倍精度型)に関する総和計算用縮約通信(Allreduce)が行われる。
BDD-diag 前処理の後半部であるコースグリッド修正では、残差計算とコースソルバー求解が行われる。
コースグリッド修正における残差計算の主要処理は、DomainFEM と同様に、部分領域毎に、一辺の長さがインターフェース自由度の倍精度型対称密行列と、長さがインターフェース自由度の倍精度型ベクト
ルとの倍精度型積(MatVec_product)を行うことと、隣接する部分領域との間で境界面上の節点データ(倍精度型)を交換するための隣接部分領域間境界面通信(Exchange)を行うことである。
コースグリッド修正におけるコースソルバー求解では、一辺の長さがコース問題の自由度(=解析対象全体の部分領域の個数×6(=変位 3+回転 3))の疎行列(コース行列)と、その逆行列を、BDD 反復に入る前に予め生成しておき、BDD 反復中において、その逆行列を、CG 法の反復ベクトルをコースグリッドにマップ(疎視化)させたベクトル(コース自由度ベクトル)に掛ける方法(逆行列アプローチ)が採用されている。そのため、BDD 反復中のコースグリッド修正におけるコースソルバー求解の主要処理は、逆行列とコース自由度ベクトルの、密行列ベクトル積(CoarseMatVec)である。ここで、コース自由度ベクトルは倍精度型であるが、逆行列は倍々精度形式で保持されており、この二つを掛け合わせる演算である
CoarseMatVec も倍々精度形式で行われる。CoarseMatVec におけるプロセス並列化は、各プロセスに逆行列の行を同数割り当てることにより行われる。つまり、各プロセスにおいて、長さがコース問題の自由度の倍々精度形式ベクトルと、同じ長さの倍精度型ベクトルの、倍々精度形式内積が、そのプロセスに割り当てられた逆行列の行数回実行される。この際、全てのプロセスがコース自由度ベクトル(倍精度 型 )の全 体を 保持 して いる 必要が ある ため 、コー ス自 由度 ベク トル 集約通 信 (Allgather)が 、CoaseMatVec の 直 前に 行 わ れる 。 ま た、 CoarseMatVec の 結 果 得 られ る 倍 々精 度 型 ベク ト ル は、CoarseMatVec の後、直ちに倍精度型に変換されるため、ADVENTURE で倍々精度形式の変数及び演算が取り扱われるのは、CoarseMatVec に関してのみである。
コースグリッド修正の後には、コースグリッド修正の結果(倍精度型)を、部分領域間境界上の節点の変異(倍精度型)に反映させるために、隣接部分領域間境界面通信(Exchange)が行われる。

別添3－1

351

3.9. 重点課題 6 ADVENTURE のコデザイン

第 3. アプリケーション

3.9.1.2 コデザインの方針
ADVENTURE の実行時間の見積もりに際しては、ADVENTURE の主要処理は、時間ステップ反復内かつ BDD
反復内の処理であるとし、それに掛かる時間を、ADVENTURE の実行時間とする。BDD 反復内を、以下の通り、8 つの演算区間と 3 つの通信区間に分け、それぞれの区間の実行時間を見積もり、それらを合計することで、ADVENTURE の実行時間を見積もる。












DomainFEM：
CoarseMatVec：
CollectRhs.P3：
QuadMatVec.P1：
Exec.BalancingL：
Exch.Buﬀering：
DomainFem.P1：
Calc._Others：
Exchange：
Allreduce：
Allgather：

倍精度型演算倍々精度型演算
倍精度型演算倍精度型演算倍精度型演算倍精度型演算倍精度型演算倍精度型演算倍精度型通信
倍精度型通信
倍精度型通信

対称密行列ベクトル積(2 回/BDD 反復)
倍々精度形式の密行列ベクトル積(1 回/BDD 反復)コース自由度ベクトルの並べ替え(1 回/BDD 反復)コース自由度ベクトルの倍々精度形式化(1 回/BDD 反復)
反復ベクトルの疎視化変換と逆変換(1 回/BDD 反復）
Exchange 通信用バッファリングと重ね合わせ演算(3 回/BDD 反復)
反復ベクトルの並べ替え(2 回/BDD 反復)
反復ベクトルの内積演算(4 回/BDD 反復)
隣接部分領域間境界面通信(mpi isend&mpi recv)(3 回/BDD 反復)
総和計算用縮約通信(4 回/BDD 反復)コース自由度ベクトル集約通信(1 回/BDD 反復)

ADVENTURE の BDD 反復内において、負荷の重い処理は、密行列ベクトル積(DomainFEM、CoarseMatVec)と、メッセージ長の短い集約通信(Allgather)であり、その観点からコデザインに寄与する。
3.9.1.3 ポスト京性能推定用想定問題
ひとつの部分領域は立方体であり、256×256=65536 個の部分問題が平面的に並んでいる薄板状の領域を解析対象の系とし、この非線形応答問題を、ポスト京における ADVENTURE の実行時間を見積もる際の想定問題とする。想定問題 1 ケース当たり 1 万回の時間ステップ反復が行われ、1 時間ステップ反復当たり 500 回の BDD 反復が行われるものとする。つまり、想定問題 1 ケース当たり 500 万回の BDD 反復が行われるものとする。
この想定問題を 100 ケース処理するのに要する時間を ADVENTURE の実行時間として、ポスト京における ADVENTUREの実行時間を見積もる。ポスト京においては、想定問題 1 ケースは、4096 ノード上の 16384
プロセスにより、処理されるものする。そのため、1 プロセス当たり 4 個の部分領域を担当することとなる。
ひとつの部分領域の一辺は、三次元ソリッド四面体二次要素(要素辺毎に中間節点があり合計 10 節点)により 10 要素分割されており、ひとつの部分領域の一辺当たりの節点数は、(10×2+1)=21 と計算される。ここで、複数の部分領域が平面的に並んでいる系においては、その系の平面に沿う方向の一辺当たりの節点数を、その辺の方向に並んだ部分領域の数×21 とは計算できないことに注意する必要がある。
部分領域間境界上の節点のダブルカウントを避ける必要がある。2 つの部分領域が横並びに並んでいる
場合には、その横方向の一辺当たりの節点数は、(2×10×2+1)=41 と計算される。このことを踏まえると、
解析対象の系の総節点数は、(256×10×2+1)2×(1×10×2+1)=550717461 と計算される。節点あたりの自由
度数は変位のみの 3 であり、解析対象の系の総自由度数は、総節点数の 3 倍の、約 16.5 億となる。
各部分領域のインターフェース自由度とは、各部分領域における隣接部分領域との境界面上の節点の自由度の総数のことであり、今解析対象としている系においては、(21×21−19×19)×21×3=5040 と計算される。ここで、全ての部分領域は平面的に並んでおり、上下に隣接する部分領域は無く、各部分領域
における隣接部分領域との境界面の数は 4 であることが前提となっていることを留意する必要がある。
節点あたりの自由度は変位のみの 3 である。
コース問題の自由度は、部分領域当たり 1 節点で各部分領域を代表させていることと、この場合の 1
節点当たりの自由度は変位 3+回転 3 の合計 6 であることより、部分領域の数の 6 倍であり、65536×6=393216 と計算される。
3.9.2 DomainFEM 区間の主要ルーチン MatVec_Product の高速化
演算区間 DomainFEM を切り出した 1 プロセスのカーネルプログラムでは、一辺の長さが 5040 の倍精度対称密行列と長さが 5040 の倍精度ベクトルの倍精度の積(MatVec_product)が、複数回行われる。
このカーネルプログラムでは、対称行列の下三角部のみを保持し、上三角部として使う際は、転置して使用する最適化が採用されている。データ構造は、下三角行列を 6 行 6 列のブロックに分割した、ブ
ロック単位の行優先形式となっている。各 6 行 6 列のブロック内のデータ構造も、行優先形式である。
別添3－2

352

第 3. アプリケーション
3.9. 重点課題 6 ADVENTURE のコデザイン
ループ構成は、外側からブロック単位の行のループ、次にブロック単位の列のループとなっている。そのため、下三角行列の先頭から順に、ブロック単位の行のループの回転が後になるに従って、1 行あたりの計算負荷量が大きくなる。この 2 重ループの内側では、6 行 6 列のブロックについての処理が行われることとなる。
このカーネルプログラムは、6 行 6 列のブロック単位の処理を繰り返すものであり、オリジナルのソースプログラムでは、6 行 6 列のブロックについての処理がフルアンロールされていたため、ブロック
単位の列のループが、コンパイラによる SIMD 化軸となっていた。つまり、SIMD 化軸が、6 行 6 列のブロックをまたぐ方向となっていた。このため、フルアンロールと相まって、データアクセスの連続性が途切れがちである。そのため、ハードウェアプリフェッチが失敗しやすく、そのことが、オリジナルのソースプログラムでは、性能劣化要因となっていた。
そこで、ビルトインプリフェッチ関数(__builtin_fj_prefetch(&array[i][j][0][0]+1024,0,1,1)等）
によるソフトウェアプリフェッチ命令の発行により、性能を改善した。
オリジナルのソースプログラムでは、スレッド並列化が、ブロック単位の行のループにおいて、チャンクサイズ 1 の動的スケジューリングにて行われており、チャンクサイズが 1 と小さいことによるメモ
リアクセスの連続性の低さと、動的スケジューリングに係るオーバーヘッドの大きさが懸念されていた。
そこで、ブロック単位の行のループのスケジュール方式が、チャンクサイズ 12 の降順折り返しサイクリック方式の静的スケジューリングとなるように、ソースプログラムの改変を行い、性能を改善した。
オリジナルのソースプログラムでは、6 行 6 列のブロックについての処理がフルアンロールされていたため、ブロック単位の列のループが、コンパイラによる SIMD 化軸となっていた。つまり、SIMD 化軸が、6 行 6 列のブロックをまたぐ方向となっていた。このとき、ストライドが 6×6=36 のアクセスのため、間接 SIMD アクセスとなる。この場合、SIMD 長の範囲で複数のキャッシュラインのデータが必要となり、L1D キャッシュのビジー率が高くなっていた。また、間接 SIMD アクセスのためのアドレス計算命令が多く出ており、命令数増加の要因となっていた。そこで、6 行 6 列のブロックについての処理の列
ループ(最内ループ)をリロールし、それを SIMD 化軸とすることにより、SIMD アクセスを連続化し、L1D
キャッシュのビジー率を低下させた。このことにより、フルアンロールされていた演算の大部分が SIMD
命令の中に閉じ込められるため、必要レジスタ数を大幅に減らす効果も期待できる。ただし、ここでの列のループの長さは 6 と、FX100 の SIMD 長の 4 でも、ポスト京で想定されている SIMD 長の 8 でも割り切れない。そのため、最適化指示行(simd_redundant_vl)を指定することにより、マスク付き SIMD 命令を利用することで、端数部分を含めて SIMD 処理させた。
6 行 6 列のブロックについての処理の列ループ(最内ループ)をリロールし、それを SIMD 化軸とすると、長さ 6 のベクトルの内積計算を SIMD 処理することとなり、SIMD 要素間縮約の SIMD 処理(SIMD 内縮約)が発生することとなる。この SIMD 内縮約は、通常処理と比べてより多くの命令を必要とする。そこ
で、内積計算中の掛け算の結果を作業配列に足し込むように、ソースプログラムを変更することによって、縮約を SIMD 要素間ではなく SIMD 命令間で行うようにし、命令数の増加を抑制した。
最内ループの回転数が SIMD 長で割り切れないにも関わらず、最適化指示行(simd_redundant_vl)を指定することにより、マスク付き SIMD 命令を利用することで、端数部分を含めて SIMD 処理するようにしたところ、このマスクされている部分は、実メモリアクセスの際に、作業配列宣言の 2 次元目が 1 だけ
後の部分とオーバーラップしており、ロードとマスクされたオーバーラップ域を含むストアとの間で、ロードがストアを追い越さず、逐次化動作となる(Store-Fetch-Interlock,SFI)。プログラムの論理的な動きとしては追い越しても問題は無いが、ハードウェアの動きとして、安全を見た逐次化動作となっており、一般的に用いられている方法でもある。その結果、パイプライン動作が崩れ、性能が低下する。
そこで、作業配列の 1 次元目に SIMD 幅を考慮したマージンを追加して、SIMD ロード・ストア間のオー
バーラップ検出を回避することで性能劣化を回避する。
上述のソースプログラムの改良により、DomainFEM を切り出した 1 プロセスのカーネルプログラムを、
FX100 の 12 コアを使用して実行した際の、MatVec_product の 1 回当たりの実行時間は、1.902×10-3 秒から 1.091×10-3 秒に短縮された。
現状のコンパイラのオブジェクトでは最内ループ内で毎回ロード・ストアが行われるが、この領域はSIMD 幅未満であり、外側ループの回転に対して不変である。そのため、レジスタ上に維持したままとすることで処理が可能であり、ロード・ストア命令を削減し、L1 キャッシュの負荷を軽減することができる。ポスト京性能シミュレーションでは、コンパイラによるこのような最適化を想定して、組込み関数(ACLE)を用いて記述したコードを暫定的に用いた。
3.9.3 コースグリッド修正区間の主要ルーチン CoarseMatVec の高速化

別添3－3

353

3.9. 重点課題 6 ADVENTURE のコデザイン

第 3. アプリケーション
演算区間 CoarseMatVec を切り出した 1 プロセスのカーネルプログラムでは、24 行 393216 列の倍々精度形式行列と、長さ 393216 の倍精度型ベクトルの、倍々精度形式の積が、繰り返し多数回行われる。
ここで、1 つの倍々精度形式数は、2 つの倍精度型数で表現されており、この 2 つの倍精度型数のうちの 1 つは倍精度型数そのものであり、もう 1 つは精度拡張用の値を保持している。
オリジナルのソースプログラムでは、倍々精度形式の行列と倍々精度形式のベクトルの倍々精度形式
積を計算する関数を使用していた。行列のデータ構造は、行優先形式で、ループ構成は、外側から行列の行のループ、次に行列の列のループとなっていた。この 2 重ループの内側では、2 つの倍々精度形式
数の倍々精度形式乗算と、その結果の総和計算用作業変数への倍々精度形式足し込みが、逐次的に行われていたため、最内ループである行列の列のループが SIMD 化されていなかった。行列の列のループを
スレッド数に等分割し、それぞれを各スレッドに割り当てるスレッド並列化が行われていたために、各スレッドにおける処理が終わった後に、スレッド毎の総和計算用作業変数の、倍々精度形式総和を計算する必要があった。さらに、行列の列の長さが 393216=217×3 と冪指数が大きな 2 の冪乗の倍数である状
況下で、行列の行のループが 3 段にアンロールされていたため、L1D キャッシュにおいてキャッシュラ
イン競合が発生しやすい状況となっていた。さらに、本来倍精度型であるベクトルを倍々精度形式化した上で行列との積を計算していたために、データストリーム数が 1 つ増え、キャッシュライン競合がより発生しやすい状況となっていた。
そこで、プログラム構造を見直すことにより、本演算カーネルプログラムの性能を改善した。まず、最外の行列の行のループのアンロールを止めることにより、L1D キャッシュにおけるキャッシュライン
競合が発生しやすい状況を緩和した。行列の行のループをスレッド並列化ループとすることにより、ス
レッド毎の総和計算用作業変数の倍々精度形式総和を、後で計算する必要をなくした。行列の行のルー
プの内側において、倍々精度形式ベクトルと倍精度型ベクトルの倍々精度形式内積を行うサブルーチンを呼び出すこととすることにより、本来必要のなかった倍精度ベクトルの倍々精度形式拡張を止め、データストリーム数を 1 つ削減し、キャッシュライン競合が起こりやすい状況を緩和した。倍々精度形式
ベクトルと倍精度ベクトルの倍々精度形式内積に係る処理を、SIMD 演算器を活用して行うために、そのサブルーチンの内部を、乗算部と総和部に二分した。
乗算部では、倍々精度形式ベクトルと倍精度型ベクトルのそれぞれの要素番号を同一とする要素同士の倍々精度形式乗算のみが行われ、その結果は倍々精度形式の総和計算用作業配列に格納される。この乗算部における処理は、SIMD 処理が可能である。
総和部では、この倍々精度形式の総和計算用作業配列の全ての要素の倍々精度形式総和が、前半後半
二分割ベクトル和繰り返し方式により計算される。ここで、前半後半二分割ベクトル和繰り返し方式とは、SIMD 演算機を活かしたベクトルの要素の総和を計算する方法のうちの一つである。一つの要素数 2Nのベクトルの総和を計算する際に、前半の要素番号 1 から N までと、後半の要素番号 N+1 から 2N までの、それぞれを独立した一つのベクトルとして見なし、この二つのベクトルの和を計算する。この二つのベクトルの和の計算は、SIMD 処理可能である。そして結果として、要素数 N のベクトルが一つ得られる。続けて、この一つの要素数が N のベクトルの、前半の要素番号 1 から N/2 までと、後半の要素番号
N/2+1 から N までの、それぞれを独立した一つのベクトルとして見なし、この二つのベクトルの和を計算する。この二つのベクトルの和の計算も、SIMD 処理可能である。そして結果として、要素数が N/2 のベクトルが一つ得られる。以上の処理を、ベクトルの要素数が 1 になるまで繰り返す。これが、前半後半二分割ベクトル和繰り返し方式と呼ばれる、SIMD 演算機を活かしたベクトルの要素の総和を計算する方法である。ただし、Fortran2008 規格で新たに定義された「do concurrent」文を使用せず、「do」文
等の通常のループ文を使用してプログラムを書くとすると、総和部を SIMD 処理可能とするためには、
言語仕様に従ってソースプログラムの記述をする限りは、倍々精度形式の総和計算用作業配列を 2 つ用意することが必要となり、ロードに関してデータ量とデータストリーム数の両方を増大させることとなるという弱点もあった。ポスト京では Fortran2008 規格に準拠するため、「do concurrent」文を採用することにより、言語仕様に従ってソースプログラムを記述する場合でも、倍々精度形式の総和計算用配列を２つ用意する必要をなくした。そして、倍々精度形式の総和計算用配列を 1 つのみ使用するソース
プログラムに書き換えることで、ロードされるデータ量とデータストリーム数の両方を削減し、実行時間を削減した。さらに、総和計算用の倍々精度形式の作業配列をキャッシュ内に収めるために、乗算部と総和部の両方を含む内積計算部全体に、ストリップマインニング最適化を適用した。さらに、CoarseMatVec を切り出した 1 プロセスのカーネルプログラムを、FX100 の 12 コアを使用して実行する場
合に、その実行時間が最小となるストリップ長の探索調査も行った。
上述のソースプログラムの改良により、CoarseMatVec を切り出した 1 プロセスのカーネルプログラム
を、FX100 の 12 コアを使用して実行した際の、CoarseMatVec1 回当たりの実行時間は、22.31×10-3 秒から 2.41×10-3 秒に短縮された。詳細設計(3)における、ポスト京性能推定には、この改良版のソースプロ
別添3－4

354

第 3. アプリケーション
3.9. 重点課題 6 ADVENTURE のコデザイン
グラムを使用している。
詳細設計(3)では、CoarseMatVec のソースプログラムのさらなる改良も行った。具体的には、上記では、倍々精度形式ベクトルと倍精度ベクトルの倍々精度形式内積に係る処理を、乗算部と総和部に二分していたが、それを止め、次のような処理を行うこととした。先ず、内積を計算しようとする倍々精度
形式ベクトルと倍精度型ベクトルのそれぞれの最初の B 個の要素について、要素番号を同一とする要素
同士の倍々精度形式積を計算し、その結果を、長さ B の総和計算用倍々精度形式作業配列に代入する。
次に、今内積を計算しようとしている二つのベクトルのそれぞれの次の B 個の要素について、要素番号を同一とする要素同士の倍々精度形式積を計算し、その結果を先程の長さ B の総和計算用倍々精度形式
作業配列に対して倍々精度形式足し込みを行う。その後も、同様に、内積を取ろうとしている二つのベ
クトルについて、要素番号を同一とするベクトル要素同士の積の結果を総和計算用作業配列に足し込むということを、要素数 B 毎に、内積を計算しようとしている二つのベクトルの終端に到るまで、繰り返す。最後に、長さが B の総和計算用倍々精度形式作業配列の全要素の倍々精度形式総和を、前述の前半
後半 2 分割ベクトル和繰り返し方式により求めることで、倍々精度倍精度形式ベクトルと倍精度ベクトルの倍々精度形式内積を計算することとした。詳細設計(3)の時点で B の大きさは、暫定的に 896 とした。
詳細設計(3)による、CoarseMatVec のソースプログラムの改良の結果、CoarseMatVec を切り出した 1プロセスのカーネルプログラムを、FX100 の 12 コアを使用して実行した際の、CoarseMatVec1 回あたりの実行時間は、1.95×10-3 秒まで短縮された。
3.9.4 コデザインによるシステムへの実装要請項目
短メッセージ・ノード内複数プロセス時の MPI_Allgather の高速化
ポスト京性能推定では、コース自由度ベクトル集約通信(Allgather)に要する時間が、主要演算区間の一つである CoarseMatVec の実行時間に匹敵することとなっており、1BDD 反復当たりの実行時間の 15%近くを占めることとなっている。そのため、コース自由度ベクトル集約通信(Allgather)にかかる時間の短縮も求められる。コース自由度ベクトル集約通信(Allgather)では、1 プロセス当たりの送出バイト数が192 バイトと小さい 16364 プロセスの集約通信(mpi allgather)が、1BDD 反復当たり 1 回行われる。さらに、ポスト京では、1 ノード内に 4 つの CMG が搭載されており、ADVENTURE の実行時間の見積に際しては、1 プロセス当たり 1CMG の実行を想定されているため、1 ノード内に 4 つのプロセスが存在することとなる。そのため、短メッセージ・ノード内複数プロセス時の mpi allgather 通信に要する時間の短縮が、システム側への実装要請として挙げられる。

実装要請課題

表 3.47: システムへの実装要請一覧表(ADVENTURE)
対応

短メッセージ・ノード内複数プロセス時の改良版 Gtbc アルゴリズムにより性能改善(採用)MPI_Allgather の高速化

3.9.5 ポスト京向け性能推定
ポスト京向け性能推定は第 4 章 4.1 節に説明される手順により実施した。評価対象区間の具体的な分
析内容および性能向上を目的とするチューニングの内容については 4.6 節に詳細を記す。
3.9.5.1 京ベースライン測定
BDD 反復内の 8 つの演算区間のそれぞれと 3 つの通信区間のそれぞれの、想定問題 1 ケースを京の32768 ノード上の 32768 プロセスにより処理した場合の、京での実行時間を測定し(表 3.48)、それら 11個の測定値の合計値を、ADVENTURE の実行時間の京での測定値(京ベースライン測定値)とし、ポスト京の対京性能向上比を計算する際に使用した。

別添3－5

355

3.9. 重点課題 6 ADVENTURE のコデザイン

第 3. アプリケーション

表 3.48: 京の 32768 ノード（32768 プロセス）での実行時間
処理区間名

DomainFEM

1BDD 反復当たりの実行時間
8.36972 ミリ秒

CoarseMatVec

17.84025 ミリ秒

CollectRhs.P3

0.26833 ミリ秒

QuadMatVec.P1

1.04247 ミリ秒

Exec.BlancingL

0.76123 ミリ秒

Exch.Buﬀering

0.52835 ミリ秒

DomainFem.P1

0.31601 ミリ秒

Calc._Others

0.24571 ミリ秒

Exchange

0.27125 ミリ秒
0.20164 ミリ秒

Allreduce

3.84919 ミリ秒

Allgather
合計

33.69414 ミリ秒

この京ベースライン測定値(1BDD 反復当たり 33.69414 ミリ秒)は、ADVENTURE の開発元が、フラッグシップ 2020 プロジェクトの開始以前に、想定問題 1 ケースを京の 32768 ノード上の 32768 プロセスにより処理した際の、1BDD 反復当たり 33 ミリ秒(プレゼンテーション資料「領域分割法ソルバーの性能
ベン チマーク」(河合ほか))と概ね一致している。
京ベースライン測定では、想定問題 1 ケースを、京の 32768 プロセス(32768 ノード)により処理することを想定しているため、1 プロセス当たり 2 個の部分領域を担当することとなっている。一方、ポスト
京性能推定では、想定問題 1 ケースを、ポスト京の 16384 プロセス(4096 ノード)により処理することを想定しているため、1 プロセス当たり 4 個の部分領域を担当することとなる。そのため、京ベースライ
ン測定における 1 プロセスあたりの演算量は、ポスト京性能推定における 1 プロセスあたりの演算量の半分となっている。
3.9.5.2 ポスト京性能推定
BDD 反復内の 8 つの演算区間のそれぞれと 3 つの通信区間のそれぞれの、想定問題 1 ケースをポスト
京の 4096 ノード上の 16384 プロセスにより処理した場合の、ポスト京での実行時間を推定し(表 3.49)、
それら 11 個の測定値の合計値を、ポスト京での ADVENTURE の実行時間の推定値とし、ポスト京の対京性
能向上比を計算する際に使用した。なお、性能推定ツールの結果は推定値であり、ポスト京供用開始時の性能を保証するものではない。また、試作機の結果はポスト京供用開始時の性能を保証するものではない。演算区間のポスト京性能推定に際しては、DomainFEM と CoarseMatVec については、3.9.2 節と3.9.3 節に記述した高速化チューニングを行ったソースプログラムを用いたが、その他の演算区間については、ADVENTURE の開発元から提供されたオリジナルのソースプログラムを用いた。演算区間のうち、スレッド並列化されている区間である、DomainFEM、CoarseMatVec、CollectRhs.P3、QuadMatVec.P1 のそれぞれについては、各演算区間の FX100(12 スレッド/CMG の制限付)上での詳細プロファイラ情報を基に、性能推定ツールを使用することにより、ポスト京での実行時間を推定した。演算区間でも、スレッド並列化されていない区間である、Exec.BlancingL、Exch.Buﬀering、DomainFem.P1、Calc._Others のそれぞれについては、各演算区間の FX100(12 スレッド/CMG の制限付)上での実行時間を、CPU 周波数の比を用いて換算することにより、ポスト京での実行時間を推定した。また、演算区間 DomainFEM と演算
区間 CoarseMatVec については、ポスト京 CPU 性能シミュレータによる性能推定も行った。
通信区間 Exchange は、演算区間 DomainFEM の結果から部分領域間境界上の反力の釣り合いを評価するために、隣接部分領域との間で境界面上の節点データを交換するためのものである。複数の部分領域
が平面的に並んでいる系において、各部分領域が節点データ(倍精度型)を交換する相手となる部分領域の数は、面的に接する(面を共有する)前後左右方向の 4 個と、線的に接する(辺を共有する)斜め方向の4 個の、合計 8 個である。想定問題 1 ケースを、ポスト京の 16384 プロセス(4096 ノード)で実行することにしたことにより、演算区間 DomainFEM では、1 プロセス当たり 4 個の部分領域を担当することとなる。そして、この 4 個の部分領域は前後左右に面的に隣接した 2×2 の配置で平面的並んでおり、ひとつ

別添3－6

356

第 3. アプリケーション
3.9. 重点課題 6 ADVENTURE のコデザインの部分領域塊を形成している。この 4 個の部分領域間にプロセス間通信は発生しない。また、ポスト京では 1 計算ノード当たりに 4 プロセスが割り当てられ、各プロセスが担当する部分領域塊は、前後方向に互いに面 的に接して 1 列に並んでいるものとする。これらの条件の下で、通信区間 Exchange における、プロセス間の通信量を見積もった。4 個の部分領域が 2×2 の配置で平面的に並んでいる部分領域塊の、平面に沿う方向の一辺当たりの節点数は、(2×10×2+1)=41 と計算される。一方、その平面に垂直な
上下方向の一辺当たりの節点数は、ひとつの部分領域の一辺当たりの節点数そのものの 21 である。節点当たりの自由度数は 3 であり、節点データは倍精度型(8 バイト)で保存されている。これらより、通信区間 Exchange は 1 回の実行につき、各プロセスは、前後左右方向に面的に接する 4 つのプロセスとの間で 20664 バイト(=41 節点×21 節点×3 自由度×8 バイト)のデータ交換(mpi isend&mpi irecv)を行い、さらに、斜め 4 方向に線的に接する 4 つのプロセスとの間で 504 バイト(=21 節点×3 自由度×8 バイト)のデータ交換を行うこととなる。ここで、各計算ノードは、隣接する方向が 180 度異なる 2 つの計算ノー
ドとのみ、同時にデータ交換を行うことができ、さらにその際、1 方向につき 1 組のプロセス間通信のみが一度に実行可能であるものともする。以上より、ポスト京で通信区間 Exchange を 1 回実行するのに掛る時間の見積もり式は、以下のようになり、71.734×10-6 秒と見積もられる。この際、ポスト京でのノード間通信スループットの実効値としては、ポスト京のノード間通信スループットの理論値 6.8×109 バ
イト/秒の 80%の値を使用した。通信レイテンシとしては、4.0×10-6 秒を使用した。

この通信区間 Exchange は、1BDD 反復当たり 3 回実行される。つまり。通信区間 Exchange に掛る 1BDD
反復当たりのポスト京での実行時間の見積もり値は、0.21520×10−3 秒となる。
通信区間 Allreduce では、想定問題 1 ケースを、ポスト京の 16384 プロセス(4096 ノード)で実行することにしたことにより、1 プロセス当たりの送出バイト数が 16 バイト(=2 要素×8 バイト)の 16384 プロ
セスの縮約通信(mpi allreduce)が、1BDD 反復当たり 1 回と、1 プロセス当たりの送出バイト数が 8 バイ
ト(=1 要素×8 バイト)の 16384 プロセスの縮約通信(mpi allreduce)が、1BDD 反復当たり 2 回行われることとなるが、ポスト京での実行時間の見積もりに際しては、簡単化のために、1 プロセス当たりの送出
バイト数が 8 バイト(=1 要素×8 バイト)の 16384 プロセス(4096 ノード、4 プロセス/1 ノード)の縮約通信(mpi allreduce)が、1BDD 反復当たり 4 回行われることとなるものとした。16384 プロセス(4096 ノード、4 プロセス/1 ノード)の 1 要素(8 バイト)の縮約通信(mpi allreduce)に、ポスト京にて要する時間
は、富士通により 11.1×10-6 秒と見積もられているため、それを単純に 4 倍することにより、通信区間
Allreduce の実行に掛る 1BDD 反復当たりのポスト京での実行時間は、0.04440×10-3 秒と見積もられた。
通信区間 Allgathr は、各プロセスがそれぞれ互いに重なりなく、コース自由度ベクトルを保持している状態から、全プロセスがそれぞれ、コース自由度ベクトルの全体を保持するようにするために行われるものである。コース問題では、各部分領域を 1 部分領域当たり 1 節点で代表させており、この場合の 1 節点当たりの自由度は変位 3+回転 3 の合計 6 である。想定問題 1 ケースを、ポスト京の 16384 プロ
セス(4096 ノード、4 プロセス/1 ノード)で実行することにしたことにより、1 プロセス当たりの送出バ
イト数が 192 バイト(=4 部分領域×6 自由度×8 バイト)の 16384 プロセス(4096 ノード、4 プロセス/1 ノード)の集約通信(mpi allgather)が、1BDD 反復当たり 1 回行われることとなった。通信区間 Allgatherのポスト京での実行時間は、同種(1 プロセス当たりの送出バイト数が 192 バイトの 16384 プロセス(4096
ノード、4 プロセス/1 ノード))の集約通信(mpi allgather)の京での実行時間を、通信スループットの理論値(京では 5.0×109 バイト/秒、ポスト京では 6.8×109 バイト/秒)の対京向上比(1.36)で割ることにより求 めることとした。1 プロセス当たりの送出バイト数が 192 バイトの 16384 プロセス(4096 ノード、
4 プロセス/1 ノード)の集約通信(mpi allgather)の京での実行時間の測定値は、2.240763×10-3 秒だった。その 2.240763×10-3 秒を 1.36 分の 1 することにより、通信区間 Allgather に掛る 1BDD 反復当たりのポスト京での実行時間を、1.64762×10-3 秒と見積もった。

別添3－7

357

3.9. 重点課題 6 ADVENTURE のコデザイン

処理区間名
DomainFEM

第 3. アプリケーション

表 3.49: ポスト京の 4096 ノード(16384 プロセス)での実行時間(通常モード、エコモード無効)
1BDD 反復当たりの実行時間

CoarseMatVec
CollectRhs.P3

QuadMatVec.P1

Exec.BalancingL
Exch.Buﬀering

DomainFem.P1
Calc._Others
Exchange

Allreduce
Allgather合計

3.9.6 性能推定ツールによる評価結果

5.04982 ミリ秒

推定手法

試作機 CPU1.70331 ミリ秒

性能推定ツール

1.67776 ミリ秒

FX100 時間 CPU 周波数換算

0.64285 ミリ秒

FX100 時間 CPU 周波数換算

0.08187 ミリ秒
0.26126 ミリ秒
1.02033 ミリ秒
0.32115 ミリ秒
0.21520 ミリ秒
0.04440 ミリ秒
1.64762 ミリ秒

試作機 CPU

性能推定ツール
FX100 時間 CPU 周波数換算
FX100 時間 CPU 周波数換算
机上見積式
机上見積式

京時間通信バンド幅換算

12.07675 ミリ秒

ポスト京における本アプリの性能は京の 35 倍以上と推定している。なお、性能推定ツールの結果は推定値であり、ポスト京供用開始時の性能を保証するものではない。また、試作機の結果はポスト京供用開始時の性能を保証するものではない。
3.9.7

免責事項

評価で使用したコンパイラ等のソフトウェアは開発中のものであり、ポスト京供用開始時の性能と異なる可能性がある。また、性能推定ツールの結果は推定値であり、ポスト京供用開始時の性能を保証するものではない。また、試作機の結果はポスト京供用開始時の性能を保証するものではない。

別添3－8358