8th Symposium

学際大規模情報基盤共同利用・共同研究拠点 公募型共同研究 平成２８年度採択課題

jh160022-NAHC

課題代表者：山本 肇 (大成建設株式会社)

ポストペタスケールシステムを目指した二酸化炭素地中貯留
シミュレーション技術の研究開発
１ 研究目的
地球温暖化対策の一つとして，火力発電所などから排出される二酸化炭素ガスを，地下深部の地層中に圧入するという二酸化炭素（CO2）の地中貯留が国内外で認知されつつある。その実用化にあたっては，社会的受容の観点からも，圧入後の二酸化炭素の地中挙動を正確にシミュレートする技術の確立が重要な課題となる。提案者等は米国ローレンスバークレイ国立研究所で開発された有限体積法に基づくオープンソース多相流体シミュレー
タ「TOUGH2-MP」を元に物理モデルの追加，疎行列ソルバーの改良を実施し，地球シミュレータ，T2K東大，東大FX10を使用して最大１千万メッシュ規模の大規模非定常シミュレーションを実施してきた。改良版「TOUGH2-MP」はFlat MPIによる並列化，METIS（1CPU版）による領域分割を使用しており，大規模システムを活用したシミュレーションには制約があった。本共同研究ではポストペタ／エクサスケールシステム上でより詳細な大規模シミュレーションを実施するために東京大学情報基盤センターを中心に開発された「ppOpen-HPC（自動チューニング機構を有するアプリケーション開発・実行環境，2011～2015年）」を活用した改良版「TOUGH2-MP」の高度化（並列メッシュ生成・領域分割手法，並列反復法による前処理付き疎行列ソルバー，並列リアルタイム可視化手法，自動チューニング），各計算プロセスのハイブリッド並列化（OpenMP/MPI）を実施し，大規模二酸化炭素地中貯留シミュレーション技術の確立を図り，多相流体・化学反応連成による大規模シミュレーションを実施する。更にエクサスケールシステムへ向けて，時空間並列化手法（Parallel-in-Space/Time）の適用を検討する。本研究の成果をppOpen-HPCへ実装することによって更なる高度化を図る。ターゲットとする計算機は東大FX10であるが，Intel Xeon Phi，GPUクラスタも含めた検討を実施する。
２ 研究計画本共同研究は以下の項目について，2年計画で実施する。①各計算プロセスのOpenMP/MPIハイブリッド並列化，②ppOpen-HPCによる高度化（並列前処理付き反復法による疎行列ソルバー，並列リアルタイム可視化手法，並列メッシュ生成・領域分割手法），③自動チューニング，④時空間並列アルゴリズム（Parallel-in-Space/Time，PiST），⑤メニィコアクラスタ向け検討，⑥ppOpen-HPC改良，最適化。
改良版「TOUGH2-MP」は既にMPIによって並列化されており，ハイブリッド並列化にも一部着手済みである。①では疎行列ソルバー以外の要素積分，係数行列生成，保存量計算，非線形処理などの諸機能をOpenMPによって並列化する。②はppOpen-HPCで既に開発された機能をハイブリッド並列化された改良版「TOUGH2-MP」向けに改良した上で適用する。前処理付き反復法については，TOUGH2-MPの多相流体シミュレータとしての特性を生かしてブロック化による最適化を実施するとともに，前処理手法としては，ILU系の他に多重格子法を含む安定で高性能な前処理手法の適用を検討する。
③は主として①で整備した機能についてppOpen-HPCの自動チューニング機能であるppOpen-ATを適用するとともにppOpen-ATの改良，高度化を実施する。従来，有限要素法，有限体積法によるシミュレーションは空間方向への並列化が実施されてきたが，ポストペタ／エクサスケールシステムを有効に活用するためには，時間方向の並列化の検討も必要である。本研究では④で非定常多相流問題向けの時空間並列アルゴリズムの検討を実施する。
⑤ではIntel Xeon Phi，GPU向けの検討を実施する。更に⑥では本研究の成果のppOpen-HPCへの実装，改良を実施する。1年目は①，②，③を重点的に実施し，2年目は大規模シミュレーションによる検証，⑥を実施する。④，⑤については1年目は基本的な検討，機能を絞った実装・評価を実施し，2年目はより大規模なシミュレーションに対する適用を行う。東大情報基盤センターで実施している公募型研究「大規模HPCチャレンジ」に応募し， Fujitsu
FX10 4,000ノード以上を使用して諸機能の検証を実施する。多相流体に加えて100程度の化学種による化学反応を連成させ，従来の数十倍以上の自由度を有する規模の問題を対象とする予定である。
PermeabiltyPorosity
φtc (s)λc (m)
大きいほど対流が生じやすいk(md)
レイリー数
超臨界CO2
圧入井0.1

遮蔽層（低浸透性）

対流の開始時間

超臨界CO20.2

地下水

重い水が軽い水の上に乗る

フィンガーの波長• CO2が溶解した地下水は密度が増加• 拡散層がある厚さに達すると重力対流が起きる• 対流混合は溶解を促進→ 安定性の高い貯留形態へTokyo Bay Model (10 million grid blocks)
1 time steps
10000

5.2 × 108

10.7

100

5.2 × 106

1.1

1000

5.2 × 1040.1

102.1 × 109

21.3

100

2.1 × 107

2.1

1000

2.1 × 1050.2

Viscosity, µ0.5947 × 10-3 (kg m-1 s-1)

Unsaturated brine density, ρ0994 (kg m-3)

Saturated brine density, ρ1004.5 (kg m-3)

CO2 solubility in brine, C049.0 (kg m-3)

Diffusion coefficient, D

2 ×10-9 (m2 s-1)

通常の粗い格子のフィールドスケールシミュレーションでは、対流混合による溶解速度の増加を表現できない。
Injection Well
Pau et al. (2010)

Oakleaf-FX

25m

1000
Calculation Time (sec)10Time = 50 years

dx=1mTime = 100 years

100

10Time = 200 years

界面不安定性を考慮した長期ＣＯ２挙動解析の例（地下水中のCO2溶解量）4)

1
Average time for solving matrix for one
time step

0.1

10100

1000

Time = 1000 years

1)
2)

10000

Number of Processors

Oakleaf-FX上での計算時間（30 million dof) 4)

3)
4)
5)

Yamamoto, H. et al., International Journal of Greenhouse Gas Control, Vol. 3, pp.586-599, 2009.
Audigane, P.D et al., CO2 injection modeling in large scale heterogeneous aquifers, Eos Trans. AGU, 92(51), Fall
Meet. Suppl., Abstract H51H-1302, 2011.
Pruess, K. and K. Zhang, LBNL Technical Report LBNL-1243E, Lawrence Berkeley Nat’l Lab., California, 2008.
Yamamoto, H. et al., Proc. 12th Int. Conf. Greenhouse Gas Control Technologies (GHGT-12), 2014
Yamamoto, H. et al., Lecture Notes in Computer Science Vol. 7851, pp. 80-92, 2013.

学際大規模情報基盤共同利用・共同研究拠点 第８回シンポジウム
2016年 7月 14日，15日

THE GRAND HALL （品川）