2024年 2月2日（金）第35回CCSEワークショップ「原子力計算科学技術を活用したイノベーション創出」

原子力防災に向けた風況デジタルツイン開発

謝辞• 日本原子力研究開発機構 大型計算機利用• 基盤B：GPUスーパーコンピュータを用いた1m解像度リアルタイム風況デジタルツイン• JHPCN2023：都市街区の風況デジタルツインの実現に向けたデータ同化手法および観測システムの開発

研究背景/研究目的

原子力サイト/都市街区内の風況デジタルツイン• 原子力施設周辺の気象・観測データに基づく、汚染物質の拡散監視システム• 都市街区内の熱中症評価や突風予測などスマートシティ設計・運用➡高解像度の風況予測用の物理モデル➡リアルタイム予測のための高性能計算➡広域／局所の観測データの同化技術

原子力施設近傍の汚染物質監視システムのイメージ

マルチスケールの風況解析の実現＠東工大2012 - 2015
都市街区の風況解析実現のための技術開発• 格子ボルツマン法のGPU最適化（CPU比で約10倍の高速化）• 都市の風況解析に適した乱流モデル• GPU計算/MPI通信の同時実行による高速化➡東工大のスパコンの全てのGPUを利用した解析により、世界で初めて東京都心部１m解像度10km四方の解析を実現*（実行性能=1.14 PFlops, 3968GPUs）• 計算速度：リアルタイムの30倍遅い• 計算資源：大規模すぎる = 4000台のGPU*小野寺直幸, 青木尊之, 下川辺隆史,小林宏充, "格子ボルツマン法による 1m 格子を 用いた都
市部10km四方の大規模LES気流シミュレーション", 情報処理学会ハイパフ ォーマンスコン
ピューティング研究会主催 HPCS シンポジウム 2013、最優秀論文賞

1250

Performance [TFlops]

課題(N = 192 x 256 x 256)

 TSUBAME 2.5 (overlap)
 TSUBAME 2.0 (overlap)

1000

TSUBAME 2.5
1142 TFlops (3968 GPUs)
288 GFlops / GPU750

x 1.93500
TSUBAME 2.0149 TFlops (1000 GPUs)
149 GFlops / GPU

250001000
2000
3000
Number of GPUs

4000

東京都心部1m解像度10km四方の風況解析
500億格子(10,080x10,240x512, 4,032GPUs@TSUBAME2.0)

リアルタイムの風況解析の実現＠原子力機構 2018 - 現在
リアルタイムの風況解析実現のための技術開発• 適合細分化格子（AMR）法に基づく計算資源の削減（従来手法の1/10以下）➡2m解像度4km四方のリアルタイムのマルチスケール風況解析を実現@16 GPUs(V100)➡オクラホマシティの野外拡散実験の解析にて、Factor2＊の正答率70%以上を達成（＊計算値が実験値の0.5〜2倍以内）

x 課題：複雑な気象条件および都市条件への対応

AMR Lv.1 (Coarse)
AMR Lv.2 (Middle)
AMR Lv.3 (Fine)

デジタルツインに向けた新たな研究開発• 都市街区モデルの高精度化（建物・地形・植生）• 複雑な建物間の風況予測に向けたデータ同化技術* N. Onodera, Y. Idomura, Y. Hasegawa, H. Nakayama, T. Shimokawabe, T. Aoki, ”Real-timetracer dispersion simulation in Oklahoma City using locally mesh-refined lattice Boltzmann
method”, Boundary-Layer Meteorology, 2021. doi: 10.1007/s10546-020-00594-x

速度場・汚染物質濃度の可視化、および、汚染物質濃度の実験と計算の比較（色付き記号がアンサンブル平均値、白抜き記号が各計算値）

CityLBMコード

共同研究先に公開中 https://github.com/CityLBM/CityLBM.git- 格子ボルツマン法（LBM）- 都市風況向けの物理モデル- メソスケール境界条件- プログラミングモデル- 実行性能測定
5

CityLBMコードの定式化

格子ボルツマン法と差分法のハイブリッド計算 / AMRによる計算量削減
速度 → 格子ボルツマン法（Cumulant model）

fijk(x + cijkΔt, t + Δt) = fijk(x, t) + Ωijk(x, t) + Fijk
Fbuoyancy = − gαΔT
温位 → 有限差分法

Fplant model = − ρcdaf ui2uj

高解像度格子2∂T∂T∂T+ uj= CT 2
∂t
∂xj
∂xj
汚染物質濃度 → 有限体積法∂q ∂ujq+=s∂t∂xj

広範囲の低解像度格子
D3Q27 model6

適合細分化格子によるマルチスケール風況解析都市風況向け物理モデル

植生キャノピーモデルによるメートル・スケールの樹木の評価• 数m解像度の解析では、公園等の樹木の評価が重要

PAD=0• 植生の影響を外力項として評価• モデル係数が局所的に求められるため、GPUに適している

Fd,i = − ρcdaf ui2uj

cd : Drag coefficient (=0.1)

PAD=幹af : One-sided plant-area density (PAD=0.1), m m2PAD=葉-3

参考文献：Large-Eddy Simulation Comparison of Neutral Flow Over a Canopy: Sensitivities to Physical and NumericalConditions, and Similarity to Other Representations, Boundary-Layer Meteorol, (2017)7メソスケール気象予測モデルを用いた境界条件

ナッジングデータ同化手法＋周期境界条件による乱れの生成

CityLBMの周辺領域：
ナッジングデータ同化

CityLBM（LES）：

数m解像度 数km範囲
周期境界による乱れの再循環

気象モデル（RANS）：数km解像度 数百km範囲

気象モデル（RANS）とCityLBM（LES）の周期境界で発達した流れをナッジングにより融合

FLBM,new = αnud FLBM + (1 − αnud) FWRF
8

∈ Nuding region

CityLBMのデータ構造およびプログラミングモデル

AMR格子およびNVIDIA/AMD GPU、Intel/AMD CPU対応
Leafのオフセット✔

✔

- Leaf (outer loop)：OpenMPスレッド/CUDAブロック

Leaf間の接続✔

• Forest-of-octrees（非構造データ）による複雑格子配置✔

ブロック型AMR格子✔

• ブロック型（=43）格子による高速な連続メモリアクセスGPU- 格子 (inner loop)：SIMD演算/CUDAスレッド➡マルチプラットフォームでの開発効率・計算速度を両立

CPU

outer loop→
inner loop→

9

都市街区を捉えた実時間風況解析の実現範囲

実行性能(MLUPS:Mega Lattice
Update per Second)

１ノードの計算範囲（2m解像度、1アンサンブル）
6000

Aquarius

4500
3000
15000

SGI8600
TSUBAME3.0

P100 4GPUs

V100 4GPUs

実時間解析

実時間解析

２m格子, 1.5km四方の ２m格子, ２km四方の10

A100 8GPUs

２m格子, ４km四方の実時間解析

東京工業大学周辺の風況解析- 都市モデルの作成- ドップラーライダーとの比較

11計算条件：東工大周辺の風況シミュレーション

地理情報システム（GIS）に基づく建物・地形・植生データの利用
建物・地形データの作成• 建物・地形のGeoTiﬀデータを基に、CityLBM用のLevelsetデータを作成➡ Interpolated bounce-back法にて、滑り無し境界条件を計算

植生データの作成• 航空写真を基に樹木の領域を抽出
都市街区風況シミュレーションの計算領域の可視化例• 樹木高さは一定値（8m）に設定
計算領域：6,144m x 6,144m x 1,536m
格子解像度：4m3（0 ~ 256m）、8m3（256 ~ 512m）、➡Plant canopyモデルにて抵抗力を計算
316m （512 ~ 1536m）

検証：2022年12月7日の気象条件に基づく風況解析

CityLBMによる気象モデルのダウンスケーリング計算
ドップラーライダー（高さ約81mに設置）• 視線方向速度を観測（離れる方向が正）、信号ノイズ比（SNR）が15以上を可視化
気象モデル CReSS（水平方向1km解像度、防災科研）• ドップラーライダーおよび気象庁から配信されるデータを同化• CityLBMの境界条件として、CReSSから与えられる速度・温位を使用
Lidar
データ同化：3D-VAR

CReSS(RANS)
データ同化：Nudging

CityLBM(LES)
CityLBMでのライダーを模擬した観測点配置

ドップラーライダーが観測した速度分布

東工大周りの流れ場の可視化
期間：7:00-17:00
発生源：4m高さ
解像度：4m解像度
範囲：6km四方

14

CityLBMによる風況シミュレーション

視線方向速度の比較@10:00JST

CityLBM(LES)

CReSS(RANS)

Lidar (SNR>15)

CityLBMの境界条件として使用

観測データ

CityLBMによる風況シミュレーション

視線方向速度の比較@11:00JST

CityLBM(LES)

CReSS(RANS)

Lidar (SNR>15)

CityLBMの境界条件として使用

観測データ

CityLBMによる風況シミュレーション

視線方向速度の比較@13:00JST

CityLBM(LES)

CReSS(RANS)

Lidar (SNR>15)

CityLBMの境界条件として使用

観測データ

CityLBMによる風況シミュレーション

視線方向速度の比較@15:00JST

CityLBM(LES)

CReSS(RANS)

Lidar (SNR>15)

全体的な視線方向速度は、CReSSに従うが、細かな乱流構造の表現が可能➡精度が悪化する風況条件も存在するため、街区内の観測値の同化が必須

複雑な建物間の風況予測に向けたデータ同化技術
局所アンサンブル変換カルマンフィルタ LETKF• 観測量（例、速度） Yo=観測、Y=解析• データ同化される状態量 X（fLBM）➡観測できないシミュレーション値を同化

・LETKFのデータ同化式

Xt|t = Xt|t−1 + δX(wcol:1→Nens + W′ − I)
・共分散行列など

Q = (ne − 1)I + (δY T R −1δY ) = VDV T−1 TT−1

w = (VD V ) (δY R δyo)W′ =ne − 1 (VD −1/2V T )・アンサンブル平均・変動

観測値

データ同化なし

δyo (k) = yo − yt|t−1

xt|t−1 = opmean,ens(Xt|t−1)

δX (k) = Xt|t−1 (k) − xt|t−1

δX (k) = Xt|t−1 (k) − xt|t−1

LETKFの適用により、非定常な乱流現象の振幅と位相を同期した解析が可能
簡易的なデータ同化

LETKFのデータ同化➡ビル間や路地等の高精度な風況予測に期待まとめと今後の研究計画• CityLBMと東工大・防災科研の知見と組み合わせることで、現実の都市街区を模擬した高解像度の風況解析を実現• 局所アンサンブル変換カルマンフィルタ LETKFにより、物体近傍の非定常流体現象を同化• 今後は、東工大内に風況観測装置を設置し、観測データ同化解析を実施
GPU スパコン
SGI8600