xR技術を駆使した⼤規模原⼦⼒データの可視化
河村拓⾺
⽇本原⼦⼒研究開発機構システム計算科学センター
第35回CCSEワークショップ
オンライン開催
2024年2⽉2⽇

1

JAEAにおける可視化技術の活⽤
nn

可視化とは︖
n

⾊と不透明度で物理値を表⽰

n

視点変更で３次元を観察n

数秒オーダーの対話処理

粒⼦ベースの可視化技術
Particle-Based Volume Rendering,
PBVRn

対話処理可能なアプリケーション

耐震データで観察
地下⽔流挙動解析の難しい応⼒集中（核燃料・バックエンド研究開発部⾨） の領域を発⾒

1F港湾汚染物質拡散解析（CCSE/福島研究開発部⾨）

原⼦⼒施設耐震解析（安全研究・防災⽀援部⾨）

燃料溶融で複雑な多変量データから溶融挙動を確認

燃料溶融挙動解析（原⼦⼒科学研究部⾨）核融合プラズマ流体解析（QST、旧核融合研究開発部⾨）

2

研究⽬的
l 研究開発のDXによりxR技術を活⽤した可視化のニーズが増⼤
l 多数の専⾨家が関わる原⼦⼒分野の⼤規模シミュレーションを可視化する技術
1. 解析↔可視化のループを効率化
2. VRによるリアリティの⾼い可視化
3. 複数拠点の科学者で連携

1. 実時間可視化+計算ステアリング
2.

ヘッドマウントディスプレイ(HMD)で遠隔VR

3. 多地点遠隔可視化

l xR技術による⼤規模計算向けの可視化基盤
可視化+計算ステアリング

HMDで遠隔VR

多地点遠隔可視化
スパコン

テレワーク環境パラメータや境界条件を変更しながら可視化

スパコン上のVR空間

拠点A

3ࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱࢩࢫࢸ࣒ ฼⏝ㅮ⩦఍⏝࣐ࢽࣗ࢔ࣝࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱࢩࢫࢸ࣒ ฼⏝ㅮ⩦఍⏝࣐ࢽࣗ࢔ࣝࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱࢩࢫࢸ࣒ ฼⏝ㅮ⩦఍⏝࣐ࢽࣗ࢔ࣝ

⼤規模可視化の課題と解決策.1.3.኱つᶍ୪ิィ⟬ᶵࡢ≉ᚩ

1.1.3.኱つᶍ୪ิィ⟬ᶵࡢ≉ᚩ

1.1.3.኱つᶍ୪ิィ⟬ᶵࡢ≉ᚩ

.1.3.1.኱つᶍ୪ิ₇⟬㒊

1.1.3.1.኱つᶍ୪ิ₇⟬㒊

1.1.3.1.኱つᶍ୪ิ₇⟬㒊኱つᶍ୪ิ₇⟬㒊ࠕSGI ICE Xࠖࡣࠊ2,409.6TFLOPS ࡢ⥲⌮ㄽ₇⟬ᛶ⬟ࢆ᭷ࡍࡿࣈ࣮ࣞࢻᆺ኱つᶍࢡࣛࢫࢱࢩࢫࢸ࣒࡛ࡍࠋ኱つᶍ୪ิ₇⟬㒊ࡣࠊ35 ࣛࢵࢡ࡛ᵓᡂࡉࢀࠊ1 ࣛࢵࢡ࠶ࡓࡾ 72 ྎࡢィ⟬ࣀ࣮ࢻࢆᦚ㍕ࡋࠊྜィ 2,510 ࣀ࣮ࢻࡢᵓᡂ࡛ࡍࠋ1 ྎࡢィ⟬ࣀ࣮ࢻ࡟ࡣࠊIntel Xeon E5-2680 v3(2.5GHzࠊ12core)ࢆ 2 ᇶᦚ㍕ࡋࠊ⥲ࢥ࢔ᩘࡣ 60,240 ࢥ࢔࡜࡞ࡾࡲࡍࠋࡲࡓࠊ୺グ᠈ᐜ㔞ࡣィ⟬ࣀ࣮ࢻ࠶ࡓࡾ 64GB ࢆᦚ㍕
ࡋࠊ⥲୺グ᠈ᐜ㔞ࡣࠊ156.8TB ࡜࡞ࡾࡲࡍࠋྛィ⟬ࣀ࣮ࢻࡣࠊ4x FDR InfiniBand ࢖ࣥࢱࣇ࢙࣮ࢫࢆ 2࣏࣮ࢺ᭷ࡋ࡚࠾ࡾࠊInfiniBand ࢫ࢖ࢵࢳࣈ࣮ࣞࢻ࡟ࡼࡾࢹࣗ࢔ࣝࣉࣞ࢖࡛ࣥ᥋⥆ࡉࢀࡲࡍࠋ
ࡑࡢࡓࡵࠊ௵ពࡢィ⟬ࣀ࣮ࢻ㛫ࡢ⌮ㄽ㌿㏦ᛶ⬟ࡣࠊ∦᪉ྥ 13.6GB/s(6.8GB/s ×2)࡜࡞ࡾࡲࡍࠋ2 ⣔⤫ࡢ InfiniBand ࢿࢵࢺ࣮࣡ࢡࡢᇶᮏⓗ࡞⏝㏵࡜ࡋ࡚ࠊ1 ⣔⤫ࡣ୺࡟ MPI ࡞࡝ࡢࣀ࣮ࢻ㛫㏻ಙ࡟฼⏝ࡋࠊ
ࡶ࠺ 1 ⣔⤫ࡣࠊ☢Ẽࢹ࢕ࢫࢡ⿦⨨(Lustre ࣇ࢓࢖ࣝࢩࢫࢸ࣒)࡟᥋⥆ࡉࢀࠊ୺࡟ I/O ฎ⌮⏝ࡢࢿࢵࢺ࣡
࣮ࢡ࡜ࡋ࡚฼⏝ࡋࡲࡍࠋࣀ࣮ࢻ㛫㏻ಙ࡟࠾࠸࡚ࠊ኱ᐜ㔞ࡢࢹ࣮ࢱ㏻ಙࢆ⾜࠺ሙྜ࡟ࡣࠊ2 ⣔⤫ࡢࢿࢵࢺ࣮࣡ࢡࢆ฼⏝ࡋ࡚ಸࡢࣂࣥࢻᖜ࡛ࡢࢹ࣮ࢱ㏻ಙࢆ⾜࠺ࡇ࡜ࡀྍ⬟࡛ࡍࠋ኱つᶍ୪ิ₇⟬㒊ࠕSGI ICE Xࠖࡣࠊ2,409.6TFLOPS ࡢ⥲⌮ㄽ₇⟬ᛶ⬟ࢆ᭷ࡍࡿࣈ࣮ࣞࢻᆺ኱つᶍࢡࣛࢫࢱࢩࢫࢸ࣒࡛ࡍࠋ኱つᶍ୪ิ₇⟬㒊ࡣࠊ35 ࣛࢵࢡ࡛ᵓᡂࡉࢀࠊ1 ࣛࢵࢡ࠶ࡓࡾ 72 ྎࡢィ⟬ࣀ࣮ࢻࢆᦚ㍕ࡋࠊྜィ 2,510 ࣀ࣮ࢻࡢᵓᡂ࡛ࡍࠋ1 ྎࡢィ⟬ࣀ࣮ࢻ࡟ࡣࠊIntel Xeon E5-2680 v3(2.5GHzࠊ12core)ࢆ 2 ᇶᦚ㍕ࡋࠊ⥲ࢥ࢔ᩘࡣ 60,240 ࢥ࢔࡜࡞ࡾࡲࡍࠋࡲࡓࠊ୺グ᠈ᐜ㔞ࡣィ⟬ࣀ࣮ࢻ࠶ࡓࡾ 64GB ࢆᦚ㍕
ࡋࠊ⥲୺グ᠈ᐜ㔞ࡣࠊ156.8TB ࡜࡞ࡾࡲࡍࠋྛィ⟬ࣀ࣮ࢻࡣࠊ4x FDR InfiniBand ࢖ࣥࢱࣇ࢙࣮ࢫࢆ 2࣏࣮ࢺ᭷ࡋ࡚࠾ࡾࠊInfiniBand ࢫ࢖ࢵࢳࣈ࣮ࣞࢻ࡟ࡼࡾࢹࣗ࢔ࣝࣉࣞ࢖࡛ࣥ᥋⥆ࡉࢀࡲࡍࠋ
ࡑࡢࡓࡵࠊ௵ពࡢィ⟬ࣀ࣮ࢻ㛫ࡢ⌮ㄽ㌿㏦ᛶ⬟ࡣࠊ∦᪉ྥ 13.6GB/s(6.8GB/s ×2)࡜࡞ࡾࡲࡍࠋ2 ⣔⤫ࡢ InfiniBand ࢿࢵࢺ࣮࣡ࢡࡢᇶᮏⓗ࡞⏝㏵࡜ࡋ࡚ࠊ1 ⣔⤫ࡣ୺࡟ MPI ࡞࡝ࡢࣀ࣮ࢻ㛫㏻ಙ࡟฼⏝ࡋࠊ
ࡶ࠺ 1 ⣔⤫ࡣࠊ☢Ẽࢹ࢕ࢫࢡ⿦⨨(Lustre ࣇ࢓࢖ࣝࢩࢫࢸ࣒)࡟᥋⥆ࡉࢀࠊ୺࡟ I/O ฎ⌮⏝ࡢࢿࢵࢺ࣡
࣮ࢡ࡜ࡋ࡚฼⏝ࡋࡲࡍࠋࣀ࣮ࢻ㛫㏻ಙ࡟࠾࠸࡚ࠊ኱ᐜ㔞ࡢࢹ࣮ࢱ㏻ಙࢆ⾜࠺ሙྜ࡟ࡣࠊ2 ⣔⤫ࡢࢿࢵࢺ࣮࣡ࢡࢆ฼⏝ࡋ࡚ಸࡢࣂࣥࢻᖜ࡛ࡢࢹ࣮ࢱ㏻ಙࢆ⾜࠺ࡇ࡜ࡀྍ⬟࡛ࡍࠋ኱つᶍ୪ิ₇⟬㒊ࠕSGI ICE Xࠖࡣࠊ2,409.6TFLOPS ࡢ⥲⌮ㄽ₇⟬ᛶ⬟ࢆ᭷ࡍࡿࣈ࣮ࣞࢻᆺ኱つᶍࢡࣛࢫࢱࢩࢫࢸ࣒࡛ࡍࠋ኱つᶍ୪ิ₇⟬㒊ࡣࠊ35 ࣛࢵࢡ࡛ᵓᡂࡉࢀࠊ1 ࣛࢵࢡ࠶ࡓࡾ 72 ྎࡢィ⟬ࣀ࣮ࢻࢆᦚ㍕ࡋࠊྜィ 2,510 ࣀ࣮ࢻࡢᵓᡂ࡛ࡍࠋ1 ྎࡢィ⟬ࣀ࣮ࢻ࡟ࡣࠊIntel Xeon E5-2680 v3(2.5GHzࠊ12core)ࢆ 2 ᇶᦚ㍕ࡋࠊ⥲ࢥ࢔ᩘࡣ 60,240 ࢥ࢔࡜࡞ࡾࡲࡍࠋࡲࡓࠊ୺グ᠈ᐜ㔞ࡣィ⟬ࣀ࣮ࢻ࠶ࡓࡾ 64GB ࢆᦚ㍕
ࡋࠊ⥲୺グ᠈ᐜ㔞ࡣࠊ156.8TB ࡜࡞ࡾࡲࡍࠋྛィ⟬ࣀ࣮ࢻࡣࠊ4x FDR InfiniBand ࢖ࣥࢱࣇ࢙࣮ࢫࢆ 2࣏࣮ࢺ᭷ࡋ࡚࠾ࡾࠊInfiniBand ࢫ࢖ࢵࢳࣈ࣮ࣞࢻ࡟ࡼࡾࢹࣗ࢔ࣝࣉࣞ࢖࡛ࣥ᥋⥆ࡉࢀࡲࡍࠋ
ࡑࡢࡓࡵࠊ௵ពࡢィ⟬ࣀ࣮ࢻ㛫ࡢ⌮ㄽ㌿㏦ᛶ⬟ࡣࠊ∦᪉ྥ 13.6GB/s(6.8GB/s ×2)࡜࡞ࡾࡲࡍࠋ2 ⣔⤫ࡢ InfiniBand ࢿࢵࢺ࣮࣡ࢡࡢᇶᮏⓗ࡞⏝㏵࡜ࡋ࡚ࠊ1 ⣔⤫ࡣ୺࡟ MPI ࡞࡝ࡢࣀ࣮ࢻ㛫㏻ಙ࡟฼⏝ࡋࠊ
ࡶ࠺ 1 ⣔⤫ࡣࠊ☢Ẽࢹ࢕ࢫࢡ⿦⨨(Lustre ࣇ࢓࢖ࣝࢩࢫࢸ࣒)࡟᥋⥆ࡉࢀࠊ୺࡟ I/O ฎ⌮⏝ࡢࢿࢵࢺ࣡
࣮ࢡ࡜ࡋ࡚฼⏝ࡋࡲࡍࠋࣀ࣮ࢻ㛫㏻ಙ࡟࠾࠸࡚ࠊ኱ᐜ㔞ࡢࢹ࣮ࢱ㏻ಙࢆ⾜࠺ሙྜ࡟ࡣࠊ2 ⣔⤫ࡢࢿࢵࢺ࣮࣡ࢡࢆ฼⏝ࡋ࡚ಸࡢࣂࣥࢻᖜ࡛ࡢࢹ࣮ࢱ㏻ಙࢆ⾜࠺ࡇ࡜ࡀྍ⬟࡛ࡍࠋ

シミュレーション

シミュレーション

In­Situ可視化
ペタバイト→ギガバイト

In­Situ PBVR
ペタバイト→メガバイト

従来の可視化

スーパーコンピュータ

従来In-Situ可視化

シミュレーション
計算データ〜ペタバイト

ストレージ

粒⼦ベースIn-Situ可視化

ᅗ 1-2 SGI ICE X

ᅗ 1-2 SGI ICE Xᅗ 1-2 SGI ICE X

⾲ 1-2 ኱つᶍ୪ิ₇⟬㒊ࡢᵓᡂ

⾲ 1-2 ኱つᶍ୪ิ₇⟬㒊ࡢᵓᡂ₇⟬㒊ྡ

計算データ
኱つᶍ୪ิ₇⟬㒊኱つᶍ୪ิ₇⟬㒊

₇⟬㒊ྡ㸦ࣀ࣮ࢻྡ㸧(ㄢ㢟ᢎㄆ⪅⏝ࣀ࣮ࢻ 2,259 ྎ)(୍⯡฼⏝⪅⏝ࣀ࣮ࢻ 251 ྎ)㸦ࣀ࣮ࢻྡ㸧

⾲ 1-2 ኱つᶍ୪ิ₇⟬㒊ࡢᵓᡂインターネット

Intel Xeon E5-2680 v3Intel Xeon E5-2680 v3(2.5GHz, 30MB cache)× 2CPU

(2.5GHz, 30MB cache)× 2CPU

ࣀ࣮ࢻᵓᡂ

ࢥ࢔ᩘ

12 ࢥ࢔ / CPU

12 ࢥ࢔ / CPU㸦㸯ྎ࠶ࡓࡾ㸧࣓ࣔࣜ

64GB

64GBCPUࣀ࣮ࢻᵓᡂ㸦㸯ྎ࠶ࡓࡾ㸧

ユーザPC⥲⌮ㄽ₇⟬ᛶ⬟⥲୺グ᠈ᐜ㔞

ࣀ࣮ࢻ㛫㏻ಙᛶ⬟኱つᶍ୪ิ₇⟬㒊኱つᶍ୪ิ₇⟬㒊

₇⟬㒊ྡ኱つᶍ୪ิ₇⟬㒊኱つᶍ୪ิ₇⟬㒊(୍⯡฼⏝⪅⏝ࣀ࣮ࢻ 251 ྎ)㸦ࣀ࣮ࢻྡ㸧

(ㄢ㢟ᢎㄆ⪅⏝ࣀ࣮ࢻ 2,259 ྎ)(୍⯡฼⏝⪅⏝ࣀ࣮ࢻ 251 ྎ)Intel Xeon E5-2680 v3Intel Xeon E5-2680 v3Intel Xeon E5-2680 v3Intel Xeon E5-2680 v3(2.5GHz, 30MB cache)× 2CPU(2.5GHz, 30MB cache)× 2CPU

ࣀ࣮ࢻᵓᡂ

ࢥ࢔ᩘ

12 ࢥ࢔ / CPU

12 ࢥ࢔ / CPU㸦㸯ྎ࠶ࡓࡾ㸧࣓ࣔࣜ

64GB

64GB

2,409.6TFLOPS⥲⌮ㄽ₇⟬ᛶ⬟156.8TB⥲୺グ᠈ᐜ㔞

出⼒ →数時間
転送 →数⽇
可視化→数⽇∦᪉ྥ 6.8GB/s∦᪉ྥ 6.8GB/s(2 ⣔⤫ྜィ 13.6GB/s)(2 ⣔⤫ྜィ 13.6GB/s)

計算データをユーザPCへ転送
n ⼤規模データへの適⽤が困難ࣀ࣮ࢻ㛫㏻ಙᛶ⬟CPU(2.5GHz, 30MB cache)× 2CPU

(2.5GHz, 30MB cache)× 2CPUࢥ࢔ᩘ

12 ࢥ࢔ / CPU12 ࢥ࢔ / CPU࣓ࣔࣜ

64GB

64GB

2,409.6TFLOPS⥲⌮ㄽ₇⟬ᛶ⬟156.8TB⥲୺グ᠈ᐜ㔞

出⼒ →数秒
転送 →数時間
可視化→数⼗分∦᪉ྥ 6.8GB/s∦᪉ྥ 6.8GB/s(2 ⣔⤫ྜィ 13.6GB/s)(2 ⣔⤫ྜィ 13.6GB/s)ࣀ࣮ࢻ㛫㏻ಙᛶ⬟3ポリゴンに変換
n 計算データの全領域に⽣成
n 可視化処理コストが⾼いn

1. In-Situ計算ステアリング粒⼦(ㄢ㢟ᢎㄆ⪅⏝ࣀ࣮ࢻ 2,259 ྎ)
CPU

3

nポリゴン

In-Situ PBVRを活⽤し解決
2. In-Situ遠隔VR可視化
3. 多地点遠隔可視化

2,409.6TFLOPS

出⼒ →１秒以下
転送 → 数秒
可視化→１秒以下
156.8TB∦᪉ྥ 6.8GB/s∦᪉ྥ 6.8GB/s(2 ⣔⤫ྜィ 13.6GB/s)(2 ⣔⤫ྜィ 13.6GB/s)

3粒⼦に変換n 可視化に必要な部分に選択的に⽣成
n 可視化処理コストが低い
n

4

⽬次

0. PBVRによる基盤技術
a. PBVRによる⼤規模データの可視化処理
b. In-Situ可視化フレームワークIn-Situ PBVR
1. In-Situ計算ステアリング
2. In-Situ遠隔VR可視化
3. 多地点遠隔可視化

5

⽬次

0. PBVRによる基盤技術
a. PBVRによる⼤規模データの可視化処理
b. In-Situ可視化フレームワークIn-Situ PBVR
1. In-Situ計算ステアリング
2. In-Situ遠隔VR可視化
3. 多地点遠隔可視化

6

PBVRによる⼤規模データの可視化処理
従来のポリゴンベース可視化

粒⼦ベースボリュームレンダリング(PBVR)

l ポリゴンに変換(TB)l モンテカルロ法による粒⼦⽣成(MB)• 元データの全領域にポリゴンを⽣成• 不透明度から画素に映る粒⼦のみ⽣成

l スパコン上の並列処理で順序計算

l PC上で描画時に順序計算l 視点変更に再計算が必要

l 再計算無しに視点変更が可能

計算データ ポリゴン

ポリゴン⽣成計算データ

粒⼦

課題 ⼤規模データでは可視化処理速度が低下
l 膨⼤なポリゴンは転送困難
l 順序計算のために演算器間で多量の通信が発⽣
l 視点変更が困難
粒⼦データが圧縮されることに着⽬し遠隔可視化モデルを構築
l 圧縮された粒⼦データをユーザPCへ転送

粒⼦⽣成

l 順序計算を伴う描画処理はユーザ
PC上で処理順序計算

l 視点変更が容易
スパコン

ポリゴン
転送

ユーザPC

ポリゴンから画像⽣成

粒⼦
転送

粒⼦を順序計算, 画像⽣成

7

PBVRによる⼤規模データの可視化処理
事例 約2億格⼦のプラズマ乱流データを対象に汎⽤可視化ツールEnSightと⽐較

ServerNetwork

実験環境
CPU Xeon E5
GPU Quadro K5000
Intel Xeon E5 (48 cores)
3.4 [MB/sec ]

元データ
サイズ

粒⼦データサイズ~1 TB~260 MB

ClientEnSight

PBVRl ⼩さなデータサイズ• ⼤規模な元データの数千分の⼀
l 超並列処理に適したモンテカルロ法•EnSightの22倍以上⾼速l 秒間60フレームで対話的な視点変更

結果l メガバイト規模の粒⼦を⽤いてポリゴンよりも⾼速なデータ転送

PBVR

Ensight

粒⼦⽣成[sec/step]52-

転送[sec/step]75-

合計 [sec/step]

1283873

描画速度[fps]60

2.7

l スパコン上で実時間の可視化処理を実現
l 実時間の視点変更を実現

8

In-Situ可視化フレームワークIn-Situ PBVR
Computing nodes

Storage

Interactivenode

多変量可視化の設計

User
PCInternet

Batch Job
Simulation+
In situ sampler

In-Situ制御

In situ client
Particlerenderer

Particle data

速度場の可視化関数t1

多変量の合成t1+t2
温度場の可視化関数t2Vis. param.

In-Situ制御

多変量データ可視化

l パラメータファイルを介して⾮同期に可視化処理を制御する技術

l 多変量データと⾊・不透明度の関係を代数式で設計する⼿法

l データ転送コストが⼩さい →数秒

優位性

優位性

優位性

l シミュレーションを阻害せずに可視化パラメータを設計する対話処理

l 多変量、多次元データに対する専⾨家のイメージを形にする可視化

PBVRによる並列可視化
l 並列処理コストが⼩さい→1秒以下

l 可視化データが⼩さい→数10MBl ⽶国DOEのIn-Situ可視化アプリより数⼗倍⾼速な実時間処理9適合格⼦細分化(AMR)シミュレーションへの適⽤
HPE SGI8600 (1 node spec.)
CPU: 2x Intel Xeon Gold 384GB
GPU: 4x NVIDIA Tesla V100, 32GBllll

デブリ空冷模擬実験
AMR 格⼦ (約3000万格⼦)
2 nodes, 8 GPUs
回線速度 3MB/s
In-Situ PBVRParticle size︓180[MB]Particle gen.︓17.8 [s/step]
Transfer︓60.1 [s/step]
Rendering ︓0.01 [s/step](91 Frame/s)

AMRデータの断⾯(1/64)

ParaView Catalyst
Rendering ︓388 [s/step](0.002 Frame/s)

PBVR

ParaViewl

全体性能は~5倍、l

視点変更速度は~3万9千l

実時間の対話的操作が可能

10

⽬次

0. PBVRによる基盤技術
a. PBVRによる⼤規模データの可視化処理
b. In-Situ可視化フレームワークIn-Situ PBVR
1. In-Situ計算ステアリング
2. In-Situ遠隔VR可視化
3. 多地点遠隔可視化

11

In-Situ計算ステアリング

汚染物質拡散解析の事例

l シミュレーションの計算条件を対話的に制御
l 計算実⾏中に計算パラメータや境界条件を変更しながら可視化
l シミュレーション側に計算条件⼊⼒⽤の機能追加
が必要A

B

C

D

E

FGH

I

南⻄の⾵
⽶国オクラホマシティの建物⾼さデータ
計算条件の制御
時系列データの解析

l 時系列データの統計解析機能
l 計算空間に観測点を設定
l 観測点上の時系列データを情報可視化

A

B

C

l 可視化と同時にデータ取得するためシミュレーション側の変更無し

D

E

F

G

H

I

In-Situ SteeringのGUI

12

Computing nodes

Storage

Interactive
nodeInternet

Batch Job
Simulation+
In situ sampler

User
PC

In Situ制御

In situ client

Particle data

In-Situ PBVR

ParticlerendererVis. param.

Batch Job
In Situ制御

In situ client
Particlerenderer

観測データ

Particle data

計算条件

Vis. param.

In-Situ ステアリング

Simulation + In situ sampler

13

In-Situ計算ステアリングl実時間汚染物質拡散解析における事例
従来⼿法による計算条件の制御→~1⽇/フィードバックlll~1TB/shotの観測データを⽣成
従来アプリで可視化し、計算条件を変更し、再実⾏

In-Situ PBVRを活⽤した計算条件の制御→実時間フィードバック

HPE SGI8600 (1 node spec.)
CPU: 2x Intel Xeon Gold (3.0GHz, 24cores), 384GB RAM
GPU: 4x NVIDIA Tesla V100, 32GB
実験条件

1ステップの処理性能

l 4Km2、4m解像度

l In-Situ PBVR: 1秒未満

l ３階層のAMR格⼦

l ParaView:l 総格⼦数~1.3x108→In-Situ PBVRだからこそ可能

数百秒

l 8nodes, 32GPUs
オクラホマシティ汚染物質拡散模擬実験
l 南⻄の⾵l 市内に9つの観測点A~I
l 各点の汚染物質観測値を⻘で表⽰
l 観測値を再現する汚染源を探索→逆問題に対するhuman-in-the-loop解析
14

In-Situ遠隔VR可視化
Computing nodes

Storage

InteractivenodeInternet

Batch Job
Simulation+
In situ sampler

Particle data

⽴体視画像⽣成

User
PC

In-Situ制御
HMDで表示粒子データから立体視画像生成

VR空間でのジェスチャ制御

Vis.param.

VRコントローラーによるジェスチャ制御

l オブジェクトの回転・拡⼤/縮⼩・平⾏移動を
l In-Situ PBVRで使⽤している可視化
VR空間の⼿で動かす感覚で操作
ライブラリKVS(C++)を両眼⽤に拡張
l HMDのSDKを利⽤

タイムステップ操作パネルをVR空間に移植
l 伝達関数の移植はこれからの課題
15

多地点遠隔可視化
スパコン

スパコン上のVR空間

テレワーク環境拠点A

l複数ユーザが可視化を共有

lSGI8600上の熱対流計算の可視化を2台のPCで共有

l可視化パラメータを変更するため解析の主となる「ホスト」と「ゲスト」を設定

l左のPCが「ゲスト」、右のPCが「ホスト」
l着⽬点を指定する緑⾊のグリフの位置をホストが操作し、ゲストが共有する
17

多地点遠隔可視化

Interactivenode

ユーザA
port 60001
In-Situ制御
Storage
Computing nodes
Batch Job
Simulation+
In situ sampler

可視化パラメータ
をファイル出力

ユーザB
port 60002
In-Situ制御

Particle data
可視化パラメータ
をファイル入力

ユーザC
port 60003
In-Situ制御

可視化パラメータ
をファイル入力

User
PC
ユーザA
HMDで表示ホスト
可視化パラメータを指定

ユーザB
HMDで表示ゲスト
可視化パラメータ
を受信

ユーザC
HMDで表示ゲスト
可視化パラメータを受信

18可視化ソフトウェアPBVRの機能
l 遠隔可視化モードの切り替え

l 3次元点群データの可視化

l クラサバモード︓ストレージ上のデータを可視化

l LAS形式に対応

l In-Situモード︓スパコンの計算と結合l 既存の可視化と合成表⽰

l 表⽰デバイスの切り替え
l ディスプレイ
l HMD

l 多変量可視化機能
l 代数式で多変量向けの伝達関数を設計
l ボリュームレンダリング、等値⾯、断⾯等
l 物理量の合成を定義

1/4⽔素ボリューム
256x128x128
静岡県熱海市の航空計測データ~14,551,000点

提供 : Virtual Shizuoka

公開前の機能l 多地点連携可視化

l 複数拠点で可視化を共有

l MR(Mixed Reality)機能

l PBVRによる可視化と現実の⾵景を合成
19

まとめl 原⼦⼒分野の⼤規模シミュレーションではxR技術を活⽤した可視化のニーズが増⼤
l 圧縮された粒⼦データにより⼤規模シミュレーションの実時間可視化が可能なIn-Situ PBVR ← 活⽤

オープンソースのIn-Situ PBVR
https://ccse.jaea.go.jp/software/In-Situ_PBVR/
https://github.com/CCSEPBVR/CS-IS-PBVR

l In-Situ可視化・計算ステアリング•

スパコン上のシミュレーションを実時間で可視化・解析し、計算条件にフィードバックすることで直感的なパラメータ最適化を実現

l 多地点遠隔VR可視化•

遠隔地の専⾨家とHMD上のVR空間を共有し、上記解析をさらに効率化

l 今後の展望l VR空間における情報可視化機能や可視化パラメータGUIの開発
l 点群データ、カメラ画像等の現実空間データとシミュレーションによる仮想空間データを融合したデジタルツインのxR可視化
20