癌の温熱療法の効果を評価するための160億自由度大規模可視化

杉本振一郎(八戸工業大学)
第3回AVS可視化フォーラム
2018.08.24

目次研究背景・目的
 解析手法

高周波電磁界問題
 階層型領域分割法




可視化
数値人体モデル データの変換
 可視化結果




おわりに

研究背景


癌の温熱療法：定量的な評価


数値人体モデルの高周波電磁界解析


癌の直径は数mm

解像度0.5 mm，約160億自由度の解析

0.1 mm以下の解像度(1兆自由度以上)
約10分(東大Oakleaf-FX，2016年11月)

次の課題
電磁界解析の結果を用いた人体内部の熱伝導解析
 電磁界解析と熱伝導解析の結果の可視化

可視化：医療現場での活用

ファイル数2万弱，ファイル容量4 TB弱

研究背景


数TBのデータの取り扱いは非常に困難
センターから研究室のコンピュータへの転送
 ファイルの格納場所
 手元のコンピュータでの効率的な可視化処理

スーパーコンピュータ上での可視化


視点や断面を変えるたびにスーパーコンピュータを利用？

解析と同時に画像を生成


視点や断面を変えるたびに解析からやり直し

研究目的


160億自由度数値人体モデルの大規模可視化名古屋大学情報基盤センター 大規模可視化システム
 ファイル数2万弱，ファイル容量4 TB弱
 データを大幅に削減


治療効果の検討という観点から可視化に必要な情報を選別 適切なファイル形式に変換

デスクトップパソコン上で可視化を実施

高周波電磁界問題
ベクトル波動方程式
rot

1
rot 𝐸
𝜇− 𝜔2 𝜖 − 𝑖𝜔𝜎 𝐸 = 𝑖𝜔𝐽 in Ω,

𝐸 × 𝑛 = 0 on 𝜕Ω,𝐽 = 𝜎𝐸෠

有限要素方程式
1

𝐸：電界[V/m]𝑖：虚数単位𝜇：透磁率[H/m]𝜔：角周波数[rad/s]
𝜖：誘電率[F/m]𝜎：導電率[S/m]𝐽：放射源の電流密度[A/m2]
෠
𝐸：既知の電界‫׮‬Ω rot 𝐸ℎ ∙ 𝜇 rot 𝐸ℎ∗ 𝑑𝑣 − ‫׮‬Ω 𝜔2 𝜖 − 𝑖𝜔𝜎 𝐸ℎ ∙ 𝐸ℎ∗ 𝑑𝑣 = ‫׮‬Ω 𝑖𝜔𝐽ℎ ∙ 𝐸ℎ∗ 𝑑𝑣.

DOF

階層型領域分割法(HDDM: Hierarchical Domain Decomposition Method)

𝐾𝑢 = 𝑓.

0,0𝐾𝐼𝐼0⋱0,𝑁𝑠 −1

𝐾𝐼𝐼

𝐾𝐼𝐼 =

𝑁𝑝 −1 𝑁𝑠 −1

Ω= ራራ Ω 𝑖,𝑗subdomain 0

subdomain 1

part 1
subdomain 0

subdomain 1

𝐾𝐼𝐵 =

𝐾𝐼𝐼
𝑇
𝐾𝐼𝐵

: DOF : Interface DOF

𝑁 −1,𝑁𝑠 −1

𝐾𝐼𝐼 𝑝

𝐾𝐼𝐵 𝑢𝐼𝑓𝐼=.
𝑓𝐵
𝐾𝐵𝐵 𝑢𝐵

0,00,01,01,0

𝐾𝐼𝐵 𝑅𝐵⋮
0,𝑁𝑠 −10,𝑁 −1
𝐾𝐼𝐵𝑅𝐵 𝑠𝑖=0 𝑗=0part 0⋱0.

,𝐾𝐼𝐵 𝑅𝐵⋮
𝑁𝑝−1,𝑁𝑠 −1

𝐾𝐼𝐵

𝑁𝑝−1,𝑁𝑠 −1

𝑅𝐵

𝑁𝑝−1 𝑁𝑠 −1
𝑖,𝑗 𝑇

𝑆𝑢𝐵 = 𝑔.

,

1,0𝐾𝐼𝐼𝐾𝐵𝐵 = ෍ ෍ 𝑅𝐵

𝑖,𝑗𝑖=0 𝑗=0
𝑁𝑝 −1 𝑁𝑠 −1

𝑓𝑖 = ෍ ෍ 𝑅𝐼
𝑖=0 𝑗=0𝑖,𝑗 𝑇

𝑓𝐼

𝑖,𝑗

𝐾𝐵𝐵 𝑅𝐵𝑖,𝑗,,階層型領域分割法(HDDM: Hierarchical Domain Decomposition Method)
Choose 𝑢𝐵0 ;𝑟 0 = 𝑆𝑢𝐵0 − 𝑔; ⋯ ⋯ ⋯(a)𝑝0 = 𝑧 0 = 𝑀−1 𝑟 0 ;for 𝑛 = 0, 1, … … ;𝑞𝑛 = 𝑆𝑝𝑛 ;⋯ ⋯ ⋯(b)𝛼 𝑛 = 𝑟 𝑛 𝑇 𝑧 𝑛 Τ 𝑝 𝑛 𝑇 𝑞𝑛 ;𝑢𝐵𝑛+1 = 𝑢𝐵𝑛 − 𝛼 𝑛 𝑝𝑛 ;𝑟 𝑛+1 = 𝑟 𝑛 − 𝛼 𝑛 𝑞𝑛 ;𝑧 𝑛+1 = 𝑀−1 𝑟 𝑛+1 ;𝛽𝑛 = 𝑟 𝑛+1 𝑇 𝑧 𝑛+1 Τ 𝑟 𝑛 𝑇 𝑧 𝑛 ;𝑝𝑛+1 = 𝑧 𝑛+1 + 𝛽𝑛 𝑝𝑛 ;If 𝑟 𝑛+1 < 𝛿 𝑟 0 , break;
end;
COCG法

Dipole antenna

数値人体モデル𝐿𝐻𝑦𝑥

メッシュ：1辺0.5 mm

x =0.64 m，y =0.32 m，z =1.732 m，L =0.5 m，H =0.06 m

要素数：14,188,544,000
 自由度：16,605,276,424
 領域分割：144,000,000
 周波数：300 MHz

約10分で求解

東京大学情報基盤センターOakleaf-FX (9,600プロセス)

ファイル数2万弱，ファイル容量4 TB弱(AdvIO)

メッシュ(9,600個，1.7 TB)，解析結果(9,600個，2.0 TB)

データ変換part 0

階層型領域分割法独特のデータ構造の変換
MPIプロセスごとにpartを割り当て
 part内には多数のsubdomainpart 1

subdomain 0

subdomain 0

subdomain 1

subdomain 1







AVSでは読み込めないpart内でメッシュ，物理量ごとにsubdomainのデータをマージ

part x
EddyCurrentD (i)MagneticField (r)subdomain 0

subdomain 0

subdomain 1∙∙∙
subdomain 14,999

subdomain 1∙∙∙
subdomain 14,999

part x∙∙∙∙∙∙

Mesh data
Merged data

MagneticField (r)Merged data

EddyCurrentD (i)∙∙∙∙∙∙Merged data

データの選別

治療効果の検討という観点から可視化に必要な情報を選別

42℃を超えているか？：倍精度 -> 単精度
AdvIO -> UCD
 subdomainデータのマージ

既知の癌が対象：特定の臓器のデータのみ
UCD -> HDF5
 AVS/Express

癌の位置は特定済み，値の範囲は限定(カラーマップ確定)：表面あるいは断面の色情報
HDF5 -> GFA AVS/Express
データ容量と可視化


データ容量
AdvIO：約2万，約4 TB
 UCD：9,600，537 GB

HDF5：約757 MB(心臓)

単精度，subdomainデータのマージ

特定の臓器のデータのみ

GFA：約50 MB～(心臓)表面あるいは断面の色情報のみ
 皮膚や骨の表面情報を含む




可視化
静止画：3D AVS Player 動画：3D AVS Player，AVS/Expressメッシュ(心臓)解像度2 mm

解像度0.5 mm

磁場(心臓)GFAファイル：564 MB
メッシュ表面臓器表面
断面24枚

全身の可視化HDF5ファイル：約88 GB
空気領域の除去(UCD)
2段階の変換UCD -> 分割HDF5：メッシュ，磁場(実部)
分割HDF5 -> HDF5(上) 右上半身の磁場の等値面(GFA約2.2 GB)(右) 右上半身の磁場の等高線(GFA約49 MB)

おわりに


160億自由度数値人体モデルの大規模可視化

名古屋大学情報基盤センター 大規模可視化システム
ファイル数2万弱，ファイル容量4 TB弱治療効果の検討という観点から可視化に必要な情報を選別 適切なファイル形式に変換

デスクトップパソコン上で可視化

今後の課題




スムージングを用いたボクセルの階段形状の除去による精度向上
高周波電磁界解析の結果を用いた熱伝導解析と可視化
さらに細分割した1,000億自由度規模の解析と可視化

謝辞
本研究で用いた計算機リソースの一部は東京大学情報基盤センターのFX10スーパーコンピュータシステム「大規模HPCチャレンジ」より提供された．
 本研究の一部はJSPS科研費15K17499，17H02829，17H03256，および独立行政法人 科学技術振興機構の戦略的研究推進事業CRESTの助成を受けて実施された．
 AVSを使用するに当たってサイバネットシステム
株式会社 汎用可視化技術グループの皆様の支援を受けた．
 ここに記し，感謝の意を示す．
