11th Symposium

学際大規模情報基盤共同利用・共同研究拠点 萌芽型共同研究 平成31年度採択課題

EX19307 (東京大学推薦課題)

杉本振一郎 (八戸工業大学)

医療応用を見据えた
電磁界-熱伝導連成解析システムの包括的な高速化・高度化
課題概要
並列電磁界解析ソルバADVENTURE_Magnetic (AdvMag)のターゲットアプリの一つとして，数値人体モデルを用いた癌の温熱療法の効果を定量的に評価することを目指している．その一環として，2016年度のFX10スーパーコンピュータシステム「大規模HPCチャレンジ」にて160億自由度の数値人体モデル(解像度0.5 mm)を10分で解析することに成功した．さらに，2017年度の若手・女性利用後期課題を経て，2018年度のOakforest-PACSスーパーコンピュータシステム「大規模HPCチャレンジ」にて1,300億自由度の数値人体モデル(解像度0.25 mm)を15分で解析することに成功した．本課題では，これまでの癌の温熱療法の効果を定量的に評価するための取り組みをさらに進め，熱伝導解析も対象とする．AdvMagと並列熱伝導解析ソルバADVENTURE_Theraml (AdvThermal)を用いた電磁界-熱伝導連成解析システムの高速化・高度化を包括的に行うことで，スーパーコンピュータ上で1億自由度以上の電磁界-熱伝導連成解析を効率的に行うことができるシステムの研究開発を行う．

学術的背景
電磁界解析では電場，磁場に空間的な広がりがあるため，解析したい機器だけでなくその周辺の空間も解析対象としなければならず，解析領域が大きくなりやすい．また電磁波を対象とする場合には要素の辺長を電磁波の波長の10分の1以下にする必要があり，大きく広がる空間を大きな要素で埋めることができない．さらに電磁場の様子を詳細に知りたい箇所は機器の中でも特に薄い構造をしているうえ，電磁界解析で用いる反復法の収束性はアスペクト比に非常に敏感であるため扁平な要素でそれらをモデル化することができない．そのため電磁界解析のためのメッシュは大自由度になりやすく，機器の丸ごと解析では簡単に数千万～数億自由度のモデルとなってしまう．
また，電磁界解析では本来非定常である問題を，商用電源および電磁波が正弦波的に規則正しく変化することを利用して時間微分項∂⁄∂tを-iω (iは虚数単位，ωは角周波数)とおくことで複素数での求解を一度だけ行う準定常問題としている．そのため演算カーネルは他の物理現象ではあまり現れない複素数の疎行列ベクトル積となる．さらに，節点に自由度がある通常の節点要素ではなく辺に自由度を持つ辺要素を用いる，行列に不定性があったり悪条件であったりする，など，他の物理現象に比べて大規模問題において収束解を得ることが難しく，計算時間も長くなりやすい．
このようなことから電磁界解析での並列化研究はなかなか浸透してこなかった．そのため電磁界-熱伝導連成解析などの電磁界解析と連携しなければならない連成解析では，電磁界解析で扱える規模の制限から扱えるモデルの規模がなかなか大きくならない．そこで，電磁界解析にこれまで高速化・高度化を進めてきた並列電磁界解析ソルAdvMagを，熱伝導解析には並列熱伝導解析ソルバAdvThermalを用いて電磁界-熱伝導連成解析システムの研究開発を行っている．本課題では，新たにAdvThermalの高速化・高度化にも取り組むとともにシステム全体を包括的に高速化・高度化することで，スーパーコンピュータ上で1億自由度を超える規模の電磁界-熱伝導連成解析を効率的に行えるシステムとすることを目指す．将来的には電磁界解析で1兆自由度以上，熱伝導解析で数千億自由度のモデルを扱えるシステムを目指す．

特色・独創性
AdvMagのターゲットアプリの一つとして，数値人体モデルを用いた癌の温熱療法
𝐿の効果を定量的に評価することを目指している．その一環として，2016年度のFX10
Dipole antenna𝐻
スーパーコンピュータシステム「大規模HPCチャレンジ」にて研究課題「ADVENTU
RE_Magneticによる100億自由度数値人体モデルの高周波電磁界解析」を実施し，𝑦160億自由度の数値人体モデル(解像度0.5 mm)を10分，300億自由度の簡易温熱治𝑥療器モデルを19分で解析することに成功した．さらに，2017年度の若手・女性利用
後期課題「1,000億自由度規模の電磁界解析を可能とするための，階層分割型数値計算フレームワークADVENTURE_Magneticの高並列化・高速化研究」を経て，2018年度のOakforest-PACSスーパーコンピュータシステム「大規模HPCチャレンジ」にて研究課題「ADVENTURE_Magneticによる1,000億自由度数値人体モデルの高周波電磁界解析」を実施し，1,300億自由度の数値人体モデル(解像度0.25 mm)を15分で解析することに成功した．
電磁界解析については今後も研究を進め，最終的に解像度0.1 mm，1兆自由度以上の解析を目指すが，一方で，癌の温熱療法の効果を定量的に評価するには電磁界解析の結果を用いた熱伝導解析が必要になる．しかし，AdvMagと同じくADVENTUREプ
ロジェクトに属するAdvThermalはスーパーコンピュータ向けの本格的な高速化・高Mesh
DOF
Elements
Subdomains Iterations Time [s]度化はまだあまり行われていない．また大規模な問題を扱うには，AdvMagとAdvTh*1
10B
16,605,276,424 14,188,544,000 144,000,000
206601
ermalをつなぐデータ変換の部分も同時に高速化・高度化しなければならない．そこ*2 132,575,181,328 113,508,352,000 1,114,112,000
100B
317907
で本課題では，AdvMagで培ったノウハウを用いてAdvThermalの高速化・高度化に取り組むとともに，これらを用いた電磁界-熱伝導連成解析システムの高速化・高度化 *1 東京大学情報基盤センターOakleaf-FX 4,800ノード(76,800コア，2016年11月)を包括的に行うことで，スーパーコンピュータ上で1億自由度以上の電磁界-熱伝導連 *2 東京大学情報基盤センターOakforest-PACS 8,192ノード(557,056コア，2019年2月)
成解析を効率的に行うことができるシステムの研究開発を行う．

EX18315 (東京大学推薦課題)

ADVENTURE_Magneticによる，移動体を含む回転機の大規模並列有限要素解析
研究目的

研究成果

ADVENTUREプロジェクトでは，数万ノード規模の超並列計算機環境において1,000億自由度規模の大規模電磁界解析を行うことを目的に，並列電磁界解析ソルバ
ADVENTURE_Magnetic (AdvMag)の開発を進めている．
AdvMagの新たなターゲットアプリの一つとして，回転機の大規模並列解析に2016年度より取り組んでいる．回転子という移動体を含む回転機の非定常有限要素解析は並列環境での効率的な取り扱いが難しく，スーパーコンピュータを有効に活用できていない分野の一つである．そこで階層型領域分割法に新たな領域分割技術を導入し，並列数に応じて計算時間を短縮することのできるソルバを開発した．
しかし，AdvMagはこれまで複素数演算に特化してチューニングを行っていたため非定常解析で必要となる実数演算にまだ弱点がある，効率的な解析に必要となる領域分割後の並列処理にかかる時間が並列数の2乗に比例して増えるなど，回転機の解析全体を効率よく行うにはまだ問題を抱えている．本課題では，数億～数十億自由度の回転機の非定常有限要素解析を効率よく行えるようになることを目指し，これらの問題を解決する．

回転機解析用の通信テーブルは領域分割とソルバ実行の間に行う並列処理プログラムにより生成していたが，MPIプロセス総当たりのアルゴリズムとなっていたためソルバの並列数の2乗に比例して処理時間が増えるアルゴリズムとなっておりノード数増加の障害となっていた．そこでアルゴリズムを改め，接続境界面と関係のない領域の処理を省くことにより，処理時間を減らした．
また回転機の数値解析では計算時間の短縮を目的として，形状および電磁界の周期性を利用して回転機の1/2や1/4を解析対象として自由度を抑えるといったことがしばしば行われる．この条件は対応する自由度を同一のものとすることで扱うことができるが，階層型領域分割法による並列解析では解析領域を分割したデータをプロセスが分散して持ち，プロセス内でさらに分割された小領域ごとに小さな行列を作るために対応する自由度が同じ行列に含まれず，通常の方法では同一のものとして扱うことが難しかった．そこで周期境界条件を考慮する面上の自由度をインターフェース自由度として扱い，周期境界条件用の通信テーブルを生成することで，並列環境で効率的に周期境界条件を取り扱えるようにするとともに，このアルゴリズムのチューニングを行った．動かない対象において，周期境界条件を考慮しない場合と考慮した場合についてOakforest-PACS (OFP)上でウィークスケーリングを行い計算時間を比較した．
一般に，新たなアルゴリズムを追加すると計算時間は長くなるが，チューニングによって周期境界条件を考慮しない場合に比べて計算時間の増加が1%未満に抑えられるようになり，提案手法は周期境界条件を考慮しない従来の階層型領域分割法と遜色ない性能をOFP上で得ることができた．

part 0subdomain 0

subdomain 1

DomainDecomposition subdomain 0

subdomain 1ba: DOF: Interface DOF: DOF on master face
: DOF on slave facepart 1

学際大規模情報基盤共同利用・共同研究拠点 第11回シンポジウム
2019年 7月11日, 12日