― 12 ―SENAC Vol. 55, No. （3 2022. 7）［JHPCN シンポジウム］

令 和 4 年度 J H P C N 採 択 課 題 ポ ス タ ー 紹 介
令和 4 年度学際大規模情報基盤共同利用・共同研究拠における当センターとの共同研究課題のポスター5 件と Web サイト 2 件をご紹介します。
以下 5 件の課題は、次ページ以降のポスターをご覧ください。
・jh220018 「日本全土の洪水氾濫被害と適応策の検討」
研究代表者 峠嘉哉(東北大学)
・jh220025 「センター間連携による柔軟な計算資源提供に関する研究」
研究代表者 滝沢寛之(東北大学)
・jh220027 「非同期入出力機構を用いた大規模乱流直接数値シミュレーションコードの開発」
研究代表者 横川三津夫（神戸大学）
・jh220043「熱中症リスク評価シミュレータの開発と応用」
研究代表者

・jh220050

平田晃正(名古屋工業大学)「Implementation and Application of High-Performance Empirical DynamicModeling」
研究代表者 高橋慧智（東北大学）

以下の 2 課題については URL をご参照ください。
・jh220048 「HPC と高速通信技術の融合による大規模データの拠点間転送技術開発と実データを用いたシステム実証試験」
研究代表者 村田健史(国立研究開発法人情報通信研究機構)
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220048
・jh220053「プロペラ駆動小型無人機の設計検討技法の確立を目指した空力・推進・構造の実機丸ごと統合シミュレーション」
研究代表者 金崎雅博(東京都立大学)
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220053

令和 4 年度 JHPCN 採択課題ポスター紹介― 13 ―

14th Symposium

学際大規模情報基盤共同利用・共同研究拠点 公募型共同研究 令和4年
年度採択課題jh220018

峠 嘉哉 （東北大学工学研究科），滝沢 寛之（東北大学サイバーサイエンスセンター）

日本全土の洪水氾濫被害と適応策の検討[回]

近年，⽇本各地で洪⽔被害が多発しており，気候変動の影響で豪⾬の増加が⾒込まれる

洪⽔リスク上昇地域の最適な対策は何か⇒ 将来への効率的な治⽔投資
複数の適応策の⽐較と地域性考慮が必要

国⼟交通省https://www.mlit.go.jp/policy/shingikai/content/001360743.pdf

⼭形豪⾬ (2020年)

研究⽬的︓⽇本全国でのシナリオ（気候や社会変化，適応策）に応じた膨⼤な組合せ氾濫被害推定の⾼速化・⾼精度化

豪⾬⽇数の将来変化(気象庁)（Yamamotoら，Climatic Change, 165:60）

洪⽔氾濫解析

将来の降⽔量︓全球気候モデル
RCP2.6100mm/day 200mm/day

現在気候時との豪⾬⽇数の差

背景・⽬的

一定浸水深以上の地点の土地利用を規制

RCP4.5

⾼解像度洪⽔氾濫解析

適応策の被害軽減⽐較

RCP8.5mm/day

⽇本各域で再現期間100年洪⽔を⽣じさせる⽇降⽔量の気候シ
ナリオRCPの違い (2100年時)1km解像度

250m解像度

100年確率降⾬時の浸⽔深分布並列化の負荷分散

県別被害軽減割合
左︓治⽔施設レベルの向上
右︓たんぼダム

多数の組み合わせ計算
複数計算の効率化・⾼速化

膨⼤な計算量シナリオ3
RCP2.6+SSP1
RCP4.5+SSP2
RCP8.5+SSP5

将来目標3

気候モデル5

現在
2050年頃
2100年頃

国内2豪州1
仏国1，独国1

リスク計算：再現期間4 30, 50, 100, 200年
適応策5：適応なし，治水施設，土地利用など各プロセスの実⾏時間の標準偏差を⽬的関数とし，これを最⼩化したベイズ最適化とランダムサーチの⽐較（⽯塚ら，情報処理学会論⽂誌, 59）

900通り×全国600万セル並列化の負荷をベイズ最適化を利⽤し，⾼速化をはかる

学際大規模情報基盤共同利用・共同研究拠点 第14回シンポジウム
2022年 7月7日，8日

HYBRID― 14 ―

SENAC Vol. 55, No. （3 2022. 7）

14th Symposium学際大規模情報基盤共同利用・共同研究拠点公募型共同研究 令和４年度採択課題

jh 2 2 0 0 2 5

滝沢寛之（東北大学） 佐々木大輔（金沢工業大学） 伊達進(大阪大学)
江川隆輔（東京電機大学） 小川秦一郎（大阪公立大学） 下村陽一（東北大学） 高橋慧智（東北大学） 高橋俊（東海大学）

センター間連携による柔軟な計算資源提供に関する研究

研究目的 JHPCNは8つの機関から構成されるネットワーク型の共同利用・共同研究拠点であり、それぞれの機関が独自の計算資源を独自の運用方針に基づいて提供している。本研究の目的は、JHPCN計算資源の有効活用を実現する資源管理機構とその運用体制を検討し、実現可能性を明らかにすることである。各計算資源の利用率は時々刻々と変化しており、ある機関で計算資源が足りない時に、他の機関では同じ種類の計算資源が遊休状態にある可能性がある。このため、より柔軟に計算資源を融通しあう環境を整備することができれば、JHPCN全体で計算資源のより効率的な活用を期待できる。そのような複数機関の連携による運用を実現するためには、ストレージシステムやバッチジョブスケジューラの連携という技術的検討に加えて、課金体系や利用者管理などの運用方針の観点からも様々な検討が必要となる。本研究では、技術的視点からの検討によって実現可能性を示すともに、複数のセンター間連携による運用の実現に向けた運用上の課題の明確化を行う。

研究計画 東北大学サイバーサイエンスセンターと大阪大学サイバーメディアセンターとの間で相互にジョブを投入する仕組みを構築し、同センター間でのクラウドバースティングを実現する。東北大学サイバーサイエンスセンターで開発中のジョブスケジューリングのシミュレータを用いて、ジョブスケジューラの設定について検討する。近年急速に需要が高まっているデータ駆動型研究のジョブは、巨大なデータを扱うために従来の数値シミュレーションよりも他センターへ転送するためのコストが大きい。このことを踏まえ、ジョブスケジューリングのアルゴリズムや適切なパラメータ設定を議論する。以上の技術的な検討項目に加えて、例えば課金制度や利用者管理、利用者支援業務など、連携して運用する際の両センターの運用方針に関する課題を明確化する。

センター間ジョブ転送の仕組みの構築

本研究では、東北大学サイバーサイエンスセンターと大阪大学サイバーメディアセンターのそれぞれのセンターにおいて専用のバッチキュー(以下、転送キューと呼ぶ)を設け、そこに投入されたジョブは他方のセンターの計算資源を使って実行されるように設定する。そのようなジョブ転送の仕組みを実現することを目標とし、その実現に必要な基盤ソフトウェアの研究開発を行う。

実運用システムにおけるジョブスケジューリングのシミュレーション

東北大学サイバーサイエンスセンターでは、Slurmシミュレータに独自の拡張を加えて同セン
ターが運用するスーパーコンピュータAOBAのジョブスケジューリングを再現する研究開発を行っている。

大阪大学 サイバーメディアセンター
SQUID/OCTOPUS

Submit

1.8 Pflop/s

2.3 Pflop/s
Submit東北大学
サイバーサイエンスセンター

Submitlogin

実運用システムAOBAでのジョブスケジューリングの忠実な再現を目指して

NEC SX-Aurora TSUBASA PaaS

大阪大学サイバーメディアセンターではオンプレミスの計算資源からパブリッククラウドへのジョブ転送(クラウドバースティング)をすでに運用しており、東北大学サイバーサイエンスセン
ターでもクラウドバースティングの運用を予定している(2022年10月運用開始)。このことから、パブリッククラウドへの転送とセンター間転送との適切な使い分けも議論する。
実証実験においては、共同研究者の数値流体シミュレーション(極超音速流れの解析、移動物体（膜翼）の解析、ロケット燃焼室内部3次元流れ)を題材とし、それぞれの研究分野での成果創出を目指すと同時に、転送キューにジョブを投入して実アプリケーションの長時間実行を実施する。その際の使い勝手やオーバヘッドの情報を収集し、その後の研究開発の方針を検討する際に役立てる。

パラメータ調整による効果をシミュレーションによって事後検証 [2]現在ではAOBA内でのジョブスケジューリングを対象とした研究開発を行っているが、パブリッククラウドや他のセンターへのジョブの転送も可能になった場合を想定して、その適切なジョブスケジューリングを実現するための検討を行う。
具体的には、ジョブ転送のオーバヘッドをモデル化し、どのジョブを転送キューに移せばシステム全体としての効率を改善することができるかを予測する手法を検討する。サイト間のデータ転送のコストが大きいことを考えれば、利用するデータ容量の大きいジョブの転送を回避する方針が有望だと予想される。そのようなモデル化に基づいて、選択的にジョブを転送することでシステム全体としての効率に与える影響をシミュレーションに基づく調査により明らかにする。

運用面での課題の明確化

本研究課題で実証実験に必要な計算資源の利用負担金は本研究課題で負担することを前提に協力者を募る計画になっているが、実際の運用を念頭に置いた場合には、利用者管理や課金処理において多くの課題がある。本研究課題を通じてそれらの課題を明確化するとともに、その解決に向けた運用方針についても具体的に検討する。

参考文献[1] 小川秦一郎，大内健太郎，佐々木大輔，”直交格子積み上げ法を用いたキャビティ付き固体燃料ロケット内部流れの流体解析手法の構築，” 第54回流体力学講演会／第40回航空数値シミュレーション技術シンポジウム，1C02，2022．
[2] Tatsuyoshi Ohmura, Yoichi Shimomura, Ryusuke Egawa and Hiroyuki Takizawa,“Toward Building a Digital Twin of Job Scheduling and Power Management on an
HPC System,” 25th Workshop on Job Scheduling Strategies for Parallel Processing(JSSPP 2022), Online, June 2022キャビティ付き固体燃料ロケット内部流れ [1]

学際大規模情報基盤共同利用・共同研究拠点 第14回回シ ン ポ ジ ウム
2022年 7月 7日，8日

東 京 コ ン ファ レン ス セ ン ター ・ 品 川

令和 4 年度 JHPCN 採択課題ポスター紹介― 15 ―JHPCN: 学際大規模情報基盤共同利用・共同研究拠点 第14回シンポジウム 2022年度課題
2022年7月7日（木）＠東京コンファレンスセンター・品川

jh220027 非同期入出力機構を用いた大規模乱流直接数値シミュレーションコードの開発
代表︓横川 三津夫（神⼾⼤学）
撫佐昭裕，⼩松⼀彦（東北⼤学），⽯原卓（岡⼭⼤学），曽我隆，⼭⼝健太，⼭根悠輝（⽇本電気）松本泰⽣，畑中裕翔（神⼾⼤学）本課題では，非圧縮性及び圧縮性乱流直接数値シミュレーション（Direct Numerical Simulation，DNS）コードに対し，変数の一時退避場所としてのテンポラリ・ファイルを作成し，使用メモリ容量を削減するコード実装を行い，その計算性能及びファイル入出力性能の評価を行う．特に，ファイル入出力に対しては，SX-Aurora TSUBASA が提供する高速入出力機構や非同期入出力機構を利用し，大規模DNS実⾏の可能性について評価する．

1. はじめに － 背景とコード実装の考え方

3．実装イメージ

スーパーコンピュータの高速化，大規模化により，大規模乱流DNSが進展．大規模な乱流DNSデータベースが構築されている．

並列化コードで使用されている変数に対し，1つのプロセス中の変数をさらに分割し，個々のファイルに保持．メモリ量を削減．

計算資源が足らず，さらに規模の大きいDNSが不可能【ファイル利用による実装】
計算すべき物理量（変数）をファイルに保持し，随時，部分的に変数を読み書きしながら時間積分を行う．
（利点）

（欠点）

• 使用メモリ容量が減少• 従来の計算時間に加え，ファイル入出力時間が増加• ファイルシステムへの負荷が高い

計算とファイル入出力を非同期に実行出来れば，ファイル入出力時間を計算時間に隠蔽されることが期待される．

2. 直接数値シミュレーション（DNS）コードの概要
1) 非圧縮性一様等方乱流DNSコード（Box乱流）
領域 Ω � ��, � � ��, � � ��, � において
𝜕𝜕𝜕𝜕�� �,𝜕𝜕𝜕𝜕�𝜕𝜕𝜕𝜕�𝜕𝜕𝜕𝜕�𝜕𝜕𝜕𝜕
1 𝜕𝜕 � 𝑢𝑢�� 𝜕𝜕����� 𝑓𝑓�𝜕𝜕𝜕𝜕𝜕𝜕𝜕𝜕�𝜕𝜕𝜕𝜕� Re 𝜕𝜕 � 𝑥𝑥�in Ω𝑢𝑢� :流速，𝑝𝑝:圧力，Re:レイノルズ数， 𝑓𝑓� :外力，周期条件 on 𝝏𝝏𝝏 空間離散化： フーリエ・スペクトル法（3次元高速フーリエ変換）

aliasing errorは， 2N/3以上のモードカットとphase shift法で除去
4段4次ルンゲ・クッタ法

 時間積分：2) 等温を仮定した圧縮性乱流DNSコード
立方領域 Ωにおいて𝜕𝜕𝜕𝜕 𝜕𝜕𝜕𝜕𝜕𝜕��� �,𝜕𝜕𝜕𝜕�𝜕𝜕𝜕𝜕𝜕𝜕 � 𝜕𝜕𝑐𝑐 � ,4．予備実験 － チェックポイントファイルへの非同期出力
時間発展熱伝導方程式を離散化したテストコードを作成し，途中経過を一定時間間隔でチェックポイントを取る場合について，SX-Aurora
TSUBASAの非同期入出力機能による計算時間を計測した．
（計算時間）＞（I/O時間）の時，計算時間にファイルI/O時間が隠蔽されている．非同期入出力機構の正常動作を確認．

5．今後の課題
 非同期入出力機能の性能評価‣ ノード直結のSSDファイルシステム vs. 並列ファイルシステム

 非圧縮性，圧縮性乱流DNSコードへの実装と評価𝜕𝜕𝜕𝜕𝜕𝜕� 𝜕𝜕�𝜕𝜕𝜕𝜕� 𝑢𝑢� � 𝜕𝜕𝛿𝛿�� � 𝜕𝜕𝜕𝜕��
��
� 𝑓𝑓� ,𝜕𝜕𝜕𝜕𝜕𝜕𝜕𝜕�
𝜕𝜕𝜕𝜕�𝜕𝜕𝜕𝜕� 𝜕𝜕𝜕𝜕� 2 𝜕𝜕𝜕𝜕�
𝜏𝜏�� � 𝜇𝜇��𝛿𝛿𝜕𝜕𝜕𝜕� 𝜕𝜕𝜕𝜕� 3 𝜕𝜕𝜕𝜕� ��in Ω𝑢𝑢� :流速，𝜌𝜌:密度，𝑝𝑝:圧力，𝑐𝑐:音速，𝜇𝜇:粘性係数，𝑓𝑓� :外力，周期条件 on 𝝏𝝏𝝏 空間離散化

移流項：
8次精度コンパクト差分
粘性項：
8次精度中心差分
 時間積分： 3段3次TVDルンゲ・クッタ法
 高波数領域における数値振動の除去：8次精度ローパスフィルタ

6．参考文献i.

Y. Takenaka et al., Optimizations of DNS Codes for Turbulence on SXAurora TSUBASA, Sustained Simulation Performance 2019 and 2020,
pp. 51-59, Springer, (2021)
ii. Y. Sakurai et al., Effects of the Compressibility of Turbulence on theDust Coagulation Process in Protoplanetary Disks, AstoroPhys. J., 911(2), p. 140 (2021)
iii. T. Ishihara et al., Second-order velocity structure functions in direct
numerical simulations of turbulence with Rλ up to 2250, PhysicalReview Fluids, Vol. 5, 104608, pp. 1-15 (2020)
iv. M. Yokokawa et al., I/O Performance of the SX-Aurora TSUBASA, Proc.
of 2020 IEEE International Parallel and Distributed Processing
Symposium Workshop (IPDPSW), pp. 27-35 (2020)

― 16 ―

SENAC Vol. 55, No. （3 2022. 7）

14th Symposium

学際大規模情報基盤共同利用・共同研究拠点公募型共同研究 令和4年
年度採択課題jh 220043

平田 晃正 (名古屋工業大学)

熱中症リスク評価シミュレータの開発と応用
江 川 隆 輔 （ 東京電機大学） 滝 沢 寛 之 (東東 北 大学サイバーサイエンスセンター)
堀 江 祐 圭 ，木幡 咲 英 理 (日日 本気象協会)，， 小 寺 紗 千 子，高田 旭 登 ，木下 晃 太 郎，植田 晴 大 (名名 古 屋工業大学)

解析手法➢ 計算機上にて、様々な環境を模擬した仮想空間に人体モデルを配置，図1に示したフローチャートに従って体温変化や発汗量を計算．
生体熱輸送方程式を用いる．組織間の➢ 温度上昇解析は生熱伝導や体表面から外気への熱熱伝達に加え，体温上昇に伴う発発汗，血血流量変化による熱輸送などの熱熱調整機能（ システムバイオロジー），太太陽光吸収による熱発生を考慮し，時間領域有限差分法で逐次計算．

プログラム実行人 体 モ デル の 指 定
体温上昇の計算発 汗 モ デル の 指 定
熱調整機能考慮
解析環境の設定No

設定時間の満了

Yes
解析終了(解析結果の格納)Adult

75 y.o➢熱中症搬送者数をはじめとする統計データと解析結果との連携
熱中症搬送者数予測技術を，気象これまでに構築した熱の異なる8都道府県に展開，その有効性を示す．解析期間は2013-2019年6-9月とし，入力変数には，一日の平均気温と，暑暑熱ばく露解析により算出した総発汗量，最大体温上昇値をそれぞれ用いる．
➢ 白内障発症メカニズム解明のための解析コードの改良と統計的考察
新たな応用展開として、これまで紫外線や外気温との関連性があるとされてきた 核白内障発症のメカニズムについて、その発生要因を考察する。複合物理解析コー
ドを改良、眼球(水晶体)の高精度推定を可能にし、核白内障有病率との相関を調査する．

Body Surface
Temperature [C]

38

32

人体モデル
人体モデル

65-74yMeasured≥75yComputed w/o sweat

Average Ambient Temperature [C]

図2. 年代別温度分布の再現と熱中症搬送者（屋内・高齢者）の搬送時体温と解析値の比較

150

Number of Patients

今年度の研究計画

電波の入力

図1. 解析のフローチャート

これまでの主な成果➢2015年からの採択課題により高速化・並列化による準リ
アルタイム熱中症リスク評価システムを確立．ロードイ
ンバランスの解消等により，従来の2倍の解像度を持つ
1mmモデルで3時間の暑熱ばく露における体温変化や分で試算可能．
発汗量を5.8分➢名古屋市消防局と連携し、熱中症搬送者データを用いて高齢者の熱中症発症メカニズムについて考察．
➢長期間解析（2018-2020年6-9月）により得られた推定
深部体温と実際に搬送された患者の搬送時体温とを比較、数日間の熱負荷蓄積が起因していることを示唆（
図2参照）．

パラメータの入力

初期温度の計算

Body Core Temperature [C]

➢ 熱中症による死亡者数は増加傾向．死死亡例も報告．
➢ 本研究グループでは日本の夏場などの環境において，熱中症の主な要因である体体温上昇，発汗量の解析を実施．
➢ 解析結果から熱中症のリスク評価を行い，熱中症予防の普及啓発活動に寄与することが目的．

解析結果・グラフ

繰り返し研究背景と目的

100

Observed
Average
Temperature Estimated
Amount ofPerspiration
Body Core
Temperature
Rise

500

Jun.1
Jul.1
Jul.31 Aug.30 Sep.29
図3. 東京都における熱中症搬送者数予測（2013-2019年平均）➢ 一例として，東京都における熱中症搬送者数の予測結果を示す（図3参照）．各入力変数において，高い予測精度を示しており（決定係数R2≥0.8），特に暑熱ばく露解
析の結果を用いた予測で高い精度が得られた．
学際 大規模情 報基盤共同利用・共同研究拠点 第 1 4 回シンポジ ウム
2022年 7月 7日ONLINE

令和 4 年度 JHPCN 採択課題ポスター紹介― 17 ―

Project ID: jh220050 (国際課題)

Implementation and Application of High-Performance
Empirical Dynamic Modeling
Keichi Takahashi1, Gerald M. Pao2, Wassapon Watanakeesuntorn3
1 Cyberscience Center, Tohoku University, Japan keichi@tohoku.ac.jp
2 Salk Institute for Biological Studies, USA
3 Nara Institute of Science and Technology, Japan

Background

Target Application

We have been developing a high-performance implementation ofEmpirical Dynamic Modeling (EDM), an emerging framework for nonlinear time series analysis, and applying it to large-scale datasets. EDM
enables a variety of analyses such as short-term forecasts, quantification ofnon-linearity, and causal inference. These analyses are achieved byreconstructing the latent dynamics behind the data without assuming aparametric model or using prior knowledge (thus the name empirical).

We aim to analyze the neural activity of an entire larval zebrafish brainthat we recored at singe-neuron resolution using light sheet fluorescencemicroscopy. So far, we identified a manifold that predicts turns of the fish atleast 0.5 seconds ahead of time. Whenever the neural activity trajectory
enters one of the loops of the manifold, the fish will turn.

Observations

GCaMP6f (calcium indicator)transgenic larval Zebrafish

Light sheep fluorescencemicroscopy image

Reconstructed Manifold

Shadow Manifold

Timelags
Activity (i.e., firing rate)of individual neurons

Causal relationshipbetween neurons

Diﬀeomorphism
Topological features
are preserved

Objective
Although EDM is a generic method for modeling non-linear time series
data, it was originally developed in the field of ecology. Existing libraries
for EDM analysis are thus designed to target a small number of shorttime series. While recent studies have applied EDM to datasets including
neural activity, gene expression and meteorology, the lack of a highperformance implementation limits the scale of datasets that can beanalyzed. To handle large-scale datasets, we have been developing ahigh-performance EDM libraries [1, 2]. In this research, we continue thiseﬀort by tackling the following challenges:

Preliminary Performance Results
Using our EDM implementations mpEDM and kEDM, we have conductedpreliminary performance measurements and roofline analysis on AMD EPYC
7742 and NVIDIA V100.
k-NN on AMD EPYC 7742

k-NN on NVIDIA V100

Lookups on AMD EPYC 7742

Lookups on NVIDIA V100

1. Porting our EDM implementation to the SX-Aurora TSUBASAvector engine: Since EDM is a highly memory-bound algorithm, wewill port EDM to the SX-Aurora TSUBASA vector engine to takeadvantage of its massive memory bandwidth. We plan touse our implementation of EDM named
kEDM (https://github.com/keichi/kEDM) basedon the Kokkos performance portability framework.
2. Enhancing the scalability of EDM by utilizing approximation
algorithms: A time-consuming kernel in EDM is the All k-Nearest
Neighbor (AkNN) Search in the state space. Existing implementations
use a brute-force algorithm, but this is clearly not scalable. We will thus
integrate various approximate k-NN search algorithms (spatial trees,proximity graphs, product quantization, etc.) into EDM and evaluate
which algorithm is best suited.
3. Analyzing neural activity datasets to evaluate the performance ofthe ported implementation: Our main goal is to perform EDM causal
inference between neurons in an animal brain and elucidate how eachindividual neuron interacts with one another.

References

㻾[1] K. Takahashi, W. Watanakeesuntorn, K. Ichikawa, J. Park, R. Takano, J. Haga, G. Sugihara, G. M.
Pao, “kEDM: A Performance-portable Implementation of Empirical Dynamic Modeling usingKokkos”, PEARC 2021, Jul. 2021.
[2] W. Watanakeesuntorn, K. Takahashi, K. Ichikawa, J. Park, G. Sugihara, R. Takano, J. Haga, G. M.
Pao, “Massively Parallel Causal Inference of Whole Brain Dynamics at Single Neuron Resolution”,ICPADS 2020, Dec. 2020.