SS 研科学技術計算分科会 2021 年度会合 分科会レポート

大阪大学大学院 情報科学研究科 高畑勇我はじめに
2022 年 1 月 20 日，科学技術計算分科会 2021 年度会合が開催された．今年度のテー
マは「富岳スペシャル 3.0〜新時代の防災・減災〜」であり，スーパーコンピュータ「富岳」に関する研究開発や，「富岳」で実施した自然現象の予測などについて 4 つの講演が行われた．昨年度に続き今年度もオンライン上での開催となったが，多くの参加者によって活発な議論がなされた．

まず，京 都 大 学 の 深 沢 圭 一 郎 氏 か ら 開 催 趣 旨 の 説 明 が あ っ た ． 昨 年 度 は 主に新型コロナウイルス関連の講演が行われたが，昨年は「富岳」の稼働開始から時間が経っていなかったこともあり，その他の様々な分野・アプリケーションに関する成果はまだ見えていなかった．「富岳」が稼働し少し時間の経った今年度の会合では防災・減災に注目し，「富岳」を利用することで実現される新しい時代に関する議論が行われることを期待しているとのことであった．

「「富岳」成果創出加速プログラム地震課題～地震発生から地震動・地盤増幅評価までの統合的予測に向けて～」
堀 高峰 (海洋研究開発機構)
最初の講演は，富岳を用いた大規模数値シミュレーションによる地震時の揺れに備えるための予測システムに関するものであった．地震・津波による複合災害の予測シス

テムには，現状では都市を数百メートル四方の領域に分け，過去のデータを統計的に解析して被害を予測する手法がとられている．しかし，稀にしか起きない地震・津波の経験をもとにした計算であるため，精度は高くない．それに対して，将来は構造物一棟一棟に対して物理シミュレーションを行うことで，揺れを受ける都市システムの変化に追随する、科学的合理性をもった予測が可能となり、被害予測精度の向上が期待されるという．

シミュレーションベースの解析はポスト「京」重点課題での開発において，世界初の大規模な地震解析を実現するなどサイエンス・計算科学双方での実績をあげており，富岳コンピュータの利用でさらに信頼性が向上すると期待される．また，内閣府でも長周期地震動評価のための推計手法の高度化を必要としており，本プロジェクトはそのようなニーズにも合致している．
例えば，関東地方における長周期地震動のシミュレーションでは，詳細な地形を反映させるために地形を 588 億自由度，147 億個の四面体要素として計算を行う．この計算は富岳の 4096 ノードを用いれば 5 時間程度で可能であるため，実際に「政策対応枠」として計算が実施されている．
また，計算科学の最先端技術を駆使して災害被害予測のためのアプリケーションを改良することで，富岳での計算を高速化する取り組みも行われている．シミュレーショ
ンベースでの地震災害被害予測の計算は地表構造物・地下構造物・地盤の解析であり，変形特性の大きく異なるものを同時に計算するため，高負荷で大規模なものになる．このような計算でも，富岳全系を使用することで統合的に解析することが可能である．最近の研究では，関東平野を含む広域モデル (205km×256km×100km) に対して 0.125m〜64m, 3,240 億自由度のメッシュを用いた，震源断層・地震波伝播・地盤増幅・都市の揺れを含めたシームレスな計算が富岳全系で実施されたとのことであった．
そのほか，企業が国の想定と同じ計算ができるような仕組み作りとして，チュートリアルの実施など企業との連携や，シミュレーション成果の利活用を含む他のプロジェクトとの連携についても紹介があった．最後に，次のステップへの課題としてデータ同化の実施，モデルや計算の定量的な品質保証が必要であると述べ，講演を締めくくった．

「 「 富 岳 」 を 使 っ た ゲ リ ラ 豪 雨 予 報 ～ 2021 年 夏 季 の リ ア ル タ イ ム 実 証実験～」
三 好 建 正 (理 化 学 研 究 所 )続いて，富岳を用いたゲリラ豪雨の予報に関する講演が行われた．本講演では，今年度に行われた首都圏における超高速高性能降水予報のリアルタイム実証実験についての報告が中心であった．

はじめに，実証実験の概要についての説明があった．実証実験は昨年の 7 月 20 日〜
8 月 8 日および 8 月 24 日〜9 月 5 日にわたって行われた．この時期は東京オリンピッ
ク・パラリンピックが開催されていた期間であり,首都圏における超高速高性能降水予報は注目を集めやすい．本実験は富岳を利用して行われ，実験の実施期間には富岳の約 9%を専有して計算を行った．
次に，実証実験の成果の紹介がなされた．下の図は，実証実験期間内の 2021 年 7 月
29 日 19：30 頃における降雨予報と実際に観測された降水量の比較である．

図を見ると，予報開始直後〜30 分後程度まで，降水範囲・降水量ともに高い精度で予報ができていることが確認できる．この予報は，数理モデルを用いて水蒸気の動きやそれに伴う雨雲の生成を計算することで実現されているのだという．
この実証実験のほかにも，実際の観測・実験データを用いたデータ同化シミュレーシ
ョン事例の紹介も行われた．例えば，「京」による超高解像度の大気シミュレーショ
ンは，2013 年に発表されたものであるが，9 年経った現在でもこれを超える解像度の大気計算は行われていない．また，Phased Array Weather Rader (PAWR) を用いたレーダー観測では，30 秒ごとに隙間なく降雨の観測が可能である．以上に代表されるような高い精度でのシミュレーションと観測の技術をもとに，高精度な降雨予測が実現されているとのことであった．
講演の後半では，数値天気予報の仕組みに関する解説が行われた．データ同化や情報の不完全性・重ね合わせに関する数学的な説明など天候予報の背景となっている技術・理論が紹介されており，非常に興味深い話題であった．

「 Wisteria/BDEC-01 & h3-Open-BDEC～ （ 計 算 ・ デ ー タ ・ 学 習 ） 融 合 に よ る Society5.0 実 現 へ 向 け て ～ 」
中 島 研 吾 (東 京 大 学 )15 分程度の休憩を挟み，続いての講演は今年度に運用を開始した（計算・データ．学習）融合スーパーコンピュータである Wisteria/BDEC-01 と ， 革 新 的 ソ フ ト ウ ェ
ア 基 盤 で あ る h3-Open-BDEC に 関 す る も の で あ っ た ．

東京大学情報基盤センターでは，2022 年 1 月現在 Oakforest-PACS (OFP),
Oakbridge-CX (OBCX), Wisteria/BDEC-01 の 3 式の富士通製スーパーコンピュータシステムが運用されている．その中でも Wisteria/BDEC-01 は，2021 年の 5 月に運用が開始された最新のシステムである．
講演の前半は，Wisteria/BDEC-01 および h3-Open-BDEC を紹介するものであった．Wisteria/BDEC-01 はシミュレーションノード群とデータ・学習ノード群の 2 種類から構成されており，それぞれ「Odyssey」「Aquarius」と命名されている．
Odyssey はスーパーコンピュータ富岳と同じ A64FX を 7,680 ノード(368,640 コア)搭載している．A64FX は、最先端の 7mm プロセスで製造され、48 個の演算コアと 2 個または 4 個のアシスタントコアを有し、倍精度浮動小数演算で 33,792TFLOPS の理論ピーク性能を実現する。合計ピーク性能は 25.9PFLOPS.各ノードは 32GiB の HBM2メモリを搭載し、シミュレーションノード群(Odyssey)の総メモリ容量 240TiB、総メモリバンド幅は 7.8PB／秒.各ノードはバイセクションバンド幅が 13.0TB／秒のノード間相互結合ネットワーク(Tofu インターコネクト D)で結合される.Aquarius は，データ解析・機械学習を主な目的としており，各ノードは汎用 CPU2 基(インテル社製「第 3 世代 Xeon スケーラブルプロセッサ(開発コード名 Ice Lake)」)，演算加速装置(GPU)8 基(NVIDIA A100 Tenso コア)から構成されており，ノード間インターコネク
トには NVIDIA Mellanox HDR InfiniBand ネットワークが採用されている.Aquariusの合計ピーク性能は 7.2PFLOPS，総メモリ容量は 36.5TiB，総メモリバンド幅は578.2TB／秒.各ノードは，データ転送速度が 200Gbps の帯域を有する InfiniBand
HDR を 4 リンク用いて，古売セクションバンド幅を持つノード間相互結合ネットワークで結合されている．また，その一部は外部リソースへの直接接続が可能となっている．h3-Open-BDEC は「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤である．技術的な特徴としては，変動精度演算，精度保証，自動チューニングなどを取り入れ計算速度を向上させていることと，機械学習手法を計算に取り入れることにより計算量を削減していることの 2 つがあるという．
後半では，観測データ同化による長周期地震動リアルタイム予測についての解説があった．最初の講演でも言及されていたが，地震動のシミュレーションにはデータ同化とリアルタイム観測を融合した手法の開発が必要である．現在では，国内地震観測点の観測データを SINET 経由で取得可能なネットワークが存在する．このデータを用いたリアルタイムなデータ同化シミュレーションにより，従来型のシミュレーションよりも高い精度で計算が行えるという．
講演の最後には，今後も「計算・データ・学習」融合を実現するヘテロジニアスなシステムとして，HPCI, JHPCN 構成機関とも協力して「計算・データ・学習」融合推進を継続していくと述べた．

「 A64FX CPU 向 け コ ン パ イ ラ と チ ュ ー ニ ン グ 事 例 」

原 口 正 寿 (富 士 通 株 式 会 社 )本会合最後の講演は，富 岳 の CPU で あ る A64FX で 性 能 を 向 上 さ せ る た め のコンパイラ最適化技術と，チューニング事例についての紹介であった．

A64FX の特徴の 1 つとして，大規模システム向けに高い電力性能を実現していることがあげられる．しかし，その影響として命令レイテンシが大きいことや実アプリに対してメモリバンド幅が不足することなどの課題点も存在する．これらを改善し富岳の性能向上を実現するポイントとして，レイテンシの隠蔽，メモリバンド幅の有効活用，SIMD 化の 3 つを挙げた．
レイテンシの隠蔽のために行われた実装が，ソフトウェアパイプライニングである．
ソフトウェアパイプライニングでは，命令ループの回転を重ね合わせて命令レベルでの並列性を向上させる．本事例では，命令スケジューラの実装と処理内のループに対する翻訳時適用判断が実装された．さらに，アルゴリズムの選択機能やチューニング機能も併せて適用することでさらなる効率化を図ったという．スケジューリングアルゴリズムには 2 種類のアルゴリズムを採用し、ループに応じて自動選択している．また，チューニングでは逆数近似命令や数学関数のインラインを利用して命令をソフトウェアパイプライニング可能なものへと置き換えることで計算時間が短縮される．

しかし，ソフトウェアパイプライニングは万能ではなく，適用できれば必ず性能が上がるものではない．例えば，ループ回転数が少ない場合やデータに依存するループの場合はあまり効果がないという．
また，メモリバンド幅ネックのプログラムでは命令スケジューリングや最適化にはあまり効果がなく，性能向上のためにはメモリアクセス量を減らすことが重要である．
この考えから生まれたのが、データの中⾝を READ せずキャッシュ上の位置だけを確定する ZFILL 命令である．一例では，メモリのスループットが大きいアプリケーションに対して ZFILL により 1.32 倍の速度改善が確認できたという．そのほかにも trad
モードと clang モードの機能比較や C 言語，Fortran でのコーディングの工夫などについても言及があった．
続けて，実際のチューニング事例についての紹介があった．対象アプリケーションはフラグメント分子軌道 (FMO) 計算を高速に行えるソフトウェアであり，測定環境はA64FX (2.0GHz x 48cores)である．コンパイラは Fujitsu Fortran compiler 4.5.0 tcsds1.2.31, MPI は Fujitsu MPI である．まずプログラム全体のコスト分布を見ると 2 電子積分処理が全体の約半分を占めていたため，この部分のループ構造分析が行われた．
しかし，ループの回転数は少なくソフトウェアパイプライニングを適用することによる効果は期待できなかった．次に最適化情報を確認すると，コンパイラが SIMD 化を抑止していることがわかったため，OCL 指示子で SIMD 化を促進したところ，約 2倍の性能比が確認できた．さらに，プログラムの他の部分に対しても同様の手法を適用することで，SIMD 化による高速化を実現することができたという．
最後に，本チューニング事例の総括として，ソースコードの分析・SIMD 化による高速化の 2 つについて要点をまとめ，講演を終えた．

おわりに会合の最後に，九州大学の南里 豪志氏から閉会の挨拶があり，各講演について内容の整理およびコメントがなされた．防災および減災に関する富岳の活用事例や，それらを支えるシステム運用/高速化などの話題に関しての共有と，活発な議論がなされた有意義な会合であったと述べるとともに参加者への謝意が伝えられ，本会合が締めくくられた．