SS研 科学技術計算分科会2019年度会合 分科会レポート
HPC道 ～われわれの進むべき道は？～
北海道大学 情報基盤センター 深谷 猛
§はじめに2019 年 10 月 24 日，ANA クラウンプラザホテル神戸にて，「HPC 道 ～われわれの進むべき道は？～」と題して，SS 研科学技術計算分科会 2019 年度会合が開催された。冒頭，科学技術計算分科会の企画委員の田中輝雄氏（工学院大学）から，今回のプログラム企画の趣旨の説明があった。
「京」の運用が終了し，「富岳」の開発が佳境となったこのタイミングで，改めて，今後の HPC の在り方（HPC 道）を議論することが重要であるとのことである。そこで，これまで HPC に関連する分野で長く研究を行ってきた研究者の方のお話を伺うという趣旨で，今回，姫野氏と樋口氏に講演を依頼したとのことであった。また，これらの二名の講演に加えて，井戸村氏から 2019 年 6 月に終了した「メニーコア時代のアプリ性能検討 WG」について，山中氏から「富岳」の開発に関する最新の情報について報告が行われるとの紹介があった。また，今回は，展示をゆっくり見ることができるように，途中の休憩時間を 1 時間と長めに設定しているとのことであった。

企画委員の田中氏による冒頭の挨拶の様子§「CFD、MD、次は量子化学計算？」姫野龍太郎 氏 (理化学研究所)
最初の講演者は，流体計算で著名な理研の姫野氏である。冒頭，自身がこれまで実際にプログラムコードを書いて CFD 計算を行ってきた様子を紹介された。また，「京」コンピュータのプロジェクトでは，MD のソフトウェア開発にも関与しており，MD は「京」により最も発展した研究分野の一つではないか，とのことであった。それで，「次はどの分野なのか？」という話題になるが，姫野氏としては，量子化学計算を考えるべき，との認識とのことであった。

次に，日産自動車で車の周りの流体計算をしてきた過去の様子を述べられた。この中で，1995 年の時点で10mm 以上の部品はメッシュに反映して計算することが可能となり，（1985 年の時点と比べて）10 年で大きな進歩が感じられたことを語られており，まさにムーアの法則の恩恵（10 年でおおよそ計算機の性能が 100倍向上）であるとのことであった。一方で，ソフトウェア開発における上司とのやり取りなどの苦労話も紹介され，その後の教訓となったとのことであった。例えば，2 次元の計算で十分な精度が出るまで，3 次元計算を行わないように指示があったが，3 次元の現象を 2 次元化するのは本質的に無理があった（3 次元の計算をやってみたらうまくいった）ことや，当時の流体計算では細かい渦を解像しないといけないという認識があったため，3 次元計算の演算量が膨大になると敬遠されていたが，実は，細かい渦を必ずしも解像しなくてもよい場合があったそうだ。
「画期的なことはなかなか理解してもらえない」との発言には説得力があった。
自動車の開発の現場では，CAE の効果が顕著であり，例として紹介されていた衝突計算では，モデルの規模が大きくなり，衝突の予測精度が向上したとのことであった。その結果，高精度なシミュレーションが可能となり，設計変更の数が飛躍的に減少し，開発期間が当初は 36 ヶ月だったのが，10 ヶ月から 12 ヶ月程度まで短縮され，高い競争力の源泉となったとのことであった。一方で，CAE にかかるコストの 80%はソフトウェアのライセンス費用となり，ハードウェアやソフトウェアのオペレーションに費やす費用は 10%程度となったそうである。さらに，並列計算機の普及に対して，並列化に対応したソフトウェアのライセンス料が高くなり，ハードウェアに十分追従したソフトウェアを利用するのが簡単ではなくなってきているとのことであった。このソフトウェアの問題に対しては，日産に在籍していたときの視点からは，大学や国などのプロジェクトで開発されたソフトウェアは，ライセンス料の点では良いが，企業の使い手を意識した作りになっていなかったり，プロジェクトが終了した後にサポートが保証されず信頼性が乏しかったりとするため，実際の現場で利用するには障壁があるとのことであった。このような点を踏まえて，ソフトウェア作りの重要性を強調されていた。
最後に，今後に向けて，ということで，「さらに早いコンピュータは必要なのか？」との問いに対して，「（LINPACK に代表されるような）単なる速度はもはや意味をなさない」，そして「何を実現するか？これまで不可能であったものを実現できるか？」という視点で考えることが重要であると述べられていた。また，姫野氏が関与している創薬分野では，現状，比較的容易に開発できる薬は実は大方開発済みであり，困難な薬のみが残っている状況である，とのことであった。そのため，今後は分子間相互作用のシミュレーションに基づいた新規薬物分子の開発が期待されており，例えば，そのような事例に貢献できるコンピュータができれば「不可能であったものが実現できる」とのことであった。
質疑応答の中で筆者が印象に残っているのは，姫野氏が講演で指摘されたソフトウェアの重要性に関連して，現状の対策等に関する質問があり，RIST の奥田氏による RIST の取り組み（各大学の計算機センターのスパコンに国のプロジェクトで開発されたソフトウェアを導入する）が紹介され，更に何か計画があるのか？という話になった。いろいろと努力はしているが，結局，誰かエネルギーを持った人が主導することが必要であり，そのような人が出てきてくれるのを期待している（皆，誰かがやってくれることを期待している）状況で，依然として難しい問題であることが再確認された。

姫野氏の講演の様子§「メニーコア時代のアプリ性能検討 WG 報告」井戸村泰宏 氏(日本原子力研究開発機構)二番目の講演として，原研の井戸村氏から，「メニーコア時代のアプリ性能検討 WG」の実施内容について報告があった。冒頭，本 WG の幹事や委員等の紹介があり，主な検討事項としては，基盤技術・アプリ事例・Post-FX100 での性能推定の 3 項目であったとのことであった。今回の講演では，これらの中からハイライトのみが紹介され，詳細については報告書を参照して欲しいとのことであった。
まず，基盤技術に関する主な内容としては，以下を挙げられていた。
自動チューニング技術：ループ変換やスレッド数を動的に変更する自動チューニング事例を実施

非ブロッキング集団通信の通信隠蔽効果：通信用のコアを確保することで隠蔽が可能を実現

アプリケーションの性能予測：キャッシュメモリの影響を考慮した改良型ループラインモデルの提案



C++コンパイラの最適化機能の改善：STL コンテナの最適化やリンク時最適化機能に関して，富岳向けのコンパイラで改良を予定
次にアプリ事例に関する主な内容は，以下の通りとのことであった。

LBM コードの性能測定・最適化：約 4.2 倍の性能向上を達成

擬スペクトル法磁気流体力学コードの最適化：FFT のパイプライン通信隠蔽

粗視化 MD の性能最適化：妥当な性能が実現できたが，富士通製 mpi_wtime が高コストであることを確
認（富岳では改善予定とのこと）

有限要素法コードにおける多倍長精度の利用：富士通製の擬似 4 倍精度ライブラリの性能を評価（SIMD処理可能な関数があり，それを使うと高い性能が得られるとのこと）最後に Post-FX100 での性能推定に関する主な内容として，以下の内容が報告された。

性能推定の方法：対象アプリのカーネルを抽出し，FX100 で詳細プロファイラを実施。得られたプロファイル結果を用いて，性能予測ツールを実行。ただし，Post-FX100 ではレジスタ数が 32 なので，同じ状況になるようにして FX100 でプログラムを実行して，プロファイルを得ることで推定精度の向上を図った。
核融合プラズマ乱流コード，プラズマ流体解析コード，宇宙プラズマ 5 次元ブラソフコード，N 体カーネ
ルに関して，上記の手法で性能推定を実施。

演算律速なプログラムについてはレジスタ数が 32 となることの影響を強く受けることが予想される。

井戸村氏の講演の様子§「「富岳」のソフトウェア技術について」山中栄次 氏(富士通)
3 番目の講演として，富士通の山中氏から，富岳の開発状況が報告された。富岳のハードウェアに関しては，様々な場で報告がなされているので，今回の講演では，ソフトウェアの面にフォーカスして報告するとのことであった。
冒頭，京の開発を振り返った後，富岳のハードウェアの簡単な紹介があった。京との比較としては，富岳のネットワークである Tofu-D ではノード当たりの TNI が 6 個に増強（京では 4 個）され，これを同時に使うことで高いノード間通信が期待できるとのことであった。また，京では 100 ラックで 1PFLOPS となっていたが，富岳では 1 ラックで同等の理論性能を達成できるとのことで，システムの集積度の向上も筆者にとっては印象的であった。
今回の講演でフォーカスしている富岳のソフトウェア技術について，最初にシステムソフトウェアが説明された。主な特徴として，講演で紹介されていたのは，以下の事項である。
RHEL 系ディストリビューションを採用（OSS・ISV の大半が動作できる）。なお，RHEL8 の SVE・
A64FX の対応は問題ないことを確認している。

コンテナを用いたジョブ実行の実現ローリングアップデート：運用を継続したまま，保守が可能

パッケージ管理ツールとして Spack を導入（Arm を巻き込んで取り組み中）

電力ジョブスケジューリング：理研開発のジョブ電力予測機能を活用
次に，プログラミング実行環境について紹介があった。主な内容は以下の通りである。

コンパイラ：最新の言語規格，FP16 サポート，ArmV8+SVE を生かすベクトル化・命令の最適化



C/C++に関して，オープンソースの Clang/LLVM を導入し，富士通の HPC 技術との融合を図る（オプションで切り替えを可能に）

MPI：MPI4.0 をサポート，Tofu-D の 6 方向同時通信サポート（ノード当たり 6 個の TNI を活用）
，ノード内通信（4 区画の NUMA なのでノード内に 4 つの MPI プロセスを起動することを想定）の高速化（二重反転プロペラをイメージした CRP アルゴリズムの利用により負荷を均等化し，バスの性能をできるだけ引き出す）。

数学ライブラリ：FP16 の GEMM のサポート



開発支援ツール：CPU 性能解析レポートとして，3 段階の詳細度に対応したレポートの作成。基本的には京と同じで，消費電力情報を追加し，可視化方法等も改善を予定。
最後に，開発状況の報告があり，富士通内で小規模システムが稼動しテスト中であること，システムソフトウェア等の仕上げを実機にて実施中であること，富岳の商用機として FX1000/700 を予定していることが紹介された。
主な質疑応答の内容は以下の通りである。
MPI の性能の測定：社内の 384 ノードのシステムで実測。

FP16 のサポート：基本的には double や float のような他の型と同様に使えることを予定。ただし，組み込み関数等については一部例外あり。

山中氏の講演の様子§「データサイエンスが誘うメゾスコピック HPC」樋口知之 氏（中央大学）
最後の講演者は，統計数理研究所の前所長で，現在は中央大学理工学部の教授である樋口氏である。冒頭，「2001 年宇宙の旅」の例などを挙げながら，人間の近未来予想が当たらないこと，そして，この 30 年の間にいろいろな出来事が起きたことを振り返りつつ，その間，樋口氏はデータ同化の研究を行ってきたことを述べられた。
講演のタイトルにある「メゾスコピック」とは，マクロとミクロの間の領域のことであり，材料・生命・経済をはじめとする多くの分野において，メゾスコピック領域に興味深い問題があるそうである。マクロな領域に対しては，数理的な形式で表現された法則に基づいてアプローチすることが一般的であり，帰納的アプローチである。一方，ミクロな領域に対しては，第一原理計算に基づくアプローチが主流であり，演繹的アプローチと言える。しかし，メゾスコピックな領域に対しては，そのどちらかの手法単一では対応が難しく，帰納と演繹のバランスや融合が重要であるとのことであった。そして，このような，従来の方法では解決が難しい領域の問題に対して，HPC を利用してどのように解くか？という点を強調されていた。
計算機を使ったシミュレーションは演繹的なアプローチである。一方，ビッグデータを解析する等の手法は帰納的なアプローチとなる。つまり，上述の課題というのは，シミュレーションとビッグデータをどのように併用して問題を解くか？ということになり，データ同化では，ベイズの定理により両者を結びつけることで，それを実現するとのことであった。データ同化の手法としては，従来は 4 次元変分法に代表される非逐次型の手法が主流であり，Ensemble Kalman Filter のようなアンサンブルを扱う逐次型の手法は膨大な計算リソースが必要といった点で敬遠されてきたそうである。しかし，今日の計算機では十分な計算リソースの利用が可能なため，実装や並列化に優れた点を持つ逐次型のデータ同化手法が有望だと述べられていた。その中では，ハミルトニアンモンテカルロ法と呼ばれる手法が昨今注目されているとのことであった。
一方，これから期待される技術として，機械学習とシミュレーションの融合を挙げられた。計測データ・数値シミュレーション・経験や勘という 3 つの異なる情報源をどのように統合活用するかがポイントであるとのことである。具体例として紹介された，スパース回帰モデルを用いた気温情報の予測では，多数のシミュレーションモデルから場所ごとに適当なものを選択して，広範囲な地域における気温変動の予測ができたとのことであった。また，機械学習の活用事例として，エミュレータを実現することで，ダウンスケーリングやサロゲートシミュレーションが可能になると述べられた。実際の例としては，画像に関連した技術として，従来から行われている画像の識別ではなく，本物とそっくりの（顔などの）写真を生成する機構（ジェネレータ）が研究されており，識別側と生成側を交互に最適化することで，生成器を実現するとのことであった。実際に生成された顔写真は，筆者にとっては全く違和感のないものに見えたが，樋口氏たち専門家の目で見ると，まだ，識別が可能とのことである（例えば，髪の毛と背景の部分などは，まだ，不自然さがあるようである）。
最後に，講演内容に関連した視点から，人材育成における現状の課題を述べられた。今回の樋口氏の講演で紹介された内容は理学・工学・数学にまたがる分野であるが，これらの学問分野の教育の間にはギャップがあり，それが一つの課題であるとのことであった。また，海外と異なり，日本では，統計の学部が存在しておらず，その点も大きな問題であることを指摘されていた。
質疑応答では，最後の人材育成に関する質問があった。中学や高校等でどのような教養を身につけるべき

か？との問いに対して，（専門家ではなく）一般の人にとっては，計算等の処理は自動化が進むので，計算手法の中身を詳しく学ぶというよりは，データとの付き合い方を学ぶことが重要ではないかと，との回答であった。また，懸念事項としては，線形代数がベースにあるのに，行列をはじめとした線形代数に関する内容が高校の数学で比重が低い現状を懸念されていた。例えば，行列の特異値分解（SVD）が非常に重要だ，とのことであり，線形計算に近い研究をしている筆者の立場としては，非常に共感できる指摘であった。

樋口氏の講演の様子§おわりに最後に，南里豪志氏（九州大学）が本日の内容を振り返り，閉会となった。筆者の感想としては，特に，異なる分野で長い間第一線で研究をされてきた姫野氏と樋口氏の講演は，（時折はさまれた過去の笑い話的なものを含めて）大変興味深く，貴重な機会となった。