VOL.

ものづくりに HPC を活用するためのツールとケーススタディー

19

計算工学ナビ・ニュースレター2020年秋号©RIKEN「富岳」
特 集 「 富 岳 」 本格運用前に HPC 性能ランキング世界一を獲得した

新たな運用手法を開発し “ 使いやすさ ” で HPC の裾野を広げていきたい

理化学研究所計算科学研究センター 山本 啓二

「富岳」
への期待
特 集 「 富 岳 」 本格運用に向けて準備が進むフラッグシップ計算機

科学技術の発展や産業競争力強化に「富岳」を役立てたい東京大学生産技術研究所 加藤 千幸

特 集 「 富 岳 」 「富岳」
成果創出加速プログラム 「富岳」を利用した革新的流体性能予測技術の研究開発

流体解析システム
「FFB」
の
「富岳」
における性能評価とさらなる性能向上への取り組み

みずほ情報総研／東京大学生産技術研究所 山出 吉伸

日本造船技術センター／東京大学生産技術研究所 西川 達雄「富岳」の優先的な試行的利用
特 集 「 富 岳 」 新型コロナウイルス対策を目的としたスーパーコンピュータ

・ 新型コロナウイルス関連タンパク質に対するフラグメント分子軌道計算
・ 室内環境におけるウイルス飛沫感染の予測とその対策

立教大学 望月 祐志

神戸大学大学院／理化学研究所計算科学研究センター 坪倉 誠

◆ 計算工学ナビ・レポート

特 集「富岳」 本格運用前に HPC 性能ランキング世界一を獲得した「富岳」

新たな運用手法を開発し “ 使いやすさ ” でHPC の裾野を広げていきたい
6月にオンラインで開催された HPC に関する国際会議「ISC2020」。ここで発表された世界の HPC の性能ランキングで、理化学研究所と富士通が共同で開発する「富岳」
は、世界一を獲得しました。計算速度ランキング「TOP500」
をはじめ、実際のアプリケーションでの処理性能を競う「HPCG」、
ビッグデータ解析などに活用される大規模グラフの探索性能を評価する「Graph500」、さらに今回から採用された深層学習などの AI 処理に用いられる低精度計算の性能を計測する「HPL-AI」の4冠を達成したことで、「富岳」はまさに世界最高性能の HPC として認めら©Fujitsu

れたといえます。しかし、
実は「富岳」の価値は計算性能だけにとどまりません。そ▲「 富 岳 」に搭 載され た CPU「A64FX」のパッケージの真価は実用性、
つまり“使いやすさ”にあるといわれます。今号では、「富岳」の本

当の実力ともいえる“使いやすさ”について、理化学研究所計算科学研究センター（R-CCS）
で「富岳」
を含むデータセンター全体を高度に運用するための研究開発に取り組む先端運用技術ユニットの山本啓二さんにお話をうかがいました。

理化学研究所 計算科学研究センター
先端運用技術ユニット

山本 啓二 ユニットリーダーとで効率的な運用を実現していくことも考えています。運用技術の高度化は、ある意味で性能ですが、現時点の見込みでもそれを達成「富岳」がめざしたのは実用性だった

中に広がらず、ユーザーも元々HPC のコミュ

山本さんがリーダーを務める先端運用技術ユなコミュニティ向けにはソフトウェアの移植作のですか。

HPCを利用してみたい人の参入障壁は大きな

クラウド的利用サービスに向けた研究への取り組み

先端運用技術ユニットは、昨年（2019年）には、スマートフォン、ゲーム機をはじめデジ「富岳」が目標としてきた“ 利用しやすさ”は、岳」の稼働に伴い、スーパーコンピュータのキテクチャが採用されました。Armアーキテク

ニットは、どのような研究開発を行っている

ニティに属していた人にとどまりました。小さ業も進まず、ソフトウェアが無いために新たにものでした。そこで、「富岳」のCPU「A64FX」

12月に新たに設置されたユニットです。
「富タル機器市場で幅広く活用されているArmアー運用技術について研究し、その成果を「富岳」

チャには、これまでライセンスを受けた多くの

具体的には、「富岳」および電源や冷却設備、られてきた豊富な知見やソフトウェアがありま

ター全体を高度に運用するための研究開発を

トウェア開発に必要なコンポーネントもすでにティングといったスーパーコンピュータの新た備されています。その Armアーキテクチャのの実運用に反映させることをめざしています。
ネットワークなどのインフラを含むデータセン

う視点はあまり重視されてきませんでした。

エコシステムをHPC 分野で利用していこうとたのは、速さだけではないそうですね。

計算性能ももちろんですが、「富岳」の開これまで、HPC の評価は計算性能一辺倒す。OS やライブラリ、ミドルウェアなどソフな利活用について研究し「富岳」での実現をを思い浮かべますが、実は「富岳」がめざし運用技術にも大いに関係しますね。

だったといえます。研究開発が優先され、ユーArmアーキテクチャのコミュニティによって整HPC の性能というと、まず私たちは計算速度しているようです。

企業が製品化するプロセスのなかで積み重ね行います。また、仮想化やクラウドコンピューめざしています。

考えたわけです。すでに Armを選択したことに対する好意的な反応を耳にする機会があります。例えば、「京」のときにはなかなか参入

ザーにとっての利便性や実用性を高めるとい「ISC2020」の4冠達成で、「富岳」の性能が世界に認められたため、今後は汎用マシンとして運用面でもより高い価値を加えることによって、ユーザーにとっての利便性や実用性を向上させていきたいと考えています。

運用手法に関するイノベーション的な研究開発をめざす先端運用技術ユニットで現在取に使ってもらうことが重要です。使ってみて、取り組んでいるのが、ネットワークの仮想化です。クラウドによって仮想化された「富岳」に、としています。ユーザーが増えれば、使用でて、セキュリティを重視する企業ユーザーにもられるはずです。もちろん、使っていくに従っています。さらにストレージの仮想化も将来的きるソフトウェアが増えるなどの相乗効果も得て新たな課題も出てくるでしょう。そのような課題を解決し、「富岳」の次世代スーパーコン

ピュータに反映させることにも取り組むつもりです。

ものづくり分野をはじめ産業界でHPCを使い「使いにくい」と感じている人も多いと思いま

発者と協調設計（コデザイン）を実施しつつ、書類を揃えて課題募集に応募し、審査に通っシステムの設計・開発を進めたことです。性た人しか使うことができませんでした。しかもCPUに採用していました。コンピュータはハーンを、開発するマシン上で評価し、ハードとす。そこで「使いたい」と思う人が誰でもよ

トウェアが少なければ意味がありません。数性能を改善してきました。富岳の性能目標は、

うにできないだろうかと考えて準備している

能評価の指標となるターゲットアプリケーショ

ドウェアがどれほど優れていても、使えるソフ

ソフトの両面からボトルネックを見つけ出し、多くのソフトウェアこそが資産なのです。残念最大で「京」の100倍のアプリケーション実効す。例えば、「京」を利用するためには多くの実際に利用できるのは応募してから半年先でり手軽に、そしてすぐに「富岳」を使えるよのがクラウド的利用サービスです。
「富岳」を安心して使ってもらえる環境を整えたいと考えに実現させたい課題の1つです。

さらに改善される「富岳」の利用環境

ものが人の手を離れて自動化される時代がやってくるかもしれません。

最後に、これから「富岳」を使ってみたいと考えている人たちにメッセージをお願いします。
はじめに紹介したように、協調設計によって幅広い研究分野のアプリケーション開発がすでに進んでいることに加え、Armアーキテ

クチャを採用したことにより、「富岳」へのさ

まざまなソフトウェアの移植も進みつつあります。つい最近では、AppleがMacプラットフォー

ムのCPUをArmアーキテクチャに置き換えると発表しました。Amazon や Googleといった

R-CCS は、「富岳」の本格稼動に伴って巨ンダーとして有名な米国Cray 社は富士通が開そうなってほしいと考えています。産業界のなります。そこでの運用を高度化していくには、

スーパーコンピュータを市場投入するなど、などデータセンター設備全体について網羅的スが相次いで発表されています。この先「富には国立情報学研究所(NII)が構築・運用してさらに手軽で使いやすい状況が整うことにな

クラウド的利用が可能になれば、参入するための格好の入り口になるかもしれませんね。

人たちがHPCを使って大規模な計算をしてみことができます。“ お試し” でもよいので、ともう1つ、「富岳」開発の重要なポイントになっ仮想化されたネットワークを繋ぎ込むことによっ省力化を進めることでもあります。やがてシステムがすべてを判断して対処し、運用その先端運用技術ユニットでは、ほかにどのようたいと考えている人たちにとって、「富岳」のえる人たちにとって現状のHPCは敷居が高く、用に関する研究です。HPCを利用したいと考必要となります。そこで今私たちのユニットで性能の高さや利用しやすさを実感してもらうことによって、ユーザーのすそ野を広げていこう

植を進めようとする動きが出ています。

ています。
「京」では、世の中であまり使われ計算工学ナビ Vol.19

レージも仮想化してユーザーに提供することが研究を実施しています。まずは多くの人たち

たいと思ったときに、クラウド的に「富岳」がに、早くも「富岳」に向けてソフトウェアの移とができますが、本来ならネットワークやスト複数のクラウドサービスプロバイダーと共同り組んでいるのは、「富岳」のクラウド的な利たのが、さまざまな分野のアプリケーション開ていなかったSPARKというアーキテクチャを誰もが使えるようにする、その実現に向けて、してくれなかったソフトウェアベンダーのなか発で何よりも重視したのは、“ 利用しやすさ”

でした。これは先代の「京」の反省に基づい2ながら、「京」のアーキテクチャはあまり世の利用できれば、その計算力を容易に手にするにかく手軽に利用できる環境を用意することが、「富岳」利用者のすそ野を広げることにつながな研究開発を行っているのですか。

大なデータセンターとしての役割を担うことにネットワークをはじめ、電気や熱をどう扱うかに手を付けていかなければなりません。日本
いる学術情報通信ネットワーク（SINET5）がクラウドサービス事業者もArmアーキテクチャを使ったサービスを提供しています。HPC ベ

発した ArmアーキテクチャのCPUを搭載した
Armアーキテクチャにとって追い風となるニュー岳」のクラウド的な利用サービスが実現すれば、ります。一方で、これまで HPC 利用は数値計

あり、R-CCS はこのネットワークの大口ユー算が中心でしたが、近年ではビッグデータ解の「京」よりも扱うデータ量は増えることが予

がりつつあります。利用しやすい環境が整っのかというセキュリティの問題です。クラウド

多重化、「富岳」と他のデータセンターを直結

環境も可能性に満ちて明るい未来を感じさせ仮想的に複数台に区分けして、部外者がのぞなサービスを検討しています。データセンター

ると思います。一方で、産業界の人たちが共用のHPCを利用する上で課題となるのは、自社の貴重なデータをHPC 上に置いて大丈夫な的な利用によって、物理的に1つのHPC資源をき込むことができない計算領域をつくり出すこザーです。
「富岳」が本格稼動すればこれまで

析や AIやIoT など HPC 利用自体のすそ野も広想されます。今後、さらに速い回線の導入やただけでなく、HPC を使った研究を取り巻くするなどユーザーの利便性を向上させる新たます。アカデミア・産業界を問わず、テストで使用する電気や、発生する熱を削減するこ岳」を活用していただきたいと願っています。

的な利用から本格的な研究開発まで、広く「富3◆ 計算工学ナビ・レポート

特 集「 富岳」 本格運用へ向けて準備が進むフラッグシップ計算機「富岳」への期待

科学技術の発展や産業競争力強化に「富岳」を役立てたい
2021年度の本格運用開始に向けて開発・整備が進められている
「富岳」
に関しては
「ポス
ト
『京』
で重点的に取り組むべき社会的・科学的課題に関するアプリケーション開発・研
究開発」
プロジェクトで得られた開発成果を最大限に活用し、いち早く世界最高水準の成果創出に結びつけることをめざして、2020年度から「『富岳』
成果創出加速プログラム」
が開始されています。今回は、同プログラムの「領域③産業競争力の強化」
において研究課題責任者を務め、また2020年5月まで2年間にわたり、
HPCI ユーザーコミュニティを代表する機関であるHPCIコンソーシアムの理事長として、「富岳」の利用促進・運用・成果創出などに関する提言の取りまとめにも尽力してきた加藤千幸教授に、「富岳」
への期
待や産業利用の促進についてお話しいただきました。

「富岳」
成果創出加速プログラム
「
『富岳』
を利用した
革新的流体性能予測技術の研究開発」
研究課題代表者
東京大学生産技術研究所
革新的シミュレーション研究センター「富岳」の“速さ”を最大限に活かして実証研究を推進に取り組んでいます。具体的には、エネルギー

いうまでもなく、従来のHPCに比べて非常に価システムの研究開発、輸送産業の中核となる産業の心臓部となる「ターボ機械」の設計・評

高速な演算ができる、それが「富岳」の最大の「自動車」の統合設計システムの研究開発を進め能は約10PFLOPS、これに対して「富岳」は約特長です。
「京」と比較すると、「京」の理論性

500PFLOPSですから約50倍。もちろん、実アプ

リケーションで50倍の性能を出すのはそう簡単なことではありません。
「富岳」が、具体的にどれくらい速いのかというと、私たちが開発したロッパを中心に幅広く活用されているArmアー

キテクチャが採用されており、数多くのアプリ
ケーションを活用できることが期待されます。また今後は「富岳」を含めたHPCIの利用を促進すすることができるLarge Eddy Simulation（LES）に 基 づく流 体 解 析 シ ステム「FrontFlow/blue（FFB）」をターボ機械、船舶、車両等の流れに適用することにより、乱流の準直接計算技術のし27倍のノード性能を達成しました。並列性能

流れ解析に関しては、スーパーコンピュータ「京」発散計算の4カーネルから構成されます。コデザ

最大27,648ノードまで評価し90% 程度の並列性の運用が開始された2012年に、320億グリッドをインにおける高速化の結果、これらのコアカーネ

し、これまでのものづくりのあり方を抜本的に変ています。

する推進抵抗予測精度を実証しました。これにぞれ、①34 GB/sec、②48 GB/sec、③47 GB/

フラッグシップ計算機が「京」から「富岳」とが実証されましたが、船体抵抗に予測のため

B/F が低い①の運動方程式の左辺・右辺計算をンソーシアムの理事長として、今後のHPCIシス

算時間を要し、水槽試験の代替のためには計算

ベンチマークテスト）である46.6 GB/secに近い性能を十二分に引き出しながら実証研究を推進

革することをめざしています（5ページに関連記事）。

ど進まなかったことでした。産業界において高ソフトウェアの移植を推進し、アプリケーショ用しやすい環境を提供する取り組みも行われ⃝●⃝へと引き継がれようとするこの2年間、HPCIコ

テムの構築やその利用についての意見を集約し、議論を重ねるなかから提言を取りまとめる作業用いた大規模 LES 解析により、水槽試験に匹敵より、数値計算により水槽試験を代替しうるこには「京」24,576ノードを用いて約46時間の計
時間の短縮が課題でありました。

コデザインの成果

けでは大きなインパクトはありませんが、10倍ん。そのためにも、高性能計算機の利用環境をティの勢いがあまり感じられないことでした。
「京」

ます。この速さを活かして、日本のHPCI全体を進することが求められています。それには、課

プロジェクトそのものがとん挫しそうになり、コ

直接計算技術を活用したターボ機械設計・評の役割といえるでしょう。

ています。当然ながら、利用するためには申請ていこうという気持ちになって一致団結して前にえ、コデザインのもと理化学研究所との連携に

これまで5年あまりにわたり「ポスト『京』で重点的に取り組むべき社会的・科学的課題に関するアプリケーション開発・研究開発」プロジェ

際的な産業競争力を強化するために欠かせませ提供するハードルを下げて、産業界の利用を促たのは、「京」のころに比べてユーザーコミュニ

では、行政刷新会議の「事業仕分け」によって題選定の仕組みを改めることも重要といわれミュニティ全体が日本の基盤技術として推進し書を準備するなど、それなりの手続きが必要

進むことができました。
「みんなで成果を生み出で、そこで選ばれる課題は高い成果が期待されるものであるべきですが、選定のための制度な

能比 8%）を達成し、コデザイン開始時の高速化

前のコードに対し約2倍の高速化を実現しました。

「富岳」の先行利用

今後の展開
乱流の準直接計算技術の実用化の課題のひとつである計算時間の短縮のため、ポスト「京」を用いた実証解析の準備を進めています。
「富岳」

が同時に４冠を獲得するのは世界で初めてのこでありました。コデザインでは、「FFB」のコアカー

アデザイン前の「京」におけるスループットとは「京」の時代と比較して大幅に加速できること

めのさまざまな改良を加えました。

「富岳」の実行スループット（Steam Triad ベン

で、「富岳」は「京」以来8年半ぶりに1位に輝き

ろうとしています。
「富岳」はどんな科学成果を期待は大きく膨らみます。そして、再びユーザー

価システムの研究開発」では上記の課題を踏ま「FFB」の要求 B/F（演算あたりのロード・ストのB/Fは「京」で0.5、「富岳」で0.33しかないこ

タ転送でありこの効率を最大化することが必須

ネルに対しメモリスループットを最大化するた
ここでは代表的な改良内容として二つを紹介します。ひとつ目は節点の並べ替えによるリスを利用した革新的流体性能予測技術の研究開発」
携し、上記コデザインで開発した「FFB」の「富岳」組んでおります。前述した4コアカーネルのメモ

sec、③585 GB/sec、④502 GB/secであり、コ比較して15倍～25倍を達成しています。ただし、チマークテスト）である820 GB/secと比較すると上記の性能は36%～89%であることより、コー用されるパッケージソフトウェアがそのままではコミュニティが一体となって、「富岳」の優れた

トアクセス変数の局在化です。節点の並べ替え

ドの改良の余地が残っていることを示していま

ど進みませんでした。その点、「富岳」にはヨーと願っています。

げ、L1、L2におけるキャッシュミスを最小化す

り、コデザイン開始時の高速化前のコードに対動かないこともあり、産業分野の利用はそれほ

列性能のさらなる改善および「富岳」全系を用いた性能の測定を進めています。

リスループットは、①298 GB/sec、②727 GB/生み出すのか、産業利用にどのように役立つのか、が選定されており、私たちは、領域③「『富岳』

るコード全体の演算性能は10 GLOPS（ピーク性います。11月の最終選考に向け、単体性能・並とより、「FFB」のボトルネックはメモリからのデー

多くの成果を挙げてきました。しかし、一方では、

究基盤（データ科学など）」の4領域から19課題

ことが確認できました。この結果、「京」におけドンベル賞に投稿しファイナリストに選定されてました。それだけでなく、「HPCG」、「HPL-AI」、

未来開拓（基礎科学など）」、「国民の生命・財産

特殊なアーキテクチャのため、産業界でよく利値であり、ほぼ限界までチューニングされている能測定結果は2020年4月末までに測定されたものであり、この結果をまとめた論文を2020年ゴーしたゴードンベル賞に向け、さらなる高速化を進とです。そんな「富岳」の共用がいよいよ始ま

争力の強化（ものづくり・エネルギーなど）
」
、
「研

除き、
「京」の実行スループット（Steam Triad

における性能の評価とさらなる性能向上に取り日発表されたHPCの世界ランキング「TOP500」

は、SPARCアーキテクチャが採用されていましを守る取組の強化（医療・防災など）
」
、
「産業競

の計算性能が達成される見込みです。上記の性ドを用いた「京」の全系の性能と比較し、54倍

アバイト数）がおよそ4.0であるのに対し計算機

していこう」という気運が盛り上がりました。先出加速プログラム」が開始されています。このた。
「京」は、汎用性・実行性能ともに優れ、数

sec、④43 GB/secを達成しました。比較的要求たコードは、「富岳」で、高速化前の「京」の性「Graph500」でも1位となりました。1つのマシン

プログラムでは「人類の普遍的課題への挑戦とド）の並列性能を達成できれば、高速化前のコー

プロジェクトでは、引き続き理化学研究所と連ドウェアだけでなく、ソフトウェアも含めて考えていく必要があります。
「京」のプロセッサに重点課題プロジェクト）におけるサブ課題 C「準能を確認しています。
「富岳」の全系（約16万ノー

ルの「京」におけるメモリスループットは、それより「FFB」の高速化技術の開発を実施しました。

セスの開発」を推進してきました。そして、「富岳」
本格運用開始前の今年度から、「『富岳』成果創

製造プロセスの開発」プロジェクト（ポスト「京」は、ノードあたり200万グリッドのweak scaleでプロジェクトコデザインでは「FFB」の高速化技

どについて見直す動きも出ています。また、産業分野の利用環境を改善していくためにはハー「近未来型ものづくりを先導する革新的設計・

続の式マトリックスソルバーにおけるAX 計算の「『富岳』成果創出加速プログラム」の「『富岳』

クト（重点課題）において、私たちは「近未来型ものづくりを先導する革新的設計・製造プロ

課長・協力研究員

西川 達雄

クスソルバーにおけるAX 計算の勾配計算、④連などにも関わってきました。そのなかで気になっけん引する、それがフラッグシップ計算機「富岳」

課長・協力研究員

山出 吉伸

有用性を世界に先駆けて実証してきました。例

性能計算機の利用を加速することは、日本の国を超えると、速さは大きな意味を持つようになり

日本造船技術センター
技術開発部 技術企画課
東京大学生産技術研究所

ンを充実させることによって産業界の人が利「京」の反省点の1つは、産業利用が思ったほ

開発に利用する場合、計算機が数倍速くなるだ

みずほ情報総研
サイエンスソリューション部
東京大学生産技術研究所

高機能アプリケーションを駆使して、「富岳」のます。重点課題において開発してきた高性能・

すると、およそ27倍（図1）、「富岳」のノード数
体で約54倍ということになります。実際の研究「FFB」開発チームでは、乱流を高精度に予測

えば、水槽試験の代替を目的とした船体まわり

高性能計算機のさらなる産業利用促進に向けては約16万で「京」が約8万ですから、システム全流体解析システム「FFB」の「富岳」における性能評価とさらなる性能向上への取り組み

るため、市販アプケーションやオープンソース・

流体解析アプリケーション「FFB（FrontFlow/

blue）」でCPUあたりの実行性能を「京」と比較「富岳」を利用した革新的流体性能予測技術の研究開発

乱流の準直接計算技術の実用化のための課題

加藤 千幸 教授・センター長を利用した革新的流体性能予測技術の研究開発」

特 集「 富岳」 成果創出加速プログラム

性能を最大限に活かすことに取り組んでほしいにより一度アクセスしたデータの再利用率をあることによりメモリスループットを向上させましす。コード全体の実行性能は136 GFLOPS であ術を開発しました。前述した通り、ここで開発し能に対し27倍の性能が確認されています。上記

めていますが、同時に「富岳」において「FFB」

を活用することにより、「FFB」による実証解析が期待されます。例えば、前述した水槽試験の代替計算は、「京」では24,576ノードを用いて46時間が必要でしたが、「富岳」50,000ノードを用いれば50分で計算できます。今後、船体まわり流れの解析に加え、ポンプ等のターボ機械内部

流れ、風車まわり流れ、車外騒音等の解析を通じ、乱流の準直接計算の有用性を実証していきます。

た。二つ目はストア処理の連続アクセス化です。

「FFB」のコアカーネルでは、ストア処理はリス

トアクセスとなるループが存在しており、メモリ
スループットの向上が制限されていました。この問題を解消するため、コアカーネルにおけるループ構造を変更し、コアカーネルにおける全てのストア処理を連続アクセスに変更し高いメモリス▶︎図１
流体解析ソフトウェア「FFB」のCPUあたりの実行性能（2020年4月時点）

ループットを実現しました。
「FFB」のコアカー
ネルは、①運動方程式の左辺・右辺の構成、②運動方程式マトリックスソルバーにおける行列ベ▲性能ランキング４冠を達成した「富岳」

クトル積（以下、AX 計算）、③連続の式マトリッ▲KVLCC2船型の自航試験用の TBLによって計算された静圧と速度の瞬間分布※本号の記事中で紹介する富岳共用前評価環境における評価結果は、スーパーコンピュータ「富岳」の共用開始時の性能・電力等の結果を保証するものではありません。
4

計算工学ナビ Vol.19

5◆ 計算工学ナビ・レポート

特 集「 富岳」 新型コロナウイルス対策を目的としたスーパーコンピュータ「富岳」の優先的な試行的利用

室内環境におけるウイルス飛沫感染の予測とその対策

新型コロナウイルス関連タンパク質に対するフラグメント分子軌道計算「富岳」を使った新型コロナウイルスの関連タンパク質の FMO 計算

大規模シミュレーションによる室内環境におけるウイルス飛沫・エアロゾル感染の予測とその対策提案

行うことはできていましたが、数百個単位の構

理化学研究所
計算科学研究センター
複雑現象統一的解法研究チーム
神戸大学大学院
システム情報学研究科

造をベースにする統計的な評価は現実的ではありませんでした。
「富岳」の時代では、構造揺らぎを含めた統計的な解析が一般化することは間立教大学 理学部 化学科

望月 祐志 教授

違いないと考えています。

レームワーク内でも電子相関の摂動補正のレベ

ルを２次 (MP2) から3次 (MP3) に上げると、テ▲コロナウイルスのメインプロテアーゼと阻害剤
N3の複合体の水和モデル

子が視て取れます。相互作用エネルギーを鎖ごなっており、対応策に関する研究開発が盛んに行

ンソル量の縮約計算の複雑さが増してコストがわれた幾多のソフトウェア開発プロジェクトを通もちろん、MP3より摂動の次数を上げた( それ

軌道(FMO)プログラム「ABINIT-MP」[1] を使い、

(CCSD(T))の扱いが望ましいのですが、簡便なに比べて開いた構造では大きく減じ、特にB鎖の的な研究を「富岳」の「新型コロナウイルス対策の相互作用エネルギーの算定値が得られることが分かりました [4]。この減損が、ACE2あるいは先的な試行的利用」の枠 [2] の中で展開していまが行えることは計算結果の信頼性を高める上でされます。さらに、データ科学手法の1つである

田中成典先生、星薬科大学の福澤薫先生らを交え、ノードあたりのコア数が8と少なく、また利用可

アミノ酸残基の同定も試みており、荷電性のアミ

⃝●⃝

しかし、
「富岳」ではノードあたりのコア数がわれています。こうしたなか、東京大学拠点で行じて私たちが長年整備してきたフラグメント分子
このウイルスの関連タンパク質に関する計算化学を目的としたスーパーコンピュータ『富岳』の優す。研究チームは望月の他、神戸大学大学院の助教諸氏と学生諸氏を含めて構成されています。
「富岳」は「京」の100倍の計算能力がある

上がり、さらにメモリ要求も大きくなります [6]。

と、さらに細胞表面のアンジオテンシン転換酵素

故コストもさらに大きい ) 結合クラスター展開

タンパク質内部の安定化エネルギーが閉じた構造

2(ACE2)と結合する領域(RBD)ごとに整理すると、スケーリングを行うことで実効的にCCSD(T)並

RBDでのエネルギーの減少が特徴的であることが知られています [7]。従って、FMO-MP3計算

抗体との結合によって一部補填されるものと推定

大きな意味があります。残念ながら、「京」では特異値分解を導入し、鎖間の相互作用に重要な能なメモリが限られていたために不可能でした。

ノ酸残基群の寄与が浮かび上がってきています。

48、しかもメモリも20GBほどが取れる上にノー

実は、今回の「新型コロナウイルス対策を目⃝●⃝とされていますが、私たちはこの力を2つのド数を積むことも容易ですので、FMO-MP3が実的としたスーパーコンピュータ『富岳』の優先

computing の文脈で、生体内環境を想定した分

ロナウイルスの膜表面に多数存在して細胞感染

は、4月頭にお申し越しを理研 R-CCSから頂き、れる構造ゆらぎを含むタンパク質の構造セット

ました。この巨大タンパク質は1.1千個のアミノ析を統計的に行うことです。コロナウイルスに基の総数は3.3千となります。基底関数を6-31G*

方向で 使うことにしました。1つは、capacity

子動力学(MD)シミュレーションによって生成さ用的に使えるようになります。この立場から、コにコミットするスパイクタンパク質を計算してみ的な試行的利用」での FMO 計算プロジェクトの結晶構造に関するFMO計算は退役直前の名古屋大学のFX100で行っていた [3] のですが、構造

揺らぎを含めると相互作用に関わる重要残基の較のために計算しました(時間は3.9時間)。図は、両構造でB鎖から視た相互作用エネルギーの可視化になっており、きわめて複雑な絡み合いの様

中でも、ABINIT-MP がライブラリプログラムと[1] (http://www.cenav.org/abinit-mp-open_ver-1rev-22/).
[2] (https://www.r-ccs.riken.jp/post-k/corona/).
[3]R. Hatada et al., J. Chem. Inform. Model., 60 (2020)
3593.
[4] (https://www.r-ccs.riken.jp/outreach/formedia/200617.
html).
[5] (https://fmodd.jp/).
[6] Y. Mochizuki et al., Chem. Phys. Lett., 493 (2010) 346.
[7] M. Pitonak et al., ChemPhysChem, 10 (2009) 282.

寄与に顕著な差が出てくることが明らかになり互作用描像をよりリアルに捉えることが可能になったわけです。成果の一部は、理化学研究所
で紹介していますが、メインプロテアーゼの阻れているFMO 創薬コンソーシアム [5] の「京」を使った研究活動のなかで、タンパク質-リガンド複合体の単一構造でのFMO解析をルーチン的に6

計算工学ナビ Vol.19

試行的利用」の機会を得て、現在、ウイルス飛レーションに分けて実施しています。

沫やエアロゾルの飛散予測を行っています。
⃝●⃝

ウイルス感染のうち、くしゃみ、咳、発話等

で発生する飛沫による感染では、感染の飛散⃝●⃝

近距離飛沫シミュレーションでは、口から発生する数万の飛沫を全てラグランジュ的に追跡し、オイラー的にナビエストークス方程式を解◀︎コロナウイルスのスパ
イクタンパク質内部の相互作用エネルギーの可視化例（赤が安定化、青が不安定化を示す）解析を行いました。また、160名定員に対して実散時を対象としました。混雑時の窓閉め状態で性能で決まってしまい、混雑時には過密状態と気量は2～3倍に向上し、一人当たり一般オフィ
わかりました。一方、窓開けによる換気は、立っり下は限定的で、換気に大きなむらが生じることもわかりました。エアロゾル感染リスクの低減の意味ではやはり密な状態をさけることが一番でしょう。その他、オフィスのシミュレーション

では床からの高さが160cmを超える高いパーティ

析する流れ場解析との連成シミュレーションを

ションは、飛沫感染リスクの低減には効果的で感染に加えて飛沫が空気中で微小化したエアロ「CUBE」に実装済みの自動車内燃エンジンの解電車と同様、換気のむらが助長される傾向にあり、能性も示唆されています。エアロゾルは長時間体的な解析対象としては、不織布マスクの飛沫オフがあることもわかってきました。さらに教室と感染予防対策の提言のためには、周囲流れがガードの効果、パーティションの効果と高さのキュレータの併用による即効的なエアロゾル感く推定した上で、飛沫の飛散経路を正しく予測

マスクをつけた場合には90% 以上の飛沫は抑え

夏以降のさまざまなイベント再開に向けた各種

は、エアロゾルに対しては50% 以上が漏れてしするほか、ポストコロナに向けた新たな生活様

経路が空気の流れや湿度等に大きく依存します。また新型コロナウイルスでは、通常の飛沫ゾル（一般的には5ミクロン以下）での感染の可
空気中を漂うことから、飛沫感染リスクの評価

感染にどのような影響を与えているのかを正し

おいて空気と飛沫の連成シミュレーションを行

マスクやフェースガード、パーティション、さら気流を制御することによる感染リスク低減策を
感染に対してより安全・安心な生活環境を実現することを目的としています。また、ウイルス飛沫を“見える化”して社会に発信することで、正行いました。飛沫粒子のラグランジュ解析には、
析のための燃料噴霧モデルを用いています。具抑制効果と布マスク等の材質の影響、フェース最適化等を行っています。これらの結果から、付けた場合には、2m先の人に届く飛沫量はパー

現象統一的解析フレームワーク「CUBE」を用い気流抑制効果により、主に人の体温による自然大規模な系でのシミュレーションを行っています。

昇気流によって上方に飛散し、感染リスクは咳を

以下のエアロゾルに限定され、さらにマスクの対流効果と床からのエアコン吹き出しによる上理研チームではプロジェクト応募にあたって既した人の左右の人に限定されることがわかります。

ており、現在、ノード性能216GFLOPS（ピーク

エアロゾル感染リスク評価としては、仮想ス⃝●⃝

性能比6.4%）、メモリスループット172GB/s、並

カラーをオイラー的に輸送させ、換気量を定量⃝●⃝

車内シミュレーションでは、山手線を対象とした

例えば人が咳をした場合には、1回につき数千式を提案できるようなより長期的な対策についても提案していきたい考えです。

くの飛沫が到達しているのがわかります。一方、マスクをした場合は、発生する飛沫は5ミクロンから1万個の飛沫が発生すると言われており、そ業界ガイドライン策定に貢献できる結果を提供有りと無しの結果を比較しています。マスクをしジェクトを進めています。シミュレーションには、

列性能4.58PFLOPS（27,648ノード）を得ています。

染リスク低減策の提案を行っています。今後は、トホール内での飛沫飛散の予測をしたシミュレー

都工芸繊維大、豊橋技科大、大阪大の他、鹿島理研が開発し、「富岳」に実装を進めている複雑や病室に対しても結果が出ており、窓開けやサーあり方に関する検討会」に参画し、ガイドライていないケースでは、前列の左右の人に大小多建設、ダイキン工業が産学連携することでプロ

飛沫とエアロゾルの感染リスク低減にはトレードン作成に向けて参考資料として提出したコンサー

ション結果です。強い咳を2回した場合のマスクます。研究開発体制として、理研、神戸大、京

すが、エアロゾル感染リスクの観点からは通勤抑制されること等を明らかにしました。図は、内しい感染に関する理解とその予防の啓発を行いに「富岳」でのプログラムチューニングを進め

計算科学研究センター（R-CCS）の記者勉強会 [4]

意義なものと考えています。福澤先生が展開さている人の頭より上で促進されますが、身体よゾル感染リスクを対象とした通勤電車、オフィス、て、既存の飛沫計算では難しかった高精度かつました。つまり、動的な揺らぎを含めることで相害剤の分子構造の最適化に関する知見として有教室、病室等における大空間感染リスクシミュ

研と文科省の連携による「新型コロナウイルス対策を目的としたスパコン「富岳」の優先的な

具体的かつ定量的に示すことで、ウイルス飛沫で、現時点で世界最大の2次摂動を超えた(beyondした。実は、メインプロテアーゼとN3の複合体

スに近い換気量（20m3/h）まで回復することが閣官房の要請を受けて「屋内イベントの開催の計算しました。1個あたりの計算時間は半ラック

つ、感染に関わる状態の開いた(open)構造も比象とした近距離飛沫シミュレーションと、エアロの実施に当たっては、主に飛沫感染リスクを対

我々のグループでは、4月に公募が始まった理ティションが無い場合と比較して10分の1程度にして広く使われることを期待しています。

て全 FMO 計算を約5時間で終えることができまなりますが、4つの窓を20cm開放することで換

質量としては支配的ですが、全ての飛沫は2メーには窓の開閉や空調の効果的運転条件といったじた(closed)状態の構造では僅か3.4時間で完了

MP2)レベルのFMO計算になっています。もう１

トル以内に落下します。そこでシミュレーション

ABINIT-MPの高いポテンシャルの証左になって参照 )のセット四千個を、電子相関の補正を2次(192ノード)で僅か0.6時間、同時並行処理によっは、一人当たりの換気量はエアコンの外気換気

沫は急速に蒸発し、長時間空気中を浮遊します。

まうことや、目が隠れる程度のパーティションをよりも記述性が高いcc-pVDZとし、8ラック(3072

させることができました。これは驚異的な速さ

一方、10マイクロメートル以上の大きな飛沫はい、飛沫感染リスクの定量的評価を行うとともに、関しては、増殖に関与するメインプロテアーゼ(MP2) 摂動で行うFMO-MP2/6-31G* レベルで際に人を229人配置した混雑時と18名配置した閑

つかの改良を行い、上述した本計算を進められいます。2021年度からの「富岳」の本格運用のノード)でFMO-MP3ジョブを流したところ、閉トルのエアロゾルが支配的で、このサイズの飛られる一方、マスクと顔との隙間がある場合に酸残基の鎖が3つ結合して形成されますので、残(Mpro)と阻害剤N3との複合系の水和構造( 図をキロで走行させ、列車内外の気流を連成させて広範囲にわたります。数としては数マイクロメーする必要があります。本課題では、室内環境に急遽始まったものでした。そこから短期間で幾るようになりました。このことは、結果として多数をまとめて処理し、相互作用エネルギー解誠

チームリーダー・教授「富岳」の圧倒的な計算力を活かすもう１つの

軸 線 は、capability computing で す。FMO のフ

新型コロナウイルスの感染が世界的な脅威と

坪倉

⃝●⃝

の粒径は1ミクロン以下から数百ミクロンまでの的に予測しています（いわゆる空気齢）。通勤列
車両1両に対して、窓開け換気の効果について検討を行いました。ここでは実際に車両を時速80▲コンサートホール客席における飛沫・エアロゾ
ル飛散シミュレーション。粒子の色は飛沫のサイズ（m）を表している。上はマスクをせずに咳をした場合、下はマスクをして咳をした場合

7

今号の表紙日本のフラッグシップ計算機「富岳」
2021年の本格運用に向けて開発・整備が進む「富岳」ですが、その高度な計算資源をいち早く成果に結びつけることをめざして、「『富岳』
成果創出加速プログラム」や「新型コロナウイルス対策を目的としたスーパーコンピュータ『富岳』の優先的な試行的利用」が先行して推進されています。表紙の画像は、そのなかの「新型コロナウイルス関連タ
ンパク質に対するフラグメント分子軌道計算」（左）、「『富岳』を利用した革新的流体性能予測技術の研究開発」（中）、「室内環境におけるウイルス飛沫感染の予測とその対策」（右）において得られた成果画像（それぞれの研究開発については、本文記事をお読みください）。

編集後記

今号の編集作業を進めている間に、うれしいニュースが報じられました。
オンラインで開催された「ISC2020」において、「富岳」が「TOP500」、「HPCG」、「HPL-AI」、「Graph500」で世界第1位を獲得し、総合的な高い性能を実証しました。日本の計算機が「TOP500」で1位に輝くのは2011年11月以来、実に8年半ぶりとなります。すでに米国や中国がエクサ級の計算機を開発中といわれ、長く1位の座を守ることは難しいかもしれませんが、まずは1位奪還を喜びたいと思います。さて、今号ではそんな「富岳」を特集しました。すでに「富岳」を活用した研究は始まっていますが、来年度の共用開始によって、数多くの成果が得られることに期待しています。

計算工学ナビ オフィシャルサイト
本誌の PDF 版やソフトウェアライブラリ、ニュースなどのコンテンツを提供している Web サイトは下記の URL からアクセスできます

http://www.cenav.org/

計算工学ナビ Vo l.19
発行日： 2020年9月3日
発

行： 東京大学生産技術研究所
革新的シミュレーション研究センター〒153-8505 東京都目黒区駒場4-6-1
office@ciss.iis.u-tokyo.ac.jp