お客様導入事例カタログ

東京大学 地震研究所が、AI と物理シミュレーションを融合させた超高分解能の都市地震解析を実現
革新的なアルゴリズム開発と大規模シミュレーションの起点を支える

6TBメモリ搭載 HPE ProLiant DL580 Gen10サーバー
業界
大学・研究機関目的
都市における大地震の被害を抑制し安全を高めるための研究。防災・減災対策の具体化に欠かせない、科学的な災害予測を可能にする要素技術を開発する。
アプローチ
断層から都市全体（地盤、構造物）をモデル化し、有限要素法を用いた大規模な HPC 物理シミュレーションにより地震の影響を明示化・可視化する。

IT の効果• 有限要素法の限界を超えた高効率な独自アルゴリズムの開発に成功（2014〜2015年）• HPC 物理シミュレーションによる解析データを AI の学習用データとして活用する手法を開発（2017年）• HPC 物理シミュレーションとAI の融合により地盤・構造物 の 連成解析 の 高速化 に 成功

東京大学 地震研究所 計算地球科学研究センターが、地震分野における最先端の物理シミュレーション技術開発で世界の注目を集めている。従来の有限（2018年）

要素法の計算規模の限界を超え、断層から都市全体（地盤・構造物）を対象に• 高性能 GPU を利用した HPC 物理シミュレーした超大規模 HPC 物理シミュレーションを可能にするアルゴリズムを開発。

ションの高速化に成功（2019年）
ビジネスの効果

さらに、物理シミュレーションとAI を高度に融合させた革新的な解析手法を• 地震の震源から都市までを統合した世界最次々と編み出している。世界トップクラスのスーパーコンピューターを駆使先端超大規模シミュレーションを実現• HPC 物理シミュレーションとAI の融合により、した都市地震対策のための技術開発――その最先端のチャレンジに迫る。

地盤の揺れや構造物の震動の統合的な計算を大きく進化• より広域かつ高精度な予測への道を拓くこと

チャレンジ• 地震発生から住民の避難予測までを統合するシミュレーションへのチャレンジを開始である。同チームは、SC14とSC15でもゴードン・ベル賞のファイナリストに、SC16と SC17ではで、具体的な防災・減災対策を検討可能に革新的なアルゴリズム開発により最優秀ポスター賞を獲得しており、5年連続となるゴードン・ベル賞ファイナリストに選出

快挙を達成した。市村氏は次のように話す。

東京大学 地震研究所 計算地球科学研究セン
ターの市村強 教授・藤田航平 助教を中心とする 「地震観測データを活用する高性能解析アルゴリ
チ ー ム が、2018 年 11 月 の Supercomputing

ズムの開発に、長年にわたり取り組んできました。

Conference（SC18）に お いて、スー パ ーコン SC18で評価されたポイントは、有限要素法にピューターの世界で最も権威あるゴードン・ベル賞 よる HPC 物理シミュレーションとAI を高度に融合のファイナリストに選出された。世界中の研究者させた新たなアルゴリズムです。世界最速クラスを驚かせた成果は、「大規模計算と人工知能を組のスーパーコンピューターを利用し、断層、地盤、み合わせた超高分解能都市地震シミュレーション」 構造物を含む都市全体を対象に、誰も実現した

Case study

業界

東京大学

大学・研究機関

Page 2“ 私たちの研究開発を支える起点になっているのが、この共有メモリ型サーバー。
研究室の基礎開発能力を決める重要なシステムです ”
̶ 東京大学 地震研究所教授

市村 強 氏博士（工学） 計算地球科学研究センター センター長

ことのない 高性能の超大規模地震シミュレーションを可能にしました」

す。これにより、地震の影響・被害予測を高い分解能で可視化し、客観的な情報として提示することを目指しています。さらには、これらの情報をもと市村氏 が 所属 する 東京大学 地震研究所 は、 に地震後の住民の避難や経済復旧のシミュレー

1925年の設立以来、我が国における地震・火山ションを通して、社会活動まで評価することを目指現象の科学的な解明に大きな役割を果たしてきします」と市村氏は説明する。

た。理学系・工学系・社会科学系の研究者およそ
東京大学 地震研究所80名を擁し、地震災害の軽減に向けた最先端の都市全体のモデル化と超大規模地震シミュレー教授 市村 強 氏 博士
（工学）

取り組みを推進。市村氏は、附属の計算地球科学ション――だが、その実現には多くの困難が伴う。

研究センターのセンター長を務めている。

最大の課題は、解析対象となる都市（地盤、構造計算地球科学研究センター センター長物）の圧倒的な巨大さ・複雑さである。
「計算地球科学研究センターのミッションは、地震研究所で培ってきた固体地球観測と HPC シミュ 「『有限要素法による1,000億自由度の物理シミュ

東京大学 地震研究所准教授

Maddegedara Lalith Wijerathne 氏

レーション技術を融合した計算地球科学の創成レーション』と聞いたら、産業界で CAE を扱っていです。高性能の解析アルゴリズム / プログラムのる方は驚かれるでしょう。ものづくりに必要なモデ開発と、これを使う超大規模シミュレーションのル規模を大きく上回っています。たとえば、都心の技術開発に特に力を注いでいます。SC18で評価された『超高分解能都市地震シミュレータ』の10km 四方を対象とした地震シミュレーションでは、地盤構造だけでも1,300億自由度という規模にな開発はこの一環であり、研究室の大きな成果のります。まさに桁違いのスケールなのです」（市村氏）ひとつです」
（市村氏）

博士
（工学）

しかも、有限要素法による物理シミュレーションで
本稿 で は、市村氏 の 研究室（Computationalは、計算機のメモリ上のデータに対して膨大なラン

Science and High Performance ComputingLaboratory）の取り組みを通じて、地震災害の現ダムアクセスが発生し、演算効率が低下する問題

象解明と予測研究分野における最先端の成果を弱いことが原因だ。

がある。現代の計算機はランダムなデータ移動に紹介していく。
「従来型アルゴリズムによる有限要素法では、解析ソリューション処理の実効性能は数パーセントにとどまっていました。私たちは、まったく新しい発想でアルゴリズ

東京大学 地震研究所

有限要素法による1�000億自由度のムを独自に開発し、国内最高性能のスーパーコン

助教 藤田 航平 氏 博士
（工学）

物理シミュレーションピューターの全ノード（約66万コア）に高効率でHPC 物理シミュレーションを駆使して都市地震のスケールさせることに成功しました」（市村氏）

影響を明示化・可視化する手法を開発することが掲げる――これが、市村氏の研究室（CSHPC）低次の有限要素法による高い実効性能を実証しテーマのひとつだ。

たこの成果は、市村氏のチームを SC14・SC15におけるゴードン・ベル賞ファイナリストという栄誉「都市地震対策を具体化していくには、科学的なに導いた。そして、最新の成果「HPC 物理シミュ

根拠に基づく事実を共有しながら、幅広いステーレーションとAI の融合」に至るまで革新的なアルクホルダーの合意形成を図っていくことが不可欠

ゴリズム開発は続いていく。

です。私たちのアプローチは、地震の発生源となる断層から、地震動が伝播していく地殻、地震世界最先端の革新的な動が増幅する地盤、ビルや橋梁などの構造物を含アルゴリズムを次々と開発めた都市全体をモデル化し、有限要素法を用いた従来の有限要素法の性能を大幅に超えた高性能超大規模地震シミュレーションを行うというもので解析アルゴリズムへの高評価は、SC における市村Case study

業界

東京大学

大学・研究機関

Page 3

AI で高速化した有限要素法による、地盤・地上構造物・ 氏のチームへの注目度も高めていった。そして、 モデルの構築）から、SC18での AI for Equation
地下構造物の大規模地震シミュレーション例

SC17・SC18における市村チームのチャレンジは、 based modeling（AI を活用した HPC 物理シミュ「AI/ データアナリティクスを採り入れた HPC 物理

レーション高速化）
へ――そして、市村チームのチャシミュレーションの高速化」の段階へと進む。

レンジは「高速 GPU を活用した HPC 物理シミュレーション高速化」という未踏の領域に突入する。

「大規模シミュレーションの結果として高密度の疑似観測データが生成されますが、これを AI の学習ハードウェアテクノロジーの進化を用データとして活用するのが最初の試みでした。 大規模地震シミュレーションに活かす
地震の揺れは地盤構造により大きく変化しますが、 様々な分野で AI/ データアナリティクスへの取り地盤モデルの曖昧さを考慮するために、モンテカ組みが広がる中、これを支えるハードウェアテクノ

ルロ法で1,000回のシミュレーションを行うのはロジーも目覚しい進化を遂げている。GPU と呼ば現実的ではありません。私たちはペタバイト規模れるアクセラレーターはその代表格だ。市村氏はの学習データを用いて地震シミュレーションの代次のように話す。

替となる AI モデルを構築し、推論を多数回繰り返すことで地盤の曖昧さを考慮した被害分布を得る 「計算科学とデータサイエンスの両方に寄与することに成功しました」（市村氏）

コンピューティングエンジンとして、最新の GPUに 着目 しまし た。た とえ ば NVIDIA V100 の学習済みの AI が1回の推論に要する時間はわず

FP64演算性能は7.8 TFLOPS ですが、640個か「数分」という。AI を活用することで結果を得るを活用した AI 学習性ある加速機構（Tensor コア）ための時間を大幅に短縮し、この成果が SC17で能は125 TFLOPS に達します。この『16倍高速』

高評価を受けた。だが、市村氏らは満足しなかっというメリットを活かせる、新しいアルゴリズムのた。次に目指したのは、物理シミュレーションとAI開発に挑みました」のより高度な融合である。
「GPU の Tensor コア を HPC 物理 シミュレ ー「SC18では、『HPC 物理シミュレーションの高速ションの高速化に活用すること」が注目すべき化・解析コスト低減に AI を活用する手法』の開発ポイントだ。だが、Tensor コアの低精度演算といに取り組みました。地震シミュレーションでは対象う制約を受け入れつつ、データ移動を最小限にす領域をモデル化した連立方程式を解いていきます

る特殊なアルゴリズム開発には多くの困難が伴っが、AI で計算負荷の高い部分を特定し、ここに優た。計算機科学の立場から研究を支える藤田氏

先的に計算リソースを割り当てることで計算速度は次のように振り返る。

を向上させようと考えたのです」と市村氏は話す。
「HPC システムのアーキテクチャーは階層性をこの閃きは見事に的中した。新たに開発した「統もって複雑化しており、その特性をとらえた上で従合地震シミュレータ」は、世界最速クラスのスーパー

来の常識にとらわれない新しいアルゴリズム開発

コンピューターを利用した検証において、SC14時が求められています。システムの癖を見抜いた実のアルゴリズムのおよそ4倍の計算性能を実証し装も重要です。私たちは、当時研究室の学生でたのである。しかも、計算ノードが4,000を超えてあった山口拓真氏とともに、新たに開発したアルも良好に性能が向上することも確認された。

ゴリズムを組み込んだソルバーを GPU 搭載機で実行し、想定通りの性能が出なかったときは原因「検証では、都市データを忠実に反映した地盤・構分析とともにフィードバックしていきました。そう

造物の連成解析の実現に向けた確かな手応えがしたトライ & エラーを繰り返しながら、アルゴリズ得られました。柔らかい地盤に硬い構造物が突きムの完成度を高めていったのです」

刺さった状態を一体で実行するシミュレーションは、連成解析の難易度としては非常に高いもので市村氏らは、ひとつ一つの演算を Tensor コアですが、AI を活用したシミュレーションの高速化によ扱えるよう分解し、データの移動を最低限に抑えり、いっそう現実世界に近い都市地震シミュレーるよう工夫することで、GPU の性能を最大限発揮ションが可能になりました」（市村氏）できるアルゴリズム開発に辿り着いた。そして、山口氏による GPU 用の高効率な実装により超SC17におけるEquation based modeling for AI（HPC 物理シミュレーションの結果を利用した AI高速なプログラムを実現させた。

Case study

業界

東京大学

大学・研究機関“ 私たちは、仮想空間上に都市を構築してシミュレーションを行う『デジタルツイン』に向かって研究を進めていきます。社会活動のシミュレーションを物理シミュレーションと連成させることで、これまでの地震による被害予測を本質的に変えていきたい。そのために、HPC シミュレーションによる次世代の評価手法を提案し確立したいという思いが、私たちの強いモチベーションになっています ”
̶ 東京大学 地震研究所教授

市村 強 氏導入製品 / サービス博士（工学） 計算地球科学研究センター センター長「世界最速クラスのスーパーコンピューターを利用プロトタイプ開発、大規模解析のためのメッシュソリューション

したテストでは、従来型ソルバー比で演算量が1.5生成を行う環境として活用しています。1ノードで超高分解の都市地震シミュレーション倍になったにも関わらず、17.6倍もの高速化を達6TB のメモリ領域を利用できるため、MPI を使う導入ハードウェア成しました。SC14で開発したソルバーとの比較でことなくコードを試したり、地盤や構造物などの大• HPE ProLiant DL580 Gen10サーバーも3.89倍の高速化です。従来の常識からすると非規模なメッシュを効率的に生成することができます。

効率なアルゴリズムに見えますが、GPU の加速機

ハードウェア故障の予兆を検知・通報して、問題が構を活用して HPC 物理シミュレーションを高速化顕在化する前に保守対応してもらえるため運用面するためには合理的な手法であることが証明されでも非常に楽になりました」と藤田氏は評価する。

ました」
（市村氏）
「私たちの研究開発を支える起点になっているのベネフィットが、この共有メモリ型サーバー。研究室の基礎開発能力を決める重要なシステムだ」と話す市村氏

研究室の革新へのチャレンジを支えるソリューションパートナー

は、次のように語って締めくくった。

6TB メモリ共有型システム
市村氏の研究チームの取り組みは、革新的なアル 「地震対策の分野では、様々な制約の中でも信頼ゴリズム開発が有限要素法による HPC 物理シミュ性の高い検討が可能な統計的手法が長く採用さレーションの性能限界を打ち破ることを証明してれてきましたが、都市の複雑化・高密度化が進むきた。さらに、AI との融合レベルをアルゴリズム中、未経験の震災や局所的な被害に対する予測だけでなくTensor コアのようなハードウェアの加が難しくなっています。私たちは、仮想空間上に都速機構にまで拡張することで、HPC 物理シミュレー

市を構築してシミュレーションを行う『デジタルションをより高速化できることも明らかにした。

ツイン』に向かって研究を進めていきます。私たちのグループでは、ラリス先生を中心に地震後の「アルゴリズムと計算機システムの特性をつかむこ避難行動や経済活動の HPC シミュレーションのとができるエキスパートが緊密に連携しながら研開発も進めています。このような社会活動のシミュ究を進めていることが、私たちの研究室の大きなレーションを物理シミュレーションと連成させるこ強みです。2019年に、6TBメモリ搭載の共有メモとで、これまでの地震による被害予測を本質的にリ型サーバー、1PB 規模のファイルサーバーを導変えていきたい。そのために、HPC シミュレー入しました。私たちのこれからの研究・開発を進めションによる次世代の評価手法を提案し確立したていくための基盤となるシステムです」（藤田氏）

いという思いが、私たちの強いモチベーションになっています。HPE には、私たちの研究の起点をお問い合わせはこちら
カスタマー・インフォメーションセンター

0120-268-186（または03-5749-8279）

Callシステムは、HPE ProLiant DL580 Gen10サー

支える高性能・高信頼のシステムを提供し続けてバ ー（4CPU/72コア /6TB メモリ / 内蔵 7.2TBくれることを期待しています」

NVMe 搭載）、高速ストレージ（100TB）、大容量で構築されている。
ファイルサーバー（1PB）

月曜日〜金曜日 9：00 〜 19：00（土曜日、日曜日、祝日、年末年始、および5月1日お休み）「HPE ProLiant DL580は、コード / プログラムの

詳しくはこちら
hpe.com/jp/servers

日本ヒューレット・パッカード株式会社〒136-8711 東京都江東区大島 2-2-1© Copyright 2020 Hewlett Packard Enterprise Development LP
本書の内容は、将来予告なく変更されることがあります。日本ヒューレット・パッカード製品およびサービスに対する保証については、当該製品およびサービスの保証規定書に記載されています。本書のいかなる内容も、新たな保証を追加するものではありません。日本ヒューレット・パッカー
ドは、本書中の技術的あるいは校正上の誤り、脱字に対して、責任を負いかねますのでご了承ください。記載されている会社名および商品名は、各社の商標または登録商標です。

CHS00000-01 記載事項は個別に明記された場合を除き2020年5月現在のものです。