大規模データ解析と人工知能技術によるがんの起源と多様性の解明
文部科学省「富岳」成果創出加速プログラム

NewsletterNo.

6

2023年2月

Satoshi ITO「富岳」成果創出加速プログラム

大規模データ解析と人工知能技術によるがんの起源と多様性の解明「富岳」における大規模シークエンスデータ解析
課題参加者 東京医科歯科大学M&Dデータ科学センター 助教 伊東聰

全ゲノム解析は研究のみならず、臨床にここで問題となるのが、全ゲノム解析ソフ非常に大きくなります。また、並列計算時おいても普及が進 んでいま す 。次世代

トウェアと既存のスーパーコンピュータ用にロードバランスが著しく悪化する傾向がシーケンサの性能向上の恩恵もあり、近ソフトウェアの特徴の違いです。スーパー

顕著なため、単に超大規模スーパーコン

年の全ゲノム解析では大容量サンプルをコンピュータ上で運用されているソフトウェピュータを利用するだけでは、期待するほ大量に解析するようになりました。1サンプ

アの多くは物理や工学で用いられるシミュどの性能を出すことは出来ません。

ルのデータ量が増えることは高精度かつレーション・ソフトウェアです。その特徴を高感度の変異検出を可能にします。

あげると、必然的に、要求される計算機能力も飛躍

 並列化された単一のソフトウェアす。1年に3000検体ほどの解析を実施して的に増大しており、スーパーコンピュータ

 計算量に対して少ないI/O量おりますが、安定運用に至るまでに様々やクラウドサービスは全ゲノム解析を行う「Genomon」を富岳に移植、運用していま ロードバランスをとることが出来るにあたって必須のインフラとなっています。
しかし、近年はそれでも計算資源が不足する傾向にあり、富岳を始めとする超大規模スーパーコンピュータの活用を期待I/Oなどがあるでしょう。一方、全ゲノム解析ソな問題に直面しました。本稿では、特にI/Oとストレージシステムに関連する問題に焦点を絞り、解説をしたいと思います。

フトウェアは、パイプライン方式（独立したソフトウェアの組み合わせ）を採用しているものが多く、計算量に対するI/O負荷がする声が高まっています。

データ

我々は現在。全ゲノム解析パイプライン

タスク
(a)

I/O

データ

I/O

I/O

タスク

パイプライン型ソフトウェアのワークフロー

ソフトウェア
データ

I/O関数

メモリ関数

メモリ

時間発展ループ(b)

シミュレーション・ソフトウェアのワークフロー

図１： ワークフローの異なるソフトウェア
2

出力I/Oデータ
データデータSatoshi ITO

１．多数検体解析の必要性

Genomonを含む全ゲノム解析ソフトウェアのほとんどはパイプライン形式のソフトウェア（図１）です。具体的には、タスクと呼ばれる独立した処理（ソフトウェア）の実行を繰り返して最終的な結果を得ます。
通常、各タスクは一つ前のタスクの結果ファイルを入力ファイルとしています。そのため、前のタスクが終わるまで、自身の処理を開始することは出来ません（依存性）。また、並列化が可能で多数のプロセスによる高速化が見込める処理もあれば、逐次的に計算しなければならない処理もあります。図２左に富岳上で全ゲノム解析1サンプルを実行した際の実行状況を示します。この例 では 、約400プロセ ス（100ノード）を使用して1サンプルの解析を行っています。全解析に4時間程度の時間が大きな計算機を利用しても大部分の資源掛かっていることが分かります。ここで重を無駄に消費することになります。

要なことは、使用した400プロセスが4時間の間、ずっと処理をしているわけではないことです。この図では、プロセスが何らかの処理を担当している部分だけが色付きで表示されています。例えば、アラインメ
ント処理（図中のmap_dna_sequence）ではほぼすべてのプロセスが稼働しています。一方、それ以外の部分では、多くのプロセスが計算処理の割り当てをされておらず（遊休状態）、待機状態にあることが確認できます。この計算負荷の不均一性（ロードインバランス）はGenomon特有の問題ではなく 、広く全ゲノム解析を含むシーケンスデータ解析で一般的にみられその解決策が多数検体の同時解析です。
遊休状態が発生する原因は、ロードインバランスとタスク間の依存性が原因です。
しかし、この依存性は対象のサンプルに関係するタスクにのみ影響しており、他のサンプルの解析には影響がありません。
そのため、複数のサンプルを同時に解析すれば、依存性のないタスクの処理が悠久状態のプロセスに割り当て可能になるのです。図２右に10サンプルを同時に解析した際の実行状況を示します。図から明らかなように、遊休資源が無く、効率的に計算資源が利用されていることが確認できます。

る問題です。この問題を解決しなければ、

図２: 富岳上での全ゲノム解析実行の様子（左：1サンプル、右：10サンプル）
縦軸はプロセス番号、横軸は経過時間を示している。タスクを実行中のプロセスのみ、該当時間部分にカラーバーが表示されている。カラーの違いは実行中タスクの違いを示している。

２．ファイルシステムへの過負荷と対策は入出力は1回ずつしか行いません。時して可能な限りの並列化を実施していま間発展問題の場合はさらに小さく、最初す。タスク間での並列数が異なる箇所での入力以外は数千～数万回の反復に1回はファイルの統合・再分割などの処理をの出力のみです。これに対し、全ゲノム解加えており、I/O負荷がさらに高くなってい析ではタスク間で毎回入出力を行います。

ます。このような背景に加えて、多数検体また、データ量も前者に比べてかなり大きの同時解析を実施する必要から、ファイ初めに述べたように、スーパーコンピューく（合計数百GB～１TB）なります。このため、ルシステムへの負荷が非常に高くなった

タ上で運用されている多くのソフトウェア

パイプライン形式を採用する全ゲノム解

結果、解析時間の異常な増大という問題は、パイプライン形式のソフトに比べてI/O

析ソフトのI/O負荷は高くなる傾向にありまが発生しました。

負荷がとても小さいのです。定常解析です。さらに、Genomonでは高速化を目的と多数検体の同時解析は計算資源の有効活用の面では非常に有効ですが、一方で別の問題を生じます。それはファイルシステムへの負荷増大です。

3

Satoshi ITO

図３: 富岳の階層化ストレージ （宇野篤也, JLUG2022より引用）
富岳のストレージは2階層構成になっている。第1階層がLLIOと呼ばれ、計算ノード（富岳を構成する最小計算機単位）に接続され高速にアクセス可能である。第2階層がいわゆるホーム領域を構成する大規模ストレージであり、ネットワークを介してアクセス可能である。第2階層は合計150PBもの大容量であるが、第1階層は1ノードあたり90GB弱しかない。
容量に制限があるが高速に読み書きできる第1階層（LLIO）と大容量であるがI/O速度に限界のある第2階層の二つの異なるファイルシステムをいかに効果的に使うかが富岳を効率的に利用するための一つのポイントである。

富岳のファイルシステムは2階層で構成さに、大量の物理ディスクを論理的に一つ上）。そこで我々は、あえて1サンプルに対れています。第1階層であるLLIOですべてのストレージとしてユーザに利用できる環

する並列数を減らし、I/O負荷を下げる調のI/Oを行うことが理想的です。しかし、容境を提供してくれます。複数のディスクを整を行いました。並列数を減らすことによ量が非常に大きいこと、また、ファイルの利用することで高速I/Oを可能にしてくれり、1プロセスあたりの担当データ量が増

統合・再分割等の処理の必要性から、制る半面、ボトルネックも存在しています。

えるため必要なCPU時間が増えますが、限の多いLLIOのみではI/O処理を完結す

そ れ が メ タ デ ー タ サ ー バ （ MDS ） で す 。

その増加分よりI/O負荷の減少分が大きくることが出来ないため、Genomonの実行MDSは複数の物理ディスクに分散配置さ上回ると考えたのです。

時には第2階層も利用しています。

れたデータ（ファイル）の状況を制御・記憶

第2階層のストレージは分散ファイルシス
テ ム の 一 つ で あ る Fujitsu Exabyte File
System（FEFS）によって構築されています。

FEFSは他の分散ファイルシステムと同様しています。このMDSは2台しかなく、富岳全ユーザのジョブで共有するため、大量のI/O要求によりファイルシステム全体のレスポンスが低下し、結果としてGenomonテストの結果、当初のおよそ1/4の並列数に抑えることにより、およそ2.5倍の高速化を実現でき、現在、この最適なパラメータを用いて年間3000検体程度の全ゲノム解析を実施しています。

全体の実行が遅くなってしまいました（図44

図4: Genomon実行時のI/O負荷
横軸は経過時間、縦軸がファイルオープン等のI/O処理リクエスト量。最適化前（上）ではGenomon実行初期に発生した大量のI/Oリクエスト処理に長時間を要している。最適化後はリクエストが減少し、高速化した。

Editor Page

編集者メモ
 2023年2月28日：東京医科歯科大学
M&Dデータ科学センターのHeewon
Park教授が、ソウルの母校に移動になりました。3月からは東京医科歯科大学M&Dデータ科学センターの客員教授として継続して本プロジェクトに参加します。
 2022年2月6-7日：The 5th R-CCS
International Symposiumuにおいて、宮野悟が講演及びパネルディスカッションに参加しました。https://www.rccs.riken.jp/R-CCS-Symposium/2023/。
 2023年1月19日：東京医科歯科大学と東京工業大学が一つの大学に統合され、その名称が「東京科学大学(Institute of Science Tokyo)」となるそうです。東京医科歯科大学の名称の付いた最後のプロジェクトになりました。

 2022-2023年：Heewon Park教授の研究で、がんの多様性と薬剤耐性の関係が、スパコンと独創的な数理的手法の開発で明らかになってきました。
Park H et al. (2023) J Comput Biol. 30(2):223-243.
Park et al. (2022) Int J Mol Sci. 23(22):14398.
Park H et al. (2022) BMC Bioinformatics. 23(1):342.
Park H et al. (2022) PLoS One. 17(5): e0261630.
Park H et al. (2022) J Comput Biol. 29(3):257-275.

また、「AI」x「富岳」でも連携機関の富士通研究所と一緒に成果をだしていますこの成果もがんの多様性に関するものです。
Park H, Maruhashi K, et al. (2020) PLoS One.
15(11):e0241508.

 2022年12月18日：シンポジウムはNPOバイオインフォマティクス・ジャパンとの共同開催として行われました。プログラムを右につけております。100名を超える参加者がありました。

プログラム14:00-14:05 開会挨拶
宮野悟（東京医科歯科大学M&Dデータ科学センター長/NPO法人バイオインフォマティクス・ジャパン理事）
五斗進（NPO法人バイオインフォマティクス・ジャパン副理事長/ライフサイエンス統合データベースセンター副センター長）
14:05-14:45 【基調講演】 がんの起源を探る
小川誠司（京都大学大学院医学研究科腫瘍生物学講座教授）
14:45-15:10 【招待講演】 生物の進化論で考える、がんが難治である理由（特に大腸がんに注目して）三森功士（九州大学病院別府病院外科教授）
15:10-15:35 【招待講演】 「未知」を発見する人工知能
丸橋弘治（富士通(株) 富士通研究所プロジェクトマネージャ）
15:35-16:00 【招待講演】 胃がん抗がん剤の耐性メカニズム解明を目指す遺伝子ネットワーク解析
Heewon Park（東京医科歯科大学M&Dデータ科学センター教授/NPO法人バイオインフォマティクス・ジャパン理事）

 次回のニュースレターNo. 7が最後となりますが、課題代表者の宮野悟が、３年間の総括をする予定です。

１．代表機関４．事業参加者

国立大学法人東京医科歯科大学

事業参加者（代表機関）

研究課題開発責任者

東京医科歯科大学M&Dﾃﾞｰﾀ科学ｾﾝﾀｰ

M&Dﾃﾞｰﾀ科学ｾﾝﾀｰ 特任教授 宮野悟

令和4年度シンポジウム「 がんはどのようにはじまり、そしてどのように強敵にばけるのか」
日時：2022年12月18(日) 14:00-16:30
開催方法：Zoomによるオンライン開催

統合解析分野特任教授 宮野悟
准教授 長谷川嵩矩

２．協力機関助教 伊東聰

国立大学法人京都大学

特任助教 角田将典

協力機関代表者

特任助教 小川弥穂

大学院医学研究科 教授 小川誠司

特任研究員 田中洋子
AI技術開発分野 教授 Heewon Parkhttps://www.rccs.riken.jp/jp/fugaku/promoting-researches

愛知県がんセンター
協力機関代表者

事業協力者（協力機関）

研究所ｼｽﾃﾑ解析分野 分野長 山口類

京都大学大学院医学研究科
腫瘍生物学講座

３．連携機関教授 小川誠司

特定教授 南谷泰仁（株）富士通研究所

助教 越智陽太郎

連携機関連絡担当者

他11名

富士通株式会社 フェロー 岡本青史
国立大学法人東京大学
連携機関連絡担当者

スーパーコンピュータ「富岳」成果創出加速プログラムについて（理化学研究所計算科学研究センターより抜粋）

愛知県がんセンター研究所
ｼｽﾃﾑ解析分野

分野長 山口類

医科学研究所 准教授 片山琴絵
連携参加者（連携機関）
富士通株式会社 フェロー

岡本青史

Karolinska Institutet

富士通株式会社 富士通研究所

連携機関連絡担当者
Department of Medicine/Center for
Hematology and Regenerative Medicine
Visiting Professor 小川誠司

プロジェクトマネージャ

丸橋弘治

東京大学医科学研究所

ﾋﾄｹﾞﾉﾑ解析ｾﾝﾀｰ

准教授 片山琴絵

先端医療研究ｾﾝﾀｰ教授

南谷泰仁

スーパーコンピュータ「富岳」成果創出加速プログラムは、「富岳」を用いた成果を早期に創出することを目的として文部科学省が設置しました。①人類の普遍的課
題への挑戦と未来開拓、②国民の生命・財産を守る取組の強化、③産業競争力の強化、④研究基盤の4領域について課題の選定が行われ、19課題が選定されています。選定
された課題は、「富岳」の計算資源を優先的に無償で使用し、速やかな成果創出を目指します（2020～2022年度）。
課題名： 大規模データ解析と人工知能技術によるがんの起源と多様性の解明
課題番号：JPMXP1020200102
課題ID
2022年度：hp220163
2021年度：hp210167
2020年度：hp200138（2023年2月28日時点）

5

Information

文部科学省「富岳」成果創出加速プログラム
課題名：大規模データ解析と人工知能技術によるがんの起源と多様性の解明
ニュースレター No. 6
発行日★２０２３年２月２８日
課題代表者★宮野 悟
 東京医科歯科大学M&Dデータ科学センター 統合解析分野
 郵便物宛先： 〒113-8510 東京都文京区湯島1-5-45
 宅配便宛先： 〒101-0062 東京都千代田区神田駿河台2-3-10
駿河台キャンパス22号館5階
 TEL: 03-5280-8620 FAX: 03-5280-8632
 E-mail: mdsc.dsc@tmd.ac.jp
 HP: https://odcla.mddsc.jp