学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

jh200047-NWH

ハイブリッドクラウド構築とゲノム情報解析の効率的な運用に関した研究
長﨑 正朗 (京都大学学際融合教育研究推進センター)概要
ヒト全ゲノム情報についてシークエンス技術の開発により爆発的に出力される情報が増えてきている。これらの情報について、情報量の増加とともに適切な計算環境において計算を行うこと、また、それらの計算結果を複数拠点にバックアップを持つなどの運用が必要となる。そこで、複数拠点間にわたる計算資源、ストレージを効率的に運用することができるヒト全ゲノム情報解析のためのシステム環境を、具体的な課題を整理しつつ構築することを目的とし研究を進めた。2021 年度末において、ハイブリッドクラウドおよび京都大学ゲノム医学センターのオンプレミス、東京大学、京都大学大規模電算機資源などの複数拠点から構成されるハイブリッドクラウドを構築するとともに、各拠点において情報解析の役割を整理することで、5000 人規模のヒト全ゲノム情報解析を行った。これらの成果を踏まえつつ今後は１万規模を超える全ゲノム解析に向けた情報解析基盤の整理を進めていく。

1. 共同研究に関する情報構築
橋本 洋希 ゲノムデータ解析環境基盤構(1) 共同研究を実施した拠点名
東京大学

京都大学

築九州大学

宮本 敏

ゲノムデータ解析環境基盤構築関谷 弥生 ゲノムデータ解析支援(2) 共同研究分野共同研究分野

男澤 良子 ゲノムデータ解析支援
Wang Yen Yen (王 妍雁)

超大容量ネットワーク技術分野

ゲノムデータ解析支援(3) 参加研究者の役割分担
京都大学・学術情報メディアセンター
京都大学・学際融合教育研究推進センタ
ーおよび医学系研究科

深沢 圭一郎 各大学間連携・データ伝送（京都大学拠点）

長﨑 正朗 (代表者) ハイブリッドクラウ
東京大学・東京大学情報基盤センター

ド構築統括
山田 亮 (副代表者) ゲノムデータ解析
助言関谷 勇司 クラウド運用および設計アド

松田 文彦 ゲノムデータ解析助言

バイス

Gervais Olivier

塙 敏博

山口 泉

ゲノムデータ解析助言

各大学間連携・データ伝送（東京大学拠点）

ゲノムデータ解析環境構築設計

川口 喬久 ゲノムデータ解析環境構設計
九州大学・生体防御医学研究所

稲富 雄一 ゲノムデータ解析環境構設計
浅倉 章宏

ゲノムデータ解析環境基盤1

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

大川 恭行 シークエンス情報関係アドバの情報について試験的に解析を行うことを目的とイスし研究を進めた。

前原 一満 データ転送（九州大学拠点）
九州大学・情報基盤研究開発センター

本計画で扱う情報は、疾患をもつゲノム情報を含

南里 豪志 大学間連携（九州大学拠点）

んでおり、今回の設計で扱う情報からえられた解析結果は、疾患の原因やマーカーを含むことが十情報通信研究機構・総合テストベッド研分に考えられ学術的・社会的な意義がある。さら究開発推進センターに、数年後の全ゲノム情報の大規模解析のための設計を進め課題を洗い出すことについて、学術的村田 健史 拠点間データ転送ソフトウェな意義があると考える。特に、データ転送や複数ア提供・設定アドバイス拠点での効率的な解析は重要であると考える。
そのため、「ハイブリッドクラウド構築とゲノム情報解析の効率的な運用に関した研究」の課題

2. 研究の目的と意義を設定し以下の課題を解決することを目的とする。

ヒトゲノム情報についてシークエンス技術の開発により爆発的に出力される情報が増えてきてい

課題１）複数拠点間を効率的に運用できるハイブる。これらの情報について、情報量の増加とともリッドクラウドシステムの設計と運用に適切な計算環境において計算を行うこと、また、それらの計算結果を複数拠点にバックアップ

課題２）シークエンサから取得された情報を他のを持つなどの運用が必要となる。

拠点に効率良く展開するための設計検討

１つの拠点では、上の目的を達成することが困難な状況となっており、オンプレミス、国内のス3.

ーパーコンピュータシステム、また、商用のクラ当拠点公募型研究として実施した意義

ウド環境の各々において、転送のコスト、費用、現在、5,000 検体の規模の解析であるが、今後はセキュリティなど総合的に勘案をして運用を行う

海外の事例にあるように数万以上の規模が想定さ必要がある。
一方、京都大学のゲノム医学センターにおいてれている。そのような規模において提案されてく5,000 検体の全ゲノムシークエンスが行われておるバイオインフォマティクス手法などによる解析り、それらの情報のバックアップ（１検体当たりが必須である。また、それらの解析によって、シ100GB～200GB）、ヒトゲノムリファレンス配列ークエンスされた生データから新たなリスク要因の更新に伴う再解析（１検体当たり、32-48Coreが同定されることが想定されている。

搭載 CPU で 1 日から 1 週間）、また、下流解析

そのため、今回の申請において、各拠点でどの（計算時間は解析の内容によって異なる）が必要ような解析を行うことで効率的に運用ができるか、となっている。他に、最新のシークエンサによっ

また、将来的な情報量の増加に対応するか実際にて取得された情報の転送のための実装が求められ設計・運用を行うことで検討を進めることが必要ている。

である。

そこで、当研究においては、複数拠点間にわたる計算資源、ストレージを効率的に運用するにおいて出てくる課題を整理しつつ、円滑に上の一部
2

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

Summit Online Japan 2020 で発表を行っ

4. 前年度までに得られた研究成果の概要

た。
初年度のため該当なし

さらに、現在までに検討を進めた大規模
ゲノム解析における現実的な実装の経験を5.

活かした内容に関連する国際論文の執筆を今年度の研究成果の詳細行い 2020 年 10 月に Journal of Human
課題１）複数拠点間を効率的に運用できgenetics 誌で掲載された。掲載後半年でるハイブリッドクラウドシステムの設計

5,000 以上のオンラインアクセスがなされてと運用（長﨑 正朗、山田 亮、松田 文

いる（2021 年 5 月現在）。

彦、Gervais Olivier、山口 泉、川口 喬

2020 年度後半において、東京大学の電算

久、稲富 雄一、浅倉 章宏、橋本 洋機システムにおいてデータ転送用に固定ノ希、宮本 敏、関谷 弥生、男澤 良子、ードの提供を受け、2021 年度において拠点Wang Yen Yen、深沢 圭一郎、関谷 勇間のデータ転送を行える設定の方法などの司、塙 敏博）準備を進めた。
なお、当該研究課題時に配分された電算機資源のみで解析が可能な数百検体を目標

概要は図１参照

として課題の整理、試験実装を進めたが、前半期間は、5,000 検体すべての情報を本研

上記検討を踏まえ、2020 年度途中から、京究課題の解析資源で賄うことが困難である

都大学ゲノム医学センターのオンプレミスことから、一部のデータ（数百検体程度）に加え、同センターで別途契約をおこなっの情報での設計と運用を進めた。具体的にた京都大学および東京大学の大規模電算機は、京都大学のオンプレから、京都大学の資源を活用することで希少疾患を含む 5,000メディアセンターのサーバにデータの展開

検体の全ゲノム情報解析を 2020 年度内に達を行った後、これらの情報を、東京大学の成している。

電算システムに展開し情報解析を行うことを進めた。また、それらの結果について、

課題２）シークエンサから取得された情報京都大学のメディアセンターのサーバに転を他の拠点に効率良く展開するための設計送するまでのフローの構築を進めた。各電検討（大川 恭行、前原 一満、南里 豪志、算機資源において共通した利用ができるよ深沢 圭一郎、村田 健史）

うに、singularity v3 のインストールを京都大学 Cray XC40 のシステムに依頼し、2020

概要は図４参照

年 9 月末にインストールが完了し準備を整
シークエンサから得られる情報は、特に希えた。
さらに、SINET5 の L2VPN をもちい少な疾患については、これらの検体について、パブリッククラウドにも接続を行い同ては、DNA サンプルが少ないことも多々あ定された変異情報のアノテーションなどのり、得られた情報自身が貴重であることも下流解析を行える試験実装についても進め多い。
また、すべての大学において最先端のシた（図２、図３参照）。

ークエンサが導入されていることはまれでまた、上の全体の実装や解析フローの内容について、2020 年 9 月開催の AWSある。そこで、本研究課題においては、最3

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

新のシークエンサが導入されている九州大部について解決を試みた。2021 年度は、同試

学と主に京都大学の間でシークエンサによ験結果を取り込むことでより自動的に自動って得られた情報を効率よく転送するため

レジュームが実行できるように実装するこの設計や性能試験のための準備を進めた。とや、対象の染色体上の領域をさらに分割することで対象時間内に完了できるようにするなどの改良を進める。

6. 今年度の進捗状況と今後の展望

また、2021 年度に向けてオンプレミスにFPGA によって高速に定型解析を行うことが課題１）複数拠点間を効率的に運用できるハできる DRAGEN を 2021 年３月に試験的に導入

イブリッドクラウドシステムの設計と運用したこと。これらの機能についてもハイブリ
ッドクラウド上で合わせて効率よく利用す

図２、図３で示すように各拠点の構成及るための方策について検討を進めていく。

び役割を整理するとともに 5000 人規模の解拠点間の転送について 100TB のデータ転送析を進めた。2021 年度においては、現在のが定期的に発生することが考えられること

配列情報も含め合計１万人規模の新たなシから、これらの転送をより効率的にできるよークエンス配列が取得されることから、１

うに高速転送のツールの評価と拠点間実装

万人程度に解析対象人数が増えた場合のハを優先して行う。

イブリッドクラウド上の運用の解析フロー

上記を総合的に進めることで、2020 年度にについて解析を進める。

出た課題の確認、また、改善を進め 2021 年

2020 年度において、ヒト全ゲノムを複数拠度は、１万人規模の解析を達成していく。

点間の各計算リソース、ストレージを用いて解析を完了することを実際に試験的に行っ課題２）シークエンサから取得された情報

たが、構成がヘテロな環境であることからいを他の拠点に効率良く展開するための設計

くつかの課題が得られた。特に、計算が一部検討指定時間内に完了しない (Oakbridge-CX は48 時間が最長) ためにそのサイトでの実行

2021 年 1 月から、開発者の村田から提供は断念し他のサイトで実行を行うこととしされる HCPTools を用いた課題１におけるた（京都大学の Cray XC40 はジョブの実行時データ転送準備を進めてきた。同成果を活間の制限が 2 週間となっている）。

用して 2021 年後半には得られるシークエン並行して、当課題に対応するため、制限時ス情報の転送を課題２においても進めてい間内で解析された染色体上の領域から再実く。

行できるようにするなどのレジューム機能を試験的に実装することで解析フローの一4

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

図１

課題１の概要とチーム構成

図２

成果１

システム構成概要
5

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

図３

成果２

各解析拠点のゲノム情報解析のおける役割

図４

課題２の概要とチーム構成
6

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

7. 研究業績一覧（発表予定も含む．投稿中・投稿予定(4) 国内会議発表は含まない）（査読なし）(1) 学術論文 （査読あり）
長﨑 正朗, ‘ヒトゲノム情報統合解析に向けT.

Tanjo,Y.

Kawai,K.

Tokunaga,

O.

た京都大学ゲノム医学センターのハイブリッ

Ogasawara, M. Nagasaki, ‘Practical guideド ク ラ ウ ド シ ス テ ム 構 築 に つ い て ’, AWS

for managing large-scale human genome data

Summit Online Japan 2020 (2020/9/8 - 2020/9/30)

in research’, Journal of Human Genetics(66), pp. 39 – 52, 2021

(5) 公開したライブラリなど
該当なし(2) 国際会議プロシーディングス （査読あり）(6) その他（特許，プレスリリース，著書等）
長 﨑 正 朗 , AWS SUMMIT ONLINE JAPAN

該当なし

Report(3) 国際会議発表（査読なし）

https://special.nikkeibp.co.jp/atcl/NXT/20/aws1030_01

該当なし

7