ハイブリッドクラウド構築とゲノム情報解析の効率的な運⽤に関した研究【課題番号】 jh200047【研究代表者名】⻑﨑 正朗
京都⼤学学際融合教育研究推進センター スーパーグローバル
コース医学⽣命系ユニット
京都⼤学⼤学院医学研究科附属ゲノム医学センター

Kyoto University1

本研究課題のメンバ全体
研究課題代表者・副代表者【京都⼤学】
⻑﨑 正朗 ⼭⽥ 亮
申請課題の全共同研究者【九州⼤学】
⼤川 恭⾏ 前原 ⼀満 南⾥ 豪志【東京⼤学】
関⾕ 勇司【京都⼤学】
松⽥ ⽂彦 ⼭⼝ 泉 川⼝ 喬久 稲富 雄⼀
深沢 圭⼀郎 関⾕ 弥⽣ 浅倉 章宏 寺岡 凌
Olivier Gervais Wang,Yen Yen

男澤 良⼦【情報通信研究機構】
村⽥ 健史
Kyoto University2

【研究⽬的】ヒトゲノム情報についてシークエンス技術の開発により爆発的に出⼒される情報が増えてきている。
これらの情報について、情報量の増加とともに適切な計算環境において計算を⾏うこと、また、それらの計算結果を複数拠点にバックアップを持つなどの運⽤が必要となる。
１つの拠点では、上の⽬的を達成することが困難な状況となっており、オンプレ、国内のスーパーコンピュータシステム、また、商⽤のクラウド環境の各々において、転送のコスト、費⽤、セキュリティなど総合的に勘案をして運⽤を⾏う必要がある。
⼀⽅、京都⼤学のゲノム医学センターにおいて5,000検体の全ゲノムシークエンスが⾏われており、それらの情報のバックアップ（１検体当たり100GB〜200GB）、ヒトゲノムリファレンス配列の更新に伴う再解析（１検体当たり、32‐48Core搭載CPUで1⽇から1週間）、また、下流解析（計算時間は解析の内容によって異なる）が必要となっている。他に、最新のシークエンサによって取得された情報の転送のための実装が求められている。
そこで、当研究においては、
１．複数拠点間にわたる計算資源、ストレージを効率的に運⽤するにおいて出てくる課題を整理しつ
つ
２．仮想環境や⼤規模電算機資源上でゲノム情報の解析パイプラインの実装を⾏い
３．円滑に上の⼀部の情報（数百検体を予定）について試験的に拠点間転送と２のパイプラインを⽤いたデータ解析を⾏うことを⽬的とする。
Kyoto University3

当拠点公募型共同研究として実施する必要性
現在、5,000検体の規模の解析であるが、今後は海外の事例にあるように数万以上の規模が想定されている（次スライド参照）。そのような規模において提案されてくるバイオインフォマティクス⼿法などによる解析が必須である。
また、それらの解析によって、シークエンスされた⽣データから新たなリスク要因が同定されることが想定されている。
そのため、今回の申請において、各拠点でどのような解析を⾏うことで効率的に運⽤ができるか、また、将来的な情報量の増加に対応するか実際に設計・運⽤を⾏うことで検討を進めることが必要である。

Kyoto University4

ヒトゲノムシークエンス情報の増加の様⼦【図1】ヒトゲノムシークエンス情報の増加の様⼦
⽶国のヒトゲノムシークエンス情報の国際データベース (Sequence Read Archive: SRA)に登録されているゲノム情報の総データサイズ (テラバイト) の推移（2020年時点で12PB）
おおよそ1検体あたり30Gとして約40万⼈のゲノム情報が保存されていることになる。
Kyoto University

Cloud computing for Genomic Data Analysis and Collaboration Ben et al. Nature Rev Genet 20185

１つ１つの研究における⼈数規模の増加【図2】１つ１つの研究における⼈数規模の増加の様⼦ 研究プロジェクト毎の解析対象⼈数が⼤規模化するとともにまた数が増えていることがわかる。
Kyoto University
6
A scientometric review of genome‐wide association studies Melinda et al Communication Biology 2019

【研究計画】

課題１）ハイブリッドクラウド構築とゲノム情報解析の効率的な運⽤に関した研究（⻑崎、⼭⽥、松⽥、関⾕、深沢、村⽥）
課題２）シークエンサから取得された情報を他の拠点に効率良く展開するための設計検討（⼤川、⻑崎、深沢、村⽥）

Kyoto University7課題１）ハイブリッドクラウド構築とゲノム情報解析の効率的な運⽤に関した研究各拠点担当者とその役割（拠点１）京都⼤学 ゲノム医学センター【担当者】⻑﨑正朗 全体統括 （分担）⼭⽥亮、松⽥⽂彦 他【役割】全ゲノム情報のハイブリッドクラウドにおける効率的な解析の設計
オンプレ、各電算資源間の効率的な解析パイプラインの構築（後スライド参照）（拠点２）京都⼤学 メディアセンター【担当者】深沢圭⼀郎【役割１】京都⼤学と他拠点計算機資源との効率的なデータ分散及び拠点間転送⽀援【役割２】京都⼤学と他拠点とのSINET5を⽤いたパブリッククラウドへのVPN接続管理（拠点３）東京⼤学【担当者】関⾕勇司【役割】クラウド実装におけるアドバイス、また、試験環境の整備（拠点４）情報通信研究機構【担当者】村⽥健史【役割】拠点間の⾼速データ転送技術提供と評価

8課題２）シークエンサから取得された情報を他の拠点に効率良く展開するための設計検討各拠点担当者とその役割（拠点１）京都⼤学 ゲノム医学センター【担当者】⻑﨑正朗 全体統括【役割】全ゲノム情報のデータの受け取りとその後の課題1と連携したパイプライン処理（拠点２）九州⼤学 ⽣体防御医学研究所【担当者】⼤川恭⾏ 前原⼀満
【役割１】全ゲノムシークエンスデータの読み取りとその情報の拠点１への転送【役割２】解析結果の拠点1からの受け取りと結果評価（拠点３）情報通信研究機構【担当者】村⽥健史【役割】拠点１と２の間の⾼速データ転送技術提供と評価

9課題１）ハイブリッドクラウド構築とゲノム情報解析の効率的な運⽤に関した研究ーシステム構成と分担者の役割ー
・京都⼤学 ゲノム医学センター【役割】⻑﨑正朗 全体統括 （分担）⼭⽥亮、松⽥⽂彦 他
全ゲノム情報のハイブリッドクラウドにおける効率的な解析の設計
オンプレ、各電算資源間の効率的な解析パイプラインの構築（後スライド参照）
・京都⼤学 メディアセンター【役割】深沢圭⼀郎
京都⼤学と他拠点の計算機資源にデータの効率的な保存および拠点間転送⽀援
京都⼤学と他拠点とのSINET5を⽤いたパブリッククラウドへのVPN接続管理
・東京⼤学【役割】関⾕勇司
クラウド実装におけるアドバイス、また、試験環境の整備
・情報通信研究機構
村⽥健史
拠点間の⾼速データ転送
Kyoto University10課題１）ハイブリッドクラウド構築とゲノム情報解析の効率的な運⽤に関した研究

システム全体構成と役割担当

ヒトゲノム情報解析でより汎⽤的な解析が求められる解析パイプランの実装
京⼤・⻑﨑

京都⼤学

・ゲノム医学センター
・オンプレサーバ

NICT・村⽥

⾼速転送

東⼤・関⾕

東京⼤学仮想環境(Fennel)

SINET5SINET5 L2VPN(Direct Connect)
パブリッククラウド

SINET5

NICT・村⽥

⾼速転送

ヒトゲノム情報解析で超⾼速な解析が求められる解析パイプランの実装
京都⼤学⼤規模電算機

京⼤・深沢

NICT・村⽥

⾼速転送(Cray XC40通年(タイプA1):17280
ノード時間積)・ゲノム医学センター
FPGAによる専⽤計算機

京⼤・⻑﨑

SINET5京⼤・⻑﨑

東京⼤学⼤規模電算機(Orkbridge‐CX: 92,160ノード時間積)

ハイブリッドクラウド構築とゲノム情報解析の効率的な運⽤に関した研究
京⼤・⻑﨑

全世界のTOP500 supercomputers 60%で利⽤
京⼤オンプレ＆AWS＆東⼤仮想環境 (Fennel) での共通実装

Singularity v3を⽤いたパイプライン構築

コンテナの利⽤による再現性・再利⽤性・信頼性の担保

解析パイ
プラインをさらに実装予定

ヒトゲノム情報解析でより汎⽤的な解析が求められる解析パイプラン
パイプラインはPython / R / C++ / Javaなどさまざまなバイオインフォマティクス解析
ソフトウェアのワークフローで構成
処理名称

パイプラインの概要

⼊⼒ファイル

出⼒ファイルGenotyping

SNPアレイ（Japonica Array (CEL)ファイル）から約66万か所の遺伝型をクラスタリングによって決定するためのパイプライン

CEL

VCF/BED

国際1000⼈ゲノムやそのほかの全ゲノムリファレンスパネルを⽤いることでSNPアレイでタイピングされた約66万か所のSNPから数千万のSNP情報を復元するパイプライン

VCF/BED

VCF/BED

VCF/BED

TXT

VCF/BED

TXT

Imputation

GWAS

Annotation

インピュテーション （1KGP / GRIFFIN Panel など） によって復元された数千万か所の変異情報について指定された条件でフィルタリン
グを⾏った後に疾患群と健常群などのcase/controlまたは検査情報などの連続量についての各SNPの偏りを統計⼿法により検定を⾏うパイプライン
GWASによってでてきた結果についてアノテーションを⾏うパイプライン

課題2）シークエンサから取得された情報を他の拠点に効率良く展開するための設計検討

システム全体構成と役割担当

九州⼤学
⽣体防御研究所
九⼤・⼤川/前原九州⼤学⼤規模電算機

全ゲノムシークエン機器

ITOサブシステムA:10,000
ノード計算積ストレージ 10TB

SINET5

Illumina社NovaSeq6000（参考︓次ページスペックシート）

NICT・村⽥

⾼速転送

ヒトゲノム情報解析で超⾼速な解析が求められる解析パイプランの実装
京都⼤学⼤規模電算機

京⼤・深沢

NICT・村⽥

⾼速転送(Cray XC40通年(タイプA1):17280ノード時間積・ゲノム医学センター 京⼤・⻑﨑 SINET5FPGAによる専⽤計算機

京⼤・⻑﨑

東京⼤学⼤規模電算機(Orkbridge‐CX: 92,160ノード時間積)【課題1】との連携
13

NovaSeq6000 スペックシート
S4のフローセルを⽤いて1台で年間 約8,000⼈のヒト全ゲノム情報を取得できる。
データ量としては546000G塩基
1塩基はA/T/G/Cの⽂字列とASCII
コードで表現される1⽂字
1検体あたり圧縮して30Gbぐらい
8000検体で解析前のデータで250TB

Kyoto University14

【参考関連論⽂】
1.

N. Nariai, K. Kojima, S. Saito, T. Mimori, Y. Sato, Y. Kawai, Y. Yamaguchi-Kabata, J. Yasudaand M. Nagasaki, HLA-VBSeq: accurate HLA typing at full resolution from whole-genome
sequencing data, BMC Genomics, 16(2):S7, 2015.

2.

M. Nagasaki et al, Rare variant discovery by deep whole-genome sequencing of 1,070
Japanese individuals, Nature Communications, 6:8018, 2015

3.

Y Kawai, T Mimori, K Kojima, N Nariai, I Danjoh, R Saito, J Yasuda, M Yamamoto and M.
Nagasaki, Japonica array: improved genotype imputation by designing a population-specific
SNP array with 1070 Japanese individuals, Journal of Human Genetics 2015; 60: 581–587,
2015.

4.

T. Hasegawa, K. Kojima, Y. Kawai, K. Misawa, T. Mimori, and M. Nagasaki, AP-SKAT:
highly-efficient genome-wide rare variant association test, BMC Genomics, 17(1):745, 2016.

5.

X. Jia, T. Horinouchi, Y. Hitomi, A. Shono, S.-S. Khor, Y. Omae, K. Kojima, Y. Kawai, M.
Nagasaki, 17⼈略, K. Tokunaga, and K. Iijima, Strong Association of the HLA-DR/DQ Locuswith Childhood Steroid-Sensitive Nephrotic Syndrome in the Japanese Population, J. Am. Soc.
Nephrol., vol. 29, no. 8, pp. 2189–2199, 2018.

6.

Y.Y. Wang, T. Mimori, S. S. Khor, O. Gervais, Y. Kawai, Y. Hitomi, K. Tokunaga and M.
Nagasaki, HLA-VBSeq v2: improved HLA calling accuracy with full-length Japanese class-I
panel, Hum Genome Var, 6: 29, 2019.
Kyoto University15