国際DNA塩基配列データベース構築および遺伝研スパコンにおけるデータ解析の現状

国立遺伝学研究所 DDBJセンター
小笠原 理

国立遺伝学研究所

国際塩基配列データベースINSDCとDDBJの沿革
国際塩基配列データベース(日:DDBJ/米:NCBI/欧:EBI)のデータサイズ•••

1細胞測定によるガン研究など

NGS
ヒト集団の多型
dataNext generation
解析による遺伝性疾患解析など

sequencer (NGS)
data•
•
•

Traditionaldata
ヒトゲノムプロジェクト•Traditional data

1981—1987 日米欧の協力による国際塩基配列
2003ヒトゲノムプ
データベース設立
ロジェクト終了

年

1977年 DNA塩基配列決定法 (Sanger法)
1981年 EMBL(欧) 1982年
GenBank（米）1984年 DDBJ 設立
1990 年頃 論文発表時にデータを登録することを著者に義務づける現在の運用形態が確立。
1993年 日米欧の特許庁との協力体制。
6極会議。
2003年 ヒトゲノムプロジェクト終了
2008年 次世代シーケンサーのアーカイ
ブを日米欧３極で開始
2013年 個人ゲノム情報のアーカイブ(JGA/EGA/dbGaP)の運用を日米欧3極で開始。DDBJはJST傘下のNBDC と協同でJGAを運用。

遺伝研スパコン
1. 分散メモリ型計算ノード (Thin)•••

64GB memory/node554ノード
GPGPU搭載128ノード•

XeonPhi搭載32ノード

2. 共有メモリ型計算ノード(Medium, Fat)
• 2TB memory/node 10ノード• 10TB memory/node 1ノード

4. Lustre File system 7PB
5. アーカイブ用ストレージ 5.5PB
6. Inﬁniband QDR, FDR
遺伝研スパコンは1995年から。
現スパコンは2012年導入、2014年中間増強、2017年次期スパコンへリプレース

国際塩基配列データベースコンソーシアム
INSDC = DDBJ（日）+ NCBI(米）+ EBI (欧)毎日日米欧の拠点の間でデータを交換“The fourth paradigm : Data-intensive scientiﬁc discovery”
Microsoft (2009)

“The fourth paradigm : Data-intensive scientiﬁc discovery” Microsoft (2009)Components of data intensive science(“the fourth paradigm”)
NGS• Captureo The vast volume of data are captured
by instruments.

• Curationo The data is stored in huge storages forlong-term preservation.
o The data is curated. (the data is madeunderstandable and usable for theother researchers.)
o The data is made publicly accessible.

• Analysis
o The data is analyzed by many scientists.

INSDC

SupercomputerINSDCにおける”Curation”
1. 研究者がDNA塩基配列データおよびメタデータを登録
ooo

メタデータ: (1)登録者情報 (2)生体サンプル情報(1)シーケンサーの出力生データ (2)計算の中間データ (3)アノテーション付きの塩基配列データ
INSDCはこれらのデータのCurationを行いデータベースの品質を保持

2. 論文の投稿、査読o

この時INSDCから発行されたaccession numberが必要

3. 論文公開。同時に登録されたDNA塩基配列データおよびメタデータも公開される。(キーワード検索・相同性検索・ダウンロード）
4. 公開後のデータ更新。データの差し替えへの対応

GenBank/DDBJ Flat File Format (1/3)

GenBank/DDBJ Flat File Format (2/3)

GenBank/DDBJ Flat File Format (3/3)

大学共同利用機関としての計算機資源の提供
ユーザー数の推移

利用内訳
計算用高速NGS関係

遺伝研スパコンの現状• NGSデータに対応するため現スパコンではストレー
ジサイズ、計算性能とも10〜20倍の性能向上。
• DRA/ERA/SRAのアーカイブサイズの見通し
o 増加率1.4倍/年 => 2017年 5PB, 2022年 25PB
o 増加率2倍/年 => 2017年 10PB, 2022年 300PB• 大学共同利用機関としての計算機資源の提供
o 月平均50人増加 : 現在2000人以上
o 利用機関数 : 国内約300機関、全体で520機関
o ユーザーの約8割はNGS解析関係
o いつも2000ジョブ程度が実行されており、2000ジョブ程度が待ち状態にある。

ユーザーからの要望とその対応
1. スパコン用ソフトウェア開発研究の促進
2. データ解析の簡便化
3. ヒト遺伝性疾患やがんゲノムなど、個人ゲノム解析環境の提供
4. 各計算機センター間の連携
5. 種々のデータベースのミラーリング
これらの要望に応えるために以下のような取り組みをしている。

(1) 遺伝研スパコンの仮想環境、分散計算環境への対応 (OpenStack,Hadoop,Spark,...)(2) スパコン間連携(3) 個人ゲノム対応(高度なセキュリティー)

仮想環境等への対応
現在は、グリッドエンジンを用いてDDBJと一般ユーザーで計算機をなるべく共用する（赤の範囲370台)ことで計算機の無駄な空き時間がなくなるよう工夫している。
DDBJ業務(DB, Daily業務,その他)
182台

DDBJ解析 + 一般ユーザー 370台??台• 個人ゲノム解析• Webサーバー、DBサーバー• 各研究者に最適化された環境

伝統的Grid Engine配下• 大規模処理、高速処理

OpenStackを用いた仮想環境の導入により、物理結線の変更なしに、設定の変更だけで台数を調整できる => 必要な計算機の台数を最適化

計算機センター間の連携システム
ソフト一式のインストールと実行制御
1. 関連技術の標準化、共通APIの開発

2. オンデマンドで環境を構築

Helix Nebula Marketplace

3. Docker (Linux Container)
情報研

横山先生のグループの研究情報研,東工大などとの共同研究
各計算機センター間の連携・実証実験• data store/access method on inter-cloud• testbed operation(1) Science BigData Repository

MicrosoftAzure
Public Cloud Resource(Testbed: PetaBytes, Real System: ExaBytes)
etc.

(SINET Inter-Cloud)
Global File System(5) Job Migrationfrom Super Computer
to Public Cloud Resource

Academic Cloud@ Hokkaido Univ.

(VM, Container)

Private Cloud Resource(2) High Throughput
Data Access(Cloud Burst Buffer)

High Bandwidth& Secure Network
SINET5 L2VPN
10Gbps ～100Gbps

TSUBAME3.0@Tokyo Tech.

@DDBJ

Kento Aida, National Institute of Informatics(4) Collaboration with
Super Computerand Cloud Resource(Container)

(3) Interoperability Improvements for Super Computer
Same Account, Data Sets and System Libraries (VM)

23

軽量仮想化環境上の大規模塩基配列データ解析フレームワー
ク開発およびスパコン間連携の実証実験 (DBCLS/NIG/NII)RaaS: Reproducibility as a Service by docker container on NIG supercomputer
by Tazro Ohta
hAps://speakerdeck.com/inutano/raas-reproducibility-as-a-service-by-dockercontainer-on-nig-supercomputer

Extension of MiGAP (Microbial Genome
Annotation Pipeline)
Current MiGAP System
ORF
ident.

tRNA
ident.

16S rRNA
ident.

rRNA
ident.

KK16
SDB

ortholog
ident.

homologident.

COG

RefSeqmicrobial DB

DDBJ-compliant
annotation format

Lineage
speciﬁc
DBs

GPU BLAST,
CUDA-BLASTP, ...
BLAST for the Xeon Phi
GPU HMMer
CUSHAW

Motif identiﬁcation programs, etc...
(Interpro scan, etc ...)
HMMTigrBlastProDom
SignalPHMM Gene3D
HMMPfamSuperFamily

Evidence dataof the annotations

ストレージ(アーカイブ)• アーカイブサイズの見通しは困難
o 増加率1.4倍/年 => 2017年 5PB, 2022年 25〜30PB
o 増加率2倍/年 => 2017年 10PB, 2022年 300PB
o このほかに「個人ゲノムデータ」もある。
o 電気代の問題。
o スパコンリース終了時のデータ移行の方法？

• バックアップo 遺伝研内におけるバックアップ？（軽微なディスクやテープの障害に対する対応）

o ディザスタカバリー ? 遠隔地バックアップ• データ利用の方法
o ユーザーがアーカイブデータをダウンロードする方法
o 全件アクセスは今後困難に => メタデータのデータベース管理

ストレージ（計算用）• 伝統的Grid Engineの系 + OpenStack等の連携?
o いわゆるSQL, NoSQLデータベースや全文検索エンジンの運用
o その他ログの統計処理など