学術情報基盤オープンフォーラム2018

ライフサイエンス研究の生産性を向上させるためのオンデマンドクラウド
二階堂 愛, PhD.
理化学研究所バイオインフォマティクス研究開発ユニット. ユニットリーダー
筑波大学. 教授 (協働大学院)

11. ライフサイエンスを取り巻く計算機事情
大規模・複雑な解析を実施できる計算環境
実験生物学者が計算しなければならない
データ解析環境構築と解析の再現性の向上

2. クラウド技術によるライフサイエンス研
究の生産性向上
DevOps技術
HPC on クラウド
オンデマンドハイブリッドクラウド

あらゆる現象を観測する多目的顕微鏡
セントラルドグマのすべてをステップを1つの計測機器で

One person:
30 trillion cells
400 type of cells
100 thousand mRNA
100 thousand protein
80 years old
ChIP-seq

4C/5C/HiC-Seq

ChIP-seqDNA-seq
ExomeChIP-seq

Methyl-Seq
RIP-seqRNA-seq

http://www.chem-agilent.com/cimg/SystemWorkflow600B.gifRibosomal Profiling>100 *-Seq

34大型化と個人化に向かうゲノム科学
セントラルドグマのすべてをステップを1つの計測機器でゲノム科学の大型化 = ルーチンの解析を大規模に10万人のヒトゲノムを収集する
1万の植物ゲノムを決定する
ヒトのすべての細胞種を同定する
ゲノム科学の個人化 = だれでも大規模なデータが取れる
68K single-cells
peripheral blood mononuclear cells (PBMCs)

データ解析や計算機科学に詳しくない実験科学者がデータ解析に参加
Illumina NextSeq

Chromium (10x genomics)

5

DNAシーケンスのデータ解析の例
たくさんのプログラムとデータベースの組み合わせ

大規模な並列計算・パイプライン処理

１）RNA-seq~DEG解析WFを作成

共通:

実体パスの取得

行列 (MBからGB程度)

遺伝子/変異DNA配列 (0.4GB-600TB)

サンプル

WFその2:

FastqMcf > Sailﬁsh

WFその1:
FastqMcf > Bowtie2 >eXpress

共通:
カウントデータのマージテーブル作成> edgeR > gene Symbol付加

これらのワークフローを数千から数万サンプルを扱う
6

データ解析の再現性とライフサイエンス7

「計算」の高速化から「研究」の高速化へ問題点1: 複雑な環境構築がデータ解析のボトルネック
・これまでのHPCとライフサイエンス
実装

環境構築

利用登録

計算
並列・分散・アクセラレータ

・現在のHPCとゲノム科学
実装

環境構築

利用登録

計算

律速

問題点2: スポットでデータが出力される
ゲノム科学

問題点3: エンジニアリングと科学

その他

100
75
50
25
0

1

3

5

7

911

計算機利用のリテラシー格差が存在8ライフサイエンスを取り巻くデータ解析環境構築の問題点•

ライフサイエンス研究に集中したいが、データ解析環境を構築する
ことは手間がかかる•

計算機やソフトウェアの調達や管理、保守•

オープンソースツールやDBのアップデートが速い•

データ解析の再現性担保できなくなる•

生命情報科学者・計算生命科学者が計算機利用支援に借り出される•

計算導入、環境設定、計算機利用指導、簡単な作図、などのサポートに忙殺され、自身の研究に専念できない
9

DevOps = Development + Operations
ITインフラとアプリケーション開発の一体化

ビジネスアイディアを素早くマーケットに出すためのITに関する思想とその技術

ビジネスアイディア

マーケットIT インフラ
アプリケーション開発・リリース
http://ja.wikipedia.org/wiki/DevOps. modified

BioDevOps = Bioinformatics + Development + Operations
バイオインフォマティクス解析とITインフラとアプリケーション開発の一体化研究アイディアを素早く論文として出すための考えかたと技術

データ解析ツールやパイプラインシステムの開発

研究アイディア
実験データ

データ解析やソフト、データベースの品質管理

BioDevOps
Bioinformatics
Data analysis

論文出版

データ解析の実施

データ解析用PCクラスターのセットアップ
BioDevOps =クラウドコンピューティング、Infrastructure as Code, パイプライン管理で実現する!

111. ライフサイエンスを取り巻く計算機事情
大規模・複雑な解析を実施できる計算環境
実験生物学者が計算しなければならない
データ解析環境構築と解析の再現性の向上

2. クラウド技術によるライフサイエンス研究の生産性向上
DevOps技術
クラウドの利用
Private Cloud
Public Cloud
Hybrid Cloud全理研に向けた計算生命科学の支援体制の構築
生命機能科学研究センターと情報システム部の連携

1. 計算生命科学の大規模計算環境を研究者へ提供・教育実施

2. 必要なときに必要なだけスパコンをパブリッククラウドからスペース・管理費などを集約化。約1億円の節約。研究に集中

納期3-6ヶ月を15分に。研究速度の圧倒的な向上

理研クラウドコンピュータ
解析結果

計算投入

1600程度の解析ソフトウェアを収録
8 CPU cores (2GHz), 64 GB RAM and 2 TB strage

理研内にあるデータに対して自在に計算が可能な仕組み(国立情報学研究所/マイクロソフトとの共同研究)

13

Bioinformatics Analysis Environment as CodeDev, Ops, Analysis の疎結合化
0. vegrantでマシンを管理
仮想計算機構築chef cookbookを実行しプログラムを自動セットアップ

User

3. chef cookbookを配信するサーバー

Zabbixでマシンの状況を監視

2. chef cookbookを配信サーバーへ提供

Jenkinsで継続的インテグレーション
1. chef cookbookを実装し

http://www.getchef.com/chef/

コード共有レポジトリで管理Chef recipe and Integration Test
Example: Installing NCBI BLAST by chef

debian, Ubuntuの場合は”ncbi-blast+”というパッケージをインストール
CentOSの場合はNCBIからRPMパッケージを取ってきてインストール

Chef recipe and Integration Test
Example: Installing NCBI BLAST by chef

blastpを実行できたらテスト成功

ハードウェア構成をプログラムする
Azure Resource Managerテンプレート

1クリック or 1 コマンドで仮想的なHPCをクラウドに構築

計算機とその設定をソースコードのように管理する
ソーシャルコードレポジトリ: GitHub

誰でもアップロード
誰でもダウンロード
バージョン管理修正反映依頼 (pull request)
ユーザーやレポジトリをフォロー
Dev, Opsの疎結合に貢献

http://github.com/biodevops/

deploy: ソフトウェア環境を利用可能なように配置する
Vagrant: どのようなクラウドコンピュータでも簡単に環境をインストールできるVMが実行される計算機
ローカル
4. VMを利用 (SSH, HTTPなど)

1. VM構築を指示

ユーザ

3. deploy

2. VMイメージ
a. 仮想計算機を取得

イメージ開発

開発者

b. VMイメージ登録
仮想計算イメージレポジトリ

クラウドワークフロー管理システムGalaxy
オープンソースのデータ解析ワークフロー実行・管理システム

ワークフローの再配布が可能。様々なツールのレポジトリもあり簡単に利用できる継続的インテグレーション
ソフトウェアだけでなくワークフローの動作も継続的に保証する

WebUIからのワークフロー実行を自動的にテストするBayes Linux: Bioinformatics Analysis Environment
Virtual machine with NGS Data analysis tools and pipelines• >125 tools on Galaxy• 900 R/BioconductorPackages• 600 command line
tools (DebianMed)

2015 ソフトウェア部門3位

1. ライフサイエンスを取り巻く計算機事情
大規模・複雑な解析を実施できる計算環境
実験生物学者が計算しなければならない
データ解析環境構築と解析の再現性の向上

2. クラウド技術によるライフサイエンス研究の生産性向上
DevOps技術
クラウドの利用
Private Cloud
Public Cloud
Hybrid Cloudライフサイエンスデータ解析環境: Bayes Linux on RIKEN Cloud System
2015.4より運用開始： 次世代DNAシーケンサーのデータ解析を自動で行うクラウドシステム

シーエンスデータ

2016年オープンサイエンスアワード受賞

シーケンス拠点※理研クラウドのハードウェアは情報システムが管理

ソフトウェア開発・提供
解析環境の自動構築

バイオインフォマティクス
研究開発ユニット

理研クラウドコンピュータ
解析結果

ユーザ開発
ツールの提供計算投入

コンサルテーション
チュートリアル
解析実行・可視化

試料

ユーザー

SSH, HTTPS(理研内外)

解析パイプライン
データ可視化

理研全所の15ラボを支援。さらにのべ7大学に提供中
計算機購入と運用人件費、電気代・スペース利用料、調達作業コストなどを大きく削減

24理研クラウドシステム (ビックデータ基盤)
理研内へ計算資源を提供する実験サービスを開始 (2015.4)
既設スイッチ
10Gbase-T
LAG

LAG

1000b102-Txeas

MLAG

10GbaTx15Gb
1010Gbase
-SR

seGba

仮想サーバからNFSマウン
トしデータ領域として使用する
IBM DCS3700+NDSサーバ 総容量:544TB

-Tx
2x1
e-T
s
a

se-

GPFSサーバx3台
GPFSストレージ

seArista 7050T-64F

3
SR x10bax2

510Gbase-SRx2

10Gbase-SRx3

Arista 7050T-64F

00

XenServer x 15台

NetApp x 1台
NASストレージ

CloudStackを用いて仮想化基盤として使用する

仮想サーバのイメージプー
ルとして使用する

HP DL360p Gen8 x 12

NetApp FAS2220 5.2TB 10G NICCPU: Xeon E5-2670 2.6GHz(8コア) x 2
MEM: 512GB(DDR3-1333 32GBx16)
HDD: 2.5インチSAS 146GB 15Krpm x 3
NIC: 10GbE-Tx2、1000Base-Tx4

DELL PowerEdge R620 x 3
CPU: Xeon E5-2650v2 2.6GHz(8コア) x 2
MEM: 512GB(DDR3-1333 32GBx16)
HDD: 2.5インチSAS 146GB 15Krpm x 4
NIC: 10GbE-Tx2、1000Base-Tx4• ハードウェア• 1,170 1GHz vCPUs• 10 TB RAM• 734 TB Strage• ソフトウェア• CloudStack• Xen• 導入・運用コストはオ
ンプレミスと変わりがない1. ライフサイエンスを取り巻く計算機事情
大規模・複雑な解析を実施できる計算環境
実験生物学者が計算しなければならない
データ解析環境構築と解析の再現性の向上

2. クラウド技術によるライフサイエンス研究の生産性向上
DevOps技術
クラウドの利用
Private Cloud
Public Cloud
Hybrid Cloudデータ解析用スパコンをクラウド上に自動構築
1コマンド/クリックで、欲しいときに、欲しいだけ、自分専用スパコンを。マイクロソフトとの共同研究
Web上のボタンをクリック/1コマンドで計算機が手にCost

Execution Time
ExecutionTime

Cost

仮想計算機とクラウドを利用し、スパコンを自動構築し、計算を投入

MacBookPro$3000

MacBookPro

Not finishedOn-premise$50000 ~On-premisehalf a day

Cloud$200/runCloudhalf a day

Reproducibility

Procurement Time

Reproducibility
MacBookPro
On-premise
Cloud

No - ifmanually
Hard procedure by
specification
YES

Procurement
Time
MacBookPro

1 day ~
2weeksOn-premisehalf a year

Cloud

15 minThis compare is done by Not Galaxy Pipeline. This compare
is illumine NextSeq500 1 run , almost 2000 single-cell RNAseq.And compare only computational anaylisys.

Microsoft

日経ビジネスオンライン

https://github.com/manabuishii/NGS5th/27

1. ライフサイエンスを取り巻く計算機事情
大規模・複雑な解析を実施できる計算環境
実験生物学者が計算しなければならない
データ解析環境構築と解析の再現性の向上

2. クラウド技術によるライフサイエンス研究の生産性向上
DevOps技術
クラウドの利用
Private Cloud
Public Cloud
Hybrid Cloud未解決な問題•ローカルにある巨大なデータをクラウドに移動する必要がある••

データ転送料金 vs. ストレージ費用

普段の計算機を自然に拡張できないか?
•

オンデマンドハイブリッドクラウドの実現へ29

オンデマンドハイブリッドクラウド
計算ノードを欲しいときに欲しい量だけパブリッククラウドから調達•

NIIがVirtual Cloud Provider (VCP)を提供•

理研のPCクラスターのノードをAWSから調達•

ジョブキューイングシステムから自然に計算

login

Execution Nodes on cloud

qsub

SINET5NFS

オンデマンドクラウド構築サービス
構築・管理ソフトウェアVCP

情報システム部

Submission Node
FileSystem
NFS

qsubsend

Execution Nodes on-premiss

数100万円〜数1000万円

30

OHCのネットワーク構成
計算ノードを欲しいときに欲しい量だけパブリッククラウドから調達

31

計算速度とコスト: Hybrid Cloud vs. Public Cloud
実験条件: AWS, m4.10xlarge x 4, EBS 20GB, 593GB転送, 2000サンプル
総計算料金: $153.02

インスタンス

ストレージ

96

5

料金 ($)
04080

データ転送

52
120

160

32

展望: ローカルにあるヘッドノードのチープ化
Web UI

Execution Nodes on cloud

10分で構築計算終了後停止

qsub

NFS

IPseclogin市販のQNAPFileSystem&Submission Nodesend© 2016 DBCLS 統合TV / CC-BY-4.0

数10万円+クラウド利用料

課題• 通信速度• 信頼性/堅牢性
33

1. ライフサイエンスを取り巻く計算機事情
大規模・複雑な解析を実施できる計算環境
実験生物学者が計算しなければならない
データ解析環境構築と解析の再現性の向上

2. クラウド技術によるライフサイエンス研究の生産性向上
DevOps技術
クラウドの利用
Private Cloud
Public Cloud
Hybrid CloudHPC OPS研究会
7/2 13:30
日本マイクロソフト (品川)
参加受付中Twitter: #hpcopsjp
https://bit.riken.jp/35

謝辞

理研バイオインフォ研究開発ユニット• 石井学• 松嶋明宏
• 芳村美佳• 團野宏樹

国立情報研究所• 合田憲人• 竹房あつ子• 丹生智也• 政谷好伸理研情報システム部• 黒川原佳• 加茂聡

日本マイクロソフト• 林勝典• 久木田弦• 中田寿穂•

Cho Wukui

敬称略36