大規模なゲノム・オミックス情報の効率的な解析と分譲を実現するためのスーパーコンピュータシステム
2022年12月9日 JAPAN LUSTRE USER GROUP 2022
東北大学 未来型医療創成センター岡村容伸

東北メディカル・メガバンク計画とは⼤規模前向きゲノムコホート調査
健常な⼈々

複合バイオバンク
数⼗年の追跡

多様なデータ等を収集

年を追うごとに様々な発症3年後に病気15年後に病気⼈体に由来する試料と情報を体系的に収集・保管・分配するシステム

25年後に病気利⽤希望者に提供

⼤規模前向きゲノムコホート調査の強み●●●●

病気になる前のデータがわかる
本格的な発症前の微⼩な兆候を探すことも可能になる
病気にならなかった⼈のデータもわかる
症状の進⾏を追うことができる

未来型医療のエビデンスとなる
ビッグデータを収集*ヘルステック（健康・医療×IT）にも活⽤可*患者コホートでは、病院に来る前の正確な情報はわからない

東北大学 未来型医療創成センター 岡村容伸

2

東北メディカル・メガバンク計画の特徴

生体試料を配るだけではなく、一次解析済みデータも配布
生体試料は枯渇や劣化するが、データであれば劣化も枯渇もしない
データのコピーを配るのではなく、機構にあるスパコンにアクセスしてもらうことでデータのコントロールしつつ利用してもうことが可能

東北大学 未来型医療創成センター 岡村容伸

3

調査票情報ヒト全ゲノム解析
各種関連解析

スパコン
利用用途

この部分にリソースの多くを利用している

メタボローム解析
脳画像解析
クライオ電子顕微鏡
その他

東北大学 未来型医療創成センター 岡村容伸

4ヒト全ゲノム解析
ゲノムシークエンサー

スパコンでマッピング

FASTQファイル
60GB/人
合計3.1PBから増加中

CRAMファイル
30GB/人が7万人分以上
合計2PBから増加中© 2016 DBCLS TogoTV,
CC-BY-4.0

データをコピーして配ることは容量とデータの特性上現実的ではない
Data Sharingではなく、Data Visitingとしてデータを利用したい研究者にスパコンを使ってもらう
東北大学 未来型医療創成センター 岡村容伸

5

ログインノード

2022年4月稼働開始

Phase3
スパコンの概要• AMD EPYC 7702 / Memory 1TB / 8台の上にVMで構築

計算ノード• AMD EPYC 7713 / Memory 512GB / 110台
• AMD EPYC 7713 / Nvidia A100 x8 / Mem 512GB / 3台

ストレージ
• DDN Lustre 49.5PB• Scality Ring 10.5PB

ネットワーク• Nvidia Mellanoxのスイッチを使った高速Ethernet

東北大学 未来型医療創成センター 岡村容伸

6

本スパコンの特徴
ゲノムデータなど機微性の高いデータを扱うための設計
パスワードとDuo Mobileを利用した二要素認証
扱うデータのセキュリティレベルに応じて3つのUnitに分割
ゲノムデータなどが扱えるUnitは専用の部屋からシンクライアント端末でアクセスデータの持ち出し、持ち込みはファイルの内容まで記録
CPU負荷に対してデータ量が多いため、ストレージを重視

東北大学 未来型医療創成センター 岡村容伸

7

3 つの Unit

扱うデータの性質によってUnitを分けている

Unit A

Unit B

Unit C• インターネットと接続されている• インターネットには出られない• インターネットには出られない• ゲノムデータなどはア
クセスできない• 利用には全国に設置された専用の部屋で行う必要がある• 内部で実験データを処理するための領域• 開発用の領域• ディスクは小さめ• ゲノムデータが利用可能• 生データにアクセスができる

ゲノムデータはUnit B/Cの両方からアクセスできる必要がある

東北大学 未来型医療創成センター 岡村容伸

8

Lustre パーティション構成
割り当て容量

使用容量

ファイル数

Unit A/B/C共通領域

1.5 PB888 TB

(62%)

24M

(1%)

Unit Aユーザー領域

3 PB

1.1 PB

(39%)

331M

(7%)

Unit B/Cユーザー領域

31.6 PB

14.2 PB

(62%)

907M

(17%)

Unit C実験データ領域

13.5 PB

6.4 PB

(50%)

146M

(3%)

東北大学 未来型医療創成センター 岡村容伸

9

10kB/file

研究プロジェクトごとのファイル数とファイル容量

1MB/file
100MB/file

1M

大きいファイル主体のプロジェクトもあれば小さいファイルが主体のプロジェクトもありま
ちまち

ファイル数

10GB/file

1k1MB
東北大学 未来型医療創成センター 岡村容伸

1GB

1TB
合計データ容量

1PB
10データ読み込みのパフォーマンス(4領域の合計)
日によっては最小速度が100GB/sを割らないほどデータの読み込みが多い

東北大学 未来型医療創成センター 岡村容伸

一日ごとの読み込み速度で、緑の帯の上が最大速度、下が最小速度、実線は平均速度

11データ書き込みのパフォーマンス(4領域の合計)
一日ごとの書き込み速度で、橙の帯の上が最大速度、下が最小速度、実線は平均速度
読み込みに対して性能が出ていない
が、前世代のシステムからの移行時には100GB/sを超えていたので、単純に利用方法として書き込み速度が要求されていない

東北大学 未来型医療創成センター 岡村容伸

12

セキュリティレベルが異なるため、VLAN、ジョブスケジューラ、ストレージは独立
Unit B/Cは数PBの同じデータを持つ必要が3 つの Unit の課題ある
Unit B/Cのリソース配分を事前に決めることは困難
データはUnit Cで生成され、1ファイル単位でUnit Bからも見えるようにする必要がある

東北大学 未来型医療創成センター 岡村容伸

13

Node-map ・サブディレクトリマウントとハードリンクを利用した効率化
Unit B/C共通パーティション/

Unit B

nodemapで特定VLANからのみアクセス可能・・・・・・・・

ハードリンクを作成

Unit C東北大学 未来型医療創成センター 岡村容伸

・・・・・・・・

Unit B

サブディレクトリマウントでUnit B領域のみを見せる

Unit B
Unit C・・・・・・・・

サブディレクトリマウントでUnit C領域のみを見せる

Unit C・・・・・・・・

14

プロジェクト間のデータ移動の制限
研究プロジェクトごとに使ってよいデータ決まっている研究プロジェクトをまたいでデータの突合はしてはならない
一人の研究者が複数のプロジェクトに参加することはよくある東北大学 未来型医療創成センター 岡村容伸研究プロジェクト×研究者の数だけLinuxアカウントを作成

ホームディレクトの配置を工夫することで他のプロジェクトのデータが見えないように15プロジェクト間のデータ移動の制限
Proj A/home

このディレクトリはrootがオーナー

Proj B東北大学 未来型医療創成センター 岡村容伸

User X

Project A & User Xのホームディレクトリ

User Y
Share

Project Aの共有用
ディレクトリ16

まとめ
2022年4月より東北メディカル・メガバンク機構ではPhase 3スパコンを運用開始

ゲノム解析などバイオ・医療系の解析に合わせて50PBのLustreを導入

東北メディカル・メガバンク機構の特殊な要件を満たすため、Lustreのnodemap等の機能を活用したストレージ負荷がかかる計算が流れていても、レスポンスが悪化することなく利用できている

東北大学 未来型医療創成センター 岡村容伸

17