ライフ･サイエンス⼤規模ストレージ基盤
東北⼤学 電気通信研究所

⽥中陽⼀郎

yoichiro@riec.tohoku.ac.jp

⽬的：神経構造解析等の⼤規模データ解析の課題解決を図る
ストレージプラットフォームの開発

課題：脳機能･構造センシングの解析はデータヘビーGSc
D VC/&-&• 脳神経構造・機能解析、CTやMRI等のモーダル画像解析研究などのライフサイエンス研
究では、膨⼤なデータ・インテンシブ解析が進められている。
• ミクロスケールの⾼解像度・⾼時間分解能観察が可能となり、数10TB〜PB級の極めて⼤規模なデータセットの解析が必須。
• ⾼解像度・⾼時間分解能観察では、データ源近傍での⼤規模データ解析が求められ、データストレージと解析コンピューティングの近接化が重要。

ETWg

IK

10 ad
H K

1B

1P

e0

Light Sheet Fluorescent
Microscope

10PB級脳神経)

イメージング(0 2 52646 5

7100PB級
解析DC

ローカルDC(raw data)

⾼速ネットワーク

307GB / 20sec session(55TB / hr)

4.5PB / hr (>1PB / session)
10Tbps (= 1G pixels x 1000fps x 10bit)• ⻑時間のタイムシーケンスデータ• 多数のセンサ系からのマルチチャネ
ル・データストリーム• リアルタイムでのデータ記録が必須• ⾮常に複雑なデータ解析処理• 複数のクライアントからの⾼頻度ア
クセス• 貴重なデータの完全保全

解析データセンター

脳神経科学研究部⾨

脳機能マッピング
fMRI動的画像診断

三次元蛍光顕微鏡
イメージングライフサイエンスに⾒られるデータの特徴

1

-

研究連携
ネットワーク*Source：Patric Hagmann, “Chairmanʼs introduction: definitions and basic imaging technique”, NH7: The human connectome:
a comprehensive map of brain connections, ECR 2014 (Courtesy of Dr. Hitoshi Yamagata, Toshiba Medical Co.)https://en.wikipedia.org/wiki/Light_sheet_fluorescence_microscopy-=A0 1

 Intrinsic Write Time Write Latency
 Read Latency

5





///

NH CSPR
LD1/ 15

15“In-Storage Computing” Edge Moduleによるコンピューティ
ングとストレージの近接化
••
•
•
•


M
N&/

〜latency(遅延)の観点〜

データストレージ上にコンピューティング能⼒を配置、PB級⼤規模データを⾼性能解析
⾮構造化データに対応するKey Value型分散オブジェクト「In-Storage Computing」
データ移動を最⼩にするアーキテクチャによるリアルタイム解析
システム拡張性( )ストレージで閉じたセキュリティ機能（カプセル化）
CD()

Computing







問題点！
• 補助記憶装置への頻繁な書き込みによる性能の劣化• Computingとストレージの距離が遠すぎ、データ移動コストの増⼤• 重複記憶と複層のエラー訂正のシステム負荷の増⼤（コード量,時間コスト,電⼒）• 電源遮断などによるデータの消失を防ぐ多重の仕組み

a--SAD
NECBdE KS LMI

Key-LBA 変換
Read Cache

VIRTaHigh Capacity Value Store
Non-Volatile Devices(NV-Memory & Storage)

S-1&a()

0Distributed Analytics
I/F Control
暗号化＆Blockchain
⾼速 Key Search
⾼速 Meta Data Search
Write Cache A

KMHc( ))

コンピューティングとデータの距離感

Storage & Computing Device

2 2 2 235

DBCVhi

D10W-(Source: Yoichiro Tanaka, Characterizing Advanced Recording Technology Assets with Hyper-Scale Applications, IEEE Trans. Magn., Vol.52, No.2, pp.1-4, 2016
http://news.toshiba.com/press-release/business-and-retail-solutions/toshiba-demonstrates-high-performance-object-storage-tec, also presented at Openstack Summit 2015, Vancouver, May 2015

Mouse Brain Hippocampus 3D画像解析の⼀例“In-Storage Computing” クラスタ解析システムの構成• NVRAM/SSD/HDDストレージの役割分担と計算能⼒の⼀体化• Key-Value Storeによるアクセス性能とフラットトポロジー化• Edge Deviceとしてデータ近傍にコンピューティング能⼒を配置Se

cb3&/Processor,

PUT
Write Cache
Key Search
Processor
NVRAM
NVRAM

PUT

GET
Read Cache
SSD

GET

Computing on Storage-System

image processing
High-speed Microscope
Sequencing
Computing
CPUGPUon Storage
GPU -System

optical system

image processing
High-speed Microscope
Sequencing

NIC
DRAM
ComputingCPU
GPUon Storage
GPU -System

optical systemhigh speed
CAM>10GB/s>10GB/s

Processor processing
high speedimage
SSD
NIC
DRAM

/,PUT

Write Cache GPU
Key SearchGPU
CPU

high speed
CAM>10GB/shigh speed
CAMl>10GB/s
NVRAM
NVRAM

GET

high speed DRAM
SSDMeta data

Read Cache
SSD>10GB/s

NIC

Key - LBA
SSD

>10GB/shigh
V1
Value speed SSD

1/,/,

/
Read Cache
NVRAM
Key - LBANVRAM
,SSD
PUT
GET
V1 SSD V2
V3Value
12
Write Cache
Key Search
Metadata/Processor
HDD
ReadCache
NVRAM
Key - LBANVRAM
,
SSD
PUT
GET
V1 SSD V2
V3Value
Write Cache
Key1 Search 2Meta
data/
Processor
HDD
Read
Cache
NVRAM
NVRAM
KeyLBA
,
SSD
PUT
GET
V1 SSD V2
V3Value
Write Cache
Key1 Search 2
Meta
data/
Processor
HDD
Read
Cache
NVRAM
NVRAM
Key
LBA
,
SSD
PUT
GET
V1 SSD V2
V3Value
12
Write Cache
KeySearch
Meta
data/
Processor
HDD
Read
Cache
NVRAM
Key - LBANVRAM
,
SSD
PUT
GET
V1 SSD V2
V3Value
Write Cache
Key1 Search 2Metadata/
Processor
HDDReadCache
NVRAM
Key - LBANVRAM
,
SSD
PUT
GET
V1 SSD V2
V3Value
Write Cache
Key1 Search 2Meta
data/
Processor
HDD
Read
Cache
NVRAM
NVRAM
KeyLBA,SSD
PUT
GET
V1 SSD V2
V3Value
Write Cache
Key1 Search 2
Metadata/
Processor
HDD
Read
Cache
NVRAM
NVRAM
Key - LBA
,
SSD
PUT
GET
V1 SSD V2
V3Value
12Write Cache
Key Search
Meta
data
Processor
HDD
Read
Cache
NVRAM
Key - LBANVRAM
SSD
PUT
GET
V1 SSD V2V3Value
Write Cache
Key1 Search 2
Meta data
HDD
ReadCache
NVRAM
Key - LBANVRAM
SSD
SSD V2GETV1V3Value
2
Meta data 1HDD
ReadCacheKey - LBA
SSD
SSD
V1V2V3Value
1HDD

High-speed Microscope Sequencing
optical system

Write Cache
Key Search
MetadataProcessor
NVRAM
Key - LBANVRAM
PUT
SSD
Write Cache
Key1 Search 2
Meta data

2Processor

V1Value
HDD

V2

V2

Macroscopic & microscopic 8K images (85” display) of mouse hippocampus neuron structures,scanned by Light Sheet Microscope
Data set size; 6TB ~ 60TB
Specimen: 1.5mm x 0.8mm x 0.2mmt
2000 scans per 0.2mmt (100nmt each)
Scan section 80um x 8.3um/,

2V3V3HDDaC
3aKC

3Source: Brain Data Center Project; MIT, NHK, Toshiba Memory, Yoichiro Tanaka, July 2017

まとめDo

1. ストレージは、「受動」から「コンピューティング⼀体化の能動」へ、新たな変⾰のフェーズ。

mer

2. ライフサイエンスにおけるデータ解析では、⼤規模、準リアルタイムな⾼性能解析、多様な⾮構造化データとメタデータ、セキィリティの確保が⼤きな課題である。データ解析プラットフォームとして、データ源に近い場所で、より強⼒なエッジコンピューティングが望まれる。
3. ⼤量に⽣成される多様なデータから効率良く価値情報を抽出するためには、コンピューティングをよりデータに近接させる概念 “In-Storage Computing”が効果的と考えられる。
4. ビッグデータのアプリケーション側から、ストレージとコンピューティングのシステム機能を定義するアプローチにより、ライフサイエンス次世代データ解析プラットフォームとアーキテクチャを⽬指す。

D anui m,/tngpDa

Manu,
CPaGPS

UD pC
UP

Acknowledgements
本研究は、東芝メモリ株式会社（現キオクシア株式会社）、MIT Media Lab.、NHK技研との連携協⼒、及び東北⼤学ヨッタインフォマティクス研究センター2019年度研究助成により実施されたものです。