【SS研オブジェクトストレージ座談会】

大量データ利活用に向けたデータ管理～テープ活用によるコスト最適化～
2021年3月23日(株)富士通研究所 プラットフォーム革新PJ
田村 雅寿
Copyright 2021 FUJITSU LABORATORIES LTD.

自己紹介
タムラマサヒサ田村 雅寿◼ 1999年 富士通研究所入社◼ 専門：分散ストレージシステム◼ 分散ファイルシステム◼ 分散ブロックストレージ◼ 分散オブジェクトストレージ◼ ブロックチェーン, パーソナルデータストア (PDS)

1

Copyright 2021 FUJITSU LABORATORIES LTD.

本日のアジェンダ◼ オブジェクトストレージとは◼ オンプレのオブジェクトストレージ◼ オブジェクトストレージの特徴 (例: Ceph)◼ オブジェクトストレージでのデータ活用◼ テープ活用によるコスト最適化◼ テープの特徴◼ テープ階層化ストレージ

2

Copyright 2021 FUJITSU LABORATORIES LTD.

オブジェクトストレージとは◼ Webスケール時代の新しいストレージ◼ Webアプリケーションからダイレクトにアクセス◼ オブジェクト単位のデータ保存◼ ID（識別子）で、データとメタデータ（属性情報）を一括管理◼ シンプルインターフェース（REST API）
◼ HTTP(s) 通信でクラウドストレージサービス互換（S3 API）のアクセス• GET（読み込み）、PUT（書き込み）、DELETE（削除）、他◼ 広大でフラットなストレージ空間◼ 階層構造の排除により上限の無い柔軟な拡張性
HTTP PUTアカウント
アカウント
アカウント

書き込みオブジェクトID
HTTP GET

ユーザー

バケットオブジェクト

読み込みオブジェクト

データ（Webアプリケーション）
3

Copyright 2021 FUJITSU LABORATORIES LTD.

様々なオブジェクトストレージ◼ クラウドストレージ◼ Amazon S3 (Amazon)◼ Azure Blob Storage (Microsoft)◼ Google Cloud Storage (Google)◼ オンプレストレージ◼ StorageGRID Webscae (NetApp), Eastic Cloud Storage (Dell EMC), ...
◼ Scality RING (Scality), HyperStore (Cloudian), ...
◼ OSS: Ceph, OpenStack Swift, MinIO, ...

オンプレでもオブジェクトストレージの製品やOSS活用が本格化特徴 (例: Ceph)
柔軟な拡張性(スケールアウト、自動調整)、新陳代謝、高可用性
4

Copyright 2021 FUJITSU LABORATORIES LTD.

オブジェクトストレージの特徴 (例: Ceph)

規模に応じた容量/性能の拡張
柔軟な拡張

スケールアップ

HDD増設はできても、コントローラーの性能が頭打ちとなる
HDD増設
HDD増設

容量性能

HDD増設
性能不足
業務量

スケールアウト

HDDとコントローラーを組み合わせたノード増設により、容量/性能をリニアに拡張可能
ノード増設
ノード増設

容量

1000ノード超

ノード増設

性能

業務量
5

Copyright 2021 FUJITSU LABORATORIES LTD.

オブジェクトストレージの特徴 (例: Ceph)

容易なシステム拡張
柔軟な拡張

自動調整

◼ オンラインでストレージノード単位の増設が可能（4~1,000ノード超）◼ システム全体でデータ配置のバランスを常に自動調整し、ホットスポット発生を防止
クライアントサーバ

クライアントサーバ

クライアントサーバ

クライアントサーバ

外部ネットワーク
ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

ストレージ
ノード
（増設）

ストレージ
ノード
（増設）ストレージノード
（増設）

ストレージ
ノード
（増設）

自動バランス調整

自動バランス調整

自動バランス調整

自動バランス調整

クラスタネットワーク
6

Copyright 2021 FUJITSU LABORATORIES LTD.

オブジェクトストレージの特徴 (例: Ceph)

システム更改の負担軽減
新陳代謝◼ ソフトウェア・デファインド技術が世代の異なるストレージノード混在を実現◼ 新ノードの増設・旧ノードの減設により、ハードウェアを段階的に新陳代謝◼ ゼロダウンタイムでシステム移行が可能であり、データ長期保存、サービス長期運用に最適
クライアントサーバ

クライアントサーバ

クライアントサーバ

クライアントサーバ

外部ネットワーク
ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

新ストレージノード

新ストレージノード

新ストレージノード

新ストレージノード

自動バランス調整

自動バランス調整

データ冗長の自動復元

データ冗長の自動復元

クラスタネットワーク
7

Copyright 2021 FUJITSU LABORATORIES LTD.

オブジェクトストレージの特徴 (例: Ceph)

選択可能なデータ保護方式
高可用性◼ データの用途に応じた2種類のデータ保護◼ レプリケーション：異なる複数のノードにデータを複製。高い可用性と高速なリカバリーが特長◼ イレージャーコーディング：データ分割しパリティ情報を付与。高い容量効率が特長（オブジェクトアクセス限定）◼ 複数ノード障害でも安全にデータを保護できる高い堅牢性
クライアントサーバ

クライアントサーバ

クライアントサーバ

クライアントサーバ

外部ネットワーク
ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

データ分散格納

複製データ

分割データ

レプリケーション
（多重化）
複製データ

分割データ

パリティデータ
分割データ

パリティデータ

イレージャーコーディング（消失訂正符号）

クラスタネットワーク
8

Copyright 2021 FUJITSU LABORATORIES LTD.

オブジェクトストレージの特徴 (例: Ceph)

冗長性の自動復元
高可用性◼ ノードやディスク故障時にデータ冗長性を自動復元（セルフヒーリング）◼ 故障したディスクやノードを除いたコンポーネントに、データを最適に分散再配置◼ 故障時の特定ノードへの負荷偏りとディスク故障によるデータロストのリスクを回避
クライアントサーバ

クライアントサーバ

クライアントサーバ

クライアントサーバ

外部ネットワーク
ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

ストレージ
ノード

レプリケーション

分割データストレージノード

イレージャーコーディング
複製データ

故障

複製データ

ストレージ
ノード

復元

復元
複製データ

ストレージ
ノード

分割データ

分割データ

パリティデータ

パリティデータ

故障

分割データ

クラスタネットワーク
9

Copyright 2021 FUJITSU LABORATORIES LTD.

オブジェクトストレージでのデータ活用

蓄積と分析を一体化したデータ基盤◼ 従来型のデータ分析

データ蓄積◼ 様々なデータソースから発生するデータをオブジェクトストレージに蓄積しつつ、データをHadoopクラスタにコピーして分析
データ量が増えるにつれ、データコピー時間や分析用ストレージのコストが課題に◼ 一体型のオブジェクトストレージ活用◼ Hadoopクラスタから、コネクタを介して直接オブジェクトストレージにアクセスし、必要なデータのみを取り出して分析オブジェクトストレージのスケールアウト性を活かし蓄積と分析を一体化したデータ基盤を実現
10

データソースS3 API

データ分析
Hadoopクラスタ

HDFS API
データコピー

オブジェクトストレージ

データ蓄積
データソース

分析用ストレージ

データ分析
Hadoopクラスタ
HDFS API
コネクタ(S3A)

S3 APIS3 API
オブジェクトストレージ
Copyright 2021 FUJITSU LABORATORIES LTD.

オブジェクトストレージでのデータ活用

データレイク的なデータ活用◼ SQLによるオブジェクト内検索◼ センサデータや構造データをまとめてオブジェクトとして蓄積しておき、活用時にはSQL等で、必要となる特定要素のみを抽出する方法◼ クラウドストレージで一般的に利用できるが、近年オンプレストレージでも活用可能に•AWS: S3 Select, Amazon Athena, ...
•GCP: BigQuery•OSS: Ceph, MinIO, ...

データ蓄積時のスキーマ設計が不要となり、データ基盤の導入/運用が簡単に

11

データ蓄積

データ分析

構造データをまとめて 特定要素を抽出してオブジェクト化
データ分析・活用

S3 API(オブジェクト)S3 Select API(SQL)

オブジェクトストレージ

Copyright 2021 FUJITSU LABORATORIES LTD.

大量データ蓄積・活用に向けたコスト最適化◼ データアーカイブ市場の動向◼ データ利活用の本格化に伴い、大量データの効率的管理がより重要に◼ 現在、年間約4.5ZBのデータが新たに創出。その約3.5~4%程度が長期保存が必要なデータであり、その市場は約1兆円になると予測◼ 大容量・低コストなテープストレージが再注目◼ 従来のバックアップ用途ではなく、アーカイブ用途としての利用に注目•バックアップ・・・データ保護を目的として、原本データの一時的な複製を作成すること•アーカイブ・・・保管/利用を目的として、原本データを永久/長期に保存すること◼ アーカイブ用途の大規模テープストレージはプラス成長を持続すると予測 (IDC)◼ メガクラウド各社もアーカイブクラスのラインナップを強化 (システム構成は不明)
ストレージサービス

アーカイブクラス

AWS

Amazon S3

Glacier, Deep Archive

Azure

Azure Blob Storage

Cold, Archive

GoogleCloud Storage

Nearline, Coldline, Archive12

Copyright 2021 FUJITSU LABORATORIES LTD.

テープの特徴(1) ～信頼性～◼ 一昔前とは全然違う、新しいテープの時代

出典: JEITAテープストレージ専門委員会 (CEATEC 2019 発表資料)

13

Copyright 2021 FUJITSU LABORATORIES LTD.

テープの特徴(2) ～大容量～◼ 記録密度の高い成長◼ HDDは2009年頃から大容量化の速度が大幅に鈍化 (7.6%/年)◼ テープは1994年から現在まで34%/年で成長中

HDD (7.6%/年)

面記録密度[Gbits/m2]

テープ (34%/年)
磁気テープ(研究)330TB/媒体@2017

磁気テープ(製品)

出典: INSIC 2019 Areal Density Trends. Hard Disk Drive,
Tape Product and Tape Technology Roadmap
14

Copyright 2021 FUJITSU LABORATORIES LTD.

テープの特徴(3) ～低コスト～◼ ディスク装置と比較して数分の１のコスト◼ 容量が多いほど差が大きくなる

出典: JEITAテープストレージ専門委員会 (CEATEC 2019 発表資料)

15

Copyright 2021 FUJITSU LABORATORIES LTD.

テープの特徴(4) ～利便性の向上～◼ LTO (Linear Tape-Open)◼ Seagate社、HP社、IBM社が共同で開発した磁気テープの統一規格◼ 2000年に第1世代(LTO-1)を発売。最新世代はLTO-8。

◼ LTFS (Linear Tape File System)◼ LTO-5以降でサポートされたテープ用ファイルシステム◼ インデックスパーティションとデータパーティションに2分割•インデックスパーティション・・・最新のインデックス情報。テープ先頭部分から上書き•データパーティション・・・ユーザデータを追記保管。インデックス情報も随時書き込まれる分割されたテープとファイル保存のイメージ
インデックス
パーティション
データパーティション

出典: JEITA (LTFSのアーキテクチャー)
16

Copyright 2021 FUJITSU LABORATORIES LTD.

テープの特徴(5) ～アクセス性能～◼ シーケンシャルアクセスは高速規格
発売日
容量(非圧縮)

LTO-6
2012
2.5TB

LTO-7
2015
6.0TB

LTO-8
2017
12TB

速度(非圧縮） 160MB/s 300MB/s 360MB/s◼ ランダムアクセスは非常に低速

読出性能 [MB/s]◼ ヘッドの移動と位置合せに時間がかかるヘッド(LTFSを用いた4MBファイルの読出)
150

性能大幅減

100

テープファイルファイル
幅: 12.65mm, 長さ: 960m

500

(方式①)
(方式①)

方式①
方式②

17

近接
シーケンシャル

1つ飛び飛び飛び
(方式②)
(方式②)

readread skip read skip read skip
Copyright 2021 FUJITSU LABORATORIES LTD.

テープ階層化ストレージ
富士通研究所では、オブジェクトストレージCephを基盤としたテープ階層化ストレージの研究開発を進めています◼ 特徴◼ 蓄積場所に関わらず、ユーザからはシームレスにアクセス◼ 独自のテープアクセス高速化技術を組み込み、高い性能コスト比を実現◼ ストレージ階層毎に独立にスケールアウト◼ オブジェクト単位で階層移動を制御
ゲートウェイ

ストレージノードストレージノード

Hot層
テープアクセス高速化

テープアクセス高速化

18

スケールアウトCold層
Copyright 2021 FUJITSU LABORATORIES LTD.

テープアクセス高速化技術

Wrap-aware列指向データ配置技術
テープのデータレイアウトを利用し、時系列センサデータのアクセス高速化◼ テープ上のデータレイアウト◼ ラップ(Wrap)と呼ばれる多数の帯から構成•LTO7の場合、112本のラップで構成 (テープ容量6TBに対し、各ラップ容量は約53GB)◼ データアクセスの特徴◼ データ書き込みは、各ラップを折り返しながら追記的に書き込んでいく◼ ラップを跨いだアクセスはヘッドシークのみで、テープ送りすることなく高速実行
LTO7のデータレイアウト
…

…

テープ
先
頭

テープカートリッジ

32トラック

テープ
末
尾

112
ラップ

幅: 12.65mm, 長さ: 960m
19

Copyright 2021 FUJITSU LABORATORIES LTD.

テープアクセス高速化技術

Wrap-aware列指向データ配置技術◼ 技術概要◼ 1ラップ分(約53GB)のデータをバッファして、列指向形式に変換してテープに書く◼ ラップ方向に合わせて並び順を反転  同じセンサ値は2次元的に近くに配置
タイムスタンプ

センサ1

センサ2

t1 t2 ... ti V11 V12 ... V1i V21 V22 ... V2i ...
テtj ... ... ti+1 V1j ... ... V1i+1V2j ... ... V2i+1 ...
ープ tj+1 ... ... tk V1j+1... ... V1k V2j+1... ... V2k ...
先
頭センサj... Vn1 Vn2 ... Vni... Vnj ... ... Vni+1 テー... Vnj+1... ... Vnk プ末尾

センサ1値へのアクセス
ラップ(wrap)◼ 評価◼ 特定のセンサデータを抽出する際に、従来の時間順にセンサデータを並べた方式と比較して、約3倍の高速化を実現• データ量=350GB, カラム数=100カラム, Zipf分布に合わせて平均6カラムにアクセス

20

Copyright 2021 FUJITSU LABORATORIES LTD.

まとめ◼ オブジェクトストレージは、クラウドストレージだけでなく、オンプレでも製品やOSS活用が本格化◼ 拡張性に優れるだけでなく、データ活用に向けた取り組みも進んでいる◼ 大量データを蓄積・活用するにはコスト最適化が重要◼ クラウドストレージ ⇒ アーカイブクラスのストレージサービスの活用◼ オンプレストレージ ⇒ テープ等のコールドストレージの活用

データは 「21世紀のオイル」：「データが価値を生む」、「上手く活用しないと価値が生まれない」
増加し続けるデータを蓄積・活用する基盤として、オブジェクトストレージは、高いポテンシャルを持っている21

Copyright 2021 FUJITSU LABORATORIES LTD.