06/08/2012

Distributed Hyperscale Collaborative Storage
Web Object Scaler(WOS) Family 製品紹介
第一回IPABセミナー

DataDirect Networks Japan, Inc.

Nobu Hashizume

http://www.ddn.com/products/web-object-scaler-wosnhashizume@ddn.com©2012 DataDirect Networks. All Rights Reserved.

ddn.comInformation Explosion 2.0: The New World—
The
internet ofthings“Hyper-scalable•©2012 DataDirect Networks. All Rights Reserved.

Distributed•

Collaborative
ddn.com

DDN Web Object Scaler▶

Big Data環境のためのコンテント・ストレージ・ビルディングブロック• 業界最高水準のスケールアウト・オブジェクトストレージ・アプライアンス• 前例のない高性能・高効率製品• Built-in シングルネームスペースとグローバル・コンテンツ・ディストリビューション▶

協調環境に最適化• 地理的要因を考慮したアクセス・レイテンシの最適化• “Just-in-time”プロビジョニング▶

業界最高水準のTCO削減率• “Near ZERO”管理機能• 自動“Continuity of Operations”アーキテクチャ

Data locality&Global Collaboration©2012 DataDirect Networks. All Rights Reserved.

ddn.comWOS 利用形態
NASプロトコル(NFS, CIFS, etc)

クラウドプラットフォーム
Amazon S3互換

ネイティブ
オブジェクト
インタフェース• WOS Core• ネイティブオブジェクトアクセス• ポリシィベース・ジオレプリケーション• ObjectAssure• WOS Access NFS Gateway• スケーラブルな複数ゲートウェイ• DR保護機能とHAフェイルオーバ• リモートサイト間のデータベース同期機能
WOSアクセスゲートウェイ クラウドプラットフォーム• NFSプロトコル• S3-Compatible &WebDAV APIs
• アクセスコントロール• Multi-tenancy• 複数サイト上の複数• Reporting & Billing
ゲートウェイによるスケーラビリティ• Remote storage, file
• HA & DR保護機能
sharing, and backup
agentsネイティブオブジェクト• C++, Python, Java,PHP, HTTP REST
インタフェース• PUT, GET,DELETE オブジェク
ト、 RESERVE
ObjectID, etc• ローカルRead/Writeキャッシュ• WOSへのLANもしくはWANアクセスを提供• WOS Cloud• クラウドサービスプロバイダ、プライベートクラウドが対象• 僅かな投資でS3アプリケーションからWOSス
トレージを利用可能• マルチテナンシィ、従量課金、テナント毎のレポーティングをサポート©2012 DataDirect Networks. All Rights Reserved.

ddn.comCoreWeb Object Scaler Building Block"©2012 DataDirect Networks. All Rights Reserved.

ddn.comWOSコンセプト
アプリケーションがユーザにファイルを送信
ファイルダウンロード

WOSクライアントは自動的に要求されたオブジェクトがどのノードにあるかを認識し、最も低いレイテンシの場所からオブジェクトを取り出し、即座にアプリケーションに送信。
アプリケーションはWOSクライアントにオブジェクトのリード(GET)を要求。ユニークなオブジェクトIDがWOSク
ライアントに伝達される

アプリ/ウェブサーバ

アプリケーションかウェブサーバにファイルをアップロード
WOSクライアントはファイルパスの代わりにユニークなオブジェクトIDを返す。アプリケーション
はOIDをコンテントデータベースに登録。

OID = 5718a36143521602

システムはWOSポリシィに従い、データをレプリケート。
この例では、ファイルはゾーン2にレプリケートされる。

ゾーン 1

OID = 5718a36143521602
データベース

LAN/WAN

アプリケーションはWOSクライアントに新規オブジェクトのストア(PUT)を要求。
WOSクライアントはオブジェクトをノードに保存。次のオブジェ
クトは自動的にクラウド内でロードバランスされる。

ゾーン 2©2012 DataDirect Networks. All Rights Reserved.

Best viewed in presentation mode

ddn.com

WOSCoreビルディングブロック
WOS 6000 - 4U high density 60-drive

WOS 6000

WOS 1600 - 3U high-performance 16-drive
特徴• 業界最高水準のDDNハイパフォーマンスストレージ
プラットフォーム上に構築• ノード毎に4x GbEか2x 10GbE/IBのネットワーク
コネクション• 業界最高の密度とスケーラビリティ• 1.98PB / ラック、クラスタ全体で23PB• 660 ドライブ / ラック

4U, 60-drive WOS
Node (SAS/SATA)
2PB / 11 Units
per Rack

WOS 1600• 220億オブジェクト / ラック、1280億オブジェクト / クラスタ
• 512バイトから500GBまでのどのサイズでも99%の実効容量を実現• リニアなクラスタスケーラビリティ• 低レイテンシ•

1MB以下のオブジェクトの read/writeは１回のディスクI/Oで実行©2012 DataDirect Networks. All Rights Reserved.

3U, 16-drive WOS
Node (SAS/SATA)
544TB / 15 Units
per Rack

ddn.comWOSレプリケーション▶

ポリシィ単位で同期/非同期レプリケーションを選択• オブジェクトの種類をベースにし定義▶
▶

同期レプリケーションはアプリケーションに”write”成功を伝達する前に、リモー
トサイトへの複製完了を保証
性能向上のためにはリモートWOSノードへの非同期レプリケーションが有効• データロスの最小化/回避のために、データのコピーを、”PUT”操作がOIDを返す前に必ず二つ”local”(最低レイテンシな）ノード上に作成• レプリケーションはバックグラウンドで実行され、レプリケーション成功後ローカルに作成されたデータロス回避用のコピーは削除• 大きなファイル、大きなデータセットに特に有効©2012 DataDirect Networks. All Rights Reserved.

ddn.comWOS 同期PUT操作
同期レプリケーション PUT操作
San Francisco
New YorkLondon
Tokyo

1.
1 WOSLibは“最近接”なノードを選択
2. “San Fran”ゾーンのノードはオブジェクトをディ2
スクに書き込み、ポリシィに従ってNew Yorkとロンドンに複製を作成
3.
3 San FranのノードがNew YorkとLondonゾーンからACKを受信
4.
4 San FranのノードがアプリケーションにOIDを返信

1

Client App
WOS-Lib
4

10.8.24.101
.
.

3
2

10.8.25.101

10.8.26.101

10.8.25.105

10.8.26.105

.
.

.
.

10.8.24.105

1

WOS Cluster
Group Map

WOS
Nodes

WOS
Nodes

WOS
Nodes

…AA
…

…A

Zone San Fran

Zone New
York

Zone
LondonBest viewed in presentation mode
©2012 DataDirect Networks. All Rights Reserved.

ddn.comWOS 非同期PUT操作
非同期レプリケーションPUT操作
San Francisco
New York
LondonTokyo

1

Client App
WOS-Lib2

3

10.8.24.101.
.

80 ms
10 ms 40 ms

4

10.8.25.101

10.8.26.101

10.8.25.105

10.8.26.105

.
.

.
.

10.8.24.105

1

Latency Map

WOS Cluster
Group Map

1.
1 WOSLibは“最近接”なノードを選択
2. “San Fran”ゾーンのノードはノード内の異な2
るディスクにオブジェクトのコピーを二つ作
成3. San FranのノードがアプリケーションにOIDを返信
4.
3 その後(ASAP)、New YorkとLondonゾーンに非同期で複製を作成
5.
4 New YorkとLondonゾーンからACKが返って来た時点でSan Franゾーンの余分なコピーを削除

WOS
Nodes

WOS
Nodes

WOS
Nodes

…AA
…

…AA

Zone NewYork

Zone San FranBest viewed in presentation mode
©2012 DataDirect Networks. All Rights Reserved.

ZoneLondon

ddn.comObjectAssure :シングルコピー・データ保護▶

ObjectAssure : 非クラスタ化データ保護をベースとしたerasure-code• erasure-codeはオブジェクトをフラグメントに分け、それを異なるディスク上に配置することにより、冗長性を確保• データはどのフラグメントの組み合わせからも復旧可能• ObjectAssureはハイパースケール、高性能クラウドストレージ向けの初めてのerasure-code保護機能▶

ObjectAssureでは、ディスク２台同時故障まではデータロス、データ可用性を失わずに動作可能• レプリケーションコスト抜きのデータ保護▶

シングルコピー環境を提供• 実効容量の拡張とストレージ全体コストの更なる圧縮を実現©2012 DataDirect Networks. All Rights Reserved.

ddn.comObjectAssure :シングルコピー・データ保護
オペレーション
▶
Client App▶
▶

``WOS-Lib

▶

“PUT”

“GET”

▶

1
52
6

3
7

4

P18グ
フ・ヒーリン
ルセP2©2012 DataDirect Networks. All Rights Reserved.

1

Object Assure(OA)はWOS-Lib、REST API双方で利用可能
OAは単一WOSノード上で機能する
OA はWOSポリシィでシングルレプリカを指定することによって機能する
WOSクラスタ上ではOAとレプリケーションの両方の機能が共存可能
OAはWOSノード毎に同時発生した複数ディスクエラーを検知可能、且つ同時発生した二つのディスクエラーを復旧可能

ObjectAssure(OA)プロセスフロー
1. PUT操作において、OAはオブジェクトを8ドライブに分割し、更に2パリティドライブを生成(8+2)
2. ドライブ障害またはオブジェクトが破損した
場合、WOSはパリティドライブを用いてオブジェクトを別ドライブ上に再構築する(セルフ・ヒーリング)。障害ドライブ上のデータはノード上の複数ディスクに分散される
3. WOS OAは必要であれば、リード(GET)中にデータ訂正を行う
Best viewed in presentation modeddn.com

インテリジェントデータ保護
RAIDリビルド vs WOSリバランスFS + RAID 6

Web Object Scaler
リバランス

RAID
スペアリビルド

……
……
…

実効容量:
120TB
116TB
118TB

即時サービスコール

従来のRAID Storage

RAIDドライブ再構築▶ 無駄な容量 – スペアドライブが必要▶ 長時間の再構築 – 故障ディスクの使用済み容量に関わらず全てのドライブに渡る再構築が必須▶ データロスのリスクが高い – スペアディスクが無い場合、再構築されない▶ サポートコストの増大 – スペアディスクの補充のために即時サービスコールが必要▶ 書き込み性能の低下 – RAIDは書き込み性能が低下、小さいファイルの書き込みでは顕著©2012 DataDirect Networks. All Rights Reserved.

WOS (レプリケーションもしくはObject Assure)

実効容量復旧のために任意にスケジュール可能なサービスコール

ドライブ間WOSデータリバランス► 全てのドライブを利用可能 – どのドライブの空き領域もスペアプールの一部分となり得る► リバランスに必要な時間はRAID再構築の50%以下– 実データのみコピー► 短時間でリカバリが行われるために、全体の性能向上とデータロスリスクの減少を実現する► ドライブ障害は故障ドライブの容量分だけ全体容量が減少► 全体容量は定期保守時に故障ドライブを交換する事によって復旧
Best viewed in presentation mode

ddn.comWOSの利点
容易な管理容易なGUI管理▶ “まるでApple製品のようだ”▶

• Customer quote©2012 DataDirect Networks. All Rights Reserved.

ddn.comWOS サマリ
スケーラビリティとTCO削減
WOSにより拡張性と性能に対する制限を排除
クラスタ拡張によりリニアにスケール(性能、オブジェクト数、容量)l ペタバイト環境への容易な拡張l

WOSにより緊急サービスコールを排除
人手を介さずに保守（セルフヒーリング）l 適切な縮退 – 自動的にデータをクラスタ内に再配置
l 従来のRAIDに比べて数倍高速なリカバリl

WOSによる数PBストレージの管理に必要なFTEは1未満
単一、グローバルネームスペースによる容易なデプロイ、構成、管理l ダウンタイム無し、ユーザに影響無しに瞬時に拡張可能l

データ保護とDRは追加コスト無しに利用可能
QoSベースの柔軟なデータ保護方針 – レプリケーションとErasure-Codeを混在可能l DIFを内蔵、サイレントデータコラプション無しll

全てのレプリカを利用可能

WOSのよりスペース、電力、冷却コストを半減
ストレージの効率性は空き容量ではない - 99% WOSドライブ利用率 vs 65% NASl 高密度実装 - 180TB/240TBを4Uラックスペースで実現l©2012 DataDirect Networks. All Rights Reserved.

ddn.comCloudScalable Content Storage
Platform for the Cloud"©2012 DataDirect Networks. All Rights Reserved.

ddn.comWOS Cloud概要
サービスプロバイダ、プライベートクラウド、エンタープライズ向けクラウドストレージ
プラットフォーム
▶

WebDAV"

Windows Clients"
3rd Party Apps"
Mobile Clients"

クラウドプラットフォームソフトウェア• パーソナルクラウドストレージ• マルチテナンシーサポート• 既存のプロビジョニング、課金システムとの統合• S3互換API、WebDAV APIを提供• 地理的ロケーションコントロール• 複数サイト協調・共有環境▶

Load Balancer
Cloud Platform Gateways
Cloud Platform Software• Provisioning & Billing• Multi-tenant• HA & DR protected• Access via S3 & RESTWeb Object Scaler (WOS)ストレージ• インターネットワイドファイルストレージのためのコンテンツ基盤環境• グローバルコンテンツ配信• 容易なグローバルストレージ管理• 業界最高レベルの低TCO©2012 DataDirect Networks. All Rights Reserved.

WOS Storage• Tens of petabytes• Up to 4 replica sites

Replicated, GlobalNamespace

Scale-Out Object Storage"

ddn.comパーソナルクラウドストレージ
柔軟で安全なパーソナルアクセス	  	  	  

パーソナルクラウドストレージ利点:• 安全なグローバルファイル共有・協調環
境を提供• ウェブ、スマートフォンからのanytime/anywhereアクセス環境を提供• ユーザはいつでも再近接のファイルにアクセス• シンプロビジョニングによるストレージコ
ストの削減• 大容量ファイルを容易にグローバル共有・公開可能• 個別ブランディング可能• 容易なデプロイ・プロビジョニング©2012 DataDirect Networks. All Rights Reserved.

White label agents forPC, laptop, smart
phones, iPad, etc

共有・協調のための優れたファイルサービ• ポリシィベースのサイト間自動ファイルレプリ
ケーション• セキュリティポリシィに則ったユーザファイル共有• 再近接コピーへアクセス	
• 複数サイト間協調が可能
ddn.comWOS Cloud 互換API
オン・ディマンドな優れたサービスとスケーラビリティ	   互換APIによるクラウドスト	  レージプログラミング

REST Web
Services APIs

Existing AWS
Workloads
WebDAV利点:• 既存のAmazon Web Service(AWS)を内部へ§ 他のストレージクラウドを利用するアプリケー
ションとの相互運用が可能§ 様々なパートナーソリューションを選択可能• ベンダ・ロックインを排除§ 複数APIをサポート• よりよいサービスの提供§ データの地理的配置要求に対処§ URL配信、コンテンツタグ、階層ストレージ等の追加機能が可能• 複雑さの排除とコスト削減

既存のAWSを内部へ / 3年間のTCOコストがWOSを利用したプライベートクラウドで50%削減

AWS – Amazon Web Services™
©2012 DataDirect Networks. All Rights Reserved.

ddn.comパーソナルクライアント

パーソナルで安全な “Dropbox-like”機能► iPhone, iPad, Andriod(将来対応予定), Webクライアント► 安全なグローバルファイル共有・協調環境を提供► 大容量ファイルを容易にグローバルに共有・公開可能

Webクライアント"Mobileクライアント"	  WOS Cloudパーソナルストレージクライアント► Apple AppストアよりiPhone, iPadクライアントを入手可能►

WebブラウザからWOS Cloudパーソナルストレージにアクセス可能• WOS Cloudをインストールするだけで利用可能►顧客は個別にWOS Cloudクライアント上で各組織のロゴを利用可能©2012 DataDirect Networks. All Rights Reserved.

ddn.comWOS Cloudアーキテクチャ• 顧客/サービスプロバイダはプ
ロビジョニング/課金のための
Web UIを提供• 顧客はCDMIポートを用意しなければならない (必要ならば)

WOS Cloudクライアント• iPhone, iPad
• Webクライアント• Android (将来提供予定)
Window Clients"• 顧客アプリケーション• WOS CloudはS3とWebDAV両方のAPIをサポート

Mobile Clients"

カスタマ
プロビジョニング/課金

WebDAV
アプリ

S3アプリ• 顧客はロードバランサを用意する必要有り• HW LB製品 SW LB製品いずれも可ロードバランサ

CDMI	  Internal	  API	  Compa1bility	  API	  WebDAV	  Addi1onal	  Loca1ons	  WOS Cloudサーバ• バンドルか個別に提供

WOSストレージ• バンドルか個別に提供• 詳細はWOS Cloudコンフィ
グレーションガイドに記述WOS Cloud
ＷOSCloudコンポーネント
顧客が用意する必要がある部材©2012 DataDirect Networks. All Rights Reserved.

ddn.com

東工大様
事例

WOS Cloud for TokyoTech ACLS©2012 DataDirect Networks. All Rights Reserved.

ddn.comWOS Cloud for TokyoTech ACLSThe Tokyo Institute of Technology Education Academy ofComputational Life Sciences• The Tokyo Institute of Technology (TokyoTech) is the largest institution forhigher education in Japan dedicated to science and technology• TokyoTech’s Education Academy of Computational Life Sciences (ACLS)
trains students and researchers in both Life Science and Computer
Science• Access to the world famous, award winning, TSUBAME 2.0
supercomputer (Future plan)©2012 DataDirect Networks. All Rights Reserved.

ddn.comWOS Cloud for TokyoTech ACLS
Challenges• TokyoTech ACLS wanted a cost effective, highly reliable storage system
to cope with the data growth of their data-driven education and research
initiatives• Professors and researchers needed to store high resolution microscopy,
genomic data, molecular and macroscopic biologic imagery, and othersystem biologic sensor output along with meeting and presentationmaterials• The ACLS wanted easy file storage and sharing between the PC’s,iPhones and iPads used throughout the organization• The ACLS wanted to have their own service, completely under theircontrol - and in their data center - in order to provide secure file sharingand storage for its researchers and students©2012 DataDirect Networks. All Rights Reserved.

ddn.comWOS Cloud for TokyoTech ACLS
Solution•The DDN solution was the 360TB WOS Cloud system, consisting of 3 x
WOS Cloud servers and 3 x WOS6000 (120TB each)• Files are uploaded via their PC through the WOS Cloud Client• Data from a variety of equipment throughout the Academy, including
images and other biologic sensor data, voice data, movies and text data
are uploaded by S3 applications developed by TokyoTech• TokyoTech selected WOS Cloud because it offered behind the firewall
security, high density, modular scalability and S3 compatibility• The ACLS has about 600 users that access WOS Cloud• The ACLS especially liked WOS’s object storage replication mechanism
as it met their plans to provide future storage and access at an additional
location©2012 DataDirect Networks. All Rights Reserved.

ddn.comTokyoTech WOS Cloud NetworkInternet	WOS Cloud Servers	

ProCurve
PowerMdl

HP ProCurve
2910al-24G
SwitchRPS

Status of the BackLocator

2 flash = 100 Mbps

Dual-Personality Ports: 10/100/1000-T (T) or SFP (S)Ports ( 1 - 24T ) – Ports are Auto-MDIX

off = 10 Mbps
Link

1Mode

357911

Link

13

Mode

15

17

19

21T

23T

Link

21

Mode

23

Link

2

Mode

4

6

8

1012

Link

14

Mode

16

18

20

22T

24T

Link

22

Mode

24

on = 1 Gbps
3 flash = 10 Gbps

Networking by HP

Status
Tmp

Act

LED
Mode

Fan

FDx
* Spd

Test

Console* Spd Mode:

ProCurve

J9145A

Fault

Usr

ResetClear

Auxiliary PortUse only one (T or S) for each Port

Load Balancer	GbE Switch	

LDAP Server	WOS Cloud Cluster Interconnect 	Service	WOS 6000s	

TokyoTech WOS Cloud Network©2012 DataDirect Networks. All Rights Reserved.

ddn.comTokyoTech WOS Cloud Installation©2012 DataDirect Networks. All Rights Reserved.

ddn.comWOS Object Storage for OCP

WOS for Open Compute Project (OCP)©2012 DataDirect Networks. All Rights Reserved.

ddn.comWOS for OCP▶
▶

DDN Joined Open Compute Project
About OCP
• The OCP was initiated by Facebook to reduce equipment and operating costs for hyperscale
datacenter deployments. The OCP has established all new specifications for everything fromhow data centers are built & cooled, to where equipment is located, the size/composition ofrack-mounted servers & storage, the physical racks themselves and the power that supplies
them.

▶

WOS on the OCP Open Vault Storage Unit
• the Open Vault storage unit draft specification is a 2RU component. <21.1" W x 34.6" D> 30
HDD JBOD SAS storage enclosure, consisting of two identical 1RU HDD trays with 15 x 3.5"
HDDs.

29

©2012 DataDirect Networks. All Rights Reserved.

ddn.comThank You & Demo

DataDirect Networks, Information in Motion, Silicon Storage Appliance, S2A, Storage Fusion Architecture, SFA, Storage Fusion Fabric, Web Object Scaler, WOS, EXAScaler, GRIDScaler,xSTREAMScaler, NAS Scaler, ReAct, ObjectAssure, In-Storage Processing and SATAssure are all trademarks of DataDirect Networks. Any unauthorized use is prohibited.
©2012 DataDirect Networks. All Rights Reserved.

ddn.com