スケールアウト型ストレージを活用した
OLM デジタルのビッグデータ化戦略

株式会社オー・エル・エム・デジタル研究開発部門 エンジニア
四倉 達夫

Outline
1. 会社紹介– デモリール

2. OLMストレージシステム拡張の歩み：ビッグデータ対応– 第0世代 -> 第4世代

3. 各世代の紹介– 第0世代：EqualLogic導入前– 第1世代：導入– 第2世代：容量拡張１– 第3世代：容量拡張２– 第4世代：容量拡張３+NASアプライアンス（EqualLogic FS7610）

4. まとめ会社情報：OLMグループ• OLMグループ：映像制作会社
オー・エル・エム••

アニメーション映画の企画制作
144名（2012/8現在）

オー・エル・エム・デジタル••

デジタルアニメーションコンテ
ンツの企画制作
150名（2012/8現在）

Sprite Animation Studios••

海外向けフルCG作品の企画制作
約20名

URL: http://www.olm.co.jp

会社情報：オー・エル・エム・デジタル• 3D部門：デジタルコンテンツ制作– 3DCGアニメーション– アニメ– 実写– ⽴体映像• 研究開発（R&D）部門：CG技術研究開発– R team› 最先端のCG技術の研究開発› 国際会議等での研究発表– D team› 現場に即したCGソフトのプラグインやツール開発› 教育・無償ツール提供– SI team› OLMグループ全体のインフラ提案・構築・運用› OLMグループ全体のスタッフサポート– スタッフ数：10名› SI team：4名

4Confidential

大規模作品

会社情報： 社内インフラ• Workstation

Dell EqualLogic：：EQL– 200台以上– Win, Mac, Linux• Rendering Server– 約250台– 約1800コア• Network– 20Gbps• Storage– 実効容量：300TB– リプリケーション› 総容量 600TB

2012/12現在
5Confidential

現在のストレージ環境＜第4世代＞
OLM
Network

10GbpsNASアプライアンス
FS7610

10GbpsNASアプライアンス
FS7610

10Gbps
10GbpsSAN switch:
PowerConnect 8024F × 3

PS6010E (SATA)
16 HDDs
6

Confidential

PS6110E (Nearline SAS)
24 HDDs

PS6510E (SATA)
48 HDDs現在(2013/2)のストレージ（EQL）環境
Cont’d.
10GbpsOLM
Network10Gbps
NASアプライアンス
FS7610

NASアプライアンス
FS7610

約300TB

約300TB

Work space(LINUX)

Workspace(Windows)

Snap
shot

Snap
shot

Replication

Replication

合計：300TB（リプリケーション領域は除く）
7

Confidential

導入前は…？

ストレージサーバの歩み
第0世代から第4世代
容量OS

コンセプト

第０世代

-

Win2008R2

安価

第１世代

65TB

Win2008R2

第２世代

100TB

Win2008R2

第３世代

250TB

Win+RHEL6

第４世代

300TB

Dell FS（FluidFS）

OLM
Digital

OLM

OLM
Digital

大規模作品

NASアプライアンス
イラストで示すと…

8Confidential

第0世代
Windows server
Fiber Channel
Disk Attached Storage (DAS)OLM

9Confidential

OLM
Network1Gbps

OLM Digital第1世代：EQL導入〜OLMデジタル
Windows server

OLM
Network

Fiber Channel
Disk Attached Storage (DAS)

10Gbps

1Gbps

OLM

PowerEdge R410
(Win2008R2) × 4

OLM Digital
Windows

PowerConnect
8024F × 2

+15TB
大型作品

+15TB
大型作品

10Confidential

PS6510E (SATA)
48 HDDs
PS6010E (SATA)
16 HDDs

第2世代：OLM+OLMデジタル
Windows server

OLM
Network

Fiber Channel
Disk Attached Storage (DAS)

10Gbps

1Gbps

OLM+OLM Digital
PowerEdge R410
(Win2008R2) × 4

WindowsPowerConnect8024F × 2+15TB
大型作品

PS6010E (SATA)
16 HDDs
11Confidential

PS6510E (SATA)
48 HDDs大規模

第3世代： 作品

OLM
Network
PowerEdge R410
EHEL610Gbps

PowerEdge R410
(Win2008R2) × 4

LinuxWindows+15TB
大型作品

8024F × 3

PS6010E (SATA)
16 HDDs
12

Confidential

PS6110E (Nearline SAS)
24 HDDs

PS6510E (SATA)
48 HDDs

第4世代：1 Volume化 ＜Linux + Windows＞
OLM
Network

10GbpsNASアプライアンス
FS7610

10GbpsNASアプライアンス
FS7610

10Gbps
10GbpsSAN switch:
PowerConnect 8024F × 3

PS6010E (SATA)
16 HDDs
13Confidential

PS6110E (Nearline SAS)
24 HDDs

PS6510E (SATA)
48 HDDs

ストレージサーバの歩み~ Group Manager：Space Usage

第1世代

第2世代

第3世代

OLM
DigitalOLM

大規模作品

Windows

14

Confidential

OLM
DigitalLinux

第4世代

FluidFS
Windows+Linux0~1stgeneration

取り扱い作品数＋スタッフ数の増加
KISS ~ Keep it Simple, Stupid.

15

Confidential

背景• 使用していたストレージサーバの保守切れ• 取り扱い作品数の増加• 作品クオリティの向上– HD（1920x1080 pixel）数十レイヤー/1コマ› 24コマ＝1秒 90分＝約13万コマ …

– レンダリングサーバ増加→ストレージ負荷• ⽴体作品– 右・左の画像が必要（2倍）› 例：イナズマイレブン劇場版
›
大規模
作品

Server room: rendering servers

ファイルサーバの構成
Windows server

Fiber Channel

Disk Attached Storage (DAS)

16

Confidential第0世代：汎用DAS主体
Windows server
Fiber Channel
Disk Attached Storage (DAS)

OLM

17Confidential

OLM
Network1Gbps

OLM Digital第0世代：Workspace
OLM
NetworkOLM DigitalOLM

Work
space

Work
space

BackupWork
space
Backup18

Confidential

Work
spaceWorkspace

Backup

Work
space

Work
space

BackupBackupBackupWork
space

メリットと問題点

メリット：安価・作品数に応じて設備投資可能
問題点：バラバラ–少数のDAS領域だったらOK…
–空き領域がうまく使えない–バックアップ時間・方法› 物理的なコピー・スナップショットなし–負荷› 集中アクセス時–拡張性–メンテナンス

19

Confidential

Goal：身の丈にあったストレージシステム構築
重要度• 1元管理できるストレージサーバ– ストレージ専門家でなくとも管理できる› 年間保守料の怖さ– メンテナンスコスト軽減› ほぼ1⼈で管理• コストパフォーマンス
– 容量＞＞＞＞速度› SATA vs. SAS– 現在使用中のストレージリプレイス• バックアップ– スナップショット– リプリケーション機能• スケールアウト型NAS– 簡単な作業で設備・容量増加– ファイルシステムも独⾃管理• 機能豊富・手間がかからない

20

Confidential• “身の丈“にあう
一番高いのは⼈件費• 高いもの ≠ Bestなもの選定（2010/12現在）
重要度• NetApp– ☺ 機能豊富＆手間がかからない• Isiron：Zドライブ– ☺ 耐障害性– ☺ 1ボリューム管理＋簡単• HP：IBRIX– ☺ スケールアウト型NAS›汎用PC＋DASを組み合わせ• 汎用DAS– ☺ 価格• Dell | EqualLogic– 10G iSCSI+(半)スケールアウト型– ☺ PCを買うような保守料– ☺ PCを取り扱うような管理のし易さ– ☺ 操作性＋将来性›21

Confidential

営業＋技術スタッフのサポート

第0世代：導入前
Windows server
Fiber Channel
Disk Attached Storage (DAS)

OLM

22Confidential

OLM
Network1Gbps

OLM Digital第1世代：EQL導入〜OLMデジタル
Windows server

OLM
Network

Fiber Channel
Disk Attached Storage (DAS)

10Gbps

1Gbps

OLM

PowerEdge R410
(Win2008R2) × 4

OLM Digital
Windows

PowerConnect
8024F × 2+15TB
大型作品

+15TB
大型作品

23

Confidential

PS6510E (SATA)
48 HDDs
PS6010E (SATA)
16 HDDs

第1世代：EQL導入〜OLMデジタル
OLM
NetworkWorkspace(Windows)
Snap
shot

• 作品データ• ユーザデータ• 最大15TB

Replication

OLM DigitalWindows• 1日1回
• 転送速度↑Backup
大型作品用ストレージ

24

Confidential

10Gbps

Work
space

約65TB

約65TB

Work
spaceWorkspaceWork(Windows)
Work
space(Windows)
spaceWork(Windows)
space(Windows)
Snap(Windows)
shot

Replication

2ndgeneration

OLM＋OLMデジタルのストレージ拡張
セットアップ1時間は本当か？！

25

Confidential

背景• EQL導入から約1年経過– 社内評価高・Firmwareバージョンアップ

• OLM（親会社）のサーバリプレイス時期• OLMデジタルのストレージと統合！
– 追加購入コスト軽減（DASのみ）– 導入時間Dell EqualLogic Webサイトより抜粋
26

Confidential導入前：第1世代〜OLMデジタルのみ
Windows server

OLM
Network

Fiber Channel
Disk Attached Storage (DAS)

10Gbps

1Gbps

OLM

PowerEdge R410
(Win2008R2) × 4

OLM Digital
Windows

PowerConnect
8024F × 2

+15TB
大型作品

+15TB
大型作品

27

Confidential

PS6510E (SATA)
48 HDDs
PS6010E (SATA)
16 HDDs

第2世代：OLM+OLMデジタル
Windows server

OLM
Network

Fiber Channel
Disk Attached Storage (DAS)

10Gbps

1Gbps

OLM+OLM Digital
PowerEdge R410
(Win2008R2) × 4

Windows

PowerConnect
8024F × 2+15TB
大型作品

PS6010E (SATA)
16 HDDs
28

Confidential

PS6510E (SATA)
48 HDDs

導入後：第2世代〜OLM+OLMデジタル
OLM
Network

10Gbps

1Gbps

OLM+OLM Digital
PowerEdge R410
(Win2008R2) × 4

BackupWindows

約100TB

約100TB
OLM

Work
space+15TB
大型作品

29

Confidential

WorkDigitalspaceWork
Work
space(Windows)
spaceWork(Windows)
space(Windows)(Windows)

OLM
OLM
OLM

Snapshot

8024F × 2
Replication第2世代導入後〜まとめ• （1台あたり）1時間以内でセットアップ完了できる！
– 箱から取り出し、ダンボール廃棄– FC配線– HITツールからEQL認識– GroupManagerを使って› Groupに追加• 増設時のダウンタイム0• 増設は弊社スタッフで– 設置：2名– 設定：1名• 購入前後のDELL営業・技術スタッフの支援– 導入前：ネットワーク図– 導入後：システムサポート・質問

30

Confidential

3rdgeneration

PAC-MANプロジェクト
Linux環境とWindows環境との両⽴

31

Confidential

背景• PAC-MAN TVシリーズ制作決定– 海外コンテンツ制作開始• 海外向けフルCG作品: 大規模– デザイナ数：約60名› ワークステーション台数– レンダリングサーバ：120台

継続的に大規模作品が製作可能なストレージシステムを構築の必要性
日本経済新聞2013/1/30

32

Confidential

案件要求＆選定• 案件要求– Linux環境とWindows環境との共存– 規模は現在のストレージの倍› 最低100TB以上– セットアップ＆検証期間は短い• 選定– Isiron› ☺ Windows & Linuxシステム› ☺ 巨大な1ボリューム環境を構築可能› ☺ 本体価格 （保守は…？）– EqualLogic› ☺ 導入までの試算が容易(経験)› ☺ 仮想的に1ボリュームで構築可能– iSCSI› NASアプライアンス– FS7500のリリース– 将来、1ボリュームが可能？！

33

Confidential

導入前〜第2世代
Windows server

OLM
Network

Fiber Channel
Disk Attached Storage (DAS)

10Gbps

1Gbps

OLM+OLM Digital
PowerEdge R410
(Win2008R2) × 4

Windows

PowerConnect
8024F × 2

+15TB
大型作品

PS6010E (SATA)
16 HDDs
34

Confidential

PS6510E (SATA)
48 HDDs

導入後〜第3世代
OLM
Network
PowerEdge R410
EHEL610Gbps

PowerEdge R410(Win2008R2) × 4

LinuxWindows+15TB
大型作品

大規模作品

8024F × 3

PS6010E (SATA)
16 HDDs
35

Confidential

PS6110E (Nearline SAS)
24 HDDs

PS6510E (SATA)
48 HDDs

導入後〜第3世代
10GbpsOLM
NetworkWindowsRHEL
Work
space

約250TB
Win
Win
Win
Win

36

Confidential

約250TB

8024F × 3
Replication

Snap
shot

大規模作品

Backup

Lin
Win
Win
Win+15TB
大型作品

第3世代導入後〜まとめ• 100TB->250TBの拡張も簡単– ラック設置後のセッティング：短時間• ダウンタイム– SAN用: iSCSIスイッチの拡張時のみ〜2台から3台• 一部EQUALLOGICのRAIDポリシーの変更– RAID5->RAID6への変更› ボタン1つで可能– RAID50->RAID6への変更› Remove後 -> 再Group化• 増設は弊社スタッフ– 設置：2名– 設定：1名• 購入前後のDELL営業・技術スタッフの支援– システム構築案

37

Confidential

RAID50RAID6

4thgeneration

FS6510導入：スケールアウト型NAS
1ボリューム化

38

Confidential

背景Windows server• 1ボリューム＝15TBの制限– PACプロジェクト：1話＝1ボリューム– 大規模作品（15TB以上）：汎用DASで管理• NASアプライアンス：FS7610の販売開始

Fiber Channel

Disk Attached Storage (DAS)– FS7500シリーズの後継機› 10Gbps対応› 配線数少なく› 3U -> 2U• 使用していた最後のDASが保守切れ

NASアプライアンス
FS7500– PS6110Eへリプレイス› 大規模作品対応• OLM・OLMデジタルのすべてのアセットを管理– スタッフ数：300名– レンダリングサーバ数：250台• 将来性：“ビッグデータ”対応
39

ConfidentialNASアプライアンス
FS7610導入前〜第3世代
OLM
Network
PowerEdge R410
EHEL610Gbps

PowerEdge R410
(Win2008R2) × 4

LinuxWindows+15TB
大型作品

8024F × 3

PS6010E (SATA)
16 HDDs
40

Confidential

PS6110E (Nearline SAS)
24 HDDs

PS6510E (SATA)
48 HDDs

導入後〜第4世代
OLM
Network

10GbpsNASアプライアンス
FS7610

10GbpsNASアプライアンス
FS7610

10Gbps
10GbpsSAN switch:
PowerConnect 8024F × 3

PS6010E (SATA)
16 HDDs
41

Confidential

PS6110E (Nearline SAS)
24 HDDs

PS6510E (SATA)
48 HDDs

導入後〜第4世代
10GbpsOLM
Network10Gbps

NASアプライアンス
FS7610

大規模作品

NASアプライアンス
FS7610

約300TB

約300TB

Work space(LINUX)

Workspace(Windows)

Snap
shot

Snap
shot

Replication

42

Confidential

Replication

第4世代導入“中”：まとめ• ビッグデータに対応したスケールアウト型NASの構築• Dell Fluid File System（FluidFS）– Windows (CIFS) + RHEL (NFS)– 1つの名前空間で管理：最大509TBまで管理可能• EqualLogicグループマネージャと統合– PSアレイと同じ管理ツールでFS7610を運用可能• スナップショット・リプリケーション– 簡単に取り出すことが可能• 信頼性の向上– 2つのコントローラーによるフェイルオーバー

43

Confidential

おわりに• ビッグデータ化に向けたEqualLogicストレージ戦略– 身の丈にあう› 扱いやすい！
› ⾃身で管理可能– コストパフォーマンス：データの規模・機能に応じてカスタマイズ可能› 保守費（最⻑5年）が含まれている点も安⼼› アクセサリも安価（例：Direct Attachment Cable）– 柔軟な拡張性› 65TB -> 300TB› その時にあったベストなストレージ・システムで運用可能

44

Confidential

今後の展開• 使い方に応じたストレージシステムのカスタマイズ– 現在：容量重視– 今後：スピードが必要な業務＝SSD＋HDD型のEQL PSアレイの導入• 基幹サーバの仮想化– 現在：NASストレージ• より詳細なパフォーマンス・機能拡張– 負荷・転送速度の確認– SAN+LAN– クオータ管理

大規模作品
th4

3rd
2nd
1st
45

Confidential

大規模作品 A
Next
大規模作品
B
Generation
大規模作品 C

スピード・高機能…

Contact Information：(株) オー・エル・エム・
デジタル
研究開発部門OLM Digital Web：http://www.olm.co.jp
OLM Digital R&D Web：http://www.olm.co.jp/rd/

46