OpenStorage研究会
2013年度 活動報告
2014年3月13日
OpenStorage研究会

Copyright (c) OCDET All Rights Reserved.

Copyright (c) OCDET All Rights Reserved.

2課題: 参加者の稼働確保
営業時間内の作業は無理
土日もイベント関係や本業(休日出勤)で身動きが取れない
Copyright (c) OCDET All Rights Reserved.

3

2013年度活動予定(予定)【Phase1】 Swiftの大規模実証実験と他プロダクトの大規模実証実験の準備【Phase2】 他研究会と連携した大規模実証実験
Phase1

Phase2

4月

5月

6月

7月

8月

9月

10月

11月

12月

1月

2月

3月

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★中間報告
機材・人材確保
GlusterFS＋CloudStack
連携テスト

NFS試験

大規模実証実験(StarBED)

撤去(IIJ環境)アウトプットSwift大規模実証実験(StarBED)

Copyright (c) OCDET All Rights Reserved.

振り返り・結果考察

スクリプト等

性能試験
結果

報告書

4

2013年度活動予定(実態)【Phase1】 Swiftの大規模実証実験と他プロダクトの大規模実証実験の準備【Phase2】 他研究会と連携した大規模実証実験
Phase1

Phase2

4月

5月

6月

7月

8月

9月

10月

11月

12月

1月

2月

3月

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★中間報告
機材・人材確保
GlusterFS＋
CloudStack
連携テスト

NFS試験

ブロックデバイス調査

撤去(IIJ環境)Swift大規模実証実験(StarBED)

Copyright (c) OCDET All Rights Reserved.

5

2013年度活動実績(WG別/個別)項目

2012/3(pre)2012/4-6(1Q)

2012/7-9 (2Q)

2013/1-3 (4Q)

★Phase2★Phase1

研究会全体

2012/10-12 (3Q)

機材・人材確保
上期活動
方針案
確定

下期活動
方針案
確定

ブロックデバイス(案なし → Ceph)

Ceph/Gluster調査

オブジェクトストレージ(Swift)

結果考察・仮説検証

大規模環境での検証

ファイルシステム(GlusterFS)

他研究会との連携

IIJ環境撤去

検証内容検討・実施

IaaSからの利用

方針
フィード
バック

OCDETCAMP
2013

方針
フィード
バック
IaaS基盤連携

Copyright (c) OCDET All Rights Reserved.

6

2013年度活動実績(WG別/個別)項目

2012/3(pre)2012/4-6(1Q)

2012/7-9 (2Q)

2013/1-3 (4Q)

★Phase2★Phase1

研究会全体

2012/10-12 (3Q)

機材・人材確保
上期活動
方針案
確定

下期活動方針案
確定ブロックデバイス(案なし → Ceph)

IIJ環境
撤去

Ceph調査DRBD調査

オブジェクトストレージ(Swift)

ファイルシステム(GlusterFS)

他研究会との連携

結果考察・仮説検証

大規模環境での検証

検証内容検討・実施

IaaSからの利用

方針
フィード
バック

OCDETCAMP
2013

方針
フィード
バック
IaaS基盤連携

Copyright (c) OCDET All Rights Reserved.

7

取り扱い技術• オブジェクトストレージ：Swift• StarBEDでの大規模ベンチマーク– OCDET CAMP

• ファイルシステム：GlusterFS・NFS• GlusterFSのIaaS連携– CloudStackのPrimaryStorageとしての利用• NFS– 目新しい技術ではないが、現行の選択肢・比較対象として有用• ブロックストレージ：Ceph• Ceph– OSSラボ 船井さんが調べており、OCDETに参加• DRBD– NFSを冗長化させるために使用

Copyright (c) OCDET All Rights Reserved.

8Swiftベンチマーク
及びStarBED利用報告
Copyright (c) OCDET All Rights Reserved.

9

Swiftベンチマークスクリプト概念図
サーバ側パラメータ
ワーカー数

・・・
レプリカ数

クライアント側パラメータ
Objectサイズ

パターン
・・・
123

GETS回数
並列数
・・・・

・・・

パターン
1K

100K

1MB・・・

1M
10100K
100

10K

・・・

パラメータの組み合わせを文字列に(スクリプトの引数に)# ocdet-swift-bench A-B-C-D-E-F-G-H…
パラメータから環境構築・ベンチマークを実行

結果のログ収集
Copyright (c) OCDET All Rights Reserved.

OCDET CAMP 2013
概要：北陸合宿を開催し、StarBEDを用いてOpenStack Swiftの大規模ベンチマーク試験を実施。
期間：5/7-5/10
DDTもしたDDT
Copyright (c) OCDET All Rights Reserved.

11

OCDET Camp 報告– 参加者• 松井、中島さん、武川さん– 目的• Swiftにおける、構成ごとの傾向の分析– スケジュール
• 5/07-5/10 CAMP(北陸での作業)• 5/11-6/21 リモートでのベンチマーク実施

Copyright (c) OCDET All Rights Reserved.

12

OCDET Camp 予定と実績
予定

実績

5/7

StarBEDの利用方法確認
大まかなタスク作成
ひな形OSインストール(1台)SpringOSでのインストールテスト(1台)StarBEDの利用方法確認
大まかなタスク作成
ひな形OSインストール(未完了)

5/8

SpringOSでのインストール(140台)

ひな形OSインストール(1台)SpringOSでのインストールテスト(1台)

5/9
ベンチマークスクリプトの調整

SpringOSでのインストール(140台)
ベンチマークスクリプトの調整

5/10 ベンチマークスクリプトの調整

ベンチマークスクリプトの調整(未完了)

5/11 ベンチマークを実行(数週間)～

ベンチマークスクリプトの調整(継続)概ね1日圧し。ベンチマークスクリプトの調整についてはその後更に継続
Copyright (c) OCDET All Rights Reserved.

13OCDET Camp 予定と実績
予定

実績

5/7

StarBEDの利用方法確認
大まかなタスク作成
ひな形OSインストール(1台)SpringOSでのインストールテスト(1台)StarBEDの利用方法確認
大まかなタスク作成
ひな形OSインストール(未完了)

5/8

SpringOSでのインストール(140台)

ひな形OSインストール(1台)SpringOSでのインストールテスト(1台)

5/9
ベンチマークスクリプトの調整

SpringOSでのインストール(140台)
ベンチマークスクリプトの調整

5/10 ベンチマークスクリプトの調整

ベンチマークスクリプトの調整(未完了)

5/11 ベンチマークを実行(数週間)～

ベンチマークスクリプトの調整(継続)概ね1日圧し。ベンチマークスクリプトの調整についてはその後更に継続
Copyright (c) OCDET All Rights Reserved.

14

StarBED利用報告～合宿後～• 5/11～8/31まで活動• 予定：～6/21 → ～8/31• ベンチマークスクリプト修正• 構築失敗に備えてチェック機構を導入• スクリプト内でのテストだと妥当性に不安がある• 外部に仕組みをもたせられるよう
ServerSpecを導入。
• テスト機構は実装途中ながら、返却期間が迫ったためデータのみ取得• データ解析は未着のまま
Copyright (c) OCDET All Rights Reserved.

15

OCDET CAMP報告

食事も楽しみました

Copyright (c) OCDET All Rights Reserved.

16

CloudStack＋GlusterFS
Copyright (c) OCDET All Rights Reserved.

17

CloudStack + GlusterFS• CloudStackのPrimary StorageにGlusterFSを採用• HA用の仮想IP不要/手軽な拡張性・可用性• DH社内用に構築
The Internet

サービス用NW
VM

CloudStack
管理
サーバ

VM

・・・

VM

Computing Node

GlusterFS・ノード間でデータを冗長化
・ノードを追加して容量拡張

管理・ストレージ用NW※書き込み性能が低く、用途が限られるため
NFS+DRBDの構成で再構築
Copyright (c) OCDET All Rights Reserved.

18

CloudStack + NFS(+DRBD)• GlusterFSの置き換えとして構築• NFSサーバのNICには10Gを採用• NFSがSPOFにならぬよう、DRBDで冗長化
The Internet

サービス用NW
VM

CloudStack
管理
サーバ

VM

管理・ストレージ用NW

・・・

Copyright (c) OCDET All Rights Reserved.

Computing Node

VIP

10G NIC

Active NFS

VM

10G NICStandby NFS

19

CloudStack + NFS(+DRBD)• M-Cloud(仮)として社内で運用開始！

The Internet

サービス用NW
VM

Cloud
Stack
管理
サーバ

VM

管理・ストレージ用NW

・・・

Copyright (c) OCDET All Rights Reserved.

Computing Node

VIP

10G NIC

Active NFS

VM

10G NICStandby NFS

20

活動内容報告 –活動の進め方• 作業者間の連絡• ML ：MTGや報告会等の連絡等に使用。
• Skype：インタラクティブに連絡が取れるため、利用率が高い– CloudStack部屋、OpenStack部屋、DebuStuck部屋などなど…

• 作業者MTG• 「飲み会やるため」でいいので隔週で集まる方針に変更– 交流もOCDETの趣旨• 定期開催してます

Copyright (c) OCDET All Rights Reserved.

21

Copyright (c) OCDET All Rights Reserved.

22

• 研究会全体• Storage研はIaaS研に統合• 活動は今まで通り• オブジェクトストレージ• Swiftベンチマークの結果解析• RiakCS• ファイルシステム• OpenStack Cinder• 比較用にNFS(+DRBD)のチューニング

• ブロックストレージ• Ceph• DRBD
Copyright (c) OCDET All Rights Reserved.

23

最終成果物

ベンチマークスクリプト

主担当： 松井、中島さん、武川さん
概 要： パラメータを変えながら性能試験を行なう仕組みを設計。
今期は構築した環境が意図通りのものかのチェックを強化。

Swiftベンチマーク結果

主担当： 松井、中島さん、武川さん
概 要： StarBEDで行なったベンチマークの結果(のログ)ディスクアクセス
簡易ベンチマーク結果

主担当： 松井
概 要： 仮想マシン上からのディスク書き込みの速度をまとめた

NFSベンチマーク結果(比較用)主担当： 松井
概 要： 上記との比較のため、NFSでの書き込み速度をまとめたLinuxConでの発表

主担当： 伊藤さん
概 要： CloudStack+GlusterFSの構成についてLinuxConで発表
http://www.slideshare.net/thatsdone/ocdet-activity-and-glusterfs

DRBD構築手順

主担当： 松井DRBDベンチマーク結果

主担当： 松井Copyright (c) OCDET All Rights Reserved.