OpenIaaS研究会2012年度
活動報告

2013年3月26日
OpenIaaS研究会
荒井@クラウド利用促進機構(CUPA)
斎藤@IIJ
小坂@インテリジェンスビジネスソリューションズ
Copyright (c) OCDET All Rights Reserved.

目次

OpenIaaS研究会

１．2012年度研究会活動実績
２．活動内容報告
CloudStack検証WG (CUPA荒井)
OpenStack検証WG (IIJ斎藤)
監視基盤WG (IBS小坂)３．所感(反省、抱負)
４．2013年度OpenIaaS研究会活動予定

Copyright (c) OCDET All Rights Reserved.

2

OpenIaaS研究会 検証環境(全体図)• OpenIaaS研究会で構築する検証環境(全体図)を以下に示す。
• 現状は2拠点(IDCフロンティア様DC、IIJ様DC)で実装済み•

他研究会・チームの要望をヒアリングし、可能な限り連携して検証可能な環境を準備したい。

CloudStack4.0環
境北大情報基盤センター

DC1(IDCフロンティア)

OpenStackEssex環境

DC2(IIJ)

Copyright (c) OCDET All Rights Reserved.

OpenStackFolsom環境

Swift環境(OpenStorage研究会)

DC3※DC3はPhase3で実装検討
3

OpenIaaS研究会 活動内容と成果物(当初想定)• 今年度の活動を２つのフェーズに分け、進めることとする。
• Phase3、4については、Phase２終了時に対応方針を策定することとする。

■Phase1

ストレージ研究会と連携しながら実施
隔週で作業者ミーティグを実施
【敬称略】

■作業内容
・IaaS基盤の設計、構築（OpenStack, CloudStack, Wakame-vdc ＋ Swift)
・自社利用想定でIaaS基盤を構築する上で、リファレンスアーキテクチャとなる構成を設計し稼動させる。
・関係者にアカウントを払い出しを行い、利用してもらえるレベルをめざす。
・各種テンプレート準備。GUIおよびコマンドラインを提供■成果物
・システム構成図、物理構成図、構築手順／Tips、アカウントの払い出しルール etc①OpenStack（Nova,Glance,keystone etc)

主担当：IIJ斉藤
OpenStack Essex/Folsoumの評価②CloudStack

主担当：CUPA荒井
CloudStack4.0を中心に評価、HyperVisorはKVMを利用
OpenStackのSwiftとの連携も検証したい。
ネットワーク機能強化部分については、ネットワーク研究会との連携にて、構成を確定する。

③Wakame-vdc

主担当：AXSH山崎
Wakame-vdcとそのSDN実装部分を評価し、SDN実装の設計、運用ポイントおよび課題事項の抽出を行う。

Copyright (c) OCDET All Rights Reserved.

OpenIaaS研究会 活動内容と成果物(当初想定)■Phase２

ネットワーク研究会との連携運を想定した監視基盤の構築

【敬称略】

■作業内容
・NW研究会との連携により、制御および監視基盤構成を意識したIaaS基盤の設計、構築を行う。
→ オーケストレーションWGとの連携
・IaaS基盤の機能関連評価を行う。
■成果物
・監視項目、検証項目・検証結果、運用手順／Tips etc①監視基盤連携（Zabbix）

主担当：小坂・IaaS基盤を運用する上で、必要となる監視項目を定義し、設計・実装を行う。
・特殊な監視が必要な場合、その実装方法（スクリプト）提案する。
■成果物
監視設定情報、設定手順、監視用スクリプト※Gangliaなど他の監視系オープンソースについては、各WGにて必要に応じて導入する。

②制御基盤連携（独自コント
ローラ、Scalr、Cheff)

主担当：棟朝、安田
各IaaS基盤制御のためのシステムを構築する。
各IaaS基盤との接続を行い、各基盤実装レベルについて比較、考察する。
例: PaaS基盤のAutoDeployの一部実現■成果物 制御基盤設定情報、設定手順、Tipsおよび上記比較表

Copyright (c) OCDET All Rights Reserved.

5

活動報告 研究テーマ
オープンクラウド実証検証タスクフォースの実施趣意書に則り、オープンソースのクラウド基盤管理ソフトウェアであるCloudStack・OpenStack・利用するための構築、運用に関わるノウハウを体系的に蓄積・整備し、広く一般に利用できる形態で外部に公開する

研究テーマ
CloudStack・OpenStackを用いたクラウド基盤管理システムの構築・運用ガイドライン作成・Zabbixなど監視基盤との連携目標
 システムのリファレンスモデル作成
 構築・運用マニュアル
 モニタリングシステム設計
Copyright (c) OCDET All Rights Reserved.

各WGの活動報告

・CloudStack検証WG 活動状況報告- CUPA荒井・OpenStack検証WG 活動状況報告- IIJ斎藤・監視基盤WG 活動状況報告- IBS小坂Copyright (c) OCDET All Rights Reserved.

活動報告 CloudStack検証活動
CloudStackを用いたクラウド基盤管理システムの実証実験から得られたノウハウを体系化し、構築・運用する際の指針となるガイドラインを整備することを目的とする。
項目

2012/3(pre)2012/4-6(1Q)

2012/7-9 (2Q)

2012/10-12 (3Q)

2013/1-3 (4Q)

OpenIaaS研究会

冗長化設定
IPMI設定環境構築・整備
実証実験準備
機材調達等
検証項目作成障害テストテンプレート作成

作業者MTG(隔週)システム構成図
パラメータシート
セットアップ手順書
監視項目
検証項目・結果
運用TIPSOCDET全体スケジュール

11.29
中間報告会

Copyright (c) OCDET All Rights Reserved.

3.26
成果報告会

CloudStack検証WG ファシリティ・機材
ラック: IDCフロンティア様よりご提供
PCサーバ、ネットワーク機器を各社より機材ご提供□ IDCフロンティア様
ラック x 1本 1500KV□ CUPA L3, L2 Switch
Alaxala 2430S-24T
NetGear 16port Switch□ NetGear/IBS様
NetGear RNDP6610(NAS)
NFS/iSCSI 12T(物理)□ Intel様/IDCF様 Intel製サーバ x3 – ノード用
SandyBridge-EP 8 cores 3.1GHz
Memory: 32G□ モーフ様 Rackable製サーバ x 3台 – ノード用
RackableA20X
CPU:XeonE5320 1.86GHz (4corex2)
MEM:16GB

Copyright (c) OCDET All Rights Reserved.

□ ATWORKS様 自社サーバ x 3台 – 管理系サーバ用Intel Core i5-2520M 2.5GH(2コア)
8GBメモリCloudStack検証WG CloudStack検証環境(1)
企業内のプライベートクラウドとして実利用可能な構成を前提とする。
可能な限りオープンソースの利用を前提とする。
(キャリア・クラウド事業者レベルにも応用可能なレベル目指す)

管理サーバ(ManagementServer),DBの冗長化設定(LVS利用)完了
10
Copyright (c) OCDET All Rights Reserved.

CloudStack検証WG CloudStack検証環境(2)Apache CloudStack 4.0 + CentOS 6.３を利用
グロバールIPの割り当ても可能
実際サービスを想定しての運用検証を行うことも可能

11
Copyright (c) OCDET All Rights Reserved.

CloudStack検証WG セットアップ手順書
構成図、機材、検証項目、IPアドレス管理、セットアップ手順、各種設定手順、構築時TIPS、検証項目・結果、運用TIPS等を整理
最新版: OCDET検証環境_20130320.xls
プロジェクト→ OpenIaaS研究会→ ファイル からダウンロード可能！

12Copyright (c) OCDET All Rights Reserved.

活動報告 検証項目一覧
CloudStack環境の検証項目を①機能検証、②耐障害性検証、③運用性検証、④性能検証、⑤拡張性検証に分類
OCDETで取り組む検証として、CloudStack特有かつ重要機能でありながら、ノウハウが整理されていない箇所(SecondaryStorageVM、ConsoleProxyVM、仮想ルータの障害試験)を中心に進めることに。

13
Copyright (c) OCDET All Rights Reserved.

活動報告 障害テスト
OCDET環境にて実際に疑似障害を発生し、試験実施手順、実施結果、出力ログ、復旧方法、監視文字列を整理① SecondaryStorageVM障害 60%完了② ConsoleProxyVM障害③ 仮想ルータ障害④ management-server障害④ DBサーバ障害⑤ ComputeNode障害

14
Copyright (c) OCDET All Rights Reserved.

活動報告 テンプレート
CloudStack環境用の以下のテンプレートを作成※PW自動設定スクリプト設定済み
CentOS6.2(32bit, 64bit)、CentOS5.9(32bit, 64bit)
FreeBSD9.1R(32bit, 64bit)
Ubuntu12-10(64bit)
Ubuntu12-2.04.2LTS(64bit)15
Copyright (c) OCDET All Rights Reserved.

来年度に向けて(案) – 運用ノウハウの蓄積と発信（１）環境構築ノウハウ蓄積、効率化
・テンプレート(Windows Server)作成
・基盤構築自動化(インストール、ノード追加)
・システムアップデート（２）運用ノウハウ蓄積
・監視項目整理
・監視WGとの連携強化
・疑似サービスの運用検討(SLA、ワークフロー)
・運用Tips整理
・運用ツール開発（３）発信／連携・事業者間運用MTG
・CloudStackユーザ会との連携(ソースコードリーディングなど)（４）連携
・オーケストレーションWG連携・制御基盤 WG(Chef, Scalr, Jenkins)・ストレージ研究会(Swift, Gluster)・IPMI,mcelog連携(自動フェイルオーバー)Copyright (c) OCDET All Rights Reserved.

各WGの活動報告

・CloudStack検証WG 活動状況報告- CUPA荒井・OpenStack検証WG 活動状況報告- IIJ斎藤・監視基盤WG 活動状況報告- IBS小坂Copyright (c) OCDET All Rights Reserved.

活動報告 OpenStack検証活動
OpenStackを用いたクラウド基盤管理システムの実証実験から得られたノウハウを体系化し、構築・運用する際の指針となるガイドラインを整備することを目的とする。
項目

OpenStackリリース

2012/3(pre)2012/4-6(1Q)

Diablo(2011.3)

2012/7-9 (2Q)

2012/10-12 (3Q)

Essex(2012.1)

2013/1-3 (4Q)

Folsom(2012.2)

OpenIaaS研究会

実証実験準備機材調達等Essex版
構築・検証

Folsom版
構築・検証

作業者MTG(隔週)
Essex版
リファレンスモデル
構築マニュアル
監視ガイドライン

Folsom版
リファレンスモデル
構築マニュアル
監視ガイドライン

OCDET全体スケジュール

11.29
中間報告会

Copyright (c) OCDET All Rights Reserved.

3.26
成果報告会

活動報告 リファレンスモデル

Copyright (c) OCDET All Rights Reserved.

活動報告 構築マニュアル

Copyright (c) OCDET All Rights Reserved.

活動報告 監視ガイドライン

Copyright (c) OCDET All Rights Reserved.

活動報告 実証実験を振り返って[目指したもの]
安定した環境で、特定バージョンのOpenStackを安定稼動させるためのリファレンスモデルと構築・運用のための手法を確立する。

[現実]
OpenStackの新版がリリース後、検証環境環境の構築を開始し、検証しつつ構築マニュアルを完成させた頃には、すでに次のバージョンのRCが提供され始めるというような状態で、OpenStackのスピード感に追随できず、３ヶ月程度で陳腐化してしまう。

[アプローチを変える(案)]
来年度以降の実証実験では、特定のバージョンに対する構築手法ではなく、継続的デリバリモデルでOpenStackによるIaaS基盤を構築・運用する手法を設計・実装し、実証実験を行うことを検討中。
Copyright (c) OCDET All Rights Reserved.

来年度に向けて(案) - 継続的デリバリモデルの検討■継続的デリバリ手法の検証

OpenStackの特定バージョンをベースにインフラを構築するのではなく、ある程度の周期で最新のMasterからチェックアウトしたソースコードを構築->テスト->反映->稼働するサイクルを自動化により繰り返す。

2012年で作成したリファレンスモデルをベースに継続的デリバリを行うための仕組みを実証実験する環境を構築する。

Copyright (c) OCDET All Rights Reserved.

開発環境に反映

テスト

OpenStackの継続的デリバリモデル

最新ソースコード取得

本番環境に反映＆稼動

ステージ
ング環境に反映&稼働テスト

各WGの活動報告

・CloudStack検証WG 活動状況報告- CUPA荒井・OpenStack検証WG 活動状況報告- IIJ斎藤・監視基盤WG 活動状況報告- IBS小坂Copyright (c) OCDET All Rights Reserved.

OpenIaaS研究会

監視基盤WG活動方針・今期の活動

クラウド設備だけでなく、システムの監視を設計構築していくうえでのプロセスを踏襲し、OCDET環境の監視を実施する。
N月
N+1月
N+2月
N+3月
N+4月
今回の作業プロセスは以下のとおり。
要件定義●Iaas・制御基盤
設計●運用業務要件（あれば）●監視要件定義・要件吸収（要求定義）
・要件定義

設計
●監視設計・基本・詳細 監視設計
・パラメタ
・手順

構築

試験

実証実験

●監視環境・単体・結合・性能・総合（システム）●監視環境構築
・社内事前・実環境

N+5月

●実証実験

チューニング・システム概要（存在目的等）
・システム設計（アプリ・サーバ・ネットワーク）
・構成図（論理・物理）・機能相関図
・SLA（あれば）・想定運用作業とそのワークフロー

システム監視設計でカバーすべき事項のうち、OCDETでは赤枠部分を対象とした。
監視対象・監視内容のうちでも、環境依存度の高いゲストインスタンス部分については考慮を行なっていない。

●Iaas・制御基盤設計●運用業務設計（あれば）・権限/アカウントの追加修正
・閾値の調整・監視ツールの導入影響考慮（OS側パラメタ/通信経路パラメタ修正など）・運用業務（手順等）との整合

監視システム設計

・閾値の調整・監視サーバ/監視対象パラメタ修正
・運用業務との整合監視運用設計

監視対象

しきい値

対応サービス

障害回復時間

監視内容

通知内容・方法

サービス品質（障害基準）

システム変更対応範囲

通知先

障害対応範囲システム変更作業

運用体制

運用フロー

活動範囲

Copyright (c) OCDET All Rights Reserved.

活動範囲外

システム運用側では、日々増減するゲストインス
タンス・ハイパーバイザの監視追加削除作業が課題となる。これを自動化する仕組みについても考慮した。
活動範囲
25クラウド設備監視のポイント・課題
これまでの物理環境監視に加えて、クラウド管理システムの監視をどのように実現するかがポイントとなる。CloudStackの場合の監視対象・監視内容は以下のとおり。
監視内容

監視対象

死活

サービス・プロセス

リソース

ログ・snmp-trap

サーバ共通

①②

③④

ネットワーク機器・ストレージアプライアンス等○－○○（snmp-trapのみ）①+zabbix固有②+zabbix固有③+zabbix固有④+zabbix固有（ログのみ）

Management Server①+CloudStack固有②+CloudStack固有③+CloudStack固有④+CloudStack固有（ログのみ）

DB Server①+CloudStack固有②+CloudStack固有③+CloudStack固有④+CloudStack固有（ログのみ）

Primary Storage－－

SecondryStorage－－

ConsoleProxy－－

VirtualRouter－－

監視（zabbix）

クラウド管理（CloudStack）

課題－－－－－－－－

クラウドサービスの中核を担っているCloudStackのSystemVM関連サービスは、外部からの監視が（容易には）できない構造となっており、提供するクラウドサービスの品質点検ニーズに応えにくい状況となっている。
したがって、これらのサービスを個別に監視するのではなく、システム全体でサービスが提供できているかという観点での監視から実現していくことがまず第一歩となる。（今回の実証実
験では未実装）

Copyright (c) OCDET All Rights Reserved.

26

来年度に向けて(案)
これまでの物理環境監視に加えて、クラウド管理システムの監視をどのように実現するかがポイントとなる。CloudStackの場合の監視対象・監視内容は以下のとおり。
監視内容

監視対象

死活

サービス・プロセス

リソース

ログ・snmp-trap

サーバ共通

①

②

③

④

ネットワーク機器・ストレージアプライアンス等○－○○（snmp-trapのみ）①+zabbix固有②+zabbix固有③+zabbix固有④+zabbix固有（ログのみ）

Management Server①+CloudStack固有②+CloudStack固有③+CloudStack固有④+CloudStack固有（ログのみ）

DB Server①+CloudStack固有②+CloudStack固有③+CloudStack固有④+CloudStack固有（ログのみ）

Primary Storage－－

SecondryStorage－－

ConsoleProxy－－

VirtualRouter－－

監視（zabbix）

クラウド管理（CloudStack）

課題－－－－－－－－

クラウドサービスの中核を担っているCloudStackのSystemVM関連サービスは、外部からの監視が（容易には）できない構造となっており、提供するクラウドサービスの品質点検ニーズに応えにくい状況となっている。
したがって、これらのサービスを個別に監視するのではなく、システム全体でサービスが提供できているかという観点での監視から実現していくことがまず第一歩となる。（今回の実証実験では未実装）▷ 2013年度実施予定

Copyright (c) OCDET All Rights Reserved.

27

クラウド設備監視の実例
CloudStackのリソース監視例です。

Copyright (c) OCDET All Rights Reserved.

28

クラウド設備監視の実例
システム運用側で想定される監視設定の追加削除作業を監視サーバにて自動化。まず、CloudStack側にてゲストインスタンスを作成。

Copyright (c) OCDET All Rights Reserved.

29

クラウド設備監視の実例
ゲストインスタンス作成中。

Copyright (c) OCDET All Rights Reserved.

30

クラウド設備監視の実例
ゲストインスタンスさくせ完了。

Copyright (c) OCDET All Rights Reserved.

31

クラウド設備監視の実例
Zabbix側ではゲストインスタンスはまだ存在しない。

Copyright (c) OCDET All Rights Reserved.

32

クラウド設備監視の実例
CloudStack側の操作を検知して、生成されたゲストインスタンスを自動的に監視開始。

Copyright (c) OCDET All Rights Reserved.

33

クラウド設備監視の実例
実際に監視の結果が採取されている。

Copyright (c) OCDET All Rights Reserved.

34

Appendix：システム構成(監視部分）

Copyright (c) OCDET All Rights Reserved.

35

Copyright (c) OCDET All Rights Reserved.

研究会全体の所感(反省、抱負など)■ 反省
・機材確保の出足が遅れた
・参加者の稼働確保 ※営業時間内の作業は無理
・検証作業日を予め決めておけば良かった。
・若手エンジニア確保が困難 ※OCDETのバリュー、運用研究会、一案として、中と外で情報の開示レベルを分ける。

■ 良かった点・作業者Skypeは効果が高いGTMも良い。
・定期開催の作業者MTG
・リファレンス環境をつかっての情報共有と参加者各自のスキルの向上■ 抱負・OpenStackユーザ会や、CloudStackユーザ会などコミュニティとコラボして有志を募る
・OCDETの公開ドキュメントやノウハウをユーザ会での発表
・停電、HW故障を乗り切る！
・2013年度は「運用」「連携」「CD」
Copyright (c) OCDET All Rights Reserved.

37

2013年度活動予定(全体概要)■ CloudStack(1) 運用ノウハウ蓄積(障害時動作、監視)(2) 連携(制御基盤Chef, Scalr, Jenkins、ストレージSwift連携、Gluster連携)(3) 基盤構築自動化(インストール、ノード追加) ※PXE, chef, MS仮想マシンイメージ化等■ OpenStack(1) 継続的デリバリー(CD)の構築
クラウド基盤自体の継続的デリバリー(運用環境とテスト環境のライフサイクル管理(2) 運用スタイルの検討(RackSpaceの運用スタイル)■ 監視WG
システム全体でサービス監視設計■ その他
他研究会へのVM提供
Copyright (c) OCDET All Rights Reserved.

2013年度活動予定(CloudStackチーム)【Phase1】 運用(障害時動作、監視)、連携(制御基盤Chef, Scalr、ストレージSwift連携、Gluster連携)【Phase2】 基盤構築自動化、疑似サービス提供
Phase1

Phase2

4月

5月

6月

7月

8月

9月

10月

11月

12月

1月

2月

3月

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG ★MTG
★中間報告

★MTG

★MTG

★MTG

障害試験

制御基盤連携基盤構築自動化

監視連携

疑似サービス提供

アウトプット整理
障害試験結果Copyright (c) OCDET All Rights Reserved.

報告書

39

2013年度活動予定(OpenStackチーム)【Phase1】 継続的デリバリモデルの技術調査、環境構築、テスト環境構築、作業者募集【Phase2】 検証、アウトプット整理
Phase1

Phase2

4月

5月

6月

7月

8月

9月

10月

11月

12月

1月

2月

3月

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG

★MTG ★MTG
★中間報告

★MTG

★MTG

★MTG

技術調査

環境再設定

デリバリ
環境構築
テスト環境構築

検証
OpenStack基盤の運用性の検証

アウトプット整理

作業者募集

Copyright (c) OCDET All Rights Reserved.

スクリプト等環境再構築 報告書

40OpenIaaS研究会 活動状況とドキュメント

プロジェクト→ OpenIaaS研究会に各WGの成果物あり

41
Copyright (c) OCDET All Rights Reserved.

ご清聴ありがとうございました。
是非、皆様のOCDET/OpenIaaS研究会へのご参加をお待ちしております！

参加希望の方は、contact@ocdet.orgへご連絡ください！
Copyright (C) Cloud Utilization Promotion Agency. All Rights Reserved.

42