Copyright © 2014 KDDI
Corporation. All Rights
Reserved1

だれも教えてくれない
ODMサーバの導入ノウハウ

KDDI株式会社 プラットフォーム開発本部
プラットフォーム技術部
加藤 真人

自己紹介
KDDI株式会社 プラットフォーム開発本部
クラウドサービス開発部
加藤 真人

KDDI入社以来インフラ系サービスの開発を担当。
これまでに、お客様のシステムを監視するサービスやKCPSの前身であるバーチャルデータセンターなどを開発。
その後、KCPS(KDDIクラウドプラットフォームサービス)の開発を初期メンバーとして参加し、現在は数千台のサーバを支えるインフラ設計業務を担当。ODM機器の採用や、Open Compute Projectへの参加など積極的にインフラのコモディティ化を推進してる。

KCPSの概要
サーバインフラミッション

サーバ構築

短納期と自動化にチャレンジ

今後のOCPへのミッション

日本仕様のOCPKCPSの概要

5

Copyright © 2015 KDDI Corporation. All Rights Reserved

ＫＣＰＳって何？
ＫＣＰＳ（KDDI Cloud Platform Service）『CloudStack専用ポータルから仮想サーバ環境をオンデマンド提供するサービス
WVSイントラネット接続と占有型サーバを標準提供するIaaS』

・利用ユーザ：
法人のお客様・KDDI事業用の設備（AU-Cloud）でも利用
・データセンタ：４局、物理サーバ：数千台[インフラの特徴]
・稼働率99.9999997%（2016Q1実績）
・サーバを台湾ODMから直接調達

・KDDIイントラ網に直結・物理機器の持ち込みができる！
6

Copyright © 2015 KDDI Corporation. All Rights Reserved

KDDI Cloud Platform Service① HA（フェイルオーバー）込みのQuality Cloud、SLA99.99％② 社内システムのクラウド化に必須なイントラ回線接続料は無料 ＊税抜※お客様拠点のアクセス回線は別途費用がかかります③ 専有サーバも提供。仮想サーバもいつでもリソースを増減可能
全て冗長構成サーバを選択ﾊﾞｯｸｱｯﾌﾟｽﾄﾚｰｼﾞ
ActivePremium
専有ｻｰﾊﾞ

イントラ網

FTTH

ｲｰｻﾈｯﾄStandby

ﾒｲﾝｽﾄﾚｰｼﾞ
ﾊﾞｯｸｱｯﾌﾟ(ｵﾌﾟｼｮﾝ)Value
仮想ｻｰﾊﾞ

回線利用料込
RemoteAccess

10G

２重バックアップ

ﾊﾞｯｸｱｯﾌﾟ
ｽﾄﾚｰｼﾞ

インターネット

セルフポータルから専有サーバも即時作成可能！
7

Copyright © 2014 KDDI Corporation. All Rights Reserved

KCPSの特徴①

専用サーバやイントラ網も利用できる専有サーバをオンデマンドでタイムリーに構築可能
セルフポータル画面から仮想マシンを直ぐに作成できるからサイジングは気にせずオンプレと同等の環境をクラウド上で利用できる！
お客さま(KDDI WVS)

簡単設定
セルフポータルKCPS

バックアップ
ストレージ

1専有
サーバ

①専有サーバ(Premiumメニュー)の追加

VM

2

3

②専有サーバ上に仮想マシンを作成(VM作成)③ バックアップ設定

Internet
8

Copyright © 2014 KDDI Corporation. All Rights Reserved

KCPSの特徴②

サーバの直接調達

大手サーバベンダーやFacebookにサーバを供給する台湾ODMベンダーから直接サーバを購入
9

Copyright © 2014 KDDI Corporation. All Rights Reserved

KCPSの特徴③高信頼性機能の提供

ストレージハードウェアまで考慮した分散アーキテクチャ”エクストラ アベイラビリティ”を採用！
これまでにない冗長構成をオンデマンドで利用できお客さまシステムの可用性を大幅に向上！

国内クラウド事業者初！

一般的なクラウド

エクストラアベイラビリティ

収容ストレージの指定できないため、仮想サーバレベルで冗長化してもストレージ2重障害の影響を受けるPremiumサーバ(専有サーバ)の収容ストレージを分散する事により、ストレージ2重障害の影響を受けない！

2015年2月より提供開始

システムダウン

ホストサーバActAct
VM
Act

冗長

VM
Stb

ストレージ＃１
RAID 10止まらず稼働！

お客さまPremiumサーバ（専有）

お客さまPremiumサーバ（専有）Act

ホストサーバ

Stb

Act

Act
VM
Act・・

・・ Stb
冗長

Act
VM
Stb

Act

ストレージ＃1
RAID 10

ストレージ＃2
RAID 10

2重障害

2重障害してもダウンしない

2重障害
10

・・

Copyright © 2014 KDDI Corporation. All Rights Reserved

StbKCPSの特徴④

オブジェクトストレージ①高い堅牢性「99.999999999999%の堅牢性」②クローズドNWで利用「ネットワーク接続料とデータ転送料が不要で安価」③高いセキュリティー
「auスマートパス基盤での実績を活かしたサービス」

11

Copyright © 2015 KDDI Corporation. All Rights Reserved

KCPSの特徴⑤ KCPSの高い稼働実績

KDDI Cloud Blogで稼働率と故障内訳を公開！
2016Q1稼働率は99.9999997%

12

Copyright © 2014 KDDI Corporation. All Rights Reservedちょっと宣伝KDDI クラウドブログ

http://cloudblog.kddi.com/?v=block

13

で検索

Copyright © 2015 KDDI Corporation. All Rights Reserved

インフラ系の記事が注目されている

14

Copyright © 2015 KDDI Corporation. All Rights Reservedサーバインフラミッション

15

Copyright © 2015 KDDI Corporation. All Rights Reserved

KCPSでのインフラミッション①低価格で高品質な都合のいいHWがほしい②発注からリリースまで超短納期・自動化にしたい③サーバの運用工数を削減したい

16

Copyright © 2015 KDDI Corporation. All Rights Reserved

ODMサーバという選択

低価格• 不要な機能・パーツを排除

高品質• メーカ製サーバと同一パーツ

スピード• ダイレクト購入だから納得価格• 不足機能は追加実装可能• 品質の良いパーツの指定購入• 不具合に対する特別対応• 工場での事前構築• 新機能を逸早く実装可能• サーバ仕様の変更が柔軟

17

Copyright © 2015 KDDI Corporation. All Rights Reserved

サーバ領域を活かしたSI領域へシフト2015年 自動構築Step2
インベントリー機能
2014年 自動構築Step1 （OS構築）
2013年 Quanta社サーバ導入 2社体制
2012年 工場構築、HWセルフテスト強化
工場キッティング・安定供給・工期短縮

2011年
Wiwynn社サーバ導入開始 国内24/365保守

ODMサーバでの課題

19

Copyright © 2015 KDDI Corporation. All Rights Reserved

納期遅延

パーツ供給の遅れ

ODMメーカは基本受注生産を行っており、大量のサーバパーツは確保していないため、外部要因によるパーツ遅延が発生し、サーバの出荷遅延となることがあるため、この対策が必要である。KDDIとしては、パーツの共通化や代替パーツの検討など遅延が発生した場合の別手段を確保し、納期遅延を未然に防いでいる。
納品時期を複数回に分け、遅延時の影響を小さくする対策も有効である。
外部要因：
台風による洪水や地震による天災

パーツ工場の火災
パーツの製品変更

提供制限

海外ニュースやODMメーカとの密な連携が重要
20

Copyright © 2015 KDDI Corporation. All Rights Reserved

納期遅延

組み立て工程組み立てラインから出荷までの工程で発生します。組み立て工程においてはラインのブッキングやストライキ、発送工程においては政府による輸出制限など想定外の理由で遅れることがあります。この遅れについて回避することが出来ないため、組み立て工場との工程確認を頻繁に行い、なにか不都合が発生した場合には情報を早くキャッチし、後工程で吸収できるよう調整を行うことが重要です。
工程要因：
組み立てラインのブッキング

中国政府の輸出制限
長期休暇による人員確保
パーツの不具合ODMメーカや工場との密な連携が重要
21

Copyright © 2015 KDDI Corporation. All Rights Reserved初期不良
数百台のサーバを一度に導入するため、初期不良は避けられない。工場でのエイジング内容を確認しKDDIオリジナルな試験工程を追加している。これにより、初期不良の発生率を一桁へ低減させることが出来た。輸送時や長時間稼働での初期不良はKDDIのDCに到着後実施する。後続工程へのスケジュール影響を出さないよう、高負荷長期運転、パーツの脱着試験（1000回）、DISK、メモリーの全面チェックなどを徹底的に行う。
試験ポイント

・負荷や温度による発生・物理的な緩み、抜けなどの確認・パーツの正常性

ここの工程が一番重要！！
22Copyright © 2015 KDDI Corporation. All Rights Reserved

設定ミスやVer管理BIOSやFMなどのHW設定は事前にODMメーカの工場にて設定されてきますが、設定作業が人による手動設定なため、設定間違いが発生することは避けられません。対策としては、BIOSにおける初期設定をKDDI仕様に変更し、ROMに書き込むという対応を行いますが、システム開発の途中で変更が発生することがあり、どうしても手動設定箇所が残ります。各種設定を吸い上げ、チェックする仕組みを取り入れることが、ポイントです。
ポイント

・機械的に設定ミスを見つける・チェック漏れを無くす
・設定間違いの経緯を調査する

低レイヤーをいかに機械的に制御するか！
23

Copyright © 2015 KDDI Corporation. All Rights Reservedバグやデグレ試験工程で発見された「バグ」や「不具合」は構築スケジュールに大きなインパクトを与えます。いかに早く、バグを解決し試験を再開させるのか？が運用工程においても重要なポイントになります。ODMメーカのエンジニアと初期設計の段階から密な連携をとり、発生時にはパーツメーカを含めた改修対応が重要です。
また、改修されたプログラムにおいてデグレの発生率が非常に高い状況でした。
これを改善するために、メーカで実施する試験環境や試験方法を均一化しテストしなりを自動化することで、デグレ発生率を低減させています。

ポイント
・試験環境をKDDIと同じにする・試験工程を自動化、均一化する・エンジニアとの直接パスを作る

ここでの経験が運用工程で生かされる24

Copyright © 2015 KDDI Corporation. All Rights Reserved自分達がサーバメーカとなる
これまでの、サーバを購入して問題があればサーバメーカへ問い合わせ、調査結果を確認して、試験を行うというような受け身の姿勢から。
パーツメーカ、ODMメーカと一緒に改善、改修を行う体制が必要です。
これにより、利用しているサーバの部品一つ一つに責任をもち、くせや弱点を知ることにより、システム設計段階で弱点を補うことでシステム全体の安定を得ることができるのです。

独自のサーバを自ら設計する
25

Copyright © 2015 KDDI Corporation. All Rights Reserved

KCPSでのインフラミッション現状①低価格で高品質な都合のいいHWがほしい
完了②発注からリリースまで超短納期・自動化にしたい③サーバの運用工数を削減したい26

Copyright © 2015 KDDI Corporation. All Rights Reserved

サーバ構築 短納期と自動化

27

Copyright © 2015 KDDI Corporation. All Rights Reserved

KCPSでの構築工程
工場工程

日本現地工程テスト工程• BIOS設定• 設定確認• 結合試験

• BMC設定• RAID設定• 設定変更• FW設定• OS導入• クリーニング• 単体試験

設計変更に弱い
重要工程は人に頼る

構築工程を完全自動化！！するしかない

CONFIDENTIAL①設定・確認の自動化■BIOS,BMC,RAID,FWすべてをCLI・APIに対応②OS導入自動化と高速化■PXEを利用しないOS導入機能を搭載■キックスタート廃止による設定変更の柔軟化■設定情報の自動取得・設定機能を実装③試験・修復の自動化■HW試験から結合試験までを自動化■設定項目をリアルタイム取得確認変更を実装
29

Copyright © 2015 KDDI Corporation. All Rights Reserved

構築工程の概念図

CONFIDENTIAL

BMC
OS

OS

OS

BIOS

ホスト構築後、チェックツールによりインベントリ収集
自動構築ツール

ホスト構築

RAID

開発ツールで取得したインベントリ情報をインベントリ用DBにデータ格納

自動構築ツールからマスタDBのデータ取得

構成管理
サーバ

構成管理
DB

構築用
データ格納
マスタDB
構築用
構成データ

設定管理台帳実データとの整合性チェックし最終データを構成管理登録30

インベントリ用DB

構成管理

Copyright © 2015 KDDI Corporation. All Rights Reserved構築時間の比較
ステップ

CONFIDENTIAL

作業内容

手動

自動構築ツール

1

設定値自動取得
HWセルフテスト

2

BIOS / BMC / RAID ファーム
ウェアのアップデート

20サーバの構築

20サーバの構築

3

BIOS / BMC / RAID の設定

約72時間

２時間未満

4

BIOS / BMC / RAID の設定値
正当性確認＆構成管理登録

5OSの展開（各種OS対応）

6

OSパラメータの設定変更

7

OSの設定値
正当性確認＆構成管理DB保管

8

OSセルフテスト
正常性確認

72時間

２時間

31

Copyright © 2015 KDDI Corporation. All Rights Reserved

電源入れたらボタン一つでリリース

32

CONFIDENTIAL

Copyright © 2015 KDDI Corporation. All Rights Reserved

KCPSでのインフラミッション現状①低価格で高品質な都合のいいHWがほしい
完了②発注からリリースまで超短納期・自動化にしたい完了③サーバの運用工数を削減したい
道半ば
33

Copyright © 2015 KDDI Corporation. All Rights Reserved今後のOCPへのミッション

34

Copyright © 2015 KDDI Corporation. All Rights Reserved

Software-Defined Infrastructureを見据えて今後、インフラ技術は抽象化されたハードウェアをソフトウェアによってリソースを様々な環境の変化に応じて動的にコントロー
ルできるSDIに向っていく

ソフトウェアでコントロール出来ない超低レイヤを汎用的にコントロール可能にする
BIOS

RAID

BMC
35

etc

Copyright © 2015 KDDI Corporation. All Rights ReservedHWレイヤと上位レイヤのつなぎが必要

36

Copyright © 2015 KDDI Corporation. All Rights Reserved

HWに強い台湾だから「つなぎ」を全て実現出来る
ハードに必要な機能だけでなくシステム構築で必要な機能を自由に実装することができる
これが最大のメリットです。

自動構築ツール
合同プロジェクト

37

Copyright © 2015 KDDI Corporation. All Rights Reserved

OCPJ＆OCPTメンバーとしてKCPSでのノウハウをOCPへ還元
・BMCの標準化
・BIOSの標準化・サーバインフラ以外への拡大
・エンタープライズクラウド要素を追加→ODMサーバの標準化を推進
汎用的で自由なインフラツール開発の共有を推進します。
38

Copyright © 2015 KDDI Corporation. All Rights Reserved

日本仕様のOCP

39

Copyright © 2015 KDDI Corporation. All Rights Reserved私が考える OCPの現状①現行サーバとの違い・運用時に利用する機能が少ない
・電源が特殊・ラック単位での導入が必要②本当に日本にマッチしているのか？
・小規模構成においてコストメリットがあるか？
・扱える提案するSierがいるのか？
・日本のDCにマッチするのか？

結局

メガデータセンター向け
40

Copyright © 2015 KDDI Corporation. All Rights Reserved

OCPJとしてノウハウ共有
導入推進

パーツ標準化OCP-J
日本に受け入れられる仕様

41

Copyright © 2015 KDDI Corporation. All Rights Reserved

一例として42

Copyright © 2015 KDDI Corporation. All Rights Reserved

OCPのパーツを利用

43

Copyright © 2015 KDDI Corporation. All Rights Reserved

単独電源

44

Copyright © 2015 KDDI Corporation. All Rights Reserved

フロント45

Copyright © 2015 KDDI Corporation. All Rights Reserved

46

Copyright © 2015 KDDI Corporation. All Rights Reserved

ブルースクリーンをキャプチャー

47

Copyright © 2015 KDDI Corporation. All Rights Reserved

48

Copyright © 2015 KDDI Corporation. All Rights ReservedQuality Cloud49

Copyright © 2015 KDDI Corporation. All Rights Reserved