神戸大学におけるプライベートクラウドの運用状況について
伴 好弘 1)
1) 神戸大学 情報基盤センター
ban@kobe-u.ac.jp

On the Operation Status of Private Cloud at Kobe UniversityYoshihiro Ban 1)
1) Information Science and Technology Center, Kobe University
概要

本稿は神戸大学情報基盤センターで運用している教育研究用計算機システム（KAISER）で運用しているプライベートクラウドシステムについてその構成と特徴の紹介と，構築から現在までの運用における実績，経験した問題点や今後の展望について述べる．

1

はじめに動で多くの設定操作が必要な状況であったため，学内に計算機サービスとして機能提供することが難し

神戸大学情報基盤センターでは 2016 年度に教育い状況であった．結果的に学内に対しては実験的サ研究用計算機システム（KAISER）の更新を行った．

ービスとして，ごく限られた範囲での提供にとどまって今回構築したシステムはこれまで進めてきた仮想化いた．

技術を活用したハードウェア要素の集約とソフトウェ

2.2 KAISER2016 におけるプライベートクラウドアと連携したサービスや運用の自動化の促進を主眼今回構築した仮想化基盤は前述のような問題点として構築している．本稿ではサーバ機能を司るプラを考慮すると伴に，コスト的な制約が加わったため，イベートクラウドシステムについて，構成や特徴の紹アーキテクチャ毎にシステムを変えることが困難とな介を行い，これまで約 2 年運用してきた中で経験したった．そこで OpenStack をベースとした IBM Cloud

種々の問題や今後の展望について述べる．

Manager for OpenStack (ICM)を採用し，仮想化ノードのハイパーバイザに KVM を使用したプライベートク

2 KAISER におけるプライベートクラウドの構成
今回構築したプライベートクラウドの概要について述べる．前世代と現行世代においては，サーバの仮想ラウドを構築した．このシステムでは，これまでと同様に POWER アーキテクチャと IA アーキテクチャが存在するものの，全て同一のソフトウェア基盤で管理を行うことが実現できている．コンピュートノードに関するハードウェアの概要を表 1 に示す．

化について要となるコンピューティングノードについて，これまでの経験則から長期安定運用に実績のある

表 1 プライベートクラウドの概要POWER アーキテクチャのサーバ群と柔軟性が高いIA アーキテクチャのサーバ群とで構成されている．
2.1 前世代との違い前世代のシステムでは以下の通り計算機アーキ
テクチャ毎に仮想化基盤が異なるシステムで構築されていた．
・

POWER アーキテクチャは論理パーティショニン

2.3 統合ユーザ管理システムとの連携
前節で述べたとおり，仮想化基盤がプライベートク

グ及び一部 PowerVM で運用．

ラウドとして構成されているため，これまで手動操作

IA アーキテクチャは VMware vSphere で運用．

で実現していた仮想サーバの生成から消去など種々

このように各々のサーバ群毎に異なる管理ソフトウェの操作が，API や自動化ツールを使用することでほアが稼働しており，仮想サーバの増減については手ぼ全自動で行うことが可能になった．このことは図１・

に示すような，KAISER2016 に内包されている統合ユーザ管理システムとサービス連携することで，学内利用者に対して，申請サービスとして仮想サーバ機能の提供を動的に実現することを可能にした．また，利用者に提供する仮想サーバは統合ユーザ管理シス

な仮想ネットワークに多数のサーバが並ぶ形であったので，管理面やセキュリティ面で不安が生じたが，今回の構成ではテナント毎に独立した仮想ネットワー
クにサーバが接続されるので，テナント毎にセキュリテムが有するライフサイクル制御の管理下に置かれティ的な独立性を維持しつつ，構成把握や管理が容るため，年次の課金処理や利用終了時のサービス停易になるという利点を生かすことが出来ている．

止などが自動的に行えるようになった．

図１ システム連携の概要

3 プライベートクラウド化による利点
図２ ユーザ認証基盤テナントの構成
OpenStack ではテナントという複数のサーバをグループ化して管理することが基本となる．KAISER で使用するサーバもメール関係やユーザ管理関係など性格の異なるサーバ群がいくつか存在するので，それらをテナント毎に分割し，異なるセキュリティ設定を行っている．図２は統合ユーザ管理システムを含むユーザ認証基盤システムのテナント構造を例示したものである．KAISER2016 では以下のようなグループ分

図３ 利用者提供用テナントの例

けでテナントを作成している．

4 運用開始からの実績

・

ユーザ認証基盤テナント

・

メールサービステナント・高速計算機サービステナント

１月から本格運用に移行した．現在の利用状況につ・グループウェアシステムテナント

いて表２にまとめる．

・

LMS サービステナント・

各種サービステナント

・

開発検証用テナント・

複数の利用者申請サービス用テナント

本稿で述べているプライベートクラウドは２０１６年

表２ プライベートクラウドの現在までの運用状況

利用者へ提供する仮想サーバは申請毎にサービスID を付与して対応するテナントと仮想サーバを図３の様に作成する．テナント内は複数の仮想サーバを配置することができるので，目的ごとに申請を変えることで，同一利用者であっても目的の異なるシステムを複数運用することが可能である．これまでは，フラット

表２のようにコア数等基盤システム部分での消費が多いが，クラウドとして提供可能な最大コア数などは表３の通りであり，まだ余裕がある状況である．この部分は学内サービスへの提供と，運用期間中の基盤システム部分の拡張や資源追加に対応するため6 まとめと今後の対策についてに使用する目的で計画的に設定したものである．
以上のようにこれらの問題は，対策できたものあ
表３ クラウドが提供可能な資源の状況

れば，ソフトウェアの仕様的に対処療法的な対策しか出来ないという，少しもどかしい状況である．対策としてはクラウド基盤ソフトウェアとして使用している ICMの対応次第となるが，メーカで終息が宣言されてしま

ストレージについては統合ストレージシステムからい，大幅な修正が見込めない状況になっている．また，

nfs で共有しているので，領域が不足する場合は適宜

ICM のベースとなっている OpenStack の世代が Kilo

ボリュームサーズを拡大させれば対処可能である．というものであり，かなり古い世代のものであること．

5 運用における問題点
プライベートクラウドで仮想基盤を構築したが，実際に運用が開始されてからいくつかの問題に直面した．ここでは，特に影響が顕著だったものを挙げる．
5.1 突然サーバと通信できなくなる

この世代に含まれるバグが次世代持ち越しになっていることや，メーカ独自の機能の対策が停止している事から，これ以上の根本対策が難しい状況になっている．
このような事情から，現在の環境はこのまま残しつつ，新しいクラウド管理システムを構築する計画であ正常稼働しているサーバの外部接続が突然途絶る．新環境の構築にあたり，現行のクラウドシステムする現象が発生した．不思議な現象であったが，調の中に混在させると新たな問題が生じるので，共有査を続けることで，対策方法が見つかった．具体的にする部分を最小化しつつ，既存の装置を流用して実は，定期的に対象となる論理ネットワークに対して，現する計画である．幸いなことに，流用可能なコンピ何も変更を行わない更新処理を実行する対策が効ュートノードが存在しているので，これらのノードを切果的であった．

り離して，新しい管理システムの配下に移行させる計

5.2 API やポータルでの操作ができなくなる画である．この環境では統合ユーザ管理システムと不意にポータルの操作などが受け付けられつつも，連携する申請サービス部分の機能を優先的に移行処理が終わらないという現象に直面した．処理自体する予定である．新しい環境では，ほぼ完全に OSSは約 20 分後に実行されていたが，使用に耐えない状ベースで環境を構築することで，ブラックボックス部分態だった．この原因はメッセージングシステムの不具など保守の障害となる要素を極力排除していきたい合とのことで，修正パッチにより対策できた．と考えている．

5.3 システム起動に時間がかかる
この問題が最も深刻で，現時点では完全対策が出来ていない問題となる．計画停電などで，システムが新しい環境での運用実績を重ねていく中で，良好な結果が得られれば，場合によっては現環境の仮想サーバ群を全て移行させることも視野に入れている．

全停止し，復電後システム起動を行うと仮想サーバの起動に異常な時間が必要になる現象が発生する．
２０１８年６月にも計画停電があり，全システムの起

4 謝辞
本稿で述べたクラウドシステムの構築運用に際し動に約８時間かかってしまう事態になった．今のとこて，多大な協力をしていただいた，日本 IBM 株式会

ろ最も頭を悩ませる課題として存在し続けている．ま社の馬場悟氏と株式会社アルゴグラフィックス芦谷

た，状況的にはクラウド基盤ソフトウェア部分で何らかの負荷がかかると処理が滞るように見えている．ファイルロック衝突問題が無いか等をはじめとして種々の条件を確認したものの，残念ながら現時点では根本的な対策ができていない．

良平氏に感謝の意を表します．