Academic Baremetal Cloud の実現
長久 勝 1), 政谷 好伸 1), 横山 重俊 2), 谷沢 智史 3), 中川 晋吾 4) 合田 憲人 1)
1) 国立情報学研究所 クラウド基盤研究開発センター
2) 群馬大学

総合情報メディアセンター

3) 株式会社ボイスリサーチ4) 有限会社カラビナシステムズ

mnagaku@nii.ac.jp

Academic Baremetal Cloud
Masaru Nagaku1), Yoshinobu Masatani1), Shigetoshi Yokoyama2), Satoshi Yazawa3),
Shingo Nakagawa4), Kento Aida1)
1) Center for Cloud Research and Development, National Institute of Informatics
2) Library and Information Technology Center, Gunma University
3) Voice Research Inc.
4) Carabiner Systems, Inc.
概要
国立情報学研究所（以下、NII）では、2009 年度以降、4 世代のプライベートクラウド基盤を構築・運用してきた。この間、一貫して、NII の教職員が主導的に関わり、経験を積み重ねてきた。最新の第 4 世代のプライベートクラウド基盤「Academic Baremetal Cloud（以下、ABC）」は、構築作業自体の再現性、構成拡張の容易性を、その特徴の一つとしており、最小限の互換性を満たすハードウェア機器が揃えば、短時間で基盤を配備可能、構成変更可能となっている。本稿では、NII の 10 年の経験から生まれた「ABC」について、歴史的経緯も踏まえながら紹介する。

1

はじめに採用している。その結果、例えばクラスタに対するノードの追加や、同等なクラスタの増設を行う

NII では、2009 年度以降、10 年にわたり、際に、構築ベンダに依頼することなく運用チーム「edubase Cloud」「Academic Community Cloud（以の業務として構築作業を「再現」する対応が可能

下、ACC。別の呼称として"gunnii"とする場合もである。一般的に、情報システムの構築には、固あるため、文献にあたる場合には注意が必要）」

有のノウハウや煩雑な構築作業自体に外部発注に「Academic Inter Cloud（以下、AIC）」「ABC」と、よる高いコストがかかることが多いが、「ABC」

4 世代のプライベートクラウド基盤を構築・運用

では、運用作業範囲内での対応を選択できるぐらしてきた。この間、一貫して、NII の教職員が主い、容易に基盤を配備可能とした。これは、NII導的に関わり、運用や活用の経験を積み重ね、次同様のユースケース、組織背景を持つ、多くの研世代の設計に反映し、より先進的で使いやすいク

究教育機関に、参考になるものと考えている。

ラウドサービスの実現を目指してきた。本稿では、現在の最新版である第 4 世代のプライベートクラウド基盤「ABC」について、以前の世代からの経緯も含め特徴を紹介する。

2「edubase Cloud」から「AIC」まで
以下に、「edubase Cloud」から「AIC」までのプライベートクラウド基盤の設計と機能について、「ABC」は、その設計指針として、構築作業自時系列で述べる。あわせて、クラウド基盤の監視体の再現性と、運用作業を容易化するための物理についても述べる。「edubase Cloud」から「AIC」

構成を追求している。物理構成を単純化する一方、までのプライベートクラウド基盤の機能とユース複雑な管理ネットワーク構成は SDN 化する、構築ケースの関連については、「教育・研究クラウド作業自体を機械的に再現可能とするなどの方策をサービスのためのパターンランゲージ」[1]にまとめがある。

「ACC」で実現した。研究グループ個々のリソー

2.1 edubase Cloud

ス量を動的に変更可能、については、ベアメタル

NII における最初のプライベートクラウド基盤の計算機間のネットワークを SDN で制御し、通となった「edubase Cloud」[2]は、Amazon EC2[3]信できる計算機グループを作り、グループへの計と互換性を持った OSS「Eucalyptus」[4]を 15 セッ算機の追加・削除を柔軟に行えるようにした。利ト配備したものであった。複数の研究グループの用開始までの準備時間の短縮、については、クラ計算機実験が干渉しないように、基盤のレベルでスタ管理フレームワーク「Dodai」[7]を用いて対応分離しており、研究グループのユースケースに応できるようにした。「Dodai」は、「OpenStack」管じて、基盤単位でカスタマイズを可能としていた。

理 下 で ベ ア メ タ ル の IaaS を 実 現 す る

例えば、当初構築時には、仮想マシンの OS とし「Dodai-compute」、更に複数のノードをクラスタて Linux し か サ ポ ー ト し て い な か っ た が 、として扱い、アプリケーションテンプレートにFreeBSD や WindowsXP の利用要望があり、これに従って、クラスタシステムを一括構築する対応するため、特定の基盤にカスタマイズを施す「Dodai-deploy」から構成されている。これによりなどした。また、仮想マシンを管理するクラウド「Hadoop」[8]などの分散アプリケーションを配備

基盤では、リソース効率を高めるため、物理的な可能とした。

CPU コア数よりも多くの仮想 CPU を設定する「ACC」は、2011 年度に構築が行われ、2012オーバーコミットを行うが、計算機実験でベンチ年度から利用を開始、2017 年度末をもってサービマークを取った際の結果が安定しないなどの問題

スを終了した。

があるため、「edubase Cloud」ではオーバーコミ2.3 AICットを行わなかった。

「ACC」に続く「AIC」[9]では、基本設計は「edubase Cloud」は最初の取り組みであったこ「ACC」を踏襲し、ネットワークの強化、SINETともあり、利用者から想定外の様々な要望を受けを活用した機能強化、運用に考慮した予備設備のた。その中で最も大きかったのは、仮想マシンで保持を行った。SINET を活用した機能強化では、はなくベアメタル（物理マシン）を借りられるよ

多拠点を L2 接続する SINET L2VPLS サービスをうにして欲しいという声であった。仮想マシンイ活用し、ベアメタルのサーバが L2VPLS のネットメージを作成し、それを必要なだけオンデマンドワーク内に払い出される仕組みを実現した。これで起動できるクラウドの特徴は、演習環境などのにより、共同研究における L2VPLS サービス利用

教育目的利用のユースケースには相性が良いものに、計算機資源の調達オプションが加わることとの、研究目的利用で計算機実験を行う際に、仮想なり、より素早い研究環境構築が行えるようにな化のオーバーヘッドを気にする利用者が多かっった。また、運用の中で、基盤の改修を行う際に、た。

事前に挙動を確認したい場合、予備設備がないと「edubase Cloud」は、2009 年度に構築が行われ、何が起こるか確認できない。これに対応するため2010 年度から利用を開始、2014 年度末をもってに、小規模な事前検証環境を保持し、本番環境構サービスを終了した。

築後も、基盤改修時の挙動確認などに使えるよう

2.2 ACCにした。

「edubase Cloud」の運用経験を踏まえて、より「AIC」は、2013 年度に構築が行われ、2014 年

研究目的利用を意識して設計・構築されたのが度から利用を開始、現在もサービス中で、2020 年「ACC」[5]である。仮想マシンではなくベアメタ

度末をもってサービス終了の予定である。

ルの貸し出しを行え、研究グループの環境分離に2.4 クラウド基盤の監視SDN を採用した基盤である。OSS のクラウド基盤ここで、NII におけるクラウド基盤の監視につで あ る 「 OpenStack 」 [6] を 改 修 し て 採 用 し た 。

いてもふれておく。オンプレミスの機器運用にお「edubase Cloud」の運用経験からは、研究グルーいて機器故障への対応が必要となるが、クラウドプの環境分離において、個々のリソース量を動的基盤では、スイッチやサーバといった構成機器がに変更可能にするべき、であるとか、利用開始ま数百台にも上るため、頻繁な故障対応を迫られる。

での準備時間を短縮するために、アプリケーショまた、同型の機器が大量にあるため、どの機器のン配備機能が必要、といった課題を設定し、

故障がどのユーザに影響を与えるのか、間違わなまた、「ABC」全体に関わる変更、「OpenStack」いように把握する注意が必要となる。このため、のバージョンアップなどの検証が必要となった場「edubase Cloud」から一貫して、ラックの収容図合、本番環境の管理・制御ネットワークを SDN のをベースにクラウド基盤を視覚化し、故障情報や経路制御により論理分割することで、本番環境と稼働情報を表示する方針を採っている。「ACC」

等価な検証環境を切り出すことができる以降は、「マップ」[10]と呼ぶシステムを運用してクラウド基盤関連 OSS が成熟期に入ったこといる。「マップ」では、どのベアメタルのサーバと API 制御できる物理装置が一般化したことで、が、どの研究グループのネットワークに払い出さOSS のみでも十分な品質のクラウド基盤が構築でれているか、確認できるようにしており、故障対きるようになったと考えられ、NII のクラウド運応時の影響範囲が把握しやすいように考慮してい用に関する知見をより多くの機関に提供可能となる。サーバの負荷や、ネットワークの流量もグラったと言える。

フで確認できるため、システム不調時の初動調査などにも活用される。

3

Academic Baremetal Cloud
先に述べた経緯を踏まえ、NII における第 4 世

代プライベートクラウド基盤として設計・構築されたのが「ABC」である。「ABC」は、2016 年度に構築が行われ、2017 年度から利用を開始している。「OpenStack」ベースのクラウド基盤であるこ
図 1：「ABC」の構成とは、前の世代と同じであるが、「OpenStack」が製品として成熟し、Ironic という標準モジュールでベアメタル対応が行えるようになり、「Dodai」による IaaS 実現は不要となった。また、
「ACC」
「AIC」
では計算機間のネットワークを「OpenStack」から動的に制御するために、当時は API を備えたスイッチが一般的ではなかったため、ベンダー製品の SDN コ ン ト ロ ー ラ と 、 そ れ に 対 応 す る「OpenFlow」スイッチ [11]を選定していたが、「ABC」では VLAN セグメンテーションなど単純な構成制御は Rest API を備える汎用スイッチを用いる設計へと変更している。

図 2：クラウド基盤の設計から運用までの流れ「OpenFlow」については利用目的を見直し、SDN コントローラもベンダー製品から OSS の「OpenDaylight」 [12]に変更、カスタマイズすることで、管理・制御ネットワークのセキュリティ制御に特化した非対称な経路制御を実現している[13]。「OpenFlow」を利用して非対称な経路制御を実現することで、ベアメタルのサーバが悪意を持って IP アドレスや Mac アドレスを詐称したとしても、管理マシンとの通信しか行えない。従来は物理スイッチや物理セグメントを分割することでしか実現できなかった、管理・制御ネットワーク内のセキュリティ区分を、単一セグメント上で厳格かつ簡素に実現できるようになった。

4「ABC」の構築方法

NII クラウド運用チームでは、2014 年度から、情報システムの構築・運用の方法論「LiterateComputing for Reproducible Infrastructure（以下、
LC4RI）」[14][15]を実践しており、「ABC」は、構築作業自体の再現性の向上と、運用作業を容易化するため、「LC4RI」ネイティブなクラウド基盤として開発した。「LC4RI」では、Notebook と呼ばれる実行可能な手順書を用いて情報システムの構築・運用を行うが、「ABC」の構築手順も Notebookにより記述した。従来と「ABC」のクラウド基盤構築・運用の違いを図 2 に示す。従来は構築チー

ムにクラウド基盤構築までを依頼し、運用チーム

6

さいごにが構築チームから引き継いだ資料に基づいて運用を行なっていたのに対し、「ABC」では構築チーム

本稿では、NII でのクラウド運用を振り返り、はクラウド基盤構築作業自体を行わず、構築・運その中で得られた知見から生まれた「ABC」につ用に関わる作業を Notebook として運用チームにいて述べた。「ABC」は、OSS クラウド基盤の進対して引き継ぎ、クラウド基盤構築は運用チーム化と、「LC4RI」に依拠しコンパクトな運用体制が行う形式を採った。

で、プライベートクラウド基盤としてサービスを運用チームがクラウド基盤構築を経験するこ行っている。これは、NII 同様のユースケース、とで、構成機器の物理配線などの事前作業を済ま組織背景を持つ、多くの研究教育機関に、参考にせさえすれば、運用管理サーバ上で Notebook に従なるものと考えている。

い作業することで、「ABC」を構築できる。実際、「ABC」の納品に関しては、クラウド基盤を初期参考文献化した後、Notebook で再構築できるかを確認している。また、NII では、「ABC」を 2 セット保持しており、同様の Notebook で構築を行っており、今後の追加調達においては、外部への作業発注を縮小ないしはゼロとし、運用チームでの構築を行う予定である。

図 3：構築作業の概念図

5「LC4RI」と、「ABC」の改善
NII のクラウド運用チームでは、故障対応や障害調査などを課題管理している。クラウド基盤の操作は Notebook を介して行っているため、故障対応や障害調査を行うと、作業内容と結果がNotebook に残る。このため、課題管理は、対応作業の Notebook を紐づけて行っている。
運用を行っていると、設計・構築時には分からなかったクラウド基盤の不具合を見つけることがあるが、「LC4RI」では、その対応作業が Notebookにコード化された状態で残っているため、それらを手掛かりに、クラウド基盤の改善を行うことができる。実際に、コンソール接続不具合の解消や、ストレージネットワークの運用手順の改善を、そうした手掛かりをもとに実施した。

[1] 教育・研究クラウドサービスのためのパター
ンランゲージ
https://www.slideshare.net/mnagaku/ss-91096038[2] 横山 他、edubase Cloud: Cloud Platform for
Cloud Education、EduRex '12、17-20、2012[3] Amazon EC2 https://aws.amazon.com/jp/ec2/[4] Eucalyptus
https://github.com/eucalyptus/eucalyptus/wiki[5] 横山 他、アカデミッククラウドアーキテクチ
ャの提案と評価、情報処理学会誌、54、2、688-698、2013[6] OpenStack https://www.openstack.org/[7] Dodai https://github.com/nii-cloud/dodai[8] Hadoop http://hadoop.apache.org/[9] 合田 他、アカデミックインタークラウドの構
想、信学技報、113、376、1-6、2014[10] 谷沢 他、広大な｢マップ｣を活用したクラウド監視システムの実運用への適用、信学技報、113、492、161-165、2014[11] OpenFlow
https://www.opennetworking.org/technical-communities/areas/specification/open-datapath/[12] OpenDaylight https://www.opendaylight.org/[13] 三宅 他、オープンフローを活用したベアメ
タル・クラウド向けインタークラウド・ネッ
トワーク機能の実現について、信学技報, 115、
72、SC2015-4、19-23、2015[14] 長久 他、Literate Computing for Reproducible
Infrastructure に よ る 研 究 ・ 教 育 環 境 、AXIES2017、2017[15] 政 谷 、 NII で の 計 算 機 環 境 の 運 用 及 び 、LiterateComputingforreproducible
infrastructure について、HPC OPS 研究会、
https://www.slideshare.net/nobu758/hpcops-2018
0702pub-106398220※参考文献で URL が示されたものについては、全て、2018 年 8 月 31 日に確認