（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 スマートデータセンター実現に向けたデータ解析基盤の構築
英文：Towards a data analysis framework for smart data centers
利用課題責任者 松岡聡
Satoshi Matsuoka
所属 産総研・東工大 実社会ビッグデータ活用オープンイノベーションラボラトリ
AIST – TokyoTech Real World Big-Data Computation Open Innovation Laboratory
https://unit.aist.go.jp/rwbc-oil/
データセンターの大規模化・複雑化に伴い、人力でシステムを監視し、運用設定を変更する従来型手法は困難になりつつある。本研究では従来型運用管理手法の問題を解決すべく、データセンターを構成する各種機器が生成するセンサーデータを蓄積し、解析することにより運用のトレンドを把握し、運用改善を行うシステムパラメータを提案し、運用にフィードバックするシステムの実現を目指す。TSUBAME3.0 の利用を通じて、センサーデータ、機械学習手段の調査を行い、センサーデータ収集基盤の基本設計を行った。
Operating datacenters by traditional manual operations becomes unfeasible because they becomelarger and more complicated systems than before. Our focus in this research is to develop a systemthat collects sensor data generated from components that compose datacenters, analyze the dataand propose system parameters that can improve system efficiency. In this work, we surveyed
sensor data of a datacenter and evaluated machine learning libraries on TSUBAME3.0 and thenpropose a basic design of data collector for datacenters.

Keywords: smart data center, machine learning, system operation

背景と目的データセンターの大規模化・複雑化に伴い、人力でシステムを監視し、運用設定を変更する従来型手法はセンサーデータ収集基盤基本設計
下図にデータストアの基本設計概念図を示す。

困難になりつつある。その問題を解決すべく、近年では

Algorithms for
improving operation

SQL like

データセンターが生成する各種センサー情報をもとにDataStore
Make relation

データ解析を行い、運用改善するパラメータを提案し、Job Info.
DB

シ ステ ムに 自 動適 用 する 研究 が行 われて い た り、Google など先進的な大規模クラウドデータセンターを

Env. Info.
DBOpenTSDB

RDB
Job Info.

運用する企業ではその技術の一部実用化を進めていEmv Info.

fluentdる。しかしながら、それら技術の詳細は公開されていな

collectd• Construct a DataStorethat stores job info. andenvironmental info.
• Provides scalable storingor accessing method forlarge amount and highdensity environmental
info.
• Use mature OOS for fastdevelopment

いこと、また、データセンターのハードウェア構成や、提供するサービスごとに取得すべきセンサー情報が異なりうるため、他データセンター事業者が模倣することはデータ取得対象とするデータセンター構成要素としては、以下を想定する。

困難である。本プロジェクトでは、近年注目されている

l

計算ノード

HPC・AI 向けサービスを提供するデータセンターを事l

ジョブスケジューラ（兼、資源管理サービス）

例に、オープンな技術を用いて、データセンターのデー

l付帯設備（電力、冷却システム）

タ収集・解析・運用へのフィードバックを行うシステムの計算ノードについては、各種センサーデータとログデ実現を目指す。TSUBAME3.0 を用いてセンサーデーータを時系列データとして取得する。センサーデータにタの解析、機械学習手段の調査を行い、センサーデー

ついては collectd にて、分単位の粒度で取得することタ収集基盤の基本設計を行った。

を考える。これは計算ノードで実行されるジョブ 1 つに（様式 20）成果報告書
つき、ワークロードとして評価されるべきジョブは最低 1ズとなる。5 年間運用したとしても 20GB であり、1 ノード分以上の実行時間は有すべきであること、その時に最構成で問題ないと考えられる。

低 1 データポイント以上のデータを取得することが必要

ジョブレコード以外のデータは時系列データであり、という判断からである。より細粒度で取得することも不

その格納には時系列データベースを用いる。現状では、可能ではないが、ネットワーク転送量、蓄積するデータ実装が十分に枯れている OpenTSDB の採用を考えて量が増える。なお、TSUBAME2.0/2.5 計算ノード相当いるが、近年時系列データベースの開発競争が活発でのデータを産総研 ABCI 規模（1088 ノード）のシステムあることから、システム構築時の状況に応じて変更するで、1 分間隔で取得した際のデータ量は以下の通りとなことも考えている。OpenTSDB は collectd、Fluentdる。の両方に対応したプラグインを有するため、それぞれで

l950MB/Node/年

送られてきたデータはそのまま格納できる。ただ、格納l

1010GB/システム/年

データ形式は数値に限定されるため、ログデータをログデータについては fluentd にて、収集対象のロFluentd で転送する場合には、意味のある数値データグ出力のたびに取得することを想定する。取得するロに変換して送る必要がある。「過去の運用データ解析をグ内容については、GPU, SSD などの各種デバイスの通じてのシステム運用改善」を目的としていることより、

ヘルスチェック結果、重要なプロセスの死活チェック結

時系列データベースでは格納したデータの時間圧縮は果などが考えられるが、運用状況に応じて判断するべ行わない。これにより、ABCI 規模のシステムを 5 年間き項目である。

運用した場合、計算ノードのセンサーデータだけでおよジョブレコードについては、利用者のジョブ完了のた

そ 5TB、ログデータや付帯設備のデータも含めるとびに取得する。1 つのジョブレコードは複数のデータ型

7TB ほどになると思われる。1 ノードでも蓄積不可能なの異なるデータから構成されるため、fluentd にてテキ

データ量ではないが、ジョブデータとの関連づけのためストベースで収集する。付帯設備については、各種センには検索性能が重要となるため、分散システムとしてサーデータを時系列データとして取得する。付帯設備構築した方が良いと考えている。

は使用する機材によってサポートするデータ取得用のデータ解析用プログラム、運用改善アルゴリズムかプロトコルが異なるため、サポートされているプロトコル

らのデータストアへのアクセスについては、本データスに応じたデータコレクタを採用する。

トア用に専用の API を用意するのではなく、様々な側データストアを構成するデータベースには次の 2 種類を用いる。
ll

面からデータを解析する需要があると考え、ジョブレコードを保存する Relational データベース、時系列情報ジョブレコード保存用の Relational データベーを保存する時系列データベースのそれぞれの API をそスのまま提供することを考えている。ただし、頻出する検センサーデータ、ログデータ保存用の時系列デ索項目、例えば、特定ジョブが使用した計算ノード群にータベースおける資源利用データの取得、に関しては、その機能ジョブレコードを格納するために Relational データを実現する API を用意する。

ベースを用いる。利用者数・利用状況に応じて、ジョブレコード数は年間数万〜100 万規模まで変動すると予まとめ、今後の課題想されるが、PostgreSQL や MySQL、MariaDB など

本研究では TSUBAME3.0 上での TSUBAME2.0の枯れたサーバクライアント型 DB であれば性能・機能のセンサーデータの解析、機械学習ライブラリの評価を的に十分と考えている。Relational データベースでは通じて、大規模データセンター用センサーデータ収集基

Fluentd にて送られてきたデータをレコード形式に変換盤の基本設計を行った。今後、性能評価を含め詳細設して DB に登録する。DB 上の 1 レコードサイズを仮に計を行い、産総研 ABCI システムへの配備を行う。

4KB とすると、100 万レコードの場合には 4GB のサイ

ABCI での運用を通じて運用データを蓄積し、その解析

（様式 20）成果報告書技術を確立するとともに、得られた成果は広く公開する。