NICTサイエンスクラウド説明会・意見交換会（第3回）
NICTサイエンスクラウド アプリケーションの利活用～データ管理とリソース監視～「広域観測ネットワーク監視システム（Wide-area Observation Network Monitoring system: WONM system）」
NICTサイエンスクラウド事務局

2013/08/05

2

はじめに
• NICTサイエンスクラウドでは、データ伝送状況、計算機リソースを管理／監視するアプリケーション「広域観測ネットワーク監視システム（Wide-areaObservation Network Monitoring system：WONMsystem）」を提供しています。
• WONMには、以下の特徴があります。


広域(インターネット上）に分散する観測機器を監視し、定常的・自動的にデータ／ステータスを伝送するシステムです。
伝送されたデータはサイエンスクラウドのストレージに保存され、クラウド内のデータ解析サーバで処理できます。

3

背景・従来の問題点• 宇宙天気や地球環境計測・予測、電波伝播障害の研究などのために、世界中の観測拠点からリアルタイムに観測データを収集してきた。
東南アジア中低緯度電離圏観測網(SEALION)

南極昭和基地電離圏定常観測網• 観測データの転送遅延とマシントラブルが多発

ネットワーク転送速度の低下、ネットワークトラブル、停電など障害発生時には担当研究者の指示でローカルスタッフによる原因究明
障害対策には担当研究者が現地に行き故障装置の改修• 観測システム、観測拠点に依存したシステムオペレーションそれぞれ異なる、システムアーキテクチャ、ストレージ、データ転送方式、ネットワークポリシー

・データ伝送の復旧に時間を要していた・本来の研究業務の妨げになっていた

4

目的・システムコンセプト
• 目的




障害発生の早期発見と復旧への迅速な対応
遠隔制御によるシステムマネジメントの負荷軽減
データ転送効率の向上• システムコンセプト

観測環境の一元化（機器構成、ネットワーク構成、データベース）
保守・運用・管理の一元化（データ管理、ネットワーク管理、保守・運用）

信頼性が高く、管理・保守がしやすいシステムの構築
HF レーダ磁力計

イオノゾンデGPSNICT管理者

システム アーキテクチャ1••

観測装置制御と観測データ転送を低消費電力の小型転送マシンで実現
データ転送プロトコルにrsyncを用いる•

データストレージをサイエンスクラウドストレージに一元化•

大容量の確保自動バックアップ（小金井、けいはんな）

データ処理サーバをサイエンスクラウドに一元化•

レジューム機能
チェックサム機能
データ転送効率の向上

処理系の冗長化
プロジェクト内の処理環境の統一

転送用マシンにステータスモニタリング機能5システム アーキテクチャ2

6

7

ステータス監視項目・設定項目• 監視項目

伝送データファイル（未伝送ファイル）情報管理
未伝送量表示伝送サーバシステム情報管理CPU使用率メモリ使用率HDD使用率
伝送サーバHK情報管理
温度（CPU、M/B）
HDD回転速度電圧
UPSステータス監視チャージ率・負荷率
ネットワーク状況監視トラフィック（IN/OUT）遅延量• 設定項目

伝送頻度（例：1時間に1回）
データファイル再送設定（ON/OFF）
ユーザ情報
フォルダ・ファイル情報8

監視システムの仕組み• データ伝送機能とサーバ監視機能により出力されたステータス情報は、本システム用に標準化されており、Webアプリケーションから状況を確認することができます。
• ユーザが所属している複数プロジェクトの複数ホストを一元管理することができます。
Project
1

1

N

User

N
Station
1
N

Server
所属関係

9

画面構成

①リストから拠点を選択

ステーション画面①マップから拠点を選択

サーバリスト

プロット画面

③ステータスの時系列プロットを表示
サーバステータス②拠点のサーバを選択③最新ステータスを表示

URL： http://seg-ptx-mng.nict.go.jp/monitoring/index.php※サイエンスクラウドへのSSH接続＋ポートフォワードによりアクセス可10ステーション画面

拠点ごとにアイコンを表示。
アイコンはステータスを表しており、その拠点の中で最も問題のあるステータスが表示されるステータス凡例
正常

受信エラー

閾値（エラー）

セットアップ中閾値（警告）

11サーバリスト【上段】エラーリスト
プロジェクトのサーバ全体の中から、ステータスに問題があるサーバを常に表示【下段】拠点サーバリスト
選択した拠点に所属するサーバを表示。サーバの管理者情報や最終更新日も記載

12

プロット画面選択したサーバの項目ごとのステータスを時系列プロット。
項目は数値で取得できるものを任意に追加可能閾値エラーがある項目は、背景色が変わり、メールで通知される任意の期間を選択可能。グ
ラフをクリックすることで長期変動が閲覧できる13

プロット画面（長期プロット）

１日間

１週間

１ヶ月間

１年間

エラー時刻に縦線がプロットされ、エラー頻度が分かる14

サーバステータス最新ステータスを表示。
数値の他、コマンドの実行結果も表示可能閾値エラーになっている項目の色が変わり、一目で分かる

リストは折りたためるようになっている

15

登録状況
プロジェクト

拠点

サーバ数[台]SEALION

タイ・チェンマイ
タイ・バンコクタイ・チュンポン
タイ・プーケット
インドネシア・コトタバン
ベトナム・バクリウ
フィリピン・セブ

17

南極観測

南極・昭和基地
北海道・稚内北海道・サロベツ

4

阪大フェイズドアレイ

大阪（大阪大学）
小金井（NICT本部）

3

ISD-J

鹿児島・山川1

仙台高専
レーダリモートセンシング

宮城・仙台

1

サイエンスクラウド

小金井（NICT本部）
けいはんな（NICT）
沖縄（NICT）
大阪（大阪大学）
名古屋（名古屋大学）

118

合計

144

16

利用手順
1. 監視対象（観測所等）情報（IPアドレス、ネットワーク環境、転送データサイズなど）をNICTサイエンスクラウド事務局に提出。
2. NICTサイエンスクラウド事務局が、通信管理サーバを設定。利用者は、監視対象サーバを設定。
3. データ収集・サーバ監視を開始。収集状況やサーバ情報は、通信管理サーバ（Webサイト）によりモニタリング。
4. 収集データは、クラウド共通リソースゾーンのフロントエンドストレージに保存される。
5. データ処理は、①クラウド共通リソースゾーンの小金井設置のすべてのデータ解析サーバ、②クラウド拡張リソースゾーンの定常処理サーバおよびデータ解析サーバ（Win）、③ホスティングゾーンの独自解析サーバを利用可能。

17

今後の予定• 監視対象の追加• ネットワーク機器(スイッチなど)の監視機能• 閾値設定の見直し

18

参考
FANレスMicroPC(HTC-880)
基本スペック–CPU：ATOM N270 1.6GHz–メモリ：2GB–HDD：32GB (SSDディスク）–NIC： Gigabit Ethernet Controller x2

耐性5.2cm–SSDディスク（省電力、軽量、耐衝撃性）–冷却機構：ファンレス–MTBF（平均故障間隔）： 8万時間（約9年）–動作温度： 0～40℃–動作湿度： 0～90%（結露なきこと）

その他–ACリンク機能による復電からの自動起動–WOL(Wake On Lan)対応–搭載可能OS： Windows(組み込み系)、 Linux–温度センサー付きマザーボード–USB2.0 / 4ポート
–COM：RS-232 x 2 (COM2 Can be Set as RS-422 / 485)
–無線LAN対応（オプション）－実行消費電力：35W–価格：約10万－ 重量：1.1kg

17.8cm

11.5cm

19

参考
大分類

小分類

観測地情報
観測地名
緯度・経度
管理者名
管理者メールアドレス
転送元ホスト名、パス名
転送先ホスト名、パス名
ハードウェア情報
CPU温度
ハードディスク温度
電圧
ポート情報
UPSステータス
システム情報OSバージョン
CPU使用率
メモリ使用率NICのステータス・ネットワークトラフィック
伝送速度・ネットワーク遅延観測機器ステータス
VPNセッション情報
ログデータ－ファイル転送
前回の転送日時
整合性のチェック結果
未転送のファイル数－システムのMTBF
前回のシャットダウン日時
前回のUPSバッテリ使用日時
前回のネットワーク不通日時
OSの起動時間
ネットワーク導通状況

HKデータ監視項目
SNMPプロトコル
ネットワークに接続された通信機器をネットワーク経由で監視・制御するためのプロトコル

S.M.A.R.T
ハードディスクドライブの障害の早期発見・故障の予測機能

システム情報・ログデータ
上記に含まれないメタデータ
HKデータ出力の設定ファイルをXML(又はYAML)形式で定義
柔軟に監視項目を追加
・分類名
・HKデータ取得コマンド
・閾値