広域分散型クラウドシステムの基本性能検証と応用事例
情報通信研究機構
総合テストベッド研究開発推進センター（兼）レジリエントICT研究センター
村田健史

2018年度課題：HpFPの基礎性能検証
①
②
③
④

通信技術
開発

HpFP2の新しい輻輳制御についての技術開発とSINET5上での試験
HpFP2を基盤として開発したファイル転送ツール（HCP）の各拠点へのセットアップと基礎通信テスト
HCPを用いた拠点間でのドメイン研究データ高速伝送
Gfarm ストレージの高速化の実証実験

2019年度課題：HpFPツールの実データへの応用
①
②
③

アプリ開発

L3

AIを用いた気象衛星データからの気象情報抽出とTDWを活用した地域防災への活用システム開発
高性能シーケンサーデータの高速伝送とゲノム情報可視化のためのコンカレント処理システムGfarm
ストレージの高速化の実証実験
広域分散映像IoTデータの深層学習による情報抽出

システム化

2020年度課題：拠点間高速通信を用いたデータ利活用システム構築
①
②

L3

L2

HpFPプロトコルを基盤としたビッグデータ解析のための広域分散クラウド
気象衛星ひまわりデータリアルタイム処理、大規模可視化および地域気象との連携システム
利活用

2021年度課題：広域分散クラウドを用いた気象・環境アプリ開発

L2
2

JHPCN2021 研究分担者
岡部寿男（京都大学・学術情報メディアセンター）、菅沼拓夫（東北大学・サイバーサイエンスセンター・情報通信基盤研究部）、江川隆輔（東北大学・サイバーサイエンスセンター）、阿部亨（東北大学・サイバーサイエンスセンター）、建部修見（筑波大学・計算科学研究センター）、
日下博幸（筑波大学・計算科学研究センター）、樋口篤志（国立大学法人 千葉大学・環境リモートセンシング研究センター）、片桐孝洋（名古屋大学・情報基盤センター）、嶋田創（名古屋大学・情報基盤センター）、大島聡（名古屋大学・情報基盤センター）、小野謙二（九州大学情報基盤研究開発センター）、岡村耕二（国立大学法人九州大学・情報基盤研究開発センター）、南里豪志（九州大学・情報基盤研究開発センター 先端計算基盤研究部門）、笠原義晃（九州大学・情報基盤研究開発センター）、竹中栄晶（宇宙航空研究開発機構・地球観測研究センター）、川鍋友宏（理化学研究所・計算科学研究センター）、原田浩（理化学研究所・計算科学研究センター 運用技術部門）、片岡龍峰（国立極地研究所）、田浦健次朗（東京大学・情報理工学系研究科）、山口龍太郎（東京大学・情報理工学系研究科電子情報学専攻）、小林一樹（信州大学・学術研究員工学系）、鈴木彦文（信州大学・総合情報センター）、木村智樹（東北大学・学際科学フロンティア研究所）、土屋史紀（東北大学・大学院理学研究科）、垰千尋（情報通信研究機構・電磁波研究所）、村上豪（宇宙航空研究開発機構・宇宙科学研究所）、北元（宇宙航空研究開発機構・宇宙科学研究所）、Pavarangkoon Praphan（情報通信研究機構・総合テストベッド研究開発推進センター）、山本和憲（情報通信研究機構・総合テストベッド研究開発推進センター）

クラウドシステムによる研究開発成果
各拠点準備状況（現状）
サーバ設置・設定

L2VPN

ジャンボフレーム

バッファサイズ拡張

東北大

設置済み
2020年4月

設定待ち

設定待ち

設定待ち

東京大

設置済み
2020年4月

設定済み
2020年12月

設定済み
2020年12月

設定済み
2021年5月

名古屋大

設置済み
2020年4月

設定済み
2021年2月

設定済み
2021年5月

設定済み
2021年6月

京都大設置済み2020年4月

設定済み
2020年7月

設定済み
2021年3月

設定済み
2021年4月

九州大

設置済み
2020年8月

設定済み
2020年8月

設定済み
2021年2月

設定済み
2021年5月

NICT

設置済み
2020年4月

設定済み
2020年9月

設定済み
2020年2月

設定済み
2021年4月

信州大

サーバ準備中設定済み
2020年12月

設定待ち

設定待ち

筑波大

設置済み
2020年9月

設定済み
2021年2月

設定済み
2021年2月

設定済み
2021年4月

千葉大（1G）

設置済み（１G）
2020年4月

設定済み
2020年7月

設定済み
2020年12月

設定済み
2021年4月

理研

サーバ準備中

設定待ち

設定待ち

設定待ち
5

JHPCN広域L2VPNネットワーク基礎計測
データ処理
クラスタ計算機（GPU計算機）
スパコン

L2網

ファイルコピー（ファイルサイズ大）ファイルコピー（ファイルサイズ小）リモートディスクアクセス

大容量ストレージ

data
data
data

センサー群

data
data
data

• 基礎NW環境計測– RTT（遅延）、PLR（パケットロス率）• perｆ計測（スループット）

通信環境計測– UDP/TCP/HpFP（Fairモード、Aggressiveモード）• ファイル転送速度計測（暗号化あり）– 大容量ファイル転送（10GB×1）– 小容量ファイル転送（500KB×20000）• ディスクI/O速度計測– ローカルディスクアクセス– リモートディスクアクセス

6

①HpFPプロトコルを基盤としたビッグデータ解析のための広域分散クラウド

通信性能評価のまとめ• ネットワーク環境整備– 2021年7月（＝本日）時点で8割程度の環境整備完了• 基礎NW環境計測– RTT（遅延）とPLR（パケットロス率）を計測開始（今回は初期計測結果）• perｆ計測（スループット）– UDPはほぼ妥当な結果（バンド幅に近い数値）– TCPとHpFPの比較ではHpFPがやや有利（パケロスが小さいため）• ファイル転送速度計測– 暗号化通信では軒並み1Gbps以下（L2VPN網で暗号化が必要か要検討）– 大サイズおよび小サイズファイル転送でHpFPが有利（とくに小サイズデータファイル）• ディスクI/O速度計測– ローカルディスクアクセスではLustreが有利（sshshは不利）– リモートディスクアクセスはsshfsを利用する限り1Gbps（125MB/s）が上限
21

名大コールドストレージ利活用技術
200TB

ユーザはHpFP（HCP）クライアントアプリのファイル転送またはファイル同期機能を用いて名大ストレージ（キャッシュ領域として利用する）にいったんデータファイルを保存し、スケジューリングに従って磁気ディスクに保存される。

2020年度成果• 200TB分のファイル転送は完了した＋コールドストレージへの書き込みは成功した（diffコマンドで確認済み）• クーロンと組み合わせてカートリッジに転送する機能（準備済み）• カートリッジのライブラリ内外でのファイル情報の管理• 転送ファイルの簡易コンペア機能（ファイルパス、ファイル名、ファイルスペース量の比較機能）検討課題• 頻繁に書き込む用途には向かない（キャッシュ機能や新規書き込み等の転送機能の実装は検討中）
22

システム化2020年度課題：拠点間高速通信を用いたデータ利活用システム構築①②

HpFPプロトコルを基盤としたビッグデータ解析のための広域分散クラウド
気象衛星ひまわりデータリアルタイム処理、大規模可視化および地域気象との連携JHPCNの主な成果（Webアプリ）はK2GOサイトで公開します。
http://www.k2go.jp/

L2ひまわりリアルタイム

過去4年間のアクセス数の推移

25

2019年10月 台風各種報道（主に台風19号）
••
••••
•
•

TBS「ゴゴスマ」
ＴＢＳテレビ「Ｎスタ」
TBSテレビ 新・情報7daysニュースキャスター
NHK 「気象情報」
ＴＢＳ『Ｎスタ』
TBS ゴゴスマ
CBCテレビ 昼ニュース／夕方ニュース
TBS まるっと！サタデー

•
•••
•
•
•
•
•
•

TBS アッコにおまかせ
NHK津放送局まるっと！みえ！
TBSテレビ「あさチャン！」
TBSテレビ「ひるおび！」
ＴＢＳテレビ「Ｎスタ」
毎日放送 生ワイド番組「ミント！」
TBSテレビ「あさチャン！」
関西テレビ 報道ランナー
TBS はやドキ！
テレビ大阪 やさしいニュース

CPU負荷：1600％2018年と2019年のひまわりリアルタイムWebアクセス数（年間で約300万ページビュー）：
台風19号（2019年10月）は他の台風時と比較してもアクセスが突出（50万アクセス以上）していることが分かる。

ひまわりリアルタイム負荷分散システム（2021年7月から試験運用開始）

https://himawari.asia
インターネット

負荷分散装置＠NICT無停電電源室

年間500～1000万アクセスに耐える
想定

Load balancing
Webサーバ(フロントエンドサーバ）

タイル画像生成用
クラスタ計算機
Webサーバ(フロントエンドサーバ）

Webサーバ(フロントエンドサーバ）

ローカルマウント

ローカルマウント
リモートマウント

ひまわりタイル画像：200TB

リモートマウント

HCP（HpFP）のrsync
機能によりタイル画像同期

ひまわり数値データリアルタイムコピー(HpFP)
ひまわり数値データ：400TB
ひまわりタイル画像：200TB

九州大学 信州大学
2021年度新規

2021年度新規

タイル画像生成用
クラスタ計算機

京都大学※

ひまわり数値データ：400TB
ひまわりタイル画像：200TB

千葉大学※

NICT※

jh170034-2.kudpc.kyoto-u.ac.jp https://ncthmwrwbtst.cr.chiba-u.ac.jp https://himawari8.nict.go.jp

https://himawari.asia
10回に1回の割合で@Kyotoまたは@Chiba28

ひまわりゲーム（気象教育）

29

Receiving system

Transmission system
Relay Server

Movie file

Image file

Monitoring

WAN

京都大NICT

Deep learning
Image processing

UserWeb Server

GPGPU computer
Super Computer

JGN

Storage

九大・千葉大NICT
Tiled Display Wall

Kyoto University

映像IoT技術

筑波山山頂「鳥の目カメラ」（筑波大共同研究）

鳥の目カメラのコンセプトと実際の設置事例
映像IoT技術による地域見守り（本テーマは鳥の目カメラを対象）

千曲市設置の鳥の目カメラ事例（カメラ外観と撮像画像例）

これまでに設置した他の鳥の目カメラ
筑波山

田無タワー

女川

大方高校（高知）

まとめと今後の課題• HpFPプロトコルをベースとしたJHPCN広域分散クラウドを構築中• 拠点間をL2VPNで接続• ネットワークの基本環境計測• ファイルコピー・リモートディスクアクセスによるデータ処理性能評価• 2021年度はHpFPベースの分散リソース共有を実現• JHPCN広域分散クラウドを用いたシステム・アプリ開発• ひまわりリアルタイム負荷分散システム構築• NICT/京都大/千葉大の3拠点で運用開始→大規模台風時や計画停電に対応• 2021年度中には九州大/信州大/筑波大を追加予定• 鳥の目カメラによる地域見守り技術開発• 降雪自動検出プログラム開発• 2021年度冬季に実用試験予定• ステッチングよる超高解像度画像生成技術開発中• 2021年度はChOWDERを使った超高解像度画像表示• 成果公開Ｗｅｂサイト準備完了（http://www.k2go.jp）• ひまわりゲームなどコロナ時代の教育用アプリケーション公開• 今後のＪＨＰＣＮ成果を順次公開

鳥の目カメラ画像特徴検出によるパノラマ写真再構成（ステッチング）
フルHD（1080p）画像• レジリエントモニタリング（河川監視）には解像度が不十分• PTZ（パン・チルト・ズーム）カメラ機能の有効活用

39