データ指向型テストベッドに向けた検討（２）村田健史

情報通信研究機構総合テストベッド研究開発推進センター

スマートIOT推進フォーラム第７回テストベッド分科会＠日本生命丸の内ガーデンタワー＠2019年9月2日

「データは食材であるが我々が食べるのは料理である」

食材（データ）
一般家庭（データユーザ）

5月13日発表資料

料理（プロダクツ）• レシピはどこに？
• 料理教室はどこに？
• 食材の信頼性は？
• 食材の説明は？

5月13日発表の“まとめ”

5月13日発表資料• データは食材、我々が食べるのは料理• データは生き物であり独り歩きする• 料理をおいしくするのは料理人の仕事• 正しい「データ検索」の考え方• ３＋１次元空間をどのようにどのように歩くか

今までにない「（科学）データ」の考え方が求められている

データ利活用推進はそれ自身が一つの研究テーマ-3-【課題の洗い出し】データ指向型テストベッドはスーパーマーケットを目指すべきか？レストランを目指すべきか？

5月13日発表資料

 食材（の良さ）を買いに来る人ばかりではない。料理を食べに来る人もいる。

料理を通じて食材の良さを初めて知る人もいる。料理を通じて別の料理を思いつく人もいる。
 あらゆる食材に対応しあらゆる料理を提供するレストランは存在しない。あら
ゆる食材に対応するのはスーパーマーケットの仕事。
 いろいろな料理で広く使われるコア食材とそうではない一般食材や調味料がある。一般食材だけで成り立つ料理は少ない（ないわけではない）。やはりコア食材は重要。
 コア素材がわき役になることは珍しくない。例えばコア食材がコメや麺の場合。ただし、それでもやはりコア食材は必要。

 完成した料理（だけ）を提供するレストランは、データ指向型テストベッドといえるのか。単なるアプリ（料理）提供でないのか。
 独自の料理を作りたいお客さんへのコンサルも重要では？

データ指向型テストベッドとは？
〜WhatからHowへ、さらにWhyへ〜 これまでのデータセンター（What型）

宿題の「答え」 データ指向型テストベッド（How型）
 目的

 目的
 利用者に向けて様々なデータを提示・提供する「スーパーマーケット型」
 手法
 多種多様なデータ（What）を取りそろえる クラウド等を活用してデータ提供用
インターフェース
 データの有効性を示すアプリケー
ションの事例紹介

 データをどのように活用するかを提示する「コンシェルジュ型」
 手法
 データとテストベッド環境（ネットワーク、ツール、デバイス、他のデータなど）をセットで提供
 実際の事例を紹介すると同時にどのように実現するか（How）の情報提供 なぜその手法が有効であるのか（Why）をセットで情報提供データ指向型
テストベッドとは？

DATA

data
data

data

What？

data

〜WhatからHowへ、さらにWhyへ〜
NW

SensorDB

Testbed/Cloud
App

Tool

How？

Deviceコンシェルジュ

VALUE

Why？

NICTサイエンスクラウド運用（2012〜）

5月13日発表資料

Webデータ（公開データ）

アーカイブDB
データ可視化技術開発

Internet
データ処理技術開発

多様なセンシング
データ

実時間処理

検索・情報抽出

大規模なシミュレーションデータ・
映像データ

統計分析・意味分析

データ収集技術開発
データ蓄積

時系列データ

データ保存技術開発

データ伝送技術開発
超大規模データ

4K/8Kカメラ
観測

センサーネットワーク

データ収集・伝送

データ管理技術開発

スパコン

データ構造化

システム化

データ保存・管理

データ処理・可視化

映像データ

課題解決（問題解決）

マッシュアップひまわりリアルタイム
NICTサイエンスクラウドによるひまわりデータリアルタイム可視化
Parallel Processing（Pwrake）

To create pyramid tile image files

Distributedfile system(Gfarm)

Crawler(NICTY/DLA)

Numerical files
Graphic files

Save
imagefiles

File Server
Web server

Numerical files (HSF, netCDF)
Graphic files (PNG)

HimawariCloud

Himawari‐8

Research andeducational use only

FTP/HTTP

NAS storage
Pyramid tile image files (PNG)

HTTP
WSDB (World Science Data Bank)
Himawari real‐time web

NICT Science Cloud• 並列分散可視化技術＋高速データ伝送技術• 気象庁Webサイトよりも高速にフルデータのスケーラブル可視化を実現
8

JST Sakura event@HIU

Users

“ひまわりゲーム”• コンセプト– 小学生がアプリを触っているうちに衛星画像に慣れ親しむ（できれば気象に興味を持つ）– いくつかの現象（台風や火山噴火）を体験する– 指導員がいなくても一人で遊ぶことができる（科学館等を意識）• オープンハウス– ご覧の通り（笑）

• 気象庁（気象衛星課）– 課員に紹介したところ評判がよかった。台風を見つけたら得点が取れるなどの次のバージョンへの提案もあった。ただし気象庁新庁舎の展示室はすでに決まっているため導入は難しそう。

• アプリ– Webからダウンロードできるように準備済み（NICT外部Webサイト）
9

JST Sakura event@HIU

http://k2go.jp/game

10

JST Sakura event@HIU

科学館展開：ひまわりゲーム（iFrameの活用）
iFrameレイヤ
ゲームっぽいインターフェース

日時選択、時間設定、ズーム率、表示位置などを制御するJavaScript

ひまわりリアルタイムWebレイヤ（手を加えない）ひまわりリアルタイムWebに手を加えることなくゲーム化する→今後様々な応用が可能
11

JST Sakura event@HIU

Mirror sites: Thailand, Philippines and Taiwan

https://himawari.asia/world/thhttps://himawari.asia/world/phhttps://himawari.asia/world/tw

Promotion in Asian countries: poster and handout
•••
•••
•

Japanese

EnglishThai

Chinese(CT, CS)
Korean
Malay
Indonesian…
…

New service on Himawari real-timeMovie: preview

Typhoon real‐time: ONアジア・オセアニア気象機関との連携（１）可視化環境共有

Domestic data
• Observation data
• Simulation data
• Forecasting data
• Warning data
• Image data• SNS data
• …
タイ・NECTECによる250点の気象ステーションデータ

GIS tool (himawari real‐time web base)JGN Global Networks: Connections
NORDUNET (Europe)

EuropeStarLight (USA)SeattleGÉANT (Europe)
KOREN (Korea)

APAN(Asia, Pacific)

KREONET (Korea)
TEIN(Asi@Connect)(Asia, Europe)

WIDE Project (Japan)
TransPAC (USA)Tokyo
SINET (Japan)

HKIX(Hong Kong)

PacificWave (USA)HKOX(Hong Kong)
CERNET (China)
CSTNET (China)

Maffin (Japan)

LA

ASGC (Taiwan)
TWAREN(Taiwan)

CalREN (USA)

Hong Kong
UniNet (Thailand)

ASCC (Taiwan)

Bangkok

ThaiREN (Thailand)

USASTI (Philippines)

ThaiSarn (Thailand)

DomesticSingapore
SingAREN (Singapore)

JP‐HK line : Tokyo‐Hong Kong, 100Gbps
HK‐SG line : Hong Kong‐Singapore, 100Gbps
SG‐TH line : Singapore‐Thailand, 1Gbps
17

‐ 18 ‐

ひまわりリアルタイム：東南アジアミラーサイト
JMA
HimawariCloud

Himawari‐8（2015〜）

19 minPrinciple Website(NICT Science Cloud)日本
https://himawari.asia/world/jp

0.3 minTile pyramid image
files (PNG)

Numerical Data (NetCDF)

6 min

JGN

Mirror Website(ASTI/Philippines)

HpFP‐based file copy tool(hcp)
2 min

Web server

Web server

Web server

Taiwan（2019）
Mirror Website(ASGC/Taiwan)
Web server

APAN（Maffin)

http://himawari.asti.dost.gov.ph/Philippines（2018）

JMA: Japan Meteorological Agency

APAN（ASGC）

https://himawari.asia/world/th
フィリピン
https://himawari.asia/world/phMirror Website(NECTEC/Thailand)

http://himawari.ino.nectec.or.th/
Launched on December 25, 2017

Launched on December 14, 2018

タイThailand （2017）

台湾
https://himawari.asia/world/tw

‐ 19 ‐
http://himawari.ino.nectec.or.th
https://himawari/world/thhttps://himawari.asia

InternationalNetworkWeb serverInternet(Thailanddomestic)

http://himawari8.nict.go.jp
http://himawari.asti.dost.gov.phhttps://himawari.asia/world/ph

Web server

https://himawari.asia

Web serverInternet(Philippinesdomestic)JAPAN
http://himawari‐mirror‐tw.twgrid.org/
https://himawari.asia/world/twhttps://himawari.asia

Internet(Taiwandomestic)

https://himawari.asia

https://himawari.asia

Other countries

Web serverMirror sites: Thailand, Philippines and Taiwan

https://himawari.asia/world/thhttps://himawari.asia/world/phhttps://himawari.asia/world/tw

Promotion in Asian countries: poster and handout•••••••

Japanese

EnglishThaiChinese(CT, CS)
Korean
Malay
Indonesian…
…

アジア・オセアニア気象機関との連携：（２）気象庁・ひまわりクラウド（2020年2月リプレース）
Image data
Numerical data

Himawari
Cloud

MSC(JMA)Tokyo
MSC(JMA)
Osaka

国内4研究機関＋国内研究者（データユーザー）S HpFP server tool
C HpFP client tool(free)CDN

JGN AP

JGN(NICT)International
networks

NICT

APAN

C HpFP client tool(free)

SINET(NII)

Users
アジア・太平洋地域の23機関（2017年5月現在）

C HpFP client tool (free)アジア・オセアニア気象機関との連携：（２）気象庁・ひまわりクラウド（将来計画）
Image data
Numerical data

Himawari
Cloud

MSC(JMA)Tokyo
MSC(JMA)
Osaka

S

HpFP server tool

C HpFP client tool(free)C HpFP client tool(free)JGN APInternational
networks

JGN(NICT)

NICT

APAN

C HpFP client tool(free)
アジア・太平洋地域の23機関（2017年5月現在）

C HpFP client tool(free)

SINET(NII)Users

C HpFP client tool (free)アジア・オセアニア気象機関との連携：（２）気象庁・ひまわりクラウド（VLANによるデータ共有）
Asian HUB data
centers

Meteorological organizations
Research institutes/universities

VLAN
NICT
Domestic Network

Himawari
Cloud

HII(th)NECTEC(th)Data sharing

Domestic Network

ASTI(ph)JGN/APAN/SINET

ASGC(tw)
千葉大・京大など

PAGASA(ph)スケーラビリティー（空間）：富士山吊るし雲（つばさ雲）の例

スケーラビリティー（空間）：富士山吊るし雲（つばさ雲）の例
ひまわりリアルタイム（空間解像度不足）

ひまわりリアルタイム（地域版）

ひまわりリアルタイムWeb（地域版） https://amaterass.nict.go.jp

千葉大／JAXA.
気象庁／
千葉大
千葉大
ウェザーニューズ
高知大学
気象庁／情報研
個人（アマチュア）• 各機関（個人を含む）から独立に収集• 数値データを独自可視化・可視化結果を入手してピラミッドタイル化

2019年7月6日九州北部豪雨

特別警報発令のタイミング！

特別警報警報注意報

2019年8月28日 九州豪雨（半透明表示）

2019年8月28日 九州豪雨（時系列表示）

高知気象レーダー網

2019年07月09日16:38
https://tenki.jp/forecaste
r/deskpart/2019/07/09/5000.html

2019年8月15日 午前7時15分 広島県三原市

高知気象レーダー網 https://tosa-radar-chain.nict.go.jp/
総務省SCOPE 2016〜2018

小型気象レーダネットワーク@高知

古野電気製小型気象レーダー@須崎土佐清水カメラ（南向き）
タイムラプス動画像

高知気象レーダー網 https://tosa-radar-chain.nict.go.jp/

JST/CREST 2012-2019
分散協調型エネルギー管理システム（EMS）のためのプラットフォーム開発

協調分散型EMSシステム（3層構造）
App• Application layer for users (academia, business, people)

Data• Data layer of meteorological data (Dr. Takenaka), demand data (Dr. Yamaguchi), and electric power model (Dr. Yoshizawa)GIS• GIS platform (3D: CESIUM, 2D: Leaflet)• STARS technique: Spatially and Temporally Acquired Records Synchronizer

学術機関（国内・国際）ひまわりリアルタイム地域版を活用

エネルギー事業者（民間企業）

一般市民（個人）

協調分散型EMSプラットフォーム

需要データ

気象データ

太陽放射リアルタイム可視化（Amaterass） http://amaterass.nict.go.jp

Amaterass Web https://amaterass.nict.go.jp/

右クリック

選択新規ユーザ登録画面

Amaterass Web：日射量グラフ
事前登録ユーザ
本日の日射量予測 (6時間後まで）
昨日の日射量本日の日射量2日前の日射量（右クリック）売電価格• 全ての値を発電量表示する実装中• ユーザ登録機能（所有するPV情報登録機能）実装中

日射計

ウェザーニューズ WxBeacon2

英弘精機 日射計シリーズ

Amaterssデータ（計測値／予測値）とWxBeacon2
計測値の比較＠国分寺
WxBeacon2

Amaterss太陽放射リアルタイム可視化（Amaterass） 熱中症の例（2017年7月4日＠豊橋市）
太陽放射（日射）量（新聞記事の場所）

11︓03 am
11︓08 am

日射が強かったのはほんの数分だけ
43• 短時間・リアルタイム（1分間ケール）での気象・防災センシング（地上）が必要

JST/CREST

中央線

京王線

• 関東全域の平日10時の世帯ごとの家事確率（町丁目分類）••••

都心に近い方が家事確率が低い
荒川東岸（ゼロメートル地帯？）の家事確率が高い
中央線沿いや京王線沿いの家事確率が低い
世帯平均人数とよい一致をしている

需要データ（行動モデル）分析事例

中央線

京王線

• 関東全域の平日10時の世帯ごとの家事確率（町丁目分類）••••

都心に近い方が家事確率が低い
荒川東岸（ゼロメートル地帯？）の家事確率が高い
中央線沿いや京王線沿いの家事確率が低い
世帯平均人数とよい一致をしている

需要可視化（行動モデル・電力需要モデル）
町丁目単位での平日18時の家事確率（世帯ごと）

平日18時（2016年8月6日）の電力需要（世帯ごと）

日射量データと電力需要融合可視化
2018年9月18日JST/CREST全体会議にて日射量データ（竹中）

電力需要計算（山口）• 日射量データ（JAXA竹中さん）と電力需要計算（阪大山口さん）の融合可視化• 時刻や視点位置（緯度経度）が連動して表示される

STARS controllerの基本機能
STARS：Spatially and Temporally Acquired Records Synchronizer
時空間可視化アプリ（ex. Amaterass Web）

時空間移動情報

時空間制御用Webアプリ（STARS control panel)

時空間可視化アプリ（ex. 需要データWeb）

時空間移動情報

各ブラウザ（インスタンス）上の表示データの時刻・位置を管理

時空間可視化アプリ（ex. 行動データWeb）

時空間移動情報

Webページに時間軸バーを簡単に組み込む事が出来るjqueryプラグイン「Timeline」を開発。GitHubなどで公開を検討。（http://k2go.jp/Timeline/）Webパーツ「Timeline」の紹介
 Webページに時間軸バーを簡単に組み込む事が出来るjqueryプラグイン（サンプルはこちら）
 主な機能 左端の日時、右端の日時、次の日時を任意に指定して時間軸バーを描画出来ます。
 時間軸バーや摘みは左右にドラッグ出来ます。
 マウスの左ダブルクリックでズームイン、右クリックでズームアウト出来ます。
 マウスホイールでズームイン・アウト出来ます。
 タッチデバイスではピンチ操作でズームイン・アウト出来ます。
 再生機能で自動スクロールが出来ます。

2019年8月 台風各種報道（映像）2019年8月 台風各種報道

コンシェルジュ 2019年8月7日NHK「ニュースウォッチ9」
 2019年8月8日NHK「ニュースウォッチ9」
 2019年8月10日テレ朝「サタデーステーション」
 2019年8月12日NHK「ニュースウォッチ9」
 2019年8月14日NHK「ニュースウォッチ9」
 2019年8月14日TBS「Nスタ」
 2019年8月15日NHK「ニュースウォッチ9」
 2019年8月15日TBS「Nスタ」• 「使ってもらった」のではなく「使われるために作った」• なぜ「使われる」のか（Why）が重要

オンライン気象予報番組でのひまわりリアルタイム利活用

リアルタイム4K/8K画像を用いた今後の気象予報番組へ2019年8月 ネットニュース

気象庁業務システムSATAID

気象庁業務システムとひまわりリアルタイムWebの融合（気象庁からの提案）
ひまわりリアルタイムWeb

SATAID（気象庁予報業務システム）

一つにまとめる

SATAID（気象庁予報業務システム）概要

リアルタイム性を最優先（数週間以上の過去データを有さない）



ひまわり衛星データ以外にGPV（数値予報）データ、各国ゾンデデータ、アメダスデータ、降雨レーダデータなどを表示



各種ドローイングツールによる予報情報の描き込み

気象庁Webサイトでの（部分機能）公開

気象庁スパコンとの連携＠清瀬衛星センター



ひまわりリアルタイム（並列処理＋高速データ伝送によるリアルタイム処理）
コンセプト「すべてのデータを最高の解像度で可視化」



ひまわり8号の過去全データのアーカイブ

最高空間解像度・時間解像度でのデータ表示



全16バンド＋可視画像表示（ピラミッドタイル）

地域版ひまわりリアルタイム開発


各種データの融合可視化気象庁業務システムとひまわりリアルタイムWebの融合（FOSS4G）
業務アプリSATAID：• 時空間4次元制御（STARS）共通（QGISベース）
化• 2次元可視化• 気象庁スパコンによる共用タイル• SATAID用インタラク
画像生成（Pwrake）
ティブインターフェース• HpFPプロトコルによるリアルタイ
ムデータ伝送• インタラクティブインターフェースの（可能な限りの）共通化
Numerical Data

Super computer

Webアプリひまわりリアルタイム：(iTowns＋独自JavaScript）• 3次元可視化・2次元可視化（スマホアプリ）• DEMによる2.5次元可視化• ひまわり画像Webは継続• タイトルディスプレー表示技術（理研ChOWDER）• 各種データのオーバーレイ機能（iFrame）

Tile pyramid image

Tile pyramid image

アーカイブ性に特化
Long-term database
Web server
NICT (or university) cloud
Asian countries

リアルタイム性に特化

Data analysis server(prediction operation)
Web server補足：SATAID2開発プロジェクト（案） Phase 1

 Phase 2
気象庁

SATAID2開発
チーム
SATAID2
NICT

オープンコン
ソーシアム

国土地理院

気象庁

NICT

民間GIS企業•

SNSを通じて設計を一般公開•

GitHub等でオープン化

NPOが運用
国内／海外／民間企業

コンシェルジュ
報道・イン
ターネット

国内
スマホアプリ

ローカルひまわり千曲市
Web

日射量データオーバレイ機能ひまわりリアルタイムの例（計画含む）

市役所
／市民

各種センサー
データ＋映像
IoT

降水データなど

基盤可視化ツール（ひまわりリアルタイム）

一般ユーザ提供アイコン

ひまわり時系列
タイル画像

多言語化
リアルタイムタイル画
像・動画像作成
データ読み出しツールVLAN

ユーザ動画作成機能

国内／海外／民間企業／気象機関（気象庁含む）／科学館

SNS投稿機能

お絵描き機能

気象警報
XML

海外

ひまわりリアルタイムWeb

スマホアプリ

JGN（国内・海外）＋HpFPプロトコル

海外ミラーサイト

気象庁ひまわりクラウド
気象庁ひまわりデータ

VLAN

東南アジア諸国
気象データ

オプション

データ指向型テストベッド提案

提供

コンシェルジュ コアデータの選定が重要（汎用利用者に提供

応用アプリ

応用デバイス

コアデータ
基盤可視化ツール

データ読み出しツール

ICT（調味料）

他の一般データ

低コスト化・高機能化

データ融合

基盤アプリ
基盤システム（現行テストベッドサービス）性があるもの）。最低でも基盤アプリとセットで提供。
 最初から基盤システムや応用アプリ、応用デバイスを具体的に想定することが必要。
 各種ICT（最先端でなくてもよい）は重要な調味料（特に低コスト化のため）。
 利用者へのコンサルテーションができるコンシェルジュ（の育成）が必要。

まとめ

データ指向型テストベッドとは？
〜WhatからHowへ、さらにWhyへ〜 これまでのデータセンター（What型）

 データ指向型テストベッド（How型）
 目的

 目的
 利用者に向けて様々なデータを提示・提供する「スーパーマーケット型」
 手法
 多種多様なデータ（What）を取りそろえる クラウド等を活用してデータ提供用
インターフェース
 データの有効性を示すアプリケー
ションの事例紹介

 データをどのように活用するかを提示する「コンシェルジュ型」
 手法
 データとテストベッド環境（ネットワーク、ツール、デバイス、他のデータなど）をセットで提供
 実際の事例を紹介すると同時にどのように実現するか（How）の情報提供 なぜその手法が有効であるのか（Why）をセットで情報提供

NICTサイエンスクラウド
2019年度計画“データ指向型テストベッドサービス”へ（2019〜）
 生データ提供
 （目的に応じた）加工データ提供
 アプリを通じてデータ提供
 センサーとデータアプリをセット提供

サイバー空間4D（3D＋時間）

大規模TDWによるサイバー4D空間リアルタイム
可視化
ひまわりデータ、インテリジェ
ントカメラ映像、気象センサー
データを4D空間にマルチパネル表示することで“全体像”が浮かび上がってくる ひまわり海外展開（泰、比＋台湾ミラーリング）→台風時の総アクセス50万PV以上
 再エネ制御システム（太陽光予測マップ、風速、気温）→電力会社提案（CREST）
 千曲市あんずプロジェクト（降雪、気象計測、小型環境センサー）→産官学連携型複合実験（NICT内部ファンド）、他自治体展開（キャランバンテストベッド）
 河川・地滑りモニタリング（降雨、日射、風速・風向）→国際連携プロジェクト（eASIA/ASEAN COST）、民間技術移転（技術相談、技術移転）
 科学館・学校展開（専用アプリ開発）→国内10カ所へのデモ機器展開（キャランバンテストベッド）
 NICTクラウド
 JGN/StarBED
 キャラバンテストベッド

データ整備
時空間可視化基盤構築

基盤要素技術サイエンスクラウドPJと外部技術*の融合

フィジカル空間■時空間スケーラブル可視化技術（CREST）■TDW可視化（理研など）* ■HpFPプロトコル（JGN、StarBED）■深層学習（画像処理・情報抽出）*■映像IoT（WNI社など） ■LoRa通信自治体日本アジア諸国

 可視化技術 高速データ伝送技術
 映像IoT技術

ひまわりリアルタイム
国際展開

まとめ：2019年度データ指向型テストベッド実現に向けた提案・課題
 次期中長期計画を想定すると、1年に一つぐらいの優良食材を取り込みたい。
 データ（食材）がよければ料理は無限の可能性がある。言い換えると、良い料理が提案できるヒット率を上げる必要がある。（思い付きではだめ。）
 テストベッド基盤とは深く連携する必要がある。