NICTサイエンスクラウド説明会・意⾒交換会（第４回）
NICTサイエンスクラウド アプリケーションの利活⽤「データ収集ツール（NICTY/DLA）」

NICTサイエンスクラウド事務局
2013/09/25

2

はじめに
• NICTY/DLAは、NICTサイエンスクラウドが開発した科学データ専⽤のインターネットデータファイル収集システム（Crawler）です• NICTY（Network Infrastructure for data Collection Technology）•••

NICTYはRSS1.0を⽤いてファイル情報（メタ情報）を収集するアプリケーションです
インターネット上候で公開されるデータファイルについて、HTTP／FTP／SFTPなど主要なプロトコルに対応しています
収集したメタデータはNICTサイエンスクラウド内のデータベース（STARSメタデー
タベース）に格納されます• DLA（DownLoad Agenet）•STARSメタデータベースに登録されているデータファイルのメタ情報を元に、定期的にデータファイルをデータファイルダウンロードエージェント（DLA）を⽤いて収集し、⼤規模ディスクにアーカイブすることができます• これにより、研究者は⾃らデータを収集する作業から解放され、クラウド上に蓄積されたデータベースを利⽤して研究を⾏うことができます3データ収集・保存について

データ
管理機関

NICTY/DLAWSDBank
アプリケーション

ＮＩＣＴサイエンスクラウド
分散ストレージ

データ管理・
公開

データ伝送

バックアップ

データ解析（共同研究）ＮＩＣＴサイエンスクラウド
ストレージ

WONM

データ解析サーバ
大規模処理サーバ

4

NICTY/DLAとはデータ収集ツール（NICTY/DLA）は、様々な機関／公開プロトコルで公開されている科学データを、簡易に自動収集できるツールです。
• 科学データを利用したいが様々な機関からダウンロードしなくてはならなくて面倒！
• 自力で必要な科学データをリアルタイムに収集したいが、手間が掛かる！
そんな悩みを解決するのがデータ
管理機関

NICTY/DLA
申請のみで利用可能 !

HTTP/FTP/SFTP• 科学データファイルを提供機関から自動収集• NICTYで収集したメタ情報を利用してデータファ
イルをダウンロード

科学データファイル

メタ情報（RSS形式）

NICTY• 更新日時／ファイルサイズなどのデータファイルメタ情報を自動収集しデータベース化• HTTP/FTP/SFTPなど様々なネットワークプロトコルに対応

メタデータベース

NICTサイエンスクラウド
ストレージ

研究利用（データ解析）

科学データ利用者

5 科学衛星・地上観測データのためのRSS<rdf:RDF >RSS1.0の基本構造

channel要素

Webサイトの全体情報

title

タイトル

link

URL

description

説明

items

itemのリスト

モジュールによる追加要素
・・・

item要素コンテンツ情報①

title

タイトル

link

URL

description

説明<rdf:RDF >科学衛星・地上観測データのためのRSS

channel要素
item要素データ公開サイトの情報
データファイル情報①

title

ファイル名

link

ファイルのURL

description

説明Dublin Coreモジュール
独自モジュール

モジュールによる追加要素
item要素</rdf:RDF>

コンテンツ情報②

item要素</rdf:RDF>

データファイル情報②

 RSS1.0（item要素）の例

6

宇宙天気観測データの例（ACE衛星）<rdf:RDF ><channel>・・・省略・・・</channel><item rdf:about=“http://www.darts.isas.ac.jp/CDAWeb/istp_public/data/
wind/mfi_h0/2006/wi_h0_mfi_20060131_v03.cdf"><title>wi_h0_mfi_20060131_v03.cdf</title> ファイル名<link>http://cdaweb.gsfc.nasa.gov/cdaweb/istp_public/data/wind/mfi_h0/
2006/wi_h0_mfi_20060131_v03.cdf</link> ファイルのURL<description>Space Physics>Interplanetary Studies</description><dc:creator>R. Lepping</dc:creator> ファイルの作成者<dc:publisher>NASA/GSFC</dc:publisher> ファイルの公開機関<dc:date>2006‐02‐03T14:00:09+09:00</dc:date> ファイルのタイムスタンプ<dc:type>DataSet</dc:type><dc:format>application/x‐cdf</dc:format><sw:mission>WIND</sw:mission> 観測計画名<sw:team>MFI</sw:team> 観測機器名<sw:data>wi_h0_mfi</sw:data> データ名
<sw:st>2453766.5</sw:st> ファイルの観測開始日時（ユリウス日）<sw:et>2453767.5</sw:et> ファイルの観測終了日時（ユリウス日）<sw:size>2617038</sw:size> ファイルサイズ<sw:HashValue>0b44e2d6f26b44a8a7f45224b77623051d69354<item>・・・・</item>
・・・・ 388f69479dab1978bb01bc382</sw:HashValue> ファイルのハッシュ値<sw:HashFunction>SHA‐256</sw:HashFunction> 用いたハッシュ関数</item></rdf:RDF>

RSSの基本要素
Dublin Coreモジュールで定義される要素

各分野の独自モ
ジュールとして定義される要素

7

データ収集実績

2013/08時点で、約1300万ファイル、8TBのデータファイルを収集

利⽤事例（１）8〜ジオスペース・放射線体予測プロジェクト〜
NICTY/DLA収集データ

NOAA(NASA)

JAXA

京大

データ種類

データ伝送元機関

伝送データ数・ファイル
サイズ（～H.25年4月）

静止軌道粒子データ（5分値）‐GOES衛星NOAA(NASA)

730ファイル（25MB）

静止軌道粒子データ ‐こだま衛星

JAXA

365ファイル（161MB）

太陽風速度・密度・磁場データ（1分値）‐ACE衛星NOAA(NASA)

730ファイル（80MB）

太陽風粒子データ（5分値） ‐ACE衛星NOAA(NASA)

730ファイル（12MB）

太陽風速度・密度・磁場データ（1時間値） ‐ACE衛星NOAA(NASA)

48ファイル（1.4MB）

地磁気データ（AE指数）京都大学

60ファイル（17MB）

地磁気データ（Dst指数）

京都大学

12ファイル（44KB）

NICTY
観測データ

DLA

Download Agent

観測データセット
検索

定常処理サーバ

メタデータベース
予測処理

予測データ

NICTサイエンスクラウド
ストレージ

Webサーバ

放射線電子フラックス
予報Webサイト（セキュアWebサイト）

利⽤事例（２）9〜「GNSS全電⼦数計測を利⽤した電離圏の研究」プロジェクト〜

NICTY/DLA収集データ
GEONETUNAVCO/USCORSなど23拠点

データ種類

データ伝送元機関

伝送データ数・ファイル
サイズ（～H.25年9月）

Compacted RINEXデータ

GEONET/UNAVCOなど

約690万ファイル（3.5TB）

研究者

NICTY
解析データ利用DLA

GPS TECマップ
公開サイト

メタデータベース
解析処理

Download Agent

GPS受信機データ
ハウジングサーバ
解析データ(TECなど）

NICTサイエンスクラウド
ストレージ

Webサーバ

10

利⽤⼿順
収集データセット検討• 収集対象とするデータセットを検討

データ転送方法検討• NICTサイエンスクラウドと相談し、データサイ
ズ・データ伝送頻度などの情報を調査票に記載サイエンスクラウド利用各種申請書提出• 研究プロジェクト申請、リソース利用申請書などデータ保存に必要な書類をNICTサイエンスク
ラウドに提出サイエンスクラウド利用申請確認• 提出していただいた申請書をNICTサイエンスク
ラウドにて確認• 確認が完了し次第、担当者様に連絡

収集データセット準備

利用登録・設定• 必要に応じて、収集／保存するデータの準備します。
• データ収集をするための各種設定

データ伝送・保存開始

ファイル管理・公開・解析

利用者担当

SC担当

両者相談

STARSメタデータベース利活⽤〜データセット定義ファイル／SPL(Stars Project List) 〜＜SPLサンプル＞•••

SPL(Stars Project List)とは、データファイル群（データセット）のメタ情報（データ種別、データファイル名、データ期間など）をXML形式で定義した情報です
SPLを利用することで効率的なデータ解析が可能です
SPLはSTARSメタデータベースより検索、取得することもできます

SPL
データファイルメタ情報

データA
データB
データC
日時
データセット対象期間

11STARSメタデータベース利活⽤

12〜データ読み取り・物理量抽出ソフトウェア／SeDOC〜••••

NICTY/DLAで収集したデータファイル（観測データ）から物理量を抽出するためのライブラリソフ
トウェアですSeDOCを利用することで、観測データのフォーマットの差異を吸収することができます（SeDOCを利用するプログラムは、観測データのフォーマットを意識する必要がありません）
SeDOCはSPLをインプットとして、観測データを読み取り、物理量を抽出します
SeDOCは現在、太陽・地球科学データを中心として、90以上のデータフォーマットをサポートしています
SeDOCを利用したデータ解析処理例

SPL①データセット情報
取得

データ解析
プログラム

SeDOC
③データ処理・解析

SPL②データ読み取り・
物理量抽出

メタデータベース

観測データ

ＮＩＣＴサイエンスクラウド
ストレージ