平成27年度国立極地研究所研究集会、第290回生存圏シンポジウム、
平成27年度名古屋大学太陽地球環境研究所研究集会

第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

IUGONETシステム報告
平成27年8月17日 国立極地研究所
梅村宜生[1]、田中良昌[2]、阿部修司[3]、小山幸伸[4]、八木学[5]、新堀淳樹[6]、上野悟[7][1] 名古屋大学太陽地球環境研究所[2] 国立極地研究所[3] 九州大学国際宇宙天気科学・教育センター[4] 新領域融合研究センター

平成27年8月17日[5] 東北大学惑星プラズマ・大気研究センター[6] 京都大学生存圏研究所[7] 京都大学大学院理学研究科附属天文台

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

1

IUGONETメタデータ・データベースの紹介
IUGONET メタデータ・データベース
オーロラデータ
地磁気データは..
はこっち
http://search.iugonet.org/
どこだっけ..
オーロラ研究者

研究機関Ａ
公開サーバ

観測測器

観測
メタデータ データ

太陽のデータと比較したいなぁ..

地磁気研究者(web方式で公開)

・・・

大学Ｂ
公開サーバ

観測
メタデータ データ

観測データそのものではなく、観測データに付帯した情報
例： 観測開始・終了日時、観測データの所在情報、観測地情報、観測測器情報、データ利用ポリシー、コンタクト先情報 etc.

観測測器

・・・

メタデータ

メタデータ

大学Ｎ
公開サーバ

観測測器

メタデータを集積し、検索や閲覧を可能にしたもの
IUGONETメタデータ・データベースでは、様々な機関で公開されている観測データに対するメタデータを、横断的に検索することがメタデータ できる。
データベース メタデータを介して、実際の観測データにアクセスすることができる。
平成27年8月17日

観測
メタデータ データ

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

2

IUGONETメタデータ・データベースの紹介
スバールバル：ISレーダー、
流星レーダー、オーロラ観測

アイスランドオーロラ観測(2点)
地磁気観測(3点)

トロムソ
ISレーダー
流星レーダーMFレーダー

信楽MU
観測所

★
★

北海道HFレーダー(探査範囲)
太陽望遠鏡★
赤道大気レーダー（EAR）

昭和基地

飯舘・女川観測所

SuperDARNレーダー
SuperDARNレーダー２台
MFレーダー
オーロラ観測地磁気多点観測点網
平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明
昭和・女川
ELF 同時観測
平成27年8月17日
2015/02/19■ MSTレーダー▲ MF / 流星レーダー◆ MAGDAS/
地磁気観測★ FM-CWレーダー■ OMTI光学観測● WDC/地磁気観測所
3

IUGONETメタデータ・データベースの利用状況
日本を除いた国別アクセス比率 (2015.3.1以降)

月ごとのユニークユーザ数の推移
前回報告時点▼ユニークユーザー数の補足：
同一ユーザと思われる場合は1月に何度アクセスしても1カウント

国別アクセス数の補足：
全体に占める割合は日本： 83.87％、国外： 16.13％

・ 平成27年度のユニークユーザ数は、これまでとほぼ同等で推移。 確実にユーザに定着している・ インドネシア、インドから、継続的に多数のアクセスあり。 国際アウトリーチの成果が継続的に現れている・ 用語を使った検索に加え、ResourceID を使ったメタデータの取得も目立ってきている（海外含めて）操作マニュアルを参照し、ユーザは使いこなしつつある
XML I/F を使ったメタデータの取得も目立ちつつある （オープンデータなどへのトライ）

平成27年8月17日

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

4

End of FY26-Task.1: メタデータ検証機能の強化

登録待ち
リポジトリ
(XML)
Git

md_checker
1. XML構成は正しいか？(parse)- カッコ検査
2. スキーマと整合しているか？(validate)- 要素名は正しいか？
- 要素の出現順は正しいか？
- 定義された値が選択されているか？
3. IUGONET固有ルール検査- 各種IDの接頭辞は正しいか？
- 参照先メタデータは存在するか？ etc.

・md_validator を md_checker に統合 (FY26報告済)
・md_checker に 「ローカル動作モード」 を追加し、メタデータ作成時に手元で md_checker を使った妥当性検査が可能に。

ドラフト
リポジトリ
(XML)
Git

エラーの場合はE-Mailで通知

メタデータ・データベース

メタデータ(Table)DSpace

メタデータ
(XML)
Git

md_checker
メタデータ作成者

平成27年8月17日

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

5FY27-Task.1: メタデータ・データベース公開体制の強化
名大STELhttp://iugonet1.stelab.nagoya-u.ac.jp/

マスタ

ユーザ

search.iugonet.org
はiugonet1.stelab.nagoya-u.ac.jp

ミラー
メタデータ
(Table)

メタデータ
(XML)

DSpaceメタデータ作成者

Git

九大ICSWSE http://iugonet7.serc.kyusyu-u.ac.jp/
DNS

スタンバイ

マスタ
メタデータ
(Table)

メタデータ
(XML)

DSpace

極地研
極地研でもメタデータ・データベースが稼働将来的にGitリポジトリも極地研に移行することを考慮し、極地研Git → 極地研DSpace の経路とした

http://iugonet1.nipr.ac.jp/

スタンバイ

ミラー
メタデータ
(Table)DSpace

平成27年8月17日

Git

メタデータ
(XML)
Git

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

6FY27-Task.2: DOI登録用メタデータへの変換(支援)IUGONETNICT 統合データシステム研究開発室

メタデータ・データベース
IUGONET→DOI登録用
メタデータ変換プログラム

DOI登録

・ フォーマット変換
・ 不足要素の追加

システム

メタデータ
(XML)

DOI登録用
フォーマット

メタデータ
(XML)

IUGONET
フォーマットメタデータ
DSpaceIUGONETメタデータ・データベースに登録し、公開済
全22個、うちデータセット12個

電離層観測データに関するIUGONETフォーマットのメタデータを作成 （IUGONET側は協力）

・ XML（EXtensible Markup Language）の利点を生かして、IUGONETのメタデータからDOI登録用のメタデータへ変換
・ IUGONET側には、DOIに対応したメタデータのスキーマ ver.2 を運用に乗せる、また、ver.2スキーマもDOI登録時の入力項目に追従していくなどの課題がある
平成27年8月17日

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

7

FY27-Task.3: QuickLook機能の導入, Plot簡易作成導線の構築
IUGONET Metadata Database: http://search.iugonet.org/

IUGONETメタデータ・データベースから、データセットと、ロードプロシジャ名・コマンド・パラメータ・MDDBのURLの対応リストを抜き取り、ERGWAT設定テーブルに登録(FY27)。１クリックでプロット画像が出ることを目指す(FY28-)

IUGONETメタデータ・データベースの画面に遷移して、データの詳細情報を提供。
１クリックで遷移 (FY28-)

QL対応を示す
アイコンを設置データの詳細を見るためのアンカーを設置
About this Data

リスト画面を新規作成（FY28-）
Plot List（ERGWAT設定テーブルから値を取得）
Satellite□ ERG□ THEMIS□ AKEBONO □ Van Allen Probes
Ground-Based□ SuperDARN □ MM210□ EISCAT□ EISCAT□ MU Radar□ MU Radar
ERGWAT by ERG-SC: http://ergsc.stelab.nagoya-u.ac.jp/analysis/ergwat/
平成27年8月17日

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

8

FY27-Task.4: メタデータ・データベースの性能の再検討(a) 応答時間、応答時の資源消費量
UDAS: http://www.iugonet.org/software.html

Metadata Database: http://search.iugonet.org/
メタデータ・データベースに問い合わせて取得

ロードプロシジャ（iug_*.pro）
観測データ
取得処理

XML I/F(OpenSearch)

観測データの所在情報
メタデータ (URL)(Table)DSpaceObservational Database:Ex., http://gemsissc.stelab.nagoya-u.ac.jp/

観測データ
ApacheXML I/F (OpenSearch) 負荷試験結果 ※登録バッチ非稼働時
取得件数

応答時間 [sec]サーバ側メモリ増加量 [GB]

サーバ側CPU使用率 [％]100.084

0.564

（口頭で）

100

0.613

0.576

（口頭で）

3,000

17.238

0.984

（口頭で）

平成27年8月17日

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

9FY27-Task.4: メタデータ・データベースの性能の再検討
なぜ応答が遅いか？
DSpaceスクリプト
Search Engine: Apache Lucene
リクエストに該当するメタデータってどれ？
ありがとう！

もしもし？Luceneさんが言ってるA1番はポスグレさんで言うと何番ですか？
ありがとう！じゃあ切るね（ガチャッ）

該当するメタデータの番号の一式(A1〜A3000) を送るね

RDBMS: PostgreSQL

はーい、X1番ですよLoop
もしもし？さっきのX1番のメタデータの情報をください。
ありがとう！じゃあ切るね（ガチャッ）
RDBMSに対して、1メタデータあたり2回の通信（以下同様に、約3,000個分繰り返し）

平成27年8月17日

はーい、X1番のメタデータの値の一式を送るね

この通信部分のみを単体で6,000回計測すると、13秒強

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

10

FY27-Task.4: メタデータ・データベースの性能の再検討
SURVEY

応答速度の検証
テスト環境／単体構成（非DSpace）

Search Engine: Apache Lucene または
RDBMS: PostgreSQL のどちらかスクリプト
リクエストに該当するメタデータを調べて、そのすべてに対する値の一式をください

該当するメタデータすべてに対する値の一式を送るね

1,000万件登録状態を作り、1回の通信ですべての値を得るように問い合わせを変更する(100回計測して平均値を求める)
Apache Lucene 4.7.1
範囲検索（キー項目から検索）
特定検索（キー項目から検索）
取得件数

応答時間 [sec]取得件数

応答時間 [sec]100.025258

100.035768

1000.027420

1000.054453

3,0000.035204

3,0000.061495

PostgreSQL 8.4.11
特定検索（キー項目から検索）

範囲検索（非キー項目から検索）

取得件数

応答時間 [sec]取得件数

応答時間 [sec]100.000461

101.754356

1000.001386

1001.754469

3,0000.019755

3,0001.755235

平成27年8月17日

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

11FY27-Task.4: メタデータ・データベースの性能の再検討
応答速度の検証 （Test Dev、Apache Lucene 4.7.1、Single Index、Range Search)

平成27年8月17日

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

SURVEY12

FY27-Task.4: メタデータ・データベースの性能の再検討(b) 登録時間、登録時の資源消費量

201509予定

201508現在

DSpaceを使ったメタデータ
登録の流れ
g2d (batch)

1. g2d前処理
・ メタデータのread
・ SPASE→DC変換
・ 登録シェル作成(IUGONET作成モジュール)

2. PostgreSQL登録・ テーブル更新(DSpaceモジュール)

3. index-update
・ ツリー構造更新
・ 検索インデックス更新(DSpaceモジュール)

起動毎に約20万秒（2日と7.5時間）かかっている 堀智昭, 梅村宜生, 阿部修司 et al., IUGONET メタデータ登録・管理システムの処理性能評価,
宇宙航空研究開発機構研究開発報告, 71-78, JAXA-RR-12-006, 2013
平成27年8月17日

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

13

FY27-Task.4: メタデータ・データベースの性能の再検討(b) 登録時間、登録時の資源消費量

201509予定 201508現在

DSpaceを使ったメタデータ
登録の流れ
g2d (batch)

1. g2d前処理
・ メタデータのread
・ SPASE→DC変換
・ 登録シェル作成(IUGONET作成モジュール)

2. PostgreSQL登録・ テーブル更新(DSpaceモジュール)

3. index-update
・ ツリー構造更新
・ 検索インデックス更新(DSpaceモジュール)

起動毎に最大12GBのメモリを消費している
平成27年8月17日

Shuji Abe, Norio Umemura, Yukinobu Koyama et al., Progress of the IUGONET system metadata database for upper atmosphere ground-based observation data, Earth,Planets and Space, 66, doi:10.1186/1880-5981-66-133, 2014 (Highly accessed)

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

14

FY27-Task.4: メタデータ・データベースの性能の再検討
登録速度の検証 （Test Dev、PostgreSQL 8.4.11, Apache Lucene 4.7.1: Single Index)

SURVEY

自作したプログラムを使い、Granule データの文字列（14フィールド、計約500バイト文字列）を処理した結果
g2d (batch)

1. g2d前処理
・ メタデータのread
・ SPASE→DC変換
・ 登録シェル作成(IUGONET作成モジュール)XML Parse, 値の取り出しにかかる時間は、35分24秒/100万件 (1 core)
6分28秒/100万件 (10 core)(DC変換、シェル作成の処理は含まない)
PostgreSQL への登録にかかる時間は、

2. PostgreSQL登録・ テーブル更新(DSpaceモジュール)

3時間51分00秒/100万件 (1 core)
46分14秒/100万件 (10 core)(COPYコマンドだと数分/1,000万件)
現在(DSpace)： 約2日と7時間30分/100万件

3. index-update
・ ツリー構造更新
・ 検索インデックス更新(DSpaceモジュール)

Apache Lucene への登録にかかる時間は、

1分01秒/100万件 (1 core)
9分12秒/1,000万件 (1 core)
現在(DSpace)： 約2日と7時間30分/累積1000万件

当然ながら、登録にかかる時間はその時に登録するテータの数にのみ依存
平成27年8月17日

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

15

FY27-Task.5: メタデータ・データベースの操作性の再検討
メタデータへの到達導線の検証 （データをカテゴリ化して見つけやすくする）

PROTO TYPE

表示例-1: 地図で表示

表示例-2: リストで表示

平成27年8月17日

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

16

FY27-Task.5: メタデータ・データベースの操作性の再検討
QuickLook 画像の表示 （当たり付けをしやすくし、解析・研究成果の導出へ）

表示例-3.1: 固定プロットを表示

PROTO TYPE

表示例-3.2: 固定プロットを並べて表示〜〜
IDL操作方法も記載

平成27年8月17日

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

17

まとめ
- メタデータ・データベースの維持・運用
・ 平成27年度も、メタデータ・データベースは継続的に運用されている。
・ 極地研も加わり、3体制での運用を開始。
・ これまでと同等のアクセス数があり、ユーザに定着して使われていると思われる。
- 機能の追加
・ メタデータをチェックする機能 (md_checker) をローカル環境でも動くよう改良した。
・ IUGONETメタデータからDOIメタデータへ変換するシステムの構築に関して、NICTと協業してIUGONETメタデータを作成した。
・ ERG-SCと連携し、ERGWATを使い動的にプロット画像を作成する準備を進めている。
- 将来に向けての提案
・ メタデータ・データベースの応答速度、登録速度に関して、技術的な裏付けを取り、現在のメタデータ数でも十分に対応できることを確認した。
・ メタデータ・データベースの操作性に関して、メタデータをリスト化し、地図あるいはリストで表示するプロトタイプを作成。プロット画像(固定画像)も表示することで、解析・研究成果の導出へつながる仕様を検討している。
平成27年8月17日

平成27年度 第２回太陽地球環境データ解析に基づく超高層大気の空間・時間変動の解明

18