IUGONETシステム報告
阿部修司[1], 梅村宜生[2], 小山幸伸[3], 新堀淳樹[4], 田中良昌[5], 上野悟[6],八木学[7], IUGONETプロジェクトチーム[1] 九州大・国際宇宙天気科学・教育センター、[2] 名古屋大・太陽地球環境研究所、[3] 京都大・理・地磁気センター、[4] 京都大・生存圏研究所、[5] 国立極地研究所、[6] 京都大・理・附属天文台、[7] 東北大・惑星プラズマ大気研究センター

IUGONET機関の所有する観測機器
アイスランドスバールバル： ISレーダー、オーロラ観測(2点)
地磁気観測(3点)

流星レーダー、オーロラ観測

トロムソ
ISレーダー
流星レーダーMFレーダー

信楽MU
観測所

★
★

北海道HFレーダー(探査範囲)
太陽望遠鏡★
赤道大気レーダー（EAR）

昭和基地
SuperDARNレーダー２台
MFレーダー
オーロラ観測地磁気多点観測点網
昭和・女川 ELF 同時観測
2015/02/19

飯舘・女川観測所

SuperDARNレーダー

2014年度IUGONET年度末報告会‐system‐■ MSTレーダー▲ MF / 流星レーダー◆ MAGDAS/地磁気観測★ FM-CWレーダー■ OMTI光学観測● WDC/地磁気観測所

多種多様なデータを利用する際の問題点• 自分の専門のデータ(例えば地磁気指数)はうまく使えるが、種類の違うデータ(例えば太陽撮像データ)を同時に使うための各情報を入手することが難しく、総合解析になかなか結びつかない• 他の分野のデータに関する情報がなかなか得られないストレス• このような問題を解決する手段として、IUGONETは観測データのメタデータを共有するシステムと統合解析ツールを開発• 本講演では、前者の観測データのメタデータ・データベース（IUGONET MDB）の成果について紹介する

2015/02/19

2014年度IUGONET年度末報告会‐system‐

メタデータ・データベースの利用• メタデータ・・・観測データそのものでは無く、観測データに付帯した情報
info
e.g. 観測開始終了時刻、観測場所、観測データの所在情報→ メタデータを介して観測データへアクセスさせるとより便利• メタデータ・データベース・・・メタデータを収集し、かつ検索可能にしたもの
DB→IUGONET MDBでは様々な研究機関にある観測データのメタデータ(いつ、どこで、どの物理量が同時観測されたのか？）を1クエリーで検索可能
2015/02/19

2014年度IUGONET年度末報告会‐system‐

メタデータフォーマットの選定
IUGONET メタデータフォーマット = SPASE + 追加項目
(http://www.spase‐group.org)

SPASEとは?

metadata format developed by international
consortium to comprehensively describe
research resources regarding heliospheric andmagnetospheric satellite observations

 closely related to STP and upper atmosphereresearches ( easy to use as a base format)
 new metadata elements & words appendable (customizable according to our data ) widely‐used in VxOs ( possible metadata
exchange in the future)

IUGONET’s modifications
 非デジタルアーカイブに関するワードの追加
 太陽座標系に関するワードの追加
2015/02/19

 観測領域を表現するメタデータ要素の追加
2014年度IUGONET年度末報告会‐system‐IUGONETで開発したメタデータDB• フリーソフトウェアDSpaceをベースに構築– http://www.dspace.org/– 学術機関リポジトリで広く使用されているため、情報の入手が容易– 少々のカスタマイズ（JSP、Servlet）でIUGONETメタデータを利用可能– 採用しているメタデータのベースはSPASE（http://www.spase‐group.org/）– Dspaceでは直接XMLを扱えないため、フォーマット変換して格納（プログ
ラムをIUGONETにて作成=git2dspace）• 2012年3月より運用– β版公開時（2011年5月）はサーバ１台のみ（iugonet1.stelab）の運用– 2012年1月にメインサーバを移行(iugonet7.icswse)– NIPRにサーバを追加実装中。3台の冗長体制となる予定– メタデータ総数は1000万件以上（2015年2月18日調査、11,736,911）
2015/02/19

2014年度IUGONET年度末報告会‐system‐IUGONET MDB
http://search.iugonet.org/iugonet/

Freeword Search,
Data type Selection,
Visualized search, etc…

Search Result(list or detail)••

Provide the service for cross-searching observational data distributed acrossthe IUGONET institutions.
Remarkable advancement in accessibility to the observational data andaccelerate the interdisciplinary study.

2015/02/19

2014年度IUGONET年度末報告会‐system‐MDBでのQuicklook表示
1. Lightbox2を用いたDisplay データの表示

2015/02/19

2. Java
Web Start を用いたGranuleデータの表示
2014年度IUGONET年度末報告会‐system‐ヘルプ動画• 動画を用いた分かりやすいMDDBの使い方を紹介• Youtubeに専用チャンネルあり• http://www.youtube.c
om/user/iugonet2009/2012/08/09

IUGONET中間報告2012＠NIPR

9

MDBの利用状況
日本を除いた国別アクセス比率グラフ

月ごとのユニークユーザ数の推移

ユニークユーザー数の補足：
同一ユーザと思われる場合は1月に何度アクセスしても1カウント

ユニークユーザー数1000

2011/03
利用海外機関の例：
ドイツ・ライプニッツ大気物理研究所（ドイツ）
オーストリア科学アカデミー宇宙研究所（オーストリア）
インド宇宙庁国立大気科学研究所（インド）
インドネシア国立航空宇宙研究所（インドネシア）
モスクワ大学（ロシア） 等

検索キーワード例

2014/07• ユニークユーザー数は右肩上がりで増加傾向していた• 2013年度末よりアクセス数の減少あり。現在はそこで安定• アメリカ・ヨーロッパ方面に加え、アジア地域からの多数の利用実績• インドネシア・オーストリア等からの高いアクセス数
 国際アウトリーチの成果

超高層物理分野の例

DST, MAGDAS, magnetometer, SUPERDARN, MU,EISCAT, MF Radar, smart, magnetogram 等

超高層物理分野以外の例

Jupiter, CO2, O3, rain, Sun Prominence, dellinger,adelie, ocean, Ca K, radiosonde, Wind Profiler 等

超高層物理分野のワードが多数を占めている一方で、隣接分野や他分野のワードも2015/02/19

入力されており、様々な分野のユーザから利用されていることが分かった
2014年度IUGONET年度末報告会‐system‐

OpenSearch
OpenSearch：検索結果を他のサイトから自由に利用できるようにするための仕組み
検索結果を他から利用する拡張に適応できるため、これを分散型MDBの構築に利用する
OpenSearch仕様は
http://www.iugonet.org/
opensearch.html
2015/02/19

http://search.iugonet.org/iugonet/open‐
search/request?query=nipr_1sec_fmag_syo_&ts=
2010‐01‐01&te=2010‐01‐05&Granule=granule

OpenSearchの結果（ブラウザでの結果表示）

2014年度IUGONET年度末報告会‐system‐

分散化MDB
OpenSearch
検索

良いね！

検索クエリ

各サーバの結果をマージして返す

ユーザーは全サーバの情報を検索可能

OpenSearch
検索

IUGONETMDBIUGONET MDBFRONTEND
OpenSearch
検索

IUGONET MDBを分散して登録負荷を下げる

MD Repository
2015/02/19

IUGONET
MDB

2014年度IUGONET年度末報告会‐system‐IUGONET
MDB

分散化MDB
機関をまたぐ分散化では各機関のネットワークのレスポンスが全体に影響（全サーバの結果を一度ソートしているため）等の問題が分かった

ICSWSE

よって、現在は・実サーバとしては1台だが・内部にVMで各機関メタデータ用IUGONET
サーバを持つことで処理の分散化を行なう
内部分散化の調査を進めた
2015/02/19

実サーバ

VM

2014年度IUGONET年度末報告会‐system‐

連想検索への取り組み
・専門分野外のメタデータ検索をする場合、検索語句の選択が困難・専門に近い分野であっても、正しく検索語句を選べるとは限らない=メタデータに記載されている語句でなければヒットしない等の解決に役立つ

Substorm
IUGONET MDBGETAssoc

CME, AE,Ionosphere…
「Substorm」
を検索してみよう

メタデータヒットなし
関連用語はCME, AE, ionosphere…

国立情報学研究所で開発された連想検索システム
GETAssoc の導入を検討

検索語句そのものがヒットしなくても、関連する用語を検索語句候補として表示することができる。
2015/02/19

2014年度IUGONET年度末報告会‐system‐

連想検索への取り組み
どのような用語が連想されるのかは、連想検索システムに登録している辞書次第
Googleスプレッドシートで管理した語句テーブルを辞書ファイルに変換するしくみを開発→辞書の共有、複数人による辞書作成
Google Spreadsheet
語句テーブルのダウンロード
辞書ファイルへの変換例：
キーワード「substorm」での検索数0→「CME」「AE index」などが関連キーワード
検索結果へのリンク作成、表示

2015/02/19

2014年度IUGONET年度末報告会‐system‐

辞書ファイル（.itb）
Aurora…

運用ツールの開発• md_checker：各機関の作成したメタデータ内のSPASE要素他をチェックする• md_validator：各機関の作成したメタデータが正しいXMLとして記述されているかをチェックする• brokenlinkchecker：登録したメタデータに記載されている外部へのURLリンクと、外部機関の実データとが、正しく接続されているかを確認するツール。
いわゆる「デッドリンク」を検出し、ユーザーがデータへ正しく到着できる手助けをする• g2d、git2dspace：各機関のメタデータを保存しているgitリポジトリからMDBへメタデータをインポートする
2015/02/19

2014年度IUGONET年度末報告会‐system‐

メタデータチェックプログラムの改修
これまでのメタデータは、IUGONET schemaに従って要素は過不足なく記述されていたが、“XMLとしてはinvalid”だった• Md_checkerのアップグレード– バグ対応、機能改善• 0バイトXMLファイル処理への対応（Rubyライブラリバグ）• 必須/任意要素の再確認• ReleaseDataチェック機構の追加（2009年以降）• ローカル動作モードの追加• XML Validatorの追加– パフォーマンスは検査なし：検査あり=2089[sec]:3720[sec](123,854[metadata])– 1.8倍の要因はほぼvalidateによるもの– メタデータXMLの保証と、現在のMDDB規模を考えて許容範囲
2015/02/19

2014年度IUGONET年度末報告会‐system‐

開発リソースの公開/共有••

Github(https://github.com/iugonet)にて、MDB含む多数のプロダクトを準備• IUGONET MDB• 連想検索システム• JavaベースのUDAS（解析ソフトウェア）• etc etc…

build.xml

1.
2.
3.

Java
ant
build.xml

メタデータスキーマは
http://www.iugonet.org/data/sc
hema/ でも公開
IUGONET PRODUCTS

2015/02/19

2014年度IUGONET年度末報告会‐system‐

成果発表、論文• 積極的な成果発表– JpGU、SGEPSSではほぼ毎回発表– DEIM（データ工学と情報マネジメントに関するフォーラム）など他分野の研究集会への参加• システムを主体とした論文の出版– 「超高層物理学分野の為のメタデータ・データベースの開発（小山他,宇宙科学情報解析論文
誌,2012）」をはじめとした論文7編
Paper for IUGONET system is published:“Progress of the IUGONET system ‐ metadata database for upper atmosphere ground‐based observation data”
Abe S, Umemura N, Koyama Y, Tanaka Y, Yagi M, Yatagai A, Shinbori A, UeNo S. Y. Sato, N.
Kaneda,Earth, Planets and Space 2014, 66:133, doi:10.1186/1880‐5981‐66‐133

2015/02/19

2014年度IUGONET年度末報告会‐system‐

メタデータDB利用度向上への検討
Collaboration with our software tool(UDAS)
User PC
1. Ask

3. Get!

2. Reply

QR Reader

2015/02/19

IUGONET Touch

2014年度IUGONET年度末報告会‐system‐dataメタデータ増加に伴う問題••

メタデータ増大に伴う各種パフォーマンス低下=登録から検索までに時間がかかる。メタデータの置き換え、削除処理を入れると所要時間が倍増
単一マシンでの運用限界=検索エンジン（Apache Lucene）での検索パフォーマンス低下(Abe et al., 2014)•MDB分散化による、既存システムを維持した大幅なパフォーマンス向上– 検索システムの分散化は大規模システムでは一般的••

例えば、Googleでは1クエリに対し数千台のマシンで処理

OpenSearchによるメタデータのハーベスティングなしでの複数サーバの検索表示– 横断検索サーチエンジンの例：国立国会図書館サーチ（NDL Search）– 他プロジェクトとのメタデータ交換が容易になどを検討したが、解決には至っていない

2015/02/19

次期プロジェクトではこれらの改善に向けた議論が必要
・indexファイルの分散化
・全体設計の見直し
・「メタデータの粒度」についての検討などなど
2014年度IUGONET年度末報告会‐system‐IUGONETメタデータスキーマ諸事情
IUGONETでは、共通メタデータフォーマットによるメタデー
タ作成を助ける構造定義（XMLスキーマ）を公開
http://www.iugonet.org/data/schema/
メタデータ1.0.4リリースに伴うメタデータ一括更新にて・XMLとしてinvalidのファイルが登録されている
・使いたい語句がスキーマ内に存在しないなどの問題が分かってきた

他方で、昨今のオープンデータに関する大きな流れに対応した
メタデータスキーマ（iugonet‐2_x_y_z.xsd）を検討中• リファクタリング( IMPORT & REDEFINE)• ORCID対応• DOI対応(DataCite、 JaLC、CrossRef、etc...)• ライセンス情報の追加

2015/02/19

2014年度IUGONET年度末報告会‐system‐

スキーマファイルにおける名前空間の見直し
これまでの更新ポリシー （名前空間をIUGONET独自のものに変更して派生）
2.0.0
1.0.0

2.2.0

2.2.1

2.2.2

1.0.1

1.0.2

1.0.3

（可能）

（やや難しい）現在検討中の更新ポリシー （名前空間をSPASEのままとする）
（可能）

2.2.2
2.2.2.1（同様に基準化されていれば容易）

・・・

（容易）

1.0.3

削除

第三者

（容易）

利点 ・ SPASE側で拡張された内容を容易に取り込むことが可能
・ IUGONETプロジェクトのXMLファイルであってもSPASEフォーマットとして扱うことができるため、第三者でもシステム処理が容易となる
XMLファイルの相互提供や相互交換が容易となり、流通の促進化につながる
2015/02/19

2014年度IUGONET年度末報告会‐system‐まとめ• IUGONETシステムの成果と問題点について紹介• 本プロジェクトの成果– MDBの構築ノウハウ– 分野内及び分野横断交流の懸け橋– 各種サイエンスへの適用– 基盤コミュニティの形成• 次期プロジェクトに向けた課題– メタデータ数とパフォーマンス改善への検討– スキーマアップデートに関する諸事– メタデータDB利用形態の充実

2015/02/19

2014年度IUGONET年度末報告会‐system‐

Thank you for your attention

Thank you
2015/02/19

2014年度IUGONET年度末報告会‐system‐