DIASにおける活用事例

2018年1月10日
東京大学地球観測データ統融合連携研究機構
絹谷弘子
kinutani@tkl.iis.u-tokyo.ac.jp

Copyright All rights reserved

1DIAS：データ統合解析システム http://www.diasjp.net/

データ統合・解析システムDIAS（Data Integration and Analysis System）は、地球規模／各地域の観測で得られたデータを収集、永続的な蓄積、統合、解析するとともに、社会経済情報などとの融合を行い、地球規模の環境問題や大規模自然災害等の脅威に対する危機管理に有益な情報を提供します。

DIAS公開データセット
❖❖
❖
❖❖
❖
❖
❖
❖
❖
❖
❖

衛星観測
温室効果ガス等の大気観測
陸域生態系・炭素フラックス観測
気象観測
流域観測
海洋観測
再解析
予測
ダウンスケーリング等
自然災害
土地利用
健康被害
http://www.diasjp.net/dias-datasetlist/
Copyright All rights reserved

2 2

GEOSS

Copyright All rights reserved3DIASが展開するアプリケーション例
データ配信アプリケーション

ひまわり8号データ配信（動画配信、ﾃﾞｰﾀ加工）

気象庁GPVﾃﾞｰﾀ配信（GPV(格子点データ）ｱｰｶｲﾌﾞ、配信）

Cバンドレーダー雨量データ配信(ｱｰｶｲﾌﾞ、動画配信）

河川テレメータ情報配信(雨量、水位ｱｰｶｲﾌﾞ、配信）

データ活用アプリケーション②水資源管理・水災害対策①気候変動対策

CMIP5ﾓﾃﾞﾙ出力ﾃﾞｰﾀ配信（全世界、気候変動の予測結果（50年）配信）③農業

イネ栽培可能性予測ﾃﾞｰﾀ配信（各地域での品種別栽培可能性や地球温暖化による影響予測）

地球環境ﾃﾞｰﾀ解析支援
ツール（データトレンド解析等）

利根川河川管理ﾃﾞｰﾀ配信（洪水予測、ダム管理支援情報配信）

水資源管理情報配信（総合的水データセット配信）④生物多様性

いきモニ情報配信（生物の分布情報、可視化情報配信）

海洋生物情報配信（海洋における魚卵や稚魚の移動追跡の2次元動画配信）

Xレイン積算雨量
データ配信（土砂災害可能性情報配信）
Copyright All rights reserved

44

DIASが公開しているデータとメタデータ❖ 現在271データセットを公開中❖ データセットIDは文字列でDIASのデータとして識別可能❖ DIASドキュメントメタデータ「良質なメタデータがほしい」というユーザニーズに対して、「メタデータはなじみがなく、入力が大変だが、データセットのドキュメントは作成する」という一般的なデータ提供者の姿勢に鑑み、代表的なデー
タ説明文書の章立て、内容を分析し、メタデータ項目との対応付けを行い、さらにキーワードを付加した
もの
ISO19139 XMLファイル
英語メタデータ、日本語メタデータの２つのメタデータファイルを保有（どちらかが、未作成の場合もある）



メタデータのみを作成し、公開している場合もある



DIASからJaLCに登録するデータは、必ずDIASドキュメントメタデータを作成する

http://dias-d.tkl.iis.u-tokyo.ac.jp/dias_metadata/datasetlist/
Copyright All rights reserved

5DIASが公開しているデータとメタデータ

地理空間情報システムで利用されている ISO19115(ISO19139) メタデータ標準を適用
DIASではWebを利用したメタデータ管理システムを開発メ
タデータ作成と同時にデータセットドキュメント(ドキュメントメタデータ）を自動的にHTML, PDFフォーマットで作成する

XML メタデータ(ISO19115 (ISO19139))

ドキュメントメタデータ(HTML)

ドキュメントメタデータ(PDF)

Copyright All rights reserved6メタデータ管理システム改良
DOI登録機能追加❖ DOIを保有しないデータセットについて、DOIを割当てる方法を具体的に検討、実装（一度割当てたら変更なし）❖ すでにDIAS以外で登録されたDOIを保有する
データセットについては、DOIを入力するための入力欄を用意(DIASでのJaLC登録は必要ない 編集可能）❖ 入力完了時にDOI項目を追加する❖ 生成されるXMLファイルにDOIを入れる❖ 生成されるPDF, HTMLにDOI項目を追加する

Copyright All rights reserved

7DIAS俯瞰・検索システム http://search.diasjp.net/
DIASのデータセット全体のマトリックスによる俯瞰
キーワード検索/場所検索/期間検索
データファイルのダウンロードにつなげる
ログイン画面

DOI導入時にはランディングページとなる
英語・日本語切替のサポート

検索対象に含める
他データセンターのメタデータを選択
軸の切替

分類に対応する
データセット数

データのダウンロード

メタデータのダウンロード

リンクをたどってデータセット一覧を取得(カテゴリによるデータセット検索)

マトリックスによるデータセット俯瞰

GCMDサイエンスキーワードに関して定義を説明する辞書とリンク(オントロジグループとの連携)

ダウンロード可能なファイル一覧
データ俯瞰・検索システムでのドキュメント閲覧ページ

Copyright All rights reserved

8ランディングページ
公開データへのDOI付与❖ DIASが公開しているデータにDOIを付与❖ 付与可否をデータ提供者に確認して作業を進める❖ 今後公開されるデータについては、原則DOIは付与する❖ 付与データの粒度、バージョン管理、統合プロダクトの場合提供者の理解が課題

http://search.diasjp.net/ja/dataset/GAME_Tibet

Copyright All rights reserved

9

DOI登録の流れ (JaLCへの登録スクリプト）❖ JaLCからDataCiteへのDOI登録・更新の頻度が少く間隔が長いので、定期的にスクリプトでJaLCへの登録・更新を行う設定のほうが現実的。
❖ JaLCの登録サーバのメンテナンス、システム停止などを想定し、登録作業が正常に実行できない場合に備えておく。
❖ DIASメタデータの更新履歴からJaLCへの登録が必要なデータセットを抽出し、JaLC登録用ファイルを作成してJaLCにアップロードする❖ これらの作業は、DIASメタデータ管理システムとは独立して実行し、運用する❖ JaLC登録状況をモニタリングするサイトを作成する （未実装）登録が必要なデータ
アップロードJaLC用ファイル
JaLC用ファイル

DataCite
データベースJaLC登録用
スクリプト
JaLC
データベース

JaLC用ファイル

登録内容確認とエラー処理ログ

Copyright All rights reserved10DOIアップローダの機能
DIAS公開データの中でDOIを登録するデータについて、DIASメタデータ管理システムで入力完了となったメタデータに基づきJaLCを通してDataCiteに登録するためのファイルを作成し、JaLCの登録用データベースサーバにアップロードする
DOIアップローダの構成①JaLCアップロード用ファイル作成部分： DIAS ISO19139XMLファイルからJaLC XMLファイルを作成する部分②JaLC研究データAPI登録システム部分：JaLCが公開している外部提供インタフェース仕様書に基づいて、研究デー
タのコンテンツ情報登録HTTPインタフェースを実装した部分（NICTおよびWDS国内委員会が開発した「JaLC研究データAPI登録システム」を独立したクラスとして動作するように修正したプログラム）

DOIアップローダ①JaLCアップロード用ファイル作成部分

DIAS公開データでDOIを登録する必要があるメタデー
タリスト

JaLCアップロード用ファ
イル作成

更新記録

登録済み
データセットのメタデーターリスト(jalcmeta)

登録済み
データセットのメタデータ一リスト(diasmeta)②JaLC研究データ
API登録システム部分

DOI
登録

DataCite
データベース

JaLC
データベース

Copyright All rights reserved

11

DOI登録インタフェースモジュールについて
DIASでは、下記文章を検索サイト
http://search.diasjp.net/ja/about.html

DOIが付与されたデータセット一覧（DataCite)
https://search.datacite.org/works?query=10.20783に掲載しています。
「ジャパンリンクセンター(JaLC)へのDOI登録機
能には、NICTおよびWDS国内委員会が開発した「JaLC研究データAPI登録システム」を利用しています。」

このモジュールは、JaLCのWebインタフェースで研究データのメタデータを登録する場合と同様、汎用性の高いプログラムです。他のメタデー
タ登録機関でも有用なプログラムです。
NICTとWDS国内委員会が開発したものですが、できれば誰でも利用できる権利として公開していただくと広く利用されると思います。

DIASのDOIプリフィックス10.20783でDataCiteを検索するとDOIの登録を確認できる
Copyright All rights reserved

12