DEIM Forum 2011 C8-5

DSpace を用いた超高層物理学のためのメタデータ・データベースの構築
河野貴久†

小山幸伸

堀智昭

阿部修司

吉田大紀

林寛生

新堀淳樹

田中良昌

鍵谷将人

上野悟

金田 直樹

田所裕康

† 名古屋大学太陽地球環境研究所 〒 464–8601 愛知県名古屋市千種区不老町
E-mail: †kouno@stelab.nagoya-u.ac.jp
あらまし

超高層物理学の地上観測データは，風速，オーロラ，地磁気，太陽活動など多種多様であり，様々な機関によって分散管理されている．我々は，これら様々な観測データを組み合わせた総合的な研究を推進するために，超高層大気長期変動の全球地上ネットワーク観測・研究プロジェクト (IUGONET) において，分散管理された観測データに対するアクセシビリティを向上させるため，超高層物理学の観測データに付随したメタデータ・データベースを構築中である．我々は，このメタデータ・データベースの構築にリポジトリソフトウェアである DSpace を超高層物理学における観測データのメタデータ用に改良した．本論文では，超高層物理学のためのメタデータ・データベースの構築とそのメタデータ登録性能評価について報告する．
キーワード

メタデータ・データベース，観測データ，DSpace

Development of Metadata Database for Upper Atmosphere Observationby using DSpace
Takahisa KOUNO† , Yukinobu KOYAMA, Tomoaki HORI, Shuji ABE, Daiki YOSHIDA,
Hiroo HAYASHI, Atsuki SHINBORI, Yoshimasa TANAKA, Masato KAGITANI,
Satoru UENO, Naoki KANEDA, and Hiroyasu TADOKORO† Solar–Terrestrial Environment Laboratory, Nagoya University
E-mail: †kouno@stelab.nagoya-u.ac.jp

1. は じ め に
近年，地球温暖化の現象解明するための地球環境分野の研究が注目を集めている．そして，生物の多くが住む対流圏の断的に検索する手段が無く，個別の観測・研究に関係する特定分野の研究者のみに利用されることが殆どであった．このため，様々な観測データを組み合わせた総合的な解析を行うことは困難であった．

みならず，地球大気圏の上層，すなわち超高層大気やそこでの著者一同は，2009 年度より 6ヶ年計画として始まった「超様々な周期の長期変動と地球温暖化との関係が研究されつつあ

高層大気長期変動の全球地上観測・研究 (IUGONET: Inter-る [1]．超高層大気中に見られるグローバルな諸現象は，多様university Upper atmosphere Global Observation NET-なプロセスが複雑に絡み合った結果として観測される．そのたwork)」プロジェクト [2] において，超高層大気長期変動に関すめ，超高層大気における長期変動のメカニズムを解明するためる地上観測データのメタデータ・データベースを構築している．には，全地球規模の地上観測ネットワークにおける様々な観測IUGONET プロジェクトは，国立極地研究所宙空圏研究グルー

データ，例えば，風速，オーロラ，地磁気，太陽活動等を組みプ，東北大学大学院理学研究科地球物理学専攻太陽惑星空間物

合わせた総合的な解析が必要になる．超高層物理学の地上観測理学講座並びに東北大学惑星プラズマ・大気研究センター，名データは，観測を行った研究機関や観測プロジェクト毎にデー

古屋大学太陽地球環境研究所，京都大学生存圏研究所，京都大タベース化され公開されているが，それらのデータベースを横学理学研究科附属地磁気世界資料解析センター，京都大学理学研究科附属天文台および九州大学宙空環境研究センターの 5 機

タを扱うことは困難である．しかしながら，DSpace はオープ

関 7 組織が参加している．これらの機関は，世界中の様々な地ンソースソフトウェアとして公開されていて改良し利用するこ域・高度領域から各種装置を用いて超高層大気の観測を数十年とができることと，国立情報学研究所で行われている学術機関にもわたり行っており，多種多様な観測データを蓄積している．

リポジトリ構築連携支援事業 [10] において多くの大学の機関

IUGONET プロジェクトの目的の一つは，観測データの所在データベースとして多く採用され構築・運用に関する情報は豊情報に代表される様々なメタデータをデータベース化すること富にあることから，DSpace を超高層物理学の観測データ向けにより，複数の機関によって分散管理されている多種多様な観に改良して用いることにした．

測データに対するアクセシビリティを向上させ，観測データの3. DSpace の改良と評価利用を促進することである．これにより，各研究機関が所有する各種観測データを有機的に組み合わせた分野横断的な研究のIUGONET メタデータ・データベースが求める主な機能とし萌芽や，様々な現象が複雑に絡み合う超高層大気の長期変動のて，1. 時間・地理空間の範囲検索，2. 外部提供インターフェーメカニズムを解明することで地球温暖化等の現象解明と予測にス，3. 登録システムの開発，4. メタデータの追加登録速度の評貢献することである．

価，の 4 点について改良・調査した結果を報告する．

我々は，超高層物理学のためのメタデータ・データベースを

3. 1 時間・地理空間の範囲検索構築するにあたり，全てを独自に開発するのではなく，既存の観測データのメタデータは観測開始時刻と観測終了時刻を含ソフトウェアを組み合わせ，一部改良することでシステムを構む．この場合，観測データはこれら二つの時刻の間に存在する．

築することにした．本論文では，超高層物理学の観測データの超高層物理の研究者が求める検索では，指定した二つの時刻のメタデータ・データベースを構築する上で行った調査と改良し間に存在する観測データに紐付いたメタデータを検索結果とした点について報告する．て抽出することが求められる．DSpace は，オープンなデジタ

2. IUGONET メタデータ・データベースシス
テム

ルリポジトリを構築するための機関リポジトリとして開発されており，Dublin Core メタデータフォーマットを標準でサポートしている [11]．Dublin Core メタデータフォーマットは作成

2. 1 メタデータ・フォーマット

時刻や登録時刻を記述出来る．そのため，DSpace は”時点”にIUGONET プロジェクトでは，超高層物理学の地上観測デー関する検索は可能であるが，”二つの時点に挟まれた時間帯”のタのメタデータのフォーマットに Spase Physics Archive Search

検索はできない．この時間の範囲検索を実現するために，我々and Extract(SPASE) メタデータ・フォーマット [3] [4] を採用

は DSpace の検索クエリーをカスタマイズした．

した．SPASE メタデータ・フォーマットは，NASA の Virtual

観測開始時刻を start time，終了時刻を end time とし，時Magnetospheric Observation や Virtual Heliospheric Obser-間検索クエリーの二つの時刻を from time と to time とした場

vation などアメリカを中心とした多くのプロジェクトで採用

合，時間の範囲検索のクエリーはされているメタデータ・フォーマットである [5]．我々は，このSPASE メタデータ・フォーマットを超高層物理学の観測デー( start_time:[from_time TO to_time] OR
end_time:[from_time TO to_time] )タ向けに拡張した．

SPASE メタデータ・フォーマットは，観測データのメタデー
タを観測機関，観測装置，研究代表者，観測データセット，観測データファイルなどの 12 種類のリソースタイプに分けて，XMLOR( start_time:[00000101000000 TO from_time] AND
end_time:[to_time TO 99991231235959] )で記述する．各メタデータはユニークにつけられた ResourceIDで記述される．時刻は文字列としてデータベースに登録してを持ち，異なるリソースタイプであっても，関連するメタデー

おり，00000101000000 と 99991231235959 は時刻の最小限度

タ同士が相互に参照できる [6]．代表的なメタデータ要素を挙げと最大限度を表す．ここで，範囲検索は DSpace の検索エンジ

ると，観測データセットにおける観測開始時刻や終了時刻，観ンである Apache Lucene [12] の Range 検索 (e.g. field:[A TO

測データファイルにおける観測データの所在情報 (URL)，観測Z]) を用いた．

所における装置が置かれている緯度・経度等である．

DSpace は地図検索機能が無いため，時間と同様に検索クエ

2. 2 メタデータ・データベース

リーをカスタマイズすることで地理空間の範囲検索を実装した．

IUGONET プロジェクトでは，メタデータ・データベース

IUGONET で扱う超高層物理学のメタデータは，観測装置ののシステム構築にあたり，機能面や運用面を検討した結果，学設置場所や測定を行っている範囲 (矩形) の情報を含む．観測装術機関リポジトリとして多く採用されている [7] DSpace [8] を置の設置場所の検索は地点の検索である．この検索は，緯度と基盤となるデータベースソフトウェアとして用いることにし経度をそれぞれ Range 検索し AND を取ることで実現した．測た．しかしながら，DSpace は，デジタルコンテンツに加え，定を行っている範囲に関しては，時間の範囲検索と同様である．

例えば，著者名，タイトル，登録時刻などの書誌的な Dublin

緯度の範囲と経度の範囲をそれぞれ検索し AND を取ることでCore [9] 形式のメタデータを扱うリポジトリソフトウェアであ

地図上の矩形範囲の中で観測されたデータを検索可能にした．

るため，標準では超高層物理学における観測データのメタデー

3. 2 外部提供インターフェースめることができる．信頼性とは，メタデータを誰がいつ作成し，IUGONET プロジェクトでは，メタデータ・データベース

間違ったメタデータがいつ修正されたか，修正前はどのようなの構築に加えて，可視化・解析ソフトウェアを開発している．

IUGONET メタデータ・データベースを利用する方法として，情報が公開されていたかなどが分かることを示す．

•Git を用いてメタデータのバックアップや履歴管理を行WEB ブラウザを用いた検索方法に加え，外部提供インターうため，メタデータ・データベースは検索システムとして簡素フェースを用意することで可視化・解析ソフトウェアからの利化できる．

用も想定している．

DSpace へのメタデータの登録の流れを図 2 に示す．メタデー

具体的には，可視化・解析する対象である観測データファイタ提供者が作成した XML 形式のメタデータファイルは，まずルの所在情報などをメタデータ・データベースから検索・取得

Git リポジトリに登録される．Git リポジトリではメタデータできるようにすることで，可視化・解析ソフトウェア側から観ファイルの変更履歴を管理しているため，その履歴情報から測データへのアクセシビリティを良くすることを目指している．

DSpace に登録するファイル (新規提出・更新・削除されたメ

図 1 にメタデータ・データベースと可視化・解析ソフトウェアタデータファイル) のリストを自動生成することが可能である．との連携を示す．メタデータ・データベースにより取得した観そして，登録対象のメタデータファイルは，DSpace 登録フォー

測データの所在アドレスをもとに実データをダウンロードして，マットに変換後，DSpace へ登録される．DSpace への登録に可視化・解析を行う連携例である．

先立ち，削除リストのファイルを DSpace から削除する．最後に，DSpace に登録したログから必要な情報を再び Git に登録し管理する．コミット ID は，Git リポジトリで変更履歴を表す ID であり，この ID を保存することでどの履歴までの変更を DSpace に登録したかがわかるようになっている．アイテム

ID は DSpace に登録されているメタデータファイルの内部 IDで，更新・削除の時に利用する．
図 1 解析ソフトウェアからメタデータ・データベースの利用例．

3. 3 登録システムの開発
IUGONET メタデータ・データベースはプロジェクト終了
後も観測データのメタデータの登録が行われ利用されていく予図 2 Git リポジトリから DSpace へのメタデータ登録の流れ．削除，定である．データベースには複数の機関や多くのプロジェクト追加，更新の順番で，メタデータを DSpace に登録する．

によって観測されているデータのメタデータを登録する必要がある．超高層物理学における典型的な観測データは 1 日 1 ファ

3. 4 メタデータの追加登録速度

イル生成され，観測データ生成後速やかにメタデータ・データ

我々は，様々な観測データを日々収集しているため，メタデーベースに登録されることが望まれる．さらに，IUGONET プロ

タ・データベースへのメタデータ登録速度は，1 日に登録可能

ジェクトでは過去に観測されたデータの登録も行うため，1 度な数が 1 日に作成されるメタデータ数より多いことが求められに大量の件数を登録することもある．このようなことから，メる．さらに，すでに終了した過去の観測データの登録や観測プタデータ・データベースに登録するまでの作業と時間を短縮す

ロジェクト終了時にまとめて登録されるような一度に 10 万件るためにデータベースへのメタデータ登録を自動化するシステ

以上のメタデータの新規・更新登録を扱う可能性がある．そしムを開発する必要がある．て，IUGONET プロジェクトでは，将来的に 100 万件以上の我々はバージョン管理システムである Git を用いたメタデーメタデータを登録・管理することを想定している．このようなタの登録システムを開発している．Git は主にソースコードのことから，DSpace のメタデータ登録速度の性能を調査するこバージョン管理に使われるソフトウェアであるが，このテキスとは重要である．

トファイルを対象にした履歴管理機能を，メタデータファイル

本論文では，IUGONET 向けにカスタマイズした DSpace(XML ファイル) の管理に応用することにした．データ提供機を用いて，実際のメタデータの登録時間を測定することでメ関が作成したメタデータファイルは，一度 Git で管理される．

タデータの登録性能を評価した．性能評価に用いたメタデー

そこで，メタデータの妥当性が検証された後，DSpace にメタ

タは観測データファイルに対応するメタデータで，一つのメタデータが自動登録される．開発した登録システムを使うことでデータ中の要素数は約 20 個と少ないが実際の運用では大量に以下の利点がある．

登録する必要がある．次に，メタデータ登録性能の評価環境を•ユーザは，DSpace の登録コマンドを使わずに，通常の表 1 に示す．比較として DSpace 1.6.2 環境と 1.7.0 環境の二ディレクトリ・ファイルシステムに近い形でメタデータを登録つバージョンの登録性能を測定した．DSpace 1.7.0 は 2010 月することができる．

•

更新履歴情報を管理することでメタデータの信頼性を高12 月 17 日にリリースされた最新版であり，以前のバージョンに比べ，メタデータ登録の性能と登録数に対するスケーラビリ

ティの向上が報告されている [11]．検索エンジンである Lucene

この結果から，将来 100 万件以上のメタデータを登録するこは，DSpace に組み込まれているものである．そして，DSpaceとを考慮した場合，DSpace 1.6.2 を使うことは実用的でないこはそれぞれ IUGONET 向けのカスタマイズをしたものを利とが分かった．そして，現在最新版である DSpace 1.7.0 を使用した．IUGONET 向けのカスタマイズをした DSpace とは，うことにより，大量の登録の場合であっても実用的な時間で行SPASE メタデータを登録するために登録フォーマットを追加うことができ，地上観測データのメタデータ・データベースをしたことと，SPASE メタデータ要素を詳細検索するために検構築することが可能であることがわかった．

索フィールドを設定したものである．メタデータ登録時間の測定は，DSpace の import コマンドを用いて 1000 件ずつ追加登録したときに，各 1000 件の登録に掛かった時間を測定した．
表1

4. ま と め
IUGONET プロジェクトは，超高層大気分野における地上観測データに関するメタデータ・データベースを構築中である．

メタデータ登録性能の評価環境項目

DSpace1.6.2 環境

DSpace1.7.0 環境

CPUIntel Xeon W5590←

観測データのメタデータ・フォーマットは SPASE メタデータ・フォーマット，メタデータ・データベースにはリポジトリソフ
トウェア DSpace を採用した．DSpace がデフォルトで対応し3.33GHz × 2
Memory48GB←ている Dublin Core メタデータ・フォーマットよりも複雑な超HDD

1TB (Software RAID1)←

高層物理学における地上観測データのメタデータを扱うため

OS

CentOS 5.5 x86 64←

PostgreSQL 8.4.5←に，時間・地理空間の範囲検索を DSpace に実装した．さらに，

データベースDSpace

1.6.2

1.7.0

Lucene

2.3.0

2.9.3

Java

1.6.0 23-b05←

XML で記述された SPASE メタデータファイルを，保管した
Git リポジトリから DSpace へシームレスに登録するためのスクリプトを整備したことにより，登録管理を容易にした．そして，DSpace1.7.0 のメタデータ登録性能を評価した結果，超高メタデータ登録時間測定の結果を図 3 に示す．横軸は DSpaceに登録されているメタデータの積算件数であり，縦軸は積算件数が登録された状態からさらに 1000 件のメタデータを追加登録するのに掛かった時間 [秒] を示す．DSpace1.6.2 環境では，既に登録されている件数が増加するに従って線形的に登録時間が長くなる結果が得られた．DSpace1.6.2 環境の場合は，登録時間の事情から 4 万件を登録したところで測定を終了した．登録が時間がこのまま一定増加すると仮定した場合，100 万件が登録された状態において，さらに 1000 件の追加登録をする場
合約 7 時間掛かる見積りになる．一方，DSpace1.7.0 環境の場
合，同じ 1000 件の追加であっても，2 万件の登録までは約 0.07秒/件であり，その後登録されている件数が増加した状態でも約 0.08 秒/件で一定の登録速度を維持したままであった．さらに，100 万件まで登録を続け時間を測定したが登録時間に増加傾向は見られずほぼ一定の速度を維持する結果であった．

図 3 DSpace1.6.2 環境と DSpace1.7.0 環境におけるメタデータ登録時間の比較．横軸は追加登録時に既に登録されている件数．縦軸は 1000 件を追加登録した時の経過時間．

層物理学のメタデータ・データベースの運用は問題ないことが分かった．

5. 謝

辞

大学間連携プロジェクト「超高層大気長期変動の全球地上ネットワーク観測・研究」は，文部科学省特別教育研究経費 (研究推進)[平成 21 年度] および特別経費 (プロジェクト分)[平成22 年度から] の交付を受けて，平成 21 年度より 6ヶ年計画で実施している事業である．
文

献[1] Ana G. Elias, Marta Zossi de Artigas, and Blas F.
de Haro Barbas, Trends in the solar quiet geomagnetic
field variation linked to the Earth’s magnetic field secular variation and increasing concentrations of greenhousegases, Journal of Geophysical Research, Vol. 115, A08316,
doi:10.1029/2009JA015136, 2010[2] IUGONET Web サイト http://www.iugonet.org/[3] SPASE Web サイト http://www.spase-group.org/[4] Todd King, James Thieman and D. Aaron Roberts, Spase2.0: a standard data model for space physics, Earth Science
Informatics, 1865-0473[5] J. R. Thieman, D. A. Roberts, T. A. King, C. C. Harvey,C. H. Perry, and P. J. Richards, SPASE AND THE HELIOPHYSICS VIRTUAL OBSERVATORIES, Data Science
Journal, Volume 9, March 6, 2010[6] SPASE データモデル http://www.spase-group.org/data/doc/ spase-2 2 0.pdf[7] 機関リポジトリ一覧 http://www.nii.ac.jp/irp/list/[8] DSpace Web サイト http://www.dspace.org/[9] Dublin Core Web サイト http://dublincore.org/[10] 学 術 機 関 リ ポ ジ ト リ 構 築 連 携 支 援 事 業 Web サ イ ト
http://www.nii.ac.jp/irp/[11] DSpace 1.7.0 ドキュメント http://www.dspace.org/1 7 0Documentation/ DSpace-Manual.pdf[12] Apache Lucene Web サイト http://lucene.apache.org/