DEIM Forum 2013 A10-1

連想検索エンジン GETAssoc の超高層物理学におけるメタデータ・データベースへの適用
†八木 学

小山 幸伸

田中 良昌

上野 悟

阿部 修司
佐藤 由佳

梅村 宜生

新堀 淳樹

谷田貝 亜紀代

堀 智昭

Bernd RITSCHEL†東北大学大学院理学研究科惑星プラズマ・大気研究センター〒980-8578 宮城県仙台市青葉区荒巻字青葉 6 番 3 号
E-mail: †yagi@pparc.gp.tohoku.ac.jp
あらまし

地球規模の物理現象を解明する為には、様々なデータを用いた分野横断的な研究推進が重要である。これには、様々なデータを直ちに取得する為のインフラストラクチャが１つの鍵となる。超高層物理学を対象とした IUGONET プロジェクトにおいては、複数の研究機関において分散管理されている様々なデータの所在情報等を提供するメタデータ・データベースを構築することで、この課題に 対処した。しかしながら、広範な研究領域を対象としている本メタデータ・データベースにおいて、検索語句の選択が専門分野外のユーザーにとって難しいことが指摘された。そこで、本メタデータ・データベースと連想検索エンジン
GETAssoc を連携させ、ユーザーによって入力された検索語句の関連語を用いた、再クエリ文字列の自動生成を検討した。そこで、Wikipedia のデータベースを元に、自動的に辞書を作成する 2 種の試みを行った。一方はその膨大なデータ量の取り扱いが原因で、他方は対象ドメインを超高層物理学周辺に絞り込む為の情報の欠落により、期待した関連語が得られなかった為、いずれも断念した。最終的に、超高層物理学分野周辺の、別々の研究背景を持つ研究者らの人力による辞書作成を行い、期待した連想検索結果を得ることが出来た。
キーワード

データベース, メタデータ, 連想検索, 情報検索, 学際的研究, 超高層大気

Application of the associative searching system GETAssocto the metadata database of the upper atmosphere
Manabu YAGI†, Yukinobu KOYAMA, Shuji ABE, Norio UMEMURA, Atsuki SHINBORI,Tomoaki HORI, Yoshimasa TANAKA, Satoru UeNo, Yuka SATO, Akiyo YATAGAI,
and Bernd RITSCHEL†The Planetary Plasma and Atmospheric Research Center,Graduate School of Science Tohoku University
Aoba 6-3, Aramaki, Aoba, Sendai, Miyagi, 980-8578, Japan
E-mail: †yagi@pparc.gp.tohoku.ac.jp
Abstract Multidisciplinary researches using many kinds of data are crucial to studies on
global-scale phenomena in the upper atmosphere. An infrastructure to access to many kinds of datais one of the keys on the multidisciplinary researches. The Inter-university Upper atmosphere
Global Observation NETwork (IUGONET) project solved this problem by developing a metadata
database to provide information such as whereabouts of data, which are dispersion-managed byseveral institutes. Because the metadata database covers the wide scientific field, it is pointed
out that researchers from other scientific fields can not easily give a right query keyword. We
implemented associative search engine GETAssoc into the metadata database, in order to get therelated words and to create re-query

strings by using themautomatically.

We tried to create

dictionary from two types of Wikipedia database automatically. Since handling of the huge data
was difficult, one side was given up. For another side, the expected related term was not
obtained by lack of information to narrow down target domain to upper atmospheric research field.
Finally, the dictionary was manually created by the domain researchers of astronomy, meteorology
and upper atmospheric research, we could get the expected related term to use re-query.
keywords Database, Metadata, Associative Search, Information Retrieval, Interdisciplinary
Study, Upper Atmosphere1. はじめに

2. IUGONET メタデータ・データベース

高度数十 km より上空の大気は「超高層大気」と呼ばれて太陽地球系物理学分野の主に衛星データ向けに開発されおり、中性大気と電離大気が混じり合う「熱圏・電離圏」領た Space Physics Archive Search and Extract (SPASE) メ域から、太陽風と地球磁場の相互作用によって生じ、無衝突

タデータ・フォーマット[10][11]をベースとして、地上観測プラズマが物理を支配する「磁気圏」領域までを含む。超高データに関する要素を拡張したメタデータ・フォーマットが、

層大気は、下層大気からの波動や対流による運動量・エネルIUGONET 共通メタデータ・フォーマット[12]である。

ギーの流入に加え、太陽放射や太陽風の影響、そして化学反応・光化学反応といった物理過程が複雑に絡み合う領域であることが知られている。従って、超高層物理学の研究においては、全球規模の観測データを用いた多角的なデータ解析が必要であり、磁力計、レーダー、そして太陽望遠鏡など、様々な観測器を用いた地上観測が継続的に行われてきた。こうした観測データは、観測を行った各研究機関ごとにデータベース化され公開されてきたが、分散管理されたこれらの観測データを横断的に検索するシステムは過去に存在しなかった為、多くの種類のデータを必要とする地球規模の学際的研究推進に多大な労力を要した。この様な背景から、大学間連携プロジェクト「超高層大気長期変動の全球地上ネットワー
ク観測・研究（IUGONET: Inter-university Upper
atmosphere Global Observation NETwork）」においては、観測データに関するメタデータ・データベースを構築し、各

図 1: IUGONET メタデータ・データベース。時刻検索、領域検索、そして単語検索が可能である。

機関において分散管理されている観測データに関するメタデータを、横断的に検索できるシステムを構築した[1][2][3][4][5][6][7]。

このメタデータ・フォーマットに則って作成された XML 形式のメタデータは、 機関リポジトリ [13]等で利用される

図 1 に示した Web ベースの IUGONET メタデータ・データ

DSpace[14]をベースにカスタマイズした IUGONET メタデー

ベース[8]は、時刻検索、領域検索、そして単語検索が可能

タ・データベースにインポートされる。標準で Dublin Coreである。IUGONET メタデータ・データベースによって、各機メタデータ・フォーマット[15]を取り扱う DSpace からの主関が管理する観測データに関するメタデータを横断的に検索要なカスタマイズ箇所は、1. 観測日時や緯度経度の範囲を出来る仕組みを構築したものの、超高層物理学を中心としつ取り扱う点、2. 機関リポジトリにおいては PDF ファイル等

つ、隣接する天文学や気象学に渡る、広範な研究領域を対象のデジタルコンテンツが保持される Bitstream[16]に、XMLにしているが故に、単語検索時における検索語句の選択が専形式のメタデータを保持する点、である。観測データの所在門分野外のユーザーにとって難しいことが指摘された。そこ情報がメタデータ内に含まれているため、分散管理されていで、連想検索エンジン GETAssoc[9]を導入することによって、る観測データに到達可能である。2012 年 11 月時点において、ユーザーが入力した検索語句の関連語を複数個提示し、そのIUGONET メタデータ・データベースに 700 万件を超えるメタリンクをクリックすることにより、再検索を行う機能を実装データが登録されている。

し、メタデータ・データベースに組み込むことを検討するに至った。

3. IUGONET メ タ デ ー タ ・ デ ー タ ベ ー ス と 連 想検索エンジン GETAssoc の連携

ザ上でクリックすると、直ちに再検索される。

図 2 に IUGONET メタデータ・データベースと連想検索エン
ジン GETAssoc の連携システム図を示す。GETAssoc は、国立情報学研究所連想情報学研究開発センターで開発された連想検索エンジンである。

図 2: IUGONET メタデータ・データベースと連想検索エン
ジン GETAssoc の連携システム図。形態素解析システムにはCHASEN を用いた。

図 3: IUGONET メタデータ・データベースと GETAssoc の連携システムにおける検索シーケンス図。

4. 辞書の作成
GETAssoc においては、図 4 に例示した ITB ファイル形式
IUGONET メタデータ・データベースと GETAssoc は、HTTP プによって関連語を結びつける為の辞書を記述し、インデックロトコルを用いて接続される。GETAssoc のシステムの構築

ス作成コマンドである stp を用いて、連想計算に必要なインには、GETAssoc 以外に外部ツールがいくつか必要であるが 、デックス（NWAM）ファイルに変換する必要がある（図 2）。

それらの外部ツールは、相互にバージョン依存している為、つまり、超高層物理学分野のメタデータ・データベースにインストール手順が複雑であった。そこで、外部ツールを含とって、有効な ITB ファイルを如何にして作成するかというめた GATAssoc インストール手順を自動化する為に、Ant のビ問題に帰着したことになる。

ルドファイルである build.xml を作成した。このビルドファ
イルは、Scientific Linux 6.3 (32bit)上で動作確認済みで
あ り 、 GitHub 上 の IUGONETAssociativeSearch リ ポ ジ ト リ[17]において公開している。
図 3 に IUGONET メタデータ・データベースと GETAssoc の連携システムにおける検索シーケンス図を示す。検索シーケンスは、1. ユーザーが入力した検索語句を読み込み、2. 通常のメタデータ検索を行い、3. ユーザーが入力した検索語句を元に、メタデータの該当有無に関わらず GETAssoc を用いて連想検索を行い、4. メタデータならびにユーザーが入力した検索語の関連語を表示する、5. ユーザーは、必要に応じて関連語を用いて再検索を行う、という流れを想定している。ブラウザ上で表示された関連語は、HTTP で記述されたクエリ文字列へのリンクになっている為、関連語をブラウ

図 4: ITB ファイルの概要と例。連想検索のみに着目している為、本件では全文検索用本文は作成しない。

4.1 Wikipedia の ノ ー ト ペ ー ジ 、 利 用 者 ペ ージを除くデータを用いた辞書作成
GETAssoc の Web ページ[8]において、オンラインで提供さ

図 5: ITB ファイル作成の流れ。

れている Wikipedia のダンプデータ[18]の利用が例示されていたので、これを辞書として利用することを検討した。対象

実 際 に は 、 XML 形 式 で 記 述 さ れ た Wikipedia のは

enwiki-20121201-pages-articles\d{1}|\d{2}.xml-

feed/doc/title 要素と feed/doc/abstract 要素を、ITB 形式*.bz2 の全 27 ファイルであり、bz2 を展開して得られる全の title 要素(#title)と連想検索用本文(b1)として変換する

XML ファイルの合計サイズが約 40GB に及ぶ。この XML ファイことで、ITB 形式の辞書ファイルを作成した。この辞書を用ルから、ITB 形式が要求する title 要素(#title)と連想検索いて連想検索を行ったところ、一般用語が関連語として上位用本文(b1)を抽出する必要がある。mediawiki/page/text 内に挙げられる等、期待した結果を得ることが出来なかった。に ITB 形式の両要素に対応する要素が Wiki 記法で押し込め連想検索対象のドメインを超高層物理学分野に絞り込むことられており、これを円滑に抽出する上で、Wikipedia Parserが出来れば、連想検索結果が改善すると期待されるがの利用が有用である。本稿執筆時点においては Wikipedia

Wikipedia の要約にはドメインを絞込む為の要素が無い為、Parser を使用せず 、上記 XML ファイルのごく 一部に対し 、それを絞り込むことが出来なかった。

、

XSLT と AWK を用いて手動で要素を抽出した上で、インデックス作成をテスト的に行なった。このテストの結果、上記の全27 ファイルを対象とした ITB ファイルへの整形、ならびにイ4.3 人力による辞書作成
超高層物理学に関連する辞書をゼロから作成することは、ンデックス作成に大量の時間、計算機資源が必要であること人的資源的に高負荷であると考え、Wikipedia を用いた上記を確認した。4GB 程度のメモリ、そして 1 コアの CPU で運用

2 案を試みたが、結果が芳しくなかった為、最終的に人力に可能な我々のメタデータ・データベースの補助的な役割としよる辞書作成に帰着した。て期待している連想検索のシステムが、本体以上に大掛かり最初に、Google スプレッドシート上で辞書[19]を用意し、になると運用上都合が良くないので、この辞書作成を断念しそのスプレッドシートの第 1 カラムならびに第 2 カラムを、た。

各々 ITB ファイル形式における title 要素(#title)ならびに連想検索本文(b1)と定義した。次に、メタデータ・データ

4.2 Wikipedia の要約を用いた辞書作成

ベースの単語検索において検索されるであろう単語の語呂出

次に、 Wikipedia の全ペ ージの要 約を提供する enwiki-しを行った。その単語もしくは近い単語に関する Wikipedia

20121201-abstract\d{1}|\d{2}.xml の利用を検討した。XML記事の title を、スプレッドシートの第 1 カラムに入力した。

ファイルの合計が約 3.6GB であり、このサイズは前者より圧その単語に関する記事の先頭文章を、スプレッドシートの第倒的に小さい。この Wikipedia の要約が保持している内容は、2 カラムに手動でコピーした。この先頭文章を取り出すアイ

レコードのタイトルを示す feed/doc/title、本文の URL を示

デアは、Wikipedia の要約と同様である。

す feed/doc/url、Wikipedia コンテンツの最初の 1 文を保持

Google スプレッドシートは共有可能な為、複数の辞書作した feed/doc/abstract、関連コンテンツへのリンクを示し成者によって辞書作成を行うことが出来、高負荷な辞書作りた feed/doc/links の み で 構 成 さ れ る 。 図 5 に 示 す 様 に 、の負荷分散が可能となる。さらに、辞書作成には、天文学、1.Wikipedia のデータベースをダウンロードし、2.XSLT を用

超高層物理学、気象学の各々の研究背景を持つ IUGONET プロ

いて整形された ITB ファイルに変換し、3.AWK を用いて明らジェクト開発者が携わるので、IUGONET メタデータ・データかに不要な文字の排除や辞書項目のナンバリングなどの処理、ベースの対象分野をおおよそ覆うことが出来た。

を行った後に GETAssoc が取り扱える妥当な ITB ファイルを上記の手法によって作成したスプレッドシートを ITB 形式作成した。この一連の作業は、前述のビルドファイルと Antに変換する為に、スプレッドシートを外部からクエリーを受を用いることによって、自動的に変換される。

け付け可能な公開状態にし、スクリプトによって外部からクエリーを発行してレコードを取り出し、ITB 形式のファイルを生成した。このスクリプトの作成には、 Ruby と google-

書作りに取り組んだ結果、期待した連想検索結果を得ることspreadsheet-ruby ライブラリを用いた。ITB ファイルが 1000が出来た。

件程度であれば、1 分とかからないうちに変換作業が終了す参る。その為、cron 等で数分置きに ITB ファイルへ変換する様

考文

献に設定しておき、スプレッドーシート更新後、数分で連想検索に反映される様に設定した。辞書編集結果の速やかな反映[1] 林 寛生, 小山 幸伸, 堀 智昭, 田中 良昌, 新堀 淳

により、高負荷な辞書作成者による人力の辞書作りのモチ樹, 鍵谷 将人, 阿部 修司, 河野 貴久, 吉田 大紀,ベーションが保たれると考える。この超高層物理学分野周辺

上野 悟, 金田 直樹, 米田 瑞生, 田所 裕康, 元場 哲にドメインを絞り込んだこの辞書を用いた連想検索結果は、郎, 大学間連携プロジェクト「超高層大気長期変動の図 6 に例示するように、適切な連想検索結果が得られた。

全球地上ネットワーク観測・研究」, JAXA-RR-11-007,pp. 113-120, 2012.

[2] Hayashi, H., Y. Koyama, T. Hori, Y. Tanaka, M.
Kagitani, A. Shinbori, S. Abe, T. Kouno, D.
Yoshida, S. UeNo, N. Kaneda, M. Yoneda, H.
Tadokoro, T. Motoba, and IUGONET project team,"Inter-university Upper atmosphere GlobalObservation NETwork (IUGONET)", The First ICSUWorld Data System Conference, 2011.
図 6: 作 成 し た 辞 書 フ ァ イ ル を 用 い 、 gss3 protocolanalyzer を用いて連想検索した例。

[3] 小山 幸伸, 河野 貴久, 堀 智昭, 阿部 修司, 吉田 大紀,林 寛生, 田中 良昌, 新堀 淳樹, 上野 悟, 金田直樹, 米田 瑞生, 元場 哲郎, 鍵谷 将人, 田所 裕康,

5. まとめ超高層物理学を対象にした IUGONET メタデータ・データ

超高層物理学分野の為のメタデータ・データベースの開発, JAXA-RR-11-007, pp. 91-98, 2012.

ベースは、検索語句の選択が専門分野外のユーザーにとって難しいことが指摘されていた。そこで本件では、GETAssoc[4] 堀 智昭, 鍵谷 将人, 田中 良昌, 林 寛生, 上野 悟,を用いた連想検索を導入することにより、ユーザーによる入吉田 大紀, 阿部 修司, 小山 幸伸, 河野 貴久, 金田

力検索語句の関連語を用いた再クエリ文字列の自動生成を検直樹, 新堀 淳樹, 田所 裕康, 米田 瑞生, IUGONET 共討した。最終的に帰着した、超高層物理学分野のメタデー

通メタデータフォーマットの策定とメタデータ登録管タ・データベースにとって、有効な辞書を如何にして作成す

理 シ ス テ ム の 開 発 , JAXA-RR-11-007, pp. 105-111,るかという問題に対して次の 3 つの取り組みを試行した。

2012.

Wikipedia のノートページ、利用者ページを除くデータを用いた辞書作成は、その大量のデータ量、計算機リソースから[5] 小山 幸伸, 河野 貴久, 林 寛生 , 堀 智昭, 田中 良

利用を断念した。Wikipedia の要約は、取り扱い上適切な昌, 鍵谷 将人, 吉田 大紀, 上野 悟, 阿部 修司,ファイルサイズであるものの、超高層物理学分野というドメ

好 由純, 金田 直樹, 能勢 正仁, 岡田 雅樹, 超高層インへ絞り込む為の要素が欠落していたので、期待した連想物理学分野におけるメタデータ・データベースの構築

検索結果が得られなかった。超高層物理学周辺の、しかしな, DEIM Forum 2010 F4-3.

三がら別々の研究背景を持つ研究者らの人力による辞書作成においては、辞書作りの負荷を軽減する環境を整備した上で辞[6] 河野 貴久, 小山 幸伸, 堀 智昭, 阿部 修司, 吉田 大

紀, 林 寛生, 新堀 淳樹, 田中 良昌, 鍵谷 将人, 上Science Journal, 25 February, 2010.

野 悟, 金田 直樹, 田所 裕康, DSpace を用いた超高層物理学のためのメタデータ・データベースの構築,[12] http://www.iugonet.org/data/schema/iugonet.xsd

DEIM Forum 2011 C8-5.
[13] http://www.nii.ac.jp/irp/list/[7] 梅村 宜生, 小山 幸伸, 堀 智昭, 阿部 修司, 林 寛生, 新堀 淳樹, 田中 良昌, 上野 悟, 米田 瑞生, 金[14] http://www.dspace.org/

田 直樹, 元場 哲郎, 超高層物理学のための分野横断型メタデータ・データベースの構築, DEIM Forum 2012[15] http://dublincore.org/

A7-1.
[16] http://www.dspace.org/1_7_0Documentation/Archite[8] http://search.iugonet.org/iugonet/cture.html[9] http://getassoc.cs.nii.ac.jp[17] https://github.com/iugonet/IugonetAssociativeSearch[10] Todd King, James Thieman, and D. Aaron Roberts,SPASE

2.0:

astandard

data

modelforspace[18] http://dumps.wikimedia.org/enwiki/physics, Earth Sci Inform, 3:67-73, 2010.
[19][11] Thieman, J. R., D. A. Roberts, T. A. King, C. C.
Harvey, C. H. Perry, and P. J. Richards, SPASEAND THE HELIOPHYSICS VIRTUAL OBSERVATORIES, Data

https://docs.google.com/spreadsheet/pub?

key=0AgbaOOcOsZncdDFYa2xHd0puZnVBVUVwakp0bzJuVkE&outp
ut=html