論文

DBSJ Letters Vol.6, No.1――――――――――――――――――――――――――――――――――――

天文データベースと連携した天文学研究用解析システムの構築
Construction of the Astronomical DataAnalysis System Federated with theAstronomical Databases

白崎 裕治*1 田中 昌宏*1 川野元 聡*2
本田 敏志*1 大石 雅寿*1 水本 好彦*1
Yuji SHIRASAKI Masahiro TANAKA
Satoshi KAWANOMOTO Satoshi HONDA
Masatoshi OHISHI Yoshihiko MIZUMOTO
天文観測データは観測装置の性能向上にともないデータ量も爆発的に増加を続けている.データ量が膨大であると，従来のように個人のコンピュータへデータを転送して解析を行うことは困難である.すばる望遠鏡はこれまでに 10TB を超えるデータを生産しており,これを研究者個人の計算機環境へ一旦コピーしてから解析するのはほぼ不可能である.従って大量のデータを転送するよりも,データアーカイブ側で解析を行ってから,解析後の結果データのみを個人環境へ転送するようなシステムが望まれる.
また，すばる望遠鏡のデータ解析は,可視光観測には馴染みの薄い天文研究者にとっては容易ではない.そのような分野外の研究者でも容易にすばる望遠鏡の高品質なデータを扱える環境を構築することを目指し，グリッドの技術を応用しながら Web サー
ビスと FTP を利用した複数のサーバで並行して解析を行える
シ ス テ ム を 構 築 し た . こ の シ ス テ ム は ， Japanese VirtualObservatory（JVO）と連携させることで,ユーザは Web ブラウザ経由でこのシステムを利用可能となり，また，汎用性を高めることで他のデータ解析にも応用可能である.

1. はじめに
天文学では,ここ数年の望遠鏡ならびに観測装置の高機能化により良質で大規模な天文データが生産・蓄積されつつある.特に多数の CCD をモザイク状に敷き詰めた大面積カメ
ラ技術の進展と,データストレージ装置の大容量化といった技術的進歩により,天文データは毎年倍増する勢いであり,それを解析する計算機の CPU やデータ転送のためのネットワーク速度の向上速度に比べても急ピッチに増加している.
国立天文台が運用しているすばる望遠鏡は 2000 年 12月の共同利用観測開始以来 8 TB のデータが誰でも利用できるデータアーカイブとして公開されている (2006 年 10 月現在).このような大容量のデータを研究者個人の解析環境にコピーすることは極めて困難であり,データアーカイブに解析機能を持たせる必要性が高まっている.
大容量データの問題に加え,すばる望遠鏡の公開データの解析を行うためには観測装置毎に用意される解析ツールを利用する必要があり,そうしたソフトウエアのインストールはもちろんのこと,利用方法についても学習しなくてはならない（図 1）.近年の観測的天文学研究は様々な望遠鏡を利用して行われるようになってきており,装置によらない一様な手法で解析が行える環境構築の必要性が高まっている.
我々 Japanese Virtual Observatory (JVO) 開発グループ
はこれまでに世界中のデータベースを連携して検索を行うためのシステムを開発してきた.我々はさらにこの検索シス
テムに解析システムを融合させることにより,データベースを利用した天文学研究をより行い易くする環境の整備を進めている.その端緒として,今回すばる望遠鏡データアーカ
イブと連携した解析システムを構築し,それを JVO ポータルサイトから容易に利用できるサービスの開発を行った.

2.すばる望遠鏡データアーカイブ
すばる望遠鏡はハワイ島マウナケア山頂に設置されている口径 8.2 m の可視・近赤外望遠鏡である2.すばる望遠鏡は現在７種類の共同利用検出器が用意されている.それらの検出器はそれぞれ異なる特徴をもち,可視光に感度をもつもの

The amount of astronomical observation data is rapidly
growing, so the way of traditional analysis appears to beinsufficient for using the large amount of data effectively
and efficiently. The Subaru telescope has been generating
10 TB of public data since its start of operation. It isalmost impossible to transfer all the data to the local
machine to analyze them. It is, therefore, desirable tohave an environment where the data is analyzed where it
is stored. We have applied grid technology to construct asystem that carry out multiple job executions on multiple
servers. Integrating this system to the Japanese Virtual
Observatory, a user can easily utilize the grid systemthrough the web browser interface.

*1 正会員 国立天文台{yuji.shirasaki,masahiro.tanaka,honda.satoshi,masatoshi.ohishi,mizumoto.y}@nao.ac.jp

図 1 従来の天文学研究の手法では生データの処理に多大な労力と時間を必要とする.こうしたデータ処理を共通化する
ことにより個々のユーザの手間が大幅に削減される
Fig.1 Current situation in astronomy (top) vs. astronomyof the future (bottom)*2 非会員 国立天文台{kawanomoto.satoshi}@nao.ac.jp
21

http://subarutelescope.org/j_index.html

日本データベース学会 Letters Vol.6, No.1

論文

DBSJ Letters Vol.6, No.1――――――――――――――――――――――――――――――――――――
から近赤外線に感度をもつもの,撮像用のカメラや天体のスペクトルを測定する分光器など様々である.
取得されたデータはハワイ島にあるデータベースシステ
ムである Subaru Telescope Archive System (STARS) に登録される.観測者はこの STARS から自分の観測データを取得することになる.STARS に登録されたデータは日本の三鷹市にある Mitaka Advanced STARS (MASTARS) へミラーリングされ,日本からデータを取得したい場合には MASTARS へアクセスすることになる.
すばる望遠鏡により取得されたデータはデータ取得日から 1 年半は観測者に優先利用権が存在し,非公開データとして取り扱われる.STARS や MASTARS はそうした非公開デー
タ専用のアーカイブ装置であるため,利用するには国立天文台のコンピュータシステム上にアカウントを持つ必要がある.優先利用権の期間を過ぎたデータは SMOKA システムやJVO システムを通じて公開データとなる.
SMOKA システムは手動でインタラクティブにデータ取得を行えるシステムであり,すばる望遠鏡のデータ以外にも木曽観測所,岡山観測所などで得られたデータの配布も行っている.一方 JVO システムは国際バーチャル天文台により取り決められた標準インターフェイスをもつデータサービスを提供しており,プログラミングによるデータ取得が容易に行えるシステムとなっている.
SuprimeCam は 800 万画素の CCD が 10 枚敷きつめられた光学カメラであり,他の装置にくらべ撮像あたりのデータ生成量が多いことに加え,8m クラスの望遠鏡に取り付けられた撮像装置としては世界最大の視野をもち,宇宙最遠の天体発見など新天体発見において絶大な威力を発揮している.従って,その利用形態としては全データを隈なく調べたいという要望が多く,請求データ量も多くなる傾向がある.しかしながら,現状で 6TB に及ぶデータを数百人規模のユーザに配布するのはネットワークへの負荷が高く,また利用者側にもそのような大容量のディスクスペースを確保できるとはかぎらない.
SuprimeCam のデータ解析において計算時間ならびに大量のデータを必要とされる処理は以下のものあげられる.


CCD 面上での集光量の非一様性の補正 (フラット補正)
複数回行われる撮像の重ね合わせ処理 (モザイク処理)

フラット処理においては約 1 週間の観測シリーズ中に取得された全データを用いて,非一様性を補正するためのデータを,観測に使われたフィルター毎,CCD チップ毎に作成する.
その際,数百枚の CCD 画像のメディアン平均を計算する必要があり,数 GB のデータ入力を必要とする上,8M ピクセル毎のソート処理が必要であり,計算力も必要とされる.ただし,この処理は一度補正用データを作成してしまえば,よほどの高精度なデータ解析を必要としない限り再利用が可能であるので,同じフラット処理の要求がユーザより送られてきた場合にはキャッシュデータを利用することが可能である.
一方モザイク処理においては多い場合で数千枚の CCD データから一枚の画像データの合成を行う.本処理では生デー
タをフラット補正データにより一様化してからデータ間の相対位置を求め,画像合成を行う.移動天体探しや突発天体の探査を行う場合は,時刻別に分割してモザイク処理を行うので,任意のデータを利用したモザイキング処理が行える必要がある.

2

モザイキング処理により,数千枚の CCD 画像データはおよそ 10 枚分相当のデータ量へ削減されるため,この段階まで解析が行われればユーザ側の解析環境へ転送してさらなる解析を行うことも可能となる.さらに,以上の処理によって作成された画像に対し,写っている天体の位置,明るさ,形状といったパラメータを抽出しカタログ化することにより,さらにデータ量を小さくすることが可能である.したがって,天体カタログ作成までをアーカイブ側で行う仕組みづくりが我々の目的である.

3. グリッド計算システムの構築
すばるデータ解析システムは数十人から数百人規模のユーザが利用することが想定され,ひとつのプロセスも最長数時間程度が見込まれる.したがって,解析を行うコンピューティングリソースの効率的な利用が可能なシステムの構築が不可欠である.そうしたシステムを実現するため,グリッドコンピューティングの概念を導入しシステム設計を行った.
今回開発を行ったシステムは複数のサービス群より構成される.本論文では各サービスを以下の略語で呼ぶことにする.


Data Analysis Service (DAS)
Storage Service (SRS)
Data Search Service (DSS)
Monitoring and Discovering Service (MDS)

図 2 にシステムの概略図を示す.
DAS はジョブの実行を行うサービスである.各 DAS サー
バは定期的に自分自身のステータス情報を後述の MDS に報告する.ジョブ実行が行われた場合には,そのジョブの実行ステータスの報告も行う.したがって,ジョブを投入したクライアントはその実行ステータスを MDS から得ることができる.試験環境として 30CPU コアを有しており,運用システムでは 100 コアまで増強予定である.
SRS はデータの送受信機能を提供するほか SRS 上のファイル削除要求も受け付けるサービスであり,サービス間でのデータ送受信を実現する.大容量ディスク装置に接続したファイルサーバならびに DAS に対し SRS の機能を持たせている.大容量ファイルサーバに対しては,複数の DAS サーバから同時にデータ要求が発生する場合があるため,ファイルサーバ専用として運用し,専用ネットワークにより DAS と直図 2 グリッド計算システム構成図
Fig 2 Diagram of Grid computing system.

日本データベース学会 Letters Vol.6, No.1

論文

DBSJ Letters Vol.6, No.1――――――――――――――――――――――――――――――――――――

図 3 MDS に登録されている各 DAS サーバのステータス情報
Fig.3 DAS servers’ information registered on MDS.
結する.DAS 自身も解析に必要なデータを受信したり,解析結果を送信したりする必要があるため,SRS の機能も有する.
現在の試験システムでは５台のファイルサーバにそれぞれ 6TB の RAID 装置をとりつけて,ファイルサーバシステ
ムを構成している.すばる望遠鏡のデータはこの RAID 装置にファイルとして保存されている.実運用システムでは 100TBまで容量を増強する予定である.
ジョブの実行を行ったクライアントは MDS によりジョブ終了ステータスを確認後,DAS に対して結果取得先 URL をリクエストし,その URL を SRS に対し渡すことにより結果の保存を行う.本システ厶ではデータ転送は SRS 間の FTP転送により行われる.
MDS はそれぞれの DAS に投入されたジョブ数やロードアベレージ,ハートビートの監視といった DAS のステータス管理を行い（図３）,グリッドシステムに投入されるジョブの実行先を適切に振り分ける役割を担う.OGSA アーキテクチ ャ [1] に お け る Information Service と Resource
Selection Service の機能の一部をまとめたものである.今回構築したシステムでは実行先ホストの決定は単純なラウンドロビン方式を採用しており,複雑なロジックが実装されているわけではないので両者をひとつのサービスとして集約した.ジョブ投入数の最大値はそれぞれの DAS ノードのCPU コア数に設定してあり,それ以上のジョブ投入は行われないようになっている.全ての DAS ノードの CPU が 100%利用されている場合には,クライアント側で待機する.
ジョブ投入を行うクライアントは,まずジョブの実行先をMDS に問い合わせ,CPU 資源に空きのあるサーバのアドレスを 取 得 す る . ど の サ ー バ に も CPU 資 源 に 空 き が な い 場
合,MDS はその旨クライアントに報告し,クライアントは空きができるまで定期的に MDS に対し空きホストのリクエス
トの発行を続ける.ジョブ投入に成功した後は,ジョブの終了ステータスの監視を MDS に対してポーリングすることによって行う.
現在,このグリッドシステムで利用可能な CPU コア数は30 であり,CPU コアあたり一つまでのジョブ投入が許されている.したがって,30 以上のジョブを投入した場合は CPU3の空きができるまで,待機リストにキューイングされる.
DSS は天文データの検索サービスであり,国際バーチャル天文台連合で取り決められた標準インターフェイスによる検索を行うことができる.DAS 上で実行されるジョブは必要なデータの所在を DSS に問い合わせることに得ることができる.
これらのサービス間ならびにクライアント間のリクエス
ト・応答は HTTP プロトコルを利用した SOAP メッセージの交換により行われる.各サービスのアクセスインターフェイ
スは Web Service Description Language (WSDL) により記述される.
図 3 は MDS が保持している各 DAS サーバのステータス情報を表示する Web ページのスナップショットである.ここのページにアクセスすることで,利用可能な DAS サーバの台数や各サーバでのジョブの実行状況の他,サーバの性能などについても確認可能である.“living” の列は各 DAS サーバからのハートビート受け付け状況を示し,定期的にハートビートが送信されている DAS サーバは “true” と表示
さ れ , 送 信 が 断 絶 し た 場 合 に は “false” が 表 示 さ れる.”enabled” の列は “true” と表示されているサーバがジョブ投入を受け付けているサーバであることを示す.ここのフラグはグリッドシステムの管理者が設定するものであり,一般のユーザは変更をすることはできない.“load”と “numJob” の列はそれぞれロードアベレージ,サブミットされたジョブ数を表し,各 DAS サーバが定期的に報告してくるステータス情報を元にデータが更新される.MDS はこ
れらの情報をもとに最適なジョブの実行先を判断し,クライアントからの問い合わせに答える.

4. バーチャル天文台ポータルとの連携
今回開発したグリッド解析システムの Japanese VirtualObservatory (JVO) ポータルへの組み込みを行った.JVO シ
ステムの詳細については文献[2][3][4]において述べられている.これまで検索機能を主体としていたサービスに解析機能が付加されることにより,より天文学研究が効率的に行えるようになることが期待される.
バーチャル天文台からのグリッドシステムの利用は,本グリッドシステム用クライアント機能を実装した Java クラスを用いることで可能である.ポータルシステムはグリッドクライアントクラスのインスタンスに,実行したいコマンド名とそれに与える引数リスト,結果の転送先を設定してコマンド投入用のメソッドを呼び出すだけである.
グリッドシステムの呼出は,ワークフローシステムまたは解析サービス毎に用意される GUI により行える.図 4 にSuprimeCam 装置で撮像された画像データを重ね合わせて一枚の高感度画像を作成し,それを取得するための GUI を示
す.ユーザは必要なデータをターゲット名で指定するだけでよい.ターゲット名は観測者が便宜的につけた観測領域の名称である.ユーザがこの画面からデータ請求を行うと,生データのフラット補正後重ねあわせ処理が実行され,ユーザのデータ領域に結果がコピーされる.試みに 58 視野分のデータ請求を行い,各 DAS サーバに解析処理が分散され,効率的な計算資源の利用が実現できていることを確認した（図 5）.
複数のユーザが同じデータ請求をした場合,同じ処理が繰り返されることになってしまうので,キャッシュ機能を用意し,2 度目の請求からはキャッシュデータを返すことにより高速化をはかる予定である.それにより,これまでは数時間

日本データベース学会 Letters Vol.6, No.1

論文

DBSJ Letters Vol.6, No.1――――――――――――――――――――――――――――――――――――

図 5 58 視野分のデータを 12CPU コア用いて解析処理した
場合の,各 CPU コアに割り当てられたジョブ実行時間.縦軸のラベルは CPU コアの ID をあらわす.縦棒から縦棒までがひとつの視野を解析するのに要した時間帯.
Fig.5 Result of the submission of 58 jobs to the GRID
computing system. 12 CPU cores are used for thisexperiment. Execution time of each job is specified by asolid line between the two vertical bars.

図 4 モザイク処理されたすばる望遠鏡 SuprimeCam 画像データを取得するためのユーザインターフェイス.
Fig.4 GUI for mosaic service of Subaru SuprimeCam.

[2]にも及ぶ複雑な解析プロセスを経なくてはならなかったデータ処理が,わずか数十秒で HTTP URL リクエストにより行えるようになる.

Y. Shirasaki et al. Japanese virtual observatory (JVO) as anadvanced astronomical research environment. In Lewis Hilton andBridger Alan, editors, Advanced Software and Control forAstronomy, Vol. 6274 of Proceedings of the SPIE (2006).

[3]

田中昌宏 他, バーチャル天文台 jvo プロトタイプシステムの開発. 日
本データベース学会 Letters, Vol.3, No.1, pp. 81-84, 6 (2004)[4]

本田敏志 他, 天文学連携データベースシステム（ヴァーチャル天文台）の開発・計算機資源の国際連携機構. 日本データベース学会 Letters,Vol.4, No.1, pp. 173-176, 6 (2005)

5. まとめと今後の課題
今回開発したグリッドシステムにより多数の解析リクエストを効率的に処理する枠組が完成した.このシステムにより,ユーザーのローカルマシンへの大量のデータ転送が必要であったデータ解析が,データアーカイブに近いところで行うことが可能となる.これにより,データ転送のために天文台外とのネットワーク帯域を使い尽くすことなくデータサービスを提供することができる.また,利用者もウェッブブラウザーがあるだけですばる望遠鏡のデータを利用することができ,天文学研究の効率が格段に向上することが期待される.現在はまだ試験システムの段階であり,ジョブのキャンセル,一時停止,途中からの再開,長時間たっても終了しないジョブの取扱い,といった管理機能が不足しており,今後の課題である.今後はこれを実運用システムとして耐えうる堅牢で使い易いものにしていく予定である.そのためには,一人のユーザにのみ計算資源が占有されるのを防ぐため,ユーザ毎のジョブ実行制御をきめ細かく行う機能が不可欠である.また,解析結果の再現性という観点から,ジョブの実行時の条件等をデータベース化し過,去に実行した解析を再度実行可能なシステムにする必要がある.今後はそうした機能を追加していく予定である.

[謝辞]
本研究は科研費若手研究（B）（17700085）,特定領域研究「情報爆発 IT 基盤（18049074）」,日本学術振興会先端研究拠点事業の支援を得て行われました.

[文献］
[1]

I. Foster and H. Kishimoto, et al. The open grid services
architecture version 1.0 Jan 2005.

白崎 裕治

Yuji SHIRASAKI

国立天文台天文データセンター助教．1997 年 東京工業大学
大学院理工学研究科博士課程修了．博士（理学）．日本物理学会．日本天文学会正会員．日本データベース学会正会員．

田中 昌宏

Masahiro TANAKA

国立天文台天文データセンター研究員．1997 年 名古屋大学
大学院理学研究科博士課程修了．博士（理学）．日本天文学会．日本データベース学会正会員．

川野元 聡

Satoshi KAWANOMOTO

国立天文台天文データセンター研究員（現 光赤外研究部研究員）． 2002 年 東京大学大学院理学系研究科博士課程修了．
博士（理学）．日本天文学会正会員．

本田 敏志

Satoshi HONDA

国立天文台光赤外研究部研究員（現 ぐんま天文台主任）．
2002 年 総合研究大学院大学数物科学研究科博士課程修了．
博士（理学）．日本天文学会．日本データベース学会正会員．

大石 雅寿

Masatoshi OHISHI

国立天文台天文データセンター准教授． 1985 年東京大学大学院理学系研究科博士課程修了．理学博士．日本天文学会．
日本データベース学会正会員．

水本 好彦

Yoshihiko MIZUMOTO

国立天文台光赤外研究部教授．1979 年 東京工業大学大学院理工学研究科博士課程修了．理学博士．日本物理学会．日本
天文学会．情報処理学会正会員．

http://www.ggf.org/documents/GFD.30.pdf

4

日本データベース学会 Letters Vol.6, No.1