平成17年発足特定領域研究公募研究 A01-23

最新情報技術を活用した超大規模天文データ解析機構の研究開発
研究代表者：
Masatoshi Ohishi / NAOJ, Sokendai
大石雅寿 / 国立天文台，総合研究大学院大学
masatoshi.ohishi@nao.ac.jp

Planned Future Projects• ALMAALMALSST• JWST• LSST• LOFAR• SKA

30 PB/yr x 6 yr ~ 200 PB• TMT~ a few PB/yr• Pan-STARRs ~ a few TB/night , only object params stored• E-ELTJWSTTMTPan-STARRs

Data Intensive Astronomy• Data deluge– Huge Image data
– Wide spectral range– Transient data
– time-domain• New paradigm inastronomical research byintroducing data
management andadvanced data analysis

Flow of Observational Research• Issues, Planning• Observation• Data Reduction– Calib.，Select，Combine，，，• Data Analysis– Physical Parameters– Thinking– Solution• Publish

Data↓
Information↓
Knowledge↓
Understanding↓
Wisdom4

VO Projects in the world• 16 countries， 1 region (EU) and 1 Int’l org. (ESA)• International Virtual Observatory Alliance (IVOA)
Standards to interoperate VOs• Meta data,
data models,data accesses,
output format,etc.

2010 Nov 16

情報爆発 A01研究会

5Structure of JVO Portal Service

6

LDAP解析
解析
解析
Analysis
Servers

Auth.

Grid
System

JVO

SDSS

QSO

InvokeMDS

SubaruPortal…

Web Service
HTTP Get
FTP
LDAP
P. Reg.
2010 Nov 16

UserStorage

2MASS

Data Service

S. Reg.

Other VOsRegistry
情報爆発 A01研究会

P. Reg.

SIAP/SSAP

SkyNode0.7.4

Astronomical Virtual Observatories~ Dataグリッド環境 ~Canada VO

China VO2010年11月現在，すばるのSupCAMやHDSの全データをはじめとして，世界中の10,000を超える資源にアクセス可能。

http://jvo.nao.ac.jp/portal/
2010 Nov 16

情報爆発 A01研究会

7

SuprimeCAMデータへのアクセス•オンデマンドでの画像モザイク＆較正•作成済みモザイク画像も用意されている•~ 10 TBytes•Backgroundで30CPU coreによる並列処理
JVO ポータルで最も多く利用されているサービス

2009~2010年度の研究計画
全天データを同時に対象とするように機能向上• アクセス可能な天体データの天
球面表示– 位置，波長，観測時刻（メタデータ）• 全天データに対する並列検索やデータ処理

Credit: NASA/WMAP Science Team

– 非同期並列処理機構の検討・実装

2010 Nov 16

情報爆発 A01研究会

10

全天データの表示
 検索機能との連動

Subaru:SuprimeCAM, HDSISAS:
SuzakuMore to come2010 Nov A01研究会
16
情報爆発

11

API to utilize the JVO system

An example for using thecomputing service①②③

Job submit
Submit to JVO grid
Save result on
JVOSpace④
Retrieve the result

12

Examples of the JVO API

13

Hadoopによる分散解析
環境構築Hadoopを用いた分散解析環境を試験構築
全天の1/20 (10億record) を処理するのに3.7 h非分散の場合の約60倍
速14Hadoop環境での10億レコードのクロスマッチ

15

なぜクロスマッチ？
• 天体の本質を知るには，多波長の観測データを集めて解析する必要有り• 天体の観測空間分解能
は，波長，観測装置毎に異なる (1/1000秒 ~ 1度) 空間分解能を考慮したデータの突き合わせ(cross-match)が必要

16Experiment17

Results18

19

科学的成果：活動銀河核(AGN)の成長と周囲銀河密度の関連~1000 AGNs -- SupCAM+UKIDSS
データ収集が数ヶ月1日： 研究効率を大幅に加速： めでたく論文受理！

フラットな分布

銀河の欠損

Clustering at > 99% confidence level2010 Nov 16

情報爆発 A01研究会

20

VO-enabled Papers~170 Refereed Papers that have
“Virtual Observatory” in its abstract
About 1500 papers mentioning“Virtual Observatory”

2010 Nov 16

情報爆発 A01研究会

21

日本の天文学の利点
2つの共同利用機関

国立天文台（地上）
専用線
JAXA/ISAS（衛星）• ALMAとSubaruのデータ
連携– High-z galaxies– Evolution of galaxies– Planet formation– etc.

• ALMAとSPICAのデータ
連携– Prebiotic species inprotoplanetary nebula– etc.

Quality Controlled Data

VO Interface

多波長データの活用
ALMAによる科学的成果の最大化

天文以外の科学分野への波及効果• ICSU（国際科学会議）
Strategic Coord.
Comm. on Info. &Data• 地球物理，農業，環境，天文等のデータを世界規模で共有（途上国に提供）するためのフレームワーク作り• 天文VOが手本

ま と め• 全天を対象とする，天文観測データへの検索・データ解析システムの基盤ができた• 構築したシステムに，まもなく稼働する新望遠鏡データの接続を検討中• 天文ヴァーチャル天文台システムがモデルとなって，他の科学分野の「ヴァーチャル観測所，ラボ」システム構築が世界的に進み出した