天文学におけるデータ共有～ディジタル宇宙の構築とその活用～

大 石 雅 寿国立天文台 天文データセンター センター長

masatoshi.ohishi@nao.ac.jp

宇宙の誕生と進化： 銀河、恒星、惑星、生命の誕生と進化の歴史

13.8

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

2

天文観測今昔物語

天文学者（一般的イメージ） 肉眼で観測することはできない。
コンピュータディスプレイ上で確認する。

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

3観測的研究の一般的流れ• 課題設定・計画立案• 望遠鏡による観測• データ処理– 較正，選択，結合，，，• データ解析– 物理量の導出– 考える– 現象の理解• 論文出版
2015年4月21日

データ
↓
情 報
↓
知 見↓
理 解↓
（学問の）進歩「データシェアリングを利用した科学技術」に関する勉強会 第4回

4天文データの爆発的増加

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

5急増する天文データ

Courtesy of Alex Szalay
1000.00

 天文データは毎年倍増• CPU の計算性能は18カ月で2倍• I/O 性能の向上率は 10%/年• 並列計算処理は必須。
• データ移動を極力避ける解析システム

100.00
10.00
1.00
Glass

1970

1975

1980

1985

1990

CCDs

0.10

1995 2000

 望遠鏡・観測装置の大型化、高機能化• データ取得のコストの増大  科学成果の最大化• 取得したデータを速やかに解析できる環境を構築し、国内研究者間で共有できる仕組みづくり

 中小望遠鏡との連携観測の進展• ガンマー線バースト、AGN の時間変動• Real time で解析し、結果を速報

6

すばる望遠鏡 世界最大級の光赤外線望遠鏡

 アメリカ・ハワイ島

マウナ・ケア山頂（標高4,205m）
 口径 8.2m
 共同利用装置
 国立天文台が運用

7

すばる望遠鏡のデータ
現在７台の観測装置が稼働
約９割は Suprime-Cam のデータ~25
TB/year

2.5 TB/year
Hyper Suprime-Cam

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

8Hyper Suprime-Cam (HSC)• 2k x 4k CCD を 116 枚搭載• 800メガピクセルの巨大デジタルカメラ• 一夜あたり 300~500 GB のデータ生成• 5年間300夜にわたり、最大 2000 平方度の領域を観測予定  計 ~150 TB• 重力レンズ効果を利用した宇宙のダークマ
ター・ダークエネルギーの解明等• 2014年春観測開始
CCD 一枚Suprime-Cam

Hyper Suprime-Cam
9
有効検出領域

http://ja.wikipedia.org/wi
ki/ファイル:Spectre.svg
を改変

稼働中の主要な望遠鏡 （国内)
ガンマ線

X線

紫外線

可視光

赤外線

すばる

電波

野辺山45m電波望遠鏡

すざくあかりASTE
ひので

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

10http://ja.wikipedia.org/wi
ki/ファイル:Spectre.svg
を改変

稼働中の主要な望遠鏡 (海外)
ガンマ線

X線

紫外線

チャンドラ

可視光

ハッブル

赤外線

電波

ハーシェル
宇宙望遠鏡
アルマ

フェルミ
GALEX
ジェミニニュートン

スピッツァー
宇宙望遠鏡

スイフト

大型ミリ波望遠鏡(LMT)

VLT
2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

11

大規模データを生成する望遠鏡計画• 66台のアンテナ @アタカマ砂漠 標高 5000m

ALMA• 主として日・米・欧の諸国が協力して開発• ハッブル宇宙望遠鏡の約10倍の空間分解能(0.01秒角)• 宇宙初期の生まれたての銀河、恒星や惑星の誕生過程、物質進化の探求から生命の起源等を探る• 年間 200 TB超のデータが生成される。
Credit: ALMA(ESO/NAOJ/NRAO)• 2011年観測開始• 8.4m 光赤外望遠鏡 (米国 2018?~)LSST• 3.2 ギガピクセルの巨大カメラ(視野は約10平方度)• 3晩で観測可能領域をすべて撮像。同じ領域を3晩毎にくり返し観測  宇宙のムービー• ダークエネルギーの解明、太陽系新天体の探査、突発天体の探査等を行う。

• 一晩で15テラバイト、1年で6.8ペタバイト• Google が解析システムの開発に参加

12

天文アーカイブ利用の歴史

明月記
藤原定家の日記（1180～1235年）
望遠鏡発明前の超新星記録（7件）のうち3件（1106年、1054年、1181年）を記録

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

14黒点数15

天文学アーカイブの必要性（1）
日本最古の写真乾板（1899年3月5日撮影）• 天文観測データは、観測時点での宇宙のある一角のスナップショットであり、実験により再現することが不可能。このためアーカイブ構築の機運が昔から強かった（写真乾板には約100年の歴史有り）。
2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

16天文学アーカイブの必要性（2）• 特に最近では、ダイナミックに変化する事象も検出できるようになり (time-domainastronomy)、宇宙の記述にはアーカイビングは不可欠という事情もある。

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

17アーカイブを利用した天文研究– large fraction of astro-papers based on archives– HST archive use growing faster than archive

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

graphics fromUS NVO18
project世界のonline天文衛星DBの例• NASA National Space Science Data
Center – COBE, IUEデータの公開• NASA Goddard Space Flight Center – 高エネルギー天文衛星データの公開• Infrared Processing and Analysis Center –IRASデータの公開• Space Telescope Science Institute – HSTデータの公開
2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

19インターネット上の天文研究リソース







http://www.aanda.org/
http://www.journals.uchicago.edu/ApJ/
http://www.blackwellpublishing.com/journal.asp?ref=0035-8711&site=1
http://www.asj.or.jp/pasj/
http://adsabs.harvard.edu/
http://nrodb.nro.nao.ac.jp/
http://www.arxiv.org/

http://www.darts.isas.jaxa.jp/
http://cxc.harvard.edu/
http://www.sdss.org/
http://heasarc.gsfc.nasa.gov/
http://www.ipac.caltech.edu/2mass/
http://irsa.ipac.caltech.edu/
http://www.ukidss.org/
http://lambda.gsfc.nasa.gov/
http://www.astro-wise.org/
http://archive.stsci.edu/
http://terapix.iap.fr/
http://nedwww.ipac.caltech.edu/
http://www.roe.ac.uk/ifa/wfau/
http://nssdc.gsfc.nasa.gov/
http://www.jach.hawaii.edu/UKIRT/
http://www.spitzer.caltech.edu/
http://www.cfht.hawaii.edu/Science/CFHTLS/
http://cdsweb.u-strasbg.fr/
http://swire.ipac.caltech.edu/swire/swire.html
http://cfa-www.harvard.edu/iauc/SearchIAUC.html

http://www.oamp.fr/virmos/virmos_vvds.htm
http://www1.cadc-ccda.hia-iha.nrc-cnrc.gc.ca/cadc/

http://deep.ucolick.org/
http://skyview.gsfc.nasa.gov/
http://www.eso.org/science/eis/
http://archive.eso.org/

http://www.galex.caltech.edu/
http://dbc.nao.ac.jp/

http://www.stsci.edu/science/goods/
http://idlastro.gsfc.nasa.gov/
http://www.ast.cam.ac.uk/~wfcsur/
http://www.noao.edu/noao/noaodeep/
http://www.esa.int/SPECIALS/ESAC/index.html

http://www.eso.org/public/astronomy/archive.html

20

文献＆カタログデータベース• 文献データベース － ADS (NASA)– 主要な天文系論文をオンライン公開、 > 10M
records• データやカタログのみの天文論文も刊行• CDS (Centre de Donnes Astronomique de Strasbourg)– 天体カタログの頒布(1972年～)– SIMBAD：天体のメタ情報DB、700万天体– VizieR：論文に掲載された表などをonline公開
2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

21

国立天文台が提供するオンラインリソース
http://www.adc.nao.ac.jp/
Portal/naoj-portal.html

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

22

SMOKA へのアクセス統計

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

23

SMOKAを用いた査読論文
163 papers

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

24公開・非公開の判断• 天文分野では、得られた観測データは、提案者による専有期間終了後、原則として公開• 専有期間の例：– すばる：観測終了後18ヶ月– アルマ：観測終了後12ヶ月• 公開目的– 観測データの二次利用を促進を通じた科学的成果の最大化– 高い観測時間獲得競争（例：アルマは最大10倍）に対応
2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

25

天文アーカイブ利用に関わる
新たな課題

問題点１ : 分散データ
アーカイブへのアクセス

猫の手も借りたい

データベースアクセスインターフェイスの共通化
データ取得を自動化

教育用教材としても利用可27

問題点2 : 巨大観測データの処理• データアーカイブからのダウンロード困難• 大容量ディスク＋並列計算システムが必要• 生データのリダクションは装置毎に異なりラーニング
コストが高いManual（Instr.A）

Manual（Instr.B）

Software for instr. A

Manual（Instr.
C）
Downloadby handSubaru Telescope
Data Archive（10TB）

Software for instr. B
Software for instr. C28

ヴァーチャル天文台

Virtual Observatory (VO)
デジタル化された天文データを観測し，そのデータを解析・処理することにより天文学的知見を生み出す抽象化された観測装置
いつでも，どこからでも，天候などに左右されずに観測することができる研究インフラ
大量データの統計処理を容易に実行することによって，天文研究の質的転換を目指す
2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

30

International Virtual Observatory Alliance• 世界各国の 21の VO プロジェク
トが参加• 天文データの共有をより効率的に行うための標準仕様策定団体

http://www.ivoa.net/• 策定された主な仕様 (全部で30以上の仕様)
IVOA Registry Interfaces – データサービスの公開方法
Resource Metadata for the Virtual Observatory – データサービスのメタデータ仕様
VOTable Format Specification – 検索結果等のデータフォーマット
Simple Cone Search
Simple Image Access
データ検索のインターフェイス定義
Simple Spectral Access
Table Access Protocol
IVOA Astronomical Data Query Language – 検索言語仕様
VOSpace service specification – 分散ファイルシステムを実現する仕様
Data Model for Astronomical DataSet Characterisation – データモデル
Simple Application Messaging Protocol – アプリケーション間連携の仕様

データサービスの公開と利用の仕組み
Searchable
Registry② メタデータ収集
Metadata① メタデータ登録
Analysis
ServiceOAI-PMH
SOAP/WS

Publishing
Registry

Data
ServiceStorage
Service③ サービスの発見

Registry の Registry

Resource Metadata
Identity metadata

service metadata

curation metadata

content metadata

title
short_nameidentifier
publisher
publisher_id
creatorcreator_logo
contributer
dateversioncontact_namecontact_email
service_interface_url
service_base_url
service_http_result
service_standard_uri
service_standard_url
service_msr

stringstringURI
stringURI
stringURL
stringstringstringstringe-mail addressURL
URL
MIME type
URI
URL
float,decimal degrees

ucd
unit
datatype
width
precisionarraysize

stringstringstringint
stringstringcatalog
table
columnidentity○○○

curation○○○

service○○○content○○○

column××○column metadata

subject
description
sourcereference_url
type
coverage_spatial
coverage_region_of_regard
coverage_spectral
coverage_spectral_bandpass
coverage_spectral_central_wavelength
coverage_spectral_minimum_wavelength
coverage_spectral_maximum_wavelength
coverage_temporal_start_time
coverage_temporal_stop_time
coverage_depth
coverage_depth_unit
coverage_object_density
coverage_object_countcoverage_sky_fraction
resolution_spatial
resolution_spectral
resolution_temporalcontent_level
facility
instrument
formatrightstring,list
string,free text
stringURL
string,list
stringfloat,decimal degrees
string,list
string,list
float
float
float
stringstringfloat
string
float
int
float
float
float
floatstring,liststring,liststring,liststring,list
string33

データ形式• Flexible Image Transfer System (FITS)– 観測データを磁気テープに書き込み、持ち運ぶための標準。1981年に初版が策定された。
– 1 record = 2880 bytes– (Header, Data)(Header, Data)・・・– 国際天文学連合に FITS WG があり、仕様を保守。

• VOTable– ヴァーチャル天文台での標準データ形式– XMLを用いた半構造データで IVOAで標準化– FITSファイルを内部に包含可能、または、FITS ファイルへのURLを保持。
2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

34

IVOA 相互運用会議

2010年12月 奈良にて
2015年4月21日• 2003年以来、毎年2回開催• 標準化に向けた集中議論(キツイ !)• 技術に強い若手が中心に活躍• ネットを介した協働に必須な人脈形成 (Layer 0)「データシェアリングを利用した科学技術」に関する勉強会 第4回

35

標準策定作業• 標準化は非常に有効– Access protocols, data format, etc.
– Interoperability → wider dissemination and application– Endorsement by the IAU (VO WG)• 苦痛を伴うプロセス– Philosophy, intention, life time of project,,,– Compromise, patience– Establishment of relationship：respect to each other– Coffee/tea breaks and lunch/dinner talks are crucial
36
2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

JVO system の概略

五つのサブシステムと分散データサービス (VO Service)JVO Computing GRID
CUI for jc (jvo command)
JVO Portal①②①②③
Subaru Archive

JVO
Registry

Web GUI③④④Registry
VO ServiceAn example for using thecomputing service①②③④Job submit
Submit to JVO grid
Save result on JVOSpace
Retrieve the result

An example for using the VO
query service

JVOSpace①②③④

Submit a query
Search a VO service
Search to VO service
Retrieve a FITS image

JVO ポータル (GUI) の機能
データ検索

データサービス検索

1. 高速検索1. キーワード検索
2. カテゴリ検索
3. 詳細検索

JVO 内部のデータベース
主要なカタログを登録

2. サービスを一つ指定して検索サービスを検索し選択
テーブル選択検索条件指定3. 複数サービスへの同時検索
領域指定検索のみサポート

4. JVOSky サービス
Google Sky IF を利用したデータ検索すばるデータ検索・解析
1. Suprime-Cam
モザイク画像作成
フラットフレーム作成

2. HDS

http://jvo.nao.ac.jp/portal/

代表的なサービス・ツール
 Web ポータル
̶ JVOポータル http://jvo.nao.ac.jp/portal

̶ NVOポータル http://www.us-vo.org/

 アプリケーション
̶ Aladin : 天体画像表示
̶ TOPCAT：グラフ作成
̶ VOPlot：グラフ作成

̶ VOSpec：スペクトルデータ表示・解析

 その他
̶̶

http://www.ivoa.net/cgi-bin/twiki/bin/view/IVOA/IvoaApplications
http://www.euro-vo.org/pub/fc/software.html

Aladinhttp://aladin.u-strasbg.fr/aladin.gml

 フランス ストラスブルグ天文データセンター (CDS) 画像データビューア、天体カタログデータも表示 三色合成 複数カタログ クロスマッチ
 VOクライアント機能– VOサービスから画像・カタロ
グデータを取得して表示– さまざまな波長の画像データやカタログデータを横断的に取得可能– VOアプリケーションの中で最も使用頻度が高い。

Topcathttp://www.starlink.ac.uk/topcat/

 イギリス Starlink プロジェ
クト
 様々な種類のプロット作成
 複数カタログの相互比較機
能 VOクライアント機能– VO カタログデータサー
ビスからデータを取得し、表示。
– Aladin に次ぐ。
– Aladin とデータ連携 。

VOSpec

http://www.sciops.esa.int/index.php?project=ESAVO&page=vospec

 ESA/ESAC の VO グルー
プが開発
 VO データサービスからスペクトルデータを取得できる。
 複数のスペクトルデータを重ねて表示 単位変換を行う機能をもつ。
単位の異なるスペクトルデータも同時に表示可能
 フィッティング機能 スペクトル線データベースと連携し、ライン同定する機能あり。

VOにより連携する世界の天文台

Canada VO

China VO

More than 16,000 resources are accessible.

Images, spectra, and catalog data can be retrieved
2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

43

JVOシステムアクセス統計~10万アクセス / 月
10G~1TB / 月

2014年度
235万アクセス
1.55 TB ダウンロード
2015年4月21日

Portal 81万アクセス
0.28TB

VO-IF 148万アクセス
44「データシェアリングを利用した科学 1.27TB技術」に関する勉強会 第4回

不思議なことに海外からのアクセスが多い
March, 2015

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

45

VOを使って生み出された査読論文
1883 (ADS調べ)
2014年11月現在

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

46

将来に向けて

IAU GA
Beijing
August, 2012
• Scientific Impact of Past and OnGoing Large-Scale Observations
and Surveys to Astronomy• Current Status and Challenges ofFuture Large-Scale Observations
and Surveys (1) Near- and Midfuture projects, (2) Far-futureprojects• Data Management and Data
Access: Past, Present and Future• Advanced Data Analysis in the
Data Intensive Astronomy Era• Synergy of Data Intensive
Astronomy with other field• Expectation on Scientific Insights
in the Data Intensive Astronomy• Education, Public outreach
related with Data Intensive
Astronomy

kB/yr49
Courtesy of A. Tyson

Survey Raw Data Output Rates

Terabyte/s

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

50
Courtesy of R. Tailor

Square Kilometre Array (SKA)• 集光面積1km2• 開口合成電波干渉計• 完成~2022 ??
• 豪 & 南ア
– ASKAP & MeerKAT– “1% SKA” プロトタイプ

超大量データ時代の天文学• 観測データ，シミュレーションデータのオンラ
インデータベースへのアクセス• 多波長天文学，観測と理論の比較• 本当の意味での統計的データ処理• 大量データからの新知見の発見→ オンラインデータ解析，データマイニング，etc.
2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

52

High level Data Analysis• 巨大データからの”新ルールや知見“の発見– Needles in haystacks – Higgs 粒子– Haystacks: Dark matter, Dark energy• 概略解の探求、分類、、
新しいアルゴリズム – Data Mining (KDD)• 統計学やコンピュータ科学との協同が必須

Special Challenges in Next
Generation Astronomy• HPCによる高スループットデータ解析• トップ100スパコンによる大量データストリーミング処理• データは巨大。しかし、データの寿命は未定義。
• ALMAのデータならなんとかなりそう• SKAの場合: スケールする解が必要
ASKAP (1%)  SKA1 (10%)  SKA2 (100%)• 現行アルゴリズムは順次処理ベースで、数100～数千コアではスケールしない• 予算は限定される。電力消費はファクター10-100は落とさないと。

URSI 2011データは使われて初めて活きるWorld Data System• ICSU（国際科学会議）
Strategic Coord.
Comm. on Info. &Data

http://www.icsu-wds.org/• 地球物理，農業，環境，天文等の科学データを世界規模で共有（途上国に提供）するためのフレームワーク• 天文が参照例の一つに2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

56

データシェアリングの成功事例
1. Protein Data Banks (PDB)
2. OneGeology/CGI model
3. Intergovernmental Panel of Climate
Change (IPCC)
4. International Virtual Observatory (IVOA)

2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

57

ICSU Recommendations• WDSを通じたデータ公開に向けた14事項を勧告
http://www.icsu.org/publications/reports-and-reviews/strategiccoordinating-committee-on-information-and-data-report• オープンアクセス；データポリシーの確立と公表；データマネージメントの重要性；標準アクセス法やツールの活用； 等• 持続的データ公開の重要性を指摘
2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

58

行政に期待すること• 行政官も研究者も、「データ公開」は、ハードウェア製作と並んで、科学的成果最大化にとって必須という意識を持つ。
• 永続的なデータ公開を保証するため、分野の中核的研究機関に「データセンター」の設置を義務づけ、予算と人員を措置し、永続するための体制作りを行政が支援。
• ある程度大型の研究費配分の際に「公開に耐えるデータ作成」を強く推奨（評価項目にする；c.f., 米国NSFは大型プロジェクトにはデータ公開を義務づけている）
 分野の中核的研究機関に譲渡してデータを公開• データ利用者には、データ作成者や公開機関へのクレジット（謝辞）記載を義務づける。クレジットはデータ作成者や公開機関の実績にカウントするシステムの確立を。
2015年4月21日「データシェアリングを利用した科学技術」に関する勉強会 第4回

59