平成17年発足特定領域研究公募研究

最新情報技術を活用した超大規模天文データ解析機構の研究開発
Masatoshi Ohishi / NAOJ & Sokendai
大石雅寿 / 国立天文台 & 総合研究大学院大学
masatoshi.ohishi@nao.ac.jp
1September 29, 2006

特定領域研究 情報爆発

2

Data Resources in NAOJ
• Subaru 8.2m Optical-Infrared Telescope• Kiso 105cm Schmidt Camera

Nobeyama 45m• Okayama 188cm Optical Telescope• Nobeyama 45m Radio Telescope• Nobeyama Millimeter Array• Nobeyama Radioheliograph

Subaru• VSOP• VERA• ALMA

September 29, 2006

特定領域研究 情報爆発

3

Data Resources in the World• ESO VLT @ Paranal• ESO telescopes @ La Silla• Telescopes in Mauna Kea
Subaru, Keck, JCMT, CSO, SMA,,,• Telescopes on board satellites
HST, GALEX,,,,

September 29, 2006

特定領域研究 情報爆発

4

Planned Data Resources• ALMAALMALSST• JWST• LSST• LOFAR• SKA• Thirty MetreTelescope• Giant Magellan Telescope

SKA• European Extremely Large Telescope

September 29, 2006

JWST

特定領域研究 情報爆発

TMT5

Too hard to collect andanalyze whole data.
Need Cat’s help

Data Rate

Accelerate astronomicalresearch, and sufficient
time for research itself !! Virtual Observatory

September 29, 2006

Nobeyam Radio Obs.

~ 1 TB/yr

SUBARU telescope~ 20 TB/yr

ALMA~ 1 PB/yr

Even for educational use

特定領域研究 情報爆発
Accessible from anywhereat any time6VO– New Research Infrastructurein the 21st Century
A collection of integrated
astronomical data archives andsoftware tools that utilize
computer networks to create anenvironment in which research
can be conducted.
http://www.encyclopedia.com/html/v1/virtobserv.asp
September 29, 2006

特定領域研究 情報爆発

7

International Endorsements• IAU XXVth GA Res. (2003 Jul.)• OECD Rec. (‘04 Aug)– place archives that may be accessible
via internet– provide adequate funding as long-term
issues

September 29, 2006

特定領域研究 情報爆発

8

VO Projects in the world• 16 countries and a region• International Virtual Observatory Alliance (IVOA)
Standards to interoperate VOs

http://www.ivoa.net/

September 29, 2006

特定領域研究 情報爆発

9

Standardization in IVOA
• Query Language to Federated DBs (VOQL)• Access resource meta-data based on theOAI-PMH• Access Images, Spectra, Catalogues, etc：
SkyNode, SIAP, SSAP, STC, etc.
• Unified Attribute Names：
UCD (Unified Contents Descriptions)• Output format：VOTable (XML)• and so on
September 29, 2006

特定領域研究 情報爆発

10

September 29, 2006

特定領域研究 情報爆発

11

Schematic diagram of VOs
Web Services

Input Queries and Analysis
Parameters

Web Services

Resource Meta-data

Web Services

User
Interface・Query Editor
・VOTable viewer
・DB queries
・Plotter
・etc

Controller

SIAP/SSAP/SkyNode・parser・scheduler
・Service caller

User

US/CAN

SIAP/SSAP/SkyNode

Web Services
EuropeSeptember 29, 2006

特定領域研究 情報爆発
JVO
Portal Server

12

Exchange of Meta Data:OAI-PMH
Searchable Registry
Publishing Registry
Publishing Registry

Query Servicesouso varitsseAcc

DataServiceesservic

AnalysisService
Virtual Observatory Client

September 29, 2006

特定領域研究 情報爆発

13

September 29, 2006

特定領域研究 情報爆発

14

September 29, 2006

特定領域研究 情報爆発

15

September 29, 2006

特定領域研究 情報爆発

16

September 29, 2006

特定領域研究 情報爆発

17

September 29, 2006

特定領域研究 情報爆発

18

September 29, 2006

特定領域研究 情報爆発

19

Study on Environment around QSOs

September 29, 2006

特定領域研究 情報爆発

20

Interconnected VO Data services in
the World

Canada VO

September 29, 2006

特定領域研究 情報爆発

21

Latest Science outputs• IAU GA – VO Special Session (SPS3)– August 17, 18, 21, 22 & 23

• 500+ participants registered– ~30 science talks out of ~50– ~100 posters

September 29, 2006

特定領域研究 情報爆発

22

September 29, 2006

特定領域研究 情報爆発

23

VO Summer School (August)

September 29, 2006

特定領域研究 情報爆発

24

Work Flow Description Language(XML tags)• 変数定義– <variables> 〜 </variables>• 逐次実行– <sequence> 〜 </sequence>• <variable>を要素にとる• 外部サービス呼出– <invoke> 〜 </invoke>• <input>・<output>を要素にとる• 属性値でサービスを指定• 内部コマンド実行– <command> 〜 </command>• <input>・<output>を要素にとる• <command>などを要素にとる• ループ処理– <for> 〜 </for>• 要素を順次実行する– <parfor> 〜 </parfor>• 要素を並列実行する• 条件判定– <if> 〜 </if>

BPEL4WS※をベースにして天文学解析フローを記述するためのタグを実装※BPEL4WS = Business Process Execution Language for Web Services
複数のウェブサービスを連係させ、複雑なフローを記述できる。

September 29, 2006

特定領域研究 情報爆発

25

September 29, 2006

特定領域研究 情報爆発

26

September 29, 2006

特定領域研究 情報爆発

27

Management of Multiple Servers• Data Analysis services under JVO– SExtractor (Image → Catalog)– HyperZ (Catalog → photometric redshift)• In operation on multiple servers→ Monitor and Discovery Service (MDS) server

JVO Portal

MDS Server
Service Request

ExecuteAvailable Server Info
Confirm Job CompletionJob Completion Info

# of Jobs
CPU load
Job status

Analysis Servers

Analysis ServerManagement Data

Job submission
ClientResults

Parallel Executions on Multiple Servers are available
September 29, 2006

特定領域研究 情報爆発28

並列実行の実装•

各解析サーバは、実行中のジョブ数やロード情報を定期的にMDSサーバに報告する。

•

クライアントは実行したサービスの実行場所 (URL) を解決するためにMDS サー
バに問い合わせる。その結果にもとづきジョブを実行（Web サービス）。

•MDS サーバは各解析サーバ上で走っているジョブの数等を管理しており、それに基づきジョブの投入が可能であるかを判断する。ジョブの投入が可能であるサーバの中から、ラウンドロビンロジックによって投入先を 決定し、クライアントに通知する。

•

実行可能なサーバが見付からない場合、クライアントは見付かるまで定期的にMDS サーバに問い合わせる。

•

ジョブは長い場合があるので、非同期実行になっている。ジョブの終了時に解析サーバー側から MDS サーバにジョブの終了を報告する。

•クライアントは定期的に MDS に自分が実行したジョブが終了したかを問い合わせる。終了している場合は、解析サーバーから結果の取得を行う。データの転送は ftp をつかっている。

September 29, 2006

特定領域研究 情報爆発

29

September 29, 2006

特定領域研究 情報爆発

30

Presentations• Invited talks– COSPAR GA in Beijing (Ohishi)– IAU GA in Prague (Yasuda, Ohishi)– ADASS in Tucson (Shirasaki)– RIKEN (Ohishi)• Contributed papers– SPIE in Orland (Shirasaki)– IVOA InterOp meetings (Shirasaki, Tanaka)– IAU GA in Prague (Shirasaki)
September 29, 2006

特定領域研究 情報爆発31

New Moves• Some VO projects move from R&D phase
to operations phase– UK, Japan, US, EU,,,• New VO projects– Brazil, Chinese Taipei, Blugaria, Tagikistan,Ireland, Czech,,,September 29, 2006

特定領域研究 情報爆発

32

Items to be done
• Complete WFDL / WF execution mechanism
 IAU/IVOA standard• Distributed Storage to store query/analysis
results• Secure access to VOs : single-sign-on• Other Standardizations– Standard application interface• Advertisement to Data Centers / Astronomers– data centers need implement VO interfaces
September 29, 2006

特定領域研究 情報爆発33