大規模データ時代を見据えたデータ解析システムJVOによるSuprime-Camデータモザイキングシステムの現状とTMT時代へ向けた今後の戦略国立天文台天文データセンター白崎裕治会増する天文デ•全世界の天文データは1年で倍増• CPU性能が2倍に向上するのに要する期間: 2年・1 CPUコアあたりの性能向上は限界。マルチコア化。 •並列実行しないと解析速度は速くならない →並列計算システム•ネットワーク速度の向上もデータ量の増大に追いつけていない→デー –対応年表口口タと解析資源を一するのがBest.

ロすばる望遠鏡400億円
■  445 refereed papers (~2007年)⇒ 1億円/paper
ロTMT 1000億円？
・国内研究者が分担額に見合った成果を上げることが求められる•データの占有期間(1年？)内に結果を出さないと... •「どういったサイエンスをするか」に加え、「いかに効率的に成果を達成するか」といった戦略が必要ロ取得したデータを速やかに解析できる環境を構築し、国内研究者間で共有できる仕組みづくり。ロアーカイブデータを利用できる形で配信し、研究成果をさらに促す。従来型解析手法の限界ロ大容量ディスク＋並列計算システムが必要生データのリダクションは装置毎に異なりラーニングコDストが高い口正しい方法で解析されていないデータによる間違った研究結果が発表されてしまうリスケリダクションソフトがすべてのOS環境で正しく動くとは限Dらない…
ロデータセンターがデータリダクションまでサポート•データアーカイブと連携動作するリダクションシステム•データ移動のコスト最小化・アーカイブ側に計算機資源を集中(並列計算システム)。計算資源の味有。 ・リダクションソフトの管理を一元化。過去バージョンのソフトによる再リダクションをサポート。 ・請求の多い処理済みデータはアーカイブに蓄積。同じリダクションを繰り返さない。 Portal Service 2.データ処理の実行要求またはアーカイブから処理済みデータを取得
ロすばるデータリダクション解析システム▪データアーカイブと並列解析システムを専用ネットワークで高速接続(128Gbpsバックプレーン) ▪合計48 CPUコアにより過去5年間分のデータを約1週間でモザイク画像まで作成可能▪  WebブラウザIFでユーザがジョブ実行可能ロデータセット毎にモザイク処理までされたデータを用意。 ▪ 2072セット中1841セットを処理済み▪ seeingで選んで4レベルまでのモザイク画像¤  superfine (<0.8"), fine (<1.0"), good (<1.2"), no-selection ■ Astrometric Calibration : 0.32" (peak), 1.3" (99%) ■ Photometric Calibration :これから… p00 ver.080725 News | FAQ(J) | Help(J) | Bues(J) Yuji Shirasaki
Check All Object Name 20元了A 
Top | Search | VO Services | Subaru | Analysis | Workflow | JVO Space p00 ver.080725    News | FAQ(J) | Help(J) | Bugs(J) on Top Page > Subaru > SPCam > Object Info > Mosaic Info
COSMOS W-S-I+ (080620_214814_g08_94) Help(J) Exposures | Flat Field Summary QL Image Mosaic frame:  Download  2818.85 MB Super fine frame:  Download  2798.1 MB (FWHM < 0.8 arcsec) Download | 2818.84 MB (FWHM < 1.0 arcsec) Fine frame: I Download | 2818.84 MB (FWHM < 1.2 arcsec) Good frame:完了3) Subファイル
". Subaru Suprime-Cam Dat 00 , IVO Data Viewer 00 JVO Data Viewer Top | Search | VO Services | Subaru | Analysis | Workflow | JVO Space [Logout] News | FAQ(J) | Help(J) | Bugs(J) p00 ver.080725 ion: Top Page > Subaru > SPCam Yuji Shirasaki Suprime-Cam Help(J) Reduction Object Name Date Job Status Command Queue ◎ mosaic.sh  ○ cal-flat.sh  ○ command list RA Dec Size OBJECT or Not selected FILTER MAX humidity (%) MAX FRAMES 100 MAX seeing (arcsec) Date (yyy-mm-dd) From To 🌸 Skip Quality Check Only Data Retrieval SI Excluded exposures (exposure id, comma separated) Job Class Normal Register OK <完了標またはオブジェクト名とフィルタ一名を指定ればモザイク処理パイプラインを実行可能•環境パラメータや観測時刻の指定も可能。利用したくないフレームを直接指定することも可能・観測装置に固有なパラメ一タ指定がないので、 Suprime-Cam一の知識がなくてもOK.

ロ  4.4.5 TMT Data Archive
■  Discussion: as of December 2006, a TMT data archive is not considered to be part of the baseline TMT construction or operations plans. ... TMT has two options: build its own data center or form a partnership with an existing data center. Given the large amount of data center expertise that already exists within the TMT Partnership, the latter option seems more attractive and cost effective at this time. “データベースは既存のデータセンターにお任せしたい”

■ 5.2.8 Data processing
▪ The TMT Observatory shall take the data processing modules (typically) produced by instrument development teams and create observatory-based data processing pipelines.  These pipelines shall be used for guick-look reductions during observing, system performance monitoring, and (where useful) calibrated science products. “クイックルック用のパイプラインは用意するよ”
• TMT観測所からデータを国立天文台へミラ•国立天文台 TMT アーカイブから国内の複数拠点へ再ミラー ・拠点ミラーからサブセットのみを国内の希望する大学・研究所へec行・各サイト国政解析システムも配道。これらの解析システムはデタセンターが全件リダクションを行う際、または一般ユーザがJVO経由によるリダクション実行する場合に利用される。 ・各サイトの解析システムはホスト天学・研究所の研究者は自由に利用可。 •データ移動時間のロスを軽減、計算資源の有効利用。
ロ大規模データ時代の到来は目前ロ大規模データを効率的に処理する計算システムの導入は不可欠ロデータセンターがそうした基盤を整備し、国内研究者が「大規模かつ高品質データ」で世界と戦える環境を提供していくことが必要ロそうしたソフトウエア開発を行える人材育成や情報学研究者との連携が重要■ ADASS 2008カナダケベック11/2-5ם ADASS 2009 日本札幌10/4-8