ALMAサイエンスアーカイブ
利用法とデータ構造中西 康一郎(国立天文台/総研大)1

ALMAアーカイブ概要

2

ALMA Science Archive

テキスト 5.1章• ALMAのデータへのインターフェース– 観測提案者(PI/Co-I)もアーカイブユーザーも• 全科学観測データがアーカイブに保存• 観測提案者の占有期間は(原則)一年、その後は広く公開される(誰でも使える)!
• 「宝の山」– ALMAデータは情報量が非常に多い– 論文化されていないデータも少なくない• ぜひ、アーカイブデータの活用を!

– ALMA論文の約3割がアーカイブデータを利用
3

アーカイブを使った論文
査読付論文の約3割がアーカイブデータを利用© ESO, telbib

4Quality Assurance (1)テキスト 5.2章• アーカイブに保存されたデータは、全てQuality Assurance(品質保証)済み– 信頼できるデータだけを提供する– 詳細はTechnical Handbook 11章• ダウンロードできる天体画像・スクリプ
ト等はQuality Assurance Level 2 (QA2)で生成されたもの– PIの要求(感度、角分解能)を達成しているか?
– データに問題は無いか?

6

Quality Assurance (2)テキスト 5.2章• アーカイブの天体画像(QA2画像)は、あなたのサイエンスには必ずしも最適ではないかもしれません– 例: 速度(周波数)分解能が高すぎる– 例: 異なるアレイや配列のデータを足してない• 「参照用画像」– 標準的な処理の結果• アーカイブにある画像では不十分?
⇒ 生データもダウンロード、画像再合成
7

ALMAアーカイブとJVO

テキスト 5.2章• ALMAアーカイブ– 観測生データの提供– 配布データ全体(スクリプト等を含む)の提供– 発展的な検索オプション• Largest Angular Scale、複数天体、複数バンド、出版論文など– 天体画像ファイルのクイックルック(CARTA)• JVO– ALMAアーカイブでは非サポートの検索• ファイルサイズ、ピクセルスケール– 天体画像ファイルのクイックルック(webQL)• ALMAアーカイブとJVOは相補的な存在、上手に使い分けましょう

8アーカイブ検索とダウンロード

9Science Portal

テキスト 5.3章[Data]→[Archive]を選択
アーカイブの初期画面へ

https://almascience.nao.ac.jp/
16

アーカイブ画面(初期画面) テキスト 5.3章

観測リスト(全データを表示・非常に長いリスト)

https://almascience.nao.ac.jp/aq
17アーカイブ画面(初期画面) テキスト 5.3章
背景画像は切替可能 (ガンマ線~センチ波)https://almascience.nao.ac.jp/aq18アーカイブ画面
天体画像(カラー)+観測視野(黄色線)

テキスト 5.3章

観測周波数

観測リスト(表形式)

https://almascience.nao.ac.jp/aq
19絞り込み検索(1)

テキスト 5.4章

リスト最上部の入力ボックスに絞り込み条件(数値/文字列)を入力→即時に絞り込みを実行
20

絞り込み検索(2)

テキスト 5.4章

マウス左クリックで詳細メニューが開く

天体の別名を使った検索

複数天体の検索(テキストファイルをアップロード)

公開データのみ表示させたい場合にチェック

21

絞り込み結果(観測単位)

テキスト 5.4章

リスト(下)でマウスポインタが置かれた観測(行)の視野が明るい色でハイライトされる

22

絞り込み結果(観測単位)

テキスト 5.4章“Science keyword”などはマウスポインタを置くと詳しい内容がポップアップで表示される

マウスを横に長いリスト、横方向にスクロールすれば隠れていた項目(列)が見られる
23

絞り込み結果(プロジェクト)
テキスト 5.4章

タブをクリックして表示を切り替えられる

24

絞り込み結果(出版リスト) テキスト 5.4章

タブをクリックして表示を切り替えられる

25

天体画像プレヴュー(1) (参考)テキスト 5.4章
QA2レポートを表示

パイプライン処理ログ表示
ファイル名をクリックして即時ダウンロードできる
簡易ヴューアー起動
プレヴュー画像表示
CARTAが起動

ポップアップが開き、プレヴューする天体画像と表示形式を選択する

26

天体画像プレヴュー(2)(参考)テキスト 5.5.3章
CARTAによるプレヴュー

27

類似プロジェクトを表示 (参考)テキスト 5.4章

類似するプロジェクトを表示(titleとabstractから判断)

28

Ups! an error occurred

1.絞り込みを(全て)解除してみる
2.ページをリロードしてみる
3.ブラウザを再起動してみる29

ダウンロード要求(1)

テキスト 5.5章(1) ダウンロードしたいデータをチェック
32

ダウンロード要求(1)

テキスト 5.5章(2) Request Downloadをクリック

33

ダウンロード要求(1)• 現在(2022年7月時点)、“NEW” と “OLD”の2種類が選択可能• 本講義では“OLD”を利用• 将来は“NEW”のみが利用可能に

35

ダウンロード要求(2)README

テキスト 5.5章

product(天体画像ファイル)
auxiliary(データ処理用scriptなど )raw(観測生データ)
raw semipass(観測生データ,処理には使われない)37

ダウンロードファイル選択 テキスト 5.5章
• ファイルは大きく分けて4カテゴリ• それぞれまとめてダウンロード可能(tar)• README• 天体画像ファイル (product)• データ概要、データ処理用スクリプト、
解析ログなど (auxiliary=補助の、付属の)• 生データ (raw)• 外部(追加)ファイル (external) ※一部のみ
38

ダウンロード要求(3)テキスト 5.5章

三角印があれば、クリックすると内容ファイルを展開表示する

39

天体画像のプレヴュー

アイコンをクリックするとCARTAによる画像のプレヴューが可能

40ダウンロード要求(4)テキスト 5.5章(2) Download Selectedをクリック(1) 複数ファイルをまとめてダウンロードしたい場合はチェックボックスをクリック →チェックマークが入る(0)リンクをクリックして直接ダウンロードも可能
42

ダウンロード方式を選択

テキスト 5.5章

bashスクリプト(コマンドラインから実行)(使用できません)
ファイルへのリンク(URL)を表示

43

ダウンロードスクリプト

テキスト 5.5章• スクリプト(bash)をダウンロード
ファイル例:
downloadRequest1234567890123.sh• Linuxコマンドラインから実行$ /bin/bash downloadRequest1234567890123.sh44

アーカイブファイルの中身と構造45

アーカイブファイルの中身 テキスト 5.6章
• 天体画像ファイル (FITS)• データと解析の概要 (ドキュメント)• データ処理詳細ログ• データ処理用ファイル(生データ、スクリプト)46

アーカイブファイルの構造 テキスト 5.6章
ディレクトリツリーの例 (product/auxiliary/raw/READMEをダウンロード)• README: 概要• qa: 解析状況(weblog, QA2レポート)• product: 天体画像ファイル• script: データ処理用スクリ
プト• raw: 観測生データ• calibration: データ較正ファイル• log: 解析ログ
• external: 外部ファイル 47

データと解析の概要

テキスト 5.6章• QA2レポート (サイクル5～; project番号>2017)– …qa2_report.pdf(html) (qaディレクトリ)• README (サイクル0～4; project番号<2016)– member.uid___...README.txt (テキストファイル)– (どちらか一方が含まれる)• データの基本情報や解析の概要(必読!)– 処理に使用したCASAバージョン– 処理手法(パイプライン/マニュアル)– 結果概要(ビームサイズ、ノイズレベル)– 解析担当者のコメント(注意点、アドバイス)– データ較正の再生方法
48

QA2 report: Heading

テキスト 5.6章

49

QA2 report: Comment テキスト 5.6章

50

README (pre-Cy5/post-Cy5
テキスト 5.6章
サイクル 0~4サイクル 5~52

天体画像ファイル

テキスト 5.6章• FITS形式、product ディレクトリ
サイエンス天体連続波 (全SPWs)
ライン (cube)
連続波 (SPW別)ライン (cube、ユーザー指定速度幅)53

サイエンス天体画像ファイル
テキスト 5.6章• FITS形式、product ディレクトリ
• (例)member.uid___A001_X131c_X67.NGC_346_sci.s
pw22.cube.I.pbcor.fits• member....(天体名_sci).(Spectral Window番号).
(キューブ/連続波).(ストークス).pbcor.fits– member…: データセットID– 天体名_sci: 観測(サイエンス)天体– cube/repBW = キューブ(3次元)mfs/cont = 連続波– ストークス(Stokes): I/Q/U/V54

ファイル名と内容例

テキスト 5.6章• NGC_346_sci.spw22.cube.I.pbcor.fits– NGC_346(天体名), Spw=22, キューブ(3次元), Stokes
I, 主ビーム補正済• NGC_346_sci.spw22.repBW.I.pbcor.fits– キューブ、ユーザー指定速度分解能• (このファイルが無いデータセットもある)• NGC_346_sci.spw22.mfs.I.pbcor.fits– 連続波(Spw=22だけ)• NGC_346_sci.spw16_18_20_22_24.cont.I.tt0.pbcor.fits– 連続波(全spw=16~24を使用、高感度)55

天体画像ファイル名について
テキスト 5.6章• 新しいデータ(サイクル5以降)は、統一された命名規則に従っている– ただしファイル名が長い– ラインの情報などは無い(spw番号のみ)• 古いデータ(サイクル4以前)は、命名方法が不統一– 目的のファイルを探し当てるには努力が必要かも知れません。READMEファイルが助けになる場合もあります56

目的のファイルの名前が見つからない…
• JVOでファイル名を調べておくのも一手

original fits nameカラム

57関連する画像ファイル

テキスト 5.6章• NGC_346_sci.spw22.cube.I.pbcor.fits– サイエンス天体, キューブ, 主ビーム補正済• NGC_346_sci.spw22.cube.I.mask.fits– CLEANマスク画像 (≈天体信号のある場所)• NGC_346_sci.spw22.cube.I.pb.fits– 主ビームパターン画像– 主ビーム補正済画像*主ビームパターン≡ (pbcor)*(pb) = 主ビーム補正前の天体画像
58較正天体画像ファイル

テキスト 5.6章• 例: member.uid___A001_X131c_X67.J22582758_bp.spw22.mfs.I.pbcor.fits• 天体名_(この部分)が’bp’, ’ph’などなどになっているものは、各種較正天体の連続波
画像ファイル– ph: ゲイン(位相・振幅)、bp: バンドパス、
check: チェック、polleak: 偏波較正59

データ処理詳細(weblog) テキスト 5.6章
• qaディレクトリに収録• 処理形式によってファイル形式が異なる• weblog(パイプライン処理)– HTMLファイル– ファイル名 member....hifa calimage.weblog.tgz• 解凍すると (例) pipeline-20190514T123456 ディレク
トリにweblogが展開される• 較正/イメージングが別々に行われていれば、weblogも別々に収録される(weblogが二つ存在)• mini-weblog (マニュアル処理)– pngファイル/textファイル

60

パイプライン処理: weblogテキスト 5.6章

61

パイプライン処理: weblogテキスト 5.6章

62

処理形式についてテキスト 5.6章• QA2レポート/READMEに明記• パイプライン処理– パイプライン(CASA)で処理、人手を介さない• マニュアル処理– データ処理担当者がCASAで処理– 偏波観測、太陽観測など• 両方で処理が行われる場合も– 較正処理はパイプライン、イメージングはマニュアル63

外部(追加)ファイル

テキスト 5.6章• externalディレクトリに収録• QA2の生成物ではない、追加のファイル– Large Programmeの成果物などを想定– 天体画像ファイルなど• ARI-Lによる画像ファイルが一部利用可能– サイクル2~4のデータを最新パイプラインで再イメージング– https://almascience.nao.ac.jp/alma-data/aril

65

データ処理用ファイル

テキスト 5.6章• データの処理(較正、イメージング)の再生(restore)を行うために必要なファイル• CASAスクリプト (scriptディレクトリ)– member.uid…scriptForPI.py– (単に‘scriptForPI.py’の場合もあり)• 生データ (rawディレクトリ)– ファイル名 uid___A002_X123_X456.asdm.sdm• キャリブレーションファイル (calibrationディレクトリ)
66較正処理の再生

テキスト 5.7章• 詳細は、講習会教科書(5.7章)、または、“QA2 Data Products”(5章、英文)を参照•(非常にざっくり申し上げると)• CASAを起動– QA2と同じバージョンがインストールされている必要がある (QA2 report/READMEを参照)• scriptForPI.pyを実行– execfile(‘scriptForPI.py’)
67scriptForPI.py

テキスト 5.6章

較正処理の再生用CASAスクリプト68

おわりに69

データのチェックをお忘れなくテキスト 5.2,5.6章• QA2レポート/READMEを必ず読みましょう– データについての基本情報– 解析中に見つかった問題点– 天体画像品質向上のヒントなど• 較正精度は?

– 妥当な科学的成果を得るためには必須!
– “Proposers’ Guide” A.9節に詳しく記載あり– 個々のQA2レポート/READMEも参照
70

謝辞 (Acknowledgement)

テキスト 5.8章• ”This paper makes use of the following ALMA
data: ADS/JAO.ALMA#2011.0.01234.S. ALMA isa partnership of ESO (representing its memberstates), NSF (USA) and NINS (Japan), togetherwith NRC (Canada), MOST and ASIAA(Taiwan), and KASI (Republic of Korea), in
cooperation with the Republic of Chile. The Joint
ALMA Observatory is operated by ESO,
AUI/NRAO and NAOJ.”– 詳細はScience Portalのメニュー“Data”→ “Publication acknowledgement”

71

もしかして不具合…?
• ヘルプデスクにてご一報ください
日本語もOKです!
https://help.almascience.org/• 機能追加などの要望もヘルプデスクへ– あるいはお近くのEA-ARCスタッフへ

72参考文献: テキスト 第5章 テキスト 5章

73

アーカイブドキュメント

テキスト 5.3章[Data]→[Archive]→[Archive Documentation]

https://almascience.nao.ac.jp/alma-data/archive/archive-documentation
74

参考文献: Manual & Primer
テキスト 5.9章

75

参考文献

テキスト 5.9章• アルマ望遠鏡データ解析講習会 テキスト

https://www2.nao.ac.jp/~eaarc/DATARED/lecture.html• Science Archive Manualhttps://almascience.nao.ac.jp/documents-andtools/latest/science-archive-manual• Using ALMA archival data - A Primer

https://almascience.nao.ac.jp/documents-andtools/cycle9/archive-primer• QA2 Data Products for Cycle 7

https://almascience.nao.ac.jp/documents-and-tools/cycle7/almaqa2-data-products-for-cycle-7• Technical Handbook (QA in Sec. 11)https://almascience.nao.ac.jp/documents-and-tools/cycle8/almatechnical-handbook• Proposers’ Guide (Calibration in Sec. A.9)

https://almascience.nao.ac.jp/documents-and-tools/cycle8/almaproposers-guide• The ALMA Science Archive (ESO Messenger)

http://ads.nao.ac.jp/abs/2017Msngr.167....2S76