ALMA
プロポーザル審査のTips

Based on the material by JAO Proposal Handling Team,
Andrea Corvillon, John Carpenter
I-TRAIN by EU ARC network,https://almascience.nao.ac.jp/tools/eu-arc-network/i-train

Distributed Peer Reviewの基本ステップ
各プロポーザルのチームは1名ずつ、レビュアーを指名する

プロポーザル・ハンドリングチーム（PHT）が10本のプロポーザルを1名のレビュアーに割り振る

レビューワーは各プロポーザルに対してランク付けを行い、また審査コメントを書く

審査スケジュール1) プロポーザルPIはObserving Tool上でレビューワーを指定

1) レビューワーはUser Profileでexpertiseを登録
2) レビューワーはUser Profileで利害関係者のリストを登録(オプション)1) 割り当てられたプロポーザルとの利害関係を申告(5/11まで)
2) ６月1日15:00UT(24:00JST)(厳守!) までに審査を完了
1) 他のレビューワーのコメントを確認 (オプション)
2) 必要に応じて自分がつけたランクとコメントを改訂（オプション）PIによるレビューワーの指定
1) プロポーザルPIはObserving Tool上でレビューワーを指定

学生もレビューワーになれますが、審査を補助するメンターを登録する必要があります。

レビューワーのexpertiseの登録
1) レビューワーはUser Profileでexpertiseを登録
2) レビューワーはUser Profileで利害関係者を登録(オプション)

1) ALMAサイエンス・ポータルにログイン
2) User Profileを編集
3) NextボタンでExpertiseタブへ移動
4) 自分の専門分野のキーワードを選択
5) NextボタンでConfirmタブまで移動して、保存Conflicts of Interestの登録（オプション)1) レビューワーはUser Profileでexpertiseを登録
2) レビューワーはUser Profileで利害関係者を登録(オプション)

1) ALMAサイエンス・ポータルにログイン
2) User Profileを編集
3) NextボタンでConflict of Interestタブへ移動
4) 利害関係にあたる(その人のプロポーザルを審査したくない)ALMAユーザーを登録
5) NextボタンでConfirmタブまで移動して、保存審査するプロポーザルの割り当て
レビューワーと同じキーワードのプロポーザルを割り当てる

レビューワーと同じサイエンスカテゴリのプロポーザルを割り当てる

別のサイエンスカテゴリのプロポーザルを割り当てる

レビューワーがexpertiseを登録していない場合は、レビューワーが出したプロポーザルに設定されているキーワードがマッチングに使用されます。

審査するプロポーザルの割り当て
レビューワーが登録した利害関係者（Conflicts of Interest）に、プロポーザルPI、Co-PI、またはCo-Iが含まれているプロポーザルについては、そのレビューワーに該当のプロポーザルは割り当てられません。
レビューワーが利害関係者のリストをUser Profileで登録していない場合は、過去3サイクルのALMAプロポーザル提案の情報にもとづいて、プロポーザル・ハンドリングチーム（PHT）が利害関係を同定します。

レビューワーは、プロポーザル割り当ての後からでも利害関係の有無を申告できます。

Stage 1: 割り当てられたプロポーザルを審査する
1) 割り当てられたプロポーザルとの利害関係を申告(5/11まで)
2) ６月1日15:00UT(24:00JST)(厳守!) までに審査を完了

割り当てられたプロポーザルで、さらに利害関係（conflict of interest）が判明した場合は、それを申告する
例：同じ科学目標で同じ天体を観測している場合

Conflictを提出した後に別のconflictが判明した場合は、PHTに連絡し、別のプロポーザルを割り当ててもらうようにしてください。

Stage 1: 割り当てられたプロポーザルを審査する
1) 割り当てられたプロポーザルとの利害関係を申告(5/11まで)
2) ６月1日15:00UT(24:00JST)(厳守!) までに審査を完了• 科学的メリットに基づき、提案を1（最も強い）から10（最も弱い）までランク付けする• プロポーザルの長所(strengths)と短所(weaknesses)をまとめたコメントを書く• コメントはそのままプロポーザルのPIに送信されることに留意する• 期限内に審査結果が提出されない場合、レビュアーの自身のプロポーザルはキャンセルされることに注意！
• ステージ2が6月2日に始まるため、締切の延長は認められない
プロポーザル提出締切後に、何らかの事情によってレビューワーを変更することは可能です。
プロポーザルPIがPHTに連絡してください。ただしStage 1の締切は変更されません。

Stage 2: ランクと審査コメントを完成させる
1) 他のレビューワーのコメントを確認 (オプション)
2) 必要に応じて自分がつけたランクとコメントを改訂（オプション）• 他のレビュアーからのコメントを読んで、重要な長所や短所を見落としていないか確認する• 必要に応じて、自分の審査結果（ランクやコメント）を更新する

Stage 2は任意です。Stage 2を完了しない場合、Stage 1のランクとコメントが最終のものとみなされます。

プロポーザルを審査する
審査の基準

プロポーザル審査にあたってのヒント

PIへのコメントの執筆

ALMAサイエンスポータル（Proposing  ALMA Proposal Review）にて詳細なガイダンスをご覧いただけます。

プロポーザルの構成
アブストラクト

Scientific Justification

レビューワーはこれらのすべてを確認する

Technical Justification

審査の基準学生の皆さんは、科学的意義や観測の妥当性についてメンターと議論してみよう。どのようなALMA観測が天文学の進展に寄与するだろうか？

総合的な科学的メリットは？

• プロポーザルは、どのような重要かつ未解決の問題に取り組むかを明確に示しているか？
• 提案された観測は、その特定の分野に高い科学的インパクトを与えるか？
また、プロポーザルで掲げられた科学的目標にきちんと対応しているか？
• 科学的目標を達成するために、データをどのように解析するかがはっきりと記述されているか？

科学目標を達成するために適した観測になっているか？

• なぜその観測対象(ターゲット)を選んだかが明確に記述されており、かつ、それは納得できる理由か？
• プロポーザルで要求されているシグナル・ノイズ比、空間分解能、最大角度スケール、周波数設定は、科学的目標を達成するのに十分か？
• 目標達成のためになぜ新しい観測が必要なのかが記載されており、その内容は妥当か？

Technical Justificationの確認
ALMA Observing Tool

（大部分の）技術的検証はObserving Tool (OT)が行う
プロポーザルはOTによるvalidationを経て投稿されている。そのため、レビューワーは、要求された感度、空間分解能、最大角度スケール、相関器のセットアップ等で観測が実施可能であると仮定して良い

レビューワーは、観測設定が科学的目標を達成するのに十分であるかどうかを評価する
Sensitivity
感度Correlator setup
相関器設定

Largest angular scale
最大角度スケール

Angular resolution
空間分解能

プロポーザル提案者は、必要に応じて適切に文献を引用しつつ、観測設定の妥当性を明瞭に示しておく必要があります。

Technical Justificationの確認
レビューワーは、スケジューリングの実現可能性（例えば高周波数バンド、時間に制約のある観測など）は気にすべきでない• スケジューリングの可能性についてはJAOが必要に応じて判断する

Dual-anonymousのガイドラインに反していると思われる場合• PHTへ報告する（PHTへメールする、ツール上でJAOへのコメントを記入する）• ガイドラインに反していると思われる場合でも、ランキングを検討する
際はそのことを考えず、ランクに影響が出ないようにする

審査コメントの書き方
Best practice• 長所(strengths)と短所(weaknesses)の両方をまとめる• Strengthsとweaknessesが矛盾した内容にならないように注意する• 些細なweaknessが低いランキングの原因であるかのような印象を与えないようにする• プロポーザルの要約を審査コメントとして書かないようにする（要約することは、審査することではない）• 簡潔な（〜1文）要約を含むことはもちろん差し支えないが、内容の大部分は、プロポーザルのstrengthsとweaknessesを議論するものでなければいけない

審査コメントの書き方
Best practice• 審査コメントは、きちんと文章として記述する（例えば、体言止めの箇条書きなどは避ける）• 意味が伝わるように簡潔に記述する• 長いコメントを書けば良いというものではないが、1文のみのコメントは避ける

審査コメントの書き方
Best practice• 審査コメントは、意味が正確に伝わるように、なるべく具体的に書く• ほとんどのプロポーザルに当てはまるような、ごく一般的な記述は避ける• 審査コメントの中で、提案者に質問を投げかけないようにする- 審査結果の確定前に、提案者から回答を受け取ることは無い- 回答によってランクが変化するような事柄を、ランク付けの根拠にしない• レビューワーとしての質問や疑問は、プロポーザルの弱点(weaknesses)に関係する場合が多い。審査コメントには、その弱点を直接的に記述する。

審査コメントの書き方
Best practice• プロフェッショナルで、建設的であるようにしよう• 皮肉や侮辱的な言葉を使用しない• PIや提案チームを批判するのでなく、プロポーザルの中身を議論する• 無意識にバイアスをかけていないかどうかに注意する• 事実にもとづいて、できるだけ客観的に審査する

審査コメントの例
プロポーザルのごく短いサマリ

プロポーザルの具体的な長所(strengths)

プロポーザルの具体的な短所(weaknesses)
提案の内容について長所と短所を示します。
PIや提案チームの批評をしてはいけません。

誰でも有用な審査コメントを書くことができる
審査コメントがどのくらい役に立ったか vs. レビューワーのキャリア(Cycle 8のアンケート結果より）

学生や若手のポスドクも、より経験を積んだ天文学者と同じぐらい、有用なコメントを書いています。

何本のプロポーザルを審査するか審査コメントがどのくらい役に立ったか vs. そのレビューワーが審査したプロポーザルセット(10本)の数 (Cycle 8のアンケート結果より）審査数を3セット以下に抑えることがPHTのお勧めです。プロポーザル提出時に、PIはOTでCo-Iをレビューワー指名できます。

審査コメントの長さ
Cycle 8での審査コメントの長さ
Cycle 8では典型的には700字程度、あるいは文の数で言えば6文程度だった
長ければ良いというものではないが、短すぎると、ランクの根拠がわからない、ランクとどう結びついているか分からないといった点で、有用でないと感じるPIが多かった

1つのプロポーザルセット(10本)を審査するのに、1～2日間はかかると予定しておいた方が良いでしょう。

まとめ
ALMA distributed peer review• プロポーザルの締切前と締切直後に行うこと- レビューワーの指定（プロポーザル締切前）- レビューワーはサイエンスポータルでUser Profile情報を更新• Stage 1: ランク付けと審査コメントの記入 （必須）
• Stage 2: ランクとコメントの更新（任意）レビューワーの仕事• レビューワーは、プロポーザルの全ての要素を考慮し、科学的価値と観測の妥当性を検討する

Cycle 8の経験を踏まえて• 誰でも有用な審査コメントを書くことができる• それなりに労力がかかることに留意- 1つのプロポーザルセット(10本)の審査に、1～2日間は見ておいた方が良いだろうまとめより詳しい公式の情報については、ALMAサイエンスポータルを参照してください

https://almascience.org/proposing/alma-proposal-review• Dual-anonymousガイドライン• Distributed peer reviewの説明• レビューワー向けの詳細な審査ガイドライン• よくある質問(FAQ)が掲載されています