天文学の大規模データへの応用
高深度宇宙観測データ処理DB

高田唯史、古澤久徳、古澤順子、大坪貴文（国立天文台天文データセンター）

2021/10/12

NEDOプロジェクトユーザー会

1高速データベースと天文学の大規模データ• 口径8メートルの光学望遠鏡（すばる）に装着された超広視野カメラ（Hyper SuprimeｰCam:HSC）による深宇宙探査観測による宇宙の進化の研究◆1000平方度を超える広い視野の観測（視野数は1000以上）◆各露出により50～100万個程度の天体（＋α）に関する明るさ、位置、形の測定値◆測定値に関連するパラメータは数百～数千◆露出数は10～数百程度（同じ天体に対する時系列情報）◆波長方向には5つ（または10以上）のフィルター• 高速検索する必要のあるデータベーステーブルの規模は

レコード数：（観測する視野の数）×（露出あたりの天体数）×（露出数）×（フィルター数）
カラム数：測定パラメータ数✓8億以上の天体に対してO（103）個のカラム×5種類以上の波長情報✓300～400億天体（延べ数）で1000個程度のカラム×5種類の波長情報のようなデータベーステーブルに対する高速検索＋高速分析が必要になる。
2021/10/12

NEDOプロジェクトユーザー会

2

約1.7度

約2分角（0.033度）

30分角

1領域で約13億ピクセルの画像
約15分角

超広視野カメラ2021/10/12 HSC

すばる
望遠鏡NEDOプロジェクトユーザー会3データ量(HSC戦略枠5年分(1世代)の試算)
各サーベイの生み出すデータプロダクトのカタログデータ量(20160629 版)
サーベイ

CCD 画像数

CCD カタログCCDDB 容モザイク

モザイクカタモザイク DB

総天体数

量(GB)

画像数

ログ総天体数容量(GB)

Wide

244541035702993291

71400

1500001300000000

62100

Deep

3551585185302959

10400

44800

50000000

2000

Ultra-Deep2051482995161184

6000

1200

10000000

600

合計

300571643883457434

87800

1960001360000000

64700

HSC 戦略枠サーベイと既存サーベイのデータ量比較
画像ファイル数

画像ファイル容量

カタログ天体数(TB)
HSC 戦略枠

22000000

カタログ DB 容量(GB)900.0（フレーム毎）1360000000

15250043900000000

1219

SDSS-DR7

6500000

15.7

357000000

2600

2MASS

41214398.5

471000000

160

2021/10/12

NEDOプロジェクトユーザー会

総天体数 ～13.6億（～2000カラム）
延べ数（439億）（数百カラム）
生データ 2GB/shot

画像容量 900TB＋α
データベース 152TB+α?
4

Tsurugiプロジェクトにおける天文データの応用-- 2つの柱 -• （最新かつ大量なデータを用いた）複雑なクエリワークロードを利用したス
キーマ推薦と大規模データ分析◆現在のPostgreSQLクラスターでは遅い（遅すぎる）クエリーの高速化✓ 12時間以上かかるようなクエリーを高速化して、研究の高効率化✓ クエリーログ解析によるクエリー高速化情報の構築（スキーマ推薦）✓ 画像解析の各段階で生産される多様な情報の連携による高度なスクリーニング（前処理）✓ 今までできなかった検索結果を用いたトライ＆エラー・チャレンジ->データ品質評価・管理・制御✓ 発展型としてのマルチバンドカタログを利用した距離推定の高速化と銀河進化の研究• 大量のデータを用いた探索的データ分析◆巨大テーブルを用いての時間軸方向の探索的データ分析✓ 時系列データ作成による変光天体や移動天体の検出、それによる科学研究✓ 数十から数百回の観測・測定->レコード数が多すぎて既存DBエンジンでは苦しい✓ 変光天体（明るさの変化する天体）の（自動）分類✓ 多数（数百万超）の巨大ブラックホール天体による観測的宇宙進化の研究✓ 重力波天体・超新星等の突発天体検出と即時アラート発信システムにつなげる✓ 移動天体の検出－＞既存天体の軌道情報改善、新天体の発見（危険小惑星）＋α

2021/10/12

NEDOプロジェクトユーザー会

5高速データベース導入によるデータ戦略スキーム
画像データ解析の様々な段階（画像スタック済や各露出について）✓ 画像に関するメタデータ✓ 天体カタログ

各天体についての情報のとりまとめ

データ品質の評価

超高速な検索やデータ分析が可能なデータベース
Tsurugi（OLTP）+ Spark(OLAP)のHTAP運用
科学目的のデータ分析
多次元データ解析
時系列解析
異常検知
クラスタリング
分類
2021/10/12

その時点で得られている情報を最大限利用した各天体についての情報のとりまとめ
NEDOプロジェクトユーザー会

データクレンジング・
品質制御

6OLAP：検索時間の比較 PostgreSQLクラスター（旧来処理）vs Spark環境（分散処理）QUERY 1QUERY 2
2525

24

24

20
9108880
1st

2nd
3rd
4th
Num of Process

QUERY 3
Existing DB4488

Processing Time [s]2427611600

444

1010438426

15th

QUERY 17

Test DB

Existing DB

250
200

193

191

190

188

185

150
100
50

28

271110100
1st

2nd
3rd
4th
Num of Process

2021/10/12

5th◼ 計測した全てのqueryにおいてSpark環境(分散処理)の方が処理が高速(query3は2桁の違い)◼ 初回の処理時間のみに注目した
場合、ほぼ差がないqueryもあり(query1)

QUERY 4

4440

9438

432

2nd
3rd
4th
Num of Process

Existing DB

9606

0
1st26606

200

2桁速い！
4478

607

605

400

5th

1000
100

800

Test DB

4539

4471

Test DB

Processing Time [s]25

Existing DB
Processing Time [s]30

Test DB

Processing Time [s]Processing Time [s]Existing DB

Test DB

Test DB (1 table)

120
100

97

80
60
48

40

39
41

39
29

20

1938
28

2038
28

26

190
1st

2nd
3rd
4th
Num of Process

NEDOプロジェクトユーザー会

5th

1st2nd3rd4th
Num of Process

5th718Sparkを用いたクエリー高速化についてはSPIE（The International Society for
Optical Engineering）のカンファレンス“Astronomical Telescopes +Instrumentation 2020”（https://spie.org/conferences-andexhibitions/astronomical-telescopesand-instrumentation?SSO=1）においてJ.
Furusawa et al.(2020)論文として発表

2021/10/12

NEDOプロジェクトユーザー会

8品質評価の一例：

各CCDにまで遡ったデータ品質評価
測光（天体の明るさを測定すること）の精度の評価
明るさが変動していないと思われる天体をDBからピックアップ
各天体について全てのある程度性とよく測定できたと思われる測定値の平均（メジアンでも良い）とある露出時の明るさの差を求める
各CCDについて情報をまとめ、平均値と標準偏差をマップする

2021/10/12
測光ゼロ点のズレ

NEDOプロジェクトユーザー会
明るさの差の分布の標準偏差9各CCDにまで遡ったデータ品質評価
各CCDについての星像サイズの評価
測定値

各露出について、S/Nの良いデータに基づいた情報を利用して、星と思われる天体を抽出抽出された各天体について星像サイズの推定
各CCDについてまとめた上で、平均値、分布の標準偏差、それらの空間分布を確認
星像モデル

2021/10/12

観点：
あまりに星像が変なデータは分析から除外
測定値の星像（要は地球大気の状態）依存度
空間（2次元）分布（特にモデル）の正常性確認
NEDOプロジェクトユーザー会

10