機械学習を用いた銀河サーベイデータ解析手法のレビュー

森脇 可奈（東京大学）
2023年度 天文・天体物理若手夏の学校
2023/8/3

自己紹介
森脇可奈
所属：

• 東京大学ビッグバン宇宙国際研究センター（RESCEU）• 東京大学宇宙理論研究室（UTAP）

High-z galaxy (Moriwaki+18)

研究内容：• 高赤方偏移銀河• 宇宙再電離• 機械学習Today’s talk is based on our recent review
Moriwaki et al. (2023), Rep. Prog. Phys. 86 076901

ML for noise removal (Moriwaki+21)

Reionization (Moriwaki+19)

現在・今後の銀河サーベイ
DES

Roman

Euclid

KiDS
LSST

HSC

SKAO

数億〜数十億個もの銀河が今後見つかる → 機械学習を用いた自動処理がより重要に

機械学習の様々な応用例
Photometry (Kojima+20)

RandomnoiseWeak lensing map (Shirasaki+19)
Images (Dieleman+15)

パラメータ推定

渦巻き？楕円？
合体？
(分類 / Classification)

赤方偏移、金属量、etc.
(回帰 / regression)

宇宙論パラメータ(回帰 / regression)
ノイズ除去(生成 / Generation)

Image of galaxy(Ravanbakhsh+16)(生成 / Generation)

今日話す内容• イントロダクション — 機械学習とは• 観測データへの適用例
1. 分類（Classification）— 銀河の形態分類
2. 回帰（Regression）— 銀河の測光赤方偏移推定
3. 発見（Discovery）— 強重力レンズ天体、超低金属量銀河候補
4. 生成（Generation）— 模擬観測データの生成、ノイズ除去• シミュレーションデータへの応用例

今日話す内容のまとめ（最後にまた繰り返します）• 機械学習とは、データから自動的に最適解を見つけること• 特に深層学習では大量のパラメータを最適化することで複雑な課題もこなすことができる• 機械学習を使うメリット：• 高速に大量のデータを処理できる• 解析的に処理するのが難しいタスクをこなせる→ 今後の銀河サーベイプロジェクトにおいて機械学習が重要となる• 特に CNN を用いた画像解析での成功例が多い（e.g., 形態分類、photoz、重力レンズ）• 目的によって評価指標が異なる（e.g., レアな天体の発見は recall が大きければOK）• 新しいモデルも次々と用いられている（e.g., GAN）
• 学習データをどのように増やすかが大きな課題（e.g., photoz、CAMELS project）

イントロダクション— 機械学習とは —例：回帰問題
例：観測量 x = color から物理パラメータ y = redshiftを推定したい

yObserved data

→ Regression task（回帰問題）
×Steps:
1. モデルを構築（例：y = ax + b）
2. モデルのパラメータ（例：a, b）を動かして観測データ（x, y）との差が最も小さくなるパラメータを探す（最適化/Optimization）

×××××××××× ××
Prediction
y = f(x) = a x + b×x

最適化（Optimization）
例）線形モデルの場合：(a,b) の関数（残差） L(a, b) =なるところを探せば良いので∑(axi + b − yi)2 が極小に

yObserved datai∂L=2(axi + b − yi)xi = 0∂a ∑i×∂L=
2(axi + b − yi) = 0∂b ∑i
これらを (a, b) について解けば良い。
a=N ∑i xi yi − ∑i xi ∑i yi
N ∑i xi2 − ( ∑i xi)21
b= (yi − axi)
∑N ∑ii×××××××××× ××
Predictiony = f(x) = a x + b×

ここまでは、機械学習に限らず、「経験則に基づいた」パラメータ推定に共通の話。

xより複雑なモデルを作るには？
入力
例：測光データ

出力
例：銀河のパラメータx1 = mag(ν1)
y1 = redshiftx2 = mag(ν2)
何らかの関数
ym = mass
xn = mag(νn)

より複雑なモデルを作るには？
入力
例：測光データx1 = mag(ν1)

重み

出力
例：銀河のパラメータ

w11
w12

y1 = redshiftx2 = mag(ν2)

xn = mag(νn)

w1n

最も単純なモデル：線形モデル

yi = wi1x1 + wi2 x2 + … + win xn + bi

ym = mass

より複雑なモデルを作るには？
入力
例：測光データ

h1

h2

w11

x1 = mag(ν1)

h3出力
例：銀河のパラメータw12

y1 = redshiftx2 = mag(ν2)
w1nxn = mag(νn)

1000
hi = a(wi1x1 + … + win xn + bi )ym = mass

より複雑なモデルを作るには？
入力
例：測光データh1h2h3

出力
例：銀河のパラメータx1 = mag(ν1)
y1 = redshiftx2 = mag(ν2)

ym = mass
xn = mag(νn)

線型変換+非線形変換を繰り返すことで複雑なモデルを構築→ （深層）ニューラルネットワーク

hi1 = a(wi10 x1 + … + win0 xn + bi0)
hi2 = a(wi11 h11 + … + win1 hn1 + bi1)

hi3 = a(wi12 h12 + … + win2 hn2 + bi2)
3 33 33
yi = a(wi1h1 + … + winhn + bi )activation function（非線形変換）

最適化（Optimization）
w• モデル y = f (x) （w: モデルパラメータ）• 残差

L(w) =∑w(yi − f (xi))

i関数（モデル）が複雑な時は数値的に最適化する
例：導関数（勾配）を使った最適化方法：

L(w)
∂L
∂w

とある点 wt 付近で微小変動させた時にどちらの方向動けば残差が小さくなるかを計算する

坂を「くだる」方向にパラメータを少しずつ動かしていけば良い∂L
wt+1 = wt − α∂wwt+2 wt+1 wtw

機械学習とは機械学習とは「学習データをもとに自動的にモデルを構築するプロセス」
特に近年注目されている深層学習では大量のモデルパラメータを自動的に最適化する→ これによって複雑な課題もこなすことができる

さまざまな機械学習モデル• Principal component analysis (PCA; ~1980s-)• Artificial neural network (ANN; ~1990s-)• Decision tree (DT; ~1990s-) — cf. Random Forest (RF)• Support vector machine (SVM; ~2000s-)

Support vector machine

Decision tree

天文学では比較的早期から機械学習の手法が取り入れられてきた（Baron 2019 for review）

Artificial neural network
CNN

さらに近年ではより高コストなモデルも• Convolutional neural network (CNN)• Recurrent neural network (RNN)
RNN• Graph neural network (GNN)• Transformer

Transformer
Figures from Baron (2019)

さまざまな機械学習モデル
GPU の登場後、より複雑なモデルの学習（深層学習）が可能に→ ここ数年のAIブームの要因の一つ

GPU (NVIDIA TITAN RTX)

Image from NVIDIA “What’s the Diﬀerence Between Artificial Intelligence, Machine Learning and Deep Learning?”

観測データへの適用例

1. 分類（Classification）

銀河の形態分類

銀河の形態は銀河形成と密接に関連している
将来観測で得られる膨大な画像データを分類することで統計的な議論が可能となる

渦巻き？
楕円？
合体？

銀河の形態分類
これまでは人の目（含 Citizen science）や non-parametric method で主に分類されてきたが、データが多くなるとこうした手法を用いるのはもはや不可能

Galaxy Zoo (Willett+13): The images are classified by many (amateur) volunteers銀河の形態分類
形態分類では早くから機械学習の手法が取り入れられてきた。
さらに、近年では畳み込みを用いた深層学習により高い精度での分類が可能となってきている

Dieleman+15

Winner!

Morphological classification challenge on the Kaggle platform

The first usage of CNN in astronomy

畳み込みニューラルネットワーク（Convolutional Neural Network; CNN）
outputfilter
input

Image from https://developer.nvidia.com/discover/convolutional-neural-network

Foster2019

銀河の形態分類
Cheng+2021• Galaxy Zoo の2862個の銀河を学習デー
タとして用い、 DES で得られた二千万個もの銀河の形態カタログを作成• 99% 以上の精度での分類に成功

これを仮に従来の方法で行った場合、少なくとも100年はかかる見積もり

観測データへの適用例

2. 回帰（Regression）

銀河の photometric redshift 推定

分光観測は非常にコストが高いため、測光観測データのみから赤方偏移を推定したい（Cf. Photo-z 推定手法に関する最近のレビュー：Brescia et al. 2021, Newman &Gruen 2022）
従来の手法： SED テンプレートを用いたフィッティング（e.g., BPZ; Benítez 2000）
テンプレートは Stellar Synthesis Model か観測データを利用

Buchs+ (DES Collaboration) 2019

銀河の photometric redshift 推定
比較的早期から機械学習の手法も取り入れられてきた（e.g., ANNz; Collister & Lahav 2004）。

hybridTemplate-fitting

分光観測で赤方偏移がわかっている銀河を学習に用いる
今のところ従来の手法と同程度の精度（Cavuoti+2012,
Henghes+2021, Tanaka+2018 (HSC), Schmidt+2020 (LSST)
Desprez+2020 (Euclid)）
それぞれの手法に長所・短所がある

Pros: 観測データを学習に用いることでより現実的なスペクトル・ノイズモデルを構築できる。テンプレートフィッティングほどはprior に依存しない
Cons: 学習データとターゲットデータの分布が異なる場合、バイアスが生じうる。学習データに内在するエラーを組み込みにくい

ML
Desprez+2020

銀河の photo-z 推定
従来の手法と機械学習を組み合わせて、すでにさまざまDuncan+2022

なサーベイの photo-z カタログが作られている• ~40 million KiDS galaxies (deJong+17, Bilicki+18)• ~100 million HSC galaxies (Tanaka+18, Schuldt+21)• 1 billion DESI galaxies (Duncan+22)• 3 billion Pan-STARRS1 galaxies (Beck+21)
さらに、将来のサーベイプロジェクトに向けた準備もなされている• LSST (Schmidt+20)• Euclid (Desprez+20)
必要な精度：• σz < 0.02 (1+z)• 3σ outlier rate < 10 %
• 多くの場合、統計的な再現性（赤方偏移PDFの精度）が重要となる

Schmidt+2020

銀河の photo-z 推定：今後の課題
今後の課題• より精度を上げるには？

→ 画像も機械に学ばせる（表面輝度、サイズ、形態、傾き、etc.）

Pasquet+2019• 学習データの不足→ 分光サンプルを増やす必要がある。

どの手法も、典型的には数万個程度のデータが必要。
（ただし画像を用いる場合はこれの10倍以上）

学習データの中のバイアスを減らすように増やす必要がある。

複数の離れた領域で分光観測をする（Newman+15）などして、field variance の影響を減らすことも必要

Newman+2022

観測データへの適用例
3. 発見（Discovery）

超低金属量銀河の発見
測光観測カタログから超低金属量銀河（Extremely Metal-Poor Galaxy; EMPG）を見つけたい

Kojima+2020

超低金属量銀河の発見
測光観測カタログから超低金属量銀河（Extremely Metal-Poor Galaxy; EMPG）を見つけたい

Kojima+2020

超低金属量銀河の発見
分類の評価尺度

本当はEMPGなのに検出できなかった

accuracy (精度・正解率)

TP + TNTP + FP + TN + FN

全体的なモデルの「良さ」

precision / purity (適合度)

TPTP + FP

間違った検出を少なくしたい時

recall / sensitivity / completeness (再現度/完全性)TP
TP + FN
間違ってEMPGと判定してしまった

取りこぼしを減らしたい時

超低金属量銀河の発見
そもそも超レアな天体を探している→ ある程度間違ってもいいのでできるだけ取りこぼさないようにしたい

SDSS でのテスト：
935,042 sources in total
only 7 among them are EMPG
13 EMPG candidates are ditected
6 among them are indeed EMPG→ The purity is 54%, but
completeness is as high as 86%
Kojima+2020

超低金属量銀河の発見
候補天体を絞ることができたので、追観測としてより高コストな分光観測もできる

Kojima+2020

10個中3個が実際に EMPG であることを確認できた

強重力レンズ検出

Is there a gravitational lens?

これまで見つかった強重力レンズ天体は < 1000 個程度。

図は天文学辞典より

SKA, LSST, Euclid などでは数十〜百億天体のうち数十万個程度検出可能なレンズがあると予測される
これまでの最も主力な方法は目視による確認
SPACE WARPS project (Marshall+16, More+16, Geach+15)
最近では自動アルゴリズムや機械学習を用いた方法も使われ始めている（e.g., Paraficz+16）

強重力レンズ検出“The strong gravitational lens finding challenge” (Metcalf+19)
Area under ROC これが大きいほど良い

Receiver operation characteristics (ROC)

観測データへの適用例

4. 生成（Generation）

模擬観測データの大量生成
観測データの解析には、模擬観測データが大量に必要な場合がある例）• パラメータ推定する際の共分散（Covariance）・系統誤差の見積もり• 機械学習に用いる学習データ

機械学習は、模擬観測データを大量に生成することにも使える
重力レンズ解析に必要となる模擬銀河画像の生成（Ravanbakhsh+16）
生成モデル

敵対的生成ネットワーク（Generative Adversarial Network; GAN）
生成器
Generator

Fakerandom
noise
Decrease L

二つのネットワークが敵対
G: fake map

学習していく判別器
Discriminator

Trueorしながら（adversarially）

True? Fake?
D(x): Probability that theinput x is true map.

Fake
Increase L<latexit sha1_base64="8/B4hSJ+hq1EbWncVYear5/Ok5o=">AAADEXichVFNS9xQFD2mX1ZrZ2w3BTfBwaLUDi8iWgoFqYJddOFHRwdmhiGJz2mYlw9e3gy1IX/ArYsuXFnoovgL3JW6EXTrwp9QCt1YsIsuvMkEtLVjX0jeuefec995uVYgnFAxdtKj3bh56/ad3rt9/fcG7ufygw9WQr8lbV6yfeHLsmWGXDgeLylHCV4OJDddS/BVqzmb5FfbXIaO771RGwGvuWbDc9Yd21RE1fPW68r8+FxNf6FXhd/Qq4q/U2nXyBItHkdz8Wi5HlWlqytJ8Zj+JC2sGE//VXqJk3wtjubjsZpezxdYkaVLvwqMDBSQrQU/f4Qq1uDDRgsuODwowgImQnoqMMAQEFdDRJwk5KR5jhh9pG1RFacKk9gmfRsUVTLWozjpGaZqm04R9EpS6hhhx+wzO2UHbJd9Y7+79orSHomXDdqtjpYH9dzmo+Wz/6pc2hXeXqiu9aywjmepV4e8BymT3MLu6NvvP5wuP18aiR6zj+w7+d9hJ2yfbuC1f9qfFvnSNnXv7sgiN93/WZKXhJuEVVJHozT+HtxVsDJRNKaKk4uThZmX2VB7MYRhjNLkpjGDV1hAic45wA+c4Ze2pe1pX7SvnVKtJ9M8xB9LOzwHHHrA5w==</latexit>

Loss function:

L[G, D] = log D(Xtrue ) + log[1D(G)]模擬観測データの大量生成
大規模構造マップや、三次元データの生成も可能
パワースペクトルやPDFなどの統計量も再現

Mock weak lensing convergence map (CosmoGAN; Mustafa+19)

Mock neutral hydrogen map (HIGAN; Zamudio-Fernandez+19)

大規模構造マップからのノイズ除去
observed dataat λ = 1.5μm[OIII] intensity
at z = 2.0

Hα intensity
at z = 1.3

SPHEREx(NASA; 2024-)=CNN+• Line confusion problem

Traditional solutions:- Cross-correlation- Anisotropy in power spectrum

シミュレーションデータ
を用いて学習Multiple emission lines contaminate eachother when they satisfy
λobs = λ1 ( 1 + z1 ) = λ2 ( 1 + z2 )KM+2020大規模構造マップからのノイズ除去
観測データ

真の分布

機械によって生成された分布

単純なノルムを損失関数に用いるとうまく分離ができない。

大規模構造マップからのノイズ除去
GAN による学習

個々の赤方偏移の大規模構造を抽出することができた

シミュレーションデータへの適用例

銀河とハローの関係
ダークマターのみのシミュレーションは低コストだけど銀河に関する情報を得られない
一方、宇宙論的流体シミュレーションは高コストで大量に・大領域でやるのは難しい

Moriwaki+23

銀河とハローの関係
Lovell+22

宇宙論的流体シミュレーションを用いてダークハローと銀河との関係を学習させる

様々なシミュレーションが用いられている• Illustris (Kamdar+16)• MUFASA (Agarwal+18)• IllustrisTNG (Jo & Kim 19)• EAGLE (Lovell+22)

宇宙論的流体シミュレーションデータ
Detailed cosmological hydrodynamics simulation is costly• Lack of training data
• Lack of diversity in training data
What shall we do?

CAMELS project (Villaescusa-Navarro+2021)

宇宙論的流体シミュレーションデータ
特定の astrophysical/cosmological パラメータをバイアス

halo mass

True - Prediction

True - Prediction

用いたシミュレーションで学習した場合さまざまなパラメータを用いたシミュレーションで学習した場合

Feature importance（どの物理量が重要か）

halo mass

学習データに多様性を持たせることでバイアスのない推論ができる

まとめ• 機械学習とは、データから自動的に最適解を見つけること• 特に深層学習では大量のパラメータを最適化することで複雑な課題もこなすことができる• 機械学習を使うメリット：• 高速に大量のデータを処理できる• 解析的に処理するのが難しいタスクをこなせる→ 今後の銀河サーベイプロジェクトにおいて機械学習が重要となる• 特に CNN を用いた画像解析での成功例が多い（e.g., 形態分類、photoz、重力レンズ）• 目的によって評価指標が異なる（e.g., レアな天体の発見は recall が大きければOK）• 新しいモデルも次々と用いられている（e.g., GAN）
• 学習データをどのように増やすかが大きな課題（e.g., photoz、CAMELS project）• そのほかモデル出力の不定性など、解決すべき課題は色々とある

機械学習の応用における課題とその解決策
学習データが大量に必要

出力の不定性「ブラックボックス」性

学習データと実際のデータが異なる手法間の比較
Huertas-Company & Lanusse (2022)

参考文献• Ball & Brunner (2010) “Data Mining and Machine Learning in Astronomy”, International Journal ofModern Physics D, 19, 1049
早期の機械学習の天文研究への応用例• Baron (2019) “MACHINE LEARNING IN ASTRONOMY: A PRACTICAL OVERVIEW”, arXiv:1904.07248
機械学習における一般的な手法論や SVM, RF, ANN の具体的な構造• Ntampaka et al. (2019) “The Role of Machine Learning in the Next Decade of Cosmology”, BAAS, 51,
14 (Astro2020 Science White Paper)
今後の大規模観測に機械学習がどう貢献できるか• Fluke & Jacobs (2020) “Surveying the reach and maturity of machine learning and artificial
intelligence in astronomy”, WIREs Data Mining and Knowledge Discovery, 10, e1349
天文学における機械学習活用についてデータの型や手法・モデルごとに網羅的にまとめられている• Huertas-Company & Lanusse (2022) “The Dawes Review 10: The impact of deep learning for theanalysis of galaxy surveys”
銀河サーベイにおける深層学習のインパクト• Moriwaki et al. (2023) “Machine Learning for Observational Cosmology”, Rep. Prog. Phys. 86 076901
宇宙論（含銀河サーベイ）における機械学習の応用例が網羅的にまとめられている• https://github.com/georgestein/ml-in-cosmology

宇宙論分野での機械学習の大量の応用例を arXiv から網羅的にリスト化してくれている機械学習をこれから取り入れてみたいという方に• 技術的なことは参考書なども活用しつつ、各フレームワークのチュートリアルをやってみるのが手早い。非深層学習であれば Scikitlearn 、深層学習に関してはPyTorch が使いやすいように感じる。他にもTensorFlow, Keras, JAX など。そのほか基本的なところや最新の情報を勉強するには YouTube チャンネルなども便利（e.g., @stanfordonline, @AndrejKarpathy, @AIcia_Solid, etc.）• 各プラットフォーム上でシェアされているコードを一旦そのまま使ってみるのも有用。From scratch で書くのは勉強にはなるが無駄も多い。特に新しいモデルは次々と出てくるので追いつくのはなかなか大変。データ科学の分野の人と協力することも大事• 天文・天体物理への理解を深めた上で以下の点などを検討する• 従来の手法の課題は何か？（データ量が問題？複雑さが問題？）• 最終目的は何か？（統計的な議論？特定の天体の発見？）• そもそも原理的に可能なタスクか？学習データは適切か？データにバイアスはないか？etc.
• 物理的な情報を活用してモデルを改良できないか？
• 特に深層学習はしばしばハイパーパラメータのチューニングが大変。大まかな傾向はあるけど、タスク・データによってうまくいくものはさまざま。データの事前処理やモデル自体を変えることが必要な場合も。従来の手法の方が良い場合もあるので、必ずしも機械学習にこだわりすぎず柔軟に考えられるとベストかなと個人的には思う