令和元年 理論懇シンポジウム 「天文学・宇宙物理学の変遷と新時代の幕開け」

機械学習と宇宙論
吉田直紀
東大理 物理カブリIPMU

深宇宙画像 before / after 2014

すばるHSCは1晩300ギガバイトのペースでデータを取得

Large Sky Surveys 2020Large Synoptic Survey Telescope
１晩で20テラバイト Google が支援
10年で100ペタバイトとかESA’s Euclid
撮像 + 分光

NASA’s Wide-Field Infrared Survey Telescope

The Square Kilometre Array• 11か国協同で2024年完成を目指す• 南アフリカとオーストラリアに〜1,000,000個のアンテナ• 毎日生データは 2-3 Exabyte、保存するのは1Pbyte(iTunes 1 exabyte 分を聴くのに200万年かかる)• データ処理に「京」コンピューター100台が必要
電力調達、データ転送ケーブルなどなど多くの課題
どのデータを残しておくべきか誰にもわからない4

“The SKA is as much a supercomputing system as
it is a telescope. It will require supercomputers
faster than any in existence in 2016, and network
technology that will generate data traffic at acomparable level to the entire current Internet.”- Rob Adam in “SKA and Big Data”

5一方、世の中では

人工知能による画像認識はここまですすんでいる。

スタンフォード大学院生 Karpathyさん講演スライドより

Convolutional neural network は物体をこんな風に認識している

A. Nguyen et al. “Deep Neural Networks are Easily Fooled, CVPR15, IEEE, 2015

今日のお話• 機械学習を用いた超新星の検出・分類• 深層学習を用いた重力レンズ解析とIntensity Mapping の情報抽出• 将来の話: サイエンスするAI

Time Domain Astronomy

超新星ギャラリー: 1晩で100個ほど見つかるレベル99の世界
1ギガピクセルの画像差分処理

差分解析後前後差分

このような”ごみ“と実天体の数の比は 1000:1 (= 10000:100)

宇宙観測に特有の問題
Data imbalance:
膨⼤な負例 (CCDエラー, 宇宙線, 太陽系⼩天体）
に対してあまりに少ない正例
Evaluation criterion:
偽陽性率はできるだけ⼩さく（追観測の苦労)
真陽性率は⼤きく(興味深い天体はのがさない）

新たな機械学習検出・分類法を考案

機械学習による超新星検出
・トレーニングデータ: HSCサーベイから 24000 オブジェクト
⼈⼯天体や data augmentation も利⽤・分類器: Random Forest, 深層ネットワーク (DNN)
Boosting by AUC optimization

真陽性率

・23 次元特徴量 and/or ２次元画像

偽陽性率

Morii, Ikeda, Tanaka, Tominaga, et al. 2016, PASJ暗い（遠方）超新星

The power of Subaru
magnitude 25.1brightmagnitude 21.7

magnitude 25.3

brightmagnitude 22.7

magnitude 25.7

brightmagnitude 23.1

Morii, Ikeda, Tanaka, Tominaga, et al. 2016, PASJ; Yasuda et al. 2019, PASJ

超新星ギャラリー

検出から分類へ

明るさ

本来は分光観測によって超新星タイプを決定する。
しかし、分光（という時間のかかる作業）をやるかどうかをすぐに決めたい

爆発後日数

時間変動天体の即時分類
明るさを変える天体は銀河系内/系外に多種存在する
Confusion matrix (CV)Brightness variation with errors

推定された天体の種類
I. Takahashi (U-Tokyo), Y. Imoto (NTT), in preparation階層的分類器
14 classes (data from PLAsTiCC challenge https://plasticc.org )5 classes
Nearby objects

RRLM-dwarf

EB

9 classes
Extragalactic obj.

distance
5 classes(1st step)

μLens
SingleSmall differencesin brightness
variation

Mira

TDE

AGN

Supernovae

KN

SLSN-I

SNIa

SNIa
91bg

5 classes(2 nd step)

SNIax

SNII

SNIb/c370,000 データセット
で訓練Classifier performance

Cohen’s kappa: (0.953 - 0.444) / (1 - 0.444) = 0.9162

実際に見つけた遠方Ia型超新星

深層学習を用いた
宇宙大規模構造の解析

HSC重力レンズマップ
HSC一年目のデータ

大学院生 Xiangchong Li さんのスパースモデル再構築

深層学習によるノイズ除去:
機械にシグナルとノイズを学ばせる
ノイズ入り

ノイズ除去後真の重力レンズシグナル

重力レンズの数値シミュレーション + HSC のノイズ（銀河分布）を用いたテスト計算

敵対的生成アルゴリズムTRAINING PHASE
generator

discriminator
真偽判別の精度判別期を騙したいを上げたい

true map

である確率
D(X)

Update parameters- to increase D(G) → 1- to decrease | G −Xtrue | → 0“協働”してトレー二ングすることにより、最終的には真偽判別のつかない画像を生成できるようになる

東大理 森脇さんのスライドより

Update parameters- to increase D(Xtrue) → 1- to decrease D(G) → 0

generator

敵対的生成アルゴリズム(GAN)によるノイズ除去
Training with 2268 simulations

Noise injection

Shirasaki, Yoshida, Ikeda（Physical Review D 2019)

Denoised output

敵対的生成アルゴリズム(GAN)によるノイズ除去
With noise

After denoised

Ground truth

データからノイズを低減することができる！

1pt PDF

ノイズ除去により統計量も正確に再現

2pt (powerspec.)

HSC実データへの適用- log Likelihood

With noise

After denoised

Object matching

With denoising, the parameter inference
gets 50 % better. A factor of 2 improvement
does not sound impressive, perhaps.
But a factor of 2 improvement can be gained
only by 4 times larger data (survey area).
To survey a 4 times larger area,
we need a 20-year(!) HSC observation.

輝線強度マッピング

Kovetz+2019

NASAのSPHEREx 計画打ち上げ）SPHEREx (2023SHPEREx(2023~)- angular resolution: 6” × 6”
- spectral resolution: R ~ 100- survey area (deep): ~200 deg2
- 0.75μm - 5μm
zHα = 0.14 - 6.6
zOIII = 0.5 - 9.0

波長帯域

観測体積

例: 2µmで見た宇宙遠方近傍関係なく、2ミクロンで光るもの全てが混じった画像を得る(得てしまう）

様々な輝線

OII @ z=4.2

Hβ @ z=3.1
OIII @ z=2.9

Hα @ z=2
K. Moriwaki, in prep.

2μm bandgenerator

256 256
convolution

128 128

Xobs

input

64 64

観測画像から、例えば[OIII] 輝線だけを抜き出すような機械を作りたい…

64

convolution…
convolution

128

…
256

32 32
another 5 convolutions…

1 15125 de-convolutions

…

256

32 32
de-convolution

256 256…

12864 64
deconvolution

G(Xobs)outputde-convolution…
128 12864

東大理 森脇さんのスライドより

情報分離の結果

強度
パワースペクトルも再現

K. Moriwaki+, in prep.

おまけサイエンスの自動化

1. AIはこの現象を見て支配方程式を導けるか ?
2. AIはこの後の時間進化を正確に予測できるか ?
3. AIはこの現象から基本法則を導くことができるか ?

2019.11月 Nature の記事

機械はバーガース方程式の解をみてバーガース方程式を導けるか ----- できる！
しかも、係数が時間変化する場合でもそれを検知できる。

With 1% noise

Data-driven identification of partial differential equations
S. Rudy et al., SIAM J. Appl. Dyn. Syst., 18(2), 643–660

バーガース方程式の解からバーガース方程式を導く

各時空点での値を使って行列形式で表される。

スパースプライヤー( “ξ には 0が多い”) を使うと関係のない項が判明する.
各係数が時間依存する場合でも巨大な（無駄な)行列を処理すればよい。

Human vs AI
我々(人間)の理解:の解がであることを知り（学び）、なんとなく物理的描像(波)を得るようになる

現在のAIのやり方: 解群から次のように係数を決定し、に絞り込む.
しかしこれは保存形に気づくことと同じだろうか:蔵本-Sivashinsky 方程式でも高階微分を含めて判定できる

With 0.01% noise機械は偏微分方程式の最適な差分法を見出すことはできるか ----- できる！

微分は次の形で近似することができる

ほとんどの数値スキームでは、差分化された式は次の形:

ここで係数 ci は時間的にも空間的にも定数である_必要はない_
もっとも簡単な例として移流方程式を考えると、さて、AI(機械）が最適な ci を決めることはできるだろうか ?

効率よくシミュレーションを行う機械
粘性項入りのバーガース方程式

有限差分法は物理量 v を局所的に多項式近似して補完を行う。
(左の図のオレンジ線)
しかしバーガース方程式の解は多項式では近似できない!

ニューラルネットワークに下図のような40000例の解を学ばせる

Bar-Sinai et al. “Learning data-driven discretizations for partial differential equations”, 2018, PNAS

効率よくシミュレーションを行う機械

差分のステンシルが時空点に依存する

2次元のステンシルの例
重み付き座標重心
新たな数値スキームの性能をあらかじめ推測できる。
(Neural network の解が最適と仮定する)↑ 上記の1次元の例では N=6(ui, ui+1, ui;2, ui+3, ui+4, ui+5) が最適とあらかじめ調べている。
Bar-Sinai et al. “Learning data-driven discretizations for partial differential equations”, 2018, PNAS

精度よくシミュレーションを行う機械
他の非線形方程式どれくらい長時間積分できるか

実効的に粗い格子上で高精度の解を得ることができるResample factor: 解像度の悪さ
ニューラルネットによる解は、伝統的な手法（WENO等）に比べて解像度を下げても精度を保つことができる。

AI COPERNICUS (ETHのAIプログラム [NN])目的: 地球から見た 火星と太陽の位置 θM (t) , θS (t) を予測
初期条件は θM (0) and θS (0)正しい物理モデル: 火星と地球が太陽の周りを巡っている
トレーニング: 時系列データ [θM (t1), θS (t1), … θM (tn), θS (tn); n=20] をたくさん
入力: [θM (t0), θS (t0)] コペルニクスの生涯中の毎週の観測値からランダムに抽出
結果: ニューラルネットは [θM (tnext), θS (tnext)] を誤差 0.4% で予測
ネットワーク構成

AI COPERNICUS

結果:
中間層(潜在変数）を調べると、φE と φM の線形和を使っていることがわかった。

まとめ
・天文観測データ、特にサーベイ観測のデータは解析そのものが困難になっている (ペタバイト級)
・リアルタイム処理（時間軸）は大変、無理・観測データを科学的発見に結びつける手法の構築とそのための人材育成が必要。
似たようなことは、どの科学技術分野でも起こっている。
・この後2030年までこのトレンドは加速していく・サイエンス自動化へ向けて (2030-)：
Forward modeling (理論モデル、物理法則）の強み