第10回 可視⾚外線観測装置技術ワークショップ 2021

Tomo-e Gozen transient surveyにおける深層学習によるReal/Bogus分類の改善
z⾼橋⼀郎
東北⼤学

2/16

⽬次• Tomo-e Gozen• Real/Bogus分類と問題点• 新モデルでの分類• 実際のテストデータでの検証• 新モデルの実装

3/16

Tomo-e Gozen project
Kiso Schmidt telescope§

1.05 m§FOV : 9 deg in diameter

Tomo-e Gozen camera§

wide-ﬁeld CMOS imager§

84 CMOS sensors§

20 deg2 sky in 2 fps§

30 TB /night

CMOS image sensor§

2000 x 1128 pixels§Non-cooling§

low read noise of 2 ehttp://www.mtk.ioa.s.u-tokyo.ac.jp/kisohp/top_e.html

9 deg

4/16

Tomo-e Gozen transient survey
Tomo-e Gozen Sky Atlas（前回WS瀧⽥発表）•2種類のサーベイ•

All-sky survey•

露出時間︓9秒（18 frame）•~12000 deg2/day

High-cadence survey

•

•

•

露出時間︓6秒（12 frame）•~3000 deg2/ 30 min•

1⽇に3回観測https://tomoe.mtk.ioa.s.u-tokyo.ac.jp/skyatlas/

主なターゲット︓最初期超新星
Rapid transient

Tomo-e data

Jiang et al. 2021

昨日のKavli IPMUのプレスリリース

Margutti et al. 2019

5/16

Transient detection• 差分を取ることでtransientを検出• ReferenceにはPS1の画像を使⽤§

Bogus examples
差分の失敗

現在Tomo-e referenceへ切り替え中• 誤検出（Bogus）が多い（106/night）→ 機械学習で分類§

Real or Bogus

NewReference­

Subtracted=観測装置由来

6/16

Previous Real/Bogus Classification• モデルはシンプルなCNN

従来CNNモデルの構造• ⼊⼒: 29x29 image x 3 (ref., new and sub.)• 学習データ• Real : シミュレートした星を埋め込み• Bogus : 実際のもの• 数百万サンプル
従来CNNの出⼒分布

Bogus
分類成績が頭打ちにReal

RealがBogusに埋もれる
追観測のターゲット選定の障害

7/16

Cleaning mislabel in training data
• 学習データにラベル間違いが存在

後分類の分布と誤ラベルの比率• 学習データ自体をCNNで分類• 誤分類しているものを標本調査• ラベル間違いの比率を計算
学習データの出力分布

Bogus

Real裾野に行けば行くほど誤ラベルが増える
Bogus←→ Real8/16Examples of mislabel
Label : Bogus

Label : RealRefNewSubRefNew

prediction: -2.19

prediction: 2.46

prediction: -3.20

prediction: 2.95

prediction: -3.32

prediction: 3.43

prediction: -3.81

偽物と分類

本物と分類

• 機械は正しく分類している• ラベル間違いの混⼊率︓0.6% (Bogus), 1.0% (Real)• 新⼿法︓分類を2段階に分ける• 1段階⽬で誤分類している学習データを「ラベルなし」にして半教師あり学習を⾏う§ Virtual Adversarial Training (VAT, Miyato et al. 2016)

prediction: 3.93

Sub

9/16

Virtual Adversarial Training (VAT)• 敵対的学習の⼀種• 分類器が誤りやすいノイズを付加したデータで学習 -> ノイズ耐性• 予測分布が最も⼤きく変わる⽅向へノイズを加え、予測分布の差が⼩さくなるように学習• Local Distributional Smoothness (LDS)• LDS ⼩ -> 境界がデータ集合から遠くなる-> よりロバスト• LDSの計算には正解ラベル情報がいらない -> 半教師あり学習が可能
VATの学習方法（Miyato et al. 2017）

学習の経過10/16

Evaluation with actual test dataset
Current model
VAT

Accuracy
0.974
0.998

Current model

Precision
0.050
0.436

Recall
0.981
0.942
VATBogus
出力分布Confusion matrix

Bogus
RealReal

F1 score
0.095
0.596
※しきい値: probability=0.5

Evaluation with actual test dataset
ThresholdROC curve

True Positive (TP)True Negative (TN)
False Positive (FP)
False Negative (FN)

Better
Negative

Positive0

Probability(Output)

ZTF Real/Bogus

TPR: 0.983, FPR: 0.017(Duev et al. 2019)

1

TPR=TP/(TP+FN)
︓正しく拾えているか
FPR= FP/(TN+FP)
︓誤検出の少なさ
ModelConfusion matrix
Actual

11/16

Bogus

TN

FP

RealFNTP

Bogus Real
Predicted

AUC(ROC) FPR@TPR=0.9

Current 0.9956
VAT
0.99950.009160.00065

12/16

Implementation of new model• 今年の5月末にパイプラインに新モデルを実装• 実装後の分類成績• １週間の間に検出された候補（約6000万サンプル）

Simple CNNVAT

13/16

Misclassiﬁed samples• 誤分類しているものをチェック

False Positive (341/36337)
Real? (106)• FNの1つとFPの~1%
Mask in ref (65)

Bogus (64)False Negative (1)Low S/N (43)Moving? (29)

Mask in sub (6)Tracking error (1)Low S/N, Large galaxy (1)Unclear (27)

14/16

Transient candidates registered in DB
1/130

実装
しきい値変更1/40(2021-05-01)

本物（TNS天体） variableの確率
transient(2021-05-31)

実装前
1 / 640494

実装後
1 / 1004

1 / 8738

1 / 90transient候補が6000天体/dayから150天体/day（⼈がチェックできるレベル）へ

15/16

まとめと今後の予定

BetterTomo-e Gozen transient survey••

TPR: 0.983, FPR: 0.017

Real/Bogus分類•

ラベル間違いの存在•

仮想敵対的学習（VAT）を適⽤•

1％のラベル間違いを機械が修正することで性能が1桁以上向上
今後︓reference更新•

ZTF Real/Bogus•

モデルも更新•FPRがさらに減る可能性(Duev et al. 2019)old ref. (PS1)

new ref. (Tomo-e)16/16

最後に• 観測装置の出⼒は宝が眠ったデータの⼭•

できるだけ出⼒やパラメータを残してほしい•

機械への⼊⼒は多いほど良い•

データが巨⼤︓Tomo-e Gozen, TriCCS•

機械学習などによるスマートな処理が必須• 教訓︓機械は間違った学習データも学習してしまう
学習データをきれいに作る•••

⼈の⽬や⼿が⼊る以上限界はある（⼈によるブレ、時間によるブレ）

学習データのクリーニングも機械に任す• 装置開発への機械学習応⽤のご相談お待ちしています