畳み込みニューラルネットワークによるフラッシュオーロラの自動検出
源田斗輝[1]; 尾崎光紀[1]; 八木谷聡[1]; 今村幸祐[1];塩川和夫[2]; 三好由純[3]; 大山伸一郎[3];片岡龍峰[4]; 海老原祐輔[5]; 細川敬祐[6][1] 金沢大; [2] 名大宇地研; [3] 名大ISEE;[4] 極地研; [5] 京大生存圏; [6] 電通大背景・目的オーロラ発生原因
高エネルギー電子

衝突
地球上層大気オーロラを地上で観測することは高エネルギー電子の振る舞いを知る手掛かりとなる本研究では「フラッシュオーロラ」というオーロラに注目しているフラッシュオーロラ•

発光時間が非常に短い（1秒以下）→動画像から目視によってイベントを抽出することが困難
詳細な解析は行われていない
フラッシュオーロラ

本研究では、従来目視で分類されていたフラッシュオーロラの自動検出を試みる

100Hz EMCCDカメラで撮影
場所：Gakona (Alaska)

検出方法
我々はフラッシュオーロラの自動検出に「畳み込みニューラルネットワーク (Convolutional Neural Network)」
を用いる
畳み込み演算やプーリング処理によって特徴量を抽出する機械学習の手法
CNNの使用例• 自動運転支援の物体認識• 顔認識<期待される効果>

https://www.youtube.com/watch?v=WZmSMkK9VuA&feature=youtu.beCNNにより人間を上回る精度と速度でオーロラの分類が可能
フラッシュオーロラ解析のための大量のイベントを容易に集められる

CNNの学習データ作成＜オリジナルの全天EMCCD動画＞＜ENU座標系に変換した動画＞

空間解像度：高い

空間解像度：低い Hz
サンプリング周波数：100
画素数：256×256 pixel
撮影場所：Gakona,Alaska(62.4N,125.2W)

サンプリング周波数：100
空間解像度：一様 Hz
高度：110 km
画素数：200×200 pixel
空間情報量：600×600 km(1 pixel = 3km)

CNNの学習データ作成
HPF(カットオフ周波数：0.05 Hz)を用いて、遅い周期の成分をカット→背景オーロラに隠れた脈動・フラッシュオーロラを抽出できる
脈動・フラッシュオーロラ

オリジナル

High Pass Filter(カットオフ周波数：0.05 Hz)＋二乗

ACオーロラ背景オーロラLow Pass Filter
サンプリング周波数：100 Hz(カットオフ周波数：画素数：200×200 pixel
0.05 Hz)
撮影場所：Gakona,Alaska(62.4N,125.2W)

DCオーロラACオーロラ作成手法
脈動・フラッシュオーロラといった早い周期の成分をより強調したい
最下端の包絡線検波を行う

包絡線検波

画素値変化

OriginalとDC成分との比較
DC = originalに𝐿𝑃𝐹をかけたもの

最下端の包絡線検波を行うことで、変化の激しい成分を強調できる
AC = original − 包絡線

CNNの学習データ作成
ENU画像

ケオグラム画像

オリジナル

不採用

ACオーロラ背景オーロラ内の脈動・フラッシュオーロラが確認できる

採用

CNNの学習データ作成
ACオーロラデータについて5×5メディアンフィルタをかけ、ゴマ塩ノイズを取り除く（空間分解能：1 pixel = 3 km）
ACケオグラム画像を作成
6000×200 pixel

3000×200 pixel双三次内挿法

時間幅1分間、 1 pixel = 0.02 sec

1 min

長方形のブロック(20×50 pixel、時間幅1秒間)に分割し、目視で学習データを分類

60 km

1s

学習データ■脈動オーロラ：
数十秒程度の周期の中に内部変調を有するオーロラ■フラッシュオーロラ（単体）： ■フラッシュオーロラ（複数）：
発光時間が1秒以下のオーロラ
発光時間が1秒以下のオーロラ
1秒間で単体で発光のもの
1秒間で連続して発光しているもの

60 km
1.0 s

■雑音：
上記のオーロラ以外のもの■オーロラ・雑音なし：
全体的に輝度値が低い

画像枚数：各分類43200枚の学習データを用意
学習データに対するこれらの分類は目視の結果をもとに行う

CNNの構成
入力

ソフトマックス層

全結合層

最大プーリング層

正規化層 ReLU(Rectified Linear Units)(脈動オーロラ)

畳み込み層

画像データ

出力
分類結果
“脈動オーロラ”

ニューラルネットワークの設定•入力•••

画像サイズ：20×50 pixel(グレースケール)

畳み込み層
画像のあらゆる位置で特徴の比較と一致点の検出を行う•

フィルタサイズ：5×5 pixel•

フィルタ数：20•

最大プーリング層
畳み込み層で得られた画像の解像度を落とすことでロバスト性を与える•

サイズ：2×2 pixel•

ステップ：2

全結合層•

出力サイズ：5(脈動オーロラ、フラッシュオーロラ:単体、フラッシュオーロラ:複数、雑音、オーロラ・雑音なし)

学習の過程2.5

テストデータの分類が全て正しく行われると0となる→学習器は損失関数が0となるようにネットワークの重みを更新

2.0

損失関数

＜損失関数＞

1.5
1.0
0.50

＜学習精度＞

過学習防止のため精度向上したら学習終了

500

1000

1500
更新回数

2000

2500

3000

500

1000

1500

2000

2500

3000

80
60
40
200

最終的な：78.6 %
学習精度

0100

学習精度(%)

学習器でテストデータを分類した時、正しく分類された割合

1エポック

1エポック

0

更新回数

※学習時間:54分54秒

S<-->N (km)S<-->N (km)自動検出結果300
150
0-150-300
300150■脈動オーロラ■フラッシュオーロラ（複数）■フラッシュオーロラ（単独）■雑音■オーロラ・雑音なし

0-150-300

2017 Mar 30

13:27:10 13:27:20 13:27:30 13:27:40 13:27:50
UT1min評価画像での精度：78.6%

自動検出結果-拡大
S<-->N (km)1500

脈動オーロラフラッシュオーロラ
フラッシュオーロラ（単体）フラッシュオーロラ（複数）S<-->N (km)

-150
150

■脈動オーロラ■フラッシュオーロラ（複数）■フラッシュオーロラ（単体）■雑音■オーロラ・雑音なし

0-1502017 Mar 30 13:27:05

13:27:1014 s

一部検出されていないオーロラも存在するが、ケオグラムと検出結果の対応がいい

13:27:15

CNNにより大量のフラッシュオーロラを検出することが可能に！

自動検出結果の投影
ケオグラム画像による分類を複数の個所で行い、ENU画像に投影

時間情報空間情報

ENU画像における脈動・フラッシュオーロラの出現位置・時刻が分かる■脈動オーロラ■フラッシュオーロラ（複数）■フラッシュオーロラ（単体）■雑音■オーロラ・雑音なし

自動検出結果の投影自動検出結果の投影
ケオグラム

脈動オーロラケオグラム

脈動オーロラのパッチが拡大・縮小することによりその端を捉えたケオグラムがフラッシュオーロラのような特徴を持ってしまうことがある
フラッシュオーロラ

脈動オーロラに隣接するフラッシュオーロラの分類結果はその拡大・縮小によるものとして脈動オーロラに修正

自動検出結果の投影
ENU動画に投影した結果

ENU動画(AC)に投影した結果• 動画内で現れるオーロラが追跡可能となった→脈動・フラッシュオーロラの形状・発光位置がわかる• 背景オーロラに隠れた脈動・フラッシュオーロラも検出可能■脈動オーロラ■フラッシュオーロラ

脈動オーロラのパッチがフラッシュオーロラとして分類されることがある
脈動・フラッシュオーロラは発光継続時間の違いが主で、本質的な特徴量は同じである

まとめ
目的
大量のフラッシュオーロラをCNNにより検出可能とするため学習器を作成→学習データ作成の工夫
 大量の生データから自動で特徴量を抽出するディープラーニングとは異なり、学習データを特徴量が強調されるように加工することで精度向上を図った

結果

 テストデータでの精度：78.6%
 ケオグラム画像の分類結果をENU動画に投影することで脈動・フラッシュオーロラの形状・発光位置が分かる動画を作成→オーロラの静止画に対して学習器を使用して分類した先行研究はあったが我々は、時空間発展を伴うオーロラ動画に対して分類可能
 脈動オーロラとフラッシュオーロラの本質的な特徴量は同じ

今後の課題
 フラッシュオーロラの大量のイベントを集め、統計解析を行う
 準リアルタイムにオーロラの発生場所・種類をアラートする今後の展望（準リアルタイムアラート）
オーロラ観測情報

＠PWING_aurora 1分

PWING 2017年3月30日13時30分 ～フラッシュオーロラ発生情報～
Gakona(Alaska) 高度角 : 51.4° 方位角 : 75.4°

オーロラ観測情報
PWING

＠PWING_aurora 2分

2017年3月30日13時29分 ～脈動オーロラ発生情報～
Athabasca(Canada) 高度角 : 77.2° 方位角 : 25.3°

脈動・フラッシュオーロラの出現場所と時刻を準リアルタイムでSNSで共有
現状、オーロラデータ(1分間)の処理に約4分
中でもケオグラムによるオーロラ分類に約2分→並列計算等による高速化が課題となる

狭視野イメージャーやフォトメータなどを対象のオーロラ出現位置に設定することで詳細観測をサポート