機械学習を用いてオーロラの発生状況をリアルタイムに検出し通知するシステムを開発【ポイント】＊ディープラーニングモデルを用いてノルウェー・トロムソにおけるオーロラの発生状況をリアルタイムに通知するウェブアプリを開発した。
＊アプリ内で使われているモデルを用いて、10 年間かけて撮影された 553 万枚の観測画像を自動分類し、年、月、時刻ごとのオーロラ発生率を詳細に明らかにした。
＊本アプリを用いることにより、観光客や写真家はオーロラの撮影を効率的に行うことができ、研究者は観測開始のトリガとすることで、観測データのストレージや消費電力を減らすことができる。
【概要】
国立大学法人東海国立大学機構 名古屋大学の野澤悟徳准教授は、電気通信大学情報理工学研究科博士後期課程 2 年の南條壮汰氏らの国際共同研究グループと共に、ノルウェー・トロムソ（北緯 69.6 度、東経 19.2 度）の EISCAT レーダーサイトに設置した全天デジタルカメラ※1（https://www.isee.nagoya-u.ac.jp/~eiscat/obs/d5000/html/sky_image.html）によるオーロラの光学観測を実施し、ディープラーニングモデルを用いることで、オーロラの発生状況をリアルタイムに通知するシステム Tromsø AI（トロムソ・アイ）を開発しました（図 1:https://tromsoe-ai.cei.uec.ac.jp/）。このシステムは、30 秒に一度上空を撮影し、画像を日本国内のサーバへ転送後、数秒以内に画像の種別をディープラーニングによって自動判定し、オーロラが出ていればブラウザの通知機能を使ってユーザに知らせます。また、構築したモデルを用いて、2011 年 9 月から撮影されたオーロラの観測画像 553 万枚を自動分類することで、オーロラの発生率の長期変動を詳細に明らかにしました。これらの成果は、オーロラ観光に最適なシーズンを知ることや市民科学の奨励に役立ちます。今後は観測地点を増やし、より広域にオーロラの発生情報を提供する予定です。

図 1: オーロラ出現時の Tromsø AI のスクリーンショット。激しい爆発オーロラの出現に伴い、右上にデスクトップ通知が表示されている。
【背景】
オーロラは、地球近傍の宇宙空間（磁気圏）から地球磁場の磁力線に沿って飛来した荷電粒子が、高さ 100–400 km 付近に存在している大気と衝突することで発光する現象です。そのため、オーロラを観測することは磁気圏の荷電粒子の動態を調べる上で重要な意義を持ちます。オーロラは、観測用のカメラだけでなく、市販のデジタルカメラ（デジカメ）やスマートフォンでさえも捉えられるほど明るいため、大きな磁気嵐が発生した際には、オーロラの画像が数多く SNS へアップロードされます。このような画像は、単に見た目が美しいだけでなく、上述した理由により科学研究に用いられることもあります。しかしながら、研究者はモノクロでオーロラの観測を行うことが多いため、デジカメで撮影されるようなカラー画像を解析する機会は多くありません。カラー画像を解析することにより新たな発光現象が見つかった事例もありますが[2]、この事例は研究者ではなく、オーロラの写真家が撮影した画像がきっかけになったものでした。このように、最近は研究者でない方々の撮影した画像を科学研究に用いる活動「市民科学」が盛んに行われるようになりつつあります。そこで、私たちはこのような市民科学をサポートするため、オーロラの発生を知らせる通知システムを作成することを目指しました。このシステムを実現するためには、1) 上空の撮影、2)撮影画像にオーロラが写っているかの判定の 2 つを自動化する必要があります。1) については別のプロジェクトで稼働していたノルウェー・トロムソの全天デジタルカメラを使い、2) については、ディープラーニング技術を用いてオーロラの画像が精度良く分類できることが実証されているため、先行研究[1]の手法を踏襲して実現することにしました。
【手法・成果】
先行研究では、ResNet-50[3]というディープラーニングモデルを使うことで、92%の平均精度でオーロラ画像を 7 つのクラスに分類できることを実証しました。しかし、この手法ではオーロラが写っていない画像を除外できないため、毎分撮影される観測画像から、オーロラの写っている画像のみを抽出することはできません。そこで、本研究では、図 2 に示すようにオーロラが出現していないクラスを含んだ 8 つのクラスを定義しました。過去の観測画像の一部を目視によってこれらのクラスに振り分け、教師データ※2 を作成し、ResNet-50 による学習を行いました。

図 2: 本研究で定義した 8 つのクラス。左上の 3 クラスはオーロラのクラス、左下の 2 クラスはオーロラが出現しているものの月光や雲により見づらい時のクラス、それ以外はオーロラが出ていない時のクラスである。
学習後にモデルの精度評価を行ったところ、先行研究と同等の平均精度 93%が得られたため、十分な精度で「2) 撮影画像にオーロラが写っているかの判定」が行えるものと判断し、ウェブアプリケーションを実装しました。
ノルウェー・トロムソの全天デジタルカメラは、2011 年 9 月から 10 年以上稼働しているため、オーロラの観測画像は 553 万枚以上蓄積されています。これは、オーロラの源となる太陽活動が11 年周期で変動していることを踏まえれば、オーロラ発生率の太陽活動依存性を評価できる量に相当します。そこで、本研究ではオーロラ発生率を「観測可能クラスに分類された画像の枚数に対するオーロラのクラスに分類された画像の枚数の割合」（図 2 参照）と定義し、統計解析を行いました。この値を 2011 年 9 月から 2021 年 3 月まで月毎に計算したものを図 3 として以下に示します。さらに、3 種のオーロラ（筋状オーロラ、爆発オーロラ、おぼろげオーロラ）がどのような時間帯に出現しやすいかを調査した結果を図 4 に示します。

図 3: オーロラ発生率の月別分布。左上のパネルが 2011 年 9 月、右下のパネルが 2021 年 3 月（2020 年度 3 月）を示す。各パネルには上から順にオーロラ発生率、オーロラのクラスに分類された画像の枚数、観測可能クラスに分類された画像の枚数が書かれている。パネルの色が赤い（青い）時はオーロラの発生率が高い（低い）ことを示す。パネルの上の横方向に長いグラフは年平均のオーロラ発生率を示す。パネル右のグラフは 10 年間で平均した月毎のオーロラ発生率を示す。

図 4: 10 年間で得られた観測可能クラスの枚数の時間別分布。横軸はノルウェー標準時であり、日本標準時に対して 8 時間の遅れがある。15 から 19 時および 02 から 06 時は季節によって日照の影響を受けるため画像の枚数が減っている。

図 3 の上のパネルから、オーロラの発生率は 2015 年度のシーズン（2015 年 9 月から 2016 年 3月）に最も高かったことがわかります。太陽活動の極大は 2014 年 4 月頃であったため、これは太陽活動の減衰初期に相当します。右側のパネルからは、オーロラ発生率の季節依存性を評価することができ、冬至を含む 12 月に最も低かったことがわかります。反対に、秋や春には発生率が高くなり、9 月や 3 月には、真冬の 2 倍近い確率でオーロラが出現することが示されました。地磁気の活動度が秋と春に高くなり、夏や冬に低くなる傾向は、ラッセル・マクフェロン効果[4]として知られていますが、本研究はこの効果を光学観測の結果として可視化することに成功しました。
図 4 では、オーロラの発生率が 22 から 23 時で最大だったことがわかります。観光客に人気のある明るくダイナミックに変化する筋状オーロラや爆発オーロラは、真夜中以前に多く見られることが示されました。
以上のことから、ノルウェー・トロムソにおけるオーロラ観賞は、春や秋の真夜中前が最適であると言えます。
【今後の展望】
本研究では、ノルウェー・トロムソ上空におけるオーロラの発生状況をリアルタイムに通知を行うアプリケーションを開発しましたが、トロムソから観測できる範囲は限られているため、今後は観測地点を増やすことで広い範囲で発生状況をサポートする予定であり、今年の秋からは、スウェーデン・キルナで同様のサービスを提供する予定です。また、近年は観測用カメラの高解像度化に伴い、観測データの容量が増大しています。そのため、本アプリケーションを使ってオーロラの出現時のみ観測を行うもしくは、観測終了後にオーロラが出現していない時間帯のデータを自動で削除するワークフローを実装することで、観測データの容量を抑えることができます。
（論文情報）
論文雑誌名: Scientific Reports
タ イ ト ル : An Automated Auroral Detection System Using Deep Learning: Real-time
Operation in Tromsø, Norway
著者: S. Nanjo, S. Nozawa, M. Yamamoto, T. Kawabata, M. G. Johnsen, T. Tsuda, and K.
Hosokawa
URL: https://www.nature.com/articles/s41598-022-11686-8
DOI: 10.1038/s41598-022-11686-8（共同研究グループ）
南條 壮汰
電気通信大学大学院情報理工学研究科 博士後期課程２年
野澤 悟徳
名古屋大学宇宙地球環境研究所 准教授
山本 雅毅
キヤノン株式会社情報通信システム本部
川端 哲也
名古屋大学全学技術センター 技師
Magnar G. Johnsen ノルウェー北極大学トロムソ地磁気観測所 研究員
津田 卓雄
電気通信大学大学院情報理工学研究科 准教授
細川 敬祐
電気通信大学大学院情報理工学研究科 教授（外部資金情報）
本研究は，日本学術振興会科学研究費補助金（17H02968, 19H01952, 19H01956, 20K20940,21H04516, 21H04518, 21H01144, 21H01142, 21H01152, 21K18315, 21J20254）の補助により行われました。
（用語説明）（※1）全天デジタルカメラ180 度の画角を持つ魚眼レンズを取り付けたデジタルカメラ。カメラの設置地点から見渡すことのできる空全体を撮影できるため「全天」カメラと呼ばれる。本研究では Nikon D7200 および
SIGMA 4.5mm f/2.8 EX DC HSM Circular Fisheye を用いている。
（※2）教師データ
ディープラーニングモデルが学習する画像を、図 2 に示したクラスごとにまとめたもの。本研究で用いたデータセットは https://tromsoe-ai.cei.uec.ac.jp/~nanjo/public/dataset/ からダウンロード可能。モデルは、未知の画像を教師データで学んだ各クラスの特徴に照らし合わせ、類似度を評価することでクラス分類を行う。そのため、教師データには典型的な観測画像が網羅的に含まれていることが望ましい。

（参考文献）[1] Kvammen, A. et al., Auroral image classification with deep neural networks. J. Geophys.
Res. Space Phys. 125, e2020JA027808. https://doi.org/10.1029/2020JA027808 (2020)[2] MacDonald, E. A. et al., New science in plain sight: Citizen scientists lead to the discoveryof optical structure in the upper atmosphere. Sci. Adv. https://doi.org/10.1126/sciadv.aaq0030(2018).
[3] He, K. et al., Deep residual learning for image recognition. In 2016 IEEE Conference on
Computer Vision and Pattern Recognition (CVPR). https://doi.org/10.1109/CVPR.2016.90 (2016).
[4] Russell, C. T. & McPherron, R. L. Semiannual variation of geomagnetic activity. J.
Geophys. Res. 78. https://doi.org/10.1029/JA078i001p00092 (1973).