はじめに
1
太陽フレアに代表される大規模な太陽活動は，電子機器の障害や宇宙飛行士への健康的被害など様々な影響をもたらす．実際，経済損失に関する試算では，Carrington級フレアの発生で約1,630億ドルの損失が生じると推定されており[20]，太陽フレアの予測は極めて重要なタスクであるといえる.しかし，24時間以内に発生する最大の太陽フレアクラスを予測するタスクは容易ではない．例えば，完璧な予測に対して1.0を返すBSS(Brier Skill Score) [13]やGMGS(Gandin-Murphy-Gerrity score) [2]の指標において, 2010年から2015年における専門家予測はBSS>M = 0.16およびGMGS = 0.48程度である[5, 10].こうした背景から，本論文では，時刻tから24時間以内に発生する最大の太陽フレアクラスを予測するタスクを扱う.本タスクにおける入力は，時刻(t − k,t)における一時間おきの太陽の磁場画像と物理特徵量であり，出力は24時間以内における最大の太陽フレアクラスの発生確率である.ここで，物理特徴量とは AIA(Atmospheric Imaging Assembly) [7]やSDO(Solar Dynamic Observatory) [16]による撮影画像から抽出した90種類の特徴量[11]である．また太陽フレアクラスはX線ピーク値ptにより定義され，ptが低い順にO,  C,  M, Xの4クラスが存在する.既存手法では，太陽フレアクラスを実際よりも低く見積る予測が多い．例えばFlare Transformer [26]では，Xクラスの太陽フレアを高頻度でMクラス以下と予測してしまう．したがって本論文では，クラスパランスの不均衡性を考慮した，正確で信頼性の高い太陽フレア予測モデルFlareformerを提案する1 ⁄ 2 .提案手法における新規性は以下の通りである. •太陽フレア予測を扱う提案手法において，時系列予測に適した構造であるInformer [25]の注意機構を導入する. •太陽フレア予測に寄与する特徴量を抽出するため, ConvNeXt [9]を導入する. •サンプリングを伴う訓練時において，サンプル数の少ないXクラスへの過学習を防ぐため，Classifier Re-training (cRT) [4]に基づく分類器の再学習機構を導入する.杉浦孔明¹） Komei Sugiura
2
関連研究
時系列予測の研究は盛んに行われている[23,24].時系列予測分野では、統計モデルに基づく古典的手法[1,3]のほか，近年にはDNN(Deep Neural Networks)を用いた手法も数多く提案されている．DNNによる時系列予測モデルは二つに大別でき，RNN(Recurrent Neural Network)ベースの手法[14,17,18,22],およびAttentionベースの手法[8,23,24]がある．例えばRNNベースであるDeepAR [18]では，将来における事象の確率分布を自己回帰型RNNで予測する一方, AttentionベースであるInformer [24]では，ProbSparse self-attention機構を用いた注意機構により，生成的デコーダを通して将来の時系列を予測する.太陽フレア予測の研究も盛んに行われている[6, 12, 15].   DeFN [12]は24時間以内における太陽フレアの発生を黒点領域ごとに予測するモデルである．この手法では物理特徴量の各要素について出力への寄与度を分析することができる. またDeFNが決定論的な予測を行う一方，DeFNを拡張したDeFN-R [13]では確率論的な予測を行うよう最適化されたネットワーク構造となっている．さらに，Flare Transformer [26]では，物理特徴量に加えて磁場画像を使用し，transformer型注意機構による太陽フレア予測を行う.
問題設定
3
本論文では，時刻tから24時間以内に発生する最大の太陽フレアクラスを予測するタスクを扱う．ここで，太陽フレアクラスとはX線ピーク値による太陽フレアの等級を指し，時刻tにおける太陽フレアクラスはX線ビーク値ptにより以下のように定義される. yt = flareclass(max { pt+1, pt+2, . . . , pt+24})本論文では，以下の入出力を想定する. ・入力:時刻(t − k,t]における一時間ごとの磁場画像Vt−k+1:tおよび物理特徴量Ft−k+1:t・ •出力:各太陽フレアクラスに対する予測確率を示す4次元ベクトルp(ŷt).上記タスクは太陽フレア予測の分野において標準的な問題設定であり[12,15]，専門家による予測も同様に分類問題として取り組まれている．したがって、本論文では回帰問題ではなく上述の分類問題を扱う.本タスクでは，モデル出力p(y t )とy tが等しくなることが望ましい．しかし，太陽フレアは各クラスの発生頻度が不均衡であるため，各クラスを均等に評価する損失を用いた場合，全体の90%を占める0クラスやCクラスといった自明な解を出力する．こうした自明な解を避けるため，本タスクでは，本分野において標準的な尺度であるBSS [13]およびGMGS [2]を用いて評価する.したがって，本タスクにおける評価尺度には，BSS>м， GMGS [2],およびTSS≥ mを使用する．ここで，“≥ m”は太陽フレアクラスがMクラス以上またはMクラス未満の二値として評価したことを示す.本論文では，太陽全体の画像から太陽フレアクラスを予測することを前提とする．そのため，黒点の領域レベルにおける予測[12]は扱わない.
4　提案手法
提案手法のネットワーク構造を図１に示す.ただし,図における“Batch Norm”,  “Layer Norm”はそれぞれパッチ正規化層，およびレイヤ正規化層を示す.本手法は磁場面像と物理特徴量を入力とするFlare Transformer [26]を拡張したものであり，ネットワークはMagnetogram Module(MM)およびSunspot Feature Module(SFM)の２つのモジュールから構成される．各モジュールの詳細については本章にて後述する.入力4.1時刻t − k + 1から時刻tにおける，ネットワークの入力を以下のように定義する.
ここで，vt ∈ R²56×256とft ∈ R 90はそれぞれ時刻tにおける磁場画像および物理特徴量を示す. 4.2    Magnetogram Module Magnetogram Moduleでは，磁場画像V t − k +1:tを用いてhyが以下のように計算される. hv = ffe (Vt-k+1:t) (4)ここで，ffeは図２に示すImage Feature Extractorを指す.図中N iはi stage目での層数を表しており，各stageにおいて{N i}i =o = {3,3,9,3}である．すなわち，Image Feature Extractorは18層のConvNeXt [9]で構成される.
4.3
Sunspot Feature Module
Sunspot Feature Moduleでは，物理特徴量F t − k +1:tを用いてh Fが以下のように計算される. h F = fbn (ffn(Ft-k+1:t))
ここで，fbnはバッチ正規化層，fffnはFFNを示す.上式による計算後，h νとh rを結合することでh ν rを得る.
4.4  Transformer Layers
Transformer層では，磁場画像および物理特徴量の時系列関係が計算される.  Transformer層に入力するクエリをqとすると，MMではq = h Mであり, SFMではq = h Fである．また，入力されるキーとバリューはMM，SFM共にhvfである. q(i) ∈ Rk×dおよびhVF(i) ∈ Rk×2d (i = 1,..., Nhead)に分割される. ここでd = H/Nheadであり，Hは隠れ層の数，Nheadはヘッド数を示す.クエリQ(i) ∈ Rk×d,キー K(i) ∈ Rk×2d,およびバリュー V(i) E Rk×2dがi番目のヘッドについて以下のように計算される.
Transformer層の出力htrmは以下のように計算される.
示す. MMの出力h MMはN V層のtransformer層によって計算され，SFMの出力hsFMも同様にN F層のtransformer層によって計算される.最後に，予測クラスy,は以下のように計算される.
(12)ここで，p(ŷti)はi番目のクラスに関する予測確率をボす.
4.5   Classifier Re-training (cRT)
本タスクはクラスバランスが偏っている.例えば、 2017年におけるXクラスのサンプル数は全体の約2.9%であった.したがって，学習時にはクラス間のサンプル数が均等になるようサンプリングする必要がある.しかし，そうしたオーバーサンプリングを伴う学習は，サンプル数が極端に少ないXクラスへの過学習を招く.そこで，本提案手法では元のデータセットでの学習に加え，Classifier Re-training (cRT) [4]に基づくモデルの再学習を行った．ここで，元のデータセットでの学習段階をfirst-stageとし，cRTに基づく学習段階をsecond-stageと呼ぶことにする. second-stageでは、クラス間のサンプル数が均等になるようサンプリングを行い，また最後のLinear層以外の重みを固定して再学習を行う．すなわち，式(11)の指す最終層の重みのみを，クラス数の均されたデータセットで再学習させる.
4.6 損失関数
提案手法では，Flare Transformer [26]同様，GMGS損失およびBSS損失を導入する. GMGS損失は以下のように定義される.
ここで，N，Iおよびsi-j-はそれぞれサンプル数，クラス数，およびGMGSのスコア行列[2]を示す．また， p(ŷni),  yni, そしてyni はそれぞれn番目のサンプルに対するi番目のクラスの予測確率，正解ラベルを示す. BSS損失は以下のように定義される.
上記のGMGS損失およびBSS損失を用いて，全体の損失関数を以下のように定義する. L = Lce + AgmgsLgmgs + AbssLbss (16)ここで，Lceはynとgnに関する交差エントロピー損失を示し，λgmgsおよびλbssは重みを示す.
実験
5
5.1 実験設定
表1に実験設定を示す. Nv,#Hv,#AvはそれぞれMagnetogram ModuleにおけるTransformerの層数，隠れ層の次元数，およびAttentionのヘッド数を示す．また
Nf, #Hf, #Afは同様にSunspot Feature Moduleにおけるtransformerのハイパーパラメータを示す.本実験では，first-stageにて40epoch，second-stageにて3epoch学習させた．また、first-stageでは学習率のスケジューリングを行い，初期の5epoch間では学習率を線形に増加させ，次にcosnine-decayによって学習率を減少させた．またsecond-stageでは，再度学習率を元に戻し，再学習させた.本モデルにおける訓練可能パラメータ数，および積和演算数は，それぞれ6.7M，および30.8Gである．学習にはメモリ16GB搭載のGeForce RTX 3080およびIntel Core i9-11980HKを使用し，本モデルの訓練時間と1サンプルあたりの推論時間は，それぞれ4.8時間, 3.1 × 10−3秒であった.
5.2データセット
本データセットはSDOのウェプアーカイプ5および物理特徴量データベース³から収集した磁場画像および物理特徴量によって構成されている.本データセットには、2010年6月1日2時から2017年12月24日12時までの合計61315枚のHelioseismic and Magnetic Imager (HMI) [19]によって撮影された磁場画像,および各時刻における90種類の物理特徴量[12]が含まれる.また本データセットにおいて，正解ラベルがx,  m,  C,  Oクラスとなるサンプルの数はそれぞれ492, 4745, 19736, 36342であった.本論文では，時系列予測において標準的な手法である時系列交差検証[21]に基づき，訓練集合とテスト集合を分割した.ここで，時系列交差検証では，訓練サンプルはテスト集合を構成するサンプルよりも時系列的に前のサンプルで構成されている.
5.3 実験結果
本研究では，提案手法の有効性を検証するため，ベースライン手法との比較実験を行った.ただし,ベースライン手法を，DeFN [12], DeFN-R [13],およびFlare Transformer [26]に設定した. 2)表2にベースライン手法と提案手法の定量的結果，および専門家による予測評価を示す。表には各実験における年度ごとの平均値と標準偏差を示した.ただし，2016年はXクラスの太陽フレアが観測されなかったため, GMGSについては近似値を用いた.本タスクにおける評価尺度には，BSS ≥ M，GMGS [2],およびTSS>Mを使用する．ここで，BSSやGMGSは太陽フレア予測タスクにおいて標準的な尺度であり，本研究における主要尺度はBSS≥м，GMGSとする.ベースライン手法の中で最も結果の良い手法はFlare Transformer [26]であった.そのため提案手法とFlare Transformer [26]の結果を比較する．表２より，主要尺度であるBSS> Mについて,提案手法とFlare Transformer [26]はそれぞれ, 0.082,および0.222であり，提案手法が0.14ポイント上回った．したがって，ベースライン手法と比較して提案手法が優れているという結果を得た.また，表2に示した専門家予測の値と提案手法の結果を比較すると，BSS≥M，TSS≥M，GMGSの値をそれぞれ，0.062, 0.03, 0.02ポイント上回っており，提案手法は専門家を超える予測性能を達成することができた.図３に定性的結果を示す.図３(a)は，Ｘクラスを正しく予測した例を示している．図XX上は2017年9月5日6:00から9:00における磁場画像のサンプルである．このサンプルにおける予測はy ∈ “X”であり,実際に24時間後の2017年9月6日9:00においてXクラスの太陽フレアが発生したため，正しく太陽フレアクラスを予測できた．同様に，図3(b)にMクラスを正しく予測した例を示す.図3(c)は正しいクラスを予測できなかった例を示している．この例では，2017年1月21日0:00から3:00におけるサンプルを示しており,正解はyt = “C”である. 本手法のモデルはこのサンプルについてy t = “M”と出力したため，予測に失敗した．ここで，ＣおよびＭクラスの予測確率はそれぞれ，p(yt1) = 0.391,p(yt2) = 0.399と互いに近い値であるため，原因はこのサンプルがCクラスとMクラスの決定境界付近に位置しているためであると考えられる.
5.4 Ablation studies
以下に示す4条件をablation studiesに定めた. (i) cRTによる性能への寄与を調べるため，cRTを用いずに学習させた. (ii) Transformer層の層数を増やした場合の性能を調べるため，層数NをN = 2,3と増やした. (iii) ConvNeXt [9]の性能への寄与を調べるため、画像特徴量を抽出する機構をFlare TransformerのImage Feature Extractorへと置き換えた. (iv) Informer [25]の注意機構の性能への寄与を調べるため，transformer層を通常のTransformerへと置き換えた.表３にablation studiesの定量的結果を示す．条件(i)では，主要尺度であるBSSおよびGMGSについて，BSSが0.176ポイント，GMGSが0.06ポイント減少した．したがって，cRTによる再学習機構が十分性能に寄与しているといえる．また条件(ii)，(iii)，のどの条件も，専門家を超える予測性能を達成できていない．したがって，図３定性的結果
transformer層の層数はN = 1が最良であり，提案手法におけるtransformer層の構造，およびConvNeXt [9]が性能に寄与していることが確認できた.
5.5 エラー分析
最後に，エラー分析を行う．表４にて，2017年のテスト集合におけるGMGSInfluence [26]を示す.ただしGMGSInfluenceは以下の式で定義される.
ここで，cijおよびsijはそれぞれ混同行列およびGMGSのスコア行列[2]の(i,j)成分を示す.表4より,ボトルネックはMクラスのフレアを誤ってCクラスと予測する点であるといえる.したがって，このボトルネックを改善することがさらなる性能の向上につながると考えられる.
おわりに
6
本論文では，24時間以内に発生する最大の太陽フレアクラスを予測するモデルとして, Flareformerを提案した.提案手法による頁献は以下である. •太陽フレア予測を扱う提案手法において，時系列予
測に適した構造であるInformer [26]の注意機構構造を導入した. •太陽フレア予測に寄与する特徴量を抽出するため, ConvNeXt [9]を導入した. •サンプリングを伴う訓練時において，サンプル数の少ないXクラスへの過学習を防ぐため，Classifier Re-training (cRT) [4]に基づく分類器の再学習機構を導入した. • BSS, GMGS, TSSにおいて，提案手法は専門家を超える予測性能を達成した. [1] George Box , Gwilym Jenkins , Gregory Reinsel et al., Time Series Analysis:  Forecasting and Control , John Wiley & Sons (2015) [2] Lev Gandin et al., "Equitable Skill Scores for Categorical Fore- casts", Monthly Weather Review , Vol. 120, No. 2, pp. 361–370. (1992) [3] Rob Hyndman , Anne Koehler et al., Forecasting with Exponential Smoothing: The State Space Approach , Springer Science & Business Media (2008) [4] Bingyi Kang , Saining Xie , Marcus Rohrbach , Zhicheng Yan , Albert Gordo , Jiashi Feng et al., "Decoupling representation and classifier for long-tailed recognition", in ICLR (2020) [5] Yûki Kubo , Mitsue Den et al., "Verification of Operational Solar Flare Forecast: Case of Regional Warning Center Japan", Journal of Space Weather and Space Climate , Vol. 7, p. A20 (16pp) (2017) [6] Kanya Kusano , Tomoya Iju et al., "A Physics-based Method that can Predict Imminent Large Solar Flares", Science , Vol. 369, No. 6503, pp. 587–591 (2020) [7] James Lemen , David Akin , Paul Boerner et al., "The Atmo- spheric Imaging Assembly (AIA) on the Solar Dynamics Obser- vatory (SDO)", in The Solar Dynamics Observatory , pp. 17–40, Springer (2011) [8] Shiyang Li  et al., "Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting", in NeurIPS, Vol. 32, pp. 5243–5253 (2019) [9] Zhuang Liu , Hanzi Mao , Chao-Yuan Wu , Christoph Feichten- hofer , Trevor Darrell et al., "A convnet for the 2020s", in CVPR , pp. 11976–11986 (2022) [10] Sophie Murray , Suzy Bingham , Michael Sharpe et al., "Flare forecasting at the met office space weather operations centre", Space Weather , Vol. 15, No. 4, pp. 577–588 (2017) [11] Naoto Nishizuka et al., "Solar flare prediction model with three machine-learning algorithms using ultraviolet brightening and vec- tor magnetograms", The Astrophysical Journal , Vol. 835, No. 2, p. [12] Naoto Nishizuka , Komei Sugiura et al., "Deep flare net (DeFN) model for solar flare prediction", The Astrophysical Journal , Vol. 858, No. 2, p. 113 (8pp) (2018) [13] Naoto Nishizuka , Yuki Kubo , Komei Sugiura , Mitsue Den et al., "Reliable Probability Forecast of Solar Flares:  Deep Flare Net- Reliable (DcFN-R)", The Astrophysical Journal , Vol. 899, No. 2, p. 150 (8pp) (2020) [14] Bun Theang Ong et al., "Dynamically Pre-trained Deep Recurrent Neural Networks using Environmental Monitoring Data for Predict- ing PM2.5", Neural Computing and Applications , Vol. 27, No. 6, pp. 1553–1566 (2016) [15] Eunsu Park , Yong-Jae Moon , Seulki Shin et al., "Application of the Deep Convolutional Neural Network to the Forecast of Solar Flare Occurrence Using Full-disk Solar Magnetograms", The Astro- physical Journal , Vol. 869, No. 2, p. 91 (6pp) (2018) [16] William Pesnell , Barbara Thompson et al., "The Solar Dynamics Observatory (SDO)", in The Solar Dynamics Observatory , pp. 3–15, Springer (2011) [17] Syama Rangapuram , Matthias Seeger et al., "Deep State Space Models for Time Series Forecasting", in NeurIPS , Vol. 31, pp. 7785– 7794 (2018) [18] David Salinas , Valentin Flunkert , Jan Gasthaus et al., "DeepAR: Probabilistic forecasting with autoregressive recurrent networks", International Journal of Forecasting , Vol. 36, No. 3, pp. 1181–1191 (2020) [19] Philip Scherrer , Jesper Schou , R Bush , A Kosovichev , R Bog- art et al., "The Helioseismic and Magnetic Imager (HMI) Investi- gation for the Solar Dynamics Observatory (SDO)", Solar Physics , Vol. 275, No. 1, pp. 207–227 (2012) [20] SwissRe , "Solar storm; how to calculate insured / reinsured losses?", Space Weather Workshop (2016) [21] Leonard Tashman , "Out-of-sample tests of forecasting accu- racy: an analysis and review", International Journal of Forecasting , Vol. 16, No. 4, pp. 437–450 (2000) [22] Ruofeng Wen , Kari Torkkola et al., "A Multi-horizon Quantile Recurrent Forecaster", arXiv preprint arXiv:1711.11053 (2017) [23] Sifan Wu , Xi Xiao , Qianggang Ding , Peilin Zhao et al., "Adver- sarial Sparse Transformer for Time Series Forecasting", in NeurIPS , Vol. 33, pp. 17105–17115 (2020) [24] Haoyi Zhou , Shanghang Zhang , Jieqi Peng , Shuai Zhang , Jianxin Li  et al., "Informer:  Beyond Efficient Transformer for Long Sequence Time-series Forecasting", in AAAI, pp. 11106– 11115 (2021) [25] Haoyi Zhou , Shanghang Zhang , Jieqi Peng , Shuai Zhang , Jianxin Li , Hui Xiong et al., "Informer:  Beyond efficient transformer for long sequence time-series forecasting", AAAI , Vol. 35, No. 12, pp. 11106–11115 (2021)兼田寛大,西塚直人飯田紡,久保勇樹et al., "Flare Trans- [26] former:磁場画像と物理特徴量を用いた太陽フレア予測", in JSAI2021 (2021)