DEIM Forum 2023 4a–6–2

Transformer Encoder を用いたプラズマ乱流の予測と分析
眞鍋 陽向†

三林 亮太††

沼田龍介††

山本岳洋†,††

大島 裕明†,††† 兵庫県立大学社会情報科学部 〒 651–2197 兵庫県神戸市西区学園西町 8–2–1†† 兵庫県立大学大学院情報科学研究科 〒 651–2197 兵庫県神戸市西区学園西町 8–2–1
E-mail: †{hntmnb.288,threeforest8,ryusuke.numata}@gmail.com, ††t.yamamoto@sis.u-hyogo.ac.jp,†††ohshima@ai.u-hyogo.ac.jp
あらまし 本論文では，シミュレーションによって作成されたプラズマ乱流の推移を表したデータを，機械学習モデルを用いて再現する．それによって，プラズマ乱流における現象を機械学習的な観点から分析する手法を提案する．たとえば，プラズマ乱流において発生する大きな渦や小さな渦が，それ以前の時間帯におけるどのような部分から大きな影響を受けていると考えられるかといったことが分析できるようになると考えられる．本研究では，シミュレーションで作成された，初期値が異なるプラズマ乱流の時系列データ 100 セットを学習データとして，Transformer Encoderを学習させることで機械学習モデルを構築した．その時，プラズマ乱流のエネルギースペクトルが持つ性質が可能な限り保存されるようにモデルの学習を行う方法を提案した．構築された機械学習モデルに対して，いわゆる説明可能な AI の技術を用いて，プラズマ乱流における現象の解釈を行った．
キーワード プラズマ乱流，Transformer Encoder，説明可能な AI，深層学習

1 はじめに
近年，深層学習の普及により様々な分野の研究に深層学習が用いられている．深層学習は様々な分野の研究で良い結果をもたらしている．我々は物理学の研究に深層学習を用いた．物理学では物理現象の研究が数多く行われており，本研究では，深層学習を用いて，物理現象のさらなる解釈に貢献した．我々は機械学習モデルを用いて物理現象を再現する．そして，再現可能になった機械学習モデルを分析することによって物理現象を

図1

プラズマ乱流を画像として出力解釈しようと考えた．
物理現象を機械学習モデルで再現するためには，物理現象のきによって作り出された不規則な流れや渦のことを乱流という．

データを大量に学習させる必要がある．これまで，シミュレー

プラズマ乱流は静電ポテンシャル（phi）と密度（density）でションの技術が発達する前は物理現象をシミュレーションする表される．また，磁場閉じ込め核融合プラズマにおける静電的ことができなかった．そのため，物理現象のデータは実データ

ドリフト波乱流は phi と density の揺らぎで記述される．静電しか存在せず，データを収集するためには，実際に観測しなけ的ドリフト波乱流では，静電ポテンシャルは流れ関数に対応しればならなかった．これは莫大な時間とコストがかかるため，ており，その等値線はプラズマの流れの方向をあらわす．一般非常に困難だった．しかし，今ではシミュレーションの技術がに乱流があるとプラズマの輸送が増大し，装置外へ拡散してし発達したため，実際に観測することなく大量のデータを収集でまう．しかし，図 1 の phi に示すように，静電的ドリフト波乱きるようになった．そのため，本研究では機械学習モデルで再流から，径方向位置によって向きを変えるポロイダル方向の流現するために，物理現象のシミュレーションデータを学習させれ（帯状流）が自発的に形成され，径方向の輸送が低減される

た．これまでにも，物理現象のシミュレーションデータを用いことがある．乱流輸送や輸送障壁形成のメカニズムを理解するて機械学習モデルを学習させた研究がある [6]．

ことが核融合プラズマを制御する上で重要な課題である．

我々は再現する物理現象として，プラズマ乱流を対象とし物理現象の研究は進んでいるが，物理現象を完全に解釈するた [12]．プラズマとは物質の状態である固体，液体，気体に続のは難しい．そこで我々は，機械学習的な観点から分析するこく第四の物質の状態のことである．プラズマの状態はかなり密とによって，物理現象の更なる解釈に貢献できるのではないか度が低い状態であり，イオンと電子（粒子）が自由に動き回る．と考えた．現在，物理学の研究によって物理現象のモデル方程この動きによって，粒子が一部分に偏り，密度が不均一になる．

式が存在し，そのモデル方程式に従ってシミュレーションする

この時，不均一になった密度を均一にしようと粒子は動こうとことが可能になっている．このモデル方程式同士が想定していする．結果，不規則に動くことになる．この粒子の不規則な動ないところで影響し合っている可能性もある．たとえば，物理学的に，大きな渦は大きな渦同士，小さな渦は小さな渦同士し2. 3. 1 Vision Transformer

か影響し合わないとされている．しかし，機械学習モデルを分

Vision Transformer（ViT）は Kolesnikov らによって提案さ析することによって，大きな渦と小さな渦が影響し合っているれた画像認識モデルである [8]．ViT には，画像認識モデルにという結果が出た時，これまでとは異なる知見を得ることがでCNN ではなく Attention を用いたことが特徴である．Trans-

きる．そして，知見から物理現象の更なる解釈に貢献できると

former は，言語を扱うため，二次元のデータを用いるように作考えられる．

られている．しかし，画像データは，高さ，幅，チャンネル数

以降の節では 2 節で関連研究について述べる．3 節で本研究の三次元のデータである．そのため，そのまま言語を画像に置で使用するプラズマ乱流データについて述べたのち，4 節で予き換えるだけで直接扱うことができないという問題があった．

測手法と予測結果，5 節で分析手法と分析結果について述べる．

この問題を，Kolesnikov らは二次元の画像を一次元のベクトル

6 節で結論を述べる．に変換することによって解決した．これにより，Transformerで画像を扱うことに成功した．ViT は多くの画像分類データ

2 関連研究深層学習を物理学に応用した研究と，Transformer とその応用手法および機械学習モデルの予測根拠の可視化手法である

LIME についてまとめる．
2. 1 太陽表面の乱流構造の推定セットにおいて，比較的安価に事前学習を行うことができる．
また，大規模なデータセットでの事前学習と組み合わされた時，最先端の技術に匹敵するか，それ以上の性能を発揮することが報告されている．

Raghu らは ViT と CNN の代表的なモデルである ResNetを比較した [11]．二つのモデルには，内部構造において驚くほIshikawa らは太陽表面の観測データから観測困難な乱流構造

どの明確な違いがあることを示した．明確な違いとして，ViTを調べるための，新たな手法を提案した [6]．乱流構造の推定

は self–Attention により，グローバルな情報の早期集約を可はプラズマ物理学や核融合科学，流体理工学といった複雑な流能にする点と，下位層から上位層へ特徴量を強く伝播させるれを対象とする研究分野で共通する課題である．太陽の熱対流

ViT の残差接続が重要な役割を果たしていることが分かった．

を模擬する数値シミュレーションから多様な乱流データを用い

Attention を用いた ViT は，ViT の残差接続により，下位層た．そのデータを用いて，鉛直方向の運動および表面温度の分と上位層が出力する特徴量が似ている．一方で，CNN を用い布と，水平方向の運動との相関関係の深層学習を行った．そのた ResNet は，ある層と別の層の特徴量が似ていたり似ていな

結果，観測可能な情報から，観測困難な水平方向の運動を高速かったりと層ごとの類似性がまだらになっている．また，学習で推定する新たな手法を提案した．さらに，空間スケールごとにおいて，大規模な ViT は ResNet よりも良い結果を示していに推定精度を分析する手法も開発した．それにより，対流の典るが，大きな差ではなかった．しかし，中間表現を見ると ViT型的な大きさの構造よりも小さな乱流の構造が，水平方向の運の方がはるかに強力な中間表現を学習していた．

動の推定精度を制限していることを突き止めた．

より大きな ViT モデルが，より大きな事前学習データセットを通じて，著しく強力な中間表現を開発することがわかった．

2. 2 人工知能を用いた量子指紋の解読
Daimon らは量子指紋を理解できる新たな手法を提案した [4]．

そして，Raghu らは ViT が画像分類以外の用途に使用される可能性を見出した．

量子干渉の情報を解読する特徴抽出ネットワークと量子指紋からミクロ構造を生成する構造生成ネットワークの二つから独自

2. 4 LIMEの新しい三叉構造のネットワークを構築した．そして，潜在空

Ribeiro らは説明可能な AI の一つである LIME を提案し間を経由する構造を導入したことで初めて量子干渉の情報をた [13]．LIME は，モデルの予測に説明を与える手法の一つで生成することに成功した．この手法により，一見ランダムに見ある．近年，機械学習モデルは広く用いられているにも関わらえる電気抵抗の変化に法則性を見出した．そして，電気抵抗のず，そのほとんどがブラックボックス化している．これは，モデータのみから金属内部のミクロな構造，さらに，量子力学的デルを評価する上での信頼性という面で問題となる．そのため，な干渉の情報を引き出すことが可能になった．

このブラックボックス，いわゆる予測の根拠を明らかにすることが重要視されてきている．

2. 3 Transformer

そこで，Ribeiro らは分類モデルを用いて予測の根拠を明ら

Vaswani らは RNN や CNN を用いず Attention のみを用かにした．LIME は，あるデータに対するモデルの予測についいている Transformer を提案した [3]．これまでは，RNN やて，寄与した特徴量とそのスコアを我々人間が解釈可能な形でCNN を用いた Encoder–Decoder モデルが多く用いられてい可視化する手法である．Ribeiro らの実験で専門家と非専門家たが，Transformer は Encoder–Decoder に Attention を用いを対象とし，モデル間の決定，信頼の評価，信頼できないモデた．この手法は，前者よりも早く学習が行うことができ，さルの改善，予測根拠の獲得など，様々なモデルに対して説明がらに，より正確に学習を行えることが報告されている．そし有用であることを示した．て，Transformer をベースにしたモデルとして，BERT [7] やGPT–2 [1]，Vision Transformer がある．

3 プラズマ乱流データ
本研究では，モデル方程式に従ってシミュレーションされた
プラズマ乱流データを用いた [12]．プラズマ乱流データには，静電ポテンシャル (ϕ) とプラズマ密度 (n) がある．データは画像に変換したり，エネルギースペクトルに変換したりすることでどのような動きをしているのか，どのような性質を持っているのかを理解しやすくなる．以下で，プラズマ乱流データの構
造と画像，エネルギースペクトルについて説明する.

3. 1 プラズマ乱流データの構造
プラズマ乱流データは，縦 256 ピクセル横 256 ピクセルのデータである．そして，このデータを縦 16 ピクセル横 16 ピク

図2

プラズマ乱流をエネルギースペクトルとして表示

セルを 1 つとしたものをパッチとする．
時間的に変動するプラズマ乱流のデータは，周期的な 2 次
元領域 0 < x < Lx ，0 < y < Ly における静電ポテンシャル

向について平均し，k = |kx2 + ky2 |1/2 についてのスペクトルを定義する．

（ϕ(x, y, t)）と，密度（n(x, y, t)）で与えられる．ただし，x,y, t はそれぞれ xix = ix ∆x, yjy = jy ∆y, tnt = nt ∆t と離散t化されており，ϕ(xix , yjy , tnt ) = ϕnix ,jy などと書く．ただし，

ix = 0, . . . , Nx ,jy = 0, . . . , Ny ，ntn = 0, . . . , 1000．以下では，E ϕ dk =E n dk =2ϕ̃lx ,myDñlx ,my2

E,(5)

.

(6)

θ

θ

Lx = Ly ，Nx = Ny = 255 とした．よって，ある時刻 tnt におただし，⟨·⟩θ は，波数空間における角度 θ = tan−1 (ky /kx ) にいて，ϕ と n は 256 × 256 の行列データであらわされる．

関する平均をあらわす．

領域が周期的であるため， ϕ(0, y) = ϕ(Lx , y), ϕ(x, 0) =ϕ(x, Ly ) である．
（n についても同様．
）乱流の性質により，遠く離れた渦同士に相関がないため，領域を渦の相関長に比べて十分広く取れば適当なところで打ち切ってもよい. 簡単のために，

図 2 に phi と n のスペクトルを示す．

3. 3 プラズマ乱流データセット
本研究では，モデル方程式によってシミュレーションされたプラズマ乱流の時系列データセットを用いる．学習するために境界は周期的になっているとして問題ない.
プラズマ乱流の数値データを等高線図で表示したものを図 1

以下の方法で学習データセットを作成した．
（ 1 ） プラズマ乱流の推移を記録する．に示す．

（ 2 ） 時間 t から時間 t + 1 までの時系列データを 1,001 個

3. 2 エネルギースペクトル作成する．

乱流の統計的な性質として，エネルギースペクトルがべき則にしたがうことがよく知られている．このスペクトルは統計的定常状態においては時間的に変動しない．本研究で用いるプラ（ 3 ） 時間 t と次の時間 t + 1 の 2 つのデータをペアとした学習ペアを 1,000 個作成する．
上記の方法で作成された 1,000 個の学習ペアの中から 8 割の学習ペアを訓練データ．次に，1 割の学習ペアを検証データ．そズマ乱流も同様のべき則にしたがう．
変数 ϕ を空間座標についてフーリエ変換すると以下のようにして，1 割の学習ペアをテストデータとし，これを一つのデーあらわされる.（以下，n についても同様．また，時刻についてタセットとする．これと同様のデータセットを 100 個作成する．のラベルは省略した．
）

そうすると，訓練データ 80,000 個，検証データ 10,000 個，テϕix ,jy =X

ストデータ 10,000 個のデータセットが完成する．このデータ

ϕ̃lx ,my e2πi(lx ix +my jy ) ,(1)X
1ϕix ,jy e−2πi(lx ix +my jy )Nx Ny i ,j(2)lx ,myϕ̃lx ,my =xを用いて，プラズマ乱流を機械学習で再現し，機械学習を分析することによって予測根拠の可視化を行った．

y4 プラズマ乱流の予測手法と結果

このとき，離散的な波数は kx,lx = lx ∆kx , ky,my = my ∆ky（ただし，∆kx = 2π/Lx , ∆ky = 2π/Ly )．フーリエ係数 ϕ̃lx ,my本研究では，予測手法には ViT を用いた．

を用いて，スペクトルは以下のように定義される．

E ϕ dkx dky = ϕ̃lx ,myE n dkx dky = ñlx ,my22,(3).

(4)

また，空間的に等方的であることを考慮し，波数ベクトルの方

4. 1 ViT を用いたプラズマ乱流の予測手法

学習モデルは図 3 のように示される．簡単な流れを以下に示す．

•patience：10

この方法で学習を行った結果，図 4 のようになった．この学習方法を通常学習とする．

4. 2 パッチ内予測平均あるピクセルの値を対象として予測する時，周りの値の情報が分かっている中央のピクセルと，左方向と上方向の情報が分からない左上のピクセルでは，予測に有効な情報量が異なるた
め，予測の正確性に差が出ると考えた．この問題を解決するた
め，予測するピクセルの位置が，パッチ内の端や真ん中全ての位置にある状態で予測する．その予測結果を平均することで，どのピクセルも等しい条件のもと予測が行われる．これをパッチ内予測平均とする．
（ 1 ） 一番左の 1 列目のデータを一番右の 256 列目のデータの右に結合する．
（ 2 ） これを 16 回繰り返す（ 3 ） 一番上の 1 行目のデータを一番下の 256 行目のデータの下に結合する．
図3学習モデル（ 4 ） 上記の処理を 16 回繰り返す．
この方法で学習を行った結果，図 5 のようになった．

（ 1 ） データを 256 個のパッチに分割する．
（簡単のために
図 3 では 9 個のパッチに分割している．
）（ 2 ） この 256 個のパッチをそれぞれ 512 次元ベクトルに変換する．
（ 3 ） 全結合層 A では positional encoding と embedding を行う．
（ 4 ） 全結合層 B では次の時間の予測と embedding を行う．
（ 5 ） 256 個のパッチを入力と同じ型に変換する．
時間 t のデータを（４）まで行い，時間 t + 1 のデータを（２）まで行う．この二つの時間 t + 1 の予測データと正解データのLoss を求める．これを繰り返すことにより学習が進んでいく．
また，ViT は学習データが多ければ多いほど良い結果が出るた
め，Data Augmentation（DA）を行った．DA の方法として，周期境界条件でシミュレーションしているという特徴を用いて，以下のような方法で行った．
（ 1 ） 任意の値 x と y をランダムに 1 から 256 の範囲で決める．
（ 2 ） 1 列目から 256 列目のデータを，x 列目を境に左側のデータ群 1 と右側のデータ群 2 に分割し，データ群 1 をデータ群 2 の右側に結合，またはデータ群 2 をデータ群 1 の左側に結合する．
（ 3 ） 1 行目から 256 行目のデータを，y 行目を境に上側のデータ群 3 と下側のデータ群 4 に分割し，データ群 3 をデータ群 4 の下側に結合，またはデータ群 4 をデータ群 3 の上側に結合する．
学習のパラメータは以下のように設定した．

•batch size：55•

ロス関数：MSE Loss•

学習率：2e-5 から 2e-9

4. 3 全データで自然対数をとって学習図 6 の画像を見ると，画像としては人間が見る分には，予測を行えていると判断した．しかし，図 5 のエネルギースペクト
ルを見ると，大きい渦の部分はよく予測できていると感じられるが，小さい渦の部分があまり予測を行えていないことが分かる．この問題を解決するため，全データで自然対数をとって学習を行った．
この学習は，渦の大きい部分を重視して学習し，渦の小さい部分を疎かに学習しているのではないかという考えのもと行った．例えば，比較するデータをそれぞれ 3 つずつ用意する．一つ目のデータ群を 1,000，100，10．二つ目のデータ群を 1,500，150，15 とする．それぞれの値の差は 500，50，5 となる．本研究では，Loss 関数は MSELoss を用いているため，5002 +502 +52になり，誤差は，84,175 となる．この誤差を減ら3す時，差が 500 の，1500 を 1000 に近づければ誤差は大きく減少する．例えば，予測データが 1,000，150，15 になれば，誤1差は，841.6667 となり， 100まで減る．そのため，100 や 10 のような比較的小さい値の誤差の学習が疎かになってしまう．これを無くすため，大きい値と小さい値の差を小さくするように試みた．この方法が，全データで自然対数をとるということである．先ほどの例を用いると，全ての値に自然対数をとり，小数第二位まで求めると，正解データは 6.91，4.61，2.30 予測
データは 7.31，5.01，2.71 となる．それぞれの差は 0.40，0.40，0.41 となる．どの差も，近い値になるため，偏ることなく学習することができる．
自然対数をつける上で必要な問題が二つある．一つ目は，データが正の値だけでなく，負の値も存在するということ．二つ目は，データの絶対値が 0 以上 1 未満の値が存在するということ

図4

図5

通常学習による予測結果

通常学習パッチ内予測平均による予測結果（エネルギースペクトル）

図6

通常学習パッチ内予測平均による予測結果（画像）である．この問題点を解決するために我々は次のような定式化

テストデータの全てに対して行い，学習する．この方法で学習を行った．

を行った結果，図 7 のようになった．

（ 1 ） 任意の値 a をとる．
(a(a >= 0)（2） b =−a (a < 0)

4. 4 エネルギースペクトルの誤差学習
図 5 のエネルギースペクトルを見ると，小さい渦の部分がう（3） c = b + 1まく予測できていないことが分かる．これではプラズマ乱流の（ 4 ） 自然対数をとる（d = log c）(d(a >= 0)（5） e =−d (a < 0)

理論上従うべき性質を予測できていない．原因として，エネルていたからだと考えた．そのため，エネルギースペクトルの誤こうすることで，a を e に変換可能になり，二つの問題を解差も考慮した学習を行なった．通常の学習では， 4. 1 節のよう決した．

ギースペクトルを無視し，画像のみの Loss を用いて学習させに Loss を求めていたが，それぞれのデータをフーリエ変換し具体的な値として，あるデータ-0.457 を例にあげる．まず，負た．そして，そのエネルギースペクトルの誤差を Loss（フーリの値であるため，正の値にする（0.457）．そして，0 以上 1 未満

エ Loss）として学習させた．こうすることによって，プラズマであるため，1 を足す（1.457）．自然対数をとる（0.3764）．最乱流の性質であるエネルギースペクトルに従わせることにした．

後に，元々負の値であったため，負の値へと変換する（-0.3764）．

しかし，最初からフーリエ Loss を学習させると Loss の値が大これと同様の処理を全ての値で行う．この処理を学習，検証，きすぎて上手くいかなかった．そのため，通常の Loss で学習図7

自然対数学習パッチ内予測平均による予測結果を終えたのち，追加学習として，フーリエ Loss を学習させるのが良いと判断した．最初から学習させた通常 Loss での学習は以下の三つを行った．

4. 6 得られた予測結果の評価
時間 t のプラズマ乱流データを入力した時の予測結果として，スペクトルの高波数部分がもう少し向上すればさらに良い．今•シミュレーションデータで学習後は，この高波数部分を本来の形に寄せることができるような•全データで自然対数をとって学習学習を提案する．

•

全データをフーリエ変換して学習さらに先の結果の予測については，物理学的に驚きの結果にの中で一番結果が良かったのは，そのままのデータで学習したなった．予測モデルは，プラズマが細かく変動していてもエネ結果だった．そのため，この学習をさらに突き詰めようと考え

ルギースペクトルは時間的に変化しないということを学習してた．今回追加した処理は，早期終了がかかると同時に，学習率いると考えられる．これは，統計的な定常状態にあるというこ1を 10にするということである．今回は，学習率 2e − 5 からとを学習したと言える．一つ先の予測を行った結果として，エ2e − 9 まで徐々に下げた．その学習曲線を図 8 に示した．習ネルギースペクトルが異なる軌道を描いている．しかし，二つ率を下げたタイミングとして，1epoch から 123epoch まで学先以降の予測を行うと，一つ先のエネルギースペクトルとそれ習率は 2e − 5，124epoch から 147epoch まで学習率は 2e − 6，ほどそのため，どのように統計的な定常状態にあるということ

148epoch から 162epoch まで学習率は 2e − 7，163epoch からを学習したのかを分析する．そして，機械学習によって新たに251epoch まで学習率は 2e − 8，252epoch から 277epoch まで分かったということではないが，再現できたということは重要学習率は 2e − 9 となった．そして，277epoch で早期終了がかである．物理学では，このように時間的に変化しない性質が重かった．学習率を変更したタイミングを 図 8 では赤い線で示要な意味を持つ．

した．また，50epoch 以降の学習曲線を示したものを右側に示した．

4. 5 予測結果から更に予測
ここまでの学習では，時間 t のシミュレーションデータを入力とし，時間 t + 1 を予測し，出力していた．この入力を 時間 tのシミュレーションデータではなく，時間 t + 1 の予測データを入力とした．この時，出力は 時間 t + 2 の予測データとなる．これを任意の回数重ねることで，時間 t のシミュレーションデータから，次の時間だけでなく，さらにその先も予測することができる．こうして予測を 100 回重ねた 時間 t + 100 の結果を
図 9 の左側に，シミュレーションで作成された 時間 t + 100 の結果を図 9 の右側に示す．
また，図 10 には，1 個先の予測 t + 1 のエネルギースペクト
ルと 100 個先の予測 t + 100 のエネルギースペクトルを比較を示す．一つ先の予測を行った結果として，入力データのエネルギースペクトルと，予測データのエネルギースペクトルが異なる軌道を描いていることが図 5 から分かる．しかし，二つ先以降の予測を行うと，入力データである，一つ先の予測データのエネルギースペクトルとそれほど変化がないことが図 10 から分かる．

5 プラズマ乱流の分析手法手法と結果モデルの予測根拠を説明する手法として，Ribeiro らによって提案された説明可能な AI の一つである LIME を用いた．

5. 1 セグメンテーション
LIME では入力画像を superpixel に分割することで，色の似ている部分同士を一つの領域として画像を分割する必要がある．
この superpixel には felzenszwalb [5]，quickshift [2]，slic [10]，Watershed [9] の四種類が存在する．この四つの方法でプラズマ乱流の画像をセグメンテーションしたところ，quickshift が最も適切だと判断したため，我々は quickshift を用いた．プラ
ズマ乱流の画像をセグメンテーションした結果を図 11 に示す．

5. 2 予測根拠の可視化結果
時間 t の入力画像を図 11 のようにセグメンテーションすると，細かい領域（セグメント）に分けられる．入力画像をセグメンテーションし，この分割の情報を 時間 t の入力データに対応させる．そして，入力データの中からいくつかのセグメント内の数値をゼロにした．そのセグメント内の数値をゼロにした

図8

学習曲線

図 9 t + 100 の予測結果とシミュレーション結果の比較（画像）

図 10 t + 1 と t + 100 のエネルギースペクトル比較

状態で学習モデルに入力し，予測して出力する．この，数値をゼロにするセグメントの組み合わせを任意の数だけ行い，どのセグメントをゼロにした時に予測結果に大きな差があったのかを計算する．もし，数値をゼロにしたセグメントが予測に重要なら，予測結果に大きな差が生じる．しかし，数値をゼロにしたセグメントが予測に重要で無いなら，予測結果に大きな差が生じることはない．例として，時間 t + 1 の出力画像を図 12の左図ようにセグメンテーションする．そして，セグメンテーションした図 12 の左図の中から，右図のセグメントを選択する．選択したセグメントを予測するために，時間 t のどのセグメントが重要であったかを計算する．この重要度をセグメントごとに表示したものをヒートマップとして図 13 に示す．

5. 3 得られた分析結果の評価得られた結果について，現状では，ある渦に注目した時にそ

図 11

入力画像をセグメンテーションの渦の周辺が重要であることを見つけたが，それは物理学では当然のことである．しかし，そこを確認できたことが第一ステップとして意味があると考えられる．このことを確認できた
うえで，今後色々な渦や帯状流などの特定の構造に注目して同文

図 12

出力画像をセグメンテーション

図 13

重要度をヒートマップで表示

様の分析を行い，何か変わったことが見つかればそれについて意味を考えていく．このような手法を構築したということ自体，研究成果であると考えられる．

6 結論

本稿ではプラズマ乱流のシミュレーションデータから，プラズマ乱流の次の時間の状態の予測を行う機械学習モデルを提案した．さらに，この機械学習モデルの分析を行った．予測結果としては，次の時間のプラズマ乱流データの予測がよく行えていた．しかし，物理学の理論上従う性質であるエネルギースペクトルに従えていなかった．また，分析結果として，ある時間の任意のセグメントに一つ前の時間のどのセグメントが影響を与えているかを可視化することに成功した．
今後の展望として，まずプラズマ乱流の予測モデルの改善が挙げられる．エネルギースペクトルが上手く従えていなかったため，エネルギースペクトルを再現できるようなモデルを作成することで，さらに正確な予測を行うことが可能になると考えられる．また，LIME による分析結果について新たな発見はなかったが，これまでの知識と一致する分析結果であった．そのため，これをもとに更なる分析を行うことによって新たな発見を見つけることが可能になると考えられる．

謝辞

本研究は JSPS 科研費 JP21H03775，JP21H03774，JP21H03554，JP22H03905 の助成を受けたものです．ここに記して謝意を表します．

献[1] Radford Alec, Wu Jeﬀrey, Child Rewon, Luan David,Amodei Dario, and Sutskever Ilya. Language Models are
Unsupervised Multitask Learners. Technical report, OpenAI, 2019.
[2] Vedaldi Andrea and Soatto Stefano. Quick Shift and Kernel Methods for Mode Seeking. In European Conference on
Computer Vision, pp. 705–718, 2008.
[3] Vaswani Ashish, Shazeer Noam, Parmar Niki, Uszkoreit
Jakob, Jones Llion, Gomez Aidan N, Kaiser Ukasz, andPolosukhin Illia. Attention Is all You Need. In Proceedingsof the 2017 International Conference on Neural Information Processing Systems, pp. 6000–6010, 2017.
[4] Shunsuke Daimon, Kakeru Tsunekawa, Shinji Kawakami,
Takashi Kikkawa, Rafael Ramos, Koichi Oyanagi, TomiOhtsuki, and Eiji Saitoh. Deciphering quantum ﬁngerprints
in electric conductance. Nature Communications volume,Vol. 13, No. 3160, pp. 1–7, 2022.
[5] Pedro F. Felzenszwalb and Daniel P. Huttenlocher. Eﬃcient
Graph-Based Image Segmentation. International Journal ofComputer Vision, Vol. 59, No. 2, pp. 167–181, 2004.
[6] Ryohtaroh T. Ishikawa, Motoki Nakata, Yukio Katsukawa,
Youhei Masada, and Tino L. Riethmüller. Multi-scale deeplearning for estimating horizontal velocity ﬁelds on the solar surface. Astronomy & Astrophysics, Vol. 658, No. A142,pp. 1–9, 2022.
[7] Devlin Jacob, Chang Ming-Wei, Lee Kenton, andToutanova Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Association for Computational Linguistics, pp. 4171–4186, 2019.
[8] Alexander Kolesnikov, Alexey Dosovitskiy, Dirk Weissenborn, Georg Heigold, Jakob Uszkoreit, Lucas Beyer,Matthias Minderer, Mostafa Dehghani, Neil Houlsby, Sylvain Gelly, Thomas Unterthiner, and Xiaohua Zhai. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning
Representations, pp. 1–21, 2021.
[9] Neubert Peer and Protzel Peter. Compact Watershed andPreemptive SLIC: On Improving Trade-oﬀs of Superpixel
Segmentation Algorithms. In 22nd International Conference on Pattern Recognition, pp. 996–1001, 2014.
[10] Achanta Radhakrishna, Shaji Appu, Smith Kevin, Lucchi
Aurelien, Fua Pascal, and Süsstrunk Sabine. SLIC Superpixels Compared to State-of-the-Art Superpixel Methods. Institute of Electrical and Electronics Engineers Transactions on Pattern Analysis and Machine Intelligence,Vol. 34, No. 11, pp. 2274–2282, 2012.
[11] Maithra Raghu, Thomas Unterthiner, Simon Kornblith,Chiyuan Zhang, and Alexey Dosovitskiy. Do Vision Transformers See Like Convolutional Neural Networks?
InAdvances in Neural Information Processing Systems, pp.
12116–12128, 2021.
[12] Numata Ryusuke, Ball Rowena, and Dewar Robert L. Bifurcation in electrostatic resistive drift wave turbulence.
Physics of Plasmas, Vol. 14, No. 10, pp. 102312–1–102312–8, 2007.
[13] Ribeiro Marco Tulio, Singh Sameer, and Guestrin Carlos. “Why Should I Trust You?”: Explaining the Predictions of Any Classiﬁer. In Proceedings of the 22nd ACM
SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 1135–1144, 2016.