LHDプラズマ中電子密度のトムソン散乱計測結果に対するガウス過程回帰
中村紀彦A, 大杉拓也A, 山田一博B, 蓮尾昌裕A, 藤井恵介A
京都大A, 核融合研B

1

研究背景
LHD (大型ヘリカル装置)

𝑍

𝑅

ポロイダル断面 トムソン散乱計測システム
 電子温度、電子密度が計測されている
2

トムソン散乱計測結果

従来の手法 (多項式近似)

3

4次多項式

12次多項式

アンダーフィッティング

オーバーフィッティング 空間勾配はモデルの選択に強く影響を受ける

ガウス過程回帰の利点
4次多項式

12次多項式

アンダーフィッティング

オーバーフィッティング

従来の手法 どの次数を選ぶかが人為的 フィットの期待値しか分からない

ガウス過程回帰 ガウス過程回帰はベイズ統計的手法の一つである
 モデルの複雑さを統計的に選択でき、空間分解能と不確かさの最適なトレードオフが行える

4

 フィットの不確かさも求められる

先行研究・研究目的
 近年、ガウス過程回帰はデータから背後の関数を推定するために使われ始めている

Alcator C-Modにおける電子密度・電子温度データのフィッティング[1]研究目的：• LHDにおけるトムソン散乱計測結果へのガウス過程回帰の適用• ガウス過程回帰を拡張したモデルの構築

5[1] M. A. Chilenski, M. Greenwald, Y. Marzouk, N. T. Howard, A. E. White, J. E. Rice and J. R. Walk, Nucl. Fusion 55,023012 (2015).

目次
 ベイズの定理
 ガウス過程回帰の利点①：モデルの複雑さの統計的選択
 ガウス過程回帰の利点②：フィットの不確かさの獲得
 モデル化 解析結果①
 モデルの改良
 解析結果②
 まとめ
6

目次
 ベイズの定理
 ガウス過程回帰の利点①：モデルの複雑さの統計的選択
 ガウス過程回帰の利点②：フィットの不確かさの獲得
 モデル化 解析結果①
 モデルの改良
 解析結果②
 まとめ7

ベイズの定理 計測データ𝑦が与えられたとき、背後の関数𝑓の条件付き分布（予測分布）
はベイズの定理に基づき計算される
𝑝 𝑓|𝑦, 𝜃𝑝 𝑓|𝑦, 𝜃 =8𝑦𝑓

𝑝 𝑦|𝑓, 𝜃 𝑝 𝑓|𝜃
𝑝 𝑦|𝜃

 𝑝 𝑓|𝑦, 𝜃 : 予測分布

「計測データ𝑦がある状態での背後の関数𝑓が従う分布」

 𝑝 𝑦|𝑓, 𝜃 : 尤度

「背後の関数𝑓を仮定したとき計測データ𝑦が従う分布」

 𝑝 𝑓|𝜃 : 事前分布

「計測データ𝑦が何もない状態での背後の関数𝑓が従う分布」

 𝑝 𝑦|𝜃 : 周辺尤度

「計測データ𝑦が従う分布」

目次
 ベイズの定理
 ガウス過程回帰の利点①：モデルの複雑さの統計的選択
 ガウス過程回帰の利点②：フィットの不確かさの獲得
 モデル化 解析結果①
 モデルの改良
 解析結果②
 まとめ
9

ガウス過程回帰の利点①：モデルの複雑さの統計的選択
 ガウス過程回帰はベイズ統計的手法の一つである
 モデルの複雑さを統計的に選択でき、空間分解能と不確かさの最適なトレードオフが行える フィットの不確かさも求められる定義 関数𝑓が平均0・共分散𝛴のガウス過程に従う
入力𝑥1 , 𝑥2 , …に対応する出力を並べたベクトル 𝑓 𝑥1 , 𝑓 𝑥2 , …
が以下の多変量ガウス分布に従う

𝑓~𝒩(0, 𝛴)𝑘 𝑥1 , 𝑥1⋮
𝛴=
𝑘 𝑥𝑁 , 𝑥1⋯⋱⋯•
𝑘 𝑥1 , 𝑥𝑁⋮
𝑘 𝑥𝑁 , 𝑥𝑁

ガウス過程の性質を決定する部分「カーネル」

𝑘 𝑥𝑖 , 𝑥𝑗• データが従う多変量ガウス分布は10 カーネルパラメータ𝜃 = 𝜂, 𝑙 によって制御される= 𝜂 2 exp

𝑥𝑖 − 𝑥𝑗−2𝑙 22𝑥: 計測データの座標ガウスカーネルの特性𝑗

ガウスカーネル
𝑘 𝑥𝑖 , 𝑥𝑗

𝑥𝑖 − 𝑥𝑗= 𝜂2 exp −2𝑙 2

𝜂 = 0.69
𝑙 = 0.232

𝜂2

期待値

回帰の様子

期待値±分散×2
𝜂 = 0.69𝑙 = 0.08

オーバーフィット

11𝑖𝛴=

𝜂 = 0.69
𝑙 = 0.5

𝜂 = 0.69
𝑙 = 0.23

最適解

アンダーフィット

• 𝑙がモデルの空間分解能を定める• 𝜃 = 𝑙, 𝜂 は計測データからベイズ統計的に求められる目次
 ベイズの定理
 ガウス過程回帰の利点①：モデルの複雑さの統計的選択
 ガウス過程回帰の利点②：フィットの不確かさの獲得
 モデル化 解析結果①
 モデルの改良
 解析結果②
 まとめ
12

ガウス過程回帰の利点②：フィットの不確かさの獲得
 ガウス過程回帰はベイズ統計的手法の一つである
 モデルの複雑さを統計的に選択でき、空間分解能と不確かさの最適なトレードオフが行える フィットの不確かさも求められる
𝑝 𝑓|𝑦, 𝜃𝑝 𝑓|𝑦, 𝜃 =𝑝 𝑦|𝑓, 𝜃 𝑝 𝑓|𝜃
𝑝 𝑦|𝜃

• フィットは確率分布に従う
フィットの期待値・分散が求まる

13

目次
 ベイズの定理
 ガウス過程回帰の利点①：モデルの複雑さの統計的選択
 ガウス過程回帰の利点②：フィットの不確かさの獲得
 モデル化 解析結果①
 モデルの改良
 解析結果②
 まとめ14

モデル化
 計測データは平均ゼロ・共分散𝛴のガウス過程に従う
 各計測データ𝑖には分散𝜎𝑖2 のガウシアンノイズが含まれる
𝑝 𝑓|𝑦, 𝜃𝑝 𝑦|𝜃 = 𝒩 0, 𝛴 + 𝛴𝑛𝑦𝑓

𝑝 𝑓|𝜃 = 𝒩 0, 𝛴𝑝 𝑦|𝑓, 𝜃 = 𝒩 𝑓, 𝛴𝑛
𝜎12𝛴𝑛 = ⋮0

⋯ 0
⋱
⋮
⋯ 𝜎𝑁2

𝑝 𝑓|𝑦, 𝜃 =𝑝 𝑦|𝑓, 𝜃 𝑝 𝑓|𝜃 計測データが従う分布を決める

15𝑝 𝑦|𝜃

カーネルパラメータ𝜃の最適化

𝜃 = argmax 𝑝 𝑦|𝜃 = argmax 𝒩 0, 𝛴 + 𝛴𝑛𝜃𝜃尤度×事前分布=同時分布
𝑝 𝑓|𝑦, 𝜃 =𝑝 𝑦|𝑓, 𝜃 𝑝 𝑓|𝜃
𝑝 𝑦|𝜃

 計測データ𝑦と予測の値𝑓の同時分布は以下の様に定義される

𝑝 𝑦|𝑓, 𝜃 × 𝑝 𝑓|𝜃
𝑦0 𝛴 + 𝛴𝑛= 𝑓 ~𝒩,𝛴∗𝑇0

𝑁: 計測データの個数=140
𝑀: 予測点の個数=161

𝛴∗𝛴∗∗

𝑥: 計測データの座標𝑥∗ : 予測点の座標 (0,0.005,…0.795,0.8)

𝛴 = 𝑘 𝑥𝑖 , 𝑥𝑗
𝑦10⋮

⋮

𝑦𝑁

0𝑓1~𝒩

𝛴 + 𝛴𝑛𝛴∗𝑁0⋮⋮

𝑓𝑀0𝛴∗ = 𝑘 𝑥𝑖 , 𝑥∗𝑗𝛴∗∗ = 𝑘 𝑥∗𝑖 , 𝑥∗𝑗

𝛴∗𝑇

𝛴∗∗

𝑁𝑀,𝑀

𝜎12𝛴𝑛 = ⋮0⋯⋱⋯0⋮𝜎𝑁2同時分布→予測分布
 予測分布の平均・共分散は、同時分布の分割された共分散行列を用いて解析的に求まる
𝑝 𝑓|𝑦, 𝜃 =𝑝 𝑦|𝑓, 𝜃 𝑝 𝑓|𝜃
𝑝 𝑦|𝜃

𝛴 + 𝛴𝑛𝛴∗𝑁𝛴∗𝑇𝛴∗∗

𝑀𝑁𝑀

𝑝 𝑓|𝑦, 𝜃 = 𝒩 𝛴∗𝑇 𝛴 + 𝛴𝑛 −1 𝑦 , 𝛴∗∗ − 𝛴∗𝑇 𝛴 + 𝛴𝑛 −1 𝛴∗𝑀𝑀𝑀

17

成分：フィッティングの期待値

対角成分：フィッティングの分散解析結果①
期待値
期待値±分散×2

負の計測データに影響を受け、正値から外れた回帰

外れ値に影響を受け、勾配が大きな正負の値で頻繁に入れ替わる回帰18

目次
 ベイズの定理
 ガウス過程回帰の利点①：モデルの複雑さの統計的選択
 ガウス過程回帰の利点②：フィットの不確かさの獲得
 モデル化 解析結果①
 モデルの改良
 解析結果② まとめ
19

モデルの改良• 回帰結果を正値に限定

背後の関数exp 𝑓の推定

• 外れ値に対して頑強に

尤度関数にスチューデントt分布を採用

𝑝 𝑓|𝑦, 𝜃 =ガウス分布𝑆𝑡 exp 𝑓 , 𝛴𝑛𝑝 𝑦|𝑓, 𝜃 = 𝒩 𝑓, 𝛴𝑛t分布 (自由度3)

𝑝 𝑦|𝑓, 𝜃 𝑝 𝑓|𝜃
𝑝 𝑦|𝜃

∝ 非ガウス分布 × ガウス分布 ≠ ガウス分布

予測分布𝑝 𝑓|𝑦, 𝜃 は解析的に解けない

変分ベイズ法：予測分布をガウス分布で近似

𝑝 𝑓|𝑦, 𝜃 =𝑝 𝑦|𝑓, 𝜃 𝑝 𝑓|𝜃
𝑝 𝑦|𝜃

≅ 𝒩 𝛴𝛼, 𝛴 −1 + 𝛬 −1 ≡ 𝑞 𝑓

 カーネルパラメータの最適化

𝜃 = arg max 𝑝 𝑦|𝜃 = arg max 𝒩 0, 𝛴 + 𝛴𝑛𝜃𝜃

𝜃 = arg max 𝑝 𝑦|𝜃 − 𝐾𝐿 𝑞 𝑝𝜃解析結果②21

期待値
期待値±分散×2

改良前

改良後

𝑝 𝑦|𝑓, 𝜃 = 𝒩 𝑓, 𝜎𝑖2 𝐼𝑖𝑖

𝑝 𝑦|𝑓, 𝜃 = 𝑆𝑡 exp 𝑓 , 𝜎𝑖2 𝐼𝑖𝑖

目次 ベイズの定理
 ガウス過程回帰の利点①：モデルの複雑さの統計的選択
 ガウス過程回帰の利点②：フィットの不確かさの獲得
 モデル化 解析結果①
 モデルの改良
 解析結果②
 まとめ
22

まとめ
 LHDにおけるトムソン散乱計測結果にガウス過程回帰を適用した
 計測時刻による、電子密度の大きさやその空間分布の形状の違いを定量的に推定できた

 ガウス過程回帰システムを改良した
 外れ値に頑強かつ正値に限定した回帰により、電子密度空間分布を推定できた23