末次祐介 KEK2023/8/30

2023年8月30日

2023年 加速器学会年会

1

内容
 はじめに：動機 検知手法の基本方針
 運転状態、基準データ・調査データを定義
 基準データの回帰曲線を導出
 2クラス分けの2層Feedforward Neural Network (FNN)を構築
 過去のデータから決定境界用のFNN重みパラメータを学習 結果を表示 模擬試験
 まとめ

2023年8月30日

2023年 加速器学会年会

2はじめに：動機
 SuperKEKB加速器：KEKつくばキャンパスにある電子・陽電子衝突型加速器。
 高電流、極細衝突ビームで高いルミノシティーを目指す。

 主リングの真空システムは2016年の運転開始以来順調に稼働しているが、ビーム電流が大きいこと、ビームロス・再入射の頻度が高いこと等から、熱サイクル(熱応力)に起因するリークや、ビームパイプ内の放電等による変則的な圧力上昇が度々発生している。
 時には、運転に支障をきたすような重大な問題に発展する場合もある。
 上記のような圧力異常の兆候を早い段階で検知できれば、大きな問題となる前にあらかじめ対策とる、あるいは準備することが可能となろう。
 そこで、機械学習を応用し、運転中の圧力異常の兆候をつかみ、注意喚起する異常検知手法を提案、検討している。
 「異常」とは：加速器の運転パラメータは日々変化するので、ここで言う「圧力異常」とは、直近の圧力のビーム電流や時間に対する振る舞いが、その少し(数日)前の振る舞いから予想されるものと違った場合、と定義する。

2023年8月30日

2023年 加速器学会年会

3検知プログラムの基本方針
 運転状態、データを定義：運転状態を、ビーム入射からアボート直後までを”1フィル”とし、それを「ビーム(再)入射から蓄積(以後Storage部)」と「ビームアボート直後(以後Tail部)」の二つの部分に分け、それぞれの状態で、調べたい時(調査データ)の少し前の期間のデータを「基準データ」とする。
 回帰曲線を求める：基準データにおける圧力のビーム電流、あるいは時間に対する振る舞いの回帰曲線を求める。
 FNNを構築：求めた回帰曲線を用いて調査データの二乗平均平方根誤差(RMSE)等を計算し、それらの組み合わせを入力変数(特徴変数)として、「正常」と「異常」の2クラスに分類する2層フィードフォワードニューラルネットワーク（FNN）を構築する。
 決定境界のための重みパラメータを学習：分類の決定境界を与えるFNNの重みパラメータを過去の実際の真空トラブル発生時の圧力データから学習して決める。
 検知結果を表示：加速器制御システム上で異常検知プログラムを走らせておき、圧力異常が検知されたら当該真空計をGUI画面やアラームで加速器運転員に知らせる。プログラムは機械学習でよく使用されるPythonを使用する。

2023年8月30日

2023年 加速器学会年会

4運転状態の定義
 SuperKEKB加速器では、平均すると1日に数回、何等かの原因でビームがアボートされる(捨てられる)。
 圧力に関係するトラブルは、熱負荷が大きくなる大電流蓄積中や、ビームがアボートされた直後の熱負荷の変化が大きく、熱応力が高まる時に発生しやすい。
 ここでは、運転状態を、ビーム入射からアボート直後までを”1フィル”とし、それを「ビーム(再)入射から蓄積(以後Storage部)」と「ビームアボート直後(以後Tail部)」の二つの部分に分ける。
Typical one fill
 “1フィル”中の圧力異常上昇、ビームアボート直後の圧力バーストや異常な上昇の有無を調べる。
 アボート直後を調査するは、アボートの多いSuperKEKB特有か。

2023年8月30日

2023年 加速器学会年会

5基準データ、調査データの定義 「異常」の定義：直近の圧力のビーム電流や時間に対する振る舞い(調査データ：Check data)が、その少し前の振る舞い(基準データ：Reference data)から予想されるものと違った場合。
 異常の検知は、基本的にビームアボートする度に行う。→直近の1フィルを調査データとする。
 基準データは、調査データの8日前から5日前までの3日間のデータとする。
 右図は2022 年6月の運転状況の例。

Typical operation status in 2022/6

 ただし、蓄積時間が長くなると検知が遅れる可能性があるので、4時間以上アボートしないと、その4時間をStorage部の調査データとして調べる。(つまり少なくとも4時間に1度は調べる。)
 ビームが無い時(シャットダウン中とか)も同様。

2023年8月30日

2023年 加速器学会年会

6回帰曲線の導出-1
 Storage部：各真空計で基準データの「圧力 vs ビーム電流」の回帰曲線を求める。

 全圧力(P)はベース圧力(Pb)、放射光による光刺激脱離に起因する圧力上昇(ΔPs)、コンポーネントの発熱による熱脱離に起因する圧力上昇(Δ Pt)の和で表せる。
 ΔPsはビーム電流(I)に比例する。一方、ΔPt は、
E : 吸着エネルギー 空間中の気体分子数と表面𝐸𝑑∆𝑃𝑡 ∝ 𝑒𝑥𝑝 −𝑅 𝑇 + ∆𝑇

𝐸𝑑− 𝑒𝑥𝑝 −𝑅𝑇d

R :気体定数
T : 温度に吸着している気体分子数が準平衡状態にあるとする。と表されるが、温度が室温に近い場合には近似的に(ΔT)2に比例することが分かっている [1]。
 熱入力が主にHOMパワーやジュール損だとすると、 Δ T  I2/Nbなので、結局、[1] Y. Suetsugu et al., PRAB (2023),doi: 10.1103/PhysRevAccelBeams.26.013201

Examples of pressures and regression curves for the Storage part𝑃 𝐼 = 𝑃𝑏 + ∆𝑃𝑠 + ∆𝑃𝑡= 𝑤0 + 𝑤1 𝐼 + 𝑤2 𝐼 2 /𝑁𝑏 2
 w0 ~ w2は定数。Nbはバンチ数。

Regression curve

Regression curve w0 ~ w2は>0とする(合理的仮定)。

Pressure
Pressure 平均二乗誤差(Mean Square Error,MSE)が最小になるよう勾配法で決定。解析解あるいは数値解を使用。
2023年8月30日

2023年 加速器学会年会

7回帰曲線の導出-2
 Tail部：各真空計で基準データの「圧力 vs 時間(アボート後)」の回帰曲線を求める。

 ビームパイプ内の気体の排気は、空間内の気体の排気による圧力低下ΔPvと、パイプ内表面に吸着していた気体の排気による圧力低下ΔPwの2つに大きく分けることができる。
 ΔPvの時間tに対する変化はexp(₋k1t)に比例する(k1は定数)。一方、ΔPwは₋1/t に比例することが経験的に知られている。つまり、

𝑘2
𝑃 = 𝑃𝑏 + ∆𝑃𝑣 + ∆𝑃𝑤 = 𝑃𝑏 +𝑘0 exp −𝑘1 𝑡 +𝑡 + 𝑘3

k0 ~ k3: 定数

 しかし、ビームアボート時(t = 0)の圧力は、その時のビーム電流に依存する。そこで、圧力上昇(P ₋ Pb)をアボート時の圧力上昇(P ₋ Pb)|t=0でExample of pressure and regression curve for the Tail part

規格化した圧力上昇、ΔPnをここでは考える。

𝑃 − 𝑃𝑏𝑤2∆𝑃𝑛 ≡= 𝑤0 𝑒𝑥𝑝 −𝑤1 𝑡 +ȁ
𝑃 − 𝑃𝑏 𝑡=0
𝑡 + 𝑤3

Normalizedpressure

Raw pressure w0 ~ w3は定数。簡単のため、ベース圧力Pbは真空計の測定限界である1×10₋8 Paとした。
 平均二乗誤差(MSE)が最小になるよう勾配法で決定。Pythonのモジュール”minimize”を使用。
2023年8月30日

2023年 加速器学会年会

Regression curve8FNNの構築-1
 Storage部：ここでは、下記三つのパラメータを入力変数とした。

𝑥0 = log 𝑅𝑇 Τ𝑅𝑅𝐸𝐹
𝑥1 = log 𝑅𝐼 Τ𝑅𝑅𝐸𝐹
𝑥2 = log 𝑅𝑇 Τ𝑃𝐴𝑉

RREF : 基準データの二乗平均平方根誤差 (Root Mean Square Error, RMSE)
RT : 等時間間隔(30秒)の調査データのRMSE
RI : 等電流間隔(50 mA毎)の調査データのRMSE
PAV : 圧力の平均値 (圧力が高いと同じ割合の変化でもRMSEは大きくなるため)

 調査データと基準データのRMSEの比は、

Two-layer FNN for the Storage part

データのばらつきが正規分布していると仮定した場合の「異常度」として通常用いられる。
 圧力は桁で変わるので対数をとった。
 3次元入力2層のFNNを構築。x3は常に1。
 wji、 vkjは重みパラメータ。
 活性化関数をシグモイド関数、確率を出力する関数としてソフトマックス関数を用いた。
2023年8月30日

2023年 加速器学会年会

9FNNの構築-2
 Tail部：ここでは、下記2つのパラメータを入力変数とした。

𝑥0 = log 𝑅𝑇 Τ𝑅𝑅𝐸𝐹
𝑥1 = log 𝑅𝑇

RREF : 基準データの二乗平均平方根誤差 (Root Mean Square Error, RMSE)
RT : 等時間間隔(2秒)の調査データのRMSE

 Storage部と基本的に同様。ただし、規Two-layer FNN for the Tail part格化した圧力を使っているのでPAVで割るパラメータは使わない。
 2次元入力2層のFNNを構築。x2は常に1。

 wji、 vkjは重みパラメータ。
 活性化関数をシグモイド関数、確率を出力する関数としてソフトマックス関数を用いた。

2023年8月30日

2023年 加速器学会年会

10FNN重みパラメータの学習 2016年から2022年までに実際発生した圧力異常(リーク等)20例(下表)について各時期のデータを使い、「正常」、「異常」を判断する(つまり決定境界用の)重みパラメータを学習した。
 電子リングと陽電子リングで使用するデータは区別しなかった。
 全体(HER、LER)のStorage時、Tail部のデータをそれぞれシャッフルして二分し、Trainingdata(学習データ)とTest data(テストデータ)に分けた。
 全部で1052個のデータ(Storage 758, Tail 294)。
Vacuum troubles used for learning the weight parameters
LER

2016/06/18 10:02:00 大穂ウィグラー部フランジからの漏れ

HER

2020/5/16 6:30:00

富士D08H3GV付近圧力異常

LER

2020/12/5 17:23

日光冷却水ポンプ故障

HER

2022/6/3 9:38:00

D01H16、D08H05圧力バースト

LER

2020/12/7 6:14

日光冷却水ポンプ故障

HER

2022/6/14 3:09:56

D09V1近くの圧力上昇

LER

2022/3/18 11:40

大穂ウィグラー部下流冷却水管からの漏れ

HER

2022/6/14 14:34:06

D09V1近くの圧力上昇

LER

2022/4/26 10:29

大穂ウィグラー部下流冷却水管からの漏れ

HER

2022/6/19 2:49:42

D01_H3GVの発熱

LER

2022/5/17 14:38

D06H1近くの圧力異常

HER

2022/6/19 8:42:58

D01_H3GVの発熱

LER

2022/6/2 20:19

大穂ウィグラー部フランジからの漏れ

HER

2016/5/27 2:32:01

D08_H24リーク

LER

2022/6/2 21:31

大穂ウィグラー部フランジからの漏れ

HER

2018/6/29 12:01:55

D02_H22, H21Aリーク

LER

2022/6/3 14:48

大穂ウィグラー部フランジからの漏れ、QCSク
HER
ウェンチも

2018/7/14 14:17:37

D02_H22リーク

LER

2022/6/5 1:59

富士D08_L17圧力計異常かLER

2022/6/8 17:31

D06H1近くの圧力異常、D06V1バースト

2023年8月30日

2023年 加速器学会年会

11FNN重みパラメータの学習-1
 平均交差エントロピー誤差(Mean Cross Entropy Error, MCEE)を最小にするように最適化し(勾配法) 、重みパラメータwji、vkjを求める。
 Storage部の結果

Example of abnormal behavior
Results of learning 右図青い丸、赤い丸がそれぞれ「正常」、「異常」時の入力パラメータ。

Meas, data

Ref. data
Reg. curve 緑の線は、出力y0が0.5となる線で、学習した「正常」と「異常」の境界線(決定境界)を意味する。
 訓練用データとテストデータ

Abnormal

MCEE and weight parameters vs learning step
Normalとも誤差が小さくなるように、すなわち、過学習とならないように注意した。

2023年8月30日

2023年 加速器学会年会

12FNN重みパラメータの学習-2
 MCEEを最小にするように最適化し(勾配法) 、重みパラメータwji、vkjを求める。
 Tail部の結果

Results of learning

Example of abnormal behavior

 右図、青い丸、赤い丸がそれぞれ「正常」、「異常」時の入力パラメータである。

Meas, data

 緑の線は、出力y0が0.5となる線(決定境界)。

Ref. data 同様に、訓練用データとテストデータとも誤差が小さくなるように、すなわち、過学習とならないように注意した。

Abnormal

NormalReg. curve

MCEE and weight parameters vs learning step

 Storage部、Tail部とも、うまくクラス分けできている。

 この重みパラメータを使って新たな調査データを判定していく。
2023年8月30日

2023年 加速器学会年会

13検知と結果の表示 アボート毎、あるいは4時間毎の各調査データでDefinition of “Period” to count the number of anomalies「異常」と判断された真空計をGUI画面に表示する。
 しかし、1回のみの調査ではその真空計の異常の履歴や傾向がわからないため、8回前の調査データ(フィル)までを1調査期間(Period)とし、この期間内に該当する真空計が異常と判断された回数をカウントする(右上図)。

Histories of numbers of detected anomalies この作業を繰り返すことで、異常状態が続けばその真空計のカウント数が上がり、異常が発生し始めたことを示す。
 表示プログラムでは、最新のPeriod (Period 0)で異常と判断された回数の多いものから最大5個の真空計を選び、10回前のPeriodからそのカウント数をプロットする(右下図) 。同時に真空計名(EPICSRecord)も表示する。
 例えば、5回以上になると、目立よう工夫する。
2023年8月30日

2023年 加速器学会年会

14

模擬試験
 2022年の運転時のデータや2023年のシャットダウン時のデータを用いて模擬試験を行った。
 右上図は運転中のStorage部の例で、左は異常と判断された真空計とそのカウント数の履歴を示し、真空計’VAHCCG:
D01_H16’が10 Period前(Period -10)から「異常」を示し始めていることを示す。右はその時の圧力(表示値)の実際の振る舞いで、6/18頃からほぼ同じ蓄積ビーム電流でも圧力が急に上昇している。圧力は10₋7 Pa領域で、未だアラーム発報には至らない。

Histories of numbers of detected anomalies (left), and the time trendsof pressure at the corresponding times (right),

 右下図は、同様に、Tail部で真空計’VALCCG:D04_L07’が「異常」を示し始めた場合の例で、圧力の突出が頻繁に見え始めている。

Storage part

Tail part 異常を検知できそう。
2023年8月30日

2023年 加速器学会年会

15

まとめ
 基本的な機械学習を応用してSuperKEKB主リングの圧力データを調査し、真空トラブルの予兆を捉える圧力異常検知手法を検討。
 運転時のStorage部、Tail部のビーム電流、時間に対する変化について、基準データを用いて合理的モデルに基づく回帰曲線を導出。
 調査データでのRMSE等を入力パラメータとして2層のFNNでの2クラス分けを行い、「正常」「異常」を判断。
 決定境界はこれまでの実際の圧力トラブル時のデータで学習した。
 2022年6月の運転時の圧力データや2023年シャットダウン中の圧力データを使って模擬試験を実施し、真空計の異常検知件数の頻度を調べ表示させることで、異常が発生し始めている真空計を特定できることが分かった。
 異常検知手法として使える感触が得られたので、2023年の運転再開時から試用する予定である。
 今後の課題としては以下の点が挙げられる。(1) 異常判断基準の精度向上。今は明らかな異常状態のデータを使って学習している。(2) 異常な期間が長く継続した場合の判断。(3) プログ
ラムの高速化。(4)「異常」の種類(リーク、放電など)の推定。(5) 温度の異常検知などへの応用。引き続きこれらについて検討を進める。
2023年8月30日

2023年 加速器学会年会

16謝辞 本研究にあたり、KEKB真空グループの皆様、KEKBモニターグループの三塚岳氏にはいろいろ相談に乗って頂きました。ここに深く感謝いたします。

ご清聴ありがとうございました。

2023年8月30日

2023年 加速器学会年会

17