加速器制御への機械学習の適用
2022/10/18
岩崎昌子 (阪公大/NITEP, 阪大RCNP/IDS)

大型加速器制御
大型加速器実験における加速器制御
膨大な制御点数 数千-数万点以上
高度な要請位置、エネルギー、輝度、、

高額な運転経費 例)年間数十億円@SuperKEKB

高精度・高効率で安定な加速器運転の実現が重要
例：10%の向上 → 年間数億円の費用効果
2情報分野で開発された大型加速器制御
機械学習の適用が有効
大型加速器実験における加速器制御
従来より高性能、高速なデータ処理を期待膨大な制御点数 数千-数万点以上
高度な要請位置、エネルギー、輝度、、強力なデータ処理ツール

高額な運転経費 例)年間数十億円@SuperKEKB

高精度・高効率で安定な加速器運転の実現が重要3

情報分野で開発された大型加速器制御
機械学習の適用が有効
大型加速器実験における加速器制御
従来より高性能、高速なデータ処理を期待膨大な制御点数 数千-数万点以上
高度な要請位置、エネルギー、輝度、、

強力なデータ処理ツール

高額な運転経費 例)年間数十億円@SuperKEKB

従来より高精度・高効率で安定な加速器制御が期待される
4機械学習（Machine Learning）
人工知能(AI, Artificial Intelligence)
Any technique that enables computers to mimic
the intelligence or behavioral pattern of humans

機械学習(ML, Machine Learning)
A subset of AI. Techniques that enable computers
to learn the best rules to solve tasks.

教師あり学習教師なし学習強化学習

5機械学習（Machine Learning）• 人工知能（AI）の手法の１つ機械（コンピュータ）に学習させて認識・判断を行わせる• 「学習処理」と「判定処理」の二つの手順で行う
新人に、仕事の内容を教えてから（学習処理）、仕事をさせる（判定処理）

例：加速器実験でのデータ解析 “信号事象選別処理”
パラメータA

パラメータB

学習信号信号バックグランド

バックグランド

信号は、Aの絶対値が小さい
Bの値が大きい判定|A|＜０．６
B ＞０．５だったら、信号だと判断する（信号事象選別）6機械学習（MachineLearning）
学習• 人工知能（AI）の手法の１つ
機械（コンピュータ）に学習させて認識・判断を行わせる• データを統計処理することで「モデル」を構築•• 「学習処理」と「判定処理」の二つの手順で行う
データの統計量が多いほどモデルの精度が向上• 新人に、仕事の内容を教えてから（学習処理）、仕事をさせる（判定処理）
データの統計量と信頼性が大切
例：加速器実験でのデータ解析 “信号事象選別処理”
パラメータA

パラメータB

学習

信号
信号
バックグランド

バックグランド

信号は、Aの絶対値が小さい
Bの値が大きい判定|A|＜０．６
B ＞０．５だったら、信号だと判断する（信号事象選別）7機械学習Supervised
Learning

Unsupervised
Learning

Reinforcement
Learning

Task driven

Data drivenEnvironment driven

教師あり学習教師なし学習強化学習

Algorithm learns to react
to the environment

Classification
分類・識別Regression
回帰Dimensionality
Reduction
次元削減

Clustering

Real-time decisions
Game AI
Leaning Tasks
Robot Navigator….

いろんなタイプの機械学習があります8機械学習Supervised
Learning

Unsupervised
Learning

Reinforcement
Learning

Task driven

Data driven

Environment driven

教師あり学習教師なし学習強化学習

Algorithm learns to react
to the environment

Dimensionality
Classification
計算機技術・機械学習技術の進展によりReal-time decisions
Reduction

分類・識別Game AI
Leaning Tasks
Robot Navigator….

様々なタイプの機械学習が可能になった
Regression
Clustering
回帰 大量パラメータを直接用いる機械学習も可能になった
いろんなタイプの機械学習があります
次元削減

9加速器への適用
加速器制御への適用
日本物理学会
ビーム物理領域
2022/3/18

10

加速器への適用• TUOPA02 加速器制御への機械学習の適用

第19回日本加速器学会年会
2022/10/18-21○岩崎 昌子（阪公大理学研究科・阪大RCNP）• TUOA03

ベイズ最適化を用いた陽子線ビームサイズ・位置の自動調整システムの検討• TUOA04

SACLAにおける機械学習による故障予知・異常検知アプリケーションの試作• TUP051

コンパクトERLにおける機械学習によるビームオプティクスの自動調整• WEP019

機械学習によるベータトロン振動波形のリアルタイム解析• WEP029

加速器分野への機械学習の応用を通じた人材育成の試み• THP033

機械学習を用いた空洞内面欠陥自動検出ソフトの開発• THP055

ベイズ最適化を用いたイオン源制御手法の開発○中島 秀，天野 大三，滝 和也，福井 基文，白澤 克年，宮下 拓也，橘 正則（住友重機械工業）○佐藤 悠史（中央電子(株), 理研），清水 俊吾，上條 慎二（中央電子(株)），岩井 瑛人（理研, 高輝度光科学研究センター），前坂 比呂和（理研）○神尾 彬（HiSOR），加藤 政博（UVSOR），島田 美帆，宮内 洋司，帯名 崇（KEK）○藤井 将，渡部 圭祐，橋本 智（兵庫県大 高度研）

大山 博史，岩野 成，小池 隆太，原田 直幸，丸山 太洋（広島商船高専），笠井 聖二，澤田 康輔（呉工業高専），○加藤 政博，神尾 彬，浅井 佑哉（広島大），広田 克也，帯名 崇，本田 融（KEK）○荒木 隼人（KEK），浅野 峰行（株式会社NAT），早野 仁司（KEK），飯竹 真之（S-works）○森田 泰之，福田 光宏，依田 哲彦，神田 浩樹，畑中 吉治，斎藤 高嶺，田村 仁志，安田 祐介（阪大RCNP），鷲尾 隆（阪大産研），中島 悠太（阪大IDS），岩崎 昌子（大阪公立大学），武田 佳次郎，原 隆文，荘 浚謙，Zhao Hang，橘高 正樹，松井 昇大朗（阪大RCNP）
11

加速器制御への機械学習の適用
１．KEK Linac 加速器への適用
２．理研、SACLA、J-PARC

12機械学習を用いた
KEK Linac加速器制御の開発

13

阪公大、KEK
阪大IDS、阪大RCNPKEK Linac加速器
電子・陽電子線形加速器 (600m)
電子
Linac加速器

3つのリングへ入射(PF,PF-AR,KEKB-HER)
陽電子 1つのリングへ入射(KEKB-LER)

RFモニター：60台
ステアリング電磁石：200台
ビーム位置モニター(BPM)：100台

開発に用いた加速器データ
Linac加速器の実運転データを使用して開発をおこなった
使用した加速器データ
・Super KEKB入射用電子ビームデータ(2018/11～2021/06)
環境パラメータ(環境温度、冷却水温等)
運転パラメータ(電磁石励起電流読み値)

732個
500個

合計1233個入射効率の指標(Linac上流と下流の電荷量比) 1個14加速器制御の問題点
問題点①

制御システムが複雑構成要素が多い ~O(1000)
 参照するパラメータが多数で複雑
 調整速度が個人の技量に依存

機械学習を用いた加速器の可視化
教師なし学習を用いた次元削減（特徴抽出）

問題点②

運転状況が変化する

温度変化や振動、潮汐力等周囲の環境が変化する→常時調整が必要

環境適応型機械学習(強化学習)を用いた加速器制御

15

1. 機械学習による加速器状況の可視化
教師なし学習による次元削減（特徴抽出）で加速器の可視化を行った

機械学習 (VAE, Variational Auto Encoder)を用いて行った
入力：加速器データ
運転パラメータ：500個
環境パラメータ：732個

加速器運転・環境データ~O(1000)パラメータ

機械学習(次元削減)

教師無し学習

出力：潜在変数Z(2)

潜在変数は入力データの特徴を示す
特徴量

2変数 z[0],z[1]161. 機械学習による加速器状況の可視化

機械学習による次元削減（特徴抽出）で1232パラメータの加速器データを２次元で表現 →2D Latent Variable Z(0, 1)

可視化！

A.Hisano (Osaka-City U.)「加速器の状態」の可視化に成功
短期間では、加速器の状態はあまり変化しない
長期間(数か月以上)では加速器の状態が変化する

ICALEPCS 2021/10/20 WEPV1017

２. 強化学習による加速器制御

環境変化に適応した運転調整 強化学習が有効だと思われる
強化学習 ： 周囲の環境変化に応じ、最適な行動を選択する（報酬を最大化する行動を選択）→入射効率を報酬とした強化学習を導入したい
強化学習を導入するために、以下の準備開発を進めている
１．機械学習を用いた 入射効率の予測

加速器パラメータと入射効率の相関を学習可能か評価

２．機械学習を用いた 加速器シミュレーターの作成
Pre-trainingのために、加速器シミュレーターが必要
入射効率を最大化するために、実際に加速器で調整することは危険（車の運転で、ハンドルを左右に切ってから進む方向を決めるのは危険）18２．強化学習による加速器制御：準備研究
2-1: 機械学習を用いた入射効率の予測
加速器パラメータを入力すれば入射効率を予測する機械学習（回帰）で、入射効率を予測した
入力データ
加速器運転・環境データ~O(1000)パラメータ

機械学習
(回帰)

入射効率(Qratio)

中間層4層
Optimizer: Adam
活性化関数: Relu

19

２．強化学習による加速器制御：準備研究
2-1: 機械学習を用いた入射効率の予測
入射効率予測結果

その１

学習・検証データ 同期間 (2018年11月～2021年6月)
2018/11/12

学習データ

2021/06/23

2018/11/12

検証データ

2021/06/23

A.Hisano(Osaka-City U.)
機械学習が予測した入射効率実際の入射効率非常に良く一致  加速器パラメータと入射効率の関係を学習可能
PASJ18 2021/8/11 WEP042

20

2-1: 機械学習を用いた入射効率の予測
入射効率予測結果

その２

検証データは、2021年6月
学習用データは、以下の3パターンを使用 （学習用データは、それぞれ15万イベント）
2018/11/12

2021/05/26 2021/06/16

2021/06/23

データ①

学習データ

データ②

使用しない

学習データ

検証データ

データ③

学習データ

使用しない

検証データ

検証データ

2021/04/28

2021年6月の加速器パラメータの状態は、2021年5月の加速器パラメータの状態と類似
 2021年5月のデータで学習すると、2021年6月の入射効率が予測可能？！
A.Hisano(Osaka-City U.)

ICALEPCS 2021/10/20 WEPV1021

機械学習を用いた加速器運転調整：入射効率の予測
入射効率予測結果

A.Hisano (Osaka-City U.)

その２

入射効率

機械学習が予測した
入射効率
実際の入射効率

2021/06/16 – 2021/06/23

Real operation
Predicted by NN ①
Predicted by NN ②
Predicted by NN ③

2021年5月を含むデータ（①②）で学習すると2021年6月の入射効率をほぼ予測可能

直近データによる学習が重要
ICALEPCS 2021/10/20 WEPV1022

機械学習を用いた加速器運転調整：入射効率の予測
入射効率予測結果

KEK Linac、大阪市大、阪大IDS

その３

検証データは、2021年6月
学習用データは、学習データ①を5分割（それぞれ3万イベント）

A.Hisano(Osaka-City U.)

DNN が予測した入射効率と実際の入射効率の平均二乗誤差
分割前(150000 event) Ave 0.00036
分割後( 30000 event) Ave 0.00043
Ave 0.00036
Ave 0.00045
学習用データの統計が高い方が入射効率の予測精度が高くなる
Ave 0.00067
Ave 0.00038→ 加速器シミュレータで学習用データの統計量を確保することが有効?!
PASJ18 2021/8/11 WEP042

23西 隆博（理研）

24

SACLA での機械学習の取り組み• X線自由電子レーザー (XFEL) の自動最適化• ガウス過程回帰によるXFEL 強度やスペクトル輝度の最適化。
• 参考: 岩井ほか、「機械学習手法を用いた XFEL の自動調整」、第18回年会 WEOB02、令和３年８月。

• 加速器構成機器の異常検知、故障予測• 中央電子(株) との共同研究• サイラトロンの余命予測• 加速器停止時の復帰時間予測• 画像認識による計器読み取り• 参考: 佐藤ほか、「SACLAにおける機械学習による故障予知・異常検知アプリケーションの試作」、
本年会 TUOA04。

前坂 比呂和（理研）

Input layer:{∆Ai,∆𝝓𝝓i}*46
Amplitude andphaseerrors@46 RF cavities

Output layer:{∆𝝋𝝋j, ∆Wj}*87
Beam phase andenergyoffset@87 FCTs

Deep Neural Network

逆伝達モデル結果と誤差検出・補償
誤差検出OK・補償正確度OK
空洞位相：<0.1deg
出射運動量： <0.001%
ただ：逆伝達方法はFCT 冗長度
条件が必要（各空洞2つ以上のFCT）ACS部は現在FCT 冗長度条件が満たされていない（ロス低減ため一部撤去）→もっと一般的に方法Input layer:{∆Ai,∆𝝓𝝓i}*46
Amplitude andphaseerrors@46 RF cavities

Output layer:{∆𝝋𝝋j, ∆Wj}*87
Beam phase andenergy
offset@87 FCTs

Yong Liu（KEK）
Deep Neural Network

J-PARCで機械学習適用開発が進行中

逆伝達モデル結果と誤差検出・補償

誤差検出OK・補償正確度OK
空洞位相：<0.1deg
出射運動量： <0.001%

ただ：逆伝達方法はFCT 冗長度
条件が必要（各空洞2つ以上のFCT）ACS部は現在FCT 冗長度条件が満たされていない（ロス低減た
め一部撤去）→もっと一般的に方法おしらせ：加速器機械学習フォーラム
加速器への機械学習適用についての情報交換を目的としています。
Mattermost を使用しています。
参加を希望される方は、世話人か、お近くの賛同メンバーまで御連絡ください。

世話人
依田 哲彦、大田 晋輔 （阪大RCNP）
賛同メンバー岩井 瑛人（理研, 高輝度光科学研究センター），岩崎 昌子（阪公大, 阪大RCNP）
帯名 崇（KEK）、西 隆博（理研）、野村 昌弘 （原子力機構）、前坂 比呂和（理研）
28

まとめ
機械学習を用いた加速器制御の開発が進められている
様々な、機械学習技術の適用が始まっている
機械学習を用いた回帰、次元削減、強化学習、等

従来よりも高精度、高効率で安定な加速器制御の実現が期待される
29

ありがとうございました