(57)【要約】  人工神経網を基礎にした加速器の制御装置らに対する加速器の制御システムを提供する。本発明の加速器制御システムは、複数個の加速器制御装置それぞれに対応され、人工神経網基盤で学習及びシミュレーションを遂行する複数個の装置シミューレーターと、前記複数個の装置シミューレーターに対応される少なくとも一つの制御パラメーターらに対する調整とそれによる加速器の最終出力品質を遂行した後、加速器用インジェクターの出力、各装置シミューレーターの制御パラメーター値と、加速器の最終出力品質値がマッチングされた複数個の学習用データを生成し、該当複数個の学習用データを利用して機械学習を遂行して前記加速器の最終出力品質が最も高くなるようにする最適の制御パラメーターらの値を算出する強化学習制御器を含んで、前記複数個の装置シミューレーターそれぞれは、１次シミューレーターと、前記１次シミューレーターの出力を受信してノイズ部が処理を遂行して出力するノイズ処理部と、前記ノイズ処理部の出力を基礎で饋還信号を発生して前記１次シミューレーターに提供する饋還処理部でなされる。
2021515352.tif 000002
【特許請求の範囲】
【請求項１】
複数個の加速器制御装置それぞれに対応され、人工神経網基盤で学習及びシミュレーションを遂行する複数個の装置シミューレーターと、
前記複数個の装置シミューレーターに対応される少なくとも一つの制御パラメーターらに対する調整とそれによる加速器の最終出力品質を遂行した後、加速器用インジェクターの出力、各装置シミューレーターの制御パラメーター値と、
加速器の最終出力品質値がマッチングされた複数個の学習用データを生成し、該当複数個の学習用データを利用して機械学習を遂行して前記加速器の最終出力品質が最も高くなるようにする最適の制御パラメーターらの値を算出する強化学習制御器を含んで、
前記複数個の装置シミューレーターそれぞれは、１次シミューレーターと、前記１次シミューレーターの出力を受信してノイズ部が処理を遂行して出力するノイズ処理部と、前記ノイズ処理部の出力を基礎で饋還信号を発生して前記１次シミューレーターで提供する饋還処理部と、を含むことを特徴とする加速器の制御装置らに対する加速器の制御システム。
【請求項２】
前記１次シミューレーター、前記ノイズ処理部、前記饋還処理部はすべて人工神経網でなされ、各装置シミューレーターに対応される加速器制御装置の入力値による出力値を基礎にした機械学習によって形成されたことを特徴とする請求項１に記載の加速器の制御装置らに対する加速器の制御システム。
【請求項３】
前記強化学習制御器は前記複数個の装置シミューレーターに具備された少なくとも一つの制御パラメーターらの集めに該当する制御パラメーター集めセットを指定し、前記制御パラメーター集めセットに含まれた制御パラメーターらの値に対する変更及びそれによる加速器の最終出力品質を人工神経網基盤学習過程を通じて学習した後、前記加速器の最終出力品質が最も高くなるようにする最適の制御パラメーターらの値を算出することを特徴とする請求項１に記載の加速器の制御装置らに対する加速器の制御システム。
【請求項４】
前記強化学習制御器は前記制御パラメーター集めセットに含まれた制御パラメーターらのうちで該当制御パラメーター集めセットに含まれた順に一つずつ最適の制御パラメーター値を算出することを特徴とする請求項３に記載の加速器の制御装置らに対する加速器の制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、加速器の制御システムに関するものであり、より詳細には、加速器の制御装置らに対応されるシミューレーターを人工神経網基盤で駆逐した後学習及びシミュレーションを通じて各加速器の制御装置らに対するパラメーター値を決定する人工神経網シミューレーターと強化学習制御器を使用した実時間加速器の制御システムに関するものである。
【背景技術】
【０００２】
粒子加速器は原子核、または基本粒子を加速させる装置である、窮極的には粒子の衝突、その観測を通じて物質の微細構造を観測、判明しようとする装置である。
【０００３】
このような粒子加速器は加速対象によって陽イオン加速器、陰イオン加速器、重イオン加速器、電子加速器(放射光加速器)などがあって、加速方式によって線形加速器、円形加速器などがあるなどその種類は多様である。
【０００４】
ところで、このような粒子加速器で粒子を光の速度に近接する速度まで加速させるためには相当に多い装置らが必要であり、その規模も相当に大きい。
【０００５】
例えば、４世代浦項加速器の場合には、力強い紫外線レーザーを銅に該当し電子が飛び出すようにする電子銃、このような電子銃による電子ビームの長さを大幅圧縮させる線形加速器、圧縮加速された電子ビームが永久磁石の間を経ちながら光より相当に明るいＸ-線放射光を生成するアンジュレータ、Ｘ-線放射光を出力して物質の構造と現象を分子構造まで糾明するＸ-線実験装置(ビームライン)などが一つの加速システムを構成しているし、このような加速システムで電子銃制御、粒子の加速制御、放射光制御などと係わる各種制御装置らが集まって一つの加速器制御システムを構成するものである。
【０００６】
ところで、このような加速器の制御システムは、空間的にｎｍからＫｍまでの領域を扱って、時間的にfemto-secで数日のデータ領域を扱いながら、数十万個の制御変数を扱うようになるが、このような加速器の制御システムに含まれた各種装置らに対する制御パラメーターに対する最適化が相当に難しい。
【０００７】
すなわち、加速器の制御システムには上述したように各種制御装置ら(内部にセンサーが具備されることができる)が加速システム全区間にわたって少なくは数十個から多くは数百個まで存在し、これらそれぞれの制御装置らにはその動作方式を決定する各種パラメーター(制御変数)が存在するようになるが、このような各制御装置らのパラメーターの最適化は従来には研究者らの経験などに寄り掛かっている実情である。
【０００８】
実際制御パラメーター設定の試行錯誤を減らすためにマトラボ(Matlab)などを使用して前もって物理的シミュレーションは遂行しているが、全体システムのシミュレーション基盤分析は正確度や計算時間面で多くの問題点を有しているし、捕項加速器研究所等でも制御パラメーターの最適化は長い間の運営経験に基礎して専門家の判断による制御パラメーター設定を使用している。
【０００９】
現在のマトラボなどを利用した物理モデルシミュレーションや実際運営経験による装備別最適化などは部分的最適化をなすことができるが、多様な制御パラメーターの相互影響によって最終目標である加速器の最終出力品質(例えば、Ｑ−ＢＰＭ total値)を最大化する最適の制御パラメーターを探索/決定するには限界がある。
【００１０】
特に、加速器シミューレーターであるエレガントなどを基盤で仮想加速器を具現して制御パラメーター最適化をオフラインで具現しようとする試みらがあるが、このような従来の加速器シミューレーターの速度問題などによって実時間加速器の制御システムを最適化することができない問題点がある。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】大韓民国特許公報「公開特許第１０−２００７−００５４４５７号」
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、前記した従来の問題点を解決するために案出されたものであり、その目的は、加速器の制御システムに含まれた各種制御パラメーターらに対して加速器の最終出力品質を極大化するための最適値を算出/探索するシステムを提供することである。
【課題を解決するための手段】
【００１３】
前記した目的を達成するために本発明による加速器の制御装置らに対する加速器の制御システムは、複数個の加速器制御装置それぞれに対応され、人工神経網基盤で学習及びシミュレーションを遂行する複数個の装置シミューレーターと、
前記複数個の装置シミューレーターに対応される少なくとも一つの制御パラメーターらに対する調整とそれによる加速器の最終出力品質を遂行した後、加速器用インジェクターの出力、各装置シミューレーターの制御パラメーター値と、加速器の最終出力品質値がマッチングされた複数個の学習用データを生成し、該当複数個の学習用データを利用して機械学習を遂行して前記加速器の最終出力品質が最も高くなるようにする最適の制御パラメーターらの値を算出する強化学習制御器を含んで、前記複数個の装置シミューレーターそれぞれは、１次シミューレーターと、前記１次シミューレーターの出力を受信してノイズ部が処理を遂行して出力するノイズ処理部と、前記ノイズ処理部の出力を基礎で饋還信号を発生して前記１次シミューレーターに提供する饋還処理部を含むことを特徴とする。
【００１４】
ここで、前記１次シミューレーター、前記ノイズ処理部、前記饋還処理部はすべて人工神経網でなされ、各装置シミューレーターに対応される加速器の制御装置の入力値による出力値を基礎にした機械学習によって形成されたものであることができる。
【００１５】
ここで、前記強化学習制御器は、前記複数個の装置シミューレーターに具備された少なくとも一つの制御パラメーターらの集めに該当する制御パラメーター集めセットを指定し、前記制御パラメーター集めセットに含まれた制御パラメーターらの値に対する変更及びそれによる加速器の最終出力品質を人工神経網基盤学習過程を通じて学習した後、前記加速器の最終出力品質が最も高くなるようにする最適の制御パラメーターらの値を算出するものであることができる。
【００１６】
ここで、前記強化学習制御器は前記制御パラメーター集めセットに含まれた制御パラメーターらのうちで該当制御パラメーター集めセットに含まれた順に一つずつ最適の制御パラメーター値を算出したものであることができる。
【図面の簡単な説明】
【００１７】
【図１】図１は本発明の一実施例による加速器の制御システムの機能ブロック図である。
【図２】図２は図１の装置シミューレーターの人工神経網の構造の一例である。
【図３】図３は各装置シミューレーターの具体的構成の一例である。
【図４】図４は図１の強化学習制御器が教師あり学習のために利用するデータの一例である。
【図５】図５は従来のＥＰＩＣＳ基盤加速器の制御システムの構成の一例である。
【図６】図６は図５と比較される本発明の一実施例による加速器の制御システムと従来のＥＰＩＣシステム間の結合を示した図面である。
【発明を実施するための形態】
【００１８】
以下では添付図面を参照して本発明に対して詳しく説明する。
【００１９】
以下、本発明による各実施例は本発明の理解を助けるための一つの例に過ぎなくて、本発明がこのような実施例に限定されるものではない。特に、本発明は各実施例に含まれる個別構成、個別機能のうちで少なくとも何れか一つ以上の組合で構成されることができる。
【００２０】
図１は、本発明の一実施例による加速器の制御装置らに対する実時間加速器の制御システム１００(以下、‘加速器の制御システム１００'と称する)の機能ブロック図であるが、このような加速器の制御システム１００は後述するように装置シミューレーター１１０の各パラメーターを最適化するためのパラメーター決定システムに該当することができる。
【００２１】
同図面に示されたように加速器の制御システム１００は、複数個の人工神経網基盤装置シミューレーター１１０(以下、‘装置シミューレーター１１０'と称する)及び強化学習制御器１２０を含んで構成される。
【００２２】
ここで、各装置シミューレーター１１０は各加速器の制御装置に対応されるものであり、前述した背景技術で言及したように一つの加速器を運営するためには、数十〜数百個、必要によってはその以上の加速器制御装置が必要であるが、図１の各装置シミューレーター１１０はこのような加速器の制御装置らをそれぞれ具現したものである。
【００２３】
特に、装置シミューレーター１１０は人工神経網基盤で学習またはシミュレーションを遂行するように構成されることができる。
【００２４】
例えば、装置シミューレーター１１０は図２のような人工神経網を構成し、機械学習を通じて実際加速器の制御装置と同一な特性を示すようにする最適の内部パラメーター値を決定することができる。
【００２５】
例えば、装置シミューレーター１１０は加速器システムでオフターゲット(Off Target)で従来に利用されているElegant(エレガント)、Genesis（ジェネシス）シミューレーターをシミュレーションする人工神経網でなされたものであることができる。
【００２６】
特に、このような複数個の装置シミューレーター１１０それぞれは、図３に示されたように１次シミューレーター１０１、ノイズ処理部１０２、饋還処理部１０３を含んで構成されることができる。
【００２７】
ここで、１次シミューレーターは各加速器の制御装置の機能をシミュレーションするものであり、例えば、Elegant LLRF(Low Level RF)シミューレーターまたはジェネシスアンジュレータ(Undultator)シミューレーターに該当することができる。
【００２８】
ノイズ処理部は１次シミューレーターの出力を受信してノイズ部が処理を遂行して出力する機能を遂行するものである。
【００２９】
ここで、ノイズ処理部は加速器運営中に実際状況で発生するか、または発生することができる外力、振動などによるノイズを人為的に生成することができる。
【００３０】
饋還処理部はノイズ処理部の出力を基礎で饋還信号を発生して１次シミューレーターに提供する機能を遂行する。
【００３１】
このような１次シミューレーター、ノイズ処理部、饋還処理部はすべて人工神経網(Neural Network)で形成されたものであり、既存のシミューレーターの特性(入力及び出力)を機械学習して形成されたものであることができる。
【００３２】
図３で入力及び出力されるＢＰＭ(Beam Position Monitor)はｃＢＰＭ(cavity ＢＰＭ)やｓＢＰＭ(stripline ＢＰＭ)であることがある。
【００３３】
参照で図２のような形態は、機械学習のための人工神経網構成分野で広く知られた形態に過ぎないので、各レイヤーでの加重値(ウェイトゥ)を機械学習によって最適の値になるようにする公知された技術に対しては説明を略する。
【００３４】
但し、図２に示されたように各装置シミューレーター１１０は、前段に位置した装置シミューレーター１１０の結果をセンサーパラメーターとして入力を受けて、また制御パラメーターの入力を受けた後、内部の隠れ層(隠れ層の形態や加重値などは装置シミューレーター１１０に対応される各加速器の制御装置の機能によって異なる)を経った後、最終的に出力レイヤーで次の段に位置した装置シミューレーター１１０でセンサーパラメーターを伝達することができる。
【００３５】
すなわち、この場合各装置シミューレーター１１０は、前段に位置した装置シミューレーター１１０の結果値の入力を受けた後内部制御パラメーター値による結果を出力する構造でなされるものである。
【００３６】
ここで、各装置シミューレーター１１０が‘前段'または'次の段'に位置するということは、実際加速器運営のための加速器制御装置らがそのような順で配置されていることを意味する。
【００３７】
すなわち、複数個の装置シミューレーター１１０はそれぞれ特定配置手順にマッチングされていて、このような装置シミューレーター１１０にマッチングされた配置順序は、実際加速器運営のための加速器制御装置らの配置手順と一致するものである。
【００３８】
このように人工神経網基盤で機械学習を遂行した後装置シミューレーター１１０の各レイヤー(人工神経網レイヤー)の内部変数ウェイトゥ(weight)値が決まるようになって、以後これを前提に加速器の最終出力品質が最も良いようにする各加速器の制御装置ら、すなわち、各装置シミューレーター１１０らの制御パラメーターらが強化学習制御器１２０によって算出または決まるが、このために強化学習制御器１２０も図２のような人工神経網で構成されることができる。
【００３９】
以下、このような過程を具体的に説明する。
【００４０】
まず、強化学習制御器１２０は複数個の装置シミューレーター１１０に対応される少なくとも一つの制御パラメーターらに対する調整とそれによる加速器の最終出力品質を遂行した後、加速器用インジェクターの出力、各装置シミューレーター１１０の制御パラメーター値と、加速器の最終出力品質値がマッチングされた複数個の学習用データを生成する。
【００４１】
すなわち、従来にはこのような学習用データを加速器の運営中に発生するか、または適用したデータを利用したが、本発明では人工神経網でなされた装置シミューレーター１１０を利用してこのような複数個の学習用データを生成し、これを利用することである。
【００４２】
このように各装置シミューレーター１１０が人工神経網で構成された場合学習用データを獲得する時間が相当に短縮されることができる。すなわち、前で説明したように装置シミューレーター１１０がElegant（エレガント）基盤の仮想化装置に過ぎない場合にはその処理速度が相当に落ちるので、速かに学習用データを求めることができない。
【００４３】
これに反して装置シミューレーター１１０が人工神経網で構成されて機械学習を通じて実際各加速器の制御装置の特徴を具現した場合には、実際加速器の運営中に適用することができなかった制御パラメーター変更などを適用することができるし、それによる学習用データを容易に獲得することができる。
【００４４】
続いて強化学習制御器１２０は、生成された複数個の学習用データを利用して機械学習を遂行して加速器の最終出力品質が最も高くなるようにする最適の制御パラメーターらの値を算出するようになる。
【００４５】
すなわち、強化学習制御器１２０が状況による加速器の最終出力品質が最も高くなるようにする各加速器の制御装置らの制御パラメーターを算出するようにするためには、上述した学習用データのための機械学習が先行されなければならないが、従来には実際の加速器運営中に適用されたデータを収集して学習用データで利用することに反して、本実施例では各加速器の制御装置に対応される装置シミューレーター１１０が人工神経網で構成されているので、多様な制御パラメーター(実際加速器には適用することができなかった制御パラメーター)を適用した学習用データを生成した後これを利用することで、結局人工神経網の長所を極大化させることができる。
【００４６】
すなわち、人工神経網で利用して機械学習をする場合その学習用データが多様であってこそまともになされた学習がなされることができるが、従来に実際加速器の運営中に収集される学習用データは加速器の安全性などの理由によって制限された範囲のデータであるしかなくて、結局これを利用すればまともになされた学習がなされることができないが、本実施例による学習用データが従来に適用されることができない制御パラメーターを適用して収集したデータであるために、強化学習制御器１２０はまともになされた人工神経網(状況別に加速器の最終出力品質が最も高くなるようにする最適の制御パラメーターらの値を算出するようにする人工神経網)構築のための機械学習を遂行することができることである。
【００４７】
以下では、強化学習制御器１２０が制御パラメーター集めセット(Set)を利用して学習を進行する具体的な過程を説明する。
【００４８】
強化学習制御器１２０は複数個の装置シミューレーター１１０に具備された少なくとも一つの制御パラメーターらの集めに該当する制御パラメーター集めセット(SET)を指定し、その制御パラメーター集めセットに含まれたパラメーターらの値に対する変更及びそれによる加速器の最終出力品質を人工神経網の基盤学習過程を通じて学習した後、加速器の最終出力品質が最も高くなるようにする最適の制御パラメーターらの値を算出する機能を遂行する。
【００４９】
例えば、各複数個の装置シミューレーター１１０に含まれたパラメーターらがそれぞれＣ０_１、Ｃ１_１、Ｃ２_１、Ｃ３_１である場合、強化学習制御器１２０はこれらを一つのパラメーター集めセットである‘{Ｃ０_１、Ｃ１_１、Ｃ２_１、Ｃ３_１}'を指定した後、そのパラメーター集めセットに含まれた各パラメーターら(すなわち、Ｃ０_１、Ｃ１_１、Ｃ２_１、Ｃ３_１)の値に対する変更を機械学習を通じて遂行しながら最終出力品質が最も高くなるようにする制御パラメーターらの値を算出することである。
【００５０】
この時、強化学習制御器１２０は制御パラメーター集めセットに含まれたパラメーターらのうちで該当制御パラメーター集めセットに含まれた順に一つずつ最適のパラメーター値を算出することができる。
【００５１】
すなわち、前述した例のように集めセットが‘{Ｃ０_１、Ｃ１_１、Ｃ２_１、Ｃ３_１}'のようになっている場合、強化学習制御器１２０は一番目のパラメーターであるＣ０_１に対する値を指定し、その値を固定値にした状態で機械学習を通じて最適の最終出力品質を満足するＣ１_１を算出することである。
【００５２】
以後、強化学習制御器１２０は期指定または算出されたＣ０_１、Ｃ１_１の値を固定値にした状態で機械学習を通じて最適の最終出力品質を満足するＣ２_１を算出し、同じく、Ｃ０_１、Ｃ１_１、Ｃ２_１の値を固定値にした状態で機械学習を通じて最適の最終出力品質を満足するＣ３_１を算出することができる。
【００５３】
ここで、制御パラメーター集めセットには複数個の装置シミューレーター１１０に含まれた制御パラメーターらがその対応される装置シミューレーター１１０の配置手順と同一な順で含まれることができる。
【００５４】
すなわち、前で説明したように複数個の装置シミューレーター１１０は、その対応される加速器の制御装置によってそれぞれ特定配置手順を有することができるが、制御パラメーター集めセットにはこのような各装置シミューレーター１１０の配置手順によって各制御パラメーターらが含まれるようになって、強化学習制御器１２０はその制御パラメーター集めセットに含まれた順に各制御パラメーターの値を決定/算出することである。
【００５５】
例えば、加速器運営のために第１加速器の制御装置、第２加速器の制御装置、第３加速器の制御装置、第４加速器の制御装置がその順に配置されなければならないし、第１加速器の制御装置には第１制御パラメーター(Ｃ０_１)が、第２加速器の制御装置には第２制御パラメーター(Ｃ１_１)が、第３加速器の制御装置には第３制御パラメーター(Ｃ２_１)が、第４加速器の制御装置には第４制御パラメーター(Ｃ３_１)が設定されることができると仮定すれば、制御パラメーター集めセットは‘{Ｃ０_１、Ｃ１_１、Ｃ２_１、Ｃ３_１}'のように構成されることができるし、強化学習制御器１２０はその順に各パラメーター値を決定する過程を遂行することである。
【００５６】
本実施例では各加速器の制御装置が一つのパラメーターを有することを一例にしたが、各加速器の制御装置は複数個のパラメーターを有することもできて、その複数個のパラメーターらの間の優先順位も存在することができることは勿論である。
【００５７】
前述したように各装置シミューレーター１１０(加速器の制御装置)の最適の制御パラメーター値を算出するために強化学習制御器１２０は、強化学習モデルを基礎でＭＣＴＳ(Monte Carlo Tree Search)アルゴリズムを利用することができる。
【００５８】
ここで、ＭＣＴＳアルゴリズムは乱数を使用して関数の値を確率的に計算するアルゴリズムを呼ぶ用語として、計算しようとする値が閉まった値で表現されないか、または複雑な場合、これを近似的に計算するために使われることである。
【００５９】
例えば、モンテカルロ(Monte-Carlo）アルゴリズムを適用して円の広さを求める場合、円と円に内接する正四角形を、そして、正四角形内に多くの数の点を付けて点が円の内部に撮れた確率を計算すれば、円の広さを近似的に求めることができるということであり、このようなMonte-Carloアルゴリズムは任意施行の回数を増加させるほど正確度が増加するようになる。
【００６０】
Monte-Carlo Tree Search(ＭＣＴＳ)は、最善の選択(optimal decision)を捜す方法として、意思決定のための体験的探索アルゴリズムで数式を作って解を捜しことが易しくない時主に使われるが、例えば、ゲームで最善の手を探すための方法で活用されることである。
【００６１】
例えば、ＭＣＴＳをゲームに適用したら、ゲームで置くそれぞれの手がノードであり、ゲームの全体過程は各手の連続であるツリーで表現される。各ノードには勝率が記録されているし、ゲームで最善の手を捜す過程は最も勝率が高いノードを探していきことで近似されることができるし、ＭＣＴＳは各ノード別勝率を計算して勝率が高いノードを探していき過程であると言える。
【００６２】
ツリー探索の問題点は子ノードが多くなれば、探索に時間がとてもたくさんかかるという点であるが、ＭＣＴＳは全体可能性をすべて探索しないで複数のランダムシムレーション（random simulation）を通じてゲーム結果を求めてこれをノードの勝率に適用するアルゴリズムに該当する。
【００６３】
このようなＭＣＴＳアルゴリズムはSelection、Expansion、Simulation、Back propagation四つの段階でなされるが、簡略に説明すれば次のようである。
【００６４】
(１)Selection(選択):ルートＲで始めて連続される子ノードに沿って下がってノードＬを選択する。
【００６５】
(２)Expansion(拡張):ノードＬでゲームが終わらない場合、新しい子ノードＣを生成するか、または既存の子ノードのうちで一つをノードＣで選定する。
【００６６】
(３)Simulation(シミュレーション):ノードＣを対象でランダムレイアウト(randomp layout）を遂行する。
【００６７】
(４)Back propagation(逆伝播):プレイアウト（playout）の結果をノードＣからルートＲまでアップデートする。
【００６８】
このようなＭＣＴＳアルゴリズムその自体は公知された技術に該当するものでより詳細な説明は略する。
【００６９】
強化学習制御器１２０は上述した過程を経って加速器用インジェクターの出力、各装置シミューレーター１１０の制御パラメーター値と、加速器の最終出力品質値がマッチングされた学習用データを複数個具備するようになるが、その複数個の学習用データらのうちで既設定された個数程度の学習用データを利用して教師あり学習(ＳＬ:Supervised Learning)を通じて学習をした後、強化学習(ＲＬ:reinforcement learning)を遂行して最適の制御パラメーター値らを算出し出すことができる。
【００７０】
ここで、‘教師あり学習'(Supervised Learning)はデータに対するラベル(Label)-明示上の正解が与えられた状態で学習をさせることであり、既存に算出されたビッグデータ(すなわち、前述したように人工神経網で構成された装置シミューレーター１１０を利用して制御パラメーターを変更しながら獲得した入力、制御パラメーター、最終出力品質値)を利用して人工神経網基盤で学習することを意味し、強化学習はエージェントが与えられた環境(state)に対してある行動(action)を取ってこれからある補償(reward)を得ながら学習を進行することを意味する。
【００７１】
このような教師あり学習または強化学習も理論的内容は期公知された技術に該当するが、本発明の特徴はこのような学習方法を加速器の制御装置らの最適のパラメーターを算出することに利用していることにもその特徴があることである。
【００７２】
図４は、強化学習制御器１２０の‘教師あり学習'のためにあらかじめ獲得したデータの一例である。
【００７３】
すなわち、図４の各行は前で言及した学習用データに該当し、強化学習制御器１２０はこのように集まった複数個の学習用データのうちで既設定された手順によって、またはランダム方式でいくつのケースに該当する学習用データを抽出した後、その抽出した学習用データを利用して人工神経網で‘教師あり学習'を遂行することができることである。
【００７４】
参照で図４の各学習用データで‘Ｉ'はインジェクターの出力値、Ｑ-ＢＰＭは加速器の最終出力品質値であり、残りは各加速器の制御装置らの制御パラメーターに該当する。
【００７５】
前述した実施例で説明した加速器の制御システム１００は、例えば、ＥＰＩＣＳ基盤加速器の制御システムと結合して運営されることもできる。
【００７６】
図５は、従来のＥＰＩＣＳ基盤加速器の制御システムを示しているし、図６はこのようなＥＰＩＣＳ基盤加速器の制御システムで制御装置らが本発明による装置シミューレーター１１０で取り替えられて強化学習制御器１２０が加えられて運営される形態を示している。
【００７７】
図５を参照すれば、ＬＬＲＦ、ＢＰＭなどの加速器制御装置は加速器全体区間で数十台ずつ配置されて各区間で最適化を遂行するが、この時加速器の制御装置らはＥＰＩＣＳＩＯＣに各デバイス別に与えられた時間周期別にPv dataに対するイベントを発生するか、または変化した値らに対するイベントを発生させ、ＥＰＩＣＳＩＯＣ(Input Output Controller)サーバーは各デバイスらのイベントを収集して運営者が使用するＣＳＳ画面などに表示することができるようにデータを送るか、または追後データを活用することができるようにＡＡ(Archiver Appliance、アーカイバアプライアンス)サーバーなどにデータを送って保存し、仮に特定の設定値を脱した値が入って来る時はアラームサーバー(Alarm Server)を通じてＣＳＳシステムに警告メッセージ等を出力することで、運営者が措置することができるようにする。
【００７８】
図６は、このような加速器の制御装置が人工神経網基盤の装置シミューレーター１１０で取り替えられ、装置シミューレーター１１０と通信する強化学習制御器１２０の加えられた状態が示された。
【００７９】
図６のように実際運営される加速器の制御装置を人工神経網基盤の装置シミューレーター１１０で取り替えることで、最適の制御パラメーター導出のための加速器運営中断を防止できるだけではなく、装置シミューレーター１１０が人工神経網基盤で学習がなされた形態を有することで、実際の加速器制御装置の特性に相当に近接することができるようになることである。
【００８０】
図６には、便宜上従来のＥＰＩＣＳに加速器の制御装置が追加で含まれることを一例にしたが、加速器の制御装置は別途のシステムで構成されるか、または上述した装置シミューレーター１１０と共に一つのシステムで構成されることもできる。
【００８１】
前述した実施例では各装置シミューレーターに饋還処理部が含まれることを一例にしたが、饋還処理部その自体は強化学習制御器に含まれることもできる。
【００８２】
一方、前述した各実施例を遂行する過程は、所定の記録媒体(例えば、コンピューターで判読可能な)に記憶されたプログラムまたはアプリケーションによってなされることができることは勿論である。ここで、記録媒体はＲＡＭ(Random Access Memory)のような電子的記録媒体、ハードディスクのような磁気的記録媒体、ＣＤ(Compact Disk)のような光学的記録媒体などをすべて含む。
【００８３】
この時、記録媒体に記憶されたプログラムは、コンピューターやスマートフォンなどのようなハードウェア上で実行されて上述した各実施例を遂行することができる。特に、前述した本発明による機能ブロックのうちで少なくとも何れか一つはこのようなプログラムまたはアプリケーションによって具現されることができる。
【産業上の利用可能性】
【００８４】
以上説明したように、本発明によれば、各加速器の制御装置らの制御パラメーターに対して人工神経網基盤機械学習を遂行することで、加速器の最終出力品質を高める最適の制御パラメーターらの値を速かに判断することができる。
【００８５】
また、実際運営される加速器の制御装置を人工神経網基盤の装置シミューレーターで取り替えた後、学習用データを収集することで、最適の制御パラメーター導出のための加速器運営中断を防止することができることは勿論であり、まともになされた学習を通じて加速器の最終出力品質を高める最適の制御パラメーターらに対する判断正確度を相当に高めることができる。
【図１】
2021515352.tif 000003
【図２】
2021515352.tif 000004
【図３】
2021515352.tif 000005
【図４】
2021515352.tif 000006
【図５】
2021515352.tif 000007
【図６】
2021515352.tif 000008
【国際調査報告】
2021515352.tif 000009
2021515352.tif 000010
2021515352.tif 000011
2021515352.tif 000012
2021515352.tif 000013
2021515352.tif 000014