Proceedings of the 20th Annual Meeting of Particle Accelerator Society of Japan
August 29 - September 1, 2023, Funabashi

PASJ2023 WEP09

GigE カメラ制御システムの改良と SACLA およびナノテラスのスクリーンモニタへの適用
UPGRADE OF GigE VISION CAMERA CONTROL SYSTEM AND APPLIED TOSCREEN MONITORS OF SACLA AND NanoTerasu
清道明男#, A, D), 松原伸一 A, D), 柳田謙一 A, D), 岩井瑛人 A, B, D), 福井達 B), 石井健一 C),
住友博史 C), 山本龍 C), 上島考太 D), 及川治彦 D, E), 土山翼 D, E)
Akio Kiyomichi #, A, D), Shinichi Matsubara A, D), Kenichi Yanagida A, D), Eito Iwai A, B, D), Toru Fukui B), Kenichi Ishii C),
Hiroshi Sumitomo C) , Ryo Yamamoto C), Kota Ueshima D), Haruhiko Oikawa D), Tsubasa Tsuchiyama D)
A)Japan Synchrotron Radiation Research Institute (JASRI)
B)
RIKEN SPring-8 CenterC)
SPring-8 Service (SES)D)
National Institutes for Quantum Science and Technology (QST)E)
NAT Corporation

Abstract

At SPring-8 site, we developed a GigE camera control system using the open-source library Aravis and adopted GigE
Vision standard cameras for the screen monitors (SCM) at XSBT, SACLA-BL1 (SCSS+), and NewSUBARU injectorlinac. Since the fiscal year 2022, we have transited from Camera Link standard to GigE Vision standard cameras forSCMs at SACLA. Additionally, we applied this system to SCMs at NanoTerasu in Sendai and contributed to beamcommissioning. During the operation of each accelerator, we encountered a problem with the SCM operation. In thespecification of the SPring-8 control framework, camera control and image data acquisition are separate processes, but
problems may occur due to the conflicting of camera connections. When the frequency of camera switching was high, itbecame unstable. At SACLA, there was a demand for frequent switching of multiple SCMs for research purposes, suchas spatial profile optimization using machine learning methods. To address these issues, we performed significant
software modifications, such as unifying the process of accessing the camera. In this presentation, we will discuss theimprovements made to stabilize the GigE camera control system and report on the implementation of GigE cameras andSCM control at SACLA and NanoTerasu.

1.

はじめに

SPring-8 ではオープンソースライブラリ Aravis を使用
した GigE カメラ制御システムを開発した。GigE カメラ制
御システムのハード構成は GigE Vision 規格のカメラを採用し PoE(Power-over-Ethernet)給電対応の Ethernetボードを用いたサーバ型計算機からなるコンパクトで一体的なカメラ制御システム[1]である。カメラ制御システム
はオープンソースライブラリ Aravis[2]を使用したカメラ制
御 ソ フ ト ウ ェ ア と DB を 活 用 し た 画 像 収 集 シ ス テ ム
MDAQ_IMG からなる。
SPring-8 サイトでは多くの箇所で Camera Link カメラ制御システムが運用されていたが、複雑な構成でトラブルが多発し 安定運用に支障 をきたし た。そ こ で XSBT,SACLA-BL1 (SCSS+), NewSUBARU 新入射器におけるスクリーンモニタ(SCM)へ GigE カメラ制御システムの導入を進め[3, 4]、2022 年度からは SACLA の SCM も適用した。さらに仙台の 3 GeV 次世代放射光施設ナノテラスにおいて SCM および X 線ピンホールカメラへ開発したGigE カメラ制御システムを適用した。
それぞれの加速器で運用を重ねてきたところ課題が現れた。SPring-8 制御フレームワークの仕様によりカメラ___________________________________________# kiyomichi@spring8.or.jp

制御と画像データ収集が別プロセスであることから、稀にカメラ制御権の取り合いで不具合が発生した。カメラ切り替え頻度が高いと不安定になることが分かってきた。
SACLA では機械学習手法を用いた自動調整で空間プロファイルの最適化を図る目的で複数の SCM の切り替えを高速・高頻度に行う要望がある。この問題を克服するためにフトウェアの大幅な改修を行った。
本稿では GigE カメラ制御システムの安定化のために行った改良と、SACLA およびナノテラスに導入した GigE
カメラと SCM 制御について報告する。

2.

GigE カメラ制御システムの改良

2.1 ソフトウェア改良の背景
SPring-8 の制御フレームワーク上ではハードウェアを制御する機器制御レイヤーに Equipment Manager (EM)と呼ばれるソフトウェアが動作している。カメラ用の EM はGUI からの命令に応じてカメラの設定やステータス情報の取得を行う。また画像データはトリガ入力に応じて撮像を 行 う た め の 画 像 デ ー タ 収 集 プ ロ セ ス MDAQ(MDAQ_IMG) が動作している。1 台の計算機では EMと MDAQ の 2 つのプロセスが動作して、それぞれがデバイスにアクセスする構成となる。一方、GigE カメラは 1つのプロセスからしか制御ができないという制約があるた- 494 -Proceedings of the 20th Annual Meeting of Particle Accelerator Society of Japan
August 29 - September 1, 2023, Funabashi

PASJ2023 WEP09

め、EM と MDAQ とで制御権の移行を行う。旧ソフトウェ
アのプロセス構成を Fig. 1 に示す。
SCM は破壊型の測定器であるため同時に使用できるモニタは一つである。よってカメラは同時に１台接続できれば良い。ビーム調整におけるプロファイル測定ではGUI 操作で上流から順にカメラを切り替えて SCM の撮像を行うが、その度にカメラ open の接続処理を行うため数秒の待ち時間が発生する。通常の人の手によるプロファイル測定での頻度ではあまり大きな問題にはならなかった。しかしカメラに対して open/close の接続処理を繰り返すと open に失敗することがある。その際はカメラの電源切り入りを実行することで正常になるが復旧まで数十秒かかってしまう。複数カメラの切り替えを含めた自動調整による測定中にカメラ接続の失敗が起きると実用的な自動調整が行えない。そこでカメラ切り替えでの信頼性向上と高速化を行うため、抜本的なソフトウェアの改良を行った。

Figure 1: Old scheme of GigE camera control.
2.2 カメラ制御プロセスの EMA 化プロセス間でのカメラ制御権の移行と open/close の接続処理の多さが不安定化の原因と考えた。カメラにアクセスするプロセスを１つに集約する方針として、自己ループで処理する仕組みである Equipment Manager Agent(EMA) を追加することとした。改造の基本方針を以下に示す。
• EM が担っていたカメラ設定と MDAQ が担っていた画像データ収集を EMA プロセスに集約する。
• EMA は複数のカメラを同時接続する。
• カメラ毎に共有メモリ（SHM）を設定し、EMA, EM,MDAQ でカメラ設定パラメータを共有する。
• カメラ設定パラメータは SHM が保持する。
Figure 2 にプロセス構成を示す。EMA は SHM をポーリングして指令を受け取り、カメラ設定は EM から SHM を介して EMA が操作する。撮像開始(grab start)は EMAが全てのカメラを open して接続する処理、撮像終了(grab stop)は close 処理と定義した。撮像開始状態でカメラを選択して録画(record on)ができる。接続に成功したカメラは撮像状態取得(grab status)からビット情報の形で確認できるようにした。カメラを切り替えても撮像状態は変わらず、すぐに録画ができる。
ゲイン や露光時間といったカメラ設定パラ メータはSHM に保持し、"grab start" の指令時にまとめてカメラへ設定する。これによりトラブル時にカメラ電源切り入りを行いカメラ設定が初期状態になってしまっても、速やかに各種設定をトラブル前と同じ状態に復旧できる。
MDAQ はトリガ入力に応じて選択したカメラの撮像指令を SHM に書き込み、画像のメタデータを DB へ書き込む。EMA は SHM を介して撮像指令を受けて画像データをファイル書き出す。EMA のポーリング周期は初期値を 10 ms としている。これは 1 Hz の撮像には十分間に合っている。

Figure 2: New scheme of GigE camera control.
2.3 その他のトラブル事例と対策
SPring-8 サイトで GigE カメラ制御システムを 3 つの施設に導入して数年経過するが安定的に運用している。この間のトラブル事例と対策、知見を紹介する。
破壊型のビーム診断は加速器の立ち上げ時とユーザ運転終了時におこなうため、SCM を使用する時期は限られる。ユーザ利用運転期間の 1, 2 ヶ月ほどカメラの電源を入れたまま保持すると、何台かのカメラで読み出し不具合が発生する。この不具合はカメラ電源を切り入りすることで正常に戻る。試験として、夏の停止期間の約 2 ヶ月間カメラの電源を入れたまま保持してから、撮像試験を行ったところ不具合の発生するカメラは無かった。この違いから放射線の影響と考えられる。GigE カメラ制御シス
テムは PoE 給電により電源制御を容易に行えるよう整備したため、集中的管理で復旧は容易である。ユーザ利用
運転期間はカメラ電源を切り、加速器の立ち上げ時やスタディなど測定期間の始めに一括してカメラ電源の投入、初期化を行うことで安定運用を実現している。
SCSS+では 1 Hz 連続測定を繰り返すことで画像データの増加量が大きく当初用意していた 256 GB のディスクパーティションでは短期間で残容量が切迫した。長期保存が必要無い画像データはビーム調整後に削除する仕組みを作り、また画像と波形データ専用の大容量ファイルサーバを用意して SACLA, SCSS+, SR それぞれに10 TB を割り当てた。さらには DB 更新せず同じファイル名で画像データを書き出す固定ファイルモードを追加してストリーミングに近い撮像が出来るよう機能を追加し、データ保存の必要性に応じてモードを選択可能とした。

3.

SACLA SCM への適用

3.1 GigE カメラへの移行
建設当初、SACLA 加速器と SACLA-BL1 加速器(SCSS+)では SCM に蛍光版と OTR スクリーンを使用し、撮像用カメラは Camera Link 規格の CCD カメラを採用して 10 年ほど運用してきた[5]。１台のカメラ用計算機に数十台のカメラを多段の切替器をツリー構造に接続する。
また計算機まで 700 m を超える距離の伝送が必要なため光延長器を切替器毎に設置していた。接続機器が多く複雑な構成である Camera Link カメラ制御システムはトラブルが多発するうえ、不具合原因箇所の特定が手間取り安定運用に支障をきたした。そこで順次 GigE カメラ- 495 -

Proceedings of the 20th Annual Meeting of Particle Accelerator Society of Japan
August 29 - September 1, 2023, Funabashi

PASJ2023 WEP09

制御システムへの移行を進めている。SCSS+では 2021
年度までに全 22 台のカメラの更新が完了した。
2022 年度より SACLA の SCM 用カメラの更新を開始した。一部ではスクリーンを Ce:YAG への変更も行っている。SACLA では 68 台の Camera Link カメラを設置していたが、とくにビームプロファイル測定に重要な箇所を選んで 2023 年冬に 23 台を GigE カメラに更新した。2023年夏にはさらに 6 台を更新して、計 29 台のカメラを 4 台の計算機で制御する構成となる。交換した撮像用 GigE
カメラは JAI GO-2400M-PGE で、画像素子はセンサー
サイズ 1/1.2”、ピクセル数 1936 x 1216、ピクセルサイズ5.86 μm x 5.86 μm のモノクロ CMOS (SONY IMX174)である。
GigE カメラ制御用計算機は 3 列の PCI Express スロット持つ 2U のサーバ型計算機(HP DL180, Gen10)に PoE
給電 対応 Ethernet ボ ー ド (AVALDATA APX-3404I350) と昨年開発した電源制御ボード[4]、そしてトリガボード (ROCKY RCB-LVDS-TRIG8) を実装した構成となる。Figure 3 に計算機の実装図と GigE カメラとの接続構成を示す。

を選択して 10 回測定を行い、カメラ切り替えを繰り返す。
EMA 化したカメラ制御で、切り替え時に遅延が発生することなく安定に動作することが確認できた。
また、カメラトラブルを模擬して、測定中にカメラ 1 台を手動で電源オフにする試験を行った。不具合のあるカメラは測定が出来ないため、タイムアウトまで待って次に進むが、トラブルに気がつくべきなど、GUI に必要な対策を洗い出した。カメラ制御用計算機が書き出した画像はNFS 越しに運転端末の GUI が読み出す仕組みであるが、画像ファイルの表示に失敗することがある。カメラとGUI の読み込みタイミングは非同期なため、NFS 上の保存ファイルが読める状態になる前にファイルアクセスすることがある。DB から最新の画像ファイルパス情報を取得後、画像ファイルオープンまでに遅延を入れる、ファイルオープンのリトライを入れるといった対策を施した。
SACLA の SCM のハード及びソフトの改良を経て、機械学習手法による自動調整の試験を行う環境を整えることができた。

4.

ナノテラスの GigE カメラ制御

4.1 ナノテラス制御系
仙台の 3 GeV 高輝度放射光施設ナノテラスは 2024 年の運用開始に向けて整備を進めている[7]。制御系はSPring-8 制 御 フ レ ー ム ワ ー ク で 構 築 し 、 SPring-8 やSACLA で培った技術を導入した。機器制御の計算機は MTCA.4 と PC サーバで構築し OS は Ubuntu16 とした。開発環境を SPring-8 と共通にすることで開発コストを削減し、共同開発を円滑に進めている。

Figure 3: Schematic view of camera connection and photoof PC server configuration.
3.2 機械学習による自動調整に向けた準備
SACLA では機械学習手法を用いた XFEL の自動調整の研究[6]にて空間プロファイル最適化を行う計画がある。複数箇所での空間プロファイルを同時に評価して、入射部の 6 次元位相空間の再現を目指している。パラメータセットを変更する度に複数の SCM を順次切り替えて行う評価を、パラメータ変更しながら実施する。そのため手動カメラ切り替えによるビームプロファイル測定に比べて遙かに高い頻度のカメラ切り替え・撮像を行うこととなる。
SACLA の SCM 更新に先立ち、既に GigE カメラ移行が完了した SCSS+においてカメラ制御プロセスの EMA化を実施した。この SCSS+で機械学習手法による自動調整を模擬したシーケンスを自動調整 GUI に与えて実行する試験を行った。複数の計算機に跨がる SCM 6 台

4.2 スクリーンモニタ(SCM)
ナノテラスの入射 3 GeV 線型加速器は規格化エミッタンスが 10 mm-mrad 以下の低エミッタンス電子ビームを出射する。これを評価できるよう 15 台の SCM を線型加速器および蓄積リングへのビームトランスポート部へ設置した。スクリーンは Ce:YAG、カメラは GigE Vision 規格のカメラで SPring-8 サイトの SACLA や NewSUBARU 新入射器の SCM と同等の構成である。GigE カメラ制御システムを適用し、サーバ型計算機 3 台で 15 台のカメラを制御する。
カメラ以外の SCM 制御系は EtherCAT[8]で構築した。
スクリーン挿入操作および LED 照明制御を EtherCAT プロトコルで行う SCM コントローラを製作した。SCM コント
ローラの中身は DIO 制御で、1 台あたり 2 箇所のスクリーン挿入操作と LED 照明操作を行う。また、モーター制御も EtherCAT プロトコルで行う。モーター駆動のステージにカメラを乗せ、ビーム形状を観測しながら遠隔でピント調整を可能とする。ビーム電荷量を簡易、かつ精密調整を可能とする連続可変の回転式コリメータ[9]を開発したが、このモーター駆動部も EtherCAT で制御する。
GigE カメラ制御用計算機は SACLA で導入したものと同じ 2U のサーバ型計算機(HP DL180, Gen10)による構成で、さらに EtherCAT マスター通信機能を持つ PCI
Express ボード AdEXP1572 を追加した。SCM の制御を1 台の計算機に集約して行う構成となる。
SCM 用 GUI は Qt[10]で開発した。3 台のカメラ制御計算機を統率してスクリーン操作やカメラ制御、そしてプ- 496 -Proceedings of the 20th Annual Meeting of Particle Accelerator Society of Japan
August 29 - September 1, 2023, Funabashi

PASJ2023 WEP09

ロファイル測定を行う。
ナノテラス線型加速器における GigE カメラ制御およびEtherCAT プロトコルによる SCM 制御の構成と GUI を
Fig. 4 に示す。2023 年 4 月からの線型加速器ビームコミッショニング[11]においてビームプロファイル測定が安定に行われている。

5.

まとめGigE カメラ制御システムの安定化のためにソフトウェ
アの改良を行った。EM と MDAQ の２つのプロセスでカメラ制御権を取り合っていた仕組みを EMA プロセス１つに集約し、かつ複数のカメラを同時接続することでopen/close 処理を減らした。これによりカメラ切り替え操作の高速化と安定化が実現した。
SPring-8 サイトにおいては XSBT, SCSS+, ニュースバ
ル新入射器への導入に続いて SACLA でも GigE カメラを導入した。今後の機械学習手法を用いた XFEL 自動調整で高頻度なカメラ切り替えに使用する需要に応えられる環境を整備した。また 3 GeV 高輝度放射光施設ナノテラスの SCM および XPC に適用し、線型加速器のビームプロファイル測定や蓄積リングの電子ビーム診断に利用している。

参考文献
Figure 4: Schematic view of screen monitor control onNanoTerasu linac and GUI for beam profile measurement.
4.3 X 線ピンホールカメラ(XPC)
蓄積リングに設置した X 線ピンホールカメラ(XPC) [12]の撮像へ GigE カメラ制御システムを導入した。
GigE カメラは JAI GO-5101M-PGE で、画像素子はセンサーサイズ 2/3”、ピクセル数 2464 x 2056、ピクセルサイ
ズ 3.45 μm x 3.45 μm のモノクロ CMOS (SONY IMX264)である。XPC の構成を Fig. 5 に示す。画像処理系はカメラ１台に計算機１台の構成として、SCM のカメラ制御システムを流用した。
現ソフトウェアは SCM 用途を前提に全ての画像データを保存して長期保存の必要の無い画像データをあとで消す、という仕様となっている。しかし X 線ピンホールカ
メラは常時撮像を行うため、保存と消去の繰り返しは手間がかかる。そこで固定ファイルに出力するモードを追加し、定期測定やバックグラウンド測定などで画像データを保存するモードと切り替えて使用できるようにした。

[1] A. Kiyomichi et al., “Development of GigE Vision camera
control for upgrading screen monitor of SPring-8/SACLA”,
Proceedings of the 16th Annual Meeting of Particle
Accelerator Society of Japan, Kyoto, Japan, Aug. 2019,
pp. 873.
[2] Aravis – A vision library for genicam based cameras,
http://www.github.com/AravisProject/aravis[3] A. Kiyomichi et al., “Application of GigE Vision camera to
new screen monitor control system for beam transport from
SACLA to SPring-8”, Proceedings of the 17th Annual
Meeting of Particle Accelerator Society of Japan, Online,
Sep. 2020, pp. 731.
[4] A. Kiyomichi et al., “Application of GigE Vision camera
control system for screen monitors of SACLA-BL1(SCSS+)
and NewSUBARU injector linac”, Proceedings of the 19th
Annual Meeting of Particle Accelerator Society of Japan,
Online (Kyushu University), Oct. 2022, pp. 535.
[5] T. Matsumoto et al., “Commissioning of beam profile
monitoring DAQ system for XFEL/SPring-8 SACLA”,
Proceedings of the 8th Annual Meeting of Particle
Accelerator Society of Japan, Tsukuba, Japan, Aug. 2011,
pp. 554.
[6] E. Iwai et al., “Application of machine-learning toaccelerator operations at SACLA”, Proceedings of the 18th
Annual Meeting of Particle Accelerator Society of Japan,
QST-Takasaki Online, Japan, Aug. 2021, pp. 151.
[7] N. Nishimori et al., “Commissioning of NanoTerasu
Accelerator System”, The 20th Annual Meeting of Particle
Accelerator Society of Japan, Funabashi, Japan, Aug. 2023,
TUOP02, this meeting.
[8] EtherCAT Technology Group,https://www.ethercat.org

Figure 5: Schematic view of X-ray pinhole camera.

[9] T. Asaka et al., “Beam performance of injector system in
NanoTerasu”, The 20th Annual Meeting of Particle
Accelerator Society of Japan, Funabashi, Japan, Aug. 2023,
THP49, this meeting.
[10] http://www.qt.io[11] T. Asaka et al., “Installation and Beam Commissioning of 3
GeV Linear Accelerator in NanoTerasu”, The 20th Annual
Meeting of Particle Accelerator Society of Japan, Funabashi,
Japan, Aug. 2023, WEOA7, this meeting.
[12] K. Ueshima et al., “Electron beam diagnostics system using
3-pole wiggler in NanoTerasu”, The 20th Annual Meeting ofParticle Accelerator Society of Japan, Funabashi, Japan, Aug.
2023, THOA5, this meeting.

- 497 -