Proceedings of the 10th Annual Meeting of Particle Accelerator Society of Japan (August 3-5, 2013, Nagoya, Japan)

SPring-8 蓄積リング２次元放射光干渉計高度化に向けた
MicroTCA 画像処理システムの開発
DEVELOPMENT OF MICROTCA-BASED IMAGE PROCESSING SYSTEM FOR THE
TWO-DIMENSIONAL SYNCHROTRON RADIATION INTERFEROMETER AT THE
SPRING-8 STORAGE RING
清道明男 #, 植田倉六, 正木満博, 増田剛正
Akio Kiyomichi #, Souroku Ueda, Mitsuhiro Masaki, Takemasa Masuda
Japan Synchrotron Radiation Research Institute (JASRI/SPring-8)

Abstract
A two-dimensional synchrotron radiation interferometer for non-destructive diagnostics of transverse electron beamis operating in the SPring-8 storage ring. Its interferogram has been captured and processed by a conventional PC-basedsystem. In order to upgrade the interferometer for real-time measurement of the sizes and tilt angle of a transverse
electron beam profile with elliptical Gaussian distribution, we have developed a new image processing system based on
MicroTCA platform. The platform has an advantage over PC in robustness and scalability due to its hot-swappable
modular architecture. The new system is built with commercial-off-the-shelf products to reduce development cost andtime. It consists of an MCH, processor AMCs, a user-configurable Spartan6 FPGA AMC with an FMC slot and aCameraLink FMC. The CameraLink IP core is newly developed in compliance with the AXI4 open-bus to enhancereusability. A dedicated processor AMC that communicates with the primary processor AMC is added for fast 2Dfitting calculation to achieve real-time measurement of the beam sizes and the beam-tilt angle during the storage ring
operation.

1.

プロファイルに関する情報が得られる。
現行の２次元放射光干渉計の画像処理システムで用いているハードウェアおよびソフトウェアが共に老朽化が著しいため、今回２次元放射光干渉計の高度化を含めたシステムの更新を行った。

はじめに

SPring-8 では分解能に優れる放射光干渉計の特性を生かしたまま、２次元ビームプロファイルに関する情報が得られる２次元放射光干渉計を開発して運用している [1][2] 。これは従来の放射光干渉計で用い高度化の目的られていたダブルスリットを、４つの小さな開口を 2.
現行の画像処理システムは 10 年前に設置した PC矩形状に配置した回折マスクに置き換えることで実現している。２次元放射光干渉計は SPring-8 蓄積リ ベースのシステムである（Figure 2）。CCD カメラ
ングのマシントンネル内に設置され、偏向電磁石を から得た２次元干渉縞を画像キャプチャ用の PCI光源とする可視光線を利用している。放射光可視光 ボードによって取り込み、それを水平・垂直方向に成分は 2 枚のミラーで干渉計本体へと導かれ、回折 射影して１次元化した干渉縞のビジビリティをビーマスクとレンズを介して CCD カメラで受光するこ ムサイズに変換している。得られた水平・垂直方向とで、２次元放射光干渉縞を観測できる（Figure 1）。 のビジビリティとビームサイズを 1Hz 周期でデータ２次元干渉縞からビーム楕円成分の長軸サイズ、短 ベースに書き込んでいる。キャプチャした干渉縞の軸サイズ、そしてビーム軸の傾き角といったビーム 画像データは必要に応じてファイルサーバ上に保存
photon absorbermirror in vacuum
lensesbending magnet
quartz window

CCD camera

mirror in atmospherepolarizer
19.64m from the source

4-aperture maska) Two-dimensional interferometerbandpass filterb) Interference patternFigure 1: Schematic view of the two-dimensional interferometer and an example of observed two-dimensional
interference pattern at the SPring-8 storage ring.
____________________________________________#kiyomichi@spring8.or.jp- 242 -

Proceedings of the 10th Annual Meeting of Particle Accelerator Society of Japan (August 3-5, 2013, Nagoya, Japan)

Figure 2: Schematic diagram of the current image
processing
systemfor
thetwo-dimensional
synchrotron radiation interferometer.
し、オフラインでの解析に使用する。また CCD カ
メラからのアナログ出力を分岐して、ネットワークインターフェース付きのビデオエンコーダモジュー
ルで取り込み、中央制御室の大型ディスプレイにリアルタイム表示（ライブビュー）を行っている。
画像処理システムの更新を行うにあたり、これらの現行機能を維持しつつ２次元放射光干渉計に対する以下の高度化要求を実現することを目的とした。
• ２次元モデル関数を用いた高速フィッティング処理をリアルタイムに行い、長軸・短軸ビームサイズとビーム軸の傾き角を測定し、データベースへ 1Hz で書き込むこと• SPring-8 標 準 制 御 フ レ ー ム ワ ー ク で あ る
MADOCA フレームワークに準拠した制御システムを構築すること
ビームサイズ測定に加えてビーム軸の傾き角も測定することで誤差磁場 skew４極成分の分布に関する大まかな知見が得られ、カップリング補正の高精度化に有用となる。
また、現状の制御システムは独自ソフトウェアを用いているため保守性に優れないこと、遠隔操作に対応していないことなどの問題点があった。
MADOCA 制 御 フ レ ー ム ワ ー ク を 適 用 す る こ と で
SPring-8 標準の制御系に組み入れられ、統一的な操作性を実現し保守性を向上させることが出来る。
更新する画像処理システムについては、以下の項目を実現することを目的とした。
• ボードやケーブルコネクタの挿抜が容易など、優れた保守性を実現すること• 24 時間連続稼働が必要であるため、高い信頼性を持つこと
今回の老朽化対策では、CCD カメラについてもア
ナログ VGA 出力のものから CameraLink インターフェースをもつデジタル CCD カメラへ更新することとした。

3.

リアルインターフェースを持つスイッチベースの堅固なプラットフォームで、PC に比べて以下のような優位性を持つ。
• 拡張性に優れたモジュラー構成をもち、規模に応じて FPGA AMC (Advance Mezzanine Card) やプロセッサ AMC 等の追加が容易であること• スイッチベースの高速シリアルバスにより、マルチプロセッサモジュール構成を含むモジュール間の N 対 N での通信が可能であること。
• 高速シリアルバスで PCI Express、XAUI、Serial
Rapid IO といったプロトコルが利用可能である
こと• 活線によるモジュールの挿抜が可能であること• フロントアクセスによるモジュールの挿抜が可能であること• シャーシマネジメント機能（電源、ファン、温度管理など）が充実していること
これらの優位性から、次世代基幹フロントエンド計算機の候補の１つとして期待している。
3.1

開発に要する時間とコストを軽減するため、モジュールは全て市販品を利用することとした。特に、MicroTCA プラットフォームで CameraLink を用いるために、CameraLink FMC (FPGA Mezzanine Card) とFMC ス ロ ッ ト 付 き FPGA AMC を 組 み 合 わ せ て
CameraLink FMC 用の FPGA IP コアと Linux 用ドライバおよびライブラリを新規に開発することとした。
実際に画像処理システムに用いるデバイスを Table 1に示す。
SPring-8 では２次元放射光干渉計以外にも加速器のビーム診断や放射光実験の X 線イメージング測定等で CameraLink インターフェースを持った CCD カ
メラが多く利用されている。これらの実験にも利用が可能となるように、汎用的なカメラ処理システムとして開発することとした。２次元放射光干渉計では竹中システム機器の CameraLink Base Configuration
対応 33 万画素プログレッシブ走査型 CCD カメラ
FC320CL（VGA サイズ、10 ビット階調、最大 30fps）を用いるが、複数のカメラに対応して汎用性を高めるために、開発にあたっては同じ VGA 解像度の他社製カメラ（IMPERX IPX-VGA120、12 ビット階調、最大 100fps）も使用することとした。
Table 1: Device component

MicroTCA 画像処理システム

今回、画像処理システムを更新するにあたり、我々は MicroTCA をプラットフォームに持つ画像処理システムを新たに開発した。MicroTCA は高速シ

開発方針

MicroTCA Chassis

6Slot Type (Uber)MCH

PCI Express x4 (NAT-MCH)

Processor AMC

4-core 2.1GHz Core i7 (AM312)
2-core 2.2GHz Core i7 (AM310)

FPGA AMC

Spartan6 LX150, PCI Express x1
with an FMC slot (TAMC631)

CameraLink FMC

Base Configuration (Axfmc0010)

3.2- 243 -

CameraLink IP コア開発

CameraLink FPGA IP コアの開発は、Axfmc0010

Proceedings of the 10th Annual Meeting of Particle Accelerator Society of Japan (August 3-5, 2013, Nagoya, Japan)

る 32bit 版 Red Hat Enterprise Linux 6 と 互 換 のCentOS 6.3 を選択した。カメラ制御やリングバッファの機能を実現するために、TAMC631 用 Linuxデバイスドライバへ機能を追加した。FPGA AMC から受信した画像データはプロセッサ AMC に用意したリングバッファへ書き込まれ、複数のアプリケーションからアクセス可能とした（Figure 4）。これによりユーザ・アプリケーションは並列処理が可能となる。また、カメラ設定・ボード設定などユーザ・アプリケーションの開発に必要な各種関数を用意し、Linux ライブラリとして整備した。
3.4

性能評価

Figure 3: Spartan6 FPGA AMC with FMC slot andCameraLink FMC.

完成した MicroTCA 画像処理システム（Figure 5）を用いて単体での性能試験を行った。IPX-VGA-120
CameraLink FMC と TAMC631 FMC スロット付き カメラを使用したところ、12 ビット階調 VGA サイ
Spartan6 FPGA AMC (Figure 3)の組み合わせで行った。 ズの画像で最大レートである 100Hz まで画像取り込画像データ受信、カメラ設定インターフェースと みが可能であった。また、外部トリガでの最大レーいった新規 IP は AMBA AXI4 (Advanced eXtensible トは 60Hz であった。２次元放射光干渉計の画像処Interface 4)[3] のオープンバスに接続するように製作 理システムとして求められる性能を十分に満たすとし再利用性を高めた。FPGA AMC 上の DDR3 メモ と も に 、 SACLA の 放 射 光 実 験 で 求 め ら れ て い る
リ領域に２面バッファを用意し、片側をカメラから 60Hz 運転にも対応可能なことから、汎用性の高いの画像データ書き込み領域、もう片側を読み出し領 CameraLink カメラ画像処理システムであると言える。
域として、随時切り替えながら利用する。プロセッ
サ AMC とは MCH を介して PCI Express x1 で接続し、画像データは２面バッファの読み出し領域からプロセッサ AMC 上の受信バッファへ DMA 転送する。
CameraLink の各種設定値をレジスタ化し、パラメータ設定により多種多様な Base Configuration カメラへ対応できるようにして汎用性を高めた。また画像の同期収集を確実にするために外部トリガのカウンタ機能と画像フレームのカウンタ機能を実装した。
プロセッサ AMC から FPGA AMC に対して任意の画像データを設定し、それをキャプチャ画像として読み返す機能を加えた。DDR3 メモリ以降は通常のカメラ画像と同じ経路で画像データを転送する。これは実際の画像データを用いたデバッグが困難な系で使えるように整備したもので、２次元放射光干渉計のフィッティング処理の実装時のデバッグに役
Figure 5: Photo of MicroTCA-based image processing
立った。
system.
3.3

Linux ドライバ・ライブラリ開発

プロセッサ AMC に導入する OS は、メーカー提供の TAMC631 用デバイスドライバのサポートがあ4.

２次元放射光干渉計制御システムの開発

SPring-8 では、MADOCA の後継として MADOCAII [4] を開発している。MADOCA II は MADOCA のメッセージング機能が大幅に強化され、画像のような可変長データも配信できる。また、非同期制御が実現され、並列処理が可能となっている。
完 成 し た MicroTCA 画 像 処 理 シ ス テ ム 上 に 、MADOCA II で強化された機能を用いて、２次元放射光干渉計の制御システムを開発した。
4.1
Figure 4: Data flow of capture image.

制御システムの構成

２次元モデル関数のフィッティング処理の実装にあたっては現行機能に影響を与えないよう、プロセッサ AMC を追加して分散処理を行うこととした。

- 244 -Proceedings of the 10th Annual Meeting of Particle Accelerator Society of Japan (August 3-5, 2013, Nagoya, Japan)

Figure 6: Schematic diagram of the new image processing system for the two-dimensional synchrotron radiationinterferometer.
制御システム構成図を Figure 6 に示す。各機能はMADOCA の 機 器 制 御 ソ フ ト ウ ェ ア で あ る EM(Equipment Manager) として実装した。Linux ライブ
ラリによるリングバッファの利用と MADOCA II の非同期制御により、複数の EM から同時に画像データを扱え、並列処理を実現した。
プライマリプロセッサ AMC ではカメラ制御、画像転送、一次元フィッティング処理を行う。中央制御室のオペレータコンソール上で動作する制御 GUIからプライマリプロセッサ AMC を介してカメラの制御と画像の取得・保存を行う。中央制御室の大型ディスプレイ上には、ライブビューを実現する GUIを動作させ、同じくプライマリプロセッサ AMC を介して画像の取得を行う。また、1Hz 外部トリガによって画像が更新されると都度一次元フィッティング処理を行い、その結果から水平・垂直方向のビジビリティを算出してデータベースに書き込む。
セカンダリプロセッサ AMC ではプライマリプロ
セッサ AMC に対して 1Hz 外部トリガで更新される
画像データを要求して２次元フィッティング処理を行い、ビーム楕円成分の長軸・短軸サイズ、ビーム軸の傾き角を算出してデータベースに書き込む。
4.2

システムの性能システムの性能を測るために機能試験を行った。
カメラによる画像取得からデータ転送、オペレータコンソールにおけるライブビュー表示までの一連の動作はトリガレートで 10Hz まで動作した。1 次元
フィッティング処理によるビジビリティ測定は約0.1 秒掛かった。
専用プロセッサでの２次元フィッティングによるビーム楕円成分の長軸・短軸サイズ、ビーム軸の傾き角測定は、フル解像度で行うと約 6 秒の処理時間であった。運転時は算出に必要な範囲で解像度を下げて運用する予定であるが、画像データに縦横４点毎の間引きを行った場合で約 0.5 秒の処理時間であり、高度化の目的である 1Hz での測定およびデータベース書き込み処理を行う目処がたった。

5.

まとめ

MicroTCA をベースとした画像処理システムを開発した。開発したシステムは全て市販品で構築し、PC 以外の画像処理ソリューションとして提供できる。外部トリガで 60Hz の画像取り込みを可能とし、多種多様な CameraLink Base Configuration カメラに対応することで高い汎用性を実現している。
この画像処理システムを SPring-8 蓄積リング２次元放射光干渉計の高度化に適用した。複数プロセッサによる分散処理で２次元モデル関数を用いた高速フ ィ ッ テ ィ ン グ 処 理 を 実 現 し 、 MADOCA 制 御 フ
レームワークの適用により SPring-8 標準の制御系に組み入れた。2013 年夏期点検調整期間に CCD カメラとともにインストールして 10 月から運用を開始
し、ビーム楕円成分の長軸・短軸サイズ、ビーム軸の傾き角の 1Hz 周期での常時リアルタイム測定を行う予定である。
今後、例えば測定画像を全て圧縮保存したいといった要求に応えられるよう圧縮用の FPGA AMCカードを追加するなど、拡張性の高さや省スペース性を生かした発展が期待出来る。

参考文献[1] M.Masaki and S.Takano, “Two-dimensional visible
synchrotron light interferometry for transverse beam-profile
measurement at the SPring-8 storage ring", J. SynchrotronRad. 10, 295, (2003)[2] 正木満博	  放射光 July 2005 Vol.18 No.4 p 247[3] http://japan.xilinx.com/ipcenter/axi4.htm,
http://www.arm.com/ja/products/system-ip/amba/ambaopen-specifications.php[4] T.Matsumoto, et al., “Development of New Control
Framework MADOCA II at SPring-8”, Proceedings of the10th Annual Meeting of Particle Accelerator Society ofJapan, Nagoya, Japan, Aug. 2013, this proceedings.

- 245 -