Proceedings of the 12th Annual Meeting of Particle Accelerator Society of Japan
August 5-7, 2015, Tsuruga, Japan

PASJ2015 WEP116

Zynq 搭載 MTCA.4 準拠の A/D・D/A ボード
MTCA.4 FPGA(ZYNQ) A/D・D/A BOARD漁師 雅次#),A)，岩城 孝志 A)，田尻 敬一 A)，出口 久城 A)，林 和孝 A)，松本 隆太郎 A)，水野 隼一 A)
Masatsugu Ryoshi A), Takashi Iwaki A), Keiichi Tajiri A), Hisakuni Deguchi A), Kazutaka Hayashi A),
Ryuutaro Matsumoto A), Junichi MizunoA)
A)
Mitsubishi Electric TOKKI SystemsAbstract
We developed a new A/D·D/A board that is conforming to the MTCA.4 standard and μRTM zone3 IO connector
assignment Class A1.1 recommended DESY. Our present MTCA.0 A/D·D/A board is single-width full-size. Narrow faceplate is not enough space for IO connecter and cable. Virtex5-FXT with embedded PowerPC 440 processor, along withthe sophistication of the control algorithm, the processing speed of the internal CPU bus and logic has become a bottleneck.
Newly developed A/D·D/A conversion board, has become the input and output can be the structure of the RTM and theanalog signal through Zone3 connector. Therefore, cable -less, and miniaturization becomes possible by implementing adown- converter and the filter circuit to the μRTM. An RF signals input from the Zone3 connector by A /D conversion isinput to the FPGA. It outputs an FPGA output D/A conversion to an analog signal to Zone3 connector. We use
FPGA”Zynq” is embedded an ARM Cortex-A9. To achieve a high degree of signal processing by the combination of realtime processing by the flexible signal processing and logic by the CPU. New board is implemented EPICS IOC underand embedded Linux on Cortex-A9, too. In New A/D·D/A board, we realize the processing capacity improvement of theaccelerator control and monitor circuit such as LLRF and BPM.

1.

はじめに波回路を実装するための A/D・D/A 変換ボードを新たに開発した。

現在、Figure 1 に示した MTCA.0 規格に準拠した
A/D・D/A 変換 FPGA ボードが、KEK のいくつかの
加 速 器 に お い て 、 LLRF フ ィ ー ド バ ッ ク 制 御 、チューナー制御、軌道フィードバック制御 BPM、基準信号伝送線路制御等で使用されている[1-8]。
MTCA の拡張規格である MTCA.4 は、MicorTCA
Enhancements for Rear I/O and Precision Timing として策 定 さ れ た 。 主 な 特 長 は 、 MTCA Double-width
Figure 1: MTCA.0 A/D, D/A Board.
（148.5*28.85*181.5 [mm]）と同等の基板面積をもつμRTM（Rear Transition Module）を使うことができ、前面のボードと Zone3 のコネクタ経由で信号の入出力ができることである[9]。
私たちも、FMC（FPGA Mezzanine Card）が 2 枚拡張できる MTCA.4 規格に準拠した新しい制御ボードを開発した[10]。このボードに対応させたμRTM には光通信用の SFP モジュールおよび Gigabit-Ethernet のPHY 回路、ディジタル IO を実装してデジタルインタフェイスを拡張できるようにした。まず、Figure 2に示した 10ch の A/D と 2ch の D/A を実装した Doublewidth FMC を組合せて STF2 LLRF フィードバック制
Figure 2: MTCA.4 A/D, D/A Board.
御ユニットに適用した。次に、12ch の D/A を実装した Double-width FMC を組合せて SuperKEKB 軌道フィードバック電磁石電源制御ユニットに適用した。 2. MTCA.4 ClassA1.1 準拠の A/D・D/A 変
現在、KEK にて評価が進められている。
換ボード
現在、高周波回路は、別途 19inch ラックにマウントできるユニットが使われており、その間を複数の 2.1 MTCA.4 の RF バックプレーンの状況同軸ケーブルで接続している。今回、システム全体
毎年 MTCA ワークショップを DESY が主催しておの省配線、小型化を実現するために、μRTM に高周 り、その中で各社ボードの相互接続確認テストがさ___________________________________________# ma-ryoshi@west.melos.co.jp
れている。現在、前面のディジタル信号用のバック- 818 -Proceedings of the 12th Annual Meeting of Particle Accelerator Society of Japan
August 5-7, 2015, Tsuruga, Japan

PASJ2015 WEP116

プレーンとは別に、μRTM 用の背面からアクセスできる RF バックプレーンの開発が進められている。
また、Euro-XFEL などで MTCA.4 を、LLRF などへ適用が進められている [11]。
例えば、LLRF のフィードバック制御システムの場合、μRTM の基準信号発生モジュールに加速器のリファレンス信号を入力して、PLL 等で LO 信号およびサンプリングクロック信号を生成する。これらを RF バックプレーン上の配線を使ってダウンコン
バータμRTM へ伝送する。ダウンコンバータモ
ジュールではパネル面から入力される各ピックアップからの RF 信号を IF 信号に変換して、Zone3 のコネクタ（ZD コネクタ）を介して伝送され前面のAMC に実装している A/D 変換回路でデジタイズされる。その後、同じ AMC 上の FPGA で信号処理をするもしくは、別の CPU-AMC で演算処理をしてD/A 変換したベースバンド IQ 信号を Zone3 経由でアップコンバータのμRTM へ入力しパネル面からRF 信号を出力する。そして、アンプを経由してクライストロンをドライブする。
2.2を実装した。FPGA 内のロジック回路から直接制御できるメモリ（DDR3-SDRAM）も 1GiB 実装した。
前面パネルには、離れた場所のユニットと高速光通信できるように SFP モジュールを 2 つ実装した。
バ ッ ク パ ネ ル に 接 続 さ れ る AMC コ ネ ク タ に はGigabit Ethernet と PCI Express×4 用の高速シリアルインタフェイスを接続した。諸元を Table 1 に、機能ブロックを Figure 4 に示す。
A/D・D/A ボードの単体性能評価ができるように、ダウンコンバータや帯域制限フィルタ機能のあるμRTM の代わりに、パネル面の同軸コネクタから RF信号を入力し平衡信号に変換後、Zone3 のコネクタに接続する延長ボードを準備した。

新しい A/D・D/A ボードの構成

私たちが開発した新しいボードを Figure 3 に示す。
MTCA.4 の広い RTM に RF 回路を実装して利用するために、DESY が推奨している Zone3 のコネクタピ
ンアサイン「ClassA1.1」を採用した。
私たちが以前開発した MTCA.4 規格準拠の FMC
キャリアボードと同じ SoC FPGA「Zynq」を採用して開発期間の短縮を図った。2 つの FMC を実装できる機能をなくした代わりに A/D・D/A 変換 IC を直に実装した。FPGA 内蔵の CPU（ARM Cortex-A9）で使うワークメモリ（DDR3-SDRAM）は 1GiB であり、ブートメディアは、SD Card および QSPI Flash ROM

Figure 3: MTCA.4 A/D, D/A Board Zone3 Class A1.1.

Table 1: Specifications of New Control Board
FPGAZynq XC7Z045-1FFG900C

OSXilinx Linux (EPICS-IOC)RAM

DDR3-SDRAM 1GiB×2 (PL, PS)

FPGA Configuration

QSPI FLASH-ROM 16MiB, SD Card, Remote Update

ADC

8ch, 16bit, 370MSPS max., BW 800MHz

DAC

2ch, 16bit, 500MSPS max.

Zone1 (AMC Connector)

Port[0:1]:1000BASE-BX, Port[4:7]: PCI Express Gen2

Zone3 (ZD connector)

Class A1.1(RFin×8ch,DCout×2ch,CLKin×1,DIO×6pair,TCLKout)

SFP

2portsSwitch8bit DIP-switch

Front Panel LED

Hot swap status (blue), Error status (red), Running status (green)Size

PCIMG MTCA.4 Double-Width Full Size 148.5*28.95*181.5 [mm]Port[17:20]:M-LVDS, IPMB: IPMI v1.5 support- 819 -Proceedings of the 12th Annual Meeting of Particle Accelerator Society of Japan
August 5-7, 2015, Tsuruga, Japan

PASJ2015 WEP116

DDR3SDRAM 1GB
Zynq

ADC

JESD204B*8/

DAC

16bit*2/

8bit Switch
LED GRN,RED

DIO P/N(5..0)

GTX
I/O

I/O

Mem.
Ctl.

Temp
Sensor

MMC

Micro
USB
IPMI

PL(Programmable Logic)

I/O
I/O
PS(Processing System)
Dual Cortex-A91GHz

GEM
PCIe
Trg,ITL
DCM

UART

DCM

Mem.
Ctl.

Mem.
Ctl.

SDIO
with DMA

OSC
33.333MHzQSPIFLASH16MB

DDR3SDRAM 1GBSD card

Port 0,1
Port 4-7
RX/TX(20:17)

P1Zone1

CLKJ30
Zone3

CLKADC(7..0)
DAC(1..0)

OSC 125MHz
UART/USB

MicroUSB

Figure 4: Block Diagram of new A/D, D/A board.
データサンプリングのタイミングが保証される。また、シリアル化により信号線数を削減できることでMTCA.4 規格のカードにおける Zone3 推奨コネク 実装面積を小さくすることができる。
タのピンアサイン Class A1.1 は次のとおりである。
今回採用した A/D 変換 IC は JESD204B エンコーダ
を使ってディジタルデータを出力する、入力側のAnalog signal transmission zone:
FPGA には JESD204B デコーダをインプリメントし• 10 channel AC-coupled differential input signals
た。設計期間を短縮するために JESD204B デコーダ• 10 channel DC-coupled differential input signals
は、Xilinx 製の IP コアを採用したが、ここで少し問• 5 channel DC-coupled differential output signals
題が発生した。
Digital clock signal transmission zone:
Xilinx の開発ツールには従来から使われている ISE• 6 AC-coupled differential inputs for low-jitter clock と新しい VIVADO の 2 種類があり、それぞれのツーsignals
ルに対応したバージョンの IP コアがある。IP コアを
User signal transmission zone:
利用した設計では、パラメータ設定用の Wizard に従• 6 LVDS inputs / outputs for user-configuration
い進めていく。ISE 用に比べて新しい VIVADO 用の• 3 LVDS outputs with fixed output direction
IP コアは、設定できる項目が増えていた。A/D 変換• Optional dual high-speed link
IC の JESD204B のパラメータに合せて、まず使い慣れた ISE で設計を始めた。FPGA のコンフィグレー
私たちの新しい A/D・D/A ボードでは、推奨ピン ションデータを作成して、実機で動作確認を行った
アサインの内、AC カップルの差動入力を 8ch、DC が、正常に A/D 変換 IC の出力を FPGA で取り込めカップルの差動出力を 2ch、AC カップル差動クロッ なかった。次に、VIVADO 用の IP コアを使って設計
ク入力を 1ch、LVDS 入出力を 6ch、別途 TCLK 出力 したところ、実機にて正常に取り込むことができた。
を接続した。これは、FPGA の外部ピンリソースの動作の違いが出た理由を探るために、Wizard 操作関係上必要最低限に集約したためである。
にて自動生成された ISE 用と VIVADO 用のソースコードを詳しく調べた。FPGA の高速シリアルイン
2.4 JESD204B 出力の A/D 変換デバイスの採用
タフェイスのハードブロックである GTX に与える動A/D・D/A 変換デバイスのサンプリング周波数が 作クロック用の設定が異なっていることが分かった。
速くなり、パラレル信号ではディジタル入出力のサ 新しいボードの回路構成を踏まえ ISE 用のソース内ンプリングクロックとのタイミング調整が難しく の動作クロック用の設定をハンドコーディングで修なってきた。そのため米国の標準化団体 JEDEC にて、 正した。その結果、ISE 用の IP コアでも正常に A/D
パラレルシリアル変換の符号化方式 8B/10B を利用し 変換 IC の出力が取り込むことができた。
た伝送方式 JESD204B が策定された。これにより、
8B/10B デコーダによるクロックデータリカバリーで
2.3

MTCA.4 Zone3 ClassA1.1 のピンアサイン- 820 -

Proceedings of the 12th Annual Meeting of Particle Accelerator Society of Japan
August 5-7, 2015, Tsuruga, Japan

PASJ2015 WEP116

3.

性能評価

Figure 5 に 示 し た 構 成 で BPM （ Beam PositionMonitor）用のディジタル信号処理を実装して性能評価をした。
RF 周波数を 507MHz、サンプリング周波数を 4/13の 156MHz として 2 台の SG を同期させて入力した。
FPGA の論理回路で、IQ 変換した後、3 段のデシメイションにより狭帯域化した。性能評価時には、3段目の FIR フィルタ後のデシメイション前のデータを使って、フィルタの周波数特性を確認できるようにした。まずは、常温にて短期安定度を 4ch の⊿/∑で評価することとした。
データの取得は、Xilinx 製 FPGA のデバッグツールである Chipscope Pro を使って、特定の 1ch のデータを使い、振幅の％RMS にて評価した。その結果をFigure 6 に示した。目標よりも悪い-88.1[dB]だった。
そこで、FFT 変換してスペクトラムを確認したところ、Figure 7 のように±2kHz 程度の範囲に-100dBFS程度のスプリアスがみられた。±2kHz は、3 段目のFIR フィルタの帯域幅で、入力信号に-100dBFS 程度のスプリアスがあるということと考えられる。このスプリアスを抑えることで、性能の改善が見込まれるため、今後原因を探っていく。
156MSPS
Frf=507MHz

39MSPS

1MSPS

20kSPS 2.25kSPS

ADC

I/Q

CIC
39↓

CIC
50↓

FIR
8↓

ADC

I/Q

CIC
39↓

CIC
50↓

FIR
8↓

ADC

I/Q

CIC
39↓

CIC
50↓

FIR
8↓

ADC

I/Q

CIC
39↓

CIC
50↓

FIR
8↓

Frf*4/13=156MHz

Figure 5: Digital down convert block diagram.

Figure 6: Amplitude after filtering.

(X,Y)

Figure 7: FFT spectrum after filtering.

4.

まとめ

MTCA.4 ClassA.1.1 に準拠した A/D・D/A ボードを開発した。本ボードには、サンプリング周波数最大 370MSPS まで対応している A/D 変換デバイス
8ch と高速 D/A 変換デバイス 2ch を搭載し、SoCFPGA「Zynq」による、高速で強力なロジック処理と、Linux(EPICS)組込による柔軟な CPU 処理を提供する。現在、A/D 変換のサンプリング周波数を上げられるように回路の調整中で、併せて振幅安定度の改善中である。改善の後に、実際の加速器のビームをモニタする機会を持ち、そこで出た本ボードの課題の改善を計画している。将来、RF フロントエンドを実装したμRTM ボードと組合せた MTCA.4 の加速器制御システム（LLRF、BPM 他）の展開を図って行く。

参考文献[1] M. Ryoshi et al., “LLRF Board in Micro-TCA Platform”,
Proceedings of the 7th Annual Meeting of Particle
Accelerator Society of Japan, Himeji, Aug., 2010.
[2] T. Miura, et al., “Digital feedback system using μTCA forDRFS", Proceedings of the 8th Annual Meeting of Particle
Accelerator Society of Japan, Tsukuba, Aug. 1-3, 2011.
[3] M. Omet, et al., “Development and Application of aFrequency Scan-based and a Beam-based Calibration
Method for the LLRF Systems at KEK STF”, Proceedings ofthe 9th Annual Meeting of Particle Accelerator Society ofJapan, Osaka, Aug. 8-11, 2012.
[4] T. Kobayashi, et al., “Prototype Performance of Digital LLRFControl System for SuperKEKB”, Proceedings of the 8th
Annual Meeting of Particle Accelerator Society of Japan,Tsukuba, Aug. 1-3, 2011.
[5] S. Michizono, et al., “Tuner control for cERL cavities bydigital feedback system", Proceedings of the 9th Annual
Meeting of Particle Accelerator Society of Japan Osaka, Aug.
8-11, 2012.
[6] H. Ishii, et al., “Development of a beam position detector for
an orbit feedback system in SuperKEKB”, Proceedings ofthe 8th Annual Meeting of Particle Accelerator Society ofJapan, Tsukuba, Aug. 1-3, 2011.
[7] T. Kobayashi, et al., “RF Reference Distribution System forSuperKEKB”, Proceedings of the 10th Annual Meeting ofParticle Accelerator Society of Japan Nagoya, Aug. 3-5,- 821 -Proceedings of the 12th Annual Meeting of Particle Accelerator Society of Japan
August 5-7, 2015, Tsuruga, Japan

PASJ2015 WEP116

2013.
[8] K. Hayashi, et al., “Refinements of the new LLRF Control
System for SuperKEKB”, Proceedings of the 9th Annual
Meeting of Particle Accelerator Society of Japan Osaka, Aug.
8-11, 2012.
[9] https://www.picmg.org/[10] M. Ryoshi et al., “MTCA.4 FPGA (ZYNQ) BOARD”,
Proceedings of the 11th Annual Meeting of Particle
Accelerator Society of Japan, Aomori, Aug., 2014.
[11] Kay Rehlich, et al., “Status of MicroTCA at DESY andXFEL”, 3rd MicroTCA Workshop for Industry and Research,Hamburg, Dec. 8-11, 2014.

- 822 -