J. Plasma Fusion Res. Vol.97, No.10 (2021)５
９７‐６０３

研究技術ノートWhite Rabbit を用いた核融合実験向けサブナノ秒精度
タイミング配信の検討
Study of White Rabbit-Based Sub-Nanosecond Precision Timing
Distribution for Fusion Experiments
中 西 秀 哉１，２），伊 藤 康 彦１），前 野 博 也１），大 砂 真 樹１）
NAKANISHI Hideya１，２）, ITO Yasuhiko１）, MAENO Hiroya１）and OHSUNA Masaki１）
１）

自然科学研究機構 核融合科学研究所，２）総合研究大学院大学（原稿受付：２
０
２
１年５月３１日／原稿受理：２
０
２
１年８月１
０日）

核融合プラズマ実験においても急速に普及した毎秒ギガサンプル超の高速サンプリング計測では，トリガーやクロックなどタイミング信号到達の位相遅延が相対的に大きくなり，時間同期のための遅延補償機構が必要になる．大型加速器分野で開発された高精度ネットワーク時刻同期技術 White Rabbit は，Ethernet 接続された各ノードをサブナノ秒精度で標準時刻に同期可能で，他の高精度時刻同期手法と比べて実験プラントへの適用性にも優れる．従来の核融合実験向けタイミング配信技術を刷新するべく機能検証を行った結果，分周クロック出力
や複数ノードのグループ化取り扱い等を機能追加することで，核融合分野における関連装置実験の計測制御系にも適用可能であることが確認された．
Keywords:
Timing distribution, LHD, Synchronous Ethernet (SyncE), IEEE1588, PTPv2, GPS/GNSS, White Rabbit, WRTD

１．はじめに

３．計測サンプリングの同期クロック配信

核融合実験における高温プラズマ等の物理計測では，毎上記の１．２．については，必ずしも区別が明確でないケー

秒１ギガサンプル（1 GS/s）を超える高速サンプリング

スもあるが，核融合実験では従来から，あらかじめ決めら

ADC が急速に普及してきている．こうしたギガサンプ

れた（プリプログラムされた）タイミングによって機器動ル／秒を超える高速サンプリングでは，計測対象を複数の作を順次進行するシーケンス制御がしばしば使われるた計測器で同時計測する場合，トリガー配線等の違いにより

め，シーケンス制御で用いる１．と，任意時刻にタイミング

生じるタイミングのずれが１クロック（＝１サンプル時が発生する２．を分けて考えることも多い．

間）を超えて大きくなり，同時性を損なってしまう．

上記３機能を高精度同期の観点から見比べると，予期でこれまで核融合実験では，高温プラズマが持つ電磁流体

きない２．の信号配信に伴う伝送遅延は，因果律的にも補力学的な固有振動に合わせた kHz〜MHz の計測が主流で，償することが不可能で，少なくとも光信号の伝播時間だけ

各信号の伝送線路長の違いによって生じるサンプリング時遅延が生じる．これに対して１．は，JST や UTC など標準

刻のずれもサンプリング周期より十分短く，ほぼ無視して時を基準に，予めトリガー出力時刻を高精度に定めておく

扱うことができた．計測器を同期させるデジタル式タイミ

ことで，離れた場所でも位相を揃えた同時トリガー出力がング配信についても，同程度のマイクロ秒〜サブマイクロ可能となる．

秒の時間分解能をもったものが多かった［１］．

昨今ほとんどの機器はデジタル化，インテリジェント化

これに対して，ギガサンプル級の計測器，例えば 1 GS/s

されており，各々機器がクロックを内蔵，それに基づく動においては，トリガー伝達ケーブル長がわずか 3 m 違うだ

作を行っている．そのため，３．のサンプリング・クロック

けの隣の計測器でも１０サンプル以上の時間的ずれが生じに関する精度上の問題として，各々内蔵クロックの周波数

る．従来から大小の高温プラズマ実験で計測器等の動作同同一性が悪いと，同じ周波数で動作するはずの機器間で大期用にしばしば使用されてきたトリガーパルサー等とは異きくクロック数，サンプル数が違ってしまうことがある．

なる，新たな高精度同期のしくみを考える必要がある．

よく知られているとおり，この問題は単一の同期クロック

ここで，核融合実験で使われる計測・制御用のタイミンを全装置に配信・共有することで基本的に回避可能だが，グ配信には，以下の機能が必要と考えられる．

気象観測など広域に分散した系では信号線や光ファイバー

１．機器動作の同期用トリガー配信

等による配信が難しく，これも GPS などを用いて標準時に２．フィードバック制御等のイベント配信

同期させるのが一般的となっている．

National Institute for Fusion Science, Toki, GIFU 509-5292, Japan
Corresponding author’s e-mail: nakanishi.hideya@nifs.ac.jp

５９７!2021 The Japan Society of Plasma
Science and Nuclear Fusion Research

Journal of Plasma and Fusion Research Vol.97, No.10 October 2021

ンチップ組込み Linux システムに移植され，利用増に対応

昨今，インターネットでは NTP（Network Time Proto-

している［３］．

col）による時刻同期が一般に利用されており，ミリ秒レベ
ルで標準時への同期が提供されている．この同期精度を各々の復調器は，主トリガーから予め設定された時間

μ 秒レベルまで改善する Precision Time Protocol（PTP）も（μ 秒単位）だけカウントダウン後に出力される遅延トリ

IEEE1588 規格として規定されており，既に Linux や Win-

ガー出力と，同じく 10 MHz 同期クロックからプリプログ

dows など汎用 OS からも利用可能である．

ラムされた分周率によって生成される分周クロック出力
を，各々６〜８チャネル有しており，大型実験における計ギガサンプル級の高速計測が求めるナノ秒レベル時刻同測器の複数同時運転にも対応可能である．

期についても，ここ１０年，欧州原子核研究機構 CERN 等に
おいて精力的に研究開発が進められており，その成果であ特徴的な機能として，ON/OFF 周期および繰り返し回数

る White Rabbit 仕様は，２０２０年６月，IEEE1588-2019 に正を指定できる複数トリガー（バーストトリガー）出力と，同式採録された［２］．今後，産業等を含め多方面への応用がじく周期・繰り返し回数で ON/OFF できる分周クロック期待されている．

（ゲート付クロック）出力とを持ち，計測器など受動装置のそこで本研究では，次世代の核融合実験に向けて，タイ

みならずアクチュエーター等能動機器に求められる制御パ

ミング配信に求められる要件を改めて整理，吟味して，そ

ルス出力にも柔軟に対応できる仕様となっている（図２をの具体的実装について検討する．

参照）．ただし，上記のカウンター動作中に同じ主トリ
ガーが来た場合は無視されてしまう動作上の制約がある．

２．LHD 計測タイミングシステム

もう一つの重要な特徴が，変調器・復調器とも TCP/IP

本節では，これまで核融合実験で用いられてきたデジタ

ネットワークに完全対応しており，設定・操作等すべてのルタイミングシステムの代表例として，LHD 実験向けに開機能が LAN 経由で呼び出し可能になっている点である．

発された同期式デジタル計測タイミングシステム

ONC RPC プロトコルを用いて，変調器・復調器のサー（DTS）の概要を述べる［１］．DTS は１
９９８年の LHD 実験開

バ側諸機能を Windows 上で動作するクライアント GUI プ

始以来，現在まで継続して運用されているタイミング配信

ログラムから呼ぶことで，マルチユーザ環境でも柔軟なタシステムで，LAN 等でよく用いられる GI-MMF 仕様の光

イミング設定及び出力が行えるため，計測器ごとに配備さファイバー１芯に，同期用の 10 MHz クロック信号を流し，れた復調器が単独で較正実験用にタイミング出力運転が行

その上に主トリガー情報として３２ビット長×３連送のデジえるなど，極めて柔軟な運用が実現されている．

タルメッセージを重畳，NRZ（NRZ-L）コード変調して主トリガーと同期クロックを配信する主変調器から全て送っている．トリガーメッセージおよび同期クロックは，の復調器まで伝送される同期信号は，経由する光ファイ

主変調器によって生成され，復調器と呼ばれる末端のタイバー長に応じて到着に遅延が生じる．この遅延を補正する

ミング出力装置すべてに同時配信される．図１にDTS変調

しくみとして，各々復調器は，ファイバー経路ごとに予め器〜復調器の接続の概略を示す．

測定された遅延時間を遅延時間レジスター（5 ns 刻みで最分散配置された複数の復調器は，一台の主変調器から光大 385 ns まで）に保持，各トリガー出力タイミングのカウ

Fan-out モジュールを用いて樹状接続されており，途中にント時に相殺する機能を有する．

中継変調器を入れることで，下流に接続された復調器群をしかし，デジタイザに代表される半導体素子の処理性能

グループ化運用することも可能となっている．変調器，復向 上，デ ー タ 伝 送 路 の 高 速 化 な ど に よ っ て，近 年，

調器ともに，開発当初は VME モジュールとして実装され，〜10 GHz といった高速サンプリング計測が普及した結同じく VME バス規格の CPU モジュールとその上で動作す

果，10 MHz の同期クロック共有と各ノード固定の遅延時

るリアルタイム OS から制御，運用されていた．その後，保間補償のみでは，高速サンプリングに必要な高時間分解能

守，増設等にかかるコスト削減のため，FPGA ベースのワ

図２
図１

LHD 計測タイミングシステム DTS の樹状接続形態．主変調器〜復調器間に中継変調器をつなぐことで，復調器のグループ化にも対応している．光ファイバー１芯１波長を用いた一方向（変調器→復調器）のデジタル信号伝送となっている［１］．

５９８

DTS における繰り返し周期・回数が指定可能なバーストト
リガー出力および同じく周期・繰り返し回数で出力をオ
ン・オフできるゲート付クロックの概要．後者のクロックは出力パルス周波数を指定して，出力デューティ比が５０％固定であるのに対して，前者は出力パルスのデューティ比Tw/Tr が可変となる．

Research and Technology Note

Study of White Rabbit-Based Sub-Nanosecond Precision Timing Distribution for Fusion Experiments

H. Nakanishi et al.

期安定度が１０−１４〜１０−１５に達し，国際標準として周波数基を提供できなくなっており，技術更新が望まれている．

準にも使用されるが，装置価格も数１００万円以上と極めて

３．タイミング情報配信の基本要件と技術高価である．

複数の制御機器・計測器間で共有されるタイミングには，高い安定度を維持しつつ，基準となる発振器とは異なる① 同時刻性・位相同期性

周波数を得たい場合，あるいは周波数を広範囲に変化させ② 同一周波数（周期）性

たい場合には，位相同期回路（PLL）が一般的に用いられ③ 高周波数安定性

る．元々は周波数の同調など周波数フィードバック制御のの３性能，およびネットワーク利用の機能が求められる．

ためのアナログ回路技術であったが，プログラマブル分周

Ethernet に代表される標準規格のネットワーク伝送方器を用いて部分的にデジタル化された PLL が，周波数シン

式を同期タイミング情報の配信に用いると，送受信部品やセサイザー等の名称で広く使われるようになっている．更

中継分配装置に汎用製品が利用できて，多数ノードに大規に TDC（Time-to- Digital Converter）等を用いて PLL 回路

模配信する場合に有利である．独自仕様で実装する場合とを完全デジタル化する ADPLL も実用化に向けた研究が進比べ，標準規格に準拠する煩雑さは増えるものの，流通量んでいる［６］．

の多い汎用部品・機器は代替品が多く入手性も高いなど，単体で動作する市販の基準周波数発生装置としては，原標準化による利点は多く，中長期的な保守性も勘案すると子時計など高安定な基準発振器を内蔵し，PLL 回路により十分メリットがあるといえる．

ロックされた OCXO 等から 1 Hz（1 PPS）
，10 MHz 等の基冒頭でも述べたとおり，高精度なタイミング配信には，

準周期用クロック信号を出力する製品が一般的である．
３．
２ GPS/GNSS

信号伝送に伴って生じる遅延時間の精緻な計測と補償が不可欠で，途中に入る中継装置を含め，分散配備された全て

Global Positioning System（GPS）は，広く一般に普及しのタイミング送受信装置間で，遅延情報を双方向に授受すてよく知られた技術となっているが，本来，米国によってるネットワーク通信機能が必須である．前節で解説した

開発・運用されている全地球測位システムを指す．米国

LHD用DTSは，メッセージ送信が一方向のみで，ノード毎

GPS のほか，日本の準天頂衛星システム「みちびき」，欧州の遅延計測および補償が動的に可能となっていないため，

Galileo 等も合わせて，全地球航法衛星システム（Global

高精度化が難しい．

Navigation Satellite System，GNSS）と総称される．
GPS 衛星には周波数安定度が１０−１２〜１０−１３の高精度なセ３．
１ 基準クロック発生器
インテリジェントなデジタル機器は，動作クロックが必

シウム原子時計あるいはルビジウム原子時計が搭載されて要なため，クロック生成用の局部発振器を内蔵している．

おり，測位信号が送信された GPS 時刻と，GPS 受信機が複周波数を大きく連続的に変化させる必要がある等のケース

数 GPS 衛星から信号を測定して得た伝播遅延時間から，受を除き，計測・制御機器では安定性に優れた水晶発振器

信地点の座標と標準時刻を高精度に補正して得ることがで（Crystal Oscillator，XO）を用いることが一般的である．水きる．このため GPS 受信機は，高価なセシウム原子時計の晶発振器は，以下の４つの種別に大きく分かれており，代わりに，NTP 時刻サーバの基準時計，あるいは他のルビ各々安定度は表１に示すとおりである［４，５］．

ジウム原子時計など高精度高安定な基準周波数発生器の常時較正源としてしばしば使われ，その出力は，次節で述べ!．Simple Packaged Crystal Oscillator（SPXO）

る同期イーサネットおよび PTP における一次基準クロッ"．Voltage Controlled Crystal Oscillator（VCXO）#．Temperature Compensated CrystalOscillator（TCXO）$．Oven Controlled Crystal Oscillator（OCXO）ク（Primary Reference Clock，PRC）および一次基準時計（Primary Reference Time Clock，PRTC）でも利用される．
詳細は後節で改めて述べる．
ここで留意すべきは，GPS 時刻は原子時計により算定さ

上記の安定化機構を複数組み合わせた TCVCXO，OVCXO

れる国際原子時（International Atomic Time，TAI）を基準

等も製品として存在している．
水晶発振器より高い１０−１１台以上の安定度が求められるにしており，運用開始１９８０年１月６日当時の TAI と UTC

場合には，ルビジウム（87Rb）発振器などの原子時計が使とのずれ１９秒を反映して TAI−GPS＝＋１
９秒で固定されて用される．ルビジウム発振器は，基板上に搭載可能なモいる点である．これに対し，うるう秒を適宜挿入して地球

ジュール製品も存在しており，しばしば商用でも利用されの自転による影響を調整する協定世界時（Coordinated

るが，価格は数１０万円と，水晶発振器に比べるとかなり高Universal Time，UTC）や日本標準時 JST 等は，その後に額である．これに対して，セシウム（133Cs）原子時計は，長挿入されたうるう秒の積算秒数（２０２０年までに１８秒）だけ更にずれて GPS−UTC＝＋１
８秒となっ て い る［７］．こ の表１

水晶発振器の主な分類と用途［４，５］．

周波数安定度（s−1）

種別
SPXO ±50〜100×10−6
VCXO （同上程度）
TCXO ±0.5〜2.5×10−6
OCXO ±1×10−7〜5×10−10

GPS−UTC 秒数は，GPS 信号内で時刻オフセット値としてアナウンスされており，GPS 受信機はそれを用いて補正を特徴・主な用途
民生デジタル／通信機器
周波数可変・RF 受信機など
温度補償回路付・無線機
恒温槽入・携帯電話基地局行うことで UTC 時刻を得ることができる．
すでに夥しい数のコンピュータやネットワークシステム
が時刻同期サービスに依存している昨今，うるう秒の挿入
による時刻処理の混乱は深刻な社会問題となっている．う５９９

Journal of Plasma and Fusion Research Vol.97, No.10 October 2021

るう秒の存続／廃止については，２０００年ごろから議論が行をソフトウェア処理でパケット・タイムスタンプに打刻しわれており，２０１２年の国際電気通信連合（ITU）総会で一て同期するた め，時間精度はシステムクロックと同じ

旦廃止が提案されたものの，２０１５年の関連会議でも異議が〜1 ms 程度となる．
NTP より高精度な時刻同期を実現する規格が精密時間解消されず，２０２３年まで継続検討が決まっている［８］．
GPS/GNSS 時計の利点は，このように原子時計を用いてプロトコル PTP（Precision Time Protocol）
で，version 1 が高精度に同期された標準時情報を常時受信，利用できる点

IEEE 1588-2002 として規定された．NTP と同様，UDP/IP

で，電波時計が使用する長波帯の 40 kHz，60 kHz 標準電波

パケットを授受してネットワーク装置間の伝送遅延を計（日本では JJY と呼ばれる）に比べて，大気層を通過する距

測・補償するしくみだが，NTP とは異なり，専用のハード

離が短く，受ける擾乱が少ないという長所がある．

ウェア・クロックを用いて時刻同期と伝送遅延を計測・補償する機能を有し，1 μs 以下の高精度化も可能になっている．

４．同期イーサネット（SyncE）

複数ネットワークを中継する PTP 対応スイッチでは，時同期イーサネット（Synchronous Ethernet，SyncE）は，

刻同期動作として Boundary Clock（BC）と Transparent

２００８年に ITU-T G.8261/2/4 勧告で規定されたネットワー

Clock（TC）の２方式がある．BC はクロック再配信をマス

ク周波数同期方式で，一部の論理的なメッセージ交換を除

ター／スレーブ方式で多段的に階層転送できることから大き，Ethernet 物理層（Layer-1）を使った周波数クロック信

規模ネットワークに適用可能だが，遅延誤差が蓄積する欠号の伝播を行う．SyncE ではクロックの位相や時刻情報ま点がある．これに対して，PTP version 2（IEEE1588-2008）

では同期できない．また，接続される全ノードの Ethernet

で新たに規定された TC は，パケットが中継スイッチを通

カードが SyncE に対応している必要がある．

過するのに要した時間を計測して，それを Follow-up mes-

元 来，Ethernet は１０BASE-T な ど と 表 記 さ れ る と お

sage の補正項に書き込むことで，スレーブがパケット遅延

り，ベースバンド伝送方式を採用している．これは，ラジ計算時にそれを繰り込んで，遅延誤差の累積を防ぐことがオやテレビ放送などの無線通信でよく使われる搬送波変調

できる［１１］．

方式とは異なり，１０１０…ビット列をそのまま信号波形とし

TC 動作には End-to-End（E2E）と Peer-to-Peer（P2P）モーて物理層に流す方式で，変調・復調回路が不要なため送受ドがあり混在はできない．P2P では隣接ノード間で Delay

信回路を小さくできる長所がある．反面，送受間に流れる

Request および Delay Reap の情報交換を行うが，E2E の場

搬送波がなく，送受がそれぞれ独立したクロックで動作す

合はグランドマスタークロック GMC とスレーブクロック

るため，送られるパケットごとに先頭６４ビット長の１０１０…

が中間ノードを超えて直接メッセージのやりとりを行う．

プリアンブルをつけて同期をとっている．最初の 10 Mbps

GMC が参照する標準時刻ソースは，一般的に GNSS が想

Ethernet 規格では，各々パケット間にフレーム間ギャップ

定されている．そのため，NTP や計算機システムクロック（IFG）と呼ばれる９６ビット時間以上の無信号区間が規定さが協定世界時 UTC を用いるのに対し て，PTP は GNSSれていたが，100 Mbps 以上の Ethernet では IFG にもアイと同じ国際原子時 TAI に基づいており，うるう秒の取り扱

ドルと呼ばれる特殊なビットパターンを送出し続けることいがない．計算機のシステム時刻を同期するため，PTP

で高速化を図っており，無信号区間は消滅している．同期

GMC は GNSS 同様，UTC との差（秒数）情報を通知してイーサネットは，そのため基本的にベースバンド伝送方式

おり，受信した PTP 情報から UTC が算定可能となっていをとる 100 Mbps 以上の Ethernet インターフェース（100る［１２］．

/1000/10G/100G BASE-X 等々）でのみ利用可能となってPTP では，障害発生等に対応できるよう，ネットワーク

いる［９］．

内に最大２つの（上位）マスタークロックを持つことがで

SyncE は，一次基準クロック PRC をマスター／スレーブ

き，その中から Best Master Clock Algorithm（BMCA）に方式で配信するため，全ノードの精度安定度が PRC に依存

よって GMC を自動的に選出，切り替えることができる．

する．そのため PRC を，GNSS や原子時計等の高精度基準

５．
１ Time-Sensitive Networking（TSN）

時計で位相ロックすることで，精度安定度を高めることが産業用ネットワークは，元来，分野毎に異なる規格が林

多い［１０］．

立しており，例えば自動車の車載ネットワークでは CAN
や DeviceNet，FA 分野で普及している PROFIBUS やプロ

５．Precision Time Protocol（PTP）

セス制御 PLC 間を接続する CC-Link，Ethernet から派生しEthernet 物理層を用いて単一の周波数クロック信号をた PROFINET，EtherNet/IP，EtherCAT など多数存在す

ネットワーク内に配信する SyncE には，時刻情報を同期する．これら産業用ネットワークを，LAN，WAN での実質るしくみがなく，ネットワーク時刻同期プロトコルと組み的標準として進化の著しい Ethernet（IEEE 802.3）規格を合わせて利用する必要がある．ネットワーク時刻同期プロ

拡張し，集約・統合化を図ろうとする取り組みが，Time-

トコルでは，IP パケットを用いる NTP（Network Time

Sensitive Networking（TSN）で あ る．現 在，IEEE 802.1

Protocol）が広く普及しているが，計算機のシステム時刻

TSN として規格化作業が進んでいる１．

１ データセンター用途で使われる LAN/Ethernet，SAN/FibreChannel，HPC/InfiniBand を Ethernet に統合する Converged Enhanced Ethernet（CEE）の動きも 10 Gbps Ethernet 以降，本格化している．IEEE 規格化作業グループでは，Data Center Bridging（DCB）とも呼ばれる．

６００

Research and Technology Note

Study of White Rabbit-Based Sub-Nanosecond Precision Timing Distribution for Fusion Experiments

H. Nakanishi et al.

TSN は IEEE 802.3/802.1 系の１２の規格から構成され，産ルを用いることで，高精度タイムスタンプを伴った信号モ

業用プロセス制御に不可欠な決定論的な時間制約と通信保ニタリングや，予約された時刻に信号等出力を行う実装

証を実現する．

が，各々サブシステム装置側で可能となっている［１５］．

TSN によって，時刻同期性のあるトラフィックが，従来

６．White Rabbitのベストエフォート方式による標準イーサネット通信と共にネットワーク上に混在できる．標準的なイーサネット通

White Rabbit（WR）は，LAN 用に広く普及した Ether-

信は，送信バッファにキューイングされたパケットを，リnet 技術をベースに，PTP より更に高精度なサブナノ秒レ

ンク帯域幅全部を使って配信する．これに対して TSN でベルの時刻同期を実現する技術で，欧州原子核研究機構

は，１台のネットワーク構成コントローラから配信された

CERN を中心に研究開発が進められてきた．２０２０年６月にスケジュールに則り，予め規定された帯域幅を用いて周期公開された IEEE1588-2019 においては，同規格の高精度仕間隔で時刻同期した通信を行う［１３］．

様として WR が正式に標準化されている［２］．

TSN 利用のため選別 さ れ た PTP 規 定 が，generalized

WR の主な基本機能は，以下の３点に集約される．

PTP（gPTP）と呼ばれる IEEE 802.1AS（802.1AS-2011）お１．PTP v２に基づく全ネットワークノード，中継装置

よび現在策定中の 802.1AS-Rev である．

の時刻同期および伝送遅延補正

通常のPTPv2仕様では，障害発生時のタイムアウト検出

２．同期イーサネット（SyncE）を介した単一周波数

を含め，BMCA（Best Master Clock Algorithm）によって（クロック）の共有による周波数同期

GMC が（再）選定される．他方，リアルタイムな機器制御

３．Digital Dual Mixer Time Difference（DDMTD） 法

要件が厳しい産業用イーサネット TSN の場合，GMC は決によるクロック位相差検出によるサブナノ秒級の高定論的に固定され，障害発生時も予め準備された待機系あ精度遅延補正るいは冗長系に速やかに代替される必要がある．
５．
２ ITER Time Communication Network（TCN）

上記の３機能はすべて Ethernet および IP ネットワーク標

ITER の実験プラントで利用されるネットワークは，以準の上位互換となっており，WR に準拠しない通常のネッ

下に示すとおり，通称 CODAC Networks と呼ばれるプラ

トワーク装置や一般的な IP 通信とも混在利用可能である．

ント運転に関与する５種類の目的別ネットワークと，機器NTP や PTP は送信／受信で遅延時間が異なる通信路の非インターロック，安全防護の各ネットワークに分類，実装

対 称 性 を 補 償 す る し く み が な い の に 対 し，WR で はされている［１４］．

DDMTD によって温度変化の影響や送受の位相遅延差も補償することで，高時間精度を実現している（図３）．

１．Plant Operation Network（PON）

WR の伝送媒体としては，Gigabit Ethernet
（GbE）
対応の

EPICS 用のプラントシステム制御ネットワーク

単芯シングルモード光ファイバー中に送受２波長を双方向

２．Synchronous Databus Network（SDN）

伝送する１
０００BASE-BX１０が標準指定されている．GbE 用

プラズマ制御用 UDP マルチキャストネットワーク

SFP モジュール仕様であれば，direct-attach cable（DAC）

３．Time Communication Network（TCN）と別称されるパッシブSFPケーブルや1000BASE-Tも利用

IEEE１
５８８‐２００８による同期信号用ネットワーク

可能だが，TP ケーブルを用いる 1000BASE-T は，単純に４．Audio/Video Network（AVN）

1.25 Gbps 信号を変換する光リンクとは物理層が異なるた

物理計測目的のロスレスな音声／画像伝送用
５．Data Archiving Network（DAN）
TCP/IP による大容量データ伝送ネットワーク!

め，時間精度が劣化することが判っている．なお，10 Gbps
（SFP＋）対応については，目下，開発検証が進められていCentral Interlock Network（CIN）
プラント機器の保護インターロック用ネットワーク!

Central Safety Networks（CSN）
放射線環境を含む安全防護システム用ネットワーク

このうち Time Communication Network（TCN）が，プ
ラント・サブシステム群の時刻同期を司るネットワーク
で，IEEE1588-2008 PTPv2 に準拠したサーバおよびクライ
アントノードと，PTPv2 対応 Gigabit Ethernet（GbE）ス
イッ チ に よ り 構成 さ れ る．GPS/GNSS 時 刻 同 期 さ れ た
GMC として振る舞う PTPv2 時刻サーバと，スレーブク
ロックである TCN クライアント群との間で時刻同期通信
図３が行われる．設計仕様として 50 ns 以下の精度で同期可能としている．
高速応答が必要なプラント・サブシステム用制御ノード，通称，Fast Controller に標準採用された TCN モジュー
６０１

White Rabbit（WR）のネットワーク構成．SyncE およびPTPv2 のほか DDMTD 対応のため WR 専用スイッチが必要となる．最上位で WRTD が動作し，ネットワーク伝送の双方向性を生かした対称性の高いイベント配信による高時間
精度トリガー出力を実現する．

Journal of Plasma and Fusion Research Vol.97, No.10 October 2021

しくみであるため，分周クロック出力の概念がない．計測

る［１６］．
WR 規格はすべて Open Hardware Repository（OHR）で

毎 に サ ン プ リ ン グ 同 期 用 ク ロ ッ ク を 得 る に は，GMC公開されており，同スイッチの開発実装に必要なコード類（PRC）から標準時に位相同期して Ethernet 伝送されてくを 含 め，各 種 情 報 が OHR か ら 入 手 可 能 に な っ て い る

る 125 MHz 基準クロックを，各ノードで分周もしくは逓倍［１７］．既に数社から販売されているが，この公開仕様にして各々で必要な周波数を生成する必要がある．

よって，利用者が論理回路ベースで WR 対応スイッチを改

RF 加速器の制御では，しばしば系内に単一 RF 周波数を造することが可能で，各分野・装置向けに自由にカスタマ

配信して分散ノード間で同期制御を行うことがある．これイズできるようになっている．日本国内の大型放射光施設には，WR 各ノードに Direct Digital Synthesizer（DDS）回SPring‐８においても，加速器制御用に WR の実証評価と導路を具備し，位相のそろった単一周波数を共有する手法が入試験が進められている［１８］．

採られている［２０］．しかし，核融合実験では一般に多種類

６．
１ トリガー配信の計測器が利用され，必要なサンプリング周波数も計測器

２節で述べたとおり，核融合実験では計測・制御用にプ毎に異なる場合が多い．また，実験条件に応じて各々が周リプログラムされた遅延トリガー出力と，同じくプリセッ

波数を変更することもあり，RF 加速器制御の場合とは要トされた分周クロック信号がしばしば用いられる．極めて件的に異なっている．

持続時間が短い単発イベントの発生を捉える素粒子観測等

WRTD においても，出力ルールを記述する等によってと比べ，磁場閉じ込めプラズマの持続時間は一般的に長いバースト（連続）トリガー信号を生成してサンプリングにため，特に後者は，複数計測器のデータ・サンプリングを用いることが可能である．しかし，イベントや時刻タイ同期するための必須条件となっており，核融合プラズマ計

マーで起動されるトリガー出力は，機能的に分周クロック測を特徴づける機器要件の一つでもある．

出力を完全に代替することはできないため，LHD-DTS においても，トリガーと分周クロック出力は分けて論理実装

素粒子実験のための加速器運転同期用に開発された WRしている．

も，出力時刻を指定して単一トリガー出力（「イベント」と呼ばれる）を行うWhite Rabbit Trigger Distribution（WRTD）

WR/ WRTD の核融合実験向けカスタマイズには，同じ拡張機能が用意されている［１９］．WR ネットワークでつな

理由で，論理回路に分周／逓倍クロック出力機能を追加実がった各 WRTD ノードは，いずれもトリガーイベントの装する必要がある．LHD-DTS 同様，FPGA内にプリセット

送受信が可能であり，従来の遅延パルサーや LHD-DTS 等

分周カウンター回路をチャネル数だけ論理合成して，高精で送受が機能的に分離していたのと異なり，運用の自由度度同期されたマスタークロックから分周／逓倍することが大きい特徴がある．反面，トリガーイベント誤送信防止

で，実装は容易である．

のため，アプリケーション実装もしくは運用による送信機

６．
３ 実装に関する検討事項

能の未使用・無効化など対応が必要となる（図３）．

・1 GHz を超えるクロック・パルス出力の同期性

また，標準時刻と同期クロックをネットワーク内に供給

1 GHz デジタル信号の１クロック＝１ナノ秒 は 20 cm

する GMC が，トリガー情報を配信する WRTD と分離，独程度の信号線路長に相当し，同一プリント基板上の回路配立して動作する点も，従来の同期タイミング配信と異なる線でも位相同期に細心の注意を必要とする．WR が提供すもう一つの特徴といえる．

るサブナノ秒同期精度を有効活用するには，WR ノードとWRTDで利用するタイムスタンプは，
３２＋１６ビット長エ

データ集録回路を同一筐体内の同一基板上もしくは同じ論

ポック秒カウンター，３２ビット長ナノ秒カウンター，およ理 ICチップ内に組み込んで実装するのが望ましい．現在のび１６ビット長２進小数ナノ秒（２−１６ナノ秒単位）で構成さFPGA チップは十分な論理回路規模を有し CPU コアを内れる．

蔵するものも多いため，WR/WRTD ノードとユーザ・ア

WRTDノード内で，同一の機能が複数並んで存在する場

プリケーションの両方を１チップシステム（SoC）上で実合，それらを Repeated Capability と呼ばれるしくみで取り装することも可能である．

扱うことができる．典型例としては１台のノードが複数

GHz超の高周波クロック配線を延伸すると位相のずれがチャネルの入力あるいは出力ポートを持つケース等であ大きくなるため，GHz 超クロックを生成する同期逓倍回路

る．各 WRTD ノードには，各々独立して動作する，①ルー

は，できるだけデジタイザ等のクロック利用部に近づける

ル，②アラーム，③アプリケーションの３種類の Repeatedのが望ましい．GHz 超の逓倍／分周，出力駆動回路等をCapability が標準定義されている．トリガー入出力の各種

FPGA チップ内で構成するのは現在も容易では ないた

関係を記述するルールと，予約時刻で発動するアラームとめ，PLL 同期回路を含め高周波部品を用いた外付け周辺回

は，設定情報として動的に追加・削除・変更が可能であ路を設けるのが一般的である．核融合実験のみならず一般る．これに対し，アプリケーションは予め実装時に埋め込用途でも，GHz レベルの高速信号入出力を必要としない計

まれている必要があり，当然ながら動作時の追加・変更等

測制御サブシステムは多いため，標準仕様の拡張モジューは行えない．

ルとして設計し，実装オプションとして対応することが望

６．
２ プログラマブル分周／逓倍クロック出力

ましい．
・複数ノードのグループ化

WR はネットワークを用いた高精度な時刻同期のしくみであり，また WRTD もノード間トリガーイベント配信のWR や WRTD には，複数のノードをグループに分けて取
６０２

Research and Technology Note

Study of White Rabbit-Based Sub-Nanosecond Precision Timing Distribution for Fusion Experiments

H. Nakanishi et al.

り扱うしくみがない．特に WRTD では，イベント送受信にならびに関係者の皆様，一年間の時間を与えて下さった核上流下流といった階層構造を持たないため，LHD 計測タイ

融合科学研究所（NIFS）高温プラズマ物理研究系，情報通ミングシステムが実現していたノードの階層化（グループ信システム部の各位に，改めて厚く御礼を申し上げます．

運用）は困難である．

本研究は，NIFS 研究課題（NIFS19ULHH006），総合研究

しかし，WRTD で伝送されるイベントは，すべてユニー

大学院大学共通専門教育プログラム（NIFS16KKGH027）

クなイベント ID が付与され，それに基づき処理されるた及び量子科学技術研究開発機構 BA／原型炉研究開発共同め，これを利用して，複数 ID をグループ化して取り扱うし研究（２０１２−２０２１）の支援により実施されています．

くみを同組込アプリケーション内に追加することで，この機能上の問題は解決できると考えられる．この場合，若干

参考文献の通信プロトコル拡張が必要になるとともに，ソフトウェ［１］H. Nakanishi et al., Fusion Eng. Des. 66-68, 827 (2003).
［２］White Rabbit, https://ohwr.org/project/white-rabbit(2020).
［３］H. Nakanishi et al., 12th Int. Conf. on Accelerator andLarge Physics Control Systems (ICALEPCS2009), 12-16
Oct. 2009, Kobe, Japan, TUP057 (2009).
［４］岡 学：水 晶 発 振 器 の 選 び 方・使 い 方，Design Wave
Magazine 111,
（２
００
７年２月号）128 (2007).
［５］河合 一，EDN Japan 編集部：水晶発振器―活用の手引
き，EDN 電子ブックレット（２０２０年７月）11 (2020).
［６］小林春夫 他：完全デジタル PLL 回路「ADPLL」を学
ぶ，日経エレクトロニクス２００
９年６月１日号 100 (2009).
［７］岩間 司：ICT 社会を支える時刻同期技術，情報処理
57, 52 (2016).
［８］Wikipedia，閏秒，https://ja.wikipedia.org/wiki/閏秒

ア処理に依存するため，トリガーの予約出力には対応可能であっても，高速フィードバック回路などのリアルタイム
用途に適用できる高速応答が可能などうか，実装ベースで性能評価を繰り返す必要があると思われる．
なお，実装・評価により期待された性能等が得られない
場合は，DTS 改良版のトリガー配信機能を WRTD 非互換の WR オプションとして開発する選択肢も残されている．

７．まとめ
Ethernet を介してサブナノ秒精度の時間同期を可能にする White Rabbit 技術を，核融合実験向け同期タイミングシステムに導入，機能を改善する検討を行った．結論として，ゲート付き分周クロック出力など，機能追加のカスタ(2021).
［９］ITU-T Recommendation G.8262/Y.1362, Timing characteristics of synchronous Ethernet equipment slave clock,p.24 (01/2015).
［１０］Wikipedia, Synchronous Ethernet, https://en.wikipedia.
org/wiki/Synchronous̲Ethernet (2020).
［１１］時刻同期の NTP と PTP の違い（PPS），現場で必要な
ネットワーク技術入門, https://network.oreda.net/knowledge/clock (2021).
［１２］Wikipedia, Precision Time Protocol, https://en.wikipedia.org/wiki/Precision̲Time̲Protocol (2021).
［１３］M. Zapke, A. Taylor：IT と OT ネットワークを融合する「TSN」の 概 要 と 実 装，EDN Japan，２
０
１
８年３月２
７日
（２
０
１
８）
．
［１
４］細川哲成 他：ITER のデータ解析インフラストラク
チャ IMAS，プラズマ・核融合学会誌 95, 229 (2019).
［１５］ITER Technical Report, Plant Control Design Handbook,
ITR-20-009 (2020).
［１６］White Rabbit Wiki, https://ohwr.org/project/whiterabbit/wikis/ (2021).
［１７］Open Hardware Repository, https://ohwr.org/ (2020).
［１８］T. Masuda, 17th Int. Conf. on Accelerator and Large Physics Control Systems (ICALEPCS2019), 7-11 Oct. 2019,
New York, USA, WEPHA096 (2019).
［１９］White Rabbit Trigger Distribution, https://ohwr.org/
project/wrtd/wikis/ (2021).
［２０］T. Wlostowski et al., 15th Int. Conf. on Accelerator andLarge Physics Control Systems (ICALEPCS2015), 17-23
Oct. 2015, Melbourne, Australia, WEC3O01 (2015).

マイ ズ が 若 干 必 要 で あ る も の の，基 本 的 に WR およ び
WRTDを用いて，核融合実験向け高精度同期タイミングシ
ステムが構築可能であることが確認された．今後，実装設計からプロトタイプ開発，実証試験へと進めていきたい．
元来 WR は，高エネルギー加速器の計測制御用に欧州中心に開発された経緯があり，QST 六ケ所研で運転が始まっている IFMIF プロトタイプ線形加速器 LIPAc の欧州側納品機器の一部に WR が導入されている．今後，核融合分野で計画されている IFMIF や A-FNS など材料照射施設のビーム加速器においても，重要な制御機能の一翼を担うと思われ，近い将来，プラズマ実験装置にも応用されることが予想される．
ITER に向けた計測制御システム関連の大規模な研究開
発・技術整備は，核融合分野内に大きな流れを形成しており，そこで編成されたシステム技術が実質的標準となって，今後の国際的なシステム共通化を主導すると考えられる．標準的な位置づけを獲得するためには，すでに大学共同利用機関の高エネルギー加速器研究機構（KEK）が行っているように，こうした回路製作も，分野内の大学・研究機関が共同 R&D プロジェクトとしてオープンに進めることを検討すべきと思われる．

謝辞

この場をお借りして，長期滞在を温かく受け入れて下さった量研機構（QST）六ヶ所研の BA 計画調整グループ

６０３