Proceedings of the 25th Linear Accelerator Meeting in Japan (July 12-14, 2000, Himeji, Japan)[12P-43]RELIABLE CONTROLS WITH DISKLESS VME COMPUTERS AT KEK LINAC
T. Obata , K. Furukawa and N. Kamikubota
High Energy Accelerator Research Organization (KEK)
Oho 1 – 1, Tsukuba, Ibaraki, 305-0801, Japan
Abstract
In the control system at the KEK electron/positron linac, many VME computers are employed to implement
sub-systems for beam instrumentation and other general controls. These systems are utilized regularly from many
operational programs to support the stable linac operation. In order to realize the robust and reliable operation of VME
computers, a distributed and redundant management environment was developed and used since the beginning of theKEKB commissioning.

KEK-Linac における VME 計算機のシステム管理
1. はじめにMS-Windows Interface for Operation

Touch Panel for Operation
EPICS Gateway to KEKB-Ring

X-Window Interface for Commissioning

現在、高エネルギー加速器研究機構では KEKB 計画が進行中である。KEK-Linac では 、この KEKB リ

Main Network (FDDI, Ethernet)

ングをはじめ、PF-Ring, PF-AR の３つの施設に対してDevice Manager

ビームを供給している。特に KEKB リングでは、ルミ

Main Computer System (Unix)
Equipment Level Network (Optical Ethernet)

ノシティーの蓄積が課題となっており、それに伴い加速器の運転時間が増大してきている。従って各加速器

VME's (~30)

PLC's (~140)

CAMAC's (~15)

VXI's (~30)

PC / GPIB / RS232C

と共に信頼性の高い制御系の運用が非常に重要になっ

Beam Monitor
MagnetTrigger

Klystron
MagnetVacuumTrigger

RF Monitor

Gun
Beam Monitor
othersている [1] 。
図 1: 制御システムの構成

この制御系では、ビームモニターと一般制御のために合計 27 台の VME 計算機を使用しており、加速器を安定に運転する上で、この VME 計算機は必要不可欠な存在となっている。VME 計算機上で動作するサブシステムは常時制御系を通して様々な運転用ソフトインターフェースとし て 、各副制御室とクライスト
ロンギャラリーに合計 27 台の VME 計算機（ ForceCPU40/CPU60 ）が使われている (図１) [3] 。
これらの VME 計算機はリアルタイムオペレーティウェアから利用され加速器の安定な運転に寄与していングシステム OS9 を使用しており、主にビームモニる [2] 。
しかし 、それら個々のシステム管理には多大な時間と労力を要する。そこで KEK-Linac では、この VME計算機システムをディスクレス化する等、幾つかの手段を用いて、この VME 計算機のメンテナンスの簡便ター系や、ト リガー系制御、一部電磁石電源の制御、信号切り替え器の制御に使われている。そして、VME計算機を含む全ての計算機は TCP/IP ネットワークで互いに接続されている。

化とシステムの安定性の向上をはかり、加速器の安定

3. VME 計算機システムの管理した運転を支えている。本報告ではこの中の VME 計

3.1. 旧来の VME システム算機のシステム管理について述べる。

VME 計算機は各々固定デ ィスクを内蔵し 、OS や運転に必要なプログラム、一時的なデータファイル等

2. 制御システムの概要
KEK-Linac の制御系システムは複数台の Unix 計算機（ Tru64unix ）を中心に、複数のデータキャッシュを各々の固定ディスク内で管理していた。固定ディスサーバー（ PC-linux ）、オペレータ用の数十台の端末ロットによってはそれ以上の確率でディスクトラブル（ X-terminal, Windows NT, Mac-OS, MS-DOS ）、現場が発生する可能性があると言える。そのためディスク機器制御用の PLC 、RF モニター系の VXI 計算機等のバックアップは必要不可欠であるが 、現在の加速器で構成され 、また 、制御系システムのデバ イス側の
 obata@mail-linac.kek.jp

クの平均寿命を約５年と考えると、年平均３台程度、運転状態ではメンテナンスに充分な時間を取る事が難
しく、更に、ディスクトラブル時の修復作業による加−255−

速器運転への影響も大きいことが予想された。
raid disk

そのため KEKB 計画に当たって、制御系の信頼性の向上を目指し 、機械的なトラブルの起こりうる機器（ フロッピーデ ィスク・固定デ ィスク等）はクライス
トロンギャラリーのような現場側では使用しないといunix
bootp server
NFS server(grape)

unix
bootp server
NFS server(plum)unix
NFS server
backup(almond)

う方針を取ることにした。

3.2. 現在のシステム

Dual FDDI Network

現在のシステムでは VME 計算機を全てディスクレス化し 、ネットワーク上から bootp 及び tftp プロトコ

SwitchSwitchルによってシステムの起動が行われるよう変更を行い運転の安定化を図る事にした。

bootp, tftp サーバーは加速器運転用の Unix 計算機が 担当し 、同時に VME 計算機にダウンロード する

Redundant
Transceiver

Redundant
Transceiver

Redundant
Transceiver

Repeater

Repeater
SwitchRepeater
Switch

VME

VME

VME

bootfile の管理、NFS ディスクの管理等も同 Unix 計算機で一括して行っている。

3.3. Boot ROM 改良
ネットワークから bootp, tftp にて VME 計算機を起図 2: VME 計算機の冗長構成の支援環境

動するには インターニクス社製の Boot ROM が使われている。KEK-Linac で使用している bootfile は、OSディスク装置は各々の固定ディスク装置を撤去した

カーネルとド ライバ類を merge したもので、ファイルため、NFS ディスクをマウントするようにした。各計

サイズは約 850kB とかなり大きなファイルとなる。し算機で、共通に使用できる領域 (/dd 等) は共通のディレ

かし 、当初の ROM software は 小規模なシステムに向クトリを使用するようにし（ただし 、CPU40 と CPU60

けて作成されたものであり、このように大きなファイ

では OS のバージョン等が違うため、独立である）、そルをノイズ源の多いクライストロンギャラリーのようれ以外の各計算機の固有のファイルを置くディレクトな場所で転送すると、転送中にエラーが起こって停止リと分割している。

してしまうことがあった。

そのため、各計算機の共通の設定については、計算そのため Boot ROM の改良・試験を行い、boot 途機毎に設定を行うのではなく、一度に全体の設定を変中での転送の再試行などに対処し 、システムが安定し更することが可能であり、また個々の計算機にそれぞて起動するよう対策した。

れ固有の設定をすることも可能となっている。

3.4. bootp サーバープログラム
bootp サーバープログラムは当初フリーウェアを使用していたが、現在、bootp と共に dhcp プロトコルも扱うことができる Join 社製の joind を使用している1 。

joind は設定ファイルの編集・管理に専用のソフトウェアが付属しているため（ xjoin ）、設定の変更・編集・管理等が容易に出来るようになっている。

joind への移行直後、bootfile の名前の拡張子の扱い

また、OS の設定等の変更や、ネットワーク関連のデータベース更新も、従来であれば各 VME 計算機で設定の変更作業を個別に行っていたものが 、unix のNFS ディスク上で一括して変更・修正等できるようになったため、簡単なスクリプトを作成し 、一括で全ての計算機の設定が変更できるよう改善し 、メンテナンス性を向上させた。

3.6. bootp とディスクの２重化に問題があったがディレクトリ構造を変更し 、加速器

Unix サーバーのトラブル、または メンテナンス等運転に影響を及ぼす事のないように対策を施している。の際にも VME 計算機が正常に運用できるよう、Unix

この問題については joind のバージョン更新時に自由サーバーは２台あり、それぞれが独立に運用可能なシ度が増すよう改善されることを期待している。

ステムとなっている (図２)。各サーバーは自分のロー

3.5. NFS Disk and OS Maintenance1 joind はサーバーのオペレーティングシステム (Tru64unix) に付属している。

カルデ ィスク上にそれぞれの VME 計算機の bootfileを持っている。

bootfile が VME 計算機で実行されると、ダウンロード 元のサーバーのディスクをマウントするような設定能となるため、VME 計算機が立ち上がることが出来を記述している。このため、一方の Unix サーバーがなくとも特に問題にはならないと思われる。

完全に停止している際にももう片方のサーバーさえ無事であれば 、VME 計算機は問題なく起動できる。
通常時は 2 台のサーバーのうち bootp の要求に先に応答したサーバーが使用されるため、27 台の VME 計算機の間で適当に負荷分散が行われる。
それぞれの Unix サーバー上にある VME 計算機用のデ ィスク領域は、VME が起動の際にどのサーバー4.2. ディスク速度の問題速度的にはローカルな固定ディスクの方が NFS ディ
スクより若干早いと思われる。しかし 、VME 計算機は起動の際に必要なファイルをほとんど メモリ上にロードしてしまうため、その後の運転上はディスクアクセスがほとんどなく、立ち上がり速度を除けば特に問題にならないものと思われる。

から立ち上がったか、どのディスクがマウントされたかと、その後の作業内容 (ファイルやデータの編集) に

5. まとめより、各サーバー間でデータの食い違いが起こり得る。

上記のような改善を進め、KEK-Linac の VME 計算

そのため Unix サーバー側で毎日ソフトウェアによる機システムは安定に動作している。今後更なる改良・ミラーリングを行い、データの食い違いを防いでい改善を進め、加速器の安定な運転に貢献していきたい。

る。それらの Unix サーバー上のファイルは設定デー
タベースなどについては毎日、その他のファイルについては週 1 回、自動的にテープロボットにバックアッ2プを取っている。

3.7. ネット ワークの２重化
Unix サーバー側のネットワークは FDDI で接続されている。FDDI は規格上２重化されているため、ネットワークの信頼性が高い。また、そこから現場の VME計算機までの接続も全てスター型の冗長接続を行った（ 図２）。このためネットワークトラブルによって加速器の運転に影響を及ぼす可能性は低くなっている。

3.8. シリアルライン・ハード ウェアリセット ライン
各副制御室と、一部クライストロンギャラリーに設置された VME 計算機はシリアルラインで計算機室に接続されている。また、副制御室の VME のみではあるが 、ハード ウェアリセット用のラインも計算機室まで引かれている。これらのラインを使って、各 VME計算機がシリアルラインに出力するシステム情報をリモートで監視したり、計算機室から副制御室の VME計算機を強制リセットしたりすることが可能である。
現在これらが活躍する事は少ないが 、ド ライバ等のプログラム開発の際には非常に役に立った。

4. 現在のシステムの考察
4.1. ネット ワークの切断
現在のシステムはネットワーク接続が切れると VME計算機自体が立ち上がらなくなる。その点については特に対策を行っていない。しかし 、もしネットワーク接続が切れた場合、そもそも加速器の運転自体が不可
2 Networker というソフトウェアを使用している

参考文献[1] K. Furukawa et al., “Improvement of the KEK Linac
Control System towards KEKB”, Proc. of 21st Linear Accelerator Meeting in Japan, Tokyo, 1996, p210.
[2] K. Furukawa et al., “Beam Switching and Beam Feedback Systems at the KEKB Injector”, these proceedings.
[3] K. Furukawa et al., “Accelerator Controls in KEKB Linac
Commissioning”, Proc. of ICALEPCS99, Trieste, Italy,
1999, p.98.