SPring-8/SACLA COMMUNICATIONSSACLA におけるアライバルタイミングモニター解析システムの整備
公益財団法人高輝度光科学研究センター
XFEL 利用研究推進室
中嶋 享

1. SACLA のアライバルタイミングモニター
X 線自由電子レーザー（XFEL）施設の SACLA

イミングモニターでは、光学素子によって横長な空間形状に成形した同期レーザーパルスと、XFEL パ－プローブ実験の時間分解能は、SACLA が供給する XFEL パルスと、実験ホール内に整備されている同期レーザーシステムからのフェムト秒レーザーパ
ルスが標的試料に到達する時間差がパルスごとに現状約 250 fs（RMS）の変動（ジッター）を持つことによる影響を受ける。このため、XFEL パルスと同期レーザーパルスの到達時間差の基準値からの増減をパルスごとに実測して、測定データの振り分けにより時間分解能を向上させる目的で、「アライバルタイミングモニター（arrival timing monitor）」[1]と呼ばれているシステムが整備され、BL3 での供用が 2015 年 9 月に開始されている。アライバルタに照射させている。このような配置をとった上で、GaAs 結晶の背面から同期レーザーパルスの透過光の空間分布を CCD カメラで測定（図 1(a)）する。
XFEL パルスは GaAs 結晶に光学的性質の変化を誘起し、光透過率を一時的に低下させる。したがって、XFEL パルスの到達後に同期レーザーパルスが通過した領域は、測定される透過光量の減少として表れる。すなわち、アライバルタイミングモニター
では、パルスごとの到達時間差の変動を、標的結晶の光透過率の空間分布の変動として測定できる仕組みになっている。図 1(b) に測定対象の領域内の光強度を 1 次元に射影したスペクトルと、同期レーザーのみの照射で得られた光強度のベースラインス

では、XFEL パルスが持つ大強度・短時間幅の特性を活かし、ピコ秒以下の早い時間スケールでのポンプ－プローブ型実験が実現している。このポンプ

図1

ルスを GaAs の薄膜結晶に前者は垂直に、後者は斜め 45 度に時空間的にほぼオーバーラップするようアライバルタイミングモニターのオフライン解析ツールのキャプチャ画像。(a) は特定のシングルパルスで取得された画像例。(b) はその測定対象領域内の光強度の 1 次元射影（緑線）および光強度のベースラインとなるスペクトル（灰色線）。(c) は (b) の緑線を灰色線で割って得られた光透過率のスペクトル（緑線）とその平滑化されたスペクトル（青線）。青線の微分曲線を水色線で示す。(d) は (c) の緑線に対するフィッティング結果（赤線）。

382 SPring‑8/SACLA Information／Vol.21 No.4 NOVEMBER 2016

SPring-8/SACLA 通信ペクトルを示す。また、これらから換算される光透過率の分布を図 1(c) に示す。到達時刻差を表す指標として光透過率の微分が最大となる画像位置を用いている。画像のピクセル値から実際の時間単位への換算係数は、同期レーザー側の光路長をディレイステージで変化させながら画像を取得したときの遅延時間と到達時刻差を示す画像位置の関係から決定される。本稿では、実験ユーザーがアライバルタイミ

ングモニターから到達時間差情報を取得して、他の解析等に再利用できるように整備されている解析用アプリケーションについて、SACLA におけるデータ取得・解析環境 [2] の現状に触れながら紹介する。

シュストレージに転送されて保存され、関連する情報からなるメタデータがデータベースサーバーに格納される仕組みになっている。保存のフレームレー
トは SACLA の運転周波数、すなわち XFEL パルスの供給周波数に一致させることが多く、最大値は60 fps である。また、一回の画像保存プロセスは、実験ユーザーの任意による一定時間の一続きのデータ群を単位として行われることになっていて、このデータ群の単位のことを「ラン（run）」と呼び、各ランには個別の識別番号（ラン番号）が割り振られ、その後の解析の際にデータ群を特定する識別子として使用される。さらに、SACLA の XFEL パルスには個々に識別番号（タグ番号）が付与されることになっている。1 枚 1 枚の画像データにも画像取得時
2. SACLA のデータ取得・解析環境に対応する XFEL パルスのタグ番号が付与され、ラSACLA で は、X 線 検 出 用 の CCD カ メ ラ[3]
ン番号とタグ番号の組み合わせで画像データが特定（MPCCD ）のほか、アライバルタイミングモニ
ターにも使われている可視光－近赤外光検出用の汎できる仕組みになっている。
用 CCD カメラなど、ビームラインで常用されていこの高速キャッシュストレージやアーカイブ用のるカメラの画像保存は、実験ステーションのユーストレージのディスク領域にある画像データの解析
ザー端末に整備されている専用のアプリケーションは、PC クラスタで構成されるデータ解析システムを用いて行うことができるようになっている。図 2 （HPC システム）を用いて行うことができる。このにこれらのカメラの画像が解析に用いられるまでのHPC システムには、画像データを HDF5 フォーマッ
概略図を示す。カメラの画像データはそれぞれ対応
トでファイルに出力するコマンドや、実験ユーザーする専用のサーバー（データハンドリングサーバー） の解析プログラムから画像データを読み込むためのによって常時連続的に取得されていて、メモリー上API（Data Access API）など、解析を効果的に進に暫くの時間保持されている。保存のプロセスが開めるための諸機能が整備されている。HPC システ
始されると、メモリー上の画像データは高速キャッムへのログインは、SACLA の実験ホールあるいは

図2

SACLA におけるデータ取得・解析システムの概略図。

SPring‑8/SACLA 利用者情報／2016 年 11 月 383

SPring-8/SACLA COMMUNICATIONS

解析ルームのユーザー端末から行うことができるほか、VPN 接続を通して施設外からも可能になってぞれの解析環境から読み書きすることができるよいる。したがって、一回のランの時間が数分間で終了する測定ではそれほどでもないが、数時間にわたる長い測定を行う場合には、このラン単位で行う解も HPC システムを通してオンライン解析サーバーのディスク領域にアクセスし、独自の解析環境を構いる。HPC システムでの画像データの読み込みは、ラン単位の保存が終了した段階で、そのランに帰属する全てのタグに対して可能になる仕組みになってうにした NAS であり、オンライン解析サーバーのホームディレクトリをここに配置し、HPC システムと同一のアカウント情報でログインできるようにした。こうして、実験ホールの外からであって析にはオフライン解析の度合いが大きくなる。
一方、ビームタイム実験においては、限られた時間内に目的の測定を達成するために、画像データを築できるようになっている。もう一つには、オンライン解析環境にある UDB のレプリケーションデータベースをオフライン解析環境に配置することにより、オンライン解析の結果を HPC システムから随保存しながらリアルタイムに解析を行って、有効なデータの蓄積状況をモニターしていくことも効果的となる。また、ポンプ－プローブ型の測定の場合には、アライバルタイミングモニターの解析結果をリアルタイムに測定データの振り分けに反映させたいという要望も生じる。そこで、これらをオンライン解析の手法で実現するためのシステムも整備され、一部は既にユーザー実験に用いられている [4,5]。オ
ンライン解析では、データハンドリングサーバーのメモリー上に一時的に保持されている画像データを、オンライン解析専用の計算サーバー（オンライン解析サーバー）から直接取得して解析を行い、解析結果をタグ番号と対応付けて、実験ユーザー専用に供用されているデータベースサーバー（UserDatabase: UDB）に格納できる仕組みになっている（図 2 下）。UDB では、施設の運転と連動している他のデータベースサーバーとは異なり、実験ユーザー自らがテーブルの作成や、値の格納を行えるように権限の提供を行っている。オンライン解析サーバーには、解析プログラムの中でオンライン画像データを取得するための API（Online API）や、データベースサーバーに関する特別な知識を必要とすることなく UDB と値の読み書きを行うことができる API（User-Database API: UDB-API）が整備されている。オンライン解析サーバーは実験ホールに設置されている機器と直接通信を行うため、安全面等から、実験ホール内のユーザー端末からのみログインして操作できるようにしている。そのため、限られたビームタイムを有効活用するため、解析プログラムを実験ホールに来る前にあらかじめ構築しておくことや、解析結果をビームタイム終了後に実験ホールの外から容易に読み出すことができるように、オンライン解析環境とオフライン解析環境のネットワーク的な連携を図っている。一つはそれ時利用可能な仕組みを整えている。

3. アライバルタイミングモニターの解析ツール
アライバルタイミングモニターの解析用アプリ
ケーション（Timing Monitor Analyzer: TMA）は、前述のオフライン解析環境とオンライン解析環境のそれぞれに整備されていて、保存された画像データを用いたラン単位の解析を行うことも、準リアルタイム的にタグ単位の追いかけ解析を行うことも可能になっている。さらに、それぞれについて、端末の画面表示を見ながら操作を行うことができるグラフィカルインタフェースと、実験ユーザー独自のスクリプトの中に埋め込むことができるコマンドラインインタフェースを用意している。いずれも画像データから到達時間差情報を取り出す解析プロセス自体は同一のアルゴリズムを使っていて、目的に応じて最適なツールを選択できるようになっている。
以下、4 つの解析ツールの特徴や用途について紹介する。

A. オフライン TMA のグラフィカルインタフェース
この解析ツールのキャプチャ画像が図 1 である。
ここで、解析上の実行パラメーターである、解析対象とするラン番号の範囲やベースラインデータを取得するラン番号、適用する解析パラメーター、解析結果の出力ディレクトリなどの設定が行える。画像データの取得方法は、ストレージからの直接取得にも、HDF5 フォーマットに変換したファイルからの取得にも対応していて、用途に応じて選択できる。解析パラメーターの調整は、特定のラン内に含まれる個別のタグを選択して解析過程のグラフ表示を見ながら行うことができる。解析パラメーターの設定においては、保存された画像データを用いて十分検討した値を使用することが望ましいとの観点か

384 SPring‑8/SACLA Information／Vol.21 No.4 NOVEMBER 2016

SPring-8/SACLA 通信

ら、他の 3 つの解析ツールではいずれも、このグラフィカルインタフェースで最適化し、設定ファイルとして保存した値を読み取って使用する設計としている。解析対象とするラン番号に、既に画像データが存在するラン番号を指定して実行ボタンを押下した場合は、直ちに解析プロセスが開始される。一方、未だ存在しないラン番号を指定して実行した場合は、そのラン番号に対応する画像データが利用可能になるまで解析プロセスの待機状態に入り、ラン単位の追いかけ解析を行うことができる。ラン番号ごとの各タグに対する解析は HPC システム上のマルチプロセスで実行され、集約された解析結果がCSV フォーマットでファイル出力されるほか、種々の統計情報がランサマリーとして画像表示され、解析状況を把握できるようになっている。ビームタイ
ム中の実験ユーザーは所定の手続きにより、HPCシステム上で一定数の計算ノードを専有的に使用することができ、この場合には割り当てられたジョブクラスで解析を実行することをグラフィカルインタフェース上で選択できるようにしてある。なお、ランあたりの標準的な解析所要時間は、画像保存のフレームレートを30 fps とした場合に、実験ユーザーが各ランに設定する測定所要時間の半分程度である。
B. オフライン TMA のコマンドラインインタフェース
この解析ツールでは、解析対象とするラン番号の範囲のほかは、グラフィカルインタフェースで保存した設定ファイルを引数で指定することにより、ベースラインデータを含む全ての実行パラメーターを再利用する仕様にしている。コマンドラインイ
ンタフェースからの出力は解析結果の CSV フォー
マットファイルのみで、サマリープロットは作成せず、ランあたりの処理速度をさらに短縮させている。
このため、実行パラメーターが確定した後に、対象とするランに対する解析プロセスを実験ユーザー自身のスクリプトから実行したい用途などに有効である。
C. オンライン TMA のグラフィカルインタフェース
この解析ツールの開発中のキャプチャ画像を図 3に示す。実行パラメーターの設定では、オフラインTMA のグラフィカルインタフェースで保存した設図 3 アライバルタイミングモニターのオンライン解析ツールのキャプチャ画像。

SPring‑8/SACLA 利用者情報／2016 年 11 月 385

SPring-8/SACLA COMMUNICATIONS

定ファイルを指定してベースラインデータを含む解析パラメーターを与えることで、そのほかは XFELパルスの繰り返し周波数や解析対象とする総タグ数などのオンライン解析に特化したパラメーターのみ指定すればよい設計にしている。また、解析結果の参考文献［ 1］T. Katayama et al.: Struct. Dyn. 3 (2016) 034301.
［ 2 ］Y. Joti et al.: J. Synchrotron Rad. 22 (2015) 571-576.
［ 3］T. Kameshima et al.: Rev. Sci. Instrum. 85 (2014)033110.
格納先として、UDB に新たなテーブルを作成する ［ 4 ］T. Nakane et al.: J. Appl. Cryst. 49 (2016) 1035-1041.
ことや、既存のテーブルを選択することもできる。 ［ 5］L. Foucar: J. Appl. Cryst. 49 (2016) 1336-1346.
所要のパラメーターを設定した後、実行ボタンを押下すると直ちにタグごとのオンライン解析が開始され、UDB に格納された解析結果は他の解析プログラムから UDB-API を用いて準リアルタイム的に読み込んで再利用できるようになる。また、UDB に格納された値は画面上にトレンド表示され、種々の統計情報の更新表示とともに解析状況をモニターできるようになっている。さらに、UDB に格納された解析結果をオフライン解析において再利用する用途のために、CSV フォーマットや HDF5 フォーマットに変換してファイル出力する機能も用意している。

中嶋 享 NAKAJIMA Kyo（公財）高輝度光科学研究センター XFEL 利用研究推進室〒679-5198 兵庫県佐用郡佐用町光都1-1-1
TEL : 0791-58-0802 ext 3399
e-mail : kyo.nakajima@spring8.or.jp

D. オンライン TMA のコマンドラインインタフェース
この解析ツールでは、グラフィカルインタフェー
スで設定が必要な実行パラメーターは、オフライン TMA で保存した設定ファイルを含め、全て引数で指定することにしている。このため、やはり実験ユーザー自身のスクリプトからオンライン解析を実行したい用途などに有効である。
4. まとめと今後の展望
ここまで、SACLA のデータ解析環境上に構築してきたアライバルタイミングモニターの解析用アプ
リケーション TMA について概要を紹介してきた。
これらのうち、オフライン TMA については 2015
年 9 月以降、順次リリースしており、オンラインTMA を含め今秋に全ての解析ツールが出揃う計画になっている。今後は、さらなる利便性の向上のために、ファイルや UDB に格納された解析結果に対するビューアー機能の追加も検討している。こうして、アライバルタイミングモニターでは、オフライン解析とオンライン解析のそれぞれや、また、それらのネットワーク的な連携を用いた組み合わせから、多様な利用法を選択できる環境が整いつつある。
実験ユーザーの実験・解析の遂行に効果的に役立てていただくことができれば幸いである。

386 SPring‑8/SACLA Information／Vol.21 No.4 NOVEMBER 2016