データ処理結果についてのお知らせ
2020/7/14

SPring-8 PX-BLにおいて自動測定で得られたデータは、プログラムKAMO (Yamashita etal, 2018)によりXDSで自動処理された結果、クラスタリングとマージ処理の結果も併せて送付しています。
1. 送付したデータの構造
HDDに保管されたデータは以下の階層で保存されています。
”Date_BL45XU_username”┣ ”PuckID”-“PinID”：回折データ┃ ┣ ##.ppm, raster.jpg：センタリング画像┃ ┣ scan**：スキャンデータ（含むSHIKAの結果）┃ ┗ data**：測定した回折データ（helical, single, multi）┃┣ “_kamoproc”：標準での処理結果┃ ┣ ”PuckID”-“PinID”：XDS処理結果┃ ┣ report.html, correct.html (contents)：XDS処理結果のレポート┃ ┗ ”merge_**_**_SampleName”：マージ処理結果┃┣ “_kamo_30deg”：30°ぶった切り処理結果┃ ┣ ”PuckID”-“PinID”：XDS処理結果┃ ┣ report.html, contents：XDS処理結果のレポート┃ ┗ ”merge_**_**_SampleName”：マージ処理結果┃┣ ”Date_BL45XU_username”_00.html：ZOOのレポートファイル┣ ”Date_BL45XU_username”.tgz：レポートファイル┗ *csv, *db, *xlsxなど：自動測定で使用した設定ファイル
2．回折データ
測定データは、自動測定サンプルシートの”PuckID”-“PinID”名で保存されています。
┣ ”PuckID”-“PinID”：回折データ┃ ┣ ##.ppm, raster.jpg：センタリング画像┃ ┣ scan**：スキャンデータ（含むSHIKAの結果）┃ ┗ data**：測定した回折データ（helical, single, multi）
2.1. センタリング画像
センタリング画像は、測定時に選択したオプションよって構成が変わります。ご注意ください。
1. before_warmup.ppm：warmup前の画像
2. after_warmup.ppm：設定したwarmup時間後の画像
3. raster.jpg：センタリング後の2Dスキャン範囲を保存（“Hor. scan length [µm]”の設定が適切であったか確認することができます）
4. before.ppm：raster.jpgのスキャン範囲なしの画像
5. loop_zoom.ppm：センタリング後の拡大画像
6. loop_zoom_ln2.ppm：霜除去後の拡大画像（”LN2 Splash”選択の場合のみ）

2.2. データ収集ディレクトリの構成
以下はデータ収集ディレクトリの構造を示したもの（ディレクトリツリー）です。
バックアップのディレクトリの直下にピンごとのディレクトリがあると考えてください。EIGERの​Hdf5フォーマット.h5の場合は、100枚ごとに***_000001.h5 のようなデータファイルが作成されます。PILATUSのcbfフォーマット.cbfは1枚ごとにファイルが出力されます。今回の説明では、データセットは0.1º oscillation の測定としています。
Multi, Helical, Singleのそれぞれのmodeで測定した構成を説明します。
● MUL0001-01 ：Multi modeの回折データ（2.2.1.参照）● HEL0002-002：Helical modeの回折データ（2.2.2.参照）● SIN003-003 ：Single mode回折データ（2.2.3.参照）
2.2.1. Multi modeの場合
Multi modeでのデータ収集を行ったデータのディレクトリ構造を示します。
┣ MUL0001-01：​試料ディレクトリ
┃ ┣ ##.ppm, raster.jpg：センタリング画像（2.1.参照）┃ ┣ scan**：スキャンデータを格納（含むSHIKAの結果）┃ ┃ ┗ ​2d：スキャンタイプ（2d = 二次元）
┃ ┃┗ ​spotfinder：SHIKA解析結果が格納┃ ┃┗ ​thumb_2d：SHIKA回折像のサムネイルが格納┃ ┗ data00：測定した回折​データを格納（data01だと２回めの測定）┃┗ MUL0001-01-multi_###_******.cbf / h5 ：回折​データ┃ (​###:”# of crystals”で設定した個数内で回折点検出数の閾値を超えた結晶分を測定）
2.2.2. helical modeの場合
ヘリカルデータ収集を行ったデータのディレクトリ構造を示します。
┣ HEL0002-002：​試料ディレクトリ
┃ ┣ ##.ppm, raster.jpg：センタリング画像（2.1.参照）┃ ┣ scan**：スキャンデータを格納（含むSHIKAの結果）┃ ┃ ┣ ​2d：スキャンタイプ（2d = 二次元）
┃ ┃ ┃┗ ​spotfinder：SHIKA解析結果が格納┃ ┃ ┃ ┗ ​thumb_2d：SHIKA回折像のサムネイルが格納┃ ┃ ┣ ​lv00_00：ラスター種類（lv = 結晶の左端縦スキャン）┃ ┃ ┃┗ ​spotfinder：SHIKA解析結果が格納┃ ┃ ┃ ┗ ​thumb_2d：SHIKA回折像のサムネイルが格納┃ ┃ ┣ ​rv00_00：ラスター種類（rv = 結晶の右端縦スキャン）┃ ┃ ┃┗ ​spotfinder：SHIKA解析結果が格納┃ ┃ ┃ ┗ ​thumb_2d：SHIKA回折像のサムネイルが格納┃ ┃ ┗ ​rv00_01：ラスターやりなおし（index部分が00 -> 01へ）┃ ┃┗ ​spotfinder：SHIKA解析結果が格納┃ ┃┗ ​thumb_2d：SHIKA回折像のサムネイルが格納┃ ┗ data00：測定した回折​データを格納（data01だと２回めの測定）┃┗ cry##_******.cbf / h5 ：回折​データ┃ ​​(​###:”# of crystals”で設定した個数内で回折点検出数の閾値を超えた結晶分を測定）

2.2.3. single modeの場合
シングルデータ収集を行ったデータのディレクトリ構造を示します。
┣ SIN003-003：​試料ディレクトリ
┃ ┣ ##.ppm, raster.jpg：センタリング画像（2.1.参照）┃ ┣ scan**：スキャンデータを格納（含むSHIKAの結果）┃ ┃ ┣ ​2d：スキャンタイプ（2d = 二次元）
┃ ┃ ┃┗ ​spotfinder：SHIKA解析結果が格納┃ ┃ ┃ ┗ ​thumb_2d：SHIKA回折像のサムネイルが格納┃ ┃ ┗ ​lv00_00：ラスター種類（lv = 結晶の左端縦スキャン）┃ ┃┗ ​spotfinder：SHIKA解析結果が格納┃ ┃┗ ​thumb_2d：SHIKA回折像のサムネイルが格納┃ ┗ data00：測定した回折​データを格納（data01だと２回めの測定）┃┗ single_001_******.cbf / h5 ：回折​データ┃以下、注意点● lv / rv​01​_00などがある→結晶を二個以上見つけた場合のそれぞれについてスキャンを行っている● lv / rv00_​01​などがある (helical modeの場合)→端のセンタリングに失敗し、やり直している。
→ラスタースキャンから90°回転した方向の回折能が弱い（異方性がある）​もしくは、 何らかの理由により結晶からビームが外れている。
❏ 端の縦スキャンで見つからなければ 、結晶体積が大きいと思われる側に10 µm併進し再度縦スキャンを行う。最大５回繰り返す。結晶が見つからない場合にはギブアップし、データ測定を行わない（2020/04/01現在）

3. XDSの処理結果測定したデータ（helical,single,multi）を標準設定で処理した結果は“_kamoproc”に保存されています。​処理内容については XDS.INPやCORRECT.LPで確認してください。
┣ _kamoproc：​KAMOでの標準設定での処理ディレクトリ
┃ ┣ MUL0001-01： Multi mode の処理結果┃ ┃ ┗ data00​：┃ ┃┣ MUL0001-01-multi_001​_1-100：​XDS処理結果が入っている┃ ┃┣ MUL0001-01-multi_002​_1-100┃ ┃┣ MUL0001-01-multi_003​_1-100┃ ┃┗ MUL0001-01-multi_0##​_1-100┃ ┃┃ ┣ HEL0002-002：Helical mode の処理結果┃ ┃ ┗ data00​：┃ ┃┗ cry00_1-3600​：​XDS処理結果が入っている┃ ┃┗ ccp4​：mtz化されたファイルが入っている┃ ┃┃ ┣ SIN003-003：Single mode の処理結果┃ ┃ ┗ data00​：┃ ┃┗ single_1-3600​：​XDS処理結果が入っている┃ ┃┗ ccp4​：mtz化されたファイルが入っている┃ ┃┃ ┣ report.html：測定条件、処理の結果レポート┃ ┃┃ ┣ correct.html：helical, single modeデータの処理の結果レポート┃ ┃helicalデータ収集では、不均一な結晶のデータから有効なデータを得るために、30°毎にデータを分断した処理（通称”ぶった切り処理”）およびそれらのマージも自動で行い結果をお返ししています。その結果は“_kamo_30deg” に保存されています。ぶった切り処理は、全てのデータを対象に処理しています。これらの処理結果は、自動測定サンプルシートの”PuckID”-“PinID”名で保存されています。
┣ _kamo_30deg：​30°毎に処理したディレクトリ
┃ ┣ MUL0001-01：(​multi modeの10°のデータは_kamoprocと同じ)┃ ┃ ┗ data00​：┃ ┃┣ MUL0001-01-multi_001​_1-100：​XDS処理結果が入っている┃ ┃┣ MUL0001-01-multi_002​_1-100┃ ┃┣ MUL0001-01-multi_003​_1-100┃ ┃┗ MUL0001-01-multi_0##​_1-100┃ ┃┃ ┣ HEL0002-002：Helical mode の処理結果┃ ┃ ┗ data00​：┃ ┃┣ cry00_1-300 ​：0-30°分の処理結果┃ ┃┣ cry00_301-600​：30-60°分の処理結果┃ ┃┣ ・・・以下、最後まで処理される┃ ┃┗ cry00_3301-3600​：330-360°分の処理結果┃ ┃┃ ┗ SIN003-003：Single mode の処理結果┃ ┃ ┗ data00​：┃ ┃┣ single_1-300 ​：0-30°分の処理結果┃ ┃┣ single_301-600​：30-60°分の処理結果┃ ┃┣ ・・・以下、最後まで処理される┃ ┃┗ single_3301-3600​：330-360°分の処理結果┃ ┃┃ ┣ report.html：30°で分割した測定条件、処理の結果レポート┃ ┃”ぶった切り処理”のイメージ

4. レポートファイルXDSの処理結果
ルートディレクトリに保存されている”Date_BL45XU_username”.tgzには、以下のレポートファイルが格納されています。
”Date_BL45XU_username”┣”Date_BL45XU_username”_00.html：ZOOのレポートファイル┃ (複数個含まれる場合があります)┃┣ “_kamoproc”：標準での処理結果┃ ┣ report.html：測定条件、処理の結果レポート┃ ┣ merge_***：マージ処理結果┃ ┃┗ /_kamoproc/merge_”クラスタリングの種類”_“スタートの分解能”┃ ┃S_”SampleName”/blend_*A/*/report.html┃ ┃┃ ┗ correct.html：helical, single modeデータの処理の結果レポート┃┗“_kamo_30deg”：30°ぶった切り処理結果┗ merge_***：マージ処理結果┗ /_kamo_30deg/merge_”クラスタリングの種類”_“スタートの分解能”_”SampleName”/blend_*A/*/report.html

4.1 ＜”Date_BL45XU_username”_00.html：ZOOのレポートファイルの見方＞※上記ポップアップイメージは、本htmlファイル単体ではご覧になれません。リンク先のデータが格納されているHDDが到着後にご確認ください。
#DS​; サンプルピンあたりのデータセット測定数
log comment​; 測定のステータス
・Normal termination
データセット測定済み
・No crystals found in a raster scan
Raster scan時 ​MinScore超えずデータセット未測定(Helical / ​Multi)​・​Crystals were not found in a raster scan​ ​Raster scan時 ​MinScore超えずデータセット未測定(Single​)
・X-ray centering failed
90°方向のScan時MinScore超えずデータセット未測定
・Loop centering failed(INOCC)
Loop centering が何らかの理由で失敗。データセット未測定

meas time[min]​; サンプルピンごとの測定時間
次回ビームタイムの測定時間見積もりにご利用ください。

4.2. ＜correct.html：helical, single modeデータの処理の結果レポートの見方＞
XDS Report_kamoproc/correct.html

・・・
データセットごとのXDS処理結果の統計値（COLLECT.LP より）を一覧することができます。
※multi 測定については記載されません。mulit測定の個々のデータの統計値はKAMO report(_kamoproc 直下の report.html）をご参照ください。

4.3. ＜report.html：マージデータ処理結果のレポートの見方＞
Merge Report_kamoproc/merge_blend(or cc)_”Start Resolution”S_”Sample name”/*/report.html
各マージディレクトリ毎にreport.html が格納されています。

cluster一覧の​□​,​□​,​□​内cluster番号は、デンドログラム中の​□​,​□​,​□​
内の番号とそれぞれ対応しています。デンドログラム中のcluster番号にカーソルをロールオーバーするとデータの保存先ディレクトリが表示されます。左端の▼印をクリックすると統計値の一覧が表示されます。CC(1/2)が、およそ50%以上になるように分解能がCut offされていることが分かります。
なお、速報として送付されるデータには最上位のクラスターのrun_03のみが含まれます。
その他のクラスターについてはHDDが到着後に、ご確認ください。

5. クラスタリングとマージ処理の実行
クラスタリングとマージ処理は、自動測定サンプルシートの”SampleName”で指定した名前毎でデータをクラスタリング[Blend（格子定数）とCC（​回折​強度の相関）の2種類]します。クラスタリングとマージ処理を実行したディレクトリは、以下のルールで作成され、設定した分解能から処理を行います。マージ可能なデータのしきい値は最小リダンダンシー：2.0、最低コンプリートネス：10%です。
詳細
クラスタリングの計算の際、開始分解能は初期設定分解能（ユーザ指定）をエッジとしたカメラ長に基づいて、いわゆるhalf-corner(ハーフコーナー)の分解能を設定します。
このため著しく設定分解能よりも低い回折データの場合、有効な反射数も著しく減り、結果として完全度が低くなり、閾値を超えずにマージがされないことがあります。運用
上のポリシーとして「マージされた結果を何らかお返しする」ため閾値を非常に低い値に設定し、これを回避しています。KAMOは分解能をCC(1/2)に基づいて決定するシーケンスを自動で行うため単に分解能が低い場合には、低い分解能で完全なデータとしてマージが成功するケースもあります。
一方で、本当にコンプリートしていないデータもマージの結果として残る可能性がありますので、必ずマージの結果についてはコンプリートネスを確認してください。
●○_kamoproc/もしくは_kamo_30deg/ 以下にディレクトリ名■ merge_​”クラスタリング種類”​_​“スタート分解能”​S_​”SampleName”● 例：merge_blend_2.5S_sample1■ スタート​分解能の設定● half-cornerの分解能から処理を開始■ クラスタリング種類● blend○ 格子定数を利用したクラスタリングの結果● cc○ 回折強度の相関を利用したクラスタリングの結果■ SampleName● 測定シートに記載した”SampleName”● 同じSampleNameが複数ある場合、は一つのデータにマージされる●

ディレクトリの内容（後述ディレクトリツリー参照）○ BLENDとccで内容やディレクトリ名が若干異なりますので適宜読み替えてください。
○ 最終データは_finalにあると考えてください■ 自動マージでは既定のリダンダンシーとコンプリートネスを満たすために分解能は自動調整される■ 自動マージは分解能の自動決定をCC(½)~50%で行う■ スタート分解能は実際の分解能（この段階では不明）よりも高めに入力しておく必要がある→half-cornerとしてある■ さらに下の階層● run_01, run_02, run_03についてはデータの研磨を行った結果● 詳しくはKAMOの公式ページを御覧ください●●https://github.com/keitaroyam/yamtbx/blob/master/doc/kamo-ja.md

マージの結果閲覧○ マージディレクトリ（例としてblend_3.5A_final）○ 直下にある”report.html”がマージ全体のサマリとなっている■ htmlをウェブブラウザで閲覧して最終データを決定■ すでに同梱されているMTZファイルを利用して解析を開始します● 例）0634のクラスタのrun_03を選定した場合○ blend_3.5A_final/cluster_0634/run_03/ccp4/ へ● 例）0321のクラスタのrun_02を選定した場合○ blend_3.5A_final/cluster_0634/run_02/ccp4/ へ○ 上記はすべて​
自動マージを行った第一弾の処理結果である​と認識し、​空間群の選定や同型な結晶のクラスタリング、データの棄却、分解能決定についても最善であるとは考えていません。
○ report.htmlの内容、好みのクラスタの“XSCALE.INP”、“XSCALE.LP”を参照し、最終データ処理については各自で行うことを推奨しています。

＜BLENDによるクラスタリングとマージの結果：ファイル情報＞
CCによるクラスタリングも同様の構造になっていますので適切に読み替えてください。
┣ merge_blend_2.2S_complex1（BLENDクラスタリングの一つのディレクトリ）┃ ┃ ┣ cluster_summary.dat サマリ┃ ┃ ┣ js
┃ ┃ ┃ ┣ LICENSE┃ ┃ ┃ ┣ d3.js┃ ┃ ┃ ┣ d3.min.js┃ ┃ ┃ ┗ index.js┃ ┃ ┣ multi_merge.log┃ ┃ ┗​ report.html
このデータマージに関するレポートHTML┃ ┣ blend_3.03A_final
最終的な結果が格納されている（_final）┃ ┃ ┣ blend
BLENDクラスタリングの結果ファイル┃ ┃ ┃ ┣ BLEND0.RData┃ ┃ ┃ ┣ BLEND_KEYWORDS.dat┃ ┃ ┃ ┣ CLUSTERS.txt┃ ┃ ┃ ┣ FINAL_list_of_files.dat┃ ┃ ┃ ┣ blend0.log┃ ┃ ┃ ┣ blend_cluster_summary.dat┃ ┃ ┃ ┣ dendro.json┃ ┃ ┃ ┣ forR_macropar.dat.bak┃ ┃ ┃ ┣ hctojson.R┃ ┃ ┃ ┣ tree.png
BLENDクラスタリングの結果：デンドログラム┃ ┃ ┃ ┣ tree.ps┃ ┃ ┃ ┗ xds_lookup_table.txt┃ ┃ ┣ cluster_0079
あるクラスタのスケールの結果(0079 = clusterID)┃ ┃ ┃ ┣ args.pkl┃ ┃ ┃ ┣ files
反射ファイルが格納（リンクもある）┃ ┃ ┃ ┃ ┣ CPS0836-07┃ ┃ ┃ ┃ ┃ ....
┃ ┃ ┃ ┃ ┃ ....
┃ ┃ ┃ ┃ ┗ ....
┃ ┃ ┃ ┣ merge.log
マージに関するログ┃ ┃ ┃ ┣ merge_cluster_0079.sh
計算を行ったスクリプト┃ ┃ ┃ ┣ - merge_cluster_0079.sh.o1468055
計算クラスタ上での出力┃ ┃ ┃ ┣ merge_cluster_0079.sh.po1468055
計算クラスタ上での出力┃ ┃ ┃ ┣ result.pkl
結果をピクルしたもの┃ ┃ ┃ ┣ run_01(run_01, run_02, run_03についてはマニュアル参照）┃ ┃ ┃ ┃ ┣ XSCALE.INP┃ ┃ ┃ ┃ ┣ XSCALE.INP.1┃ ┃ ┃ ┃ ┣ XSCALE.LP┃ ┃ ┃ ┃ ┣ XSCALE.LP.1┃ ┃ ┃ ┃ ┣ aniso.log
異方性結晶の分解能評価（AIMLESSと同様）┃ ┃ ┃ ┃ ┣ cc_files.dat┃ ┃ ┃ ┃ ┣ cc_frames.dat┃ ┃ ┃ ┃ ┣ ccp4
┃ ┃ ┃ ┃ ┃ ┣ ctruncate.log┃ ┃ ┃ ┃ ┃ ┣ logfile.log┃ ┃ ┃ ┃ ┃ ┣ xds2mtz.log┃ ┃ ┃ ┃ ┃ ┗ xscale.mtz
解析に利用可能なMTZファイル┃ ┃ ┃ ┃ ┣ corfac_absorp.dat┃ ┃ ┃ ┃ ┣ corfac_decay.dat┃ ┃ ┃ ┃ ┣ corfac_modpix.dat┃ ┃ ┃ ┃ ┣ pointless.log┃ ┃ ┃ ┃ ┗ xscale.hkl
XSCALEから出力された反射ファイル┃ ┃ ┃ ┗ cluster_summary.dat┃ ┃ ┣ js
┃ ┃ ┃ ┣ LICENSE┃ ┃ ┃ ┣ d3.js┃ ┃ ┃ ┣ d3.min.js┃ ┃ ┃ ┗ index.js┃ ┃ ┣ multi_merge.logマージの際のログファイル（マージの挙動チェック）┃ ┃ ┗ report.html
cluster_0079のレポートHTML┃ ┣ cells.dat
格子定数のリスト┃ ┣ excluded.lst
クラスタリングで排除されたデータセット（格子定数）┃ ┣ formerge.lst
マージに利用したファイルリスト┃ ┣ input_files
マージに利用した反射ファイルなど（リンクあり）┃ ┃ ┣ CPS0836-07┃ ┃ ┣ CPS0836-08┃ ┃ ┣ ...
┃ ┃ ┣ ...
┃ ┃ ┗ ...
┃ ┣ kwargs.pkl┃ ┣ multi_merge.log
マージに関係するログファイル┃ ┣ multimerge.sh
マージの際に実行したシェル（スタッフ用）┃ ┣ multimerge.sh.o1468049┃ ┗ prep_merge.log
マージの準備に関連したログ情報