2023年度 PX-UG中級者講習会
＠東京理科⼤学葛飾キャンパス

DIALSの紹介と演習

東京理科⼤学

⽣命システム⼯学科
⽩⽯ 充典
伊藤 翔

本⽇の内容１，DIALSの紹介
２，演習

（伊藤）

（⽩⽯）

回折データの処理・格⼦定数，空間群の決定・回折強度の積分・強度データの統計処理

より良い処理が，より良い構造解析につながる。

「KEK構造⽣物学研究センターにおけるクラウドの試み」⼭⽥悠介⽒のスライドよりhttps://www.hpcwire.jp/archives/47366

回折データ処理にどのソフトを使ってきましたか？

XDS: 55,841 entries
HKL-2000: 47293 entries

本⽇は“DIALS”

DIALS: Diffraction Integration for Advanced Light Sources
DIALSのトップページ

https://dials.github.io/index.html#

“共同開発による”，最新技術に対応した回折データ処理・解析のための統合ソフトウェア
開発における最終⽬標✓⽇々の進歩に対応できる，拡張可能なフレームワークの開発✓フレームワークへのアルゴリズムの実装✓シンクロトロンや⾃由電⼦源でのデータ処理が可能な⼀連のユーザー向けツールの開発

開発チーム
DIALS East
DIALS Westhttps://dials.github.io/より

DIALS; About
完全なオープンソース。
（開発チーム以外の貢献もウエルカム）
the DIALS project builds on knowledge accumulated over many decades in thefield of crystallographic data processing. We benefit greatly from the altruism
of experts who contribute their ideas and advice, either directly or via theirdetailed publications on existing algorithms and packages such as XDS [2] andMOSFLM [3].
無駄に⼿間をかけないように，既存のソフトウエア（XDSやMOSFLM）を⼤いに参考にしている。
Continuing in the spirit of these workshops we held our own series ofmeetings, with talks from invited speakers, and code camps in which specificproblems are addressed by intensive effort across the collaboration.
Summaries of these meetings and copies of slides given as presentations areavailable here.
ミーティング，招待講演，コードキャンプを重ねて開発していった。
https://dials.github.io/about.htmlより

DIALS References
Background modelling of diffraction data in the presence of ice rings
Parkhurst JM, Thorn A, Vollmar M, Winter G, Waterman DG, Fuentes-Montero L, Gildea RJ, Murshudov GN, Evans G.
IUCrJ 4, 626-638 (01 Sep 2017). [PMID:28989718] [PMC reprint: PMC5619854]
Robust background modelling in DIALS
Parkhurst JM, Winter G, Waterman DG, Fuentes-Montero L, Gildea RJ, Murshudov GN, Evans G.
J Appl Crystallogr 49, 1912-1921 (01 Dec 2016). [PMID:27980508] [PMC reprint: PMC5139990]
Diffraction-geometry refinement in the DIALS framework
Waterman DG, Winter G, Gildea RJ, Parkhurst JM, Brewster AS, Sauter NK, Evans G.
Acta Crystallogr D Struct Biol 72, 558-75 (1 Apr 2016).

2016年4⽉

DIALS1.1リリースNew methods for indexing multi-lattice diffraction data
Gildea RJ, Waterman DG, Parkhurst JM, Axford D, Sutton G, Stuart DI, Sauter NK, Evans G, Winter G.
Acta Crystallogr D Biol Crystallogr 70, 2652-66 (1 Oct 2014)
dxtbx: the diffraction experiment toolbox
Parkhurst JM, Brewster AS, Fuentes-Montero L, Waterman DG, Hattne J, Ashton AW, Echols N, Evans G, Sauter NK, Winter G.
J Appl Crystallogr 47, 1459-1465 (01 Aug 2014). [PMID:25242914] [PMC reprint: PMC4119952]
Diffuse X-ray scattering to model protein motionsWall ME, Adams PD, Fraser JS, Sauter NK.
Structure 22, 182-4 (04 Feb 2014). [PMID:24507780] [PMC reprint: PMC4070675] (Reprint)
New Python-based methods for data processing
Sauter NK, Hattne J, Grosse-Kunstleve RW, Echols N.
Acta Crystallogr D Biol Crystallogr 69, 1274-82 (1 Jul 2013).
Automatic Fortran to C++ conversion with FABLE
Grosse-Kunstleve RW, Terwilliger TC, Sauter NK, Adams PD.
Source Code Biol Med 7, 5 (28 May 2012). [PMID:22640868] [PMC reprint: PMC3448510]

2012年ミーティング開始

DIALS References

最近の⽂献が多く，活発に開発が進められていることが伺える。

xia2.multiplex: a multi-crystal data-analysis pipeline
Gildea RJ, Beilsten-Edmands J, Axford D, Horrell S, Aller P, Sandy J, Sanchez-Weatherby J, Owen CD, Lukacik P, Strain-Damerell C,Owen RL, Walsh MA, Winter G.
Acta Crystallogr D Struct Biol 78, 752-769 (01 Jun 2022)
DIALS as a toolkit
Winter G, Beilsten-Edmands J, Devenish N, Gerstel M, Gildea RJ, McDonagh D, Pascal E, Waterman DG, Williams BH, Evans G.
Protein Sci 31, 232-250 (1 Jan 2022). [PMID:34747533] [PMC reprint: PMC8740827]
Scaling diffraction data in the DIALS software package: algorithms and new approaches for multi-crystal scaling
Beilsten-Edmands J, Winter G, Gildea R, Parkhurst J, Waterman D, Evans G.
Acta Crystallogr D Struct Biol 76, 385-399 (01 Apr 2020).
How best to use photons
Winter G, Gildea RJ, Paterson NG, Beale J, Gerstel M, Axford D, Vollmar M, McAuley KE, Owen RL, Flaig R, Ashton AW, Hall DR.
Acta Crystallogr D Struct Biol 75, 242-261 (01 Mar 2019).
Improving signal strength in serial crystallography with DIALS geometry refinement
Brewster AS, Waterman DG, Parkhurst JM, Gildea RJ, Young ID, OʼRiordan LJ, Yano J, Winter G, Evans G, Sauter NK.
Acta Crystallogr D Struct Biol 74, 877-894 (01 Sep 2018).
Electron diffraction data processing with DIALS
Clabbers MTB, Gruene T, Parkhurst JM, Abrahams JP, Waterman DG.
Acta Crystallogr D Struct Biol 74, 506-518 (01 Jun 2018)
Determination of Patterson group symmetry from sparse multi-crystal data sets in the presence of an indexing ambiguity
Gildea RJ, Winter G.
Acta Crystallogr D Struct Biol 74, 405-410 (01 May 2018).

DIALS: implementation and evaluation of a new integration package
Winter G, Waterman DG, Parkhurst JM, Brewster AS, Gildea RJ, Gerstel M, Fuentes-Montero L, Vollmar M, Michels-Clark T, Young ID,
Sauter NK, Evans G.
Acta Crystallogr D Struct Biol 74, 85-97 (01 Feb 2018).

the correct Patterson symmetry.3 For the majority of goodquality data sets, these choices will make little difference
to the outcome—the correct model is well determined

DIALSで⾏うことof files:• image files, such as .h5 or .cbf,XDS，d*TREKなどの主流なデータ処理• DIALS reflection files (.refl)
ソフトのワークフローと同じ。
reflection data, and• DIALS experiment files (.expt) w
mental models.

The command-line parameters aformat4 which takes the form opti
option can be nested. The availa
DIALS program can be found by runn
dials.program -c -e1

For example, spot finding can be
only within a specific resolution rd_min = 2.0 d_max = 40.

3.1.2 |

Import

The first stage of data processing withthe data: this does not actually readreads the image headers and associat
a model of the experiment. It is at
prior knowledge of the experime
applied, for example, overriding the bcases, the authors would hope the exters are correctly recorded so all thatF I G U R E 2 Simple workflow
processing,whichisWinter ofG,data
et al.
“DIALS asa toolkit”
Protein Sci 31, 232-250 (2022)
dials.import /path/to/image_*.
largely independent of the processing package used

238

WINTER ET AL.

F I G U R E 3 Simple
workflow of data processing
with DIALS, which deliberately
follows the simple workflow
shown in Figure 2ワークフロー

ImportFind_spots
Index
Lattice→Re-index
RefineIntegrate
Symmetry
Scale
ExportWinter G, et al. “DIALS as a toolkit” Protein Sci 31, 232-250 (2022)

1469896x, 2022, 1, Downloaded from https://onlinelibrary.wiley.com/doi/10.1002/pro.4224 by Tokyo University Of Science, Wiley Online Library on [07/11/2023]. See the Terms and Conditio

DIALSのワークフロー

ワークフローにおける各処理について
Import
EIGERの場合，******_master.h5

ファイルを読み込む。

Find spots
MOSFLMやHKL3000と違い，すべてのイメージに対してfind spotsがなされる。
→より完全なデータのモデル化を可能とする。

Indexing
まずP1でリファインして指数付け。

Lattice
空間群をリファイン。Re−indexウィンドウに候補が出る。
→最も対称性が⾼くmaxδが最⼤の空間群を選ぶ（best guess solution =**と出る）。

ワークフローにおける各処理についてRefine
最適な空間群でリファイン。格⼦定数，カメラ距離，結晶の⽅位などのパラメーターがリファインされる。

Integrate

デフォルトではUse profile fitting=True, Background algorithm=glm

profile fitting（⾼⾓の弱い反射データが解析可能）

Symmetry
より⾼い対称性を⾒つけるための計算。→Best solutionが⽰される。

Scale
scale.logをみてI/σ(I)やcc1/2 を指標にhigh res.を決める。High res.を⼊れてもう⼀度Scaleを⾏う。→2度⽬はDUI上での表⽰が⾚くなりログファイルが⾒れなくなるが，処理はされている（バグ？）。ログファイルも格納されている。

Exportmtzファイルをつくる⼀⽅で，XDS✓Wolfgang Kabsch (Max Planck Institute for Medical Research)が開発。
1986年リリース✓Wolfgang Kabsch は2011年に退職している。
SB Grid Consortium “Developper Tale”よりhttps://sbgrid.org/software/tale/escape-from-the-darkroom✓Kay Diederichs (University of Konstanz)が後継者として2007年からXDSのメンテナンスを⾏っている。
✓ソースコードは⾮公開✓アカデミア（⾮営利）は無償だが，企業の利⽤にはライセンスが必要。
✓放射光施設で全⾃動測定のデータ処理プログラムに（標準的に？）採⽤されている。
✓これまで最もよく使われてきたデータ処理ソフト。

XDSは現在まで圧倒的に使われてきた！

XDS: 55,841 entries
HKL-2000: 47293 entries

MOSFLM: 18284 entries

XIA2: 3916（この中に⼀部DIALSが含まれている）

DIALS: 2,181 entries

PDB statistics, 2023年11⽉6⽇時点

XDS References
1.Kabsch, W. (1988a). Automatic indexing of rotation diffraction patterns. J. Appl. Cryst. 21, 67-71.
2.Kabsch, W. (1988b). Evaluation of single-crystal X-ray diffraction data from a position-sensitive detector. J. Appl.
Cryst. 21, 916-924.
3.Kabsch, W. (1993). Automatic processing of rotation diffraction data from crystals of initially unknown symmetry
and cell constants. J. Appl. Cryst. 26, 795-800.
4.Kabsch, W. (2001a) Chapter 11.3. Integration, scaling, space-group assignment and post refinement in International
Tables for Crystallography, Volume F. Crystallography of Biological Macromolecules, Rossmann, M.G. and Arnold, E.
(2001). Editors. Dordrecht: Kluwer Academic Publishers.
5.Kabsch, W. (2001b) Chapter 25.2.9. XDS in International Tables for Crystallography, Volume F. Crystallography ofBiological Macromolecules, Rossmann, M.G. and Arnold, E. (2001). Editors. Dordrecht: Kluwer Academic Publishers.
6.Kabsch, W. (2010a). XDS. Acta Cryst. D66, 125-132. → Key reference
7.Kabsch, W. (2010b). Integration, scaling, space-group assignment and post refinement. Acta Cryst. D66, 133-144.
8.Abrahams, J. P. (1993). Compression of X-ray images in Joint CCP4 and ESF-EACBM Newsletter on protein
crystallography, no. 28 (May 1993), 3-4.
9.Diederichs, K. and Karplus, P. A. (1997). Improved R-factors for diffraction data analysis in macromolecular
crystallography. Nature Struct. Biol. 4, 269-275.
10.French, S. and Wilson, K. (1978). On the treatment of negative intensity observations. Acta Cryst. A34, 517-525.
11.Diederichs, K., McSweeney, S. and Ravelli, R.B.G. (2003). Zero-dose extrapolation as part of macromolecularsynchrotron data reduction. Acta Cryst. D59, 903-909.
12.Karplus, P. A. and Diederichs, K. (2012). Linking Crystallographic Model and Data Quality. Science 336, 1030-1033.
13.Schwarzenbach, D. and Flack, H.D. (1989). On the definition and practical use of crystal-based azimuthal angles. J.
Appl. Cryst. 22, 601-605.
https://xds.mr.mpg.de/html_doc/references.html

XDS_docやXDSwikiに記載されている⽂献は⽐較的古い。

XDSも継続してアップデートされている。

Apple Silicon processorへの適応

XDSも継続してアップデートされている。

computer programs

2023年

XDSGUI: a graphical user interface for XDS, SHELX
and ARCIMBOLDOISSN 1600-5767

Wolfgang Brehm,a‡ Josep Triviño,b‡ Juno M. Krahn,c Isabel Usónb,d* and Kay
Diederichse*aReceived 5 June 2023
Accepted 8 August 2023

Edited by A. Barty, DESY, Hamburg, Germany‡ These authors contributed equally.
Keywords: X-ray diffraction; neutron diffraction;
electron diffraction; data processing; graphicaluser interfaces; phasing; XDS; ARCIMBOLDO;SHELX.

Department of Physics, University of Hamburg, Hamburg 22761, Germany, bInstituto de Biologia Molecular deBarcelona (IBMB), Baldiri Reixach 15, Barcelona 08028, Spain, cGenome Integrity and Structural Biology Laboratory,
National Institute of Environmental Health Sciences, Research Triangle Park, NC 27709, USA, dICREA: Institució Catalana
de Recerca i Estudis Avançats, Pg. Lluis Companys 23, Barcelona 08010, Spain, and eDepartment of Biology, Universityof Konstanz, Universitätsstrasse, Konstanz 78457, Germany. *Correspondence e-mail: uson@ibmb.csic.es,kay.diederichs@uni-konstanz.de

XDSGUI is a lightweight graphical user interface (GUI) for the XDS, SHELX
and ARCIMBOLDO program packages that serves both novice andexperienced users in obtaining optimal processing and phasing results for
X-ray, neutron and electron diffraction data. The design of the program enables
data processing and phasing without command line usage, and supports
advanced command flows in a simple user-modifiable and user-extensible way.
The GUI supplies graphical information based on the tabular log output of theprograms, which is more intuitive, comprehensible and efficient than text output
can be.

1. Introduction
The development of the XDS data processing package

演習の⽬的XDSは圧倒的に使われてきたソフトだが，開発の将来について⼼配？
1つのソフト（XDS）に頼らずに，DIALSを使ってみましょう。

DIALSの実⾏
・本来はコマンドラインベース。
・GUI（DUI），⾃動処理（xia2_DIALS）が便利。

本⽇の実習では，
１，DUI（DIALSのGUIバージョン）を使ったデータ処理。
→個別のプログラムで順次解析。
２，xia2_DIALSを使ったデータ処理。
→全⾃動処理。
（時間があれば）xia2_XDSで処理したデータと⽐較してみましょう。