機械学習を活用した
XAFSスペクトルからの情報抽出
東京大学・生産技術研究所

溝口照康

ー 放射光分析×DXによる化学イノベーション ー本日の内容理論計算ー 放射光分析 × 機械学習
DX による化学イノベーション ー

機械学習を活用したXAFS解析

Beyond “XANES”
機械学習を活用した化学反応関連物性の予測
表面吸着物性（吸着エネルギー，距離）予測Today’s スペクトル＝ XAFS/EELS (内殻電子励起スペクトル)

XAFS

Zn-K edge XAFS/EELS

EELS

Coordination

Edge

Energy (eV)

等価なスペクトル

XAFS By シンクロトロン → High sensitive, Operando
EELS By STEM/TEM → Atomic resolution→ スペクトルからの情報抽出？

XANES（XAS）理論計算の必要性
4配位Si
SiO2
Si-L2,3 edge (D. Li et al. Solid. St. Comm 1993)

6配位

4配位

4配位Si
b-Si3N44配位Si
zb-SiCXANESを解釈して原子配列や電子構造の情報を得るためには第一原理計算によるXANES理論計算が不可欠

XANES理論計算の基礎

5|wave function|2 of CBM of MgO@基底 状態

Core-hole(Excited state)

Core-hole@遷移状態

XANESは内殻空孔を有する遷移状態を反映
XANESスペクトルの解析→ XANESの第一原理計算
Review papers➔ T. Mizoguchi et al., Micron (2010), H. Ikeno and T. Mizoguchi, Microscopy (2017)

XANES理論計算の基礎
Except for → →e.g.
K-edges

REVIEWS: T. Mizoguchi et al., Micron (2010)
H. Ikeno and T. Mizoguchi, Microscopy (2017)

E< 100eV core losse.g.
Li-K edge
Na-L2,3 edge
Mg-L2,3 edge
Two-part.
BSE method

Whiteline
SrTiO
3 Ti-L2,3 edge
Non-rele.g.
One-particle
TM-L2,3 edge
LN-M4,5 edge
Relativistic
CI calc.3d, 4f bandStrongCorrelation

One particle
DFT-GGA
Exciton

１粒子計算

２粒子計算
BSE, TDDFT

多粒子計算
Configuration interaction (CI)DFT-GGA/LDA

適切な手法を利用することで全吸終端を計算可能

6

XANES理論計算の基礎
Bonding

Coordination

Bond length

Valence state
ELNES + Simulation
Composition

LigandExciton
van der Waals

Liquid & Gas

Dynamics of molecules

PhononELNES+simulation is very powerful method!
REVIEW：T. Mizoguchi et al., Micron (2010), H. Ikeno and T. Mizoguchi, Microscopy (2017) 7

XANES理論計算の基礎

Liquid Methanol

Bonding

Coordination

Bond length

Valence state
ELNES + Simulation
Composition

Calc

LigandExcitonvan der Waals

Liquid & Gas

Dynamics of molecules

PhononY. Matsuial., Sci. Rep.
2013
ELNES+simulationis etvery
powerful
method!

REVIEW：T. Mizoguchi et al., Micron (2010), H. Ikeno and T. Mizoguchi, Microscopy (2017) 8

XANES理論計算の基礎
Bonding

Coordination

Bond length

Valence state
ELNES + Simulation

B-K edge Solid h-BN

Composition

Exp.
“Camel back”

O-K edge Gas O2

LigandCalc.

ExcitonHigh temp.
Room temp.

H. Katsukura, et al., Sci. Rep. (2017)

W. Olovsson, et al., J. Phys. Chem. C. (2019)

Liquid & Gas

Dynamics of molecules

van der Waals

PhononELNES+simulation is very powerful method!
REVIEW：T. Mizoguchi et al., Micron (2010), H. Ikeno and T. Mizoguchi, Microscopy (2017) 9

ELNES/XANES理論計算の重要なアップデート「産業利用に役立つXAFSによる先端材料の局所状態解析2016」の際の発表資料 P23~24付近

XANES/ELNESを計算するためのコード選びについてCASTEPの重要なアップデート
CASTEPコード ：第一原理擬ポテンシャル法→ 一般的なDFT計算に加えて，XANES, NMR, IR等のスペクトル計算も可数年前までのCASTEPコードの状況
当時はソースコード非公開（共同研究者のみに公開）
市販ソフト“Materials Studio”が必要だった

現在（2020年以降～）

ソースコードはアカデミックフリー

http://www.castep.org/*Intel コンパイラ，ライブラリも現在はフリー

CASTEPの重要なアップデート
CASTEP：ソースコード修正のススメ [Source folder]/Source/Functional/elnes.f90
1911行目付近: ELNES.paramを読むように

2310行目付近: average, x, y, zを出力するように“ELNES.param” の中身
-25.0
65.0
0.05
0.0
0.5
.true.
.true.
.false.

! emin! emax
! res! gamma! gauss! ifermi! ioutdir! atomic unit

スペクトルの半値幅等を調整できる

2350行目付近: 出力フォーマットの変更 （これが最も重要）

可能であればOptaDOSを使うべき
https://github.com/optados-developers/optados

CASTEPの重要なアップデート：OPTADOSCASTEPの計算結果から遷移エネルギーの補正
https://github.com/optados-developers/optados

CASTEPの計算終了後に，DOSやPDOS，ELNESなどを出力するための付属プログラム

https://github.com/harpaf13/mizoguchi-correction

CASTEPのELNES taskだと，up-spinとdown-spinが足されて出てきてしまう．Optadosはいろいろオプションを変更可能

VASPの重要なアップデート
VASPコード：第一原理PAW法→ 有償ソフト（価格上昇傾向）．世界中で多くのユーザー
数年前までのVASPコードの状況
当時はXANES (XAS, ELNES)の計算できなかった

現在 VASP6.0からXANESの計算可能に

VASPの重要なアップデート
VASPコードでXANES：ただし，遷移エネルギーに問題？（調査中）
SiO2-SiK by VASP code

SiO2-SiK by OLCAO全電子計算
0.005

6eVのシフト
0.004
0.003
0.002
0.00101790

1795

1800

1805

1810

1815

1820

1850

1855

1860

1865

1870

1875

1880

1875

1880

Si-bulk-SiK by OLCAO全電子計算

Si-bulk-SiK by VASP code

0.35
0.3
0.25
0.2
0.15
0.1
0.05
01790

1795

1800

1805

1810

1815

1820

1850

1855

1860

1865

1870

BTW: なぜXANESと機械学習を組み合わせる必要があるのか？
１．実験データ量の増加

ガラス中Alの配位数マップ：K. Liao, et al., J. Phys. Chem. Lett., (2020)

一枚のSpectrum imagingで数千スペクトル

２．Beyond “XANES” via Machine Learning
XANESで得られる一般的な情報「以上」の情報を取得できないか？

→ XANESから質量を予測 ?
→ EXAFS from XANES ?
→ XPS from XANES ?

XANESを記述子として活用：分子物性を定量化
XANESはスペクトル→ １次元記述子
Database: C-K edge of organic molecules

QM9 dataset[1,2]134,000 smallmolecules

22,155 mol.
structures✓ 8 C, N, O, or F atoms✓ 117,337 C-K edge
simulation (Nonidentical carbons)

ELNES/XANES
simulation

C-K edge
database

アカデミックフリー✓ a✓ GGA-PBE✓ cut-off energy 500eV✓ k-mesh 1×1×1 [3,4]K. Shibata, K. Kikumasa and T. Mizoguchi, Scientific Data (2022)[1] L. Ruddigkeit et al., J. Chem. Inf. Model., 52 (2012)[2] R. Ramakrishnan et al., Scientific Data, 1 (2014)[3] S. Clark et al., Z. Kristallogr., 220 (2005)[4] T. Mizoguchi et al., J. Phys. Cond. Mater., 21 (2009)

XANESを記述子として活用：データベース構築
Database: C-K edge of organic molecules
直鎖炭化水素環状アルキンアルコール アルデヒド

ニトリル

C-K edge database:
K. Shibata, K. Kikumasa and T. Mizoguchi, Scientific Data (2022)

XANESを記述子として活用：データベース構築
実験とCASTEPとの間の遷移エネルギーエラーの補正等

Reference 31に全データへのアクセス

ブロードニング済みの，csvファイルの圧縮ファイル（1GBほど）

XANESを記述子として活用：分子物性の定量化
Input
C-K edge

NeuralNetworkOutput
Properties

Molecular properties
QM9 dataset
 HOMO ene.
 LUMO ene.
 HOMO-LUMO
Gap
 Zero point vib.
 Internal energy Polarizability
 Heat capacity
 Electronic spatialextent
 Dipole moment

Molecular structure Moleculer weight Sp3 ratio
Calculated
 Excitation energy

K. Kikumasa et al., Advanced Intelligent Systems (2022)

XANESを記述子として活用：分子物性の定量化

K. Kikumasa et al., Advanced Intelligent Systems (2022)

XANESを記述子として活用：分子物性の定量化

K. Kikumasa et al., Advanced Intelligent Systems (2022)

BTW: なぜXANESと機械学習を組み合わせる必要があるのか？
１．実験データ量の増加

ガラス中Alの配位数マップ：K. Liao, et al., J. Phys. Chem. Lett., (2020)

一枚のSpectrum imagingで数千スペクトル

２．Beyond “XANES” via Machine Learning
XANESで得られる一般的な情報「以上」の情報を取得できないか？

→ XANESから質量を予測 ?
→ EXAFS from XANES ?
→ XPS from XANES ?

Beyond “XANES” via Machine Learning

24

Edge
XANES/
ELNES

EXAFS

Radial Distribution Function (RDF)→ EXAFS from XANES/ELNES?

遷移状態
基底状態
Core
Core

価電子帯
価電子帯

伝導体
伝導体

Corehole

Purpose:EnergyEnergy→ XPS from XANES/ELNES?

Unlocking those limitations using machine learningPrediction of RDF from XANES/ELNES
Radial Distribution function (RDF)

Zn-K edge XAFS
Chemicalbonding

Coordination

FFTEdge

Energy (eV)EXAFS 振動を取得するために↓吸終端から1,000eV以上の高エネルギーまでの測定が必須
Mixed elements→ 吸終端の重なり(STEM) EELS装置の限界→ 3,000eV25

Prediction of RDF from XANES/ELNESEXAFS by XANES/ELNES
input

outputHidden layer

‥‥

‥‥

XANES
(~16eVfrom edge)

Radial Distribution
Function (RDF)（usually, EXAFS is necessary…）

Hyper parameter→ Optuna
Hidden layer : 1~3# of node : 100, 75, 50, 25%
Weight decay : 0.0, 10-5 ~ 10-9

DFT-GGA simulation ofSiO2: O-K edge
CASTEP code (PWPP)

188 crystal SiO2 form MP DB,
Totally 1,171 oxygen sites=1,171 O-K edge simulations

Train: validation: test
= 8:1:1
26

Prediction of RDF from XANES/ELNES
Int.(arb. unit.)

A

B

Best

Experiment? → YES!!
SiO2 O-K edge

Predicted
Correct

Exp.

Accuracy

1.0

2.0

3.0

4.0

5.0 1.0

Distance (Å)

2.0

3.0

4.0

Distance (Å)

Int.(arb. unit.)

C2.0

3.0

4.0

1.0

D

5.0 1.0

Distance (Å)

2.0

3.0

4.0

Distance (Å)

5.0FWorstEInt. (arb. unit.)

1.0

5.0

A:Best│
F:WorstA, B→ up to 5Å!
Usually→ up to ３Å→ EXAFS from XANES/ELNES!!
2.0

3.0

4.0

5.0 1.0

Distance (Å)

2.0

3.0

4.0

Distance (Å)

5.0

27

S. Kiyohara and T. Mizoguchi, J. Phys. Soc. Jpn, 89 (2020) 103001-1-4.

Beyond “XANES” via Machine Learning

28

Edge
XANES
ELNES

EXAFS

Radial Distribution Function (RDF)→ EXAFS from XANES/ELNES?

遷移状態
基底状態
CoreCore

価電子帯
価電子帯

伝導体
伝導体

Corehole

Purpose:EnergyEnergy→ XPS from XANES/ELNES?

Unlocking those limitations using machine learning

XPS from XANES/ELNES?

Excited state
Valence band (VB)
@Excited state

Conduction band(CB) @Excited state
Energy (eV)ELNES reflects CB information at Excited state

Ground state
Valenceband (VB)
@Ground state
Conduction band（CB)@Ground state

Core-hole

Energy (eV)Materials structures and properties depend on
29
VB at Ground state

XPS from XANES/ELNES?
Excited state

Conduction band（CB)@Excited state

C-K edge@
Excited state

Valenceband (VB)@Ground state

Conduction band（CB)@Ground state

EnergyPY. Chen et al., J.
Phys.(eV)Chem. Lett. (2023)
doi.org/10.1021/acs.jpclett.3c00142

Valenceband (VB)
@GroundLUMO

Ground state

HOMO

Machine Learning
PDOS
＠Ground state

Gap
Conduction band（CB)@Ground state30

本日の内容理論計算ー 放射光分析 × 機械学習
DX による化学イノベーション ー

機械学習を活用したXAFS解析

Beyond “XANES”
機械学習を活用した化学反応関連物性の予測
表面吸着物性（吸着エネルギー，距離）予測バルクから得られる情報のみを用いた表面物性予測
原子の化学吸着（結合） X on molecule X on Solid
Diatomic molecule

触媒活性等の機能物性と相関

表面触媒
活性

高活性！

(A/eV)弱い ← 化学吸着の強さ→ 強い

B. Hammer, J.K. Nørskov, Adv. Catal. 45, 71-129 (2000).

バルク
表面構造決定を伴わない表面物性予測

火山型序列

ｄバンドセンター

研究手順

従来研
究ｄバンドセンター深さ (eV)V. Stamenkovic et al., Angew. Chem. Int. Ed. 45, 2897 (2006).

結合系／吸着系をすべて第一原理計算するか？

→ 多大な時間と労力(特に安定構造探索）✅ 吸着エネルギー✅ 吸着原子間距離
物性 ✅ dバンドセンター✅ 触媒収率・・バルクから得られる情報のみを用いた表面物性予測

火山型序列

Energy (eV)

Molecule

Surface

Energy (eV)

VacuumAtomVacuum

Fermi

Density of states(states/eV/system)

触媒活性等の機能物性と相関

AtomFermi

原子の化学吸着（結合） X on molecule X on Solid
Diatomic molecule

Bonding Partner (BP)

結合前(孤立系)の状態密度（DOS) を記述子として利用
DFT計算で得られるDOSを記述子とする→ 結合前（孤立系）
ｄバンドセンター

触媒
活性

高活性！

(A/eV)弱い ← 化学吸着の強さ→ 強い

B. Hammer, J.K. Nørskov, Adv. Catal. 45, 71-129 (2000).

本研
究ｄバンドセンター深さ (eV)V. Stamenkovic et al., Angew. Chem. Int. Ed. 45, 2897 (2006).

結合系／吸着系をすべて第一原理計算するか？

→ 多大な時間と労力(特に安定構造探索）

結合／吸着物性
結合エネルギー，結合距離
共有結合電荷，フェルミ準位
結合後／吸着後

結合データベースの公開

２原子分子結合データベース

実験値*との比較＊Fliszár, S. Bond Dissociation Energies. In Atomic Charges, Bond
Properties, and Molecular Energies, 151–166 (2008).

計算値

結合強度
結合距離
共有結合
フェルミ準位Spinﾓｰﾒﾝﾄ
csvでデータDL可能元素間の“相性”を理解→ 吸着等
K. Shibata et al., Data in Brief 36 (2021) 106968.
実験値• 結合前の状態密度からの結合エネルギー等の予測
未知の二原子分子で結合前の状態密度形状のみから結合エネルギーの予測に成功

エチレン-X

結合前の孤立単原子の状態密度

DOS

DOS

グラフェン-X

結合距離E

原子X 状態密度

予測値

学習データ
８割

Test data
R2決定係数 = 0.96
計算値

テストデータ２割

E

グラフェン 状態密度

予測

データサイズ
3887+120+94

グラフェン-X
結合エネルギー
共有結合※以下のデータを計算の信頼性の低さにより除外
・計算未収束の分子
・結合Eが正の分子・希ガス原子を含む分子・ランタノイド原子を含む分子

E. Suzuki et al., Appl. Phys. Exp. (2021)

• 結合前の状態密度からの結合エネルギー等の予測

E. Suzuki et al., Appl. Phys. Exp. (2021)

本日の内容理論計算ー 放射光分析 × 機械学習
DX による化学イノベーション ー

機械学習を活用したXAFS解析

Beyond “XANES”
機械学習を活用した化学反応関連物性の予測
表面吸着物性（吸着エネルギー，距離）予測
その他

Open Scienceの重要性：DB，コード公開
C-K端 XAS/EELSデータベース

２原子分子結合データベース

11万個のC-K端スペクトル

結合強度
結合距離
共有結合
フェルミ準位Spinﾓｰﾒﾝﾄ

Overlap Population Diagram（COOP diagram)+COOP
バンド計算で化学結合解析
可能なコードの整備が不十分

元素間の“相性”を理解→ 吸着等
K. Shibata et al. Sci. Data (2022)

K. Shibata et al., Data in Brief 36 (2021) 106968.

I. Takahara et al. in preparation

界面モデリングコードの公開：既存コードとの比較
コード名

サポートしている
結晶系

異相界面？

歪導入によるnear ΣReference

GB_codeCubicのみ

未対応

No support

R. Hadian, B. Grabowski, J. Neugebauer, • Review •Repository • Archive, (2018).

Aimsgb

Cubicのみ

未対応

No support

Cheng J, Luo J, Yang K. Computational Materials Science,
2018, 155: 92-103.

GB studio（粒界工房）

Cubicのみ

未対応

No support

https://staff.aist.go.jp/h.ogawa/GBstudio/indexE.htm

Pymatgencubic; hexagonal;
rhombohedral;tetragonal;
orthogonal systems

一部対応

Need
manualcalculation

S.P. Ong, W.D. Richards, A. Jain, G. Hautier, M. Kocher, S.
Cholia, D. Gunter, V.L. Chevrier, K.A. Persson, G. Ceder,
Comput. Mater. Sci. 68 (2013) 314–319.

interface_master(our code)

全格子系に対応

完全対応

完全自動

https://github.com/nmdlmizo/interface_master（公開終了）

ユニットセルのcifファイル→ 方位（許容できる歪）の指定→ CSL界面の探索＆提案 → 構造出力 (VASP, Lammps)

界面モデリングソフト: “Interface Master”を用いた界面モデリング
interface_master(our code)

https://github.com/nmdl-mizo/interface_masterCu symmetric tilt GBs

Li10Ge(PS6)2（LGPS）[001]軸[110]軸[010]軸界面モデリングソフト: “Interface Master”を用いた界面モデリング
interface_master(our code)

https://github.com/nmdl-mizo/interface_master

超伝導を発現した1.1°bilayer grapheneモアレ構造のモデリング（Nature 2018）h-BN/grapheneヘテロモアレ構造モデリング（0.05%程度の歪の導入により自動的に実現）

まとめ

機械学習を活用したXAFS解析

機械学習を活用した化学反応関連物性の予測