2022年度 人工知能学会全国大会 (第36回)※ 本著作物の著作権は人工知能学会に帰属します。本著作物は著作権者である人工知能学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」に従うことをお願いいたします。

3 次元メッシュで表現した結晶構造を用いた材料物性の予測に向けた深層学習モデルの設計
Design of Deep Learning Model for Predicting Material Properties
Using Crystal Structure Represented by Three-Dimensional Mesh

∗1鶴田 博文 ∗1

桂 ゆかり ∗2∗3∗4

熊谷 将也 ∗1∗4∗5

Hirofumi Tsuruta

Yukari Katsura

Masaya Kumagai∗2

さくらインターネット株式会社
SAKURA internet Inc.

物質・材料研究機構

National Institute for Materials Science (NIMS)∗4

理化学研究所
RIKEN

∗5

∗3

東京大学

The University of Tokyo

京都大学

Kyoto University

To improve the eﬃciency of the development of new materials, research on predicting material properties using
deep learning has been actively conducted. Since material properties are greatly aﬀected by the crystal structure,
data representation methods for the crystal structure and the design of deep learning models have been proposed.
In the previous method, the crystal structure is converted into a two-dimensional graph, and the properties arepredicted using a graph convolutional neural network. However, since the crystal structure is originally threedimensional, it loses three-dimensional information such as atomic positions by converting it into a graph. Here,
we focus on representing the crystal structure as a three-dimensional mesh and propose a deep learning model
for predicting properties using the mesh data. The proposed method uses data created by converting the crystalstructure into a three-dimensional mesh by Delaunay tetrahedralization. The evaluation of the prediction of theformation energy shows that the mean absolute error of the proposed method is 0.066 eV/atom, which is less thanthe calculation error by simulation.

1.

はじめにとに着目し，メッシュデータと構成元素に基づく特徴量を用いた物性予測のための深層学習モデルを提案する．メッシュデー
タは，ドロネー四面体分割により作成する．結晶構造を 3 次元データとして取り扱う提案手法は，230 種類の 3 次元空間群を 86.9 %の精度で分類可能であるため，結晶構造の 3 次元情報を捉えていることが示唆された．また，物性予測の評価の結果，いくつかの物性に対しては，CGCNN と同等以上の精度で予測可能であることを示した．
本稿の構成を述べる．2 章では，関連研究について述べる．
3 章では，提案する深層学習モデルの設計およびモデルへの入力となるメッシュデータの作成方法を説明する．4 章では，提案手法の評価の結果と考察を述べる．最後に，5 章では，本論文をまとめ，今後の展望を述べる．

材料科学の分野において，所望の物性を有する材料を開発することは，重要な目標の一つである．しかし，無数に存在する材料組成の中から実験的に材料を探索し続けることは，膨大な費用と時間が必要である．そのため，新規材料の研究開発の効率化を目的として，材料科学と情報科学の融合分野であるマテリアルズ・インフォマティクス [Rajan 15] が注目されている．特に，画像認識や自然言語処理などの分野で大きな成果を上げている深層学習の材料科学への適用が急速に進んでおり，深層学習モデルを用いて計算機上で材料物性を予測する研究が盛んに行われている．
深層学習モデルを用いた物性予測では，材料が有する情報をモデルに入力するために，どのような特徴量に変換するかが重要である．一般に，材料の物性は，その内部の結晶構造の影響を大きく受けるため，これまでに様々な結晶構造のデータの表現方法や，それらを活用した深層学習モデルの設計が提案されている．代表的な先行手法である Crystal Graph ConvolutionalNeural Networks（CGCNN）[Xie 18] は，結晶構造を 2 次元のグラフに変換し，グラフ畳み込みニューラルネットワークを用いて物性を予測する．CGCNN は，形成エネルギーやバンドギャップなどの物性予測において，シミュレーションによる計算誤差以下の非常に高い精度を実現している．しかし，結晶構造は本来 3 次元の情報であるため，グラフに変換することで原子位置などの 3 次元情報を失うことになる．そのため，結晶構造の 3 次元情報を活用したデータの表現方法や深層学習モデルを設計することで，さらに物性予測の精度を高める余地がある．
本研究では，結晶構造を 3 次元メッシュとして表現するこ

2.

関連研究

2.1

結晶構造を用いた材料物性の予測

材料の結晶構造から得られる情報と深層学習などの機械学習モデルを用いて材料物性を予測する場合，結晶構造をどのように特徴量に変換するかが重要な問題である．Xie らにより提案された CGCNN[Xie 18] は，結晶構造を 2 次元のグラフに変換する．グラフにおけるノードは，各原子に相当する．一方，結晶構造では，原子間の結合が明確でないため，グラフにおけるエッジを定義する必要がある．CGCNN では，原子間距離が 6 Å 以下の近傍原子を探索し，各原子の共有結合距離の合計よりも短ければエッジを共有する．エッジを共有するノードの数は，原子間距離が近い順から最大 12 個までと定義している．また，作成したグラフのノードの特徴量として原子の族や電気陰性度などの 9 つの物性値を利用し，エッジの特徴量として原子間距離に応じた値を利用する．作成したグラフは，グラフ畳み込みニューラルネットワークを用いて学習を行う．
CGCNN は，形成エネルギーやバンドギャップなどの物性予測において，シミュレーションによる計算誤差以下の非常に高い

連絡先: 鶴田博文，さくらインターネット株式会社 さくらイン
ターネット研究所，福岡県福岡市中央区赤坂 1-12-15 読売福岡ビル 7F，hi-tsuruta@sakura.ad.jp

1

精度を実現している．現在，CGCNN は物性予測における最も実用的な手法の一つであり，CGCNN に関連した多くの研究が行われている [Cheng 21, Lee 21]．

2.2

表 1: 原子の特徴量

3 次元データを取り扱う深層学習モデル

3 次元データの表現方法には，点群，メッシュなどがある．
近年，これらの 3 次元データを直接取り扱うことができる深層学習モデルが急速に発展している [Guo 20]．一方，3 次元データとして捉えた結晶構造を活用して材料物性の予測を行う研究は，グラフに比べて少ない．
Okuno らは，結晶構造に含まれる原子を点群として表現することに着目した [奧野 20]．代表的な点群を取り扱う深層学習モデルである PointNet[Qi 17] をベースとしたモデルを構築し，形成エネルギーなどの物性予測を行っている．評価の結果，予測精度は CGCNN には及ばないが，いくつかの物性に対してはシミュレーションによる計算誤差以下で予測可能であることを示した．
結晶構造をメッシュで表現し，深層学習モデルを用いて物性予測を行った研究は我々の知る限りない．メッシュは点群のそれぞれの点の間に接続が定義され，面を構成する．メッシュは3 次元形状の表現力が高いため，コンピュータビジョンなどの分野で広く研究されており，メッシュを直接学習できる深層学習モデルが提案されている．MeshNet[Feng 19] は，メッシュを構成する三角形面を構成単位として捉え，面の情報を集約する畳み込みニューラルネットワークを提案した．MeshNet は，3 次元物体の形状分類に適用可能であることが示されている．

3.

単位範囲

カテゴリ数族
周期
電気陰性度
共有結合半径価電子
第一イオン化エネルギー
電子親和力
ブロック
原子体積pmeV
eVcm3 /mol

1, 2, ..., 18
1, 2, ..., 90.5-4.025-250
1, 2, ..., 12
1.3-3.3−3-3.7s, p, d, f
1.5-4.3

1891010121010410単位胞を利用する．得られる四面体における頂点は原子に相当し，辺は隣接原子との空間的な関係性を表現している．ドロネー四面体分割は，Scipy[Virtanen 20] が提供する Qhull ラ
イブラリ [Barber 96] を用いた N 次元ドロネー分割プログラ
ムを使用する．各種結晶構造の操作には，材料解析用ライブ
ラリ Pymatgen[Ong 13] を使用する．各結晶構造のメッシュ
データに含まれる頂点は，頂点の重心が原点となるように平行移動する．
MeshNet などが対象としているメッシュデータは，3 次元物体の表面形状を表現するため，1 つの三角形面は 3 つの三角形面と 1 辺を共有して隣接する．しかし，作成したメッシュデータは，結晶構造の内部を表現するため，1 つの三角形面に隣接する面の数は 3 つとは限らない．

3.2モデルの設計

前節で述べたドロネー四面体分割により作成したメッシュ
データは，三角形面を要素とする集合データとして捉えることができる．集合データを入力とするモデルの設計には，満たすべき 2 つの要件がある．まず，集合データは，要素の順序を任意に並び替えてもデータの性質が変わらない順列不変性を持つため，集合データを入力とするモデルの出力も順列不変性を持つことが要求される．次に，モデルは異なる要素数の集合データを入力できることが要求される．実際に作成したメッシュデータは，各結晶構造ごとに保有する三角形面の数が異なっている．これら 2 つの要件を満たすために，提案する深層学習モデルでは，PointNet の設計を採用する．要素数 n の集合データ X = {x1 , x2 , ..., xn } が与えられたとき，モデルの出力 f (X) は以下の式で表される．

3 次元メッシュを用いた物性予測のための深層学習モデル

本研究では，3 次元メッシュとして表現した結晶構造と構成元素に基づく特徴量を用いた物性予測のための深層学習モデ
ルを提案する．図 1 は，提案手法の概要図である．本章では，まずモデルへの入力となるメッシュデータの作成方法について説明する．次に，メッシュを構成する三角形面を構成単位として捉えた提案する深層学習モデルの設計について説明する．

3.1

特徴量

メッシュデータの作成

メッシュデータの作成には，ドロネー四面体分割を採用する．
ドロネー四面体分割は，ドロネー三角形分割 [Delaunay 34] を三次元の点群に適用したアプローチであり，与えられた頂点に基づいて空間を四面体で敷き詰めた構造として表現することができる．このように四面体で敷き詰められた構造を 3 次元メッシュと表現する．本研究では，このドロネー四面体分割により結晶構造の 3 次元メッシュ化を行う．特に結晶構造は，特定の1 つの基本構造（以下，単位胞と呼ぶ）が周期的に積み重なった構造として表現される．そのため，結晶構造の特徴を表現するためには，結晶構造全体を考える必要はなく，単位胞近傍でつくり出される四面体の集合の特徴だけをメッシュデータとして取り扱えばよいと考えられる．
以下，具体的なメッシュデータの作成方法を説明する．まず
点群は，結晶構造の単位胞を基に作成した 5×5×5 のスーパーセルの原子位置によって作成する．その点群に対してドロネー四面体分割を施し，その中心に位置する 1×1×1 の単位胞が作り出す四面体の集合をメッシュデータとして使用する．ただし，四面体を構成する 4 つの頂点が 1 つでも単位胞中に含まれる場合，その四面体も単位胞に含まれるものとして考える．
また単位胞に含まれるかどうかの判定は，±0.05 Å の座標のずれを許容する．単位胞には，図形としての理解が容易な慣用()
f (X) = g M AX {h(xi )}
i=1,...,n(1)ここで，g および h は多層パーセプトロン（MLP）であり，h は全ての要素 i に対して重みを共有している．M AX は全ての要素に対して特徴量の各成分の最大値を取る Max Poolingである．Max Pooling の処理により，集合の要素の順列に依存しない出力が得られる，かつ異なる要素数の集合データに対して同一次元の出力が得られるため，式 (1) は前述の 2 つの要件を満たす．以下，提案する深層学習モデルの処理の流れを入力の特徴量ごとに説明する．
図 1 に示した通り，提案するモデルへの入力データは，メッシュを構成する三角形面ごとに 4 つの特徴量を持つ．Centerは，三角形の重心の座標である．Normal は，三角形の重心から面と垂直に交わる長さ 1 の法線ベクトルであり，原点から外向きのベクトルである．Corner は，三角形の重心から各頂点に向けたベクトルである．Atom Features は，表 1 に示した原子の特徴量に基づいた特徴量である．これは，CGCNN で用いられている特徴量と同様であり，9 つの特徴量を離散化し2図 1: 提案手法の概要図て 92 次元のバイナリベクトルで表現される．提案手法では，各三角形面を構成する三つの原子のバイナリベクトルの平均値を用いる．
Center，Normal，Atom Features はそれぞれ重みを共有した MLP で特徴抽出を行う．Corner の特徴抽出には，MeshNet
で提案された Face Rotate Convolution[Feng 19] を採用する．
これは，Corner に含まれる 3 つのベクトルから 2 つを取り出した 3 パターンのベクトルの組み合わせのそれぞれに対して重みを共有した MLP で処理した後に Max Pooling を行う処理であり，モデルの出力が順列不変性を満たすために式 (1) のh に求められる要件を満たす．Face Rotate Convolution は，三角形の形の特徴を抽出することができる．それぞれの処理を行った 4 つの特徴量は，結合して重みを共有した MLP で処理した後，Max Pooling により，固定次元のベクトルに変換される．最後に，固定次元のベクトルを通常の MLP で処理して出力値を得る．

4.

表 2: 空間群の分類精度の評価結果
CGCNN/%

86.946.0

物性単位

訓練データ数

提案手法

CGCNN

形成エネルギー
体積弾性率
剛性率

eV /atomlog(GP a)log(GP a)

50393
4585
4459

0.066
0.072
0.128

0.054
0.075
0.132

分類精度の評価結果を示している．提案手法および CGCNNの空間群の分類精度は，それぞれ 86.9 %および 46.0 %であり，提案手法の方が高い精度となった．これは，CGCNN は結晶構造を 2 次元のグラフで表現しているのに対して，提案手法
では 3 次元のメッシュで表現していることに起因していると考えられる．また，設計した深層学習モデルは，メッシュデータから結晶構造の 3 次元情報を捉えていることが示唆された．

評価

4.3

物性の予測

提案手法の物性予測の性能を評価するために，形成エネル
ギー，体積弾性率，剛性率の 3 つの物性に対する予測を行った．表 3 は，それぞれの予測に対する平均絶対誤差（MAE）の評価結果を示している．形成エネルギーの予測において，提案手法および CGCNN の MAE は，それぞれ 0.066 eV/atomおよび 0.054 eV/atom であり，CGCNN の方が高い予測精度となった．形成エネルギーのデータに内在するシミュレーショ
ンによる計算誤差は 0.081〜0.136 eV/atom 程度 [Kirklin 15]であるため，提案手法の形成エネルギーの予測精度は，シミュレーションによる計算誤差以下であることが示された．
一方，力学的な物性である体積弾性率および剛性率に対する予測精度は，CGCNN よりもわずかに提案手法が上回っている．このことは，提案手法で捉えている結晶構造の 3 次元情報が形成エネルギーなどの電子的性質よりも，体積弾性率や剛性率などの力学的性質の予測に寄与していることを示唆している．

データセット

本実験では，Materials Project[Jain 13] のデータセット（2018 年 10 月 18 日時点 ∗1 ）を用いて評価を行う．Materials Project は，未知の材料も含めた膨大な数の結晶構造に対して第一原理計算を行い，そこで得られた各種物性を収録したデータベースである．それぞれの評価では，欠損値を除去したデータのうち，60 %を訓練データ，残りの 20 %ずつを検証データ，テストデータとした．以降の評価結果は，訓練データで学習したモデルのテストデータに対する評価結果である．

4.2

提案手法/%50393

表 3: 物性の予測誤差の評価結果

本章では，提案する深層学習モデルの性能を評価するために，空間群の分類，および形成エネルギー，体積弾性率，剛性率の予測を行う．評価におけるベースラインとする手法として，CGCNN を用いる．

4.1

訓練データ数空間群の分類

提案手法が結晶構造の 3 次元情報を捉えられているかを確認するために，空間群の分類精度を評価した．空間群とは，結晶構造の対称性に基づく分類であり，全ての結晶構造は 230 種類の 3 次元空間群のうちの 1 つに属している．表 2 は，空間群の∗1 Materials Project Data: https://figshare.com/articles/dataset/Materials_Project_Data/7227749

35.

まとめと今後の展望[Kirklin 15] Kirklin, S., Saal, J. E., Meredig, B. et al.:Commentary: The Open Quantum Materials Database(OQMD): Assessing the Accuracy of DFT Formation
Energies, npj Comput. Mater., Vol. 1, 15010 (2015)

本研究では，結晶構造を 3 次元メッシュとして表現することに着目し，メッシュデータと構成元素に基づく特徴量を用いた物性予測のための深層学習モデルを提案した．Materials
Project のデータセットを用いた評価の結果，提案手法は 230
種類の 3 次元空間群を 86.9 %の精度で分類可能であることがわかった．これにより，提案手法が，結晶構造の 3 次元情報を捉えていることが示唆された．また，形成エネルギー，体積弾性率，剛性率の予測の評価の結果，形成エネルギーは CGCNNの精度を下回っているもののシミュレーションによる計算誤差以下で予測可能であり，体積弾性率および剛性率は CGCNNと同等以上の精度で予測可能であることを示した．
今 後 は ，材 料 科 学 分 野 の ベ ン チ マ ー ク で あ る
Matbench[Dunn 20] を 利 用 す る こ と で ，本 研 究 で 評 価した物性以外の電子的性質や熱力学的性質，力学的性質等に対する評価を行い，様々な先行研究の手法と比較することで提案手法の有用性を確認する．

6.

[Lee 21] Lee, J. and Asahi, R.: Transfer Learning for Materials Informatics Using Crystal Graph Convolutional
Neural Network, Computational Materials Science, Vol.
190, 110314 (2021)[奧野 20] 奥野 智也, 佐々木 勇和, 原田 圭, 吉村 政志: 結晶の物性値予測における点群深層学習の応用, 第 12 回データ
工学と情報マネジメントに関するフォーラム (DEIM2020)(2020)[Ong 13] Ong, S. P., Richards, W. D., Jain, A. et al.:Python Materials Genomics (pymatgen): A Robust,
Open-Source Python Library for Materials Analysis,
Computational Materials Science, Vol. 68, pp. 314-319(2013)

謝辞[Qi 17] Qi, C. R., Su, H., Mo, K. et al.: PointNet: Deep
Learning on Point Sets for 3D Classification and Segmentation, in Proceedings of the IEEE Conference on
Computer Vision and Pattern Recognition (CVPR), pp.
652-660 (2017)

本研究は，科学技術振興機構 (JST) CREST JPMJCR19J1の支援を受けたものである．ドロネー四面体分割に関する有意義なご意見をいただいた産業技術総合研究所の日沼洋陽先生，富山大学の秋山正和先生，物質・材料研究機構の高田悠氏，東京大学の平野健太氏に深く感謝の意を表する．

[Rajan 15] Rajan, K.: Materials Informatics: The Materials Gene and Big Data, Annu. Rev. Mater. Res., Vol.
45, No. 1, pp. 153-169 (2015)

参考文献[Barber 96] Barber, C. B., Dobkin, D. P., and Huhdanpaa, H.: The Quickhull Algorithm for Convex Hulls,
ACM Trans. Math. Softw., Vol. 22, pp. 469-483 (1996)[Virtanen 20] Virtanen, P., Gommers, R., Oliphant, T. E.
et al.: SciPy 1.0: Fundamental Algorithms for Scientific Computing in Python, Nature Methods, Vol. 17,
pp. 352-352 (2020)[Cheng 21] Cheng, J., Zhang, C., and Dong, L.: A
Geometric-Information-Enhanced Crystal Graph Network for Predicting Properties of Materials, Commun.
Mater., Vol. 2, No. 92, pp. 1-11 (2021)[Xie 18] Xie, T. and Grossman, J. C.: Crystal Graph Convolutional Neural Networks for an Accurate and Interpretable Prediction of Material Properties, Phys. Rev.
Lett., Vol. 120, 145301 (2018)[Delaunay 34] Delaunay, B.: Sur la sphere vide. A la memoire de Georges Voronoi, Bulletin de l’Academie des Sciences de l’URSS, No. 6, pp. 793-800 (1934)[Dunn 20] Dunn, A., Wang, Q., Ganose, A. et al.: Benchmarking Materials Property Prediction Methods: TheMatbench Test Set and Automatminer Reference Algorithm, npj Comput. Mater. Vol.6, 138 (2020)[Feng 19] Feng, Y., Feng, Y., You, H. et al.: MeshNet:
Mesh Neural Network for 3D Shape Representation, inProceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01 pp. 8279-8286 (2019)[Guo 20] Guo, Y., Wang, H., Hu, Q. et al.: Deep Learningfor 3D Point Clouds: A Survey, IEEE Transactions on
Pattern Analysis and Machine Intelligence, Vol. 43, No.
12, pp. 4338-4364 (2020)[Jain 13] Jain, A., Ong, S. P., Hautier, G. et al.: Commentary: The Materials Project: A Materials Genome
Approach to Accelerating Materials Innovation, APL
Mater., Vol. 1, 011002 (2013)4