畳み込みニューラルネットワークを用いた微粒子触媒の双晶構造の識別

山本悠太
分析・物質技術支援室

表面分析・形態観察技術グループ

概要
原子分解能 STEM(走査透過電子顕微鏡)で撮像した金微粒子触媒の双晶構造の有無を識別するために、CNN(畳み込みニューラルネットワーク)を活用した。特に、画像をハフ変換したパターンによる CNN の学習と識別においては、STEM 像そのものによるそれよりも、はるかに高い正答率を示した。提案する方法は、触媒活性に影響のある金微粒子の双晶構造の統計的な評価において、非常に有効であることを示した。

1

背景

5nm 以下の金微粒子が触媒活性を示すことは良く知られており[1]、その活性は他の微粒子金属触媒と同様に粒子径と相関があるとともに、構造中の双晶構造など結晶構造の影響を受けることも知られている[2][3][4]。
透過電子顕微鏡(以下 TEM: Transmission Electron Microscope)を用いた、金微粒子の構造中の双晶構造を確認する方法としてよく知られているものは、暗視野(以下 DF: Dark Field)TEM 像中のバタフライコントラストから識別する方法である[5]。しかしこの方法は、カーボン支持膜など均一で薄い支持体に金微粒子が載っている試料には有効である一方で、分散性を上げるために厚い金属酸化物などに担持した微粒子触媒の試料では、担体由来のコントラストが微粒子のバタフライコントラストよりも強く出てしまい、上手く識別することができない場合がある。TEM を用いた担体と微粒子を識別する有効な方法として、原子分解能での高角度散乱
暗視野走査透過電子顕微鏡法(以下 HAADF-STEM: High Angle Annular DF Scanning Transmission ElectronMicroscopy)により、原子番号に比例したコントラスト強度の画像である Z コントラスト像を得る方法がある[4][6-9]。しかし、触媒の評価では 1 試料当たり数百個以上の検体の評価が求められるため、観察で得られた像内の微粒子 1 個 1 個の結晶構造の同定を人間の手で行うと、1 つの実験系のみにおいても数千個以上の微粒子の結晶構造を同定することになり、あまりにも労力がかかる。そこで、人工知能(以下 AI: ArtificialIntelligence)による自動的な像識別において近年注目を集めている、畳み込みニューラルネットワーク(以下CNN: Convolutional Neural Network)に注目し、得られた HAADF-STEM 像から双晶のものを自動識別し、その割合を評価する方法に応用を試みた。
AI による画像識別問題は、従来的なニューラルネットワークと、ディープラーニング(以下 DL: DeepLearning)がある。従来的なニューラルネットワークは、画像を読み込み入力層と、識別する識別層の間に 1～2 層の隠れ層を挟んだ、3～4 層のネットワーク構造を取っている。それぞれの層はノードと呼ばれる人工ニューロンの集合から成っており、元の入力画像の空間座標と相関を持たせてノードを配列して可視化した図を特徴マップと呼ぶ。それぞれの層の各ノードは、前後の層の各ノードとある重みで結合しており、従来的なニューラルネットワークでは、最終的な正答率が高くなるように、結合重みを人間の手で微調整する。
これは、電子顕微鏡の分野においては、例えば電子線トモグラフィーの撮像時の追跡用マーカーの自動追尾などに応用されている[10-12]。一方で DL は、AI により最適化された多層ネットワークを識別モデルとして用いる。
CNN は 1980 年代に開発された DL の一種であり[13]、多層ネットワーク中に畳み込み層とプーリング層を含むことが特徴のシステムである。CNN は、特徴マップに対して画像フィルターのように働く演算層や特徴抽出において位置不変性を与える演算層を用い、最終的な回答率が上昇するようにノード間の結合重みを AIが繰り返し更新して、画像中の特徴を取り出す。CNN は既に 1980 年代に、手書き文字の自動認識に成功している[14]。
今回は、CNN を用いて、HAADF-STEM 観察で得られた金微粒子の Z コントラスト像から、結晶構造中の双晶構造の有無の識別を試みた。また、学習と識別において、Z コントラスト像のデータセットと、それをハフ変換したデータセットを用いたそれぞれの結果の比較をした。さらに、特徴マップにおいて、ネットワークが識別に用いている箇所について、検証を行った。

2

実験方法

金微粒子触媒の調製方法および観察方法については、自著の原著論文である文献[15]に詳細の記載があるため、ここでは割愛する。得られた金微粒子触媒の HAADF-STEM 像は、粒子が枠いっぱいになるようにトリミングし、180x180 画素 2 にリサイズした。397 枚の画像データを作成した。それぞれの画像データには、結晶構造に対応するよう、単結晶のものには”single”、双晶構造を含む双晶粒子や多重双晶粒子には”twin”とラベルを付けた。ラベル付けは、観察で得られた HAADF-STEM 像と、理論計算した金微粒子の HAADF-STEM像とを対比させて行った。理論計算には、動力学的 HAADF-STEM 像シミュレーションソフトである
KINE-HAADF[16]を用いた。KINE-HAADF には、理論計算により構造の最適化をした単結晶、双晶、多重双晶の 3 種類の結晶構造の金微粒子モデル[17]を用いた。単結晶には、金原子 147 個で構成された 8 面体構造のモデルを、双晶には、金原子 147 個で構成された 10 面体構造のモデルを用いた。多重双晶には、伊野モデル[18]と呼ばれる 181 個の金原子により構成された 10 面体構造のモデルを用いた。ガウシアン幅は、電子線プローブの幅に対応させて 0.07nm[6]とした。理論計算像は、x, y, z 軸それぞれを 0～90°の範囲を 1°ステップで回転させたものを全て画像ファイルとして保存した。観察で得られた HAADF-STEM 像と一致する理論計算像を探し、その理論計算像のモデルが単結晶の場合には HAADF-STEM 像に”single”と、その理論計算像のモデルが双晶および多重双晶の場合には”twin”とラベルを付けて、データセットにした。図 1 に典型的なHAADF-STEM 像と、それと対応させた理論計算像を示す。

図 1 (a)-(c)観察で得られた HAADF-STEM 像。(a)単結晶。(b)双晶。(c)多重双晶。 (d)-(f)それぞれ(a)-(c)に対応させた理論計算像。(d)単結晶。(e)双晶。(f)多重双晶。

比較のために、各 Z コントラスト像を、ソーベル輪郭検出[19]した後に、Hough 変換したもうひとつデータセットを準備した。Hough 変換は、画像中の直線を検出するために用いられるデジタル画像処理方法であり、電子顕微鏡の分野においては、走査電子顕微鏡を用いた電子線後方散乱回折法による結晶方位の同定において、菊池線を検出するために用いられている[20]。Hough 変換は、広く一般に用いられている x-y デカル
ト座標系を、原点から直線に引いた法線の長さ(ρ)と、x 軸とその法線との角度(θ)に変換する方法であり、次の式で示すことができる[21]。

図 2 に、原子分解能の金微粒子の模式図と、それをハフ変換したパターンを示す。(a)-(c)はそれぞれ、一方向の格子縞が認められる単結晶の粒子、二方向の格子縞が単結晶の粒子、双晶の粒子であり、(d)-(f)はそれぞれ(a)-(c)をハフ変換したパターンである。(d)においては、一方向の格子縞から変換された縦に並んだ特徴的なパターンが認められる。(e)では、(b)の二方向の格子縞に対応して、(d)で認められた縦方向の特徴的なパターンが 2 つ認められる。(f)では、2 つの縦方向の特徴的なパターンが認められるが、(c)の格子縞が(a)や(b)よりも短いことに対応して、特徴的なパターンが弱く、広がっている様子が認められる。

図 2 (a)-(c)HAADF-STEM の模式図。(a)一方向の格子縞の単結晶粒子。(b)二方向の格子縞の単結晶粒子。(c)双晶粒子。(d)-(f)それぞれ(a)-(c)を、ソーベル輪郭検出した後に Hough 変換して得られたパターン。

図 3 に、像のデータセット中の典型的な Z コントラスト像と、それを Hough 変換したパターンを示す。単結晶(a)を Hough 変換して得られたパターン(c)においては、模式図と同様に、縦に並んだ特徴的なコントラストが認められる。一方で、双晶(b)を Hough 変換して得られたパターン(d)においては、図 2(f)ほどはっきりとしてはいないが、2 つの、縦方向に並んだ特徴的なパターンがわずかに認められる。

図 3 (a),(b)典型的な Z コントラスト像。(a)単結晶のラベルが付いているもの。(b)双晶のラベルが付いているもの。(c),(d) それぞれ、(a)と(b)をソーベル輪郭検出した後に Hough 変換して得られたパターン。

CNN の動作環境やソフトウェアに関しては、文献[15]に詳細の記載がある。文献[13]から進化して、ここ10 年ほどの DL ブームの先駆けとなった現代的な CNN を、最も簡素なネットワーク構造にすると、入力層から始まり、畳み込み層、非線形化ユニット(以下 ReLU: Rectified Linear Unit)層、最大プーリング層、全結合層、ソフトマックス層、識別層の、学習層 2 層、全 7 層の構造となる。以下に、各層について詳細を示す。
入力層は、用いる Z コントラスト像のサイズである 180x180x1 画素 3(8bit のグレースケールの像を用いているため x1、RGB カラー画像なら x3)の大きさと同じ数のノードで構成され、各ノードは入力画像の画素の各コントラスト強度値と同じ値を持つ。そのため入力層の特徴マップは、入力した画像と同じになる。
畳み込み層は、学習ごとに正答率が上がるように AI が更新するため、学習層の一種である。前の層の特徴マップに画像フィルターのように働く畳み込み演算を行い、自己学習して自動で特徴を探索する特徴抽出器のように働く。前の層の特徴マップにカーネルを当て、カーネル内の各ノードの値にそれぞれある係数を掛け算し、その後足し合わせ、畳み込み層のノードの値とする。前層ノードの値に掛ける係数は、AI が学習ごとに、正答率が上がると判断する方向に更新していく。ここでは、正方形のカーネルを用いカーネルサイズ
F は 5、7、9、11、13、15 とし、フィルターの枚数に対応するチャンネル数 N は、40、70、100、130、160、190 とした。また、畳み込みの演算で特徴マップが小さくなるのを防ぐために、入力する特徴マップの外側

に 0 値のノードを仮想的に指定幅で配置するゼロパディング P には、デフォルトの幅値である 0 を用いた。
入力する特徴マップに対してカーネルを当てる際の、カーネルの移動幅の大きさである移動量 S には、デフォルト値である 1 を用いた。結果として、得られる特徴マップの大きさは、(180+2P-F)/S+1 の深さ N となる。
フィルターの重みに対応する各カーネルの係数は平均 0、標準偏差 0.01 のランダムな数値から始まるものを使っている。
次の ReLu 層は、前の層の特徴マップ中の負の値を 0 とした特徴マップを作製する演算であり、計算の高速化に大きく寄与している[22]。
最大プーリング層は、前の層の特徴マップに、指定の大きさのカーネルを当て、カーネル内のノードの最大の値を最大プーリング層のノードにそのまま渡し、特徴抽出機能と特徴マップを小型化する効果があり、これが CNN の位置不変的な特徴抽出に大きく寄与している。ここでは、カーネルは 3x3 の大きさで、移動量を 3、ゼロパディングを 0 とした。
全結合層では、層内の各ノードが、前の層の全てのノードと、それぞれ異なる結合重さで結合しており、初めは畳み込み層と同じ条件のランダムの値から始まる。学習ごとに値が更新されるため、学習層の一種である。全結合層のノードの数は、クラス分けの数と等しいので、この問題の場合には単結晶と双晶を含む場合の 2 つに対応して、2 個である。
最後に、アウトプットを得るために、全結合層の後にソフトマックス層と識別層が配置されている。ソフ
トマックス層は、前の全結合層のそれぞれのノードの値を全ノードの値の合計値で割った確率のような値を与える。これらの値は識別層に渡され、最も値が大きいものがネットワークの回答だと認識して、その答えが正しいか間違っているかを判断する。そして、学習ごとに、正答に対応するソフトマックス層内のノードの値が 1.0 に近づくように、ネットワーク中の学習層の変数を更新する。
ミニバッチ学習は、全画像を使い変数を調整する方法と比較して、正答率が向上し、より良い結果が得られるため CNN に利用されている[23]。指定された特定の数の画像が学習用データセットからランダムに選択され(ここでは、ミニバッチ数は 16 とした)、その小集団で学習を行う。そしてその処理は、指定したエポック数まで複数回繰り返される。ここでは、エポック数は 120 とした。エポック数が小さい場合、学習が十分に行われないことが想定される。また、エポック数が大きいと、過学習と呼ばれる、トレーニングデータに対するオーバーフィッティングが起こってしまう。ここでは、エポック数 10－200 の間で事前検討を行い、120 に決めた。
データセットは、ネットワークごとに、ランダムに学習用 7 対検証用 3 に分割した。ここでの学習は、全て 10 分以内で終わっており、ノード数の少ないネットワークほど、より早く学習が終わる傾向にあった。その後、検証用のデータセットを用い、コンフュージョンマトリクスを作成した。また、畳み込み層のカーネルの大きさと深さに対応する正答率を、表として得た。

3

結果と考察

3.1

ネットワークの設計

CNN の畳み込み層の大きさやチャンネル数を変え、Hough 変換したパターンを用いて学習した CNN から得られた正答率を図 4 に示す。得られた値はどれも、70%を超えていない。
画像の格子縞の角度は、画像の特徴の識別に用いる Hough 変換パターンの重要なパラメーターであるため、移動不変性を向上させるために、畳み込み層の後に配置された最大プーリング層の最大層数を 4 まで増やした。最大プーリング層の層数が 2-4 の時に得られた正答率を、図 5 に示す。それらの結果は、最大プーリング層を繰り返して層数を増やすほど、正答率が上がる傾向を示している。

図 4 Hough 変換したデータセットに、記載の通り構築されたネットワーク(I:入力層、C:畳み込み層、R:ReLU層、M:最大プーリング層、F:全結合層、S:ソフトマック層、Cf:識別層)の畳み込み層の大きさやチャンネル数を変えたものを適用し、得られた CNN の正答率。

図 5 記載の通り構築されたネットワークの畳み込み層の大きさやチャンネル数を変えたものを適用し、得られた CNN の正答率。正答率が 70%を超えるものは太字、80%を超えるものは赤太字で表示している。

図 6 記載の通り構築されたネットワークの畳み込み層の大きさやチャンネル数を変えたものを適用し、得られた CNN の正答率。正答率が 70%を超えるものは太字、80%を超えるものは赤太字で表示している。

図 6 に、畳み込み-ReLU-最大プーリング層のセットを繰り返したものの結果を示す。層のセットを繰り返す回数が増えるほど、正答率が向上する傾向が認められる。特に、7x7 の大きさで 100 チャンネルの畳み込み層を用い、層のセットを 3 回繰り返したネットワークは、最も高い 85%の正答率が得られた。
比較として、学習および検証用のデータセットとして、Hough 変換をしていない、トリミングした金微粒子の原子分解能 Z コントラスト像を用いた結果のコンフュージョンマトリクス、および図 6 で最も高い正答率を示した結果のコンフュージョンマトリクスを、図 7(a)-(d)として示す。

図 7 HAADF-STEM 像のデータセットと Hough 変換したデータセットの比較のコンフュージョンマトリクス

図 7(b),(c)では、分析した全ての画像を双晶として識別しており、用いたネットワークが、このデータセットに適していないことを示唆している。また、図 7(d)の結果では single を single、twinned を twinned と認識することに、高い率で成功している一方で、図 7(a)の結果はほぼ偏りがないことから、画像識別が有効に働いていないことが分かる。従って、Hough 変換は、CNN を用いた金ナノ粒子の結晶構造の自動識別において、効果的に機能することが分かった。それは Hough 変換が、画像に全体的に広がった特徴を、縦に並んだ特徴的なスポットとして変換できるためだと考えられる。
本節において得られた高正答率 85%を評価するために、オンラインオープンアクセスの大規模データベースである ImageNet[24]の画像データを使った画像識別システムの競技会である、ImageNet Large-scale Visual
Recognition Challenge(ILSVRC)の結果を軸に、CNN の開発の歴史とその年々の優勝モデルの正答率を議論した内容について、本誌では紙面に上限があり、詳細は文献[15]に記載されているため、ここでは割愛する。
総括して、CNN は、触媒合成条件毎に数百個の微粒子の結晶構造解析が求められる触媒研究分野において、STEM 像の高速スクリーニングに効果的である。また、解析されたデータ数は数百点に及ばないことから、85%という正答率はかなり高いと考えられる。さらに、CO 酸化触媒活性は 15%のエラーを考慮しても結晶構造と関連がある[4]ため、現在の正答率でも十分に機能すると考えられる。
3.2

ネットワークの検証

図 8 の左側に、最も正答率が高かった CNN のネットワークの構造を示し、右側に、単結晶および双晶構造の金ナノ粒子触媒の典型的な Z コントラスト像とそれを Hough 変換したパターンにより、入力層と各畳み込み層で最も強く活性化したもの(最も結果に影響を与えた特徴マップ)を可視化した画像を示す。
3 番目の畳み込み層において、単結晶金微粒子を Hough 変換した各パターンが、局所に特徴的な縦並びのスポットに由来する縦方向のストリークを示している。一方で、双晶構造の金微粒子を Hough 変換した各パターンは、そうしたストリークが認められないため、CNN はその特徴を認識して識別していると考えられる。
対照的に、CNN は、金微粒子の Z コントラスト画像の単結晶/双晶構造を区別できない。元々の Z コントラスト像においては、単結晶と双晶とで格子縞の方向が異なるという特徴が認められるが、それらの情報が、ネットワークを通るにつれて失われてしまうためだと考えられる。

図 8 (左側)CNN のネットワーク構造。(中央)(右側)入力層および各畳み込み層における最も強い活性化パターン。(中央)Z コントラスト像による活性化。(右側)Hough 変換したパターンによる活性化。

4

まとめ

ここでは、金ナノ粒子触媒の HAADF-STEM 画像数百枚に CNN を応用して、解析した構造の中の単結晶/双晶構造を自動的に検出した。データを Hough 変換したパターンを学習/検証に用いて得られた正答率は、変換前の元の Z コントラスト像を使用した場合よりも、ずっと高かった。最も高い正答率は、畳込み層と最大プーリング層を可能な限り繰り返したネットワークを構築することで得られた。本手法は、ナノ粒子触媒の画像のスクリーニングに応用可能であり、様々な条件下で合成した触媒粒子の結晶構造と触媒活性の統計的相関を調査するために実際に有効と考えられる。

5

謝辞

本研究は、名古屋大学未来材料・システム研究所の武藤俊介教授、名古屋大学工学研究科の薩摩篤教授、熊本大学先端科学研究部の大山順也准教授、名古屋大学の田中信夫名誉教授と共同で行いました。
KINE-HAADF の MATLAB コードをご提供いただいた York 大学の Yuan 教授およびそのグループの方々、および金微粒子触媒のモデルをご提供いただいた名古屋大学工学研究科の沢邊恭一講師には御礼申し上げます。

参考文献[1] M. Haruta et al., “Gold catalysts prepared by coprecipitation for low-temperature oxidation of hydrogen and ofcarbon monoxide”. J. Catal. 115 (1989) 301–309.
[2] D. A. H. Conningham et al., “Structural analysis of Au/TiO2 catalysts by Debye function analysis.” J. Catal. 183(1999) 24–31.
[3] A. D. Pandey et al., “Influence of the microstructure of Gold-Zirconia Yolk-Shell catalysts on the CO oxidation
activity.” J. Phys. Chem. C 114 (2010) 19386–19394.
[4] J. Ohyama et al., (2015) “Preparation of TiO2-supported twinned gold nanoparticles by CO treatment and their CO
oxidation activity.” Chem. Commun. 51 (2015) 15823–15826.

[5] Ino S “Epitaxial growth of metals on rocksalt faces cleaved in vacuum. II. Orientation and structure of gold particles
formed in ultrahigh vacuum.” J. Phys. Soc. Jpn. 21 (1966) 346–362.
[6] Y. Yamamoto et al., “Statistical distribution of single atoms and clusters of supported Au catalyst analysed by global
high resolution HAADFSTEM observation with morphological image-processing operation.” Microscopy 63 (2014)
209–218.
[7] J. Ohyama et al., “Atomic-scale insight into the structural effect of a supported Au catalyst based on asize-distribution analysis using Cs-STEM and morphological image-processing.” J. Catal. 335 (2016) 24–35.
[8] C. Chen et al., “In-situ high-resolution transmission electron microscopy investigation of overheating of Cu
nanoparticles.” Sci. Rep. 6 (2016) 19545.
[9] K. Yoshida et al., “Atomic-resolution HAADF-STEM study of Ag/Al2O3 catalysts for borrowing-hydrogen andacceptorless dehydrogenative coupling reactions of alcohols.” Top. Catal. 59 (2016) 1740–1747.
[10] T. Ogura et al., “An automatic particle pickup method using a neural network applicable to low-contrast electronmicrographs.” J. Struct. Biol. 136 (2001) 227–238.
[11] T. Ogura et al., “Automatic particle pickup method using a neural network has high accuracy by applying an initial
weight derived from eigenimages: a new reference free method for single-particle analysis.” J. Struct. Biol. 145(2004) 63–75.
[12] T. Ogura et al., “Auto-accumulation method using simulated annealing enables fully automatic particle pickup
completely free from a matching template or learning data.” J. Struct. Biol. 146 (2004) 344–358.
[13] K. Fukushima, “Neocognitron: a self-organizing neural network model for a mechanism of pattern recognitionunaffected by shift in position.” Biol. Cybern. 36 (1980) 193–202.
[14] Y. LeCun et al., Backpropagation applied to handwritten zip code recognition. Neural Comput. 1 (1989) 541–551.
[15] Y. Yamamoto et al., “Twinned/untwinned catalytic gold nanoparticles identified by applying a convolutional neuralnetwork to their Hough transformed Z-contrast images.” Microscopy, 67 ‘Editor’s Choice’ (2018) 321-330.
[16] D. S. He et al., “Kinematic HAADF-STEM image simulation of small nanoparticles.” Micron 74 (2015) 47–53.
[17] K. Sawabe, et al., “Theoretical Insight into Enhanced Catalytic Activity of Au by Multiple Twin Nanoparticles.”Catalysts, 7 (2017) 191.
[18] S. Ino “Stability of multiply-twinned particles.” J. Phys. Soc. Jpn. 27 (1969) 941–953.
[19] S. Gupta et al., “Sobel edge detection algorithm.” Int. J. Comput. Sci. Manage. Res. 2 (2013) 1578–1583.
[20] D. J. Prior et al, “The application of electron backscatter diffraction and orientation contrast imaging in the SEM totextural problems in rocks” American Mineralogist, 84 (1999) 1741-1759.
[21] R. O. Duda et al., “Use of the Hough transformation to detect lines and curves in pictures.” Graph. Image Process.
15 (1972) 11–15.
[22] V. Nair et al.,, “Rectified Linear Units Improve Restricted Boltzmann Machines.” ICML’10 Proceedings of the27th International Conference on International Conference on Machine Learning, (2010) 807–814.
[23] A. Krizhevsky et al.,“ImageNet Classification with Deep Convolutional Neural Networks.” NIPS’12 Proceedingsof the 25th International Conference on Neural Information Processing Systems, 1 (2012) 1097–1105.
[24] J. Deng et al., “ImageNet: A Large-Scale Hierarchical Image Database.” In proc. (2009) CVPR09.