技術資料＞ディープラーニングを用いた Ni 基超合金における SEM 写真の相識別

85

技術資料
Technical Data

ディープラーニングを用いたNi基超合金におけるSEM
写真の相識別原田絵美＊1，森大輔＊2

Phase Classification for Ni-Based Superalloys SEM Images Using
Deep Learning
Emi HARATA and Daisuke MORI
SynopsisNi-based superalloys have excellent high temperature properties due to Ni3Al (γ′) precipitation from matrix (γ). It is important formaterial development to measure the amount of γ′ precipitation, because it affects the properties greatly. We classify SEM imagesof Ni-based superalloys into γ′ and γ by hand to measure the amount of γ′. However, there is variation in the classification results
among operators. In this paper, we automated the classification by image processing and deep learning to eliminate variation. Asa result, automation was achieved using ensemble learning of γ′ and γ′/γ boundary, and we became able to measure the amount ofγ′ regardless of the operator.

1．緒言γ′

Ni 基超合金 1）～ 5） は，航空機エンジンや発電設備のγ

タービンブレードに利用されるため，優れた高温強度が必要となる．Fig. 1 は，Ni 基超合金の走査型電子顕微鏡（SEM）写真である．Ni 基超合金では，時効処理を施すことで，Fig. 1 のように母相（γ）から Ni3Al 相（γ′）が析出する．この γ′析出により，高温強度を発現させる

500 nmFig. 1. Microstructure of Ni-based superalloy.
それ以降は短くなる．大同特殊鋼㈱でも Ni 基超合金の材料開発において，Fig. 2 のような γ′析出率と高温強度ことができる．
γ′析出量の測定は，Ni 基超合金の材料開発においてとの関係を重視し，研究している．

重要となる．これは，γ′析出量が熱処理条件や化学組成γ′析出率は，SEM 写真から測定することができる 4）．などで変化し，高温強度に大きな影響を与えるためであFig. 3 は，作業者が SEM 写真内の γ と γ′を目視で識別る．Fig. 2 は，γ′析出率とクリープ破断寿命との関係を1）し，手動で塗り分けた画像である．この画像から白色部示したグラフである ．クリープ破断寿命は γ′析出率のの面積率を求めることで，γ′析出率を測定することがで増加に伴って延び，ある γ′析出率でピーク値をとると，きる．

2022年 10月 6日 受付＊ 1 大同特殊鋼㈱技術開発研究所（Corporate Research & Development Center, Daido Steel Co., Ltd．
）
＊ 2 大同特殊鋼㈱技術開発研究所，技術士（経営工学）（P.E.Jp, Corporate Research & Development Center, Daido Steel Co., Ltd.）

86

電気製鋼 第 93 巻第 2 号 2022 年

そこで本稿では，作業者間における γ′析出率の測定ばらつきを無くすために，画像処理とディープラーニン
グ（以下，DL という）を用いた，γ′識別の自動化に着手した．今回は，Fig. 4 の熟練した作業者 A による識別を正として，開発を進めた．目標精度は，作業者 A が手動で γ′識別した画像と，自動で γ′識別した画像を比較して，① γ′析出率の差が± 5 % 以内
② γ′の Dice 係数が 0.95 以上とした．ここで，Dice係数 6），7）は式（1）で算出され，1に近いほど画像の一致率が高いことを表す．
Fig. 2. Relationship between amount of γ′ and creep=1)

rupture life .

1 + 2∑1+∑ +∑（1）

D：Dice係数

t：手動で識別した画像の，i番目の画素値
ip：自動で識別した画像の，i番目の画素値i

1 μm
SEM imageClassified image

γ′γFig. 3. Image classified into γ′ and γ by manual work.
しかし，この手法で γ′析出率を測定すると，作業者のγは画素値 0，γ′は画素値 1とする．

目標①と②は，自動での γ′識別のばらつきが，作業者Aによる識別のばらつきより小さくなるように設定した．作業者 Aが同じ SEM写真で γ′識別を 2回実施し，1回目と 2回目とを比較することで，作業者 Aのばらつき技量により結果にばらつきが生じる．Fig. 4 は，作業者を測定した．測定には，複数の SEM写真から任意の範で，B は経験の浅い作業者である．作業者 B は，A に比て利用した．作業者 Aのばらつきを 4枚で確認した結果，A と B の γ′識別結果である．A は識別に熟練した作業者

べて γ′を多く見積もっており，γ′析出率の差は 10 % 以囲（512× 512ピクセル ≒ 2.4× 2.4 μm）を 4枚切り出し1回目と 2回目で γ′析出率の差が最大 5 %，Dice係数が上となった．Fig. 4 のようなばらつきが生じると，γ′析最低 0.95となった．この結果から，目標①と②を決定し出率と高温強度との関係を，正確に解析できないおそれた．

がある．

2．画像処理の適用

SEM image

画像処理は，組織写真の解析によく使われる手法である．例えば文献 8）では，Al-Cu 合金の鋳造組織写真にフーリエ変換を適用し，デンドライト 2 次アーム間隔やOperator A凝固の進行方向を測定している．また文献 9）では，鉄Operator B

鋼の結晶粒写真を二値化し，結晶粒径の分布を測定している．

Amount of γ′55.5 %

Amount of γ′
66.8 %

γ′γ+ 11.3 %Fig. 4. Difference of classification between operator A
and operator B.

本稿でも，画像処理を用いた γ′識別を試みた．Fig. 5は，実施した画像処理の手順である．まず，SEM 写真をぼかすことでホワイトノイズを除去し，コントラストを調整した．その後，画像の小領域ごとに輝度しきい値を決めて二値化し，細かい白点や黒点を除去することで，γ′を識別した．SEM 写真 14 枚を用い，すべて同じ条件で処理した．Fig. 6 に，結果の一例を示す．

技術資料＞ディープラーニングを用いた Ni 基超合金における SEM 写真の相識別870.025

γ500 nm
SEM image

Gaussian
blurHistogram
equalization

Frequency

γ′γ′0.020

γ0.015

0.010
0.005
0.000

050100150200250

Gray level
Adaptive Opening andthresholdclosingbinarization

Filling inholes

γ′Fig. 7. Gray level histograms of Fig. 6 SEM image.

γFig. 5. Procedure of image processing.

SEM image

3．ディープラーニングの適用
3. 1 ディープラーニングによるγ′識別
画像処理と同様に，DL も組織写真の解析によく使われる手法である．例えば文献 10）では，畳み込みニューラルネットワーク（Convolutional Neural Network：CNN）を利用し，鉄鋼の組織写真をフェライトやパーライトなどに分類している．文献 11）では，完全畳み込みネッ1 μm
Correct classification Image processing

トワーク（Fully Convolutional Network：FCN）を利用し，鉄鋼の組織写真について，マルテンサイトやパーライトなどの相を識別している．どちらの文献も，畳み込み層をもつモデルを使用している．Fig. 8 は，畳み込み層の模式図である．例として，バツ印の画像を入力していAmount of γ′ 55.2 %γ′γ

Amount of γ′ 69.7 %Dice coefficient 0.858

Fig. 6. Comparison between correct classification result
by manual work and image processing.
Fig. 6 に示したように，画像処理では目標精度を達成することができなかった．Fig. 6 では，画像処理で識別る．畳み込み層では，画像にフィルタをかけることで，画像の特徴を抽出した特徴マップを生成している．例えば，Fig. 8 のフィルタ 1 は右下がりの直線を表しており，入力画像の中で同じ特徴を持つ箇所が，白く表示された特徴マップを得ることができる．フィルタを複数枚使用することで，組織写真中の輝度や形状，テクスチャなど，複数の特徴を考慮できる．
本稿でも Ni 基超合金の SEM 写真に，DL の手法の 1した場合の γ′析出率が手動で識別した場合より 14.5 %つであるセマンティックセグメンテーションを適用し，多くなり，目標①を達成できなかった．Dice 係数も，γ′識別を試みた．セマンティックセグメンテーション

目標②を下回っている．これ以外も，14 枚ほとんどのは，文献 11）にも利用されており，Fig. 9 のように，入画像で目標精度を満たせなかった．今回の結果は，γ とγ′の輝度差が小さいことが原因である．Fig. 7 は，Fig. 6

力画像についてピクセル単位でクラスを識別する手法である．γ′析出率を精度良く測定するには，γ′と γ をできの SEM 写真における各相の輝度分布であり，γ′と γ のるだけ細かく識別する必要があるため，本手法を適用し輝度が大きく重なっていることが確認できる．つまり，た．また，学習には入力する組織写真に対応した，正し輝度のしきい値で二値化すると，γ′を過剰に検出する箇い出力（教師データ）を準備する必要がある．本手法を所や，逆に γ′を見逃す箇所が必ず生じてしまう．また，適用した場合，手動で γ′識別した画像を，そのまま教すべての写真を同じ条件で処理することは難しい．上記

師データとして利用できるため，新たにデータを作成すの理由から，画像処理の適用は困難と判断した．

る手間を省くことができる．

電気製鋼 第 93 巻第 2 号 2022 年

88…

γ′ γ′ γ′ γ′ γ′γ γ′ γ′ γ′ γ′γ γ γ γ′ γ′γ γ γ γ γγ γ γ γ γFilter 101010001000101010001…

100011 0 00 1 0 =30 0 11 0 00 1 0 =00 0 13010103010103010103010103

Input

Classification ofeach pixel…
Filter 1

Input

OutputFilter 2Fig. 9. Schematic diagram of semantic segmentation.
情報を有している．この位置情報を利用して，アップサ…

…

Filter nγ′γ

ンプリングの精度を向上させている．
学習条件を，Table 1 に示す．教師データは，学習デー

タとテストデータに分けられる．学習データはモデルの学習に使用するデータであり，テストデータは学習にはFeature map

使用せず，学習が終了したモデルに入力して，識別精度Fig. 8. Schematic diagram of convolution layer.
使用したモデルは，Fig. 10 の，U-Net7），12）を確認するためのデータである．テストデータには，2章で使用した 14 枚と同じデータを用いた．さらに，学をベースとしたモデルである．U-Net は，畳み込み層で得られた習データ 10 枚から 2 枚を選び，検証データとした．学

特徴マップを，アップサンプリング層で合成，拡大する

習は，モデルの出力と教師データとの誤差を示す損失が，ことで，識別結果を出力している．また，U-Net では，小さくなるように進む．検証データは，学習中に損失の畳み込み層とアップサンプリング層を連結している．畳推移を確認するためのデータである．検証データの損失み込み層における特徴マップの方が，入力画像に近いたが最小となった時点を，学習の終了点とした．入力画像

め，アップサンプリング層の特徴マップより正確な位置のサイズについて，学習，検証データは，Fig. 10 のよう

Divided SEM image

nFeature map (n : number of maps)
Convolution

Concatenation

Max poolingUpsampling

1 32 32

256 32 32 1

Size
256×256

Input

32 64 64
128×12816×16256 64 6464 512

256 512512

8×851210245121024

Fig. 10. Schematic diagram of model based on U-Net.

Outputγ′γ

技術資料＞ディープラーニングを用いた Ni 基超合金における SEM 写真の相識別に 1 枚あたり 20 分割（256 × 256 ピクセル ≒ 1.2 × 1.2μm）して使用した．テストデータは分割せず，そのま=1−

L：Dice損失

ま入力した．

= 1−

今回の学習では，交差検証を実施した．交差検証は，学習データと検証データの組合せを変えて，複数のモデルを作成する手法である．学習データ 10 枚すべてを検1 + 2∑
1+∑ +∑89（2）Fig. 12 は，データ拡張の模式図である．測定対象のSEM 写真では，写真の輝度，サイズ，傾きが変化しう証データとして利用できるように，5 つのモデルを作成ると考え，この 3 つのパラメータについて，ランダムにした．Fig. 11 のように，5 つのモデルについて，出力の変更を加え，学習データを水増しした．以上の条件で構交差検証で得られたモデルの平均をとることで，汎化性は，Fig. 6 の SEM 写真を識別した結果である．

平均をとり，二値化した画像を，最終的な出力とした．

築したモデルの，γ′識別結果を Fig. 13 に示す．Fig. 13

能を向上させることができる．
Table 1. Calculation conditions.
Model

Based on U-Net

Amount oftraining data

200 (10 x 20-division)
Training : Validation = 4 : 1

Amount oftest data

14 (not divided)

Optimizer

Adam13)(α = 0.001, β1 = 0.900, β2 = 0.999,
ε = 1x10-8)

Loss
Data
augmentation

Dice loss･Change in gray level (x0.8 ~ 1.1)
･Scaling (x0.8 ~ 1.2)
･Rotation (-20 ~ 20 degrees)

Original data

Gray level: x0.8
Scaling: x0.8
Rotation: -20 degree

New data
Fig. 12. Example of data augmentation.

Correct classification

False detection

γ′ DL

0.0 0.1 0.2 0.9

Model 10.1 0.2 0.9 0.9
0.1 0.9 1.0 1.0
0.2 0.9 1.0 1.0…

…

0.1 0.1 0.2 0.7

Input(SEM image)

Model 50.1 0.2 0.3 0.9
0.2 0.3 0.9 0.9
0.3 0.3 1.0 1.0

0.0 0.1 0.2 0.8
0.1 0.2 0.9 0.9γ’ existence
probability

0.3 0.8 1.0 1.0

Mean ofprobability

Output(threshold: 0.5)

Fig. 11. Procedure of generating output.
損失関数には，式（2）の Dice 損失関数 6），7） を使用した．式（2）が小さくなる，つまり Dice 係数が 1 に近づくよう学習した．

Fig. 13. Comparison between classification results bycorrect manual work and γ′ DL.

3. 2 ディープラーニングによる相界面識別
Fig. 6 と Fig. 13 で使用した SEM 写真は，γ′と γ の輝γ′γ

0.3 0.8 0.9 1.0

Amount of γ′ 55.2 % Amount of γ′ 58.3 %γ′γ
Dice coefficient 0.947

度が近いにもかかわらず，目視で γ′を識別できている．
これは，γ′と γ との相界面を認識し，γ′識別に利用しているためだと推定した．Fig. 14 は，SEM 写真の断面模式図である．相界面には，腐食によって段差ができるため，影が生じる．この特徴を活用することで，γ′を識別できると考えた．

90

電気製鋼 第 93 巻第 2 号 2022 年

γ γ′

Cross section
Shadow of γγγ′ることは難しい．そのため，このモデルでは γ′の領域を判断できず，γ′析出率を測定できなかった．

DL output

γγ′

Fig. 14. Cross section of etched microstructure.
3.

(b) Opened boundary

1 節と同様に，Ni 基超合金の SEM 写真にセマンγ′識別した画像から，画像処理で相界面のみを抽出して1 節と同じ条件，モデルで実施?

γ′/γ boundary

ティックセグメンテーションを適用し，γ′と γ の相界面識別を試みた．学習データは Fig. 15 のように，手動で作成した．学習は，3.

(a) Closed boundary

Fig. 17. (a) Closed and (b) open boundary on classification
result of DL.

した．Fig. 16 に，構築したモデルによる相界面の識別4．アンサンブル学習の適用じものである．

3 章で構築した 2 つのモデルには，γ′識別に得手不得結果を示す．入力した SEM 写真は，Fig. 6，Fig. 13 と同手がそれぞれ存在する．3.

1 節のモデル（以下，モデル A という）は，γ′の領域を塗りつぶして出力するた

SEM imageγ′γγ′ classified image
Image processing

め，γ′析出率をそのまま測定できる．しかし，γ′を過剰に検出して目標未達となった．一方で 3.

2 節のモデル（以下，モデル B という）は，γ′の過剰な検出を抑制することができた．しかし，相界面が一部開いており，γ′析出率を測定できなかった．そこで，両モデルの欠点を補完する手法を考えた．
3 章のモデルについて，アンサンブル学習 14），15）を適

γ′/γ boundary
Boundary classified image
Fig. 15. Training data of γ′ and γ boundary.

Correct classification

Boundary DL

用することで，γ′識別の精度向上を試みた．アンサンブ
ル学習は，複数のモデルを融合することで，単一のモデルよりも精度を向上させる手法である．今回は，モデルA とモデル B の出力を，Fig. 18 のように統合した．まず，両モデルの出力を重ね合わせ，モデル A が γ′と識別した各領域について，式（3）の被覆率を算出した．
この被覆率が 0.5 以上の場合，モデル A，モデル B ともに γ′と識別したとみなし，γ′として出力した．逆に，被覆率が 0.5 未満の場合，モデル A が γ′を過剰に検出

γ′/γ boundaryFalse detection
prevented

Fig. 16. Comparison between boundary classification
results by correct manual work and DL.
Fig. 16 のように，相界面を学習したモデルを利用することで，3.

1 節のモデル（Fig. 13）よりも γ′の過剰な検出を抑制できる可能性がある．相界面を識別できれば，Fig. 17(a) のように線の内側を γ′とみなし，γ′析出率を測定できる．しかし，Fig. 17(b) のように，線の閉じしているとみなし，γ に塗り替えて出力した．Fig. 6，
Fig. 13 と同じ SEM 写真に適用した結果を，Fig. 19 に示す．

=（3）

C：被覆率

lA：モデル Aが識別した γ′の周長lB：モデル Aが識別した γ′に接する，モデルBが識別した相界面の長さていない相界面が存在した．この場合，線の端点がどの端点と，どのようにつながっているかを，自動で判断す

Fig. 19 のように，アンサンブル学習では，モデル A

技術資料＞ディープラーニングを用いた Ni 基超合金における SEM 写真の相識別

91Model A output(γ′ DL)

SEM imageγ′γ
Model B output(boundary DL)
γγ′γ′/γ boundary

C = 0.1γ

C = 1.0γ′γ′/γ boundary
Fig. 18. Combination of outputs from each model.

5．結のみの場合（Fig. 13）よりも，γ′析出率の測定精度が向上した．つまり，モデル B で出力される相界面の情報により，モデル A で過剰に検出した γ′を修正すること

言

本稿では，Ni 基超合金の SEM 写真について，画像処ができた．Table 2 は，テストデータ 14 枚に各手法を理と DL を利用し，γ′識別の自動化を試みた． Table 2適用した結果をまとめた表である．手動で γ′識別したのとおり，DL を利用することで，識別精度が画像処理画像と比較した場合の，① γ′析出率の差（絶対値），②から大きく向上した．さらに，アンサンブル学習によDice 係数について，平均値，精度が最良の値，最悪のり，相界面の特徴を考慮することで，目標精度を満たす値を記載している．Table 2 のとおり，アンサンブル学ことができた．今回の開発で，手動での γ′識別が不要

習により，すべてのテストデータについて目標精度を達となり，作業者の技量によらない γ′析出率測定が可能成することができた．となった．実用化へ向けて継続中であり，製品検査へのCorrect classification Ensemble learning適用を目指している．
（文献）

1）原田広史，山崎道夫，小泉裕：鉄と鋼，65（1979），
1049．

Amount of γ′ 55.2 %γ′γ

Amount of γ′ 54.2 %Dice coefficient 0.981

Fig. 19. Comparison between classification results bycorrect manual work and ensemble learning.
Table 2. Results of each method.
Imageprocessing

γ′ DLEnsemblelearning

①②

①②

①②

Mean

8.5

0.893

1.6

0.968

1.3

0.972

Best

3.7

0.922

0.2

0.985

0.1

0.988

Worst

14.6

0.858

4.4

0.947

4.4

0.955

① Absolute error of γ′ amount %② Dice coefficient2）Y. Ro，Y. Koizumi and H. Harada：Mater. Sci. Eng. A，
223（1997），59．

3）T. Murakumo，T. Kobayashi，Y. Koizumi andH. Harada：Acta Mater.，52（2004），3737．

4）T. M. Smith，P. Bonacuse，J. Sosa，M. Kulis and
L. Evans：Mater. Charact.，140（2018），86．

5）F. G. Caballero：Encyclopedia of Materials: Metals andAlloys，Elsevier，2022，Volume 1，294．

6）F. Milletari，N. Navab and S. -A. Ahmadi：International
Conference on 3DV Proc.，4（2016），565．

7）藤田一弥，高原歩：実装ディープラーニング，オー
ム社，2016，168．
8）舟窪辰也，新山英輔：軽金属，40（1990），445．

9）V. García-García，I. Mejía and F. Reyes-Calderón：

92

電気製鋼 第 93 巻第 2 号 2022 年

Mater. Charact.，147（2019），1．

10）足立吉隆，田口茂樹，弘川奨悟：鉄と鋼，102（2016），722．

11）S. M. Azimi，D. Britz，M. Engstler，M. Fritz andF. Mücklich：Sci. Rep.，8（2018），2128．

12）O. Ronneberger，P. Fischer and T. Brox：MICCAI Proc.
Part III，18（2015），234．

13）D. P. Kingma and J. L. Ba：ICLR Proc.，3（ 2015），
Adam: A Method for Stochastic Optimization．

14）L. Breiman：Mach. Learn.，24（1996），123．

15）上田修功：コンピュータビジョンとイメージメディ
ア，46（2005），11．

原田絵美

森大輔