技術資料＞機械学習を用いたオーステナイト結晶粒径計測精度に寄与する前処理手法の開発

73

技術資料
Technical Data

機械学習を用いたオーステナイト結晶粒径計測精度に寄与する前処理手法の開発
児嶋彬＊1，本田百花＊1，岡島琢磨＊2

Development of Preprocessing Method Contributing to the Accuracyof Austenite Grain Size Measurement Using Machine Learning
Akira KOJIMA, Momoka HONDA and Takuma OKAJIMA
Synopsis
To analyze the process of microstructural change, it is essential to observe the microstructure and measure grain size.
However, conventional microstructure observation methods can only obtain representative grain sizes in the microstructure
image. For more advanced microstructure control, it is necessary to measure all grains in the image and evaluate them, including
evaluation of grain size distribution. One method of doing this is to create an image with grain boundary markings corresponding
to the optical micrographs and measure the grain boundaries. However, marking grain boundaries is a time-consuming manualprocess. In this study, we developed a preprocessing method that contributes to the accuracy of austenite grain size measurement
using machine learning. By enlarging the grain boundary inward and applying a gradient to the pixel value from the start of theenlargement to the end of the enlargement, the interruption of the grain boundary is suppressed in the inference after machinelearning, resulting in highly accurate grain size measurement. Using this method, we analyzed optical micrographs of Alloy925
and found that the absolute error for both the number of grains and grain size was less than 5%.

1．緒

言近年，カーボンニュートラル社会の実現を目指し，従殊鋼㈱（以下，当社という）では，デジタルエンジニ
アリングシステム DAINUS®（DAIdo NUmerical processengineering System）を開発し，実際の圧延や鍛造プロセ

来の化石燃料に代わる新燃料として水素やバイオマスをスにおける組織制御の最適化設計手法を実用化 2）した．

利用し，電気エネルギーを生産するガスタービンや，自さらに実際の製造プロセスの加工熱履歴を再現し，組織動車用内燃機関を改良する研究開発がますます盛んにと特性予測を実現する創質加工シミュレータ 3） を開発なってきている．これらの高温環境下で使用される部材した．これらの予測精度を担保するため，材料の物性値には，耐熱性に優れた超合金が適用 1） されており，新や変形抵抗，再結晶や粒成長挙動の構成式といったデー燃料利用の変革によって今後も利用されると予想されタベースの構築も非常に重要である．

る．これらの超合金が適切な各種の材料特性を発揮す

材料の再結晶や粒成長挙動の調査には，非常に多数のるためには，その製造プロセスにおいて結晶粒径をはミクロ組織観察を行い，再結晶分率や結晶粒径を測定すじめとする組織制御技術が非常に重要である．大同特ることが必要である．光学顕微鏡写真を用いた結晶粒径

2023年 10月 2日 受付＊ 1 大同特殊鋼㈱技術開発研究所（Corporate Research & Development Center, Daido Steel Co., Ltd．
）
＊ 2 大同特殊鋼㈱技術開発研究所，工博（Dr. Eng., Corporate Research & Development Center, Daido Steel Co., Ltd.）

74

電気製鋼 第 94 巻第 2 号 2023 年の定量化には比較法や切断法があるが，平均的な結晶粒業者によって，手作業で粒界のマーキングを実施する必径や粒度番号の情報までしか得ることができず，材料の要があるが，これには多大な時間を要する．そこで本研品質に影響を与える結晶粒径の分布の情報を得ることが究では，粒界のマーキングの時間を削減と精度を担保す

4）できない ．今後，より高度な組織制御システムを構築る，機械学習と画像処理を用いた粒界検出自動化システするためには，光学顕微鏡写真内のすべての結晶粒径のムを開発した．

測定を行い，結晶粒径分布まで容易に定量化できる手法

2．解析方法が必要である．金属結晶学に基づいたより正確な粒径分布の測定には，EBSD（電子線後方散乱回折法）による分析が望ましいが，非常に高価であり分析時間も要するため，大量の計測・分析にはあまり適してない．
そこで Fig. 1 のように光学顕微鏡写真に対応した，粒2.

1

機械学習・前処理の課題

近年，機械学習の発展により画像解析の技術が進歩し界部分をマーキングした画像を作成し，粒界に囲まれたており，ミクロ組織画像解析にも用いられている 5）．当領域を粒として測定することで，個別の粒径を算出する社においても，Ni 基超合金における SEM（走査型電子方法を選択した．この方法は結晶粒径の分布を考慮に入顕微鏡）写真の相識別について，機械学習を活用した組れた品質予測に応用できる可能性がある．しかしなが織解析を行っている 6）．機械学習とは，明示的にプログ

ら，粒界部分のマーキングには，粒界の濃淡，粒内の双ラムをする画像処理と違い，データを解析してパターン晶，析出物，研磨疵の存在により，画像処理によって粒を抽出することで予測が可能となる 7）．中でも，機械学界だけを検出することは難しい．そのため，熟練した作習の技術の一つであるセマンティックセグメンテーショ(a) Optical microscope Image(b) Grain boundary

ンは，画像内のピクセル一つ一つに対して予測が可能であり，Fig. 1 のような画像が再現可能である．
Fig. 2 にセマンティックセグメンテーションの代表的なモデルの一つである，U-Net8） 構造の概要を示す．
U-Net では畳み込み層とプーリング層からなる，エン50 μm

50 μm

1 pixel

コーダ部分で画像の特徴抽出を行い，デコーダ部分で抽出した特徴をアップサンプリングし，入力した画像サイズまで戻す．その際，エンコーダとデコーダをスキップ

grain
grain
boundary boundary
grain

grain

grain

grain
grain
grain
boundary boundary boundarygrain

接続することで，詳細な位置情報を失うことなくセグメ

grain

ンテーションマップが作成可能となる．

grain

grain
grain
grain
boundary boundary boundary

オーステナイト結晶の粒界検出に機械学習を適用する

grain

grain

grain

grain
grain
boundary boundary

場合，腐食や画像の品質にもよるが，粒界が途切れる課

grain

grain

grain

grain

grain

grain

Fig. 1. Microstructural image and grain boundary image.

題が残されていた 6）．そこで本研究では，入力する教師データセットの内，粒界をマーキングした正解画像に対100 μmInput

OutputConvolution
Copy and crop
Max pooling
Up convolution

Fig. 2. Schematic of U-Net.

技術資料＞機械学習を用いたオーステナイト結晶粒径計測精度に寄与する前処理手法の開発する前処理の手法に注目した．前処理として，Fig. 3 の75細線化に加え，精度には影響しないが，粒界の途切れをように粒界に対して粒の内側方向へ膨張処理を行い，そ明確にするため，閉じていない線の除去処理も行った．の後，膨張終端部を黒色（画素値 0），膨張開始部を白教師データセットのための元写真には，オーステナイト色（画素値 255）となるように画素値に傾斜を付けた．

組織を持つ超合金の代表サンプルとして，Alloy925 の膨張させた粒界の画素値に傾斜を付けた理由は，粒界再結晶挙動調査用の光学顕微鏡写真を使用した．

（画素値 255）の膨張処理のみでは，小さい粒の場合，膨張によって粒内すべてが粒界で埋まり，後に結晶粒径Table 1 に解析条件を示す．システムは python を用いて 作 成 し， 主 に pytorch，opencv，segmentation_models_として認識できなくなることを避けるためである．このpytorch，optuna，numpy のライブラリを使用した．学習ため，粒界の膨張幅が粒の大きさを超えてしまう場合にモデル，各種ハイパーパラメータ（バッチサイズ，エは，膨張によって粒界で粒内が満たされた時点で，膨張ポック数，学習率，早期終了についてはベイズ最適化に終端と膨張開始部の間の画素値に傾斜を付けることで解て最適化した．教師データセットは入力のために 256 ×決した．機械学習によって推論される画像としては，前256 pixel の画像に分割し，トレーニングデータと検証用処理後のような粒界が膨張した画像が出力される．そのデータに振り分けた．また，この時リーケージ対策とし画像を元のシャープな粒界画像にする後処理として，二て，1 枚の写真から分割した画像は，トレーニングデー値化と細線化を行った．本研究では，前述した正解画像

タまたは検証用データにまとめて振り分けた．損失関数の前処理工程において，特に膨張幅の条件が，オーステについて，セマンティックセグメンテーションにおいてナイト結晶粒径の解析精度におよぼす影響を調査し，最は，IoU（Intersection over Union）や Dice 係数を用いるも解析精度が高い最適な前処理条件を明らかにすることのが一般的ではあるが，今回，前処理を行うことで粒界とした．

を表現する画素値が一定値ではなく，連続的な値となっ(a) No preprocessing(b) Preprocessing(c) Preprocessing (max)ているため，回帰的なセマンティックセグメンテーションとなっている．そのため損失関数には平均二乗誤差（MSE）を使用し，学習モデルにおいてはソフトマックス層を除去している．モデルの学習と，膨張幅を除く各

255

255

255
Pixel value

0

Position0

種ハイパーパラメータの最適化は 835200 秒行い，その50 μm

Pixel value

50 μm

Pixel value

50 μm

Position0

中で最も損失が小さくなったものを，学習済みモデルとして採用した．試験では，今回着目したパラメータである粒界の膨張幅を変化させ，それぞれ学習済みモデルをPosition

Fig. 3. Schematic of preprocessing.

2.

2

機械学習・前処理の条件作成した．膨張幅が 0 pixel の時は前処理なしと同じである．また，膨張幅が最大となるのは，教師データセッ
トの正解画像内の最大粒の内部が，粒界の膨張によって満たされる幅であり，今回は 109 pixel が最大の膨張幅となった．粒径測定後の最終的な精度評価として，粒界元の光学顕微鏡写真から画像の前処理，機械学習，後の一致率による評価が望ましいが，粒界が細く，手描き処理工程までの処理プロセスの流れを Fig. 4 に示す．具による粒界は軽微な線の振れが発生している可能性があ

体的には，光学顕微鏡写真取得後，手作業で光学顕微鏡り，線の振れによる不一致と推論間違いによる不一致と写真と対応させた粒界のマーキング画像を作成の後，前の判別が困難であるため，手描きの正解画像の粒数・粒処理を行い，その前処理画像を正解画像とした．また，径と，推論後に後処理をした粒界画像の粒数・粒径との光学顕微鏡写真を元画像とし，元画像と正解画像のペ誤差によって評価した．また粒径においては，画像内のアの教師データセットを作成した．その後，教師データすべての粒の粒径を測定できるため，中央値，平均値，セットを用いて学習を行い，学習済みモデルを作成し面積による加重平均値を算出し，それぞれ比較した．目た．作成した学習済みモデルと精度検証用の光学顕微鏡

標値としては各指標において絶対誤差が 5 % 以内とし写真を用いて推論画像を作成し，推論画像に後処理をた．精度検証時には画像は分割せず，元の画像サイズで行って，粒界画像を作成し，粒界に囲まれた領域を一つ検証した．学習時に検証用として使用した画像を，精度の結晶粒として粒径の測定を行った．後処理は二値化と検証用の画像として使用した．

76

電気製鋼 第 94 巻第 2 号 2023 年

3．前処理方法の最適化
Table 2 に最適化したモデルと各種ハイパーパラメー

100 μmHand drawn by skilled workers

Prediction by trained model

タ，および学習終了時の損失を示す．エポック数については早期終了によって設定したエポック数よりも早期に学習が終了したため括弧内に実際のエポック数を示している．Fig. 5 に膨張幅を変化させた時の推論画像と後処理画像を示す．Fig. 6 に測定した各膨張幅での粒数のImage preprocessing

絶対誤差を示す．各膨張幅の粒数の誤差では，膨張幅がImage postprocessing

10 pixel の時に最も誤差が小さくなった．Fig. 7 のように膨張幅が 0 pixel の時は粒界に途切れが発生し，それにより計測される結晶粒の数が少なくなることから誤差が増大する．膨張幅を増加させる前処理を行うことで，粒界の途切れが解消され誤差が減少するものの，ある膨

Machine learning

張幅より大きくしすぎると，Fig. 8 のように粒のくびれ

Measurement

Trained model

部分が後処理の二値化の際に，適切に複数の粒界としてFig. 4. Experimental process chart.

抽出できずに一体化し，別の粒が分割されることで，計測される結晶粒の数が増え，誤差が増大する．Fig. 9

Table 1. Calculation conditions.
Modelに面積による加重平均値の絶対誤差を示す．各膨張幅

U-Net, UNet++, MANet,LinkNet, FPN, PSPNet, PAN,DeepLab v3, DeepLab v3+の粒径の面積による加重平均値の誤差では，膨張幅が10 pixel の時に最も誤差が低くなっている．Fig. 7 のよAmount of training data 342 data (256×256 pixels)

うに膨張幅が 0 pixel の時は粒界の途切れが発生するた

Amount of validation
data

結果として粒径の誤差が大きくなる．前処理を行うこと

め，隣接する粒が一体化し粒径が大きくなってしまい，

14 data (256×256 pixels)

Optimizer

Adam

で粒界の途切れが解消されるため，いったんは誤差が減

Loss

MSE

Batch size

2～64

少するものの，膨張幅を大きくしすぎると，Fig. 8 のよEpoch

うに粒のくびれ部分で粒が分割されることに加え，Fig.

100～3200

10 のように粒径差が大きな粒が隣接した時には，画素

Learning rate

1.0×10 ～1.0

Early stopping4～128

処理によって，大きな粒は内側へ，小さな粒は外側へ

Horizontal ﬂip
Afﬁne transformation
Random brightness
Random contrastと，粒界が移動することで，粒径の誤差が大きくなる．

Data augmentation
Learning andoptimization time (s)-7値の勾配の差が大きくなるため，二値化と細線化の後Table 3 に各膨張幅における粒数，粒径の中央値，平均値と面積による加重平均値の評価をまとめて示す．結果
として，膨張幅が 10 pixel の時，すべての誤差が 5 % 以

8352000 (no preprocessing), 3, 6, 10,Expansion width (pixels)
15, 26, 51, 109 (max)

下となり，前処理方法として最適な条件であることを確認した．

Table 2. Optimization results and loss.
Expansion width (pixels)

03610152651

109ModelMANetMANet

U-Net

U-Net

MANet

U-Net

UNet++

MANet

Batch size

50

13451354131342

Epoch

3025(240)

1085(92)2796(308)

1931(174)

1235(373)

2855(1022)

2060(394)

1733(1165)

Learning rate

3.9×10-4

3.9×10-4

1.9×10-4

2.7×10-3

2.7×10-4

2.8×10-5

8.2×10-5

7.4×10-5

Early stopping

83

91

67

81

86

107

114

30

Loss

2309

1595

1830

1581

1713

1320

1156

1787

技術資料＞機械学習を用いたオーステナイト結晶粒径計測精度に寄与する前処理手法の開発

Postprocessing

Optical microscope
image

Grain boundaryTruth

0 pixels(No preprocessing)

Prediction

77500 μm100 μm

Postprocessing

Fig. 5. Prediction image and postprocessing image.

109 pixels

109 pixels(Max)

0 pixels

10 pixels

Prediction

Fig. 7. Suppression of grain boundary breakdown byimage preprocessing.

120
106

Optical microscope
image

Truth

Grain boundary80

100 μmPrediction

47

41

40

20

13
500336388

6 10 15 26 51 109
Expansion width (pixels)

Fig. 6. Comparison of absolute errors in number ofgrains among expansion widths.

Postprocessing

10 pixels

60

109 pixels

Number of grain absolute errors

100Fig. 8. Integration of the neck of the grain due to large
expansion width.

電気製鋼 第 94 巻第 2 号 2023 年

Weighted average grain size absolute errors (pixels)

782523.6

Table 3. Comparison of results among expansion widths.
Expansion width (pixels) 0

18.9

6 10 15 26 51 109

× × 〇 〇 △ 〇 △ △Number of grain

203× 〇 △ 〇 〇 △ △ △Median grain size

× △ 〇 〇 〇 〇 〇 〇Average grain size

Weighted average grain△ 〇 〇 〇 〇 × × ×size

15Result×× △ 〇 △ ×××≦±5 %: 〇, ≦±10 %: △, ＞±10 %: ×10.3

107.04.31.60言本研究では機械学習を用いた，オーステナイト結晶粒

504．結32.6へ粒界を膨張させ，膨張開始部と膨張終端間の画素値に傾斜を付けることで，機械学習後の推論での粒界の途切1.1れが抑制され，高精度な粒径計測手法を実現した．本6 10 15 26 51 109
Expansion width (pixels)

Fig. 9. Comparison of absolute errors in weighted
average grain size among expansion widths.
Optical microscope
image

径計測精度に寄与する前処理手法を開発した．粒の内側

Grain boundary

手法を用いて Alloy925 の光学顕微鏡写真の解析試験を行った結果，膨張幅 10 pixel の条件において，粒数と粒径の絶対誤差が 5 ％以下となり，最も予測精度が高くなることが確認された．
本手法により，光学顕微鏡で得たミクロ組織画像から結晶粒径を正確に定量化する作業が容易となった．この技術の応用により，結晶粒径の平均値だけでなく，結晶粒径の分布まで考慮した高度な組織予測技術の発展が期

Truth

待される．
（文1）大木優太朗：特殊鋼，71（2022），5，34．

100 μmPrediction

献）2）T. Okajima，S. Sakurai and M. Fujiwara：Int. Conf．

Postprocessing

IFM2014，（2014），198．

10 pixels3）大竹拓至，杉野敦，岡島琢磨：電気製鋼，93（2022），79．

4）日本規格協会：JIS G0551（2020）．

5）足立吉隆，田口茂樹，弘川奨悟：鉄と鋼，102（2016），722．

109 pixels

6）原田絵美，森大輔：電気製鋼，93（2022），85．
7）鈴木大慈：応用数理，28（2018），1，32．

8）O. Ronneberger，P. Fischer and T. Brox：MICCAI Proc.，18，PartⅢ（2015），234．

Fig. 10. Large expansion width causes grain boundary
shift.

児嶋彬

本田百花

岡島琢磨