1EP46

テーマ番号和文

深層学習に基づく目視検査の自動化に関する研究

プロジェクトテーマ

指導教員
英文プロジェクト
メンバー

長田 茂美 教授

A study on automation of visual inspection by deep learning
4EP2-73

渡辺 優梨菜 (Yurina Watanabe)

Abstract In recent years, visual inspection at manufacturing sites has been automated by image processing technology. However,with existing inspection methods, the workload of engineers (such as image feature design, extraction, and parameter adjustment) is
heavy, and there is a risk of creating defective products, especially in visual inspections that require complicated and advanced feature
extraction. Therefore, our laboratory has constructed a visual inspection system that uses deep learning to determine the quality of aproduct and the cause of defects with higher accuracy. In this study, we propose a visual inspection system that introduces a BC learning(Between-class Learning) method that enables efficient learning even with a small number of training data. In the system evaluation
experiment, the overall accuracy rate improved and its effectiveness was confirmed.

Keywords visual inspection, deep learning, convolutional neural network, Between-class Learning．
1. はじめに
近年，工業製品の製造工程における外観検査は，マシンビジョン，コンピュータビジョン技術によって自動化されてきている．しかし，製品の外観画像から抽出すべき画像特徴の設計や検査基準のチューニングなど，外観検査を自動化するにあたってのエンジニアの負担は大きく，また，複雑で高度な画像特徴の設計および抽出が要求される検査項目については，既存の画像処理手法やシステムによる外観検査の自動化は難しい．外観検査での不良品の見逃しは，不良品の出荷，品質の低下を招く恐れがあるため，外観検査の一部は未だに人間の目視によって行われている．
当研究室では，深層学習を用いることで，画像特徴の設計および抽出を自動化し，半導体製品が良品であるか不良品であるか，不良品であれば，さらにその不良原因を判定する外観検査システムの構築を行ってきた[1]．これまでの外観検査システムは，高精度な良否判定は実現できているが，不良原因の判定精度はまだ不十分であった．その一因として，不良品の発生頻度が低く，学習に用いることのできる不良品の画像数が良品の画像数と比べて極端に少ないことが挙げられる．
本研究では，半導体製品の外観検査システムのさらなる精度向上のための試みとして，少数データでの学習においても有効と考えられる手法である BC learning(Betweenclass Learning)[2]を用いた学習手法を提案し，評価実験により，その有用性を確認する．

2. システム概要
図 1 に，本研究で用いる外観検査システムの概要を示
す．本システムは，半導体製品の外観画像が入力されると，その製品が良品/不良品のいずれであるか，さらに，不良品であれば不良原因として典型的な 4 種類の"汚れ"，"傷"，"打痕"，"捺印ずれ"のいずれかに判定する．良否判定だ
けでなく不良原因も判定するのは，不良原因を特定することができれば，製造ラインが抱える問題箇所の特定が容易になり，製造ラインの改善に活かすことができるからである．
本システムでは，深層学習モデルとして画像認識分野で広く利用されている畳み込みニューラルネットワーク(CNN，Convolutional Neural Network)を用い，予め半導体製品の外観画像と 5 種類の判定カテゴリの対応関係を学習させておくことによって，未知の半導体製品の外観画像が入力されると，"良品"を含めた 5 種類のカテゴリに判定した結果が出力される．

図 1 外観検査システム
Fig. 1 Overview of the visual inspection system.

3. 課題と解決策
現状の外観検査システムには，良否判定精度は非常に高いが，不良原因の判定精度が低いという課題がある．これは，不良品の発生頻度が低く，不良品画像を多く収集することが難しいことに起因している．そこで，本研究では，少数データでの学習においても有効と考えられる手法である BC learning を用いて，不良原因の判定精度の向上を目指す．BC learning とは，カテゴリ間の決定境界を明確化するための手法であり，図 2 に，その概要を示す．BClearning は，学習データの画像を基に，まず，互いに異なるクラスの画像 2 枚をランダムな比率で合成し，正解ラベルも同じ比率で合成する．このようにして特徴が混ざり合った新たな画像と正解ラベル，すなわち，学習データを作り出す．したがって，BC learning を適用すれば，カテゴリ間の決定境界付近に位置する学習データを生成できる
ため，4 種類の不良品カテゴリ間の決定境界が明確化され，学習データ数が限られている 4 種類の不良品原因の判定精度の向上が期待できる．

図 2 BC learning を用いた学習データの生成
Fig. 2 Training data generation by BC learning.

1EP46

テーマ番号

4. 評価実験Ⅰ
BC learning を用いた学習手法の有用性を確認するために，実際の製造現場の検査工程で収集した半導体製品の外観画像のデータセットを用いて，BC learning を適用した実験(a)と，BC learning を適用しない実験(b)における判定精度の比較評価を行った．

4.1 実験条件
半導体製品のロット番号が捺印された面を撮影した外観画像 2202 枚とカテゴリ情報を紐付けした評価用データセットを作成した．図 3 に，カテゴリごとの画像の一例を，表 4 にカテゴリごとの画像枚数を示す．このデータセットには，発生頻度の関係から故意に作成した不良品の外観画像なども含まれている．このデータセットに対し，k分割交差検証法(k=6)を適用し，4:1:1 の割合で学習，検証，テスト用データとして，評価実験を行った．表 2 に，実験に用いた CNN モデルを示す．

データの数が相対的に少なくなり，CNN モデルが各カテゴリの典型的な画像の特徴を捉えられなくなった可能性が考えられる．そこで，実験(b)の学習済み CNN モデルの重みを初期値として，BC learning を用いて，fine-tuning を行うことで，典型的な学習データの特徴は保持した状態で，決定境界を明確化できるのではないかと考えた．この仮説を検証するために，評価実験Ⅱを実施した．
表3 評価実験Ⅰの結果
Table 3 Result of evaluation experiment I.(単位:%)BC fold1 fold2 fold3 fold4 fold5 fold6 平均
92.1 90.5 90.5 94.6 92.3 93.4 92.2
◯88.3 84.2 92.1 92.1 89.3 90.4 89.4
+3.8 +6.3 -1.6 +2.5 +3.0 +3.0 +2.8(a)(b)差

表4 各カテゴリの F 値
Table 4 F-score for each category.
BC 良品 汚れ傷
打痕 捺印ずれ 平均(a) ◯99.1 85.6 40.9 73.7 98.7
79.6(b)-差

図 3 カテゴリごとの画像例
Fig. 3 Examples of images for each category.

良品 汚れ 傷511

178

打痕 捺印ずれ 合計
186

41

90.3

53.2

77.5

98.7

83.9+0.4+4.7 +12.3+3.8

0.0+4.3

5. 評価実験Ⅱ

表1 カテゴリごとの画像枚数
Table 1 Number of images for each category.
データ数 1286

99.52202

表2 実験に用いた CNN モデル
Table 2 CNN model used for experiments.

4.2 実験結果
表 3 に，評価実験Ⅰの結果を k-分割交差検証の fold ごとの正解率(％)として示す．実験(a)は，実験(b)と比べて，fold3 の正解率が若干下がったものの，k-分割交差検証の平均正解率では 2.8%向上した．また，表 4 には，カテゴリごとの F 値を示す．F 値についても，実験(a)は，実験(b)と比べて，"捺印ずれ"は同じ値であるが，それ以外の 4 カテゴリではすべて向上していることから，より的確な決定境界が学習できていることがわかる．また，良品よりも遥かにデータ数が少ない不良品カテゴリにおいて，より顕著な精度の向上が見られることから，データ数の少ないカテゴリに対して特に有効であるものと考える．以上の評価実
験Ⅰの結果より，本研究の不良品データのように，少数のデータしか得られないカテゴリが存在する分類問題において，提案手法の有用性が確認できたといえる．
次に，さらなる精度向上を目指すために，表 3 におけるfold3 の正解率が低下した原因について考察する．この原因として，実験(a)では，学習データを基に，BC learning を用いてすべての学習データをランダムに混ぜ合わせて生成するため，実験(b)で用いるような元々の典型的な学習

評価実験Ⅱでは，評価実験Ⅰの BC learning を適用した実験(a)と，BC learning を適用せずに学習した CNN モデル（実験(b)）の重みを初期値として，BC learning を適用して fine-tuning を行う実験(c)における判定精度を評価した．
表 5 に，評価実験Ⅱの結果を k-分割交差検証の fold ごとの正解率(%)として示す．実験(c)の fold3 の正解率は，実験(a)と比べて，0.3%向上したものの，平均正解率に変化は見られなかった.これは，学習の開始時には重みの初期値として，典型的な画像の特徴を保持しているものの，混ぜ合わせて生成した学習データによる学習が進むにつれて，元々の典型的な画像特徴が失われているからだと考えられる．この解決策として，BC learning を適用する際に，混ぜ合わせて生成した画像と，元々の画像の両方を用いて学習を進めることが考えられる．これによって，典型的な画像特徴と，カテゴリ間の決定境界付近の混ざり合った画像特徴の両方を学習することが可能となり，精度の向上が期待できる．
表5 評価実験Ⅱの結果
Table 5 Result of evaluation experiment Ⅱ.(単位:%)
fine-tuning fold1 fold2 fold3 fold4 fold5 fold6 平均(a)92.1 90.5 90.5 94.6 92.3 93.4 92.2
(c)◯
91.3 90.5 90.7 93.2 94.5 92.9 92.2
-0.8
0.0 +0.3 -1.4 +2.2 -0.5
0.0
差

6. おわりに本研究では，半導体製品の外観検査システムのさらなる精度向上のための試みとして，少数データでの学習に有効な BC learning を用いた学習手法を提案し，評価実験により，その有用性を確認した．今後も，さらなる精度向上を図るとともに，判断根拠の可視化など実用に向けた検討を進めていく予定である．最後に，多大なるご支援を頂いている石川サンケン株式会社の関係各位に感謝いたします．

参考文献[1] 池田雄馬, “深層学習による目視検査の自動化に関する研究,” 令和元年度プロジェクトデザインⅢ公開発
表審査会予稿集, 1EP186, 2020.
[2] Yuji Yokozume, Yoshitaka Ushiku, Tatsuya Harada,“Between-class Learning for Image Classification,”
arXiv:1711.10284, 2017.