1EP186

テーマ番号プロジェクトテーマ

和文

深層学習による目視検査の自動化に関する研究
指導教員

英文

長田茂美 教授

The study on automation of visual inspection by deep learning

プロジェクトメンバー

4EP4 -04 池田雄馬 (Yuma Ikeda)

Abstract

In recent years, visual inspection at a manufacturing site has been automated by an image processing technology.
However, the existing inspection method requires a heavy burden on the engineer, such as image feature extraction and thresholdadjustment. In addition, the appearance inspection which requires a complex and advanced feature extraction may lead to outflow ofdetective products (deterioration of quality). In this study, we constructed a visual inspection system that automated feature extraction
by using deep learning. This is attracting attention in the field of image recognition. To evaluate the effectiveness of the proposedsystem, we used some non-defective and defective products from manufacturing sites to inspect the accuracy. As a result, we got 100%for non-defective/defective determination rate and 88% for finding the cause of defect products. The effectiveness of the proposedsystem was confirmed.

Keywords

visual inspection, machine vision, deep learning, convolutional neural network.

1．はじめに
近年，工業製品の製造工程における外観検査は，コンピュータによる画像処理技術（マシンビジョン）によって自動化されてきている．しかし，製品の画像特徴の抽出や，検査基準（閾値）の調整作業におけるエンジニアの負担が大きい．また，複雑で高度な特徴抽出が必要とされる検査項目は，既存の手法での自動化が難しい．これらの問題は不良品の出荷，品質の低下を招く恐れがあるため，外観検査の一部は，未だ目視によって行われている．
本研究では，画像認識の分野で注目されている深層学習を用いることで，画像特徴の抽出処理を自動化した外観検査システムを構築した．また，製造現場で検査に用いられている製品の外観画像を収集したデータセットを用いて評価実験を行い，システムの有用性を検証した．

2．システム概要
図 1 に，本研究で構築した外観検査システムの概要を示す．提案システムでは，製品の外観画像が入力されると，その製品が良品／不良品のどちらであるか，さらに，不良品であれば不良原因として典型的な 4 種類の"汚れ"，"傷"， "打痕"，"捺印ズレ"のいずれかに分類する．不良原因を特定することができれば，製造ラインが抱える問題の特定が容易になり，製造ラインの改善に活かすことができる．
提案システムは，製品の外観画像と 5 種類の分類カテゴリ（良品と 4 種類の不良要因のカテゴリ）の対応関係を，深層学習モデルとして画像認識分野で広く利用されている畳み込みニューラルネットワーク(CNN, ConvolutionalNeural Network)[1]により学習しておくことで，学習後に製品の外観画像がシステムに入力されると，その製品を 5 種類のカテゴリに分類した結果を出力する．

3．データセット
提案システムの有用性を検証するために，半導体部品のロット番号が捺印された面を撮影した外観画像 2002 枚と分類カテゴリ情報を紐付けした評価用データセットを作成した．図 2 にカテゴリ毎の画像の一例を，表 1 にカテゴ

図 2 カテゴリ毎の画像の一例
Fig. 2 Images for each category.
表 1 カテゴリ毎の画像枚数
Table 1 Number of images for each category.
データ数

良品

汚れ傷打痕捺印ズレ

合計

12865117886412002

リ毎の画像枚数を示す．このデータセットには，既存の検査手法では誤分類してしまう変色した良品の外観画像や，発生頻度の関係から故意に作成した不良品の外観画像なども含まれている．

4．評価実験
提案システムの有用性を検証するために，データセッ
トを 4:1:1 の割合で学習，検証，テストデータに分割し，製品の外観画像と 5 種類の分類カテゴリとの対応関係を学習した CNN が，製品の未知の外観画像を正しいカテゴリに分類できるかを評価する実験を行った．評価指標として，分類結果と正解が一致しているのかを評価する正解率，正解を漏れなく検出できているかを評価する適合率，異なるカテゴリを誤って検出していないかを評価する再現率，の３種類を用いて評価した．

4.1．評価実験結果

図 1 提案システムの概要
Fig. 1 Overview of the proposed system.

表 2 に，評価実験の結果を示す．"良品"の正解率，適合率，再現率は 98%を超えており，提案システムの良否判定における有用性が確認できた.しかし，"傷"カテゴリでは，適合率，再現率ともに低い結果となった．この問
題は，データセットの画像枚数が少なく，そのカテゴリの特徴を十分に抽出できていないことが原因と考えられ

1EP186

テーマ番号

表 2 評価実験結果
Table 2 Evaluation experiment results.
正解率
適合率
再現率
98.8%
98.2%
100.0%
良品
94.3%
85.1%
94.1%
汚れ
95.8%
33.3%
7.7%
傷
99.1%
100.0%
78.6%
打痕
100.0%
100.0%
100.0%
捺印ズレる．学習データの拡張を行い，画像のパターンを多様化することで分類精度が向上するものと考えられる．

表 3 データ拡張後の結果
Table 3 Result after data augmentation.
カテゴリ
正解率
明度変更 適合率

良品
98.8%

汚れ
94.6%

傷
95.8%

打痕 捺印ズレ
98.8% 100.0%

98.2%

84.4%

100.0%

90.9%

100.0%

再現率

100.0%

95.3%

7.7%

71.4%

100.0%

正解率

99.7%

96.4%

97.0%

99.7%

100.0%

適合率

99.5%

91.0%

71.4%

93.3%

100.0%

再現率

100.0%

95.3%

38.5%

100.0%

100.0%

明度変更 正解率
＋
適合率
回転
再現率

100.0%

96.1%

97.0%

99.7%

100.0%

100.0%

90.9%

62.5%

87.5%

100.0%

100.0%

94.1%

38.5%

100.0%

100.0%

回転

5．精度向上に向けたアプローチ
評価実験の結果から，分類精度向上のためのアプロー
チとして，学習データを拡張することが考えられる．そこ
で，「明度変更」と「画像の回転」を行うことで学習デー
タを拡張し，再度，評価実験を行った．図 3 に，明度変更した画像の例を，図 4 に，画像の回転を行った例を示す．

5.1．明度変更によるデータ拡張
表 3 に，データ拡張後の評価実験の結果を示す．明度変
更前後の結果を比較すると，"傷"の適合率が向上し，"打痕"の適合率が低下している．これは，"打痕"の画像が"傷"と誤分類される事例が少なくなったことであり，この結果から，明るさを多様化することで，"打痕"の特徴を捉えやすくなったものだと考えられる．

5.2．画像の回転によるデータ拡張
画像の回転前後の結果を比較すると，"汚れ"，"傷"，"打痕"の正解率，適合率，再現率のすべてが向上している．
このことから，画像の回転を行うことで，不良のパターンが多様化され，それらの特徴が捉えやすくなり，不良品の分類精度が向上したものと考えられる．

5.3．「明度変更＋画像の回転」によるデータ拡張「明度変更＋画像の回転」を行った場合は，良品の正解率，適合率，再現率のすべてが 100%に達しており，データ拡張を行うことで，カテゴリ毎に分類する精度と良否判定の精度の両方が向上したことがわかる．しかし，"傷"カテゴリについては，他のカテゴリと比べて分類精度が低い．
この問題は，"傷"カテゴリの学習データが不足しており，"傷"が持っている特徴を抽出できていないことが原因だと考えられる．また，"傷"よりも画像枚数の少ない"捺印ズレ"の精度が高い要因としては，"捺印ズレ"は外観画像上の変化が顕著なため，特徴の抽出が容易であった可能性が挙げられる．

6．考察
検証実験とデータ拡張の結果から，データ拡張を行うことで，提案システムのカテゴリ毎の分類精度を向上でき

図 3 明度変更を行った画像の例
Fig. 3 Examples of brightness changed images.

ることを確認した．これにより，"良品"カテゴリを 100%に近い精度で判定することが可能となり，良否判定において，本システムの有用性を確認した．不良原因の特定では，
4 カテゴリ中 3 カテゴリにおいて，高い精度で分類できることを確認したが，"傷"カテゴリは再現率が低く，より多くの学習データを収集する必要がある．
また，不良原因の判定精度を向上させるために，分類に失敗した画像の分析を行い，2 つの問題を発見した．1 つ目は，図 5 に示すように，不良原因が異なるが，外観画像上の特徴が類似した画像が存在することである．この問題に対しては，エッジ強調などの手法を用いて製品に付いた凹凸を強調することで，精度の向上が見込まれる．2 つ目
は，複数のカテゴリの不良原因を持つ画像が存在することである．本研究では，画像 1 枚に対して 1 つのカテゴリを紐付けしたデータセットを用いて評価実験を行ったため，2 つ以上の不良原因を持つ画像が，CNN の学習に悪影響を及ぼしている可能性がある．この問題に対しては，データセット内のすべての画像に，5 カテゴリすべての不良原因の有無を列挙した正解ラベルを作成することが対応策として挙げられる．

"汚れ"

"傷"

"打痕"

図 5 特徴の類似した画像
Fig. 5 Images with similar features.

7．おわりに
本研究では，CNN を用いて自動的に画像特徴抽出を行える外観検査システムを構築した．また，既存の画像検査手法では識別困難であり，自動化が難しいと考えられていた画像を含めたデータセットを用いて，評価実験を実施し，良品／不良品の判定および不良原因の分類・特定において，提案システムの有用性を確認した．また，学習データにデータ拡張を施すことで，システムの分類精度の向上に成功した．今後は，画像特徴の強調や，複数の不良原因を表す正解ラベルの作成などを行い，さらなる精度の向上を図っていく．最後に多大なるご支援を頂いている石川サンケン株式会社の関係各位に感謝いたします．

参考文献

図 4 回転を行った画像の例
Fig. 4 Examples of rotated images.

[1] 斉藤弘毅, ゼロから作る Deep Learning, オライリージ
ャパン，2016.
[2] 米澤康太, “深層学習に基づくコンクリートの締め固め判定システムの提案,” 平成 30 年度プロジェクトデザインⅢ公開発表審査会予稿集, EP169, 2018.