自 動 車

違和感を察知する Deep Learning 技術“Sense Learning”
Anomaly Detection by Deep Learning Named “Sense Learning”
＊三浦勝司

野村康

Katsushi Miura

上佳孝

Yoshitaka Kami

Ivander
Ivander

Yasushi Nomura

目視検査では、定量的な評価基準だけでなく、「異常なきこと」のような検査員に依存した判断基準もある。このような人の主観的な判断に依存した目視検査をアルゴリズム化することは困難な課題である。Sense Learning は、このような人に依存した判断を大量の良品データから学習して不良検知を行うために当社が開発した AI（Deep Learning）技術である。
Sense Learning では、良品のみの画像を使って autoencoder 型のネットワークを使用し、良品に含まれる特徴に特化した画像の圧縮・復元方法を AI に学習させる。この学習済み AI に不良画像を入力すると、良品に見られない＝不良特徴に対する圧縮・復元方法を AI は学習していないため、不良部位の特徴の復元を失敗する。その結果、入力画像と復元画像との間に一致しない違和感が発生する。この違和感を不良として特定することで不良の判定を行う。

In a visual inspection setting, quantitative and qualitative judgment is needed. To automate this particular judgment process,an algorithm that resembles human recognition ability is required. Sense Learning is Sumitomo Electric's algorithm thatmimics the human recognition ability using the images of non-defective products. With autoencoder, a Deep Learningbased network, the inspection AI progressively learns to reconstruct the images of non-defective products, thereby
acknowledging the ideal characteristics of products. When the image of a defective product is input, the inspection AI fails
to reconstruct the defective part because it has never learned the form. Based on the difference between the input image
and the reconstructed image, Sense Learning detects the defective part and measures the degree of its severity.
キーワード：Sense Learning、Deep Learning、異常検知

1.

緒

言

いて、少量不良データを収集することが非常に困難という

近年、Deep Learning 技術の登場による第3次人工知（1）課題がある。

能（以下、AI）ブームは、自動車の自動運転技術や大規模この問題を解決するため、我々は「AI が正しい答えを返データ分析技術などの製品やサービスの機能向上だけに留す」という発想を転換し、「AI が未知のデータに対して判定

まらず、生産現場の効率化のための自動化技術にも波及し結果を間違う」ことに注目。はじめに AI に良品データのみている。当社においても、AI 技術の導入による各事業領域を学習させることで良品のモデルを獲得させる。その後、の製品・サービスの機能向上、製造の効率化を重要なテー

良品のモデルにない特徴を持つ不良データを良品モデルにマとしており、当社製品への適用が可能で、より信頼性の照らし合わせて評価させることで、評価時に生じた誤差を高い AI（Deep Learning）技術の開発を実施している。

AI に検出させる。つまり、不良データに対して違和感を感

本稿で取り上げるのは、AI 技術による製造現場での異常検じる（“sense”する）Deep Learning 技術であることか知である。AI 技術として注目を集めている Deep Learning

ら Sense Learning と名付け、これを開発した。次章にて、について、その最も一般的な利用方法の必須条件の1つが、Sense Learning の基本構成について説明する。

識別したいカテゴリ毎に大量のデータを収集することである。これは、様々な環境下で、同一カテゴリー内でも見た目にバラつきがあるモノを識別させるためである。しかし、

2.

Sense Learning

製造現場では、規格化された製品を変化の少ない環境で識

Sense Learning の 基 本 構 成 は3つ あ る。第1の 構 成 は別するように、人がコントロールすることが可能である。

Deep Learning による良品モデルの学習である。はじめ

そのため、製造現場における AI 技術導入には、必要とすに、autoencoder 型のネットワーク（2）を使用して大量の良るデータ数を削減できる利点がある。一方で、製品によっ品画像を教師なし学習することによって、良品の特徴を一ては製造現場における不良の発生率が極めて低いものもあ度圧縮したあと正確に画像を復元する方法を学習させる。

り、発生パターンも多様である。この場合、製造現場におその後、学習済みのネットワークに良品画像を入力すると、12違和感を察知するDeep Learning技術“Sense Learning”

図1のように入力画像とほぼ同じ画像が復元画像として出り、機械学習で自動的に設定された不良の境界を使用する力される。この学習済みネットワークで正確に圧縮・復元ことができない。そのため、Deep Learning と画像処理をが可能な画像の特徴を本稿では良品モデルと呼んでいる。

組み合わせて物体認識および計測を行うことで、規定の不一方、学習済みネットワークに不良品画像を入力すると、良判断基準に合わせた判定を行う。これら2種類の不良判

図2のように不良特徴の圧縮・復元に失敗し、復元画像から不良成分が消える。
第2の構成は入力画像と復元画像の差分抽出である。入

入力画像Ⓐ力画像と復元画像の差分は、画像の撮影条件や検査対象に合わせて、画像処理技術をベースとするフィルタの組み合わせを使用することで抽出している。この差分抽出処理を行うことで、画像内で違和感が発生した位置情報および、違和感の程度を定量化する。フィルタを使用する理由は、製品の仕様に影響を与えない色ムラなどの微小なノイズを画像から除去すること、および復元の過程で発生した入力復元画像Ⓑ画像との微小な変化を除去することである。例えば、実際の製品の中には、肉眼では識別困難な、仕様上問題ない色ムラがあるものもある。この場合、入力画像は隣り合うピクセル同士で微妙に画素値が異なっている。しかし復元画像に変換されると、隣り合うピクセル同士の微妙な画素値

図1

学習済みネットワークに良品画像を入力した例の違いがぼかし処理をかけたように一様になる傾向がある。こういった微妙な変化を違和感として抽出してしまう入力画像Ⓐことを防ぐことがフィルタの目的であり、検査対称に応じた単層または複層のフィルタによってこれを実現する。そのため、製造現場をよく知る人物の意見を参考にフィルタ

テ ー プ 屑 (=不 良 )をチューニングする必要がある。
第3の構成は不良の判定器である。この判定器への入力は抽出した差分情報を使用する。判定器自体の構成は検出すべき不良パターンによって2種類存在する。1つが未知の復元画像Ⓑ異常の場合、もう1つが既知の異常の場合である。未知の異常を検査する場合、良品データで発生する差分情報から不良の特徴は消失

機械学習※1によって良品と不良品の境界を学習し、境界の外にあるデータを不良と判定する。一方で既知の異常の場
合、既に工場内で定量化された不良の定義が決められてお① Deep Learning

②差分抽出

入力画像Ⓐ

(Ⓐ -Ⓑ )×フ ィ ル タ ①

図2

学習済みネットワークに不良品画像を入力した例③判定器
One class SVM

テープ屑
違和感に敏感なフィルタ

良品の差分データ群(Ⓐ -Ⓑ )×フ ィ ル タ ②

良品
境界面

不良品

復元画像Ⓑ
違和感に鈍感なフィルタ
不良消失

図3

Sense Learning による不良判定システム構成の一例

2018 年 7 月・S E I テクニカルレビュー・第 193 号

13

定器を組み合わせることで、Sense Learning では不良判定

表1 コネクタ①に対する不良判定の混同行列を行う。
による不良判定システム構成の一例である。構成は Deep
Learning 部、複数フィルタを用いた差分画像の2値化、one

実物

コネクタ①

図3は未知の異常を検出する場合の、Sense Learning
判定

良品
49960

不良品

4100

過検知率0.08%

不良検知率100%

結果

class support vector machine ※2による不良の判定となっ

限界不良品

良品ている。
表2 コネクタ②に対する不良判定の混同行列

3.

不良判定実験

3－1

実物

コネクタ②

実験設定

工 場 内 の 製 造 ラ イ ン に カ メ ラ を 設 置 し、コ ネ ク タ ①（写真1）コネクタ②（写真2）の2種類のコネクタを各5000枚撮影。そのうち1000枚ずつを Deep Learning 部の良品学

良品
良品

判定

不良品
結果

限界不良品
4998

02100

過検知率0.04%

不良検知率100%

習用トレーニング画像に使用した。また、製造工場では不良がほとんど発生しないことから、意図的に不良定義の基準限界に合わせた不良品（以降、限界不良品）を各コネクタ100種作成し、同環境で撮影を行った。この条件で撮影した画像を使用し、不良の定義を工場内で使用されている数値、テスト結果の目標値を不良の検知率100%、良品を不良と誤判定する過検知率1% として不良判定実験を行った。

（a）外装破損

写真1 コネクタ①3－2

写真2 コネクタ②（b）異物

実験結果

コネクタ①、②に対する不良判定結果を表1、表2の混同
行列※3にまとめる。また、検出に成功した限界不良品の例を図4に示す。コネクタ①の不良の検知率は100%、過検出率は0.08%。コネクタ②の不良の検知率は100%、過検出率は0.04%。目標値である不良の検知率100%、過検知率1% を達成することに成功した。
3－3

考察（c）端子不良

図4に示すように、Sense Learning は不良の種類に関わらず検出することに成功している。このことから、良品デー

14

違和感を察知するDeep Learning技術“Sense Learning”

図4

検出に成功した限界不良品の例

タのみを学習させるだけで不良を検出することが可能であ※3ることを示すことができた。また、検出可能な不良のサイ

複数のカテゴリを認識する課題において使用される判定結ズが十分実用レベルであることもわかった。

果の表記方法。実際のカテゴリと AI が判定するカテゴリを混同行列

課題としては、今回限界不良品の数を100個として実験行列形式に並べることで、AI が正しく判定された数だけでを行ったが、100個という個数が AI の不良検知性能を評なく、誤って判定された数や何と間違ったかを比較するこ価する上で十分な個数であるかの検証は不十分と考えていとに優れる。

る。一般的に、学習された Deep Learning の判定過程を直接的に解析することは困難な技術とされており、大量の評価データを使用して統計的に性能を評価することが多い。

・Sense Learning は住友電気工業㈱の商標です。

しかし、限界不良品の作成には、不良限界ギリギリを作成するための精度を要求されるため、高度な技術が必要である。また、工場内で定義されていない未知の不良に対し、どのように限界を設定するかについては、現場の品質管理参担当者と綿密に話し合う必要がある。

（1） A . Krizhevsk et al., “ImageNet Classification with Deep
Convolutional Neural Networks,”NIPS2012, vol. 1, pp.1097-1105（2） G. E. Hinton, R. R. Salakhutdinov,“Reducing the di-mensionalityof data with neural networks,”Science. 2006 July 28, vol. 313(5786), pp.504-507

次に過検出については、影などの外乱を不良として検出してしまった結果である。このことから、良品データに含まれないような突発的な外乱や、良品データによる学習後に考文献製造環境を変更するなどの環境変化が起きた場合に、今回のテスト結果以上の過検出率となる可能性がある。そのため、こういった変化を発生させないための現場の環境管理徹底や、変化した場合に備えた追加学習機能が必要である。
執4.

結言

筆者 ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

三浦勝 司＊ ：自動車新領域研究開発センター
博士（工学）

上佳孝

主査

良品データのみを使って学習し、不良品に含まれる良品との違いを違和感として感じる Deep Learning 手法を Sense
Learning と名付け、これを開発した。そして、実際のコネクタを用いて Sense Learning による不良検知を行い、不：自動車新領域研究開発センター良を検知できることを示した。今後の課題として、Sense
Learning の性能保証に必要な限界不良品の個数評価および限界の決め方、突発的な外乱によって発生したノイズを不良と誤判定することへの対策、学習後に発生した環境変化

Ivander：自動車新領域研究開発センターに対する自動追加学習に取り組む予定である。

用 語 集 ーーーーーーーーーーーーーーーーーーーーーーーーーーーー
※1

機械学習

野村康

：自動車新領域研究開発センター
プロジェクトリーダー

画像やセンサ値など多数のサンプルデータを解析し、そのデータからデータの分類パターンを自動で抽出する技術の一つ。Deep Learning と類似した技術である。主な違いとして、機械学習の場合は注目すべき入力データを人があるーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー＊主執筆者

程度整理した状態で渡すのに対し、Deep Learning は AI 側が注目すべきデータまでも自動で見つけてくる使い方をすることが挙げられる。
※2

one class support vector machine

機械学習の技術の1つ。入力された多数のデータを同じカテゴリに属するデータとし、そのカテゴリとそれ以外との境界を自動で学習する手法。

2018 年 7 月・S E I テクニカルレビュー・第 193 号     15