技術論文

外観検査における画像全域監視技術

技術論文

外観検査における画像全域監視技術
李国鑫

Guoxin Li

吉田和導

Kazumichi Yoshida

福田明博

Akihiro Fukuta

概 要
従来の自動外観検査は画像中にターゲット領域を設定して,ルールベースの良否検査を実施している.一方,ターゲット領域以外のエリアに不具合が写っていた場合は検出することができない.そこで,撮影した画像の全域から,いつもと違う（目視検査作業員のヒヤリハット）を検出するロジック,およびそれを搭載した実用性,展開性を確保したエッジ・クラウドシステムを開発した.2021年4月より,岡崎東工場のCVTユニット組立ラインにて号口運用を開始したため報告する.

1.

はじめに

2.2.1

学習

我々はIoTやAIなどの先進技術を用いてデータ活用・同一画角から同一品種の複数良品ワークより撮影し分析を行い,人の感性と同様に検査ができる「いつもとた画像に対して,同座標の1画素において,ワーク表面違う」の自動検出技術の開発に取り組んでいる.の性状により,輝度の変化がある(図1).

自動変速機(A/T)を代表とした自動車部品において,複数画像において同座標にある1画素の輝度分布を不良品の検出等の自動検査が行われている.例えば,想統計的に把握すると,レンジを表すMinとMax,そしてバ定した種々の不具合をターゲットとして,欠品,異品等ラツキを表す標準偏差σが分かる(図2).画像にある画

ルールベースでの検査をA/T出荷前に自動外観検査

素すべての輝度値分布,即ち良品レンジMin, Maxとσ装置で行い,安定した品質を保証している.

を抽出する過程を学習と定義し,学習で得た結果をモデ

しかしながら,A/Tは多数の金属部品,樹脂部品,電装ルと呼ぶ.参考に,図3(次頁)は学習済みモデルを可視

部品を複雑な組立,塗布,洗浄工程等を経て完成させる化したものであり,良品画像間には画素毎に輝度バラツため,想定外の現象に気付く「人のヒヤリハット」検出＝キがあることがわかる.

画像全体の「いつもと違う」検出を設備置換し,さらに品質レベルを高めていく必要がある.
2.
2.1「いつもと違う」の検出手法
検出手法の考え方

複数の良品データをマスターとして,対象画像の良否判定を行うのが基本的な思想である.以下3項目を重要な評価指標として,新たなロジックを考案した.
1)検出力：想定外の現象を検出可能
2)応答性：高速判定が可能(0.2sec/枚以下)
3)説明性：検出内容の説明が可能
2.2

実現方法

異常を検出するロジックについては,判定基準を作成するプロセス「学習」と,画像の異常度を算出するプロセ

図1

良品画像輝度の変化

ス「判定」の計2フェーズで構成される.

AISIN TECHNICAL REVIEW VOL.26 2022

28

図5

(a)学習のイメージ(b)1画素の輝度分布
図2 良品画像の学習

2.2.3

検出サイズ

必要な画像処理

画像の画角や背景のバラツキが学習や判定精度に影響を及ぼすため,上記の0.3㎜の精度を確保するた
めには,予め定めた基準画像を位置補正し,且つ製品以外の背景を除去する必要がある.

(a)輝度値Min

図32.2.2(b)輝度値Max
学習結果の可視化

判定

生成された学習済みモデルを用いて,いつもの状態からの差分で画像全域の良否判定を実施する(図4).
検出精度は撮像条件によって変わるが,今回は,図5に示すように,10画素×10画素(0.3mm×0.3mm)が最小検出サイズとなる. 判定速度について,上記サイズの異物に対しては,作業員の目視検査で平均15sec程度が検出に必要なところを,1サイクル35枚画像判定を10Secで完了させることが可能である.

図6

画像処理フロー

図6は画像処理の流れである.まず,基準画像に対しPOC法(Phase Only Correlation位相限定相関法)で補正量計算を行い,アフィン変換して位置補正を実施.次に,画像周辺に対し一定量のトリミングを実施.最後に,用意した背景マスクを用いて背景除去を実施した.
上記の流れにより,判定画像中にある物体位置のバ

図429

対象画像の判定

AISIN TECHNICAL REVIEW VOL.26 2022

ラツキを低減し,画像の判定精度向上を実現した.3.1

システム構成概要図の「③データ解析」で示す様に,「いつもと違う」を検出した直後に関係者へ通知し,リモートでシステムの考え方【展開性/一括管理】
アイシングループ全体での運用を想定し,複数拠点・結果確認が可能.
3)機能拡張を考慮した構成
検出手法はモジュール化して独立しているため,新ラインに横展開,一括管理が容易にできること.

たな機能(例:検出モードの自動層別 等)追加は既【効率的な情報共有】
不具合検出時,検出情報が現場から関連部署に発信される際に,情報伝達がロスなく効率的にできること.
【拡張性】
将来発生する様々なニーズに対し,容易に機能追加存機能に干渉せず実施が可能.
上記の特徴を備えるシステムを構築することで,アイ
シン全社規模での標準的な運用と一元管理が実現可能になる.

ができること.

4.

上記を踏まえ,判定ロジックの開発に並行して,最適なシステムの構想,構築を実施した.
3.2実現方法(エッジ・クラウドシステム)

技術論文

外観検査における画像全域監視技術

3.

4.1

評価実験
試験運用

異常検出ロジックの精度把握と,システム全体のロバスト性 評 価の ため に, 号 口 設 備 にて2 0 2 0 年 8 月 ～2021年3月の間試験評価を実施した(図8).

(a)対象工程図8

表1

実際のクラス(b)作業者の結果確認
評価実験の様子精度評価用混同行列

Positive(NG)Negative(OK)「いつもと違う」の検出結果
Positive(NG)Negative(OK)
TPFN
FP
TN

TP: True Positive, NGをNGとして検出した
FN: False Negative, NGをOKとして判定した
FP: False Positive, OKをNGとして検出した
TN: True Negative, OKをOKとして判定した(1)
図7 システムの概要図

ロジック精 度 の 評 価 指 標として, 式 ( 1 ) の F a l s e
システムは図7のように,クラウド部とエッジ部(ラインPositive Rate(FPR:偽陽性率,誤報率)を用いた.この

1,2,3)で構成している.各ラインにPC(通称:全域監視値が低いほど精度がよく,生産阻害の程度が軽いことをPC)が設置されており,運用方法について以下の特徴が示す.関係者協議によりFPR目標値は0.62％に設定しある.

た (FP発生数,約5台/直を想定).

1)セットアップが容易
概要図の「②設定変更」で示す様に,プログラム知識を持っていなくてもセットアップを完了できるように,クリック操作のみでクラウド側から全域監視PCに判定ロジックを配信することが可能.
2)結果確認はいつでもどこでもできる

4.2

評価結果

対象期間中の評価ワーク143247台の内,「いつもと違う」の判定結果として,FN: 0台,検出した数の内訳は,TP:310台(0.22%),FP：1280台(0.89%)であっ
た.FPの内訳として,位置補正不備, 撮像ブレ,鋳肌(金AISIN TECHNICAL REVIEW VOL.26 202230属表面のバラツキ)が大半を占め,図9はそれぞれの代表例になる.発生起因の層別をすると,ハードとソフトの計2パターンがある(表2).

図10(a)撮像ブレ(b)位置補正不備
図9 FPモード代表例

表2FP項目位置補正不備撮像ブレ
鋳肌
その他(複数)合計

4.3

画像ブレ発生のメカニズム(c)鋳肌

FPの内訳一覧

発生数
448
428
260
1441280

発生率
0.31%
0.30%
0.18%
0.10%
0.89%

原因層別
ソフト
ハード
ソフト
ソフト

−

FP各モードの発生原因と対策

ソフト側の検出ロジックとハード側の撮像条件の両方に対策を講じた.特に撮像条件に対しては,従来のルールベース検査よりも撮像品質が高く求められたた(2)
v :振動速度a :振動計より測定した加速度
t :加速時間
図11

め,シャッタースピードとホワイトバランスなどの条件の振動速度の算出

見直しを実施した.以下に代表対策を示す.
4.3.1

位置補正の精度向上

前述したFP要因である位置補正不備に対して,詳細調査した結果,金属表面の反射と鋳肌など画像中のノイズにより補正精度が不足していることが判明した.それに対し,画像中のノイズ削減手法および輪郭の抽出手法の中から,最適な組み合わせを探索し,位置補正のロバスト性を確保した.
4.3.2

(3)

撮像側の改善

画像ブレのメカニズム（図10）を現認し,カメラ振動

ts :シャッタースピードを主な原因と特定し,振動の発生源である設備アクチュ

S :撮像素子サイズ

エーターの速度や衝撃の調整で振動の抑制を実施し

R :被写体までの距離た.

N :水平また垂直方向の画素数

しかし,この対策は十分ではなく,画像ブレ発生数は大幅に減少したものの,ゼロにはできなかった.従って,別v :振動速度f :レンズの焦点距離のアプローチとして撮像条件調整による対策を実施し

図12 シャッタースピードの算出た.
撮像ブレによる画像中のブレ量が1画素以下に抑え感度調整機能の追加られればブレが発生しないと考え,それを満たすカメラ

図13で表すように,同一画像中でピクセル毎に検出のシャッタースピードを設定した.シャッタースピードの感度が異なり,過敏に反応するケースがあったため,検算出は,振動計で得た振動波形より式(2)を用いてカメ出精度向上のために,エリア毎に重み係数を付与するこ

ラの振動速度vを算出し,速度vと他の定数を式(3)に代とによる感度の調整を可能にした.

入することで,ブレの発生しないシャッタースピードを算出・設定した（図11,12）.
なお,同画角に同じ露出条件を維持する為,絞りやゲインなどの調整も並行して実施した.

31

4.3.3

AISIN TECHNICAL REVIEW VOL.26 2022

技術論文

外観検査における画像全域監視技術

参考文献
1）Thibaud Ehret, Axel Davy, Jean-Michel Morel, Mauricio
Delbracio, Image Anomalies: a Review and Synthesis ofDetection Methods, P9-10,20192）公 益 財 団 法 人 画 像 情 報 教 育 振 興 協 会：デジタル画 像 処理,P32,2019

筆 者李図134.4

画像中の感度分布ヒートマップ

効果確認

4.3.1～4.3.3の,FP発生の対策を実施した結果,FPRは目標値を下回ることが確認できた
（図14）
.

国鑫

生産革新推進部
画像検査,動画解析の技術開発に従事

吉田和導

生産革新推進部
異音検査,画像検査の技術開発に従事

福田明博

生産革新推進部
画像検査の技術開発に従事

図14

5.

対策後のFPR

号口運用

4章より,「いつもと違う」検出ロジックとシステムの試験運用で安定稼働が確保されたので,検査対象全49種の画像に対し, 2021年4月より号口運用を開始した.運用に関連する部署に対し役割分担を明確化し,検出時に迅速な対応ができる体制を構築した.現在,生産の昼夜を問わず,現場を含めた関連部署が運用ルール通りにアクションを起こせる状態になっている.
6.

おわりに

画像全域から「いつもと違う」を検出する技術の確立
および,システム運用の定着ができた.開発段階で抽出した課題を確実に解決することで,ソフト側そしてハード側の設計に関する重要なノウハウが蓄積され,次世代の外観検査装置の開発を始め,多くの画像検査への活用が可能になった.
今後,運用方法など含めて標準化し,工程整備部署に横展教育を実施することで,展開ラインの拡大を加速していく計画である.あわせて,更なる検出精度向上機能の開発と導入も継続的に取り組んでいく.

AISIN TECHNICAL REVIEW VOL.26 2022

32