技術論文

逐次差分方式による鋳肌の状態を比較する傷の気付き処理を用いたアルミ鋳物製品の自動外観検査
武藤功樹

宮永裕介

Koki Muto

Yusuke Miyanaga

Kimiya Aoki

Hiroyasu Koshimizu

青木公也

輿水大和

概 要
自動車部品は, 品質を保証するために生産工程で厳しい検査が実施されている. 外観検査では目視検査が広く行われているが, 検査員に集中力持続等の過度な負担を強いている. 中でもトランスアクスルケースのようなアルミ鋳造製品は,複雑な曲面形状を持つために見にくい部位が多く, 外観検査の自動化ニーズが高い. しかし, 金属であるために一般的な照明で撮像するとハレーションを起こしやすく, 欠陥の検出が難しい. また, 鋳肌と呼ばれる表面性状のバラつきも大きいため, 欠陥として誤検出しやすいという課題もある. そこで, 複雑な曲面形状上でもハレーションを抑えて撮像できる光学系と表面性状のバラつきが大きくても欠陥のみを安定して検出する検査アルゴリズムを開発し, 部位限定ではあるが量産ラインへ導入したため報告する.

1.

はじめに

2.

検査光学系について

自動車部品には2～3万点の部品が使用されており，まずはじめに，照明を直接，製品に当て撮像した画像

安全性・品質を保証するために生産工程では厳しい検を図1に示す．
カメラが金属表面の反射光を捉えてしま査が行われている．なかでも，外観検査では今でも目視

い図1の右図のように画像の一部がハレーションしたよ検査が広く行われているが，安全性・機能性能に大きなうな画像を撮像してしまう．また，製品は複雑形状である影響を与える場合があるため,目視検査における見逃しため図1の左図のように一部分が影になってしまっていが許されない．そのため，検査員に集中力持続等の過る．
ワークの表面にハレーションや影が発生すると，画度な負担を強いる．
なかでも，トランスアクスルケースの像上で欠陥の陰影が消えてしまう．それを防ぐためにようなアルミ鋳造部品は自動車部品の中でも特に大きくは，複数のカメラを設置し，複数の光学パラメータ(露複雑な形状を持つ製品であり，目視検査を実施する際光，絞りなど)を設定する必要があるが，一方で，カメラのには，検査部位も多いため，検査の負担は特に大きく自個数が多くなってしまう．今回対象とした製品では，カメ動検査の実現が求められている．

ラの個数が125個必要であることがわかった．

しかしながら,検査対象である本製品は金属であるため，一般的な照明を用いるとハレーションを起こしやす

そのため，カメラの個数を減らすべく間接照明による光学系を採用した．

く，欠陥を撮像することが難しい．また，本製品は複雑形状でもあることから製品の斜面が暗くなり,同様に欠陥を撮像することも難しい．
さらに，撮像した画像から欠陥を発見する処理においても，表面性状のバラつきが大きく，欠陥と良品の判定が困難である．本論文では，
まずhはじめに，アルミ鋳物製品のハレーションと斜面の影を抑えて製品を撮像する光学系について説明をする．

図1

直接光による撮像画像

その後，表面性状のバラつきがある中から不良を安定して検出する検査アルゴリズムについて説明する．最後に，導入した自動検査機について紹介する．

採用した光学系は図2のように照明を直接当てるのでなく，反射板に向けて，跳ね返ってきた拡散光を製品に当てる,間接照明の基本的な構造である．
この光学系にて撮像した画像を図3に示す．図1と比較すると，図3

33

AISIN TECHNICAL REVIEW VOL.25 2021

また，図3左図では製品形状の影も減少していることがわかる．

3.

欠陥の検出処理技術論文

逐次差分方式による鋳肌の状態を比較する傷の気付き処理を用いたアルミ鋳物製品の自動外観検査

右図のような金属表面のハレーションが減少している．

次に，表面性状のバラつきがある中から不良を安定して検出する検査アルゴリズムについて説明する．
欠陥検出処理のはじめとして，撮像した不良画像(図5(a))に対して，固定の良品マスター(図5(b))による差分処理を実施した．図6に差分処理を行った結果画像を示す．図6右図では欠陥に対してある程度出力(輝度差50)が出ているが，図6左図では製品の表面を過検出している．過検出の原因は，アルミ鋳物製品には鋳肌と呼ばれる，ショットブラストなどに起因する梨地状の凹凸で

図2

間接照明を用いた光学システムある．鋳肌は製品毎に変わるため，固定マスターとの差分処理を実施すると鋳肌部分がそのまま過検出になる．
参考に，図5(a)不良画像の鋳肌部分の輝度波形を解析した結果を図7(a)に示す．
また，図5(b)の良品画像の波形解析をした結果を図7(b)に示す．鋳肌部分の輝度波形が良品マスター画像と不良品画像で異なり，図7(a),図7(b)の右図のように同じ位置であっても，鋳肌

図3

拡散光による撮像画像

この結果，一回の撮像で検査ができる範囲が広がっ部分の輝度が大きく異なるため過検出してしまうことがわかる．

たため，直接光を当てた場合では125個必要であったカメラの個数を，拡散照明(図3)を用いた光学系により38個(▲70%減)に削減することができた(図4).
表1に，構築した光学系の仕様をまとめて示す．
アルミ
鋳物製品の複数の検査部位を検査するために，38個のカメラと拡散照明を使用した．各カメラの撮像素子の画素数は1280×1024画素である．
また，画像の空間分

図5

不良品画像と良品画像

解能は検査対象の表面の凹凸具合によって変わるが，画像中の狙いの検査範囲については，0.1mm/pix以上になるようにして撮像した．
表1

検査システム仕様
図6

差分処理結果画像

図7

輝度波形解析画像

図4 カメラ数の削減

AISIN TECHNICAL REVIEW VOL.25 2021

34傷の気付き処理 (KIZKI algorithm)
そこで，鋳肌部分の過検出を抑制するために，これまでに筆者らが提案している傷の気付き処理1）２）の適用を試みた．傷の気付き処理は，人の視覚生理機構のうち，周辺視と固視微動に着目して提案された手法である．気

図9付き処理では，まず，はじめに低解像度化処理を実行する．次に，生成された低下解像度画像をブロックで分割

3.2

鋳肌比較の傷の気付き処理結果

製品形状の過検出を抑制する逐次差分処理

して注目領域と周辺の領域と比較(2値化)をする．
ブロッ

製品形状の過検出を抑制するために，処理結果画像クの位相を設定されたブロックの縦・横幅分まで順次シとの差分処理を実施することにした．一般的には，固定フトさせ，同様の処理を繰り返す．そして，ブロックサイズマスタを用意することが多いが，アルミ鋳物製品においを順次拡大していき，同様の処理を繰り返す．それぞれては型摩耗によって表面が徐々に変化していく．固定マのブロックの状態で得られた画像を画素毎に加重積算

スタを用意すると変化部分が過検出となることが懸念さする．積算画像を正規化し，ヒートマップ表示することにれる．そのため，今回は逐次差分処理を実施した．逐次よって，画像を出力する．図5の原画像に対して，傷の気差分処理とは，直近に生産された良品をマスタ画像とし付き処理を適用した結果を図8に示す．図8左図の鋳肌て差分処理を行うことである．逐次差分処理の結果を図部分を確認すると，鋳肌の過検出がなくなっていること10に示す．図10左図では製品形状の過検出が減少してがわかる．一方で，図8右図の不良部を確認すると不良いる．図10右図を確認すると不良部はそのまま出力が部は検出できている．
しかし，他にも同程度の出力の箇残っている．

所が多数検出されているため，欠陥部のS/Nが低いことがわかる．

図10
図8

傷の気付き処理結果

3.3

逐次差分処理の結果

後処理 (ブロブ処理)

大きな形状部分は除去できたが，微小な過検出が3.1

鋳肌比較の傷の気付き処理 (Ihada-KIZKI)

残っているので，これまでの欠陥検出処理の後処理とし不良部は輝度の変化量が大きいことが解析の結果がて，ブロブ処理を実施した．面積閾値300pix以下のブわかっている．そのため，不良部の出力(S/N)を上げる

ロブを棄却した後に，ブロブの重心に半径100pixの赤ために，傷の気付き処理の入力画像としてSobel Filter

円を原画像の上に自動的に描いた画像を図11に示す．

を用いた勾配強度画像を入力とすることにした．
また，従この画像を判定結果表示画像(検査員目視画像)と呼来の傷の気付き処理では，周辺ブロックと比較をする際ぶ．後に，ここまでの一連のアルゴリズムフローを図12には，単純な2値化処理を実施していたが，今回の手法に示す．

では文献3）4）5）で使用されているヒストグラム間類似度を用いた．そのため，鋳肌表面のざらつきより，不良像が周囲より密度の高い画素で構成されている場合や，周囲とS/Nが大きい場合に検出することができる．
この処理を[鋳肌の状態を比較する傷の気付き処理]と呼称する．
出力画像を図9に示す．図8と比較して，欠陥部に対して赤色の領域が大きくなっており，S/Nが高くなっていることが確認できる．一方，図9左図では製品の形状を過検出していることがわかる．

35

AISIN TECHNICAL REVIEW VOL.25 2021

図11

判定結果表示画像(検査員目視画像)

各処理の効果

5.

評価実験

既存のラインに対して自動検査機を導入する際には，開発した撮像光学系と検査アルゴリズムを組み合わ追加した作業の分だけ作業工数を低減し，サイクルタイせた自動検査機により，評価実験を行った．実験では，ム内に収める必要がある．本検査システムでは,製品の製造現場に，自動検査機を設置し，N=4000個の製品

目視検査時間をモニタに出力された撮像拡大表示画の見逃し率と1製品当たりの平均過検出枚数を評価し像の目視確認時間に置換することにした．
その時間を計た．結果を表2に示す．見逃しは発生しておらず，1製品当算し1製品あたり平均過検出枚数を6枚程度とすれば，たりの平均過検出枚数は5.8枚であった．

技術論文

逐次差分方式による鋳肌の状態を比較する傷の気付き処理を用いたアルミ鋳物製品の自動外観検査

4.

サイクルタイム内に作業が収まることがわかった．
図13に，本検査アルゴリズム適用前と後の結果を示

表２ 見逃し率と平均過検出枚数結果

す．N=10個の製品に対して，1製品あたりの平均化検出枚数を評価した．3.1気付き処理による鋳肌の過検出の抑制，3.2鋳肌の状態を比較する傷の気付き処理による欠陥のS/Nの向上，3.3逐次差分処理による製品形状の過検出の抑制，3.4後処理による微小な過検出の除去を実施することで，1製品当たりの平均過検出枚数を6枚に削減した．
(▲84.2%)
結果，目標を達成することができたため，評価実験を実施することにした．

この時，アルミ鋳物製品の部位A,B(図14(a),図15(a))の2部位に対して，自動検査機が欠陥を発見した
例を示す．
図14(a)に部位Aの原画像を示す．図14(b)に本検査アルゴリズムを施した結果画像を示す．
ターゲットの不良付近の出力が大きくなっていることがわかる．図14(c)に判定結果表示画像を示す．不良部のみが赤丸で囲われており，不良を的確に検出することができている．
また，
図15(a)に部位Bを撮像した原画像を示す．図15(b)は本検査アルゴリズムを施した結果である．同様にしてターゲットの不良付近の出力が大きくなっていることがわかる．図15(c)に判定結果表示画像を示す．
こちらも，不良部のみが赤丸で囲われており，不良を的確に検出

図13

検査アルゴリズム適用前後の過検出低減効果することができている．
以上の実験結果から，本検査アルゴリズムを実施することで，不良を安定して検出できることがわかった．

図12

逐次差分処理のアルゴリズムフロー

AISIN TECHNICAL REVIEW VOL.25 2021

36

6.

実用化の事例紹介

４章，５章より，検査アルゴリズムの効果を確認することができたため，自動検査機を導入した．簡略図を図16示す．
まず，製品を搬送ロボット(Rb)により，搬送用パレットに着座させる．そして，ワーク搬送装置にて撮像ユニット下まで製品を搬送する．次に，ワークチャック装置にて，撮像ユニットに製品を持ち上げて，撮像を行う．撮像された製品は，検査員側まで排出される．その後，図17のメインモニタとサブモニタに，検査アルゴリズムによって不良であると判断された結果を表示する．実際の検査員は実物の製品と判定結果表示画像を見比べながら良否判断を実施している．

図14

部位Aの自動検査結果

図16

図177.

自動検査機の簡略図

自動検査機を導入した現場の様子

おわりにアルミ鋳物製品を撮像する光学系(間接照明)と撮像した画像から不良を安定して検出する検査アルゴリズム(傷の気付き処理)について開発を行い，自動検査機として実用化した.
今後，この自動検査機で収集した画像を用いてAI(深層学習)による検出精度向上に取り組む予定である．
図15

37

部位Bの自動検査結果

AISIN TECHNICAL REVIEW VOL.25 2021

参考文献
1）青木公也，舟橋琢磨，輿水大和，三和田靖彦：周辺視と固視微動に学ぶ「傷の気付き」
アルゴリズム，精密工学会誌，79巻11号(2013-11)，pp．1045-1049
2）長嶋千恵，青木公也，塚田敏彦，三和田靖彦，輿水大和：内視鏡型センシングと気づきアルゴリズムによる自動車部品
3）山本明史 他:画素ブロックの相対的独自性指標と領域抽出への応用，電気学会論文誌，D，産業応用部門誌，vol.131，No.4，pp.539-547,2011
4）Koki Muto, Takuma Matsubara, Hiroyasu Koshimizu,“Proposal of local feature vector focusing on thedifferences among neighboring ROI's.”, International
Workshop on Advanced Image Technology 2018, ThaiChennai.
5）武藤功樹，伊藤尚起，柴田実頼，吉村裕一郎，青木公也，輿水大和，石井博行：検査員の【かざして見る】動作に基づく不良部
位の見え方の“特異性”による外観検査，動的画像処理実利用化ワークショップDIA2017, 松江,(2017-3)

逐次差分方式による鋳肌の状態を比較する傷の気付き処理を用いたアルミ鋳物製品の自動外観検査

技術論文

筆 者

武藤 功樹
生産革新推進部 計測技術開発Ｇ
検査装置の開発 および画像処理・AIの研究開発に従事

宮永 裕介
生産革新推進部 計測技術開発Ｇ
検査装置の開発 および画像処理・AIの研究開発に従事

青木 公也
中京大学 工学部機械システム工学科
ＣＶＳＬａｂ．教授
画像処理・AIの産業応用の研究に従事

輿水 大和
中京大学名誉教授・IASAI名誉研究員
理化学研究所客員研究員
合同会社YYCソリューションＣＥＯ
画像処理･AI技術の研究･コンサルティングに従事

AISIN TECHNICAL REVIEW VOL.25 2021

38