27M-02

移動可能なカメラと面光源を利用した塗装外観検査システムの構築
澤本潤（岩手県立大学
澤本潤（ 岩手県立大学ソフトウェア情報学部、教授）
ソフトウェア情報学部、教授）、大和田功（株式会社イグノス、代表取締役社長）、土井章男（岩手県立大学ソフトウェア情報学部、教授）＜要旨＞
本研究では、
本研究では、自動車の塗装欠陥を検出する自動検査システムの構築を目的とする。従来、検査員に自動車の塗装欠陥を検出する自動検査システムの構築を目的とする。従来、検査員による目視や触覚検査での作業を、ロボットアームに取り付けたカメラと光源により、塗装表面を計測し、画像解析を用いて、欠陥部分を抽出する。光源には、面光源を使用し、ハイライトが生じる反射
条件では、高解像度なカメラと光源を最適な位置に移動させることで、回避する。
条件では、高解像度なカメラと光源を最適な位置に移動させることで、回避する。

解析が非常に高速である。光源には解析が非常に高速である。光源にはハイライトの発生をハイライトの発生を防ぐために面光源を防ぐために面光源を用いる。また、用いる。また、どうしても
どうしてもハイライ
ハイライ
トが生じる場合や凸凹の部分への適用にトが生じる場合や凸凹の部分への適用に生じる場合や凸凹の部分への適用には、ロボットア
は、ロボットアームに搭載した面光源とームに搭載した面光源と高解像度カメラを用いて、見る高解像度カメラを用いて、見る方向を変えた複数の撮影を行う
方向を変えた複数の撮影を行うことで回避することで回避する。ハイラ。ハイラ
イトが生じる反射条件
イトが生じる反射条件は、光源に対して、正反射方向には、光源に対して、正反射方向にカメラが存在する場合であり、カメラが存在する場合であり、面光源かカメラの位置をカメラの位置をずらすことでハイライトの発生を防ぐことが可能である。
図 3 は我々が最終的に提案する自動検査システムの概要であり、高解像度であり、高解像度カメラ、ロボットアーム、ベルトコンカメラ、ロボットアーム、ベルトコン
ベア、コンピュータ、ソフトウェア（画像処理、ロボット制御など）から構成される。複数の高解像度カメラを設置して、各担当箇所の画像取得から設置して、各担当箇所の画像取得から画像処理（画像処理（検査）検査）、問題がある場合はその指摘までを並列処理で行う問題がある場合はその指摘までを並列処理で行う。
ロボットアームの制御、高解像度ロボットアームの制御、高解像度カメラで得られたカラで得られたカラー画像、距離画像の入力処理、取得した画像に対する質感および欠陥検査は、市販の高性能コンピュータ上でソフトウェアにより実装する。

１ 研究の概要
自動車の塗装外観の質感や欠陥の検査は、一括して扱うことは困難であり、検査官による最終検査が必要であった。本研究では、自動車メーカと共同で、質感や欠陥ごとに調査・分類して、最適な計測と検査方法を確立し、コンベア上を流れるドアやバンパーに対して、塗装外観の不具合をチェックする自動検査システムを構築する。
計測には、複数の高解像度計測には、複数の高解像度カメラと面光源カメラと面光源を使用する。
を使用する。
２ 研究の内容
自動車の塗装は防錆と美観のために行われるが、近年では塗装外観（見え方）が自動車の商品力の重要な要素とは塗装外観（見え方）が自動車の商品力の重要な要素となっている 1, 2)。塗装外観には、色、光沢、平滑性（ゆず肌）、メタリック感といった質感と、ぶつ、でこ、へこ、たれなどの欠陥がある。この質感や欠陥の検査は、塗装の種類、発生原因など物理量が大きく異なるため、一括して扱うことは困難である。そのため、検査官による最終検査を行う必要があった。しかしながら、これらの検査作業は時間を要し、さらに検査室は十分な明るさが必要であるため、検査官にも大きな負荷がかかっていた。
図 1 と図 2 は、バンパー塗装面の白点と黒点の事例である。白い帯は天井の蛍光灯による反射光である。
る。白い帯は天井の蛍光灯による反射光である。実際
白い帯は天井の蛍光灯による反射光である。実際の塗装検査場所は、塗装検査 は、①希薄な欠陥検査：不良品の検出は数百①希薄な欠陥検査：不良品の検出は数百台に 1～2 台程度である、②②欠陥検査はベルトコンベア上ベルトコンベア上で流れる車を対象にしており、その時間内で終了で対象にしており、その時間内で終了させる対象にしており、その時間内で終了させる必要がある、③複雑な曲面形状（窪んだ箇所や取り付け必要がある、③複雑な曲面形状（窪んだ箇所や取り付け部分など）が多いため、ハイライトが部分など）が多いため、ハイライトが発生）が多いため、ハイライトが発生してしまい、してしまい、「ぶつ」の消失が発生する、「の消失が発生する、④非常に明るい検査場所での消失が発生する、④非常に明るい検査場所での長時間の連続労働である、⑤メタリック系の明るい色とダーク系の暗い色のバンパーが交互に来るため眼の疲労が大きい、等の条件が重なっているため、塗装外観の不具合チェックに見落としが生じるケースが多くなる
不具合チェックに見落としが生じるケースが多くなる
クに見落としが生じるケースが多くなる。
我々が提案する
我提案する自動検査システムでは、自動検査システムでは、目視検査や触診
自動検査システムでは、目視検査や触診による検査ではなく、による検査ではなく、光源やカメラ光源やカメラをロボットアームでをロボットアームで動かしながら、動かしながら、塗装表面を撮影する。
塗装表面を撮影する。
撮影した画像に対しては、ダイナミックレンジ圧縮や複数の画像解析を用いて、コンピュータで塗装欠陥を検出数のを用いて、コンピュータで塗装欠陥を検出する。本手法は、する。本手法は、高解像度高解像度画像に対して、局所的な輝度画像に対して、局所的な輝度値の差を判断することで画像領域を解値の差を判断することで画像領域を解析するため、画像析するため、画像

図 1 塗装面画像（白点）

図 2 塗装面画像（黒点）12面光源と高解像度カメラ

図 3 自動検査システムの概要
自動検査システムの概要（イメージ図）（イメージ図）３ これまで得られた研究の成果
自動車メーカでは、バンパーやドアの塗装に対して、複数の検査官による品質チェックを行っている。しかしな数の検査官による品質チェックを行っている。しかしながら、それでも見落としやクレームの発生による塗り直しが発生しており、同時に検査官にも大きな作業負荷を与えている。液晶与えている。液晶 LED を用いて細い線分（スリットと呼ばれる）を塗装面に投影して、その線分のひずみや輝度の差を見る方式（の差を見る方式（変曲線マッチング法による欠陥検出技
変曲線マッチング法による欠陥検出技
3, 4)術）
術を試みているが、計測時間がかかりすぎ、変化の大きな曲面や凸凹の部分の処理が困難なため、実用化には至っていない。このは至っていない。この欠陥検出技術
欠陥検出技術では、図では、図 1、図 2 のような微小な穴を見つける必要がある場合、液晶 LED で投影するスリットを十分に細くする必要があり、スリッ投影するスリットを十分に細くする必要があり スリッ
トを細くすればするほど、計測や画像解析に時間を要する。
図 4、図 5 の上段
上段の画像は、高解像度の画像は、高解像度 RGB カメラを用いて、実際に塗装後のバンパーを検査場で撮影した画像である。塗装面に映り込んでいるのは、検査場の天井の蛍光灯におるハイライト光
光灯におるハイライト光であり、であり、テープのマーキングは、検査員により発見され検査員により発見された非常に小さな穴状部分（青い→た非常に小さな穴状部分（青い→の先端部分）であるの先端部分）である。検査員は肉眼および。検査員は肉眼および掌による触覚。検査員は肉眼および掌による触覚で検査して、欠陥で検査して、欠陥箇所にテープを付着する。
テープを付着する。発見されたテープを付着する。
された後は、その部分の改修を別行程で行う。バンパーの色は決まっていないため、明るい色、暗い色、メタリック系決まっていないため、明るい色、暗い色、メタリック系のバンパーが交互に来るために検査員の目の疲労度も大きいのが現状である。
図 4 および図 5 は、塗装欠陥である「白点」および「黒点」の撮影画像に対して、ダイナミックレンジ圧縮 5) を適用した結果である。ダイナミックレンジ圧縮により、どの塗装色に対しても小さな穴状部分が強調されることが観察された。
しかしながら、複数の蛍光灯の環境では、帯状のハイライト領域（鏡面による輝度が非常に高い領域）が発生するため、そのハイライト領域に入った塗装欠陥は発見することは困難であった。

図 4 塗装面画像（上段）、トリミング後の塗装面画像（下段左）、ダイナミックレンジ圧縮による結果画像（、ダイナミックレンジ圧縮による結果画像（下段
下段
下：白点）
下：

図 5 塗装面画像（上段）、トリミング後の塗装面画像（下段左）、ダイナミックレンジ圧縮による結果画像（下段右：黒点）
右：黒点
さらに塗装欠陥のある 3 種類（白（パールホワイト）、シルバー（シルバーメタリック）、黒色（ブラックマイカ））のバンパー（図のバンパー（図 6）をお借りしてをお借りして、複数の光源に対複数の光源に対するする検出率の調査を行った。テストに用いた環境は、検出率の調査を行った。テストに用いた環境は、調査を行った。テストに用いた環境は、カメラ
カメラ（SONYSONY 製、5000 万画素モノクロカメラ、万画素モノクロカメラ、2/32/3 インチ CCD
センサー：2,456x2
センサー： 456x2,058pixelpixel）、レンズ（Computar
Computar 製、13

は切除されたバンパー小片(W-01、W-02)に対して、面光源による撮影を行って、2 値化処理による抽出例（黄色の枠内）を示している。2 値化処理のしきい値は画像ヒスト
グラムの中央値で行っている。
本調査により、バンパー小片の塗装欠陥は、面光源で適切な方向から照射することにより、すべて発見可能であることを確認した。面光源の位置や角度はモニター上の撮影画像を見ながら行っているが、適切な角度や位置を発見する時間は、どのサンプルも数秒程度である。
図 15 から図 19 は各マーカーの撮像画像であり、面光源が照射された領域内に肉眼でも十分な輝度差で撮影されているのが分かる。

f25mm+接写リング 5mm）
、スポット照明ハイアングル・ローアングル、ライン照明ハイアングル・ローアングル、リング照明カメラ側・被写体側、ローアングル照明カメラ側、ローアングル照明被写体側、環境光、議事同軸照明カメラ側、疑似同時照明被写体側、面光源斜め対応の12 種類の照明環境（付録 A）に対して、各バンパーの塗。
装欠陥をテストした 6)（付録 B）
これらの照明環境で、一番良い結果が得られたは面光源斜め対応（図 7）であった。

図 6 テストに使用したバンパー概観（白色）

カメラ

面光源

図 8 切断したバンパー小片（白片 5 個（W-01~06）、シルバー片 2 個（S-01~04）、黒片 4 個（W-01~04））

図 7 面発光照明斜め対向による塗装欠陥抽出
さらに精密なテストを行うために、実際のバンパーを切断して、塗装欠陥のある小片に対して、高解像度カメラや面光源の最適な位置関係を調査した。
本実験では、図 8 に示すような塗装欠陥を含む白（パールホワイト）、シルバー（シルバーメタリック）、黒色（ブラックマイカ）のバンパーを切断し、白色のバンパー5小片（マーカー6 箇所）、銀色のバンパー2 小片（マーカー4 箇所）、黒色のバンパー4 小片（マーカー4 箇所）の合計 11 小片を用意した（図 5）。
各マーカーには番号付けしており、例えば、W-01 の W はWhite のマーカー番号 01 を表している。
同様に、B（Black）、S（Silver）の小片に対してもマーカー番号を付加している。
実験環境（図 9）では、高解像度カメラを上部に固定し、各小片の塗装面には、任意の位置・角度から面光源で照射を行い、撮影結果をモニター上で確認しながら、塗装欠陥が十分判別可能な状況で撮影している。図 7、図 814

図 9 計測風景と面光源による計測例（カメラは固定、面光源の位置と向きを移動）

図 10 切除されたバンパー小片(W-01)

図 11 面光源の投影
面光源の投影（照射部の境界付近の（照射部の境界付近の黄色の枠の中心に塗装欠陥が観察される）
黄色の枠の中心に塗装欠陥が観察される

図 14 非接触光学式 3 次元測定機（次元測定機（ATOS））
15
26 は、小片の各マーカーのは、マーカーの撮影結果である。
撮影結果である。
図 15～図各小片を撮影台に置いて、カメラは固定し各小片を撮影台に置いて、カメラは固定し、小片と面光カメラは固定し面光源を手動で移動させながら、面光源の境界付近に塗装欠源を手動で移動させ、面光源の境界付近に塗装欠陥位置が見えることをモニタ陥位置が見えることをモニター画面を確認しながら、画面を確認しながら、カカ
メラ撮影を行った。各図はグレー画像として表示していメラ撮影を行った。各図はグレー画像として表示しているが、図 12 のように 2 値化処理を行えば、より明確に塗装欠陥を示すことが可能である。図 15、、図 16 は表面から表面から浮き上がって出来た「ぶつ」と呼ばれる塗装欠陥であるが、面光源が作る小さな影により、はっきりの認識が可能である。図 15、、図 16 で塗装欠陥を判別する際、面光源の中心部を直接当てても影がの中心部を直接当てても影が発生しないため、検出が発生しないため、検出が困困難である。面光源の照射部の境界付近に来た時のみ、検難である。面光源の照射部の境界付近に来た時のみ、検出可能である。この現象は、面光源が塗装表面の散乱に出可能である。この現象は、面光源が塗装表面の散乱による効果と思われる。
よると思われる。

図 12 図 11 ののカメラ画像の画像の 2 値化処理
（塗装欠陥は輝度値の差が大きい小さな楕円形状で抽出可能）値の差が大きい小さな楕円形状で抽出可能
照明環境に関する解析に加えて、ハイエンド非接触光学式のレーザ計測装置である COMMET5（図（図 13）と ATOS（図（図3)14）を用いて、バンパーの計測も行った
14）を用いて、バンパーの計測も行った 。両装置とも測定速度は非常に速く、測定速度は非常に速く、0.10.1 ㎜程度の塗装欠陥まで抽出可能であった（図 13））。しかしながら、双方とも黒系（レーザが反射しにくい）の塗装には測定が困難であった。
反射防止スプレーの使用により、測定は可能であるが、出荷前の製品には使用出来ない。また、製品価格が非常に高価なため、工場での検査ではに高価なため、工場での検査では経済的ため、工場での検査では経済的な面で利用が困な面で利用が困難であった。

白色塗装（）の欠陥抽出
図 15 白色塗装（W-01）の欠陥抽出

図 13 非接触光学式 3 次元測定機（COMMET5次元測定機（COMMET5）
図 16
1 白色塗装（W-02）の欠陥抽出
白色塗装（）の欠陥抽出
15要がある。これはバンパー要が。これはバンパー等の等の曲面上でハイライトが発上でハイライトが発生するためである。また、複数回の撮影処理をリアルタ生するためである。また 複数回の撮影処理をリアルタイムで行うためには、高速な画像処理は必要不可欠であイムで行うためには、高速な画像処理は必要不可欠である。そのためには、スレッドプログラミングによる高速化が必要と思われる。次年度化が必要と思われる。次年度は、面光源に照らされた境は、面光源に照らされた境界付近に現れる塗装欠陥の解析を行い、最適な位置関係の計算式を導出することで不要な撮影を減らの計算式を導出することで不要な撮影を減らし、システし、システム全体の最適化を目指す。また、塗装欠陥でない場合をム全体の最適化を目指す。また、塗装欠陥でない場合を誤抽出する可能性があるため、誤抽出を減らす抽出する可能性があるため、誤抽出を減らす抽出する可能性があるため、誤抽出を減らすアルゴリ
アルゴリズムの開発が必要となる。
ズムの開発が 要となる。

図 17 白色塗装（白色塗装（W-03）の欠陥抽出）の欠陥抽出

シルバー塗装（）の欠陥抽出（図の欠陥抽出（図 20 と図 21
図 20 シルバー塗装（S-01）
は同じバンパー小片）
図 18 白色塗装（白色塗装（W-04）の欠陥抽出）の欠陥抽出図 21 シルバー塗装（S-02）
シルバー塗装（）の欠陥抽出
図 19 白色塗装（白色塗装（W-05）の欠陥抽出）の欠陥抽出

４ 今後の具体的な展開
今回のテストでは、カメラを固定し今回のテストでは、カメラを固定し面光源を手動で移動のテストでは、カメラを固定し面光源を手動で移動させ、面光源のさせ、面光源の照射部の境界付近に塗装欠陥位置が境界付近に塗装欠陥位置が表示
境界付近に塗装欠陥位置が表示されるのを確認して、されるのを確認して、カメラ撮影を行った。
カメラ撮影を行った。使用したカメラ撮影を行った。使用したカメラは、SONY
メラは、SONY 製、500 万画素モノクロカメラ、2/3万画素モノクロカメラ、インチ CCD センサー：センサー：2,456x2,058pixel2,456x2,058pixel））、レンズ（Computar（Computar製、f25mm+接写リング製、接写リング 5mm）である。面光源は、フラッ5mm）である。面光源は、フラット照明 TH-100X100SV
100X100SV にライトコントロールフィルム（LC-TH-100X100（100X100-HO, VE）を付加している。
）を付加している。
最終的な自動検査システムでは、面光源をロボットアー
最終的な自動検査システムでは、面光源をロボットアー
ムに固定して、異なるカメラ方向から複数枚撮影ムに固定して、異なるカメラ方向から複数枚撮影する必に固定して、異なるカメラ方向から複数枚撮影する必

図 22 シルバー塗装（S-03、シルバー塗装、S-04）の欠陥抽出の欠陥抽出

16

５ 実験結果の考察
撮影条件（付録 A））、撮影結果（付録 B）に対しては、以）に対しては、以下の条件で判定した。
○：欠陥が認識できている、画像処理による自動検出の可能性有り。
△：欠陥だと認識できるが、感度が悪いまたは過検出（欠陥でないものも欠陥に見える）のため自動検出の可能性は低い。
×：欠陥が認識できない。の数は「面発光照明斜め対向」の数は「面発光照明斜め対向」10 が、他の照明・手段他の照明・手段○の数は「面発光照明斜め対向」に比べて検出感度が良かった。
「リング照明カメラ側」の欠陥検出時欠陥画像は明瞭であるが、照射範囲が限定されているのと照射の仕方による検出れているのと照射の仕方による検出・不検出過渡特性が・不検出過渡特性が大きく安定的に使いこなすのに難しさがあった。ブラックマイカ色は反射光が少なく、クマイカ色は反射光が少なく、LED 照明使用時はハイパワータイプでないと光量不足になった。撮影箇所に対するカメラ対向位置法線上（垂直）は目視による調整なので、厳密に調整されていない。
「面発光照斜め対向」は法線に対して角度をつけてカメラと照明を対向させ撮影を行っている。また、行っている。また、計測した結果、一番検出精度が高か計測した結果、一番検出精度が高かったのはカメラと面光源の位置関係がったのはカメラと面光源の位置関係がカメラと面光源の位置関係が約 45 度の時であった。

図 23 黒色塗装（黒色塗装（B-01）の欠陥抽出）の欠陥抽出

６ 論文・学会発表等の実績
1)澤本潤，澤本潤，土井章男，”移動可能なカメラと面光源を利移動可能なカメラと面光源を利用用した塗装外観検査システムの構築”，
日本バーチャルリア
リティ学会第 27 回テレイマージョン技術研究会，
2015/11．
2015/11

図 24 黒色塗装（黒色塗装（B-02）の欠陥抽出）の欠陥抽出

７ 受賞・特許「なし」
８ 参考文献1) 石井明，片岡恭将，“自動車の塗装欠陥の自動検出”，知能メカ
トロニクスワークショップ講演論文集 8, pp. 201-205,
201 205,

図 25 黒色塗装
黒色塗装（B-03）の欠陥抽出の欠陥抽出

2003-08-21．
20032) 松田守弘，“自動車の塗装外観計測”，豊田中央研究所 Ｒ＆Ｄレビュー，Vol.
ビュー，29，No.
No. 2，pp.
21-1010，1994/6．
3) 菅野直，“鏡面塗装品の欠陥検出技術 :「変曲線マッチング法」「変曲線マッチング法」
による新しい欠陥検出技術の開発”
による新しい欠陥検出技術の開発”，プラスチックス：日本プラス
チック工業連盟誌，Vol.
チック工業連盟誌，Vol. 64, No. 7, pp. 22
22-25,
25, 2013/7.
4）バイスリープロジェクツ（株）
バイスリープロジェクツ（株）、バイスリープロジェクツ（株）
バイスリープロジェクツ（株）、平成 22 年度戦略的基盤技術高度化支援事業の「外観検査用産業用ロボットを高度化する画像処理組み込みソフトウェアの開発と事業化」
組み込みソフトウェアの開発 事業化」（内容は変曲線マッチング法による欠陥検出技術），2011．
法による欠陥検出技術
5）徳田正幸・伊藤史人・土井章男，膝関節の大腿骨及び脛骨の骨徳田正幸・伊藤史人・土井章男，膝関節の大腿骨及び脛骨の骨軸自動抽出方法，ならびに骨軸自動抽出プログラム，特願
2007-183768，2007.7.12
2007
2007.7.12（出願日）（出願日）．
6) 有限会社イグノス，“T“ 社製バンパー塗装欠陥検出照明検討”

図 26 黒色塗装（色塗装（B-04）の欠陥抽出）の欠陥抽出17

付録 A．撮影条件（カメラは曲面に対してなるべく法線（垂直方向）に設置）
スポット照明ハイアングル
スポット照明ローアングル

ライン照明ハイアングル

リング照明カメラ側

ローアングル照明カメラ側

疑似同軸照明カメラ側

ライン照明ローアングル

リング照明被写体側

ローアングル照明被写体側

疑似同軸照明被写体側

18

付録 B. 撮影結果
Sample①：シルバーメタリック
照明
スポット照明ハイアングル
スポット照明ローアングル
ライン照明ハイアングル
ライン照明ローアングル
リング照明カメラ側
リング照明被写体側
ローアングル照明カメラ側
ローアングル照明被写体側
環境光
疑似同軸照明カメラ側
疑似同軸照明被写体側
面発光照明斜め対向

欠陥 1
△
△
△
○
△△△
△○
△
△
○

欠陥 2××××××△
△
○
△
○
○

欠陥 3△×
△
×
○
△
○
×
△
○
○
○

欠陥 4
△
×
△
×
○
△
○
×
△
○
○
△

Sample②：ブラックマイカ
照明
スポット照明ハイアングル
スポット照明ローアングル
ライン照明ハイアングル
ライン照明ローアングル
リング照明カメラ側
リング照明被写体側
ローアングル照明カメラ側
ローアングル照明被写体側
環境光
疑似同軸照明カメラ側
疑似同軸照明被写体側
面発光照明斜め対向

欠陥 1
×××
×
○
×
△
××
△
○
○

欠陥 2
××××××
×
×
×
△
×
×

欠陥 3
××
××××××
△
△
△
○

欠陥 4
×××
×
×
×
××
×
×
×
○

欠陥 5
××
×
×
××××
△
○
△
△

欠陥 1

欠陥 2

欠陥 3

欠陥 4

欠陥 5

○
○
○
○
○
×××
△
○
△
○○△△
○
○×××
△
△×
○

×
△×
△
○
×××××××

○
○
○
△
○
×△
×
△△×
△

××××
△×××××××

欠陥 6××××
○
×△×
△
○
○
○

欠陥 7
××××
○
○
○
××
○
○
○

Sample③：ホワイト
照明
スポット照明ハイアングル
スポット照明ローアングル
ライン照明ハイアングル
ライン照明ローアングル
リング照明カメラ側
リング照明被写体側
ローアングル照明カメラ側
ローアングル照明被写体側
環境光
疑似同軸照明カメラ側
疑似同軸照明被写体側
面発光照明斜め対向

19

トータル
○数
3
2
2
3
9
1
3
0
2
6
610