幾何学マッチングに用いるエッジ抽出方法の紹介
およびエッジ抽出パラメータ／テンプレート設定自動化手法の紹介
山口 新菅野 純一(株)ファースト 画像事業本部＜要約＞ ＦＡ用途における幾何学マッチングに対する要求、およびこれらに対する弊社の取り組みを紹介する。具体的には、光量変化によるしきい値の調整が不要でありノイズやボケの影響を抑えたエッジ抽出手法と、教師画像からエッジ抽出時のパラメータとテンプレートを自動的に設定する手法を紹介する。

１．はじめに正規化相関演算を利用したテンプレートマッチン
グは、位置決め、計測、検査、認識等幅広い分野に応用されており、弊社でも正規化相関をベースにしたマッチングライブラリを 80 年代後半より提供している。その当初は画像処理の有効性があまり認知されておらず、現在と比較するとかなり限られた範囲での適用に留まっていた。
近年になり画像処理の有効性が広く認知されるようになると、製造工程の中でより重要な役割を担うようになってきた。さらに、半導体や電子部品の分野だけでなく、自動車、薬・食品といった分野への適用も積極的に行われるようになり、より広い範囲での適用が求められるようになってきた。これにともない、今までになかった高度な要求が認識装置に課せられるようになってきている。
この要求に応えるべく、弊社では正規化相関をベースにしたマッチングライブラリのリリース以後も継続してマッチング技術の開発に取り組んできた。
本文ではＦＡ現場でのマッチング技術に対する要求とそれに対する弊社の取り組み、実施例を紹介する。
２．ＦＡ用途における要求
画像処理の有効性が広く認知されたことに伴い、正規化相関ベースのマッチングライブラリをリリースした当初と比較して、その要求が高度化してきている。
ＦＡの現場では、工場ごとの外的な要因のため、照明変動、ノイズ、画像のボケなどが発生する。また、用途によっては対象物以外に背景模様や汚れが処理画面内に映りこむことがあり、これらはマッチングの性能を低下させる要因となっている。そのため、これらの外乱に対する機能・性能面での向上が求められている。
また同時に、これらの認識装置を扱う作業者への配慮も重要な要素となっている。通常、マッチングで使用するテンプレートやパラメータの設定は作業者が行うが、期待した動作を行うためには、マッチングやエッジ点抽出等のプロセス、原理を理解した上で適切な設定を行うことが望ましい。しかし、そのためには作業者が高度な知識を習得する必要があり、装置導入までに多くの時間が必要となっている。
画像処理の適用範囲を更に拡大していくには、機能・性能面での向上と共に、いかにして個々の現場において 100％の能力を発揮させることが出来るか、という点への配慮が求められている。
これらの要求に対する問題点を以下に記載する。
2-1 既存マッチング手法の問題点
弊社では正規化相関ベースのマッチングを提供してきたが、処理の高速化のために対象物の姿勢の変化や隠蔽などには対応していない。しかしながら実際の現場では、マッチングの対象となるワークおよび背景に汚れが付着していることがある。また、姿勢が大きく変化するケース、ワークの一部がカメラ視野外に出てしまうケースも存在する。さらに、影や部分的なハレーションの発生により、ワークの一部が見えなくなるケースも報告されている。
これらのケースでは、弊社の正規化相関ベースのマッチングでは、検出能力・検出精度が大きく悪化していた。
2-2 外乱の影響①照明変動、ノイズと低コントラスト
図１のような単純なエッジ点抽出手法を用いて図２(a)、(b)のような明るさの異なる画像に対して、パラメータを同じ値に設定し文字輪郭部のエッジ点を抽出する場合を考える。その結果を図２(c)、(d)に示す。この設定値は暗い画像(図２a)から文字が抽出できるように調整した値である。暗い画像の場合、文字のコントラストとノイズのコントラストがほぼ同一であるため、この設定値ではノイズによるエッジ点も抽出されてしまう(図２(c))。

(a)

(b)

3×3 ソーベルフィルタ

非極大抑制

エッジ点抽出
図 1 単純なエッジ点抽出手法

(a)

(b)

(c)

(d)

図 2 明るさの異なる画像の単純なエッジ点抽出
また、暗い画像に合わせた設定値では、明るい画像(図２(b))で文字の周りに多くのエッジ点(ノイズ)が出てしまう(図２(d))。これに対処するために照明に合わせてパラメータを調整することで対応が可能となる場合もあるが、その都度作業者が手動で調整する必要があり、省力化の意図から外れてしまうことが懸念される。
②画像のボケ
図３(a)はボケ画像に対して単純なエッジ点抽出を行った結果(図３(b)：エッジ点抽出後拡大)である。
後述の図５と比較すると抽出されたエッジ点が不安定であることが分かる。
2-3 背景模様の影響
通常マッチングで使用するテンプレートは、作業者が見つけたい対象物を四角の枠で指定する。幾何学マッチングでは、この領域内からエッジ点を抽出し、その全てをテンプレートとしている。この際、背景に模図 3 ボケ画像に対する単純なエッジ点抽出様やノイズ、汚れ等があった場合、対象物以外のエッジ点も教師データとして登録されてしまう。マッチン
グ時には、模様、ノイズ、汚れが変化するので、テンプレートとの一致度が低下し、マッチングに失敗することが予想される。よって、テンプレート生成時には対象物以外のエッジ点を排除する必要がある。
2-4 知識習得の必要性
2-2 で示した問題に対しては、エッジ点抽出手法のパラメータを調整することで対応が可能となる場合もある。しかし、エッジ点抽出手法のプロセスや原理を理解した上でパラメータ調整を行わなければ意図するエッジ点を抽出できない。そのため、作業者に知識の習得という負荷を強いることになってしまう。これは導入コストの増加という形で商品価値の低下に影響する。
３．取り組み3-1 マッチング技術の改善
弊社の正規化相関ベースのマッチングは対象物の回転、スケール変化、隠蔽、部分的な明るさの変動に対応していないため、ワークの汚れ、姿勢変化、部分的にカメラ視野外に出る、画面の一部分がハレーションを起こすといった問題が発生した場合、検出能力が大きく低下してしまう。
そこで、弊社では上記問題に対応するため、対象物の輪郭情報(エッジ点)を用いた幾何学マッチング手法を開発した。アルゴリズムの基本的な部分は、一般化ハフ変換に代表されるような投票型アルゴリズムを採用している。後述の新しいエッジ点抽出手法と併せることで高い検出能力と検出精度が得られるようになった。
3-2 外乱に対する改善
図１で示したような単純なエッジ抽出手法は濃度差をエッジ点抽出時の評価値としていた。この手法では対象物が低コントラストな場合、対象物のエッジ点と同時にノイズのエッジ点も抽出していた。そこで弊社では、エッジ点抽出時の評価値を濃度差だけでなく、濃淡プロファイルとの一致度も加えることで、低コントラストな対象物でもノイズを抑え、対象物の輪郭のみ抽出できるエッジ点抽出手法を開発した。その他の特徴として画像のボケにロバストで、且つ照明変動に対してパラメータの調整が不要な手法である。以下にこの新手法の効果を示す。
①照明変動、ノイズと低コントラスト
図４(a)、(b)の画像は図２(a)、(b)の画像に対してパラメータを変えることなくエッジ点抽出を行った結果である。2-1 と同様に暗い画像(図２a)から文字が抽出できるように設定値を調整した。低コントラス
トな対象物であってもノイズを落とし、対象物の輪郭のみ抽出できることが分かる(図４(a))。また、明るい画像に対してもノイズの影響が低減されており(図４(b))、明るさの変動に対してパラメータを調整する必要がないことも分かる。
(a)

(b)

作業者から教示された輪郭情報を元にエッジ点が十分に抽出できるようなパラメータを自動的に学習し決定する。作業者は対象物の輪郭を指定するだけでマッチングに必要なエッジ点を抽出することができ、知識の習得やパラメータ設定の手間がなくなる。
４．具体的な実施例
以下に通常の方法ではマッチングが困難な例を示し、今回の取り組みの適用例を示す。
4-1 マッチング技術の改善
図６(a)をテンプレートとし、ワークの回転(図６(b))、隠蔽(図６(c))、一部視野外(図６(d))、ハレーション(図６(e))に対する幾何学マッチングを行った結果を図に白枠で示した。各結果画像の右上の数値はマッチングの処理時間を表している。処理時間の計測を行ったマシンスペックはWindows2000 Pentium4 2.53GHz である。
(a)

図 4 明るさの異なる画像のエッジ点抽出(明るさの異なる画像のエッジ点抽出(新手法)新手法)②画像のボケ
図５は図３(a)に対してエッジ点抽出した結果を表示した(エッジ点抽出後拡大)。図３(b)に比べてエッジ点が安定していることが分かる。

(b)76msec(c)

34msec(d)57msec(e)43msec

図 5 ボケ画像に対するエッジ点抽出(ボケ画像に対するエッジ点抽出(新手法)新手法)
3-3 背景模様の除去
作業者にとってマッチングの対象となっている対象物は既知であるから、作業者にその対象物の輪郭を指定してもらうことで、背景模様等の対象物以外のエッジ点を除去し対象物のエッジ点のみ抽出することができる。これは既存のマスク機能を用いて『不要な部分』を指定することでも実現が可能であったが、『必要な部分(対象物の輪郭)』を指定する方が作業者が作業内容を理解しやすい。具体的には、FA 用途に多い円、矩形、直線のような GUI を用意することで輪郭の指定を実現する。
3-4 知識習得の負荷軽減

図 6 幾何学マッチングの結果(幾何学マッチングの結果(白枠)
白枠)

4-2 外乱に対する改善①照明変動、ノイズと低コントラスト
図７(a)は図２(c)をテンプレートとして図２(d)をマッチングした結果であり、従来のエッジ点抽出手法を用いた処理結果を示している。また、
図７(b)は図４(a)をテンプレートとして図４(b)をマッチングした結果であり、新しく開発したエッジ点抽出法を用いた処理結果を示している。検出した位置を白枠で表しており、どちらの場合も対象物を検出することができている。しかし、このときの処理時間は図７(a)は 2600msec で、図７(b)は 86msec であった。新しい手法の方が余分なエッジ点を抑えることができたため処理速度が速くなったことがわかる。評価を行った際のマシン
スペックは Windows2000 Pentium4 2.53GHz である。

両方とも画像がボケていない状態のものをテンプレートとしてた。共にマッチングは成功しているが、検出位置の安定性を計測した場合、新しいエッジ点抽出手法を用いた方が検出位置が安定していた(表１)。3-2 で述べた通り、新しいエッジ抽出手法では画像がボケてもエッジ点が安定するため、検出位置も安定したと言える。
今回の計測ではワークを固定して 20 回連続して撮像した画像を用いた。

従来手法
新手法

X 座標(画素)0.140.03

Y 座標(画素)0.270.07

表 1 エッジ抽出手法ごとの安定性(
エッジ抽出手法ごとの安定性(３σ)
３σ)

(a)

4-3 対象物に背景模様がある場合
図９(a)のように背景に模様等がある場合、これらからもエッジ点が抽出されるが(図９(b))、用途によっては対象物の外周のエッジ点だけで対象物の位置検出が可能である。
作業者に対象物の輪郭(図９(c))を指定してもらい、輪郭のエッジに限定することで良好なテンプレートを作成することができる(図９(d))。この画像では円形を描画する機能を利用することで簡単に輪郭を指定することができる。

(b)

(b)
(a)

図 7 マッチング結果(マッチング結果(白枠)
白枠)(d)②画像のボケ
図８(a)は従来のエッジ点抽出法を用いたときのマッチング結果であり、図８(b)は新しいエッジ点抽出法を用いたときのマッチング結果である。
(a)

(c)

(b)
図 9 輪郭指定例

図 8 マッチング結果(
マッチング結果(白枠)
白枠)

図９(b)、(d)を用いてマッチングを行った結果を
図 10(a)、(b)に白枠で示す。図９(b)をテンプレートとした場合は、背景の模様も評価対象となるため対象物が検出できない場合がある。それに対して、図９(d)は円の輪郭部分のみでマッチングを行うため、背景の模様が変わろうともマッチングを行うことができる。
(a)

(b)

が十分抽出できなかった(図 12(b))。この例についても、輪郭を指定(図 12(c))することで適切なパラメータを推定し、パッケージの輪郭のエッジ点を抽出することができた(図 12(d))

(a)

(b)

(c)

(d)

図 12 輪郭が不安定な画像に対するパラメータ自動設定

図 10 幾何学マッチングの結果(幾何学マッチングの結果(白枠)
白枠)
4-4 パラメータの自動決定①対象物が細線の場合
新しく開発されたエッジ点抽出手法では対象物の線幅に対してパラメータを調節する必要があった。文字のような細い線(図 11(a))の場合、初期値ではエッジを取ることができなかった(図 11(b))。
輪郭を指定し(図 11(c))、この領域内の情報を元にパラメータを自動で推定することで細線の輪郭を抽出することができた(図 11(d))。

(a)

(b)

(c)

(d)

図 11 細線に対するパラメータ自動設定②対象物に不安定なエッジ点が存在する場合
図 12(a)のようなパッケージ部分でマッチングをしたい場合、パッケージ周囲のピンの影響で輪郭５．まとめ
幾何学マッチングを使用するに当たって現在問題となっている事柄を挙げ、それに対する弊社の取り組みを紹介した。
今後さらに以下のような取り組みを行っていく予定である。
・ 輪郭の自動設定
・ 対象物の自動抽出
・ マッチングパラメータ自動決定
参考文献[１] 高木幹雄,下田陽久：新編 画像解析ハンドブック,東京大学出版会, 2004
[２] 田村秀行：コンピュータ画像処理,オーム社,2002