(57)【要約】【課題】偏りなくエッジを選択して対象画像とモデル画像とのマッチング処理を正確且つ高速に行う。【解決手段】  対象画像及びモデル画像にそれぞれ示される幾何学形状のマッチング処理を行う画像処理装置１は、エッジ検出部１２によって、対象画像及びモデル画像から幾何学形状の輪郭を示す複数のエッジを検出し、エッジ群選択部１３によって、モデル画像の複数のエッジのエッジ配列を、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替え、並べ替えたエッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択し、探索実行部１４によって、対象画像の複数のエッジとモデル画像のエッジ群とを用いて、マッチング処理を行う。【選択図】図１
2020071661.tif 000002
【特許請求の範囲】
【請求項１】
対象画像及びモデル画像にそれぞれ示される幾何学形状のマッチング処理を行う画像処理方法であって、
前記対象画像及び前記モデル画像から前記幾何学形状の輪郭を示す複数のエッジを検出する工程と、
前記モデル画像の前記複数のエッジのエッジ配列を、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替える工程と、
並べ替えた前記エッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択する工程と、
前記対象画像の前記複数のエッジと前記モデル画像の前記エッジ群とを用いて、前記マッチング処理を行う工程とを含むことを特徴とする画像処理方法。
【請求項２】
対象画像及びモデル画像にそれぞれ示される幾何学形状のマッチング処理を行う画像処理装置であって、
前記対象画像及び前記モデル画像から前記幾何学形状の輪郭を示す複数のエッジを検出し、
前記モデル画像の前記複数のエッジのエッジ配列を、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替え、
並べ替えた前記エッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択し、
前記対象画像の前記複数のエッジと前記モデル画像の前記エッジ群とを用いて、前記マッチング処理を行うことを特徴とする画像処理装置。
【請求項３】
前記モデル画像の各エッジについて、角度の分散性を評価可能な角度分散性正規化スコアを算出し、
前記角度分散性正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記モデル画像の各エッジについて、位置の分散性を評価可能な位置分散性正規化スコアを算出し、
前記位置分散性正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記モデル画像の各エッジについて、コントラストの強度を評価可能なコントラスト正規化スコアを算出し、
前記コントラスト正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記モデル画像の各エッジについて、角度の分散性を評価可能な角度分散性正規化スコア、位置の分散性を評価可能な位置分散性正規化スコア、及びコントラストの強度を評価可能なコントラスト正規化スコアを算出し、
前記角度分散性正規化スコア、前記位置分散性正規化スコア及び前記コントラスト正規化スコアの重み付き平均を算出して総合正規化スコアを算出し、
前記総合正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うことを特徴とする請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象画像及びモデル画像にそれぞれ示される特徴的な幾何学形状のマッチング処理を行う画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
従来、画像から所定の特徴的な特徴を幾何学形状として探索するマシンビジョンシステム等の画像処理システムでは、基準となる位置や向きで幾何学形状（モデル形状）を示すモデル画像が予め用意され、処理対象の幾何学形状（対象形状）を示した対象画像とモデル画像（テンプレート）とのマッチング処理（テンプレートマッチング）を行う。マッチング処理によって、対象画像における対象形状とモデル画像におけるモデル形状とが合致する場合の、対象画像に対するモデル画像の位置を探索し、その探索結果に基づいて対象画像の幾何学形状の位置決めを行う。例えば、テンプレートマッチングでは、正規化相関法が利用されることが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２６５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
マッチング処理において、対象画像とモデル画像とでは、幾何学形状の位置、回転角度、スケール率、せん断変形率等の姿勢が異なることがある。そのため、対象画像及びモデル画像のそれぞれの幾何学形状の姿勢を合わせてマッチング処理が行われることが望ましい。例えば、様々な姿勢の幾何学形状のモデル画像を対象画像と比較し、合致の指標値が最も高くなる姿勢を網羅的に探索する。
【０００５】
マシンビジョンシステム等の画像処理システムでは、対象画像とモデル画像とのマッチング処理を正確且つ高速に実行することが求められている。しかしながら、対象画像とモデル画像との合致度の指標を求めるために、正規化相関値等を用いる場合には、両画像の全画素を計算に用いるので、計算量が多くなり、処理時間が長くなってしまう。
【０００６】
あるいは、マッチング処理では、モデル画像に示されるモデル形状の輪郭線形状と、対象画像に示される対象形状の輪郭線形状とを比較し、その合致度を指標として用いることがある。この場合、輪郭上のエッジ要素のみを評価するので、計算量を少なく抑えることができ、処理時間を短縮することができる。
【０００７】
マッチング処理の計算量をより少なくして高速化するためには、モデル画像で比較される幾何学形状のエッジの数を減らす必要がある。例えば、モデル画像を縮小化することで画素数を減らし、これによりモデル画像から検出されるエッジの数を減らすことがある。しかしながら、モデル画像の画素数を単純に減らすことで、図９に示すように、幾何学形状の微小な構造が強調されなくなると、微小な構造のエッジを検出できず、モデル画像で比較されるエッジに微小な構造が含まれない場合がある。そうすると、幾何学形状の特徴が微小な構造にある場合には、モデル画像の特徴的な微小な構造が損なわれ、モデル画像と対象画像との適切な比較ができなくなるおそれがある。
【０００８】
あるいは、モデル画像を縮小せずに、モデル画像の幾何学形状について検出されたエッジを間引き処理して一部のみを選択的に用いることで、モデル画像で比較されるエッジの数を減らすことがある。しかしながら、間引き処理では、図１０に示すように、モデル画像からエッジが偏って選択され、幾何学形状の輪郭線形状の特徴的な構造を示すエッジが選択されない場合がある。そうすると、モデル画像の特徴的な構造が損なわれ、モデル画像と対象画像との適切な比較ができなくなるおそれがある。
【０００９】
本発明は上記した課題を解決すべくなされたものであり、偏りなくエッジを選択して対象画像とモデル画像とのマッチング処理を正確且つ高速に行うことを目的とするものである。
【課題を解決するための手段】
【００１０】
上記した目的を達成するため、本発明の画像処理方法は、対象画像及びモデル画像にそれぞれ示される幾何学形状のマッチング処理を行う画像処理方法であって、前記対象画像及び前記モデル画像から前記幾何学形状の輪郭を示す複数のエッジを検出する工程と、前記モデル画像の前記複数のエッジのエッジ配列を、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替える工程と、並べ替えた前記エッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択する工程と、前記対象画像の前記複数のエッジと前記モデル画像の前記エッジ群とを用いて、前記マッチング処理を行う工程とを含むことを特徴とする。
【００１１】
また、本発明の画像処理装置は、対象画像及びモデル画像にそれぞれ示される幾何学形状のマッチング処理を行う画像処理装置であって、前記対象画像及び前記モデル画像から前記幾何学形状の輪郭を示す複数のエッジを検出し、前記モデル画像の前記複数のエッジのエッジ配列を、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替え、並べ替えた前記エッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択し、前記対象画像の前記複数のエッジと前記モデル画像の前記エッジ群とを用いて、前記マッチング処理を行うことを特徴とする。
【００１２】
例えば、前記モデル画像の各エッジについて、角度の分散性を評価可能な角度分散性正規化スコアを算出し、前記角度分散性正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うとよい。
【００１３】
また、前記モデル画像の各エッジについて、位置の分散性を評価可能な位置分散性正規化スコアを算出し、前記位置分散性正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うとよい。
【００１４】
また、前記モデル画像の各エッジについて、コントラストの強度を評価可能なコントラスト正規化スコアを算出し、前記コントラスト正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うとよい。
【００１５】
更に、前記モデル画像の各エッジについて、角度の分散性を評価可能な角度分散性正規化スコア、位置の分散性を評価可能な位置分散性正規化スコア、及びコントラストの強度を評価可能なコントラスト正規化スコアを算出し、前記角度分散性正規化スコア、前記位置分散性正規化スコア及び前記コントラスト正規化スコアの重み付き平均を算出して総合正規化スコアを算出し、前記総合正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うとよい。
【発明の効果】
【００１６】
本発明によれば、偏りなくエッジを選択して対象画像とモデル画像とのマッチング処理を正確且つ高速に行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る画像処理装置を示すブロック図である。
【図２】本発明の一実施形態に係る画像処理装置において、モデル画像や対象画像から検出されるエッジのテーブルを示す表である。
【図３】本発明の一実施形態に係る画像処理装置において、モデル画像の複数のエッジを角度に関して平衡二分探索木で示す概要図である。
【図４】本発明の一実施形態に係る画像処理装置において、モデル画像を、複数のエッジの位置座標に関して空間分割した状態を示す概要図である。
【図５】本発明の一実施形態に係る画像処理装置において、モデル画像の複数のエッジを位置座標に関して平衡二次元ｋｄで示す概要図である。
【図６】本発明の一実施形態に係る画像処理装置において、モデル画像の学習動作を示すフローチャートである。
【図７】本発明の一実施形態に係る画像処理装置において、対象画像に対するモデル画像の探索動作を示すフローチャートである。
【図８】本発明の一実施形態に係る画像処理装置において、モデル画像のエッジ群の例を示す概要図である。
【図９】縮小により微小な構造が損なわれたモデル画像の例を示す概要図である。
【図１０】間引き処理により特徴的な構造が損なわれたモデル画像の例を示す概要図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しつつ、本発明の実施形態について説明する。本発明の画像処理装置１は、画像から所定の特徴的な特徴を幾何学形状として探索するものであって、基準となる位置や向きで幾何学形状（モデル形状）を示すモデル画像を予め用意しておき、処理対象の幾何学形状（対象形状）を示した対象画像の位置決めを行うために、対象画像とモデル画像とのマッチング処理を行うように構成される。本実施形態において、マッチング処理は、モデル画像を学習させる学習動作と、対象画像に対してモデル画像を探索する探索動作とを含む。
【００１９】
なお、画像処理装置１は、様々な装置やコンピュータ、システムの一部として構成されてよい。例えば、画像処理装置１は、電子部品等の被検査物の特徴的な形状を幾何学形状とする対象画像とモデル画像とのマッチング処理を行い、対象画像に対するモデル画像の位置を探索し、その探索結果に基づいて対象画像の位置決めを行うマシンビジョンシステムに適用される。また、画像処理装置１は、他の画像処理システムや撮像システム等のシステムの一部として組み込まれてもよく、あるいは、パーソナルコンピュータ等の独立したコンピュータに適用されてもよい。
【００２０】
図１に示すように、画像処理装置１は、モデル画像入力部１０と、対象画像入力部１１と、エッジ検出部１２と、エッジ群選択部１３と、探索実行部１４とを備える。また、画像処理装置１は、ＣＰＵ等からなる制御部２０と、ＲＯＭやＲＡＭ等からなる記憶部２１とを備える。画像処理装置１は、撮像システムに組み込まれる場合には、上記の制御部２０及び記憶部２１として、撮像システムに備わる制御部及び記憶部を使用してもよい。画像処理装置１は、ハードディスクや外部メモリ等の記録媒体２２を備えてもよく、また、マッチング処理を操作するためのキーボードやマウス等の操作部２３や、マッチング処理を確認するためのディスプレイ等の表示部２４を備えてもよい。
【００２１】
画像処理装置１は、制御部２０がバス等を介して接続された各部を制御することで動作するように構成される。記憶部２１は、画像処理装置１の機能を制御するためのプログラムやデータを記憶している。そして、制御部２０は、記憶部２１に記憶された各プロクラム等に従って演算処理を実行して、制御部２０に接続された各部を制御する。
【００２２】
例えば、エッジ検出部１２と、エッジ群選択部１３と、探索実行部１４は、記憶部２１に記憶されて制御部２０に実行される画像処理プログラムで構成されてよく、具体的には、マッチング処理を行うマッチング処理プログラムで構成されてよい。
【００２３】
モデル画像入力部１０は、モデル画像を入力するインタフェースである。モデル画像入力部１０は、ソフトウェア及びハードウェアの何れで構成されてもよい。例えば、モデル画像入力部１０は、撮像システム等に備わるカメラ等の撮像装置で撮影された画像をモデル画像として入力してもよく、記録媒体２２に記録された画像を読み取って入力してもよく、あるいは、他の装置との通信によって画像を入力してもよい。モデル画像入力部１０は、入力したモデル画像を記憶部２１又は記録媒体２２に記憶する。
【００２４】
対象画像入力部１１は、対象画像を入力するインタフェースである。対象画像入力部１１は、ソフトウェア及びハードウェアの何れで構成されてもよい。例えば、対象画像入力部１１は、撮像システム等に備わるカメラ等の撮像装置で撮影された画像を対象画像として入力してもよく、記録媒体２２に記録された画像を読み取って入力してもよく、あるいは、他の装置との通信によって画像を入力してもよい。対象画像入力部１１は、入力した対象画像を記憶部２１又は記録媒体２２に記憶する。
【００２５】
エッジ検出部１２は、モデル画像入力部１０によって入力されたモデル画像に示される幾何学形状（モデル形状）及び対象画像入力部１１によって入力された対象画像に示される幾何学形状（対象形状）について、輪郭線形状に対応するエッジを検出する。
【００２６】
具体的には、エッジ検出部１２は、先ず、モデル画像及び対象画像を所定の粒度に縮小化する。ここで、粒度とは、各画像を縮小するときの比率を表し、例えば、粒度が３の場合には、３×３画素が１画素になるように画像を縮小し、粒度が大きくなるほど、画像（画素）が粗くなる。エッジ検出部１２は、モデル画像の位置を比較的粗く探索する粗位置探索の場合、比較的大きい粗粒度を用いる。また、エッジ検出部１２は、モデル画像の位置を比較的詳細に探索する詳細位置探索の場合、比較的小さい詳細粒度を用いる。なお、粗粒度や詳細粒度は、予め設定されていてよく、ユーザーによって変更されてもよいが、モデル画像及び対象画像に対して共通した値に設定される。なお、粗粒度や詳細粒度は、幾何学形状の特徴的な構造が損なわれない範囲で、できるだけ大きい値が設定される。
【００２７】
また、エッジ検出部１２は、縮小したモデル画像及び対象画像について各画素の輝度の勾配方向及び勾配強度を算出し、勾配方向及び勾配強度に基づいて幾何学形状の輪郭線形状に対応する複数のエッジ（エッジ配列）を検出する。エッジ検出部１２によるエッジ検出処理は、例えば、ソーベルフィルタを用いたフィルタリング処理や細線化処理等によって行われてよいが、これらの処理に限定されず、何れの画像処理によってエッジを検出してもよい。
【００２８】
エッジ検出部１２は、図２に示すように、モデル画像及び対象画像から検出した複数のエッジのエッジ配列のテーブルを、記憶部２１又は記録媒体２２に記憶する。各エッジは、少なくとも、エッジ毎に付加されてエッジを識別するＩＤ、エッジの方向を示す角度、エッジの位置を示す座標、エッジの強度を示すコントラスト等の情報を有する。また、各エッジのテーブルには、下記のように、エッジ群選択部１３で算出される角度分散性正規化スコアＳｄｉｒ［ｉ］、位置分散性正規化スコアＳｘｙ［ｉ］及びコントラスト正規化スコアＳｃｏｎ［ｉ］も含まれる。
【００２９】
なお、エッジ配列における複数のエッジは、エッジ検出部１２による検出時点では、何れの順に並べられていてもよく、例えば、検出された順に並べられてよい。例えば、エッジ検出部１２は、画像の左上から検出を開始して、上端から下端までの位置毎に、左端から右端まで走査して検出を行う。
【００３０】
エッジ群選択部１３は、エッジ検出部１２によって検出されたモデル画像のエッジ配列（元のエッジ配列）を所定の条件に基づいて並べ替え（ソートし）、並べ替えたエッジ配列（ソート後のエッジ配列）から探索動作に用いるエッジ群（モデルエッジ群）を選択する。具体的には、エッジ群選択部１３は、先ず、元のエッジ配列の複数のエッジについて、角度の分散性スコア、位置の分散性スコア及びコントラストの強度スコアを算出する。角度の分散性スコア、位置の分散性スコア及びコントラストの強度スコアは、同じ基準で評価できるように換算して算出されるとよい。エッジ群選択部１３は、これらのスコアに基づいて、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるような条件で、複数のエッジを並べ替える。
【００３１】
例えば、エッジ群選択部１３は、モデル画像の元のエッジ配列の各エッジの角度の値Ｅｄｉｒ［ｉ］に基づいて、図３に示すように、各エッジをノードとした平衡二分探索木を作成する（ｉは１〜Ｎまでの整数、Ｎはエッジ数）。図３において、四角内の数値は、各エッジのＩＤを示し、括弧内の数値は、各エッジの角度を示す。
【００３２】
そして、この平衡二分探索木において、各エッジをルートとする部分木に含まれるノード数を、各エッジの部分木の大きさλｄｉｒ［ｉ］とする。各エッジの部分木の大きさλｄｉｒ［ｉ］を、所定の単調増加関数ｆ（ｚ）を用いて増加させて各エッジの角度の評価値ｆ（λｄｉｒ［ｉ］）を算出し、各エッジの角度の評価値ｆ（λｄｉｒ［ｉ］）に基づいて、全エッジの平均値ｍｄｉｒ及び標準偏差σｄｉｒを、次の数式（１）及び（２）によって算出する。
【００３３】
【数１】
2020071661.tif 000003
【数２】
2020071661.tif 000004
【００３４】
なお、所定の単調増加関数ｆ（ｚ）は、各エッジの部分木の大きさλｄｉｒ［ｉ］を評価値として必要に応じて増加させるための関数であり、角度の分散性スコアが適切に評価されるように定められ、例えば、下記の角度分散性正規化スコアＳｄｉｒ［ｉ］の算出結果をフィードバックして実験的に定められてもよい。そして、次の数式（３）に示すように、各エッジの角度の評価値ｆ（λｄｉｒ［ｉ］）から平均値ｍｄｉｒを減算し、更にその減算結果を標準偏差σｄｉｒで除算し、その除算結果の値を、各エッジの角度の分散性スコアに対応する角度分散性正規化スコアＳｄｉｒ［ｉ］とする。
【００３５】
【数３】
2020071661.tif 000005
【００３６】
また、エッジ群選択部１３は、モデル画像の元のエッジ配列の各エッジのｘｙ座標（Ｅｘ［ｉ］，Ｅｙ［ｉ］）に基づいて、図４に示すように、各エッジを通過する分割線でモデル画像を空間分割した場合の各エッジの分布を把握し、各エッジの分布に基づいて、図５に示すように、各エッジをノードとした平衡二次元ｋｄ木を作成する（ｉは１〜Ｎまでの整数、Ｎはエッジ数）。図４において、黒丸は、各エッジを示し、図５において、四角内の数値は、各エッジのＩＤを示し、括弧内の数値は、各エッジのｘｙ座標を示す。
【００３７】
そして、この平衡二次元ｋｄ木において、各エッジをルートとする部分木に含まれるノード数を、各エッジの部分木の大きさλｘｙ［ｉ］とする。各エッジの部分木の大きさλｘｙ［ｉ］を、所定の単調増加関数ｇ（ｚ）を用いて増加させて各エッジの位置の評価値ｇ（λｘｙ［ｉ］）を算出し、各エッジの位置の評価値ｇ（λｘｙ［ｉ］）に基づいて、全エッジの平均値ｍｘｙ及び標準偏差σｘｙを、次の数式（４）及び（５）によって算出する。
【００３８】
【数４】
2020071661.tif 000006
【数５】
2020071661.tif 000007
【００３９】
なお、所定の単調増加関数ｇ（ｚ）は、各エッジの部分木の大きさλｘｙ［ｉ］を評価値として必要に応じて増加させるための関数であり、位置の分散性スコアが適切に評価されるように定められ、例えば、下記の位置分散性正規化スコアＳｘｙ［ｉ］の算出結果をフィードバックして実験的に定められてもよい。そして、次の数式（６）に示すように、各エッジの位置の評価値ｇ（λｘｙ［ｉ］）から平均値ｍｘｙを減算し、更にその減算結果を標準偏差σｘｙで除算し、その除算結果の値を、各エッジの位置の分散性スコアに対応する位置分散性正規化スコアＳｘｙ［ｉ］とする。
【００４０】
【数６】
2020071661.tif 000008
【００４１】
また、エッジ群選択部１３は、モデル画像の元のエッジ配列の各エッジのコントラストＥｃｏｎ［ｉ］を、所定の単調増加関数ｈ（ｚ）を用いて増加させて各エッジのコントラストの評価値ｈ（Ｅｃｏｎ［ｉ］）を算出し、各エッジのコントラストの評価値ｈ（Ｅｃｏｎ［ｉ］）に基づいて、全エッジの平均値ｍｃｏｎ及び標準偏差σｃｏｎを、次の数式（７）及び（８）によって算出する。
【００４２】
【数７】
2020071661.tif 000009
【数８】
2020071661.tif 000010
【００４３】
なお、所定の単調増加関数ｈ（ｚ）は、各エッジのコントラストＥｃｏｎ［ｉ］を評価値として必要に応じて増加させるための関数であり、コントラストの強度スコアが適切に評価されるように定められ、例えば、下記のコントラスト正規化スコアＳｃｏｎ［ｉ］の算出結果をフィードバックして実験的に定めてもよい。そして、次の数式（９）に示すように、各エッジのコントラストの評価値ｈ（Ｅｃｏｎ［ｉ］）から平均値ｍｃｏｎを減算し、更にその減算結果を標準偏差σｃｏｎで除算し、その除算結果の値を、各エッジのコントラストの強度スコアに対応するコントラスト正規化スコアＳｃｏｎ［ｉ］とする。
【００４４】
【数９】
2020071661.tif 000011
【００４５】
そして、エッジ群選択部１３は、上記のように算出した角度分散性正規化スコアＳｄｉｒ［ｉ］、位置分散性正規化スコアＳｘｙ［ｉ］及びコントラスト正規化スコアＳｃｏｎ［ｉ］に基づいて、各エッジの総合正規化スコアＳｔｏｔａｌ［ｉ］を算出する。例えば、エッジ群選択部１３は、次の数式（１０）に示すように、角度、位置、コントラストにそれぞれ対応する所定の重み係数α、β、γを用いて、各正規化スコアの重み付き平均を算出することで総合正規化スコアＳｔｏｔａｌ［ｉ］を算出する。
【００４６】
【数１０】
2020071661.tif 000012
【００４７】
なお、重み係数α、β、γは、これらの和が１となるように、即ち、数式α＋β＋γ＝１が成り立つように設定され、例えば、α＝β＝γ＝１／３に設定される。重み係数α、β、γが大きくなるほど、対応する各正規化スコア、即ち、角度、位置、コントラストによる総合正規化スコアＳｔｏｔａｌ［ｉ］への依存度が高くなる。なお、重み係数α、β、γは、予め設定されていてよく、ユーザーによって変更されてもよい。また、重み係数α、β、γは、モデル画像を粗粒度で縮小した場合と詳細粒度で縮小した場合とで、共通した値に設定されてもよく、あるいは異なる値に設定されてもよい
【００４８】
更に、エッジ群選択部１３は、モデル画像の元のエッジ配列における複数のエッジを、総合正規化スコアＳｔｏｔａｌ［ｉ］に関して降順（スコアの大きい順）に並べ替え（ソートし）、ソート後のエッジ配列を記憶部２１又は記録媒体２２に記憶する。即ち、総合正規化スコアＳｔｏｔａｌ［ｉ］の降順となることが、並べ替えの条件である。なお、記憶部２１又は記録媒体２２には、エッジ検出部１２での検出時点での元のエッジ配列と、ソート後のエッジ配列との両方が記憶されてよい。
【００４９】
そして、エッジ群選択部１３は、ソート後のエッジ配列において、先頭から連続する所定の要素数のエッジを、探索動作に用いるエッジ群として選択する。これにより、角度、位置、コントラストに偏りのないエッジを選択することができる。なお、要素数は、予め設定されていてよく、ユーザーによって変更されてもよい。また、要素数は、モデル画像を粗粒度で縮小した場合と詳細粒度で縮小した場合とで、共通した値に設定されてもよく、あるいは異なる値に設定されてもよい
【００５０】
探索実行部１４は、エッジ群選択部１３によってモデル画像のソート後のエッジ配列から選択されたエッジ群（モデルエッジ群）と、エッジ検出部１２によって対象画像から検出された元のエッジ配列（対象エッジ配列）とを突き合わせて、対象画像に対してモデル画像の探索を行う。探索実行部１４は、粗粒度で縮小した場合のモデル画像及び対象画像の探索処理（粗位置探索）と、詳細粒度で縮小した場合のモデル画像及び対象画像の探索処理（詳細位置探索）とを行う。
【００５１】
粗位置探索では、対象エッジ配列に対するモデルエッジ群のおおよその位置及び姿勢を探索し、これらの位置及び姿勢を示す粗位置情報を検出して記憶部２１又は記録媒体２２に記憶する。例えば、粗位置探索では、対象エッジ配列に対してモデルエッジ群を網羅的に全探索してよく、あるいは、一般化ハフ変換等の画像処理によって対象エッジ配列に対するモデルエッジ群の合致度を算出してもよい。
【００５２】
詳細位置探索では、粗位置探索によって得られた対象エッジ配列に対するモデルエッジ群のおおよその位置及び姿勢を示す既知の粗位置情報を利用しつつ、対象エッジ配列に対するモデルエッジ群の詳細な位置及び姿勢を探索し、これらの位置及び姿勢を示す詳細位置情報を検出して記憶部２１又は記録媒体２２に記憶する。そのため、詳細位置探索では、探索の範囲を狭く限定することができ、例えば、段階的にステップ幅を小さくしながら網羅的に探索するアルゴリズムや、ＩＣＰアルゴリズム又は他のアルゴリズムを適用して、高精度に探索を行うことができる。
【００５３】
なお、詳細位置探索では、何れのアルゴリズムを適用しても、対象エッジ配列とモデルエッジ群との合致度を評価するための計算量は、エッジの個数に応じて増加するが、本発明では、粗位置情報を利用し、また、モデルエッジ群のエッジ数を減らしているので、計算量を少なくして処理時間を短縮している。
【００５４】
探索実行部１４による詳細位置探索によって対象エッジ配列に対するモデルエッジ群の適切な位置及び姿勢を探索した結果の詳細位置情報に基づいて、対象画像に対するモデル画像の位置及び姿勢を検出することができ、更に、対象画像の幾何学形状の位置決めを行うことができる。
【００５５】
画像処理装置１において、モデル画像を学習させる学習動作について、図６に示すフローチャートを参照して説明する。
【００５６】
先ず、モデル画像入力部１０によってモデル画像を入力し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ１）。この入力したモデル画像を、元のモデル画像と称する。
【００５７】
次に、エッジ検出部１２によって、元のモデル画像を粗粒度で縮小化し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ２）。この粗粒度で縮小化したモデル画像を、粗モデル画像と称する。
【００５８】
また、エッジ検出部１２によって、粗モデル画像から幾何学形状の複数のエッジを検出し、元のエッジ配列として記憶部２１又は記録媒体２２に記憶させる（ステップＳ３）。このエッジ配列を、元の粗エッジ配列と称する。
【００５９】
そして、エッジ群選択部１３によって、元の粗エッジ配列の複数のエッジについて、角度の分散性スコア、位置の分散性スコア及びコントラストの強度スコア（コントラストスコア）を算出する（ステップＳ４、Ｓ５、Ｓ６）。また、エッジ群選択部１３によって、これらのスコアに基づいて、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように、元の粗エッジ配列の複数のエッジを並べ替える（ソートする）（ステップＳ７）。ここで、並べ替えられたエッジ配列を、ソート後の粗エッジ配列と称する。
【００６０】
更に、エッジ群選択部１３によって、ソート後の粗エッジ配列において、先頭から連続する所定の要素数のエッジを、探索動作に用いるエッジ群として選択し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ８）。このエッジ群を、粗エッジ群と称する。
【００６１】
次に、エッジ検出部１２によって、元のモデル画像を詳細粒度で縮小化し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ９）。この詳細粒度で縮小化したモデル画像を、詳細モデル画像と称する。
【００６２】
また、エッジ検出部１２によって、詳細モデル画像から幾何学形状の複数のエッジを検出し、元のエッジ配列として記憶部２１又は記録媒体２２に記憶させる（ステップＳ１０）。このエッジ配列を、元の詳細エッジ配列と称する。
【００６３】
そして、エッジ群選択部１３によって、元の詳細エッジ配列の複数のエッジについて、角度の分散性スコア、位置の分散性スコア及びコントラストの強度スコアを算出する（ステップＳ１１、Ｓ１２、Ｓ１３）。また、エッジ群選択部１３によって、これらのスコアに基づいて、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように、元の詳細エッジ配列の複数のエッジを並べ替える（ステップＳ１４）。ここで、並べ替えられたエッジ配列を、ソート後の詳細エッジ配列と称する。
【００６４】
更に、エッジ群選択部１３によって、ソート後の詳細エッジ配列において、先頭から連続する所定の要素数のエッジを、探索動作に用いるエッジ群として選択し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ１５）。このエッジ群を、詳細エッジ群と称する。
【００６５】
このように、モデル画像について、粗エッジ群及び詳細エッジ群を求めて記憶させることで学習動作を終了する。
【００６６】
画像処理装置１において、対象画像に対してモデル画像を探索する探索動作について、図７に示すフローチャートを参照して説明する。
【００６７】
先ず、対象画像入力部１１によって対象画像を入力し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ２１）。この入力した対象画像を、元の対象画像と称する。
【００６８】
次に、エッジ検出部１２によって、元の対象画像を粗粒度で縮小化し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ２２）。この粗粒度で縮小化した対象画像を、粗対象画像と称する。
【００６９】
また、エッジ検出部１２によって、粗対象画像から幾何学形状の複数のエッジを検出し、エッジ配列として記憶部２１又は記録媒体２２に記憶させる（ステップＳ２３）。このエッジ配列を、粗対象エッジ配列と称する。
【００７０】
そして、探索実行部１４によって、粗モデルエッジ群と粗対象エッジ配列とを突き合わせて、対象画像に対してモデル画像の探索を行う（ステップＳ２４）。このとき、粗対象エッジ配列に対する粗モデルエッジ群のおおよその位置及び姿勢を探索し、その探索結果である粗位置情報を検出して記憶部２１又は記録媒体２２に記憶させる（ステップＳ２５）。
【００７１】
次に、エッジ検出部１２によって、元の対象画像を詳細粒度で縮小化し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ２６）。この詳細粒度で縮小化した対象画像を、詳細対象画像と称する。
【００７２】
また、エッジ検出部１２によって、詳細対象画像から幾何学形状の複数のエッジを検出し、元のエッジ配列として記憶部２１又は記録媒体２２に記憶させる（ステップＳ２７）。このエッジ配列を、詳細対象エッジ配列と称する。
【００７３】
そして、探索実行部１４によって、詳細モデルエッジ群と詳細対象エッジ配列とを突き合わせて、対象画像に対してモデル画像の探索を行う（ステップＳ２８）。このとき、粗位置情報も利用しつつ、詳細対象エッジ配列に対する詳細モデルエッジ群の詳細な位置及び姿勢を探索し、その探索結果である詳細位置情報を検出して記憶部２１又は記録媒体２２に記憶させる（ステップＳ２９）。
【００７４】
更に、詳細対象エッジ配列に対する詳細モデルエッジ群の詳細位置情報を用いることで、対象画像に対するモデル画像の位置及び姿勢を検出することができ、更に、対象画像の幾何学形状の位置決めを行うことができる。
【００７５】
本実施形態によれば、上記したように、対象画像及びモデル画像にそれぞれ示される幾何学形状のマッチング処理を行う画像処理装置１は、エッジ検出部１２によって、対象画像及びモデル画像から幾何学形状の輪郭を示す複数のエッジを検出し、エッジ群選択部１３によって、モデル画像の複数のエッジのエッジ配列を、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替え、並べ替えたエッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択し、探索実行部１４によって、対象画像の複数のエッジとモデル画像のエッジ群とを用いて、マッチング処理を行う。
【００７６】
換言すれば、本発明の画像処理方法は、対象画像及びモデル画像にそれぞれ示される幾何学形状のマッチング処理を行う画像処理方法であって、対象画像及びモデル画像から幾何学形状の輪郭を示す複数のエッジを検出する工程と、モデル画像の複数のエッジのエッジ配列を、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替える工程と、並べ替えたエッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択する工程と、対象画像の複数のエッジとモデル画像のエッジ群とを用いて、マッチング処理を行う工程とを含む。
【００７７】
このように、本実施形態では、マッチング処理に用いられるモデル画像のエッジ群は、角度や位置がばらついた（万遍なく分布した）エッジで構成されるので、対象画像とモデル画像のエッジ間を照合するときの確実性を向上することができる。即ち、様々な角度や位置のエッジを含むほど、エッジ群の信頼性が高くなる。
【００７８】
また、モデル画像のエッジ群は、できるだけコントラストの大きいエッジを含むとよく、即ち、強いエッジをより高く評価するとよい。そこで、本発明において、モデル画像のエッジ配列は、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替えられるので、エッジ配列の先頭から所定の要素数のエッジを選択することで、万遍なく偏りのないエッジ群を検出することができる。そのため、モデル画像の縮小を最小限に抑制しても、マッチング処理に必要な要素数のエッジを選択することができるので、対象画像やモデル画像の幾何学形状の微小な構造を失うことなく、対象画像とモデル画像とを適切に比較してマッチング処理を行うことができる。
【００７９】
また、エッジ配列は分散性を考慮して並べられているので、間引き処理等を行う必要がなく、エッジ配列の先頭から連続したエッジを単純に抽出するだけで、モデル画像の幾何学形状から偏りなくエッジを選択することができ、エッジ群の要素数を抑制することもできる。そのため、幾何学形状の輪郭線形状の特徴的な構造を失うことなく、対象画像とモデル画像とを適切に比較してマッチング処理を行うことができる。したがって、本発明によれば、偏りなくエッジを選択して対象画像とモデル画像とのマッチング処理を正確且つ高速に行うことが可能となる。
【００８０】
例えば、図８（Ａ）に示すように、エッジ配列の全エッジ数が３６である矩形の幾何学形状を有するモデル画像の場合、先頭から１８エッジのエッジ群を選択すると、図８（Ｂ）に示すように、分散したエッジが選択される。また、先頭から１０エッジのエッジ群を選択するときには、図８（Ｃ）に示すように、より分散したエッジが選択され、先頭から５エッジのエッジ群を選択するときには、図８（Ｄ）に示すように、更に分散したエッジが選択される。そのため、幾何学形状についてその特徴を把握できるようにエッジ群の要素数を設定するとよい。
【００８１】
例えば、エッジ群選択部１３は、モデル画像の各エッジについて、角度の分散性を評価可能な角度分散性正規化スコア、位置の分散性を評価可能な位置分散性正規化スコア、及びコントラストの強度を評価可能なコントラスト正規化スコアを算出し、これらのスコアの大きいエッジほど、上位になるように、モデル画像のエッジ配列の並べ替えを行う。このように、エッジの角度の分散性、位置の分散性及びコントラストの強度を評価可能なスコアに換算することにより、エッジ間を明瞭に比較できるので、モデル画像のエッジ配列の並べ替えをより適切に行うことができ、より適切にエッジを選択することができる。
【００８２】
また、エッジ群選択部１３は、角度分散性正規化スコア、位置分散性正規化スコア及びコントラスト正規化スコアの重み付き平均を算出して総合正規化スコアを算出し、総合正規化スコアの大きいエッジほど、上位になるように、モデル画像のエッジ配列の並べ替えを行う。これにより、角度、位置及びコントラストの何れかに偏ることなくエッジ間を比較できるので、モデル画像のエッジ配列の並べ替えをより適切に行うことができ、より適切にエッジを選択することができる。
【００８３】
また、本発明は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理方法や画像処理装置もまた本発明の技術思想に含まれる。
【符号の説明】
【００８４】
１  画像処理装置
１０  モデル画像入力部
１１  対象画像入力部
１２  エッジ検出部
１３  エッジ群選択部
１４  探索実行部
２０  制御部
２１  記憶部
２２  記録媒体
２３  操作部
２４  表示部
【図１】
2020071661.tif 000013
【図２】
2020071661.tif 000014
【図３】
2020071661.tif 000015
【図４】
2020071661.tif 000016
【図５】
2020071661.tif 000017
【図６】
2020071661.tif 000018
【図７】
2020071661.tif 000019
【図８】
2020071661.tif 000020
【図９】
2020071661.tif 000021
【図１０】
2020071661.tif 000022