(57)【要約】【課題】回路規模を小規模にでき、かつ、閾値を変更することなく高速で良好に画像のパターンマッチングを行うことができるようにする。【解決手段】画像処理装置は、原画像入力部１が入力した原画像からエッジ画像を生成する原画像のエッジ抽出部２と、原画像のエッジ抽出部２が生成したエッジ画像を互いに異なる閾値にもとづいて２値化し、複数の２値画像を生成する原画像用２値化部３と、原画像用２値化部３が生成した複数の２値画像のそれぞれとメモリ部７に格納された参照用の２値画像との間で相関値を算出する相関部８と、相関部９が算出した複数の相関値の中から最も相関が高いことを示す相関値を選択する相関値選択部９とを備えている。【選択図】図５
2010140082.tif 000002
【特許請求の範囲】
【請求項１】
パターンマッチングの参照パターンにする参照画像を入力する参照画像入力ステップと、
入力された参照画像から、濃度変化を強調した参照用のエッジ画像を生成する参照画像のエッジ抽出ステップと、
前記参照画像のエッジ抽出ステップで生成された参照用のエッジ画像を２値化して、参照用の２値画像を生成する参照画像用２値化ステップと、
パターンマッチングの対象となる画像を入力する原画像入力ステップと、
入力された原画像から、濃度変化を強調したエッジ画像を生成する原画像のエッジ抽出ステップと、
前記原画像のエッジ抽出ステップで生成されたエッジ画像を互いに異なる閾値にもとづいて２値化し、複数の２値画像を生成する原画像用２値化ステップと、
前記原画像用２値化ステップで生成された複数の２値画像のそれぞれと、前記参照画像用２値化ステップで生成された参照用の２値画像との間で相関値を算出する相関ステップと、
前記相関ステップで算出された複数の相関値の中から最も相関が高いことを示す相関値を選択する相関値選択ステップと、
前記相関値選択ステップで選択された相関値の算出の基になった原画像を特定するデータを出力する画像同定ステップとを含む
ことを特徴とする画像処理方法。
【請求項２】
原画像のサイズよりも小さいサイズの参照画像を使用する画像処理方法であって、
相関ステップで、原画像用２値化ステップで生成された複数の２値画像のそれぞれにおける参照画像のサイズと同サイズの部分画像との間で相関値を算出し、
画像同定ステップで、相関値選択ステップで選択された相関値の算出の基になった原画像の部分画像を特定する座標データを出力する
請求項１記載の画像処理方法。
【請求項３】
相関ステップで、部分画像切り出し領域をずらしながら相関値を算出することによって、原画像用２値化ステップで生成された２値画像から切り出し得る全ての部分画像について相関値を算出する
請求項２記載の画像処理方法。
【請求項４】
エッジ抽出ステップで、入力された画像の各画素を中心に数画素の範囲の近傍領域の演算を行うことによってエッジ画像を生成する画像処理方法であって、
前記エッジ抽出ステップは、
前記近傍領域における上辺の濃淡値の合計から下辺の濃淡値の合計を差分した値の絶対値を演算する横微分ステップと、
前記近傍領域の左辺の濃淡値の合計から右辺の濃淡値の合計を差分した値の絶対値を演算する縦微分ステップと、
前記近傍領域の左上領域の濃淡値の合計から右下領域の濃淡値の合計を差分した値の絶対値を演算する右上左下斜方微分ステップと、
前記近傍領域の右上領域の濃淡値の合計から左下領域の濃淡値の合計を差分した値の絶対値を演算する左上右下斜方微分ステップと、
前記左上右下斜方微分ステップで得られた絶対値と、前記右上左下斜方微分ステップで得られた絶対値と、前記縦微分ステップで得られた絶対値と、前記横微分ステップで得られた絶対値とを比較し、最大値を選択する選択ステップとを含む
請求項１から請求項３のうちのいずれか１項に記載の画像処理方法。
【請求項５】
相関ステップは、
参照画像用２値化ステップで生成された２値画像の値と原画像用２値化ステップで生成された２値画像の値との排他的論理和を反転する一致検出ステップと、
前記一致検出ステップで得られた値が「１」である画素数の累計値を保持する累計保持ステップと、
前記累計保持ステップで得られた累計値と前記一致検出ステップで得られた排他的論理和の反転とを加算する加算ステップとを含む
請求項１から請求項４のうちのいずれか１項に記載の画像処理方法。
【請求項６】
パターンマッチングの参照パターンとして用いられる参照画像を入力する参照画像入力部と、
前記参照画像入力部が入力した参照画像から、濃度変化を強調した参照用のエッジ画像を生成する参照画像のエッジ抽出部と、
前記参照画像のエッジ抽出部が生成した参照用のエッジ画像を２値化して、参照用の２値画像を生成する参照画像用２値化部と、
前記参照画像用２値化部が生成した参照用の２値画像を一時的に格納するメモリ部と、
パターンマッチングの対象となる画像を入力する原画像入力部と、
前記原画像入力部が入力した原画像から、濃度変化を強調したエッジ画像を生成する原画像のエッジ抽出部と、
前記原画像のエッジ抽出部が生成したエッジ画像を互いに異なる閾値にもとづいて２値化し、複数の２値画像を生成する原画像用２値化部と、
前記原画像用２値化部が生成した複数の２値画像のそれぞれと、前記メモリ部に格納された参照用の２値画像との間で相関値を算出する相関部と、
前記相関部が算出した複数の相関値の中から最も相関が高いことを示す相関値を選択する相関値選択部と、
前記相関値選択部が選択した相関値の算出の基になった原画像を特定するデータを出力する画像同定部とを備えた
ことを特徴とする画像処理装置。
【請求項７】
原画像のサイズよりも小さいサイズの参照画像を使用する画像処理装置であって、
相関部は、原画像用２値化部が生成した複数の２値画像のそれぞれにおける参照画像のサイズと同サイズの部分画像との間で相関値を算出し、
画像同定部は、相関値選択部が選択した相関値の算出の基になった原画像の部分画像を特定する座標データを出力する
請求項６記載の画像処理装置。
【請求項８】
相関部は、部分画像切り出し領域をずらしながら相関値を算出することによって、原画像用２値化部が生成した２値画像から切り出し得る全ての部分画像について相関値を算出する
請求項７記載の画像処理装置。
【請求項９】
エッジ抽出部が、入力された画像の各画素を中心に数画素の範囲の近傍領域の演算を行うことによってエッジ画像を生成する画像処理装置であって、
前記エッジ抽出部は、
前記近傍領域における上辺の濃淡値の合計から下辺の濃淡値の合計を差分した値の絶対値を演算する横微分手段と、
前記近傍領域の左辺の濃淡値の合計から右辺の濃淡値の合計を差分した値の絶対値を演算する縦微分手段と、
前記近傍領域の左上領域の濃淡値の合計から右下領域の濃淡値の合計を差分した値の絶対値を演算する右上左下斜方微分手段と、
前記近傍領域の右上領域の濃淡値の合計から左下領域の濃淡値の合計を差分した値の絶対値を演算する左上右下斜方微分手段と、
前記左上右下斜方微分手段が得た絶対値と、前記右上左下斜方微分手段が得た絶対値と、前記縦微分手段が得た絶対値と、前記横微分手段が得た絶対値とを比較し、最大値を選択する選択手段とを含む
請求項６から請求項８のうちのいずれか１項に記載の画像処理装置。
【請求項１０】
相関部は、
参照画像用２値化部が生成した２値画像の値と原画像用２値化部が生成した２値画像の値との排他的論理和を反転する一致検出回路と、
前記一致検出回路が得た値が「１」である画素数の累計値を保持する保持回路と、
前記保持回路が保持する累計値と前記一致検出回路が得た排他的論理和の反転とを加算する加算器とを含む
請求項６から請求項９のうちのいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法および画像処理装置に関し、特に、２値化しにくい濃淡画像について良好にパターンマッチングを行い、画像の位置合わせや特定パターンの抽出を可能にする画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
自動化された製造ライン等において、進行する物体をカメラ等で撮影し、画像中の対象物の位置や姿勢を自動的に計測したり物体の種類を判別する画像処理装置が用いられている。
【０００３】
図７は、特許文献１に記載された画像処理装置の構成を示すブロック図である。図７に示す画像処理装置において、ＤＯＧ（Difference of Gaussian）フィルタリング手段４２は、原画像入力手段（カメラ）４１で撮像された画像を入力し、ＤＯＧフィルタリング処理を行う。閾値処理手段４３は、ＤＯＧフィルタリング手段４２の出力を３値化（−１、０、＋１）する。３値化された画像は第２メモリ４８に格納される。また、ＤＯＧフィルタリング手段４５は、所定のメモリに格納されている参照パターン４４についてＤＯＧフィルタリング処理を行う。閾値処理手段４６は、ＤＯＧフィルタリング手段４５の出力を３値化する。３値化された画像は第１メモリ４７に格納される。類似度計算手段４９は、第１メモリ４７に格納された画像と第２メモリ４８に格納された画像との類似度を計算し、記憶部であるスコアマップ５０に格納する。制御手段５１は、スコアマップ５０を探索し、最も類似度が高いものを求める。
【０００４】
【特許文献１】特開平６−７６０６２号公報（段落００５６−００６６、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
図７に示された画像処理装置では、空間バンドパスフィルタとしてＤＯＧフィルタを使用するので計算が複雑で処理時間がかかるという課題がある。また、ＤＯＧフィルタをハードウェアで実現しようとすると、回路が複雑で大規模になるという課題がある。
【０００６】
また、図７に示された画像処理装置では、参照パターンがあらかじめ装置内部に格納される。参照パターンは入力される原画像と同様に、多ビットデータであるから、多数の参照パターンを格納する場合には記憶手段に求められるメモリ容量が大きくなり回路が大規模になるという課題がある。また、多数の参照パターンから所望の参照パターンの検索および選択を行うための処理時間がかかるという課題もある。
【０００７】
さらに、閾値処理手段４３，４６がＤＯＧフィルタリング手段４２，４５の出力画像を３値化するために、閾値が設定されていなければならない。例えば、画像処理装置を自律ロボットの自然地形認識等の用途に用いる場合には、日照条件や照明条件が変化するようなシーンの入力が想定され、適宜閾値を変更することが好ましい。しかし、オフラインで動く自律ロボットには人の入力が介在されないため、容易に閾値設定の変更を行うことができないという課題がある。
【０００８】
そこで、本発明は、回路規模を小規模にでき、かつ、閾値を変更することなく高速で良好に画像のパターンマッチングを行うことができる画像処理方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明による画像処理方法は、パターンマッチングの参照パターンにする参照画像を入力する参照画像入力ステップと、入力された参照画像から、濃度変化を強調した参照用のエッジ画像を生成する参照画像のエッジ抽出ステップと、参照画像のエッジ抽出ステップで生成された参照用のエッジ画像を２値化して、参照用の２値画像を生成する参照画像用２値化ステップと、パターンマッチングの対象となる画像を入力する原画像入力ステップと、入力された原画像から、濃度変化を強調したエッジ画像を生成する原画像のエッジ抽出ステップと、原画像のエッジ抽出ステップで生成されたエッジ画像を互いに異なる閾値にもとづいて２値化し、複数の２値画像を生成する原画像用２値化ステップと、原画像用２値化ステップで生成された複数の２値画像のそれぞれと、参照画像用２値化ステップで生成された参照用の２値画像との間で相関値を算出する相関ステップと、相関ステップで算出された複数の相関値の中から最も相関が高いことを示す相関値を選択する相関値選択ステップと、相関値選択ステップで選択された相関値の算出の基になった原画像を特定するデータを出力する画像同定ステップとを含むことを特徴とする。
【００１０】
本発明による画像処理装置は、パターンマッチングの参照パターンとして用いられる参照画像を入力する参照画像入力部と、参照画像入力部が入力した参照画像から、濃度変化を強調した参照用のエッジ画像を生成する参照画像のエッジ抽出部と、参照画像のエッジ抽出部が生成した参照用のエッジ画像を２値化して、参照用の２値画像を生成する参照画像用２値化部と、参照画像用２値化部が生成した参照用の２値画像を一時的に格納するメモリ部と、パターンマッチングの対象となる画像を入力する原画像入力部と、原画像入力部が入力した原画像から、濃度変化を強調したエッジ画像を生成する原画像のエッジ抽出部と、原画像のエッジ抽出部が生成したエッジ画像を互いに異なる閾値にもとづいて２値化し、複数の２値画像を生成する原画像用２値化部と、原画像用２値化部が生成した複数の２値画像のそれぞれと、メモリ部に格納された参照用の２値画像との間で相関値を算出する相関部と、相関部が算出した複数の相関値の中から最も相関が高いことを示す相関値を選択する相関値選択部と、相関値選択部が選択した相関値の算出の基になった原画像を特定するデータを出力する画像同定部とを備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、回路規模を小規模にでき、かつ、閾値を変更することなく高速で良好に画像のパターンマッチングを行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態を図面を参照して説明する。
【００１３】
図１は、本発明による画像処理装置の構成の一例を示すブロック図である。図１に示す画像処理装置において、原画像入力手段１１は、パターンマッチングの対象となるシーンをカメラで撮像し撮像信号をディジタルデータにＡ−Ｄ変換して、エッジ抽出手段１２に出力する。エッジ抽出手段１２は、入力した原画像のディジタルデータを２次元の微分処理によって原画像の濃度変化が大きい部分を強調した多値のエッジ画像にし、エッジ画像を２値化変換手段１３０に出力する。２値化変換手段１３０は、複数個の２値化手段１３１，１３２，・・・，１３ｎで構成されている。エッジ抽出手段１２からの多値のエッジ画像は、全ての２値化手段１３１，１３２，・・・，１３ｎに入力される。複数個の２値化手段１３１，１３２，・・・，１３ｎは、入力したエッジ画像を互いに異なる所定の閾値によって２値化し（「０」または「１」にし）、２値画像を、２値化手段１３１，１３２，・・・，１３ｎの各々に対応して設けられている２値相関手段１４１，１４２，・・，１４ｎに出力する。すなわち、２値化手段１３１が出力する２値画像を２値相関手段１４１に入力され、２値化手段１３２が出力する２値画像が２値相関手段１４２に入力され、２値化手段１３ｎが出力する２値画像が２値相関手段１４ｎに入力される。
【００１４】
また、シーンを撮像する前に、あらかじめ、図１に示す破線部２１における各ブロックを用いた処理が実施される。すなわち、原画像入力手段１１、エッジ抽出手段１２および２値化手段１３１，１３２，・・・，１３ｎと同様の処理を行う参照画像入力手段１７、エッジ抽出手段１８および２値化手段１９を用いて、参照画像から、パターンマッチングを行うためのテンプレート画像を作成する。なお、２値化手段１９は、原画像の場合とは異なり、１つだけ設けられている。
【００１５】
また、テンプレート画像のサイズは、原画像入力手段１１が入力する画像のサイズよりも小さい。すなわち、本実施形態では、原画像入力手段１１が撮像するシーンの中から、参照画像に類似する画像を見出すことことを想定する。ただし、テンプレート画像のサイズが、原画像入力手段１１が入力する画像のサイズと同じであっても、本発明を適用することができる。また、参照画像は、あらかじめ記憶手段に格納されているのではなく、パターンマッチングを行う場合に、カメラ等による参照画像入力手段１７によって取り込まれる。
【００１６】
具体的には、カメラ等の撮像素子である参照画像入力手段１７は、あらかじめ参照画像とするシーンを撮像し撮像信号をＡ−Ｄ変換してディジタルデータに変換し、エッジ抽出手段１８に出力する。エッジ抽出手段１８は、入力した参照画像のディジタルデータをエッジ抽出手段１２と同じ２次元の微分処理によって多値のエッジ画像にして２値化手段１９に出力する。２値化手段１９は、エッジ抽出手段１８から入力したエッジ画像を、あらかじめ設定した閾値によって２値化し（「０」または「１」にし）、２値画像をメモリ２０に格納する。メモリ２０は、格納した２値画像を２値化手段１３１，１３２，・・・，１３ｎからの２値画像の出力タイミングに合わせて、複数個で構成される２値相関手段１４１，１４２，・・，１４ｎの全てに出力する。
【００１７】
２値相関手段１４１，１４２，・・，１４ｎは、対応する２値化手段１３１，１３２，・・・，１３ｎから入力した原画像の２値画像とメモリ２０から入力した参照画像の２値画像との相関を取り、それぞれ、最も相関が高い点の画像上の２次元座標値およびその相関値を相関値選択手段１５に出力する。相関値選択手段１５は、２値相関手段１４１，１４２，・・，１４ｎから入力した相関値の中から最も相関が高い値を選択し、その画像上の２次元座標値を位置同定手段１６に出力する。位置同定手段１６は、相関値選択手段１５から入力した座標値をナビゲーション用の制御ＣＰＵ等の上位装置のインタフェースに出力する。
【００１８】
なお、原画像入力手段１１および参照画像入力手段１７以外の図１に示された構成要素は、プログラムに従って処理を実行する計算機で実現可能である。
【００１９】
次に、図１に示された画像処理装置の各部の動作を、図２のフローチャートおよび図３の説明図を参照して説明する。図２は、画像処理装置の動作を示すフローチャートである。図３は、エッジフィルタ処理の一例を示す説明図である。
【００２０】
［エッジ抽出手段１２，１８の動作例］
エッジ抽出手段１２は、原画像入力手段１１から入力した画像のディジタルデータに対して２次元の微分処理を施して多値のエッジ画像を生成する（ステップＳ２１）。また、エッジ抽出手段１８は、参照画像入力手段１７から入力した画像のディジタルデータに対して２次元の微分処理を施して多値のエッジ画像を生成する（ステップＳ２１）。
【００２１】
エッジ抽出手段１２，１８は、例えば、入力画像における注目画素を中心とする３×３画素や５×５画素等といった微小領域に、ソーベルフィルタ処理やラプラシアンフィルタ処理等のエッジフィルタ処理を施す。入力画像の全画素にエッジフィルタ処理を適用することによってエッジ画像を得る。
【００２２】
また、以下に説明するエッジフィルタを使用することによって、エッジ抽出手段１２，１８は、上記の一般的なエッジフィルタ処理に比べて強力なエッジ抽出を行うことができる。すなわち、入力画像における注目画素を中心に３×３画素の微小領域を抽出し、図３（ａ）〜（ｄ）のそれぞれに示された各々のフィルタ係数と抽出した微小領域の画像の濃淡値とを乗算し、９画素分の乗算結果を合計し、合計値の絶対値をとる。そして、図３（ａ）〜（ｄ）に示された各々のフィルタ係数を用いて算出された４つの絶対値のうちの最も大きい値をその注目画素の出力値とする。以上の処理を入力画像の全画素について行うことによって、一般的なエッジフィルタ処理による画像に比べて感度が高いエッジ画像を得ることができる。
【００２３】
図３（ａ）に示されたフィルタ係数を用いる場合には、エッジ抽出手段１２，１８は、注目画素を中心とする微小領域（注目画素を中心に数画素の範囲の近傍領域：この例では縦横３画素の範囲）における上辺の濃淡値の合計から下辺の濃淡値の合計を差分した値の絶対値を演算している。図３（ｂ）に示されたフィルタ係数を用いる場合には、エッジ抽出手段１２，１８は、近傍領域の左辺の濃淡値の合計から右辺の濃淡値の合計を差分した値の絶対値を演算している。図３（ｃ）に示されたフィルタ係数を用いる場合には、エッジ抽出手段１２，１８は、近傍領域の左上領域の濃淡値の合計から右下領域の濃淡値の合計を差分した値の絶対値を演算している。図３（ｄ）に示されたフィルタ係数を用いる場合には、エッジ抽出手段１２，１８は、近傍領域の右上領域の濃淡値の合計から左下領域の濃淡値の合計を差分した値の絶対値を演算している。なお、この例では、縦横３×３画素の範囲を近傍領域にしているが、近傍領域の大きさは３×３画素に限定されない。
【００２４】
エッジ抽出手段１２は、エッジフィルタ処理による多値のエッジ画像を２値化手段１３１，１３２，・・・，１３ｎに出力する（ステップＳ２２）。エッジ抽出手段１８は、エッジフィルタ処理による多値のエッジ画像を２値化手段１９に出力する（ステップＳ２２）。
【００２５】
［２値化手段１３１，１３２，・・・，１３ｎおよび２値化手段１９の動作例］
２値化手段１３１，１３２，・・・，１３ｎは、各々、エッジ抽出手段１２から入力したエッジ画像を所定の閾値によって２値化して、各々の画素値が「０」または「１」である２値画像を生成し、２値画像を２値相関手段１４１，１４２，・・，１４ｎに出力する（ステップＳ２３）。２値化手段１９は、エッジ抽出手段１８から入力したエッジ画像を所定の閾値によって２値化して、各々の画素値が「０」または「１」である２値画像を生成し、２値画像をメモリ２０に出力する（ステップＳ２３）。なお、ステップＳ２３の処理において、２値化手段１３１，１３２，・・・，１３ｎおよび２値化手段１９は、入力したエッジ画像の全画素の各々について、画像の濃淡値が設定された閾値以上である場合には「１」を出力し、閾値未満の場合には「０」を出力する。
【００２６】
また、２値化手段１９には、あらかじめ調整された閾値が設定され、２値化手段１３１，１３２，・・・，１３ｎの各々には、互いに異なる閾値があらかじめ設定される。参照画像入力時と原画像入力時とで照明条件等が異なり２値化手段１９に設定された閾値が２値化手段１３１，１３２，・・・，１３ｎでは最適な閾値ではない場合が想定されるからである。つまり、複数個で構成されている２値化手段１３１，１３２，・・・，１３ｎの各々には、照明条件等の環境条件の違いに応じた異なる閾値があらかじめ設定される。すなわち、本実施形態では、環境条件が異なったことに応じて閾値を変更することは要求されない。よって、閾値設定の変更を容易に行うことができない用途に対して、本実施形態を好適に適用することができる。
【００２７】
なお、原画像入力時に動作する２値化手段１３１，１３２，・・・，１３ｎが複数個で構成されているので、異なる閾値による２値化の同時並列処理が実行可能である。
【００２８】
また、２値化手段１３１，１３２，・・・，１３ｎに設定される閾値は、入力されるエッジ画像から濃淡値のヒストグラムを作成する等によって画像特性を判断し、各々の画像特性にもとづく複数個の閾値を自動設定するようにするようにしてもよい。
【００２９】
［２値相関手段１４１，１４２，・・，１４ｎの第１の動作例］
２値相関手段１４１，１４２，・・，１４ｎは、それぞれ、対応する２値化手段１３１，１３２，・・・，１３ｎから入力した２値画像とメモリ２０から入力した２値画像との相関値を演算する（ステップＳ２４）。すなわち、メモリ２０から入力した２値画像をテンプレート画像にして、２値化手段１３１，１３２，・・・，１３ｎから入力した２値画像について各々パターンマッチングを行う。メモリ２０から入力した２値画像がテンプレート画像なので、メモリ２０から入力した２値画像の画像サイズの方が２値化手段１３１，１３２，・・・，１３ｎから入力した２値画像の画像サイズよりも小さい。相関値ｒの演算の一例を（１）式に示す。
【００３０】
ｒ＝Σ｜ｆ−ｇ｜          ・・・（１）
【００３１】
（１）式において、ｇは、メモリ２０から入力された２値画像、すなわちテンプレート画像のビット値（「０」または「１」）である。ｆは、２値化手段１３１，１３２，・・・，１３ｎから入力された２値画像からテンプレート画像と同サイズの領域を切り出した部分画像すなわちマッチング対象画像のビット値である。Σの範囲は、テンプレート画像の画素数分である。従って、（１）式によれば、テンプレート画像とマッチング対象画像との全画素について、テンプレート画像とマッチング対象画像との対応する画素においてｆとｇの差分絶対値が計算され、その合計値が相関値ｒになる。
【００３２】
（１）式を用いるこの例では、相関値ｒが小さいほど、テンプレート画像とマッチング対象画像との相関が高くなる。２値相関手段１４１，１４２，・・，１４ｎは、２値化手段１３１，１３２，・・・，１３ｎから入力した２値画像から切り出す部分画像の領域を横方向に１画素ずつずらし、ずらす度に、相関値ｒを計算する。さらに、縦方向にも１画素ずつずらし、２値化手段１３１，１３２，・・・，１３ｎから入力した２値画像全体を走査して、２値化手段１３１，１３２，・・・，１３ｎから入力した２値画像から切りだし可能な全ての部分画像について相関値ｒを計算する。
【００３３】
［相関値選択手段１５の第１の動作例］
相関値選択手段１５は、２値相関手段１４１，１４２，・・，１４ｎが計算した相関値ｒの中で最も相関が高いことを示す値、すなわち、この例では相関値ｒの最小値を選択し、選択した相関値ｒを、そのときの部分画像切り出し座標値とともに位置同定手段１６に出力する（ステップＳ２５）。部分画像切り出し座標値は、例えば、部分画像の右上の座標を示す値である。
【００３４】
［２値相関手段１４１，１４２，・・，１４ｎの第２の動作例］
相関値ｒの演算の別の例を（２）式に示す。
【００３５】
ｒ＝Σ（ｆ  ｘｎｏｒ  ｇ）          ・・・（２）
【００３６】
（２）式において、Σ，ｆ，ｇは、（１）式における、Σ，ｆ，ｇと同じデータを示す。また、ｘｎｏｒは、ｆとｇとの排他的論理和を反転した値を示す。以下、排他的論理和を反転することを、排他的論理和反転という。
【００３７】
図４は、（２）式の演算を実現する構成例を示す回路図である。図４に示す構成において、ｆ，ｇは、同期信号ＣＬＫに同期して対応する画素毎にシリアルに入力される。フリップフロップ３１は、ｆ，ｇの入力タイミングを揃え、排他的論理和反転回路３２に出力する。排他的論理和反転回路３２は、ｆ，ｇのビットが異なれば「０」を加算器３３に出力し、同一であれば「１」を加算器３３に出力する。従って、加算器３３は、ｆとｇとが同一であるビット数を合計することになる。加算器３３は、加算値を多ビットのフリップフロップ３４に出力する。多ビットのフリップフロップ３４は、加算器３３の出力値であるｆ，ｇの同一ビット数の累計値を保持する。
【００３８】
フリップフロップ３４が保持する累計値を加算器３３にフィードバックされるように構成することによって、加算器３３は、フィードバックされた値と新たに排他的論理和反転回路３２から入力される値との加算によって、ｆとｇとが同一であるビット数の合計値を更新する。全画素のｆおよびｇが入力された段階で、図４に示すフリップフロップ３４の出力に最終的な相関値ｒが出力される。
【００３９】
なお、図４に示す加算器３３、および多ビットのフリップフロップ３４に代えて排他的論理和反転回路３２の出力信号をイネーブル入力とするアップカウンタを用いてもよい。
【００４０】
［相関値選択手段１５の第２の動作例］
（２）式を用いる例では、相関値ｒが大きいほど、テンプレート画像とマッチング対象画像との相関が高くなる。（２）式を用いる場合にも、（１）式を用いる場合と同様に、２値相関手段１４１，１４２，・・，１４ｎは、２値化手段１３１，１３２，・・・，１３ｎから入力した２値画像から切り出す部分画像の領域を１画素ずつずらし、画像全体を走査して、全ての相関値ｒを計算する。相関値選択手段１５は、その相関値ｒの中で最も相関が高いことを示す値、（２）式を用いる例では相関値ｒの最大値を選択し、選択した相関値ｒを、そのときの部分画像切り出し座標値とともに位置同定手段１６に出力する。
【００４１】
位置同定手段１６は、相関値選択手段１５が選択した相関値ｒが算出されたときに切り出された部分画像を示す座標値を、画像処理装置の出力を使用する他の装置に出力する。なお、他の装置は、図１に例示された構成の画像処理装置と別体で設けられていてもよいし、図１に例示された構成を一部に含む画像処理装置の他部であってもよい。
【００４２】
一例として、他の装置（または、画像処理装置の他部）は、位置同定手段１６が出力した部分画像切り出し座標値で特定される画像を原画像から切り出し、自動化された製造ラインにおいて、製品の特定部位を観察するための画像として表示器に表示したり、製品仕分けラインにおいて、特定製品を同定して仕分け機構を制御したりする。
【００４３】
以上に説明したように、本実施形態では、多ビットデータの正規化相関のような複雑で処理時間がかかる画像のパターンマッチングを実行するのではなく、２値データの相関演算を行っているので、高速かつ小規模な回路で画像のパターンマッチングを行うことができる。
【００４４】
また、２値化の前処理にＤＯＧフィルタやＬＯＧ（Laplace Of Gaussian ）フィルタのような複雑で処理時間がかかる画像フィルタを行うのではなく、３×３画素や５×５画素等の微小サイズのエッジ抽出フィルタを用いているので、高速かつ小規模な回路で画像のパターンマッチングを行うことができる。
【００４５】
また、画像の２値化において環境条件の変化等に応じて閾値を変更するのではなく、異なる閾値による複数の２値化手段と、それらのそれぞれに対応する複数の２値相関手段とを備え、その中で最も相関が高い値を出力したものを自動的に選択しているので、人が介在して閾値設定することなく画像のパターンマッチングを行うことができる。
【００４６】
さらに、参照パターンとして多ビットデータの画像を格納するのではなく、オフラインで、すなわちパターンマッチング対象シーンの入力前に参照画像を入力し、参照画像のエッジ抽出を行って２値化した画像をメモリ２０に格納するように構成されているので、メモリ２０に格納される参照パターンが２値データになり、メモリ２０のメモリ容量を小さくすることができ、高速かつ小規模な回路で画像のパターンマッチングを実現することができる。
【００４７】
以上のことから、本実施形態の画像処理方法および画像処理装置は、例えば、自動化された製造ライン等において、もしくは車両、船舶、航空機等の輸送手段での自律誘導における外界認識の用途において、または自律ロボットにおける外界認識の用途において、自動的に画像中の対象物の位置や姿勢を計測したり物体の種類を判別する際に、物体の表面状態が不均一であったり、照明条件が不安定であるような場合でも、良好に、かつ安定に対象物の認識を行うことができるようになる。また、ステレオ視の原理で物体の３次元情報を得る場合において、視野内に複数の物体が存在し得るような状況でも安定して３次元情報を抽出することができる。また、認識対象物の動きを計測する際に、物体を高速に、高信頼度で計測を行うことができる。
【００４８】
図５は、本発明による画像処理装置における主要部を示すブロック図である。図５に示すように、画像処理装置は、パターンマッチングの参照パターンとして用いられる参照画像を入力する参照画像入力部４（図１における参照画像入力手段１７に対応）と、参照画像入力部４が入力した参照画像から、濃度変化を強調した参照用のエッジ画像を生成する参照画像のエッジ抽出部５（図１におけるエッジ抽出手段１８に対応）と、参照画像のエッジ抽出部５が生成した参照用のエッジ画像を２値化して、参照用の２値画像を生成する参照画像用２値化部６（図１における２値化手段１９に対応）と、参照画像用２値化部６が生成した参照用の２値画像を一時的に格納するメモリ部７（図１におけるメモリ２０に対応）と、パターンマッチングの対象となる画像を入力する原画像入力部１（図１における原画像入力手段１１に対応）と、原画像入力部１が入力した原画像から、濃度変化を強調したエッジ画像を生成する原画像のエッジ抽出部２（図１におけるエッジ抽出手段１２に対応）と、原画像のエッジ抽出部２が生成したエッジ画像を互いに異なる閾値にもとづいて２値化し、複数の２値画像を生成する原画像用２値化部３（図１における２値化手段１３１〜１３ｎに対応）と、原画像用２値化部３が生成した複数の２値画像のそれぞれと、メモリ部７に格納された参照用の２値画像との間で相関値を算出する相関部８（図１における２値相関手段１４１〜１４ｎに対応）と、相関部９が算出した複数の相関値の中から最も相関が高いことを示す相関値を選択する相関値選択部９（図１における相関値選択手段１５に対応）と、相関値選択部９が選択した相関値の算出の基になった原画像を特定するデータを出力する画像同定部１０（図１における位置同定手段１６に対応）とを備えている。
【００４９】
図６は、本発明による画像処理方法における主要ステップを示すフローチャートである。図６に示すように、画像処理方法は、パターンマッチングの参照パターンにする参照画像を入力する参照画像入力ステップ（ステップＳ１）と、入力された参照画像から、濃度変化を強調した参照用のエッジ画像を生成する参照画像のエッジ抽出ステップ（ステップＳ２）と、参照画像のエッジ抽出ステップで生成された参照用のエッジ画像を２値化して、参照用の２値画像を生成する参照画像用２値化ステップ（ステップＳ３）と、パターンマッチングの対象となる画像を入力する原画像入力ステップ（ステップＳ４）と、入力された原画像から、濃度変化を強調したエッジ画像を生成する原画像のエッジ抽出ステップ（ステップＳ５）と、原画像のエッジ抽出ステップで生成されたエッジ画像を互いに異なる閾値にもとづいて２値化し、複数の２値画像を生成する原画像用２値化ステップ（ステップＳ６）と、原画像用２値化ステップで生成された複数の２値画像のそれぞれと、参照画像用２値化ステップで生成された参照用の２値画像との間で相関値を算出する相関ステップ（ステップＳ７）と、相関ステップで算出された複数の相関値の中から最も相関が高いことを示す相関値を選択する相関値選択ステップ（ステップＳ８）と、相関値選択ステップで選択された相関値の算出の基になった原画像を特定するデータを出力する画像同定ステップ（ステップＳ９）とを含む。
【００５０】
また、画像処理装置は、相関部が、原画像用２値化部が生成した複数の２値画像（参照画像のサイズよりもサイズが大きい）のそれぞれにおける参照画像のサイズと同サイズの部分画像との間で相関値を算出し、画像同定部が、相関値選択部が選択した相関値の算出の基になった原画像の部分画像を特定する座標データを出力するように構成されていてもよい。そのように構成されている場合には、原画像から所望の画像部分を特定することができる。
【００５１】
また、画像処理装置は、相関部が、部分画像切り出し領域をずらしながら相関値を算出することによって、原画像用２値化部が生成した２値画像から切り出し得る全ての部分画像について相関値を算出するように構成されていてもよい。
【００５２】
また、画像処理装置は、エッジ抽出部が、入力された画像の各画素を中心に数画素の範囲の近傍領域における上辺の濃淡値の合計から下辺の濃淡値の合計を差分した値の絶対値を演算する横微分手段（図１におけるエッジ抽出手段１２，１８に含まれる：図３（ａ）参照）と、近傍領域の左辺の濃淡値の合計から右辺の濃淡値の合計を差分した値の絶対値を演算する縦微分手段（図１におけるエッジ抽出手段１２，１８に含まれる：図３（ｂ）参照）と、近傍領域の左上領域の濃淡値の合計から右下領域の濃淡値の合計を差分した値の絶対値を演算する右上左下斜方微分手段（図１におけるエッジ抽出手段１２，１８に含まれる：図３（ｃ）参照）と、近傍領域の右上領域の濃淡値の合計から左下領域の濃淡値の合計を差分した値の絶対値を演算する左上右下斜方微分手段（図１におけるエッジ抽出手段１２，１８に含まれる：図３（ｄ）参照）と、左上右下斜方微分手段が得た絶対値と、右上左下斜方微分手段が得た絶対値と、縦微分手段が得た絶対値と、横微分手段が得た絶対値とを比較し、最大値を選択する選択手段（図１におけるエッジ抽出手段１２，１８に含まれる）とを含むように構成されていてもよい。
【００５３】
また、画像処理装置は、相関部が、参照画像用２値化部が生成した２値画像の値と原画像用２値化部が生成した２値画像の値との排他的論理和を反転する一致検出回路（図１における排他的論理和反転回路３２に対応）と、一致検出回路が得た値が「１」である画素数の累計値を保持するレジスタ等の保持回路（図１におけるフリップフロップ３４に対応）と、保持回路が保持する累計値と一致検出回路が得た排他的論理和の反転とを加算する加算器（図１における加算器３３に対応）とを含むように構成されていてもよい。
【産業上の利用可能性】
【００５４】
本発明を、自動化された製造ラインに適用したり、輸送手段や自律ロボットにおける外界認識等の用途に適用することができる。
【図面の簡単な説明】
【００５５】
【図１】本発明による画像処理装置の構成の一例を示すブロック図である。
【図２】画像処理装置の動作を示すフローチャートである。
【図３】エッジフィルタ処理の一例を示す説明図である。
【図４】（２）式の演算を実現する構成例を示す回路図である。
【図５】本発明による画像処理装置における主要部を示すブロック図である。
【図６】本発明による画像処理方法における主要ステップを示すフローチャートである。
【図７】特許文献１に記載された画像処理装置の構成を示すブロック図である。
【符号の説明】
【００５６】
１      原画像入力部
２      原画像のエッジ抽出部
３      原画像用２値化部
４      原画像用２値化部
５      参照画像のエッジ抽出部
６      参照画像用２値化部
７      メモリ部
８      相関部
９      相関値選択部
１０    画像同定部
１１    原画像入力手段
１２    エッジ抽出手段
１５    相関値選択手段
１６    位置同定手段
１７    参照画像入力手段
１８    エッジ抽出手段
１９    ２値化手段
２０    メモリ
３１    フリップフロップ
３２    排他的論理和反転回路
３３    加算器
３４    フリップフロップ
１３０  ２値化変換手段
１３１〜１３ｎ  ２値化手段
１４１〜１４ｎ  ２値相関手段
【図１】
2010140082.tif 000003
【図２】
2010140082.tif 000004
【図３】
2010140082.tif 000005
【図４】
2010140082.tif 000006
【図５】
2010140082.tif 000007
【図６】
2010140082.tif 000008
【図７】
2010140082.tif 000009