(57)【要約】【課題】従来、移動する対象物の撮像画像に対してパターンマッチングを行う場合、マッチングが行われた時点の対象物の位置が、実際の位置と異なるという問題があった。【解決手段】本発明の画像処理方法は、カメラを用いてカメラに対して相対的に移動する対象物を周期的に撮像し、撮像した画像を画像処理装置へ送信するステップと、撮像画像を前処理するステップと、対象物を検出するための複数の教示モデルを前処理画像に順次マッチングさせるステップと、前処理画像におけるマッチング度数を取得するステップと、マッチング度数が指定の閾値を超えたときの前処理画像における対象物の位置を、カメラ視野での対象物の位置とするステップと、を有し、複数の教示モデルを前処理画像に順次マッチングさせる場合に、カメラで対象物を撮像する周期に合わせて複数の教示モデルの各々の教示モデルを順次切替えてマッチングさせる、ことを特徴とする。【選択図】図４
2016126733.tif 000002
【特許請求の範囲】
【請求項１】
カメラに対して相対的に移動する対象物をカメラによって撮像した画像から、対象物の位置を検出する画像処理方法において、
カメラを用いて対象物を周期的に撮像し、撮像した画像を画像処理装置へ送信するステップと、
前記画像処理装置において対象物を検出するため、前記の撮像画像を前処理するステップと、
対象物を検出するための複数の教示モデルを前記の前処理画像に順次マッチングさせるステップと、
前記前処理画像におけるマッチング度数を取得するステップと、
前記マッチング度数が指定の閾値を超えたときの前記前処理画像における対象物の位置を、カメラ視野での対象物の位置とするステップと、を有し、
前記複数の教示モデルを前記前処理画像に順次マッチングさせるステップにおいて、カメラで対象物を撮像する周期に合わせて前記複数の教示モデルの各々の教示モデルを順次切替えてマッチングさせる、
ことを特徴とする画像処理方法。
【請求項２】
対象物を検出するための情報に回転方向に関する情報が含まれる場合、該回転方向に関する情報を取得するため、前記複数の教示モデルには、検出する範囲での各種回転方向の教示モデルを用意する、請求項１に記載の画像処理方法。
【請求項３】
対象物を検出するための情報に対象物のサイズに関する情報が含まれる場合、該サイズに関する情報を取得するため、前記複数の教示モデルには、検出する範囲での各種サイズの教示モデルを用意する、請求項１に記載の画像処理方法。
【請求項４】
対象物を検出するための情報に回転方向及びサイズに関する情報が含まれる場合、該回転方向と該サイズに関する情報を取得するため、前記複数の教示モデルには、検出する範囲での各種回転方向と各種サイズの教示モデルを用意する、請求項１に記載の画像処理方法。
【請求項５】
カメラ視野内で検出した対象物の検出情報を使って、撮像した画像に対し対象物の現在位置付近に視野を制約するステップと、
検出した対象物の情報を使って、再度、対象物を検出するステップと、をさらに有し、
これらのステップを繰返して、対象物を追跡する、請求項１乃至４のうちのいずれか一項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法に関し、特に、動く対象物、またはロボットなどの先端に取り付けられたカメラでロボットが動きながら見る対象物を、カメラの視野の中でできる限り時間遅れのないよう検出する画像処理方法に関する。
【背景技術】
【０００２】
ロボットを用いて対象物に対して作業を行うためには、まず、ロボットに設けたカメラ等により対象物の位置を検出する必要がある。従来は、カメラ視野の中で対象物の位置を検出するためには、１回目の撮像画像に対し、対象物検出用の複数種類の教示モデルの全てをマッチングさせてマッチング度数のピークを検出することにより行っていた（例えば、特許文献１）。
【０００３】
従来の対象物の検出方法の手順を図１に示す。まず図１（ａ）に示すように、ロボット（図示せず）に設けたカメラ２０により対象物３０を撮像し、画像処理装置１００１に送信する。ここで、対象物３０には特徴的な部分３１が存在し、面内での回転方向も識別するものとする。画像処理装置１００１においては、１回目に撮像した画像Ｐ１０１上で対象物の画像と教示モデルＲ１とのパターンマッチングを行い、マッチング度数が高い位置に対象物が存在するものと推定する。
【０００４】
まず、１回目に撮像した画像Ｐ１０１上で、特徴部分３１の回転角度が垂直方向に対して０度の教示モデルＲ１を走査させながらパターンマッチングを行う。マッチングが得られなかった場合には、Ｐ１０１と同じ画像であるＰ１０２上で、特徴部分３１が４５度回転した教示モデルＲ２を用いてパターンマッチングを行う。その後、同じ画像Ｐ１０３〜Ｐ１０８を用いて、回転角度を変えた教示モデルＲ３〜Ｒ８を用いてパターンマッチングを行う。
【０００５】
パターンマッチングにより指定の閾値を超えるピークが検出された画像１００７上の位置（ｘ，ｙ）を対象物３０の位置と推定する。その後、カメラ２０で撮像した全体画像Ｑ１０のうち、対象物３０が検出された位置の近傍の領域Ｑ１１に走査範囲を制限してパターンマッチングを行うことにより対象物３０の追跡を行う。その後、カメラ２０で２回目に撮像した画像の全体領域Ｑ２０のうち、ある時間経過した後には図１（ｂ）に示すようにＱ２１に走査範囲を制限し、さらにカメラ２０で３回目に撮像した画像の全体領域Ｑ３０のうち、ある時間経過した後には図１（ｃ）に示すようにＱ３１に走査範囲を制限する。
【０００６】
このように、１回目の撮像画像Ｐ１０１〜Ｐ１０８に対し、複数の教示モデルをマッチングしていきマッチング度数が閾値を超えるまでマッチングを繰り返していた。このとき、カメラの撮像のタイミングには、１枚目の画像を撮像してからマッチング後に２枚目の画像を撮像する方法と、マッチングの成否に関わらず周期的に画像を撮像する方法の２通りの方法が考えらえる。まず、前者の場合、図２（ａ）に示すように、１枚目の画像「撮像１」を撮像してからマッチングまでに時間ｔ1が経過していたとすると、２枚目の画像「撮像２」はｔ1の後に撮像することになる。ここで、対象物がカメラに対して相対的に移動している場合、撮像２上における対象物の位置は、撮像１上における対象物の位置から少なくとも時間ｔ1の間に移動した距離だけ離れていることになる。このような場合には、撮像１において検出した対象物の位置に基づいて、撮像２において走査範囲を制限して対象物を追跡する場合、対象物の位置が走査範囲から外れて追跡できなくなる恐れがある。
【０００７】
次に、カメラによる撮像を周期的に行う場合について検討する。図２（ｂ）に示すように、撮像１の画像に基づいて対象物のパターンマッチングを開始し、所定の周期で撮像１、撮像２、・・・と撮像を繰り返すものとする。例えば、パターンマッチングによるマッチング度数が指定の閾値を超えた時刻ｔ1が撮像５を取得した後であるとすると、５枚目の画像「撮像５」はｔ1の直前に撮像することになる。ここで、対象物がカメラに対して相対的に移動している場合、撮像５上における対象物の位置は、撮像１上における対象物の位置から少なくとも時間ｔ1の間に移動した距離だけ離れていることになる。このような場合には、撮像１において検出した対象物の位置に基づいて、撮像５において走査範囲を制限して対象物を追跡する場合、対象物の位置が走査範囲から外れて追跡できなくなる恐れがある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３３００６８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の画像処理方法においては、カメラに対して相対的に移動する対象物の撮像画像に対して複数の教示モデルを用いてパターンマッチングを行う場合において、マッチングが行われるまでに長時間を要した場合に、マッチングが行われた時点の対象物の位置が、マッチングによって推定される対象物の位置から離れてしまい追跡が困難になる場合が生じるという問題があった。
【課題を解決するための手段】
【００１０】
本発明の一実施例に係る画像処理方法は、カメラに対して相対的に移動する対象物をカメラによって撮像した画像から、対象物の位置を検出する画像処理方法において、カメラを用いて対象物を周期的に撮像し、撮像した画像を画像処理装置へ送信するステップと、画像処理装置において対象物を検出するため、撮像画像を前処理するステップと、対象物を検出するための複数の教示モデルを前処理画像に順次マッチングさせるステップと、前処理画像におけるマッチング度数を取得するステップと、マッチング度数が指定の閾値を超えたときの前処理画像における対象物の位置を、カメラ視野での対象物の位置とするステップと、を有し、複数の教示モデルを前処理画像に順次マッチングさせるステップにおいて、カメラで対象物を撮像する周期に合わせて複数の教示モデルの各々の教示モデルを順次切替えてマッチングさせる、ことを特徴とする。
【発明の効果】
【００１１】
本発明の一実施例に係る画像処理方法によれば、カメラの撮像を繰り返しながら、各種教示モデルを順次にマッチングにかけるため、マッチング度数が閾値を越え検出結果を得た時点の撮像が、現在の対象物に対して新しいものとすることができ、検出結果を得た撮像での検出位置から現在の対象物の位置をより正確に推定することができる。特に、動く対象物が回転しながら動く場合、検出結果を得た撮像が現在の画像とかけ離れていると、検出結果から現在の対象物の位置を見失いかねないが、そのような事態を回避できる。即ち、画像処理の撮像周期を、画像処理時間全体よりも短くすることができる。
【図面の簡単な説明】
【００１２】
【図１】従来の画像処理方法の手順を説明するための図である。
【図２】従来の画像処理方法において、マッチングが完了してから次の画像を撮像する場合のタイミングチャートと、マッチングの成否に関わらず周期的に撮像する場合のタイミングチャートである。
【図３】本発明の実施例１に係る画像処理方法を実施するための画像処理装置の構成図である。
【図４】本発明の実施例１に係る画像処理方法の手順を示す図である。
【図５】本発明の実施例１に係る画像処理方法における撮像のタイミングチャートである。
【図６】本発明の実施例１に係る画像処理方法の手順を説明するためのフローチャートである。
【図７】本発明の実施例１に係る画像処理方法における原画像及び前処理画像を示す図である。
【図８】本発明の実施例１に係る画像処理方法における前処理方法の一例である、二値化処理方法、ＳＯＢＥＬ処理方法、及びＳＯＢＥＬ処理方法の詳細を説明するための図である。
【図９】本発明の実施例１に係る画像処理方法における、回転検出教示モデルの走査方法を示す図と、パターンマッチングによって得られたマッチング度数のピークを表す図である。
【図１０】本発明の実施例１に係る画像処理方法における、前処理後の対象物の画像と、回転検出教示モデルを示す図である。
【図１１】本発明の実施例１に係る画像処理方法により、回転検出教示モデルを用いてパターンマッチングを行った場合において、マッチングしない場合とマッチングする場合を示す図である。
【図１２】本発明の実施例２に係る画像処理方法の手順を説明するためのフローチャートである。
【図１３】本発明の実施例２に係る画像処理方法における、回転検出教示モデルの走査方法を示す図と、パターンマッチングによって得られたマッチング度数のピークを表す図である。
【図１４】本発明の実施例２に係る画像処理方法における、サイズ検出教示モデルを示す。
【図１５】本発明の実施例２に係る画像処理方法により、サイズ検出教示モデルを用いてパターンマッチングを行った場合において、マッチングしない場合とマッチングする場合を示す図である。
【図１６】本発明の実施例３に係る画像処理方法の手順を説明するためのフローチャートである。
【図１７】本発明の実施例３に係る画像処理方法における、前処理後の対象物の画像と、回転・サイズ検出教示モデルを示す図である。
【図１８】本発明の実施例３に係る画像処理方法により、回転・サイズ検出教示モデルを用いてパターンマッチングを行った場合において、回転方向がマッチングしない場合、サイズがマッチングしない場合、及び回転方向、サイズ共にマッチングする場合を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明に係る画像処理方法について説明する。ただし、本発明の技術的範囲はそれらの実施の形態には限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【００１４】
［実施例１］
まず、本発明の実施例１に係る画像処理方法を実施するための画像処理装置の構成について説明する。図３に示すように、本発明の実施例１に係る画像処理方法を実施するための画像処理装置１０１は、原画像表示部１と、前処理部２と、前処理画像表示部３と、マッチング部４と、教示モデル記憶部５と、マッチング度数取得部６と、ピーク検出部７と、を有する。
【００１５】
画像処理装置１０１は、カメラ２０に対して相対的に移動する対象物３０をカメラ２０によって撮像した画像から、対象物３０の位置を検出するものである。カメラ２０によって撮像された対象物３０の画像はケーブル２１を介して原画像表示部１に送信される。原画像表示部１は、カメラ２０を用いて対象物３０を周期的に撮像した画像を取得し、原画像を表示する。
【００１６】
前処理部２は、画像処理装置１０１において対象物３０を検出するため、撮像画像を前処理する。対象物の画像の前処理方法については後述する。前処理した画像は前処理画像表示部３に送信され、前処理画像が表示される。
【００１７】
教示モデル記憶部５は、各種回転方向を検出するための教示モデル（以下、「回転検出教示モデル」という）、各種サイズを検出するための教示モデル（以下、「サイズ検出教示モデル」という）、各種回転方向及びサイズを検出するための教示モデル（以下、「回転・サイズ検出教示モデル」という）のうちの少なくとも１つを記憶する。ただし、これらは一例であって、その他の教示モデルを記憶することもできる。
【００１８】
マッチング部４は、対象物を検出するための複数の教示モデルを教示モデル記憶部５から取得し、前処理画像に順次マッチングさせる。マッチングは相関によるパターンマッチングにより実行することができる。マッチング部４は、カメラ２０で対象物３０を撮像する周期に合わせて複数の教示モデルの各々の教示モデルを順次切替えてマッチングさせる。
【００１９】
マッチング度数取得部６は、前処理画像におけるマッチング度数を取得する。マッチング度数とは、対象物の画像と教示モデルの相関係数（類似度）である。類似性を測定することによって教示モデルと近い特徴を持った対象物の特徴位置を特定できるため、位置検出に使用できる。例えば、相関サーチの結果として、対象物の撮像画像上におけるＸ、Ｙ座標、マッチング度数が出力される。ピーク検出部７は、マッチング度数が指定の閾値を超えたときの前処理画像における対象物３０の位置を、カメラ視野での対象物の位置とする。
【００２０】
次に、本発明の実施例１に係る画像処理方法について説明する。本発明の実施例１に係る画像処理方法は、カメラ２０に対して相対的に移動する対象物３０をカメラ２０によって撮像した画像から、対象物３０の位置を検出する画像処理方法において、カメラ２０を用いて対象物３０を周期的に撮像し、撮像した画像を画像処理装置１０１へ送信するステップと、画像処理装置１０１において対象物３０を検出するため、撮像画像を前処理するステップと、対象物３０を検出するための複数の教示モデルを前処理画像に順次マッチングさせるステップと、前処理画像におけるマッチング度数を取得するステップと、マッチング度数が指定の閾値を超えたときの前処理画像における対象物３０の位置を、カメラ視野での対象物の位置とするステップと、を有し、複数の教示モデルを前処理画像に順次マッチングさせるステップにおいて、カメラで対象物を撮像する周期に合わせて複数の教示モデルの各々の教示モデルを順次切替えてマッチングさせる点を特徴とする。
【００２１】
次に本発明の実施例１に係る画像処理方法の手順について、図４を用いて説明する。ここでは、一例として回転検出教示モデルを用いた例を示す。対象物を検出するための情報に回転方向に関する情報が含まれる場合、該回転方向に関する情報を取得するため、複数の教示モデルには、検出する範囲での各種回転方向の教示モデルを用意する。しかしながら、他の教示モデルを用いても同様に本発明を実施することができる。
【００２２】
まず、図４（ａ）に示すように、カメラ２０によって撮像した対象物（図示せず）の画像を原画像表示部１に送信する。原画像表示部１が取得した画像は前処理され、前処理後の画像Ｐ１上で教示モデルＲ１（例えば、回転角度：０度）を走査させてパターンマッチングを試みる。ここで、画像Ｐ１上における対象物３０の位置を（Ｘ，Ｙ）とする。また、教示モデルＲ１を画像Ｐ１の全領域で走査する時間は、カメラの撮像周期以下とする。図４（ａ）に示す例では、パターンマッチングによって得られたマッチング度数は指定の閾値を超えておらず、マッチングができなかったものとする。
【００２３】
ここで、カメラの撮像周期のタイミングチャートを図５に示す。本実施例では、パターンマッチングの成否に関わらずカメラ２０は撮像を周期的に実行する。即ち、図５に示すように、撮像１の所定時間経過後には撮像２を実行し、以下順に周期的に撮像を実行する。また、対象物はカメラ２０に対して相対的に移動しており、撮像２における対象物の位置は撮像１における対象物の位置に対して、移動速度に撮像周期を乗算した距離だけ移動していることになる。
【００２４】
次に、図４（ｂ）に示すように、カメラ２０が「撮像１」の撮像から所定時間経過後に「撮像２」の撮像を実行し、画像を原画像表示部１に送信する。原画像表示部１が取得した画像は前処理され、前処理後の画像Ｐ２上で教示モデルＲ２（例えば、回転角度：４５度）を走査させてパターンマッチングを試みる。ここで、対象物３０の移動速度をｖ、カメラの撮像周期をＴとし、対象物３０がｘ軸方向に移動しているものとすると、画像Ｐ２上における対象物の座標は（Ｘ＋ｖＴ，Ｙ）となる。また、図４（ｂ）に示す例ではパターンマッチングによって得られたマッチング度数は指定の閾値を超えておらず、マッチングができなかったものとする。
【００２５】
次に、図４（ｃ）に示すように、カメラ２０が撮像２から所定時間経過後に撮像３を実行し、画像を原画像表示部１に送信する。原画像表示部１が取得した画像は前処理され、前処理後の画像Ｐ３上で教示モデルＲ３（例えば、回転角度：９０度）を走査させてパターンマッチングを試みる。ここで、画像Ｐ３上における対象物の座標は（Ｘ＋２ｖＴ，Ｙ）となる。図４（ｃ）に示す例では、パターンマッチングによって得られたマッチング度数は指定の閾値を超えており、ピーク検出部７が検出したピークの位置（Ｘ＋２ｖＴ，Ｙ）を対象物の位置と推定する。ここで、従来のように撮像１に基づいてパターンマッチングを行って得られる対象物の位置は（Ｘ，Ｙ）であるので、本発明の実施例１に係る画像処理方法によれば、マッチング度数が閾値を越えた撮像（「撮像３」）での検出位置（Ｘ＋２ｖＴ，Ｙ）から現在の対象物の位置をより正確に推定することができ、図４に示した例では従来方法によれば生じてしまう距離２ｖＴの誤差を回避することができる。
【００２６】
上記のようにして対象物の位置が推定できた後は、カメラが撮像する画像全体Ｑ１０のうち対象物の位置を基準とした所定の領域Ｑ１１に走査範囲を制限して対象物を追跡する。
【００２７】
撮像３によって対象物の位置が検出できた後は、図４（ｄ）及び（ｅ）に示すように、撮像４及び５においてもカメラ２０が撮影する画像全体Ｑ２０またはＱ３０のうち、対象物の位置を基準とした所定の領域にＱ２１またはＱ３１に走査範囲を制限して対象物の追跡を実行することができる。
【００２８】
以上のように、本発明の実施例１に係る画像処理方法によれば、複数の教示モデルを前処理画像に順次マッチングさせる場合において、時分割で教示モデルを順次にマッチングさせている、即ち、カメラで対象物を撮像する周期に合わせて複数の教示モデルの各々の教示モデルＲ１，Ｒ２，Ｒ３，・・・を順次切替えてマッチングさせているため、パターンマッチングによって推定される対象物の位置と実際の対象物の位置との差を従来に比べて短縮することができる。即ち、従来技術によれば、最初に撮像された画像Ｐ１に対して教示モデルＲ１，Ｒ２，Ｒ３，・・・と順にマッチングさせているため、教示モデルＲ３によってマッチングが行われた際には、画像Ｐ１における対象物の位置と実際の対象物の位置とが離れてしまうことになるが、本発明によればこのような問題を回避することができる。
【００２９】
次に、本発明の実施例１に係る画像処理方法の手順について、図６に示すフローチャートを用いて説明する。まず、ステップＳ１０１において、カメラ２０（図３参照）を用いて周期的に対象物３０を撮像し、画像を画像処理装置１０１へ送信する。
【００３０】
次に、ステップＳ１０２において、撮像画像を前処理する。一例として、対象物の原画像及び前処理画像を図７に示す。図７（ａ）に示すように、原画像ＰＯ１において対象物３０の一部には特徴部分３１が存在するものとする。この対象物の画像をパターンマッチングを行うための画像に変換するために前処理を行った前処理画像を図７（ｂ）に示す。前処理画像Ｐ１において対象物の画像３０´及び特徴部分の画像３１´は前処理を行う前に比べて輪郭及びコントラストが明確になりパターンマッチングが容易となる。
【００３１】
ここで、前処理の例について図８を用いて説明する。図８（ａ）は二値化処理の例を示す。原画像ＰＯ１において対象物３０の本体の濃度が「３０」であり、特徴部分３１の濃度が「８０」であったとする。このとき、閾値濃度を「５０」とする二値化処理を前処理部２により行うと、濃度「８０」の領域のみを抽出することができる。即ち、前処理画像Ｐ１において、特徴部分の画像３１ａとみを抽出することができる。
【００３２】
図８（ｂ）はＳＯＢＥＬ処理の例を示す。ＳＯＢＥＬ処理は空間１次微分を計算し、輪郭を検出する処理である。原画像ＰＯ１に対して前処理部２を用いてＳＯＢＥＬ処理を行うと、前処理画像Ｐ１において、対象物の輪郭３０ｂと特徴部分の輪郭３１ｂを抽出することができる。
【００３３】
図８（ｃ）にＳＯＢＥＬ処理の詳細な手順を示す。対象物の画像のうちのある画素を中心とした上下左右の９つの画素値に対して、以下に示すような水平方向、垂直方向の２つの係数行列を用いて係数をそれぞれ乗算し、結果を合計する。
【００３４】
【数１】
2016126733.tif 000003
水平方向の合計値をＧｘ、垂直方向の合計値をＧｙとしたとき、注目画素の画素値は以下の式で求められる。
【００３５】
【数２】
2016126733.tif 000004
図８（ａ）のようにして求められた対象物の特徴部分の画像３１ａと、図８（ｂ）のようにして求められた対象物本体の画像３０ｂとを組み合わせることにより、図７（ｂ）に示すような前処理後の対象物の画像を得ることができる。ただし、上記の前処理方法は一例であって、他の前処理方法を用いることもできる。
【００３６】
次に、ステップＳ１０３において、カメラで対象物を撮像する周期に合わせて各種回転モデルを順次切替えてマッチングを実行する。図９に回転検出教示モデルによるマッチングの例を示す。まず図９（ａ）に示すように、回転検出のための教示モデルＲ１（回転角度：０度）を画像Ｐ１の左上のＲ１−１の位置から矢印Ａ１の方向に走査しながらパターンマッチングを行う。画像Ｐ１の右端まで移動させてもマッチング度数が指定の閾値を超えなかった場合には、Ｒ１−１から画像Ｐ１の下方向に所定の間隔を隔てたＲ１−２の位置から矢印Ａ２の方向に走査を行いながらパターンマッチングを実行する。最終的に画像の最下部のＲ１−ｎから矢印Ａｎの方向に走査させながらパターンマッチングを実行する。
【００３７】
図１０に対象物の前処理後の画像と回転検出教示モデルの例を示す。図１０（ａ）に示すように、検出する対象物の画像３０´において、特徴部分の画像３１´は、一例として４５度おきに回転するものとする。これに対して、図１０（ｂ）に示すように、回転検出教示モデルＲ１〜Ｒ８は４５度ずつ回転したパターンとなっている。具体的には、第１の回転検出教示モデルＲ１のうち対象物の特徴部分に対応するパターンＲ１０は垂直方向に対する回転角度が０度となっているのに対して、第２の回転検出教示モデルＲ２のうち対象物の特徴部分に対応するパターンＲ２０は垂直方向に対して４５度回転している。以下、同様にして、第３の回転検出教示モデルＲ３のうち対象物の特徴部分に対応するパターンＲ３０は垂直方向に対して９０度回転している。本実施例では回転角度が４５度ずつ異なる回転検出教示モデルの例を示したが、これには限られず、回転角度は任意の角度とすることができる。例えば、角度θずつ異なる回転検出教示モデルを２π／θ個用意するようにしてもよい。
【００３８】
図１１に回転検出教示モデルを用いてパターンマッチングを行った場合において、マッチングしない場合とマッチングする場合の例を示す。図１１（ａ）に示すように、対象物３０´の特徴部分３１´が４５度回転している場合、特徴部分に対応する部分Ｒ４０が１３５度回転した教示モデルＲ４を用いてＲ４１，Ｒ４２，Ｒ４３，・・・，Ｒ４Ｎで示す位置に移動させて走査を行ってもマッチングしないことになる。一方、図１１（ｂ）に示すように、特徴部分に対応する部分Ｒ２０が４５度回転した教示モデルＲ２を用いてＲ２１，Ｒ２２，Ｒ２３，・・・，Ｒ２Ｎで示す位置に移動させて走査を行うと特定の位置でマッチングが行われる。
【００３９】
次に、ステップＳ１０４において、マッチング度数取得部６が、マッチング度数を算出し、ステップＳ１０５において、ピーク検出部７が、マッチング度数が指定の閾値を超えているか否かを判断する。マッチング度数が指定の閾値以下の場合、即ち、撮像画像の全ての領域に渡ってマッチング度数が指定の閾値を超えなかった場合は、ステップＳ１０１に戻って、次の周期でカメラが対象物を撮像する。その後ステップＳ１０２における前処理を経て、ステップＳ１０３においては、撮像した２つ目の画像に対して、第１の回転検出教示モデルＲ１を用いるのではなく、第２の回転検出教示モデルＲ２を用いる点が特徴である。
【００４０】
図９（ａ）に示すように、対象物の画像３０´における特徴部分の画像３１´が４５度回転している場合には、教示モデルＰ２（回転角度：４５度）を用いたパターンマッチングによりピークを検出することができる。図９（ｂ）はマッチング度数を表示する画面Ｐｍ上における対象物の位置ＰＯＳ（ｘ，ｙ）におけるピーク度数Ｍ（ｘ，ｙ）が指定の閾値Ｍｔｈを超える例を示す。
【００４１】
マッチング度数が指定の閾値を超えている場合には、ステップＳ１０６において、前処理画像における対象物の位置をカメラ視野での対象物の位置と決定し、対象物の回転方向を含む位置の検出結果である対象物の検出情報を出力する。
【００４２】
さらに、図４（ｄ）及び図４（ｅ）に示すように、カメラ視野内で検出した対象物の検出情報を使って、撮像した画像（Ｑ２０，Ｑ３０）に対し対象物の現在位置付近（Ｑ２１，Ｑ３１）に視野を制約するステップと、検出した対象物の情報を使って、再度、対象物を検出するステップとを繰返して、対象物を追跡するようにしてもよい。
【００４３】
以上のように、本発明の実施例１に係る画像処理方法によれば、小まめに撮像を繰返し、その都度、回転検出教示モデルを順次マッチングしていくため、マッチング度数が閾値を超えるピークを検出した際の撮像画像が、現在時刻のものに近いものであり、対象物を現在とかけ離れたものでない過去の位置で検出することができる。
【００４４】
［実施例２］
次に、本発明の実施例２に係る画像処理方法について説明する。実施例２に係る画像処理方法が、実施例１に係る画像処理方法と異なっている点は、対象物を検出するための情報に対象物のサイズに関する情報が含まれる場合、該サイズに関する情報を取得するため、複数の教示モデルには、検出する範囲での各種サイズの教示モデルを用意する点である。実施例２に係る画像処理方法のその他の点は、実施例１に係る画像処理方法と同様であるので詳細な説明は省略する。
【００４５】
実施例２に係る画像検出方法においては対象物の検出のためにサイズ検出教示モデルを用いる点を特徴としている。次に、本発明の実施例２に係る画像処理方法の手順について、図１２に示すフローチャートを用いて説明する。まず、ステップＳ２０１において、カメラ２０（図３参照）を用いて周期的に対象物３０を撮像し、画像を画像処理装置１０１へ送信する。
【００４６】
次に、ステップＳ２０２において、撮像画像を前処理する。前処理の方法は実施例１の場合と同様であるので詳細な説明は省略する。
【００４７】
次に、ステップＳ２０３において、カメラで対象物を撮像する周期に合わせて各種サイズのモデルを順次切替えてマッチングを実行する。図１３にサイズ検出教示モデルによるマッチングの例を示す。まず図１３（ａ）に示すように、サイズ検出のための教示モデルＳ１（最小サイズ）を画像Ｐ１の左上のＳ１−１の位置から矢印Ａ１の方向に走査しながらパターンマッチングを行う。画像Ｐ１の右端まで移動させてもマッチング度数が指定の閾値を越えなかった場合には、Ｓ１−１から所定の間隔を隔てたＳ１−２の位置から矢印Ａ２の方向に走査を行いながらパターンマッチングを実行する。最終的に画像の最下部のＳ１−ｎから矢印Ａｎの方向に走査させながらパターンマッチングを実行する。
【００４８】
図１４にサイズ検出教示モデルの例を示す。サイズ検出教示モデルＳ１〜Ｓ７はサイズが異なったパターンとなっている。具体的には、第１のサイズ検出教示モデルＳ１より、第２のサイズ検出教示モデルＳ２が大きくなっている。以下、同様にして、Ｓ３，Ｓ４，・・・の順にサイズが大きくなっている。本実施例ではサイズが７通りのサイズ検出教示モデルの例を示したが、これには限られず、サイズの種類は２〜６種類、あるいは８種類以上でもよい。
【００４９】
図１５にサイズ検出教示モデルを用いてパターンマッチングを行った場合において、マッチングしない場合とマッチングする場合の例を示す。図１５（ａ）に示すように、対象物３０´の特徴部分３１´が４５度回転している場合、特徴部分に対応する部分Ｓ１０が４５度回転しているものの、サイズが対象物の画像に対して小さいサイズ検出教示モデルＳ１を用いてＳ１１，Ｓ１２，Ｓ１３，・・・，Ｓ１Ｎで示す位置に移動させて走査を行ってもマッチングしないことになる。一方、図１５（ｂ）に示すように、特徴部分に対応する部分Ｒ３０が４５度回転し、かつサイズが対象物の画像と同一のサイズ検出教示モデルＳ３を用いてＳ３１，Ｓ３２，Ｓ３３，・・・，Ｓ３Ｎで示す位置に移動させて走査を行うと特定の位置でマッチングが行われる。
【００５０】
次に、ステップＳ２０４において、マッチング度数取得部６が、マッチング度数を算出し、ステップＳ２０５において、ピーク検出部７が、マッチング度数が指定の閾値を超えているか否かを判断する。マッチング度数が指定の閾値以下の場合、即ち、撮像画像の全ての領域に渡ってマッチング度数が指定の閾値を超えなかった場合は、ステップＳ２０１に戻って、次の周期でカメラが対象物を撮像する。その後ステップＳ２０２における前処理を経て、ステップＳ２０３においては、撮像した２つ目の画像に対して、第１のサイズ検出教示モデルＳ１を用いるのではなく、第２のサイズ検出教示モデルＳ２を用いる点が特徴である。
【００５１】
図１３（ａ）に示すように、対象物の画像３０´における特徴部分の画像３１´が４５度回転している場合には、回転角度が４５度であってサイズが対象物の画像と同一のサイズ検出教示モデルＳ３を用いたパターンマッチングによりピークを検出することができる。図１３（ｂ）はマッチング度数を表示する画面Ｐｍ上における対象物の位置ＰＯＳ（ｘ，ｙ）におけるピーク度数Ｍ（ｘ，ｙ）が指定の閾値Ｍｔｈを超える例を示す。
【００５２】
マッチング度数が指定の閾値を超えている場合には、ステップＳ２０６において、前処理画像における対象物の位置をカメラ視野での対象物の位置と決定し、対象物のサイズを含む位置の検出結果である対象物の検出情報を出力する。
【００５３】
さらに、図４（ｄ）及び図４（ｅ）に示すように、カメラ視野内で検出した対象物の検出情報を使って、撮像した画像（Ｑ２０，Ｑ３０）に対し対象物の現在位置付近（Ｑ２１，Ｑ３１）に視野を制約するステップと、検出した対象物の情報を使って、再度、対象物を検出するステップとを繰返して、対象物を追跡するようにしてもよい。
【００５４】
以上のように、本発明の実施例２に係る画像処理方法によれば、小まめに撮像を繰返し、その都度、サイズ検出教示モデルを順次マッチングしていくため、マッチング度数が閾値を超えるピークを検出した際の撮像画像が、現在時刻のものに近いものであり、対象物を現在とかけ離れたものでない過去の位置で検出することができる。
【００５５】
［実施例３］
次に、本発明の実施例３に係る画像処理方法について説明する。実施例３に係る画像処理方法が、実施例１に係る画像処理方法と異なっている点は、対象物を検出するための情報に回転方向及びサイズに関する情報が含まれる場合、該回転方向と該サイズに関する情報を取得するため、複数の教示モデルには、検出する範囲での各種回転方向と各種サイズの教示モデルを用意する点である。実施例３に係る画像処理方法のその他の点は、実施例１に係る画像処理方法と同様であるので詳細な説明は省略する。
【００５６】
実施例３に係る画像検出方法においては対象物の検出のために回転方向及びサイズを検出するための教示モデルを用いる点を特徴としている。次に、本発明の実施例３に係る画像処理方法の手順について、図１６に示すフローチャートを用いて説明する。まず、ステップＳ３０１において、カメラ２０（図３参照）を用いて周期的に対象物３０を撮像し、画像を画像処理装置１０１へ送信する。
【００５７】
次に、ステップＳ３０２において、撮像画像を前処理する。前処理の方法は実施例１の場合と同様であるので詳細な説明は省略する。
【００５８】
次に、ステップＳ３０３において、カメラで対象物を撮像する周期に合わせて各種回転方向と各種サイズのモデルを順次切替えてマッチングを実行する。前処理画像上でのパターンマッチングの方法は実施例１（図９参照）および実施例２（図１３参照）の場合と同様であるので詳細な説明は省略する。
【００５９】
図１７に対象物の前処理後の画像と回転・サイズ検出教示モデルの例を示す。図１７（ａ）に示すように、検出する対象物の画像３０´において、特徴部分の画像３１´は、一例として４５度おきに回転するものとする。これに対して、図１７（ｂ）に示すように、回転・サイズ検出教示モデルＲ１Ｓ１〜Ｒ８Ｓ４は回転方向及びサイズが異なったパターンとなっている。具体的には、サイズが最小であって、回転方向が異なる回転・サイズ検出教示モデルＲ１Ｓ１，Ｒ２Ｓ１，Ｒ３Ｓ１，・・・，Ｒ８Ｓ１は４５度ずつ回転したパターンとなっている。具体的には、Ｒ１Ｓ１のうち対象物の特徴部分に対応するパターンＲ１Ｓ１´は垂直方向に対する回転角度が０度となっているのに対して、Ｒ２Ｓ１のうち対象物の特徴部分に対応するパターンＲ２Ｓ１´は垂直方向に対して４５度回転している。以下、同様にして、Ｒ３Ｓ１のうち対象物の特徴部分に対応するパターンＲ３Ｓ１´は垂直方向に対して９０度回転している。一方、サイズに着目すると、回転・サイズ検出教示モデルＲ１Ｓ１〜Ｒ８Ｓ１より、Ｒ１Ｓ２〜Ｒ８Ｓ２の方が大きくなっている。以下、同様にして、Ｒ１Ｓ３〜Ｒ８Ｓ３，Ｒ１Ｓ４〜Ｒ８Ｓ４の順にサイズが大きくなっている。本実施例では、回転角度が４５度ずつ異なり、かつサイズが４通りの回転・サイズ検出教示モデルの例を示したが、これには限られず、回転角度は任意の角度とすることができ、サイズの種類は２または３種類、あるいは５種類以上でもよい。
【００６０】
図１８に回転・サイズ検出教示モデルを用いてパターンマッチングを行った場合において、マッチングしない場合とマッチングする場合の例を示す。図１８（ａ）に示すように、対象物３０´の特徴部分３１´が４５度回転している場合、サイズが対象物の画像と同一であるものの、特徴部分に対応する部分Ｒ４Ｓ３´が１３５度回転している回転・サイズ検出教示モデルＲ４Ｓ３を用いてＲ４Ｓ３１，Ｒ４Ｓ３２，Ｒ４Ｓ３３，・・・，Ｒ４Ｓ３Ｎで示す位置に移動させて走査を行ってもマッチングしないことになる。また、図１８（ｂ）に示すように、サイズが小さい対象物３０″の特徴部分３１″が４５度回転している場合、特徴部分に対応する部分Ｒ２Ｓ３´が４５度回転しているものの、サイズが対象物の画像に対して大きい回転・サイズ検出教示モデルＲ２Ｓ３を用いてＲ２Ｓ３１，Ｒ２Ｓ３２，Ｒ２Ｓ３３，・・・，Ｒ２Ｓ３Ｎで示す位置に移動させて走査を行ってもマッチングしないことになる。一方、図１８（ｃ）に示すように、対象物３０´の特徴部分３１´に対応する部分Ｒ２Ｓ３´が４５度回転し、かつサイズが対象物の画像と同一の回転・サイズ検出教示モデルＲ２Ｓ３を用いてＲ２Ｓ３１，Ｒ２Ｓ３２，Ｒ２Ｓ３３，・・・，Ｒ２Ｓ３Ｎで示す位置に移動させて走査を行うと特定の位置でマッチングが行われる。
【００６１】
次に、ステップＳ３０４において、マッチング度数取得部６が、マッチング度数を算出し、ステップＳ３０５において、ピーク検出部７が、マッチング度数が指定の閾値を超えているか否かを判断する。マッチング度数が指定の閾値以下の場合、即ち、撮像画像の全ての領域に渡ってマッチング度数が指定の閾値を超えなかった場合は、ステップＳ３０１に戻って、次の周期でカメラが対象物を撮像する。その後ステップＳ３０２における前処理を経て、ステップＳ３０３においては、撮像した２つ目の画像に対して、１回目の回転・サイズ検出教示モデルとは異なる回転・サイズ検出教示モデルを用いる点が特徴である。例えば、最初にカメラが撮影した「撮像１」に対して回転・サイズ検出教示モデルＲ１Ｓ１を用いてパターンマッチングを行った後、次の周期でカメラが撮影した「撮像２」に対して、Ｒ１Ｓ１とは異なる回転・サイズ検出教示モデルＲ１Ｓ２またはＲ２Ｓ１を用いてパターンマッチングを行う。
【００６２】
対象物のサイズと同一のサイズであって、かつ対象物における特徴部分の回転角度が同一の回転・サイズ検出教示モデルを用いたパターンマッチングによりピークを検出することができる。
【００６３】
マッチング度数が指定の閾値を超えている場合には、ステップＳ３０６において、前処理画像における対象物の位置をカメラ視野での対象物の位置と決定し、対象物の回転方向及びサイズを含む位置の検出結果である対象物の検出情報を出力する。
【００６４】
さらに、図４（ｄ）及び図４（ｅ）に示すように、カメラ視野内で検出した対象物の検出情報を使って、撮像した画像（Ｑ２０，Ｑ３０）に対し対象物の現在位置付近（Ｑ２１，Ｑ３１）に視野を制約するステップと、検出した対象物の情報を使って、再度、対象物を検出するステップとを繰返して、対象物を追跡するようにしてもよい。
【００６５】
以上のように、本発明の実施例３に係る画像処理方法によれば、小まめに撮像を繰返し、その都度、回転方向及びサイズ検出教示モデルを順次マッチングしていくため、マッチング度数が閾値を超えるピークを検出した際の撮像画像が、現在時刻のものに近いものであり、対象物を現在とかけ離れたものでない過去の位置で検出することができる。
【符号の説明】
【００６６】
１    原画像表示部
２    前処理部
３    前処理画像表示部
４    マッチング部
５    教示モデル記憶部
６    マッチング度数取得部
７    ピーク検出部
２０    カメラ
３０    対象物
【図１】
2016126733.tif 000005
【図２】
2016126733.tif 000006
【図３】
2016126733.tif 000007
【図４】
2016126733.tif 000008
【図５】
2016126733.tif 000009
【図６】
2016126733.tif 000010
【図７】
2016126733.tif 000011
【図８】
2016126733.tif 000012
【図９】
2016126733.tif 000013
【図１０】
2016126733.tif 000014
【図１１】
2016126733.tif 000015
【図１２】
2016126733.tif 000016
【図１３】
2016126733.tif 000017
【図１４】
2016126733.tif 000018
【図１５】
2016126733.tif 000019
【図１６】
2016126733.tif 000020
【図１７】
2016126733.tif 000021
【図１８】
2016126733.tif 000022