(57)【要約】【課題】２次元画像内の検出対象図形を適切に認識することができる画像認識装置、画像認識方法及び画像認識プログラムを提供する。【解決手段】エッジ画像からハフ変換により作成した角度θと距離ρとで構成される２次元度数分布から、等しい角度θを有する２つの投票点の組を複数抽出し、これらを対象図形の辺を構成する図形候補群とする。次に、抽出した図形候補群の中から、対象図形の辺の長さ及び各辺への垂線の交差角度に基づいて少なくとも２つの上記組を選択することで、エッジ画像における対象図形のエッジ領域を選定する。そして、選定した対象図形のエッジ領域に、十分な数のエッジ点が存在することを確認する。【選択図】      図２
2011186916.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段で撮影した撮影画像内において対向する辺が平行な対象図形を認識する画像認識装置であって、
前記撮影画像内のエッジ点を抽出したエッジ画像を生成するエッジ画像生成手段と、
前記撮影画像内で前記対象図形より大きい任意の参照領域を選択する参照領域選択手段と、
前記エッジ画像生成手段で抽出した、前記参照領域選択手段で選択した参照領域内の各エッジ点の座標を、ハフ変換により角度θと距離ρとで構成されるθ−ρ平面に投票して２次元度数分布を作成する度数分布作成手段と、
前記度数分布作成手段で作成した２次元度数分布から、等しい角度θを有する２つの投票点の組を複数抽出し、これらを前記対象図形の辺を構成する図形候補群とする図形候補群抽出手段と、
前記図形候補群抽出手段で抽出した図形候補群の中から、前記対象図形の辺の長さ及び各辺への垂線の交差角度に基づいて少なくとも２つの上記組を選択することで、前記エッジ画像における前記対象図形のエッジ領域を選定する対象図形領域選定手段と、
前記対象図形領域選定手段で選定した前記対象図形のエッジ領域に、前記エッジ画像生成手段で抽出したエッジ点が存在することを確認する対象図形領域確認手段と、を備えることを特徴とする画像認識装置。
【請求項２】
前記対象図形領域確認手段は、前記エッジ領域を含む一定幅の確認領域内に、前記エッジ画像生成手段で抽出したエッジ点が所定の閾値以上存在することを確認することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
撮影手段で撮影した撮影画像内において対向する辺が平行な対象図形を認識する画像認識方法であって、
前記撮影画像内のエッジ点を抽出したエッジ画像を生成するステップと、
前記撮影画像内で前記対象図形より大きい任意の参照領域を選択するステップと、
選択した参照領域内の各エッジ点の座標を、ハフ変換により角度θと距離ρとで構成されるθ−ρ平面に投票して２次元度数分布を作成するステップと、
作成した２次元度数分布から、等しい角度θを有する２つの投票点の組を複数抽出し、これらを前記対象図形の辺を構成する図形候補群とするステップと、
抽出した図形候補群の中から、前記対象図形の辺の長さ及び各辺への垂線の交差角度に基づいて少なくとも２つの上記組を選択することで、前記エッジ画像における前記対象図形のエッジ領域を選定するステップと、
選定した前記対象図形のエッジ領域に、前記エッジ点が存在することを確認するステップと、を備えることを特徴とする画像認識方法。
【請求項４】
撮影手段で撮影した撮影画像内において対向する辺が平行な対象図形を認識する機能をコンピュータに実現させる画像認識プログラムであって、
前記撮影画像内のエッジ点を抽出したエッジ画像を生成する機能と、
前記撮影画像内で前記対象図形より大きい任意の参照領域を選択する機能と、
選択した参照領域内の各エッジ点の座標を、ハフ変換により角度θと距離ρとで構成されるθ−ρ平面に投票して２次元度数分布を作成する機能と、
作成した２次元度数分布から、等しい角度θを有する２つの投票点の組を複数抽出し、これらを前記対象図形の辺を構成する図形候補群とする機能と、
抽出した図形候補群の中から、前記対象図形の辺の長さ及び各辺への垂線の交差角度に基づいて少なくとも２つの上記組を選択することで、前記エッジ画像における前記対象図形のエッジ領域を選定する機能と、
選定した前記対象図形のエッジ領域に、前記エッジ点が存在することを確認する機能と、をコンピュータに実現させることを特徴とする画像認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を撮影した２次元画像から対象図形を認識する画像認識装置、画像認識方法及び画像認識プログラムに関する。
【背景技術】
【０００２】
従来の画像認識装置としては、例えば特許文献１に記載の技術がある。この技術は、先ず、２次元画像からエッジ点を抽出してエッジ画像を作成した後、大まかなハフ変換を行って直線抽出を行う。続いて、抽出した直線が約９０度で交差する直線の組合せを選択し、その直線を支持したエッジ点の分布により図形の存在方向を決定してから正しい直線を検出する。そして、検出した２本の直線から対辺の位置にある２本の直線をハフ変換で認識することで、検出対象図形を切り出す。
【０００３】
また、撮像して得られた画像データからハフ変換を用いて複数の直線を抽出し、その抽出した複数の直線が囲む閉領域を抽出することで、閉領域の４辺の一部がとぎれて観察された場合であっても四角形領域を認識可能とするものもある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２２００８１号公報
【特許文献２】特開２００７−１１７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の従来例にあっては、ハフ変換により抽出された直線群から、平行な２直線及びそれらに直交する２直線を探索し、直線上のエッジ画素が存在する位置が、例えば長方形を構成する場合に、長方形として認識する。そのため、固定の大きさの長方形あるいは正方形しか認識できない。
ところが、四角形が部品の一部であり、部品が山積み状態の場合のように、カメラから対象物までの距離が固定でない場合には、検出対象となる長方形の大きさは固定ではない。また、対象物の姿勢によってはカメラから見た映像は長方形ではなく平行四辺形になる。したがって、上記特許文献１に記載の従来例では、長方形の大きさが固定でない場合や形状が平行四辺形になった場合に対応できない。
【０００６】
また、上記特許文献２に記載の従来例にあっては、ハフ変換の結果に基づいて抽出した四角形領域に、実際に十分なエッジ画素が含まれるか否かを確認することなく四角形領域を決定してしまうため、誤認識のおそれがある。
そこで、本発明は、２次元画像内の検出対象図形を適切に認識することができる画像認識装置、画像認識方法及び画像認識プログラムを提供することを課題としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に係る画像認識装置は、撮影手段で撮影した撮影画像内において対向する辺が平行な対象図形を認識する画像認識装置であって、前記撮影画像内のエッジ点を抽出したエッジ画像を生成するエッジ画像生成手段と、前記撮影画像内で前記対象図形より大きい任意の参照領域を選択する参照領域選択手段と、前記エッジ画像生成手段で抽出した、前記参照領域選択手段で選択した参照領域内の各エッジ点の座標を、ハフ変換により角度θと距離ρとで構成されるθ−ρ平面に投票して２次元度数分布を作成する度数分布作成手段と、前記度数分布作成手段で作成した２次元度数分布から、等しい角度θを有する２つの投票点の組を複数抽出し、これらを前記対象図形の辺を構成する図形候補群とする図形候補群抽出手段と、前記図形候補群抽出手段で抽出した図形候補群の中から、前記対象図形の辺の長さ及び各辺への垂線の交差角度に基づいて少なくとも２つの上記組を選択することで、前記エッジ画像における前記対象図形のエッジ領域を選定する対象図形領域選定手段と、前記対象図形領域選定手段で選定した前記対象図形のエッジ領域に、前記エッジ画像生成手段で抽出したエッジ点が存在することを確認する対象図形領域確認手段と、を備えることを特徴としている。
【０００８】
このように、エッジ画像からハフ変換により作成した、角度θと距離ρの２次元で構成される２次元度数分布（ハフ空間）から、等しい角度θを有する２つの投票点の組、すなわち平行な２直線を示す組を複数抽出し、これらを図形候補群とする。そして、図形候補群から指定の大きさの対象図形領域を検出する。したがって、図形認識時には対象図形の大きさを固定にする必要がない。そのため、カメラから対象物までの距離が固定でなく対象物の大きさが固定でない場合にも、対応することができる。
また、図形候補群から対象図形を検出する際の条件として、対象図形の辺の長さ及び各辺への垂線の交差角度を用いるので、例えば、対象図形を四角形とした場合、対象物の姿勢によってカメラから見た映像が長方形であったり平行四辺形であったりする場合でも、適切に対応できる。
さらに、ハフ変換の結果に基づいて対象図形領域を定めた後、その領域に十分なエッジ画素が含まれるか否かを確認するので、領域の誤認識を防止することができる。
【０００９】
また、請求項２に係る画像認識装置は、請求項１に係る発明において、前記対象図形領域確認手段は、前記エッジ領域を含む一定幅の確認領域内に、前記エッジ画像生成手段で抽出したエッジ点が所定の閾値以上存在することを確認することを特徴としている。
このように、選定した対象図形のエッジ領域に一定のマージンを設けて、エッジ点の存在の有無を確認するので、適切に対象図形を認識することができる。
【００１０】
また、請求項３に係る画像認識方法は、撮影手段で撮影した撮影画像内において対向する辺が平行な対象図形を認識する画像認識方法であって、前記撮影画像内のエッジ点を抽出したエッジ画像を生成するステップと、前記撮影画像内で前記対象図形より大きい任意の参照領域を選択するステップと、選択した参照領域内の各エッジ点の座標を、ハフ変換により角度θと距離ρとで構成されるθ−ρ平面に投票して２次元度数分布を作成するステップと、作成した２次元度数分布から、等しい角度θを有する２つの投票点の組を複数抽出し、これらを前記対象図形の辺を構成する図形候補群とするステップと、抽出した図形候補群の中から、前記対象図形の辺の長さ及び各辺への垂線の交差角度に基づいて少なくとも２つの上記組を選択することで、前記エッジ画像における前記対象図形のエッジ領域を選定するステップと、選定した前記対象図形のエッジ領域に、前記エッジ点が存在することを確認するステップと、を備えることを特徴としている。
これにより、大きさを固定にすることなく図形候補群を認識し、認識した図形候補群から指定の大きさの対象図形を検出することができる。また、対向する２直線が平行な多角形に対して適用可能である。このように、２次元画像内の検出対象図形を適切に認識することができる画像認識方法とすることができる。
【００１１】
また、請求項４に係る物体認識プログラムは、撮影手段で撮影した撮影画像内において対向する辺が平行な対象図形を認識する機能をコンピュータに実現させる画像認識プログラムであって、前記撮影画像内のエッジ点を抽出したエッジ画像を生成する機能と、前記撮影画像内で前記対象図形より大きい任意の参照領域を選択する機能と、選択した参照領域内の各エッジ点の座標を、ハフ変換により角度θと距離ρとで構成されるθ−ρ平面に投票して２次元度数分布を作成する機能と、作成した２次元度数分布から、等しい角度θを有する２つの投票点の組を複数抽出し、これらを前記対象図形の辺を構成する図形候補群とする機能と、抽出した図形候補群の中から、前記対象図形の辺の長さ及び各辺への垂線の交差角度に基づいて少なくとも２つの上記組を選択することで、前記エッジ画像における前記対象図形のエッジ領域を選定する機能と、選定した前記対象図形のエッジ領域に、前記エッジ点が存在することを確認する機能と、をコンピュータに実現させることを特徴としている。
これにより、大きさを固定にすることなく図形候補群を認識し、認識した図形候補群から指定の大きさの対象図形を検出することができる。また、対向する２直線が平行な多角形に対して適用可能である。このように、２次元画像内の検出対象図形を適切に認識することができる画像認識プログラムとすることができる。
【発明の効果】
【００１２】
本発明によれば、エッジ画像からハフ変換により作成した２次元度数分布（ハフ空間）から、幾何学的な条件を満足する組合せとして図形候補群を認識し、当該図形候補群から認識すべき図形の辺の長さおよび各辺への垂線の交差角度を満足する候補を選択する。そのため、認識時には図形の大きさを固定にする必要がない。また、対向する２直線が平行な多角形に対して適用可能である。
したがって、対象図形の大きさが固定でない場合や、長方形の対象図形が撮影手段との位置関係によって平行四辺形になった場合であっても適切に対応できる。このように、２次元画像内の検出対象図形を適切に認識することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る画像認識装置の構成を示すブロック図である。
【図２】画像認識処理手順の一例を示すフローチャートである。
【図３】参照領域の選択方法を説明する図である。
【図４】ハフ変換を説明するための図である。
【図５】参照領域ＲＴに長方形が存在する場合の図である。
【図６】参照領域ＲＴに平行四辺形が存在する場合の図である。
【図７】参照点が四角形内に存在する場合のハフ空間を示す図である。
【図８】参照点が四角形（長方形）外に存在する場合の図である。
【図９】参照点が四角形外に存在する場合のハフ空間を示す図である。
【図１０】エッジ画像における四角形候補領域を示す図である。
【図１１】四角形候補の確認領域を示す図である。
【図１２】エッジ画素の計数例を示す図である。
【図１３】エッジ画素の存在判断基準について説明する図である。
【図１４】対向する辺が平行な六角形の画像例である。
【図１５】対向する辺が平行な六角形の場合のハフ空間を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて説明する。
（第１の実施形態）
（構成）
図１は、本発明に係る画像認識装置の構成を示すブロック図である。
この図１に示すように、画像認識装置１は、画像撮影部１１と、画像記憶部１２と、エッジ検出部１３と、エッジ画像記憶部１４と、ハフ空間作成部１５と、対象図形認識部１６と、認識結果記憶部１７と、を備える。
画像撮影部１１は、カメラ等で構成され、対象物を含む画像を撮影する。撮影した画像は画像記憶部１２へ記憶する。撮影する画像は、グレー画像であっても、カラー画像であってもよい。なお、本実施形態では、グレー画像を例に説明する。
また、撮影する画像は、静止画像であっても動画像であってもよい。撮影した画像が静止画像である場合には、その静止画像をそのまま画像記憶部１２へ記憶する。一方、撮影した画像が動画像である場合には、その動画像をフレーム毎に記憶する。
【００１５】
エッジ検出部１３は、画像記憶部１２に記憶された画像をもとに、当該画像内のエッジ検出を行い、その結果をエッジ画像記憶部１４に記憶する。ここで、エッジ検出法としては、一般的に知られているキャニー法などを用いる。
ハフ空間作成部１５は、一般的なハフ変換を適用し、画像内の所定の参照領域内のエッジ画素の座標を、角度θと距離ρとで構成されるθ−ρ平面（ハフ空間）上に投票する。画像空間内の複数のエッジ点のハフ変換により、ハフ空間内のいくつかのθ，ρ位置において点の累積が生じる。このようにして、角度θと距離ρの２次元で構成される度数分布を作成する。この度数分布において、所定の閾値以上の度数を有する位置区分は、複数のエッジ点が存在する直線を示すことになる。
【００１６】
対象図形認識部１６は、ハフ空間作成部１５で作成した２次元度数分布から、等しい角度θを有する２つの位置区分（投票点）の組を最低２つ選択することにより、対象図形である四角形の辺を構成する四角形候補領域を認識する。そして、認識した四角形候補領域の４辺に十分な数のエッジ画素が存在する場合に、その四角形候補領域を認識対象の四角形であると判断する。この結果は認識結果記憶部１７に記憶する。
【００１７】
次に、画像認識装置１で実行する画像認識処理について具体的に説明する。
図２は、画像認識処理手順の一例を示すフローチャートである。
先ず、ステップＳ１で、画像認識装置１は、画像記憶部１２に記憶した画像データを読み込み、ステップＳ２に移行する。
ステップＳ２では、画像認識装置１は、前記ステップＳ１で読み込んだ画像データからエッジ点を抽出し、エッジ画像を生成する。
【００１８】
次にステップＳ３では、画像認識装置１は、参照領域ＲＴを選択する。参照領域ＲＴは、図３に示すように、２次元画像内において、認識対象の四角形が含まれ且つできるだけ小さい大きさの領域を選択するものとする。ここでは、参照領域ＲＴを四角形とし、参照領域ＲＴの横方向の半分の長さずつ、図３における右方向へ、［１］→［２］→［３］→［４］→…のように、順次移動させながら選択する。１ライン終了後は、参照領域ＲＴの縦方向の半分の長さずつ、図３における下方向へ順次移動させる。
【００１９】
参照領域ＲＴの四角形サイズは、認識対象の四角形の対角線のうち長い方の２倍とする。このように、認識対象の四角形が参照領域ＲＴ内に含まれるように設定する。
なお、参照領域ＲＴの形状や大きさは、認識対象の図形に応じて適宜設定する。また、ここでは、参照領域ＲＴを順次に選択する場合について説明したが、ランダムに選択してもよい。
【００２０】
次に、ステップＳ４では、画像認識装置１は、一般的なハフ変換により、前記ステップＳ３で選択した参照領域ＲＴ内のエッジ点の座標を、角度θと距離ρとで構成されるθ−ρ平面（ハフ空間）に投票し、２次元の度数分布を作成する。
図４は、ハフ変換を説明するための図である。
この図４に示すように、エッジ画素（Ｘｉ，Ｙｉ）に対し、その点を通る１つの直線を考える。原点を通るその直線の垂線は、長さがρで、Ｘ軸とのなす角がθとなる。また、ρ＝Ｘｉ・ｃｏｓθ＋Ｙｉ・ｓｉｎθである。なお、本実施形態では、上記原点を参照領域ＲＴの中点（参照点）とする。点（Ｘｉ，Ｙｉ）を通るすべての可能な直線についてのθとρとを、θ，ρを座標軸としたθ−ρ平面上にプロットすると、１つのハフ曲線を得る。
【００２１】
ある直線上に存在する複数の点（エッジ画素）がそれぞれ作るハフ曲線は、θ−ρ平面上において一点で交わることになる。そのため、このような交点を見い出すことにより、該当する直線を検出することができる。すなわち、一直線上に複数の点が存在する場合、各点に対応するハフ曲線は一点で交わり、その交差回数は一直線上に存在する複数の点の数に対応する。
したがって、ハフ曲線の交差回数について、θ−ρ平面上で局所的にピークとなる点を求めれば、その点についてのθとρとから直線を特定することができる。当該ピーク点を参照領域ＲＴ内で複数検出することで、参照領域ＲＴ内で複数の直線を検出することができる。
このようにして、角度θと距離ρとで構成される２次元度数分布を作成する。
【００２２】
次に、前記ステップＳ４で作成した２次元度数分布から、認識対象の四角形候補を選択する。以下、参照領域ＲＴ内に四角形が存在する場合に、角度θと距離ρの２次元で構成される２次元度数分布（ハフ空間）のもつ幾何学的特徴について説明する。
図５は、参照領域ＲＴに長方形が存在する場合の図であり、参照点（原点）が長方形内に存在する場合を示している。
参照点を原点とし、画像の横軸・縦軸の方向と平行に座標系を設け、この座標系によりハフ変換を行うと、長方形を構成する４つの直線Ｌ１〜Ｌ４が抽出される。直線Ｌ１〜Ｌ４にそれぞれに対応する距離をρ１〜ρ４、平行な直線Ｌ１及びＬ３に対応する角度をθ13、直線Ｌ２及びＬ４に対応する角度をθ24とする。また、直線Ｌ１とＬ３との間隔をＬ13、直線Ｌ２とＬ４との間隔をＬ24とする。Ｌ13とＬ24とが等しい場合は、正方形となる。
【００２３】
図６は、参照領域ＲＴに平行四辺形が存在する場合の図であり、参照点（原点）が平行四辺形内に存在する場合を示している。
この場合にも、四角形が長方形の場合（図５）と同じように記述することができる。相違点は、各辺への垂線の交差する角度に該当するθ13＋θ24の値が、長方形の場合は９０度、平行四辺形の場合は９０度以外になることである。なお、Ｌ13とＬ24とが等しい場合は、ひし形となる。
【００２４】
上記のようなエッジ画像に対応するハフ空間を作成すると、図７に示すようになる。なお、この図７では、直線Ｌ１〜Ｌ４に対応する点を抽出した図を示している。
ハフ空間において、平行な直線Ｌ１とＬ３とのθ座標値は共にθ13、平行な直線Ｌ２とＬ４のθ座標値は共にθ24であり、その差異φは長方形であれば９０度、平行四辺形であれば各辺への垂線の交差角度に相当する。すなわち、φ＝ａｂｓ（θ13）＋ａｂｓ（θ24）である。平行な直線Ｌ１とＬ３とのρ座標の差はＬ13・ｃｏｓ（φ−π／２）、平行な直線Ｌ２とＬ４とのρ座標の差異はＬ24・ｃｏｓ（φ−π／２）に相当する。
なお、θ13とθ24とが共に正の角度または共に負の角度である場合、つまりθ13×θ24＞０の場合には、φ＝ａｂｓ（θ13−θ24）となる。
【００２５】
参照点が四角形の外部に存在する場合を、図８および図９に示す。この場合にも、参照点が四角形の内部に存在する場合と同じ関係が成立する。
ステップＳ５では、画像認識装置１は、前記ステップＳ４で作成した２次元度数分布から、等しい角度θを有する２つの位置区分（投票点）の組を複数抽出する。すなわち、ここでは、平行な２直線を示す組を複数抽出し、これらを認識対象の四角形の対向する辺を構成する四角形候補群とする。
【００２６】
次に、ステップＳ６では、画像認識装置１は、前記ステップＳ５で抽出した四角形候補群の中から、指定の大きさの四角形候補領域を抽出する。ここでは、認識対象の四角形の２辺の長さがＬ13及びＬ24で、認識対象の四角形の各辺への垂線が交差する角度がφである条件を満たす２つの四角形候補の組を選択する。次に、選択した２つの四角形候補の組に対して、逆ハフ変換を適用して画像空間へ戻す写像を行うことにより、エッジ画像における４つの直線の位置を認識する。そして、当該４つの直線で構成される四角形の領域（四角形のエッジ領域）を四角形候補領域として選択する。
【００２７】
すなわち、ステップＳ５及びステップＳ６では、参照領域ＲＴ内のハフ空間において、直線として検出された複数の点から、以下の幾何学的関係を満足する４点、（θ１，ρ１）（θ２，ρ２）（θ３，ρ３）（θ４，ρ４）を選択し、これら４点を、四角形を構成する候補としている。
［条件１］θ１＝θ３，θ２＝θ４である。
［条件２］認識対象の四角形の２辺の長さをＬ13とＬ24、認識対象の四角形の各辺への垂線が交差する角度をφとしたとき、θ13×θ24≦０の場合にはａｂｓ（θ13）＋ａｂｓ（θ24）＝φ、θ13×θ24＞０の場合にはａｂｓ（θ13−θ24）＝φ、且つρ１とρ３との差異の絶対値＝Ｌ13・ｃｏｓ（φ−π／２），ρ２とρ４との差異の絶対値＝Ｌ24・ｃｏｓ（φ−π／２）である。
【００２８】
このように、先ず、ハフ空間において等しい角度θを有する２つの位置区分の組を最低２つ選択することで、四角形候補群を認識する（条件１）。次に、四角形候補群から認識すべき四角形の辺の長さＬ13，Ｌ24及び各辺への垂線の交差角度φを満足する四角形候補を２つ選択し、これを四角形候補領域とする（条件２）。
次に、ステップＳ７では、画像認識装置１は、前記ステップＳ６で選択した四角形候補領域が存在するか否かを判定する。そして、四角形候補領域が存在する場合にはステップＳ８に移行し、四角形候補領域が存在しない場合には後述するステップＳ１０に移行する。
【００２９】
ステップＳ８では、画像認識装置１は、前記ステップＳ６で選択した四角形候補領域が認識対象の四角形であるか否かを確認する。
ハフ変換は、エッジ画素が多数存在する直線を求めるものであり、エッジ画素の存在する位置を求めるものではない。したがって、図１０に示すように、参照点に対して各辺への垂線の交差角度φと辺の長さＬ13，Ｌ24とによって規定される四角形候補領域の位置に、確かにエッジ画素が存在するか否かを確認する必要がある。
先ず、図１１に示すように、エッジ画像における四角形候補領域の４辺に、それぞれ一定幅の確認領域ＣＴ１〜ＣＴ４を設ける。この確認領域は一定幅の長方形領域とし、四角形候補領域の頂点箇所は、両辺に重複させる、あるいは両辺ともに含めない、あるいはいずれかの辺に含めるものとする。
続いて、確認領域ＣＴ１〜ＣＴ４に属するエッジ画素を計数する。
【００３０】
図１２は、エッジ画素の計数例を示す図である。
図１２（ａ）に示す場合、各確認領域ＣＴ１〜ＣＴ４にエッジ画素が存在するので、この四角形候補領域は認識対象の四角形領域であると判断する。一方、図１２（ｂ）に示す場合は、確認領域ＣＴ２及びＣＴ４にエッジ画素が存在せず、更には確認領域ＣＴ１に線分を構成する十分な数のエッジ画素が存在しないことから、認識対象の四角形領域ではないと判断する。
図１３は、エッジ画素の存在判断基準について説明する図である。
各確認領域に十分な数のエッジ画素が存在すると判断する基準は、各確認領域ＣＴ１〜ＣＴ４において、確認領域ＣＴ１〜ＣＴ４の各長方形を図１３に示すように小区分に分割し、全小区分に対するエッジの存在する小区分の割合が閾値以上であること、などとする。
【００３１】
次に、ステップＳ９では、画像認識装置１は、前記ステップＳ８での確認結果を認識結果記憶部１７に記憶して前記ステップＳ７に移行し、前記ステップＳ８の確認処理を行っていない四角形候補領域が存在するか否かを判定する。
ステップＳ１０では、画像認識装置１は、四角形の認識処理を終了するか否かを判定する。そして、認識処理を継続する場合には前記ステップＳ３に移行し、異なる参照領域ＲＴを選択して認識処理を行う。一方、認識処理を終了する場合には、そのまま画像認識処理を終了する。
【００３２】
なお、図１の画像撮影部１１が撮影手段に対応している。また、図２において、ステップＳ２がエッジ画像生成手段に対応し、ステップＳ３が参照領域選択手段に対応し、ステップＳ４が度数分布作成手段に対応し、ステップＳ５が図形候補群抽出手段に対応し、ステップＳ６が対象図形領域選定手段に対応し、ステップＳ８が対象図形領域確認手段に対応している。
【００３３】
（動作）
次に、本実施形態の動作について説明する。
ここでは、山積み状態の部品を撮影した画像から、部品の一部である四角形を認識する場合について説明する。
画像撮影部１１で、山積み状態の部品を撮影すると、その撮影画像は画像記憶部１２に記憶される。そして、画像認識装置は、以下の画像認識処理を行う。
先ず、画像認識装置１は、画像記憶部１２に記憶された画像を読み込み（図２のステップＳ１）、その画像データからエッジ成分を検出する（ステップＳ２）。検出したエッジ成分は、エッジ画像としてエッジ画像記憶部１４に記憶する。次に、撮影した画像内で参照領域ＲＴを選択する（ステップＳ３）。はじめに、図３に示す領域［１］を参照領域ＲＴとして選択する。次に、ハフ変換により、選択した参照領域ＲＴ（領域［１］）内のエッジ画素を、角度θと距離ρとで構成される２次元度数分布（ハフ空間）に変換する（ステップＳ４）。
【００３４】
このとき、図３に示すように、領域［１］に認識対象の四角形が存在しない場合には、ハフ空間において、上述した四角形候補の条件１及び条件２を満足する４点が存在しない（ステップＳ７でＮｏ、ステップＳ１０でＮｏ）。そのため、参照領域ＲＴを図３に示す領域［２］に選択し直し（ステップＳ３）、領域［１］のときと同様に、選択した参照領域ＲＴ（領域［２］）内のエッジ画素を２次元度数分布（ハフ空間）に変換する（ステップＳ４）。領域［２］にも認識対象の四角形が存在しない場合には、参照領域ＲＴを領域［３］に選択し直す（ステップＳ３）。
【００３５】
そして、選択した参照領域ＲＴ（領域［３］）内のエッジ画素を２次元度数分布（ハフ空間）に変換する（ステップＳ４）。このとき、図３に示すように、領域［３］内に認識対象の四角形が存在するものとする。領域［３］に存在する認識対象の四角形は、画像撮影部１１の姿勢等により撮影画像では平行四辺形となっている。また、図３に示す例では、認識対象の四角形（平行四辺形）の外部に領域［３］の参照点が存在する。
【００３６】
したがって、領域［３］における２次元度数分布（ハフ空間）は、例えば、図９に示すようになる。このとき、θ１＝θ３＝θ13であり、θ２＝θ４＝θ24であるため、ハフ空間上の点（θ１，ρ１）と（θ３，ρ３）とを「等しい角度を有する２つの位置区分の組」とする。同様に、ハフ空間上の点（θ２，ρ２）と（θ４，ρ４）とを「等しい角度を有する２つの位置区分の組」とする。
このように、「等しい角度を有する２つの位置区分の組」を、領域［３］における２次元度数分布から最低２つ検出し、これらを四角形候補群とする（ステップＳ５）。
【００３７】
次に、四角形候補群から指定の大きさ（辺の長さがＬ13，Ｌ24で各辺への垂線の交差角度がφ）の四角形を構成する四角形候補を検出する。このとき、θ13×θ24≦０の場合にはａｂｓ（θ13）＋ａｂｓ（θ24）が、θ13×θ24＞０の場合にはａｂｓ（θ13−θ24）が、９０度以外の角度となり、交差角度φと等しい。また、ρ１とρ３との差は、辺の長さＬ13と交差角度φとから導かれるＬ13・ｃｏｓ（φ−π／２）と等しい。さらに、ρ２とρ４との差は、辺の長さＬ24と交差角度φとから導かれるＬ24・ｃｏｓ（φ−π／２）に等しい。
【００３８】
そのため、画像認識装置１は、ハフ空間上の点（θ１，ρ１）（θ２，ρ２）（θ３，ρ３）（θ４，ρ４）で示される直線Ｌ１〜Ｌ４で、認識すべき四角形を形成すると判断し、これを四角形候補領域として選択する（ステップＳ６）。そして、選択した四角形候補領域の４辺に十分なエッジ画素が存在することを確認する（ステップＳ８）。
このようにして、認識対象の四角形を認識する。
【００３９】
また、認識対象の四角形が長方形である場合には、四角形候補群から指定の大きさの四角形を構成する四角形候補を検出する際に、認識すべき四角形の各辺への垂線の交差角度φを９０度に設定すればよい。このように、認識対象の四角形として長方形と平行四辺形とを同一に扱うことができる。
ところで、物体を撮影した画像から四角形を認識するにあたり、一般的な手法として、ハフ変換により検出した直線が９０度で交差する組合せを選択し、続いて、選択した直線の組合せの対辺の位置にある２本の直線を認識するものがある。しかしながら、この場合、固定の大きさの長方形あるいは正方形しか認識できない。
これに対して、本実施形態では、四角形の大きさを固定とすることなく、四角形領域を認識することができる。また、認識対象の四角形として、長方形や正方形だけでなく平行四辺形にも対応することができる。
【００４０】
また、物体を撮影した画像から四角形を認識する一般的な手法として、ハフ変換により抽出した４つの直線が囲む閉領域を抽出することで、四角形領域を認識するものもある。しかしながら、ハフ変換は、エッジ画素が多数存在する無限の長さの直線を求めるものであり、エッジ画素の存在する位置を求めるものではないため、単純にハフ変換により抽出した４つの直線が囲む閉領域を四角形領域として決定してしまうと、図形領域の誤認識が生じるおそれがある。
これに対して、本実施形態では、ハフ変換の結果に基づいて抽出した四角形候補領域に、十分なエッジ画素が含まれるか否かを確認するので、図形領域の誤認識を防止することができる。
【００４１】
（効果）
このように、上記実施形態では、四角形を認識する際、はじめに条件１を満足する四角形候補群を認識してから、条件２を満足する四角形候補領域を認識する。すなわち、エッジ画像からハフ変換により作成した２次元度数分布（ハフ空間）から、幾何学的な条件を満足する組合せとして四角形候補群を認識し、その四角形候補群から認識すべき四角形の辺の長さ及び各辺への垂線の交差角度を満足する候補を選択する。したがって、認識時には四角形の大きさを固定にする必要がなく、認識した四角形候補群から任意の大きさの四角形を検出することができる。そのため、カメラから対象物までの距離が固定でなく対象物の大きさが固定でない場合にも、対応することができる。
【００４２】
さらに、四角形候補群から四角形を検出する際の条件として、四角形の辺の長さ及び各辺への垂線の交差角度を用いるので、対象物の姿勢によってカメラから見た映像が長方形であったり平行四辺形であったりする場合でも、適切に対応できる。
また、エッジ画像に対象図形が含まれ、且つできるだけ小さい大きさの参照領域を順次選択して対象図形の認識処理を行うので、エッジ画像内に複数の対象図形が存在する場合であっても、適切に図形認識を行うことができる。
さらに、四角形候補領域を認識した後、その４辺に確かにエッジ点が存在するかどうかを確認するので、対象図形の誤認識を防止することができる。また、このとき、四角形候補領域の４辺について、それぞれ一定幅の確認領域を設けてエッジ点の存在を確認するので、より適切に対象図形を認識することができる。
【００４３】
（応用例）
なお、上記実施形態においては、認識対象の図形を四角形とする場合について説明したが、対向する辺が平行な多角形であれば適用可能である。
図１４は、認識対象の図形を六角形とした場合のエッジ画像である。この図１４のエッジ画像に対応するハフ空間を作成し、６つの直線に対応する点を抽出すると、図１５に示すようになる。
この場合にも、上述した四角形の場合と同様に、選択された参照領域内のハフ空間において、直線として検出された複数の点から、以下の幾何学的関係を満足する６点、（θ１，ρ１）（θ２，ρ２）（θ３，ρ３）（θ４，ρ４）（θ５，ρ５）（θ６，ρ６）を選択し、これら６点を、６角形を構成する候補とする。
［条件１］θ１＝θ４、θ２＝θ５、θ３＝θ６である。
［条件２］ρ１とρ４との差異の絶対値＝直線Ｌ１と直線Ｌ４の間隔、ρ２とρ５との差異の絶対値＝直線２と直線５の間隔、ρ３とρ６との差異の絶対値＝直線３と直線６の間隔である。
【００４４】
そして、上述した四角形の場合と同様に、選択した六角形候補領域の６辺について、それぞれ一定幅の確認領域を設け、各確認領域に十分な数のエッジ画素が存在するかどうかを確認する。
なお、上記［条件２］として、図１４に示す角度φ1〜φ3を加味してもよい。ここで、角度φ1は直線Ｌ１への垂線と直線Ｌ２への垂線とのなす角、角度φ2は直線Ｌ２への垂線と直線Ｌ３への垂線とのなす角、角度φ3は直線Ｌ３への垂線と直線Ｌ４への垂線とのなす角である。図１５に示すように、θ１＝θ４＝θ14、θ２＝θ５＝θ25、θ３＝θ６＝θ36であるとき、
θ14×θ25≦０の場合は、ａｂｓ（θ14）＋ａｂｓ（θ25）＝φ1（又はπ−φ1），
θ14×θ25＞０の場合は、ａｂｓ（θ14−θ25）＝φ1（又はπ−φ1），
θ25×θ36≦０の場合は、ａｂｓ（θ25）＋ａｂｓ（θ36）＝φ2（又はπ−φ2），
θ25×θ36＞０の場合は、ａｂｓ（θ25−θ36）＝φ2（又はπ−φ2），
θ14×θ36≦０の場合は、ａｂｓ（θ14）＋ａｂｓ（θ36）＝φ3（又はπ−φ3）
θ14×θ36＞０の場合は、ａｂｓ（θ14−θ36）＝φ3（又はπ−φ3）
を上記［条件２］として加味すればよい。
【符号の説明】
【００４５】
１…画像認識装置、１１…画像撮影部、１２…画像記憶部、１３…エッジ検出部、１４…エッジ画像記憶部、１５…ハフ空間作成部、１６…対象図形認識部、１７…認識結果記憶部
【図１】
2011186916.tif 000003
【図２】
2011186916.tif 000004
【図３】
2011186916.tif 000005
【図４】
2011186916.tif 000006
【図５】
2011186916.tif 000007
【図６】
2011186916.tif 000008
【図７】
2011186916.tif 000009
【図８】
2011186916.tif 000010
【図９】
2011186916.tif 000011
【図１０】
2011186916.tif 000012
【図１１】
2011186916.tif 000013
【図１２】
2011186916.tif 000014
【図１３】
2011186916.tif 000015
【図１４】
2011186916.tif 000016
【図１５】
2011186916.tif 000017