(57)【要約】【課題】  単純な形状の物体についても識別力を向上させた物体認識方法を提供する。【解決手段】  取得した物体の画像（ステップＳ１）から、内部エッジと外部エッジとを検出し（ステップＳ２）、抽出した外部／内部輪郭線（ステップＳ３）に基づいて特徴量を検出し（ステップＳ３〜Ｓ６）、登録されているパターンとの類似度算出（ステップＳ７）とそれに基づくパターンの特定（ステップＳ８、Ｓ９）を行う。外部／内部輪郭線からはパターンを特定できない場合には、さらにエッジに基づく閉曲線を順次追加していき、特徴量検出と類似度算出を行うことで（ステップＳ１０〜Ｓ２１）、パターンを特定する。【選択図】  図２
2005346391.tif 000002
【特許請求の範囲】
【請求項１】
画像のエッジを抽出することで、画像中の対象物のエッジを抽出し、エッジからさらに閉曲線を抽出して、これに基づいて物体の形状パターンを認識する物体認識方法において、
抽出した内部エッジと外部エッジとを組み合わせることで閉曲線を生成し、生成した閉曲線に対して特徴量を抽出して形状パターンの認識を行うことを特徴とする物体認識方法。
【請求項２】
前記特徴量抽出は複数の閉曲線からなる閉曲線群に対して行うものであり、各エッジを優先順位づけし、優先度の高いエッジの組み合わせにより得られる閉曲線からは形状パターンを所定の精度で特定できない場合に、優先度の劣るエッジを順次追加して閉曲線生成と特徴量算出を行うことで、形状パターンの特定を行うことを特徴とする請求項１記載の物体認識方法。
【請求項３】
前記エッジの優先順位づけは、輪郭線を構成するエッジと、内部エッジのうち信頼度が高いエッジの優先度を高くし、内部エッジのうち信頼度の低いエッジの優先度を低くすることを特徴とする請求項２記載の物体認識方法。
【請求項４】
前記所定の精度とは、いずれかの形状パターンとの類似度が所定値を超える場合であることを特徴とする請求項３記載の物体認識方法。
【請求項５】
画像のエッジを抽出することで、画像中の対象物の輪郭線を抽出し、輪郭線に基づく特徴量を抽出して、抽出した特徴量に基づいて物体の形状パターンを認識する物体認識方法において、
輪郭線由来の特徴量に基づいて類似度が所定値を超える形状パターンが見出せない場合には、さらに、類似度が所定値を超える形状パターンが見つかるまで、単独または複数の内部エッジまたは外部エッジにより構成される閉曲線中から、閉曲線群に未設定の閉曲線のうち信頼度の最も高い閉曲線を順次閉曲線群に追加し、閉曲線群に基づいて特徴量を抽出し、抽出した特徴量に基づいて物体の形状パターン認識を繰り返すことを特徴とする物体認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像中から抽出した物体を認識する物体認識方法に関する。
【背景技術】
【０００２】
ロボットの視覚を用いた制御技術の一例として、視覚装置により得られた画像情報から物体を認識する技術の開発が勧められている。そして、このような物体の認識手法として予め登録されているパターンとの類似性を基にして物体を認識する知識ベースの物体認識技術が知られている。こうした知識ベースの物体認識技術においては、登録されているパターン中から対象物に類似するパターンを精度良く選別する必要がある。
【０００３】
特許文献１に記載されている技術は、このような図形の分類・検索に関する技術である。図形の回転、拡縮、移動に不変な形状特徴と、対応する形状パラメータを求め、同じ形状特徴を持つモデル図形への座標変換パラメータを形状パラメータを用いて計算して、モデル識別子と座標変換パラメータの組にそれぞれ投票を行い、投票数の多いモデルに分類するものである。非特許文献１の技術も同様に輪郭から特徴量を抽出してモデルとの対比を行うものである。
【０００４】
また、特許文献２の技術は、輪郭を形成する点を追跡することで、物体内部および外部の輪郭線を構成する閉曲線を抽出して、これを基にして物体の判別を行うものである。
【特許文献１】特開２０００−２１５３１５号公報
【特許文献２】特開平７−２２００８９号公報
【非特許文献１】Amit Sethi, et al. "Curve and Surface Duals and the Recognition of Curved 3D Objects from their Silhouette", International Journal of Computer Vision Vol. 58, No.1, 2004年６月，pp73-86
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように輪郭を用いて、識別を行う場合、認識対象物の外部輪郭が球、楕円、直方体、円柱、円錐のような単純な形状であると、その差異の判別が難しくなる。例えば、缶とコップのように外形が円柱状の２つの物体を識別することが難しいという問題がある。また、形状が似通っていて表面の模様等の異なる物体間の識別も困難である。
【０００６】
そこで本発明は、単純な形状の物体についても識別力を向上させた物体認識方法を提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係る物体認識方法は、画像のエッジを抽出することで、画像中の対象物のエッジを抽出し、エッジからさらに閉曲線を抽出して、これに基づいて物体の形状パターンを認識する物体認識方法において、抽出した内部エッジと外部エッジとを組み合わせることで閉曲線を生成し、生成した閉曲線に対して特徴量を抽出して形状パターンの認識を行うことを特徴とする。
【０００８】
このように内部エッジと外部エッジを組み合わせて可能な閉曲線の組み合わせを求めることで、物体の外部輪郭、内部輪郭だけでなく、単独では閉曲線を構成しない内部のエッジ境界線等の情報も利用して特徴量を抽出する。これにより、輪郭情報のみを用いた場合より、特徴量の次元が高次になる。この内部エッジと外部エッジを組み合わせた閉曲線抽出は、物体の輪郭線抽出のアルゴリズムを拡張することにより行われる。
【０００９】
この特徴量抽出は複数の閉曲線からなる閉曲線群に対して行うものであり、各エッジを優先順位づけし、優先度の高いエッジの組み合わせにより得られる閉曲線からは形状パターンを所定の精度で特定できない場合に、優先度の劣るエッジを順次追加して閉曲線生成と特徴量算出を行うことで、形状パターンの特定を行うとよい。
【００１０】
つまり、最初から抽出可能な全閉曲線群について特徴量を抽出するのではなく、認識結果に応じてエッジを追加することで、閉曲線を生成し、特徴量の追加算出を行う。
【００１１】
エッジの優先順位づけは、輪郭線を構成するエッジと、内部エッジのうち信頼度が高いエッジの優先度を高くし、内部エッジのうち信頼度の低いエッジの優先度を低くする。この信頼度とは例えば、エッジごとのノイズ成分の比率により判定すればよい。
【００１２】
ここで、所定の精度とは、いずれかの形状パターンとの類似度が所定値を超える場合であることを意味するものとする。
【００１３】
あるいは、本発明に係る物体認識方法は、画像のエッジを抽出することで、画像中の対象物の輪郭線を抽出し、輪郭線に基づく特徴量を抽出して、抽出した特徴量に基づいて物体の形状パターンを認識する物体認識方法において、輪郭線由来の特徴量に基づいて類似度が所定値を超える形状パターンが見出せない場合には、さらに、類似度が所定値を超える形状パターンが見つかるまで、単独または複数の内部エッジまたは外部エッジにより構成される閉曲線中から、閉曲線群に未設定の閉曲線のうち信頼度の最も高い閉曲線を順次閉曲線群に追加し、閉曲線群に基づいて特徴量を抽出し、抽出した特徴量に基づいて物体の形状パターン認識を繰り返すことを特徴とする。ここでは、エッジに代えて閉曲線を追加していく構成をとる。
【発明の効果】
【００１４】
本発明によれば、外部輪郭線および内部輪郭線のみでは認識が困難な単純な形状の物体についても、内部エッジ等に由来する複数の閉曲線を用いて特徴量を抽出するので、特徴量の次元を高次にして、認識精度を向上させることができる。
【００１５】
また、最初から認識した全ての閉曲線を用いて特徴量を算出するのではなく、順次エッジまたは閉曲線を追加して特徴量算出と類似度判定を行うことで、実際に処理する閉曲線の数を抑えて、処理の最適化を図ることができるため、計算処理量の増大を抑制し、認識精度の向上と高速化を両立させることができる。
【００１６】
また、信頼度の高いエッジ・閉曲線から用いることで、特徴量に対する信用度を確保し、認識精度を確保することができる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１８】
図１は、本発明に係る物体認識方法を実施する画像処理装置の概略構成図である。この画像処理装置１００は、対象物２００を撮像するカメラ１と、カメラ１の映像信号を受信して画像処理を行う画像処理部２と、処理結果を表示するモニタ３とからなる。
【００１９】
カメラ１は、例えば、ビデオカメラであって、毎秒３０フレームで取得した動画像を画像処理部２へ転送することができる。このときの映像信号は、例えば、１画面が６４０×４８０ドットで構成され、各画素は、ＲＧＢそれぞれ８ビットで表されるデジタル信号である。なお、カメラ１側でデジタル信号へと変換して画像処理部２へ転送する形態のほか、カメラ１に、アナログ映像信号（例えば、ＮＴＳＣ形式）を出力するタイプのものを使用し、画像処理部２内にＡ／Ｄ変換器を設ける構成や、画像処理部２との間に独立してＡ／Ｄ変換器を設ける構成を採用してもよい。ここでは、カメラ１が単体の場合を説明するが、複数台のカメラを用いて、対象物２００の立体視を行ったり、複数のカメラからの情報を１つの画像処理部２により並行して処理するようにしてもよい。
【００２０】
画像処理部２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成される画像処理演算部２０と、対比パターンのデータを蓄積記憶するための、ハードディスク等の記憶手段からなる情報格納部２１とを有している。この画像処理部２は、物体認識処理に特化した専用のハードウェアとして構成されていてもよいし、パーソナルコンピュータやワークステーションといった汎用の計算機を用い、これらの計算機上で作動するソフトウェアによって本発明に係る物体認識方法を実現してもよい。
【００２１】
次に、本発明に係る画像処理方法について具体的に説明する。図２は、この処理方法の具体的なフローチャートであり、図３〜図７は、個々の処理の詳細を説明する図である。
【００２２】
まず、カメラから物体（対象物）の画像を取得し（ステップＳ１）、その画像からエッジ検出等によって物体の外部／内部のエッジを検出する（ステップＳ２）。図３は、取っ手付きのマグカップ２０１の画像に抽出したエッジ２０１ｈ１〜２０１ｈ３を重ね合わせて表示した例であり、図４は、コップ２０２の画像に抽出したエッジ２０２ｈ１〜２０２ｈ３を重ね合わせて表示した例である。ここで抽出するエッジは、いずれも単独または他のエッジと連結することで閉曲線を形成するエッジのみとする。
【００２３】
次に、抽出したエッジ２０１ｈ１〜２０１ｈ３または２０２ｈ１〜２０２ｈ３中からまず、外部輪郭線と内部輪郭線とを抽出する（ステップＳ３）。このときの外部輪郭線とは、物体をシルエット投影したときの投影像とその周囲の背景または他の物体との境界線（外側境界線）であり、内部輪郭線とは、投影像内部における投影像と背景または他の物体との境界線（内側境界線）である。したがって、マグカップ２０１の場合には、エッジ２０１ｈ１が外部輪郭線となり、エッジ２０１ｈ２が内部輪郭線となる。一方、コップ２０２の場合には、外部輪郭線２０２ｈ１、２０２ｈ２のみが検出される。この外部輪郭線と内部輪郭線はともに閉曲線である。
【００２４】
次に、抽出した輪郭（外部輪郭線と内部輪郭線）上で勾配が同一となる点を求める（ステップＳ４）。ここで、勾配が同一となる点とは、図５に示されるように、輪郭の接線の傾き（勾配）が同一になる点、つまり、輪郭の接線が平行な関係を有する点を意味する（ここでは、マグカップ２０１の場合を例に示す）。そして、同一勾配点の接線間の距離ｄ１〜ｄｍを算出し（ステップＳ５）、このうちの最長の直線距離ｄmaxで各直線距離ｄ１〜ｄｍを除して無次元値に変換した値を特徴量（不変量）に設定する（ステップＳ６）。ここで、ｄ１〜ｄｍの順序は、対応する同一勾配点の組の順序に応じて設定される。実際には、このステップＳ４〜Ｓ６の計算を勾配の異なる多数の点、接線群に対して求める。このとき、勾配を所定角度ずつずらしながら（例えば、５度ずつ）勾配点、接線、距離を求めるとよい。
【００２５】
このようにして求めた特徴量ｄ１〜ｄｍをｍ次元空間にプロットすると、図６に示されるように所定の曲線を描く（ここでは、特徴量が３次、つまりｍ＝３の場合を例示している）。この特徴量抽出を視点を異ならせた画像について行い、全ての特徴量を同様にプロットすると、その特徴量は、図７に示されるように曲面形状となる。様々なパターンに対して、この曲面形状データに当たる特徴量データを求めておき、予め情報格納部２１に蓄積しておく。そして、情報格納部２１に蓄積されている特徴量データと、求めた対象物の特徴量データを比較することにより、類似度を算出する（ステップＳ７）。これは、図６の曲線が図７の曲面の一部に含まれているか否かを調べることに相当する。
【００２６】
様々なパターンに対してこの類似度を求め、最大類似度を算出したら、その最大類似度と予め設定されている類似度のしきい値とを比較する（ステップＳ８）。最大類似度が類似度のしきい値を超えている場合には、物体は最大類似となるパターンを有すると特定し（ステップＳ９）、処理を終了する。
【００２７】
一方、最大類似度がしきい値以下の場合には、さらに、閉曲線群を追加して判定を行う。まず、輪郭以外に閉曲線群を構成しうるエッジが存在しているか否かを判定する（ステップＳ１０）。
【００２８】
輪郭以外に閉曲線群を構成しうるエッジが存在していると判定した場合、エッジの組み合わせで構成される閉曲線について優先付けを行う（ステップＳ１１）。この閉曲線の優先順位は、エッジごとの信頼性の程度を基によればよい。つまり、連続性、太さ等を基にしてノイズの少ないエッジ同士を組み合わせた閉曲線の優先順位を高く設定すればよい。
【００２９】
優先順位を設定したら、組み合わせた追加可能な閉曲線の数を変数ｎに設定し、追加する閉曲線の優先順位を示す変数ｉに初期値１を設定する（ステップＳ１２）。そして、ループ処理を開始する。
【００３０】
最初に、閉曲線群にｉ番目の優先順位を有する閉曲線を追加する（ステップＳ１３）。追加した閉曲線を含む閉曲線群について、ステップＳ４〜Ｓ７と同様の手法により特徴量を設定し、類似度の算出を行う（ステップＳ１４〜Ｓ１７）。様々なパターンに対してこの類似度を求め、最大類似度を算出したら、再度求めた最大類似度と予め設定されている類似度のしきい値とを比較する（ステップＳ１８）。最大類似度が類似度のしきい値を超えている場合には、ステップＳ９へと移行して、物体は最大類似となるパターンを有すると特定し、処理を終了する。
【００３１】
一方、最大類似度がしきい値以下の場合には、さらに、ｉがｍ以上か否かを判定することで、閉曲線をすべて追加済みか否かを判定する（ステップＳ２０）。ｉがｍに満たない場合には、閉曲線群を構成しうる全ての閉曲線の追加が終了していないことを意味するから、ｉに１を加算して（ステップＳ２１）、ステップＳ１３へと戻り、閉曲線を追加して特徴量算出と類似度判定を行う。
【００３２】
一方、ｉがｍに達していた場合には、閉曲線群を構成しうる全ての閉曲線の追加が終了したことを意味する。この場合には、ステップＳ１０で輪郭以外に閉曲線群を構成しうるエッジが存在しないと判定した場合と同様に、閉曲線群からの特徴量抽出に基づく物体認識ができないと判定して、ステップＳ２２へと移行し、物体は未知の物体であると判定して、処理を終了する。
【００３３】
本発明によれば、マグカップ２０１の場合、図５に示されるように、特徴量の次元が４次元に増大する。外輪郭のみを用いる従来の手法では、特徴量は２次または３次となる（図８参照）。このため、従来の手法では、類似度（完全に一致する場合で１００となる。）が８４として識別が難しかった図９に示されるクローバー図形との対比の場合でも類似度が５４となり、正確に識別することができる。このため、識別力が向上する。
【００３４】
さらに、コップ２０２の場合、図１０（ａ）に示されるような輪郭情報（エッジ２０２ｈ１、２０２ｈ２）のみからでは、同形の缶や円柱との区別がつかない。この場合も、図１０（ｂ）に示されるエッジ２０２ｈ１、２０２ｈ３からなる閉曲線や、さらには、図１０（ｃ）に示されるエッジ２０２ｈ２、２０２ｈ３からなる閉曲線を順次追加して認識を行うことで、識別が可能となる。特に外形は単純な形状でも内部形状や模様に特徴のある物体の識別に有効となる。マグカップ２０１の場合も、さらに形状の類似した物体（例えば、表面の形状、模様が異なるマグカップ等）と識別する場合には、外部輪郭、内部輪郭のほかに、内部エッジと輪郭を組み合わせた閉曲線を追加して識別を行うとよい。
【００３５】
ここでは、閉曲線を順次、追加していく実施形態を説明したが、多数のエッジを有する場合には、閉曲線を追加するのではなく、エッジを順次追加していき、追加されたエッジを含む閉曲線を求めて、それを対象にして特徴量を算出する形式をとってもよい。
【００３６】
以上の説明では、特徴量として同一勾配を有する輪郭の接線間の距離を用いたが、特徴量はパターンの画面内の回転と拡縮に対して不変であれば、これに限られるものではない。例えば、曲率、色情報、ヒストグラム等を用いることができる。
【００３７】
例えば、図１１は、対象画像が三つの色の異なる円２０３〜２０５を近接させて配置した図形の場合を示している。円２０３は内部が緑色、円２０４は内部が黄色、円２０５は内部が赤色に塗られている。この場合に図１２に示されるように、外部輪郭２０３ｈ〜２０５ｈのみを抽出して比較を行うと、色・模様の異なる図形等と識別を行うことができない。そこで、図１３に示されるように、上述した距離情報に色情報を加味して特徴量として設定する（ここでは、色に変えて輪郭２０３ｈ’〜２０５ｈ’の濃度として示している。）ことで、色・模様の異なる画像についても識別が可能となる。この場合の色情報としては、輪郭位置の色値、色相、輝度等の情報を基にして設定を行うとよい。
【産業上の利用可能性】
【００３８】
本発明は、例えば、ロボットの視覚認識技術や、監視システム等に対して適用することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明に係る物体認識方法を実施する画像処理装置の概略構成図である。
【図２】本発明にかかる物体認識方法の処理を示すフローチャートである。
【図３】取っ手付きのマグカップの画像に抽出したエッジを重ね合わせて表示した例である。
【図４】コップの画像に抽出したエッジを重ね合わせて表示した例である。
【図５】マグカップからの特徴量抽出の様子を示す図である。
【図６】画像から抽出した特徴量を３次元空間にプロットした様子を示すグラフである。
【図７】格納されている特徴量を３次元空間にプロットした様子を示すグラフである。
【図８】従来の手法によるマグカップからの特徴量抽出の様子を示す図である。
【図９】比較対象のクローバー図形を示す図である。
【図１０】コップにおける閉曲線群の追加の様子を説明する図である。
【図１１】色情報を有する対象画像の例示である。
【図１２】図１１から抽出した輪郭情報を示す図である。
【図１３】図１１から抽出した色情報を含む輪郭情報を示す図である。
【符号の説明】
【００４０】
１…カメラ、２…画像処理部、３…モニタ、２０…画像処理演算部、２１…情報格納部、１００…画像処理装置、２００…対象物、２０１…マグカップ、２０２…コップ、２０３〜２０５…円、２０１ｈ１〜２０１ｈ３、２０２ｈ１〜２０２ｈ３…エッジ。
【図１】
2005346391.tif 000003
【図２】
2005346391.tif 000004
【図３】
2005346391.tif 000005
【図４】
2005346391.tif 000006
【図５】
2005346391.tif 000007
【図６】
2005346391.tif 000008
【図７】
2005346391.tif 000009
【図８】
2005346391.tif 000010
【図９】
2005346391.tif 000011
【図１０】
2005346391.tif 000012
【図１１】
2005346391.tif 000013
【図１２】
2005346391.tif 000014
【図１３】
2005346391.tif 000015