(57)【要約】【課題】画像から目的とする物品の位置と姿勢を精密かつ確実に検出でき、かつＦＡなどに適用可能な高速処理ができる物品の位置及び姿勢を検出する方法および装置を提供する。【解決手段】複数の同一物品１が同一平面上に並んだ画像３を撮像し、画像から物品の位置及び姿勢９を検出する。物品の形状データ４から画像上の物品の輪郭を示すテンプレート５を生成するテンプレート生成処理Ｓ１と、画像から物品の形状を強調した二値のエッジ画像６を作成するエッジ強調処理Ｓ２と、テンプレートとエッジ画像のベクトル相関により物品候補データ７を作成する粗サーチ処理Ｓ３と、エッジ画像からエッジを構成する線分データ８を作成する線分近似処理Ｓ４と、物品候補データと線分データから線分探索により物品の正確な位置と姿勢９を決定する精密サーチ処理Ｓ５とからなる。【選択図】図２
2007140729.tif 000002
【特許請求の範囲】
【請求項１】
複数の同一物品が同一平面上に並んだ画像を撮像し、該画像から物品の位置及び姿勢を検出する方法であって、
前記物品の形状データから前記画像上の物品の輪郭を示すテンプレートを生成するテンプレート生成処理と、
前記画像から物品の形状を強調した二値のエッジ画像を作成するエッジ強調処理と、
前記テンプレートとエッジ画像のベクトル相関により物品候補データを作成する粗サーチ処理と、
前記エッジ画像からエッジを構成する線分データを作成する線分近似処理と、
前記物品候補データと線分データから線分探索により物品の正確な位置と姿勢を決定する精密サーチ処理と、を有する、ことを特徴とする物品の位置及び姿勢を検出する方法。
【請求項２】
前記テンプレートは、物品の形状データを基に前記画像と同一スケールの輪郭を示す閉じた折線又は曲線であり、図心を中心に回転させた複数の輪郭線から構成される、ことを特徴とする請求項１に記載の物品の位置及び姿勢を検出する方法。
【請求項３】
前記粗サーチ処理において、エッジ画像からテンプレートによるベクトル相関値を求め、該ベクトル相関値が所定の閾値より大きい画像上の位置と姿勢を物品候補データとする、ことを特徴とする請求項１に記載の物品の位置及び姿勢を検出する方法。
【請求項４】
前記精密サーチ処理において、物品候補データの近傍に位置する線分データから線分探索により物品の正確な位置と姿勢を精密に検出する、ことを特徴とする請求項１に記載の物品の位置及び姿勢を検出する方法。
【請求項５】
複数の同一物品が同一平面上に並んだ画像を撮像し、該画像から物品の位置及び姿勢を検出する装置であって、
前記画像を撮像する撮像装置と、前記画像を画像処理する画像処理装置とを備え、
該画像処理装置は、
前記物品の形状データから前記画像上の物品の輪郭を示すテンプレートを生成するテンプレート生成処理と、
前記画像から物品の形状を強調した二値のエッジ画像を作成するエッジ強調処理と、
前記テンプレートとエッジ画像のベクトル相関により物品候補データを作成する粗サーチ処理と、
前記エッジ画像からエッジを構成する線分データを作成する線分近似処理と、
前記物品候補データと線分データから線分探索により物品の正確な位置と姿勢を決定する精密サーチ処理と、を実行する、ことを特徴とする物品の位置及び姿勢を検出する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物品の位置及び姿勢を検出する方法および装置に関する。
【背景技術】
【０００２】
画像上の物品の位置や姿勢を検出する手段としてテンプレートマッチングや領域分割法などが知られている。
テンプレートマッチングは、図６に模式的に示すように、位置（ｘ，ｙ）から開始されるテンプレートと同じ大きさの局所領域Ｓｘ，ｙを順にずらしながら、テンプレート画像Ｇｉ，ｊと探索画像Ｆｉ，ｊの相関値Ｍｘ，ｙを計算し、相関値が最も高い位置（ｘ，ｙ）をテンプレートが発見された位置として出力するものである。
また、領域分割法は、画像を領域分割して領域ごとの特徴から物品位置を推定するものである。
【０００３】
さらに、テンプレートマッチングや領域分割法と関連して種々の画像処理法が既に提案されている（例えば特許文献１〜５）。
特許文献１の「画像処理装置」は、領域分割後に各領域の特徴でマッチングを行うものである。
特許文献２の手段も、特許文献１と同様、領域分割後に各領域の特徴でマッチングを行うものである。
特許文献３の「画像認識による計算方法および記憶媒体」は、物体の重心をおおまかに求めた後、重心を中心にテンプレートを回転させる回転サーチに関するものである。
特許文献４の「物品の位置検出方法およびその装置」は、物品の二次元見え方モデルを準備しておき、その特徴部とステレオ視の各画像のマッチングを行うことで三次元位置を検出するものである。
特許文献５の「画像処理装置」は、回転粗テンプレートを用いて三値化画像を対象にテンプレートマッチングを行い、その後、部分テンプレートを用いて精密サーチを行うものである。
【０００４】
【特許文献１】特公平０７−０６６４４０号、「画像処理装置」
【特許文献２】特開平１１−２０３４６１号
【特許文献３】特開平１１−１６７６４０号、「画像認識による計算方法および記憶媒体」
【特許文献４】特開平０８−１３６２２０号、「物品の位置検出方法およびその装置」
【特許文献５】特許第３２１２７７７号、「画像処理装置」
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したテンプレートマッチングは処理時間が長く、特に、画面上の物品の姿勢が不明なとき大幅に処理時間が長くなる。このため、ＦＡなど高速処理が要求される分野に適用することは難しい。
また、領域分割手段は、物品位置の推定は比較的高速だが、領域分割手段は領域分割自体に失敗すると適切な結果が得られない問題点があった。
【０００６】
本発明は上述した種々の問題点を解決するために創案されたものである。すなわち、本発明の目的は、画像から目的とする物品の位置と姿勢を精密かつ確実に検出でき、かつＦＡなどに適用可能な高速処理ができる物品の位置及び姿勢を検出する方法および装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明によれば、複数の同一物品が同一平面上に並んだ画像を撮像し、該画像から物品の位置及び姿勢を検出する方法であって、
前記物品の形状データから前記画像上の物品の輪郭を示すテンプレートを生成するテンプレート生成処理と、
前記画像から物品の形状を強調した二値のエッジ画像を作成するエッジ強調処理と、
前記テンプレートとエッジ画像のベクトル相関により物品候補データを作成する粗サーチ処理と、
前記エッジ画像からエッジを構成する線分データを作成する線分近似処理と、
前記物品候補データと線分データから線分探索により物品の正確な位置と姿勢を決定する精密サーチ処理と、を有する、ことを特徴とする物品の位置及び姿勢を検出する方法が提供される。
【０００８】
本発明の好ましい実施形態によれば、前記テンプレートは、物品の形状データを基に前記画像と同一スケールの輪郭を示す閉じた折線又は曲線であり、図心を中心に回転させた複数の輪郭線から構成される。
【０００９】
また、前記粗サーチ処理において、エッジ画像からテンプレートによるベクトル相関値を求め、該ベクトル相関値が所定の閾値より大きい画像上の位置と姿勢を物品候補データとする。
【００１０】
また、前記精密サーチ処理において、物品候補データの近傍に位置する線分データから線分探索により物品の正確な位置と姿勢を精密に検出する。
【００１１】
また、本発明によれば、複数の同一物品が同一平面上に並んだ画像を撮像し、該画像から物品の位置及び姿勢を検出する装置であって、
前記画像を撮像する撮像装置と、前記画像を画像処理する画像処理装置とを備え、
該画像処理装置は、
前記物品の形状データから前記画像上の物品の輪郭を示すテンプレートを生成するテンプレート生成処理と、
前記画像から物品の形状を強調した二値のエッジ画像を作成するエッジ強調処理と、
前記テンプレートとエッジ画像のベクトル相関により物品候補データを作成する粗サーチ処理と、
前記エッジ画像からエッジを構成する線分データを作成する線分近似処理と、
前記物品候補データと線分データから線分探索により物品の正確な位置と姿勢を決定する精密サーチ処理と、を実行する、ことを特徴とする物品の位置及び姿勢を検出する装置が提供される。
【発明の効果】
【００１２】
上記本発明の方法及び装置によれば、  物品の形状データからテンプレート生成処理により画像上の物品の輪郭を示すテンプレートを生成するので、ごく単純な形状データからテンプレートを自動作成できる。これにより、ユーザにテンプレート登録の負担をかけることなく、数多くの物品に対応できる。
【００１３】
また、テンプレートとエッジ画像のベクトル相関により物品候補データを作成する粗サーチ処理により、画面全体を少ない処理量でサーチでき、かつこれにより、見落しのない高速な探索を実施できる。
【００１４】
物品候補データと線分データから線分探索により物品の正確な位置と姿勢を決定する精密サーチ処理により、粗サーチの結果得られた物品候補位置近傍に、線分探索処理を加えることで、物品の位置と姿勢を精密に検出できる。
従って、本発明の手段により、高速かつ精密に物品を抽出する画像処理装置を実現することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
【００１６】
図１は、本発明の装置の全体構成図である。この図に示すように、本発明の装置は、  複数の同一物品１が同一平面上に並んだ画像３を撮像する撮像装置１２と、撮像した画像３を画像処理する画像処理装置１４とを備える。
【００１７】
物品１はこの例ではパレット２の上に積層されている。本発明の装置は、パレット上の物品のうち、最上段の物品のみを対象とし、画像３から最上段の物品の位置及び姿勢を検出するものである。
【００１８】
撮像装置１２は、例えばデジタル画像が取得できるデジタルスチールカメラ又はデジタルビデオカメラである。なお、これらのカメラは、少なくとも最上段の物品すべてを撮像でき、かつ各物品を識別できる分解能を有する。
撮像装置１２は、物品までの距離を検出できるように、一定の間隔を隔てたステレオカメラとすることもできる。なお本発明は、最上段の物品をその他の物品と識別する手法について特に限定しない。
【００１９】
画像処理装置１４は、この例では画像処理ＰＣ（コンピュータ）であり、ホストコンピュータ１５、ケース情報データベース１６とＬＡＮで接続されている。ケース情報データベース１６には、物品の形状データが予め入力されている。
【００２０】
画像処理装置１４は、撮像装置１２で撮像した画像から、物品までの距離等を基準にして最上段の物品以外の画像を消去する。次いで、本発明の画像処理装置１４は、後述するテンプレート生成処理、エッジ強調処理、粗サーチ処理、線分近似処理、及び精密サーチ処理を実行する。
【００２１】
図２は、本発明の方法の全体フロー図であり、図３は、本発明の方法の模式図である。本発明の方法は、複数の同一物品１が同一平面上に並んだ画像３を撮像し、この画像３から物品の位置及び姿勢を検出する方法である。図３Ａのような物品の画像３は、最上段の物品およびその近傍を抽出することで図３Ｂのような画像となる。
【００２２】
図２において、本発明の方法は、テンプレート生成処理Ｓ１、エッジ強調処理Ｓ２、粗サーチ処理Ｓ３、線分近似処理Ｓ４及び精密サーチ処理Ｓ５からなる。
【００２３】
テンプレート生成処理Ｓ１では、物品１の形状データ４から画像３上の物品の輪郭を示すテンプレート５（図３Ｄ参照）を生成する。
エッジ強調処理Ｓ２では、画像３から物品の形状を強調した二値のエッジ画像６（図３Ｃ参照）を作成する。
粗サーチ処理Ｓ３では、テンプレート５とエッジ画像６のベクトル相関により物品候補データ７を作成する。
線分近似処理Ｓ４では、エッジ画像６からエッジを構成する線分データ８を作成する。
精密サーチ処理Ｓ５では、図３Ｅに示すように、物品候補データ７と線分データ８から線分探索により物品の正確な位置と姿勢９を決定する。
【００２４】
図４は、本発明におけるベクトル相関の説明図である。
ベクトル相関は、二値画像（エッジ画像）中から、テンプレートと類似した幾何形状の位置を探索する手法の１つである。そのアルゴリズムの概要は以下のとおり。
（１）  探索したいテンプレート画像（例として図４Ａ）の輪郭位置を始点とし、図形の重心等の一点（図４Ａ中の点Ｃ）を終点とするベクトルを作成する（図４Ｂ）。
（２）  探索を行うエッジ画像と同じサイズの投票画像を準備する。投票画像とは、画素の値が整数であり、後に示す投票作業の結果を累積的に保存するためのものである。また、投票画像の初期値は０としておく。
（３）  探索を行うエッジ画像中の、エッジのある画素上（図４Ｃ中の点Ｐ）において、（１）で作成した複数本のベクトルの始点を点Ｐとして、すべてのベクトルを配置する（図４Ｃ）。
（４）  配置したベクトルの終点位置を投票位置とし、その位置に対応する投票画像上の画素に投票（画素値に１を加算）していく。
（５）  （３）〜（４）の作業を、探索を行うエッジ画像上のすべてのエッジ位置について行う。
（６）  投票終了後の投票マップにおける、値の最も大きな（投票数ウォータジェットの最も多い）画素位置が、テンプレート画像の（１）で与えた重心などの一点の位置に対応する。
（７）  探索を行うエッジ画像上に複数の探索対象図形が存在する場合には、投票数の多いピーク部が複数発生する。それらは、物品候補位置に対応する。
【００２５】
粗サーチ処理Ｓ３において、このベクトル相関値が所定の閾値より大きい画像上の位置と姿勢を物品候補データ７とする。例えば、上記の例で、総和Ｓが８又は８に近い場合には、テンプレート５と画像３上の図がほぼ一致していることになる。
【００２６】
上述した粗サーチ処理Ｓ３を画像３上の任意の点に対して走査して全画面について行うことにより、画像上に存在するテンプレート５と一致するすべての物品候補データを検出することができる。
また、この操作を図４Ａに示した複数のテンプレートについて行うことにより、テンプレートが回転した状態の物品候補データをすべて検出することができる。
また、上述したように、粗サーチ処理Ｓ３では、ベクトル相関値を用い、そのマッチングを複数の点についてのみ行うので、画面全体を少ない処理量でサーチでき、かつこれにより、見落しのない高速な探索を実施でき、ＦＡなどに適用可能な高速処理ができる。
【００２７】
図５は本発明における線分探索の説明図である。
線分近似処理Ｓ４において、エッジ画像６からエッジを構成する線分データ８を作成する。
精密サーチ処理Ｓ５では、図５に示すように、物品候補データ７を探索基準多角形とし、その内側及び外側に探索幅を設けた領域を探索範囲とする。
続いて、探索基準多角形の各辺に相当する探索範囲ごとに、線分データ８が成す直線を決定する。この直線は、各線分の端点から直線までの距離の二乗和が最小になる直線（最小二乗直線）を求めることで決定する。その際、長さが短い線分の影響を抑えるため、線分の長さによる重み付けを行っている。
この処理を探索基準多角形の各辺ごとに実施し、その結果得られた複数の直線を組み合わせることで、多角形の位置を精密に決定する。
また、確信度として、（精密サーチで決定した多角形に射影した線分長）／（精密サーチで決定した多角形の周囲長）を定義し、この確信度が高い（例えば０．７５以上）の場合、その位置に物品が存在する、と判定することで、物品の誤検出を防ぐことができる。
【００２８】
上述した本発明の方法及び装置によれば、  物品の形状データ４からテンプレート生成処理Ｓ１により画像上の物品の輪郭を示すテンプレート５を生成するので、ごく単純な形状データからテンプレート５を自動作成できる。これにより、ユーザにテンプレート登録の負担をかけることなく、数多くの物品に対応できる（数万種類以上を想定）。
【００２９】
また、テンプレート５とエッジ画像６のベクトル相関により物品候補データ７を作成する粗サーチ処理Ｓ３により、画面全体を少ない処理量でサーチでき、かつこれにより、見落しのない高速な探索を実施できる。
【００３０】
また、物品候補データ７と線分データ８から線分探索により物品１の正確な位置と姿勢を決定する精密サーチ処理Ｓ５により、粗サーチの結果得られた物品候補位置近傍に、線分探索処理を加えることで、物品の位置と姿勢を精密に検出できる。
従って、本発明の手段により、高速かつ精密に物品を抽出する画像処理装置を実現することができる。
【００３１】
なお、本発明は上述した実施例及び実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【図面の簡単な説明】
【００３２】
【図１】本発明の装置の全体構成図である。
【図２】本発明の方法の全体フロー図である。
【図３】本発明の方法の模式図である。
【図４】本発明におけるベクトル相関の説明図である。
【図５】本発明における線分探索の説明図である。
【図６】従来のテンプレートマッチングの説明図である。
【符号の説明】
【００３３】
１  物品、２  パレット、３  画像、４  形状データ、５  テンプレート、
６  エッジ画像、７  物品候補データ、８  線分データ、９  位置と姿勢、
１２  撮像装置、１４  画像処理装置、
１５  ホストコンピュータ、１６  ケース情報データベース
【図１】
2007140729.tif 000003
【図２】
2007140729.tif 000004
【図３】
2007140729.tif 000005
【図４】
2007140729.tif 000006
【図５】
2007140729.tif 000007
【図６】
2007140729.tif 000008