(57)【要約】【課題】認識対象物体の姿勢推定結果の妥当性を的確に判断することができる画像処理装置及び画像処理プログラムを提供する。【解決手段】認識対象物体の姿勢を推定するにあたって、まず、認識対象物体の撮像画像から抽出した認識対象物体の輪郭に基づいて認識対象物体の姿勢を推定する。続いて、姿勢推定結果に基づいて認識対象物体の三次元推定形状を推定する。一方で、認識対象物体の三次元形状を検出し、認識対象物体を三次元で復元する。続いて、姿勢推定の結果に基づいて推定された三次元推定形状と、三次元検出の結果に基づいて復元された三次元復元結果とを照合することにより、姿勢推定結果の妥当性を判断する。【選択図】図１０
2008015895.tif 000002
【特許請求の範囲】
【請求項１】
物体の撮像画像から抽出した前記物体の輪郭に基づいて前記物体の姿勢を推定する姿勢推定手段と、
前記姿勢推定手段による姿勢推定結果に基づいて前記物体の三次元形状を推定する３Ｄ推定手段と、
前記物体の三次元形状を検出する検出手段と、
前記３Ｄ推定手段によって推定された三次元形状と前記検出手段による検出結果とを照合することにより、前記姿勢推定手段による前記姿勢推定結果の妥当性を判断する判断手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記判断手段は、前記物体における予め設定された照合対象領域について、前記３Ｄ推定手段によって推定された三次元形状と前記検出結果とを照合することにより、前記姿勢推定結果の妥当性を判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
複数の視点から前記物体を撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域を前記照合対象領域に選定する選定手段を更に備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
物体の撮像画像から抽出した前記物体の輪郭に基づいて前記物体の姿勢を推定する姿勢推定ステップと、
前記姿勢推定ステップにおける姿勢推定結果に基づいて前記物体の三次元形状を推定する３Ｄ推定ステップと、
前記物体の三次元形状を検出する検出ステップと、
前記３Ｄ推定ステップにおいて推定された三次元形状と前記検出ステップにおける検出結果とを照合することにより、前記姿勢推定ステップにおける前記姿勢推定結果の妥当性を判断する判断ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項５】
前記判断ステップでは、前記物体における予め設定された照合対象領域について、前記３Ｄ推定ステップにおいて推定された三次元形状と前記検出結果とを照合することにより、前記姿勢推定結果の妥当性を判断することを特徴とする請求項４に記載の画像処理プログラム。
【請求項６】
複数の視点から前記物体を撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域を前記照合対象領域に選定する選定ステップを更にコンピュータに実行させることを特徴とする請求項５に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の撮像画像から物体の姿勢を推定する画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
この種の画像処理装置としては、例えば下記非特許文献１に記載されているように、物体の輪郭を用いて姿勢を推定するものが知られている。
【非特許文献１】Hendrik P. A. Lensch,et al. ”’A Silhouette-Based Algorithm forTexture Registration and Stitching”’, Graphical Models 63.2001,pp.245-262.
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記非特許文献１のように、単に二次元的な情報である物体の輪郭を用いて物体の姿勢を推定すると、物体の誤認識や姿勢の誤推定が起こる場合がある。
【０００４】
そこで本発明の目的は、物体の姿勢推定結果の妥当性を的確に判断することができる画像処理装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、物体の撮像画像から抽出した物体の輪郭に基づいて物体の姿勢を推定する姿勢推定手段と、姿勢推定手段による姿勢推定結果に基づいて物体の三次元形状を推定する３Ｄ推定手段と、物体の三次元形状を検出する検出手段と、３Ｄ推定手段によって推定された三次元形状と検出手段による検出結果とを照合することにより、姿勢推定手段による姿勢推定結果の妥当性を判断する判断手段と、を備えることを特徴とする。
【０００６】
単に、物体の輪郭に基づいて物体の姿勢を推定すると、２次元上における推定誤差は少なくても、三次元上の物体の占める領域としては推定誤差が大きい場合がある。本発明では、物体の輪郭に基づいて推定された姿勢推定結果を利用して物体の三次元形状を推定し、推定した三次元形状を別に得られた物体の三次元形状の検出結果と照合することによって、物体の姿勢推定結果の妥当性を三次元的に判断する。従って、物体の姿勢推定結果の妥当性を的確に判断することができる。
【０００７】
好ましくは、判断手段は、物体における予め設定された照合対象領域について、３Ｄ推定手段によって推定された三次元形状と検出結果とを照合することにより、姿勢推定結果の妥当性を判断する。この場合、照合対象に適した特徴のある領域を予め設定して、その領域についての照合を行うことで、物体の姿勢推定結果の妥当性をより的確に判断することができる。
【０００８】
好ましくは、複数の視点から物体を撮像して得られる複数の画像を重ね合わせた画像において、重なり度合いが所定値より低い領域を照合対象領域に選定する選定手段を更に備える。複数の視点から物体を撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域は、その物体において特徴的な領域である。よって、特徴的な領域を照合対象領域に選定することにより、物体の姿勢推定結果の妥当性を十分的確に判断することができる。
【０００９】
本発明の画像処理プログラムは、物体の撮像画像から抽出した物体の輪郭に基づいて物体の姿勢を推定する姿勢推定ステップと、姿勢推定ステップにおける姿勢推定結果に基づいて物体の三次元形状を推定する３Ｄ推定ステップと、物体の三次元形状を検出する検出ステップと、３Ｄ推定ステップにおいて推定された三次元形状と検出ステップにおける検出結果とを照合することにより、姿勢推定ステップにおける姿勢推定結果の妥当性を判断する判断ステップと、をコンピュータに実行させることを特徴とする。
【００１０】
単に、物体の輪郭に基づいて物体の姿勢を推定すると、２次元上における推定誤差は少なくても、三次元上の物体の占める領域としては推定誤差が大きい場合がある。本発明では、物体の輪郭に基づいて推定された姿勢推定結果を利用して物体の三次元形状を推定し、推定した三次元形状を物体の三次元形状の検出結果と照合することによって、物体の姿勢推定結果の妥当性を三次元的に判断する。従って、物体の姿勢推定結果の妥当性を的確に判断することができる。
【００１１】
好ましくは、判断ステップでは、物体における予め推定された照合対象領域について、３Ｄ推定ステップにおいて推定された三次元形状と検出結果とを照合することにより、姿勢推定結果の妥当性を判断する。この場合、照合対象に適した特徴ある領域を予め設定して、その領域についての照合を行うことで、物体の姿勢推定結果の妥当性をより的確に判断することができる。
【００１２】
好ましくは、複数の視点から物体を撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域を照合対象領域に選定する選定ステップを更にコンピュータに実行させる。複数の視点から物体を撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域は、その物体において特徴的な領域である。よって、特徴的な領域を照合対象領域に選定することにより、物体の姿勢推定結果の妥当性を十分的確に判断することができる。
【発明の効果】
【００１３】
本発明によれば、物体の姿勢推定結果の妥当性を的確に判断することができる。これにより、姿勢推定の推定精度を向上させることができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明に係わる画像処理装置及び画像処理プログラムの好適な実施形態について、図面を参照して詳細に説明する。
【００１５】
図１は、本発明に係わる画像処理装置の一実施形態の構成を示すブロック図である。本実施形態の画像処理装置１は、例えば認識対象物体として急須やマグカップ等の取っ手付き容器を把持するロボット（図示せず）に搭載されるものである。
【００１６】
同図において、画像処理装置１は、認識対象物体を撮像するカメラ２Ａ，２Ｂと、これらのカメラ２Ａ，２Ｂによる撮像画像を入力し、所定の画像処理を行い、認識対象物体の姿勢を推定する画像処理部３と、この画像処理部３の処理結果を表示するモニタ部４と、画像処理部３による画像処理に使用されるデータベースを蓄積記憶するデータ格納部５とを備えている。
【００１７】
カメラ２Ａ，２Ｂは、例えばＣＣＤカメラであり、ロボットの両眼部（図示せず）に設けられている。つまり、カメラ２Ａ，２Ｂは異なる２つの視点から物体を撮像するように配置されている。
【００１８】
画像処理部３は、物体認識処理に特化した専用のハードウェアとして構成されていても良いし、あるいは、パーソナルコンピュータ等の汎用のコンピュータを用い、このコンピュータにソフトウェアとしての画像処理プログラムを実行させても良い。このとき、画像処理プログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤもしくはＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、画像処理プログラムは、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
【００１９】
また、画像処理部３の処理結果は、把持制御処理部６に送られる。把持制御処理部６は、画像処理部３で推定された認識対象物体の姿勢に基づいて、認識対象物体を把持するようにロボットハンド（図示せず）を制御する。
【００２０】
図２は、画像処理部３による処理手順の概略を示すフローチャートである。まず、カメラ２Ａ，２Ｂによる認識対象物体の撮像画像を取得する（ステップ１１）。カメラ２Ａ，２Ｂによる撮像画像の一例を図３に示す。図３（ａ）は、ロボットの左眼部に配置されたカメラ２Ａによる撮像画像（左画像）の概略を示し、図３（ｂ）は、ロボットの右眼部に配置されたカメラ２Ｂによる撮像画像（右画像）の概略を示している。本実施形態では、例として、認識対象物体を急須としている。
【００２１】
左画像（図３（ａ））には、ロボットの左眼部から見た姿勢の急須を示す画像として急須画像３１Ｌが示され、同じく牛乳パックを示す画像として牛乳パック画像３２Ｌが示されている。右画像（図３（ｂ））には、ロボットの右眼部から見た姿勢の急須を示す画像として急須画像３１Ｒが示され、同じく牛乳パックを示す画像として牛乳パック画像３２Ｒが示されている。
【００２２】
続いて、ステップ１１で取得した左画像及び右画像について、濃度値が一様とみなせる物体毎の領域に分割する（ステップ１２）。また、ステップ１２の領域分割処理と並行して、２次元の左画像及び右画像から三次元画像を復元する（ステップ１３）。この三次元画像の復元は、例えば両眼視差の考え方を利用して、ある点の左画像及び右画像での位置座標とカメラ２Ａ，２Ｂ間の距離とから当該点の奥行きを計算することにより行う。
【００２３】
続いて、ステップ１２で領域分割された２次元画像とステップ１３で復元された三次元画像とに基づいて、エッジ検出等により物体の輪郭を抽出する（ステップ１４）。本実施形態では、認識対象物体である急須の色と同色の領域を示す輪郭を左右画像それぞれから抽出する。
【００２４】
続いて、ステップ１４で得られた各画像の輪郭の特徴量をそれぞれ抽出する（ステップ１５）。輪郭の特徴量としては、輪郭の位置、回転及び大きさに対して不変な不変量を用いる。例えば、撮像画像においては、輪郭に対して互いに平行な複数の接線を描ける場合がある。この場合、接線間の距離は、輪郭の位置、回転及び大きさに対して不変である。そこで、ここでは、不変量として、勾配角度毎の接線間の距離を用いる。
【００２５】
続いて、ステップ１５で抽出された各画像の輪郭の特徴量を、データ格納部５にデータベースとして記憶されている特徴照合データとマッチングすることにより、各認識対象物体の特徴照合データに対する類似度を算出する（ステップ１６）。特徴照合データとしては、複数の視点に応じた認識対象物体の姿勢に関するデータが登録されている。より具体的には、複数の視点に応じた認識対象物体の輪郭を示すデータと、当該輪郭より抽出された特徴量データとが登録されている。
【００２６】
ステップ１６では、算出した類似度が最も高いデータに対応する物体が、各画像の輪郭によって示される物体に対応すると認識される。本実施形態では、各画像の輪郭は、急須を示すと認識される。なお、マッチング手法としては、例えばＤＰ（Dynamic Programming）マッチング等が採用される。
【００２７】
続いて、左画像の輪郭と右画像の輪郭との信頼度を評価し、左右画像のうち信頼度の高いほうの輪郭を含む画像を選択する（ステップ１７）。信頼度とは、輪郭を用いて物体の姿勢を推定するにあたって、推定の信頼性を予測するためのものである。具体的には、信頼度として輪郭の複雑度及び特徴量の類似度を用いる。
【００２８】
複雑度とは、輪郭の複雑性を定量化して表現したものであり、具体的には、輪郭における勾配角度毎の不変量の次元数総和である。一般に、複雑度が高い輪郭は、認識対象物体の姿勢に関してより多くの情報を有しているので、姿勢を推定するにあたってより信頼性が高い。すなわち、複雑度を用いて信頼性を評価することにより、姿勢を推定するにあたって信頼性の高い輪郭を含む画像を選択することができる。ただし、左右画像において輪郭の複雑度が同等である場合には、特徴量の類似度が高いほうの画像を選択する。
【００２９】
続いて、選択された画像の輪郭の特徴量と、ステップ１６で識別された認識対象物体の種別（本実施形態では、急須。）の特徴照合データにおける各輪郭の特徴量との最大類似度を算出する（ステップ１８）。そして、特徴照合データにおいて最大類似度に対応する輪郭の形状を認識対象物体の初期姿勢に設定する（ステップ１９）。
【００３０】
続いて、まず基準画像の輪郭を用いて、認識対象物体の姿勢を粗推定する（ステップ２０）。すなわち、一方のカメラによって得られた画像を用いて姿勢を推定する（単眼姿勢推定）。粗推定とは、後段で行う詳細推定より粗く行う姿勢の推定である。ステップ２０では、基準画像における輪郭についてＤＴ（Distance Transforms）画像を作成し、データ格納部５に記憶されている輪郭形状データとマッチングすることにより、回転・並進計算を行って認識対象物体の姿勢を粗推定する。
【００３１】
続いて、その粗姿勢推定の妥当性を判断する（ステップ２１）。この妥当性は、例えば姿勢推定によって得られた輪郭と左右画像から抽出した輪郭とを重ね合わせた時の重なり程度から判断する。
【００３２】
ステップ２１において姿勢推定が正しくないと判断されたときは、新たな初期姿勢を設定して、再び認識対象物体の粗姿勢推定を行う。例えば、ステップ１８で算出された最大類似度の次ぎに高い類似度に対応する輪郭の形状を認識対象物体の新たな初期姿勢として設定する（ステップ２２）。そして、上記のステップ２０を再度実行する。
【００３３】
引き続き左画像及び右画像の両方を用いて、認識対象物体の姿勢を詳細に推定する（ステップ２２）。ステップ２２における詳細姿勢推定処理では、左画像及び右画像における輪郭についてＤＴ画像を作成し、データ格納部５に記憶されている輪郭形状データとマッチングすることにより回転・並進計算を行って認識対象物体の姿勢を上記の粗姿勢推定より詳細に推定する（複眼姿勢推定）。
【００３４】
例えば、左画像では、図４（ａ）に示されるように、認識対象物体の姿勢が輪郭３３Ｌとして推定され、右画像では図４（ｂ）に示されるように、認識対象物体の姿勢が輪郭３３Ｒとして推定される。以上ステップ１１〜２２の処理により、認識対象物体の撮像画像から認識対象物体の輪郭を抽出し、抽出した輪郭に基づいて認識物体の姿勢を推定する。
【００３５】
続いて、その姿勢推定結果の妥当性を判断する（ステップ２３）。ステップ２３において姿勢推定結果が正しくないと判断されたときは、上述したステップ２５の処理を実行する。ステップ２３において、姿勢推定結果が正しいと判定されたときは、その姿勢推定結果を把持制御処理部６に送出すると共にモニタ部４に表示させる（ステップ２４）。このようにして、画像処理部３によって認識対象物体の姿勢が推定される。
【００３６】
引き続いて、上記ステップ２３における姿勢推定結果の妥当性の判断について、より詳細に説明する。この詳細姿勢推定の妥当性は、データ格納部５に登録されている重複領域データを利用して判断される。まず、重複領域データについて説明すると共に、重複領域データをデータベースとしてデータ格納部５に登録する方法について説明する。図５は、データ格納部５にデータを登録する手順を示すフローチャートである。
【００３７】
複数の視点から認識対象物体の投影画像を取得し、各視点の投影画像における輝度値の総和を算出する（ステップ４１）。例えば、図６に示すように、急須３４を中心とするように想定した仮想球の球面Ｕ上の複数の視点Ｗから急須３４の投影画像を得る。投影画像とは、急須３４の占める領域とそれ以外の領域とを輝度値の差によって示す画像である。例えば、図７に示す投影画像では、閉曲線で示す輪郭３５の外側の領域の輝度値が低く、輪郭３５の内側の領域（急須３４を示す領域）の輝度値は高くなっている。
【００３８】
球面Ｕ上の複数の視点Ｗから急須３４の投影画像を得ることにより、急須３４の複数の姿勢を示す二次元画像を取得することができる。その後、取得した全ての投影画像を重ね合わせて輝度値を加算する。図８に、重ね合わせた投影画像の一例と示す。輪郭３６〜３８は、３つの投影画像における急須の輪郭を示す。
【００３９】
次に、図８に示すように、投影画像を重ねた二次元画像上において、輝度値の総和が閾値以上の領域Ｓを抽出する（ステップ４２）。この領域Ｓは、全ての視点Ｗから得られる投影画像において、急須３４が占める領域である。この領域Ｓを円Ｃで近似する（ステップ４３）。円Ｃは、領域Ｓを含むように設定される。なお、近似する形状は、円Ｃのような真円に限らず、楕円、矩形、又は領域Ｓを膨張させた形状でもよい。
【００４０】
次に、図９に示すように、全ての視点Ｗに対して円Ｃが投影されるような球Ｖを算出する（ステップ４４）。すなわち、球Ｖは、何れの視点Ｗから得られる二次元画像においても同一形状となる。球面Ｕの中心に位置する認識対象物体において球Ｖからはみ出た領域は、複数の視点から撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域である。この領域は、認識対象物体の形状が特徴的な領域である。例えば、球Ｖからはみ出た領域３５ａは、急須３４の取っ手である。球Ｖからはみ出た領域３５ｂは、急須の注ぎ口である。
【００４１】
続いて、算出した球Ｖの情報を重複領域データとしてデータ格納部５に登録する（ステップ４５）。以上のようにして認識対象物体の重複領域データを算出して、認識対象物体の姿勢推定の前に予めデータ格納部５に登録する。
【００４２】
引き続いて、上記ステップ２３における姿勢推定結果の妥当性の判断手順について説明する。図１０は、姿勢推定結果の妥当性を判断する手順を示すフローチャートである。
【００４３】
まず、図２に示すステップ２２によって得られた姿勢推定結果を示す投影画像に対して、データ格納部５に登録された上述の球Ｖを投影する（ステップ５１）。具体的には、図１１に示すように、姿勢推定結果を示す輪郭６１に球Ｖを投影する。
【００４４】
次に、姿勢推定結果を示す投影画像において球Ｖの領域以外の領域を示す輪郭Ｔを求める（ステップ５２）。具体的には、図１１の輪郭Ｔで囲まれた斜線部分が、姿勢推定結果を示す投影画像において球Ｖの領域以外の領域を示す。つまり、輪郭Ｔによって示される領域が、照合対象領域として選定される。このような照合対象領域（輪郭Ｔ）を、左右画像における姿勢推定結果に対してそれぞれ求める。
【００４５】
続いて、左右画像を用いて、輪郭Ｔによって示される領域の三次元形状を推定する（ステップ５３）。例えば、両眼視差の考え方を利用して、ある点の左画像及び右画像での位置座標とカメラ２Ａ，２Ｂ間の距離とから当該点の奥行きを計算することにより、三次元形状を推定する。この三次元形状（三次元推定形状とする）は、例えば、姿勢推定の誤差と三次元形状に変換する際の誤差とを加味して、輪郭Ｔを用いて算出される結果より大きい形状に設定される。
【００４６】
一方で、認識対象物体の三次元形状を別に検出し、認識対象物体を三次元復元する（ステップ５４）。例えば、ステレオ・レンジファインダによって三次元計測を行うことにより、認識対象物体の三次元形状の検出を行う。なお、三次元形状の検出は、ステレオ・レンジファインダを用いて行うことに限られず、例えば、図２のステップ１３で取得した三次元復元画像を利用してもよい。
【００４７】
続いて、ステップ５３において得られた三次元推定形状とステップ５４において得られた三次元復元結果とを重ねる（ステップ５５）。例えば、図１２に示すように、急須の三次元復元結果６２を三次元座標上に設定し、その三次元座標上に重ねて、輪郭Ｔによって示される領域の三次元推定形状６３を設定する。
【００４８】
続いて、三次元座標上における三次元推定形状と三次元復元結果との重なる領域を算出する（ステップ５６）。例えば、両者の重なり合うVoxel数を算出する。また、三次元座標上に設定された三次元推定形状と三次元復元結果とを示す二次元画面から、三次元推定形状と三次元復元結果とが重なる領域を算出してもよい。
【００４９】
そして、算出した重なり領域の大きさを示す値が閾値以上である場合は、姿勢推定結果が妥当であると判断する（ステップ５７）。算出した重なり領域の大きさを示す値が閾値より小さい場合は、姿勢推定結果が妥当でないと判断し（ステップ５７）、図２に示すステップ２５へ進む。以上説明したように、ステップ５３において得られた三次元推定形状とステップ５４において得られた検出結果とを照合することにより、姿勢推定結果の妥当性を判断する。
【００５０】
以上において、図２に示すステップ１５〜２２は、認識対象物体の撮像画像から抽出した認識対象物体の輪郭に基づいて認識対象物体の姿勢を推定する姿勢推定手段（姿勢推定ステップ）を構成する。図１０に示すステップ５１，５２は、複数の視点から認識対象物体を撮像して得られる複数の画像を重ね合わせた画像において重なり度合いが所定値より低い領域を照合対象領域に選定する選定手段（選定ステップ）を構成する。図１０に示すステップ５３は、姿勢推定手段による姿勢推定結果に基づいて認識対象物体の三次元形状を推定する３Ｄ推定手段（３Ｄ推定ステップ）を構成する。図１０のステップ５４は、認識対象物体の三次元形状を検出する検出手段（検出ステップ）を構成する。図１０のステップ５５〜５７は、３Ｄ推定手段によって推定された三次元形状と検出手段による検出結果とを照合することにより、姿勢推定手段による姿勢推定結果の妥当性を判断する判断手段（判断ステップ）を構成する。
【００５１】
ところで、姿勢推定結果の妥当性を判断するには、カメラによる撮像画像より抽出した認識対象物体の輪郭又は絵柄と、姿勢推定結果の輪郭又は絵柄とのずれに基づいて判断することが考えられる。しかしながら、姿勢が異なっていても輪郭や絵柄の配置が類似してしまう場合がある。この場合、輪郭同士の差又は絵柄の配置の差は小さくても、姿勢推定結果と実際の認識対象物体の姿勢とが大きくずれることとなる。よって、このように単に二次元的な情報を用いるだけでは、姿勢推定結果の妥当性を的確に判断するのは困難である。
【００５２】
これに対し本実施形態では、認識対象物体の輪郭に基づいて推定された姿勢推定結果を利用して、認識対象物体の三次元推定形状６３を三次元座標上に設定すると共に、認識対象物体の三次元検出結果を利用して、三次元座標上に認識対象物体の三次元復元結果６２を設定する。つまり、三次元復元結果６２と三次元推定形状６３とを三次元座標上に重ね合わせる。続いて、三次元復元結果６２と三次元推定形状６３との重なる領域を算出し、その結果から、認識対象物体の姿勢推定結果の妥当性を判断する。よって、認識対象物体の姿勢推定結果の妥当性を三次元的な情報に基づいて判断することとなり、姿勢推定結果の妥当性を的確に判断することができる。このとき、認識対象物体の特徴的な領域（ここでは取っ手）について、三次元復元結果と三次元推定形状とを三次元座標上に重ね合わせるのが好適である。このように姿勢推定結果の妥当性を的確に判断することにより、姿勢推定結果の妥当性が低い場合に再び姿勢推定を行い、姿勢推定の誤認識を確実に抑制することができる。
【００５３】
上記実施形態は、物体を把持するロボットに適用されるものであるが、本発明の画像処理装置及び画像処理プログラムは、物体を認識して物体の姿勢を推定する他の装置やシステム等にも適用可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明に係わる画像処理装置の一実施形態の構成を示すブロック図である。
【図２】図１に示す画像処理部による処理手順の概略を示すフローチャートである。
【図３】図１に示す２つのカメラで撮像して得られた左画像及び右画像の一例を示す図である。
【図４】複眼姿勢推定結果の一例を示す図である。
【図５】図１に示すデータ格納部にデータを登録する手順を示すフローチャートである。
【図６】カメラの視点位置を示すイメージ図である。
【図７】ある視点から得られる投影画像を示す図である。
【図８】複数の視点位置の投影画像を加算した画像を示す図である。
【図９】図５のステップ４４で算出される球Ｖを示すイメージ図である。
【図１０】姿勢推定結果の妥当性を判断する手順を示すフローチャートである。
【図１１】照合対象領域を示す図である。
【図１２】三次元推定形状と三次元復元結果とを重ねた様子を示すイメージ図である。
【符号の説明】
【００５５】
１…画像処理装置、２Ａ，２Ｂ…カメラ、３…画像処理部（姿勢推定手段、選定手段、３Ｄ推定手段、検出手段、判断手段）。
【図１】
2008015895.tif 000003
【図２】
2008015895.tif 000004
【図３】
2008015895.tif 000005
【図４】
2008015895.tif 000006
【図５】
2008015895.tif 000007
【図６】
2008015895.tif 000008
【図７】
2008015895.tif 000009
【図８】
2008015895.tif 000010
【図９】
2008015895.tif 000011
【図１０】
2008015895.tif 000012
【図１１】
2008015895.tif 000013
【図１２】
2008015895.tif 000014