(57)【要約】【課題】対象物体の位置と姿勢を正しく検出することができ、また、異なる大きさの円筒部を含む物体が複数存在する場合でも、指定した半径を持つ対象物体の位置と姿勢を検出することができる物体検出方法を提供する。【解決手段】円筒部分を含む物体を側面から撮影することにより距離画像を入力し（ステップＢ０１）、その距離画像から前記円筒部分の領域である円筒領域距離画像を抽出し（ステップＢ０２）、円筒領域距離画像の各点において法線ベクトルを演算し（ステップ１０１）、法線ベクトルから主軸を演算し（ステップ１０２）、前記主軸に垂直な平面に前記円筒領域距離画像を射影し（ステップＤ０２）、射影した前記円筒領域距離画像を円に近似する（ステップＤ０３）とともに前記円の中心を求め（ステップＤ０４）、前記円の中心を通る前記主軸を前記物体の位置と姿勢とする物体検出方法。【選択図】          図１
2004294234.tif 000002
【特許請求の範囲】
【請求項１】
円筒部分を含む物体を側面から撮影することにより得られる距離画像から前記円筒部分の領域である円筒領域距離画像を抽出し、前記円筒領域距離画像から前記物体の位置と姿勢を検出する物体検出方法において、
前記円筒領域距離画像の各点において法線ベクトルを演算し、前記法線ベクトルから主軸を演算し、前記主軸に垂直な平面に前記円筒領域距離画像を射影し、射影した前記円筒領域距離画像を円に近似するとともに前記円の中心を求め、前記円の中心を通る前記主軸を前記物体の位置と姿勢とすることを特徴とする物体検出方法。
【請求項２】
前記射影した円筒領域距離画像である射影円筒距離画像を円に近似するとともに前記円の中心を求める際に、前記円筒部分の半径を予め指定し、前記射影円筒距離画像の各点を中心とした前記半径を持つ補助円を描き、前記補助円の交点から前記円の中心を求めることを特徴とする請求項１記載の物体検出方法。
【請求項３】
円筒部分を含む物体を側面から撮影することにより得られる距離画像であるシーン距離画像から前記円筒部分の領域である円筒領域距離画像を抽出し、前記円筒領域距離画像から前記物体の位置と姿勢を検出する物体検出方法において、
前記シーン距離画像を前記円筒領域距離画像を含む少なくとも１つの領域に分割し、分割された前記シーン距離画像である分割距離画像の各領域に対して前記分割距離画像の各点において法線ベクトルを演算し、前記法線ベクトルから主軸を演算し、前記主軸に垂直な平面に前記分割距離画像を射影し、射影した前記分割距離画像である射影分割距離画像を円に近似するとともに前記円の中心を求め、前記射影分割距離画像の各点と前記円との距離の平均値を求め、前記距離の平均値の小さい前記分割距離画像を前記円筒領域距離画像として抽出し、抽出された前記円筒領域距離画像に関する前記円の中心と前記主軸とから前記物体の位置と姿勢を求めることを特徴とする物体検出方法。
【請求項４】
前記シーン距離画像を前記円筒領域距離画像を含む少なくとも１つの領域に分割した後に、前記分割距離画像の各領域を平面に近似し、平面の度合いの高い前記分割距離画像の各領域を削除して前記物体の位置と姿勢を求めることを特徴とする請求項３記載の物体検出方法。
【請求項５】
前記射影分割距離画像の各点と前記円との距離の平均値を求めた後に、前記距離の平均値の小さい前記分割距離画像を複数抽出して前記円筒領域距離画像とし、抽出された複数の前記円筒領域距離画像の主軸を演算し、前記主軸に垂直な平面に前記複数の円筒領域距離画像を射影し、射影した前記複数の円筒領域距離画像を円に近似するとともに前記円の中心を求め、前記円の中心を通る前記主軸を前記物体の位置と姿勢とすることを特徴とする請求項３または４に記載の物体検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元の物体検出方法に関し、特に、物体の円筒部分を含む物体を良好に検出することができる物体検出方法に関する。
【０００２】
【従来の技術】
従来の物体検出方法について図を用いて説明する。図１０は、１つの円筒部分を含む物体と位置・姿勢を示した概念図である。図１０において、Ａ０１は対象物体で、円筒部Ａ０２と直方体部Ａ０３とから構成される。Ａ０４は円筒部Ａ０２の中心で、円筒部Ａ０２内部の中央に存在する。Ａ０５は円筒部Ａ０２の主軸で、円筒部Ａ０２の長手方向のベクトルを表す。
物体検出方法により検出すべき対象物体Ａ０１の位置と姿勢は、それぞれ中心Ａ０４と中心Ａ０４を通る主軸Ａ０５である。
【０００３】
第１の従来技術として、「“局所曲面形状解析に基づくビンピッキングのためのビジョンシステム”藤田武洋、佐藤宏介、井口征士、電子情報通信学会論文誌Ｄ−ＩＩ、Ｊ７３−Ｄ−ＩＩ巻、第１号、４６−５３ページ、１９９０」（非特許文献１）を例に説明する。
図１１は、前記非特許文献１に示されている物体検出方法のフローチャートである。図１１において、ステップＢ０１では、対象物体Ａ０１を含むシーンに関する距離画像を入力する。距離画像は、レーザレンジファインダ等いくつか市販されているもので容易に入力することができる。
【０００４】
図１２は、対象物体Ａ０１に関して入力した距離画像の例である。図１２において、黒丸は距離画像の各点を表し、各点がＸＹＺ座標値の情報を持っている。Ｃ０１はシーン距離画像で、対象物体Ａ０１を含むシーンに対して入力した距離画像である。Ｃ０２は円筒領域距離画像で、シーン距離画像Ｃ０１の内、円筒部Ａ０２の領域に相当する距離画像である。ステップＢ０２では、入力されたシーン距離画像Ｃ０１に含まれるエッジを抽出し、エッジ以外の部分を領域として残す。更に、残された領域に曲率解析を行い、円筒部と分類された領域のみを円筒領域距離画像Ｃ０２として抽出する。ステップＢ０３では、抽出された円筒領域距離画像Ｃ０２に対して２次曲面近似を行い、円筒領域距離画像Ｃ０２の２次曲面の式を求める。ステップＢ０４では、求められた２次曲面の式から円筒部Ａ０２の中心Ａ０４と主軸Ａ０５を演算し、対象物体Ａ０１の位置と姿勢とする。
ところで、図１１のステップＢ０３において行われる２次曲面近似で、２次曲面の式が円柱面と分類されることはまずない。これは、現実の距離画像にはノイズが存在するとともに、裏側（例えば円筒領域距離画像Ｃ０２の裏側）のデータが取得できないため、２次曲面近似には近似誤差が存在するためである。現実には求められた２次曲面の式は楕円面に分類されることが多く、従って、ステップＢ０４で演算される中心Ａ０４が楕円面の中心となり、円筒部Ａ０２の中心とは一致しなくなる。つまり、第１の従来技術には、対象物体Ａ０１の位置（中心Ａ０４）が正しく検出できないという問題がある。
【０００５】
この問題を解決するため、第２の従来技術として、本願出願人は、特開２００２−３６６９６０号公報（特許文献１）において、「物体検出方法」の技術を開示している。図１３は、前記特許文献１に示されている物体検出方法のフローチャートである。なお、以降では、前出の図を用いて説明した各構成要素については、同一の符号を付してその説明を省略する。
図１３において、ステップＤ０１では、ステップＢ０４までで演算された円筒部Ａ０２の中心Ａ０４をステップＤ０２からＤ０４を用いて再演算する。ステップＤ０２では、ステップＢ０４で演算された主軸Ａ０５に垂直な平面に、ステップＢ０２で抽出された円筒領域距離画像Ｃ０２を射影する。ステップＤ０３では、射影した円筒領域距離画像Ｃ０２を円に近似し、円の中心を求める。円近似の方法は、前記特許文献１では、射影した円筒領域距離画像Ｃ０２の各点の座標値から幾何学的関係を利用して各点を円に近似し、円の中心位置と円の半径とを求めている。
【０００６】
図１４に、その円近似の例を示す。Ｅ０１は射影円筒距離画像で、ステップＤ０２で円筒領域距離画像Ｃ０２を平面に射影したものである。Ｅ０２は楕円面の断面で、ステップＢ０３で求めた２次曲面の式が楕円面に分類された場合に楕円面を主軸Ａ０５に垂直な平面を用いて２次曲面の中心で切った断面を表している。Ｅ０４は楕円面の断面Ｅ０２の中心で、円筒部Ａ０２の断面が円であるにも関わらず楕円面として扱っているため、正しい中心位置とは異なっている。Ｅ０３は円で、ステップＤ０３で求めた円である。Ｅ０５は円の中心で、同じくステップＤ０３で求めた円の中心である。円筒部Ａ０２の断面が円であるため、ステップＤ０３で円近似して中心位置を修正している。ステップＤ０４では、円の中心Ｅ０５を通る主軸Ａ０５を求めて対象物体Ａ０１の位置と姿勢とする。
【０００７】
【特許文献１】
特開２００２−３６６９６０号公報（段落００１７−００２７、図１，図２）
【非特許文献１】
「局所曲面形状解析に基づくビンピッキングのためのビジョンシステム」、藤田武洋、佐藤宏介、井口征士、電子情報通信学会論文誌Ｄ−ＩＩ、Ｊ７３−Ｄ−ＩＩ巻、第１号、４６−５３ページ、１９９０
【０００８】
【発明が解決しようとする課題】
第１の従来技術では、前述のように、ステップＢ０３で行われる２次曲面近似が、円筒領域距離画像Ｃ０２を楕円面に分類することが多く、従って、ステップＢ０４で演算される中心Ａ０４が楕円面の中心となり、円筒部Ａ０２の中心とは一致しなくなる。つまり、第１の従来技術には、対象物体Ａ０１の位置（中心Ａ０４）が正しく検出できない。
また、第２の従来技術では、ステップＤ０３で行う円近似が、円の中心位置と円の半径とを求める方法を利用しているため、すなわち、円の半径が推定値となっているため、円近似の近似誤差が大きくなった場合に円筒部Ａ０２が持つ半径とは異なる大きさの半径の円に近似してしまう可能性がある。その場合、ステップＤ０３で求める円の中心Ｅ０５が円筒部Ａ０２の中心とは一致しなくなり、対象物体Ａ０１の位置（中心Ａ０４）が正しく検出できない。
【０００９】
また、第１及び第２の従来技術では、ステップＢ０３で求める２次曲面の式が楕円面に分類されることが多いとしているが、実際には楕円面以外の例えば１葉双曲面と分類される場合もある。その場合、ステップＢ０４で演算される主軸Ａ０５が円筒部Ａ０２の長手方向の向きとはずれてしまい、対象物体Ａ０１の姿勢（主軸Ａ０５）が正しく検出できない。
更に、第２の従来技術では、ステップＤ０２で主軸Ａ０５に垂直な平面に円筒領域距離画像Ｃ０２を射影するため、主軸Ａ０５が正しく検出できない場合には射影した円筒領域距離画像Ｃ０２（射影円筒距離画像Ｅ０１）が広がりを持ったものとなる。この場合、ステップＤ０３で行う円近似が正しく行えず、円筒部Ａ０２が持つ半径とは異なる大きさの半径の円に近似してしまう。つまり、ステップＤ０３で求める円の中心Ｅ０５が円筒部Ａ０２の中心とは一致しなくなり、対象物体Ａ０１の位置（中心Ａ０４）が正しく検出できない。
【００１０】
また、第１及び第２の従来技術では、ステップＢ０２でエッジ以外の領域に曲率解析を行い、円筒部と分類された領域のみを円筒領域距離画像Ｃ０２として抽出している。ところが、この方法では、半径の異なる円筒部が複数あるシーンを対象とし、そこからある指定した半径を持つ円筒部の領域のみ抽出したい場合に対応できない。
更に、ステップＢ０２の方法では、１つの円筒部の領域を抽出しているため、距離画像が外乱光の影響等でノイズを多く含むものとなった場合、エッジ抽出で１つの円筒部の領域が分断されてしまい、抽出した円筒部の領域が小さくなってしまう。この場合、対象とするデータ量が少なくなり、第１の従来技術ではステップＢ０３からＢ０４、第２の従来技術ではステップＢ０３からＤ０４での演算に誤差が生じやすくなり、対象物体Ａ０１の位置（中心Ａ０４）と姿勢（主軸Ａ０５）が正しく検出できない。
【００１１】
本発明は、このような様々な問題点に鑑みてなされたものであり、対象物体の位置と姿勢を正しく検出することができ、また、異なる大きさの円筒部を含む物体が複数存在する場合でも、指定した半径を持つ対象物体の位置と姿勢を検出することができる物体検出方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記問題を解決するため、本発明の請求項１記載の物体検出方法は、円筒部分を含む物体を側面から撮影することにより得られる距離画像から前記円筒部分の領域である円筒領域距離画像を抽出し、前記円筒領域距離画像から前記物体の位置と姿勢を検出する物体検出方法において、前記円筒領域距離画像の各点において法線ベクトルを演算し、前記法線ベクトルから主軸を演算し、前記主軸に垂直な平面に前記円筒領域距離画像を射影し、射影した前記円筒領域距離画像を円に近似するとともに前記円の中心を求め、前記円の中心を通る前記主軸を前記物体の位置と姿勢とするものである。
この請求項１記載の物体検出方法によれば、円筒領域距離画像の各点において法線ベクトルを演算し、法線ベクトルから主軸を演算するため、従来の技術の２次曲面近似を行う方法と比較してロバストに正しく主軸が求まり、物体の姿勢を正しく検出することができる。また、主軸が正しく求まるため、主軸に垂直な平面に円筒領域距離画像を射影し、射影した円筒領域距離画像を円に近似するとともに円の中心を求めることが従来の技術と比較して良好に行え、物体の位置を正しく検出することができる。
【００１３】
本発明の請求項２記載の物体検出方法は、前記射影した円筒領域距離画像である射影円筒距離画像を円に近似するとともに前記円の中心を求める際に、前記円筒部分の半径を予め指定し、前記射影円筒距離画像の各点を中心とした前記半径を持つ補助円を描き、前記補助円の交点から前記円の中心を求めるものである。この請求項２記載の物体検出方法によれば、予め指定した円筒部分の半径を用いて円に近似するため、円筒部分と異なる大きさの円に近似する可能性がなく、従来の技術の円の半径を求める方法と比較して物体の位置を正しく検出することができる。
【００１４】
本発明の請求項３記載の物体検出方法は、円筒部分を含む物体を側面から撮影することにより得られる距離画像であるシーン距離画像から前記円筒部分の領域である円筒領域距離画像を抽出し、前記円筒領域距離画像から前記物体の位置と姿勢を検出する物体検出方法において、前記シーン距離画像を前記円筒領域距離画像を含む少なくとも１つの領域に分割し、分割された前記シーン距離画像である分割距離画像の各領域に対して前記分割距離画像の各点において法線ベクトルを演算し、前記法線ベクトルから主軸を演算し、前記主軸に垂直な平面に前記分割距離画像を射影し、射影した前記分割距離画像である射影分割距離画像を円に近似するとともに前記円の中心を求め、前記射影分割距離画像の各点と前記円との距離の平均値を求め、前記距離の平均値の小さい前記分割距離画像を前記円筒領域距離画像として抽出し、抽出された前記円筒領域距離画像に関する前記円の中心と前記主軸とから前記物体の位置と姿勢を求めるものである。
この請求項３記載の物体検出方法によれば、少なくとも１つの分割距離画像から所望の円筒部分の半径を持つ円筒領域距離画像を抽出するため、従来の技術では行えなかった、異なる大きさの円筒部分を含む物体が複数存在しても、所望の物体の位置と姿勢を検出することができる。
【００１５】
本発明の請求項４記載の物体検出方法は、前記シーン距離画像を前記円筒領域距離画像を含む少なくとも１つの領域に分割した後に、前記分割距離画像の各領域を平面に近似し、平面の度合いの高い前記分割距離画像の各領域を削除して前記物体の位置と姿勢を求めるものである。
この請求項４記載の物体検出方法によれば、分割距離画像から平面の度合いの高い領域を削除するため、分割距離画像からの円筒領域距離画像の抽出がより良く行え、請求項３記載の方法と比較して、よりロバストに物体の位置と姿勢を検出することができる。
【００１６】
本発明の請求項５記載の物体検出方法は、前記射影分割距離画像の各点と前記円との距離の平均値を求めた後に、前記距離の平均値の小さい前記分割距離画像を複数抽出して前記円筒領域距離画像とし、抽出された複数の前記円筒領域距離画像の主軸を演算し、前記主軸に垂直な平面に前記複数の円筒領域距離画像を射影し、射影した前記複数の円筒領域距離画像を円に近似するとともに前記円の中心を求め、前記円の中心を通る前記主軸を前記物体の位置と姿勢とするものである。
この請求項５記載の物体検出方法によれば、分割距離画像から所望の円筒部分の半径を持つ分割距離画像を複数抽出してそれら領域を１つの円筒領域距離画像として扱うため、従来の技術と比較して対象とするデータ量が増え、物体の位置と姿勢を正しく検出することができる。
【００１７】
【発明の実施の形態】
本発明の物体検出方法に関する実施の形態について、図を用いて説明する。なお、以降では、前出の図を用いて説明した各構成要素については、同一の符号を付してその説明を省略する。
【００１８】
＜第１の実施の形態＞
本発明の第１の実施の形態の物体検出方法について、図を用いて説明する。本実施の形態では、従来の技術と同様、図１０に示した対象物体Ａ０１と、図１２に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出する。図１は、第１の実施の形態に係る物体検出方法のフローチャートである。図１３を用いて説明した第２の従来技術との違いは、ステップＢ０３（２次曲面近似）とステップＢ０４（中心、主軸演算）が、ステップ１０１（法線ベクトル演算）とステップ１０２（主軸演算）に置き換わっている点にある。
【００１９】
図１において、ステップ１０１では、ステップＢ０２までで抽出された円筒領域距離画像Ｃ０２の各点において法線ベクトルを演算する。法線ベクトルは例えば以下のように演算する。ある注目する領域の距離画像のある点の座標値を
（ｘｉ，  ｙｉ，  ｚｉ）                                    （１）
とし（ｉ＝１，・・・，ｎ：ｎはデータ点数）、その点における法線ベクトル（単位ベクトル）を
（ａｉ，  ｂｉ，  ｃｉ）                                    （２）
とする。式（１）の点を、注目領域の距離画像の重心分だけ平行移動した点を
（Ｘｉ，  Ｙｉ，  Ｚｉ）                                    （３）
とすると、式（２）の係数には
【数１】
2004294234.tif 000003
の関係が成立する（λはラグランジェ乗数）。式（４）の固有値・固有ベクトル問題を解き、λが最小値を取る時の式（２）の係数を求めれば、それがある点における法線ベクトルとなる。ステップ１０１では、例えば、円筒領域距離画像Ｃ０２の注目点とその８近傍の点を利用して、式（１）から（４）までの演算を行い、注目点における法線ベクトルを求めることができる。ステップ１０２では、求められた法線ベクトルを利用して円筒領域距離画像Ｃ０２の主軸（主軸Ａ０５）を演算する。
【００２０】
主軸は例えば以下のように演算する。ある注目する領域の距離画像のある点の法線ベクトルは式（２）で与えられている。注目領域の主軸（単位ベクトル）を
（ｄ，ｅ，ｆ）                                      （５）
とすると、式（２）と式（５）との内積はゼロになる。この条件を適用すると、式（５）の係数には
【数２】
2004294234.tif 000004
の関係が成立する。式（６）の固有値・固有ベクトル問題を解き、λが最小値を取る時の式（５）の係数を求めれば、それが注目領域における主軸となる。ステップ１０２では、円筒領域距離画像Ｃ０２の各点の法線ベクトルを利用して式（５）から（６）までの演算を行い、円筒領域距離画像Ｃ０２における主軸（主軸Ａ０５）を求めることができる。次からのステップＤ０２からＤ０４までの内容は、第２の従来技術で説明したものと同じである。すなわち、ステップＤ０２で、ステップ１０２で演算された主軸Ａ０５に垂直な平面に円筒領域距離画像Ｃ０２を射影する。ステップＤ０３で、射影円筒領域距離画像Ｅ０１を円Ｅ０３に近似し、円の中心Ｅ０５を求める。ステップＤ０４で、円の中心Ｅ０５を通る主軸Ａ０５を求めて対象物体Ａ０１の位置と姿勢とする。
【００２１】
以上説明したように、本発明の第１の実施の形態は、ステップ１０１で円筒領域距離画像Ｃ０２の各点において法線ベクトルを演算し、ステップ１０２で法線ベクトルから主軸Ａ０５を演算するため、従来の技術の２次曲面近似を行う方法と比較してロバストに正しく主軸Ａ０５が求まり、対象物体Ａ０１の姿勢を正しく検出することができる。また、主軸Ａ０５が正しく求まるため、ステップＤ０２で主軸Ａ０５に垂直な平面に円筒領域距離画像Ｃ０２を射影し、ステップＤ０３で射影した円筒領域距離画像Ｃ０２を円Ｅ０３に近似するとともに円の中心Ｅ０５を求めることが従来の技術と比較して良好に行え、対象物体Ａ０１の位置を正しく検出することができる。
【００２２】
＜第２の実施の形態＞
本発明の第２の実施の形態の物体検出方法について、図を用いて説明する。本実施の形態では、従来の技術や第１の実施の形態と同様、図１０に示した対象物体Ａ０１と、図１２に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出する。図２は、第２の実施の形態に係る物体検出方法のフローチャートである。図１を用いて説明した第１の実施の形態との違いは、ステップＤ０３（円近似）が、ステップ２０１（半径指定円近似）に置き換わっている点にある。
【００２３】
図２において、ステップ２０１では、ステップＤ０２までで射影されている円筒領域領域距離画像Ｃ０２（射影円筒距離画像Ｅ０１）を指定した半径の円に近似し、円の中心を求める。ステップＤ０３（円近似）が円の中心位置と円の半径を求める方法であるのに対し、ステップ２０１（半径指定円近似）は円の半径を指定して円の中心位置を求める方法である。半径指定円近似の演算例を図３を用いて説明する。
【００２４】
図３は、第２の実施の形態に係る半径指定円近似の例である。図３において、３０１は円筒部Ａ０２を主軸Ａ０５に垂直な平面に射影した円筒部Ａ０２表面を表し、３０２は円筒部表面３０１の真の中心を表している。ステップ２０１で求めたいのは、この真の円筒部中心３０２である。図３においては、射影円筒距離画像Ｅ０１として３点を図示しており、それぞれ第１の射影円筒距離画像３０３、第２の射影円筒距離画像３０４、第３の射影円筒距離画像３０５がそれらに相当する。一般に、ほとんどの場合、扱う対象物体Ａ０１の形状や大きさは既知であるため、円筒部Ａ０２の半径、すなわち、円筒部表面３０１の半径は既知となる。
【００２５】
今、円筒部表面３０１の半径と同じ大きさの円を、第１の射影円筒距離画像３０３を中心として描き、第１の補助円３０６とする。同様に第２の補助円３０７、第３の補助円３０８を描く。もし、第１の射影円筒距離画像３０３から第３の射影円筒距離画像３０５までが、円筒部表面３０１上に存在するならば、第１の補助円３０６から第３の補助円３０８までは、全て真の円筒部中心３０２で交わるはずである。ところが、実際の距離画像にはノイズや誤差が含まれるため、全ての距離画像が完全に円筒部３０１上に存在することはまずない。この半径指定円近似の演算例は、第１の補助円３０６から第３の補助円３０８までの交点を求め、それらの重心を求めて円筒部表面３０１の中心とするものである。
【００２６】
例えば、第１の補助円３０６と第２の補助円３０７の交点を求めて、２つある交点の内、位置を判定して、真の円筒部中心３０２側にある方（第１の交点３０９）を採用する。同様に第２の交点３１０、第３の交点３１１を求める。そして、第１の交点３０９から第３の交点３１１までを利用して重心を演算し、この重心（円筒部中心３１２）を円筒部表面３０１の中心とする。以上が、ステップ２０１で行う半径指定円近似の演算例である。次のステップＤ０４の内容は、第２の従来技術で説明したものと同じである。すなわち、ステップＤ０４で、円筒部中心３１２を通る主軸Ａ０５を求めて対象物体Ａ０１の位置と姿勢とする。
以上説明したように、本発明の第２の実施の形態は、ステップ２０１で予め指定した円筒部Ａ０２の半径を用いて円に近似するため、円筒部Ａ０２と異なる大きさの円に近似する可能性がなく、従来の技術の円の半径を求める方法と比較して対象物体Ａ０１の位置を正しく検出することができる。
【００２７】
＜第３の実施の形態＞
本発明の第３の実施の形態の物体検出方法について、図を用いて説明する。図４は、異なる大きさの円筒部分を含む物体と位置・姿勢を示した概念図である。図４において、４０１、４０３は、それぞれ、他の第１の対象物体、他の第２の対象物体で、それぞれが円筒部（他の第１の円筒部４０２、他の第２の円筒部４０４）を含んでいる。
図５は、図４に示した複数の対象物体に関して入力した距離画像の例である。図５において、５０１は対象物体距離画像で、対象物体Ａ０１に関して入力した距離画像である。同様に、５０２は他の第１の対象物体４０１に関して入力した距離画像（他の第１の対象物体距離画像）、５０４は他の第２の対象物体４０３に関して入力した距離画像（他の第２の対象物体距離画像）である。それぞれの円筒部に関する距離画像は、他の第１の円筒領域距離画像５０３、他の第２の円筒領域距離画像５０５で表している。
本実施の形態では、図４に示した異なる大きさの円筒部を含む物体を複数含むシーンから、図５に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出する。
【００２８】
図６は第３の実施の形態に係る物体検出方法のフローチャートである。図２を用いて説明した第２の実施の形態との違いは、ステップＢ０２（円筒部領域抽出）がステップ６０１（領域分割）に置き換わっている点、ステップ６０２（注目円筒部抽出）が加わっている点にある。
図６において、ステップ６０１では、ステップＢ０１までで入力されているシーン距離画像Ｃ０１（図５）からエッジを抽出し、エッジ以外の部分を領域として残して分割距離画像とする。本実施の形態では、分割距離画像として、円筒領域距離画像Ｃ０２、他の第１の円筒領域距離画像５０３、他の第２の円筒領域距離画像５０５が抽出されたとする。ステップ１０１では、抽出された分割距離画像の各領域に対して、距離画像の各点において法線ベクトルを演算する。ステップ１０２では、この法線ベクトルを利用して、各分割距離画像の主軸を演算する。法線ベクトル、主軸の演算は、第１の実施の形態で述べた通りである。ステップＤ０２では、この主軸に垂直な平面に分割距離画像を射影する。ステップ２０１では、射影された分割距離画像を指定した半径の円に近似し、円の中心を求める。この半径指定の円近似は、第２の実施の形態で述べた通りである。ステップ６０２では、近似された円と、射影された分割距離画像とを利用して注目する円筒部領域（この場合円筒領域距離画像Ｃ０２）を抽出する。すなわち、分割距離画像として抽出されている円筒領域距離画像Ｃ０２、他の第１の円筒領域距離画像５０３、他の第２の円筒領域距離画像５０５から、円筒領域距離画像Ｃ０２を抽出する。この注目円筒部抽出の例を図７を用いて説明する。
【００２９】
図７は、第３の実施の形態に係る注目円筒部抽出の例である。図７において、７０１は射影分割距離画像（Ａ）で、円筒領域距離画像Ｃ０２を射影したものに相当する。７０２は円筒部中心（Ａ）で、射影分割距離画像（Ａ）７０１を円筒部Ａ０２が持つ半径で近似した際の中心である。７０３は射影分割距離画像（Ｂ）で、他の第１の円筒領域距離画像５０３を射影したものに相当する。７０４は円筒部中心（Ｂ）で、射影分割距離画像（Ｂ）７０３を円筒部Ａ０２が持つ半径で近似した際の中心である。７０５は射影分割距離画像（Ｃ）で、他の第２の円筒領域距離画像５０５を射影したものに相当する。７０６は円筒部中心（Ｃ）で、射影分割距離画像（Ｃ）７０５を円筒部Ａ０２が持つ半径で近似した際の中心である。今、円筒部中心（Ａ）７０２を
（ｃｘ，ｃｙ）                                        （７）
とし、射影分割距離画像（Ａ）７０１のある点の座標値を
（ｇｉ，ｈｉ）                                        （８）
とする（ｉ＝１，・・・，ｎ：ｎはデータ点数）。
円筒部Ａ０２が持つ半径をｒとした時、次式により残差Ｄを求める。
【数３】
2004294234.tif 000005
式（９）の残差Ｄが小さいものがより半径ｒに近い円となる。従って、ステップ６０２では、射影分割距離画像（Ａ）７０１、射影分割距離画像（Ｂ）７０３、射影分割距離画像（Ｃ）７０５に対して式（９）を演算し、最もＤの小さいものを抽出すれば、それが、円筒領域距離画像Ｃ０２を射影したものとなる。次のステップＤ０４の内容は、第２の従来技術で説明したものと同じである。すなわち、ステップＤ０４で、円筒部中心（Ａ）７０２を通る主軸Ａ０５を求めて対象物体Ａ０１の位置と姿勢とする。
【００３０】
以上説明したように、本発明の第３の実施の形態は、ステップ６０２で少なくとも１つの分割距離画像（円筒領域距離画像Ｃ０２、他の第１の円筒領域距離画像５０３、他の第２の円筒領域距離画像５０５）から所望の円筒部Ａ０２の半径を持つ円筒領域距離画像Ｃ０２を抽出するため、従来の技術では行えなかった、異なる大きさの円筒部（他の第１の円筒部４０２、他の第２の円筒部４０４）を含む対象物体（他の第１の対象物体４０１、他の第２の対象物体４０３）が複数存在しても、所望の対象物体Ａ０１の位置と姿勢を検出することができる。
【００３１】
＜第４の実施の形態＞
本発明の第４の実施の形態の物体検出方法について、図を用いて説明する。本実施の形態では、第３の実施の形態と同様、図４に示した異なる大きさの円筒部を含む物体を複数含むシーンから、図５に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出する。図８は第４の実施の形態に係る物体検出方法のフローチャートである。図６を用いて説明した第３の実施の形態との違いは、ステップ８０１（平面領域削除）が加わっている点にある。
【００３２】
図８において、ステップ８０１では、ステップ６０１までで抽出された分割距離画像を平面に近似し、平面の度合いの高い領域を削除する。平面近似は例えば以下のように演算すれば良い。第１の実施の形態では、ある注目する領域のある点の法線ベクトルを式（１）から（４）までを利用して求めた。実は、式（２）の法線ベクトルは、平面の方程式における係数に相当する。そして、その平面と、注目領域の距離画像の各点との距離の和は式（４）のλの最小値として現れる。従って、
λ／ｎ                                            （１０）
を演算し、これが小さい領域を平面度の高い領域とすれば良い。次からのステップ１０１からＤ０４までの内容は、第３の実施の形態で説明したものと同じであるため、それら説明を省略する。
【００３３】
以上説明したように、本発明の第４の実施の形態は、ステップ８０１で分割距離画像から平面の度合いの高い領域を削除するため、分割距離画像からの円筒領域距離画像Ｃ０２の抽出がより良く行え、第３の実施の形態の方法（請求項３記載の方法）と比較して、よりロバストに対象物体Ａ０１位置と姿勢を検出することができる。
【００３４】
＜第５の実施の形態＞
本発明の第５の実施の形態の物体検出方法について、図を用いて説明する。本実施の形態では、第３や第４の実施の形態と同様、図４に示した異なる大きさの円筒部を含む物体を複数含むシーンから、図５に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出する。
図９は第５の実施の形態に係る物体検出方法のフローチャートである。図６を用いて説明した第３の実施の形態との違いは、ステップ６０２（注目円筒部抽出）がステップ９０１（注目円筒部複数抽出）に置き換わっている点、ステップ９０２（主軸演算（再））、ステップ９０３（データ射影（再））、ステップ９０４（半径指定円近似（再））が加わっている点にある。
【００３５】
ところで、ステップＢ０２（図２）やステップ６０１では、シーン距離画像Ｃ０１に含まれるエッジを抽出し、エッジ以外の部分を領域として残すが、発明が解決しようとする課題の項でも述べたように、距離画像が外乱光の影響等でノイズを多く含むものとなった場合、エッジ抽出で１つの円筒部の領域が分断されてしまい、抽出した円筒部の領域が小さくなり、その結果、対象とするデータ量が少なくなり、対象物体Ａ０１の位置と姿勢が正しく検出できない可能性があるという課題を抱えていた。すなわち、図４に示す対象物体Ａ０１の円筒部Ａ０２の距離画像（円筒領域距離画像Ｃ０２）を抽出して対象物体Ａ０１の位置と姿勢を検出したいのであるが、円筒領域距離画像Ｃ０２の領域が分断されてしまい、対象物体Ａ０１の位置と姿勢が良好に検出できない可能性があるという課題を抱えていたということになる。本実施の形態は、この課題に対応するためのものである。
【００３６】
図９において、ステップ９０１では、ステップ２０１までで複数の射影分割距離画像が指定した半径の円に近似されているので、これらを利用して、各領域に対して第３の実施の形態で説明したステップ６０２の演算、すなわち、式（７）から（９）までを演算し、残差Ｄがある閾値より小さいものを抽出する。例えば、円筒領域距離画像Ｃ０２が２つに分断されてしまっている場合には、円筒領域距離画像Ｃ０２に関する２つの領域が複数円筒領域距離画像として抽出されることになる。ステップ９０２では、円筒領域距離画像Ｃ０２に関する２つの領域（複数円筒領域距離画像）の主軸（主軸Ａ０５）を演算する。主軸の演算は、複数円筒領域距離画像に対して、第１の実施の形態で説明したステップ１０２の演算（式（５）から（６）までの演算）を行えば良い。ステップ９０３では、ステップ９０２で演算された主軸Ａ０５に垂直な平面に、ステップ９０１で抽出された複数円筒領域距離画像を射影する。ステップ９０４では、射影されている複数円筒領域距離画像を指定した半径の円に近似し、円の中心を求める。円近似は、第２の実施の形態で説明したステップ２０１と同様の演算を利用すれば良い。次のステップＤ０４の内容は、第２の従来技術で説明したものと同じである。すなわち、ステップＤ０４で、ステップ９０４で求めた円の中心を通る主軸Ａ０５を求めて対象物体Ａ０１の位置と姿勢とする。
【００３７】
以上説明したように、本発明の第５の実施の形態は、ステップ９０１で分割距離画像から所望の円筒部Ａ０２の半径を持つ分割距離画像を複数抽出してそれら領域を１つの円筒領域距離画像Ｃ０２として扱うため、従来の技術と比較して対象とするデータ量が増え、対象物体Ａ０１の位置と姿勢を正しく検出することができる。
なお、本実施の形態では、図４に示した異なる大きさの円筒部を含む物体を複数含むシーンから、図５に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出することを対象としたが、本発明はこれに限らず、第１や第２の実施の形態のように、図１０に示した対象物体Ａ０１と、図１２に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出することに対しても全く同様に適用でき、全く同様の効果を得ることができる。
また、以上全ての実施の形態では、ステップＢ０１（距離画像入力）後に、シーン距離画像Ｃ０１の奥行き範囲を限定して、処理の対象を切り出すようにしても良い。これにより、データ量が少なくなり演算量が減り、処理の高速化が図られ、また不要なデータが少なくなるため、よりロバストに対象物体Ａ０１の検出が行える。また、ステップＢ０１（距離画像入力）後に、シーン距離画像Ｃ０１に対して、穴埋めや孤立点除去等通常の画像処理で行われる前処理を適用しても良い。これにより、ノイズの削減が図られ、よりロバストに対象物体Ａ０１の検出が行える。
【００３８】
【発明の効果】
以上説明したように、本発明の請求項１記載の物体検出方法によれば、円筒領域距離画像の各点において法線ベクトルを演算し、法線ベクトルから主軸を演算するため、従来の技術の２次曲面近似を行う方法と比較してロバストに正しく主軸が求まり、物体の姿勢を正しく検出することができる。また、主軸が正しく求まるため、主軸に垂直な平面に円筒領域距離画像を射影し、射影した円筒領域距離画像を円に近似するとともに円の中心を求めることが従来の技術と比較して良好に行え、物体の位置を正しく検出することができる。
また、請求項２記載の物体検出方法によれば、予め指定した円筒部分の半径を用いて円に近似するため、円筒部分と異なる大きさの円に近似する可能性がなく、従来の技術の円の半径を求める方法と比較して物体の位置を正しく検出することができる。
また、請求項３記載の物体検出方法によれば、少なくとも１つの分割距離画像から所望の円筒部分の半径を持つ円筒領域距離画像を抽出するため、従来の技術では行えなかった、異なる大きさの円筒部分を含む物体が複数存在しても、所望の物体の位置と姿勢を検出することができる。
また、請求項４記載の物体検出方法によれば、分割距離画像から平面の度合いの高い領域を削除するため、分割距離画像からの円筒領域距離画像の抽出がより良く行え、請求項３記載の方法と比較して、よりロバストに物体の位置と姿勢を検出することができる。
また、請求項５記載の物体検出方法によれば、分割距離画像から所望の円筒部分の半径を持つ分割距離画像を複数抽出してそれら領域を１つの円筒領域距離画像として扱うため、従来の技術と比較して対象とするデータ量が増え、物体の位置と姿勢を正しく検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る物体検出方法のフローチャートである。
【図２】本発明の第２の実施の形態に係る物体検出方法のフローチャートである。
【図３】本発明の第２の実施の形態に係る半径指定円近似の図示例である。
【図４】異なる大きさの円筒部分を含む物体と位置・姿勢を示した概念図である。
【図５】複数の対象物体に関して入力した距離画像の図示例である。
【図６】本発明の第３の実施の形態に係る物体検出方法のフローチャートである。
【図７】本発明の第３の実施の形態に係る注目円筒部抽出の図示例である。
【図８】本発明の第４の実施の形態に係る物体検出方法のフローチャートである。
【図９】本発明の第５の実施の形態に係る物体検出方法のフローチャートである。
【図１０】１つの円筒部分を含む物体と位置・姿勢を示した概念図である。
【図１１】第１の従来技術に係る物体検出方法のフローチャートである。
【図１２】１つの対象物体に関して入力した距離画像の図示例である。
【図１３】第２の従来技術に係る物体検出方法のフローチャートである。
【図１４】第２の従来技術に係る円近似の図示例である。
【符号の説明】
３０１  円筒部表面
３０２  真の円筒部中心
３０３  第１の射影円筒距離画像
３０４  第２の射影円筒距離画像
３０５  第３の射影円筒距離画像
３０６  第１の補助円
３０７  第２の補助円
３０８  第３の補助円
３０９  第１の交点
３１０  第２の交点
３１１  第３の交点
３１２  円筒部中心
４０１  他の第１の対象物体
４０２  他の第１の円筒部
４０３  他の第２の対象物体
４０４  他の第２の円筒部
５０１  対象物体距離画像
５０２  他の第１の対象物体距離画像
５０３  他の第１の円筒領域距離画像
５０４  他の第２の対象物体距離画像
５０５  他の第２の円筒領域距離画像
７０１  射影分割距離画像（Ａ）
７０２  円筒部中心（Ａ）
７０３  射影分割距離画像（Ｂ）
７０４  円筒部中心（Ｂ）
７０５  射影分割距離画像（Ｃ）
７０６  円筒部中心（Ｃ）
Ａ０１  対象物体
Ａ０２  円筒部
Ａ０３  直方体部
Ａ０４  中心
Ａ０５  主軸
【図１】
2004294234.tif 000006
【図２】
2004294234.tif 000007
【図３】
2004294234.tif 000008
【図４】
2004294234.tif 000009
【図５】
2004294234.tif 000010
【図６】
2004294234.tif 000011
【図７】
2004294234.tif 000012
【図８】
2004294234.tif 000013
【図９】
2004294234.tif 000014
【図１０】
2004294234.tif 000015
【図１１】
2004294234.tif 000016
【図１２】
2004294234.tif 000017
【図１３】
2004294234.tif 000018
【図１４】
2004294234.tif 000019