(57)【要約】【課題】単一視点画像から対象物の幾何学的特徴を正確に検出する。【解決手段】単一視点画像を使用することによって、平面上の対象物が特定され、その位置が決定される。斜視投影された単一視点画像は、疑似平面図内の正規化画像に変換され、対象物の上部形状又は下部形状の検出の精度を向上する。正規化画像を処理することによって正規化画像から１又は複数の幾何学的特徴が検出される。検出された幾何学的特徴は分析され平面上の対象物の正体及び位置を決定する。【選択図】図２
2010541065.tif 000002
【特許請求の範囲】
【請求項１】
対象物を検出し、前記対象物の位置を決定する方法であって、
前記対象物を含む斜視投影された第１の単一視点画像を受け取り、
ホモグラフィ変換によって前記第１の単一視点画像を正規化画像に写像し、
前記正規化画像から第１の幾何学的特徴を検出し、
前記検出された第１の幾何学的特徴を分析して前記対象物を特定し、
前記対象物の同一性を含む第１の対象物情報を生成し、
前記第１の対象物情報を出力すること、
を特徴とする方法。
【請求項２】
前記第１の幾何学的特徴を分析することによって、前記対象物の位置を表す前記対象物の位置情報を生成し、
前記位置情報を前記対象物情報に追加すること、
を特徴とする請求項１に記載の方法。
【請求項３】
前記第１の幾何学的特徴を検出することは、
前記正規化画像内のエッジを検出し、
前記検出されたエッジについてのホフ円変換を実行することによって、前記正規化画像内の円を検出すること、を含むこと、
を特徴とする請求項１に記載の方法。
【請求項４】
前記ホモグラフィ変換された画像から第２の幾何学的特徴を検出し、
２以上の第２の幾何学的特徴と交差する前記第１の幾何学的特徴を特定すると、前記対象物の輪郭を描く１又は複数の第１の幾何学的特徴を選択すること、
を特徴とする請求項１に記載の方法。
【請求項５】
前記第２の幾何学的特徴を検出することは、
前記正規化画像内のエッジを検出し、
前記検出されたエッジについてのホフ線変換を実行することによって、前記正規化画像内の直線を検出すること、を含むこと、
を特徴とする請求項４に記載の方法。
【請求項６】
前記第１の幾何学的特徴と交差する２つの第２の幾何学的特徴間の距離が、閾値よりも小さいことを決定すると、前記対象物を第１の対象物として決定し、
前記距離が、前記閾値よりも小さくないと決定すると、前記対象物を第２の対象物として決定すること、
を特徴とする請求項４に記載の方法。
【請求項７】
前記第１の対象物情報と、前記第１の単一視点画像に先立つ第２の単一視点画像から決定された第２の対象物情報と、の間の距離が閾値を超えると、
前記第１の対象物情報が不適当なものであると決定すること、
を特徴とする請求項１に記載の方法。
【請求項８】
前記第１の特徴の２次元位置及び前記正規化画像内の他の対象物の位置情報に基づいて、前記対象物の位置を決定すること、
を特徴とする請求項１に記載の方法。
【請求項９】
対象物を検出し、前記対象物の位置を決定する命令を格納するコンピュータ読取可能な記録媒体であって、
前記命令は、プロセッサに対し、
前記対象物を含む斜視投影された第１の単一視点画像を受け取り、
ホモグラフィ変換によって前記第１の単一視点画像を正規化画像に写像し、
前記正規化画像から第１の幾何学的特徴を検出し、
前記検出された第１の幾何学的特徴を分析して前記対象物を特定し、
前記対象物の同一性を含む第１の対象物情報を生成し、
前記第１の対象物情報を出力する処理を実行させること、
を特徴とする記録媒体。
【請求項１０】
前記命令は、前記プロセッサに対し、
前記第１の幾何学的特徴を分析することによって、前記対象物の位置を表す前記対象物の位置情報を生成し、
前記位置情報を前記対象物情報に追加する処理を実行させること、
を特徴とする請求項９に記載の記録媒体。
【請求項１１】
前記第１の幾何学的特徴を検出することは、
前記正規化画像内のエッジを検出し、
前記検出されたエッジについてのホフ円変換を実行することによって、前記正規化画像内の円を検出すること、を含むこと、
を特徴とする請求項９に記載の記録媒体。
【請求項１２】
前記命令は、前記プロセッサに対し、
前記ホモグラフィ変換された画像から第２の幾何学的特徴を検出し、
２以上の第２の幾何学的特徴と交差する前記第１の幾何学的特徴を特定すると、前記対象物の輪郭を描く１又は複数の第１の幾何学的特徴を選択する処理を実行させること、
を特徴とする請求項９に記載の記録媒体。
【請求項１３】
前記第２の幾何学的特徴を検出することは、
前記正規化画像内のエッジを検出し、
前記検出されたエッジについてのホフ線変換を実行することによって、前記正規化画像内の直線を検出すること、を含むこと、
を特徴とする請求項１２に記載の記録媒体。
【請求項１４】
前記命令は、前記プロセッサに対し、
前記第１の幾何学的特徴と交差する２つの第２の幾何学的特徴間の距離が、閾値よりも小さいことを決定すると、前記対象物を第１の対象物として決定し、
前記距離が、前記閾値よりも小さくないと決定すると、前記対象物を第２の対象物として決定する処理を実行させること、
を特徴とする請求項１２に記載の記録媒体。
【請求項１５】
前記命令は、前記プロセッサに対し、
前記第１の対象物情報と、前記第１の単一視点画像に先立つ第２の単一視点画像から決定された第２の対象物情報と、の間の距離が閾値を超えると、
前記第１の対象物情報が不適当なものであると決定する処理を実行させること、
を特徴とする請求項９に記載の記録媒体。
【請求項１６】
前記命令は、前記プロセッサに対し、
前記第１の特徴の２次元位置及び前記正規化画像内の他の対象物の位置情報に基づいて、前記対象物の位置を決定する処理を実行させること、
を特徴とする請求項９に記載の記録媒体。
【請求項１７】
対象物を検出し、前記対象物の位置を決定するシステムであって、
前記対象物を含む斜視投影された第１の単一視点画像を受け取り、ホモグラフィ変換によって前記第１の単一視点画像を正規化画像に写像する前処理モジュールと、
前記正規化画像内の第１の幾何学的特徴を検出する特徴抽出モジュールと、
前記正規化画像から第１の幾何学的特徴を検出し、前記検出された第１の幾何学的特徴を分析して前記対象物を特定し、前記対象物の同一性を含む第１の対象物情報を生成する対象物情報生成器と、
を有すること、
を特徴とするシステム。
【請求項１８】
前記対象物情報生成器は、
前記第１の幾何学的特徴を分析することによって、前記対象物の位置を表す前記対象物の位置情報を生成し、
前記位置情報を前記対象物情報に追加すること、
を特徴とする請求項１７に記載のシステム。
【請求項１９】
前記特徴抽出モジュールは、
前記正規化画像内のエッジを検出することによって前記第１の幾何学的特徴を検出し、
前記検出されたエッジについてのホフ円変換を実行することによって、前記正規化画像内の円特徴を検出すること、
を特徴とする請求項１７に記載のシステム。
【請求項２０】
前記特徴抽出モジュールは、
前記ホモグラフィ変換された画像から第２の幾何学的特徴を検出し、
前記第１の幾何学的特徴が２以上の第２の幾何学的特徴と交差するか否かを特定することによって、前記対象物を表す１又は複数の第１の幾何学的特徴を選択すること、
を特徴とする請求項１７に記載のシステム。
【請求項２１】
前記特徴抽出モジュールは、
前記正規化画像内のエッジを検出することによって、前記第２の幾何学的特徴を検出し、
前記検出されたエッジについてのホフ線変換を実行することによって、前記正規化画像内の線特徴を検出すること、
を特徴とする請求項２０に記載のシステム。
【請求項２２】
前記システムは、
前記第１の単一視点画像に先立つ第２の単一視点画像から決定された第２の対象物情報を格納する対象物情報バッファを有し、
前記対象物情報生成器は、
前記第１の対象物情報と、前記第２の対象物情報と、の間の距離が閾値を超えると、
前記第１の対象物情報が不適当なものであると決定すること、
を特徴とする請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の参照）
本出願は、２００７年９月２６日付けの“Expanding Task Functionality in Established Humanoid Robots”と題する米国特許仮出願第６０／９７５，４４７号、及び２００８年６月１６日付けの“3D Beverage Container Localizer”と題する米国特許出願第１２／１４０，１２６号を基礎とする優先権を米国特許法１１９条（ｅ）に基づき主張し、これらの出願はその全体がここに引用される。
【０００２】
本発明は、単一視点画像を使用して平面上の対象物の位置を決定する方法及びシステムに関する。より具体的には、単一視点画像を使用して、上部形状又は下部形状を有する平面上の対象物の位置を決定する方法及びシステムに関する。
【背景技術】
【０００３】
多くの状況において、ロボットは、対象物についての情報及び対象物がその周辺において占める位置についての情報を入手しなければならない。ロボットが新たな環境に移動した後、又は、環境の変化が発生した後、ロボットは、対象物を検出し、１又は複数のセンサを使用して当該対象物の位置を決定しなければならない。センサ入力に基づいて、ロボットは、環境において対象物がどのような空間的関係を有するかを決定し、当該対象物に関連付けられた様々なタスクを実行する。ある例では、ロボットが、様々な対象物の当該環境における座標値を格納する占有マップを生成する。そして、ロボットは、センサ入力と組み合わせて占有マップ内の情報を使用し、当該環境において対象物に対する様々な操作を実行する。
【０００４】
平面の位置及び向きが特定された後、平面上に位置する対象物に対してなんらかの動作を実行するためには、対象物の位置及び属性（例えば、幅、高さ及び対象物のテーブル面上の位置）が決定されなければならない。対象物の位置が決定された後、掴む又は押すというようなロボット操作が対象物に対して実行され得る。対象物の識別子を必要とするロボット操作もある。たとえば、２つ以上の対象物が掲載されているテーブルから１つの対象物を取るようにロボットが指示されているとき、ロボットは、どの対象物がターゲットとする対象物であるのかを判別し、判別結果にしたがってモーションを計画する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
対象物を検出し位置を決定する従来の方法は、立体カメラ又は飛行時間型奥行きセンサを使用する。これらの方法では、立体カメラ又は飛行時間奥行きセンサから奥行き情報が取得される。奥行き情報内のプロフィールに合致するモデルを発見するために、データフィッティングが実行される。一旦合致モデルが発見されると、通常は最適化方法を使用して、対象物の３次元姿勢及び向きが推定される。
【課題を解決するための手段】
【０００６】
（発明の要約）
本発明の実施形態は、斜視投影内で取得された単一視点画像を使用して、対象物を検出し位置を決定する方法、システム及びコンピュータプログラム製品を提供する。単一視点画像は、ホモグラフィ変換を使用することによって、疑似平面内に写像され正規化画像となる。疑似平面は、対象物の上部形状又は下部形状をより正確に検出することを可能にする。正規化画像は、対象物を表す幾何学的特徴を検出するために処理される。検出された幾何学的特徴間の空間的関係は、分析されて対象物を特定し、及び／又は位置を決定する。
【０００７】
ある実施形態においては、正規化画像のエッジが、エッジ検出器を使用して検出される。１又は複数のタイプのハフ変換が適用されて、正規化画像内の幾何学的特徴の１又は複数のタイプを検出する。ハフ変換のタイプの１つは、画像中の円を検出するハフ円変換であってもよいし、画像中の線を検出するハフ線変換であってもよい。他のタイプのハフ変換が、画像中の他の幾何学的特徴を検出するために使用されてもよい。
【０００８】
ある実施形態においては、対象物の輪郭を描く幾何学的特徴（例えば、直線）が、他の幾何学的特徴（例えば、円）に対してある空間的な関係を有するか否かを決定することによって、対象物が特定される。空間的な関係は、例えば、ある幾何学的特徴が他の幾何学的特徴と交差するか否かということを含む。幾何学的特徴の他の属性（例えば、長さ）及び／又は幾何学的特徴間の距離を検出することによっても、対象物が特定され得る。
【０００９】
ある実施形態においては、現在の単一視点画像から決定された対象物の位置又は正体が、１又は複数の時間的に先立つ単一視点画像から決定された対象物の位置又は正体と比較される。現在の単一視点画像から決定された対象物の位置又は正体を、１又は複数の時間的に先立つ単一視点画像から決定された対象物の位置又は正体と比較することによって、対象物の位置又は正体が、連続して、複数のフレームに亘って徐々に変化していくか否かが決定され得る。現在の単一視点画像から決定された位置又は正体が、連続しておらず又は突然変化する場合は、位置又は正体の現在の決定は、異常検出又は誤検出として扱われ得る。
【００１０】
本明細書に記述されている特徴及び利点は、限定的なものではなく、図面、明細書及び特許請求の範囲を見れば、当業者には、追加的な特徴及び利点が明らかになる。さらに、本明細書中で使用される用語は、主として意味の取りやすさ及び教示目的から選択されており、本発明の主旨を限定するために選択されているものではないことは当然である。
【図面の簡単な説明】
【００１１】
添付図面を参照しつつ以降に詳述される説明を読めば、本発明の教示は容易に理解される。
【図１】本発明の一実施形態に係る、複数のターゲット対象物がテーブル上に置かれている環境内のロボットを示す図である。
【図２】本発明の一実施形態に係る、ロボットのブロック図である。
【図３Ａ】本発明の一実施形態に係る、飲料缶を含む斜視投影画像である。
【図３Ｂ】本発明の一実施形態に係る、ホモグラフィ変換された図３Ａの画像である。
【図４Ａ】本発明の一実施形態に係る、ハフ円変換を用いる円の検出の図である。
【図４Ｂ】本発明の一実施形態に係る、ハフ線変換を用いる直線の検出の図である。
【図５Ａ】本発明の一実施形態に係る、ワイングラスの斜視投影画像である。
【図５Ｂ】本発明の一実施形態に係る、ホモグラフィ変換された図５Ａの画像である。
【図６Ａ】本発明の一実施形態に係る、平面上の対象物を検出し位置を決定する方法のフローチャートである。
【図６Ｂ】本発明の一実施形態に係る、平面上の対象物を検出し位置を決定する方法のフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の好適な一実施形態を、図を参照しつつ説明する。複数の図にまたがって同様の参照番号が記される場合、それらは同一の又は機能的に類似した構成要素を意味する。
【００１３】
本明細書において、“一実施形態”又は“ある実施形態”と言う場合は、本発明の少なくとも１つの実施形態に、その実施形態に関連して記述される１つの特徴又は構造が含まれていることを意味する。本明細書のあちこちに“一実施形態では”という語が出現しても、必ずしも同一の実施形態を指しているわけではない。
【００１４】
後記する詳細説明のいくつかの部分は、アルゴリズム用語や、コンピュータメモリ内のデータビット作業を示す象徴的な表現による。これらのアルゴリズム的な説明や表現は、情報処理分野の当業者が、自らの業績の要旨を、同分野の他の当業者に最も効率的に伝えるために用いる手段である。アルゴリズムとは、ここでは、そして一般的にも、ある所望の結果に至る複数のステップ（命令）の首尾一貫したシーケンスのことを言う。ステップとは、物理量に対する物理的操作を要求するステップのことである。通常、必ずしも必要条件ではないが、それらの数値は、記憶され、転送され、合成され、比較されかつ操作され得る、電子的、磁気的又は光学的信号の形を取る。これらの信号のことを、ビット、値、要素、シンボル、文字、語又は番号等と呼ぶことが主として用語の共通化の理由から便宜である。さらに、物理量に対する物理的操作を要求するステップの配列のうちいくつかのものは、一般性を失うことなく、モジュール又はコードデバイスと呼ぶことが便宜である。
【００１５】
しかしながら、このような用語の全ては適当な物理量と関連付けられており、これらの物理量に付された単なる便宜的なラベルに過ぎない。後記において特段の説明がない限り、明細書本文全体を通じて、“処理”、“計算”、“算出”、“決定”又は“表示”等の用語を用いた説明は、（電子的な）物理量としてのデータを、コンピュータシステムのメモリ、レジスタ又は他の情報ストレージのなかで操作しかつ変形するコンピュータシステムや同様の電子的コンピューティングデバイスの動作や処理のことを言う。
【００１６】
本発明のいくつかの側面は、アルゴリズムの形になったプロセスステップや命令を含む。本発明のプロセスステップや命令は、ソフトウエア、ファームウエア又はハードウエアによって実施され、ソフトウエアで実施される場合は、ダウンロードされることが可能であり、多様なオペレーティングシステムが用いる別のプラットフォームから操作されることも可能である。
【００１７】
本発明は、操作を実行する装置にも関する。この装置は、所与の目的を達成する専用装置であってもよいし、コンピュータに記憶されたコンピュータプログラムによって動作する汎用コンピュータであってもよい。このようなコンピュータプログラムは、コンピュータが読取り可能な媒体に記憶され得る。その媒体とは、コンピュータシステムバスに接続可能な、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ、電磁光学的ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、電磁的又は光学的カード、ＡＳＩＣ又は電子的命令を記憶し得るあらゆる媒体を含むが、これらに限定されない。さらに、本明細書で言うコンピュータは、単体のプロセッサを含んでもよいし、コンピュータ能力を増加させるために複数のプロセッサを用いた装置であってもよい。
【００１８】
ここでいうアルゴリズムやディスプレイは、もともと特定のコンピュータや他の装置に関係している訳ではない。ここで教示される内容に従って、プログラムとともに多様な一般目的システムが使用され得る。又は、必要とされる方法ステップを実行するためにさらに特化した装置を作成することも便宜である。これらのシステムのそれぞれについてどのような構成が必要となるかは、後記する明細書本文から明らかになる。さらには、本発明は特定のプログラム言語を参照して記載されるものではない。本発明の教示を実装するために、多様なプログラム言語が使用され得る。後記において特定の言語に言及した場合、それは本発明の実施可能性及びベストモードを開示するためである。
【００１９】
さらに、本明細書で使用される言語は、主として意味の取りやすさ及び教示目的から選択されているのであって、本発明の主旨を限定するために選択されているのではない。従って、本発明の開示は、特許請求の範囲にて記述されている本発明の範囲を例示するものであるが限定するものではない。
【００２０】
本発明の実施形態は、斜視投影内の単一視点画像を使用して、テーブルのような平面上に置かれた対象物を検出する方法、装置及びコンピュータプログラム製品を提供する。斜視投影内の単一視点画像は、疑似平面図内に写像されて正規化画像となり、対象物の下部形状又は上部形状を検出する精度を向上させる。正規化画像を処理することによって、正規化画像から１又は複数の幾何学的特徴が検出される。検出された幾何学的特徴は、分析されて平面上の対象物の正体及び／又は位置を決定する。
【００２１】
単一視点画像とは、一定の視野をカバーする単一のカメラによって取得された画像を意味する。単一視点画像は、２以上のカメラにより生成された立体画像を含まず、奥行きセンサによって生成された奥行き画像も含まない。単一視点画像は、白黒画像、濃淡画像又は様々な解像度や色空間の色彩画像であってもよい。
【００２２】
正規化画像は、斜視画像内の単一視点画像から変換された画像であり、平面図画像を擬態する。正規化画像は、ここでは、疑似平面図画像とも呼ばれる。ある実施形態においては、正規化画像は、あたかも対象物の真上の位置から観察されたように対象物を示す。真の平面図では隠れている対象物の部分が視認可能である一方、真の平面図では視認可能な対象物の他の部分が疑似投影内では隠れることがあるという点で、疑似平面図画像は、正投影平面図とは異なる。
【００２３】
幾何学的特徴とは、あらゆる幾何学的形状又は幾何学的形状のあらゆる幾何学的構成要素を意味する。幾何学的形状に、とりわけ円、四角形、三角形及び楕円等が含まれる。幾何学的構成要素は、幾何学的形状を形成する直線又は曲線等を含む。ある実施形態においては、幾何学的特徴は、画像のエッジから検出される。
【００２４】
対象物情報とは、単一視点画像から生成される対象物についてのあらゆる情報を意味する。対象物情報は、単一視点画像内の対象物の正体を少なくとも含む。対象物情報は、特に３次元座標空間内の対象物の位置に関する情報等を含んでもよい。
（ロボットと環境との相互作用の概要）
【００２５】
図１は、本発明の一実施形態に係る、長方形テーブル１１０と相互作用するロボット１３０を示している。図１のロボット１３０は、人間のモーションに類似する様々な作業を実行することができる人間形ロボットである。このようなロボットの一例として、日本、東京の本田技研工業株式会社の進化人間形ロボットＡＳＩＭＯがある。ロボット１３０は、図２を参照して詳細に後記される、単一視点画像のストリームを生成するカメラ１４０を含む。以降では人間形ロボット１３０に言及しつつ実施形態を説明するが、本発明は、人間形ロボットに限定されず、他タイプのロボットにも使用され得る。
【００２６】
ある実施形態においては、ロボット１３０は、例えば、２００８年５月２０日付の“Rectangular Table Detection Using Hybrid RGB and Depth Camera Sensors”と題する米国特許出願１２／１２４，０１６に開示されている方法を使用することによって、平面１１０の上面の位置を決定する。当該文献は、そのすべてがここに引用される。ロボット１３０は、カメラ１４０によって取得した単一視点画像を用いて、対象物１１２、１１４を検出し位置を決定して動作（例えば、掴む、押す）を行う。他の実施形態においては、テーブル１１０及び他の対象物１１２、１１４の平面１１０上の位置は、図２を参照して詳細に後記されるように、３次元座標値として表されてロボット１３０に格納される。
【００２７】
他の実施形態においては、ロボット１３０は、対象物１１２、１１４の動きを、３次元座標系内で追跡し更新する。対象物１１２、１１４の動きは、ロボット１３０によって実行される操作（例えば、対象物を掴む又は押す）又は他の理由（例えば、人間による動き）によるものでもよい。いずれの場合であっても、対象物１１２、１１４の動きは、カメラ１４０が生成する単一視点画像をモニタリングすることによって感知され追跡され得る。
（平面上の対象物を特定し位置を決定する処理モジュールの構成）
【００２８】
図２は、本発明の一実施形態に係る、ロボット１３０のブロック図である。図２に示されるように、ロボット１３０は、カメラ１４０、処理モジュール２００及びエフェクタ２９０という、３つの主たる構成要素を含む。カメラ１４０は、ロボット１３０を包囲する環境の単一視点画像２１０を生成する。処理モジュール２００は、特にカメラ１４０等から情報を受け取り、ロボットを包囲する環境を検出し、制御信号２８２をエフェクタ２９０に送信する。本発明に必須ではないロボット１３０の他の構成要素は、本発明を簡潔化するために、また本発明の要点が曖昧になることを回避するために、ここでは省略される。
【００２９】
カメラ１４０は、１つのシーン内にある複数の対象物の２次元形状を取得する複数の単一視点画像２１０のストリームを生成する。エフェクタ２９０は、処理モジュール２００に接続されており、ロボット１３０によるある動作を引き起こす命令信号２８２を受け取る。エフェクタ２９０は、モータ、アクチュエータ等を含む、現実世界の事象を引き起こす様々な装置であってよい。命令信号２８２は、ロボット１３０の複数のエフェクタ２９０（例えば、関節）に、歩く又は対象物を押す、のようないくつかの有意なタスクを相互に調和させつつ実行させる。
【００３０】
処理モジュール２００は、とりわけ対象物検出器２３８、平面検出器２５０、対象物プロフィールデータベース２６４、環境写像器２６０、モーション計画器２７０及び制御装置２８０等の構成要素を含む。これらの構成要素のそれぞれは、他の構成要素と協働して、例えば、ソフトウエア、ハードウエア、ファームウエア又はこれらの任意の組合せとして実現することができる。さらに、処理モジュール２００は、汎用コンピュータ又は専用コンピュータとして実装され得る。さらに、処理モジュール２００は、ロボット１３０の各箇所に分散されてもよい。例えば、別々のエフェクタ２９０ごとの複数の制御装置２８０が、ロボット１３０の異なる箇所に配置されていてもよい。
【００３１】
平面検出器２５０は、画像データ２１０を使用することによって、平面を有する対象物を検出する。ある実施形態においては、平面検出器２５０は、カメラ１４０から単一視点画像２１０を受け取るだけでなく、奥行きセンサから奥行き画像を受け取る。ある実施形態においては、平面検出器２５０は、例えば、２００８年５月２０日付の“Rectangular Table Detection Using Hybrid RGB and Depth Camera Sensors”と題する米国特許出願１２／１２４，０１６に開示されている方法を使用することによって、平面の位置を決定する。当該文献は、そのすべてがここに引用される。
【００３２】
対象物検出器２３８は、対象物プロフィールデータベース２６４と協働して機能し、詳細を後記するように、平面１１０上の対象物１１２、１１４の正体及び／又は位置を決定する。ある実施形態においては、対象物検出器２３８は、対象物の正体及び位置についての情報等を含む対象物情報２４８を生成し出力する。対象物情報２４８は、環境写像器２６０に対して入力される。
【００３３】
環境写像器２６０は、ロボット１３０の周囲にある複数の対象物についての情報を保持し追跡する。具体的には、環境写像器２６０は、対象物情報２４８及び平面情報２５２を受け取り、対象物１１０、１１２、１１４を３次元座標空間に写像する。環境写像器２６０は、ロボット１３０によって検出されたものとしての対象物のプロフィール(例えば、対象物の幅、高さ及び長さ)及び位置に関する情報を格納してもよい。ある実施形態においては、環境写像器２６０は、ユーザ又は他のソースによって提供された、対象物の位置及び属性（例えば、長さ、幅及び高さ）についての情報も格納する。環境写像器２６０は、モーション計画器２７０に対して環境情報２６２を提供する。環境情報２６２は、ロボット１３０の環境内の対象物の位置及びプロフィールに関する情報を含む。
【００３４】
モーション計画器２７０は、ロボット１３０が取るべきモーションのための計画を生成する。具体的には、モーション計画器２７０は、環境情報２６２を受け取り、ロボット１３０が実行するべき１又は複数のモーションのための計画（例えば、ある経路を辿ってある点まで歩く）を作成する。計画されたモーションは、ロボット１３０が実行するようにプログラミングされているタスクに関連付けられていてもよい。当該計画に基づいて、モーション計画器２７０は、命令２７２（例えば、脚関節を３０度だけ曲げる）を制御装置２８０に送信する。制御装置２８０は、制御信号２８２を様々なエフェクタ２９０に送信し、エフェクタ２９０によってモーションを実行する。
（対象物検出器の構成要素）
【００３５】
対象物検出器２３８は、前処理モジュール２４０、特徴抽出モジュール２４２、対象物情報生成器２４４及び対象物情報バッファ２４６等を含む。これらの構成要素のそれぞれは、他の構成要素と協働して、例えば、ソフトウエア、ハードウエア、ファームウエア又はこれらの任意の組合せとして実装され得る。前処理モジュール２４０は、カメラ１４０のレンズの欠陥に起因する単一視点画像２１０の歪みを除去する等の役割を担う。ある実施形態においては、例えば、D.C.Brown,“Decentering Distortion of Lenses,” Photometric Engineering, pages 444-462, Vol.32,No.3(1966)に開示されるような従来の“下げ振り”カメラモデル及びOpenGLテクスチャマッピングが使用され単一視点画像２１０の歪みを除去する。
【００３６】
対象物検出器２３８は、カメラ１４０からの単一視点画像２１０を処理することによって単一視点画像２１０内の対象物の正体及び／又は位置を決定する。対象物検出器２３８は、ノイズが多く信頼性がないことが多い奥行き情報に依存しないので、対象物検出器２３８は、より正確に、対象物を特定しその位置を決定することができる。さらに、単一視点画像のみに基づいて対象物を特定し位置を決定することにすれば、奥行き画像又はステレオ画像を処理することは不要であり、奥行き画像に基づく後処理（例えば、最適化）も不要である故に、より効果的である。
【００３７】
対象物の真上ではない位置で取得された単一視点画像においては、対象物の上部形状及び下部形状（上部形状に隠れていない場合）は斜めに見える。例えば、コップの円形基部は、コップの真上ではない位置から見ると、楕円形に見える。同様に、サイコロの正方形の上部形状は、サイコロの真上ではない位置から見ると、台形に見える。視点位置及び視角が変化するにつれて、対象物の上部形状又は下部形状は変化して見える。しかしながら、対象物の上部形状又は下部形状が変化するために、対象物を、その変化にかかわらず同じものとして特定しその位置を決定することを困難にする。
【００３８】
したがって、本発明のある実施形態においては、前処理モジュール２４０は、カメラ１４０によって取得された単一視点画像２１０を、あたかも対象物の真上の位置から見たような対象物を示す疑似平面図に変換する。疑似平面図は、真の平面図と同じではない。なぜならば、疑似平面図は、真の平面図では視認できない対象物の箇所を示し、真の平面図では視認できる対象物の箇所を示さないことがあるからである。図３Ａに、カメラ１４０によって取得された単一視点画像３００が示されている。図３Ａでは、正方形のテーブル３１０上におかれている飲料缶３２０が示されている。飲料缶３２０は円筒形であり、円形の上面、円形の底面、及び上面と底面との間の側面を有する。単一視点画像は飲料缶３２０の上面の斜め上の位置から取得されたので、飲料缶３２０の上面及び底面は、単一視点画像３００においては、楕円形に見える。同様に、テーブル３１０の正方形の面は、台形に見える。なぜならば、単一視点画像３００は斜視投影されたものであるからである。
【００３９】
図３Ｂは、例えばR.Hartley and A.Zisserman,“Multiple View Geometry in Computer Vision,” section 3 and 3.1,Cambridge University Press(2000)のホモグラフィ変換を適用することによって、図３Ａの画像３００から写像された正規化画像３０４である。具体的には、前処理モジュール２４０は、画像３００に対してホモグラフィ変換を適用し、斜視投影された単一視点画像３００を正規化画像３０４に写像する。正規化画像３０４は、飲料缶３２０の真上の位置から取得された図３Ａの画像３００の平面図に似ている。正規化画像３０４においては、飲料缶３２０の上部形状及びテーブル３１０は、それぞれ、円形及び正方形である。斜視画像内の画像３００を正規化画像３０４に変換することによって、対象物の上部形状又は下部形状は、対象物の視点変化に関係なく不変である。したがって、ロボット１３０又は対象物１１２、１１４が移動するときでも、対象物の上部形状又は下部形状を使用して、対象物を、移動にかかわらず正確に特定しその位置を決定し得る。
【００４０】
ホモグラフィ変換のパラメータは、１つの画像内の平面上の４つの２次元参照点であってもよい。これらの参照点は、正規化画像内の２次元参照点のうちの４つのターゲット座標値の他のセットに１対１に対応する。ある実施形態においては、テーブル３１０の４つの角が、参照点として使用され得る。４つの角は、テーブルの検出されたエッジから再現され、その後、ホモグラフィ変換を実行するために使用されてもよい。ターゲットである正規化された座標値が選択されて、もとの平面画像を、テーブル３１０の４つの角によって囲まれる領域に写像することができる。正規化された座標値をメートル法の大きさに変換するためには、平面の物理的な大きさも必要となる。ある実施形態においては、テーブル３１０の長さ及び幅が手動で提供され、又は、平面検出器２５０から自動的に算出され得る。
【００４１】
ある実施形態においては、前処理モジュール２４０は、正規化画像３０４内の不明瞭なエッジを鮮明にして検出精度を上げるような、正規化画像についての画像処理をさらに実行する。次に、前処理モジュール２４０は、正規化画像３０４内でエッジを検出する。ある実施形態において、キャニーエッジ検出器が使用され正規化画像３０４内でエッジを検出する。
【００４２】
前処理モジュール２４０が正規化画像３０４内でエッジを検出した後に、特徴抽出モジュール２４２は、正規化画像３０４内のエッジから幾何学的特徴を検出する。ある実施形態においては、正規化画像３０４内の幾何学的特徴は、１又は複数のタイプのホフ変換を適用することによって検出される。ホフ変換の１つのタイプは、ホフ円変換であってもよいし、ホフ変換の他のタイプは、例えば、A. Jain,“Fundamentals of Digital Image Processing,”section 9.5,Prentice-Hall(1989)に記述されるようなホフ線変換であってもよい。
【００４３】
対象物情報バッファ２４６は、対象物情報生成器２４４によって１又は複数の先立つフレームの画像から生成された対象物情報２４８を格納する。具体的には、対象物情報バッファ２４６は、先立つフレームの画像内で検出された対象物の正体及び／又は位置を格納する。対象物情報バッファ２４６に格納された対象物情報は、対象物検出器２３８を用いて、対象物情報の前後の時間における不変性を確認する。
【００４４】
具体的には、対象物検出器２３８は、現在画像から検出された対象物の正体及び／又は位置を、現在画像より前の１又は複数のフレームの画像から検出された対象物の正体及び／又は位置と比較する。現在フレームの対象物正体又は位置が突然変化する場合、その変化は、画像のノイズ、ターゲットである対象物が他の対象物に隠されること、照明条件が一時的に変化すること、のような対象物の実際の変化以外の理由によるものかもしれない。このような理由によって、対象物情報生成器２４４は、現在フレームの画像についての誤った又は不正確な対象物情報を生成してしまうおそれがある。ある実施形態においては、正体情報及び／又は位置情報が、所定のフレーム数の範囲内で、先立つフレームから生成された正体情報及び／又は位置情報から閾値を超えて乖離した場合は、現在フレームから生成された対象物情報２４８は廃棄される。乖離が持続し所定の閾値のフレーム数より長く乖離が続く場合は、位置情報はその後当該新たな位置に更新される。
【００４５】
（対象物を特定し位置を決定する例）
以降の例においては、対象物の特定及び／又は位置の決定は、飲料缶及びワイングラスという２つの例を用いて記述する。以降の例は、２つの幾何学的特徴（すなわち、円及び直線）を正規化画像内のエッジから検出することによって、対象物を識別する及び／又はその位置を決定する方法を示す。飲料缶及びワイングラスは、検出され得る対象物の一例にすぎず、様々な他のタイプの対象物も検出できる。同様に、検出されるべき対象物の形状に応じて、円及び直線に加えて、又は円及び直線に替わって、他のタイプの幾何学的特徴（例えば、曲線）を検出してもよい。
【００４６】
図４Ａ及び図４Ｂは、本発明のある実施形態に係る、ハフ円変換及びハフ線変換を適用することによる、図３Ｂの正規化画像３０４内の円及び直線の検出を示す。具体的には、図４Ａは、ハフ円変換を画像３０４のエッジに適用した結果を示す。ハフ変換では、画像内の他の対象物によって部分的に隠された円（すなわち、一部は見えない）も検出できる。したがって、図４Ａでは、２つの円４２０、４２２が、ハフ円変換を適用することによって検出できている。円４２０は飲料缶３２０の上面を表し、もう１つの円４２２は飲料缶３２０の底面を表している。ハフ円変換の結果を分析することによって、円４２０、４２２の中心（Ａ１，Ａ２）及び半径（ｒ１，ｒ２）を決定できる。
【００４７】
ある実施形態においては、処理対象の画像をトリミングして、目に見えるアーチファクト（artifact）又は対象物を関心領域の外へ除去してもよい。例えば、テーブル１３０の平面を表す領域を定義して、ハフ円変換又はハフ線変換を実行してもよい。関心領域は、ホモグラフィ変換を適用する前に単一視点画像（例えば、図３Ａの単一視点画像３００）内でトリミングされてもよいし、ホモグラフィ変換を適用した後に正規化画像（例えば、図３Ｂの正規化画像３０４）内でトリミングされてもよい。トリミングされた関心領域内の線セグメントが更に検出されてもよい。関心領域外の画像の部分は、ノイズを有していてもよいし、関心のない対象物の特徴を含んでいてもよい。画像をトリミングし、トリミングされた画像内の特徴を検出することによって、関心のある対象物を含む可能性がより高い領域に、画像の検出が絞り込まれ、ノイズから受ける影響は小さくなる。
【００４８】
ハフ線変換では、部分的に隠された線セグメント又は分離した線セグメントが検出され得るようにしてもよい。図４Ｂは、正規化画像のエッジに対してハフ線変換を適用することによって検出された２つの直線セグメント４３０、４４０を示す。図４Ｂの例では、線セグメント４３０、４４０は、実質的に平行であり距離ｄ１だけ離れている。線セグメント４３０、４４０は、それぞれＢ点及びＤ点において円４２２と交差している。幾何学的特徴のこのような空間的関係（すなわち、円と直線との交差）は、以降に詳述するように、ある対象物を他から区別する基準として役立つ。
【００４９】
他の実施形態においては、画像内の幾何学的特徴を検出するハフ変換に替わって、エッジリンク輪郭追跡及び動的プログラミングのような、境界抽出のための他の画像処理技術が使用される。
【００５０】
対象物情報生成器２４４は、正規化画像３０４内の対象物の位置及び／又は正体を決定し、検出された幾何学的特徴に基づいて対象物情報を生成する。対象物情報生成器２４４は、対象物プロフィールデータベース２６４と通信して、画像内で検出される幾何学的特徴（例えば、円及び直線）がある対象物の輪郭を描いているか否かを決定してもよい。具体的には、対象物プロフィールデータベース２６４は、対象物内に発見された幾何学的特徴に基づく様々な対象物のプロフィール及び幾何学的特徴間の関係を対象物ごとに格納する。対象物情報生成器２４４は、対象物プロフィールデータベース２６４に格納された様々な対象物のプロフィールに基づいて対象物の正体及び／又は位置を決定する。
【００５１】
対象物を特定するための幾何学的特徴間の関係には以下のもの等がある。
（i）対象物の輪郭を描くエッジ内にある幾何学的特徴が検出されるか否か。
（ii）ある幾何学的特徴が他の幾何学的特徴と交差するか否か（例えば、飲料缶の上面又は底面を表す円が、飲料缶の側壁を表す２つの直線と交差し得る）。
（iii）幾何学的特徴同士のなす角度（例えば、正方形のテーブルを表す直線同士が９０度の角度で交差する）。
（iv）幾何学的特徴間の距離（例えば、飲料容器の側壁を表す直線間の距離が、上面又は底面を表す円の直径とほぼ等しい。ワイングラスの茎部を表す直線間の距離が皿部の周囲を表す円の直径よりも小さい）。
（v）検出された直線又は曲線の相対的長さ（例えば、飲料容器の側壁を表す直線が、上面又は底面の直径よりも長いか短いか）。
（vi）幾何学的特徴間の相対的な向きの相違（例えば、ワイングラスの先細る茎部のタイプを区別する、茎部の異なるプロフィール）。
これらの関係は一例に過ぎず、これらの判断基準との組合せで他の判断基準が使用されて画像内の対象物を特定してもかまわない。１又は複数の対象物の幾何学的関係が対象物プロフィールデータベース２６４に格納される。
【００５２】
対象物情報生成器２４４は、正規化画像３０４から生成された幾何学的特徴の属性を、対象物プロフィールデータベース２６４に格納されている対象物のプロフィールと比較し、正規化画像内の対象物を特定する。ある実施形態においては、対象物情報生成器２４４は、検出された幾何学的特徴及びそれらの関係と最も一致する対象物を対象物プロフィールデータベース２６４内で決定し、対象物の正体及び／又は位置を含む対象物情報２４８を出力する。
【００５３】
図５Ａは、テーブル５００上に置かれたワイングラス５１０を含む画像５２０を示す。ワイングラス５１０は、図３Ａ及び図３Ｂの飲料缶３２０と類似する形状を有するが、基部５２２から皿部５１６までの間に延出している細い茎部を有することによって、飲料缶３２０からは区別され得る。他の実施形態においては、ワイングラス５１０及び飲料缶３２０は、皿部５１６又は基部５２２との比較における茎部５１８の幅を検出することによって区別され得る。
【００５４】
図５Ｂは、ホモグラフィ変換を使用して正規化画像に変換された図５Ａのワイングラス５１０を示す。正規化画像は、皿部５６２、基部５６６、及び皿部５６２から基部５６６までの間に延出している茎部５６４を有するワイングラス５１２の正規化されたバージョンを含む。
【００５５】
ハフ円変換及びハフ線変換は、ワイングラス５１２のエッジに適用されて、画像内のエッジに何らかの円又は直線が存在するか否かを決定する。具体的には、ハフ円変換を使用することによって、２つの円５４０、５４２は、ワイングラス５１２のエッジから検出される。円５４０は皿部５６２の上部形状を表し、もう一方の円５４２は、ワイングラス５１２の円形の基部を表す。ハフ線変換が正規化画像に適用されて、画像内に検出されたエッジのなかから直線セグメント５５２、５５４を検出する。
【００５６】
ある実施形態においては、対象物情報生成器２４４は、直線セグメントと交差する円の数を決定する。ワイングラスの茎部を表す直線セグメント５５２、５５４は、基部５６６を表す円５４２と点Ｆ、Ｈで交差する。しかしながら、直線セグメント５５２、５５４は、皿部５６２の上部を表す円５４０とは交差しない（円５４０と交差している線セグメントＩ−Ｅ、Ｊ−Ｇは、曲線であって直線ではない）。対照的に、飲料缶３２０のエッジを表す線セグメント４３０、４４０は、飲料缶３２０の上面及び底面を表す２つの円４２０、４２２と交差している。したがって、直線セグメントと交差する円の数は、対象物情報生成器２４４によって使用されて、飲料缶３２０とワイングラス５１６とを区別する。
【００５７】
ある実施形態においては、対象物情報生成器２４４は、直線セグメント間の距離ｄ１、ｄ２を計算して、画像内の対象物を特定する。図４Ｂでは、飲料缶３２０の２つの直線セグメント４３０、４４０間の距離ｄ１は、２つの交差する円４２０、４２２の直径にほぼ等しい。図５Ｂでは、ワイングラス５１２の２つの直線セグメント５５２、５５４間の距離ｄ２は、交差する円５４２の直径よりはるかに小さい。交差する円の直径間の比率を決定することによって、対象物情報生成器２４４は、画像内に取得された対象物が飲料缶３２０であるかワイングラス５１２であるかを決定する。ある実施形態においては、線セグメント５５２、５５４間の距離ｄ２が、基部５６６の半径ｒ４の半分（１／２）より小さい場合、画像内の対象物は、ワイングラス５１２であると決定される。
【００５８】
他の実施形態においては、（i）直線４３０、４４０、５５４、５５２の長さ、及び（ii）検出された円の半径（ｒ３，ｒ４）間の比率のような追加的な判断基準が使用されて正規化画像内の対象物を特定する。
【００５９】
図３Ａから図５Ｂで示された幾何学的特徴は例示に過ぎない。曲線のような様々な他のタイプの幾何学的特徴が検出されて画像内の対象物を特定してもよい。他の形状の検出を可能にするために、例えば、D.H.Ballard,“Generalizing the Hough Transform to 
Detect Arbitrary Shapes”, Pattern Recognition,Vol.13,No.2,p.111-122,1981
に記述される、任意の形状について一般化されたホフ変換が使用されてもよい。当該文献はそのすべてがここに引用される。代替的に、例えば、M.Kass,A.Witkin,and D.Terzopoulos,“Snakes:Active contour models.”, International Journal of Computer Vision,vol.1,no.4,pages 321-331,(1987)に記述される能動的輪郭モデルが使用されて任意の形状を検出してもよい。当該文献はそのすべてがここに引用される。
【００６０】
対象物が特定された後、対象物検出器２３８は、対象物の輪郭を描いている幾何学的特徴を分析することによって、対象物の位置を決定する。対象物が検出された後、対象物に含まれる特定の幾何学的特徴の位置を決定することによって、対象物の位置が計算される。ある実施形態においては、検出された円形基部の２次元中心が使用されて対象物の位置を推定する。この２次元中心は、３次元位置に変換され得る。まず、２次元画像座標値を疑似平面図内に置き、次にスケール因子を使用して当該次元画像座標値を、２次元メートル法座標値に変換する。テーブル３１０の物理的距離次元を、当該物理的距離次元に対応する、正規化画像内の座標値間の距離で除算することによってスケール因子を計算してもよい。２次元メートル法座標値を入手した後、平面上の対象物の既知の２次元メートル法位置を平面検出器２５０によって入手された３次元向きと組合せることによって、当該２次元メートル法座標値は３次元位置に変換される。
（平面上の対象物を検出する方法）
【００６１】
図６Ａ及び図６Ｂは、本発明の実施形態に係る、平面上の対象物を検出する方法のフローチャートを示す。まず、カメラモデルをOpenGLテクスチャマッピングと組み合わせて使用することによって、カメラによって取得された画像の歪みが除去される（ステップ６１０）。OpenGLテクスチャマッピングは、オプションとして使用されてハードウエアを用いた計算を加速する。次に、ホモグラフィ変換が画像に適用され、疑似平面図内に正規化画像を入手する（ステップ６２０）。斜視投影された画像を疑似平面図内の正規化画像に写像することによって、画像内の幾何学的特徴は、より正確かつよりロバストに検出される。次に、正規化画像は鮮明にされて、後で行うエッジ検出を容易にする（ステップ６３０）。
【００６２】
鮮明にされた画像のエッジが、キャニーエッジ検出器のような従来の方法を使用して検出される（ステップ６３４）。第１のハフ変換（例えば、ハフ円変換）が、エッジ検出された画像に適用され、対象物の第１の幾何学的特徴（例えば、円）を検出する（ステップ６４０）。第２のハフ変換（例えば、ハフ線変換）が、エッジ検出された画像に適用され、対象物の第２の幾何学的特徴（例えば、直線）を検出する（ステップ６５０）。他の幾何学的特徴を検出するための追加的なハフ変換が適用されて他の幾何学的特徴を検出してもよい。
【００６３】
対象物プロフィールデータベース２６４に格納された対象物の情報を使用して、画像から検出された第１の幾何学的特徴及び第２の幾何学的特徴を分析することによって、画像中の対象物が特定され、その位置が決定される（ステップ６６０）。具体的には、幾何学的特徴間の空間的関係が対象物情報生成器２４４によって分析され、検出された幾何学的特徴が、対象物プロフィールデータベース２６４に格納された対象物のプロフィールに一致するか否かを決定する。
【００６４】
現在フレームの画像から決定された対象物の正体及び／又は位置を、１又は複数の先立つフレームの画像内の対象物の正体及び／又は位置と照合する（ステップ６７０）。具体的には、対象物情報バッファ２４６に格納された対象物情報を検索して、検索した画像と、現在の画像から生成された対象物情報とが合致することを確認する。対象物の正体及び／又は位置が不変であり、又は、先立つフレーム内の対象物の正体及び／又は位置から有意に乖離していない場合は、対象物情報が出力される（ステップＳ６８０）。反対に、対象物の正体及び／又は位置が連続せず、又は、先立つフレームの画像から検出された対象物の正体及び／又は位置から有意に乖離している場合は、現在フレームから生成された対象物情報２４８は廃棄されてもよい。所定のフレーム数よりも大きいフレーム数に亘って、又は所定の時間より大きい時間に亘って乖離が不変である場合、対象物の位置を更新し、対象物の新たな位置を反映した位置とする。
（代替的な実施形態）
【００６５】
ある実施形態において、対象物検出器２３８は、ロボット以外のシステムにおいて使用される。例えば、対象物検出器２３８は、監視システムのような他のシステム、又は、ゲームのような相互作用アプリケーション用の物理的接触可能なユーザインタフェースにおいて使用されてもよい。
【００６６】
ある実施形態においては、対象物プロフィールデータベース２６４に格納された対象物プロフィールに基づき対象物情報が生成される前に、検出された幾何学的特徴がフィルタリングされる。対象物情報バッファ２４６は、先立つフレーム内で検出された幾何学的特徴の位置及び属性（例えば、長さ及びタイプ）を格納する。現在フレームの画像内の幾何学的特徴の位置又は属性が、先立つフレームの画像内で検出された幾何学的特徴と有意に異なる場合は、現在フレーム内で検出された幾何学的特徴は廃棄されてもよい。なぜならば、当該特徴は、ノイズ又は画像内に実際に存在する特徴以外の理由に起因するかもしれないからである。当該処理は、対象物情報の不変性を確認する処理（ステップ６７０）と入れ替わって実行されてもよい。
【００６７】
ある実施形態においては、正規化画像３０４は、ターゲット対象物ごとに走査される。つまり、対象物情報生成器２４４は、平面上のすべての対象物を特定し、その位置を決定するわけではない。むしろ、対象物情報生成器２４４は、例えば、単一視点画像内の飲料缶のような、ある対象物を検索する。この場合、画像のエッジは、判断基準のセットを満たす幾何学的特徴ごとにスクリーンをかけられる。飲料缶を検出するためには、例えば、画像のエッジは、円と直線について検索される。このとき、互いに交差しない円及び直線は除去される。除去されずに残った円及び直線は、直線間の距離が円の直径とほぼ同じであるか否かに基づいて評価される。別の幾何学的特徴及び別の判断基準を使用して別のタイプの対象物を検索してもよい。
【００６８】
前記では、いくつかの実施形態に関して本発明を記述してきたが、本発明の範囲内で様々な修正が可能である。したがって、本発明の開示は、例示的なものであって、特許請求の範囲に記載された本発明の範囲を限定するものではない。
【符号の説明】
【００６９】
１１０  テーブル
１１２  対象物
１１４  対象物
１３０  ロボット
１４０  カメラ
２００  処理モジュール
２１０  単一視点画像
２３８  対象物検出器
２４０  前処理
２４２  特徴抽出
２４４  対象物情報生成器
２４６  対象物情報バッファ
２４８  対象物情報
２５０  平面検出器
２５２  平面情報
２６４  対象物プロフィールデータベース
２６０  環境写像器
２６２  環境情報
２７０  モーション計画器
２７２  命令
２８０  制御装置
２８２  制御信号
２９０  エフェクタ
３００  単一視点画像
３０４  正規化画像
３１０  テーブル
３２０  飲料缶
４２０、４２２  円
４３０、４４０  直線
５１０  ワイングラス
５１６  皿部
５１８  茎部
５２２  基部
【図１】
2010541065.tif 000003
【図２】
2010541065.tif 000004
【図３Ａ】
2010541065.tif 000005
【図３Ｂ】
2010541065.tif 000006
【図４Ａ】
2010541065.tif 000007
【図４Ｂ】
2010541065.tif 000008
【図５Ａ】
2010541065.tif 000009
【図５Ｂ】
2010541065.tif 000010
【図６Ａ】
2010541065.tif 000011
【図６Ｂ】
2010541065.tif 000012
【国際調査報告】
2010541065.tif 000013