(57)【特許請求の範囲】
【請求項１】
オブジェクト姿勢を決定するための電子デバイス（１）であって、該電子デバイスは、
光学センサ（３）の３Ｄ画像データを受信し、ここで、該３Ｄ画像データは、シーン（Ｓ）内のオブジェクト（Ｏ）を表すものであり、
前記３Ｄ画像データに基づいて前記光学センサの位置に関して、前記オブジェクト姿勢（ｘ，ｙ，ｚ，θ，φ，Ψ）を推定し、
推定された前記オブジェクト姿勢に基づいて、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから最も近いものを識別し、
識別された最も近い前記ビュー位置に基づいて、前記シーン内の前記オブジェクトの姿勢を決定するように構成される、
電子デバイス（１）であって、
前記オブジェクト姿勢は、ｘ，ｙ，ｚ位置情報、および、θ，φ，Ψ回転情報を含む６Ｄ姿勢であり、
前記オブジェクト姿勢を推定することは、受信された前記３Ｄ画像データに基づいて前記シーンにおける前記オブジェクトを認識することを含む、
電子デバイス（１）。
【請求項２】
前記光学センサ（３）の前記３Ｄ画像データは点群を含む、および／または、前記３Ｄオブジェクトモデルは点群を含む、請求項１に記載の電子デバイス（１）。
【請求項３】
前記オブジェクト姿勢を推定することは、前記シーン内の姿勢を推定することにより、オブジェクト姿勢の仮説を決定することと、前記オブジェクト姿勢の仮説に基づいて、前記光学センサの位置に関する前記オブジェクト姿勢の推定することと、を含む、請求項１または２に記載の電子デバイス（１）。
【請求項４】
所定のビュー位置の前記セットから最も近いものを識別することは、オブジェクト空間での前記光学センサの位置を決定することと、所定のビュー位置の前記セットから最適なビューを見つけ出すこととに基づいている、請求項１ないし３のいずれか１項に記載の電子デバイス（１）。
【請求項５】
所定のビュー位置の前記セットのそれぞれは、再符号化されたデータセットにリンクされており、該再符号化されたデータセットは、前記ビュー位置から見たとき、前記３Ｄオブジェクトモデルのレンダリングされた画像データを表す、請求項１ないし４のいずれか１項に記載の電子デバイス（１）。
【請求項６】
再符号化されたデータセットの前記レンダリングされた画像データは、前記３Ｄオブジェクトモデルのサブサンプリングされた点群、該３Ｄオブジェクトモデルのサブサンプリングされた輪郭、および／または、該３Ｄオブジェクトモデルのサブサンプリングされた表面モデルを含む、請求項５に記載の電子デバイス（１）。
【請求項７】
所定のビュー位置の前記セットから最も近いものを識別することは、
前記所定のビュー位置の各々に対して、リンクされた再符号化データセットのレンダリングされた画像データを、前記シーンにプロジェクトし、
前記レンダリングされた画像データをシーン内の前記オブジェクトを表す前記３Ｄ画像データと比較し、
前記所定のビューのどれに対して、前記レンダリングされた画像データと前記シーン内の前記オブジェクトを表す前記３Ｄ画像データとの間の偏差が、最小に達するかを決定すること
を含む、請求項１ないし６のいずれか１項に記載の電子デバイス（１）。
【請求項８】
前記３Ｄ画像データは、可視光画像と深度画像とのペアを含む、請求項１ないし７のいずれか１項に記載の電子デバイス（１）。
【請求項９】
前記可視光画像は、特に、人間の視覚システムによって処理される３つのバンド（ＲＧＢ）に分解された、電磁スペクトルの可視部分を含む、請求項８に記載の電子デバイス（１）。
【請求項１０】
前記シーン内の前記オブジェクトの前記姿勢を決定することは、
前記所定の３Ｄオブジェクトモデルの所定のビュー位置の前記セットから、前記識別された最も近いビューに基づいてθ，φ，Ψ回転情報を決定すること、および／または最も近いビューのモデルを前記シーンにプロジェクトすることに基づいて、前記ｘ，ｙ，ｚ位置情報を決定することと、
プロジェクトされたモデルを、前記シーン内のオブジェクトを表す前記３Ｄ画像データと比較することと、
を含む、請求項１ないし９のいずれか１項に記載の電子デバイス（１）。
【請求項１１】
請求項１ないし１０のいずれか１項に記載の電子デバイス（１）と、前記オブジェクトを感知するように構成された光学センサであって、該光学センサは特に３Ｄカメラまたはステレオカメラである、光学センサと、を備える、オブジェクト姿勢を決定するためのシステム（３０）。
【請求項１２】
光学センサ（３）の３Ｄ画像データを受信するステップであって、該３Ｄ画像データは、シーン（Ｓ）内のオブジェクト（Ｏ）を表す、ステップと、
前記３Ｄ画像データに基づいて前記光学センサの位置に関して、オブジェクト姿勢（ｘ，ｙ，ｚ，θ，φ，Ψ）を推定するステップと、
前記推定されたオブジェクト姿勢に基づいて、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから最も近いものを識別するステップと、
前記識別された最も近いビュー位置に基づいて、前記シーン内の前記オブジェクト姿勢を決定するステップと、
のステップを含む、オブジェクト姿勢を決定する方法であって、
前記オブジェクト姿勢は、ｘ，ｙ，ｚ位置情報、および、θ，φ，Ψ回転情報を含む６Ｄ姿勢であり、
前記オブジェクト姿勢を推定するステップは、受信された前記３Ｄ画像データに基づいて前記シーンにおける前記オブジェクトを認識するステップを含む、
オブジェクト姿勢を決定する方法。
【請求項１３】
前記３Ｄオブジェクトモデルの複数のビュー位置を決定するステップと、
所定のビュー位置の前記セットを形成するステップと、
所定のビュー位置の前記セットの各ビュー位置に対して、再符号化されたデータセットを決定するステップであって、該再符号化されたデータセットは、前記ビュー位置から見たとき前記３Ｄオブジェクトモデルのレンダリングされた画像データを表す、ステップと、
前記ビュー位置を前記再符号化されたデータセットにリンクするステップと、
のステップをさらに含む、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、オブジェクト姿勢を決定する、特に、シーン内の非静止オブジェクト姿勢を認識するための電子デバイス、システムおよび方法に関する。ここで、オブジェクト姿勢は事前定義されていない。
【背景技術】
【０００２】
多くの分野で、自動化はますます重要になっており、それは、ロボット工学の必要性が高まっていることも意味する。一方、ロボットシステムは産業分野で一般的になっているが、それらの、例えば、日常生活の中で個々のユーザーにサービスを提供するための使用は、家庭内の環境ではまだかなり一般的ではない。しかしながら、また、この分野では、ロボットシステムに対する高い需要がある。例えば、ロボットシステムは、高齢者が特定のオブジェクト、例えば、鉛筆を見つけて、手にするのに役立つ。
【０００３】
家庭内でのロボットシステムの使用に関する１つの問題は、産業用アプリケーションとは対照的に、多くのタスクは標準化できない、つまり、事前定義し、厳密に制御することができないことである。したがって、ロボットシステムは、個々に異なるタスクを実行できる必要がある。さらに、家庭内の動作条件、例えば点灯、オブジェクトの配置などはより困難である。他の領域でも、ロボットシステムが使用されている場合、関心のあるオブジェクト姿勢が、不明、つまり、強制的に事前定義されていない場合がある。
【０００４】
ロボットシステムの重要な側面は、したがって、特定のオブジェクトを見つけて認識する機能である。任意の場所および任意の方向に配置できる。この目的のために、ロボットシステムは光学センサを備えてもよく、移動可能であってもよい。例えば、駆動可能な車輪を有することができる。
【０００５】
さらなる課題は、オブジェクト、例えば、検知されたシーンで認識されたオブジェクト姿勢を決定することである。正確な姿勢（特に６Ｄ姿勢）を決定することは、オブジェクトを拾い上げる場合、またはロボットシステムによって操作する場合、有利であることができる。
【０００６】
反復最近傍点（ＩＣＰ）アルゴリズムは、点群や法線など、つまり、３Ｄ  ＲＧＢデータの２つの形状を一致させるためのアルゴリズムの一例である。このタイプのデータは、ロボット工学アプリケーションで一般的に使用され、オブジェクト認識中の姿勢調整に使用される主要なコンポーネントアルゴリズムを構成する。
【０００７】
既知のオブジェクト認識においては、ＩＣＰアルゴリズムを使用して、ロボットの３Ｄ（ＲＧＢ−Ｄ）センサから来る点群をターゲットオブジェクトの既知のモデルの点群と一致させる。アルゴリズムの出力は、観測されたデータに最適にフィットするモデルの変換である。これは、モデルベースのＩＣＰと呼ばれる。したがって、このようなオブジェクト検出シナリオでは、１つの点群がモデル仮説から得られ、センサからのクラウドデータをポイントするように調整する必要がある。以下では、これを「シーン」と呼ぶ。
【０００８】
しかしながら、そのような従来のアプローチは、発信元ポイントクラウドと宛先ポイントクラウドのポイント間の対応の発見において計算コストがかかる。最も近い一致を見つけるには、すべてのポイントペア間の距離を計算する必要があるためである。特に、リアルタイムシナリオでの使用は難しい場合がある。レンダリング手順の実行にはコストがかかるため、望ましくない遅延が発生する可能性があるためである。
【０００９】
ポイントツープレーンアプローチを使用したオブジェクト認識ＩＣＰ技術が知られている。例えば、ヤン・チェン、ジェラルド・メディオーニ、「複数の距離画像の登録によるオブジェクトモデリング（Ｏｂｊｅｃｔ  Ｍｏｄｅｌｉｎｇ  ｂｙ  Ｒｅｇｉｓｔｒａｔｉｏｎ  ｏｆ  Ｍｕｌｔｉｐｌｅ  Ｒａｎｇｅ  Ｉｍａｇｅｓ）」Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｓｉｏｎ  Ｃｏｍｐｕｔｉｎｇ，１０（３），ｐｐ．１４５−１５５，１９９２．を参照。
【００１０】
この比較方法を加速するために、ＫＤツリー（ｋ次元ツリー）アルゴリズムを使用することが知られている。しかしながら、ＫＤツリー自体を使用するには、前述のツリーを構築する必要があり、また、メモリと時間の面でも計算コストがかかる。この例は、Ｋ．  Ｔａｔｅｎｏ，  Ｄ．  Ｋｏｔａｋｅ，  ａｎｄ  Ｓ．  Ｕｃｈｉｙａｍａ．「オンラインテクスチャ更新によるモデルベースの３Ｄオブジェクトトラッキング（Ｍｏｄｅｌ−ｂａｓｅｄ  ３Ｄ  Ｏｂｊｅｃｔ  Ｔｒａｃｋｉｎｇ  ｗｉｔｈ  Ｏｎｌｉｎｅ  Ｔｅｘｔｕｒｅ  Ｕｐｄａｔｅ）」、ＭＶＡ，２００９である。
【００１１】
ＵＳ２０１２１１４２５１（Ａ１）は、統計形状モデルを使用して３Ｄオブジェクトの２Ｄ表現から３Ｄ形状を回復し、復元された３Ｄ形状をオブジェクトクラスの少なくとも１つのオブジェクトの既知の３Ｄから２Ｄへの表現と比較する、特定のオブジェクトクラスの３Ｄオブジェクトのオブジェクト認識のためのシステムを開示する。
【発明の概要】
【００１２】
現在、特に、オブジェクト姿勢認識中に、例えば、リアルタイムのシナリオで計算の労力を削減する必要があるオブジェクト姿勢を決定する電子デバイス、システムおよび方法を提供することが依然として望ましい。
【００１３】
したがって、本開示の実施形態によれば、オブジェクト姿勢を決定するための電子デバイスが提供される。電子デバイスは、
−  光学センサの３Ｄ画像データを受信し、
−  ３Ｄ画像データに基づいて、光学センサの位置に対するオブジェクト姿勢を推定し、
−  推定されたオブジェクト姿勢に基づいて、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから最も近いものを識別し、
−  識別された最も近いビュー位置に基づいて、シーン内のオブジェクト姿勢を決定する
ように構成されている。
【００１４】
そのような電子デバイスを提供することにより、２つの形状、点群や法線など、つまり、３Ｄ  ＲＧＢデータのマッチングのアルゴリズムのより高速な実装が、供給される。このタイプのデータは、ロボット工学アプリケーションで一般的に使用され、オブジェクト認識中に、姿勢の調整に使用されるアルゴリズムの重要なコンポーネントを構成する。
【００１５】
言い換えると、本開示によれば、モデルの所定のビュー（したがって、事前に決定されたビュー）位置を取得するために、モデルが、望ましくは事前にレンダリングされる。その結果、姿勢認識では、さらに時間のかかるレンダリングの必要なしに、このデータは姿勢調整に使用することが望ましい。これにより、この方法はリアルタイムシナリオに対して、特に興味深いものになる。コストのかかるレンダリング手順を削減したり、オブジェクト姿勢認識中に回避したりすることもできるためである。
【００１６】
したがって、本開示により提案される概念およびアルゴリズムは、従来のＫＤツリー手法の代わりにＩＣＰで使用できる。特に、本開示の概念およびアルゴリズムは、検知されたオブジェクトの点群とオブジェクトモデルとの間の対応関係の取得に使用できる。
【００１７】
光学センサは、オブジェクトが存在するシーンを感知することが望ましい。
【００１８】
光学センサの位置に対するオブジェクト姿勢を推定することにより、オブジェクト姿勢（つまり、オブジェクト空間内）に対する対応する光学センサの位置を、同時に推定することが望ましい。
【００１９】
所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから最も近いものの識別は、推定されたオブジェクト姿勢に基づいている。さらに、３Ｄ画像データに基づいて、異なるビュー位置から見たとき、オブジェクト（Ｏ）および／またはオブジェクトモデルの事前レンダリング画像データを表すことができる。特に、オブジェクトを表す３Ｄ画像データ（Ｏ）を、オブジェクトモデルの画像データと比較することができる（ビューごとに１つのデータセット、各データセットとの比較）。推定されたオブジェクト姿勢は、決定する姿勢を見つけるためのガイドとして、および／または開始点として識別プロセスで使用できる。所定の視点位置は、そこからオブジェクトが見える所定の視点であることが望ましい。所定のビュー位置は、オブジェクトの１つまたは複数の軌道上、またはオブジェクトの球上で、互いに等距離に分布していることができる。例えば、数百（例えば、３００以上）のビュー位置があり得る。
【００２０】
光学センサ（３）の３Ｄ画像データは、点群を含むことができ、および／または、３Ｄオブジェクトモデルは点群を含むことができる。
【００２１】
したがって、最も近いビューを識別するため、および／またはオブジェクト姿勢を決定するために、これらの点群は互いに比較される、または、３Ｄ画像データのレンダリングされた点群のデータセットは、モデルのポイントクラウドの事前レンダリングビューのデータセットと比較できる。
【００２２】
オブジェクト姿勢の推定は、シーン内の姿勢を推定することにより、オブジェクト姿勢仮説を決定し、姿勢仮説に基づいて、光学センサの位置に対するオブジェクト姿勢を推定することを含むことができる。
【００２３】
オブジェクト姿勢の推定または３Ｄ画像データの受信は、受信した３Ｄ画像データに基づいてシーン内のオブジェクトを認識することを含むことができる。
【００２４】
したがって、オブジェクト認識はプロセスの最初に実行され、例えば３Ｄ画像が受信されたとき、または、最も近いビューの識別の実行中（または実行前）に実行される。または、デバイスは３Ｄ画像データを受信できる。ここで、これらのデータには、認識されたオブジェクトに関する情報がすでに含まれている。
【００２５】
事前定義されたビュー位置のセットから最も近いものを識別することは、オブジェクト空間でのセンサの位置（つまり、その姿勢または６Ｄ姿勢）の決定、および、所定のビュー位置のセットから最適なビューを見つけること、に基づくものであることができる。
【００２６】
したがって、センサビューの（望ましくレンダリングされた）データと、事前定義されたさまざまなビューのモデルの（事前）レンダリングデータとの単純な比較を、所定のビュー位置の最も近い位置を識別するために、実行することができる。
【００２７】
所定のビュー位置のセットのそれぞれは、再符号化されたデータセットにリンクすることができる。上記再符号化されたデータセットは、ビュー位置から見たときオブジェクトモデルのレンダリングされた画像データを表す。
【００２８】
例えば、所定のビュー位置のセットは、１つまたは複数のルックアップテーブル（ビュー位置ごとに１つなど）において、再符号化されたデータセットにリンクされることができる。この電子デバイスは、上記のルックアップテーブルを提供する、および／または再符号化されたデータセットにリンクされた所定のビュー位置のセットを提供するデータストレージを備えることができる。ルックアップテーブルは、再符号化されたデータセットを含むことができる。
【００２９】
再符号化されたデータセットのレンダリングされた画像データは、オブジェクトモデルのサブサンプリングされた点群、モデルのサブサンプリングされた輪郭、および／または、モデルのサブサンプリングされた表面モデルを含むことができる。
【００３０】
所定のビュー位置のセットから最も近いものを識別することは、所定のビュー位置のそれぞれについて、リンクされた再符号化データセットのレンダリングされた画像データをシーンにプロジェクトすることと、レンダリングされた画像データをシーン内のオブジェクトを表す３Ｄ画像データと比較することと、所定のビュー位置のどれに対して、レンダリングされた画像データと、そのシーンにおけるオブジェクトを表す３Ｄ画像データとの間の偏差が最小値に達するかを決定することと、を含むことができる。
【００３１】
前記偏差は、最小化されるエラーとも呼ぶことができる。
【００３２】
画像データは、可視光画像と深度画像のペアを含むことができる。これらのデータは、デバイスへの入力データであり得る。
【００３３】
可視光画像は、電磁スペクトルの可視部分、特に人間の視覚システムによって処理される３つのバンド（ＲＧＢ：赤、緑、青）を含むことがあり得る。
【００３４】
オブジェクト姿勢は、ｘ，ｙ，ｚ位置情報および、θ，φ，Ψ回転情報であることができる。
【００３５】
より一般的には、オブジェクト姿勢は、場所の数学的記述および座標系でのオブジェクトの向きであり得る。
【００３６】
シーン内のオブジェクト姿勢を決定することは、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから、識別された最も近いビューに基づく、θ，φ，Ψ回転情報を決定すること、および／または、モデルをシーンに最も近いビューでプロジェクトすることに基づく，ｘ，ｙ，ｚ位置情報を決定すること、および、プロジェクトモデルとシーン内のオブジェクトを表す３Ｄ画像データを比較することを含むことができる。
【００３７】
本開示はさらに、オブジェクト姿勢を決定するためのシステムに関する。このシステムは、
●  特に上記のような電子デバイス、および、
●  オブジェクトを検知するように構成された光学センサを備える。このセンサは特に３Ｄカメラまたはステレオカメラである。
【００３８】
したがって、このシステムは。オブジェクトを自律的に認識して位置特定し、特に、上記オブジェクト姿勢を決定するように構成することができる。たとえば、オブジェクトを取得する手段などを備える移動可能なロボットシステムとして実現することができる。
【００３９】
本開示はさらに、オブジェクト姿勢を決定する方法に関する。この方法は、
●  光学センサ（３）の３Ｄ画像データを受信するステップであって、シーン内のオブジェクト（Ｏ）を表すステップと、
●  ３Ｄ画像データに基づいて、前記光学センサの位置に関する前記オブジェクト姿勢の推定するステップと、
●  推定されたオブジェクト姿勢に基づいて、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから最も近いものを識別するステップと、
●  前記識別された最も近いビュー位置に基づいて、前記シーン内の前記オブジェクト姿勢を決定するステップと、
を含む。
【００４０】
この方法は、オブジェクトモデルの複数のビュー位置を決定するステップと、所定のビュー位置のセットの各ビュー位置に対して、所定のビュー位置のセットを形成するステップと、再符号化されたデータセットを決定するステップであって、該再符号化されたデータセットは、前記ビュー位置から見たときオブジェクトモデルのレンダリングされた画像データを表す、ステップと、前記ビュー位置を前記再符号化されたデータセットにリンクするステップと、をさらに含むことができる。
【００４１】
したがって、所定のビュー位置のセットおよび／または関連する再符号化済みデータセットを、事前に決定することができる。これらのデータは、オブジェクト姿勢の決定方法において、つまり、オブジェクト姿勢認識にこの方法を使用中において使用することができる。
【００４２】
この方法は、上記の電子デバイスの機能に対応する、さらなる方法ステップを含み得る。さらに望ましい方法のステップを以下に説明する。
【００４３】
光学センサ（３）の３Ｄ画像データは、点群を含むことができ、および／または、３Ｄオブジェクトモデルは点群を含む。
【００４４】
オブジェクト姿勢を推定するステップは、シーン内の姿勢を推定することにより、オブジェクト姿勢仮説を決定するステップと、姿勢仮説に基づいて、光学センサの位置に対するオブジェクト姿勢の推定するステップとを含むことができる。
【００４５】
オブジェクト姿勢を推定するステップまたは３Ｄ画像データを受信するステップは、受信した３Ｄ画像データに基づいてシーン内のオブジェクトを認識するステップを含むことができる。
【００４６】
所定のビュー位置のセットから最も近いものを識別するステップは、オブジェクト空間内におけるセンサの位置（つまり、その姿勢または６Ｄ姿勢）の決定、および、所定のビュー位置のセットからの最適なビューの発見に基づくことができる。
【００４７】
所定のビュー位置のセットのそれぞれは、再符号化されたデータセットにリンクすることができる。上記再符号化されたデータセットは、ビュー位置から見たときオブジェクトモデルのレンダリングされた画像データを表す。
【００４８】
再符号化されたデータセットのレンダリングされた画像データは、オブジェクトモデルのサブサンプリングされた点群、モデルのサブサンプリングされた輪郭、および／または、モデルのサブサンプリングされた表面モデルを含む。
【００４９】
所定のビュー位置のセットから最も近いものを識別するステップは、所定のビュー位置のそれぞれについて、リンクされた再符号化データセットのレンダリングされた画像データをシーンにプロジェクトし、レンダリングされた画像データをシーン内のオブジェクトを表す３Ｄ画像データと比較し、および、所定のビュー位置のどれに対して、レンダリングされた画像データと、そのシーンのオブジェクトを表す３Ｄ画像データとの間の偏差が、最小値に達するかを決定すること、を含むことができる。
【００５０】
画像データは、可視光画像と深度画像のペアを含むことができる。これらのデータは、デバイスへの入力データであり得る。
【００５１】
オブジェクト姿勢は、ｘ，ｙ，ｚ位置情報および、θ，φ，Ψ回転情報であることができる。
【００５２】
シーン内のオブジェクト姿勢を決定するステップには、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから、識別された最も近いビューに基づいた、θ，φ，Ψ回転情報を決定するステップと、および／または、そのシーンへの、最も近いビューにおけるモデルのプロジェクトに基づく、ｘ，ｙ，ｚ位置情報を決定するステップと、および、プロジェクトモデルとシーン内のオブジェクトを表す３Ｄ画像データを比較するステップと、が含まれる。
【００５３】
上記の要素の組み合わせが意図されており、また、明細書内のものを作成することができる。ただし、矛盾が生じるような場合を除く。
【００５４】
前述の一般的な説明の両方および、以下の詳細な説明は、単なる例示および説明であり、開示を制限するものではなく、請求項に記載のとおりであることが理解されるべきである。
【００５５】
添付図面は、本願明細書に組み込まれ、その一部を構成し、本開示の実施形態を説明とともに、図示するものであり、そして、その原理を説明するのに役立つものである。
【図面の簡単な説明】
【００５６】
【図１】図１は、本開示の実施形態による、電子デバイスを備えたシステムのブロック図を示している。
【図２ａ】図２ａおよび図２ｂは、本開示の実施形態による、例示的なシーンを示しており（図２ａ）、オブジェクト姿勢は、事前にレンダリングされたオブジェクトモデルを使用して決定される（図２ｂ）。
【図２ｂ】図２ａおよび図２ｂは、本開示の実施形態による、例示的なシーンを示しており（図２ａ）、オブジェクト姿勢は、事前にレンダリングされたオブジェクトモデルを使用して決定される（図２ｂ）。
【図３】図３は、オブジェクトモデルの（準備／事前レンダリング）オフライン処理の典型的な方法を図示する概略的フローチャートを示す。
【図４】図４は、オブジェクト姿勢が決定される、（使用中の）画像データのオンライン処理の例示的な方法を図示する概略的フローチャートを示す。
【図５】図５は、図４の方法で使用される姿勢仮説の更新の例示的な方法を示す概略フローチャートを示す。
【発明を実施するための形態】
【００５７】
次に、本開示の例示的な実施形態を詳細に参照し、その例を添付の図面に示す。図面全体を通して、可能な限り、同じまたは同様の部品を参照するために同じ参照番号が使用される。
【００５８】
図１は、本開示の実施形態によれば、電子デバイス１を備えたシステム３０のブロック図を示す。システムは、さまざまな機能を有するロボットシステム１０を備えることができる。例えば、それは、駆動可能な車輪があって、移動可能であり得る。また、オブジェクトを取得するための手段例えば少なくとも１つのグリッパーを有することがあり得る。
【００５９】
電子装置１は、シーン内のオブジェクトの存在と位置（特に姿勢）を検出するコンピュータビジョンアルゴリズムを実行する。ロボットシステムでは、この情報を検索し、オブジェクトを見つけて操作することができるようにする必要がある。電子デバイス１への入力は、可視光（ＲＧＢ）と深度画像（Ｄ）のペアである。電子デバイス１の出力は、ターゲットオブジェクトの６Ｄ姿勢（ｘ，ｙ，ｚロケーションおよびｘ，ｙ，ｚ周りの回転）である。
【００６０】
電子デバイス１は、データストレージ２に接続されているか、または、データストレージ２を備えている。上記のデータストレージは、ターゲットオブジェクトを、形状（３Ｄ）およびオブジェクトの外観（色）情報を提供する３Ｄモデルファイルの形式において格納するために使用できる。
【００６１】
電子デバイス１は、システム３０においてさらなる機能をさらに実行することができる。例えば、電子デバイスは汎用ＥＣＵ（電子制御ユニット）システムとしても機能することができる。電子デバイス１は、電子回路、プロセッサ（共有、専用またはグループ）、組み合わせ論理回路、１つ以上のソフトウェアプログラムを実行するメモリ、および／または、説明された機能を提供する他の適切なコンポーネントを備えることができる。言い換えると、デバイス１はコンピュータデバイスであり得る。
【００６２】
デバイス１は、オブジェクトを検索して取得するように構成されている（可動）ロボットシステム１０の外部にあることができる。言い換えると、ロボットシステム１０のボード上の計算リソースが制限され得る。例えば、それらは、３Ｄデータを、例えばＷｉ−Ｆｉ経由で外部（および、たとえば静止）電子デバイス１にのみ送信できる。装置１によって決定された結果は、ロボットに送り返すことができる。
【００６３】
電子装置１は、さらに光学センサ３特に３Ｄデジタルカメラ３、例えばステレオカメラまたはＭｉｃｒｏｓｏｆｔ  Ｋｉｎｅｃｔカメラに接続されている。電子デバイス１およびデジタルカメラは、ロボットシステム１０に含まれ得る。デジタルカメラ３は、３次元シーンを記録でき、そして特に、シーンの形状（３Ｄ）および外観（色）情報を提供するデジタルデータを出力するように構成されている。
【００６４】
デジタルカメラ３の出力は、電子デバイス１に送信される。望ましくは、出力は瞬時に、つまり、リアルタイムまたは準リアルタイムで送信される。したがって、検索されたオブジェクトも、リアルタイムまたは準リアルタイムで電子デバイスによって認識および検索できる（つまり、姿勢が決定される）。
【００６５】
システム３０は、サーバ２０をさらに備えることができる。サーバ２０を使用して、例えば、図３に示されているように、オブジェクトモデルの（準備／事前レンダリング）オフライン処理を実行できる。事前にレンダリングされた（つまり、再符号化された）データは、その後、サーバに保存されるか、電子デバイスに提供される。この目的のために、この電子デバイス１は、サーバに接続可能であり得る。例えば、電子デバイス１は、無線接続を介してサーバ２０に接続されることができる。代替的または追加的に、電子装置１は、固定接続を介して、例えばケーブル経由でサーバ２０に接続可能であり得る。電子デバイス１とサーバ２０間のデータ転送が、ポータブルデータストレージ、例えばＵＳＢスティックを使用することで実現されることが可能である。代替的に、サーバの処理は、電子デバイス１自体によって実行されることができる。
【００６６】
以下では、本開示の原理概念およびアルゴリズムを、図２−図５を参照して説明する。
【００６７】
本開示は、例えばルックアップテーブルを使用した反復最近傍点（ＩＣＰ）アルゴリズムの、望ましくは改善された（すなわち加速された）実装を提案する。ＩＣＰは、２つの点群の整列に一般的に使用されるアルゴリズムである。オブジェクト検出シナリオでは、１つの点群はモデル仮説から得られ、以下、「シーン」と呼ぶ、センサからのクラウドデータをポイントするように調整する必要がある。
【００６８】
図２ａおよび図２ｂは、本開示の実施形態によれば、オブジェクト姿勢が、事前にレンダリングされたオブジェクトモデルを使用して決定される（図２ｂ）シーンの例を示している（図２ａ）。
【００６９】
図２ａのシーンＳ内の検知されたオブジェクトＯを表す画像データおよび図２ｂのオブジェクトモデルＭは、（図２ａおよび２ｂに模式的に示されているように）各点群を備える、または、構成する。点群からのデータ（例：輪郭、および表面法線）は、計算コストを削減するためにサブサンプリングされる。これは黒い点、図２ａおよび図２ｂとして示されている。
【００７０】
詳細に、図２ａは、現在のオブジェクトの仮説を示しており、図２ｂは、事前にレンダリングされた最も近い視点（ビュー位置）を示している。それぞれに輪郭と内部サンプリングポイントがある。内部表面領域の黒い点は、対応を確立するために使用される。すなわち、そのシーンから、左ビューの黒い点は対応する点ｄ＿ｉである。そして、右ビューの黒い点は、モデルの対応するソース点ｓ＿ｉである。
【００７１】
図示されているように、イメージセンサによって検知された図２ａのシーンは、上下逆さまであり、したがって、図２ｂのオブジェクトモデルと同じ向きではない。したがって、この例のように、最も近い事前レンダリングされた視点を決定できるが、そのビューポイントにリンクされた事前にレンダリングされたモデルビューが表示面で回転する、すなわち、検知されたオブジェクトに関して逆さまになるという問題が発生する可能性がある。
【００７２】
このために、モデルレンダリングスペースの安価でありながら非常に効果的な近似は、オンラインレンダリングと輪郭抽出の両方を回避するために使用できる。オフライン段階では、等距離の視点ｖ＿ｉは、ビュー依存のスパース３Ｄサンプリングセットをローカルオブジェクト空間に格納するために抽出されるレンダリングされた各３Ｄ輪郭点から、オブジェクトモデルの周りの単位球でサンプリングできる。これらのポイントは３Ｄ空間で使用することが望ましいため、スケールでサンプリングしたり、異なる面内回転をサンプリングしたりする必要はない。最後に、図２ａおよび図２ｂに示すように、各輪郭点について、また、その２Ｄ勾配方向が保存されることが望ましい、そして、それらの法線を持つ内部表面点のセットが保存され得る。
【００７３】
簡単に言えば、輪郭点は、図２ａ、図２ｂの例に示すように、オブジェクトモデルに関しては、表示された平面内の検知されたオブジェクトの回転とは独立である姿勢決定プロセスを提供するために利用できる。
【００７４】
図３は、オブジェクトモデルの（準備／事前レンダリング）オフライン処理の例示的な方法を示す概略フローチャートを示す。
【００７５】
オブジェクトモデルは、高密度の視点セットおよび輪郭などの必要なすべての情報から事前にレンダリングでき、点群や表面の法線データ、またはその組み合わせを抽出できる。このデータは、３Ｄユニットの頂点位置ｖ＿ｉ（つまり、ビュー位置）とともに保存される。各ｖ＿ｉは、独自のローカル参照フレームに独自のデータへの参照を保持する。このデータは、図４に示すように、（使用中の）画像データのオンライン処理されたデータとして提供される。
【００７６】
図４は、（使用中の）画像データのオンライン処理の例示的な方法を示す概略フローチャートを示す。ここで、オブジェクト姿勢が決定される。
【００７７】
図４において、最初にオブジェクトが認識される。この文脈では、図４は、オブジェクトの認識と位置特定（つまり、姿勢の決定）の（完全な）プロセスの例を示すことに留意する。しかしながら、認識ステップは、本開示の一部ではなく、先行プロセスのみであり得る。
【００７８】
その後、姿勢仮説が決定される。姿勢の調整が必要な場合、現在の姿勢仮説は、回転行列Ｒおよびカメラ空間内の並進ベクトルｔとともに提供されえる（図５の「姿勢仮説」を参照）。オブジェクト空間のカメラ位置は、（式１）で取得できる。
【数１】
0006955081.tif 000002
さらに、（図３の）再符号化されたデータおよび推定カメラ位置（またはカメラに対する対応する推定オブジェクト位置）に基づいて、最も近いビュー（３Ｄ単位ベクトル）が決定される（式２）。
【数２】
0006955081.tif 000003
【００７９】
最も近いビューを見つけることにより、オブジェクト姿勢の３Ｄ（θ，φ，Ψ）回転情報を決定できる。
【００８０】
記号化するために、モデルの姿勢［Ｒ；ｔ］は追跡中に提供され、ここでオブジェクト空間Ｏ（式１）のカメラ位置を計算することによるレンダリングは回避できる。式２では、ユニット長に正規化することが望ましい。ここで最も近い視点Ｖ＊は、ドット積を介してすばやく見つけることができる。
【００８１】
Ｖ＊のすべてのデータについて、ソースビューの各ポイント（事前レンダリング済み）が目的地の対応するポイントｄで識別されるように、シーンに前方プロジェクトされる。次に、確立された閉形式の解を特異値分解（ＳＶＤ）で解いて進めることができる。
【００８２】
各ｓ＿ｉ（モデルのソースポイント）はＶ＊で保存されるため、各ｓ＿ｉは、現在の仮説ｐを持つシーンに変換できる。これは、３Ｄ頂点ベクトルである。（式３）を参照。
【数３】
0006955081.tif 000004
【００８３】
これは、ポイントがシーンに取り込まれるだけで、ｄ＿ｉがまだどのポイントであるかは判別されない。このため、変換された点ｐは画像平面に逆プロジェクトされ、その画像位置において、シーンポイントクラウドを検索される。したがって、一定の時間を必要とする１つの操作でのシーンにおいて、ｄ＿ｉは点群を参照することで決定できる。このプロセスは、ＫＤツリーよりも計算コストが少なくてすみ、これは、ｓ＿ｉとｄ＿ｉの間の対応を取得するためにＩＣＰで従来使用されている。
【００８４】
さらに詳細には、図４に示すように、３Ｄポイントｐは画像平面にプロジェクトされる（カメラ画像が２Ｄに奥行き成分を加えたものであると仮定する）。
【００８５】
したがって、ポイントの２Ｄ位置は（ｘ，ｙ）において、ｘｍ＝ｆ（Ｘ／Ｚ）およびｙｍ＝ｆ（Ｙ／Ｚ）として決定することができる。ここで、ｆはカメラの焦点距離である。
【００８６】
後続のステップにおいて、深度情報ｚは、（ｘ、ｙ）において決定することができる。
【００８７】
その結果、ｘ，ｙ，ｚ位置情報およびθ，φ，Ψ回転情報を含む完全な６Ｄ姿勢を決定できます。
【００８８】
追加のステップとして、各対応は、プロジェクトされたソースクラウドポイントと宛先クラウドポイント｜｜（Ｒ＊ｓ＋ｔ）−ｄ｜｜との間の距離が、しきい値タウより小さい場合、方程式４を最小化するエネルギー関数についてのみ考慮される。（式４）
【数４】
0006955081.tif 000005
【００８９】
上記のすべてのステップは、各反復でタウ減衰を使用して実行でき、したがって、アルゴリズムをオクルージョンおよび外れ値に対して堅牢にする。
【００９０】
望ましくは、ＤＡＴＡ＿Ａは任意のタイプのデータセットであることに注意する。図３では、サブサンプリングされた点群、輪郭、そして表面法線が示されている。しかし、オンライン処理中のＳＶＤでは、「点群」情報のみに使用できるが、そして「輪郭」、「表面法線」は使用されないことがあり得る。どんな種類のデータセットを保存するのが望ましいかは、ＩＣＰの最適化アルゴリズムと本願特許に依存する。ＤＡＴＡ＿Ａの項目は特定しない。
【００９１】
オンライン処理におけるあらゆるタイプのオブジェクト認識アルゴリズムは、本開示において使用され得る。
【００９２】
３Ｄモデルは、あらゆる種類の例えば、ファイル内に保存できる。それは、望ましくは点群で構成され、または通常、表面または色の情報、またはこれらの任意の組み合わせで構成される。フォーマットタイプは、ＤＡＴＡ＿Ａのいずれかである。
【００９３】
図５は、図４の方法で使用される姿勢仮説を更新する例示的な方法を示す概略フローチャートを示す。姿勢の調整が必要な場合、このプロセスは追加で適用することができる。このプロセスでは、ＳＶＤは、仮説を更新するために、現在の姿勢仮説、始点ｓおよび終点ｄに基づいて適用できる。可能なＳＶＤ評価関数は式４である。
【００９４】
本開示では、あらゆるタイプのＩＣＰ最適化が機能するため、オンライン処理での姿勢仮説のさまざまな更新手法が可能である。
【００９５】
説明全体を通して、クレームを含み、「１つの．．．を備える（ｃｏｍｐｒｉｓｉｎｇ  ａ）」という用語は、特に明記しない限り、「少なくとも１つを含む」と同義語として理解されるべきである。加えて、請求項を含む説明に記載されている範囲は、特に明記しない限り、その最終値を含むと理解されるべきである。説明されている要素の特定の値は、当業者に知られている許容される製造または業界の公差内にあるものと理解すべきである。そして「実質的に」および／または「およそ」、および／または「一般に」という用語の使用は、そのような容認された許容範囲内に入ることを意味すると理解されるべきである。
【００９６】
本明細書の本開示は、特定の実施形態を参照して説明したが、これらの実施形態は、単に原理の例示および本開示の用途にすぎないことは理解されるべきことである。
【００９７】
本願明細書と例は単なる例示と見なされることを意図しており、本開示の真の範囲は以下の特許請求の範囲によって示される。
【図１】
0006955081.tif 000006
【図２ａ】
0006955081.tif 000007
【図２ｂ】
0006955081.tif 000008
【図３】
0006955081.tif 000009
【図４】
0006955081.tif 000010
【図５】
0006955081.tif 000011