(57)【要約】      （修正有）【課題】浮遊している物体の位置及び向きを検出する方法を提供する。【解決手段】３Ｄセンサーが目標物体のデータを送達し、データはモデルデータベースに保存された目標物体のデータと比較され、また、目標物体の初期的な位置及び向きの予測と、続いてのより正確な位置及び向きの予測との両方に使用される。３Ｄセンサーは、３Ｄ点群の形式でセンサー座標系に関するデータを送達し、３Ｄ点群は深度画像に転換される。深度画像では、各ピクセルに、目標物体を囲む直方体の深度に対応するグレー値が割り当てられる。この場合、初期的な位置及び向きの予測のための方法は、２Ｄテンプレートマッチングに基づいており、３Ｄテンプレートマッチングと言われる。深度データの使用によって、６自由度のうち３つが除外され、初期的な位置及び向き予測が、堅実、かつ、迅速となる。【選択図】図１
2015201192.tif 000002
【特許請求の範囲】
【請求項１】
物体、特に非協力物体の位置及び向きの決定のための方法であって、
３Ｄセンサー（３）が目標物体（２）のデータを送達し、
当該データは、モデルデータベース（５）に保存された前記目標物体（２）のデータと比較され、また、前記目標物体（２）の初期的な位置及び向きの予測（６）、及び、それに続くより正確な位置及び向き予測（７）に用いられることを特徴とする方法。
【請求項２】
前記３Ｄセンサー（３）が、３Ｄ点群（４）の形式でセンサー座標系に関するデータを送達し、
当該３Ｄ点群（４）は、ピクセルの各々が前記目標物体（２）を囲む直方体の深度に対応するグレー値を割り当てられる深度画像に変換されることを特徴とする、
請求項１に記載の方法。
【請求項３】
前記センサー（３）が３Ｄ LIDARであることを特徴とする、請求項１又は２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体、特に非協力物体の位置及び向きの検出のための方法に関する。
【背景技術】
【０００２】
無人宇宙飛行において、ミッションの計画の段階で準備されていない場合には、使用される宇宙船や衛星のメンテナンス、修理、及び、廃棄が問題となる。目標物体へのアプローチと最終的な捕捉とが制御された方法で実行されうるよう、このような目標物体の相対的な位置及び向きの正確な測定が、これらの活動を実行可能にするために必要である。特に、このアプローチタスクに適合されていないという意味で非協力的であり、換言すると、ナビゲーションタスクをサポートするためのいかなる人工的な目印も備えておらず、また、向き制御もされていない目標物体には、これが当てはまる。
【０００３】
この状況において、公知のカメラベースの方法は、カメラ画像等の深度画像における物体の輪郭に基づいて、捕捉される物体を再構成することを試みている。このプロセスでは、３次元データに基づく方法に本質的な関心がもたれているように、これらの公知の方法はしばしば３Ｄ点群に言及しており、それらは典型的には３Ｄセンサーによって生成される。可能な３Ｄセンサー技術は、レーザーベースの光飛行時間測定センサーであるが、これは、レーザービームを場に照射し、プロセスの中でこの場の立体構造をスキャンするものである。LIDAR（light detection and ranging）と言われるこれらのセンサーに加えて、３Ｄ測定を作り出す、例えば、PMD（photon mixing device）カメラ、ステレオカメラベースの方法、光切断センサーその他のさらなるタイプのセンサーがある。この場合、公知のセンサーに共通することは、センサーが環境をスキャンし、それからその環境の３Ｄ画像を再構成することである。
【０００４】
物体の位置及び向きの検出のためにこの情報を使用するシステムは、主に、目標体の空間的な構造を、目標物体とその位置及び向きの象徴的な特徴として頼るものである。様々なアプローチの中の最も区別可能な特徴は、データを分析するシステムや、そこで実行される方法にある。物体認識及び３Ｄデータに基づく位置決定の常法の詳細説明は、例えば、"Dreidimensionales Computersehen, Gewinnung und Analyse von Tiefenbildern" [Three-dimensional computer vision, obtaining and analysing depth images] （X. Jiang 及びH. Bunke著, Springer Verlag, Berlin, Heidelberg, New York, 1997）の本の記述に見つけられる。この記事で述べられた方法は、初期的に、３Ｄ点群のセグメントがより記号的な記述に変換されるという事実に基づく。このことは、例えば、平坦な表面の区画が３Ｄ点に適合され、次いでセンサーデータが表面エレメントの集合に変換されるように現されうるが、これは、表面セグメントで構成される物体である場合に特に良好に機能する。自由な形の表面には、対応するより複雑な方法でセグメンテーションが設定されねばならない。しかしながら、実際の位置及び向きの決定の前、予備処理のステップとしてのこのようなセグメンテーションの使用には不利点もあり、十分なセグメンテーションのためには高いデータ密度が要求され、また、軽微な測定ノイズのみが許容される。
【０００５】
そこで、代替方法のアプローチも既に提案されており、そのようなアプローチは、獲得されたデータからシンボル記述的なフォームを生成する手間を省くものである。例えば、いわゆる３Ｄ LASSO技術は、位置と向きの決定の最初のステップとして非常に密度分布が低い３Ｄ点群を用い、目標物体のモデルとの比較を用いることによる物体の位置及び向きの初期的な予測を達成するために、多角アスペクトハッシュ法と言われるアプローチを適用する。また、一連の確率論的アプローチが知られており、それもまた、既知の物体の位置と向きの予測のために同様に使用されうるものである。これらの公知のアプローチでは、３次元的な位置及び向きの仮説が、３Ｄ物体の有効なボクセル表現を用いて、その可能性に関して評価される。この評価メカニズムを用いることで、観察された３Ｄ点群に基づいた、最も推定度の高い位置及び向きを決定するために、古典的な粒子フィルターを用いることが可能となる。
【０００６】
これらの公知の方法はいずれも、初期的な位置及び物体の向きを予測するために用いられるが、これは、続いての位置及び向きのトラッキングプロセスを開始するために十分に正確なものである。文献では、この位置及び向きのトラッキングは、ICP（iterative closest point）と言われるアルゴリズムを用いて非常にしばしば実行される。このアルゴリズムもまた、物体モデルを点群としてエンコードし、初期的な位置及び向き予測からスタートして、各ケースにおける両方の３Ｄ点群の最近隣を決定し、また、このようにして、対応する３Ｄ点ペアのリストを得る。２つの点群を互いに近づける変換マトリクスが、続いて、最小二乗法を用いてそこから生成される。少しの繰り返しの後に、２つの点群は最適に一致させられるが、初期的なスタート位置は、実際の状況に充分に近いものである。続いて、繰り返しプロセスの間の個々の変換のチェーンが、探査された位置及び向きを与える。加えて、例えばモデルを表面モデルとして表現し、次いで、３Ｄポイントを表面モデルの最も近い垂直フットポイントと比較するというような様々なバリエーションが存在する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】DE 60 023 447 T2
【特許文献２】DE 10 2011 100 927 A1
【特許文献３】DE 10 2011 075 335 A1
【特許文献４】DE 10 2008 019 795 A1
【特許文献５】DE 10 2006 036 346 B4
【特許文献６】DE 10 2006 036 345 A1
【特許文献７】DE 69 705 052 T2
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、最初に言及したタイプの方法を、宇宙に自由に浮遊している目標物体（例えば衛星）について、十分なサイズの視野に分布する３Ｄ点の集合を獲得するセンサーを用いて、それ自体は公知である物体の位置及び向きが確定されうるように、デザインすることである。
【課題を解決するための手段】
【０００９】
本発明はこの目的を次の手段で達成する。すなわち、３Ｄセンサーを用いて物体の位置及び向きを決定するための方法、及び、それに適合する分析方法であって、前記方法は、３Ｄデータの獲得と、初期的な位置及び向き予測と、続いての目標物体のトラッキングに分割される。
【００１０】
本発明の方法は、２つの宇宙船の間のアプローチ又はドッキングの間に生じるナビゲーションタスクを達成する。基本的なアイデア自体は、目標物体の空間的構造を、目標物体の位置及び向きについての情報を与える基本的な特徴の全体として用いることにある。このケースにおいて、センサーデータのセグメンテーション又は特徴抽出を実行すること、つまり、生データをシンボリックな記述形式に転換することは省略される。代わりに、本発明の方法は、シグナルに近いデータのみに基づくアプローチに従うもので、その結果として、データ密度とデータの質、つまり測定ノイズを最小化することについて、特に高い要求を置くものではない。本発明によれば、解決方法は、初期化ステージと、続いてのトラッキングステージとに分けられる。本発明によれば、トラッキングステージについては、リコース（recourse）が既存の技術であるが、本発明の方法は、位置や向きについて事前情報が存在しない目標物体のおおまかな位置及び向きの初期化のために、シンプルだが堅実なアプローチを選択する。このアプローチは、それ自体は公知である２Ｄ画像処理のテンプレートマッチングに基づくが、３Ｄ点群から生成される深度画像を使用するおかげで、３次元にまたがるサーチスペースが低減される。
【００１１】
本件の目標物体の位置及び向きの予測のための発明による方法は、公知の方法と比較して数多くの利点を有する。提案された方法のオリジナルデータとの近さ−いかなる３Ｄデータのセグメンテーションも必要でない−ゆえに、データ品質、つまり、ポイント密度や測定ノイズに高い要求を置くことがない、非常に堅実なアプローチとなる。このように、本発明の方法は、他の示唆された方法に比べて、ポイント分布の特別な形式を要求しないという利点を有する。既知の方法との主要な相違点は、物体の位置と物体の向きとの初期的な予測を行なうところにある。この点において、２Ｄ画像処理の既存の原則が３Ｄ点群の特別なケースに適用され、２Ｄ画像処理のテンプレートマッチングに方向づけられた方法が用いられる。３Ｄデータの存在によって、本発明の方法では、並進不変性及びスケール不変性が最大限の可能性をもってなお実現され得る。本発明によれば、可能性の有る方向のためだけにサーチが行われ、非常にシンプルな基準、すなわち、直方体のサイズによって、多くの仮説が除外されうる。
【００１２】
目標物体のトラッキングは、初期化の後に行われるか、或いは、それ自体は公知であるICP法又はそのバリエーションの方法を用いて既に行われた、トラッキングステップからの位置及び向きの情報の中で行われる。続いて、ICPアルゴリズムのために用いられるモデルデータベースが幾何学的な要素から成り立つが、それは例えば、３Ｄポイントの集合、例えばトライアングルである空間的な表面セグメント、空間的な直線セグメント等である。これらのデータは目標物体のCAD表現から得られ、また、これらデータは、適切であれば、達成されるべき正確さの詳細の度合いや可能なコンピュータの能力に合わせて最適化され、適合される。
【００１３】
すなわちICPバリエーションを用いた物体トラッキングは、実質的に現在の方法に対応するものであるが、次の特別な条件が、位置及び向き予測のための方法に適用される：
１．物体は公知であり、モデルとして保存されうる。
２．特に宇宙での使用の場合、また、水中ロボットの使用の場合、物体はセンサーの視野の中で唯一のものであり、３Ｄデータの中に同時にバックグラウンド物体が存在しない。
３．センサーは特に物体からの空間的距離を含む、物体の３Ｄデータを送達する。
【００１４】
これらの３つの特性が本発明の方法に使用されるが、本発明は２Ｄ画像処理の標準的なアプローチから発達したもので、３Ｄテンプレートマッチングと呼ばれる。２Ｄ画像処理では、テンプレートマッチングは、より大きな画像の中で、長方形の画像セクション、サーチウィンドウ又はテンプレートを検出する方法として言及される。他の方法は、ブロックマッチング又はSSD法として知られる自乗差の和、又は、他の標準化された相互相関の計算である。２Ｄ画像処理におけるテンプレートマッチングの大きな問題は、照明の変化に対する脆弱性、すなわち照明不変性の欠如、また、回転およびスケール不変性の欠如である。つまり、サーチスペースが過大になるであろうこと、また同時に、照明不変性の欠如が堅実な方法をもたらさないだろうということゆえに、２Ｄカメラ画像のためのテンプレートマッチングの使用は、実用性から外れるものである。
【００１５】
しかしながら、本発明の方法の特徴の下では、本発明で備えられるセンサーは３Ｄ点群を提供し、３Ｄ点群は、外部の照明条件から独立であり、また、目標物体の全体又は部分的な空間描写を示す。２Ｄ画像処理のスケール不変性の欠如は、特に物体の空間的な深度の情報を用いることによって補償されうるし、それで、テンプレートマッチングのような映像ベースのアプローチのためのサーチスペースは２Ｄの場合に比べて大幅に低減されることができる。そして結果として、シンプルで素早い認識が可能な、シンプルで堅実なアプローチとなる。
【００１６】
次の文献が先行技術として言及される：
DE 60 023 447 T2は、表面の位置及び向きの検出を取り扱っており、処理においては、既知のデータから予め得られる特徴を用いる。これは、本発明の方法には当てはまらない。
DE 10 2011 100 927 A1は、レーザー距離測定に基づく車両の位置と向きの予測を取り扱っている。この文献では、本発明の方法で用いられる測定原理と同じ測定原理が、３Ｄ点群の獲得のために用いられるが、本質的な相違点は、この方法では、車両は一つの平面上のみを動くため、３〜６自由度のみが決定されねばならないことである。
DE 10 2011 075 335 A1は同様に、物体の位置及び向きの決定のためにコンピュータの支援を受ける方法を示唆している。
【００１７】
しかしながらこれは、カメラ画像の使用と、データベースの特徴と比較されるこれらカメラ画像からの特徴を抽出することとによって、行われる。
DE 10 2008 019 795 A1は３Ｄ点群に物体モデルを適合させるための方法を含む。本発明の方法と対照的に、この公知の方法は、深度データの再構成のためにステレオ法を用い、処理において、ステレオ再構成においてエラーを回避又は改善する試みを行う。さらに、本発明では用いられない、クラスター技術が用いられる。
さらに、DE 10 2006 036 346 B4は、自動化された３Ｄ物体の認識及び向き決定のための方法を開示しているが、この方法は、目標物体が、例えば、直方体や円筒形のような、多様で規則的な幾何学体からなることを前提としている。
最後に、DE 10 2006 036 345 A1は、同じ前提から発展した方法を開示しており、また、DE 69 705 052 T2は、２つの動かされる物体の間のナビゲーション補助を目的とするもので、シグナル所要時間に基づく方法に基づくものである。
【００１８】
本発明は続いて、図面に基づいてより詳細に説明される。
【図面の簡単な説明】
【００１９】
【図１】図１は、LIDARベースの位置及び向きの予測のためのシステムの原理的な構造を示す。
【図２】図２は、LIDARベースの位置及び向きの予測のためのシステムのアクション様式を示す。
【図３】図３は、多面体のコーナー点を示しており、リファレンスの計算のための視野角は距離を示している。２つの異なる解像度が図面に示されている。
【図４】図４は、リファレンス像と現在像との比較の原理を示している。
【図５】図５は、部分的な物体像である場合の、リファレンス像との比較の原理を示している。
【図６Ａ】
【図６Ｂ】図６Ａ及び６Ｂは、縦軸に対して約４°／ｓ回転する衛星の位置と向きの予測におけるエラーを示している。
【図７】図７は、３Ｄテンプレートマッチングと表面ＩＣＰのポイントの適用の後の、目標物体の表面モデルへの３Ｄ点群の点の適用を示す。
【図８】図８は、目標物体からより遠い距離の場合の目標物体の表面モデルへの３Ｄ点群の適合と、全体図を示す。
【発明を実施するための形態】
【００２０】
図１に示された、本発明の方法を用いる位置及び向きの予測のワークフローは、次のとおりである：
３Ｄデータ分析ユニット１は、モデルデータベース５を収容しており、モデルデータベース５は、２つの形式で、目標物体２に関するモデル情報を含んでいる。
【００２１】
３Ｄセンサー３は、センサー３の視野の中に位置する目標物体２の３Ｄ点群４を獲得する。ここで、センサー３は、互いに近接している必要は無くむしろ間隔があるほうが好ましい多数の３Ｄ点を決定できる限りにおいて、いかなる所望のセンサーであってもよい。
【００２２】
初期的な位置及び向きの予測のための方法は、まず、上述で得られた３Ｄデータ点とモデル表現との比較の手段によって、目標物体２の第一のラフな位置及び向き予測６を行うが、この予測は、３つの空間角のすべてにおける向きについて約１０°の正確性を達成し、また、目標物体２の位置について、物体の大きさの約３〜５％の正確性を達成する。
【００２３】
続いての、位置及び向き予測７のトラッキングのための方法は、まず、先の目標物体２のラフな位置及び向き予測６の結果を利用し、継続的に３Ｄ点群４をアップデートする間に、位置及び向きの予測７を精緻化する。物体トラッキングがオンタイムの目標物体２を見失うと、改めて、初期的な位置及び向き予測６が再開される。
【００２４】
データベース５は、処理ステージの両方に最適に提供されるように、つまり、目標物体２の初期化６及びトラッキング７のために準備されて、複製された形式で目標物体２についての情報を表している。
【００２５】
３Ｄセンサー３は、センサー座標系に関して、より高い又は低い密度の３Ｄデータを送達する。この３Ｄ点群４は、深度画像を与えるように変換されうるが、当該深度画像では、各ピクセルが、物体を囲む直方体の中の深さに対応するグレー値を割り当てられている。すべての３Ｄデータの空間的な焦点は、直方体の中心を用いて同定される。つまり、例えば２Ｄテンプレートマッチングの場合に当てはまるような空間サーチは、完全な図の場合は省略されうる。３Ｄデータのテンプレートすなわちテンプレート物体２の現在像への変換は、図２に描かれており、また、各ピクセルの深さ情報をエンコードするグレー値を伴うセンサー測定値の正投影図に対応している。
【００２６】
多面体の各視野方向について、視線に対する目標物体２の回転が、何らかの角度分解能でスキャンされ、そして、これらの各参照像のそれぞれについて、図２に示されるように、テンプレートが生成され、データベースに保存され得る。参照テンプレートのサイズは、もしも目標物体が十分に幾何学的な構造を有していれば、一般的にとても小さくなる。
【００２７】
方法の試行の間、約２メートルのサイズの物体が、３０×３０ピクセルのサイズの参照テンプレートで表現された。各参照像に加えて、目標物体２の原点、つまり主座標系と決定された焦点との間のオフセットが保存され、当該オフセットは、正投影図のために直方体の中心に移される。このオフセットを考慮することが、位置サーチの間に、目標物体２の固有の座標系に再び見られる位置を関係づけることを可能にする。同様に保存される物が、直方体において有効に使用される、幅、高さ、深度である。
【００２８】
直方体とテンプレートのサイズの決定のために物体の最大寸法のみを必要とする正投影図のおかげで、このようにして、スケール不変性が得られる。３Ｄ点群の焦点についての像を標準化することによって、完全な物体像である場合、位置不変性もこのようにして達成される。つまり、探査された６自由度のうち３つが、すでに除外されうる。回転の物体の自由度は残っているが、これは物体の位置に対応する。物体が何らかの対称性を持たない限り、これらはそれ以上解析されえない。本発明の方法はこの問題を解決し、言及されたテンプレートの形式の物体の異なる観察方向からの様々な像が、モデルデータベース５に、何らかの角度分解能をもって保存される。ゼロ点に関するユニット球の位置の回転の３つの自由度のうち２つのために、様々な画が除外されうる。そこでは、ゼロ点への各点の結合線が、視線、つまり、回転の３自由度の２つを規定する。図３の図面は、これを２つの異なる角度分解能で示している。
【００２９】
実際の位置及び向き予測７は、図４に示されるように、獲得された３Ｄセンサーデータから得られる現在像が、モデルデータベース５のすべての像と比較されることで行われる。この場合、この模式的なスケッチは、回転の３自由度のうち２つのみを示している。直方体で使用される有効な幅及び高さが、第一の比較クライテリアとして呼び出される。現在像が、参照像よりも大きな幅や高さを要求するときは、これは探査された像ではないとして、仮説は棄却されうる。サイズが適合するときには、2つのテンプレートは単純なピクセルごとの比較、すなわちSSDクライテリアによって比較されうる。これに対して、現在像が、現在検討されている参照テンプレートよりも小さいときには、予め却下されることはない。図５に示されるように、現在像は目標物体２の部分のみの像でありえるためである。一方、データベース５の参照画像は、常に、完全な物体像を含んでいる。
【００３０】
この場合、SSDクライテリアの空間補正や計算は、参照画像内の全てのオフセット点にも必要であり、このために、現在像は参照像に完全に一致する。このサーチの最も高い修正、又は、最も低いSSD値が、参照画像に対する現在像のための比較値を与える。続いて、現在像の全体サイズが重要性を有さないように、結果が標準化される。
【００３１】
最後に、図６〜８に、本方法の性能が実際のテスト構造物に基づいて示されており、その中では、衛星のモデルが、宇宙船のアプローチを模擬するロボットテストユニットにおいて使用されている。この場合、本発明の方法は、公知の回転する非協力目標衛星への宇宙船のアプローチにおける相対的なナビゲーションの使用例のために、３Ｄ LIDARを用いて試験された。この目的のために、多数の試験軌道が、これらの回転衛星へのアプローチを模擬するために飛行され、また、このアプローチの間に生成された目標物体２の位置及び向き予測のための３Ｄ LIDARの測定データが、テストユニットの参照測定値と比較された。システム系は３Ｄ LIDARを用いて試験されたが、３Ｄ LIDARは約３Hzで場を分解し、１ラインにつき１５０の測定点と約４０のラインの正弦スキャニングの解像度であった。
【００３２】
提案されたアプローチは、最初の部分で言及された”３Ｄ LASSO”に最も類似している。３Ｄテンプレートマッチングと３Ｄ LASSO法の間の性能比較は、正確性の確実な上昇を示すことができた。図６は、約２ｍのサイズの衛星の場合に、本発明のアプローチで達成される正確性を示しており、特に、図６Ａではメートルを基準として平均位置エラーを示しており、図６Ｂでは角度を基準として平均角度エラーを示している。
【００３３】
図７は、３Ｄテンプレートマッチングと表面ＩＣＰへのポイントの使用による目標物体２の表面モデルへの３Ｄ点群の適用を示している。部分的な像のみが生じるよう、目標物体２はこの場合センサーの近くに位置される。最後に、図８は、目標物体２からより大きな距離で、完全な像の場合での目標物体２の表面モデルへの３Ｄ点群の適用を示している。
【図１】
2015201192.tif 000003
【図２】
2015201192.tif 000004
【図３】
2015201192.tif 000005
【図４】
2015201192.tif 000006
【図５】
2015201192.tif 000007
【図６Ａ】
2015201192.tif 000008
【図６Ｂ】
2015201192.tif 000009
【図７】
2015201192.tif 000010
【図８】
2015201192.tif 000011
【外国語明細書】
2015201192000001.pdf