(57)【要約】センサーの３次元（３Ｄ）姿勢を推定する方法およびシステムは、最初に、センサーによって３次元（３Ｄ）シーンのシーンデータを取得することによって、センサーの３次元（３Ｄ）姿勢を推定する。２次元（２Ｄ）線は、シーンデータにおいて検出され、また２Ｄ線は、シーンの３次元（３Ｄ）モデルの３Ｄ線とマッチングされて、マッチング線が生成される。その次に、センサーの３次元（３Ｄ）姿勢がマッチング線を用いて推定される。
2018522348.tif 000002
【特許請求の範囲】
【請求項１】
センサーの３次元（３Ｄ）姿勢を推定する方法であって、
前記センサーによって３Ｄシーンのシーンデータを取得するステップと、
前記シーンデータ内の２次元（２Ｄ）線を検出するステップと、
前記２Ｄ線を前記シーンの３Ｄモデルの３Ｄ線とマッチングして、マッチング線を生成するステップと、
前記マッチング線を用いて前記センサーの前記３Ｄ姿勢を推定するステップであって、前記センサーはカメラであり、前記２Ｄ線及び前記３Ｄは垂直線であるもとの、
を含み、前記ステップはプロセッサにおいて実行される、方法。
【請求項２】
慣性計測装置（ＩＭＵ）を用いて前記センサーのための位置合わせデータを取得することであって、前記位置合わせデータは前記センサーのロール角及びピッチ角を含むものと、
前記位置合わせデータを用いて、前記シーンデータを、前記シーンの垂直方向に位置合わせすることと、
を更に含む、請求項１に記載の方法。
【請求項３】
前記シーンデータはピクセルを含み、
前記検出することは、
空間領域内の前記２Ｄ線を、高い空間勾配を有する前記ピクセルに当てはめること、
を更に含む、請求項１に記載の方法。
【請求項４】
姿勢機首基準（ＡＨＲＳ）手順を適用して、ワールド座標系内の前記センサーの姿勢を得ること、を更に含む、請求項１に記載の方法。
【請求項５】
前記位置合わせデータから回転オフセットＲを求めること、を更に含み、
前記位置合わせ後の前記シーンデータ内のピクセルｐ’（ｘ’，ｙ’）と、前記シーンデータ内のロケーションｐ（ｘ，ｙ）との間の関係は、
【数１】
2018522348.tif 000010
であり、ここで、Ｋは前記イベントセンサーのための固有パラメーターの行列であり、ｓは前記関係がスケール次第であることを示すスケール係数である、請求項２に記載の方法。
【請求項６】
前記２Ｄ線を検出することは、時空間ビニング及び投票手順を用いる、請求項１に記載の方法。
【請求項７】
前記２Ｄ線は、最小二乗手順を用いて当てはめられる、請求項３に記載の方法。
【請求項８】
３つの２Ｄ線及び３つの３Ｄ線の最小値が前記推定に用いられる、請求項１に記載の方法。
【請求項９】
センサーの３次元（３Ｄ）姿勢を推定する方法であって、
前記センサーによって３Ｄシーンのシーンデータを取得するステップと、
前記シーンデータ内の２次元（２Ｄ）線を検出するステップと、
前記２Ｄ線を前記シーンの３Ｄモデルの３Ｄ線とマッチングして、マッチング線を生成するステップと、
前記マッチング線を用いて前記センサーの前記３Ｄ姿勢を推定するステップであって、前記センサーはデジタルイベントセンサーであり、前記３Ｄ線は垂直であるものと、
を含み、前記ステップはプロセッサにおいて実行される、方法。
【請求項１０】
慣性計測装置（ＩＭＵ）を用いて前記センサーのための位置合わせデータを取得することであって、前記位置合わせデータは前記センサーのロール角及びピッチ角を含むものと、
前記位置合わせデータを用いて、前記シーンデータを、前記シーンの垂直方向に位置合わせすることと、
を更に含む、請求項９に記載の方法。
【請求項１１】
前記検出することは、
時空間領域内の前記シーンデータに平面を当てはめることによって、空間領域内の前記２Ｄ線を当てはめること、
を更に含む、請求項９に記載の方法。
【請求項１２】
前記２Ｄ線を検出することは、時空間ビニング及び投票手順を用いる、請求項９に記載の方法。
【請求項１３】
前記イベントデータは＜ｘ，ｙ，ｔ，ｓ＞であり、ここで、（ｘ，ｙ）は前記シーンデータにおけるピクセルのロケーションであり、ｔは時点であり、ｓは状態であり、ここで、０は前記ピクセルの輝度における減少を示し、１は前記ピクセルの輝度における増加を示す、請求項９に記載の方法。
【請求項１４】
センサーの３次元（３Ｄ）姿勢を推定するシステムであって、
３Ｄシーンのシーンデータを取得するように構成されたセンサーと、
前記センサーに接続され、前記シーンデータ内の２次元（２Ｄ）線を検出し、前記２Ｄ線を前記シーンの３Ｄモデルの３Ｄ線とマッチングして、マッチング線を生成し、前記マッチング線を用いて前記センサーの前記３Ｄ姿勢を推定するように構成されたプロセッサと、
を備え、
前記センサーはカメラであり、前記２Ｄ線及び前記３Ｄは垂直線である、システム。
【請求項１５】
前記センサーのための位置合わせデータを取得するように構成された内部計測装置（ＩＭＵ）を更に備え、
前記位置合わせデータは、前記センサーのロール角及びピッチ角を含む、請求項１４に記載のシステム。
【請求項１６】
前記シーンデータは、前記位置合わせデータを用いて前記シーンの垂直方向に位置合わせされる、請求項１４に記載のシステム。
【請求項１７】
前記センサーは、デジタルビジョンセンサーである、請求項１４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、コンピュータビジョンに関し、より詳細には、センサーの姿勢の推定に関する。
【背景技術】
【０００２】
従来のカメラは、通常、固定のフレームレートで取得される画像のシーケンスとしてシーンを観測する。この画像に基づく表現は、シーンの不十分で冗長な符号化であり、パワー、メモリ及び時間を浪費する。各画像の露出時間は同じであるため、これによって、高ダイナミックレンジを有するシーン、すなわち、非常に暗い領域及び非常に明るい領域を含むシーンの撮像が困難になる可能性もある。
【０００３】
ダイナミックビジョンセンサー（ＤＶＳ）は、従来のカメラと異なる。ＤＶＳは、実際のピクセル輝度値を出力しない。代わりに、ＤＶＳは、信号ピクセルレベルの変化、すなわち、ピクセルの輝度が増加するか又は減少するかを出力する。ＤＶＳは、人間の網膜モデルによって着想を得ている。これについては非特許文献１を参照されたい。これらのセンサーは、固定フレームレートにおいて画像全体を送信しない。代わりに、ＤＶＳは、網膜神経節細胞からの信号と同様に０及び１のバイナリイベントとして、ピクセルレベル変化のみを、変化が生じたまさにその時点に送信する。例えば、０は、輝度における減少を示し、１は、特定のピクセルの輝度における増加を示す。結果として、イベントは、毎秒数千フレームで動作する従来の高速カメラと同等か又はより良好なマイクロ秒時間分解能で送信される。すなわち、固定フレームレートで画像全体を無駄に送信する代わりに、本発明が対象とする用途では、ＤＶＳは、イベントの発生時にセンサーの動きによって生じるローカルピクセルレベル変化のみを送信する。
【０００４】
特許文献１「Apparatus and method for recognizing gesture using sensor」２０１５において、ジェスチャ認識のためにダイナミックビジョンセンサー（ＤＶＳ）が用いられている。特許文献２「Apparatus and method for processing user input using motion of object」２０１４において、動いている物体を追跡するためにＤＶＳが用いられている。オプティカルフロー等の従来の手順がＤＶＳのために開発されている。特許文献３「Method of estimating optical flow on the basis of an asynchronous light sensor」２０１４を参照されたい。
【０００５】
いくつかの方法は、従来のカメラを用いてビジュアルオドメトリをＤＶＳに拡張する。非特許文献２を参照されたい。Censi他は、ＤＶＳ及び相補型金属酸化膜半導体（ＣＭＯＳ）カメラと共に用いられるビジュアルオドメトリ手順を開示している。新規の較正手順は、ＤＶＳ及びＣＭＯＳカメラの時空間較正を実行する。それらの手法は、以前のＣＭＯＳフレームに関するＤＶＳイベントの相対運動を推定する。本方法は、回転推定値について正確であるのに対し、並進推定値はノイズが多い傾向にある。
【０００６】
ＳＬＡＭ技法及び３Ｄ再構成方法もＤＶＳのために開発された。これについては非特許文献３及び非特許文献４を参照されたい。オプティカルフロー推定のためのＬｕｃａｓ−Ｋａｎａｄｅ追跡手順がＤＶＳのために拡張された。反復最近傍点（ＩＣＰ）等の或る特定のレジストレーション方法が、マイクログリッパーを制御するためにＤＶＳのために拡張された。ＤＶＳは、クワッドローターの回避操縦にも有用とすることができる。一対のＤＶＳを、衝突を予測し回避するためにクワッドローター付近でオブジェクトを再構成するためのステレオカメラとして用いることができる。
【０００７】
非同期ＤＶＳの場合、エピポーラ幾何学の概念を直接用いることができない。エピポーラ幾何学は、様々な観点から取得された画像の対における対応する点間の関係を提供する。最近では、非同期イベントベースのステレオ構成のために適用可能なエピポーラ幾何学の一般的なバージョンが開発された。これについては、非特許文献５を参照されたい。
【０００８】
ステレオマッチングは、イベントヒストグラムを用いて行うことができ、ジェスチャ認識のために推定深度を用いることができる。ステレオを超えて、いくつかの方法は、３Ｄ再構成のために３つ以上のイベントセンサーを用いる。
【０００９】
ＤＶＳベースの解決策は、粒子フィルターベースの位置特定及びマッピングについても知られている。更なるセンサーなしでＤＶＳのみを用いてシーンのモザイクを構築することが可能である。これは、センサーの運動を追跡し、データのレジストレーション及び統合のために推定運動を用いることによって達成される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許出願公開第２０１５／０１６０７３７号明細書
【特許文献２】米国特許出願公開第２０１４／０３５４５３７号明細書
【特許文献３】欧州特許第２７９５５８０号明細書
【非特許文献】
【００１１】
【非特許文献１】Delbruck他「A silicon early visual system as a model animal」Vision Research, 2004
【非特許文献２】Censi他「Low-latency event-based visual odometry」ICRA, 2014
【非特許文献３】Weikersdorfer他「Simultaneous localization and mapping for event-based vision systems」Computer Vision Systems, 2013
【非特許文献４】Carneiro他「Event-based 3D reconstruction from neuromorphic retinas」Neural Networks, 2013
【非特許文献５】Benosman他「Asynchronous event-based Hebbian epipolar geometry」IEEE Trans. Neural Network, 2011
【非特許文献６】Mahony他「Nonlinear complementary filters on the special orthogonal group」Automatic Control, IEEE Transactions on, 53(5):1203-1218, 2008
【発明の概要】
【発明が解決しようとする課題】
【００１２】
一方、欠点として、通常のＤＶＳのコストは、数千ドルの範囲内にある。
【課題を解決するための手段】
【００１３】
本発明の実施の形態は、シーンデータを取得するセンサーを用いた位置特定及び追跡のための方法及びシステムを提供する。本発明は、２つの主要な実施の形態を提供する。低速の用途及び低コストのシステムの場合、センサーは、従来のカメラとすることができる。高速の用途の場合、ダイナミックビジョンセンサー（ＤＶＳ）を用いることができるが、そのようなセンサーのコストは、２０ドル未満とすることができるカメラのコストよりも２桁高くなり得る。
【００１４】
ＤＶＳにより、通常、大きな時間勾配を有するピクセルについてイベントがシグナリングされる。時間勾配は、通常、センサーがシーンに対して動くときに、シーン内のエッジ（高空間勾配）によって生じる。実施の形態は、高速時空間ビニング方式を用いて、垂直エッジに関連付けられたこれらのイベントから２Ｄ線を検出する。シーンの３Ｄモデルは、シーンデータにおいて観測された２Ｄ線のうちのいくつかに関連付けられた３Ｄ垂直エッジを含む。２Ｄ線と３Ｄエッジとの正しい対応を確立することにより、３Ｄモデルに対するセンサーの位置特定が可能になる。
【００１５】
実施の形態は、センサーを用いた正確な絶対位置推定方法を提供する。特に、エッジベースの３Ｄモデルを用いて現実世界のシーンを表し、シーンデータから取得された２Ｄ線を３Ｄシーンモデルの３Ｄ線とマッチングすることによってセンサーを位置特定する。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態によるセンサーの姿勢を推定する方法及びシステムの概略図である。
【図２】本発明の実施の形態によるセンサー位置合わせの概略図である。
【図３】本発明の実施の形態による時空間ビニングの概略図である。
【図４】姿勢を推定するタスクのための、平面上の３つの２Ｄ点への３つの３Ｄ点の投影の概略図である。
【発明を実施するための形態】
【００１７】
本発明の実施の形態は、センサーの姿勢を推定する方法及びシステムを提供する。センサーは、デジタルビジョンセンサー等のカメラ又はイベントセンサーとすることができ、ピクセルが、減少又は増加の輝度の変化を検知するときにのみイベントをシグナリングする。そのようなピクセルは、通例、センサーが動かされるときのワールド内のエッジ等の大きな勾配に関連付けられる。
【００１８】
高速応答を達成するために、本発明は、例えば、３Ｄ垂直線に対応する強い特徴を有する現実世界のシーンに焦点を当てる。本方法は、時空間ビニング方式を用いて垂直線を検出することができる。
【００１９】
姿勢推定方法は、シーンデータから得られた（２Ｄ）線と、シーンモデルによって表されるようなワールド内の３次元（３Ｄ）線との間の対応を用いる。
【００２０】
慣性計測装置（ＩＭＵ）は、絶対ロール角及び絶対ピッチ角を測定して、シーンデータを、現実世界のシーンにおける垂直方向と位置合わせする。
【００２１】
本発明者らの知る限り、本明細書において記載される垂直線ベースの姿勢推定問題は、従来のフレームベースのセンサー及びカメラ、並びにデジタルビジョンセンサーにおいては解決されていない。
【００２２】
ダイナミックビジョンセンサー
例示的なイベントセンサーは、ｉｎｉＬａｂｓ  ＤＡＶＩＳ  ２４０Ｂダイナミックビジョンセンサー（ＤＶＳ）である。このセンサーは、アクティブピクセルセンサー（ＡＰＳ）回路、（ＤＶＳ）回路、及び単一の基板上のＩＭＵを含む。ピクセル内のＡＰＳ回路及びＤＶＳ回路は、単一のフォトダイオードを共有する。ＡＰＳフレームの解像度は、２４０×１８０ピクセルであり、シーンデータの寸法は、１９０×１８０である。ＡＰＳフレームレートは２３Ｈｚであり、ＩＭＵは２３００Ｈｚで動作する。ＩＭＵは、６次元で位置合わせデータ、例えば加速度及び角速度を提供する。ＡＰＳデータを用いて、結果を視覚化することができる。ＩＭＵデータに依拠して、シーンデータを、現実世界のシーンにおける垂直方向と位置合わせする。
【００２３】
ＤＶＳは、バイナリ状態を用いてピクセルレベルの輝度変化をシグナリングする。各ピクセルは、非同期で、対数圧縮された輝度が所定の量だけ増大する場合、ＯＮイベントを発し、輝度が減少するとき、ＯＦＦイベントを発する。イベントＥがタプル＜ｘ，ｙ，ｔ，ｓ＞として記される。ここで、（ｘ，ｙ）はピクセルロケーションであり、ｔは時点であり、ｓはイベント状態である。１はＯＮを表し、０はＯＦＦを表す。センサーは、毎秒約百万個のイベントを生成することができる。
【００２４】
センサーは、従来のカメラ又はビデオカメラとすることができることが理解される。なぜなら、カメラのフレームレートはより低速であるが、カメラはイベントセンサーをエミュレートすることができるためである。そのようなエミュレーションは、連続フレーム間の差異を取得し、各ピクセルにおける差異を、差異の大きさに基づいてイベント又は非イベントとして分類することによって行うことができる。０からの或る閾値距離内の差は、非イベントとみなされる。閾値よりも大きい差は、正のイベントであり、＜ｘ，ｙ，１＞として符号化される。ここで、（ｘ，ｙ）はピクセル座標である。閾値よりも小さい差は、＜ｘ，ｙ，０＞として符号化される。カメラフレームレートは、ＤＶＳのフレームレートと比較して相対的に低速であるため、イベントは通常、フレームごとの単位でグループ化され、フレーム数の時間的変動を保持する必要がない。ただし、ＤＶＳと完全に類似させるためにこれを行ってもよい。
【００２５】
姿勢推定方法
図１に示すように、本方法は、イベントセンサー１０３によるシーン１０２のシーンデータ（ｘ，ｙ，ｔ，ｓ）及びＩＭＵ１０７による位置合わせデータを含むデータ１０１を同時に取得する（１１０）。位置合わせデータを用いて、シーンに対するイベントセンサー１０３のロール及びピッチを求めることができる。シーンデータは、位置合わせデータを用いて、シーンの垂直方向１０６に対し位置合わせされ（１２０）、位置合わせされたシーンデータが生成される。次に、位置合わせされたシーンデータにおいて２Ｄ垂直線が検出される（１３０）。検出は、時空間領域内のイベントデータに平面を当てはめることによって、空間領域内の２Ｄ線を当てはめる。
【００２６】
２Ｄ垂直線は、シーンの３Ｄモデルにおける垂直線とマッチングされ（１４０）、マッチング線が生成される。次に、姿勢１０５は、マッチング線から推定することができる（１５０）。当該技術分野において既知のセンサー及びメモリに接続されたプロセッサ１００において実行することができるステップは、センサーが異なる観点及び姿勢に動く（１０４）間、繰り返すことができる。センサーが動いている場合、本方法は、複数の観点においてイベントセンサーのための姿勢の軌道を推定する。軌道は、カルマンフィルターを用いて平滑化することができる。
【００２７】
本発明では、シーンの３Ｄ（ワールド）モデルを所与として、垂直線を特徴として用いて、センサー１０３の姿勢１０５を推定する。高さを無視することによって、６自由度（ＤＯＦ）の位置特定問題が３ＤＯＦ問題に簡略化される。３ＤＯＦ（平面ロケーション及びヨー）は、車両及び移動ロボットの位置特定においてより重要である一方で、残りの変数（高さ、ロール、ピッチ）はＩＭＵを用いて及び他の形で得ることができる。垂直線のみを検出することにより、特徴抽出が、異なる向きを有する全ての線を見つけるよりはるかに速くなる。
【００２８】
ＩＭＵを用いるセンサー位置合わせ
ＩＭＵ位置合わせデータを用いて、（ワールド）シーン内の垂直方向にシーンデータを位置合わせする（１２０）。これによって、検知された２Ｄ線がセンサーの姿勢に関わらず、シーン内の現実の垂直線に対応することが確実になる。ＩＭＵジャイロスコープは、大きな時間依存のドリフトを有する可能性がある。したがって、ワールド座標系におけるセンサーの姿勢を得るために姿勢機首基準（ＡＨＲＳ）手順を適用する。これについては非特許文献６を参照されたい。加速度計は重力ベクトルのみを測定するため、ＩＭＵは、正確なヨー角を取得することができない。したがって、ＩＭＵからのロール角及びピッチ角のみを用いる。
【００２９】
ＩＭＵによって測定される姿勢に基づいて、Ｒを用いてセンサーの垂直ビューとワールドの垂直方向とを位置合わせするための回転オフセットを表す。位置合わせされたシーンデータ内のピクセルｐ’（ｘ’，ｙ’）と、取得されたシーンデータ内のロケーションｐ（ｘ，ｙ）との間の関係は、
【００３０】
【数１】
2018522348.tif 000003
【００３１】
であり、ここで、Ｋはセンサーのための固有パラメーターの行列であり、ｓは、関係がスケール次第であることを示すスケール係数である。
【００３２】
図２は、位置合わせを図式的に示す。左側において、立方体２１０の画像を取得するセンサーを示す。３Ｄ点Ｐ（Ｘ１，Ｙ１，Ｚ１）２２０が画像ピクセルｐ（ｘ１，ｙ１）２３０上に投影される。立方体を用いて、ワールド座標系がどのセンサーに対して僅かに回転されるかを示す。ＩＭＵを用いて、ロール軸及びピッチ軸における、カメラ座標系（原点Ｏｃを有する）とワールド座標系（原点Ｏｗを有する）との間の回転オフセットＲを求める。右側において、回転オフセットＲ及び較正行列を用いた画像補正を示す。ｐ（ｘ１，ｙ１）及びｐ’（ｘ’１，ｙ’１）が、それぞれ位置合わせ前及び位置合わせ後のピクセルを示す。見てとることができるように、２つのピクセルｐ’（ｘ’１，ｙ’１）及びｑ’（ｘ’２，ｙ’２）は、位置合わせ後、ｘ’１＝ｘ’２を有する垂直軸２４０上に位置合わせされている。
【００３３】
時空間ビニングを用いた線検出
イベントのピクセルロケーション及び関連付けられた時間に基づく投票手順を用いて、位置合わせされたシーンデータ内の線を、時空間ビニング手順を用いて検出する（１３０）。手順は、同じ垂直線又はエッジ上のピクセルが、類似のｘ座標及び類似の輝度コントラストを有することに基づく。
【００３４】
図３に示すように、薄いストリップビンＶｄｘ（ｘｉ）３１０を用いて、（ｘｉ，１）から（ｘｉ＋ｄｘ，ｙｍａｘ）へのピクセルの矩形エリアを表す。ワールド内のエッジの輝度コントラストは、複数のイベントが同じピクセルについてシグナリングされているとき、時間間隔に密に関係している。これは、同じワールドエッジが、センサー運動中、同じピクセルにおける複数のイベントを引き起こし、これにより、高コントラストエッジにおけるピクセルが、同じ時間間隔内で更なるイベントを引き起こすことに起因する。これは、同じロケーションについてシグナリングされた２つのイベント間の時間間隔Δｔが、高コントラストエッジの場合に、より短いことを暗に意味する。ビンＶｄｘ，ｄｔ（ｘｉ，Δｔｊ）を用いて、Ｖｄｘ（ｘｉ）内にありかつΔｔｊとΔｔｊ＋ｄｔとのシグナリング間隔を有するピクセルを表す。
【００３５】
図３に示すように、空間間隔の重複する組をプリセットし、ビンが、近傍のビンに対して極大である、所定の閾値よりも多くのイベント数を有するとき、このビンが線を含むとみなす。特に、以下の条件が満たされるとき、ビンＶｄｘ，ｄｔ（ｘｉ，Δｔｊ）を選択することを確実にする。
１．空間近傍ピクセルが、以下の制約によって与えられるような、より少ない票を有する。
【００３６】
【数２】
2018522348.tif 000004
【００３７】
２．Δｔｋ＜Δｔｊのとき、上記の閾値条件を満たす他のビンＶｄｘ，ｄｔ（ｘｉ，Δｔｊ）が存在しない。
【００３８】
ビンが選択された後、ＩＭＵベースの位置合わせにおける任意の誤差を考慮するために、最小二乗手順を用いて、線をビン内のイベントと当てはめる。
【００３９】
垂直線を用いた姿勢推定
ＩＭＵを利用して、現実世界の垂直方向１０６を取得し、これにより、３つの未知の運動パラメーター、すなわち、２つの並進パラメーター及び１つの回転角を復元するための３点姿勢推定問題を解決する。３ＤＯＦを復元した後、合計６つの未知数のうち、５つの未知の運動パラメーターを有する。６番目のパラメーター（高さ＝Ｙ）が必要とされる場合、任意の非垂直線を用いて高さを容易に復元することができる。
【００４０】
本発明の焦点は、優勢な垂直構造（dominant vertical structures）を有するシーンに対してセンサーを位置特定及び追跡することを可能にする３つの重要な運動パラメーター（Ｘ、Ｚ及びヨー）を抽出することである。
【００４１】
線投影
図４は、平面上の３つの２Ｄ点への３つの３Ｄ点の投影を概略的に示す。左側に、立方体２１０から画像平面４１０への線の投影を示す。右側に、シーン内の垂直線が２Ｄ点（Ｘ１，Ｚ１）、（Ｘ２，Ｚ２）、（Ｘ３，Ｚ３）によって表され、画像（シーンデータ）内の垂直線が２Ｄ点（ｘ１，ｚ１）、（ｘ２，ｚ２）、（ｘ３，ｚ３）によって表され、原点がＯによって表される投影の上面図を示す。
【００４２】
ワールド座標系における３Ｄ点
【００４３】
【数３】
2018522348.tif 000005
【００４４】
は、変換（Ｒ，ｔ）を用いてセンサー座標系に転送することができる。
【００４５】
図４に示すように、シーン内の垂直線と、画像（シーンデータ）内の対応する２Ｄ線との間の変換は、以下によって与えられる。
【００４６】
【数４】
2018522348.tif 000006
【００４７】
式（２）を再構成し、スケール変数ｓｉを消去し、３つの３Ｄ対２Ｄの対応のための等式をスタックして、連立方程式ＡＸ＝０を得る。ここで、Ａ及びＸは以下となる。
【００４８】
【数５】
2018522348.tif 000007
【００４９】
３つの線により、解は通常一意となる。被約階段行列（reduced row-echelon form）を用いて、上記の式から以下の連立方程式を得る。
【００５０】
【数６】
2018522348.tif 000008
【００５１】
ここで、α、β及びγは、行列Ａのための被約階段行列を求める間に得られる定数である。
【００５２】
上記の連立方程式を用いて、３つの未知の動きパラメーターθ、Ｔｘ及びＴｚを以下のように求める。
【００５３】
【数７】
2018522348.tif 000009
【００５４】
ｎ個の２Ｄ対３Ｄの線対応の組を所与として、全ての対応を用いて連立方程式ＡＸ＝０を形成し、最小二乗手順を用いて運動変数を解くことができる。ここで、ｎは３以上である。
【００５５】
本発明の方法は２つのモジュールを用いる。信頼性のある以前の姿勢を有しないとき、２Ｄ対３Ｄ線対応を求めて全数探索を用いてセンサーを位置特定する。以前の姿勢を有するとき、２Ｄ対３Ｄの線対応が既知であり、小さな変化について位置を更新するのみでよい。位置特定のための全数探索には、更新よりも多くの時間がかかる。
【００５６】
上記で説明したように、従来のカメラはＤＶＳをエミュレートすることができる。一方、そのようなエミュレーションは、本発明による方法の用途に必要でない。線は、２Ｄエッジ抽出によって単一のカメラ画像から直接抽出することができ、ＩＭＵデータに基づく垂直線への制限は、高速な姿勢推定を可能にする。
【００５７】
対応探索
姿勢推定は、２Ｄ対３Ｄの線対応を必要とする。対応探索は、線検出における繰り返されるシーン幾何学、ノイズの多いシーンデータ、欠落した線及びスプリアス線、並びにワールドの誤ったモデリング等の多くの要因に起因して非常に困難である。１つの明確な解決策は、全ての可能なマッチを検討し、いくつかの誤差判断基準に基づいて最良のマッチを選ぶことである。一方、この戦略は、２０本ほどの少ない線の場合であっても失敗する可能性がある。
【００５８】
探索問題を解決するために、線の視認方向間の角度に基づいて制約を用いるグリッド探索方法を用いる。この場合、最良の対応を探索することは、全ての線対応についての再投影誤差を用いて決定される最小マッチングコストとの対応の最も大きな組を得ることを意味する。
【００５９】
再投影誤差
推定姿勢を用いて、３Ｄ線を画像に再投影し、再投影誤差、すなわち、イベントに関連付けられたピクセルと、再投影された３Ｄ線との間の距離を測定する。姿勢推定のための再投影誤差は、通常、姿勢推定が正確であることを示す２ピクセル未満である。
【００６０】
本発明を好ましい実施の形態の例として説明したが、本発明の趣旨及び範囲内で様々な他の適応及び変更を行うことができることを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の趣旨及び範囲に入る全てのそのような変形及び変更を包含することである。
【産業上の利用可能性】
【００６１】
本発明のセンサーの３次元（３Ｄ）姿勢を推定するための方法及びシステムは、多くの分野におけるセンサーに適用可能である。
【図１】
2018522348.tif 000011
【図２】
2018522348.tif 000012
【図３】
2018522348.tif 000013
【図４】
2018522348.tif 000014
【手続補正書】
【提出日】平成30年1月9日(2018.1.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
センサーの３次元（３Ｄ）姿勢を推定する方法であって、
前記センサーによって３Ｄシーンのシーンデータを取得するステップと、
慣性計測装置（ＩＭＵ）を用いて前記センサーのための位置合わせデータを取得するステップであって、前記位置合わせデータは、前記センサーのロール角及びピッチ角を含むものと、
前記位置合わせデータを用いて、前記シーンデータを、前記シーンの垂直方向に位置合わせするステップと、
前記シーンデータ内の２次元（２Ｄ）線を検出するステップと、
前記２Ｄ線を前記シーンの３Ｄモデルの３Ｄ線とマッチングして、少なくとも３つのマッチング線を生成するステップと、
前記３つのマッチング線によって定義された２Ｄ対３Ｄの対応によって形成された連立方程式を解くことによって、前記マッチング線を用いて前記センサーの前記３Ｄ姿勢を推定するステップであって、前記センサーはカメラであり、前記２Ｄ線及び前記３Ｄ線は垂直線であるものと、
を含み、前記ステップはプロセッサにおいて実行される、方法。
【請求項２】
前記シーンデータはピクセルを含み、
前記検出することは、
空間領域内の前記２Ｄ線を、高い空間勾配を有する前記ピクセルに当てはめること、
を更に含む、請求項１に記載の方法。
【請求項３】
姿勢機首基準（ＡＨＲＳ）手順を適用して、ワールド座標系内の前記センサーの姿勢を得ること、を更に含む、請求項１に記載の方法。
【請求項４】
前記位置合わせデータから回転オフセットＲを求めること、を更に含み、
前記位置合わせ後の前記シーンデータ内のピクセルｐ’（ｘ’，ｙ’）と、前記シーンデータ内のロケーションｐ（ｘ，ｙ）との間の関係は、
【数１】
2018522348.tif 000015
であり、ここで、Ｋは前記センサーのための固有パラメーターの行列であり、ｓは前記関係がスケール次第であることを示すスケール係数である、請求項１に記載の方法。
【請求項５】
（旧請求項６）
前記２Ｄ線を検出することは、時空間ビニング及び投票手順を用いる、請求項１に記載の方法。
【請求項６】
前記２Ｄ線は、最小二乗手順を用いて当てはめられる、請求項２に記載の方法。
【請求項７】
３つの２Ｄ線及び３つの３Ｄ線の最小値が前記推定に用いられる、請求項１に記載の方法。
【請求項８】
センサーの３次元（３Ｄ）姿勢を推定する方法であって、
前記センサーによって３Ｄシーンのシーンデータを取得するステップと、
慣性計測装置（ＩＭＵ）を用いて前記センサーのための位置合わせデータを取得するステップであって、前記位置合わせデータは、前記センサーのロール角及びピッチ角を含むものと、
前記位置合わせデータを用いて、前記シーンデータを、前記シーンの垂直方向に位置合わせするステップと、
前記シーンデータ内の２次元（２Ｄ）線を検出するステップと、
前記２Ｄ線を前記シーンの３Ｄモデルの３Ｄ線とマッチングして、少なくとも３つのマッチング線を生成するステップと、
前記３つのマッチング線によって定義された２Ｄ対３Ｄの対応によって形成された連立方程式を解くことによって、前記マッチング線を用いて前記センサーの前記３Ｄ姿勢を推定するステップであって、前記センサーはデジタルイベントセンサーであり、前記３Ｄ線は垂直であるものと、
を含み、前記ステップはプロセッサにおいて実行される、方法。
【請求項９】
前記検出することは、
時空間領域内の前記シーンデータに平面を当てはめることによって、空間領域内の前記２Ｄ線を当てはめること、
を更に含む、請求項８に記載の方法。
【請求項１０】
前記２Ｄ線を検出することは、時空間ビニング及び投票手順を用いる、請求項８に記載の方法。
【請求項１１】
イベントデータは＜ｘ，ｙ，ｔ，ｓ＞であり、ここで、（ｘ，ｙ）は前記シーンデータにおけるピクセルのロケーションであり、ｔは時点であり、ｓは状態であり、ここで、０は前記ピクセルの輝度における減少を示し、１は前記ピクセルの輝度における増加を示す、請求項８に記載の方法。
【請求項１２】
センサーの３次元（３Ｄ）姿勢を推定するシステムであって、
３Ｄシーンのシーンデータを取得するように構成されたセンサーと、
前記センサーのための位置合わせデータを取得するように構成された慣性計測装置（ＩＭＵ）であって、前記位置合わせデータは、前記センサーのロール角及びピッチ角を含むものと、
前記センサーに接続され、前記位置合わせデータを用いて、前記シーンデータを、前記シーンの垂直方向に位置合わせし、前記シーンデータ内の２次元（２Ｄ）線を検出し、前記２Ｄ線を前記シーンの３Ｄモデルの３Ｄ線とマッチングして、少なくとも３つのマッチング線を生成し、前記３つのマッチング線によって定義された２Ｄ対３Ｄの対応によって形成された連立方程式を解くことによって、前記マッチング線を用いて前記センサーの前記３Ｄ姿勢を推定するように構成されたプロセッサと、
を備え、
前記センサーはカメラであり、前記２Ｄ線及び前記３Ｄ線は垂直線である、
システム。
【請求項１３】
前記センサーは、デジタルビジョンセンサーである、請求項１２に記載のシステム。
【請求項１４】
前記プロセッサは、前記２Ｄ線を検出する際に、時空間ビニング及び投票手順を用いる、請求項１２に記載のシステム。
【国際調査報告】
2018522348.tif 000016
2018522348.tif 000017