(57)【特許請求の範囲】
【請求項１】
移動オブジェクト位置特定の方法であって、
ビデオフレーム内の検出されたオブジェクトおよび単眼ストラクチャフロムモーション（ＳＦＭ）情報に基づき前記ビデオフレーム内のグランドプレーンを推定することと、
前記フレーム内のオブジェクトに対するオブジェクト姿勢を、密な特徴点追跡を使用して前記ＳＦＭ情報に基づき計算することと、
前記検出されたオブジェクトに対する３次元位置を、前記推定されたグランドプレーンおよび前記計算されたオブジェクト姿勢に基づき決定することと、
を含み、
前記３次元位置を決定することは、コスト関数を最小化する３次元バウンディングボックスを見つけるレーベンバーグ−マーカート最適化を含み、
前記コスト関数は、
ε＝ε’ＳＦＭ＋λ０ε’ｏｂｊ＋λｐε’ｐｒｉｏｒ
であり、ここで、ε’ＳＦＭは、ＳＦＭからのコストであり、ε’ｏｂｊはオブジェクトバウンディングボックスからのコストであり、ε’ｐｒｉｏｒは前記組み合わされた平滑化およびオブジェクトサイズ事前分布からの事前分布であり、λ０およびλｐは重み付け係数である方法。
【請求項２】
前記検出されたオブジェクトに対する前記３次元位置を決定することは、ＳＦＭキュー、バウンディングボックスキュー、およびオブジェクト検出キューに基づく請求項１に記載の方法。
【請求項３】
前記密な特徴点追跡は、密な強度合わせに基づきオブジェクト姿勢を決定することと、
エピポーラ誘導オプティカルフローに基づき密な特徴を追跡することと、を含む請求項１に記載の方法。
【請求項４】
オブジェクト位置特定の速度を上げるのに動領域抽出および複合推論が使用されない請求項１に記載の方法。
【請求項５】
移動オブジェクト位置特定のシステムであって、
ビデオフレーム内の検出されたオブジェクトおよび単眼ストラクチャフロムモーション（ＳＦＭ）情報に基づき前記ビデオフレーム内のグランドプレーンを推定し、密特徴点追跡を使用して前記ＳＦＭ情報に基づき前記フレーム内のオブジェクトに対するオブジェクト姿勢を計算し、前記推定されたグランドプレーンおよび前記計算されたオブジェクト姿勢に基づき前記検出されたオブジェクトに対する３次元位置を決定するように構成されたプロセッサを備え、
前記プロセッサは、コスト関数を最小化する３次元バウンディングボックスを見つけるレーベンバーグ−マーカート最適化を使用して前記３次元位置を決定するように構成され、
前記コスト関数は、
ε＝ε’ＳＦＭ＋λ０ε’ｏｂｊ＋λｐε’ｐｒｉｏｒ
であり、ここで、ε’ＳＦＭは、ＳＦＭからのコストであり、ε’ｏｂｊはオブジェクトバウンディングボックスからのコストであり、ε’ｐｒｉｏｒは前記組み合わされた平滑化およびオブジェクトサイズ事前分布からの事前分布であり、λ０およびλｐは重み付け係数であるシステム。
【請求項６】
前記プロセッサは、前記検出されたオブジェクトに対する前記３次元位置を、ＳＦＭキュー、バウンディングボックスキュー、およびオブジェクト検出キューに基づき決定するように構成される請求項５に記載のシステム。
【請求項７】
前記プロセッサは、密な強度合わせに基づきオブジェクト姿勢を決定することと、エピポーラ誘導オプティカルフローに基づき密な特徴を追跡することとによって密な特徴を追跡するように構成される請求項５に記載のシステム。
【請求項８】
前記プロセッサは、オブジェクト位置特定の速度を上げるのに動領域抽出および複合推論を使用しないように構成される請求項５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願情報）
本出願は、その内容が参照により本明細書に組み込まれている、２０１４年３月６日に出願した仮出願第61/948,981号および２０１５年３月４日に出願した仮出願第62/128,347号の優先権を主張するものである。
【背景技術】
【０００２】
単一のカメラのみを使用するビデオストリーム内の移動オブジェクトの３次元位置特定（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ｌｏｃａｌｉｚａｔｉｏｎ）は、困難な場合がある。特に、既存の方法は、疎な特徴点（ｓｐａｒｓｅ  ｆｅａｔｕｒｅ  ｐｏｉｎｔ）を使用するが、この技術は、安定した特徴点軌道（ｆｅａｔｕｒｅ  ｔｒａｃｋ）を確立することが難しいので、たとえば、自動車などのオブジェクト上で使用するのは困難である。他の既存の方法は、高い位置特定誤差を引き起こす、固定されたグランドプレーンに対してオブジェクトバウンディングボックスを三角測量するものである。これらの既存の技術は、コストのかかる推論機構も伴い得る。
【発明の概要】
【０００３】
移動オブジェクト位置特定の方法は、ビデオフレーム内の検出されたオブジェクトおよび単眼ストラクチャフロムモーション（ＳＦＭ：ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ）情報に基づきビデオフレーム内のグランドプレーンを推定することを含む。フレーム内のオブジェクトに対するオブジェクト姿勢は、密な特徴点追跡（ｄｅｎｓｅ  ｆｅａｔｕｒｅ  ｔｒａｃｋｉｎｇ）を使用してＳＦＭ情報に基づき計算される。検出されたオブジェクトに対する３次元位置は、推定されたグランドプレーンおよび計算されたオブジェクト姿勢に基づき決定される。
【０００４】
移動オブジェクト位置特定のシステムは、ビデオフレーム内の検出されたオブジェクトおよび単眼ストラクチャフロムモーション（ＳＦＭ）情報に基づきビデオフレーム内のグランドプレーンを推定し、密特徴点追跡を使用してＳＦＭ情報に基づきフレーム内のオブジェクトに対するオブジェクト姿勢を計算し、推定されたグランドプレーンおよび計算されたオブジェクト姿勢に基づき検出されたオブジェクトに対する３次元位置を決定するように構成されたプロセッサを備えている。
【図面の簡単な説明】
【０００５】
【図１】本発明の原理によるオブジェクト位置特定のブロック／流れ図である。
【図２】本発明の原理による密な３次元推定（ｄｅｎｓｅ  ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ｅｓｔｉｍａｔｉｏｎ）のブロック図である。
【図３】本発明の原理による結合３次元オブジェクト位置特定（ｊｏｉｎｔ  ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ｏｂｊｅｃｔ  ｌｏｃａｌｉｚａｔｉｏｎ）のブロック図である。
【図４】本発明の原理による移動オブジェクト位置特定システムのブロック図である。
【発明を実施するための形態】
【０００６】
本発明の実施形態は、単眼ストラクチャフロムモーション（ＳＦＭ）を使用し、ＳＦＭ、密なフレーム間ステレオ、およびオブジェクト検出からのキューを組み合わせることによってグランドプレーンを適応的に推定する。オブジェクト姿勢は、ごく少数の疎な特徴に基づく姿勢推定は不安定なので、強度合わせによって推定される。密な特徴は、エピポーラ拘束を課す一次元オプティカルフロー機構を使用して追跡される。これらの軌道における外れ値は、推定されたオブジェクト姿勢を使用して排除される。本発明の実施態様によって採用されているＳＦＭキューは、追跡される３次元点の再投影誤差を最小にするが、オブジェクト検出キューは、オブジェクト追跡出力に関して最高である検出スコアを有する一連の二次元バウンディングボックスと最も整合する最良の３次元バウンディングボックスに適合する
【０００７】
本発明の実施態様は、さまざまなキューを使用することによってオブジェクト位置特定における優れた精度をもたらす。それに加えて、位置特定は、姿勢計算に対して密追跡および強度合わせを使用しているのでより安定しており、動領域抽出および複合推論が使用されないので、より素早く実行される。
【０００８】
次に、図１を参照すると、オブジェクト位置特定のブロック図が示されている。入力ビデオ１０２は、一般的な２Ｄオブジェクト検出１０４および適応グランドプレーン検出（ａｄａｐｔｉｖｅ  ｇｒｏｕｎｄ  ｐｌａｎｅ  ｄｅｔｅｃｔｉｏｎ）１０６において使用されている。それに加えて、リアルタイム単眼ＳＦＭ１０８は、適応グラントプレーン検出１０６、さらには、密な３Ｄ推定１１０の両方に情報を提供するために使用される。２Ｄオブジェクト検出１０４、適応グランドプレーン検出１０６、および、密な３Ｄ推定１１０の結果は、３次元内の位置を決定するために結合３Ｄオブジェクト位置特定１１２で使用される。
【０００９】
次に図２を参照すると、密な３Ｄ推定１１０のより詳細な図が示されている。密な３Ｄ推定１１０は、強度合わせされたオブジェクト姿勢計算２０２およびエピポーラ誘導密度追跡（ｅｐｉｐｏｌａｒ−ｇｕｉｄｅｄ  ｄｅｎｓｅ  ｔｒａｃｋｉｎｇ）２０４を使用する。
【００１０】
強度合わせされたオブジェクト姿勢計算２０２について、オブジェクトの姿勢は、ベクトルΩ＝（ｘ０，ｚ０，ψ，θ，φ，ｈ）Ｔによって定義され、ここで、ｘ０およびｚ０は、オブジェクトの背面がグランドと交差する直線の中心に対応するカメラの座標におけるオブジェクトの原点の座標であり、ψ、θ、φはオブジェクトのピッチ角、ロール角、およびヨー角であり、ｈは、グランドプレーンからのカメラの高さである。時刻ｔにおいてオブジェクト姿勢が与えられた場合、時刻ｔ＋１における姿勢は、
【数１】
0006349418.tif 000002
に従って投影された画像内のすべてのピクセルにおいて強度Ｉを最もよく合わせる姿勢として決定され、
ここで、πΩは、２Ｄ像平面へのオブジェクト座標における３Ｄ点の投影を表す。
【００１１】
エピポーラ誘導密度追跡２０４は、フレームｔとフレームｔ＋１との間のＴＶ−Ｌ１正則化オプティカルフローを推定する。フロー推定は、検出バウンディングボックス内のみで実行され、計算効率を最大化する。オプティカルフローベクトルは、エピポーラ幾何学の条件を満たすように制約される。このフロー推定は、オプティカルフロー問題を二次元探索から一次元探索に縮小するために使用される。特徴点軌道は、妥当性確認がなされ、三角測量される。オプティカルフロー問題は、以下の式で表すことができる。
【数２】
0006349418.tif 000003
ここで、ｘは画像位置であり、ｐ０は画像上の点であり、ｐはｐ０を通るエピポーラ直線の方向であり、ｕはエピポーラ直線に沿った距離である。
【００１２】
次に図３を参照すると、結合３Ｄオブジェクト位置特定１１２に対する結合最適化に関する追加の詳細が示されている。コスト関数は、オブジェクトバウンディングボックスからのコスト、ＳＦＭ、オブジェクト検出、およびグランドプレーン推定、軌跡平滑化、およびオブジェクトサイズからの事前分布を組み込む。レーベンバーグ−マーカート最適化が実行され、コスト関数を最小化する最良の３Ｄバウンディングボックスを見つける。
【数３】
0006349418.tif 000004
ここで、ε’ＳＦＭは、ＳＦＭからのコストであり、ε’ｏｂｊはオブジェクトバウンディングボックスからのコストであり、ε’ｐｒｉｏｒは組み合わされた平滑化およびオブジェクトサイズ事前分布からの事前分布である。例示的なパラメータ値は、λ０＝０．７およびλｐ＝２．７である。量ε’ｏｂｊは、
【数４】
0006349418.tif 000005
として定義され、
ここで、ε’ｂｏｘはオブジェクトバウンディングボックス誤差であり、ε’ｄｅｔは検出コストであり、パラメータλｄは０．０３の例示的な値を有する。量ε’ｐｒｉｏｒは、
【数５】
0006349418.tif 000006
として定義され、
ここで、ε’ｓｍｏｏｔｈは軌跡平滑化事前分布であり、ε’ｓｉｚｅはオブジェクトサイズ事前分布であり、パラメータに対する例示的な値は、λｓ＝０．０３である。
【００１３】
３Ｄオブジェクト位置特定１１２は、ＳＦＭキュー３０２と、ボンディングボックスキュー３０４と、オブジェクト検出キュー３０６とを使用する。ブロック３０２におけるＳＦＭキューからオブジェクト位置特定コストを見つけることで、シーン内のｉ＝１，．．．，Ｎ個のオブジェクトを追跡し、各オブジェクト上のｊ＝１，．．．，Ｍ個の特徴はフレームｔ＝ｓｉ，．．．，ｅｉ内で追跡され、ここで、ｓｉおよびｅｉはオブジェクトｉの最初と最後のフレームである。次いで、
【数６】
0006349418.tif 000007
が観察された投影であり、
【数７】
0006349418.tif 000008
がフレームｔにおけるマッチした２Ｄピクセルである場合、特徴点軌道に対するＳＦＭ再投影誤差は、
【数８】
0006349418.tif 000009
として定義されてよく、ここで、ｕおよびｖは像平面上の２Ｄピクセルの座標である。
【００１４】
Ｎ＝［ｎα，ｎβ，ｎγ］を定義し、ｎγ＝（−ｎ１，ｎ３，−ｎ２）Ｔ、ｎβ＝−ｎ、およびｎα＝ｎβ×ｎγとすると、オブジェクト座標系内で３Ｄ点
【数９】
0006349418.tif 000010
が与えられた場合、オブジェクト座標からカメラ座標への変換は、
【数１０】
0006349418.tif 000011
で与えられ、ただし、
【数１１】
0006349418.tif 000012
であり、ここで、ωψ＝（０，ψ，０）Ｔであり、［．.］×は外積行列である。次いで、オブジェクト座標系内で３Ｄ点
【数１２】
0006349418.tif 000013
を投影する式は、同次関係式
【数１３】
0006349418.tif 000014
によって与えられ、ここで、λは未知のスケール係数であり、Ｋは３×３の内在的カメラ較正行列である。
【００１５】
２Ｄバウンディングボックスキュー３０４Ａからオブジェクト位置特定コストを決定することで、トラックレット（ｔｒａｃｋｌｅｔ）の集合は、位置特定に対する入力とみなされるが、ここで、トラックレットは、オブジェクトの軌道である。位置特定に対する２Ｄバウンディングボックスコストは、
【数１４】
0006349418.tif 000015
によって与えられ、ここで、ｂｉ（ｔ）は３Ｄバウンディングボックスの２Ｄ投影であり、Ｄｉ（ｔ）は追跡からの２Ｄバウンディングボックスである。バウンディングボックスの８個の隅ｖｉが与えられた場合、その投影ｑｉは、
【数１５】
0006349418.tif 000016
であり、ここで、
【数１６】
0006349418.tif 000017
は同次スケール係数である。次いで、
【数１７】
0006349418.tif 000018
を定義する。
頂点ｖ１，．．．，ｖ８を有する３Ｄバウンディングボックスについて、対応する像点は、ｑ１，．．．，ｑ８であり、ここで、各ｑｉは２つの数（ｐｉ，ｑｉ）で表される像平面上の２Ｄピクセルである。
【００１６】
オブジェクト検出キュー３０６からのオブジェクト位置特定コストにより、本発明の実施態様は追跡出力にだけ依存するようにならない。ｓ（・）をバウンディングボックスの検出スコアを計算する関数として使用すると、検出項は、
【数１８】
0006349418.tif 000019
となり、ここで、
【数１９】
0006349418.tif 000020
はそれぞれの推定された３Ｄバウンディングボックスの投影である。
【００１７】
検出器を動作させることなく検出スコア関数ｓ（・）を構築するために、検出スコアは、モデルを当てはめることによって計算される。検出器は、いくつかのバウンディングボックス候補およびそれらのバウンディングボックスのスコアを提供する。モデルは、ガウス分布の混合である。各フレームで、４×４の最大階数共分散行列Σｍは、μｍを中心として
【数２０】
0006349418.tif 000021
として推定され、ここで、εｍｎ＝ｂｎ−μｍであり、Ｍはオブジェクトの数であり、Ｎは候補バウンディングボックスの数であり、ここで、ｋへの依存関係は便宜上抑制されている。Ａｍはガウス分布の振幅であり、μｍはガウス分布の平均であり、εｍｎは平均からの距離であり、Σｍは共分散であり、δｎはガウス分布のこの総和によって近似されるスコアである。
【００１８】
本明細書で説明されている実施形態は、全体がハードウェアであるか、全体がソフトウェアであるか、またはハードウェアとソフトウェアの両方の要素を含んでいてよいことは理解されるべきである。好ましい一実施形態において、本発明は、限定はしないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む、ハードウェアおよびソフトウェアで実装される。
【００１９】
実施形態は、コンピュータまたは命令実行システムによってまたはコンピュータまたは命令実行システムと関連して使用するためのプログラムコードを提供するコンピュータ使用可能またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品を含んでいてよい。コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスで使用するための、または命令実行システム、装置、またはデバイスに関連して使用するためのプログラムを記憶する、伝達する、伝搬する、または搬送する任意の装置を含み得る。媒体は、磁気、光、電子、電磁、赤外線、もしくは半導体システム（または装置もしくはデバイス）、または伝搬媒体とすることができる。媒体は、半導体もしくはソリッドステートメモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、リジッド磁気ディスク、および光ディスクなどのコンピュータ可読記憶媒体を含み得る。
【００２０】
プログラムコードを記憶し、および／または実行するのに適したデータ処理システムは、システムバスを通じてメモリ要素に直接的にまたは間接的に結合された少なくとも１つのプロセッサを備えていてよい。メモリ要素は、プログラムコードの実際の実行時に使用されるローカルメモリ、大容量記憶装置、および実行時にコードが大容量記憶装置から取り出される回数を減らすための少なくとも一部のプログラムコードを一時的に記憶するキャッシュメモリを含み得る。入出力またはＩ／Ｏデバイス（限定はしないが、キーボード、ディスプレイ、ポインティングデバイスなどを含む）は、直接的に、または介在するＩ／Ｏコントローラを通じてのいずれかで、システムに結合され得る。
【００２１】
ネットワークアダプタもシステムに結合されてよく、これにより、データ処理システムを他のデータ処理システムまたはリモートプリンタまたは記憶装置デバイスに、介在するプライベートまたはパブリックネットワークを通じて結合させることが可能になる。モデム、ケーブルモデム、イーサネットカードは、現在利用可能な種類のネットワークアダプタのうちのごくわずかのものである。
【００２２】
次に図４を参照すると、オブジェクト位置特定システム４００が示されている。ハードウェアプロセッサ４０２は、メモリ４０４に記憶されているビデオデータにアクセスして、位置情報を提供する。２Ｄ検出モジュール４０６は、プロセッサ４０２を使用して、ＳＦＭモジュール４１０がリアルタイム単眼ＳＦＭを実行している間にビデオ上で二次元オブジェクト検出を実行する。グランドプレーンモジュール４０８は、２Ｄオブジェクト検出情報およびＳＦＭ情報を使用してフレーム内のオブジェクトに対するグランドプレーンを推定する。ブロック４１２では、プロセッサ４０２を使用して密な３Ｄ推定を実行する。結合３Ｄオブジェクト位置特定モジュールは、グランドプレーンモジュール４０８および密な３Ｄ推定モジュール４１２からの情報を使用してオブジェクト位置情報を提供する。
【００２３】
前記の内容は、あらゆる点で説明され例示されているが、制限的ではないものと理解されるべきであり、本明細書で開示されている発明の範囲は、詳細な説明から決定されるべきでなく、むしろ、特許法によって許される全範囲に従って解釈されるように請求項から決定されるべきである。追加の情報は、本出願の付録Ａおよび付録Ｂに掲載されている。図示され本明細書で説明されている実施形態は、本発明の原理を説明するだけであり、当業者であれば、本発明の範囲および精神から逸脱することなくさまざまな修正を実施することができることは理解されるであろう。当業者であれば、本発明の範囲および精神から逸脱することなく、さまざまな他の特徴の組合せを実施することも可能である。
【図１】
0006349418.tif 000022
【図２】
0006349418.tif 000023
【図３】
0006349418.tif 000024
【図４】
0006349418.tif 000025