(57)【特許請求の範囲】
【請求項１】
検知された測定値を融合する方法であって、
深度センサーを用いて、フレームのシーケンスとしてシーンの深度測定値を取得するステップと、
カメラを用いて、画像のシーケンスとして前記シーンの対応する強度測定値を取得するステップであって、前記深度センサーの解像度は、前記カメラの解像度よりも低い、ステップと、
前記強度測定値の複数の時間的に隣接するフレームにおける類似のパッチを探索するステップと、
前記強度測定値の前記類似のパッチに対応する前記深度測定値のパッチを、前記深度測定値の３次元（３Ｄ）ブロックにグループ化するステップと、
事前制約を用いて各３Ｄブロックの行列補完を実行して、高められた解像度のブロックを得る、ステップと、
前記高められた解像度のブロックからセンサーの前記解像度よりも高い解像度を有する深度画像を構築するステップと、
を含む、方法。
【請求項２】
前記深度センサー及び前記カメラは、較正される、
請求項１に記載の方法。
【請求項３】
前記深度センサーは、光レーダー（ＬＩＤＡＲ）センサーである、
請求項１に記載の方法。
【請求項４】
前記カメラは、ビデオカメラである、
請求項１に記載の方法。
【請求項５】
前記構築するステップは、２次データフィデリティ項、及び前記深度測定値と前記深度画像との間の誤差を制御する正則化項を組み合わせるコスト関数を最小化する、
請求項１に記載の方法。
【請求項６】
前記正則化項は、前記深度画像のランクにペナルティを課す、
請求項５に記載の方法。
【請求項７】
前記深度画像は、前記シーンの複数の視点からの測定値を組み合わせることによってモーション適応的である、
請求項１に記載の方法。
【請求項８】
前記探索するステップ及び前記グループ化するステップは、基準パッチを中心とする探索エリアを用い、各フレームにおいて重なり合ったパッチを考慮する、
請求項１に記載の方法。
【請求項９】
前記正則化項は、ｖ−縮小演算子を用いる、
請求項５に記載の方法。
【請求項１０】
前記コスト関数は、拡張ラグランジアン法を用いて最小化される、
請求項５に記載の方法。
【請求項１１】
前記拡張ラグランジアンは、交互方向乗数法を用いる、
請求項１０に記載の方法。
【請求項１２】
検知された測定値を融合するシステムであって、
フレームのシーケンスとしてシーンの深度測定値を取得するように構成された深度センサーと、
画像のシーケンスとして前記シーンの対応する強度測定値を取得するように構成されたカメラであって、前記深度センサーの解像度は、前記カメラの解像度よりも低い、カメラと、
前記強度測定値の複数の時間的に隣接するフレームにおける類似のパッチを探索し、前記強度測定値の前記類似のパッチに対応する前記深度測定値のパッチを、前記深度測定値の３次元（３Ｄ）ブロックにグループ化し、事前制約を用いて各３Ｄブロックの行列補完を実行して、高められた解像度のブロックを得て、該高められた解像度のブロックからセンサーの前記解像度よりも高い解像度を有する深度画像を構築するように構成されたプロセッサと、
を備える、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検知システム及び検知方法に関し、より詳細には、低解像度深度センサーと高解像度光学カメラとによって出力された、検知された測定値を融合することに関する。
【背景技術】
【０００２】
コンピュータービジョン応用における重要な課題の１つは、シーンの高解像度深度マップを取得することである。オブジェクト再構成（object reconstruction）、ロボットナビゲーション（robotic navigation）、及び自動運転支援（automotive driver assistance）等の複数の共通のタスクは、光学カメラからの強度データを、高解像度深度マップを用いて補償することによって著しく改善することができる。しかしながら、現在のセンサー技術を用いると、高解像度深度マップの直接の取得には非常に費用が掛かる。
【０００３】
そのようなセンサーのコスト及び限定された可用性は、コンピュータービジョンシステムの能力に著しい制約を課すとともに、高解像度深度マップに依拠する方法の適用を妨げる。したがって、複数の方法が、測定された深度データの空間解像度を高める数値計算上の代替案を提供する。
【０００４】
深度データの空間解像度を改善する技術のうちの最も普及し広く用いられているクラスの１つは、ガイデット深度超解像（guided depth superresolution）である。これらの技術は、低解像度深度センサーを用いてシーンの深度マップを、及び高解像度光学カメラを用いて光学画像を、共同で取得する。続いて、カメラによって取得されたデータを用いて、低解像度深度マップを超解像処理する（superresolve）。これらの技術は、双方のモダリティが、エッジ及び連結部のテクスチャの変化等の共通の特徴を共有するという特性を利用する。したがって、光学カメラデータにおけるそのような特徴は、情報と超解像処理深度マップ（superresolved depth map）を著しく向上させるガイダンス（guidance）とを提供する。
【０００５】
過去、これらの方法の大半は、単一の光学画像及び低解像度深度マップ上で実行されていた。しかしながら、そのような方法及びシステムの最も実用的な使用のために、通常、光学カメラのビデオと深度マップのスナップショットのシーケンスとが取得される。
【０００６】
１つの手法は、マルコフ確率場（ＭＲＦ）を用いて深度及び強度におけるエッジの同時生起をモデル化する。代替的な手法は、ジョイントバイラテラルフィルタリングに基づいており、ここで、強度は、フィルターの重みを設定するのに用いられる。このバイラテラルフィルタリングは、深度の局所統計を組み込むことによって精緻化することができる。別の手法では、測地距離が重みを求めるのに用いられる。この手法は、動的シーケンスに拡張して、深度センサー及び強度センサーにおいて異なるデータレートを補償することができる。ガイデット画像フィルタリング手法が、エッジ保存を更に改善することができる。
【０００７】
より最近では、圧縮センシング（compressive sensing）の基本的な構成要素である、スパース性促進正則化（sparsity-promoting regularization）が、深度超解像の質に、より劇的な改善をもたらした。例えば、辞書学習法及びスパース符号化法を組み合わせることによって改善が実証されている。別の方法は、深度に区分的多項式構造を課すために、重み付き全一般化変動（ＴＧＶ：total generalized variation）正則化に依拠する。
【０００８】
従来のＭＲＦ手法は、解析形式において深度の変換領域のスパース性を促進する追加の項と組み合わせることができる。１つの方法は、ＭＲＦモデルを用いて、オブジェクトをセグメント化するとともにより高品質の深度を復元することを共同で行う。深度超解像は、僅かに変位した視点から静的シーンの幾つかのスナップショットを取り、深度の重み付き勾配のスパース性を用いて測定値を統合することによって実行することができる。
【０００９】
多くの自然画像は、類似のパターン及びテクスチャの繰り返しを含む。ノンローカルミーン（ＮＬＭ）及びブロックマッチング３Ｄフィルタリング（ＢＭ３Ｄ：block matching and 3D filtering）等の現行技術水準の画像ノイズ除去方法は、画像を、パッチの構築化された集合体として処理することによってこの冗長性を利用する。ＮＬＭの定式化は、特定のＮＬＭ正則化項を用いてより一般的な逆問題に拡張することができる。同様に、一般的なＢＭ３Ｄベースの画像再構成のために、一変形の手法を用いることができる。ガイデット深度超解像に関して、ＮＬＭは、推定された深度におけるノイズの量を低減するのに用いられている。別の方法は、単一の深度画像の解像度を向上させるために、ブロックマッチング手順に低ランク制約を組み合わせる。
【発明の概要】
【００１０】
深度センサーの空間解像度は、多くの場合、従来の光学カメラの空間解像度と比較して著しく低い。本発明の実施形態は、より高解像度の光学強度画像を副情報として用いて深度画像の解像度を改善する。より詳細には、実施形態は、低解像度深度センサーと高解像度光学カメラとによって出力されたセンサー測定値を融合する。
【００１１】
ビデオにおいて時間情報（temporal information）を組み込むことにより、結果を著しく改善することができる。特に、実施形態は、モーション適応（motion adaptive：モーションに応じた）低ランク正則化を用いて深度画像及び強度画像における時空間冗長特徴を利用し、深度解像度を改善する。結果は、実施形態が、推定された高解像度深度画像の質を実質的に改善することができることを確証する。この手法は、高解像度深度情報に依拠するビジョン技術を用いる方法及びシステムにおいて第１の構成要素とすることができる。
【００１２】
本発明の重要な洞察は、深度測定値の１つの特定のフレームについての情報は、何らかの形態で、時間的に隣接するフレームにおいて複製されるという認識に基づいている。したがって、時間にわたるフレームを利用して、深度マップを超解像処理することができる。１つの課題は、シーン、カメラ、及び複数の時間的に隣接するフレーム間のオブジェクトモーションの存在においてこの情報を求めることである。
【００１３】
時間を深度推定に組み込むことにおける別の課題は、深度はフレーム間で著しく変化し得るということである。この結果、時間次元に沿った深度値における急激な変動がもたらされ、これが結果の質における著しい劣化につながり得る。したがって、推定中にモーションを補償することが重要である。
【００１４】
そのため、実施形態は、モーション適応正則化を用いて測定値における時空間類似性を利用する。詳細には、本方法は、ブロックにグループ化される類似の深度パッチを探索し、ブロックは、超解像処理され、ランクペナルティを事前制約として用いて正則化される。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態による、検知された測定値を融合する方法及びシステムのブロック図である。
【図２】本発明の実施形態による、時空間探索エリア内のブロック探索及びブロックグループ化の概略図である。
【図３】本発明の実施形態による、ｖ−縮小演算子（v-shrinkage operator）の図である。
【発明を実施するための形態】
【００１６】
図１に示すように、本発明の実施形態は、低解像度深度センサーと高解像度光学カメラとによって出力された測定値を融合して、深度画像の解像度を改善する。
【００１７】
実施形態は、データフィデリティ項（data-fidelity term）と正則化項とを組み合わせるコスト関数を最小化することによって、高解像度深度画像を構築する。詳細には、測定された深度値と推定された深度値との間の誤差を制御する２次データフィデリティ項が課される。正則化項は、複数のフレームからの類似の深度パッチをグループ化し、結果として得られた深度画像のランクにペナルティを課す。
【００１８】
複数のフレームからのパッチを用いることに起因して、本発明による方法は、暗黙的にモーション適応的である。したがって、シーンの複数の視点からの測定値を効果的に組み合わせることによって、深度推定が改善される。
【００１９】
方法及びシステムの概要
深度測定値１２０は、シーン１０５から深度センサー１１０を用いて取得され、例えば、深度センサーは、光レーダー（ＬＩＤＡＲ）センサーとすることができる。加えて、強度測定値１２５は、シーン１０５からカメラ１１５を用いて取得され、例えば、カメラは、高解像度光学ビデオカメラである。深度センサーの解像度は、カメラセンサーの解像度よりも低い。センサー及びカメラは、較正される。
【００２０】
コンピューター化ステップにおいて、深度測定値は、類似のパッチについて探索され、類似のパッチは、次に強度測定値を用いてブロックにグループ化される（１３０）。類似のパッチの探索は、深度測定値の複数の時間的に隣接するフレームにおいて実行される。探索及びグループ化の詳細は、図２を参照して以下で詳述される。
【００２１】
ブロックの解像度は、事前制約を用いることによって高められ（１４０）、高められた解像度のブロックが生成される。次に、この高められた解像度のブロックを用いて、高解像度画像１５０を構築する（１４５）。すなわち、深度画像の解像度は、深度センサーの解像度よりも高い。コンピューター化ステップは、終了条件、例えば、所定の回数、解像度の収束、又は測定値の最後のものに達するまで繰り返される。
【００２２】
問題定式化
本発明による方法及びシステムは、シーンの深度測定値｛ψｔ｝t∈［１,．．．，Ｔ］を取得する。各測定値は、より高解像度の深度画像
【数１】
0006415781.tif 000002
の、サブサンプリング演算子Ｈｔを用いてダウンサンプリングされたバージョンとみなされる。本発明者らによる最終目標は、全てのｔについて高解像度深度画像φｔを復元及び構築することであり、ここで、ｔは、深度測定値のフレームの時間インデックスである。
【００２３】
実施形態のこの記載において、Ｎを用いて各フレームにおけるピクセル数を示し、Ｔを用いて時間フレームの数を示し、Ｍを用いて深度測定値の総数を示す。さらに、
【数２】
0006415781.tif 000003
は、全ての測定値のベクトルを示し、
【数３】
0006415781.tif 000004
は、高解像度深度マップのシーケンス全体を示し、
【数４】
0006415781.tif 000005
は、サブサンプリング演算子全体を示す。
【００２４】
また、カメラを用いて、強度測定値１２５を、高解像度強度画像
【数５】
0006415781.tif 000006
のシーケンスとして取得する。
【００２５】
深度測定値及び強度測定値を用いると、深度復元問題のフォワードモデルは、
【数６】
0006415781.tif 000007
であり、ここで、
【数７】
0006415781.tif 000008
は、測定ノイズを示す。したがって、本発明者らによる目的は、測定値ψ及びｘ並びにサンプリング演算子Ｈを所与として、高解像度深度画像１５０を復元及び構築することである。
【００２６】
深度推定タスクを最適化問題
【数８】
0006415781.tif 000009
として定式化する。ここで、
【数９】
0006415781.tif 000010
は、データフィデリティを強化し、
【数１０】
0006415781.tif 000011
は、深度測定値に事前制約を課す正則化項である。
【００２７】
深度測定値における各フレームからのパッチのセットを構築することによって、正則化項を形成する。詳細には、まず、パッチの各セットｐ∈［１，．．．，Ｐ］について、演算子
【数１１】
0006415781.tif 000012
を定義する。ここで、Ｐは、そのような構築されたセットの数である。演算子は、深度測定値φにおけるフレームからサイズＢのピクセルのＬ個のパッチを抽出する。
【００２８】
図２は、時空間探索エリア２１０内のブロック探索及びブロックグループ化を示している。この図は、それぞれ時点ｔ−１、ｔ及びｔ＋１におけるフレーム２０１、２０２及び２０２を示している。これらのフレームは、種々の特徴２０５を含む。
【００２９】
現在のフレームｔにおける探索エリアは、基準パッチ２２０を中心としている。探索は、複数の時間的に隣接するフレームにおいて同一のウィンドウ位置で行われる。類似のパッチは、グループ化されて、ブロック
【数１２】
0006415781.tif 000013
が構築される。各ブロック
【数１３】
0006415781.tif 000014
は、まず基準パッチを選択し、次に現在のフレーム及び隣接する時間フレーム内のＬ−１個の類似のパッチを見つけることによって得られる。
【００３０】
類似度を求めて類似のパッチをグループ化するために、光学画像における強度測定値をガイドとして用いる。探索の計算複雑性を低減するため、探索を、基準パッチ２２０周辺の固定サイズの時空間ウィンドウに制限する。基準パッチを移動させることによって、及び各フレームにおいて重なり合ったパッチを考慮することによって、全ての時空間フレームについて同じブロック探索及びブロックグループ化を実行する。したがって、測定値φにおける各ピクセルは、複数のブロックに寄与する可能性がある。
【００３１】
【数１４】
0006415781.tif 000015
の随伴行列（adjoint）
【数１５】
0006415781.tif 000016
は、ブロックにおけるパッチを、深度測定値φにおけるそれらの元のロケーションに置き換えることに対応する。この随伴行列は、以下の特性を満たし、
【数１６】
0006415781.tif 000017
ここで、
【数１７】
0006415781.tif 000018
であり、ｒｎは、行列
【数１８】
0006415781.tif 000019
による第ｎのピクセルに対する基準の総数を示す。したがって、深度測定値φは、以下のようにブロックを用いて過完備表現に関して表すことができる。
【数１９】
0006415781.tif 000020
【００３２】
ランク正則化
行列として表される各ブロックは、複数の類似のパッチ、すなわち、類似の列を含む。したがって、行列が低ランクを有し、ランクをこの問題に関する自然の正則化項とすることが予期される。
【数２０】
0006415781.tif 000021
【００３３】
低ランク解決策を（２）に求めることによって、対応するブロックの類似性を利用して超解像をガイドする一方で、検知された強度測定値との一貫性を強化する。しかしながら、ランク正則化項（５）は、その直接最適化が扱いにくいことに起因して、実用的な関心をほとんど有しない。これに関する１つの手法は、正則化項を核ノルムで置き換えることによってランクを凸化する（convexify）ことである。すなわち、
【数２１】
0006415781.tif 000022
であり、ここで、σｋ（β）は、βのｋ番目に大きい特異値を示し、λ＞０は、正則化の量を制御するパラメーターである。
【００３４】
その凸性に加えて、核ノルムは、最適化するのに有力なペナルティである。なぜなら、核ノルムは、閉形式の近接演算子（proximal operator）、すなわち、
【数２２】
0006415781.tif 000023
を有するためであり、ここで、ψ＝ｕσｖＴは、ψの特異値分解（ＳＶＤ）であり、ηλは、対角行列σに適用されるソフト閾値処理関数である。
【００３５】
非凸正則化項は、重要な信号成分を損失することなく、より良好なノイズ除去能力を提供することによって、核ノルムに一貫して優ることが既知である。核ノルムに対する以下の非凸一般化
【数２３】
0006415781.tif 000024
を使用する。例えば、R. Chartrand, 「Nonconvex splitting for regularized Low-Rank + Sparse decomposition.」 IEEE Trans. Signal Process., 60(11):5810-5819, November 2012を参照されたい。
【００３６】
スカラー関数ｇλ，ｖは、
【数２４】
0006415781.tif 000025
を満たし、ここで、ｈλ，ｖは、ｖ−フーバー関数（ν-Huber function）
【数２５】
0006415781.tif 000026
であり、ただし、
【数２６】
0006415781.tif 000027
である。
【００３７】
ｇλ，ｖは、非凸であり、閉形式の式を有しないが、その近接演算子は、閉形式表現
【数２７】
0006415781.tif 000028
を許容し、ここで、
【数２８】
0006415781.tif 000029
は、以下のように定義される点単位のｖ−縮小演算子である。
【数２９】
0006415781.tif 000030
【００３８】
図３は、ｖの２つの値において固定されたλ＝１についての、ｖ−縮小演算子
【数３０】
0006415781.tif 000031
のグラフである。ｖ＝１について、ｖ−縮小（１２）は、従来のソフト閾値処理と同等である。ｖ→０のとき、演算子はハード閾値処理に近似し、演算子が大きな主成分のみを保持するという意味において、主成分分析（ＰＣＡ）に類似する。
【００３９】
したがって、正則化項（８）は、ランクペナルティに対する、計算的に扱いやすい代替案である。正則化項が凸でない一方で、その近接演算子の閉形式に起因して、正則化項は、依然として効率的に最適化することができる。η＜１について、本発明による正則化項の非凸性に起因して、大域的な収束を理論的に保証することは困難であることが留意される。しかしながら、本発明者らは、本発明による方法が広範な範囲の例にわたって高い信頼性で収束することを経験的に観測した。
【００４０】
反復最適化
ランク正則化項（８）を用いて最適化問題（２）を解くために、演算子
【数３１】
0006415781.tif 000032
及びベクトル
【数３２】
0006415781.tif 000033
を定義することによって、本発明による表記を簡易化する。
【００４１】
拡張ラグランジアン（ＡＬ）法を用いて最小化が実行される。詳細には、以下のＡＬ
【数３３】
0006415781.tif 000034
の臨界点（critical points）を求める。ここで、ρ＞０は、２次パラメーターであり、ｓは、制約
【数３４】
0006415781.tif 000035
を課す双対変数である。
【００４２】
従来的に、ＡＬ法は、以下のように共同の最小化ステップと更新ステップとの間で交互に用いることによって（２）を解く。
【数３５】
0006415781.tif 000036
【００４３】
しかしながら、（１５）における共同最小化は、通常、計算的に集中している。複雑度を低減するために、（１５）を交互方向乗数法（ＡＤＭＭ：alternating direction method of multipliers）を用いてより簡易なステップの連続体に分離する。
【００４４】
このステップは、以下のとおりである。
【数３６】
0006415781.tif 000037
【００４５】
深度測定値φに依拠しない項を無視することによって、（１７）は２次方程式
【数３７】
0006415781.tif 000038
を解くことに等しく、ここで、
【数３８】
0006415781.tif 000039
である。この２次方程式を解くことは効率的であり、なぜなら、反転が対角行列上で実行されるためである。同様に、（１８）は、
【数３９】
0006415781.tif 000040
によって解かれる。ただし、
【数４０】
0006415781.tif 000041
である。
【００４６】
このステップは、近接演算子のブロック単位の適用を介して、全てのｐ∈［１，．．．，Ｐ］について以下のように解くことができる。
【数４１】
0006415781.tif 000042
【００４７】
簡易化された方法
上記の反復最適化方法は、データフィデリティの強化をランクベースの正則化の強化から切り離すことによって著しく簡易化することができる。この簡易化された方法は、計算複雑度を低減する一方で、全時空間深度測定値にわたって推定をより均一にする。
【００４８】
画像にわたってマッチングすることによって生成されたピクセル基準の不均質な分布に起因して、単一の正則化パラメーターでペナルティを用いることは、多数の基準を有するピクセルに対して大幅にペナルティを課すことになる。結果として得られる不均一な正則化により、この方法が潜在的にパラメーターλの選択に過敏になる。この代わりに、本発明者らは、簡易化された方法
【数４２】
0006415781.tif 000043
に依拠する。ここで、
【数４３】
0006415781.tif 000044
であり、λ＞０は、正則化であり、ρ＞０は、２次パラメーターである。
【００４９】
（２３）を解くために、全てのｐ∈［１，．．．，Ｐ］について、近接演算子
【数４４】
0006415781.tif 000045
を適用する。次に、（２４）を線形ステップに変換する。
【数４５】
0006415781.tif 000046
【００５０】
反復最適化と簡易化された方法との間には相当な類似性が存在する。主な相違は、双対変数ｓを除去し、２次副問題（２０）を簡易化したことである。
【００５１】
発明の効果
実施形態は、深度画像の超解像を構築する新規のモーション適応方法及びシステムを提供する。本方法は、幾つかのフレームから類似のパッチを探索し、これらのパッチはブロックにグループ化され、次にこれらのブロックは、ランク正則化項を用いて超解像処理される。この手法を用いて、低解像度深度測定値から高解像度深度画像を生成することができる。従来技術と比較して、本発明は、この解決策において時間エッジを保存し、実用的な構成においてノイズを効果的に軽減する。
【００５２】
本発明による方法は、各フレームを個別に処理する従来の手法よりも高い計算複雑度を有するが、本方法により、超解像に関連する逆問題を安定化させるのに非常に効果的な正則化を組み込むことが可能になる。本方法は、問題を簡単なオペレーションの連続体に還元することによって、効果的な計算及び簡単な実施を可能にする。結果は、適応的に時間及びモーションを深度推定の逆問題に組み込むことの多数の利益を実証する。
【００５３】
重要な寄与は、時間情報を組み込むガイデット深度超解像の新規の定式を提供することを含む。この定式において、高解像度深度は、コストを最小化する逆問題を解くことによって求められる。このコストは、２次データフィデリティ項、及び類似のパッチのグループに対する低ランクペナルティに基づくモーション適応正則化項を含む。
【００５４】
本発明による推定問題を解くのに、２つの最適化ストラテジーが記載されている。第１の手法は、交互方向乗数法（ＡＤＭＭ）を介したコストの厳密な最適化に基づいている。第２の手法は、データ一貫性の強化と低ランクペナルティとの間で交互に代わる簡易化された手順を用いる。
【図１】
0006415781.tif 000047
【図２】
0006415781.tif 000048
【図３】
0006415781.tif 000049