(57)【要約】  諸態様は、物体の深度情報を含む高解像度画像を生成する方法に関する。一態様では、方法は、第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングすることを含み、第1の解像度は第2の解像度よりも高く、第1の基準画像および第2の基準画像はステレオ画像ペアを含む。方法は、ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて第2の解像度で深度マップを生成することをさらに含む。方法はまた、深度マップを第2の解像度から第1の解像度にアップサンプリングすること、および誘導フィルタを使用して、アップサンプリングされた深度マップの等高線を第1の基準画像の等高線に位置合せすることを含む。
2017520852.tif 000002
【特許請求の範囲】
【請求項１】
物体の深度情報を含む高解像度画像を生成する方法であって、
第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングするステップであって、前記第1の解像度が前記第2の解像度よりも高く、前記第1の基準画像および前記第2の基準画像がステレオ画像ペアである、ステップと、
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成するステップと、
前記深度マップを前記第2の解像度から前記第1の解像度にアップサンプリングするステップと、
誘導フィルタを使用して、前記アップサンプリングされた深度マップの等高線を前記第1の基準画像の等高線に位置合せするステップと
を含む方法。
【請求項２】
前記深度マップをアップサンプリングする前記ステップが、バイリニア補間を使用して、前記深度マップの前記解像度を前記第2の解像度から前記第1の解像度に向上させるステップを含む請求項1に記載の方法。
【請求項３】
前記第2の解像度が、前記第1の解像度の多くても4分の1のピクセルを含む請求項1に記載の方法。
【請求項４】
前記第2の解像度が、前記第1の解像度の4分の1または16分の1のピクセルを含む請求項3に記載の方法。
【請求項５】
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成する前記ステップが、大域的最小化を使用して深度マップを生成するために、漸進的に大きくなる画像に対して反復プロセスを使用して深度マップを生成するステップを含む請求項1に記載の方法。
【請求項６】
大域的最小化技法に基づいて前記第2の解像度で深度マップを生成する前記ステップが、大域的最小化技法に基づいてエネルギー関数を最小化することによって深度マップを生成するステップを含む請求項1に記載の方法。
【請求項７】
前記第1の基準画像および前記第2の基準画像が、互いから既知の距離にあるカメラによって同時に取得される請求項1に記載の方法。
【請求項８】
物体の深度情報を含む高解像度画像を生成するためのデバイスであって、
第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングすることであって、前記第1の解像度が前記第2の解像度よりも高く、前記第1の基準画像および前記第2の基準画像がステレオ画像ペアを含むこと、
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成すること、
前記深度マップを前記第2の解像度から前記第1の解像度にアップサンプリングすること、および
誘導フィルタを使用して、前記アップサンプリングされた深度マップの等高線を前記第1の基準画像の等高線に位置合せすること
を行うように構成されたプロセッサ
を備えるデバイス。
【請求項９】
前記深度マップをアップサンプリングすることが、バイリニア補間を使用して、前記深度マップの前記解像度を前記第2の解像度から前記第1の解像度に向上させることを含む請求項8に記載のデバイス。
【請求項１０】
前記第2の解像度が、前記第1の解像度の多くても4分の1のピクセルを含む請求項8に記載のデバイス。
【請求項１１】
前記第2の解像度が、前記第1の解像度の4分の1または16分の1のピクセルを含む請求項10に記載のデバイス。
【請求項１２】
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成することが、大域的最小化を使用して深度マップを生成するために、漸進的に大きくなる画像に対して反復プロセスを使用して深度マップを生成することを含む請求項8に記載のデバイス。
【請求項１３】
大域的最小化技法に基づいて前記第2の解像度で深度マップを生成することが、大域的最小化技法に基づいてエネルギー関数を最小化することによって深度マップを生成することを含む請求項8に記載のデバイス。
【請求項１４】
第1の基準画像および第2の基準画像をそれぞれ同時に取得するように構成された、互いから既知の距離にある第1のカメラおよび第2のカメラをさらに備える請求項8に記載のデバイス。
【請求項１５】
前記第1のカメラおよび前記第2のカメラがそれぞれ、互いに対して同一のネイティブ解像度を有する請求項8に記載のデバイス。
【請求項１６】
物体の深度情報を含む高解像度画像を生成するためのデバイスであって、
第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングするための手段であって、前記第1の解像度が前記第2の解像度よりも高く、前記第1の基準画像および前記第2の基準画像がステレオ画像ペアを含む、手段と、
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成するための手段と、
前記深度マップを前記第2の解像度から前記第1の解像度にアップサンプリングするための手段と、
誘導フィルタを使用して、前記アップサンプリングされた深度マップの等高線を前記第1の基準画像の等高線に位置合せするための手段と
を備えるデバイス。
【請求項１７】
前記深度マップをアップサンプリングするための手段が、バイリニア補間を使用して、前記深度マップの前記解像度を前記第2の解像度から前記第1の解像度に向上させるための手段を備える請求項16に記載のデバイス。
【請求項１８】
前記第2の解像度が、前記第1の解像度の多くても4分の1のピクセルを含む請求項16に記載のデバイス。
【請求項１９】
前記第2の解像度が、前記第1の解像度の4分の1または16分の1のピクセルを含む請求項18に記載のデバイス。
【請求項２０】
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成するための手段が、大域的最小化を使用して深度マップを生成するために、漸進的に大きくなる画像に対して反復プロセスを使用して深度マップを生成するための手段を備える請求項16に記載のデバイス。
【請求項２１】
大域的最小化技法に基づいて前記第2の解像度で深度マップを生成するための手段が、大域的最小化技法に基づいてエネルギー関数を最小化することによって深度マップを生成するための手段を備える請求項16に記載のデバイス。
【請求項２２】
第1の基準画像および第2の基準画像をそれぞれ同時に取得するように構成された、互いから既知の距離にある、画像を取得するための第1の手段と、画像を取得するための第2の手段とをさらに備える請求項16に記載のデバイス。
【請求項２３】
画像を取得するための前記第1の手段と、画像を取得するための前記第2の手段とがそれぞれ、互いに対して同一のネイティブ解像度を有する請求項16に記載のデバイス。
【請求項２４】
実行されたとき、装置に、
第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングすることであって、前記第1の解像度が前記第2の解像度よりも高く、前記第1の基準画像および前記第2の基準画像がステレオ画像ペアを含むこと、
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成すること、
前記深度マップを前記第2の解像度から前記第1の解像度にアップサンプリングすること、および
誘導フィルタを使用して、前記アップサンプリングされた深度マップの等高線を前記第1の基準画像の等高線に位置合せすること
を行わせるコードを含む非一時的コンピュータ可読記録媒体。
【請求項２５】
前記深度マップをアップサンプリングすることが、バイリニア補間を使用して、前記深度マップの前記解像度を前記第2の解像度から前記第1の解像度に向上させることを含む請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項２６】
前記第2の解像度が、前記第1の解像度の多くても4分の1のピクセルを含む請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項２７】
前記第2の解像度が、前記第1の解像度の4分の1または16分の1のピクセルを含む請求項26に記載の非一時的コンピュータ可読記録媒体。
【請求項２８】
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成することが、大域的最小化を使用して深度マップを生成するために、漸進的に大きくなる画像に対して反復プロセスを使用して深度マップを生成することを含む請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項２９】
大域的最小化技法に基づいて前記第2の解像度で深度マップを生成することが、大域的最小化技法に基づいてエネルギー関数を最小化することによって深度マップを生成することを含む請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項３０】
前記第1の基準画像および前記第2の基準画像が、互いから既知の距離にあるカメラによって同時に取得される請求項24に記載の非一時的コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ステレオ深度推定のための効率的な技法に関する。詳細には、本開示は、大域的最小化(global minimization)技法および深度補間(depth interpolation)を使用するステレオ深度推定のためのシステムおよび方法に関する。
【背景技術】
【０００２】
非常に高品質な深度(視差(disparity))マップを生成するために、大域的最小化が使用され得る。しかし、これらの技法は非常に計算集約的であり得、多量のメモリを必要とし得る。いくつかの態様では、これらの大域的最小化技法よりも必要とするメモリおよび計算実行時間が少ない方法を使用して、高解像度で正確な深度マップを生成することが望ましいことがある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Brown他、「Advances in Computational Stereo」(Pattern Analysis and Machine Intelligence、IEEE Transactions on、25(8)、993〜1008頁(2003年))
【発明の概要】
【課題を解決するための手段】
【０００４】
添付の特許請求の範囲内のシステム、方法、およびデバイスの様々な実装はそれぞれ、いくつかの態様を有し、そのうちのいずれも、本明細書で説明される望ましい属性を単独で受け持つわけではない。添付の特許請求の範囲を限定することなく、いくつかの顕著な特徴が本明細書で説明される。
【０００５】
本明細書で説明される主題のうちの1つまたは複数の実装の詳細が、添付の図面および以下の説明で述べられる。説明、図面、および特許請求の範囲から他の特徴、態様、および利点が明らかとなるであろう。以下の図の相対的寸法は、原寸に比例して描かれていないことがあることに留意されたい。
【０００６】
1つの革新は、物体の深度情報を含む高解像度画像を生成する方法を含む。方法は、基準の第1の画像から低減された解像度の第1の画像を生成すること、基準の第2の画像から低減された解像度の第2の画像を生成することであって、基準の第1の画像および基準の第2の画像はステレオ画像ペアであること、第1および第2の低減された解像度の画像内の共役地点ペア(conjugate pair of points)のセットを求めること、共役地点ペアに少なくとも部分的に基づいて、第1および第2の低減された解像度の画像の解像度を有する深度マップを生成すること、基準の第1の画像の解像度に深度マップをアップサンプリングして、高解像度深度マップを生成することであって、アップサンプリングすることが、深度マップ内のデータを補間して、高解像度深度マップの深度データを生成すること、および基準の第1の画像または基準の第2の画像のエッジと一致するように高解像度深度マップの深度データを修正することを含むことを含み得る。
【０００７】
本開示の一態様は、物体の深度情報を含む高解像度画像を生成する方法を提供する。方法は、第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングすることを含み、第1の解像度は第2の解像度よりも高く、第1の基準画像および第2の基準画像はステレオ画像ペアである。方法は、ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて第2の解像度で深度マップを生成すること、および深度マップを第2の解像度から第1の解像度にアップサンプリングすることをさらに含む。方法はまた、誘導フィルタを使用して、アップサンプリングされた深度マップの等高線を第1の基準画像の等高線に位置合せする(または「スナップする」)ことをも含む。
【０００８】
一態様では、深度マップをアップサンプリングすることは、バイリニア補間を使用して、深度マップの解像度を第2の解像度から第1の解像度に向上させることを含み得る。第2の解像度は、一態様では、第1の解像度の多くても4分の1のピクセルを含み得る。たとえば、第2の解像度は、第1の解像度の4分の1または16分の1のピクセルを含み得る。ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて第2の解像度で深度マップを生成することは、大域的最小化を使用して深度マップを生成するために、漸進的に大きくなる画像に対して反復プロセスを使用して深度マップを生成することを含み得る。大域的最小化技法に基づいて第2の解像度で深度マップを生成することは、大域的最小化技法に基づいてエネルギー関数を最小化することによって深度マップを生成することを含み得る。第1の基準画像および第2の基準画像は、互いから既知の距離にあるカメラによって同時に取得され得る。
【０００９】
一態様では、物体の深度情報を含む高解像度画像を生成するためのデバイスが開示される。デバイスは、第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングするように構成されたプロセッサを含み、第1の解像度は第2の解像度よりも高く、第1の基準画像および第2の基準画像はステレオ画像ペアを含む。プロセッサは、ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて第2の解像度で深度マップを生成し、深度マップを第2の解像度から第1の解像度にアップサンプリングするようにさらに構成される。プロセッサはまた、誘導フィルタを使用して、アップサンプリングされた深度マップの等高線を第1の基準画像の等高線に位置合せするように構成される。
【００１０】
本開示の一態様は、物体の深度情報を含む高解像度画像を生成するためのデバイスを提供する。デバイスは、第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングするための手段を含み、第1の解像度は第2の解像度よりも高く、第1の基準画像および第2の基準画像はステレオ画像ペアを含む。デバイスはまた、ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて第2の解像度で深度マップを生成するための手段と、深度マップを第2の解像度から第1の解像度にアップサンプリングするための手段とを含む。デバイスは、誘導フィルタを使用して、アップサンプリングされた深度マップの等高線を第1の基準画像の等高線に位置合せするための手段をさらに含む。
【００１１】
一態様では、非一時的コンピュータ可読媒体が開示される。媒体は、実行されたとき、装置に、第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングさせるコードを含み、第1の解像度は第2の解像度よりも高く、第1の基準画像および第2の基準画像はステレオ画像ペアを含む。媒体は、装置に、ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて第2の解像度で深度マップを生成させ、深度マップを第2の解像度から第1の解像度にアップサンプリングさせ、誘導フィルタを使用して、アップサンプリングされた深度マップの等高線を第1の基準画像の等高線に位置合せさせるコードをさらに含む。
【００１２】
開示される態様を限定するためにではなく、例示するために与えられ、同様の表示は同様の要素を表す、添付の図面および付録とともに、開示される態様が以下で説明される。
【図面の簡単な説明】
【００１３】
【図１】2つのステレオ画像に基づいて高品質視差マップを得るために大域的方法によって使用され得る反復ステップの一例を示す図である。
【図２】大域的最小化技法を使用し、補間を使用して高解像度視差マップを生成するためのプロセスの一例を示す図である。
【図３】大域的最小化および補間を使用して高密度視差(または深度)マップを得る方法の例示的使用を示す図である。
【図４】大域的最小化および補間を使用して高密度視差(または深度)マップを得る方法の別の例示的使用を示す図である。
【図５Ａ】いくつかの物体を含むトゥルーカラー画像の一例を示す図である。
【図５Ｂ】画像のフーリエ変換を取ることによって生成される、画像内で見出される様々な成分帯域を示す図である。
【図６Ａ】アップサンプリングを使用して生成される、いくつかの物体を含むトゥルーカラー画像の一例を示す図である。
【図６Ｂ】アップサンプリングされた画像のフーリエ変換を取ることによって生成される、アップサンプリングされた画像内で見出される様々な成分帯域を示す図である。
【図７Ａ】受け取ったステレオ画像ペアに基づく大域的最小化方法を使用して生成された視差マップの一例を示す図である。
【図７Ｂ】大域的最小化方法を使用して生成された視差マップのフーリエ変換の一例を示す図である。
【図８Ａ】より小さい視差マップをアップサンプリングすることによって生成された視差マップの一例を示す図である。
【図８Ｂ】アップサンプリングされた視差マップのフーリエ変換の一例を示す図である。
【図９Ａ】より小さい視差マップをアップサンプリングし、誘導フィルタリングを使用して基準画像に基づいてエッジをシャープにすることによって生成された視差マップの一例を示す図である。
【図９Ｂ】より小さい視差マップをアップサンプリングし、誘導フィルタリングを使用して基準画像に基づいてエッジをシャープにすることによって生成された視差マップのフーリエ変換の一例を示す図である。
【図１０】本開示のいくつかの態様に従って高解像度深度マップを生成するための例示的方法を示す図である。
【図１１】いくつかの実施形態による深度マップ生成デバイスの一例を示す略図である。
【発明を実施するための形態】
【００１４】
以下の説明では、実施例の完全な理解をもたらすために特定の詳細が与えられる。しかしながら、実施例はこれらの特定の詳細なしに実施され得、実施例は、本明細書で論じられる主題の範囲を限定しないものとする。
【００１５】
深度マップ(または視差マップ)とは一般に、特定の視点からの深度マップ内のシーン物体の表面の距離に関する情報を含む3次元コンピュータグラフィックスイメージまたはイメージチャネルを指す。たとえば、深度マップは、通常のトゥルーカラー画像と同様に解像度を有し得、x軸およびy軸内のいくつかのピクセルがグリッドに配列される。それらのピクセルの各々は、閲覧者(または画像を取得するカメラ)の位置からの、その位置のシーン物体の距離を表す値を有し得る。たとえば、深度マップは、画像内の特定の地点が他の地点と比べてカメラに近いこと示すために暗いカラー(黒など)を使用し、画像内の他の地点が他の暗いカラーの地点と比べてカメラからさらに離れていることを示すために(白までの勾配上の)より明るいカラーを使用し得る。いくつかの実装では、これらのカラーは、近い物体がより明るく、離れた物体がより暗くなるように反転されることもあり得る。これらの深度マップは、いくつかの異なる目的で使用され得る。たとえば、深度マップは、霧などの効果をシーンに追加し、(離れた物体がだんだんぼやけるように)画像内の浅い深度のフィールドをシミュレートし、3次元のシーンをより効率的にレンダリングすることを助け、3次元グラフィックスでの影を作成するため、および他の目的で使用され得る。
【００１６】
深度マップを作成するためにいくつかの異なる技法が使用され得る。深度マップを作成するための一技法はステレオ深度推定である。この技法は、同時に、またはほぼ同時に2つの画像を取得することを含む。各画像は、異なる撮像システム(たとえば、2つのカメラ)で取得され得る。これらの2つの画像は、シーン内の物体が2つの異なるアングルからの画像となるように、同一であるが、2つの異なる視点からのシーンを取得し得る。たとえば、これらの画像は、短距離だけ離れて撮られたシーンの「左目」画像および「右目」画像に対応し得る。これらの2つの画像のパースペクティブを使用して、深度情報が決定され得る。たとえば、画像を取得するために使用される2つのカメラから離れた距離にある物体は、2つの画像内のほぼ同一の位置にあり得る。一方、2つのカメラの近くにある物体は、2つの画像内でずいぶん違う位置にあり得る。2つの画像間のシーン内の様々な物体の位置の差に基づいて、深度情報が決定され得、深度マップが作成され得る。
【００１７】
深度マップ抽出のための3次元モデルを決定するためにステレオ深度推定が使用され得る。ステレオ深度推定を使用するとき、深度マップを作成するためにいくつかの異なる技法が使用され得る。これらの技法の各々は、画像内の物体までの距離を推定するために、わずかに異なるアングルから撮られた同一のシーンの2つの画像を使用し得る。たとえば、画像は、互いから短距離に配置された2つのカメラによって撮られ得、2つのカメラは、同時に写真を撮るように構成される。いくつかの実装では、2つのカメラは、携帯電話、タブレット、デジタルカメラなどのモバイルデバイス上に配置され得、互いから既知の距離だけ離れて配置され得る。いくつかの実装では、3つ以上のカメラが使用され得る。これらの2つ以上の画像に基づいて、深度マップを生成するためにいくつかの技法が使用され得、深度マップは、画像内の様々な物体の深度(またはカメラからの距離)を示す。2つ以上の画像を使用する各技法は、深度情報を決定する際のステレオ画像の使用に基づいて、ステレオ深度推定技法と呼ばれることがある。
【００１８】
ステレオ深度推定のために使用され得るいくつかの異なる技法がある。たとえば、Brown他による「Advances in Computational Stereo」(Pattern Analysis and Machine Intelligence、IEEE Transactions on、25(8)、993〜1008頁(2003年))は、ステレオ深度推定のために使用され得るいくつかの異なる技法を説明している。一般に、これらの技法は、局所的方法および大域的方法という2つの広いカテゴリにグループ化され得る。技法のこれらの2つのカテゴリは、異なる方式で働き、異なる利点および欠点を呈する。
【００１９】
深度推定の局所的方法は通常、2つ以上のステレオ画像のそれぞれにおいて、画像の個々の「キー」地点を特定する。たとえば、いくつかの識別可能な地点(エッジのために、または画像のカラー変化のために識別可能であり得る地点など)が、ステレオ画像の各々の中の「キー」地点として定義され得る。これらのキー地点は、画像のステレオの性質のために、各画像内でわずかに異なる位置にあり得る。2つ以上の画像内のこれらのキー地点の変動する位置に基づいて、深度推定の局所的方法は、与えられたキー地点の深度を決定し得る。この結果、比較的まばらな深度マップが得られる(深度は、画像全体に広がる限られた数のキー地点だけについて既知である)。残りの地点は、キー地点に基づいて補間されたその値を有し得、画像のカラーまたは他の詳細は、キー地点から画像の他のエリアに深度情報を伝播させるために使用され得る。したがって、局所的方法では、視差計算は、他のピクセルを考慮に入れることなく、個々のピクセルごとに単独で行われ得る。この結果、計算の複雑さの少ない方法が得られ、効率的な深度マップ計算が可能となり得る。したがって、この計算は、比較的最小のメモリ量で行われ得、非常に迅速に実施され得る。しかし、これらの低メモリ要件についてのトレードオフは、そのような技法によって生成される視差マップが低い品質を有し得ることである。さらに、ノイズ、およびステレオ画像の較正における誤差によって、視差マップの品質が極度に影響を受け得る。
【００２０】
その代わりに、深度推定の大域的方法(「大域的方法」)は一般に、2つ以上のステレオ画像間のエネルギー関数を最小化することによって動作する。したがって、そのような大域的方法は、局所的方法のように画像の別個の「キー地点」を扱うのではなく、画像全体を同時に扱う。このことは、深度マップを生成するための局所的方法よりもずっと計算的に複雑であり得る。たとえば、大域的方法は、視差平滑度要素(disparity smoothness element)を含むエネルギー関数を最小化するように試みることによって動作し得る。一例では、エネルギー式は以下を含む。
E(D)=EP(D)+μES(D) (1)
上式で、E(D)は最小化するエネルギーであり、Dは2つ以上のステレオ画像間の視差であり、EPは2つの画像間のピクセル類似性を測定し、ESは係数μに基づいて視差平滑度の量を強制する。式1は、2つ以上のステレオ画像間のエネルギー視差を計算するために使用され得る。このエネルギー関数を計算した後、E(D)を最小化するためにDの値が変更され得る。そのようなエネルギー最適化は、共役勾配、グラフカット、および他の技法を使用して実施され得る。これらの技法は、計算の実行時間を増大させる傾向があり得、深度マップを作成するための局所的方法と比較して、高いメモリ要件を有し得る。しかし、ステレオベースの深度推定のための局所的方法とは異なり、これらの大域的方法は、正確で高品質な深度マップを生成し得る。さらに、大域的方法を使用して生成される深度マップは、(ステレオ画像内の)ノイズおよび較正誤差に対してより頑健性があり得る。したがって、これらの深度マップはしばしば、局所的方法ベースの深度マップよりも正確であり得る。
【００２１】
一般に、大域的方法は、より粗い(または低い)解像度を有する画像をまず処理し、次いで細かい(または高い)解像度を有する画像を反復的に処理することによって動作し得る。たとえば、図1は、高品質視差マップ110aを得るために大域的方法によって使用され得る反復処理の一例を示す。まず、右画像120aおよび左画像130aが、2つのカメラによって同時に取得され得る。これらの画像は、わずかに異なるアングルから同時に同一のシーンを取得し得る。これらの画像の各々は高解像度画像であり得る。
【００２２】
高解像度画像120a、130aに基づいて単一のステップで視差マップ110aを生成するのではなく、反復プロセスが使用され得る。たとえば、右画像120aが、いくつかのより小さい右画像120b、120c、120d、120eにダウンサンプリングされ得る。たとえば、ダウンサンプリングされた画像の各々は、その上のより大きい画像のピクセルの1/4を有し得る。たとえば、画像120aが1024×1024ピクセルである場合、画像120bは512×512ピクセルであり得、画像120cは256×256ピクセルであり得、以下同様である。ダウンサンプリングはまた、各画像が、それが生成される画像、または元の画像よりも比例して(たとえば、数分の1に)小さくなるように行われ得る。いくつかの実施形態では、比例縮小は、画像ごとに変動し得る(たとえば、ある画像が別の画像のサイズの4分の1(1/4)であり得、その別の画像は別の画像のサイズの半分(1/2)であるように)。同様に、左画像130aは、いくつかのより小さい左画像130b、130c、130d、130eにダウンサンプリングされ得る。ダウンサンプリングされた各サイズについて同一の解像度で整合した画像ペアがあるように、左画像および右画像は同様にダウンサンプリングされ得る。図版100の矢印によって示されるように、ダウンサンプリングされた画像の最小のペアは当初、最小の視差マップ110eを形成するために使用され得る。この視差マップ110eは、エネルギー関数を最小化することによって、式1に見出されるような式を使用して形成され得る。いくつかの実装では、より小さい画像(左画像130b、130c、130d、130e、および/または右画像120b、120c、120d、120e)が、それぞれの親画像130a、120aから生成され得る。他の実施形態では、より小さい画像(左画像130b、130c、130d、130e、および/または右画像120b、120c、120d、120e)が、先に生成された画像から生成され得る(たとえば、画像120bが120aから生成され、画像120cが画像120bから生成される)。
【００２３】
最小の視差マップ110eが作成された後、視差マップ110dなどの、それぞれのさらなる視差マップが、より大きいバージョンの左画像130dおよび右画像120dを使用して、先に生成されたより小さい視差マップ110eとともに作成され得る。したがって、図版100に示されるように、いくつかの異なる、漸進的に大きくなる視差マップが生成され得る。図版100では、5つの異なるサイズの視差マップが示されており、各視差マップは、前の視差マップよりも高い解像度を含み、したがって多くの細部を含む。
【００２４】
局所的方法および大域的方法は、異なる利点および欠点をもたらし得る。したがって、いくつかの態様では、大域的方法を使用して見出されるのと同様の高品質性能を提供するが、ずっと高速であり、より計算集約的ではない方法を使用することが望ましいことがある。たとえば、ステレオ深度推定のための1つの効率的な手法は、粗い(低い)解像度で大域的最小化技法を使用し得、次いで粗い視差マップの高速補間を実施して、高解像度視差マップを取得し得る。この結果、高いピーク信号対雑音比(PSNR)を有するが、大域的最小化技法を使用するよりも著しく少ない計算を使用して生成され得る深度マップが得られる。
【００２５】
たとえば、図版100に示されるように、視差マップを生成するためのグローバル推定方法は、粗から細までの異なる解像度(低解像度から高解像度)に対応する、いくつかの異なるレベルを含み得る。一般に、グローバル推定方法の各ステップについて、各ステップについて使用される計算時間/リソースは、生成されている視差マップ内のピクセル数に比例し得る。たとえば、グローバル推定方法の各ステップが前のステップからの視差マップの長さおよび幅を2倍にする(たとえば、320×240から640×480に移る)場合、各ステップは、前のステップの4倍のピクセルを有することになる。したがって、各ステップは、前のステップの約4倍の時間がかかり得る。したがって、図版100の方法を使用するとき、視差マップ110b、左画像130a、右画像120aに基づいて高解像度視差マップ110aを生成するために、方法の実行時間の約75%が最終ステップに関して使用され得る。さらに、最後から2番目の視差マップである視差マップ110bを生成するために、方法の実行時間の約20%が使用され得る。したがって、図版100の方法の実行時間の約95%が、視差マップ110aおよび110bを生成することに費やされる。したがって、視差マップ110cを作成した後にプロセスが停止した場合、これによってプロセスの実行時間が約95%削減され得る。
【００２６】
図示されるように、グローバル推定方法の実行時間の多くの割合が、粗い解像度視差マップ(たとえば、視差マップ110c)を高解像度視差マップ110aに変換するために使用され得る。したがって、比較的粗い視差マップを高解像度視差マップに変換するための効率的な補間を使用することによって、高解像度視差マップを生成するための実行時間が著しく削減され得る。図版100の実行時間のそのような多くの割合が視差マップ110cを視差マップ110aに変換することに使用され、粗い視差マップをアップサイジングするために大域的最小化ではなく補間を使用することは計算的な困難が著しく少なくなり得るので、このことは真実である。
【００２７】
図2は、補間を使用して高解像度視差マップを生成するための方法200である。この方法200は、たとえば、携帯電話、デジタルカメラ、または別のデジタル撮像デバイスによって使用され得る。
【００２８】
ブロック205において、方法は、大域的最小化を使用して、低解像度の正確な視差マップを得る。たとえば、大域的最小化技法は、式1などの誤差最小化式を使用することを含み得る。これらの式は、漸進的に高解像度になる視差マップを生成するために、図版100のように再帰的に使用され得る。しかし、図版100とは異なり、この場合、深度マップ110bまたは110cを生成した後に技法を停止することなど、低解像度視差マップを生成するためだけに大域的最小化技法が使用され得る。たとえば、大域的最小化によって生成される視差マップは、所望の視差マップのサイズの半分であり得る。いくつかの態様では、視差マップはまた、4分の1のサイズ、8分の1のサイズ、別のサイズなどの、所望の高解像度視差マップに対して別のサイズであり得る。いくつかの態様では、大域的最小化を使用するための手段はプロセッサを含み得る。
【００２９】
一般には、低解像度視差マップでは、前景(foreground)の物体についての視差値は非常に正確であり得る。これらの物体は、より小さい背景(background)要素よりも画像のより大きい部分を占め得、背景要素よりも物体間の大きい深度差を有し得る。したがって、低解像度視差マップを使用する結果、離れた物体についてある程度深度精度および解像度が失われ得るが、前景の物体については依然として正確であり得る。この視差マップはまた、前述の局所的方法を使用して生成されたディスプレイマップとは異なり、ノイズおよび較正誤差に対して頑健性があり得る。さらに、低解像度視差マップを生成するのに必要な実行時間およびメモリ要件が、グローバル技法を使用して高解像度視差マップを生成するのに必要なものよりもずっと低い。
【００３０】
ブロック210において、方法は、低解像度視差マップの高品質補間を実施して、高解像度視差マップを得る。たとえば、低解像度視差マップは、所望のサイズを達成する目的で画像(または、深度マップ)のサイズを200%、400%、または別のサイズに増大させるための通常の技法を使用することなどによってアップサイジングされ得る。いくつかの態様では、所望のサイズは、方法に対する入力画像(元の高品質ステレオ画像ペア)のサイズに少なくとも部分的に基づき得る。たとえば、大域的最小化技法は、2つ以上の入力画像(たとえば、左入力画像および右入力画像)を取り、それらの画像に基づいて視差マップを生成することによって動作し得る。したがって、高解像度視差マップの所望の解像度は、ソース画像の解像度に基づき得る。たとえば、視差マップの所望の解像度は、元のステレオ画像ペアの解像度に等しくなり得る。
【００３１】
いくつかの態様では、低解像度視差マップが、線形補間を使用して高解像度にアップサンプリングされ得る。この方法は、物体内部の区分的に一定の視差を正確に推定し得る。しかし、アップサンプリングされた視差マップ内の物体等高線が、アップサンプリングのためにぼやけ、エイリアシングされ得る。しかし、高解像度基準画像(元のステレオ画像ペアのうちの1つまたは複数)が、視差マップのエッジを復元するために使用され得る。たとえば、基準画像は高解像度であり得、シャープなエッジを含み得る。これらのシャープなエッジ(画像内の様々な物体のカラー間の遷移)が、アップサンプリングされた視差マップのぼやけたエッジをシャープにするために使用され得る。したがって、この方法は、くっきりした、高いPSNRを有し、前景の物体について正確である高解像度視差マップを作成するために使用され得る。
【００３２】
この方法によって生成された視差マップは、いくつかの異なる用途を有する。たとえば、視差マップは、画像の前景の3Dレンダリングのために使用され得る。これは、たとえば、画像自体のパースペクティブをわずかに変更する助けとなる。視差マップはまた、画像のぼけ効果を変更する(すなわち、異なるf数を有するレンズなどの異なるレンズを使用して写真を撮ることをシミュレートする、焦点がはずれた背景物体が画像からの距離にどのように基づくかを変更する)ためにも使用され得る。
【００３３】
図3は、補間を使用して高密度視差(または深度)マップを得る方法の一例を示す。いくつかの実施形態では、図版300の方法は、視差マップ310bが生成される時点までは図版100(図1)の方法と同一であり得る。しかし、図版100では、最終的な視差マップ110eが、大域的最小化技法の別の反復を使用して生成され得る。一方、図版300では、視差マップ310bが、視差マップ310aのサイズまでアップサンプリングされ得る。たとえば、視差マップ310bは比較的粗い視差マップを表し得、比較的粗い視差マップは、たとえば、視差マップ310aおよび右ビュー320a内で見出されるピクセル数の4分の1を有し得るだけである。たとえば、粗い視差マップ310bは、x軸およびy軸の各々において右ビュー320aのピクセル数の半分を有し得る。このアップサンプリングは、いくつかの例では、線形補間を使用して、前述のように行われ得る。
【００３４】
このアップサンプリングの部分として、アップサンプリングされた画像のエッジがシャープにされ得る。たとえば、右ビュー320aは、アップサンプル視差マップをシャープにするために使用され得、高解像度視差マップ310aが形成される。図版300に示されるように、グローバル最適化/最小化技法がレベル4の後に停止され、第5のスケールレベルに達するために補間が使用される、視差マップを生成するこの方法は、大域的最小化技法の実行時間の約4分の1に実行時間を短縮し得るともに、依然として高品質な高解像度深度マップが得られる。たとえば、この例では、最終的深度マップの信号対雑音比は42.4dBであり得、方法の実行時間は約1/4の長さである。
【００３５】
図4は、補間を使用して高密度視差(または深度)マップを得る方法の別の例示的使用法である。この図版400では、グローバル最適化/最小化は、図版100と同様に使用され得る。しかし、この場合、第3のレベルの視差マップ410cが生成された後、視差マップ410cが最終的サイズにアップサンプリングされ得る。いくつかの態様では、視差マップ410cは、右ビュー420aと比較して、x軸およびy軸の各々においてピクセル数の4分の1を有し得る。したがって、視差マップ410cは、右ビュー420aのピクセル数の1/16を有し得る。
【００３６】
次いで、このアップサンプリングされた視差マップは、アップサンプリングされた画像内のエッジのシャープネスを向上させるために、右ビュー420aによってシャープにされ得る。したがって、図版400は、アップサンプリングの前に使用される大域的最小化技法の反復が1つ少ないことを除いて、図版300(図3)に示されるのと同様の方法を示す。たとえば、方法は、第5のスケールレベルまで補間するために、第3のスケールレベルの後に補間を使用し得る。大域的方法の第15/16の実行時間が大域的方法の最終的な2つの反復に対して使用され得、図版400(図4)のハイブリッド方法は、図版100に示される大域的方法の実行時間の約1/16まで実行時間を短縮し得る。図版400において生成される視差マップのPSNRは40.7dBである。視差マップ410aのPSNRは視差マップ310aのPSNRよりも低いことが観察され得る。このことは、大域的最小化方法の反復をどれほど使用するかを選ぶ際に行われ得るトレードオフのうちの1つを示す。より多数の反復を使用することは、高解像度視差マップの品質を向上させ得るが、対応する計算の実行時間およびメモリ要件も著しく増大させ得る。
【００３７】
一般には、高解像度視差マップを生成するために本明細書で使用される技法は、正確な視差マップを生成する際に、正確なトゥルーカラー画像を再作成することになるよりもずっと効率的であり得る。これは、自然な/トゥルーカラー画像は、帯域限定成分および高域成分という2つの別個の成分を含むと考えられ得るからである。第1に、画像は帯域限定成分を含み、帯域限定成分は物体色相およびシャープエッジを含む。たとえば、この帯域限定成分は、特定の物体のエッジに関する情報を含み得る。それらの物体は、画像内の非常にシャープなカラーおよび他の不連続を生み出し得るからである。第2に、画像は、細かい細部、振動パターン、およびノイズを含む高域成分を含む。高域成分は、ピクセルごとの小さい変動を生み出すいくつかの異なる細部を含むたとえば、様々な物体のテクスチャはこの高域成分内に含まれ得る。一方、深度マップは同量の高域成分を含まない。たとえば、シーン内の様々な物体の深度は通常、徐々に、平滑に変化するだけであり、一方、物体のカラーは、パターンや影などの情報を反映する、多くの不規則な違いを有し得る。
【００３８】
図5Aは、いくつかの物体を含むトゥルーカラー画像の表現を示す。図5Bは、-πから+πまでの広いサポートで画像500のフーリエ変換を取ることによって生成される、画像500内で見出される様々な成分帯域の図版550を示す。図版550によって示されるように、画像500は、画像の中心[0,0]から外側に十分に延びる、多数の異なる帯域幅を含む。一般に、画像の帯域限定成分は、画像の中心[0,0]付近にあり、一方、高域成分は、画像の中心[0,0]からより離れた成分として定義され得る。したがって、ここで示されるように、トゥルーカラー画像は、比較的多量の高域成分を含む。
【００３９】
図6Aは、いくつかの物体を含むトゥルーカラー画像600の表現を示し、本開示内に含まれるいくつかの方法と同様に生成されたものである。たとえば、画像600がダウンスケーリングされ、次いで線形変換を使用して4xにアップサンプリングされていることを除いて、画像600は画像500に対応し得る。図6Bは、画像600のフーリエ変換を取ることによって生成される、画像600内で見出される様々な成分境界の図版650である。図版650に示されるように、[-π/4,π/4]の範囲外の画像周波数が、アップサンプリングのために失われる。画像600と画像500とは、アップサンプリングを除いて同一であるので、図版550と図版650との間の違いは、もっぱらこのアップサンプリングの効果のためのものである。
【００４０】
画像600に示されるように、これらの失われた周波数は、たとえば様々な物体のテクスチャについてのより大量の情報を含む。この情報は、アップサンプリングされた画像内に見出されない、より高い周波数帯([-π/4,π/4]範囲外の、より高い絶対値)内に含まれるので、その情報は失われており、アップサンプリングされた画像内に含まれない。画像600の次に示されるように、この画像はPSNR 25.04dBを含み、これは、前に示された視差マップと比較して非常に低い。したがって、成分帯域の違いおよび低いPSNRに基づいて、画像600が画像500と比較して著しい量の情報を失ったことが観察され得る。
【００４１】
図7Aは、大域的最小化方法(global minimization method)を使用して生成された視差マップ(disparity map)700の図の一例を示す。視差マップ700は、大域的最小化方法を使用して、どんな補間も行うことなく画像を作成することによって作成された。たとえば、この視差マップ700は、図1に示されるプロセスを使用して作成された可能性がある。図7Bは、視差マップ700のフーリエ変換の図版750の一例である。図版750は、図版550とは異なり、cが小さい値であるとして、[-cπ,cπ]範囲の外部の情報をほとんど含まないことに留意されたい。この情報欠如は、トゥルーカラー画像と視差マップとの間の違いに関係し得る。トゥルーカラー画像は、たとえば、ピクセルごとに特定のエリアのカラーを変更し得る多量の物体テクスチャおよび他の情報を含む。一方、視差マップが含むピクセルごとの深度の変動はずっと小さい。その代わりに、視差マップは主に、物体のエッジに関するシャープな変化と、形状(たとえば、動物のぬいぐるみの形状)上の異なる地点上の距離の変動に関する漸進的な勾配とを有し得る。したがって、図示されるように、視差マップは区分的に一定であり得、大部分は物体輪郭およびシャープエッジを含む帯域限定成分だけからなる。視差マップの帯域限定の性質のために、アップサンプリングを通じて再作成された視差マップは、アップサンプリングを通じて作成されたトゥルーカラー画像とは異なり、それほど多くの情報を失うことなく、フルサイズバージョンをずっと忠実に再作成し得る。
【００４２】
図8Aは、線形補間を通じて生成されたが、エッジシャープニングを使用することなく生成された視差マップ800の図版である。線形補間は、視差マップなどの画像をアップサンプリングする一方法であり得る。たとえば、この視差マップ800は、160×120から640×480など、低解像度深度マップを各方向に4倍にアップサンプリングすることによって生成された。この視差マップ800はアップサンプリングされているので、視差マップ800内の様々な物体間のエッジがぼやけている。図8Bは、線形補間を通じて生成された視差マップ800のフーリエ変換の図版850である。図版650と同様に、(4倍の線形補間を通じて生成された)視差マップ800のアップサンプリングされた性質は、得られる図版が[-π/4,π/4]からの帯域限定スペクトルを示すことを意味する。しかし、視差マップは自然なカラー画像が有し得るピクセルごとの細部のレベルを有さないので、アップサンプリングされたトゥルーカラー画像内で観察されるよりも、(大域的最小化方法の継続的使用を通じてより大きいバージョンを生成することと比較して)より小さいバージョンからのアップサンプリングのために視差マップから失われた情報がずっと少ないことが観察され得る。このことは、図版750と図版850との間の違いが、図版550と図版650との間の違いよりもずっと小さいことに留意することによって観察され得る。さらに、画像800のPSNRは、画像600内のわずか25.04dBと比較して、39.07dBであることが観察され得る。したがって、視差マップ800は、トゥルーカラー画像内の同一の技法を使用して観察され得るよりも、視差マップ700のずっと良好な再作成を表し得る。
【００４３】
視差マップ800などの補間された視差マップは、視差マップのエッジをシャープにするために高解像度画像を使用することによってさらに改善され得る。図9Aは、より小さい視差マップをアップサンプリングし、誘導フィルタリング(guided filtering)を使用して高解像度画像に基づいてエッジをシャープにすることによって生成された視差マップ900の図版である。図9Bは、線形補間を通じて生成された視差マップ900のフーリエ変換の図版950である。図示されるように、図版950は図版750と非常に類似している。たとえば、視差マップ900は、PSNR 40.70dBを有し、これは、この視差マップが視差マップ700の正確な再作成であることを意味する。しかし、視差マップ900が必要とし得る時間は、視差マップ700を生成するのに必要な時間のわずか約1/16である。したがって、本明細書で論じられる方法が、視差マップを生成するのに必要な時間、メモリ、および計算能力を著しく削減するとともに、依然として高解像度および精度を維持することが観察され得る。
【００４４】
図10は、本開示のいくつかの態様に従って高解像度深度マップを生成するための例示的方法1000を示す。この方法1000は、携帯電話やデジタルカメラなどのデジタル撮像機能を有するデバイス上で実施され得る。
【００４５】
ブロック1010において、方法は、第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングすることを含み、第1の解像度は第2の解像度よりも高く、第1の画像および第2の画像はステレオ画像ペアを含む。たとえば、方法は、単一のデバイス内に組み込まれた2つのデジタルカメラなどの2つのデジタル画像取得デバイスから第1の基準画像および第2の基準画像を受け取り得る。これらの画像は同時に取得され得、同一であるが、わずかに異なるアングルからのシーンを示し得る。したがって、これらの画像はステレオ画像ペアと呼ばれることがある。これらの2つの画像が互いに、深度情報などの3次元情報を提供するために2つの目がどのように使用され得るのかと同様に、所与のシーンの3次元ビューを可能にし得るからである。いくつかの態様では、基準画像は高解像度で受け取られ得、元の解像度のピクセル数のたとえば4分の1または16分の1である解像度までダウンサンプリングされ得る。したがって、第2の解像度が含み得るピクセルは、第1の解像度のピクセルの4分の1未満である。たとえば、第2の解像度が含み得るピクセルは、第1の解像度の4分の1または16分の1である(x方向およびy方向の各々において半分または4分の1のピクセルのいずれかを表す)。たとえば、受け取った画像が640×480である場合、画像は、320×240または160×120にダウンサンプリングされ得る。いくつかの態様では、他のダウンサンプリングサイズも使用され得る。方法は、このダウンサンプリング比を使用して、方法の実行時間と背景物体の深度解像度との間のトレードオフを制御し得る。いくつかの態様では、ダウンサンプリングするための手段はプロセッサを含み得る。
【００４６】
いくつかの態様では、第1の画像が第1のカメラによって取得される得、第2の画像が第2のカメラによって取得され得る。これらの2つのカメラは、既知の距離だけ離れて配置され得る。2つのカメラは、互いに対して同一のネイティブ解像度(native resolution)を有し得る。たとえば、カメラは、一般に互いに対して同一であり得る(たとえば、カメラまたはカメラ構成要素の同一のブランドおよびモデル)。いくつかの態様では、画像を取得するための手段は、デジタルカメラを含み得る。
【００４７】
ブロック1020において、方法は、ダウンサンプリングされた第1の基準画像およびダウンサンプリングされた第2の基準画像を使用して、大域的最小化技法に基づいて第2の解像度で深度マップを生成することを含む。たとえば、いくつかの異なるグローバル技法が、深度マップを生成するために使用され得る。これらの技法は一般に、画像全体を使用し得、深度マップを作成するためにエネルギー成分を最小化するように試み得る。これらの方法は、各反復が深度マップのより大きいバージョンを作成するように反復的に実行され得る。したがって、深度マップを生成することは、大域的最小化を使用して深度マップを生成するために、漸進的に大きくなる画像に対して反復プロセスを使用することを含み得る。たとえば、深度マップを生成することは、式1に関して上記で説明したように、エネルギー関数を最小化することによって行われ得る。一般に、実行時間は、画像内のピクセル数に比例し得る。したがって、低解像度画像についての実行時間およびメモリ要件は、比較的小さくなり得る。いくつかの態様では、深度マップを生成するための手段は、プロセッサを含み得る。
【００４８】
ブロック1030において、方法は、深度マップを第2の解像度から第1の解像度にアップサンプリングすることを含む。たとえば、このアップサンプリングはバイリニア補間を使用して行われ得る。そのようなアップサンプリングの結果は、ぼやけており、様々な物体の等高線上にある程度のエイリアシングアーチファクトのある深度マップとなる。いくつかの態様では、アップサンプリングのための手段はプロセッサを含み得る。いくつかの態様では、バイリニア補間を使用するための手段はプロセッサを含み得る。
【００４９】
ブロック1040において、方法は、誘導フィルタを使用して、アップサンプリングされた深度マップの等高線を第1の基準画像の等高線に位置合せする。たとえば、このフィルタは、第1の基準画像のエッジおよび等高線に基づいて、アップサンプリングされた深度マップのエッジのシャープネスを向上させ得る。いくつかの態様では、この結果、前景の物体についての正確な深度、くっきりしたエッジを有し、エイリアシングアーチファクトがほとんどまたは全くない、高解像度を有する最終的深度マップが得られる。いくつかの態様では、誘導フィルタマップを使用するための手段はプロセッサを含む。
【００５０】
一般には、この方法は、計算的に、かつメモリの点で非効率な大域的方法と比較して、処理解像度を低減し得る。このことは、グローバル最適化と比較して実行時間およびメモリ要件を低減する。さらに、このことは、より低い解像度において正確な深度マップを生み出す。さらに、視差マップの区分的一定性および高解像度基準画像の可用性が、低解像度視差マップの高品質補間を可能にする。一般に、前景の物体は、高解像度において良好な精度でセグメント化され得る。しかし、離れた物体についての深度精度が損なわれ得る。この方法では、処理解像度は、性能と最終的深度マップ品質との間のトレードオフを制御するように選択され得る。
【００５１】
図11は、いくつかの実施形態による深度マップ生成デバイスの一例を示す略図である。具体的には、図11は、画像センサアセンブリ1115にリンクされた画像プロセッサ1120を含む1組の構成要素を有するデバイス1100の高レベルブロック図を示す。画像プロセッサ1120はまた、作業メモリ1105、メモリ1130、およびデバイスプロセッサ1150と通信しており、デバイスプロセッサ1150は、ストレージ1110および電子ディスプレイ1125と通信している。
【００５２】
いくつかの実施形態では、デバイス1100は、深度感知のために意図的に構成された感知デバイスであり得る。いくつかの実施形態では、デバイス1100は、セルフォン、デジタルカメラ、タブレットコンピュータ、携帯情報端末などであり得る。本明細書で説明されるような撮像システムが利点をもたらす多くのポータブルコンピューティングデバイスがある。複数のアプリケーションが、デバイス1100上のユーザにとって利用可能であり得る。これらのアプリケーションは、従来の写真およびビデオアプリケーション、高ダイナミックレンジ撮像、パノラマ写真およびビデオ、または3D画像や3Dビデオなどのステレオ撮像を含み得る。
【００５３】
デバイス1100は、外部画像を取得するための画像センサアセンブリ1115を含む。画像センサアセンブリ1115は、センサと、レンズアセンブリと、ターゲット画像の一部を各センサに向け直すための1次および2次反射または屈折面とを含み得る。画像センサアセンブリ1115は2つ以上のセンサを含み得る。画像センサアセンブリは、画像プロセッサ1120に結合され得る。いくつかの態様では、センサアセンブリ1115は、ステレオ画像ペアを取得するように構成され得、同一のシーンの2つの画像が、同一のアングルから同時に取得される。
【００５４】
画像プロセッサ1120は、以下でより詳細に説明するように、高品質スティッチド画像を出力するために、ターゲット画像のN個の部分を含む、受け取った画像データに対する様々な処理演算を実施するように構成され得る。プロセッサ1120は、汎用処理装置、または撮像アプリケーションのために特別に設計されたプロセッサであり得る。画像処理演算の例は、クロッピング、スケーリング(たとえば、異なる解像度への)、画像スティッチング、画像フォーマット変換、カラー補間、カラー処理、画像フィルタリング(たとえば、空間画像フィルタリング)、レンズアーチファクトまたは補正などを含む。プロセッサ1120は、いくつかの実施形態では複数のプロセッサを含む。いくつかの実施形態は、各画像センサ専用のプロセッサを有し得る。プロセッサ1120は、1つまたは複数の専用画像信号プロセッサ(ISP)またはプロセッサのソフトウェア実装であり得る。
【００５５】
図示されるように、画像プロセッサ1120は、メモリ1130および作業メモリ1105に接続される。図示される実施形態では、メモリ1130は、大域的最小化モジュール1135、誘導フィルタモジュール1140、およびオペレーティングシステム1145を記憶する。これらのモジュールは、様々な画像処理およびデバイス管理タスクを実施するように画像プロセッサ1120またはデバイスプロセッサ1150を構成する命令を含む。作業メモリ1105は、メモリ1130のモジュール内に含まれるプロセッサ命令の作業セットを記憶するために、画像プロセッサ1120によって使用され得る。あるいは、作業メモリ1105はまた、デバイス1100の動作中に作成される動的データを記憶するために画像プロセッサ1120によって使用され得る。
【００５６】
前述のように、画像プロセッサ1120は、メモリ内に記憶されたいくつかのモジュールによって構成される。大域的最小化モジュール1135は、ステレオ画像ペアに基づいて深度マップを生成するように画像プロセッサ1120またはデバイスプロセッサ1150を構成する命令を含み得る。この深度マップは、前述の反復技法などの大域的最小化技法を使用して生成され得る。大域的最小化モジュール1135はまた、画像をダウンサンプリングするための命令をも含み得る。たとえば、ステレオ画像ペアを構成する画像のいくつかの異なるダウンサンプリングバージョンが、漸進的に大きくなる画像の深度マップを構築するために使用され得る。これらのダウンサンプリングされる画像が、大域的最小化モジュール1135からの命令を使用して、画像プロセッサ1120またはデバイスプロセッサ1150によって生成され得る。
【００５７】
誘導フィルタモジュール1140は、基準画像のうちの1つなどの画像を使用して、アップスケーリングされた深度マップのエッジをシャープにするように画像プロセッサ1120またはデバイスプロセッサ1150を構成する命令を含み得る。いくつかの態様では、誘導フィルタモジュール1140は、バイリニア補間などによって深度マップをアップサンプリングするための命令をさらに含み得る。たとえば、誘導フィルタモジュールは、大域的最小化モジュール1135によって生成された深度マップを受け取り得、基準画像の解像度に合致するようにこの深度マップをアップサンプリングし得る。
【００５８】
オペレーティングシステムモジュール1145は、作業メモリ1105およびデバイス1100の処理リソースを管理するように画像プロセッサ1120を構成する。たとえば、オペレーティングシステムモジュール1145は、撮像センサアセンブリ1115などのハードウェアリソースを管理するためのデバイスドライバを含み得る。したがって、いくつかの実施形態では、上記で論じられる画像処理モジュール内に含まれる命令は、これらのハードウェアリソースと直接的に対話せず、オペレーティングシステム構成要素1170内に配置されたAPIの標準サブルーチンを通じて対話し得る。オペレーティングシステム1145内の命令は、これらのハードウェア構成要素と直接的に対話し得る。オペレーティングシステムモジュール1145は、デバイスプロセッサ1150と情報を共有するように画像プロセッサ1120をさらに構成し得る。
【００５９】
デバイスプロセッサ1150は、取得された画像、または取得された画像のプレビューをユーザに表示するようにディスプレイ1125を制御するように構成され得る。ディスプレイ1125は撮像デバイス1100の外部であり得、または撮像デバイス1100の部分であり得る。ディスプレイ1125はまた、画像を取得する前に使用するためのプレビュー画像を表示するビューファインダを提供するように構成され得、メモリ内に記憶された、またはユーザによって最近取得された、取得された画像を表示するように構成され得る。ディスプレイ1125はLCDまたはLED画面を備え得、タッチ検知技術を実装し得る。
【００６０】
デバイスプロセッサ1150は、ストレージモジュール1110に、データ、たとえば取得された画像を表すデータを書き込み得る。ストレージモジュール1110が従来のディスクデバイスとして図形で表されているが、ストレージモジュール1110は記憶媒体デバイスとして構成され得ることを当業者なら理解されよう。たとえば、ストレージモジュール1110は、フロッピー(登録商標)ディスクドライブ、ハードディスクドライブ、光ディスクドライブ、光磁気ディスクドライブなどのディスクドライブ、またはフラッシュメモリ、RAM、ROM、および/またはEEPROMなどの固体メモリを含み得る。ストレージモジュール1110はまた、複数のメモリユニット、画像取得デバイス1100内にあるように構成され得るメモリユニットのいずれか1つをも含み得、または画像取得デバイス1100の外部であり得る。たとえば、ストレージモジュール1110は、画像取得デバイス1100内に記憶されたシステムプログラム命令を含むROMメモリを含み得る。ストレージモジュール1110はまた、カメラから取外し可能であり得る、取得された画像を記憶するように構成されたメモリカードまたは高速メモリをも含み得る。
【００６１】
図11は、プロセッサ、撮像センサ、およびメモリを含むように別々の構成要素を有するデバイスを示すが、これらの別々の構成要素が特定の設計目標を達成するために様々な方式で組み合わされ得ることを当業者なら理解されよう。たとえば、代替実施形態では、メモリ構成要素は、コストを節約し、性能を改善するためにプロセッサ構成要素と組み合わされ得る。
【００６２】
さらに、図11は、いくつかのモジュールを備えるメモリ構成要素1130と、作業メモリを備える別々のメモリ1105とを含む2つのメモリ構成要素を示すが、異なるメモリアーキテクチャを利用するいくつかの実施形態を当業者なら理解されよう。たとえば、設計は、メモリ1130内に含まれるモジュールを実装するプロセッサ命令の記憶のためにROMまたは静的RAMメモリを利用し得る。プロセッサ命令は、画像プロセッサ1120による実行を容易にするためにRAM内にロードされ得る。たとえば、作業メモリ1105は、RAMメモリを備え得、プロセッサ1120による実行の前に命令が作業メモリ1105内にロードされる。
【００６３】
したがって、本開示の一態様では、物体の深度情報を含む高解像度画像を生成する方法が開示される。方法は、基準の第1の画像から低減された解像度の第1の画像を生成すること、および基準の第2の画像から低減された解像度の第2の画像を生成することを含み、基準の第1の画像および基準の第2の画像はステレオ画像ペアである。たとえば、ステレオペア内の2つの高解像度基準画像が使用され得、それらの画像のより低解像度のバージョンが生成され得る。方法は、第1および第2の低減された解像度の画像内の共役地点ペアのセットを決定すること、および共役地点ペアに少なくとも部分的に基づいて、第1および第2の低減された解像度の画像の解像度を有する深度マップを生成することをさらに含む。方法は、基準の第1の画像の解像度に深度マップをアップサンプリングして、高解像度深度マップを生成することをさらに含み、アップサンプリングすることは、深度マップ内のデータを補間して、高解像度深度マップの深度データを生成すること、および基準の第1の画像または基準の第2の画像のエッジと一致するように高解像度深度マップの深度データを修正することを含む。
【００６４】
システムの実装および用語
本明細書で開示される実装は、視差および傾斜アーチファクトのない複数の開口アレイカメラのためのシステム、方法、および装置を提供する。これらの実施形態はハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得ることを当業者は理解されよう。
【００６５】
いくつかの実施形態では、上記で論じられた回路、プロセス、およびシステムは、ワイヤレス通信デバイス内で利用され得る。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレスに通信するために使用される電子デバイスの一種であり得る。ワイヤレス通信デバイスの例は、セルラー電話、スマートフォン、携帯情報端末(PDA)、eリーダ、ゲーミングシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどを含む。
【００６６】
ワイヤレス通信デバイスは、1つまたは複数の画像センサと、2つ以上の画像信号プロセッサと、上記で論じられたCNRプロセスを実施するための命令またはモジュールを含むメモリとを含み得る。デバイスはまた、データと、メモリから命令および/またはデータをロードするプロセッサと、1つまたは複数の通信インターフェースと、1つまたは複数の入力デバイスと、ディスプレイデバイスなどの1つまたは複数の出力デバイスと、電源/インターフェースとを有し得る。ワイヤレス通信デバイスはさらに、送信機および受信機を含み得る。送信機および受信機は一緒にトランシーバと呼ばれることがある。トランシーバは、ワイヤレス信号を送信および/または受信するために、1つまたは複数のアンテナに結合され得る。
【００６７】
ワイヤレス通信デバイスは、別の電子デバイス(たとえば、基地局)にワイヤレスに接続し得る。あるいは、ワイヤレス通信デバイスは、モバイルデバイス、移動局、加入者局、ユーザ装置(UE)、リモート局、アクセス端末、モバイル端末、端末、ユーザ端末、サブスクライバユニットなどと呼ばれることがある。ワイヤレス通信デバイスの例は、ラップトップまたはデスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレスモデム、eリーダ、タブレットデバイス、ゲーミングシステムなどを含む。ワイヤレス通信デバイスは、第3世代パートナーシッププロジェクト(3GPP)などの1つまたは複数の業界標準に従って動作し得る。したがって、「ワイヤレス通信デバイス」という一般的用語は、業界標準に従って様々な用語(たとえば、アクセス端末、ユーザ装置(UE)、リモート端末など)とともに説明されるワイヤレス通信デバイスを含み得る。
【００６８】
本明細書で説明される機能は、プロセッサ可読またはコンピュータ可読媒体上に1つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD-ROM、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含み得る。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(登録商標)(disc)、光ディスク(disc)、デジタルバーサタイルディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイ(登録商標)ディスク(登録商標)(disc)を含み、ディスク(disk)は通常、データを磁気的に再現し、ディスク(disc)は、データをレーザで光学的に再現する。コンピュータ可読媒体は有形かつ非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行され、処理され、または計算され得るコードまたは命令(たとえば、「プログラム」)と組み合わせたコンピューティングデバイスまたはプロセッサを指す。本明細書では、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コード、またはデータを指すことがある。
【００６９】
本明細書で開示される方法は、記載の方法を達成するための1つまたは複数のステップまたは動作を含む。方法ステップおよび/または動作は、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、説明されている方法の適切な動作のためにステップまたは動作の特定の順序が必要でない限り、特定のステップおよび/または動作の順序および/または使用は、特許請求の範囲から逸脱することなく修正され得る。
【００７０】
本明細書で使用される「結合」または結合という語の他の変形は、間接的接続または直接的接続のいずれかを示し得ることに留意されたい。たとえば、第1の構成要素が第2の構成要素に「結合」される場合、第1の構成要素は第2の構成要素に間接的に接続され、または第2の構成要素に直接的に接続され得る。本明細書では、「複数」という用語は2つ以上を示す。たとえば、複数の構成要素は2つ以上の構成要素を示す。
【００７１】
「決定する」という用語は多種多様な動作を包含し、したがって「決定する」ことは、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベース、または別のデータ構造をルックアップすること)、確認することなどを含み得る。さらに、「決定する」ことは、受け取ること(たとえば、情報を受け取ること)、アクセスすること(たとえば、メモリ内のデータにアクセスすること)などを含み得る。さらに、「決定する」ことは、解決すること、選択すること、選ぶこと、確立することなどを含み得る。
【００７２】
「に基づいて」という語句は、別段に明記されていない限り、「だけに基づいて」を意味するのではない。言い換えれば、「に基づいて」という語句は、「だけに基づいて」と「に少なくとも基づいて」の両方を記述する。
【００７３】
上記の説明では、実施例の完全な理解を与えるために特定の詳細が与えられる。しかし、実施例がこれらの特定の詳細なしに実施され得ることを当業者は理解されよう。たとえば、実施例を不要な詳細で不明瞭にしないために、電気的構成要素/デバイスがブロック図で示され得る。他の例では、実施例をさらに説明するために、そのような構成要素、他の構造および技法が詳細に示され得る。
【００７４】
本明細書では、見出しは、参照のために、および様々なセクションを配置するのを助けるために含まれる。これらの見出しは、それに関して説明した概念の範囲を限定することを意図するものではない。そのような概念は、本明細書全体を通して適用性を有し得る。
【００７５】
実施例が、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明され得ることにも留意されたい。フローチャートは動作を順次プロセスとして説明し得るが、動作の多くは並列、または同時に実行され得、プロセスは反復され得る。さらに、動作の順序は再構成され得る。プロセスは、その動作が完了したときに終了する。プロセスは、方法、機能、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスがソフトウェア機能に対応するとき、その終了は、呼出し元機能またはメイン機能への機能の戻りに対応する。
【００７６】
開示される実装の前の説明は、当業者が本発明を作成または使用することを可能にするために与えられる。これらの実装形態に対する様々な修正が当業者には容易に明らかとなり、本明細書に定義される一般原理は、本発明の精神または範囲を逸脱することなく他の実装に適用され得る。したがって、本発明は、本明細書に示される実装に限定されることを意図するものではなく、本明細書で開示される原理および新規な特徴と一致する最も広い範囲が与えられるべきである。
【符号の説明】
【００７７】
110  視差マップ
120  右画像
130  左画像
310  視差マップ
320  右ビュー
410  視差マップ
420  右ビュー
1100  デバイス
1105  作業メモリ
1115  画像センサアセンブリ
1120  画像プロセッサ
1125  電子ディスプレイ
1130  メモリ
1135  大域的最小化モジュール
1140  誘導フィルタモジュール
1145  オペレーティングシステム
1150  デバイスプロセッサ
【図１】
2017520852.tif 000003
【図２】
2017520852.tif 000004
【図３】
2017520852.tif 000005
【図４】
2017520852.tif 000006
【図５Ａ】
2017520852.tif 000007
【図５Ｂ】
2017520852.tif 000008
【図６Ａ】
2017520852.tif 000009
【図６Ｂ】
2017520852.tif 000010
【図７Ａ】
2017520852.tif 000011
【図７Ｂ】
2017520852.tif 000012
【図８Ａ】
2017520852.tif 000013
【図８Ｂ】
2017520852.tif 000014
【図９Ａ】
2017520852.tif 000015
【図９Ｂ】
2017520852.tif 000016
【図１０】
2017520852.tif 000017
【図１１】
2017520852.tif 000018
【手続補正書】
【提出日】平成29年1月11日(2017.1.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体の深度情報を含む高解像度画像を生成する方法であって、
第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングするステップであって、前記第1の解像度が前記第2の解像度よりも高く、前記第1の基準画像および前記第2の基準画像がステレオ画像ペアである、ステップと、
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成するステップであって、前記大域的最小化技法が、前記ダウンサンプリングされたステレオ画像ペア全体の各画像を使用して前記深度マップを生成する、ステップと、
前記第2の解像度で前記深度マップのバイリニア補間を実施することによって、前記深度マップを前記第2の解像度から前記第1の解像度にアップサンプリングして、前記第1の解像度のアップサンプリングされた深度マップを生成するステップと、
誘導フィルタを使用して、前記アップサンプリングされた深度マップの等高線を前記第1の基準画像の等高線に位置合せするステップと
を含む方法。
【請求項２】
前記第2の解像度が、前記第1の解像度の多くても4分の1のピクセルを含む請求項1に記載の方法。
【請求項３】
前記第2の解像度が、前記第1の解像度の4分の1または16分の1のピクセルを含む請求項2に記載の方法。
【請求項４】
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成する前記ステップが、大域的最小化を使用して深度マップを生成するために、漸進的に大きくなる画像に対して反復プロセスを使用して深度マップを生成するステップを含む請求項1に記載の方法。
【請求項５】
大域的最小化技法に基づいて前記第2の解像度で深度マップを生成する前記ステップが、大域的最小化技法に基づいてエネルギー関数を最小化することによって深度マップを生成するステップを含む請求項1に記載の方法。
【請求項６】
前記第1の基準画像および前記第2の基準画像が、互いから既知の距離にあるカメラによって同時に取得される請求項1に記載の方法。
【請求項７】
物体の深度情報を含む高解像度画像を生成するためのデバイスであって、
第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングすることであって、前記第1の解像度が前記第2の解像度よりも高く、前記第1の基準画像および前記第2の基準画像がステレオ画像ペアを含むこと、
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成することであって、前記大域的最小化技法が、前記ダウンサンプリングされたステレオ画像ペア全体の各画像を使用して前記深度マップを生成すること、
前記第2の解像度で前記深度マップのバイリニア補間を実施することによって、前記深度マップを前記第2の解像度から前記第1の解像度にアップサンプリングして、前記第1の解像度のアップサンプリングされた深度マップを生成すること、および
誘導フィルタを使用して、前記アップサンプリングされた深度マップの等高線を前記第1の基準画像の等高線に位置合せすること
を行うように構成されたプロセッサ
を備えるデバイス。
【請求項８】
前記第2の解像度が、前記第1の解像度の多くても4分の1のピクセルを含む請求項7に記載のデバイス。
【請求項９】
前記第2の解像度が、前記第1の解像度の4分の1または16分の1のピクセルを含む請求項8に記載のデバイス。
【請求項１０】
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成することが、大域的最小化を使用して深度マップを生成するために、漸進的に大きくなる画像に対して反復プロセスを使用して深度マップを生成することを含む請求項7に記載のデバイス。
【請求項１１】
大域的最小化技法に基づいて前記第2の解像度で深度マップを生成することが、大域的最小化技法に基づいてエネルギー関数を最小化することによって深度マップを生成することを含む請求項7に記載のデバイス。
【請求項１２】
第1の基準画像および第2の基準画像をそれぞれ同時に取得するように構成された、互いから既知の距離にある第1のカメラおよび第2のカメラをさらに備える請求項7に記載のデバイス。
【請求項１３】
第1のカメラおよび第2のカメラがそれぞれ、互いに対して同一のネイティブ解像度を有する請求項7に記載のデバイス。
【請求項１４】
物体の深度情報を含む高解像度画像を生成するためのデバイスであって、
第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングするための手段であって、前記第1の解像度が前記第2の解像度よりも高く、前記第1の基準画像および前記第2の基準画像がステレオ画像ペアを含む、手段と、
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成するための手段であって、前記大域的最小化技法が、前記ダウンサンプリングされたステレオ画像ペア全体の各画像を使用して前記深度マップを生成する、手段と、
前記第2の解像度で前記深度マップのバイリニア補間を実施することによって、前記深度マップを前記第2の解像度から前記第1の解像度にアップサンプリングして、前記第1の解像度のアップサンプリングされた深度マップを生成するための手段と、
誘導フィルタを使用して、前記アップサンプリングされた深度マップの等高線を前記第1の基準画像の等高線に位置合せするための手段と
を備えるデバイス。
【請求項１５】
前記第2の解像度が、前記第1の解像度の多くても4分の1のピクセルを含む請求項14に記載のデバイス。
【請求項１６】
前記第2の解像度が、前記第1の解像度の4分の1または16分の1のピクセルを含む請求項15に記載のデバイス。
【請求項１７】
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成するための手段が、大域的最小化を使用して深度マップを生成するために、漸進的に大きくなる画像に対して反復プロセスを使用して深度マップを生成するための手段を備える請求項14に記載のデバイス。
【請求項１８】
大域的最小化技法に基づいて前記第2の解像度で深度マップを生成するための手段が、大域的最小化技法に基づいてエネルギー関数を最小化することによって深度マップを生成するための手段を備える請求項14に記載のデバイス。
【請求項１９】
第1の基準画像および第2の基準画像をそれぞれ同時に取得するように構成された、互いから既知の距離にある、画像を取得するための第1の手段と、画像を取得するための第2の手段とをさらに備える請求項14に記載のデバイス。
【請求項２０】
画像を取得するための第1の手段と、画像を取得するための第2の手段とがそれぞれ、互いに対して同一のネイティブ解像度を有する請求項14に記載のデバイス。
【請求項２１】
実行されたとき、装置に、
第1の基準画像および第2の基準画像を第1の解像度から第2の解像度にダウンサンプリングすることであって、前記第1の解像度が前記第2の解像度よりも高く、前記第1の基準画像および前記第2の基準画像がステレオ画像ペアを含むこと、
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成することであって、前記大域的最小化技法が、前記ダウンサンプリングされたステレオ画像ペア全体の各画像を使用して前記深度マップを生成すること、
前記第2の解像度で前記深度マップのバイリニア補間を実施することによって、前記深度マップを前記第2の解像度から前記第1の解像度にアップサンプリングして、前記第1の解像度のアップサンプリングされた深度マップを生成すること、および
誘導フィルタを使用して、前記アップサンプリングされた深度マップの等高線を前記第1の基準画像の等高線に位置合せすること
を行わせるコードを含む非一時的コンピュータ可読記録媒体。
【請求項２２】
前記第2の解像度が、前記第1の解像度の多くても4分の1のピクセルを含む請求項21に記載の非一時的コンピュータ可読記録媒体。
【請求項２３】
前記第2の解像度が、前記第1の解像度の4分の1または16分の1のピクセルを含む請求項22に記載の非一時的コンピュータ可読記録媒体。
【請求項２４】
前記ダウンサンプリングされたステレオ画像ペアを使用して大域的最小化技法に基づいて前記第2の解像度で深度マップを生成することが、大域的最小化を使用して深度マップを生成するために、漸進的に大きくなる画像に対して反復プロセスを使用して深度マップを生成することを含む請求項21に記載の非一時的コンピュータ可読記録媒体。
【請求項２５】
大域的最小化技法に基づいて前記第2の解像度で深度マップを生成することが、大域的最小化技法に基づいてエネルギー関数を最小化することによって深度マップを生成することを含む請求項21に記載の非一時的コンピュータ可読記録媒体。
【請求項２６】
前記第1の基準画像および前記第2の基準画像が、互いから既知の距離にあるカメラによって同時に取得される請求項21に記載の非一時的コンピュータ可読記録媒体。
【請求項２７】
前記大域的最小化技法が、漸進的に高くなる解像度の視差マップを反復的に生成するために、誤差最小化式を使用して2つ以上のステレオ画像間のエネルギー差を計算する請求項1に記載の方法。
【国際調査報告】
2017520852.tif 000019
2017520852.tif 000020
2017520852.tif 000021