(57)【要約】【課題】視差マップを生成するための方法、画像処理デバイス、およびシステムを提案すること。【解決手段】方法は、次のステップを含む。特定シーンの画像が、２つの画像センサによって取り込まれて、２つのオリジナル画像が生成される。２つのオリジナル画像に対して縮小プロセスが実施されて、２つの縮小後画像が生成される。２つの縮小後画像を使用することによって、縮小後視差マップが生成される。縮小後視差マップに対して拡大プロセスが実施されて、拡大後視差マップが生成される。拡大後視差マップの各拡大後視差値が、信頼性のあるものかどうかかが判定され、それによって、精選した視差マップがそれに応じて生成される。【選択図】図２
2019121349.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像センサおよび第２の画像センサを有するシステムに適用可能な、視差マップを生成するための方法であって、
特定シーンの画像を、該第１の画像センサおよび該第２の画像センサを使用することによって取り込んで、第１のオリジナル画像および第２のオリジナル画像をそれぞれ生成するステップと、
該第１のオリジナル画像および該第２のオリジナル画像に対して縮小プロセスを実施して、第１の縮小後画像および第２の縮小後画像をそれぞれ生成するステップと、
該第１の縮小後画像および該第２の縮小後画像を使用することによって、複数の縮小後視差値を備える縮小後視差マップを生成するステップと、
該縮小後視差マップに対して拡大プロセスを実施して、複数の拡大後視差値を有する拡大後視差マップを生成するステップと、
該拡大後視差値の各々の信頼性に従って、該第１のオリジナル画像および該第２のオリジナル画像の精選した視差マップを生成するステップと
を含む、方法。
【請求項２】
前記縮小後視差マップが、前記第１の縮小後画像に基づいて生成され、前記縮小後視差値を有する複数の縮小後視差画素を備え、前記拡大後視差マップが、前記拡大後視差値を有する複数の拡大後視差画素を備え、前記拡大後視差値が、前記縮小後視差値に従って生成され、前記拡大後視差値の各々の前記信頼性に従って、前記第１のオリジナル画像および前記第２のオリジナル画像の前記精選した視差マップを生成する前記ステップが、
前記拡大後視差値の各々が信頼性のあるものかどうかを、前記第１のオリジナル画像および前記第２のオリジナル画像に従って判定するステップと、
信頼性のある拡大後視差値の各々について、第１の探索範囲に従って、対応する精選した拡大後視差値を取得し、信頼性のない拡大後視差値の各々について、第２の探索範囲に従って、対応する置換えの拡大後視差値を取得するステップであって、該第１の探索範囲が、前記拡大後視差値と関連し、該第２の探索範囲より狭い、ステップと、
前記第１のオリジナル画像および前記第２のオリジナル画像の前記精選した視差マップを、該精選した拡大後視差値および該置換えの拡大後視差値を使用することによって生成するステップと
を含む、請求項１記載の方法。
【請求項３】
前記拡大後視差値の各々が信頼性のあるものかどうかを、前記第１のオリジナル画像および前記第２のオリジナル画像に従って判定する前記ステップの前に、
前記第１の縮小後画像の第１の縮小後画素の各々について、
該第１の縮小後画素が前記第１のオリジナル画像内の対応する複数の第１のオリジナル画素の各々に対して信頼性のあるものかどうかを判定するステップであって、
該対応する複数の第１のオリジナル画素の各々について、
該第１の縮小後画素と該対応する第１のオリジナル画素との間の、画素値と関連する類似性を判定するステップであって、
該第１の縮小後画素の画素値と該対応する第１のオリジナル画素の画素値との間の差の絶対値を算出するステップ、
該差の該絶対値が第１のしきい値より小さいとき、該第１の縮小後画素と該対応する第１のオリジナル画素が高い類似性を有すると判定するステップ、および
該差の該絶対値が該第１のしきい値以上であるとき、該第１の縮小後画素と該対応する第１のオリジナル画素が高い類似性を有していないと判定するステップ
を含む、類似性を判定するステップ、
該第１の縮小後画素と該対応する第１のオリジナル画素が高い類似性を有すると判定されるとそれに応答して、該第１の縮小後画素が該対応する第１のオリジナル画素に対して信頼性のあるものであると判定するステップ、ならびに
該第１の縮小後画素と該対応する第１のオリジナル画素が該高い類似性を有していないと判定されるとそれに応答して、該第１の縮小後画素が該対応する第１のオリジナル画素に対して信頼性のないものであると判定するステップ
を含む、ステップと、
該第１の縮小後画素が該対応する複数の第１のオリジナル画素のうちの第１の現行オリジナル画素に対して信頼性のないものであると判定されるとそれに応答して、該第１の縮小後画素に隣接する第１の隣接する縮小後画素を探索し、該第１の現行オリジナル画素を該第１の隣接する縮小後画素と関連付けるステップと
をさらに含む、請求項２記載の方法。
【請求項４】
前記拡大後視差値の各々が信頼性のあるものかどうかを、前記第１のオリジナル画像および前記第２のオリジナル画像に従って判定する前記ステップの前に、
前記第１の縮小後画像の第１の縮小後画素の各々について、
該第１の縮小後画素が前記第１のオリジナル画像内の対応する複数の第１のオリジナル画素の各々に対して信頼性のあるものかどうかを判定するステップと、
該第１の縮小後画素が該対応する複数の第１のオリジナル画素のうちの第１の現行オリジナル画素に対して信頼性のないものであると判定されるとそれに応答して、該第１の縮小後画素に隣接する第１の隣接する縮小後画素を探索し、該第１の現行オリジナル画素を該第１の隣接する縮小後画素と関連付けるステップであって、
該第１の現行オリジナル画素と、該第１の縮小後画素に水平方向および垂直方向に隣接する他の直向の第１の縮小後画素のうちの少なくとも１つが、高い類似性を有するかどうかを判定するステップ、
該第１の現行オリジナル画素と該他の直向の第１の縮小後画素のうちの該少なくとも１つが、該高い類似性を有することに応答して、該他の直向の第１の縮小後画素のうちの、該第１の現行オリジナル画素と最も高い類似性を有する１つを、該第１の隣接する縮小後画素として設定するステップ、
該第１の現行オリジナル画素と該他の直向の第１の縮小後画素の各々が、該高い類似性を有していないことに応答して、該第１の現行オリジナル画素と、該第１の縮小後画素に斜め方向に隣接する他の斜向の第１の縮小後画素が、高い類似性を有するかどうかを判定するステップ、
該第１の現行オリジナル画素と該他の斜向の第１の縮小後画素のうちの少なくとも１つが、該高い類似性を有することに応答して、該他の斜向の第１の縮小後画素のうちの、該第１の現行オリジナル画素と最も高い類似性を有する１つを、該第１の隣接する縮小後画素として設定するステップ、および
該第１の現行オリジナル画素と該他の斜向の第１の縮小後画素の各々が、該高い類似性を有していないことに応答して、前記第２の探索範囲に従って、該第１の現行オリジナル画素の前記置換えの拡大後視差値を取得するステップ
を含む、ステップと
をさらに含む、請求項２記載の方法。
【請求項５】
視差マップを生成するためのシステムであって、
画像を取り込むように構成された、第１の画像センサおよび第２の画像センサと、
データを記憶するように構成された、メモリと、
該第１の画像センサ、該第２の画像センサ、および該メモリに接続されており、
特定シーンの画像を、該第１の画像センサおよび該第２の画像センサを使用することによって取り込んで、第１のオリジナル画像および第２のオリジナル画像をそれぞれ生成することと、
該第１のオリジナル画像および該第２のオリジナル画像に対して縮小プロセスを実施して、第１の縮小後画像および第２の縮小後画像をそれぞれ生成することと、
該第１の縮小後画像および該第２の縮小後画像を使用することによって、複数の縮小後視差値を備える縮小後視差マップを生成することと、
該縮小後視差マップに対して拡大プロセスを実施して、複数の拡大後視差値を有する拡大後視差マップを生成することと、
該拡大後視差値の各々の信頼性に従って、該第１のオリジナル画像および該第２のオリジナル画像の精選した視差マップを生成することと
を行うように構成された、プロセッサと
を備える、視差マップを生成するためのシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理方法、画像処理デバイス、およびそのシステムに関し、より詳細には、視差マップを生成するための方法、画像処理デバイス、およびシステムに関する。
【背景技術】
【０００２】
画像処理におけるフレームワークの発展によって、ステレオ・ビジョンは、構造化光、ステレオ画像、距離検出、監視、その他など、多くの分野に広範に応用されてきた。ステレオ・ビジョンは一般に、２つの段階を含む。第１の段階では、深度カメラ、ステレオ・カメラ、または関連のアルゴリズムを使用することによって、深度情報が生成される。第２の段階では、深度情報を使用することによって、ステレオ画像が生成される。したがって、快適なステレオ観視体験を提供するためには、正確な深度情報が徹底的に重要となる。
【０００３】
ステレオ・ビジョンにおける深度計算の基本は、左右の画像から同一物体を探索し、２つの画像内に出現する物体のオフセット（すなわち視差）に基づいて物体距離を決定することである。より高い解像度をもつ画像が、高い精度レベルの視差推定、すなわちより正確な物体距離推定をもたらすことができる。とはいえ、計算量および時間量は、必然的に増加することになる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、視差マップを生成するための方法、画像処理デバイス、およびシステムを対象とする。
【課題を解決するための手段】
【０００５】
本開示の一実施形態では、方法は、第１の画像センサおよび第２の画像センサを有するシステムに適用可能であり、以下のステップを含む。特定シーンの画像が、第１の画像センサおよび第２の画像センサを使用することによって取り込まれて、第１のオリジナル画像および第２のオリジナル画像がそれぞれ生成する。第１のオリジナル画像および第２のオリジナル画像に対して縮小プロセスが実施されて、第１の縮小後画像および第２の縮小後画像がそれぞれ生成する。第１の縮小後画像および第２の縮小後画像を使用することによって、縮小後視差値を含む縮小後視差マップが生成される。縮小後視差マップに対して拡大プロセスが実施されて、拡大後視差値を有する拡大後視差マップが生成される。拡大後視差値の各々の信頼性に従って、第１のオリジナル画像および第２のオリジナル画像の精選した視差マップが生成される。
【０００６】
本開示の一実施形態では、システムは、第１の画像センサと、第２の画像センサと、メモリと、プロセッサとを含み、ここで、プロセッサは、第１の画像センサ、第２の画像センサ、およびメモリに接続されている。第１の画像センサおよび第２の画像センサは、画像を取り込むように構成される。メモリは、データを記憶するように構成される。プロセッサは、特定シーンの画像を、第１の画像センサおよび第２の画像センサを使用することによって取り込んで、第１のオリジナル画像および第２のオリジナル画像をそれぞれ生成するステップと、第１のオリジナル画像および第２のオリジナル画像に対して縮小プロセスを実施して、第１の縮小後画像および第２の縮小後画像をそれぞれ生成するステップと、第１の縮小後画像および第２の縮小後画像を使用することによって、縮小後視差値を含む縮小後視差マップを生成するステップと、縮小後視差マップに対して拡大プロセスを実施して、拡大後視差値を有する拡大後視差マップを生成するステップと、拡大後視差値の各々の信頼性に従って、第１のオリジナル画像および第２のオリジナル画像の精選した視差マップを生成するステップとを実行するように構成される。
【０００７】
本開示の一実施形態では、画像処理デバイスは、メモリと、通信インターフェースと、プロセッサとを含み、ここで、プロセッサは、メモリおよび通信インターフェースに接続されている。メモリは、データを記憶するように構成される。通信インターフェースは、画像処理デバイスを第１の画像センサおよび第２の画像センサに接続するように構成される。プロセッサは、それぞれ第１の画像センサおよび第２の画像センサからの特定シーンから取り込まれた、第１のオリジナル画像および第２のオリジナル画像を取得するステップと、第１のオリジナル画像および第２のオリジナル画像に対して縮小プロセスを実施して、第１の縮小後画像および第２の縮小後画像をそれぞれ生成するステップと、第１の縮小後画像および第２の縮小後画像を使用することによって、縮小後視差値を含む縮小後視差マップを生成するステップステップと、縮小後視差マップに対して拡大プロセスを実施して、拡大後視差値を有する拡大後視差マップを生成するステップと、拡大後視差値の各々の信頼性に従って、第１のオリジナル画像および第２のオリジナル画像の精選した視差マップを生成するステップとを実行するように構成される。
【発明の効果】
【０００８】
上記に基づいて、本開示において提案する、視差マップを生成するための方法、画像処理デバイス、およびシステムによれば、２つの縮小後画像を使用することによって縮小後視差マップが最初に計算され、次いで、縮小後視差マップから２つのオリジナル画像にマッピングされた、より精選した視差値が取得される。結果として、縮小後視差マップと２つのオリジナル画像との間のミスマッチ、ならびに縮小後深度マップがそのオリジナル・サイズに回復された後の視差値の精度の低さが、未然に防がれる。本開示において生成される視差マップは、低コスト制約下でのステレオ・マッチングの際の視差推定に関する計算が多大なことによる、システム・スピードの低さという問題を解決するのみならず、深度推定の精度を上げることもし、それによって、構造化光、ステレオ、距離検出、および監視などのステレオ・ビジョン応用の効果が、大幅に向上する。
【０００９】
本開示の上記の特徴および利点をより理解できるようにするために、図面を伴ういくつかの実施形態について、以下の通り詳細に説明する。
【図面の簡単な説明】
【００１０】
添付の図面は、本開示のさらなる理解をもたらすために含められたものであり、本明細書に組み込まれ、その一部を成している。図面は、本開示の実施形態を示し、本説明とともに、本開示の原理を説明する働きをする。
【００１１】
【図１】本開示の一実施形態による深度情報を生成するためのシステムを示すブロック図である。
【００１２】
【図２】本開示の一実施形態による深度情報を生成するための方法を示すフローチャートである。
【００１３】
【図３】本開示の一実施形態による視差マップを生成するための方法を示すフローチャートである。
【００１４】
【図４Ａ−４Ｇ】本開示の一実施形態による視差マップを生成するための方法を示す概略図である。
【００１５】
【図５】本開示の一実施形態による深度情報を生成するための方法を示す概略図である。
【発明を実施するための形態】
【００１６】
ここで、本開示のいくつかの実施形態について、本出願の、全てのではないがいくつかの実施形態が示されている添付の図面を参照して、以下により詳細に説明する。実際、本開示のさまざまな実施形態は、多くの異なる形態で具現化することができ、本明細書に記載した実施形態に限定されると解釈すべきではない。そうではなく、これらの実施形態は、該当する法的要件を本開示が満たすように提供されるものである。同様の参照番号は、全体を通じて同様の要素を指す。
【００１７】
図１は、本開示の一実施形態による深度情報を生成するための提案するシステムを示すブロック図である。しかし、これは説明のための一例にすぎず、本開示はこの点に関して限定されないことに留意されたい。システムの全ての構成要素およびそれらの構成について、最初に図１において紹介する。構成要素の機能については、図２と併せてより詳細に開示する。
【００１８】
図１を参照すると、システム１００は、第１の画像センサ１１０、第２の画像センサ１２０、メモリ１３０、およびプロセッサ１４０を含む。本実施形態では、システム１００は、第１の画像センサ１１０、第２の画像センサ１２０、メモリ１３０、およびプロセッサ１４０を統合した、デュアル・レンズ付きのデジタル・カメラ、ＳＬＲカメラ、デジタル・ビデオ・カメラ、スマート・フォン、またはタブレット・コンピュータなどの一体型画像取込みデバイスとすることができる。
【００１９】
本実施形態では、第１の画像センサ１１０および第２の画像センサ１２０の各々が、光学レンズおよび感知要素を有するカメラ・レンズである。感知要素は、光学レンズに入る光強度を感知し、それによって、画像を生成するように構成される。感知要素は、例えば、電荷結合素子（ＣＣＤ）要素、相補型金属酸化膜半導体（ＣＭＯＳ）要素、または同様のものとすることができる。レンズによって取り込まれた画像は、感知要素に対して結像され、デジタル信号に変換されて、プロセッサ１４０に出力される。
【００２０】
メモリ１３０は、画像やプログラミング・コードなどのデータを記憶するように構成され、固定またはモバイルのランダム・アクセス・メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、フラッシュ・メモリ、ハード・ドライブ、他の類似のデバイスもしくは集積回路のうちの１つ、またはそれらの組合せとすることができる。
【００２１】
プロセッサ１４０は、システム１００内の構成要素の間で動作を制御するように構成され、例えば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、またはマイクロプロセッサおよびデジタル信号プロセッサ（ＤＳＰ）、プログラマブル・コントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、他の類似のデバイスなど、汎用もしくは専用の他のプログラマブル・デバイス、上述のデバイスもしくは集積回路の組合せとすることができる。
【００２２】
別の実施形態では、メモリ１３０およびプロセッサ１４０は、画像処理機能を有する電子デバイス（例えばパーソナル・コンピュータ、ノートブック・コンピュータ、スマート・フォン、タブレット・コンピュータなど）内に含まれてよく、そのような電子デバイスは、視差マップを生成するために、第１の画像センサ１１０および第２の画像センサ１２０によって異なる角度から取り込まれた特定シーンの画像を、通信インターフェース（図示せず）を介して有線で、またはワイヤレスに受信してよいことに留意されたい。本実施形態では、第１の画像センサ１１０および第２の画像センサ１２０は、同一デバイス上に配設されてもよく、異なるデバイス上に配設されてもよい。本開示はこの点に関して限定されない。
【００２３】
視差マップを生成するための方法をシステム１００がどのように実施するかについての詳細なステップが、以下の実施形態に示されており、ここで、システム１００は、デュアル・レンズ付きの画像取込みデバイスによって実装されている。
【００２４】
図２は、本開示の一実施形態による視差マップを生成するための方法を示すフローチャートである。
【００２５】
図１と図２を併せて参照すると、プロセッサ１４０が、特定シーンの画像を、第１の画像センサ１１０および第２の画像センサ１２０を使用することによって取り込んで、第１のオリジナル画像および第２のオリジナル画像をそれぞれ生成する（ステップＳ２０２）。詳細には、第１のオリジナル画像および第２のオリジナル画像は、それぞれ第１の画像センサ１１０および第２の画像センサ１２０によって同一シーンから異なる視角において取り込まれた２つの画像とすることができる。ここにおいて、第１の画像センサ１１０および第２の画像センサ１２０は、例えば同一撮影パラメータを使用することによって、画像を取り込んでよい。しかし、本開示はこの点に関して限定されない。
【００２６】
次に、プロセッサ１４０が、第１のオリジナル画像および第２のオリジナル画像に対して縮小プロセスを実施して、第１の縮小後画像および第２の縮小後画像をそれぞれ生成する（ステップＳ２０４）。ここにおいて、プロセッサ１４０は、第１のオリジナル画像および第２のオリジナル画像に対して、同一スケーリング比を用いて縮小プロセスを実施してよい。例えば、第１のオリジナル画像および第２のオリジナル画像の各々の水平軸および垂直軸が５０％縮小されると、スケーリング比は２５％となる。縮小プロセスにおいて使用される手法は、第１のオリジナル画像および第２のオリジナル画像内の画素（以後「第１のオリジナル画素」および「第２のオリジナル画素」と呼ぶ）の各々の画素値を算出すること、ならびに複数の画素を新たな１つの画素に、例えば最近傍補間、双一次補間、双三次補間、エリア・ベースの補間を通じて組み合わせ、それによって、縮小後画像（すなわち前述の第１の縮小後画像および前述の第２の縮小後画像）を取得すること、とすることができる。
【００２７】
次に、プロセッサ１４０が、第１の縮小後画像および第２の縮小後画像を使用することによって、縮小後視差マップを生成し（ステップＳ２０６）、ここで、縮小後視差マップは、第１の縮小後画像に基づいて生成され、複数の縮小後視差画素を含み、縮小後視差画素の各々は、縮小後視差値を有する。ここにおいて、プロセッサ１４０は、第１の縮小後画像および第２の縮小後画像の各画素（以後「第１の縮小後画素」および「第２の縮小後画素」と呼ぶ）について解析を実施して、第１の縮小後画素の各々の、第２の縮小後画像に対する視差値を算出し、それにより、第１の縮小後画像に基づく縮小後視差マップを生成する。別の実施形態では、プロセッサ１４０は、第２の縮小後画像に基づく縮小後視差マップを生成することができる。本開示はこの点に関して限定されない。
【００２８】
次に、プロセッサ１４０が、縮小後視差マップに対して拡大プロセスを実施して、拡大後視差マップを生成する（ステップＳ２０８）。拡大後視差マップは、拡大後視差値を有する複数の拡大後視差画素を含み、ここで、拡大後視差値は、縮小後視差値に従って生成される。プロセッサ１４０は、縮小後視差マップを、第１のオリジナル画像および第２のオリジナル画像と同一のサイズに拡大することができる。例として、縮小後視差マップの垂直軸と水平軸が２Ｘ拡大されると、縮小後視差マップ内の縮小後視差値もおよそ２Ｘ拡大される。
【００２９】
第１の縮小後画像および縮小後画像を使用することによって縮小後視差マップを生成し、かつ第２の縮小後視差マップを拡大して、第１のオリジナル画像および第２のオリジナル画像に対応する視差マップを取得する、という手法によって、計算および時間の量が著しく低減し得る。しかし、拡大後視差マップ内の拡大後視差値は、第１のオリジナル画像および第２のオリジナル画像に基づいて算出されていないので、拡大後視差から取得されるシーン分布と実際のシーン分布との間の差が、視差の精度の低さを生じさせる。
【００３０】
上記に基づいて、プロセッサ１４０は、拡大後視差値の各々が信頼性のあるものかどうかを、第１のオリジナル画像および第２のオリジナル画像に従って判定し（ステップＳ２１０）、それによって、プロセッサ１４０は、拡大後視差値の各々が信頼性のあるものかどうかの判定結果に従って、第１のオリジナル画像および第２のオリジナル画像の精選した視差マップを生成する。本実施形態では、そのような判定は、第１のオリジナル画像および第２のオリジナル画像内の対応する画素間の類似性に基づくものとすることができる。次に、プロセッサ１４０は、信頼性のある拡大後視差値の各々について、第１の探索範囲に従って、対応する精選した拡大後視差値を取得し、信頼性のない拡大後視差値の各々について、第２の探索範囲に従って、対応する置換えの拡大後視差値を取得する（ステップＳ２１２）ことができ、ここで、第１の探索範囲は、第２の探索範囲より狭い。
【００３１】
例として、拡大後視差マップが、第１のオリジナル画像内の第１の現行オリジナル画素および第２のオリジナル画像内の第２の現行オリジナル画素に対応する、１つの「現行拡大後視差画素」を含むと仮定されたい。プロセッサ１４０は、第１の現行オリジナル画素と第２の現行オリジナル画素が類似しているかどうかを判定し、それにより、現行拡大後視差画素の拡大後視差値が信頼性のあるものかどうかを判定することができる。
【００３２】
現行拡大後視差画素の拡大後視差値が信頼性のあるものである場合、プロセッサ１４０は、現行拡大後視差画素の拡大後視差値を、第１の探索範囲に従って、より精密に調整することができる。本明細書では、「拡大後視差値を調整すること」とは、第２の現行オリジナル画素に隣接する領域内の、調整後の第２の現行オリジナル画素となるべき対応する別の第２のオリジナル画素を探索することを意味する。例として、プロセッサ１４０は、第２の現行オリジナル画素の第１の探索範囲内の、新たな第２の現行オリジナル画素となるべき、第１の現行オリジナル画素と最も高い類似性を有する第２のオリジナル画素を探索し、第１の現行オリジナル画素とその第２の現行オリジナル画素との間の視差値を、調整後の現行拡大後視差画素の拡大後視差値として設定することができ、ここで、第１の探索範囲は、縮小後視差マップと拡大後視差マップとの間のスケーリング比、ならびに縮小後視差画素の縮小後視差値に基づいて設定される。その設定のための詳細な方法については、以下の実施形態において網羅的に説明する。
【００３３】
拡大後視差画素の拡大後視差値が信頼性のないものである場合、プロセッサ１４０はさらに、第２の探索範囲に従って、現行拡大後視差画素の拡大後視差値を直接置き換えることのできる視差値を探索することができる。例として、プロセッサ１４０は、第２の現行オリジナル画素の第２の探索範囲内の、新たな第２の現行オリジナル画素となるべき、第１の現行オリジナル画素と最も高い類似性を有する第２のオリジナル画素を探索し、第１の現行オリジナル画素とその第２の現行オリジナル画素との間の視差値を、調整後の現行拡大後視差画素の拡大後視差値として使用することができ、ここで、第２の探索範囲は、第２の現行オリジナル画素の所定の範囲（例えば０から６４）とすることができる。換言すれば、第２の探索範囲はもはや、縮小後視差画素の縮小後視差値に基づいて設定されない。
【００３４】
次に、プロセッサ１４０は、精選した視差マップを、全ての精選した拡大後視差値および全ての置換えの拡大後視差値を使用することによって生成する（ステップＳ２１４）。拡大後視差値差マップと相対的に比較して、精選した視差マップは、縮小後視差マップが再びそのオリジナル・サイズに回復された後の視差値に関する精度の不十分さの問題を解決し、それによって、より効率的かつ正確な深度推定を達成して、後続のステレオ・ビジョン応用例における性能を向上させることができる。
【００３５】
よりよく理解するために、図２の実装形態および詳細について、以後、図３（本開示の一実施形態による視差マップを生成するための方法を示すフローチャート）、ならびに図４Ａから図４Ｇ（本開示の一実施形態による視差マップを生成するための方法を示す概略図）を参照してより具体的に説明し、ここで、図３および図４Ａから図４Ｇの方法におけるフローもまた、システム１００によって実装され得る。
【００３６】
図３のフローに進む前に、プロセッサ１４０は、特定シーンの画像を、第１の画像センサ１１０および第２の画像センサ１２０を使用することによって取り込んで、第１のオリジナル画像および第２のオリジナル画像をそれぞれ生成することと、第１のオリジナル画像および第２のオリジナル画像に対して縮小プロセスを実施して、第１の縮小後画像および第２の縮小後画像をそれぞれ生成することと、第１の縮小後画像および第２の縮小後画像を使用することによって、縮小後視差マップを生成することとを終えていると仮定される。
【００３７】
図４Ａを例にとると、第１のオリジナル画像Ｌおよび第２のオリジナル画像Ｒが両方とも、水平軸および垂直軸に沿って５０％縮小される場合、スケーリング比は２５％となる。換言すれば、第１のオリジナル画像Ｌおよび第２のオリジナル画像Ｒが両方とも１６画素を有する場合、第１の縮小後画像Ｌ’および第２の縮小後画像Ｒ’は両方とも、４画素を有する。縮小プロセスが実施された後、第１のオリジナル画像Ｌの左上の４つの画素Ａ１〜Ａ４（以後「第１のオリジナル画素Ａ１〜Ａ４」と呼ぶ）は、縮小後画像Ｌ’の左上の画素「ａ」（以後「第１の縮小後画素「ａ」と呼ぶ」）になる。プロセッサ１４０は、第１の縮小後画像Ｌ’および第２の縮小後画像Ｒ’を使用して深度マップを算出することによって、計算および時間の量を著しく低減させることができるが、生成された縮小後視差マップＤＭ’内の視差値ｄａ〜ｄｄ（以後「縮小後視差値ｄａ〜ｄｄ」と呼ぶ）は、実際のところ、第１のオリジナル画素Ａ１〜Ｄ４ではなく組み合わせられた第１の縮小後画素ａ〜ｄに基づいて算出された、視差値である。オリジナル画素が組み合わされるときに、異なる物体の縁部のところの画素がしばしば、視差値の精度に影響を及ぼすので、第１のオリジナル画素Ａ１〜Ｄ４の実際の視差値は、図３に提案する方法のフローによって推定され得る。
【００３８】
図１および図３を参照すると、縮小後視差マップを取得した後、プロセッサ１４０は、縁部のところの画素を組み合わせることに関する問題を解決するために、縮小後視差画素が信頼性のあるものかどうかを判定する（ステップＳ３０２）。図４Ａの例では、第１のオリジナル画素Ａ１が背景画素であり、第１のオリジナル画素Ａ２〜Ａ４が前景画素である（すなわち、第１のオリジナル画素Ａ１は背景領域の縁部であり、第１のオリジナル画素Ａ２〜Ａ４は前景領域の縁部である）、と仮定されたい。したがって、第１の縮小後画素「ａ」の画素値（以後「第１の縮小後画素値「ａ」と呼ぶ」）は、前景により近く、したがって、第１の縮小後画素「ａ」は、前景領域の一部とみなされる。この場合、対応する縮小後視差値ｄａは、第１のオリジナル画素Ａ１にとって誤った情報となる（すなわち信頼性のないものである）。したがって、このステップでは、縮小後視差画素の各々が信頼性のあるものかどうかをプロセッサ１４０が判定するという手法が、第１の縮小後画素の各々と対応する第１のオリジナル画素との間の類似性を最初に比較し、それによって、第１の縮小後画素が信頼性のあるものかどうかを判定すること、であってよい。
【００３９】
第１のオリジナル画像Ｌを例にとると、類似性比較は、第１の縮小後画素「ａ」の画素値対第１のオリジナル画素Ａ１〜Ａ４の画素値に関して実施され、ここで、画素値は、グレースケールで表してもよく、カラースケールで表してもよい。例として、グレースケール値またはＲＧＢ値間の差の絶対値が５未満であることが、高い類似性を表している。第１の縮小後画素「ａ」と第１のオリジナル画素Ａ２〜Ａ４が、高い類似性を有すると仮定されたい。この場合、第１の縮小後画素「ａ」は、信頼性のあるものである。換言すれば、縮小前の第１のオリジナル画素Ａ２〜Ａ４と第１の縮小後画素「ａ」は、撮影シーン内の同一物体に対応する（例えば、その全てが前景物体である）。第１の縮小後画素「ａ」と第１のオリジナル画素Ａ１が、高い類似性を有していないと仮定されたい。この場合、第１の縮小後画素「ａ」は、信頼性のないものである。換言すれば、縮小前の第１のオリジナル画素Ａ１と第１の縮小後画素「ａ」は、撮影シーン内の異なる物体に対応する（例えば、第１のオリジナル画素Ａ１は背景であり、第１の縮小後画素「ａ」は前景物体である）。
【００４０】
縮小後視差画素が信頼性のあるものであると判定すると、プロセッサ１４０は、拡大後視差マップ内の対応する拡大後視差画素の拡大後視差値が信頼性のあるものかどうかを判定する（ステップＳ３０４）。ここで、プロセッサ１４０は、拡大後視差値が信頼性のあるものかどうかを、拡大後視差値、ならびに第１のオリジナル画素と拡大後視差値に対応する第２のオリジナル画素との間の類似性に従って、判定することができる。
【００４１】
図４Ａの縮小後視差値ｄａを例にとると、プロセッサが縮小後視差マップＤＭ’に対して拡大プロセスを実施した後、対応する拡大後視差値はｎｄａとなる。プロセッサ１４０が縮小後視差マップＤＭ’の水平軸に対してスケーリング比２Ｘだけ拡大プロセスを実施すると仮定されたく、その場合、拡大後視差値は２ｄａとなる。次に、プロセッサ１４０は、拡大後視差値２ｄａに従って、第１のオリジナル画像Ｌ内の第１のオリジナル画素Ａ２〜Ａ４に対応する、第２のオリジナル画像Ｒ内の第２のオリジナル画素を探索する。図４Ｂの第１のオリジナル画像Ｌの第１のオリジナル画素Ａ２を例にとると、プロセッサ１４０は、第２のオリジナル画像Ｒ内の、２ｄａだけ間隔の空いた、対応する第２のオリジナル画素ＲＡ２を取得する。次に、プロセッサ１４０は、第１のオリジナル画素Ａ２〜Ａ４と第２のオリジナル画素ＲＡ２〜ＲＡ４の画素値に対して類似性比較を実施し、ここで、画素値は、グレースケールで表してもよく、カラースケールで表してもよい。本実施形態では、グレースケール値またはＲＧＢ値間の差の絶対値が５未満であることが、第１のオリジナル画素Ａ２と第２のオリジナル画素ＲＡ２との間の高い類似性を表している。別の実施形態では、中心としての第１のオリジナル画素Ａ２をもつ境界付き領域（「第１の領域」と呼ぶ）、および中心としての第２のオリジナル画素ＲＡ２をもつ別の境界付き領域（「第２の領域」と呼ぶ）が画定される。次いで、２つの領域内の対応する画素間の類似性が判定される。２つの領域内の対応する画素の、ある一定比率が類似している場合（例えば、対応する画素の７０％が、グレースケールまたはＲＧＢ値で表した、５未満の差の絶対値を有する場合）、第１のオリジナル画素Ａ２と第２のオリジナル画素ＲＡ２は高い類似性を有すると判定される。第１のオリジナル画素Ａ２と第２のオリジナル画素ＲＡ２との間の類似性が高いと仮定されたい。この場合、拡大後視差値２ｄａは、信頼性のあるものである。第１のオリジナル画素Ａ３と第２のオリジナル画素ＲＡ３との間の類似性が低いと仮定されたい。この場合、拡大後視差値２ｄａは、信頼性のないものである。
【００４２】
拡大後視差画素の視差値が信頼性のあるものであると判定すると、プロセッサ１４０は、精度の不十分さを未然に防ぐために、第１の探索範囲内で、精選した拡大後視差画素を探索し（ステップＳ３０６）、それに応じて、精選した視差マップを構築する（ステップＳ３０８）。表１によって示すように、「精度の不十分さ」とは、縮小後視差値が拡大後視差値に拡大し戻されるときに（例えばｄａがｎｄａに拡大し戻されるときに）、ヌル視差値、すなわち使用されていない視差値が存在することを意味する。
【表１】
2019121349.tif 000003
水平軸のスケーリング比が２Ｘである場合、第１のオリジナル画素Ａ２の視差値が拡大後視差値２ｄａによって直接定められるならば、「２ｄａ−１」および「２ｄａ＋１」は使用されない。換言すれば、拡大後視差値は２だけ離隔され、それにより、精度がより低くなる。したがって、このステップでは、精度の不十分さを未然に防ぐために、拡大後視差値と、それと相まって隣接するヌル視差値とに基づいて、正確な視差値が決定される。
【００４３】
最初に、プロセッサ１４０は、第１の探索範囲を、縮小後視差マップと拡大後視差マップとの間のスケーリング比、ならびに縮小後視差画素の縮小後視差値に基づいて設定する（例えば、ｎ（ｄａ−１）＜ＳＲ１＜ｎ（ｄａ＋１）、ただしＳＲ１は第１の探索範囲である）。例えば、図４Ｂでは、第１の探索範囲ＳＲ１は、２ｄａ−２＜ＳＲ１＜２ｄａ＋２となる。すなわち、第１の探索範囲ＳＲ１は、３つの視差値、２ｄａ−１、２ｄａ、および２ｄａ＋１を含む。
【００４４】
次に、プロセッサ１４０は、第２のオリジナル画像Ｒから、第１の探索範囲ＳＲ１内で、第１のオリジナル画素Ａ２と最も高い類似性を有する第２のオリジナル画素を探索し、ここで、上で説明したように、類似性はグレースケールまたはカラースケールで表した画素値に基づいて判定され得る。例えば、図４Ｃでは、第２のオリジナル画素ＲＡ２Ｒ、ＲＡ２、およびＲＡ２Ｌが、第１のオリジナル画素Ａ２に対する３つの視差値２ｄａ−１、２ｄａ、および２ｄａ＋１を有する。プロセッサ１４０は、第２のオリジナル画素ＲＡ２Ｒ、ＲＡ２、およびＲＡ２Ｌのうちのどれが、第１のオリジナル画素Ａ２と最も高い類似性を有するかを判定し、それによって、精選した拡大後視差値をそれに応じて定める。このフローは、第１のオリジナル画素Ａ２の精選した拡大後視差値後が確認された後に終了し、次いで、プロセッサ１４０は、引き続きその次のオリジナル画素（例えば、第１のオリジナル画素Ａ３）を処理する。
【００４５】
図３を再度参照すると、ステップＳ３０２において、縮小後視差画素が信頼性のないものであると判定すると、プロセッサ１４０は、隣接する縮小後視差画素が信頼性のあるものかどうかを判定する（ステップＳ３１０）。プロセッサ１４０は、隣接する縮小後視差画素が信頼性のあるものかどうかを判定するために、第１の縮小後画素の縮小される前の位置に従って、第１の縮小後画素に対応する方向に隣接する第１の縮小後画素を探索する。プロセッサ１４０は、判定のために、水平および垂直方向に隣接する縮小後画素（「直向の第１の縮小後画素」と呼ぶ）を、斜め方向に隣接する縮小後画素（「斜向の第１の縮小後画素」と呼ぶ）よりも最優先事項として選択すると仮定されたい。
【００４６】
図４Ｄを例にとって、第１のオリジナル画素Ａ１と第１の縮小後画素「ａ」との間の類似性が低いと仮定されたい。第１の縮小後画素「ａ」は第１のオリジナル画素Ａ１〜Ａ４を縮小することによって形成され、かつ第１のオリジナル画素Ａ１は左上隅に位置するので、プロセッサ１４０は最初に、第１の縮小後画像Ｌ’の第１の縮小後画素「ａ」に水平および垂直方向に隣接する第１の縮小後画素（すなわち、第１の縮小後画素ａの左側および上側の第１の縮小後画素ｘおよびｙ）を探索し、第１のオリジナル画素Ａ１が第１の縮小後画素ｘおよびｙに類似しているかどうかを判定する。第１のオリジナル画素Ａ１と第１の縮小後画素ｘおよびｙのうちのいずれか一方との間の類似性が高い場合、第１の縮小後画素Ａ１に隣接する第１の縮小後画素は信頼性のあるものであると判定される。したがって、フローはステップＳ３０４に戻る。例として、第１のオリジナル画素Ａ１と第１の縮小後画素ｘとの間の類似性が高い場合、プロセッサ１４０は、第１のオリジナル画素Ａ１と第１の縮小後画素ｘが実質的に同一物体である（例えば、その両方が背景である）と判定する。したがって、第１の縮小後画素ｘの情報（例えば、第１の縮小後画素ｘの縮小後視差値ｄｘ）が、対応する拡大後視差画素の視差値とみなされ得る。第１のオリジナル画素Ａ１が、第１の縮小後画素ｘと第１の縮小後画素ｙの両方と高い類似性を有する場合、第１のオリジナル画素Ａ１と最も高い類似性を有するものが、信頼性のある第１の縮小後画素とみなされ得る。
【００４７】
一方、第１のオリジナル画素Ａ１と第１の縮小後画素ｘおよび第１の縮小後画素ｙの各々との間の類似性が低い場合、プロセッサ１４０は、第１の縮小後画素「ａ」に斜め方向に隣接する第１の縮小後画素（すなわち、左上の第１の縮小後画素ｚ）を探索し、第１のオリジナル画素Ａ１と第１の縮小後画素ｚとの間の類似性が高いかどうかを判定する。第１のオリジナル画素Ａ１と第１の縮小後画素ｚとの間の類似性が高い場合、プロセッサ１４０は、隣接する縮小後視差画素が信頼性のあるものであると判定し、フローがステップＳ３０４に戻る。第１のオリジナル画素Ａ１と第１の縮小後画素ｚとの間の類似性が低い場合、プロセッサ１４０は、隣接する縮小後視差画素が信頼性のないものであると判定する。
【００４８】
上で説明したように、類似性比較は、第１のオリジナル画素Ａ１対左側の第１の縮小後画素ｘおよび上部の第１の縮小後画素ｙに関して最初に実施される。類似性が高くないときに類似性比較が左上の第１の縮小後画素ｚに関してさらに実施される理由は、画素の連続性のためである。水平および垂直方向に隣接する画素は、斜め方向に隣接する画素に比べて、同一物体である可能性が高い（その両方が同一前景物体であるか、または同一背景領域である可能性がある）。加えて、図４Ｅに示すように、第１のオリジナル画像Ｌの第１のオリジナル画素Ａ１〜Ａ９が縮小されて、第１の縮小後画像Ｌ’の第１の縮小後画素「ａ」になっており、かつ第１のオリジナル画像Ｌの中央にある第１のオリジナル画素Ａ５と第１の縮小後画素「ａ」との間の類似性が低い、と仮定されたい。この場合、第１のオリジナル画素Ａ５は、斜め方向に隣接する第１の縮小後画素ｚ、ｗ、ｄ、およびｖは考慮せずに、第１の縮小後画素「ａ」に垂直および水平方向に隣接する第１の縮小後画素ｘ、ｙ、ｂ、およびｃと比較され得る。
【００４９】
一方、ステップＳ３０４において、拡大後視差マップ内の対応する拡大後視差画素の視差値が信頼性のないものであると判定するか、またはステップＳ３１０において、隣接する縮小後視差画素が信頼性のないものであると判定すると、プロセッサ１４０は、置換えの拡大後視差値が第２の探索範囲内で探索可能であるかどうかをさらに判定する（ステップＳ３１２）。図２の実施形態において説明したように、第２の探索範囲は、所定の探索範囲（例えば、０から６４の視差値）とすることができる。換言すれば、その設定値はもはや、縮小後視差画素の縮小後視差値に基づいて決定されるのではなく、その代わりに、最も高い類似性を有する第２のオリジナル画素（すなわち、置換えの拡大後視差値）が第２の探索範囲内で探索されて、精選した視差マップが構築される（ステップＳ３０８）。他方では、置換えの拡大後視差値を第２の探索範囲内で見出すことができないとき、プロセッサ１４０は、第１のオリジナル画素を不良画素として設定する（ステップＳ３１４）。不良画素は、第１の画像センサ１１０および第２の画像センサ１２０に近すぎる領域内、または第１の画像センサ１１０および第２の画像センサ１２０のうちの一方が遮られている領域内に位置することがある。
【００５０】
例えば、図４Ｆにおいて、第１のオリジナル画像Ｌの第１のオリジナル画素Ａ３の場合に、プロセッサ１４０がステップＳ３１２に進むと仮定されたい。この場合、プロセッサ１４０は、第２の探索範囲ＳＲ２（すなわち、０から６４の視差値）に従って、第２のオリジナル画像Ｒ内の６５個の対応する第２のオリジナル画素ＲＡ３０からＲＡ３６４を探索し、第１のオリジナル画素Ａ３と第２のオリジナル画素ＲＡ３０からＲＡ３６４の各々との間の類似性を比較する。図４Ｇにおいて、プロセッサ１４０が、第１のオリジナル画素Ａ３と高い類似性を有する第２のオリジナル画素ＲＡ３ｘおよびＲＡ３ｙを見出したと仮定されたく、次いで、第１のオリジナル画素Ａ３と最も高い類似性を有するものが判定される。第１のオリジナル画素Ａ３と第２のオリジナル画素ＲＡ３ｘが最も高い類似性を有する場合、第１のオリジナル画素Ａ３と第２のオリジナル画素ＲＡ３ｘとの間の視差値ｘが、第１のオリジナル画素Ａ３に対応する拡大後視差画素の精選した拡大後視差値となる。
【００５１】
一方、第１のオリジナル画素Ａ３が、第２のオリジナル画素ＲＡ３０からＲＡ３６４のうちのいずれとも高い類似性を有していない場合、プロセッサ１４０は、第１のオリジナル画素Ａ３が、対応する画素を有していないと判定し、第１のオリジナル画素Ａ３を不良画素として設定する。
【００５２】
サイズが３２０×１８０の２つのオリジナル画像を例にとると、最大探索範囲の視差値が３２である場合、従来の手法において１つの視差マップを出力するための探索動作の回数は、３２０×１８０×３２＝１８４３２００となる。しかし、システム１００の場合、オリジナル画像が５０％縮小される（すなわち、画像サイズが１６０×９０になる）と仮定されたい。視差値の探索範囲は１６に狭められ得、その場合、探索動作の回数は１６０×９０×１６＝２３０４００となる。理想的な状況下で、２つの縮小後画像が再び３２０×１８０というサイズに回復され、最大探索範囲の視差値が３２である、と仮定されたい。追加の探索動作の回数は、３２０×１８０×３＝１７２８００となる。換言すれば、合計で４０３２００回の探索動作が実施される。従来手法における１８４３２００回の探索動作に比べて、本実施形態は、８０％の計算量を節約し、それでもなお、視差マップの信頼性を維持することができる。
【００５３】
縮小プロセスは、前述の実施形態では、オリジナル画像に対して１回だけ実施されることに留意されたい。とはいえ、図５（本開示の一実施形態による深度情報を生成するための方法を示す概略図）に示すように、縮小プロセスは、オリジナル画像に対して２回（以上）実施されてもよく、オリジナル画像に対応する視差マップが階層的に取得されてよい。図５の方法もまた、図１に提案するシステム１００によって実装され得る。
【００５４】
図１および図５を参照して、画像サイズが６４０×３６０の画像セットＬＲが、第１の画像センサ１１０および第２の画像センサ１２０によって取り込まれると仮定されたい。プロセッサ１４０は最初に、画像セットＬＲを縮小して、画像サイズが３２０×１８０の画像セットＬＲ’にすることができる。次に、プロセッサ１４０は、画像セットＬＲ’をさらに縮小して、画像サイズが１６０×９０の画像セットＬＲ’’にすることができる。
【００５５】
その後、プロセッサ１４０は、画像セットＬＲ’’に対してステレオ・マッチングを実施して、サイズが１６０×９０の視差マップＤ’’を生成することができる。次に、プロセッサ１４０は、前述の実施形態において提案した方法を使用して、サイズが１６０×９０の視差マップＤ’’および画像サイズが３２０×１８０の画像セットＬＲ’に従って、縮小後視差マップの助けを借りてステレオ・マッチングすることによって、サイズが３２０×１８０の視差マップＤ’を生成することができる。同様に、プロセッサ１４０は、サイズが３２０×１８０の視差マップＤ’および画像サイズが６４０×３６０の画像セットＬＲに従って、縮小後視差マップの助けを借りてステレオ・マッチングすることによって、サイズが６４０×３６０の視差マップＤを生成することができる。
【００５６】
要約すると、本開示において提案した、視差マップを生成するための方法、画像処理デバイス、およびシステムによれば、２つの縮小後画像を使用することによって縮小後視差マップが最初に計算され、次いで、縮小後視差マップから２つのオリジナル画像にマッピングされた、より精選した視差値が取得される。結果として、縮小後視差マップと２つのオリジナル画像との間のミスマッチ、ならびに縮小後深度マップがそのオリジナル・サイズに回復された後の視差値の精度の低さが、未然に防がれる。本開示において生成される視差マップは、低コスト制約下でのステレオ・マッチングの際の視差推定に関する計算が多大なことによる、システム・スピードの低さという問題を解決するのみならず、深度推定の精度を上げることもし、それによって、構造化光、ステレオ、距離検出、および監視などのステレオ・ビジョン応用の効果が、大幅に向上する。
【００５７】
本出願の開示した実施形態の詳細な説明の中で使用される要素、行為、または指示は、そのように明示的に記載されない限り、本開示にとって絶対的に重要または不可欠であると解釈すべきではない。また、本明細書では、不定冠詞「１つの（ａ）」および「１つの（ａｎ）」の各々は、２つ以上の項目を含み得る。ただ１つの項目が意図される場合、「単一の」という表現、または類似の文言が使用される。さらに、「のうちのいずれか」という表現と、それに続く、複数の項目および／または複数の項目種類の列挙は、本明細書では、「のうちのいずれか」、「のいずれかの組合せ」、「のうちのいずれか複数」、ならびに／あるいは「複数の項目および／または項目種類の、個別のまたは他の項目および／もしくは他の項目種類と併せた、いずれかの組合せ」を含むことが意図される。さらに、本明細書では、「セット」という用語は、ゼロを含む任意数の項目を含むことが意図される。さらに、本明細書では、「数」という用語は、ゼロを含む任意数を含むことが意図される。
【００５８】
本開示について、上記の実施形態に即して説明してきたが、本開示の趣旨から逸脱することなく、説明した実施形態に対する修正が行えることが当業者には明らかとなろう。したがって、本開示の範囲は、上記の詳細な説明によってではなく、添付の特許請求の範囲によって定められる。
【産業上の利用可能性】
【００５９】
本開示において提案した、視差マップを生成するための方法、画像処理デバイス、およびシステムは、低コスト制約下でのステレオ・マッチングの際の視差推定に関する計算が多大なことによる、システム・スピードの低さという問題を解決するのみならず、深度推定の精度を上げることもし、それによって、構造化光、ステレオ、距離検出、および監視などのステレオ・ビジョン応用の効果が、大幅に向上する。
【符号の説明】
【００６０】
１００  システム
１１０  第１の画像センサ
１２０  第２の画像センサ
１３０  メモリ
１４０  プロセッサ
Ｓ２０２〜Ｓ２１４、Ｓ３０２〜Ｓ３１４  ステップ
Ｌ  第１のオリジナル画像
Ａ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ１〜Ｃ４、Ｄ１〜Ｄ４、Ｘ１〜Ｘ４、Ｙ１〜Ｙ４、Ｚ１〜Ｚ４、Ａ５〜Ａ９  第１のオリジナル画素
Ｌ’  第１の縮小後画像
ａ〜ｄ、ｖ〜ｚ  第１の縮小後画素
Ｒ  第２のオリジナル画像
ＲＡ１〜ＲＡ４、ＲＢ１〜ＲＢ４、ＲＣ１〜ＲＣ４、ＲＤ１〜ＲＤ４、ＲＡ２Ｌ、ＲＡ２Ｒ、ＲＡ３ｎ、ＲＡ３ｘ、ＲＡ３ｙ  第２のオリジナル画素
Ｒ’  第２の縮小後画像
ｒａ〜ｒｄ  第２の縮小後画素
ＤＭ’  縮小後視差マップ
ｄａ〜ｄｄ、２ｄａ、ｘ、ｙ  視差値
ＳＲ１  第１の探索範囲
ＳＲ２  第２の探索範囲
ＬＲ、ＬＲ’、ＬＲ’’  画像セット
Ｄ、Ｄ’、Ｄ’’  視差マップ
【図１】
2019121349.tif 000004
【図２】
2019121349.tif 000005
【図３】
2019121349.tif 000006
【図４Ａ】
2019121349.tif 000007
【図４Ｂ】
2019121349.tif 000008
【図４Ｃ】
2019121349.tif 000009
【図４Ｄ】
2019121349.tif 000010
【図４Ｅ】
2019121349.tif 000011
【図４Ｆ】
2019121349.tif 000012
【図４Ｇ】
2019121349.tif 000013
【図５】
2019121349.tif 000014
【外国語明細書】
2019121349000001.pdf