(57)【要約】  本発明は、各画像が画素のアレイを有する、立体３Ｄ映像の左画像と右画像との間の視差分布を推定するための方法であって、視差の最大範囲（Ｄｍｉｎ及びＤｍａｘ）を提供するステップと、左画像領域（７４）と右画像領域（７５）との双方の画像のうちの一方が視差シフト値（Δｄ）だけシフトされた状態で、左画像領域（７４）と右画像領域（７５）との相関をとるステップと、相関の結果は、双方の画像の間の画像マッチの指標であることと、視差の最大範囲（Ｄｍｉｎ、Ｄｍａｘ）内において視差シフト値（Δｄ）のセットについて相関をとるステップを繰り返すステップと、相関の結果から視差分布を得るステップとを含む方法に関する。本発明は、各画像が画素のアレイを有する、立体３Ｄ映像の左画像と右画像との間の視差分布を推定するための装置であって、双方の画像領域のうちの一方が視差シフト値だけシフトされた状態で、左画像領域と右画像領域との相関をとり、当該相関の結果は、双方の画像の間の画素マッチの指標であり、所与の視差の最大範囲内における視差シフト値のセットについて上記相関を繰り返し、相関の結果から視差分布を得て、得られた視差分布を出力することを備える装置にも関する。【選択図】図６ｂ
2013521686.tif 000002
【特許請求の範囲】
【請求項１】
各画像が画素のアレイを有する、立体３Ｄ映像の左画像と右画像との間の視差分布を推定するための方法であって、
視差の最大範囲（Ｄｍｉｎ及びＤｍａｘ）を提供するステップと、
左画像領域（７４）と右画像領域（７５）との双方の画像のうちの一方が視差シフト値（Δｄ）だけシフトされた状態で、左画像領域（７４）と右画像領域（７５）との相関をとるステップと、
前記相関の結果は、双方の画像の間の画像マッチの指標であることと、
視差の最大範囲（Ｄｍｉｎ、Ｄｍａｘ）内における視差シフト値（Δｄ）のセットについて前記相関をとるステップを繰り返すステップと、
前記相関の前記結果から前記視差分布を得るステップと、
を含む、方法。
【請求項２】
前記視差シフト値のセットは、前記視差の最大範囲内の全ての整数値を含み、前記視差シフト値及び前記視差の最大範囲の単位は、画素である、請求項１に記載の方法。
【請求項３】
相関をとることに用いられる前記画像領域（７４、７５）は、一方の前記画像領域とシフトされた他方の前記画像領域とが重複する領域である、請求項１又は請求項２に記載の方法。
【請求項４】
相関をとることのための前記左画像領域と前記右画像領域とは、これらの左境界と右境界とにおいて、値（ｄｏｆｆ）だけトリミングされ、当該値（ｄｏｆｆ）は好適には前記視差の最大範囲に対応する、先行する請求項のいずれか１項に記載の方法。
【請求項５】
前記相関をとるステップは、
双方の画像領域を互いに画素単位で比較することと、
前記比較の結果に応じてカウンタを増加させることと、を含み、
前記カウンタは、双方の画像領域についての画素値の一致を表し、双方の画像領域の一方は、前記視差シフト値だけシフトされている、
先行する請求項のいずれか１項に記載の方法。
【請求項６】
双方の画像領域を画素単位で比較する前記ステップは、双方の画像領域のうちの一方の各画素の値を他方の前記画像領域の各画素の値から減算するステップを含む、請求項５に記載の方法。
【請求項７】
前記比較の前記結果の絶対値が所定の閾値よりも小さい場合、前記カウンタが増加される、請求項５又は請求項６に記載の方法。
【請求項８】
前記閾値として１が選択される、請求項７に記載の方法。
【請求項９】
前記画像領域は、互いに対して水平にシフトされる、先行する請求項のいずれか１項に記載の方法。
【請求項１０】
前記左画像領域及び前記右画像領域（７４、７５）は、複数のサブ領域（７７）に分割され、前記相関をとるステップは、視差分布が全ての画像サブ領域（７７）について得られるように、各サブ領域について別々に実行される、先行する請求項のいずれか１項に記載の方法。
【請求項１１】
前記サブ領域の前記視差分布は、単一の分布に結合される、請求項１０に記載の方法。
【請求項１２】
前記サブ領域（７７）の数は９である、請求項１０又は請求項１１に記載の方法。
【請求項１３】
各サブ領域が構造化された要素を含むかを分析するステップを含む、請求項１０、請求項１１又は請求項１２に記載の方法。
【請求項１４】
前記分析の結果に応じて各サブ領域についての重み係数を判定するステップを含み、当該重み係数は前記視差分布の前記結合に用いられる、請求項１３に記載の方法。
【請求項１５】
前記サブ領域視差分布を結合する前に非線形伝達関数を各サブ領域視差分布に適用して、大きなピークを強調し、小さなピーク及びノイズを低減するステップ、
を含む、請求項１０〜１４のいずれか１項に記載の方法。
【請求項１６】
前記視差分布を結合するステップは、前記サブ領域視差分布を加算するステップを含む、請求項１１に記載の方法。
【請求項１７】
サブ領域視差分布のセットが結合される、請求項１０〜１６のいずれか１項に記載の方法。
【請求項１８】
前記サブ領域視差分布のセットは、画像境界に位置付られるサブ領域に関連するサブ領域視差分布のみを含む、請求項１７に記載の方法。
【請求項１９】
前記サブ領域視差分布のセットは、境界バイオレーションを探索するために用いられる、請求項１８に記載の方法。
【請求項２０】
左画像と右画像との間のグローバルイルミネーションの差を補償するステップと、及び／又は、
前記左画像領域と前記右画像領域との間の垂直シフトを判定するステップと、
双方のステップは前記相関をとるステップの前に実行されることと、
を含む、請求項１〜１９のいずれか１項に記載の方法。
【請求項２１】
各画像が画素のアレイを有する、立体３Ｄ映像の左画像と右画像との間の視差分布を推定するための装置であって、
双方の画像領域のうちの一方が視差シフト値だけシフトされた状態で、左画像領域と右画像領域との相関をとり、当該相関の結果は、双方の画像の間の画素マッチの指標であり、
所与の視差の最大範囲内における視差シフト値のセットについて前記相関を繰り返し、
前記相関の前記結果から前記視差分布を得て、
前記得られた視差分布を出力する、
ように適合される推定装置（４４）、
を備える、装置。
【請求項２２】
前記視差シフト値のセットは、前記視差の最大範囲内における全ての整数値を含み、前記視差シフト値及び前記視差の最大範囲の単位は、画素である、請求項２１に記載の装置。
【請求項２３】
相関をとることに用いられる前記画像領域は、一方の前記画像領域とシフトされた他方の前記画像領域とが重複する領域である、請求項２１又は請求項２２に記載の装置。
【請求項２４】
前記推定装置（４４）は、相関をとることのために、前記左画像領域と前記右画像領域とを、これらの左境界と右境界とにおいて、前記の最大範囲に対応する値だけトリミングするように適合される、請求項２１〜２３のいずれか１項に記載の装置。
【請求項２５】
前記推定装置（４４）は、
双方の画像領域を互いに画素単位で比較し、
前記比較の結果に応じてカウンタを増加させ、前記カウンタは、双方の画像領域についての画素値の一致を表し、双方の画像領域の一方は、前記視差シフト値だけシフトされている、
ようにさらに適合される、請求項２１〜２４のいずれか１項に記載の装置。
【請求項２６】
前記推定装置（４４）は、双方の画像領域のうちの一方の各画素の値を他方の前記画像領域の各画素の値から減算するようにさらに適合される、請求項２５に記載の装置。
【請求項２７】
前記推定装置（４４）は、前記比較の前記結果の絶対値が所定の閾値よりも小さい場合、前記カウンタを増加させるように適合される、請求項２５又は請求項２６に記載の装置。
【請求項２８】
前記閾値として１が選択される、請求項２７に記載の装置。
【請求項２９】
前記画像領域は、互いに対して水平にシフトされる、請求項２１〜２８のいずれか１項に記載の装置。
【請求項３０】
前記推定装置（４４）は、前記左画像領域及び前記右画像領域を複数のサブ領域に分割し、全ての画像サブ領域について視差分布が得られるように、各サブ領域の相関を別々にとるように適合される、請求項２１〜２９のいずれか１項に記載の装置。
【請求項３１】
前記推定装置（４４）は、前記サブ領域の前記視差分布を単一の分布に結合させるように適合される、請求項３０に記載の装置。
【請求項３２】
前記サブ領域の数は９である、請求項３０又は請求項３１に記載の装置。
【請求項３３】
前記推定装置（４４）は、各サブ領域が構造化された要素を含むかを分析するように適合される、請求項３０、請求項３１又は請求項３２に記載の装置。
【請求項３４】
前記推定装置（４４）は、前記分析の結果に応じて各サブ領域についての重み係数を判定するステップを含み、当該重み係数は、前記視差分布の前記結合に用いられるように適合される、請求項３３に記載の装置。
【請求項３５】
前記推定装置（４４）は、前記サブ領域視差分布を結合する前に非線形伝達関数を各サブ領域視差分布に適用して、大きなピークを強調し、小さなピーク及びノイズを低減するように適合される、請求項３０〜３４のいずれか１項に記載の装置。
【請求項３６】
前記推定装置（４４）は、前記視差分布を結合するために前記サブ領域視差分布を加算するように適合される、請求項３１に記載の装置。
【請求項３７】
前記推定装置（４４）は、サブ領域視差分布のセットを結合するように適合される、請求項３０〜３６のいずれか１項に記載の装置。
【請求項３８】
前記サブ領域視差分布のセットは、画像境界に位置付られるサブ領域に関連するサブ領域視差分布のみを含む、請求項３７に記載の装置。
【請求項３９】
前記推定装置（４４）は、ＡＳＩＣとして提供される、請求項２１〜３８のいずれか１項に記載の装置。
【請求項４０】
立体３Ｄ映像を記録、処理及び／又は表示するための装置であって、請求項２１〜３９のいずれか１項に記載の装置を備える、装置。
【請求項４１】
前記装置は、テレビ受像機、静止画像カメラ装置、ビデオカメラ装置、メディアプレーヤ装置、ゲーム機、コンテンツポストプロダクションシステムのうちの１つである、請求項４０に記載の装置。
【請求項４２】
デジタルシステムの内部メモリにロード可能なコンピュータプログラムプロダクトであって、当該システム上で実行される場合に、当該システムが請求項１〜２０のいずれか１項に記載の方法を実行することを可能とするソフトウェアコード部を備える、コンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各画像が画素のアレイを有する、立体３Ｄ映像（stereoscopic  3D  picture）の左画像と右画像との間の視差分布（display  distribution）を推定するための方法に関する。本発明は、視差分布を推定するための装置及び立体３Ｄ映像を表示するためのテレビジョン装置にも関する。さらに、本発明は、３Ｄ映像を記録し、処理し及び／又は表示するための装置と、コンピュータプログラムプロダクトとに関する。
【背景技術】
【０００２】
立体３Ｄシネマトグラフィの原理は長い間知られているが、近年は大変人気があり、立体３Ｄコンテンツを表示することが可能な装置への需要は急速に増加している。特に、エンターテインメント産業は、立体３Ｄ性能を有するテレビジョン装置の開発を開始している。しかしながら、立体３Ｄコンテンツの表示に伴う原理的な問題は、視聴者によって知覚される奥行き感（depth  impression）に関連する撮影状況と視聴状況との間にしばしば生じる矛盾である。奥行き感についての要因は、テレビ受像機のディスプレイの画面サイズ、ディスプレイの正面の視聴者の距離及び位置、並びに、個人の瞳孔間隔である。目の距離は、成人の間ではあまり変わらないと考えられているが、問題は特に子供について存在する。大抵の場合、コンテンツが制作されるときに視聴状況は知得されていない。一方、撮影状況を記述するメタデータをコンテンツに付加し得るが、これは標準化されていない。映画館における状況と比較して、テレビ受像機の様々な異なるディスプレイ画面のサイズ、視聴者の様々な異なる距離及び位置のために、この問題には特に興味がある。
【０００３】
従って、３Ｄコンテンツの表示は、視聴者に問題を提示し得る。よくある問題は、シーンの遠い地点をみている場合の目の開散の経験、又は、ディスプレイ画面からの見掛けの距離があまりに大きいオブジェクトを凝視する場合の、目の輻輳と目の調節との間の混乱する印象であり得る。
【０００４】
従来技術において、いわゆる「コンフォートゾーン（comfort  zone）」の使用が確立されてきた。「コンフォートゾーン」は、如何なる目の輻輳及び目の調節の問題も無しに視聴者によってオブジェクトの凝視が為され得るテレビ受像機の画面又はディスプレイ面の前方及び後方の領域を定義する。換言すれば、コンフォートゾーンは、オブジェクトを表示するために用いられるべきディスプレイ画面に対する深度を記述する。
【０００５】
このコンフォートゾーンは、画面又はディスプレイ面の周りの深度範囲（depth  range）を定義し、左視野（view）と右視野との間の視差に密接に関連する。従って、視聴者についての知覚される深度を変化させるための方法は、左視野と右視野との間の視差を変化させることである。最も簡単な形において、これは、ディスプレイ上に表示される場合の左画像及び右画像のシフト演算（shift  operation）と水平目盛とによって達成されることができる。双方の画像に等しく適用されるスケール演算（scale  operation）は、視差範囲を同じ量だけスケーリングする。左画像対右画像の水平シフト（horizontal  shift）は、ゼロ視差の平面を再配置するであろう。即ち、ディスプレイのコンフォートゾーン内におけるシーンの深度を調節するために、シーンにおける特定の深度平面をディスプレイ画面の平面において位置付けることができる。
【０００６】
換言すると、３Ｄコンテンツを表示する主な問題の１つは、与えられる（delivered）立体３Ｄコンテンツにおいて用いられる深度範囲を、例えばテレビ受像機といったディスプレイ装置のコンフォートゾーン内にすることである。これは、与えられるコンテンツの最大深度範囲がコンフォートゾーンの深度範囲に実質的に対応するように深度範囲をスケーリングすることによって達成される。さらに、与えられるコンテンツの深度範囲は、ディスプレイ画面平面に対してシフトされ得る。
【０００７】
３Ｄコンフォートゾーンのような、３Ｄシネマトグラフィの原理についてのより詳細な情報は、非特許文献１の特にチャプター５に見出し得る。非特許文献１の内容は、参照することによって本明細書に組み込まれる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】"3D  Movie  Making,  Stereoscopic  Digital  Cinema  from  Script  to  Screen"  Bernard  Mendiburu,  Focal  Press,  ISBN  978-0-240-81137-6
【０００９】
スケール演算及びシフト演算について適当なパラメータを導くために、視差の範囲は、予め知得されていなければならない。本文脈において、視差の範囲は、コンテンツに存在する少なくとも最小及び最大の視差を表すものとして定義される。好適には、これらの極値間の視差レベルの分布も知得されている。この情報は、通常、コンテンツに付加されたメタデータから入手可能ではく、画像コンテンツ自体からリカバーされ（recovered）なければならない。
【００１０】
視差分布を生成するための単純な（naive）アプローチは、入力画像における各画素位置に視差値が割り当てられる高密度視差マップ（dense  disparity  map）の推定である。次いで、高密度視差マップからヒストグラムが算出される。この方法の不都合な点は、局所的な（localized）深度情報を最初に探索し、その後、それを破棄することの非効率性である。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、左視野画像と右視野画像との間の視差のグローバルな分布を推定することが可能な効率的な方法を提供することである。本発明のさらなる目的は、視差のグローバルな分布を効率的に推定することが可能な装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明のある観点によれば、各画像が画素のアレイを有する、立体３Ｄ映像の左画像と右画像との間の視差分布を推定するための方法であって、視差の最大範囲を提供するステップと、左画像領域と右画像領域との双方の画像のうちの一方が視差シフト値だけシフトされた状態で、左画像領域と右画像領域との相関をとるステップと、相関の結果は、双方の画像の間の画素マッチの指標であることと、視差の最大範囲内において視差シフト値のセットについて相関をとるステップを繰り返すステップと、相関の結果から視差分布を得るステップとを含む方法が提供される。
【００１３】
つまり、換言すると、双方の画像の間でいくつの画素が一致するかを判定するために、左画像領域及び右画像領域のうちの一方が、視差シフト値だけシフトされる他の画像領域と比較される。例えば、一方の画像領域の全ての画素が、シフトされた他方の画像領域と完全に一致する場合、コンテンツ全体は、用いられる視差シフト値に対応する視差（これは、ディスプレイ平面に対する深度平面の位置の指標である）を有する同じ深度平面に位置する。
【００１４】
この相関をとるステップは、所与の視差の最大範囲内における幾つかの視差シフト値について繰り返される。最後には、用いられる視差シフト値全てについての相関結果が得られ、当該結果は視差分布に結合される。
【００１５】
この視差分布は、立体３Ｄ映像をコンフォートゾーンへ移動させるために用いられる、さらなる画像処理に使用されることができる。
【００１６】
従って、提案される発明の方法のコア原則は、左画像と右画像との非線形相関に基づく。２つの画像のうちの一方は、他方に対してｄ画素列（即ち、視差シフト値）だけ水平にシフトされ、第１の画像及び他方の画像のシフトされたバージョンの同じ領域について相関演算（correlation  operation）が行われる。スケーリング及びシフト演算についての適当なパラメータ、即ち、視差分布を適用するためのこの方法は、必要な画素演算が簡単なため、非常に効率的である。
【００１７】
好適な実施形態によれば、視差シフト値のセットは視差の最大範囲内の全ての整数値を含み、視差シフト値及び視差の最大範囲の単位は、画素である。
【００１８】
つまり、換言すると、相関をとるステップは、所与の視差の最大範囲内における全ての視差シフト値について実行される。この視差の最大範囲は、最小の視差値と最大の視差値とによって定義される。双方の視差値は、上記範囲が０に対して対称になるように、異なる符号を有して等しくてもよい。しかしながら、それぞれの情報が入手可能な場合には、双方の値が非対称的に選択されてもよい。一般に、視差の最大範囲は、与えられる立体３Ｄコンテンツの期待される最大深度範囲、又は、換言すると、コンテンツに含まれる最大の期待される視差を定義する。上記の視差値も、計算資源の制約、又は、期待される視差と計算資源の制約との間の妥協に基づいて定義されてもよい。
【００１９】
好適な実施形態において、相関をとることに用いられる画像領域は、一方の画像領域とシフトされた他方の画像領域とが重複する領域である。より好適には、相関をとることのための左画像領域と右画像領域とは、左境界と右境界とにおいて、好適には視差の最大範囲に対応する値だけトリミングされる。
【００２０】
この方策は、相関領域がいずれかの画像の境界をまたぐことを回避する。
【００２１】
さらなる好適な実施形態において、相関をとるステップは、双方の画像領域を互いに画素単位で比較するステップと、
比較の結果に応じてカウンタを増加させることとを含み、当該カウンタは、双方の画像領域についての画素値の一致を表し、双方の画像領域の一方は、視差シフト値だけシフトされている。より好適には、双方の画像領域を画素単位で比較するステップは、双方の画像領域のうちの一方の各画素の値を他方の画像領域の各画素（each  respective  pixel）の値から減算するステップを含む。より好適には、比較の結果の絶対値が、好適には１である所定の閾値よりも小さい場合、カウンタが増加される。
【００２２】
換言すれば、相関をとるステップは、２つの画素値の間の簡単な減算演算を含み、この減算の結果の絶対値が所定の閾値よりも小さい場合、カウンタが１だけ増加される。従って、画素が、シフトされた画像におけるそれぞれの画素と一致する度に、カウンタが増加される。従って、カウンタが大きいほど、一致する画素の数は大きくなる。
【００２３】
しかしながら、相関の結果は、一致する画素に関する如何なる空間的な情報も含まないことに留意すべきである。換言すると、相関をとるステップは、ある視差値及び画像領域内のそれぞれの領域（region）に関する如何なる情報も供給しない。このことは、本方法を非常に効率的にする。
【００２４】
さらなる好適な実施形態によれば、画像領域は互いに対して水平にシフトされる。
【００２５】
さらなる好適な実施形態において、左画像領域及び右画像領域は、複数のサブ領域に分割され、相関をとるステップは、視差分布が全ての画像サブ領域について得られるように、各サブ領域について別々に実行される。好適には、サブ領域の視差分布は、単一の分布に結合される。より好適には、サブ領域の数は９である。
【００２６】
発明者は、上述された方法によって得られる視差分布が、非常に滑らかであり、立体的な入力における大きなオブジェクトにピークが対応するという特性を有することに気付いた。異なる深度平面におけるより小さなオブジェクトに対応するピークのマスキングを回避するために、複数の相関領域を用いることが有利であることを発明者は見出した。
【００２７】
さらなる好適な実施形態において、各サブ領域は構造的な要素を含むかが分析される。好適には、各サブ領域についての重み係数（weight  factor）は、分析の結果に応じて判定され、重み係数は、視差分布の結合に用いられる。
【００２８】
視差を推定することができるのは、画像コンテンツが幾つかの最小の構造を提示する場合だけであるので、各サブ領域が、構造を含むか、又は、均一な若しくは同一の明度のみを含むかがテストされる。計算効率の良いテストは、相関から取得される分布に行うことができ、コンテンツにおける充分な構造は、鮮明に示される、目立ったピークをもたらすことが観察される。弱い構造のみ又は構造が存在しない場合、ピークも弱くなり、おそらく探索範囲全体を超えて広がる。好適には、ピーク曲線は、後続の結合ステップにおいて用いられる重み係数を判定するための、ピーク曲線の二次導関数を用いて評価される。
【００２９】
さらなる好適な実施形態において、サブ領域視差分布を結合して大きなピークを強調し、小さなピーク及びノイズを低減する前に、非線形伝達関数が各サブ領域視差分布に適用される。
【００３０】
さらなる好適な実施形態において、サブ領域視差分布のセットが結合される。好適には、サブ領域視差分布のセットは、画像境界、好適には上端部画像境界及び下端部画像境界に位置付けられるサブ領域に関連するサブ領域視差分布のみを含む。
【００３１】
従って、提案される方法の別の観点は、サブ領域分布の結合は、画像領域全体の代わりに異なるサブセットを含むことができることである。例えば、上端部画像境界及び下端部画像境界に位置付けられる全てのサブ領域の分布を結合して、境界領域の視差分布を取得することができる。そのような分布は、シーンコンテンツの境界バイオレーション、即ち、視聴者により近い深度平面に位置付けられるオブジェクトが、ディスプレイ平面に位置付けられる画像境界によってカットされる場合を探索するために用いられ得る。
【００３２】
さらなる好適な実施形態において、提案される方法は、修正された（rectified）左視野及び右視野を含む、即ち、固有の視聴時の幾何学的配置のエピポーラ線が画像行と並べられた立体的なマテリアル（material）にも適している。さらに、左視野及び右視野は、等しい露出及び輝度を有するべきである。これらの要件は立体的なディスプレイ上の最良の描写を確保するが、これらは依然として今日のコンテンツの大部分によって侵されている。
【００３３】
従って、提案される方法は、左視野と右視野との間のグローバルイルミネーションの差をまず補償する前処理手段も含むように拡張されることができる。次に、左相関領域と右相関領域との間の垂直シフトは、各相関領域について判定される。最後に、水平分布が上述したように推定され得る。
【００３４】
本発明のさらなる観点によれば、各画像が画素のアレイを有する、立体３Ｄ映像の左画像と右画像との間の視差分布を推定するための装置であって、双方の画像領域のうちの一方が視差シフト値だけシフトされた状態で、左画像領域と右画像領域との相関をとり、当該相関の結果は、双方の画像の間の画素マッチの指標であり、所与の視差の最大範囲内における視差シフト値のセットについて相関を繰り返し、相関の結果から視差分布を得て、得られた視差分布を出力するように適合される推定装置を備える装置が提供される。
【００３５】
発明の装置は、発明の方法に関して上述されたものと同じ利点を有する。従って、上記説明のそれぞれが参照され得る。さらに、装置は、方法に関して説明されたものと類似の及び／又は同一の好適な実施形態を有する。従って、これらの実施形態及び対応する利点を繰り返すことは控えてもよい。
【００３６】
最後に、本発明のさらなる観点によれば、上述した発明の装置を含む立体３Ｄ映像を再生するための装置、好適にはテレビ受像機が提供される。
【００３７】
まとめると、本発明は、上記の単純なアプローチよりも計算効率が良い方法を提案する。さらに、発明の方法は、単純なアプローチよりも複雑度が低い。従って、発明の方法は、ベクトル化された計算ユニットを有するプロセッサ（例えば、ＶＬＩＷ、ＣＥＬＬ）のためのソフトウェア又はハードウェア（例えば、ＡＳＩＣ）に、より簡単に実装されることができる。さらに、発明の方法は、周期的な構造を提示するコンテンツ又は単純なアプローチよりもロバストである。
【００３８】
発明の方法によって提供される視差分布に基づいて実行される、画像ペアの奥行き感（depth  impression）を変更することとは別に、特にレンズからリビングルームまであらゆる種類の装置について考えられる、発明の方法についての他の潜在的な用途は、
ａ）例えば、シーンの前に字幕又は画面上のメニューを適切に配置するために、視聴者に最も近い深度距離（depth  distance）を発見するためのオンザフライのメタデータ生成、
ｂ）静止画像カメラ装置又はビデオカメラ装置、
ｃ）ホームビデオ用又は放送会社によって用いられるようなコンテンツポストプロダクションシステム、
ｄ）ブルーレイのようなパッケージ化された媒体又はインターネットからのストリーミングメディアを用いるゲーム機又はコンピュータプロダクトに基づくメディア再生装置、
ｅ）テレビジョン装置に限定されず、立体モニタ装置及びプロジェクションシステムを含むディスプレイ装置、
を含み得る。
【００３９】
ケースｅ）の用途は、後述されるようにディスプレイ／視聴者の状況に基づく知覚される深度の制御に注目する一方で、ケースｂ）及びｃ）の潜在的な用途は、あまりにも高い視差範囲は処理過程（processing  chain）の下流において問題を引き起こすことが知得されている、悪い状態の撮影状況を示す、写真家又は製造オペレータへのインタラクティブなフィードバックであり得る。ケースｃ）、ｄ）及びｅ）の場合、用途は、キャプション又は字幕の深度位置調整（positioning）、及び、そのような装置を制御する画面上のメニューの位置調整である。ケースｃ）又はｄ）の場合、情報を用いて、ストリームの映像品質及び／又は計算量の観点において、インタビュー予測（interview  prediction）に関するコーデック効率を改善し得る。
【００４０】
上述された特徴及び以下に説明される特徴は、述べられるそれぞれの組み合わせにおいてだけでなく、本発明の範囲を逸脱することなく、他の組み合わせにおいて又は分離して用いられることができることが理解されるべきである。
【図面の簡単な説明】
【００４１】
本発明のこれら及び他の観点は、以下に記載される実施形態を参照しつつ明らかになり、以下により詳細に説明されるであろう。以下の図面において、
【００４２】
【図１】ディスプレイ平面及びオブザーバを有する典型的な視聴時の幾何学的配置（viewing  geometry）を示す。
【図２】ディスプレイコンフォートゾーンを有する視聴時の幾何学的配置を示す。
【図３ａ】視差分布の例を示す。
【図３ｂ】視差分布の例を示す。
【図４】画像分析及び画像変換部を有するブロック図を示す。
【図５】本発明のコア原則を説明するためのブロック図を示す。
【図６ａ】本発明の相関をとるステップを説明するための処理フロー図を示す。
【図６ｂ】上記相関をとるステップの間に用いられる画像領域の一例を示す。
【図７】本発明のさらなる実施形態において用いられる複数のサブ領域に分割される画像領域を示す。
【図８ａ】視差分布の後処理のブロック図を示す。
【図８ｂ】視差分布の後処理のブロック図を示す。
【図９】図８Ａにおいて使用される非線形マッピングの入力と出力との関係の一例を示す。
【図１０ａ】画像境界における視差分布をどのように推定するかの例を示す。
【図１０ｂ】画像境界における視差分布をどのように推定するかの例を示す。
【発明を実施するための形態】
【００４３】
好適な実施形態の詳細な説明に入る前に、図１及び図２に関する立体３Ｄ原理についての幾つかの一般的な背景情報、及び、本発明が適用される技術分野が最初に与えられる（図３Ａ，図３Ｂ及び図４）。
【００４４】
特に、ある用語が本明細書において異なる意味で用いられるために生じ得る如何なる曖昧さも回避するために、こうした概論は以下で用いられる用語を定義する役割も果たす。
【００４５】
図１は、典型的な視聴時の幾何学的配置（viewing  geometry）を概略的に示す。図１の左側にはディスプレイ平面が示され、符号１０で表される。ディスプレイ平面は、３Ｄ映画を表示するために使用されるテレビ受像機の一部である。
【００４６】
図１の右側にはオブザーバの両目が概略的に示され、左目と右目との目距離はｂで表される。オブザーバとディスプレイ平面１０との間の距離はＺで表され、典型的には１メートルから５メートルの範囲にある。
【００４７】
一般に知られているように、各３Ｄ画像は、交互に表示される右画像と左画像とを含む。オブザーバは、典型的には、例えば、ディスプレイ平面と同期されたシャッターメガネをかけて、オブザーバが、左画像を左目のみで、右画像を右目のみで見るようにする。
【００４８】
説明の目的のため、図１は、画像におけるオブジェクトを象徴する長方形を示す。３Ｄ知覚を達成するために、右画像におけるオブジェクト１１は、左画像における当該オブジェクトに対して距離ｄだけシフトされ得る。換言すると、オブジェクト１１は、右目及び左目についてディスプレイ平面上の異なる位置においてオブザーバに提示され得る。水平方向における右画像中のオブジェクトと左画像中のオブジェクトとの間の距離は、以下、「視差（disparity）」ｄと呼ばれる。この視差に応じて、オブザーバは、オブジェクトがディスプレイ平面の前方又はディスプレイ平面の後方にあるという印象を有する。
【００４９】
視差がゼロの場合、右画像中のオブジェクトは、左画像中のオブジェクトとディスプレイ上の同じ位置に表示されることを意味し、オブザーバは、ディスプレイ平面１０においてオブジェクトを知覚する。
【００５０】
図１に示される例において、左画像中のオブジェクトは、ディスプレイの右半分において表示されるのに対して、右画像中のオブジェクトは、ディスプレイの左半分において表示される。この場合、視差は正であると見なされ、知覚されるオブジェクトはディスプレイ平面の正面に位置し、距離はｚ（深度範囲）で表される。視差ｄが小さくなる場合、知覚されるオブジェクトは、ディスプレイ平面に向かって動く。視差ｄが負になり次第、知覚されるオブジェクトはディスプレイ平面の後ろに位置する。
【００５１】
テレビ受像機のディスプレイは画素ベースであるという事実に起因して、視差の単位は、以下、画素である。これは、換言すると、１つの視差は、左画像が右画像に対して水平方向において１画素だけシフトされることを意味する。
【００５２】
図１から、ディスプレイ平面とオブザーバによって知覚されるオブジェクトとの間の距離ｚは、視差ｄの単調関数であることは明らかである。
【００５３】
理論上は、ディスプレイ平面に対する知覚されるオブジェクトの距離ｚは、正の視差についてはゼロとオブザーバの距離Ｚとの間の任意の値を、負の視差についてはゼロから無限大の任意の値をとり得る。特に、視差ｄがあまりにも大きくなる場合、オブザーバは頭痛を起こし得る。
【００５４】
この知識に起因して、いわゆる「コンフォートゾーン」が確立される。コンフォートゾーンは、知覚されるオブジェクトがこのゾーン内にある場合、オブザーバへの如何なる攪乱効果も生じさせない、ディスプレイ平面の前方及び後方の深度範囲を定義する。このコンフォートゾーンは、図２において符号１２で表される。コンフォートゾーンは、ディスプレイ平面の前方のｚｍａｘ及びディスプレイ平面の後方のｚｍｉｎに関する距離又は深度だけ広がる。コンフォートゾーンのより詳細な説明は、参照によって本明細書に組み込まれる上述した非特許文献１のチャプター５において見出し得る。
【００５５】
以下において、ｚｍｉｎは負の値であり、ｚｍａｘは正の値であると見なされる。さらに、ｚｍｉｎの絶対値とｚｍａｘの絶対値とは等しいと見なされ、コンフォートゾーンはディスプレイ平面に対して対称であることを意味する。ただし、ｚｍｉｎの絶対値とｚｍａｘの絶対値とは同等でなくてもよいことに留意すべきである。コンフォートゾーンは、視聴時の幾何学的配置に依存し、当該視聴時の幾何学的配置は、ディスプレイサイズのような、使用中のテレビ受像機についてのあるパラメータと、視聴者の位置と、個人の瞳孔間距離とを含む。
【００５６】
コンフォートゾーンとテレビ受像機のパラメータとの間のこの従属関係に起因して、映画放送局が例えばコンフォートゾーンを定義するメタデータによって情報を供給することは殆ど不可能である。それ故に、供給される画像を処理し、視差をコンフォートゾーンに適合させる需要及び必要がある。つまり、換言すると、テレビ受像機は、コンフォートゾーンの外側にある全てのオブジェクトをコンフォートゾーン内へシフトさせるタスクを有する。深度ｚは視差ｄの単調関数であるので、そのような画像処理は、入力引数としての視差に基づき得る。特に、左画像と右画像との間の視差分布は、入力引数として用いられる。視差分布は、例えば、画像における最小視差及び最大視差を供給し、それ故に、コンフォートゾーン内へスケーリングされなければならない画像の最大深度範囲を供給する。
【００５７】
図３Ａ及び図３Ｂにおいて、視差分布の２つの例が示される。図３Ａにおいて、視差分布Ｐｉｎ（ｄ）は、ｄｍｉｎ及びｄｍａｘによって表されるコンフォートゾーンの境界を越えて広がっている。視差範囲ｄ１からｄ２がコンフォートゾーンの視差範囲よりも大きいことは明らかである。さらに、分布のメインエリア又は中心は、本例においてはディスプレイ平面であるコンフォートゾーンの中心からずれている（offset）。
【００５８】
それ故に、オブザーバに対する如何なる攪乱効果も回避するために、画像は、視差分布をコンフォートゾーン内に移動させるように処理されなければならない。この処理は、分布の中心をコンフォートゾーンの中心に移動させるシフティングステップと、視差範囲ｄ１からｄ２をコンフォートゾーンの視差範囲ＤｍｉｎからＤｍａｘにスケーリングするスケーリングステップとを必要とする。このような画像処理の結果は、次いで、図３Ｂにおいて示される。この画像処理又は変換は、オブザーバによって知覚される全てのオブジェクトがコンフォートゾーンにある画像を提供する。
【００５９】
図４において、テレビジョン装置において使用される画像プロセッサの一部のブロック図が示され、符号４０によって表される。画像プロセッサ４０の１つのタスクは、前述したような画像変換を実行することである。そのために、画像プロセッサは、画像変換手段４２を備える。画像変換手段４２は、オリジナルの右画像及びオリジナルの左画像を入力として受け取る。画像変換手段４２の出力は、変換された左画像及び変換された右画像である。
【００６０】
画像変換のための引数として、画像変換手段４２は、視差分布Ｐｉｎ（ｄ）を入力として受け取る。この視差分布を算出するために、画像プロセッサ４０は、視差分析手段４４を備え、当該視差分析手段４４も、オリジナルの左画像及びオリジナルの右画像を入力として受け取る。
【００６１】
本願のテーマは、視差分析手段４４によって処理された視差分布Ｐｉｎ（ｄ）の提供である。画像変換は、譲受人の日本特許出願第２００９−１９９１３９号（ソニー整理番号０９９００６６０）の一部であり、その内容は参照することによって本明細書に組み込まれるため、以下、これ以上は説明されないであろう。
【００６２】
以下においては、視差分析手段４４、及び、特にその機能性が説明されるであろう。
【００６３】
図５は、視差分析手段４４の一部のブロック図である。
【００６４】
視差分析手段４４は、複数のセンターカット要素５２を備え、１つは左画像を処理するため、１つは右画像を処理するためにある。センターカット要素５２は、供給される画像をカットし又はトリミングして、画像幅を削減する機能を果たす。換言すると、センターカット要素５２は、画像の左マージン及び右マージンを切除し、このマージンの幅は、Ｄｍａｘによって表される。センターカット要素５２の出力は、オリジナルの幅Ｗに対して２×Ｄｍａｘだけ削減された画像幅を有する画像である。
【００６５】
視差分析手段４４は、図５において右画像の信号経路に割り当てられる水平シフト要素５３をさらに備える。シフト要素５３は、シフト値Δｄを入力引数として受け取り、供給される画像のシフトを水平方向においてΔｄ画素だけ実行する。Δｄの符号に応じて、画像は左又は右へシフトされる。
【００６６】
視差分析手段は、センターカットされた左画像とセンターカットされ水平方向にシフトされた右画像とを入力として受け取る相関要素５４も備える。相関要素５４は、左画像と右画像とを画素単位で（pixelwise）比較するように適合される。画素単位での比較の結果は、次いで、閾値と比較される。比較結果の絶対値が閾値よりも小さい又は等しい場合、カウンタ信号が生成される。それ以外の場合、つまり、比較結果の絶対値が閾値よりも大きい場合、カウンタ信号は生成されない。カウンタ信号は、カウンタ信号を受け取る場合にカウンタを１だけ増加させるカウンタ要素５６に供給される。カウンタ要素５６の出力は、特定の視差Δｄについての視差分布値である。
【００６７】
図５に示される視差分析手段は、本発明のコア原則を実装するように適合される。視差分析手段は、数個の異なるΔｄの値について左画像と右画像とのペアの間の視差分布を推定することを可能とする。換言すると、この視差分析手段は、所定の範囲のΔｄの値について画像ペアの画素マッチを判定して、所望の視差分布を得ることを可能とする。
【００６８】
ここで、図６Ａ及び図６Ｂを参照しつつ、視差分析手段４４によって実行される方法の詳細な説明が記載される。
【００６９】
図６Ａは、左画像及び右画像のペアについての視差分布を判定するためのコア原則を説明する機能を果たすフロー図である。
【００７０】
まず、幾つかのパラメータが初期値に設定される。ブロック６０において、視差シフト値は、Ｄｍｉｎに設定される。この値Ｄｍｉｎは、一般に負の値であり、画像において期待される最小視差に基づいて選択される。値Ｄｍｉｎに並行して、最大視差値Ｄｍａｘも提供される。この値は、画像において期待される最大視差に基づいて判定され、通常、正符号を有する。好適な実施形態において、Ｄｍｉｎ及びＤｍａｘの絶対値が等しくなり、双方の値Ｄｍｉｎ、Ｄｍａｘによって定義される範囲がゼロに対して対称となるように、Ｄｍｉｎは−Ｄｍａｘに設定される。
【００７１】
さらに、カウンタ値はゼロに設定される（ブロック６１）。カウンタ値は、カウンタ要素５６において用いられる。また、ブロック６１において、画像の２次元の画素アレイにおける特定の画素を記述するインデックス値ｘ、ｙが設定される。ｙインデックスは、ゼロに設定され、ｘインデックスは、ｄｏｆｆの値に設定される。この値ｄｏｆｆは、（図５においてＤｍａｘとして表される）カットオフマージンの幅を判定する。値ｄｏｆｆは、Ｄｍｉｎ及びＤｍａｘの絶対値よりも大きい又は等しいべきである。好適な実施形態において、ｄｏｆｆはＤｍａｘに設定される。
【００７２】
次のステップ（ブロック６２）において、相関ステップが実行される。この相関ステップは、左画像の画素値ｐ（ｘ，ｙ）からの右画像の画素値ｐ（ｘ−Δｄ，ｙ）の減算を含む。差の符号は考慮されるべきではないので、絶対値が算出され、以降のステップで用いられる。減算の差Δｐの絶対値は、左画像と右画像との画素マッチの度合い（extent）を表す。換言すると、差Δｐがゼロである場合、画像ペアにおける双方の画素は等しい。差Δｐの絶対値が所定の閾値ＴＨＲよりも大きい場合、双方の画素は一致しない。好適な実施形態において、所定の閾値ＴＨＲは１である。
【００７３】
ブロック６３において、差Δｐの絶対値が評価され、当該絶対値が閾値ＴＨＲよりも小さい場合、カウンタが１だけ増加される（ブロック６４）。それ以外の場合、即ち、双方の画素が一致しない場合、カウンタは増加されない。
【００７４】
次に、ブロック６５において、ｘインデックスが１だけ増加され、次いで、値Ｗ−ｄｏｆｆと比較される。ここで、Ｗは、画像の幅である（ブロック６６）。インデックスｘがＷ−ｄｏｆｆよりも小さい又は等しい場合、相関ステップは、同じ画素行における次の画素について繰り返される（即ち、ｙインデックスは不変のままである）。
【００７５】
画素アレイの１つの行における全ての画素を比較した後、上述したのと同じステップは、画像の画素アレイの次の行について繰り返される。従って、ｘインデックスは、ｄｏｆｆに再び設定され、ｙインデックスは、１だけ増加される（ブロック６７）。次いで、新たな行における全ての画素の相関がとられ（correlated）、画素マッチが判定される場合、カウンタは再び１だけ増加される。
【００７６】
図６Ａから明らかなように、トリミングされた左画像の全ての画素は、Δｄだけシフトされた画像部分の画素と相関がとられる。
【００７７】
画像の画素行の全てが処理されるとすぐに（ブロック６８）、カウンタの値がアレイインデックスΔｄについて視差分布アレイＰ（Δｄ）に記憶される（ブロック６９）。次いで、視差シフト値が１だけ増加され、カウンタはゼロにリセットされる。次いで、上述された処理が、新たな視差シフト値Δｄについて繰り返される。
【００７８】
ＤｍｉｎからＤｍａｘの範囲内におけるあらゆる値Δｄについて処理が実行されるとすぐに、処理は終了され（ブロック７０）、視差分布アレイＰ（ＤｍｉｎからＤｍａｘ）がさらなる処理のために出力される（ブロック７１）。
【００７９】
図６Ｂは、画像ペアのどの画像領域の相関がとられる（あるいは、換言すると、一致する、又は比較される）のかを説明するために、３つの異なるシフト値の状況を示す。
【００８０】
第１の例は、視差シフト値Δｄ＝Ｄｍａｘの状況を示す。既に前述したように、トリミングされた画像領域のみが相関（correlation）のために処理される（taken）。それ故に、画像のセンターカット領域７４のみが使用されるように、左画像はマージン７３だけトリミングされる。マージン７３の幅は、ｄｏｆｆで表される。
【００８１】
相関のために使用される右画像は、Ｄｍａｘだけシフトされ、この実施形態においてＤｍａｘは正の値である。従って、左画像７４の画像領域と同じサイズを有する画像領域が左へシフトされる。
【００８２】
この図から、マージンｄｏｆｆの幅は、Ｄｍａｘの絶対値よりも大きく又は等しくなければならないのは明らかである。そうでなければ、シフトされた画像領域７５の一部が有効領域の外部に位置するであろう。
【００８３】
第２の例において、視差シフト値Δｄはゼロである。従って、相関について用いられる左画像領域７４と右画像領域７５とは、画像全体内における位置に関して同一である（identical）。換言すると、右画像の画像領域７５はシフトされない。
【００８４】
第３の例において、視差シフト値ΔｄはＤｍｉｎであり、Ｄｍｉｎは負の値である。ここで、相関又はマッチングに用いられる画像領域７５は、右へＤｍｉｎ画素だけシフトされる。
【００８５】
マージンｄｏｆｆの幅はＤｍａｘ及びＤｍｉｎの絶対値よりも大きく又は等しくなければならないことにも留意すべきである。そうでなければ、右画像のシフトされた領域７５の一部が有効領域の外部に位置するであろう。
【００８６】
繰り返すが、図６Ｂは、発明の方法のコア原則、即ち、１つの画像の画像領域と他の画像のシフトされた画像領域とを相関させることを明瞭に説明する。相関（これは、通常、比較又はマッチングである）の結果は、用いられるシフト値について記憶される。次いで、好適には１画素だけさらにシフトされた他の画像の画像領域について、相関は繰り返される。処理は、他の画像の画像領域が視差シフト範囲の左境界（Ｄｍｉｎ）から右境界（Ｄｍａｘ）までシフトされるまで繰り返される。
【００８７】
結果は、ＤｍｉｎとＤｍａｘとの間の全ての視差値についての視差分布である。
【００８８】
図６Ｂを参照すると、左画像は参照フレームとしての役割を果たし、相関が右画像において「探索される（searched）」ことに留意すべきである。ただし、他の実施形態において、右画像が参照フレームとしての役割を果たし、相関が左画像において探索されることもあり得る。既に前述したように、ＤｍｉｎからＤｍａｘまでの値を対称的な探索範囲を有するように設定することが好適である。
【００８９】
上述の相関の結果は、画像変換手段４２に視差分布Ｐｉｎ（ｄ）として供給される視差分布Ｐ（ｄ）である（図４を参照）。
【００９０】
前述の詳細な説明から、相関が２つの画素値の減算を用いるだけの画素ベース演算（operation）であることは明らかである。結果として、視差分布を判定するための相関方法が非常に効率的に実装され得る。
【００９１】
相関の精度を増加させるために、上述された相関は、以下のように変更されることができる。
【００９２】
画像領域７４、７５全体について相関が実行される場合に起こり得る、異なる深度平面におけるより小さなオブジェクトに対応するピークのマスキングを回避するために、画像領域７４、７５は、複数のサブ領域又はサブウィンドウに分割される。図７において、画像領域７４（マージン７３無しの画像領域）は、９つの等しいサイズのサブ領域７７に分割される。上述された相関は、９つの画像サブ領域の全てに適用される。その結果、相関は、画像サブ領域７７ごとに１つずつ、９つの異なる視差分布を提供する。
【００９３】
画像サブ領域を用いることの利点は、例えば、個別のサブ領域視差分布を結合して、画像変換手段４２に供給されるトータル視差分布とする場合、個別のサブ領域視差分布に異なる重みづけができることである。
【００９４】
画像サブ領域を用いることのさらなる利点は、いわゆるオブジェクトフレームバイオレーション、即ち、画像平面の正面に位置付けられるが、画像境界によってカットされるオブジェクトは、最上部の行及び／又は最下部の行のサブ領域のそれぞれのサブ領域視差分布に基づいて検出されてもよい。
【００９５】
図８及び図９を参照しつつ、図７に示されるサブ領域の視差分布の後処理が説明される。
【００９６】
図８Ａは、図５に示される視差分析手段の一部によって供給される視差分布の後処理に用いられる視差分析手段の一部のブロック図を示す。画像サブ領域についての視差分布ＰＷ，ｋ（ｄ）は、正規化（normalizing）要素８１に供給される。正規化要素８１は、各視差分布ＰＷ，ｋ（ｄ）を正規化して、発生値又は疑似確率値（occurrence  or  pseudo-probability  value）Ｐがインターバル０から１にマッピングされるように適合される。つまり、各画像サブ領域についての視差分布は、０と１との間の値のみを含む。
【００９７】
サブ領域Ｐｌｉｎ，ｋについての正規化された視差分布は、次いで、非線形マッピング要素８２に供給される。正規化された視差分布は、大きな疑似確率値よりも小さな疑似確率値を効果的に低減させる非線形単調関数によって変換される。
【００９８】
非線形マッピング要素８２の出力Ｐｎｌ，ｋは、次いで、非正規化要素８３に供給される。この要素は、正規化要素８１によって行われる正規化の反転によって視差分布Ｐｎｌ，ｋを非正規化する。その結果は、各画像サブ領域についての視差分布Ｐｎｗ，ｋ（ｄ）として出力される。
【００９９】
サブ領域についての後処理された視差分布Ｐｎｗ，ｋ（ｄ）は、次いで、好適には加算要素８６である結合要素８５によって結合される。結合要素８５によって出力される結果は、立体入力画像ペア（stereoscopic  input  image  pair）についての推定される視差分布を表す単一の分布Ｐｉｎ（ｄ）であり、これは画像変換手段４２に供給される。Ｎ個のサブ領域視差分布の入力を有する結合要素８５は、図８Ｂに示される。
【０１００】
前述したように、非線形マッピング要素８２は、非線形単調関数を用いる。そのような関数の一例は、図９に示される。パラメータＱｋは、マッピング結果を重みづけするために用いることができる。一実施形態において、１の値がＱｋに割り当てられる。別の実施形態において、弱い画像構造のみを有するサブ領域からの測定値を低減し又は排除するために、値Ｑｋは、例えば正規化された分布のバリアント（variants）又はその導関数（derivative）に応じて、適応的に判定される。従って、パラメータＱｋについての好適な値の範囲は、値０から値１までの範囲である。図９に示される図から、小さな値Ｐｌｉｎ，ｋが０に近い値まで大幅に低減される一方で、１に近いより大きな値が低減されないことが明らかである。
【０１０１】
相関のために用いられる画像領域が左境界及び右境界においてトリミングされることを上記で指摘した。さらに、図６Ｂに関して、探索が画像境界の外側に拡大する可能性に起因して、視差範囲全体を用いることはできないことが示された。特に、図６Ｂに示される例において、ＤｍｉｎとＤｍａｘとの間の全ての視差シフト値について、左画像領域が参照領域として用いられた。しかしながら、境界（左又は右）及び探索視差（search  disparity）の符号に応じて、左画像及び右画像における参照領域７４及びマッチ領域７５の役割を切り替えることも可能である。
【０１０２】
図１０Ａにおいて、参照領域及びマッチ領域は、視差シフト範囲の正のローブに示される。
【０１０３】
図１０Ｂにおいて、参照領域及びマッチ領域は、視差探索範囲の負のローブに示され、図１０Ｃは、図１０Ａ及び図１０Ｂに従って正のローブ及び負のローブから構築される（assembled）、結果として得られる完全な境界視差分布を表示する。
【０１０４】
特に、図１０ａ〜図１０ｃは、Ｄｍｉｎが０よりも小さく、且つ、Ｄｍａｘが０よりも大きい場合の、ＤｍｉｎからＤｍａｘまでの全範囲について左映像境界及び右映像境界における視差分布の算出を表現する。左画像境界及び右画像境界における視差分布を推定するために用いられる有効測定領域（effective  measurement  area）も示されている。探索が画像境界の外部の領域に拡大する可能性に起因して、図６に示されるアプローチを全視差範囲について用いることはできないため、境界（左又は右）及び探索視差ｄの符号に応じて、左画像及び右画像における基準領域及び探索領域の役割が切り換えられる。図１０ａは、視差探索範囲の正のローブについての基準領域及びマッチ領域を示す。図１０ｂは、視差探索範囲の負のローブについての基準領域及びマッチ領域を示し、図１０ｃは、正のローブ及び負のローブから構築される、結果として得られる完全な境界視差分布を示す。
【０１０５】
画像ペアの視差分布を推定するための上記の方法は、修正された左視野及び右視野を含む、即ち、固有の視聴の幾何学的配置（inherent  view  geometry）のエピポーラ線が画像行と並べられた（aligned）、立体的なマテリアルに適する。さらに、左視野及び右視野は、等しい露出及び輝度を有するべきである。これらの要件はステレオスコピックディスプレイ（stereoscopic  display）上の最良の描写を確保するが、これらは依然として今日のコンテンツの大部分によって侵されている。
【０１０６】
従って、提案され、上述される方法は、左視野と右視野との間のグローバルイルミネーションの差をまず補償する前処理手段も含むことができる。次に、左相関画像と右相関画像との間の垂直シフト（vertical  shift）は、各相関領域について判定される。最後に、水平分布が上述したように推定される。
【０１０７】
本発明の主な利点をまとめると、上記の単純なアプローチよりも計算的により効率的である。さらに、単純なアプローチよりも複雑度が低い。そのため、ベクトル化された計算ユニット（例えば、ＶＬＩＷ、ＣＥＬＬ）を有するプロセッサのためのソフトウェア又はハードウェア（ＡＳＩＣ）に、より簡単に実装することができる。また、発明の方法は、周期的な（periodic）構造を提示する（exposes）コンテンツについて、単純なアプローチよりもロバストである。
【０１０８】
本発明は、図面及び前述の説明において詳細に図解され、説明されたが、そのような図解及び説明は実例又は例示的なものとして考慮されるべきであって、限定的なものではない。本発明は、開示される実施形態に限定されない。開示される実施形態の他のバリエーションは、図面、開示内容、及び添付の特許請求の範囲から、請求項に記載された発明の実施をする際に当業者によって理解され、達成されることができる。
【０１０９】
特許請求の範囲において、「含む／備える（comprising）」という用語は、他の要素又はステップを排除せず、不定冠詞「a」又は「an」は、複数を排除しない。単一の要素又は他のユニットが、特許請求の範囲に記載される幾つかのアイテムの機能を実現し得る。ある方策（measures）が互いに異なる従属項において記載されるという単なる事実は、これらの方策の組み合わせを有利に用いることができないということを表さない。
【０１１０】
特許請求の範囲における如何なる符号も、その範囲を限定するものとして解釈されるべきではない。
【図１】
2013521686.tif 000003
【図２】
2013521686.tif 000004
【図３ａ】
2013521686.tif 000005
【図３ｂ】
2013521686.tif 000006
【図４】
2013521686.tif 000007
【図５】
2013521686.tif 000008
【図６ａ】
2013521686.tif 000009
【図６ｂ】
2013521686.tif 000010
【図７】
2013521686.tif 000011
【図８ａ】
2013521686.tif 000012
【図８ｂ】
2013521686.tif 000013
【図９】
2013521686.tif 000014
【図１０ａ】
2013521686.tif 000015
【図１０ｂ】
2013521686.tif 000016
【図１０ｃ】
2013521686.tif 000017
【国際調査報告】
2013521686.tif 000018
2013521686.tif 000019
2013521686.tif 000020