(57)【要約】観察者によってある距離のところで見られるよう、はいってくるビデオ信号から左ビュー（１）および右ビュー（２）を含む3D画像を、定義されたサイズの定義された表示画面上に生成するための方法および装置に関わる。本装置は：・観察者とディスプレイとの間の距離（D）を測定する手段と；・表示画面５の決定されたサイズおよび測定された距離６との関係で、2Dと3Dのある両立レベルを達成するための不均衡閾値を決定する手段７と；・左ビューと右ビューの間の不均衡の値に対応する不均衡マップを編集する手段４と；・決定された閾値との比較において、前記不均衡マップの不均衡値をヒストグラムを用いて解析する手段８と；・ヒストグラムの不均衡レベルが決定された不均衡閾値より上であれば、左ビューまたは右ビューの一方を、ビュー補間によって置換して、ヒストグラムの不均衡レベルが決定された閾値より低くなるようにする手段９とを有する。
2014515569.tif 000002
【特許請求の範囲】
【請求項１】
観察者によって見られるよう、左ビューおよび右ビューを含む3D画像を、定義されたサイズの表示画面上に生成する方法であって：
・観察者にとっての前記3D画像の2D知覚と3D知覚の間の所定の両立性レベルを達成するよう適応された不均衡閾値を決定する段階と；
・左ビューおよび右ビューを比較することによって、前記3D画像のピクセルの不均衡の値を抽出する段階と；
・抽出された不均衡値のうち決定された不均衡閾値を上回るものの割合を計算する段階と；
・計算された割合が2D/3D知覚のために受け入れ可能として決定された限界より高ければ、左ビューまたは右ビューの一方を、それぞれ左ビューまたは右ビューのビュー補間によって得られる中間ビューによって置換して、計算された割合が前記決定された限界より低くなるようにする段階とを含む、
方法。
【請求項２】
ビュー補間が、中間ビューの、対応する左または右ビューとの不均衡が、前記左ビューと右ビューの間の初期不均衡の一部であるよう生成される、請求項１記載の方法。
【請求項３】
不均衡値のうち決定された閾値を上回るものの割合を計算する段階が、不均衡マップの前記不均衡値のヒストグラム解析によって行われる、請求項１記載の方法。
【請求項４】
抽出された不均衡値のうち決定された閾値を上回るものの割合を計算する段階が、対応する不均衡マップの不均衡値のヒストグラム解析の組み合わせによって行われる、請求項１記載の方法。
【請求項５】
抽出された不均衡値のうち決定された閾値を上回るものの割合を計算する段階が、対応する不均衡マップの不均衡値のヒストグラム解析と、少なくとも一つの画像のシーンの間の画像の最大奥行き値に対するシーン・パラメータとの組み合わせによって行われる、請求項１記載の方法。
【請求項６】
受け入れ可能として決定された前記限界が5%の限界に対応する、請求項１記載の方法。
【請求項７】
受け入れ可能として決定された前記限界が不均衡値に関連するコストに依存する、請求項２記載の方法。
【請求項８】
観察者によって見られるよう、はいってくるビデオ信号から左ビューおよび右ビューを含む3D画像を、定義されたサイズの定義された表示画面上に生成する装置であって：
・観察者にとっての前記3D画像の2D知覚と3D知覚との間の所定の両立性レベルを達成するよう適応された不均衡閾値を決定する手段と；
・左ビューと右ビューを比較することによって前記3D画像のピクセルの不均衡の値を抽出する手段と；
・抽出された不均衡値のうち決定された不均衡閾値を上回るものの割合を計算する手段と；
・左ビューまたは右ビューの一方を、それぞれ左ビューまたは右ビューのビュー補間によって得られる中間ビューによって置換して、計算された割合が2D/3D知覚のために受け入れ可能として決定された限界より低くなるようにする手段とを有する、
装置。
【請求項９】
2D/3D両立モードを許容するコマンドを含むリモート・コントロール・ユニットを有する、請求項８記載の装置。
【請求項１０】
前記コマンドは、2D/3D両立モードを許容する押しボタンである、請求項９記載の装置。
【請求項１１】
前記コマンドは、最小値から最大値まで不均衡の調節を許容する変化器である、請求項９記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、3D効果をレンダリングするための画像処理および表示システム使用に関し、より詳細には、2D/3D互換モードでの自動変換を含む方法および装置に関する。
【背景技術】
【０００２】
本発明は、適応された奥行きレベルをもつステレオ・ビューの対を達成するためのビデオ処理に関する。これは、3Dをレンダリングできる任意の表示ビデオ、テレビまたは映画技術に適用可能である。
【０００３】
本発明を実装するために使われる表示装置は、一般に、表示すべき各3D画像の少なくとも二つの異なるビューを表示することができる。観察者のそれぞれの目について一つのビューである。これら二つのビューの間の空間的な相違（立体視情報）が、それ自身としては既知の仕方で、奥行き知覚を与えるために人の視覚系によって活用される。
【０００４】
3Dコンテンツを呈示するための、各3D画像が二つの異なるビューから構成されるいくつもの技法がある。最もポピュラーなのは、よく知られたアナグリフ技術である。これは、三成分RGBディスプレイの一つまたは二つの成分が第一のビューを表示するために使われ、他の成分が第二のビューを表示するために使われる。フィルタリング眼鏡のおかげで、第一のビューが左眼に、第二のビューが右眼に加えられる。この技法は、専用の表示装置を必要としないが、この技法の一つの主要な欠点は、色の変化である。
【０００５】
能動的または受動的な眼鏡を必要とする他の立体視ディスプレイ技術が3D画像を表示するために使用できる。この場合、右眼および左眼のための情報が多重化される必要がある。
【０００６】
・この多重化は、能動的な眼鏡を必要とするシーケンシャル・システムについてのように、時間的であることができる。こうした能動的な眼鏡は、ビデオ・フレーム・レートに同期したシャッターのように機能する。そのようなシステムは、フリッカーを避けるために高いビデオ・フレーム・レートを必要とする。そのようなシステムは、高いフレーム・レート能力をもつので、特に、DLPを使うもののようなデジタル映画館システムとともに、あるいはプラズマおよび液晶ディスプレイ装置とともに機能できる。
【０００７】
・この多重化は、スペクトル的であることができる。右眼および左眼に与えられる情報は異なるスペクトルをもつ。デジタル映画館におけるドルビー3Dシステムのように、ダイクロイックまたは着色フィルタのおかげで、受動的な眼鏡がスペクトルの一部をそれぞれの目に与えるべく選択する。
【０００８】
・この多重化は、空間的であることができる。いくつかの大型3D  LCD表示装置は、この空間的多重化に基づいている。それぞれの目によって知覚されるべきビデオ・ラインは異なる偏光をもち、インターリーブされる。表示装置によって奇数行および偶数行に異なる偏光が加えられる。これらの異なる偏光は、偏光受動眼鏡のおかげでそれぞれの目のためにフィルタリングされる。
【０００９】
たとえばレンティキュラー・レンズを使う裸眼立体視またはマルチビュー表示装置は、ユーザーが眼鏡をかけることを要求せず、家庭用および業務用エンターテインメントのためにますます利用可能になりつつある。これらの表示装置の多くは「2D＋奥行き」フォーマット上で動作する。このフォーマットでは、3D効果を創り出すために、2Dビデオおよび奥行き情報が表示装置によって組み合わされる。
【００１０】
奥行き知覚は、単眼奥行き手がかり（隠蔽、遠近法、影など）のおかげで、また両眼不均衡（disparity）と呼ばれる両眼手がかりのおかげもあって可能になる。図１における以下の記述は、この生理学的奥行き手がかりによっていかにして3D効果が知覚されるかを説明する。
【００１１】
・観察者の（またはカメラの）二つの目が同じオブジェクトA上に集束してこのオブジェクトが両目の各網膜上の中心にあるように見える場合、より遠方のオブジェクトB（またはより近接したオブジェクトC）は、各網膜上で異なる位置に同じオブジェクトの二つの像を生成する。これら二つの位置の間の差が奥行き手がかりを与える。
【００１２】
・この差が小さいとき、すなわちBまたはCが十分Aに近いとき、脳はそれら二つの位置を一つに融合する。
【００１３】
・この現象は、網膜上で解析されるときの不均衡と呼ばれる。
【００１４】
図２では、知覚される奥行きと、ステレオ対の左眼画像と右眼画像との間の視差（parallax）と呼ばれるものとの間の関係を示す。
・Zp：知覚される奥行き（m）
・P：左眼画像と右眼画像との間の視差
・d：伝送される不均衡情報
・te：眼間距離（m）
・Zs：観察者からスクリーンまでの距離（m）
・Ws：スクリーンの幅（m）
・Ncol：列の数（ピクセル）
スクリーン上での視差のレベル（右眼と左眼の間でのオブジェクトのx位置の差）が奥行き情報を与えていることが見て取れる。むろん、スクリーンまでの距離も最終的な奥行き知覚の一部となる。
【００１５】
知覚される奥行き、視差およびスクリーンまでの距離の間の関係は次のように表される。
【００１６】
【数１】
2014515569.tif 000003
不均衡マップによるビュー補間は、同じ3Dシーンの一つまたは複数の異なる参照ビューから、これら異なるビュー間でのピクセルの不均衡を考慮に入れて中間ビューを補間することからなる。
【００１７】
ビュー補間は、参照ビューの仮想ビュー上への、参照ビューどうしを結び付ける不均衡ベクトルに沿っての投影を必要とする。具体的には、二つの参照ビューJおよびKならびにそれらの間に位置する仮想ビューHを考える（図３）。ビュー補間は三段階で実行される。
【００１８】
１．ビューJの完全な不均衡マップをH上に投影し、不均衡値をH内のピクセルに割り当てることによって、中間仮想ビューHのための不均衡マップを計算
２．ビューHの再構成された不均衡マップにおける孔を空間的補間を通じて充填
３．Kのみから補間される上記充填されたピクセルを除いて、JおよびKからの不均衡補償を通じて中間画像Hを補間。
【００１９】
〓は第一段階を示している。ビューJ内のピクセルuは不均衡値disp(u)をもつ。ビューKにおける対応する点はu−disp(u)によって定義され、同じライン上に位置する（垂直方向の変位なし）。ビューHにおける対応する点はu−a.disp(u)によって定義される。ここで、スケール因子aは、基線JHとJKの間の比である（それらのビューが整列している）。
【００２０】
図４は、この第一段階をより明示的に示している。不均衡補償された補間（1Dビュー）は仮想ビューHにおけるu'およびv'によって表され、uおよびvから、それらの不均衡値disp(u)およびdisp(v)を用いてそれぞれ推定される。不均衡値は次いで最も近いピクセルuHおよびvHに割り当てられる。ピクセルuに対応するH内の点はu'＝u−a.disp(u)に位置する。この不均衡値は最も近いピクセルuHに割り当てられる。
【００２１】
一つの不均衡マップだけが投影される（たとえば、KでなくJだけ）。この状況は図６に示されている。第一段階の間に、ビューJの不均衡マップが仮想ビューH上に投影される。それでも、いくつかの領域はビューHから見られるが、ビューJからは見られない（図６における疑問符付きの領域）。
【００２２】
本解決策のように、ビューKの不均衡マップは投影されず、「H」マップにおけるギャップは不均衡の空間的補間によって充填される必要がある。
【００２３】
充填プロセスは四段階で実行される。
【００２４】
１．二つの近傍不均衡値を平均することによって１ピクセル幅の小さな孔を充填する。（これらの孔は一般に、不均衡値の量子化に内在的なものであり、単に線形補間できる）
２．不均衡値をもち、左および右の隣接ピクセルが空である水平方向に孤立したピクセルを除去する
３．不均衡マップにおけるより大きな孔を充填する：これらの領域は背景に属し、他方のビューにおいてそれらを隠す前景に近いはずである。よって、それらは左または右側の不均衡値のいずれかの伝搬を通じて補間される。最も小さい値が使われる
４．3×3のメジアン・フィルタが充填されたマップに適用される。
【００２５】
ひとたび仮想ビューの不均衡マップが利用可能となったら、不均衡ベクトルに沿ったフレーム間補間に進むことができる。不均衡ベクトルの二つの型が区別される。
・「J」不均衡マップの投影によって定義されたベクトル（我々の非対称アプローチにおける主たる参照ビュー）；この場合、これらのピクセルの色はJおよびK内の当該ベクトルの二つの端点の色から計算される；
・空間的に補間されたベクトル（充填された領域）（上記の段階２）：対応するピクセルはJにおいて隠蔽されるはずであるからKから補間される；これらのピクセルの色はK内の当該ベクトルの端点の色から計算される。
【００２６】
したがって、ビューJおよびHの両方において見られるものは、ビューHにおいて両方のビューから補間される。他方、HにおいてJから見られないものは、ビューKから補間される。
【００２７】
図５は、ピクセルvHに（ピクセルvに由来する）ビューJの不均衡ベクトルが割り当てられた例を示している。結果として、ピクセルvHは、不均衡補償を通じて補間される：αをHK/KJの比として、それぞれαおよび(1−α)によって重み付けされた点vJとvKの間の線形結合から帰結する。他方、ピクセルuHはJの不均衡マップからベクトルを得ておらず、そのベクトルは空間的に補間されたものである。よって、それは、ビューK内のその不均衡ベクトル端点uKから推定される。
【００２８】
前節で述べたように、ステレオ・コンテンツ（二つのビュー）および付随する不均衡マップのおかげで、源ビューの間の任意の中間ビューを生成することが可能である。図７に示されるように、はいってくるビューがビュー１およびビュー８にあれば、たとえば2から7までの任意のビューを補間することが可能である。もちろん、各ビュー間のステップは可能な限り低くできる。最後には、８と１の間の任意の距離のところに任意のビューを生成することが可能である。
【００２９】
すると、いくつかのシナリオが定義できる。ビデオオンデマンド（VOD）の場合、望みの奥行きレベルをもつコンテンツを求める（ダウンロードする）システムを考えることができる。望みの奥行きレベルはたとえば高、中または低レベルであることができる。3D放送コンテンツの場合、今日サウンド・レベルや色パラメータについてそうであるように、ユーザーは自分独自の奥行きレベルを求めることができる。これは、エンドユーザー側でビューを補間するために、不均衡マップおよび平均（mean）を取得することを必要とする。
【００３０】
多くの研究者がすでに、人々は3D受け入れ可能性に関して同じレベルにないという事実を記載している。これは、一部の人にとって所与の奥行きレベルが正しく受け入れられる一方、他の人にとってはそうではないということを意味する。人間の3D知覚系は複雑で、一部の人は3Dを見ることさえできないことが明らかになっている（人口の5%が3D知覚を欠いている）。他の一部の人は、長い時間眼鏡をかけて3Dコンテンツを見ることは受け入れようとしない。それは、これらの人々にとっては視覚的な疲労を生じ、そのため3D体験は非常に悪いものとなる。
【発明の概要】
【発明が解決しようとする課題】
【００３１】
現在のところ、一部の人は3D経験を受け入れることができ、一部の人は受け入れることができないという人々の群のための解決策はない。
【課題を解決するための手段】
【００３２】
よって、本発明の主題は、観察者によって見られるよう、はいってくるビデオ信号から左ビューおよび右ビューを含む3D画像を、定義されたサイズ（SS）の表示画面上に生成する方法である。
【００３３】
本方法は：
・観察者と表示画面との間の距離（D）を測定する段階と；
・表示画面の前記定義されたサイズ（SS）および測定された距離（D）との関係で、前記3D画像の2D知覚と3D知覚の間の所定の両立（compatibility）レベルを達成するよう適応された不均衡閾値を決定する段階と；
・左ビューおよび右ビューを比較することによって、前記3D画像のピクセルの不均衡の値に対応する不均衡マップを抽出する段階と；
・決定された閾値との比較で、抽出された不均衡マップの不均衡値の統計的値を解析する段階と；
・そうして、ヒストグラムの不均衡レベルが決定された不均衡閾値より上であれば、左ビューまたは右ビューの一方を、ビュー補間によって得られた中間ビューによって置換して、ヒストグラムの不均衡レベルが決定された閾値より低くなるようにする段階とを含む。
【００３４】
有利なことに、本発明は、3D経験と両立するが、同時に2D経験とも両立するステレオ・コンテンツを許容する。
【００３５】
ある実施形態によれば、中間ビューを得るためにビュー補間段階を適用する段階は、ヒストグラムの不均衡レベルのある割合より多くが決定された不均衡閾値より上である場合に適用される。
【００３６】
ある実施形態によれば、ビュー補間は、中間ビューの前記一方のビューの、他方のビューに関する不均衡が、前記左ビューと右ビューの間の初期不均衡の一部であるよう生成される。
【００３７】
ある実施形態によれば、不均衡の解析された統計的値は、不均衡ヒストグラムに対応する。
【００３８】
もう一つの側面では、本発明は、観察者によってある距離のところで見られるよう、はいってくるビデオ信号から左ビュー（１）および右ビュー（２）を含む3D画像を、定義されたサイズ（SS）の定義された表示画面上に生成する装置に関わる。
【００３９】
本装置は：
・観察者とディスプレイとの間の距離（D）を測定する手段と；
・表示画面５の決定されたサイズおよび測定された距離６との関係で、2Dと3Dのある両立レベルを達成するための不均衡閾値を決定する手段７と；
・左ビューと右ビューの間の不均衡の値に対応する不均衡マップを編集する手段４と；
・決定された閾値との比較において、前記不均衡マップの不均衡値をヒストグラムを用いて解析する手段８と；
・ヒストグラムの不均衡レベルが決定された不均衡閾値より上であれば、左ビューまたは右ビューの一方を、ビュー補間によって置換して、ヒストグラムの不均衡レベルが決定された閾値より低くなるようにする手段９とを有する。
【００４０】
ある実施形態によれば、本装置は、2D/3D両立モードを許容するコマンドを含むリモート・コントロール・ユニットを有する。
【００４１】
好ましくは、前記コマンドは、2D/3D両立モードを許容する押下ボタンまたは最小値から最大値まで不均衡の調節を許容する変化器（variator）である。
【００４２】
本開示のこれらおよびその他の側面は、付属の図面との関連で読まれるべき以下の詳細だが限定しない記述から説明され、明白となるであろう。
【図面の簡単な説明】
【００４３】
【図１】生理的な両眼奥行き手がかりを示す図である。
【図２】知覚される奥行きと、ステレオ対の左眼画像と右眼画像との間の視差との間の関係を示す図である。
【図３】不均衡補償された補間（2Dビュー）を示す図である。
【図４】不均衡補償された補間（1Dビュー）を示す図である。
【図５】ビューJおよびKの両方からのビューHの不均衡補償された補間を示す図である。
【図６】Jの不均衡マップの、ビューH上への投影を示す図である。
【図７】二ビュー取得システムおよび中間の補間された諸ビューを示す図である。
【図８】リモコン上の新しいボタンを示す図である。
【図９】不均衡マップ解析を用いた第一の実施形態を表す図である。
【図１０】不均衡マップ抽出を表す図である。
【図１１】不均衡解析を表す図である。
【図１２】ディスプレイ・サイズと見る距離と不均衡との間の関係を示す図である。
【図１３】不均衡角を示す図である。
【図１４】ビュー補間が必要とされる場合と必要とされない場合の図解である。
【発明を実施するための形態】
【００４４】
本発明のある側面によれば、2Dおよび3Dの両方が両立するステレオ・コンテンツが自動的に生成される。両立（compatible）とは、眼鏡ありでもなしでも見ることができることを意味する。その際、3Dスクリーン上で、眼鏡なしでは、映像はいくぶん2D映像のように見えるであろう。ほとんど不均衡はなく、よって2Dでの映像解像度はそれほど低下しない。これは、いまだ正しい2Dコンテンツとして受け入れられることができる。他方、眼鏡ありでは、いまだ残っている奥行きを知覚することができ、そのため3D効果を享受することが可能である。典型的には、同じ部屋において、一部の人は眼鏡をかけることを受け入れ、他の人々は受け入れないであろう。それらの人々は同じコンテンツを楽しむことができ、一方は完全にフル解像度で2Dコンテンツを見て、他方は眼鏡をかけて奥行き情報を知覚する。
【００４５】
2D/3D両立を達成するため、正しい不均衡レベルにあることを保証するため、ビュー補間処理が適用される必要がある。はいってくるビューに関係した、補間されたビューの位置付けは、いくつかのパラメータによって決定される：
・表示画面のサイズ
・観察者と表示画面との間の距離
・はいってくるビデオにおける不均衡値の範囲。
【００４６】
ビュー補間を、3D効果を知覚したい眼鏡をかけた観察者および眼鏡なしの観察者両方によって3Dコンテンツが見られるようにするよう常に正しいレベルにあるようにするため、これらのパラメータが連続的な仕方で解析される必要がある。以下の節は、本発明の種々の実施形態を記述する。
【００４７】
3D画像の任意の所与のピクセルの奥行き情報は、この3D画像の左眼ビューと右眼ビューとの間のこのピクセルの水平方向シフトに対応する不均衡（disparity）値によって与えられる。密な不均衡マップのおかげで、はいってくるステレオ・ビューの間の任意の中間ビューを補間することが可能である。ビュー補間は、大きな値（1に近い）から非常に小さな値（0に近い）まで可変でありうる距離に位置される。左ビューと、左ビューから遠くない補間されたビューとを使う場合、両ビューの間に見出すことのできるグローバルな不均衡レベルは低くなるであろう。図７において、ビュー８および７が左眼映像および右眼映像として使われるとすると、不均衡は、ビュー８および１に比べて７分の１になる。はいってくるビュー８および１において不均衡が35ピクセルであったとすると、ビュー８と７の間ではたった5になる。
【００４８】
本発明のある側面によれば、この2D/3D両立を許容するために、リモコン上に新しいボタンが作られる。
【００４９】
図８はこの新しいボタンを示している。ボタンが押されるとき、2D/3D両立モードが有効にされる。それは、該ボタン上で新たな圧力が加えられるとすぐ無効にされる。2D/3D両立モードがオンのとき、観察者に、このモードにあることを思い出させるよう、画面上にグラフィックを表示することが有益でありうる。それは、「2D/3Dオン」メッセージのようなものでよい。
【００５０】
〓は本発明に対応する全体的なデータ・フローを示している。
【００５１】
ブロック３によって表される不均衡マップ抽出は、ブロック１および２によって表される左ビューおよび右ビューの両方を使っており、図１０によって示されるような不均衡値を表すグレーレベル映像を生成する。この処理は、まず間違いなくポストプロダクションにおいて行われ、それからコンテンツとともに送られる。計算資源があれば、受信機側で行うこともできる。
【００５２】
図９、ブロック４によって表される不均衡マップ解析は、2D/3D両立を保証するよう正しい奥行きレベルの定義を助けるために、不均衡の統計的値を与える。図１１に示されるように、一つの可能性のある帰結は、マップ内の不均衡値のヒストグラムである。このヒストグラムは、ブロック１および２によって表される左ビューおよび右ビューの対に関連する不均衡値の範囲を示し、2D/3D両立を達成するために必要とされるブロック８によって表される奥行きレベル調整を評価するために使われる。
【００５３】
基本的に、閲覧条件を取得するために必要とされる情報は、図９、ブロック５によって表されるディスプレイ特性、たとえば画面のサイズと、ブロック６によって表される、観察者と表示画面との間の閲覧距離である。図１２に示されるように、表示画面のサイズ、閲覧距離および画面上での不均衡値の知覚の間には関係がある。所与の距離について、不均衡は、25インチの表示画面に比べて50インチの表示画面上では二倍の大きさに見える。他方、50インチ表示画面上の不均衡は、閲覧距離が短縮されればより大きく見える。不均衡のレベルは、これらの閲覧条件に直接関係している。
【００５４】
これらのパラメータはユーザーがディスプレイ設備をセットアップするときにユーザーによってセットアップされるべきなので、この情報を得ることは重要なパラメータである。2D/3D両立モードへの転換（commutation）はセットトップボックスSTB内であるはずなので、表示画面のサイズは必ずしも既知ではない。STBとディスプレイとの間の高精細度マルチメディア・インターフェース（HDMI（登録商標）:  High-Definition  Multimedia  Interface）が、表示装置からの表示画面サイズおよび画面解像度に関する情報を観察者に与えることができることを注意しておく。いずれにせよ、システムをパラメータ決めするには、ユーザーがこの情報を、閲覧条件とともに入力することが可能である必要がある。見る人が該情報を充填しなかった場合にシステムにとってデフォルト値が利用可能であるべきである。このデフォルト値は、表示画面の平均サイズおよび平均閲覧距離に基づくべきである。
【００５５】
2D/3D両立モードは、図９、ブロック４によって表される不均衡マップ解析およびブロック７によって表される閲覧条件のおかげで決定される。ブロック８によって表される、2D/3D両立性を保証するために決定されるビュー補間レベルは、眼鏡なしで正しい2D映像を保証することができるが、それでいて眼鏡があれば有意な3D効果をもつことのできるレベルである。その際、制約条件は、我々が眼鏡なしで2Dモードとして受け入れることのできるレベルに達するようブロック９によって表されるビュー補間が適用されることを保証するということである。
【００５６】
このレベルは、図１３に示される角（α）に対応している。
【００５７】
角αと不均衡との間の関係は
Disp＝tgα*D
である。cm単位での不均衡値「Disp」とピクセル単位での不均衡値「Nb_pix_disp」との間の関係は、ピクセル総数「Nb_pixel_tot」および画面サイズ（screen  size）SSに対応する所与の画面水平解像度について表現される：
Nb_pix_disp＝Disp*Nb_pixel_tot/SS
または
Nb_pix_disp＝tgα*D*Nb_pixel_tot/SS
tgαは、ユーザー経験によって固定されるパラメータであり、満足のいく値はたとえば0.0013である。これは1mの水平方向サイズをもつ1920ピクセルのディスプレイ上での2mにおける5ピクセルに対応する。
【００５８】
今、tgαが与えられれば、現在の閲覧条件における「Nb_pix_disp」を計算することが可能である。この値は次いで不均衡マップ解析によって与えられるヒストグラムと比較される必要がある。
【００５９】
図１４によって示される二つの場合が生じうる：
・不均衡マップにおいて計算される不均衡のある低い割合（たとえば5%）未満が「Nb_pix_disp」値を上回る。これは、グローバルには、当該コンテンツにおける不均衡のレベルが、すでに2D/3D機能を保証するのに十分低いことを意味する。その場合、何もする必要はなく、ビュー補間は適用されない。
・不均衡マップにおいて計算される不均衡のある低い割合（たとえば5%）より多くが「Nb_pix_disp」値を上回る。これは、グローバルには、当該コンテンツにおける不均衡のレベルが、すでに2D/3D機能を保証するのに十分低くはないことを意味する。その場合、当該コンテンツの不均衡をグローバルに低下させ、最終的に5%の前記低い割合を下回ることを保証するよう、種々の不均衡値に対応する種々のビュー補間の間でビュー補間が適用される。
【００６０】
ビュー補間のレベルを決定するために他の戦略が適用されることができる。
【００６１】
・たとえば、95%における単純な閾値の代わりに、高い不均衡を扱うために、より複雑な重みアプローチが使用されることができる。発想は、不均衡値にコストを関連付けることでありうる；コストは不均衡のレベル（絶対値）とともにより高くなる。よって、最終的には、このコストに関連付けられたヒストグラムの計算が、閾値と比較される必要のあるグローバルな不均衡‐コスト値を与える。比、不均衡‐コスト値／閾値に依存したレベルをもってビュー補間が適用される。
【００６２】
・もう一つのアプローチは、このビュー補間レベルについてプログラムを全体として考えることであろう。このレベルがフレームごとに修正されるとしたら、何らかのわずらわしい効果を生ずることがありうる。たとえば、俳優が徐々に画面から飛び出してくるとしたら、ビュー補間レベルは協調して発達し、奇妙な効果につながる。閾値に達したとたん、役者が所与の奥行きに制限され、シーンに整合しなくなるのである。我々が提案するのは、このシーンの間に達する奥行きの最大に対応する、当該シーンのためのグローバル・パラメータを使うことである。その際、本発明により定義するビュー補間レベルもこのパラメータに依存することになる。ヒストグラム解析とシーン・パラメータの組み合わせは、シーンの終わりを知って奥行きの縮小を予期することを助ける。
【００６３】
本表示装置は、セットトップボックス（STB）のリモコン上に、はいってくるステレオ・コンテンツから3DTV上で眼鏡ありでも眼鏡なしでも見ることのできる新たなステレオ・コンテンツを自動的に生成するための新たな機能を呈示する。この新たなコンテンツは、ビュー補間システムのおかげで生成される。それは、左および右両方のはいってくるビューならびにコンテンツから抽出された不均衡情報を使う。それはまた、適用されるべきビュー補間を決定するために、閲覧条件をも使う。最後に得られる奥行きの限界は、眼鏡なしの人々にとっての良好な2D経験を保証しつつ、それでいて眼鏡をかけた人々にとって3D効果をもつために受け入れられるちょうど限界のところである。
2014515569.tif 000004
【図２】
2014515569.tif 000005
【図３】
2014515569.tif 000006
【図４】
2014515569.tif 000007
【図５】
2014515569.tif 000008
【図６】
2014515569.tif 000009
【図７】
2014515569.tif 000010
【図８】
2014515569.tif 000011
【図９】
2014515569.tif 000012
【図１０】
2014515569.tif 000013
【図１１】
2014515569.tif 000014
【図１２】
2014515569.tif 000015
【図１３】
2014515569.tif 000016
【図１４】
2014515569.tif 000017
【手続補正書】
【提出日】平成25年11月20日(2013.11.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
観察者によって見られるよう少なくとも二つのビューを含む3D画像を修正する方法であって：
前記3D画像のピクセルの不均衡の値のうち不均衡閾値を上回るものの数の、前記3D画像のピクセルの不均衡の値の総数に対する比がある限界より高ければ、前記少なくとも二つのビューのうち少なくとも一つを、修正された3D画像を与える中間ビューによって置換して、前記修正された3D画像のピクセルの不均衡の値のうち不均衡閾値を上回るものの数の、前記修正された3D画像のピクセルの不均衡の値の総数に対する比が前記限界より低くなるようにする段階を含む、
方法。
【請求項２】
前記不均衡閾値が、前記3D修正画像が見られる表示画面の定義されたサイズおよび前記観察者と前記表示画面との間の距離の関数として定義される、請求項１記載の方法。
【請求項３】
前記中間ビューが、前記中間ビューの、前記少なくとも二つのビューのうちの前記少なくとも一つとの不均衡が、前記少なくとも二つのビューの間の初期不均衡の一部であるよう生成される、請求項１記載の方法。
【請求項４】
前記比が割合を定義する、請求項１ないし３のうちいずれか一項記載の方法。
【請求項５】
前記割合を計算する段階を含み、該段階が前記少なくとも二つのビューから定義される不均衡マップの前記不均衡値のヒストグラム解析によって行われる、請求項４記載の方法。
【請求項６】
前記割合を計算する段階を含み、該段階が不均衡値のヒストグラム解析と、少なくとも一つの画像のシーンの間の画像の最大奥行き値に対するシーン・パラメータとの組み合わせによって行われる、請求項４記載の方法。
【請求項７】
前記限界が5%の限界に対応する、請求項１記載の方法。
【請求項８】
前記限界が不均衡値に関連するコストに依存する、請求項１記載の方法。
【請求項９】
観察者によって見られるよう、はいってくるビデオ信号からの少なくとも二つのビューを含む3D画像を修正する装置であって：
前記少なくとも二つのビューのうちの一つを、中間ビューによって置換する手段であって、該手段は、前記3D画像のピクセルの不均衡の値のうち不均衡閾値を上回るものの数の、前記3D画像のピクセルの不均衡の値の総数に対する比がある限界より高い場合に作動させられる、手段と、
前記修正された3D画像のピクセルの不均衡の値のうち不均衡閾値を上回るものの数の、前記修正された3D画像のピクセルの不均衡の値の総数に対する比が前記限界より低くなるよう、前記少なくとも二つのビューのうちの前記一つのビュー補間を介して前記中間ビューを決定する手段とを有する、
装置。
【請求項１０】
2D/3D両立モードを許容するコマンドを含むリモート・コントロール・ユニットを有する、請求項９記載の装置。
【請求項１１】
前記コマンドは、2D/3D両立モードを許容する押しボタンである、請求項１０記載の装置。
【請求項１２】
前記コマンドは、最小値から最大値まで不均衡の調節を許容する変化器である、請求項１０記載の装置。
【国際調査報告】
2014515569.tif 000018
2014515569.tif 000019