(57)【要約】  三次元シーンに関し遮蔽視点に対する遮蔽画像特性マップを発生する方法が提供される。上記遮蔽画像特性マップは、上記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有する。該方法は、前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生することが可能なアルゴリズムを使用する。該方法は、異なる視点に対する画像特性マップを、これらの視点に対して上記アルゴリズムを実行することにより発生する。前記遮蔽画像特性マップは、異なる視点の画像特性マップから発生される。特に、画像特性マップは、幾つかの例においては、遮蔽視点にシフトされ得る。次いで、遮蔽画像特性マップのデータが、シフトされた画像特性マップからの、最も前方のピクセルに対応しない（全ピクセルが等しい奥行きを有さない限り）ピクセルとして選択される。
2012507181.tif 000002
【特許請求の範囲】
【請求項１】
三次元シーンに関し遮蔽視点に対する遮蔽画像特性マップを発生する方法であって、前記遮蔽画像特性マップは前記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有し、当該方法が、
前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生するアルゴリズムを設けるステップと、
前記アルゴリズムを第１視点に対して実行することにより第１画像特性を発生するステップと、
前記アルゴリズムを、前記第１視点に対し第１のオフセットを有する第２視点に対して実行することにより第２画像特性マップを決定するステップと、
前記第１画像特性マップ及び前記第２画像特性マップに応答して、前記遮蔽画像特性マップを発生するステップと、
を有する方法。
【請求項２】
前記遮蔽画像特性マップを発生するステップが、
前記遮蔽視点に対応する修正された画像特性マップの群を、少なくとも前記第１画像特性マップ及び前記第２画像特性マップを前記遮蔽視点にシフトすることにより発生するステップと、
前記遮蔽画像特性マップを、該遮蔽画像特性マップのピクセルに関する画像特性を前記修正された画像特性マップの群における対応するピクセルから選択することにより決定するステップと、
を有する請求項１に記載の方法。
【請求項３】
前記修正された画像特性マップの群における対応するピクセルからの選択が、これら対応するピクセルに関する奥行き値に応答するものである請求項２に記載の方法。
【請求項４】
前記対応するピクセルからの選択が、前記遮蔽画像特性マップの第１ピクセルに対する画像特性を、該第１ピクセルに対する対応するピクセルに関して最も前側の奥行きに対応する奥行き値を有さない対応するピクセルに対する画像特性として選択するステップを有する請求項２に記載の方法。
【請求項５】
前記対応するピクセルからの選択が、前記遮蔽画像特性マップの第１ピクセルに対する画像特性を、該第１ピクセルに対する対応するピクセルに関して２番目に最も前側の奥行きに対応する奥行き値を有する対応するピクセルに対する画像特性として選択するステップを有する請求項２に記載の方法。
【請求項６】
前記修正された画像特性マップの群の少なくとも１つを発生するステップが、前記シフトに続いて、重なり合う画像領域に対応するピクセルに対する複数の画像特性値を発生するステップを有する請求項２に記載の方法。
【請求項７】
前記遮蔽画像特性マップ、前記第１画像特性マップ及び前記第２画像特性マップにより表される画像特性が、
画像明度、
画像色、
画像オブジェクト識別情報、
透明度、及び
奥行き、
からなる群から選択される少なくとも１つの画像特性を有する請求項１に記載の方法。
【請求項８】
前記第１視点に対して第２のオフセットを有する第３視点に対して前記アルゴリズムを実行することにより第３画像特性マップを決定するステップを更に有し、前記遮蔽画像特性マップを発生するステップが前記第３画像特性マップに更に応答するものである請求項１に記載の方法。
【請求項９】
前記第１のオフセットが前記第２のオフセットとは実質的に反対側である請求項８に記載の方法。
【請求項１０】
前記遮蔽画像特性マップを有すると共に前記遮蔽視点に対する画像特性マップのみを含む画像信号を発生するステップを更に有する請求項１に記載の方法。
【請求項１１】
前記第１のオフセットが、スクリーンの奥行きにおけるオブジェクトに対して２°から１０°までの範囲内の視角オフセットに対応する請求項１に記載の方法。
【請求項１２】
前記遮蔽画像特性マップ、前記第１画像特性マップ及び前記第２画像特性マップが画像である請求項１に記載の方法。
【請求項１３】
請求項１ないし１２の何れか一項の方法を実行するコンピュータプログラム。
【請求項１４】
三次元シーンに関し遮蔽視点に対する遮蔽画像特性マップを発生するための三次元モデル化コンピュータプログラムと共に使用するソフトウェアツールであって、前記遮蔽画像特性マップは前記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有し、前記三次元モデル化コンピュータプログラムは前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生するアルゴリズムを有し、当該ソフトウェアツールが、
前記アルゴリズムを第１視点に対して実行することにより第１画像特性を発生するステップと、
前記アルゴリズムを、前記第１視点に対し第１のオフセットを有する第２視点に対して実行することにより第２画像特性マップを決定するステップと、
前記第１画像特性マップ及び前記第２画像特性マップに応答して、前記遮蔽画像特性マップを発生するステップと、
を実行するソフトウェアツール。
【請求項１５】
三次元シーンに関し遮蔽視点に対する遮蔽画像特性マップを発生する装置であって、前記遮蔽画像特性マップは前記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有し、当該装置が、
前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生するアルゴリズムを設ける手段と、
前記アルゴリズムを第１視点に対して実行することにより第１画像特性を発生する手段と、
前記アルゴリズムを、前記第１視点に対し第１のオフセットを有する第２視点に対して実行することにより第２画像特性マップを決定する手段と、
前記第１画像特性マップ及び前記第２画像特性マップに応答して、前記遮蔽画像特性マップを発生する手段と、
を有する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像特性のための遮蔽（オクルージョン）データの発生に係り、専らではないが、特には三次元画像データのレイヤ（層化）表現のための遮蔽データの発生に関する。
【背景技術】
【０００２】
三次元表示器（三次元ディスプレイ）は、益々興味を持たれており、如何にして視聴者に三次元的知覚を与えるかについての活発な研究がなされている。三次元（３Ｄ）ディスプレイは、視聴者の２つの目に、視聴されているシーン（情景）の異なるビューを供給することにより、視聴体験に第３の次元を追加する。これは、ユーザに、表示される２つのビューを分けるための眼鏡を装着させることにより達成することができる。しかしながら、これはユーザにとり不便であると思われるので、多くの計画では、ディスプレイにおいてビューを分離する手段（レンチキュラレンズ、又は障壁）を使用し、これらビューをユーザの目に個別に到達するような異なる方向に送る裸眼立体ディスプレイ（autostereoscopic display）を用いることが好まれている。立体ディスプレイでは、２つのビューが必要とされる一方、裸眼立体ディスプレイは、典型的には、より多くのビュー（例えば、９つのビュー等）を必要とする。
【０００３】
３Ｄ提示を効果的に支援するためには、発生された３Ｄコンテンツの適切なデータ表現が使用されることが重要である。例えば、異なる立体ディスプレイに対しては、２つのビューは必ずしも同一ではなく、最適な視聴体験は、典型的には、スクリーンのサイズと視聴者の距離との特定の組み合わせに対する当該コンテンツデータの適応化を必要とする。同様の考え方が、裸眼立体ディスプレイに対しても当てはまりそうである。
【０００４】
三次元画像を表すための良く知られた方法は、１以上のレイヤに層化された二次元画像に奥行き表現を加えたものを使用することである。例えば、各々が関連する奥行き情報を持つ前景及び背景画像を、三次元シーンを表すために使用することができる。
【０００５】
このような方法は、三次元ビューが相対的に少ない複雑さで発生されるのを可能にする、並びに効率的なデータ表現をもたらし、これにより、三次元画像（及びビデオ）信号に対する例えば記憶及び通信資源の要件を低減することを含む多数の利点を提供する。また、該方法は、当該三次元表現に含まれる二次元画像とは異なる視点及び視角で二次元画像が発生されることも可能にする。更に、該表現は、例えば５、９又は１５等の異なる数のビューを持つ異なるディスプレイ構成に容易に適応化され得、及び斯かる異なるディスプレイをサポートすることができる。
【０００６】
レイヤ画像により表されたものとは異なる視角からのビューをレンダリングする場合、前景ピクセルは、これらピクセルの奥行きに応じてシフトされる。この結果、元の視角に対しては遮蔽されていた領域が見えるようになる（即ち、カメラ位置／視点（viewing position）が横に平行移動／シフトされることにより）。次いで、これらの領域は、背景レイヤを用いて、又は、適切な背景レイヤデータが利用可能でない場合は、前景画像のピクセルを繰り返すことにより書き込まれる。しかしながら、このようなピクセルの複製は、見えるアーチファクトを生じかねない。上記背景情報は、典型的には前景画像オブジェクトのエッジ（縁部）の周囲でのみ必要とされ、従って殆どのコンテンツに対しては高度に圧縮可能である。
【０００７】
高品質の３Ｄ知覚を達成するためには、３Ｄ画像コンテンツの発生が重要である。例えば、三次元シーンを記述するデータに基づいて画像を発生することができるコンピュータ発生コンテンツツールを含む、種々の３Ｄコンテンツを作成する方法が知られている。例えば、例えばコンピュータゲーム用の、コンピュータにより発生される前景及び背景画像を、前景画像オブジェクト等を含む周囲を特徴付けるデータに基づいて発生することができる。例えば、３Ｄモデルを発生する幾つかのプログラムが知られており、これらのプログラムの多くは、関連する奥行きマップ（及び、恐らくは透明度マップ）を伴う１以上のレイヤ画像の形の３Ｄ画像表現を発生することが可能なソフトウェアプラグインにより向上させることができる。かくして、３Ｄモデル化プログラムにおける３Ｄモデルの設計に従って、アルゴリズムは、この３Ｄモデルに基づいて、当該ビューを定められた視角から表す１以上の前景レイヤ及び背景を発生することができる。更に、このビューに対して、１以上の奥行きマップ及び透明度マップを発生することもできる。この場合、上記画像レイヤ並びに奥行き及び透明度マップは、例えば立体又は裸眼立体ディスプレイにより使用するのに適した３Ｄ表現を提供することができる。
【０００８】
しかしながら、上記のような方法は多くの実施例において有用であり得るものの、これら方法は幾つかの関連する欠点を有しがちである。例えば、上記複数のレイヤの発生は、非常に複雑で、大幅な手による介入を必要とする傾向がある。例えば、背景レイヤを発生するためには、何の画像オブジェクト又は領域が前景と見なされ、従って背景画像を発生する際に削除されなければならないかが指定されねばならない。しかしながら、これは、正確な３Ｄ表現及び高品質の背景を提供するためには、典型的には操作者により手により実行されねばならず、結果的に、非常に複雑で且つ時間の掛かる３Ｄ画像データの発生となる。かくして、現在の方法においては、背景レイヤは、典型的には、手作業により幾つかの前景オブジェクトを削除して、当該コンテンツを再度レンダリングすることにより作成されている。しかしながら、これは、例えば或るオブジェクトが自身を遮蔽するか又は背景上に影を投じる場合に多くの努力を必要とするのみならず、問題を生じる。
【０００９】
他の技術は、所与の閾より近い全ての画像領域及びオブジェクトを削除するような切断面を指定することである。しかしながら、このような方法は最適でない背景レイヤとなる傾向がある。何故なら、最適な背景レイヤは、異なる領域においては異なる切断閾を必要とするからである（即ち、前景画像オブジェクトを削除するのに適した適切な奥行きレベルは、特定の３Ｄモデルに依存し、画像にわたり一定ではない）。確かなことに、単一の切断面はおよそ最適とは言えない一方、複数の切断面を選択することは処理を一層複雑にしがちである。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
このように、前景のための遮蔽データ情報を提供する情報の発生は、準最適となりがちであり、特に、複雑で、資源を要求するものとなり、及び／又は準最適な品質となる傾向がある。確かなことに、上述した問題は遮蔽画像データの発生のみに限られるものではなく、透明度又は奥行き情報等の他の画像特性を表すデータの発生にも関係する。
【００１１】
従って、遮蔽データを発生するための改善された方法が有利であり、特に、柔軟性を増加させ、複雑さを低減し、処理を簡略化し、資源要件を低減し、品質を改善し及び／又は性能を改善するのを可能にする方法が有利である。
【００１２】
従って、本発明は、上述した欠点の１上を、好ましくは単独又は何れかの組み合わせで緩和、軽減又は除去することを追求するものである。
【課題を解決するための手段】
【００１３】
本発明の一態様によれば、三次元シーンに関し遮蔽視点（occlusion view position）に対する遮蔽画像特性マップ（occlusion image property map）を発生する方法であって、前記遮蔽画像特性マップは前記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有し、当該方法が、前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生するように構成されたアルゴリズムを設けるステップと、  前記アルゴリズムを第１視点に対して実行することにより第１画像特性を発生するステップと、前記アルゴリズムを、前記第１視点に対し第１のオフセットを有する第２視点に対して実行することにより第２画像特性マップを決定するステップと、前記第１画像特性マップ及び前記第２画像特性マップに応答して、前記遮蔽画像特性マップを発生するステップとを有する方法が提供される。
【００１４】
本発明は、多くの実施例において、遮蔽画像特性マップの改善された及び／又は簡略化された発生を行うことを可能にする。該遮蔽画像特性マップは、特に、遮蔽視点に対して発生される（より）前景の画像特性マップレイヤにより遮蔽される画像領域に関する画像特性データを有することができる。例えば、上記遮蔽画像特性マップは、前景（又は、より前側の中景）の画像レイヤにより遮蔽される画像データを供給する背景（又は中景）の画像レイヤとすることができる。
【００１５】
本発明は、特に、遮蔽情報が、当該情報に関して手による介入を要せずに及び／又は如何なる切断線も定めることを要せずに、発生されるのを可能にする。むしろ、上記アルゴリズムの簡単な反復実行を使用して、遮蔽画像特性マップを形成することができる。本発明は、特に、シーンのレイヤ（層化された）３Ｄ画像特性表現が、同一の３Ｄモデルに基づくが、異なる視点で発生される異なる画像特性マップから発生されるのを可能にする。このように、３Ｄモデルに基づく簡単なレンダリングアルゴリズムを繰り返し使用して、複数の画像特性マップを発生することができ、次いで、これら画像特性マップは後処理されて、レイヤ３Ｄ表現を発生する。本発明は、視点の使用及び／又は複雑さを低減させることができる。特に、上記（非レイヤで、変化する視角の）画像特性マップの後処理は、典型的には、低複雑度で及び／又は少ない資源使用で実施することができる。
【００１６】
上記の異なる視点は、特に、第１視点に関する視方向（viewing direction）に対して垂直な面内でシフトされた、特には該面に対して横方向にシフトされた、視点に対応することができる。各視点に対する視角／視方向は実質的に同一とすることができる。即ち、第１及び第２視点（従って、第１及び第２画像特性マップ）に対する視方向は実質的に同一とすることができる。
【００１７】
本方法は、多くの既存のアルゴリズムに対して、改善された後方互換性を可能にし得る。例えば、最初のアルゴリズムは既存の３Ｄモデル化アプリケーションとすることができ、該３Ｄモデル化アプリケーションは、レイヤ（層化された）３Ｄ画像特性マップ表現を発生するソフトウェアツール／プラグインにより更に向上される。このように、前記後処理は、コンテンツ作成ツールに対するプラグインとして設けることができる。
【００１８】
前記遮蔽画像特性マップは、遮蔽データが供給される画像特性マップと同一の視角を表すことができる。特に、上記遮蔽画像特性マップは、遮蔽視点を表す他の画像特性マップを伴うレイヤ画像特性マップであり得る。遮蔽画像特性マップは、特に、第１画像特性マップに対する遮蔽画像特性マップであり得、第１視点を表すことができる。特に、該遮蔽視点は前記第１視点と実質的に同一とすることができる。
【００１９】
最初のアルゴリズムは、特に、３Ｄモデルアルゴリズム（に基づくもの）とすることができる。このように、第１及び第２画像特性マップは、当該シーンに対して同一の３Ｄモデルを用いて発生することができる。上記視点（又は複数の視点）は、特には、視角とすることができる。幾つかの実施例では、及び幾つかの筋書きに関しては、距離は考慮されない。視点なる用語は、多くの筋書きでは、視角なる用語と等価であると考えることができる。前記第１及び第２視点は、異なる視角に対応する。前記画像特性マップは、特に、第１画像の各ピクセルに関する画像特性を有することができる。
【００２０】
前記遮蔽画像特性マップは、更に他の（タイプの）画像特性マップに応答して発生され得る。例えば、第１及び第２画像特性マップは、例えば遮蔽視点に対応する画像特性マップのレンダリング前の前景オブジェクトを手で削除することにより発生された画像特性マップにより補足することができる。
【００２１】
本発明のオプション的フィーチャによれば、前記遮蔽画像特性マップを発生するステップは、前記遮蔽視点に対応する修正された画像特性マップの群を、少なくとも前記第１画像特性マップ及び前記第２画像特性マップを前記遮蔽視点にシフトすることにより発生するステップと、前記遮蔽画像特性マップを、該遮蔽画像特性マップのピクセルに関する画像特性を前記修正された画像特性マップの群における対応するピクセルから選択することにより決定するステップとを有する。
【００２２】
この構成は、多くの実施例において遮蔽画像特性マップの改善された及び／又は簡略化された発生を行うのを可能にする。前記画像特性マップの群は、異なる視点に対する画像特性マップの遮蔽視点へのシフト／平行移動（translation）により得られた複数の修正された画像特性マップを有することができる。上記シフト／平行移動は、特に、同一の視角に対するものとすることができる。前記アルゴリズムにより実質的に遮蔽視点に対して発生された画像特性マップの場合、上記の修正された画像特性マップは、上記の発生された画像特性マップと同一であり得る。特に、遮蔽視点に対するシフト／平行移動は、既に遮蔽視点を表している画像特性マップに対しては空処理であり得る。
【００２３】
幾つかの実施例において、前記遮蔽画像特性マップのピクセルに関する画像特性を選択するステップは、第１の対応するピクセルが遮蔽解除された（de-occluded）ピクセルではなく、第２の対応するピクセルが遮蔽解除されたピクセルである場合、第２の対応するピクセルに優先して第１の対応するピクセルに関する画像特性を選択するステップを有することができる。例えば、修正された画像特性マップを発生する場合、元の画像においては遮蔽されているが、遮蔽視点からは遮蔽されない値は、遮蔽解除される。このように、上記の修正された画像特性マップにおいては、幾つかのピクセル値は典型的には遮蔽解除されたピクセル（例えば、ピクセルの繰り返しにより発生された）となる一方、他のピクセルは遮蔽解除されない。特に、非繰り返しピクセルを、繰り返しピクセルに優先して選択することができる。
【００２４】
本発明のオプション的フィーチャによれば、前記修正された画像特性マップの群における対応するピクセルからの選択は、これら対応するピクセルに関する奥行き値に応答するものである。
【００２５】
この構成は、多くの実施例において、遮蔽画像特性マップの改善された及び／又は簡略化された発生を行うのを可能にする。
【００２６】
本発明のオプション的フィーチャによれば、前記対応するピクセルからの選択は、前記遮蔽画像特性マップの第１ピクセルに対する画像特性を、該第１ピクセルに対する対応するピクセルに関して最も前側の奥行きに対応する奥行き値を有さない対応するピクセルに関する画像特性として選択するステップを有する。
【００２７】
この構成は、多くの実施例において、遮蔽画像特性マップの改善された及び／又は簡略化された発生を行うのを可能にする。特に、各ピクセルに対して（前側から）２番目の奥行き値に関する画像特性を選択することは、前景画像の背後の最初のオブジェクトに関する遮蔽データを提供する傾向がある。これらは、典型的には、異なる視角でレンダリングするのに最も適しており、従って、最も有用な遮蔽情報を提供する傾向がある。
【００２８】
本発明のオプション的フィーチャによれば、前記対応するピクセルからの選択は、前記遮蔽画像特性マップの第１ピクセルに対する画像特性を、該第１ピクセルに対する対応するピクセルに関して２番目に最も前側の奥行きに対応する奥行き値を有する対応するピクセルに関する画像特性として選択するステップを有する。
【００２９】
この構成は、多くの実施例において、遮蔽画像特性マップの改善された及び／又は簡略化された発生を行うのを可能にする。特に、各ピクセルに対して（前側から）２番目の奥行き値に関する画像特性を選択することは、前景画像の背後の最初のオブジェクトに関する遮蔽データを提供する傾向がある。これらは、典型的には、異なる視角でレンダリングするのに最も適しており、従って、最も有用な遮蔽情報を提供する傾向がある。
【００３０】
代わりに、前記対応するピクセルからの選択は、前記遮蔽画像特性マップの第１ピクセルに対する画像特性を、該第１ピクセルに対する対応するピクセルに関して３番目、４番目、５番目等の最も前側の奥行きに対応する奥行き値を有する対応するピクセルに関する画像特性として選択するステップを有することも理解される。この構成は、例えば、複数のレイヤの画像特性マップの効率的な発生を可能にする。
【００３１】
本発明のオプション的なフィーチャによれば、前記修正された画像特性マップの群の少なくとも１つを発生するステップは、前記シフトに続いて、重なり合う画像領域に対応するピクセルに関する複数の画像特性値を発生するステップを有する。
【００３２】
この構成は、多くの実施例において、遮蔽画像特性マップの改善された及び／又は簡略化された発生を行うのを可能にする。特に、これは、遮蔽画像特性マップを発生する場合に、異なる視点の画像特性マップにより供給される全ての情報が考慮されるのを可能にし得る。
【００３３】
上記複数のピクセルは、特には、遮蔽視点において同一のピクセル位置に変位されるピクセルとすることができる。
【００３４】
本発明のオプション的なフィーチャによれば、前記遮蔽画像特性マップ、前記第１画像特性マップ及び前記第２画像特性マップにより表される画像特性は、画像明度（image luminosity）、画像色（image color）、画像オブジェクト識別情報（image object identification）、透明度（transparency）及び奥行きからなる群から選択される少なくとも１つの画像特性を有する。
【００３５】
本発明は、３Ｄ画像表現にとり有用な複数の異なる特性に関して遮蔽情報の改善された及び／簡略化された発生を可能にし得る。
【００３６】
本発明のオプション的なフィーチャによれば、本方法は、前記第１視点に対して第２のオフセットを有する第３視点に対して前記アルゴリズムを実行することにより第３画像特性マップを決定するステップを更に有し、前記遮蔽画像特性マップを発生するステップは、該第３画像特性マップに更に応答するものである。
【００３７】
この構成は、多くの実施例において、改善された遮蔽画像特性マップが発生されるのを可能にし得る。特に、これは、付加的な遮蔽データが決定されると共に、上記遮蔽画像特性マップにより表されるのを可能にし得る。上記第２及び第３画像特性マップは、例えば、遮蔽情報が、中央のビューの両側へのシフトに関して発生されるのを可能にし得る。
【００３８】
前記遮蔽画像特性マップを発生するステップは、修正された第３画像特性マップを、前記第３画像特性マップを前記第３視点から前記遮蔽視点へシフト／平行移動することにより発生するステップを更に有することができ、該修正された第３画像特性マップは、当該遮蔽画像特性マップのピクセルに関する画像特性を選択することができる前記修正された画像特性マップの群に含めることができる。該方法は、異なる視点から発生される第４、第５等の画像特性マップに拡張することもできる。
【００３９】
本発明のオプション的なフィーチャによれば、前記第１のオフセットは前記第２のオフセットとは実質的に反対側である。特に、第１視点と第３視点との間の視角オフセットは、第１視点と第２視点との間の視角オフセットと実質的に同一であるが、反対方向であるとすることができる。
【００４０】
この構成は、多くの実施例において、改善された遮蔽画像特性マップが発生されるのを可能にし得る。特に、異なる方向における視角の変化に適した遮蔽データ発生させることができる。
【００４１】
上記第１のオフセット及び／又は第２のオフセットは、特には、実質的に水平面内におけるものとすることができる。
【００４２】
本発明のオプション的なフィーチャによれば、本方法は、前記遮蔽画像特性マップを有すると共に前記遮蔽視点に対する画像特性マップのみを含む画像信号を発生するステップを更に有する。
【００４３】
本発明は、３Ｄ画像に関する効率的な表現を発生することができる。所与の視角（遮蔽視点に対応する）に対する（より）前景の画像特性マップ（前景画像等の）、及び同じ視角を表す遮蔽画像特性マップを含むレイヤ表現を形成することができる。しかしながら、異なる視角を表す画像又は画像特性マップは、含まれ得ない。特に、上記画像信号は複数のチャンネル（画像データ、奥行きデータ及び透明度データ等の異なる画像特性に対応する）を有することができ、これらチャンネルの少なくとも１つは、当該方法により発生された遮蔽画像特性マップを含むレイヤ画像特性表現を有する。
【００４４】
本発明のオプション的なフィーチャによれば、前記第１のオフセットは、スクリーンの奥行きにおけるオブジェクトに対して２°から１０°までの範囲内の視角オフセットに対応する。
【００４５】
この構成は、殆どの立体ディスプレイ及び／又は裸眼立体ディスプレイに対して画像をレンダリングするのに特に適した遮蔽画像特性マップを形成することができる。特に、これは、発生される遮蔽画像特性マップを用いてレンダリングすることが可能な視角の範囲と、該遮蔽画像特性マップのデータにおけるギャップ又は孔の危険性との間の改善された相殺取引を果たさせ得る。
【００４６】
本発明のオプション的なフィーチャによれば、前記遮蔽画像特性マップ、前記第１画像特性マップ及び前記第２画像特性マップは、画像である。
【００４７】
このように、遮蔽された画像オブジェクトに関する少なくとも幾つかの画像値を有する遮蔽画像を発生する方法であって、当該方法が、シーンを表す画像を視点に応じて発生するように構成されたレンダリングアルゴリズムを設けるステップと、前記アルゴリズムを第１視点に対して実行することにより第１画像を発生するステップと、前記アルゴリズムを、前記第１視点に対し第１のオフセットを有する第２視点に対して実行することにより第２画像を決定するステップと、前記第１画像及び前記第２画像に応答して、前記遮蔽画像を発生するステップとを有する方法が提供され得る。
【００４８】
本発明は、多くの実施例において、遮蔽画像の改善された及び／又は簡略化された発生を行い得る。該遮蔽画像は、特に、（より）前景の画像レイヤにより遮蔽される画像領域に関する画像データを有し得る。
【００４９】
本発明の他の態様によれば、上述した方法を実行するコンピュータプログラム製品が提供される。
【００５０】
本発明の他の態様によれば、三次元シーンに関し遮蔽視点に対する遮蔽画像特性マップを発生するための三次元モデル化コンピュータプログラムと共に使用するソフトウェアツールであって、前記遮蔽画像特性マップは前記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有し、前記三次元モデル化コンピュータプログラムは前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生するように構成されたアルゴリズムを有し、当該ソフトウェアツールが、前記アルゴリズムを第１視点に対して実行することにより第１画像特性を発生するステップと、前記アルゴリズムを、前記第１視点に対し第１のオフセットを有する第２視点に対して実行することにより第２画像特性マップを決定するステップと、前記第１画像特性マップ及び前記第２画像特性マップに応答して、前記遮蔽画像特性マップを発生するステップとを実行するように構成されたソフトウェアツールが提供される。
【００５１】
本発明の他の態様によれば、三次元シーンに関し遮蔽視点に対する遮蔽画像特性マップを発生する装置であって、前記遮蔽画像特性マップは前記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有し、当該装置が、前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生するように構成されたアルゴリズムを設ける手段と、前記アルゴリズムを第１視点に対して実行することにより第１画像特性を発生する手段と、前記アルゴリズムを、前記第１視点に対し第１のオフセットを有する第２視点に対して実行することにより第２画像特性マップを決定する手段と、前記第１画像特性マップ及び前記第２画像特性マップに応答して、前記遮蔽画像特性マップを発生する手段とを有する装置が提供される。
【００５２】
本発明の上記及び他の態様、フィーチャ及び利点は、以下に説明する実施例から明らかとなり、斯かる実施例を参照して解説されるであろう。
【図面の簡単な説明】
【００５３】
【図１】図１は、本発明の幾つかの実施例による遮蔽画像特性マップを発生する装置の一例を示す。
【図２】図２は、三次元モデルに基づいた画像のレンダリングの一例を示す。
【図３】図３は、三次元モデルに基づいた画像のレンダリングの一例を示す。
【図４】図４は、本発明の幾つかの実施例による異なる視点に対応する画像特性マップから遮蔽画像特性マップを発生する方法の一例を示す。
【図５】図５は、或る視点から他のものへの画像特性マップのシフト／平行移動の一例を示す。
【図６】図６は、本発明の幾つかの実施例による異なる視点に対応する画像特性マップから遮蔽画像特性マップを発生する方法の一例を示す。
【図７】図７は、本発明の幾つかの実施例による遮蔽画像特性マップを発生する方法の一例を示す。
【発明を実施するための形態】
【００５４】
以下、本発明の実施例を、図面を参照して例示的にのみ説明する。
【００５５】
以の説明は、前景画像のための遮蔽画像の発生に適用可能な本発明の実施例に焦点を合わせる。しかしながら、本発明はこの適用例に限定されるものではなく、例えば画像オブジェクト識別、透明度及び奥行き特性を反映する画像特性マップを含む他の画像特性マップの発生にも適用することができることが理解されるであろう。
【００５６】
明瞭化及び簡略化のために、以下の説明は、静止画像等の単一画像の処理に焦点を合わせている。しかしながら、記載された原理は、例えばアニメーション及び動画にも等しく当てはまることが理解される。例えば、記載された処理は、レイヤ奥行きモデルに基づいて三次元ビデオ信号の各画像及び奥行きマップにも個別に適用されて、マルチビュー画像シーケンスにおける各タイムスタンプに対して全てのビューを発生することができる。
【００５７】
図１は、遮蔽画像特性マップを発生する装置の一例を示す。
【００５８】
該装置はマップ発生器１０１を有し、該マップ発生器はシーンを表す画像のための画像特性マップを発生するように構成される。画像特性マップは、視点の関数として、及び特には視角の関数として発生される。特に、上記マップ発生器は、所与の指定された視角に対する画像マップを３Ｄモデルに基づいて発生することができる。該３Ｄモデルは、背景画像と、該背景画像の前の複数の３Ｄオブジェクトとにより定義される人工的シーンを特に定めることができる。
【００５９】
本例において、マップ発生器１０１は、定められた視点において及び特には定められて視角においてカメラにより捕捉（キャプチャ）されるであろう画像に対応する画像を発生するように構成されている。かくして、特定の視角から見える３Ｄモデルのオブジェクトを反映する各ピクセルに対して明度（luminosity）及び／又は色値（color value）を有する画像が発生される。このように、３Ｄモデルにより表される定義された人工的シーンに基づいて、マップ発生器１０１は、単に視角入力パラメータに基づいて画像を発生することができる。
【００６０】
３Ｄモデル及び視点の定義に基づいて人工的シーンに対する画像及び関連する画像特性データを発生することができる多数の異なるアルゴリズム及びツールが既知であることが理解される。例えば、オフラインコンピュータ３Ｄモデル化ツールが、既知であり、例えばコンピュータ支援設計、ゲーム設計、コンピュータアニメーション等のために広く使用されている。また、人工的３Ｄシーンに対する画像のリアルタイムレンダリングが、例えばゲーム又はリアルタイムコンピュータ支援設計アプリケーションから知られている。マップ発生器１０１は画像特性マップを発生するために如何なる好適な方法も使用することができることが理解される。
【００６１】
マップ発生器１０１が他の画像特性に対応する画像又はマップを発生することができることも理解される。かくして、画像特性は、画像をどの様にレンダリングすることができるかについての情報を提供する如何なる特性とすることもでき、特には、画像を異なる視角で発生するために有用な情報を提供する３Ｄ画像特性とすることができる。
【００６２】
例えば、マップ発生器１０１は、所与の視角のための画像及び該視角に対する奥行きマップの両方を発生することができる。上記奥行きマップは、当該画像の各ピクセルに関する奥行き指示情報（奥行きレベル又は視差（disparity）値）を特に有することができ、その場合において、該奥行き指示情報は当該ピクセルにより表される画像オブジェクトの画像における奥行きを反映する。
【００６３】
また、マップ発生器１０１は、発生される画像の各ピクセルに関する透明度値も発生することができる。該透明度値は、当該画像ピクセルの透明度を特に表すことができる。
【００６４】
他の例として、マップ発生器１０１は、発生される画像の各ピクセルに関して該ピクセルに対応する画像オブジェクトを識別する画像オブジェクト識別マップを発生することができる。
【００６５】
特定の実施例において、マップ発生器１０１は、当該視角に対して複数の対応する画像特性マップを発生する。各画像特性（タイプ）はチャンネルと称することができ、特定の例において、該マップ発生器１０１は、画像を有する画像チャンネル、発生される画像に対する奥行きマップを有する奥行きチャンネル、並びに幾つかのシナリオでは、発生される画像に関する透明度マップ及び／又は発生される画像に関する画像オブジェクト識別マップを発生する。
【００６６】
当該例において、各チャンネルは単一の画像特性マップのみを有し、かくして、各画像特性は単一の非レイヤ画像特性マップにより表される。
【００６７】
他の実施例において、マップ発生器１０１は、単一のチャンネルに関する、即ち単一の画像特性に関する画像特性マップのみを発生することができることが分かる。
【００６８】
当該装置は、更に、上記マップ発生器１０１に結合された第１画像特性マップ発生器１０３を有する。該第１画像特性マップ発生器１０３は、第１視点に対してマップ発生器１０１のアルゴリズムを実行することにより第１画像特性マップを発生するよう構成されている。即ち、第１画像特性マップ発生器１０３は、当該シーンに対して視角又は視点を定義すると共に、これをマップ発生器１０１に供給することができる。これに応答して、マップ発生器１０１は当該３Ｄモデルを評価して、この視点に対応する画像特性マップを発生する。
【００６９】
当該固有の例において、マップ発生器１０１は複数の単一レイヤチャンネルを発生し、ここで、各チャンネルは異なるタイプの画像特性に対応する。このように、マップ発生器１０１は、指定された視点／視角からの当該シーン／３Ｄモデルのビューを表す画像、並びに合致する奥行きマップ及び、幾つかのシナリオでは、合致する透明度マップ及び／又は合致するオブジェクト識別マップを発生する。次いで、異なる画像特性マップを有するチャンネルは、第１画像特性マップ発生器１０３にフィードバックされる。
【００７０】
図２は、背景オブジェクト２０３及び前景画像オブジェクト２０５を有する三次元シーン／モデルに対して視点２０１が定められる例を示す。この場合、マップ発生器１０１は、異なる方向で見られる特定の画像オブジェクトを反映する画像を発生する。更に、該画像において見える画像オブジェクトの奥行きを反映する、対応する奥行きマップが発生される。マップ発生器１０１は、各ピクセルに対して色値、輝度値及び奥行きを計算する。色／輝度は、ピクセルの視線（ray）に沿いカメラ／視点に対し最も近いオブジェクトにより決定される。かくして、前景画像オブジェクト２０５に対応するピクセルに対しては、前景オブジェクト２０５の画像及び奥行き値が含められ、背景オブジェクト２０３に対応するピクセルに対しては、背景オブジェクト２０３の画像及び奥行き値が含められる。また、オブジェクト識別マップを発生することができ、該オブジェクト識別マップは、各ピクセルに対して、当該ピクセルにより表される画像オブジェクトを（例えば、オブジェクト２０３であるか又は２０５であるかを）示す。同様に、各ピクセルに対する透明度指示情報を持つ、透明度マップを発生することができる。
【００７１】
上記マップ発生器１０１により、３シーン又はモデルから画像特性マップ（画像又は奥行きマップ等の）を発生するための如何なる好適なアルゴリズムを使用することもできることが分かる。
【００７２】
図１の装置は、マップ発生器１０１に結合された第２画像特性マップ発生器１０５を更に有する。該第２画像特性マップ発生器１０５は、前記第１視点に対してオフセットされた第２視点に関してマップ発生器１０１のアルゴリズムを実行することにより第２画像特性マップを発生するよう構成されている。第２視点は、第１視点とは異なる視角に対応する。従って、発生された画像特性マップにおける全てが、たまたま正確に同一の奥行きレベルにある場合を除き、第１及び第２画像特性マップは、幾つかの領域では、異なる画像オブジェクトを表し得る。このように、第１及び第２画像特性マップは、他方の画像特性マップにおいては（更に前の）前景画像オブジェクトにより遮蔽される画像オブジェクト領域に関する画像特性データを有し得る。
【００７３】
図３は、第２視点３０１が第１視点２０１に対して相対的オフセット３０３を有するような、図２の例を図示している。視角のオフセットにより、第２視点３０１に対して発生される画像特性マップは、第１視点２０１に対する画像特性マップに含まれない背景オブジェクト２０３の領域３０５（この視角に対しては前景オブジェクト２０５により遮蔽されているから）を含む。同様にして、背景オブジェクト２０３の領域３０７は、第１視点に対して発生される第１画像特性マップにおいてのみ見える。
【００７４】
このようにして、３Ｄモデルにより表されるシーンは、シフト／平行移動／移転された視点から再びレンダリングされる。この第２視点は、第１視点に対して、"見回す"オブジェクトを提供する。第２視点からのビューにおいては、オブジェクトは右にシフトされて見え、該シフトは透視変換により奥行きに逆比例する。
【００７５】
当該特定の例において、マップ発生器１０１は第２視点に対して複数の単一レイヤチャンネルを発生し、ここで、各チャンネルは異なるタイプの画像特性に対応する。即ち、第２画像特性マップ発生器１０５は、第２視点に関して、画像、関連する奥行きマップ、並びに、恐らくは、透明度及びオブジェクト識別マップを受ける。
【００７６】
図１の装置は、マップ発生器１０１に結合された第３画像特性マップ発生器１０７を更に有する。該第３画像特性マップ発生器１０７は、前記第１視点及び第２視点に対してオフセットされた第３視点に関してマップ発生器１０１のアルゴリズムを実行することにより第３画像特性マップを発生するよう構成されている。該第３視点は、第１視点及び第２視点とは異なる視角に対応する。
【００７７】
上記第３視点は、特に、第１視点から第２視点とは実質的に反対方向にオフセットされたものとすることができる。また、該オフセットは、第１視点に対して、第１及び第２視点の間の視角が第１及び第３視点の間の視角と同一となるように対称とすることができる。例えば、図３において、第２視点３０１は第１視点２０１から左にオフセットされる一方、第３視点３０９は第１視点２０１から右に同じ量だけオフセットすることができる。第３の視点の使用は、結果的に遮蔽データが、異なる方向の視角オフセットに対する画像の遮蔽解除にとり有用になるのを可能にし得る。例えば、第１視点に対する画像が前景画像として使用される場合、第２及び第３（左及び右の）視点から発生され得る遮蔽データは、中央の画像が、該中央画像の左及び右の両方向への視角を反映するように修正されるのを可能にする。
【００７８】
第１及び第２視点の間のオフセット（並びに第１及び第３視点の間のオフセット）は、特定の例では、スクリーンの奥行きにおけるオブジェクトに対して２°から１０°（両端値を含む）までの範囲に属する視角オフセットに対応するように選択される。この選択は、多くの実際の３Ｄディスプレイ用途に対して特に適した遮蔽データを提供し得る。というのは、この選択が、このような用途で使用される典型的な視角変化に対して特に適した遮蔽データを提供するからである。更に、視角のオフセットを限定することにより、発生される遮蔽データ内にギャップを有するという危険性（例えば、前景オブジェクトにおける小さな孔から生じる）を低減することができる。
【００７９】
図３の例においては、３つの対称な視点に対して画像特性マップが発生される。しかしながら、他の例においては、２、４又はそれ以上の視点を使用することができ、及び／又は非対称な視点を使用することもできることが分かる。
【００８０】
前記第１画像特性マップ発生器１０３、第２画像特性マップ発生器１０５及び第３画像特性マップ発生器１０７は、遮蔽プロセッサ１０９に結合され、該遮蔽プロセッサは第１画像特性マップ発生器１０３、第２画像特性マップ発生器１０５及び第３画像特性マップ発生器１０７から画像特性マップを入力する。次いで、該遮蔽プロセッサ１０９は、第１、第２及び第３視点の各々の３つの画像特性マップから遮蔽画像特性マップを発生する。
【００８１】
当該特定の例において、遮蔽プロセッサ１０９は、例えば上記３つの視点の各々に関する画像及び奥行きマップを入力することができる。次いで、該遮蔽プロセッサは斯かる３つの画像及び奥行きマップの各々から値を選択することにより、遮蔽画像及び奥行きマップを発生することができる。遮蔽画像特性マップのためのピクセルは、前景におけるものではない画像オブジェクトを反映する対応する値が利用可能なら、前景画像オブジェクトを表すものでないように選択される。例えば、図３の例において、ピクセルは、領域３０５に関しては第２視点の画像特性マップから、領域３０７に関しては第１視点の画像特性マップからピクセルを選択することができる。
【００８２】
即ち、遮蔽プロセッサ１０９は、横の視点のオフセット及び各視点に関する仮想カメラの視野を供給され得る（又は、既に分かる）。これを、上記横のビューから中央のビューにピクセルを移転するために使用することができる。該処理は、逆投影変換により横のビューからのピクセルを投影解除し、次いで該ピクセルを中央のビューに投影することに対応するものと考えることができる。これらの方式は、平行カメラ（parallel cameras）が使用される場合、視差に比例したシフトとなる。
【００８３】
このように、如何なる単一視点に対して利用可能なものよりも多くの情報の非前景画像特性を提供する遮蔽画像特性マップを発生することができる。特に、該遮蔽データは、如何なる単一視点から得られるものよりも多くの、非前景画像オブジェクトを反映するデータを含むように発生することができる。該遮蔽画像特性マップは、特に、所与の視点又は視角（遮蔽視点又は視角と称する）からの、且つ、この視点／視角からは（より多くの）前景画像オブジェクトにより遮蔽される少なくとも幾つかの画像特性データを含むビューを表すように発生される。該遮蔽画像特性マップは、当該画像のレイヤ３Ｄ表現を提供するために、上記遮蔽視点を表す他の画像特性マップと組み合わせることができる。
【００８４】
例えば、上記遮蔽画像及び前記第１画像（前記第１の中央視点に対する）は、（混合された）前景及び背景レイヤ表現を形成するために組み合わせることができ、その場合において、上記遮蔽画像は、少なくとも幾つかのピクセルに対して、第１視点から見える前景画像オブジェクトの一部ではない画像オブジェクトに関する画像値を表す。このように、この例においては、上記遮蔽視点は第１視点と同一であり得る。
【００８５】
遮蔽プロセッサ１０９は信号発生器１１１に結合され、該信号発生器は３Ｄ情報を有する画像信号を発生する。即ち、該信号発生器１１は、遮蔽視点／視角に対する画像、遮蔽画像、当該画像に対する奥行きマップ、及び、オプションとして、遮蔽画像特性マップに関する遮蔽奥行きマップを有する画像信号を発生する。幾つかの実施例又はシナリオにおいては、透明度マップ及び遮蔽透明度マップ、及び／又はオブジェクト識別マップ及び遮蔽オブジェクト識別マップを、付加的に又は代替的に含むことができる。
【００８６】
上記画像信号が各画像特性チャンネルに対して３以上のレイヤを有することができることも分かる。例えば、複数の異なるレベルの遮蔽画像を発生し、画像チャンネルに含めることができる。しかしながら、遮蔽画像特性マップは異なる視角のビューから発生されるものの、発生される画像信号は、遮蔽視角に対してのみ画像特性マップを有することができる。
【００８７】
上記画像信号は、特に、マップ発生器１０１により発生された画像特性マップのうちの少なくとも１つが当該画像信号に含まれる一方、該マップ発生器により発生された何れの他のものも該画像信号に含まれないように発生される。確かに、これらの例では、上記マップ発生器からの発生された画像特性マップのうちの１つのみが上記画像信号に含まれるか又はいずれも含まれないようにすることができる。即ち、上記画像信号の画像は、第１視点に対して発生された画像に、この視点に対する追加の遮蔽データを提供する遮蔽画像が備わったものに対応し得る。他のチャンネルに関して、対応する画像特性マップを含めることができる。このように、上記画像信号は、１つのみの視角、即ち遮蔽画像特性マップに対応する遮蔽視角に対する画像特性マップを有することができる。この視角は、特には、マップ発生器１０１により画像特性マップを発生するために使用された視角の１つと同一とすることができるが、そのようである必要はない。
【００８８】
上記方法は、複雑さの低減、少ない資源の使用及び遮蔽データを含むレイヤ画像表現の完全に自動的な発生を可能にすることができる。確かに、該方法は、手による介入及び切断面等の如何なる定義も必要としない。このように、３Ｄ画像データの効率的な表現の低複雑で高品質の発生を達成することができる。該方法は、更に、既存のコンテンツ作成ツールが使用されるのを可能にし、これにより、改善された後方互換性及び柔軟性を提供する。
【００８９】
図４は、前記遮蔽プロセッサ１０９により上記特定の例が使用される方法を図示している。該方法は、発生された全画像特性マップ（この場合においては、３つの異なる視点に対する）を同じ視角にシフトし、次いで、この視角に対する異なる画像特性マップの間で奥行きレベルに応じて選択を行うことにより遮蔽画像特性マップを発生することに基づくものである。
【００９０】
図４の方法はステップ４０１で開始し、該ステップにおいて、画像特性マップは、遮蔽画像特性マップが発生される視点に、即ち遮蔽視点／視角に、シフト／転移／平行移動される。該特定の例においては、当該画像信号は、第１視点に対応するデータを有するように発生されるので、シフトされる画像特性マップの視点は、第１視点に対して発生される画像特性マップに対する視点と同一である。即ち、横のビューからの各ピクセルは、中央ビューにおける、もし遮蔽されていなかったら見えるであろう位置にシフト／転移することができる。
【００９１】
ステップ４０１にはステップ４０３が後続し、該ステップにおいては、全ての視点に対する画像特性マップが、当該共通の遮蔽視点にシフト／転移／平行移動されたかが判断される。もしされていないなら、当該方法はステップ４０５に進み、該ステップにおいて次の視点が選択される。次いで、当該方法はステップ４０１に戻り、該ステップにおいて、上記次の視点に対する画像特性マップが遮蔽視角に転移される。
【００９２】
このようにして、遮蔽プロセッサ１０９は全ての視点を処理し、各視点に対して、当該画像特性マップに含まれる情報を反映するが、当該遮蔽視点に一致するように転移又はゆがめられた（warped）修正された画像特性マップが発生される。かくして、本例では、遮蔽プロセッサ１０９は、第１、第２及び第３視点／視角に対して発生された画像、奥行きマップ並びにオプションとして透明度及び画像オブジェクトマップから、遮蔽視角に対応する３つの修正された画像、奥行きマップ並びにオプションとして透明度及び画像オブジェクトマップを決定する。該特定の例では、上記遮蔽視点は前記中央視点と、即ち第１視点と等価であり、従って第１画像特性マップ発生器１０３から供給される画像特性マップの平行移動は、単に、如何なる処理又は修正もせず該画像特性マップを維持することであり得ることが分かる。
【００９３】
画像特性マップの遮蔽視角への平行移動（変換）は、別々のピクセルに対する変位を、これらピクセルの奥行きに基づいて決定することにより特に達成することができる。次いで、これには、如何なる結果としての遮蔽解除された領域もの埋め込みが続く。このような視角のシフトを実行する種々のアルゴリズムは当業者により知られており、如何なる好適な方法も使用することができることが分かる。
【００９４】
特定の例として、図５は第２視点に対して発生された画像からの、修正された第２画像の発生の一例を示す。
【００９５】
遮蔽プロセッサ１０９は、先ず、各ピクセル又は画像領域に対して該ピクセルの奥行きに依存する変位ベクトル５０１、５０３を発生する。即ち、ピクセルは、これらピクセルの視差に比例してシフトされ（実際には、隣接するピクセルの間のラインを変位及びラスター化することができる）、従って、シフトは一層遠い（更に背景の）画像オブジェクト５０７に対するよりも一層近い（更に前景の）画像オブジェクトに対して一層大きくなる。
【００９６】
結果として、異なる画像領域（異なる奥行きの画像オブジェクトに対応する）における異なるピクセルは、異なるようにシフトされ、その結果、遮蔽視角における潜在的なピクセルの重なり５０９及びピクセル間のギャップ５１１が生じる。上記ギャップは視角変更に続く遮蔽解除された画像に対応し、適切な単一レイヤ遮蔽解除アルゴリズムにより充填される。特に、近傍のピクセルが遮蔽解除ピクセルにコピーされるようなピクセル複製を利用することができる。
【００９７】
しかしながら、重なり領域５０９に対しては、両ピクセル値及び両奥行きレベルは維持される。このように、共通の視角に対する発生された修正画像特性マップは、転移されている画像特性マップの複数のピクセルに対応するピクセルに対する複数の画像特性値を含むことができる。特に、元の画像特性マップの別の画像オブジェクトが同じピクセルに変位されるような重なり領域に入る全ピクセルに対しては、複数の画像特性値を維持することができ。
【００９８】
上述した方法は、画像特性チャンネルの何れか又は全てに適用することができることが分かる。特に、遮蔽視角に対する画像、奥行きマップ、透明度マップ及び／又は画像オブジェクトマップを、上述した方法を用いて発生することができる。
【００９９】
全ての視角に対する画像特性マップが、当該遮蔽視角に転移されたなら、当該方法はステップ４０７に進み、該ステップでは上記遮蔽視角に対して遮蔽マップが発生される。この段階では、一群の（この場合は）３つの画像特性マップが、各画像特性チャンネルに対して形成され、その場合、全ての画像特性マップは同一の視角、即ち遮蔽視角を反映する。従って、これらは互いに直接的に重なり合い得、結果として、各ピクセルに対して選択すべき複数の値が生じる。次いで、遮蔽プロセッサ１０９は、関連する奥行き値に基づいて、何の値を選択するかに進む。
【０１００】
例えば、遮蔽画像は、各ピクセル位置に対して、ステップ４０１において発生された一群の画像における当該ピクセル位置の全ピクセル値からピクセル値を選択することにより発生される。選択される該ピクセル値は、ステップ４０１において発生された一群の奥行きマップに記憶された当該ピクセル位置に対する奥行き値に依存する。
【０１０１】
特に、各ピクセル位置に対し、遮蔽プロセッサ１０９は、二番目に最も前の奥行き値に対応する画像特性値を選択することができる。このように、全ての奥行き値が同一のレベルを表すピクセル位置に対しては、如何なるピクセルを選択することもできる。この状況は、全ての元の視点が同一の情報を提供するような、例えば全ての視点が同一の前景又は背景オブジェクトを見えるようにさせる、状況に対応する。
【０１０２】
しかしながら、異なる視覚が別の見えるオブジェクトを見えるようにさせる場合、この方法は、最も前景の画像オブジェクトではなく、これの背後の画像オブジェクトの値をとる遮蔽画像特性マップを生じさせる。かくして、該遮蔽画像特性マップは、前景画像を遮蔽解除するために使用することが可能な遮蔽データを含むことができる。
【０１０３】
例えば、遮蔽視角が中央／第１視角と同一である例において、図６は、如何にして画像ピクセル６０１を３つのシフト／転移／平行移動された画像６０３、６０５から、発生される遮蔽画像６０９の対応する画像ピクセル６０７が第１視点から見える前景よりも背景を表すように選択することができるかを示している。このように、遮蔽画像６０９は、第１画像６０５に対して付加的背景情報及び遮蔽解除データを含むように発生される。更に、第１画像６０５及び遮蔽画像６０９は同一の視角に対応するから、これらはシーンのレイヤ３Ｄ表現を表す。
【０１０４】
奥行きレベルは、これらの間の差が所与の値より小さい場合、選択の目的のために同一の奥行きレベルと見なすことができるか、又は代わりに又は付加的に奥行きレベルは選択ステップに対しては相対的に粗い量子化を使用することができることが分かる。
【０１０５】
また、幾つかの実施例又は筋書きにおいては、遮蔽レイヤを第２、第３、第４等の最も前景の奥行きレベルを選択することにより発生することができることも分かる。確かに、上記方法を各反復において異なるレベルが選択されるようにして、及び各遮蔽レイヤにより繰り返すことにより複数の遮蔽レイヤを発生することもできる。
【０１０６】
幾つかの実施例では、奥行きレベルの選択基準の結果、前記一群の転移された画像から複数の好適な画像特性値が利用可能になり得る。この場合、当該選択は他の要因又はパラメータを考慮に入れることができる。例えば、平行移動前の元の画像特性マップ内に存在する画像特性値を、当該平行移動処理において発生された画像特性値よりも優先的に選択することができる。例えば、元の画像ピクセル値を、ピクセル複製により発生された画像ピクセル値より優先して選択することができる。
【０１０７】
図７は、第１画像に対する遮蔽画像特性マップを発生する方法の一例を示し、該遮蔽画像特性マップは第１画像において遮蔽される少なくとも幾つかの画像特性値を含む。該方法は、シーンを表す画像のための画像特性マップを視点に応じて発生することが可能なレンダリングアルゴリズムを使用する。
【０１０８】
この方法はステップ７０１で開始し、該ステップにおいては、第１画像特性マップが第１視点に対して第１アルゴリズムを実行することにより発生される。
【０１０９】
該方法はステップ７０３に続き、該ステップにおいては、第２画像特性マップが第２視点に対して上記第１アルゴリズムを実行することにより発生される。ステップ７０１及び／又は７０３は、更なる視点に対応する更なる画像特性マップに関して繰り返すことができることが分かる。
【０１１０】
ステップ７０３にはステップ７０５が後続し、該ステップにおいては、第１画像及び第２画像に応答して遮蔽画像特性マップが発生される。該ステップ７０５は、特に、図４の方法を実行する。
【０１１１】
次いで、上記の遮蔽画像特性マップは上記第１画像又は他の画像特性マップと組み合わされて、３Ｄ画像データの効率的な表現を行うことができる。
【０１１２】
上記方法は、特に、例えば図１を参照して説明したもののようなプロセッサ又は計算プラットフォーム上で実行することができる。更に、上記方法は、ソフトウェアツールが三次元モデル化コンピュータプログラムを用いて使用されて、三次元シーンに関して遮蔽視点に対する遮蔽画像特性マップを発生するのを可能にすることができることが分かる。該遮蔽画像特性マップは、遮蔽視点からは遮蔽される少なくとも幾つかの画像特性値を有する。また、上記三次元モデル化コンピュータプログラムは、上記三次元シーンを表す画像に関する画像特性マップを視点の関数として発生するよう構成されたアルゴリズムを有する。特に、上記ソフトウェアツールは３Ｄモデル化ソフトウェアプログラム又はアプリケーションのためのソフトウェアプラグインとすることができ、特に、第１視点に対して上記アルゴリズムを実行することにより第１画像特性マップを発生するステップと、第１視点に対して第１のオフセットを有する第２視点に対して上記アルゴリズムを実行することにより第２画像特性マップを決定するステップと、第１及び第２画像に応答して遮蔽画像特性マップを発生するステップとを実施化するように構成することができる。
【０１１３】
上記記載は、明瞭化のために、本発明の実施例を異なる機能ユニット及びプロセッサを参照して説明したことが分かる。しかしながら、異なる機能ユニット又はプロセッサの間の機能の如何なる適切な分散も、本発明を損なうことなく使用することができることは明らかであろう。例えば、特定の機能ユニットに対する参照は、厳格な論理的又は物理的構造若しくは構成を示すというよりは、記載された機能を提供するための適切な手段の参照とのみ見られるべきである。
【０１１４】
本発明は、ハードウェア、ソフトウェア、ファームウエア又はこれらの組み合わせを含む如何なる適切な形態でも実施化することができる。また、本発明は、オプションとして、少なくとも部分的に、１以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして実施化することができる。本発明の実施例における構成要素及び構成部品は、物理的に、機能的に及び論理的に、如何なる適切な態様でも実施化することができる。確かなことに、斯かる機能は、単一のユニット内で、複数のユニット内で、又は他の機能ユニットの一部として実施化することができる。そのようであるので、本発明は単一のユニット内で実施化することができるか、又は異なるユニット及びプロセッサ間で物理的に及び機能的に分散させることができる。
【０１１５】
以上、本発明を幾つかの実施例に関連して説明したが、これは、ここで述べた特定の形態に限定されることを意図するものではない。むしろ、本発明の範囲は、添付請求項によってのみ限定されるものである。更に、フィーチャは特定の実施例に関連して説明されているように見えるが、当業者であれば、記載された実施例の種々のフィーチャは本発明に従い組み合わせることができると理解するであろう。尚、請求項において、有するなる用語は他の構成要素又はステップの存在を排除するものではない。
【０１１６】
更に、個別に掲載されていても、複数の手段、構成要素又は方法のステップは、例えば単一のユニット又はプロセッサにより実施化することができる。更に、個々のフィーチャが異なる請求項に含まれていても、これらは有利に組み合わせることができ、異なる請求項に含まれることは、これらのフィーチャの組み合わせが可能でない及び／又は有利でないことを意味するものではない。また、一つのフィーチャが１つの分類の請求項に含まれることは、この分類への限定を意味するものではなく、むしろ、該フィーチャが他の請求項の分類にも、適宜、等しく適用可能であることを示す。更に、請求項におけるフィーチャの順序は、斯かるフィーチャが実行されるべき如何なる特定の順序を意味するものではなく、特に、方法の請求項における個別ステップの順序は、これらステップが該順序で実行されねばならないことを意味するものではない。むしろ、斯かるステップは如何なる適切な順序でも実行することができる。更に、単数形の参照は、複数を排除するものではない。従って、"一つの"、"或る"、"第１の"、"第２の"等は、複数を排除するものではない。また、請求項における符号は、明瞭化する例としてのみ設けられたもので、如何なる形でも当該請求項の範囲を限定するものとみなしてはならない。
【図１】
2012507181.tif 000003
【図２】
2012507181.tif 000004
【図３】
2012507181.tif 000005
【図４】
2012507181.tif 000006
【図５】
2012507181.tif 000007
【図６】
2012507181.tif 000008
【図７】
2012507181.tif 000009
【国際調査報告】
2012507181.tif 000010
2012507181.tif 000011