(57)【特許請求の範囲】
【請求項１】
三次元［３Ｄ］ビデオ宛先装置に伝達するためのビデオを表すビデオ信号を提供するためのビデオソース装置であって、前記ビデオソース装置が、
前記ビデオ信号を生成し、前記ビデオ信号を前記３Ｄビデオ宛先装置に伝達するための出力ユニットを含み、
前記３Ｄビデオ宛先装置が、
前記ビデオ信号を受信するための受信機と、
宛先奥行きデータを提供するための宛先奥行きプロセッサと
を含み、
前記ビデオソース装置が、
フィルタ位置データを含む奥行きフィルタリングデータを提供するためのソース奥行きプロセッサを含み、前記奥行きフィルタリングデータは、前記フィルタ位置データによって指示される前記ビデオのフィルタ領域内の前記宛先奥行きデータを処理するための処理条件を表し、前記出力ユニットが、前記奥行きフィルタリングデータを前記３Ｄビデオ宛先装置に伝達し、
前記宛先奥行きプロセッサが、
前記フィルタ位置データによって指示される前記ビデオのフィルタ領域内の前記宛先奥行きデータを前記奥行きフィルタリングデータに依存して処理する、
ビデオソース装置。
【請求項２】
前記ソース奥行きプロセッサが、
Ｎフレームにわたる時間メジアンフィルタ、
ＭｘＮ画素にわたる空間メジアン、最大、又は最小フィルタ、
ＭｘＮ画素にわたるガウスぼかし、
一次元カーネルにわたるガウスぼかし、
少なくとも１つの固定値に閾値設定するための閾値フィルタ、
バイラテラルグリッドフィルタ、及び前記バイラテラルグリッドフィルタ用のオブジェクトマスク、
利得又はオフセットフィルタ
の少なくとも１つを含むフィルタの種類を前記奥行きフィルタリングデータの中で与える、請求項１に記載のビデオソース装置。
【請求項３】
前記ソース奥行きプロセッサが、
前記フィルタ領域内の動きの量を示す時間的不安定性標識、
奥行きと輝度及び／又はクロミナンスとの間の調整量を示す調整標識、
前記フィルタ領域内の背景ビデオの前にある少なくとも１つのグラフィックオブジェクトを示すグラフィックス標識
の少なくとも１つを含むフィルタ選択標識を前記奥行きフィルタリングデータの中で与える、請求項１に記載のビデオソース装置。
【請求項４】
前記ソース奥行きプロセッサが、
フィルタ係数、
フィルタ強度、
前記フィルタ領域内の前記ビデオのパラメータ、
前記フィルタ領域内のグラフィカルオブジェクトのパラメータ
の少なくとも１つを含むフィルタパラメータデータを前記奥行きフィルタリングデータの中で与える、請求項２又は３に記載のビデオソース装置。
【請求項５】
前記ソース奥行きプロセッサが、
座標並びに／又は幅及び高さを示す長方形領域、
所定の形状の種類の二次元形状であって、前記形状の種類は正方形、円、楕円の少なくとも１つを含み、前記二次元形状の位置が少なくとも中心及び半径によって示される、二次元形状、
一次元形状であって、前記一次元形状の位置が少なくとも１つの点の座標と、長さと、水平、垂直、又は角度の１つを含む方向との少なくとも１つによって示される、一次元形状、
前記フィルタ領域と周囲のビデオとの間の変わり目を示すボーダー領域の種類、
前記それぞれのフィルタ領域を識別する領域インデックス、
バイラテラル奥行きフィルタのための幾何学領域、
オブジェクトを識別するための、フィルタ領域に関連するオブジェクトインデックスパラメータ
の少なくとも１つを含む前記フィルタ位置データを前記奥行きフィルタリングデータの中で与える、請求項１に記載のビデオソース装置。
【請求項６】
前記ソース奥行きプロセッサが、
フィルタ処理を開始するビデオフレームを示す開始標識、
フィルタ処理を停止するビデオフレームを示す停止標識、
フィルタ処理を施す時間を示す時間標識、
対応するフィルタ領域内でフィルタ処理を施すことを示す活性インデックス
の少なくとも１つを含むフィルタ活性標識を前記奥行きフィルタリングデータの中で与える、請求項１に記載のビデオソース装置。
【請求項７】
前記出力ユニットが、
３Ｄ表示装置とインターフェイスするための表示信号、
ブロードキャストネットワーク又はインターネットを介して伝達するための伝達信号、
記録担体上の光学的に読み取ることができるマークによって表わされる記録担体信号
の少なくとも１つを前記ビデオ信号として生成する、請求項１に記載のビデオソース装置。
【請求項８】
ビデオソース装置から受信されるビデオを表すビデオ信号を処理するための三次元［３Ｄ］ビデオ宛先装置であって、
前記ビデオソース装置が、
前記ビデオ信号を生成し、前記ビデオ信号を前記３Ｄビデオ宛先装置に伝達するための出力ユニットを含み、
前記３Ｄビデオ宛先装置が、
前記ビデオ信号を受信するための受信機と、
宛先奥行きデータを提供するための宛先奥行きプロセッサと
を含み、
前記ビデオソース装置が、
フィルタ位置データを含む奥行きフィルタリングデータを提供するためのソース奥行きプロセッサを含み、前記奥行きフィルタリングデータは、前記フィルタ位置データによって指示される前記ビデオのフィルタ領域内の前記宛先奥行きデータを処理するための処理条件を表し、前記出力ユニットが、前記奥行きフィルタリングデータを前記３Ｄビデオ宛先装置に伝達し、
前記宛先奥行きプロセッサが、
前記フィルタ位置データによって指示される前記ビデオのフィルタ領域内の前記宛先奥行きデータを前記奥行きフィルタリングデータに依存して処理する、
３Ｄビデオ宛先装置。
【請求項９】
前記宛先奥行きプロセッサが、前記宛先奥行きデータを提供するために、
２Ｄビデオ信号から３Ｄビデオデータを生成するための２Ｄ−３Ｄ変換器、
３Ｄディスプレイ上の左眼ビューを表す第１のビデオ情報と、前記３Ｄディスプレイ上の右眼ビューを表す第２のビデオ情報とを含むビデオ信号から奥行きマップを生成するための奥行きマップ生成器、
オートステレオスコピック３Ｄディスプレイのために複数のビューをワーピングさせるためのビューワーパー
の少なくとも１つを含む、請求項８に記載の３Ｄビデオ宛先装置。
【請求項１０】
前記３Ｄビデオ宛先装置が、
前記ビデオ信号を受け取るために記録担体を読み取るための読取ユニット、
３Ｄビデオデータを表示するための３Ｄディスプレイ
の少なくとも１つを含む、請求項８に記載の３Ｄビデオ宛先装置。
【請求項１１】
三次元［３Ｄ］ビデオ宛先装置に伝達するためのビデオを表すビデオ信号を提供する方法であって、前記３Ｄビデオ宛先装置が、
前記ビデオ信号を受信するための受信機と、
宛先奥行きデータを提供するための宛先奥行きプロセッサと
を含み、
前記方法が、
前記ビデオ信号を生成し、前記ビデオ信号を前記３Ｄビデオ宛先装置に伝達するステップと、
フィルタ位置データを含む奥行きフィルタリングデータを提供するステップであって、前記奥行きフィルタリングデータは、前記フィルタ位置データによって指示される前記ビデオのフィルタ領域内の前記宛先奥行きデータを処理するための処理条件を表す、ステップと、
前記奥行きフィルタリングデータを前記３Ｄビデオ宛先装置に伝達するステップと
を含み、
前記宛先奥行きプロセッサが、
前記フィルタ位置データによって指示される前記ビデオのフィルタ領域内の前記宛先奥行きデータを前記奥行きフィルタリングデータに依存して処理する、
方法。
【請求項１２】
ビデオソース装置から受信されるビデオを表すビデオ信号を処理する方法であって、前記ビデオソース装置が、
前記ビデオ信号を生成するための出力ユニットと、
フィルタ位置データを含む奥行きフィルタリングデータを提供するためのソース奥行きプロセッサであって、前記奥行きフィルタリングデータが、前記フィルタ位置データによって指示される前記ビデオのフィルタ領域内の宛先奥行きデータを処理するための処理条件を表す、ソース奥行きプロセッサと
を含み、
前記方法が、
前記ビデオ信号を受信するステップと、
宛先奥行きデータを提供するステップと、
前記奥行きフィルタリングデータを前記ビデオソース装置から伝達されるステップと、
前記フィルタ位置データによって指示される前記ビデオのフィルタ領域内の前記宛先奥行きデータを前記奥行きフィルタリングデータに依存して処理するステップと
を含む、方法。
【請求項１３】
ビデオ信号を処理するためのコンピュータプログラムであって、前記プログラムは、請求項１１又は１２に記載の方法のそれぞれのステップをプロセッサに行わせる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元［３Ｄ］ビデオ宛先装置に伝達するためのビデオを表すビデオ信号を提供するためのビデオソース装置に関する。ソース装置は、ビデオ信号を生成し、そのビデオ信号を宛先装置に伝達するための出力ユニットを有する。宛先装置は、ビデオ信号を受信するための受信機と、宛先奥行きデータを提供するための宛先奥行きプロセッサとを含む。
【０００２】
本発明は更に、３Ｄビデオ宛先装置、３Ｄビデオ信号を提供し処理する方法、ビデオ信号、及びビデオ信号を処理する方法に関する。
【０００３】
本発明は、ソース装置、例えば放送装置、インターネットウェブサイトサーバ、認証システム、ブルーレイディスクの製造業者等においてビデオ信号を生成し、３Ｄビデオを描画するために奥行きデータを必要とする３Ｄ宛先装置、例えばブルーレイディスクプレーヤ、３ＤＴＶセット、３Ｄディスプレイ、モバイルコンピューティング装置等に伝達する分野に関する。
【背景技術】
【０００４】
文献「Real-time free-viewpoint viewer from multiview video plus depth representation coded by H.264/AVC MVC extension, by Shinya Shimizu, Hideaki Kimata, and Yoshimitsu Ohtani, NTT Cyber Space Laboratories, NTT Corporation, 3DTV-CON, IEEE 2009」は、ＭＰＥＧ符号化されたビデオ伝達信号と共に３Ｄビデオ技術、具体的にはビデオフォーマット内に奥行きマップを含めるためのマルチビュー符号化（ＭＶＣ:Multi View Coding）拡張について記載している。奥行きマップビデオ符号化を含めるためのＭＶＣ拡張は、関係する複数の補足ビュー、即ち奥行きマップビューと共に複数のビューを表すビットストリームを構築できるようにする。この文献によれば、３Ｄディスプレイ上の左眼ビューを表す第１のビデオ情報と、３Ｄディスプレイ上の右眼ビューを表す第２のビデオ情報とを有する３Ｄビデオデータストリームに奥行きマップが追加され得る。復号器側では、奥行きマップは、例えばオートステレオスコピックディスプレイのために、左右のビューに加えて更なるビューを生成することを可能にする。
【０００５】
更に、３Ｄビデオ宛先装置は、奥行きマップ等の宛先奥行きデータを提供するために、２Ｄビデオ信号から３Ｄビデオデータを生成するための２Ｄ−３Ｄ変換器、又は左眼ビュー及び右眼ビューを含むビデオ信号から奥行きマップを生成するための奥行きマップ生成器を有することができる。
【０００６】
上記の内容から、奥行きマップ若しくは他の奥行きデータを伝達前に含めることにより、又は奥行きデータを宛先において生成することにより、ビデオ素材に奥行きデータが与えられ得るように思われる。しかしながら、追加の奥行きデータを伝達するにはデータの伝達容量が必要であり、宛先において生成される奥行きデータの品質は低い可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、奥行きデータをビデオデータと共に伝達することなしに、十分な品質を有する奥行きデータを宛先側で提供することである。
【課題を解決するための手段】
【０００８】
このために、本発明の第１の態様によれば、導入部に記載したソース装置が、フィルタ位置データを含む奥行きフィルタリングデータを提供するためのソース奥行きプロセッサを含み、奥行きフィルタリングデータが、フィルタ位置データによって指示されるビデオのフィルタ領域内の宛先奥行きデータを処理するための処理条件を表し、出力ユニットが、奥行きフィルタリングデータを宛先装置に伝達するように構成される。
【０００９】
このために、宛先装置内では、宛先奥行きプロセッサが、フィルタ位置データによって指示されるビデオの領域内の宛先奥行きデータを奥行きフィルタリングデータに依存して処理するように構成される。
【００１０】
このために、３Ｄビデオ宛先装置に伝達するためのビデオを表すビデオ信号を提供する方法が、
−  ビデオ信号を生成し、そのビデオ信号を宛先装置に伝達するステップと、
−  フィルタ位置データを含む奥行きフィルタリングデータを提供するステップであって、奥行きフィルタリングデータは、フィルタ位置データによって指示されるビデオのフィルタ領域内の宛先奥行きデータを処理するための処理条件を表す、ステップと、
−  奥行きフィルタリングデータを宛先装置に伝達するステップと
を含む。
【００１１】
このために、ビデオソース装置から受信されるビデオを表すビデオ信号を処理する方法が、
−  ビデオ信号を受信するステップと、
−  宛先奥行きデータを提供するステップと、
−  フィルタ位置データによって指示されるビデオの領域内の宛先奥行きデータを奥行きフィルタリングデータに依存して処理するステップと
を含む。
【００１２】
このために、３Ｄビデオ宛先装置に伝達するためのビデオを表すビデオ信号が、フィルタ位置データを含む奥行きフィルタリングデータを含み、奥行きフィルタリングデータは、フィルタ位置データによって指示されるビデオのフィルタ領域内の宛先奥行きデータを処理するための処理条件を表す。
【００１３】
これらの手段には、宛先装置が、奥行きフィルタリングデータを受信し、フィルタ位置データによって指示されるビデオの領域内の宛先奥行きデータを奥行きフィルタリングデータに依存して処理できるようにされる効果がある。従って、画像の特定の領域内で特定のフィルタ操作を局所的に行うことにより、宛先奥行きデータの改良版が得られる。
【００１４】
具体的には、特定のフィルタ操作及び特定の領域の両方がソース側、例えば放送装置や作者によって制御される。ソース側では、質の高い奥行きデータ及び／又は実質的に無制限の処理（例えばオフライン）資源が入手可能である。しかし、伝達路が限られているので、ソースで入手可能な全てのデータが宛先側に伝達され得るわけではない。奥行きデータ一式を伝達するのではなく、奥行きデータが宛先側で局所的に提供され（例えば２Ｄビデオから作成され、Ｌ／Ｒステレオビデオから再構築され、又は低分解能の若しくは不完全版の奥行きマップに基づき補足され）なければならない。ソース側は、宛先側で奥行きデータを従来通り提供することが失敗する問題領域、及び／又は邪魔なアーティファクトが生じ得る問題領域を知っている。有利には、特定の位置及び特定のフィルタ又は問題を含む奥行きフィルタリングデータを伝達することにより、ソース側は奥行きデータを作成する過程において宛先側を効果的に支援する、例えば３Ｄディスプレイ上に表示される複数のビューをワーピングさせるための宛先奥行きマップを生成することができる。従って、利用可能なときに利用可能な場所で、宛先奥行きデータを向上させるために奥行きフィルタリングデータが適用される。
【００１５】
実際上、宛先装置にはソースの制御下で追加の奥行き処理データ、例えばフィルタパラメータや命令が提供され、そのデータはソースが宛先奥行きデータの処理を制御し、向上させることを可能にする。有利には、奥行きフィルタリングデータは多くの処理資源を利用できるソースで生成され、オフラインでの生成が可能にされる。奥行きデータが最適化されるので、宛先側（即ち顧客側）での処理要件が下げられ、３Ｄ効果が高まる。
【００１６】
任意選択的に、ソース奥行きプロセッサは、
−  Ｎフレームにわたる時間メジアンフィルタ、
−  ＭｘＮ画素にわたる空間メジアン、最大、又は最小フィルタ、
−  ＭｘＮ画素にわたるガウスぼかし、
−  一次元カーネルにわたるガウスぼかし、
−  少なくとも１つの固定値に閾値設定するための閾値フィルタ、
−  バイラテラルグリッドフィルタ、及びバイラテラルグリッドフィルタ用のオブジェクトマスク、
−  フィルタ領域の利得又はオフセット
の少なくとも１つを含むフィルタの種類を奥行きフィルタリングデータの中で与えるように構成される。
【００１７】
有利には、特定の領域内で最適な改善をもたらす特定のフィルタの種類が宛先側で選択され、適用されるために宛先側に伝達される。
【００１８】
任意選択的に、ソース奥行きプロセッサが、
−  フィルタ領域内の動きの量を示す時間的不安定性標識、
−  奥行きと輝度及び／又はクロミナンスとの間の調整量を示す調整標識、
−  フィルタ領域内の背景ビデオの前にある少なくとも１つのグラフィックオブジェクトを示すグラフィックオブジェクト標識
の少なくとも１つを含むフィルタ選択標識を奥行きフィルタリングデータの中で与えるように構成される。
【００１９】
有利には、フィルタ選択標識が、ビデオの特定の領域内で生じる特定の有害作用又は問題を示し、宛先側が適切なフィルタ操作を活性化して有害作用を補償することを可能にする。
【００２０】
任意選択的に、ソース奥行きプロセッサが、
−  フィルタ係数、
−  フィルタ強度、
−  フィルタ領域内のビデオのパラメータ、
−  領域内のグラフィカルオブジェクトのパラメータ
の少なくとも１つを含むフィルタパラメータデータを奥行きフィルタリングデータの中で与えるように構成される。
【００２１】
有利には、宛先側で適用されるフィルタパラメータデータを伝達することは、フィルタ操作を最適化する際に宛先側を支援するための、相対的に非常に少ないデータ伝達容量しか必要としない極めてコンパクトな方法である。
【００２２】
任意選択的に、ソース奥行きプロセッサが、
−  座標並びに／又は幅及び高さを示す長方形領域、
−  所定の形状の種類の二次元形状であって、形状の種類は正方形、円、楕円の少なくとも１つを含み、二次元形状の位置が少なくとも中心及び半径によって示される、二次元形状、
−  一次元形状であって、その位置が少なくとも１つの点の座標と、長さと、水平、垂直、又は角度の１つを含む方向との少なくとも１つによって示される、一次元形状、
−  フィルタ領域と周囲のビデオとの間の変わり目を示すボーダー領域の種類、
−  それぞれのフィルタ領域を識別する領域インデックス、
−  バイラテラル奥行きフィルタのための幾何学領域、
−  オブジェクトを識別するための、フィルタ領域に関連するオブジェクトインデックスパラメータ
の少なくとも１つを含むフィルタ位置データを奥行きフィルタリングデータの中で与えるように構成される。
【００２３】
有利には、フィルタ操作が行われる特定の領域が、相対的に非常に少ないデータ伝達容量しか必要としない少数の幾何学的パラメータによって表わされる。
【００２４】
任意選択的に、ソース奥行きプロセッサが、
−  フィルタ処理を開始するビデオフレームを示す開始標識、
−  フィルタ処理を停止するビデオフレームを示す停止標識、
−  フィルタ処理を施す時間を示す時間標識、
−  対応するフィルタ領域内でフィルタ処理を施すことを示す活性インデックス
の少なくとも１つを含むフィルタ活性標識を奥行きフィルタリングデータの中で与えるように構成される。
【００２５】
有利には、ソース側は、ビデオフレームごとにデータを繰り返すことなしに、フィルタ操作を行うべき時間を制御することが可能にされる。
【００２６】
任意選択的に、出力ユニットが、
−  ３Ｄ表示装置とインターフェイスするための表示信号、
−  ブロードキャストネットワーク又はインターネットを介して伝達するための伝達信号、
−  記録担体上の光学的に読み取ることができるマークによって表わされる記録担体信号
の少なくとも１つをビデオ信号として生成するように構成される。
【００２７】
有利には、奥行きフィルタリングデータの特徴を含めることにより、ビデオ伝達チェーン（最初のオーサリングから視聴者の前の３Ｄディスプレイ上での最終的な描画まで）の中の様々な実用上のソース装置が強化される。
【００２８】
任意選択的に、宛先奥行きプロセッサが、宛先奥行きデータを提供するために、
−  ２Ｄビデオ信号から３Ｄビデオデータを生成するための２Ｄ−３Ｄ変換器、
−  ３Ｄディスプレイ上の左眼ビューを表す第１のビデオ情報と、３Ｄディスプレイ上の右眼ビューを表す第２のビデオ情報とを含むビデオ信号から奥行きマップを生成するための奥行きマップ生成器、
−  オートステレオスコピック３Ｄディスプレイのために複数のビューをワーピングさせるためのビューワーパー
の少なくとも１つを含む。
【００２９】
更に、宛先装置が、
−  ビデオ信号を受け取るために記録担体を読み取るための読取ユニット（５８）、
−  ３Ｄビデオデータを表示するための３Ｄディスプレイ（６３）
の少なくとも１つを含んでも良い。
【００３０】
有利には、奥行きフィルタリングデータの特徴を含めることにより、ビデオ伝達チェーンの中の様々な実用上の宛先装置が強化される。
【００３１】
更に、ソース装置に関して上記に記載した様々な任意選択肢を含めることにより、宛先装置、ビデオ信号を提供する方法、ビデオ信号自体、ビデオ信号を処理する方法、及び対応するコンピュータプログラム製品が強化され得る。
【００３２】
本発明による装置及び方法の更なる好ましい実施形態は、その開示が参照により本明細書に援用される添付の特許請求の範囲の中で示されている。
【００３３】
本発明のこれらの及び他の態様が、以下の説明の中で例として記載される実施形態を参照し、添付図面を参照することで明らかになり更に説明される。
【図面の簡単な説明】
【００３４】
【図１】３Ｄビデオデータを処理し、その３Ｄビデオデータを表示するためのシステムを示す。
【図２】奥行きフィルタリングデータを使用する３Ｄ復号器を示す。
【図３】奥行きフィルタリングデータを与える３Ｄ符号器を示す。
【図４】オートステレオ表示装置を有するシステム及び複数のビューのワーピングを示す。
【図５】ビデオデータ及びフィルタ位置データの一例を示す。
【図６】フィルタ位置データの例を示す。
【図７】フィルタ選択標識の一例を示す。
【００３５】
これらの図面は全く概略的であり、縮尺通りに描かれていない。図中、既に記載されている要素に対応する要素は同じ参照番号を有し得る。
【発明を実施するための形態】
【００３６】
本発明は、以下で更に説明される奥行きフィルタリングデータをソース側で提供し、宛先で奥行きデータを処理することにより３Ｄ効果を向上させるために、奥行きフィルタリングデータを宛先側に伝達することを含む。かかる伝達は様々な方法で行われ得る。例えば、奥行きフィルタリングデータが３Ｄビデオ信号自体の中に含められても良い。更に、奥行きフィルタリングデータは、別の信号としてだが同じ伝達媒体を使用して伝達されても良い。更に、奥行きフィルタリングデータは、主たる３Ｄビデオデータが別の方法で、例えばブロードキャストやＢＤの３Ｄ版によって伝達されながら別途、例えばインターネットを介して伝達されても良い。そのように分けて伝達することは、既に視聴者が保持している既存の３Ｄ素材又は視聴者に別途若しくは別の時点で伝達される３Ｄ素材の３Ｄ品質を改善できるようにする。ビデオデータ及び奥行きフィルタリングデータをソースから宛先に伝達する如何なる方法もビデオ信号の伝達と呼ぶことができ、ビデオ信号は３Ｄビデオ成分の１つ又は複数を含むことができ、又はそれぞれの成分を別々に伝達するための様々な信号を含むことができる。
【００３７】
所謂３Ｄビデオフォーマットに従い、３Ｄビデオ信号がフォーマットされ、伝達され得る多くの異なる方法がある。一部のフォーマットは、ステレオ情報も運ぶために２Ｄチャネルを使用することに基づく。３Ｄビデオ信号では、画像が画素の二次元配列内の画像値によって表される。例えば、フレーム内で左右のビューがインタレースされても良く、又は並べて若しくは上下（互いの上・下に）に配置されても良い。更に、奥行きマップが伝達されても良く、場合によりオクルージョンや透明性データ等の更なる３Ｄデータも伝達され得る。本文では、視差マップも一種の奥行きマップと見なされる。奥行きマップも画像に対応する二次元配列内の奥行き値を有するが、奥行きマップは異なる分解能を有し得る。３Ｄビデオデータは、それ自体で知られている圧縮方法、例えばＭＰＥＧに従って圧縮されても良い。インターネットやブルーレイディスク（ＢＤ）等、如何なる３Ｄビデオシステムも、提案される機能強化の恩恵を受けることができる。更に、例えばＨＤＭＩ（登録商標）に基づき、ブルーレイプレーヤ等の３Ｄソースと３ＤディスプレイやＴＶセット等の宛先装置との間で伝達される３Ｄビデオ信号も向上され得る。
【００３８】
３Ｄディスプレイは、比較的小さなユニット（例えば携帯電話）、シャッタグラスを必要とする大きいステレオディスプレイ（ＳＴＤ:Stereo Display）、任意のステレオスコピックディスプレイ（ＳＴＤ:stereoscopic display）、可変ベースラインを考慮に入れるアドバンスドＳＴＤ、視点追従に基づきＬビュー及びＲビューを視聴者の眼にターゲッティングするアクティブＳＴＤ、又はオートステレオスコピックマルチビューディスプレイ（ＡＳＤ:auto-stereoscopic multiview display）等とすることができる。
【００３９】
例えば「Call for Proposals on 3D Video Coding Technology」−MPEG document N12036, March 2011, Geneva, Switzerlandの中で論じられているように、通常、３Ｄビデオを伝達することは複数のビュー（カメラ信号）及びその対応する奥行きを圧縮して伝達することを伴う。復号器内の自動変換（奥行きがステレオから自動的に導出されること）は、例えば「Description of 3D Video Coding Technology Proposal by Disney Research Zurich and Fraunhofer HHI」MPEG document M22668, Nov 2011, Geneva, Switzerlandからそれ自体で知られている。前述の様々な種類のディスプレイ、例えばＡＳＤやアドバンスドＳＴＤのために、３Ｄ信号内の奥行きデータに基づきビューが可変ベースラインに関してワープされる必要がある。しかし、様々な種類の奥行きデータに基づいてワープされるビューの品質は限られている場合がある。
【００４０】
ビデオ信号は、例えば１／２ＨＤフレーム準拠、マルチビュー符号化（ＭＶＣ）又はフレーム準拠フル分解能（例えばDolby Laboratories, Inc.によって提唱されるＦＣＦＲ）を使用する標準ステレオ伝達等の３Ｄについて強化されたＴＶ放送信号とすることができる。フレームに準拠したベースレイヤに基づき、Dolbyはフル分解能の３Ｄ画像を再現するための強化レイヤを開発した。この技法は標準化のためにＭＰＥＧに提唱されており、約１０％のビットレート増しか必要としない。以下で説明するように、従来の３Ｄビデオ信号が奥行きフィルタリングによって強化される。
【００４１】
図１は、３Ｄビデオデータを処理し、その３Ｄビデオデータを表示するためのシステムを示す。ビデオソース装置４０と呼ばれる最初のビデオ装置が、３Ｄビデオ宛先装置５０と呼ばれる更なる画像処理装置にビデオ信号４１を提供し伝達し、３Ｄビデオ宛先装置５０は、３Ｄ表示信号５６を伝達するために３Ｄ表示装置６０に結合されている。
【００４２】
図１は、強化されたビデオ信号の担体として記録担体５４を更に示す。記録担体はディスク状であり、トラックと中央の穴を有する。物理的に検出可能なマークのパターンによって構成されるトラックは、１つ又は複数の情報レイヤ上にほぼ平行なトラックを構成する螺旋状又は同心円状の曲線パターンに従って配列される。記録担体は光学的に読み取ることができても良く、光学ディスク、例えばＤＶＤやＢＤ（ブルーレイディスク）と呼ばれる。情報は、トラックに沿った光学的に検出可能なマーク、例えばピットやランドにより、情報レイヤ上に具体化される。このトラック構造は、情報ブロックと通常呼ばれる情報単位の位置を示すための位置情報、例えばヘッダやアドレスも含む。記録担体５４は、例えばＭＰＥＧ２又はＭＰＥＧ４符号化システムに従い、ＤＶＤやＢＤフォーマット等の既定の記録フォーマットに符号化されるビデオ等、デジタル符号化された３Ｄ画像データを表す情報を運ぶ。
【００４３】
ソース装置は、入力ユニット４７を介して受け取られる３Ｄビデオデータを処理するためのソース奥行きプロセッサ４２を有する。入力される３Ｄビデオデータ４３は、記憶システム、レコーディングスタジオ、３Ｄカメラ等から入手可能であり得る。ソースシステムは、３Ｄ画像データのために与えられる奥行きマップを処理することができ、この奥行きマップは、システムの入力部において元からあっても良く、又は以下で説明される高品質処理システムにより、例えばステレオ（Ｌ＋Ｒ）ビデオ信号内の左／右フレームから、又は２Ｄビデオから自動生成されても良く、場合により付随する２Ｄ画像データ又は左／右フレームに対応する奥行き値を正確に表すソース奥行きマップをもたらすために、更に処理され又は補正される。
【００４４】
ソース奥行きプロセッサ４２は、ビデオデータを含むビデオ信号４１を生成する。ビデオ信号は、３Ｄディスプレイ上の左眼ビューを表す第１のビデオ情報と、３Ｄディスプレイ上の右眼ビューを表す第２のビデオ情報とを有し得る。ソース装置は、出力ユニット４６を介してビデオ信号を３Ｄ宛先ビデオ装置に伝達するように、又はビデオ信号を例えば記録担体によって配るために提供するように構成され得る。ビデオ信号は、例えば３Ｄビデオデータを既定のフォーマットに従って符号化しフォーマットすることにより、入力ビデオデータ４３を処理することに基づく。
【００４５】
ソース装置は、第１のビデオ情報及び第２のビデオ情報に基づき生成済み奥行きマップを生成するための、ソースステレオ−奥行き変換器４８を有し得る。奥行きマップを生成するためのステレオ−奥行き変換器は動作中、３Ｄ効果を発生させるために視聴者のそれぞれの眼に表示される左右のビューを表す左フレームＬ及び右フレームＲの時系列を有する、左右ビデオ信号とも呼ばれるステレオ３Ｄ信号を受け取る。このユニットは、左ビュー及び右ビューの視差推定によって生成済み奥行きマップを作り出し、左ビュー及び／又は右ビューに基づき２Ｄ画像を更に提供することができる。視差推定は、ＬフレームとＲフレームとを比較するために使用される動き推定アルゴリズムに基づいても、画像データに由来する遠近的特徴等に基づいても良い。或るオブジェクトのＬビューとＲビューとの大きな差は、差の方向に依存して表示画面の前の又はその後ろの奥行き値に変換される。生成器ユニットの出力が、生成済み奥行きマップである。
【００４６】
生成済み奥行きマップ及び／又は高品質のソースの奥行きマップは、宛先側で必要とされる奥行きフィルタリングデータを求めるために使用され得る。ソース奥行きプロセッサ４２は、次に論じるように様々な任意選択的実施形態に従って奥行きフィルタリングデータをもたらすように構成される。
【００４７】
奥行きフィルタリングデータは、奥行きデータが宛先側で提供される場合に、ビデオのどの領域内で奥行きの誤りが検出されるのかに基づいて生成され得る。更に、例えばソース奥行きマップと生成済み奥行きマップとの宛先側での差が所定の閾値を上回る場合、予期される誤りが視聴者にとって邪魔であると判定される。例えば、所定の奥行きの差が前述の閾値を構成しても良い。閾値は、奥行きの誤りの視認性に影響する更なる画像特性、例えば局所的な画像の輝度、コントラスト、テクスチャに依存させても良い。閾値は、以下の通り宛先奥行きマップの品質水準を検出することによって求められても良い。宛先奥行きマップが、所与の異なるビューに対応する向きを有するビューをワープさせるために使用される。例えばＲ’ビューが、元のＬ画像データ及び生成済み奥行きマップに基づく。その後、Ｒ’ビューと元のＲビューとの差が、例えば良く知られているＰＳＮＲ関数（ピーク信号対雑音比）によって計算される。ＰＳＮＲとは、信号の最大可能パワーと、信号表現の忠実性に影響を与える劣化雑音のパワーとの比率である。多くの信号は非常に広いダイナミックレンジを有するので、ＰＳＮＲは通常１０を底にした常用対数で表される。今度は、生成済み奥行きマップの品質の測度としてＰＳＮＲが使用され得る。この場合の信号は元のデータＲであり、雑音は、生成済み奥行きマップに基づきＲ’をワープさせることによって引き起こされる誤りである。更に閾値も、更なる視認性の基準に基づき、又はエディタが生成済み奥行きマップに基づく結果をオーサリングし若しくは精査し、３Ｄビデオのどのセクション及び／又は期間が奥行きフィルタリングデータによって強化される必要があるのかを制御することによって審査され得る。
【００４８】
奥行きフィルタリングデータは、宛先側における奥行きデータを強化するための奥行き処理条件を表す。例えば、ビデオデータ内のオブジェクトの縁部は、対応する奥行きの差によって調整される必要がある。しかし、Ｌ／Ｒビデオからの奥行きマップ生成を適用する場合、縁部の一部が調整されないことが予期され得る。その場合、調整を明確に改善する奥行きフィルタデータ、具体的には適切な調整フィルタが選択され、前述の縁部を含む領域が対応するフィルタ位置データ内に符号化される。奥行きフィルタリングデータは様々なパラメータを含み得る。
【００４９】
任意選択的に、奥行きフィルタリングデータはフィルタの種類を含む。フィルタの種類は、例えば
−  Ｎフレームにわたる時間メジアンフィルタ、
−  ＭｘＮ画素にわたる空間メジアン、最大、又は最小フィルタ、
−  ＭｘＮ画素にわたるガウスぼかし、
−  一次元カーネルにわたるガウスぼかし、
−  少なくとも１つの固定値に閾値設定するための閾値フィルタ、
−  バイラテラルグリッドフィルタ、及びバイラテラルグリッドフィルタ用のオブジェクトマスク、
−  フィルタ領域の利得又はオフセット
のうちの１つであり得る。
【００５０】
オフセットは、宛先奥行きマップに適用されるとき、ディスプレイ面に対してオブジェクトを前後に効果的に動かす。オフセットをシグナリングすることは、ソース側がフィルタ領域内のオブジェクトを、例えば３Ｄディスプレイ面に近い任意の奥行き位置に移動させることを可能にする。利得は、宛先奥行きマップに適用されるとき、フィルタ領域内の全てのオブジェクトを３Ｄディスプレイ面から離して又は３Ｄディスプレイ面の方に効果的に動かす。例えば、宛先奥行きマップはディスプレイ面における奥行きについてゼロ値を有するように定められても良く、利得は値に対する増倍（multiplication）として適用されても良い。利得をシグナリングすることは、ソース側が３Ｄディスプレイ面に対して重要なオブジェクトの動きを制御することを可能にする。３Ｄ画像を表示するとき、利得はフィルタ領域内の最も近い要素と最も遠い要素との差を決定する。上記では、フィルタ領域がＭｘＮ画素の長方形領域（Ｍ、Ｎは整数である）によって定められ得る。このようなものとして、様々なフィルタの種類が画像処理分野で良く知られている。
【００５１】
任意選択的に、奥行きフィルタリングデータがフィルタ選択標識を含み、この標識は宛先においてフィルタ除去され得る問題の種類又はビデオの特定の領域内で生じる特定の有害作用を示す。かかる作用又は問題を示すことにより、フィルタ選択標識は、宛先側が適切なフィルタ操作を活性化して有害作用を補償することを可能にする。フィルタ選択標識は、例えば
−  フィルタ領域内の動きの量を示す時間的不安定性標識、
−  奥行きと輝度及び／又はクロミナンスとの間の調整量を示す調整標識、
−  フィルタ領域内の背景ビデオの前にある少なくとも１つのグラフィックオブジェクトを示すグラフィックオブジェクト標識
とすることができる。
【００５２】
このようなものとして、奥行きに関係する良く知られている有害効果に対抗するために選択される様々なフィルタが、画像処理分野で良く知られている。
【００５３】
任意選択的に、奥行きフィルタリングデータが、
−  フィルタ係数、
−  フィルタ強度、
−  フィルタ領域内のビデオのパラメータ、
−  領域内のグラフィカルオブジェクトのパラメータ
のうちの１つ又は複数を含むことができる。
【００５４】
このようなものとして、様々なフィルタのパラメータが画像処理分野で良く知られている。フィルタのパラメータ、又はフィルタ位置領域内のオブジェクト及び要素のパラメータはそれ自体で知られており、例えばフィルタ位置領域内で青の色を有する画素は、最大奥行き（例えば青空）にあることを示し、又は実際のライブビデオの前のグラフィカルオブジェクト（メニュ、字幕）の色を示す。
【００５５】
任意選択的に、奥行きフィルタリングデータはフィルタ位置データを含むことができる。フィルタ位置データは、例えば
−  座標並びに／又は幅及び高さを示す長方形領域、
−  所定の形状の種類の二次元形状であって、形状の種類は正方形、円、楕円の少なくとも１つを含み、二次元形状の位置が少なくとも中心及び半径によって示される、二次元形状、
−  一次元形状であって、その位置が少なくとも１つの点の座標と、長さと、水平、垂直、又は角度の１つを含む方向との少なくとも１つによって示される、一次元形状、
−  フィルタ領域と周囲のビデオとの間の変わり目を示すボーダー領域の種類、
−  それぞれのフィルタ領域を識別する領域インデックス、
−  バイラテラル奥行きフィルタのための幾何学領域、
−  オブジェクトを識別するための、フィルタ領域に関連するオブジェクトインデックスパラメータ
の少なくとも１つによって効率的に符号化され得る。
【００５６】
そのようなものとして、様々なフィルタ位置データが画像内の領域を規定することが良く知られている。
【００５７】
任意選択的に、奥行きフィルタリングデータは、
−  フィルタ処理を開始するビデオフレームを示す開始標識、
−  フィルタ処理を停止するビデオフレームを示す停止標識、
−  フィルタ処理を施す時間を示す時間標識、
−  対応するフィルタ領域内でフィルタ処理を施すことを示す活性インデックス
の少なくとも１つを含む１組のインデックス内のタイミング又は動作を示すフィルタ活性標識を含むことができる。
【００５８】
そのようなものとして、様々なフィルタ位置データが画像内の幾何学領域を規定することが良く知られている。
【００５９】
出力ユニット４６は、ビデオ信号内に奥行きフィルタリングデータを含めるように構成される。奥行きプロセッサ４２、任意選択的なステレオ−奥行き変換器４８、及び出力ユニット４６の機能を有する処理装置は、３Ｄ符号器と呼ばれ得る。
【００６０】
ソース装置は、サーバ、放送装置、記録装置、又はブルーレイディスク等の光学的記録担体を製造するためのオーサリングシステム及び／若しくは製造システムであり得る。ブルーレイディスクは、コンテンツクリエータにビデオを配るための相互作用プラットフォームを提供する。ブルーレイディスクのフォーマットについての情報は、オーディオビジュアルアプリケーションフォーマットに関する論文、例えばhttp://www.blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV-WhitePaper_110712.pdf内で、ブルーレイディスクアソシエーションのウェブサイトから入手することができる。光学記録担体の製造過程は、マークの物理パターンをトラック内に与えるステップであって、そのパターンは奥行きフィルタリングデータを含む強化されたビデオ信号を具体化する、ステップと、その後、少なくとも１つの記憶レイヤ上にマークのトラックを与えるために、パターンに従って記録担体の材料を形作るステップとを更に含む。
【００６１】
３Ｄビデオ宛先装置５０は、３Ｄビデオ信号４１を受信するための受信機を有し、その受信機は１つ又は複数の信号インターフェイスユニットと、入力ビデオ信号をパーズするための入力ユニット５１とを有する。例えば、受信機は、ＤＶＤやブルーレイディスク等の光学的記録担体５４から３Ｄビデオ情報を取得するために入力ユニットに結合される光学ディスクユニット５８を含み得る。或いは（又は加えて）、受信機は、ネットワーク４５、例えばインターネット、ホームネットワーク、ブロードキャストネットワークに結合するためのネットワークインターフェイスユニット５９を含んでも良く、かかる装置はセットトップボックスや、携帯電話やタブレットコンピュータ等のモバイルコンピューティング装置である。３Ｄビデオ信号は、離れたウェブサイト又はメディアサーバ、例えば３Ｄソース装置４０から取得され得る。３Ｄ画像処理装置は、画像入力信号を、所要の奥行き情報を有する画像出力信号に変換する変換器とすることができる。かかる変換器は、特定の種類の３Ｄディスプレイ向けの様々な入力３Ｄビデオ信号、例えば標準的な３Ｄコンテンツを、特定の種類又は供給元のオートステレオスコピックディスプレイに適したビデオ信号に変換するために使用され得る。実際には、この装置は、３Ｄ対応の増幅器若しくは受信機、３Ｄ光学ディスクプレーヤ、衛星放送受信機やセットトップボックス、又は任意の種類のメディアプレーヤとすることができる。
【００６２】
３Ｄ宛先装置は、出力インターフェイスユニット５５を介して表示装置に伝達される３Ｄ表示信号５６、例えばＨＤＭＩ（登録商標）規格による表示信号（その３Ｄの部分が公開ダウンロード用にhttp://hdmi.org/manufacturer/specification.aspxで入手可能な「High Definition Multimedia Interface; Specification Version 1.4a of March 4, 2010」参照）を生成するためにビデオ信号に対応する奥行きデータを処理するための、入力ユニット５１に結合される奥行きプロセッサ５２を有する。
【００６３】
３Ｄ宛先装置は、ビデオ変換器５３、例えば第１のビデオ情報及び第２のビデオ情報に基づき宛先の生成済み奥行きマップを生成するためのステレオ−奥行き変換器や、２Ｄビデオ信号から奥行きデータを生成するための２Ｄ−３Ｄ変換器を有しても良い。このステレオ−奥行き変換器の動作は、上記のソース装置内のステレオ−奥行き変換器と同等である。２Ｄ−３Ｄ変換器は、それ自体知られている２Ｄビデオ信号から奥行きデータを生成する。宛先奥行きプロセッサ５２、変換器５３、及び入力ユニット５１の機能を有するユニットは、３Ｄ復号器と呼ばれ得る。
【００６４】
宛先奥行きプロセッサ５２は、表示装置６０上に表示するために３Ｄ表示信号５６内に含められる奥行きデータを生成するように構成される。奥行きプロセッサは、３Ｄディスプレイのためにビューをワーピングできるようにする宛先奥行きマップを提供するように構成され得る。入力ユニット５１は、３Ｄビデオ信号から奥行きフィルタリングデータを取得するように構成され、その奥行きフィルタリングデータは、ビデオ情報に関係するソース奥行き情報に基づき、フィルタ位置データによって指示されるビデオのフィルタ領域内で宛先奥行きデータを処理するための処理条件を表す。宛先奥行きプロセッサは、３Ｄビデオ信号から取得される奥行きフィルタリングデータに依存してビューをワーピングさせるために、宛先奥行きデータ、例えば奥行きマップを処理するように構成される。奥行きフィルタリングデータの処理については、以下で更に説明されている。
【００６５】
３Ｄ表示装置６０は、３Ｄ画像データを表示するためのものである。この装置は、３Ｄビデオデータ及び宛先奥行きデータを含む３Ｄ表示信号５６を３Ｄ宛先装置５０から受信するための入力インターフェイスユニット６１を有する。この装置は、宛先奥行きマップに依存してビデオ情報に基づき３Ｄビデオデータの複数のビューを生成するためのビュープロセッサ６２と、その３Ｄビデオデータの複数のビューを表示するための３Ｄディスプレイ６３とを有する。３Ｄディスプレイ６３、例えばマルチビューＬＣＤ上に表示するためにビューをワーピングさせるために、伝達される３Ｄビデオデータが処理装置６２内で処理される。
【００６６】
３Ｄ表示装置６０内のビデオプロセッサ６２は、１つ又は複数のビューを描画するための表示制御信号を生成するために３Ｄビデオデータを処理するように構成される。ビューは、知られている位置における１つ又は複数の２Ｄビュー及び宛先奥行きマップを用いて３Ｄ画像データから生成される。知られている位置におけるビュー及び奥行きマップを使用することに基づき、異なる３Ｄ表示眼球位置用のビューを生成するプロセスは、ビューのワーピングと呼ばれる。或いは、３Ｄプレーヤ装置内のビデオプロセッサ５２が、前述のワーピングを行うように構成され得る。指定の３Ｄディスプレイ用に生成される複数のビューは、３Ｄディスプレイに向けて専用インターフェイスを介して３Ｄ画像信号と共に伝達され得る。
【００６７】
更なる実施形態では、宛先装置と表示装置とが単一の装置へと組み合わせられる。奥行きプロセッサ５２及び処理装置６２の機能、並びに出力ユニット５５及び入力ユニット６１の残りの機能が、単一のビデオ処理装置によって実行され得る。
【００６８】
奥行きフィルタリングデータの原理は、例えばスタジオ又は作者と、消費者に伝達するために現在強化された奥行きマップを更に符号化する放送装置との間の全ての３Ｄビデオ伝達ステップに適用され得ることを指摘しておく。更に、この奥行きフィルタリングデータシステムは、連続した伝達に対して実行されても良く、例えば更に改善されたソース奥行きマップに基づく第２の奥行きフィルタリングデータを含めることにより、初期版に基づき更なる改善版が作成され得る。このことは、３Ｄディスプレイ上で実現可能な品質、奥行き情報の伝達に必要なビットレート、又は３Ｄコンテンツの作成費の面で著しい柔軟性をもたらす。
【００６９】
図２は、奥行きフィルタリングデータを使用する３Ｄ復号器を示す。３Ｄ復号器２０は、BS3（ベース信号３Ｄ）で示される３Ｄビデオ信号用の入力部を有して概略的に図示されている。この３Ｄ復号器は、消費者側にあるセットトップボックス（ＳＴＢ:set top box）の一部とすることができ、奥行きフィルタリングデータシステムによるビットストリーム（BS3）を受け取る。入力デマルチプレクサ２１（ＤＥＭＵＸ）が、入力データをビデオデータ及び奥行きフィルタリングデータのためのビットストリームへとパーズする。第１の復号器２２（ＤＥＣ、例えばＭＶＣ／Ｈ．２６４）がビデオデータをビデオ出力Ｌ及びＲに復号し、これらのビデオ出力は消費者タイプのステレオ−奥行き変換器（CE-S2D）にも結合され、CE-S2Dは、第１の左の奥行きマップLD1及び第１の右の奥行きマップRD1を生成する。或いは、単一の第１の奥行きマップだけが生成され、又は奥行きマップ（例えば低分解能の又は部分的な奥行きマップ）が入力信号内で直接入手可能である。第２の復号器２３が奥行きフィルタリングデータを復号し、奥行き制御信号、具体的にはフィルタ位置信号２６及び奥行きフィルタ信号２７を提供する。奥行き制御信号は、宛先奥行きマップを生成する奥行きマッププロセッサ２５に結合される。更に、デマルチプレクサ２１は、例えばインデックスによって識別される特定の領域内での奥行きフィルタの活性化を示すフラグに基づき、フィルタ活性標識を得ることができる。この例では、奥行きフィルタリングデータを用いて最初の奥行きマップLD1、RD1を修正することにより、左の宛先奥行きマップLD3及び右の宛先奥行きマップRD3が提供される。図４に関して論じられるように、次いで、この３Ｄ復号器の最終的な宛先奥行きマップの出力（LD3／RD3）が、３Ｄ表示装置又はビューワーピングブロックに伝達される。
【００７０】
図３は、奥行きフィルタリングデータを与える３Ｄ符号器を示す。３Ｄ符号器３０は、３Ｄビデオ信号を受信するための入力部（Ｌ、Ｒ）を有して概略的に図示されている。ソース奥行きマップと呼ばれる左の奥行きマップLD4及び右の奥行きマップRD4を生成するために、ステレオ−奥行き変換器（例えば高品質のプロフェッショナルタイプHQ-S2D）が設けられても良い。或いは更なる入力部が、オフラインで（例えば手動で編集され若しくは改善される、又はコンピュータによって生成されるコンテンツの場合は計算されるカメラ入力から）与えられ得る、又は入力３Ｄビデオ信号と共に入手できても良い更なるソース奥行きデータを受信することができる。奥行き処理装置３２は、ソース奥行きマップLD4、RD4及び／又は更なるソース奥行きデータを受け取り、奥行きフィルタリングデータが生成されるべきかどうか、及びどの位置について生成されるべきかを判定する。この例では、奥行きフィルタリングデータ信号３６及びフィルタ位置信号３７が、符号器３４に結合されている。奥行きフィルタリングデータに関する様々な任意選択肢を以下に示す。
【００７１】
符号化後、出力マルチプレクサ３５（ＭＵＸ）により、奥行きフィルタリングデータが出力信号内に含められる。このマルチプレクサは、第１の符号器３３から符号化済みのビデオデータビットストリーム（BS1）を、第２の符号器３４からは符号化済みの奥行きフィルタリングデータビットストリーム（BS2）も受け取り、BS3で示す３Ｄビデオ信号を生成する。
【００７２】
任意選択的に、ソース奥行きプロセッサは、例えば３Ｄビデオ信号内のショットに依存して或る期間にわたり奥行きフィルタリングデータを適用することを示すフィルタ活性信号を生成するように構成される。事実上、奥行きフィルタリングデータは、同じ３Ｄ構成、例えば特定のカメラ及びズーム構成を有する３Ｄビデオ信号の期間に当てはまり得る。通常、この構成はビデオ番組のショットの間ほぼ一定である。ショットの境界はソース側において知られていても良く、又はソース側で容易に検出されても良く、ショットに対応する期間について１組の奥行きフィルタリングデータが有利に集められる。ショットの境界の自動検出は、それ自体知られている。更に、境界はソースにおけるビデオ編集過程中に既に印付けされ、又は決定されていても良い。奥行きフィルタリングデータが或る単一のショットについてもたらされても良く、次のショットで変えられても良い。例えば、顔のクローズアップショットについて或るオフセット値が与えられても良く、顔の領域がフィルタ位置データによって指示され、そのフィルタ位置データの後、離れた風景の次のショットのための別の奥行きフィルタリングデータが続いても良い。
【００７３】
ソース奥行きプロセッサは、フィルタ位置データとして、３Ｄビデオ信号内の少なくとも１つのマクロブロックに調整される領域を示すデータを与えるように構成されても良く、マクロブロックは、圧縮ビデオデータの所定のブロックを表す。マクロブロックは、例えばＭＰＥＧ符号化されたビデオ信号内の圧縮ビデオデータの所定のブロックを表す。かかる領域データは、効率的に符号化され処理される。
【００７４】
一実施形態では、３Ｄビデオ信号が符号化済みのビデオデータストリームを含むようにフォーマットされ、既定の規格、例えばＢＤ規格による復号情報を運ぶように構成される。３Ｄビデオ信号内の奥行きフィルタリングデータは、かかる規格の拡張に従って復号情報として、例えばユーザデータメッセージ内に又はシグナリングエレメンタリストリーム情報［ＳＥＩ］メッセージ内に、これらのメッセージがビデオエレメンタリストリーム内で運ばれるとき含められる。或いは、３Ｄビデオ信号内に別のテーブル又はＸＭＬベースの記述が含められても良い。奥行きマップを解釈するときに奥行きフィルタリングデータが使用される必要があるとき、奥行きデータを運ぶビデオストリームの一部を形成する追加の所謂ＮＡＬユニット内にシグナリングが含められても良い。かかるＮＡＬユニットについては、導入部で言及した文献「Working Draft on MVC extensions」の中で説明されている。例えば、Depth_Signalingデータが入力されるテーブルを用いてdepth_range_updateＮＡＬユニットが拡張されても良い。
【００７５】
有利には、３Ｄ符号器３０は、符号化プロセス中、高品質のステレオ−奥行き変換器（HQ-S2D）を用いてソース奥行きマップLD4及びRD4を生成するだけでなく、対応する３Ｄ復号器の挙動も模倣し、即ち３Ｄ符号器も、消費者タイプのステレオ−奥行き変換器を使用して対応する３Ｄ復号器によって実施されるのと同じステレオ−奥行きアルゴリズムを使用し、奥行きマップを再構築する。
【００７６】
高品質のステレオ−奥行き変換器（又は入手可能な場合は正確な奥行きマップ）、及び消費者タイプのステレオ−奥行き変換器の奥行きマップの両方の奥行きマップを使用することにより、３Ｄ符号器は、１回又は複数回の反復を使用して反復的にフィルタリングを構成することができる。比較することにより、３Ｄ符号器は、例えばフィルタリングを必要とし得る奥行きマップ内の領域を識別することができ、及び／又はこれらの奥行きマップを使用してフィルタをより正確に定め若しくはパラメータ化することができる。
【００７７】
上記の手法は、あり得る最良の結果を実現するために、３Ｄ符号器が消費者タイプのステレオ−奥行きアルゴリズムにアクセスできることを必要としないが、３Ｄ符号器がフィルタ位置信号２６及び／又は奥行きフィルタ信号２７の生成を微調整できるようにすることを指摘しておく。
【００７８】
図４は、３Ｄ表示装置及び複数のビューのワーピングを示す。３Ｄ表示装置４００が、左右のビュー４２１及び奥行きフィルタリングデータ４２０を受け取り、これらのデータはＢＤプレーヤ４５０と３Ｄ表示装置４００との間のインターフェイス上で別々に伝達されても良く、又は多重化信号内に含められても良い。位置Aにおいて図示されているように、インターフェイスがビデオデータ４１１及び奥行きフィルタリングデータ４１０を伝達し、ＨＤＭＩ（登録商標）規格に従い、ＲＧＢ及び奥行きを伝達するように拡張されても良い（ＲＧＢＤ  ＨＤＭＩ（登録商標））。奥行きフィルタリングデータ４１０に基づき、宛先奥行きマップが奥行きプロセッサ４０１によって生成され又は処理され得る。位置Bにおいて、ビデオデータ及び奥行きマップ４２２が、ビューワーピングユニットとも呼ばれるビューレンダリングユニット４０２に結合される。位置Cにおいて、複数のビュー４２３がビューインタリーバ４０３に結合され、ビューインタリーバ４０３は、オートステレオディスプレイ（ＡＳＤ）４０４に結合されるインタリーブフレーム４２４を位置Dにおいて生成する。インタリーバは、オートステレオスコピックディスプレイの副画素上に中間ビューをマップする。
【００７９】
左右のビュー４２１及び奥行きフィルタリングデータ４２０は、ＢＤプレーヤ４５０と３Ｄ表示装置４００との間のインターフェイス上で別々に伝達されても良く、又は多重化信号内に含められても良い。この例では、ＢＤプレーヤが３Ｄビデオソース装置の役割を有し、宛先装置の役割を有する３Ｄ表示装置４００に奥行きフィルタリングデータを与える。
【００８０】
実際には、多くの３Ｄ用途で奥行き情報が必要とされる。奥行き情報は、ステレオスコピック３Ｄディスプレイ上の奥行きを調節するために、及びマルチビューディスプレイ内のビューを生成するために使用される。かかる奥行き情報は複数の方法で得ることができる。奥行き情報は、２Ｄ又は（ステレオ）３Ｄ入力から手動で若しくは自動的に生成されても良く、測距カメラを使用して別途捕捉され、又はコンピュータグラフィックスコンテンツから抽出されても良い。３Ｄディスプレイでは、２Ｄ又は（ステレオ）３Ｄコンテンツを３Ｄ（ステレオ又はマルチビュー）へと変換する自動変換が多くの場合に適用される。このプロセスの最初のステップは、典型的には奥行きを自動で抽出することである。これらのアルゴリズムの殆どは、幾つかの位置で誤りを作り出し、その誤りには複数の原因（一様な領域、曖昧なステレオマッチング等）があり得る。従来、この誤りは手動の補正を必要とし、その補正はコンテンツ制作／伝達側で施されるべきである。
【００８１】
しかし、自動奥行き推定アルゴリズムは完全ではなく、一部の位置において著しい誤りを作り出す場合がある。より正確な奥行きデータがコンテンツソース側で入手可能だと仮定し、そのデータを伝達してより高い性能を実現することができる。しかし、奥行きデータを記憶し、伝達するにはかなりの帯域幅が必要である。
【００８２】
奥行きマップを伝達する代わりに、誘導後処理（guided post-processing）、例えばメジアン、ぼかし等のフィルタリング操作により、奥行き推定アルゴリズムに起因する局所的な誤りが克服され得る。それに加えて、適用する位置及びフィルタパラメータがソースから宛先に伝達され、自動奥行き生成アルゴリズムの後で受信側において適用される。このようにして、伝達されるデータが少量に減らされる一方、アーティファクトが十分に対処され得る。
【００８３】
実用上のフィルタ及び位置データは以下のものを含む。
−  Ｎフレームにわたる時間メジアンフィルタ、
−  ＭｘＮ画素にわたる空間メジアン／最大／最小フィルタ、
−  ＭｘＮ画素にわたるガウスぼかしフィルタ、
−  フィルタ方向が水平、垂直、又は（角度によって示される）特定の方向にあり得る、１Ｄカーネルを伴うガウスぼかしフィルタ、
−  固定値又は１組の固定値に閾値を適用するための閾値フィルタ、
−  バイラテラルグリッドフィルタ、及び（グラフィックスオブジェクト用の）オブジェクトマスク、
−  指定のフィルタ領域内の利得及び／又はオフセットフィルタリング、
−  例えばバイラテラル奥行きフィルタリングで使用すべき幾何学領域（これらの幾何学的形状が定められた場所で、ルーマ−奥行き間バイラテラルフィルタのルーマを置換すること等）。
【００８４】
オブジェクトを識別するために、各幾何学領域に関連するインデックスパラメータが使用され得る。オブジェクトを識別することは、奥行きを正確に推定するのが通常困難であり、グラフィックスオーバレイのための奥行き処理を向上させる。
【００８５】
上記のフィルタは、フィルタの種類の標識、係数、及び／又はあり得るパラメータ（例えば強度）によって示され得る。フィルタ及び領域のそれぞれの組にインデックスが付けられても良い。
【００８６】
図５は、ビデオデータ及びフィルタ位置データの一例を示す。ビデオフレーム５００内には２つのオブジェクトが見え、第１のオブジェクト５０１（Obj1）は自然な曲線状の形を有し、第２のオブジェクト５０２（Obj2）は長方形の形をしている。１組の第１のフィルタ位置データが、第１のオブジェクトの境界に沿って位置する３つの重なり合う楕円形状５１０、５１１、５１２として定められる。オブジェクトの境界にある任意の邪魔な誤りをフィルタ除去するのに効果的なフィルタの種類が決定され得る。フィルタの種類及び幾何学的データ５１０、５１１、５１２が、１組の第１の奥行きフィルタデータを構成する。第２のオブジェクト５０２の境界領域が、別の幾何学形状C、長方形５２０によって効果的に覆われている。第２のオブジェクトの境界にある任意の邪魔な誤りをフィルタ除去するのに効果的な第２のフィルタの種類が決定され得る。第２のフィルタの種類及び対応する幾何学的データ５２０が、１組の第２の奥行きフィルタデータを構成する。
【００８７】
図６は、フィルタ位置データの例を示す。この図面は、第１の幾何学形状６０１が、３対の座標x1,y1、x2,y2、x3,y3によって定められる楕円であることを示す。これらの座標は、画像内の任意の位置に、即ち水平方向に対して所定の角度にも、楕円を定めることを可能にする。第２の幾何学形状６０２は長方形であり、３対の座標x1,y1、x2,y2、x3,y3によって定められている。これらの座標は、画像内の任意の位置に長方形を定めることを可能にする。従って３対の座標が（回転された）長方形又は内部の楕円を定める。フィルタ領域を記述するために、線、スプライン（半径を有する曲線）、事前に定められた曲線等の更なる幾何学形状が予め定義されても良いことを指摘しておく。
【００８８】
第３の形状６０３は、フィルタ領域の境界を定めるためのパターンである。第３の形状は、フィルタ領域と周囲の奥行きとの間の変わり目を示し、この変わり目は鋭いものである。曲線の上段はフィルタ操作が１００％であることを示し、ゼロレベルは奥行きがフィルタによって処理されないことを示す。第４の形状６０４は、フィルタ領域と周囲の奥行きとの間の変わり目を示し、この変わり目は緩やかなものである。
【００８９】
それぞれの形状は、バイト単位のインデックス値a(a7..a0)も有し得る。更なるパラメータ（a,b,...等）がフィルタの種類、フィルタの動作、強度、稼働中又は非稼働中等を決定する。１組のパラメータ（フィルタ位置データ及びフィルタ記述データ）x1、y1、x2、y2、x3、y3、a、b、．．．が、例えばＳＥＩメッセージによってビデオストリーム内に埋め込まれても良い。
【００９０】
前述のインデックス値内に、活性標識も組み入れられても良い。例えば開始標識（例えばmsbit=1、最上位ビットはインデックスバイトのパラメータaのビット7、即ちa(7)である）は、停止されるまで、その領域が次に来るフレームに関して活性状態にあることを示し得る。この活性は、停止標識（例えばmsbit=0）を有する領域インデックスバイトによって停止され得る。このようにして、全てのフレームでＳＥＩメッセージが繰り返される必要はなく、これによりビットレートの更なる低減を実現する。
【００９１】
活性標識は、前に定められたフィルタ領域内のフィルタが再活性化されるべきこと、又は１組の様々なフィルタの１つ若しくは複数が活性化されるべきことも示すことができる。活性標識は、前に定められたフィルタ又はフィルタ領域を消去するために使用されても良い。
【００９２】
フィルタは、フィルタ領域と呼ばれる、画像の指定部分の内側にしか適用されない。この領域は、図５に示されているように座標と幅及び高さを示すことによって長方形領域５２０として、又はその中心及び半径によって定められる（一連の）正方形又は円形のブロブ若しくは楕円５１０、５１１、５１２として指定され得る。更に、座標及びフィルタ方向を指定することにより、フィルタが線に沿って適用されても良い。この領域は、ボーダー（a6..a0によって示される）に沿った特定の変わり目、例えば緩やかな変わり目６０４を有することもできる。変わり目は、元の奥行き（０％）と処置された（１００％）奥行きとの間の混合を利用する。
【００９３】
幾何学的パラメータが重複する場合、元の入力奥行きデータに対して両方の操作が別々に実行され、その後、結果が混合されても良い。或いは、例えばインデックス値の順番に基づき逐次操作が規定されても良い。このような重複するフィルタ操作の順序及び／又は優先順位が、更なるパラメータによって定められても良い。
【００９４】
図７は、フィルタ選択標識の一例を示す。この図面は、オリジン７００を有する画像を示す。この画像は選択標識をフィルタしなければならず、第１の標識は、水平座標７０４及び垂直座標７０１によって示されるフィルタ領域を有するグラフィックス標識７１０である。第２のフィルタ選択標識７２０は、水平座標７０３及び垂直座標７０２によって示されるフィルタ領域を有するグラフィックス標識である。フィルタ領域のそれぞれの大きさは、上記のように更に定められ得る。グラフィックスの種類は、グラフィックタイプパラメータによって表わされても良く、例えば第１のグラフィックス標識はオブジェクトの種類であり、第２のグラフィックス標識は字幕である。更なるパラメータが、グラフィックスの色及び／又は輝度値を示すことができる。フィルタ選択標識は、グラフィックスオブジェクトが周囲のビデオに対して鋭い境界を有することを考慮に入れ、奥行きの推定を改善するのに適したフィルタを宛先が活性化できるようにする。
【００９５】
立体グラフィックスの前景を有する立体ビデオをマルチビュービデオに変換する際の問題点は、ステレオ−マルチビュー変換過程内の誤りにより、可視アーティファクトがグラフィックスの縁部周辺に生じることである。グラフィックスは、ビデオコンテンツに対して強い縁部及び大きい奥行差を概して有するので、その縁部上での如何なる可視アーティファクトも一般的な利用者にとって知覚可能になる。特に顕著な一種の誤りは、経時的な偽の視差変動である。これらの時間的不整合は、低テクスチャ面に対する視差推定によってしばしば引き起こされる。宛先において、奥行きプロセッサ、例えばステレオ−マルチビュー変換コンポーネントが、フィルタ選択標識及びフィルタ領域を使用して視差マップの推定（及びフィルタリング）を改善する。
【００９６】
次に、グラフィックスの種類に関する視差推定プロセス内の処理を改善するために、フィルタ選択標識及びフィルタ位置データがどのように使用され得るのかを説明する。第１の仮定は、グラフィックスオーバレイがほぼ常にビデオの前にあることである。第２に、グラフィックス領域内では奥行きが急に上昇することは一切なく、多かれ少なかれ連続的である。これらの仮定を用いて、グラフィックスを有するフィルタ領域の異なる視差推定が使用される。或いは、或るステップで視差推定が実行されるが、グラフィックスのオーバレイ位置に基づく特定のパラメータを使って実行される。例えば、ステレオ推定問題がエネルギ最小化問題として公式化される場合、
・オクルージョンコスト（ある場合）を、グラフィックスオブジェクト内では高（即ち妨げる）又は無限（即ち許可しない）に設定し、ボーダー上では非常に低く（即ち促進する）設定すること、
・不同の視差に関する空間的平滑性コストを、グラフィックスオブジェクト内でより高く設定すること、
・空間的平滑性コストをグラフィックスとビデオとの間のボーダー上でゼロに設定すること、
・時間的平滑性コスト（ある場合）を、グラフィックスオブジェクト内でより高く設定すること
により、グラフィックス位置メタデータがエネルギ（コスト）関数内に組み入れられ得る。
【００９７】
上記のコスト要素は組み合わせられても良い。ほぼ全てのステレオ推定方法がエネルギ最小化問題として公式化され得ることを理解すべきである。それらの方法の一部はマルコフ確率場（ＭＲＦ:Markov random field）形式であり、ＭＲＦは、文献「Daniel Scharstein and Richard Szeliski, A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms, Microsoft Research, November 2001」の中で更に説明されている確率伝搬法及びα-expansionを用いた最大フロー／最小カット等の良く知られているＭＲＦ最適化法によって解くことができる。
【００９８】
ステレオ推定方法が（周囲のブロックに基づく）３Ｄ再帰探索に基づく場合、視差の候補がグラフィックスのボーダーを横断しているかどうかに基づきペナルティを調節することにより、グラフィックス位置メタデータが組み入れられ得る。
【００９９】
時間的整合は、適切なフィルタリング、例えば指数関数的減衰を伴うバイラテラルグリッドによって更に改善され得る。この場合、
・  グラフィックスとビデオとを別々に処理すること、
・  非グラフィックス部分についてのみバイラテラルグリッドを埋め、読み取ること、
・  グラフィックス部分に（平面又はＢスプライン）サーフェイスモデリングを使用すること、
・  そのビンがグラフィックスオブジェクトの一部であるかどうかに基づき、減衰（時間的平滑化）係数を各グリッドのビンについて別々に調節すること
によって後処理が改善され得る。
【０１００】
要約すれば、奥行きフィルタリングデータは、ソース側によって調節が引き続き制御されながら、描画プロセスが実際の３Ｄディスプレイ用の奥行きデータからより良い結果を得ることを可能にする。奥行きフィルタリングデータは、３Ｄディスプレイ内で奥行きデータを処理することに関係するフィルタパラメータ又は奥行き特性、及びフィルタが適用されるべき画像内の位置を示すためのフィルタ位置データから成ることができる。
【０１０１】
本発明は、静止画像であろうと動画であろうと、任意の種類の３Ｄ画像データに使用され得ることを指摘しておく。３Ｄ画像データは、電子的なデジタル符号化データとして入手可能であると見なされる。本発明はかかる画像データに関し、画像データをデジタル領域内で操作する。
【０１０２】
本発明は、プログラム可能コンポーネントを用いてハードウェア及び／又はソフトウェアによって実装され得る。本発明を実施するための方法は、図１〜図４に関して説明したシステムについて定めた機能に対応するステップを有する。
【０１０３】
上記の説明では、明瞭にするために、本発明の実施形態が様々な機能ユニット及びプロセッサに関して説明されたことが理解される。しかし、様々な機能ユニット又はプロセッサ間での任意の適切な機能分散が、本発明から逸脱することなしに使用され得ることが明らかである。例えば、別々のユニット、プロセッサ、又はコントローラによって実行されるように示されている機能が、同じプロセッサ又はコントローラによって実行されても良い。従って、特定の機能ユニットへの言及は、厳密な論理的又は物理的構造若しくは構成を示すのではなく、記載された機能を提供するための適切な手段への言及に過ぎないと見なされるべきである。本発明は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せを含む任意の適切な形式で実装され得る。
【０１０４】
本明細書では「含む」という語は、挙げられているもの以外の要素又はステップの存在を排除せず、或る要素の前にくる語「a」又は「an」はその要素の複数形の存在を排除せず、如何なる参照記号も特許請求の範囲を限定せず、本発明はハードウェア及びソフトウェアの両方によって実施されても良く、幾つかの「手段」又は「ユニット」がハードウェア若しくはソフトウェアの同一アイテムによって表されても良く、プロセッサが場合によりハードウェア要素と共同して１つ又は複数のユニットの機能を果たし得ることを指摘しておく。更に、本発明は上記の実施形態に限定されず、上記の又は互いに異なる従属請求項の中で列挙されるありとあらゆる新規の特徴若しくは特徴の組合せに存する。
【図１】
0006351588.tif 000002
【図２】
0006351588.tif 000003
【図３】
0006351588.tif 000004
【図４】
0006351588.tif 000005
【図５】
0006351588.tif 000006
【図６】
0006351588.tif 000007
【図７】
0006351588.tif 000008