(57)【特許請求の範囲】
【請求項１】
入力３Ｄ画像を受け取る、前記入力３Ｄ画像は左目（ＬＥ）入力画像フレームおよび右目（ＲＥ）入力画像フレームを含むステップと、
前記ＬＥ入力画像フレームおよび前記ＲＥ入力画像フレームに基づき、垂直方向の第１の高空間周波数成分および水平方向の第１の低解像度成分を含む第１の多重化画像フレームを生成するステップと、
前記ＬＥ入力画像フレームおよび前記ＲＥ入力画像フレームに基づき、前記水平方向の第２の高空間周波数成分および前記垂直方向の第２の低解像度成分を含む第２の多重化画像フレームを生成し、前記第１の多重化画像フレームまたは前記第２の多重化画像フレームのうちの一方は、残余画像データを含み、そこで前記残余画像データは、前記第１の多重化画像フレームまたは前記第２の多重化画像フレームのうちの他方に基づき生成される基準画像データを前記ＬＥ入力画像フレームおよび前記ＲＥ入力画像フレームから導出された入力画像データから減算することによって生成されるステップと、
前記第１の多重化画像フレームおよび前記第２の多重化画像フレームをエンコードして出力し、前記入力３Ｄ画像を表現するステップとを含む方法。
【請求項２】
前記入力３Ｄ画像は、第２のＬＥ入力画像フレームおよび第２のＲＥ入力画像フレームを有する異なる第２の入力３Ｄ画像を含む一連の入力３Ｄ画像内の第１の入力３Ｄ画像であり、前記方法は
前記第２のＬＥ入力画像フレームおよび前記第２のＲＥ入力画像フレームに基づき、前記垂直方向の第３の高空間周波数成分および前記水平方向の第３の低解像度成分を含む第３の多重化画像フレームを生成するステップと、
前記第２のＬＥ入力画像フレームおよび前記第２のＲＥ入力画像フレームに基づき、前記水平方向の第４の高空間周波数成分および前記垂直方向の第４の低解像度成分を含む第４の多重化画像フレームを生成するステップと、
前記第３の多重化画像フレームおよび前記第４の多重化画像フレームをエンコードして出力し、前記第２の入力３Ｄ画像を表現するステップとをさらに含む請求項１に記載の方法。
【請求項３】
前記第１の多重化画像フレームは、第１のＬＥ画像データ部分と第１のＲＥ画像データ部分とを含み、そこで前記第１のＬＥ画像データ部分および前記第１のＲＥ画像データ部分は、水平と垂直の両方向にそって同じ空間分解能を有し、前記第２の多重化画像フレームは、第２のＬＥ画像データ部分と第２のＲＥ画像データ部分とを含み、前記第２のＬＥ画像データ部分および前記第２のＲＥ画像データ部分は、水平と垂直の両方向にそって同じ空間分解能を有する請求項１に記載の方法。
【請求項４】
前記第１のＬＥ画像データ部分および前記第１のＲＥ画像データ部分のそれぞれは、フル解像度画像フレームのサブサンプリングされたバージョンを表し、そこで前記第１の多重化画像フレームは、サイド・バイ・サイド（ＳｂＳ）形式を使用して、前記第１のＬＥ画像データ部分と前記第１のＲＥ画像データ部分とを搬送し、前記第２のＬＥ画像データ部分および前記第２のＲＥ画像データ部分のそれぞれは、残余画像フレームのサブサンプリングされたバージョンを表し、前記第２の多重化画像フレームは、トップ・アンド・ボトム（ＴａＢ）形式を使用して、前記第２のＬＥ画像データ部分と前記第２のＲＥ画像データ部分とを搬送する請求項３に記載の方法。
【請求項５】
前記第１の多重化画像フレームは、前記垂直方向の前記高空間周波数成分を保存する第１の多重化形式を使用し、前記第２の多重化画像フレームは、前記水平方向の前記高空間周波数成分を保存する第２の多重化形式を使用する請求項１に記載の方法。
【請求項６】
前記第１の多重化画像フレームまたは前記第２の多重化画像フレームのうちの一方が、複数のビットストリーム内のベース・レイヤ・ビットストリームに出力されるのに対し、前記第１の多重化画像フレームまたは前記第２の多重化画像フレームのうちの他方は、前記複数のビットストリーム内のエンハンスメント・レイヤ・ビットストリームに出力される請求項１に記載の方法。
【請求項７】
前記第１の多重化画像フレームを生成する際に前記第２の方向における（ａ）空間周波数フィルタリング・オペレーションまたは（ｂ）空間サブサンプリング・オペレーションのうちの少なくとも１つを含む１つまたは複数の第１のオペレーションを前記第１の入力画像フレームおよび前記第２の入力画像フレームに適用し、そこで前記１つまたは複数の第１のオペレーションは、前記第２の方向の高空間周波数成分を除去し、前記第１の方向の高空間周波数成分を保存するステップと、
前記第２の多重化画像フレームを生成する際に前記第１の方向における（ａ）空間周波数フィルタリング・オペレーションまたは（ｂ）空間サブサンプリング・オペレーションのうちの少なくとも１つを含む１つまたは複数の第２のオペレーションを前記第１の入力画像フレームおよび前記第２の入力画像フレームに適用し、前記１つまたは複数の第２のオペレーションは、前記第１の方向の高空間周波数成分を除去し、前記第２の方向の高空間周波数成分を保存するステップとをさらに含む請求項１に記載の方法。
【請求項８】
１つまたは複数の入力ビデオ信号で表され、受信され、送信され、または格納された１つまたは複数の入力３Ｄ画像を１つまたは複数の出力ビデオ信号で表され、受信され、送信され、または格納される１つまたは複数の出力３Ｄ画像に変換するステップをさらに含む請求項１に記載の方法。
【請求項９】
前記入力３Ｄ画像は、ハイ・ダイナミック・レンジ（ＨＤＲ）画像形式、映画芸術科学協会（ＡＭＰＡＳ）のＡｃａｄｅｍｙ  Ｃｏｌｏｒ  Ｅｎｃｏｄｉｎｇ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＡＣＥＳ）規格に関連するＲＧＢ色空間、Ｄｉｇｉｔａｌ  Ｃｉｎｅｍａ  ＩｎｉｔｉａｔｉｖｅのＰ３色空間規格、Ｒｅｆｅｒｅｎｃｅ  Ｉｎｐｕｔ  Ｍｅｄｉｕｍ  Ｍｅｔｒｉｃ／Ｒｅｆｅｒｅｎｃｅ  Ｏｕｔｐｕｔ  Ｍｅｄｉｕｍ  Ｍｅｔｒｉｃ（ＲＩＭＭ／ＲＯＭＭ）規格、ｓＲＧＢ色空間、または国際電気通信連合（ＩＴＵ）のＢＴ．７０９  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ規格に関連するＲＧＢ色空間のうちの１つでエンコードされた画像データを含む請求項１に記載の方法。
【請求項１０】
第１の多重化画像フレームおよび第２の多重化画像フレームによって表される３Ｄ画像を受け取り、前記第１の多重化画像フレームは垂直方向の第１の高空間周波数成分および水平方向の第１の低解像度成分を含み、前記第２の多重化画像フレームは前記水平方向の第２の高空間周波数成分および前記垂直方向の第２の低解像度成分を含み、そこで前記第１の多重化画像フレームまたは前記第２の多重化画像フレームのうちの一方は、残余画像データを含み、そこで前記残余画像データは、前記第１の多重化画像フレームまたは前記第２の多重化画像フレームのうちの他方に基づき生成される基準画像データをＬＥ入力画像フレームおよびＲＥ入力画像フレームから導出された入力画像データから減算することによって生成されているステップと、
前記第１の多重化画像フレームおよび前記第２の多重化画像フレームに基づき、左目（ＬＥ）画像フレームおよび右目（ＲＥ）画像フレームを生成し、前記ＬＥ画像フレームは水平と垂直の両方向のＬＥ高空間周波数成分を含み、前記ＲＥ画像フレームは水平と垂直の両方向のＲＥ高空間周波数成分を含むステップと、
前記３Ｄ画像を、前記ＬＥ画像フレームおよび前記ＲＥ画像フレームをレンダリングすることによってレンダリングするステップとを含む方法。
【請求項１１】
前記３Ｄ画像は、第３の多重化画像フレームおよび第４の多重化画像フレームを有する異なる第２の３Ｄ画像を含む一連の３Ｄ画像内の第１の３Ｄ画像であり、前記第３の多重化画像フレームは前記垂直方向の第３の高空間周波数成分および前記水平方向の第３の低解像度成分を含み、前記第４の多重化画像フレームは前記水平方向の第４の高空間周波数成分および前記垂直方向の第４の低解像度成分を含み、前記方法は
第２のＬＥ画像フレームおよび第２のＲＥ画像フレームを生成し、前記第２のＬＥ画像フレームは水平と垂直の両方向の高空間周波数成分を含み、前記第２のＬＥ画像フレームは水平と垂直の両方向の高空間周波数成分を含むステップと、
前記第２の３Ｄ画像を、前記第２のＬＥ画像フレームおよび前記第２のＲＥ画像フレームをレンダリングすることによってレンダリングするステップとをさらに含む請求項１０に記載の方法。
【請求項１２】
前記第１の多重化画像フレームまたは前記第２の多重化画像フレームのうちの少なくとも１つは、ＬＥ画像データ部分およびＲＥ画像データ部分を含み、前記ＬＥ画像データ部分および前記ＲＥ画像データ部分は、同じ空間分解能を有する請求項１０に記載の方法。
【請求項１３】
前記ＬＥ画像データ部分および前記ＲＥ画像データ部分のそれぞれは、残余画像フレームのサブサンプリングされたバージョンを表し、前記ＬＥ画像データ部分と前記ＲＥ画像データ部分とは、サイド・バイ・サイド形式またはトップ・アンド・ボトム形式のうちの一方で単一の画像フレームを形成する請求項１２に記載の方法。
【請求項１４】
前記第１の多重化画像フレームまたは前記第２の多重化画像フレームのうちの一方が、複数のビットストリーム内のベース・レイヤ・ビットストリームにデコードされるのに対し、前記第１の多重化画像フレームまたは前記第２の多重化画像フレームのうちの他方は、前記複数のビットストリーム内のエンハンスメント・レイヤ・ビットストリームからデコードされる請求項１０に記載の方法。
【請求項１５】
前記ＬＥ画像フレームを生成する際に（ａ）空間周波数フィルタリング・オペレーションまたは（ｂ）逆多重化オペレーションのうちの少なくとも一方を含む１つまたは複数の第１のオペレーションを適用し、そこで前記１つまたは複数の第１のオペレーションは、水平および垂直の両方向の、前記第１の多重化画像フレームおよび前記第２の多重化画像フレームから導出されたとおりのＬＥ高空間周波数成分を結合して前記ＬＥ画像フレームにするステップと、
前記ＲＥ画像フレームを生成する際に（ａ）空間周波数フィルタリング・オペレーションまたは（ｂ）逆多重化オペレーションのうちの少なくとも一方を含む１つまたは複数の第２のオペレーションを適用し、そこで前記１つまたは複数の第２のオペレーションは、水平および垂直の両方向の、前記第１の多重化画像フレームおよび前記第２の多重化画像フレームから導出されたとおりのＲＥ高空間周波数成分を結合して前記ＲＥ画像フレームにするステップとをさらに含む請求項１０に記載の方法。
【請求項１６】
前記１つまたは複数の第１のオペレーションおよび前記１つまたは複数の第２のオペレーションは、少なくとも１つのハイパス・フィルタリング・オペレーションを含む請求項１５に記載の方法。
【請求項１７】
前記１つまたは複数の第１のオペレーションおよび前記１つまたは複数の第２のオペレーションは、少なくとも１つのハイパス・フィルタリング・オペレーションを置き換える処理部分経路を含み、前記処理部分経路は、少なくとも１つの減算オペレーションを含み、ハイパス・フィルタリング・オペレーションを含まない請求項１５に記載の方法。
【請求項１８】
前記第１の多重化画像フレームまたは前記第２の多重化画像フレームのうちの他方から予測基準データを生成することなくエンハンスメント・レイヤ画像データをデコードし処理するステップをさらに含む請求項１０に記載の方法。
【請求項１９】
１つまたは複数の入力ビデオ信号で表される、受信される、送信される、または格納される１つまたは複数の３Ｄ画像を処理するステップをさらに含む請求項１０に記載の方法。
【請求項２０】
前記３Ｄ画像は、ハイ・ダイナミック・レンジ（ＨＤＲ）画像形式、映画芸術科学協会（ＡＭＰＡＳ）のＡｃａｄｅｍｙ  Ｃｏｌｏｒ  Ｅｎｃｏｄｉｎｇ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＡＣＥＳ）規格に関連するＲＧＢ色空間、Ｄｉｇｉｔａｌ  Ｃｉｎｅｍａ  ＩｎｉｔｉａｔｉｖｅのＰ３色空間規格、Ｒｅｆｅｒｅｎｃｅ  Ｉｎｐｕｔ  Ｍｅｄｉｕｍ  Ｍｅｔｒｉｃ／Ｒｅｆｅｒｅｎｃｅ  Ｏｕｔｐｕｔ  Ｍｅｄｉｕｍ  Ｍｅｔｒｉｃ（ＲＩＭＭ／ＲＯＭＭ）規格、ｓＲＧＢ色空間、または国際電気通信連合（ＩＴＵ）のＢＴ．７０９  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ規格に関連するＲＧＢ色空間のうちの１つでエンコードされた画像データを含む請求項１０に記載の方法。
【請求項２１】
請求項１ないし９いずれか一項に記載の方法を実行するエンコーダ。
【請求項２２】
請求項１０ないし２０いずれか一項に記載の方法を実行するデコーダ。
【請求項２３】
請求項１ないし２０いずれか一項に記載の方法を実行するシステム。
【請求項２４】
入力３Ｄ画像を受け取り、前記入力３Ｄ画像は左目（ＬＥ）入力画像フレームおよび右目（ＲＥ）入力画像フレームを含み、
前記ＬＥ入力画像フレームおよび前記ＲＥ入力画像フレームに基づき、垂直方向の第１の高空間周波数成分および水平方向の第１の低解像度成分を含む第１の多重化画像フレームを生成し、
前記ＬＥ入力画像フレームおよび前記ＲＥ入力画像フレームに基づき、前記水平方向の第２の高空間周波数成分および前記垂直方向の第２の低解像度成分を含む第２の多重化画像フレームを生成し、そこで前記第１の多重化画像フレームまたは前記第２の多重化画像フレームのうちの一方は、残余画像データを含み、そこで前記残余画像データは、前記第１の多重化画像フレームまたは前記第２の多重化画像フレームのうちの他方に基づき生成される基準画像データを前記ＬＥ入力画像フレームおよび前記ＲＥ入力画像フレームから導出された入力画像データから減算することによって生成され、
前記第１の多重化画像フレームおよび前記第２の多重化画像フレームをエンコードして出力し、前記入力３Ｄ画像を表現するように構成された
エンコーダと、
複数のビデオ・ビットストリームで前記第１の多重化画像フレームおよび前記第２の多重化画像フレームを受信し、
前記第１の多重化画像フレームおよび前記第２の多重化画像フレームに基づき、左目（ＬＥ）画像フレームおよび右目（ＲＥ）画像フレームを生成し、前記ＬＥ画像フレームは水平と垂直の両方向のＬＥ高空間周波数成分を含み、前記ＲＥ画像フレームは水平と垂直の両方向のＲＥ高空間周波数成分を含み、
前記ＬＥ画像フレームおよび前記ＲＥ画像フレームをレンダリングするように構成された
デコーダとを備えるシステム。
【請求項２５】
３Ｄフレーム互換フル解像度（ＦＣＦＲ）画像をエンコードする方法であって、
入力３Ｄ画像を受け取り、前記入力３Ｄ画像は左目（ＬＥ）入力画像フレームおよび右目（ＲＥ）入力画像フレームを含むステップと、
前記ＬＥ入力画像フレームおよび前記ＲＥ入力画像フレームに基づき、第１の方向の第１の高空間周波数成分および第２の方向の第１の低解像度成分を含む第１の多重化画像フレームを生成し、第２の方向は第１の方向に直交するステップと、
前記第１の多重化画像フレームに基づき、基準画像データおよびキャリア画像データを生成するステップと、
前記基準画像データを前記入力３Ｄ画像データから減算して残余画像データを生成するステップと、
前記残余画像データおよび前記キャリア画像データに基づき、前記第２の方向の第２の高空間周波数成分および前記第１の方向の第２の低空間周波数成分を含む第２の多重化画像フレームを生成するステップと、
前記第１の多重化画像フレームおよび前記第２の多重化画像フレームをエンコードして出力し、前記入力３Ｄ画像を表現するステップとを含み、前記キャリア画像データを生成するステップは、
ベース・レイヤ画像フレームの第１の方向の第１の空間フィルタリングを適用して、前記ベース・レイヤ画像フレームをダウンサンプリングし、中間画像を生成し、前記ベース・レイヤ画像は前記第１の多重化画像フレームに少なくとも一部は基づくステップと、
第２の方向の第２の空間フィルタリングを前記中間画像に適用して、前記中間画像をアップサンプリングし、前記キャリア画像データを生成し、前記第２の方向は前記第１の方向に直交するステップとを含む方法。
【請求項２６】
すべての前記キャリア画像データは、同じ固定値のピクセル値を含む請求項２５に記載の方法。
【請求項２７】
ＦＣＦＲ形式で符号化された３Ｄ信号をデコードする方法であって、
第１の多重化画像フレームおよび第２の多重化画像フレームによって表される３Ｄ画像を受け取り、前記第１の多重化画像フレームは第１の空間方向の第１の高空間周波数成分および第２の空間方向の第１の低解像度成分を含み、前記第２の多重化画像フレームは前記第２の空間方向の第２の高空間周波数成分および前記第１の空間方向の第２の低解像度成分を含み、そこで前記第２の空間方向は前記第１の空間方向に直交するステップと、
前記第１の多重化画像フレームに基づき、前記第１の空間方向の高空間周波数成分および前記第２の空間方向の低空間周波数成分を含むフレーム互換の一対の画像フレーム（ＦＣ−Ｌ、ＦＣ−Ｒ）を生成するステップと、
前記第１の多重化画像フレームおよび前記第２の多重化画像フレームに基づき、前記第１の空間方向と前記第２の空間方向の両方向の高空間周波数成分を含むフル解像度の一対のフレーム（ＦＲ−ＬＥ、ＦＲ−ＲＥ）を生成し、前記第２の多重化画像フレームは、キャリア画像フレームと結合された残余画像フレームを含み、前記キャリア画像フレームは、前記第１の多重化画像フレームに基づき生成され、次いで、第２の多重化画像フレームから減算されて、前記残余画像フレームを生成することとを含む方法。
【請求項２８】
前記第２の多重化画像フレームの前記第２の空間方向にハイパス・フィルターを適用して前記残余画像フレームを生成するステップをさらに含む請求項２７に記載の方法。
【請求項２９】
１つまたは複数のプロセッサに、請求項１ないし２０または２５ないし２８いずれか一項に記載の方法のステップを実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、参照によりその全体が組み込まれている、２０１１年９月２９日に出願した米国仮特許出願第６１／５４１，００５号および２０１２年１月４日に出願した米国仮特許出願第６１／５８３，０８１号の優先権を主張するものである。
【０００２】
本発明は、一般的に画像データに関するものである。より具体的には、本発明の例示的な実施形態は、立体３Ｄ画像用の画像データに関する。
【背景技術】
【０００３】
ハーフ解像度３Ｄコンテンツ（half  resolution  3D  content）はフル解像度３Ｄ画像フレーム（full  resolution  3D  image  frame）からサブサンプリングされたハーフ解像度画像フレーム（half  resolution  image  frame）しか含まないので、３Ｄコンテンツ配信のためのフレーム互換ハーフ解像度（frame-compatible  half  resolution）（ＦＣＨＲ）ソリューションには空間分解能の低下という欠点がある。
【０００４】
いくつかの技術の下で、フレーム互換フル解像度（frame-compatible  full  resolution）（ＦＣＦＲ）ソリューションを使用して、ベース・レイヤを通じてハーフ解像度３Ｄ画像フレームを送信し、エンハンスメント・レイヤを通じて相補的ハーフ解像度３Ｄ画像フレームを送信することによってフル解像度３Ｄ画像フレームを生成することができる。ハーフ解像度３Ｄ画像フレームおよび相補的ハーフ解像度３Ｄ画像フレームは受信者側デバイスによって結合され、フル解像度の３Ｄ画像フレームとして構成されうる。
【０００５】
しかし、これらの技術は、ハーフ解像度画像フレーム内のエイリアシングを低減／除去するためローパス・フィルタリングを実装する。画像フレーム内の高周波成分がローパス・フィルタリングによって除去されると、下流デバイスが高空間周波数成分内にあったすべての細部およびテクスチャすべてを回復することは可能でない。フル解像度３Ｄ画像フレームは、そのまま構成されうるが、３Ｄ画像フレーム内のピクセルは、ローパス・フィルタリングによって不可逆的に改変され、３Ｄ画像フレームを生じさせる元の３Ｄコンテンツ内の元の解像度および鮮明さを再現するために使用することはできないであろう。
【０００６】
この節で説明されるアプローチは、追求することが可能なアプローチであるが、これまでに考えられたり、追求されたりしたアプローチでは必ずしもない。したがって、別段の指示のない限り、この節で説明されるアプローチはどれも、単にこの節に含まれているからと言って従来技術とみなされると考えられるべきではない。同様に、１つまたは複数のアプローチに関して識別された問題点は、断りのない限り、この節に基づきどの従来技術においても認識されているとみなすべきでない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、例を用いて、限定することなく添付図面の図に示され、そこでは同様の参照番号は類似の要素を指す。
【図面の簡単な説明】
【０００８】
【図１Ａ】本発明の一実施形態による、入力ビデオ・シーケンス（input  video  sequence）内に存在する高空間周波数成分を維持するマルチレイヤ・ビデオ・エンコーダ（multi-layer  video  encoder）を例示する図である。
【図１Ｂ】一実施形態による、高空間周波数成分を有する入力ビデオ信号を受信するマルチレイヤ・ビデオ・デコーダ（multi-layer  video  decoder）を例示する図である。
【図１Ｃ】一実施形態による、ベースレイヤ・ビデオ・デコーダを例示する図である。
【図２】いくつかの例示的な実施形態による、デマルチプレクサの構成を例示する図である。
【図３】いくつかの例示的な実施形態による、デマルチプレクサの構成を例示する図である。
【図４】いくつかの例示的な実施形態による、デマルチプレクサの構成を例示する図である。
【図５】いくつかの例示的な実施形態における、多重化形式を例示する図である。
【図６Ａ】いくつかの例示的な実施形態における、トップ・アンド・ボトムおよびサイド・バイ・サイド形式で画像部分を形成するパースペクティブのインターレースされたコンテンツを例示する図である。
【図６Ｂ】いくつかの例示的な実施形態における、トップ・アンド・ボトムおよびサイド・バイ・サイド形式で画像部分を形成するパースペクティブのインターレースされたコンテンツを例示する図である。
【図７】いくつかの例示的な実施形態における、インターレースされたコンテンツを搬送するための多重化形式を例示する図である。
【図８Ａ】本発明の一実施形態による、マルチレイヤ・ビデオ・エンコーダを例示する図である。
【図８Ｂ】一実施形態による、マルチレイヤ・ビデオ・デコーダを示す図である。
【図９】いくつかの例示的な実施形態による、デマルチプレクサを例示する図である。
【図１０Ａ】いくつかの例示的な実施形態における、プロセス・フローを例示する図である。
【図１０Ｂ】いくつかの例示的な実施形態における、プロセス・フローを例示する図である。
【図１１】本発明の例示的な一実施形態による、本明細書で説明されているようなコンピュータまたはコンピューティング・デバイスが実装されうる例示的なハードウェア・プラットフォームを例示する図である。
【図１２Ａ】本発明の一実施形態による、ＦＣＦＲマルチレイヤ・ビデオ・エンコーダを例示する図である。
【図１２Ｂ】本発明の一実施形態による、ＦＣＦＲマルチレイヤ・ビデオ・デコーダを例示する図である。
【図１３Ａ】フル解像度信号を再構成するための例示的な実施形態を例示する図である。
【図１３Ｂ】フル解像度信号を再構成するための例示的な実施形態を例示する図である。
【図１４】本発明の一実施形態による、エンハンスメント・レイヤを生成するためのエンコーディング・プロセス・フローを例示する図である。
【図１５】本発明の一実施形態によるキャリア画像信号を生成するデコーダＲＰＵにおけるフィルタリング・プロセス・フローを例示する図である。
【発明を実施するための形態】
【０００９】
本明細書では、３Ｄビデオ符号化に関係する、例示的な実施形態について説明する。以下の説明では、説明を目的として、本発明を完全に理解できるようにする多数の具体的詳細を述べている。しかし、本発明はこれらの具体的詳細を知らなくても実施できることは明白であろう。他の場合には、本発明を不必要に閉塞する、曖昧にする、またはわかりにくくするのを避けるために、よく知られている構造およびデバイスについては詳細な点まで説明することはしていない。
【００１０】
本明細書では、以下の概略に従って例示的な実施形態について説明する。
１．概要
２．マルチレイヤ・ビデオ配信
３．デマルチプレクサ
４．サンプリング形式
５．インターレース・ビデオ・アプリケーション
６．残余画像符号化
７．例示的なプロセス・フロー
８．キャリア信号を含む残余画像符号化
９．実装メカニズム−ハードウェアの概要
１０．同等、拡張、代替、およびその他
【００１１】
１．概要
この概要では、本発明の例示的な一実施形態のいくつかの態様について基本的な説明を行う。この概要は、例示的な実施形態の態様の広範なまたは網羅的な要約とはなっていないことに留意されたい。さらに、この概要は、例示的な実施形態の特に重要な任意の態様または要素を識別するものとして、さらにとりわけ例示的な実施形態の、または一般に発明の、任意の範囲を限定するものとしても理解されることを意図していないことに留意されたい。この概要は、例示的な実施形態に関係するいくつかの概念を凝縮し簡素化した形式で提示するのみであり、以下に述べる例示的な実施形態のより詳細な説明の単なる概念的な前置きとして理解されるべきである。
【００１２】
ビデオ・データは、現在のところ、例えば、インターネット・ベースのコンテンツ・プロバイダから、ほとんどの場合ネットワーク接続を通じて受信される。しかし、コンピューティング・デバイス上の３Ｄ表示アプリケーションなどの表示アプリケーションに割り当てられるビットレートは制限されている。
【００１３】
可能な限り最も広く、さまざまな３Ｄ画像レンダリング・デバイスをサポートするために、３Ｄ画像コンテンツは、解像度を落としたフレーム互換３Ｄ画像フレーム（またはピクチャ）として配信されうる。説明されているように、３Ｄ画像フレームは、フル解像度３Ｄ画像フレームから解像度を落とした３Ｄ画像フレームにサブサンプリングすることができ、フル解像度３Ｄ画像フレーム内の高空間周波数成分は、サブサンプリングされて画像フレーム中に生じるエイリアシングを防ぐため、ローパス・フィルターによって除去されうる。
【００１４】
実施形態は、対称的高解像度３Ｄ画像データをエンコードして、下流デバイスに供給することを含む。いくつかの例示的な実施形態では、水平方向に解像度を落とし、垂直方向にフル解像度とした第１の多重化３Ｄ画像フレームは、ベース・レイヤおよびエンハンスメント・レイヤのうちの一方で受信者側デバイスに供給され、垂直方向に解像度を落とし、水平方向にフル解像度とした第２の多重化３Ｄ画像フレームは、ベース・レイヤおよびエンハンスメント・レイヤのうちの他方で受信者側デバイスに供給される。エンハンスメント・レイヤ内の左目（ＬＥ）および右目（ＲＥ）画像データは、受信者側デバイスによって、ベース・レイヤ内のＬＥおよびＲＥ画像データと組み合わされ、これにより、対称的なフル解像度のＬＥおよびＲＥ画像フレームを再構成することができる。第１の多重化３Ｄ画像フレームと第２の多重化３Ｄ画像フレームのうちの一方または両方は、フレーム互換性を有し、解像度を落とした（フル解像度より低い解像度、例えば、ハーフ解像度の）３Ｄビデオ・アプリケーションをサポートすることができる。
【００１５】
本明細書で説明されているようなコーデック実装技術は、ベース・レイヤ内の多重化３Ｄ画像フレームと入力画像フレームとの間の統計的冗長性を十分に利用するためレイヤ間予測機能を備えるように構成されうる。エンハンスメント・レイヤ内の多重化３Ｄ画像フレームは、異なるレイヤの画像データにおいて統計的冗長性を利用することなく大量のＬＥおよびＲＥ画像データを搬送する代わりに、残余または差分画像データを搬送することが（場合によっては搬送することのみ）できる。エンハンスメント・レイヤで供給されるような残余または差分画像データを使用することで、下流デバイスはベース・レイヤ内のフレーム互換多重化３Ｄ画像フレームの上に残余または差分画像データを追加することによって対称的なフル解像度のＬＥおよびＲＥ画像フレームを構成することができる。
【００１６】
いくつかの例示的な実施形態では、コーデックは、ＩＴＵ−Ｔ勧告Ｈ．２６４およびＩＳＯ／ＩＥＣ  １４４９６−１０で説明されているように使用されるビュー間予測機能を備えるように構成されうる。いくつかの例示的な実施形態では、エンハンスメント・レイヤ圧縮に対するレイヤ間予測の効率を改善するためにＲＰＵ（基準処理ユニット）が使用されうる。
【００１７】
いくつかの実施形態では、相補的高空間周波数成分を含むベース・レイヤとエンハンスメント・レイヤの両方における多重化３Ｄ画像フレームは、ハイエンドの３Ｄディスプレイに送信され、および／またはハイエンドの３Ｄディスプレイ上に表示するようにレンダリングされうる。それに加えて、多重化３Ｄ画像フレームの１つ（例えば、フレーム互換多重化３Ｄ画像フレーム）は、比較的ローエンドの３Ｄディスプレイに送信され、および／または比較的ローエンドの３Ｄディスプレイ上に表示するようにレンダリングされうる。
【００１８】
いくつかの例示的な実施形態では、他のアプリケーションに必要なデータは、１つまたは複数のエンハンスメント・レイヤにも含まれうる。いくつかの例示的な実施形態では、カリフォルニア州サンフランシスコ所在のＤｏｌｂｙ  Ｌａｂｏｒａｔｏｒｉｅｓ社から市販されているＦＣＦＲ技術によってもたらされるような、さまざまな特徴的機能が、本明細書で説明されているように、ベース・レイヤとエンハンスメント・レイヤとによってサポートされうる。
【００１９】
本明細書で説明されているような技術は、さまざまな比較的ローエンドのビデオ・プレーヤーとの後方互換性を維持しつつ、対称的高解像度および高画質を実現するソリューションをもたらす。本明細書で説明されているような表示システム実装技術は、他のＦＣＦＲ方式を実装する他の表示システムに比べて画質のよい再構成３Ｄピクチャを実現することができる。特に、本明細書で説明されているような表示システムは、より高い周波数を保持し、他の表示システムに比べて精細で鮮明なピクチャを再現することができる。
【００２０】
本明細書で説明されているような技術は、帯域幅またはビットレート使用量を減らし、解像度を落としたフレーム互換３Ｄ画像データを保存するために使用することができ、これはさまざまなテレビジョン、ディスプレイ、および他の画像レンダリング・デバイスをサポートする。
【００２１】
それに加えて、インターレースされた３Ｄコンテンツに対するオプションも、本明細書で説明されているような技術の下で実装されうる。このオプションは、例えば、スポーツ番組などの３Ｄ放送アプリケーションを搬送するために使用される。
【００２２】
いくつかの実施形態では、いくつかの利用可能なシステム・コンポーネントの再利用、改造、および改良により、本明細書で説明されているような技術を使用しない他のアプローチと比べて比較的低コストで実装することが可能になる。
【００２３】
いくつかの例示的な実施形態では、本明細書で説明されているようなメカニズムは、限定はしないが、ハンドヘルド・デバイス、ゲーム機、テレビ、ラップトップ・コンピュータ、ネットブック・コンピュータ、タブレット・コンピュータ、携帯無線電話機、電子書籍リーダー、ＰＯＳ端末、デスクトップ・コンピュータ、コンピュータ・ワークステーション、コンピュータ・キヨスク、またはさまざまな他の種類の端末およびメディア処理ユニットを含む、メディア処理システムの一部を形成する。
【００２４】
好ましい実施形態へのさまざまな修正ならびに本明細書で説明されている包括的原理および特徴は、当業者には容易に理解されるであろう。したがって、本開示は、図示されている実施形態に限定されることを意図されておらず、本明細書で説明されている原理および特徴と一致する最も広い範囲を適用されることを意図されている。
【００２５】
２．マルチレイヤ・ビデオ配信
図１Ａは、本発明の一実施形態による、入力ビデオ・シーケンス内に存在する高空間周波数成分を維持するマルチレイヤ・ビデオ・エンコーダ（１００）を例示している。図１Ｂは、例示的な実施形態による、図１Ａに示されているマルチレイヤ・ビデオ・デコーダ（１００）に対応するマルチレイヤ・ビデオ・デコーダ（１５０）を例示している。
【００２６】
例示的な一実施形態において、マルチレイヤ・ビデオ・エンコーダ（１００）は、入力３Ｄビデオ・シーケンスをエンコードするように構成される。入力３Ｄビデオ・シーケンスは、一連の３Ｄ入力画像からなる。この一連の３Ｄ画像中の３Ｄ入力画像は、高空間周波数成分を含むフル解像度３Ｄ画像データを含む。本明細書で使用されているように、「フル解像度」という用語は、１つの画像フレーム内の独立して設定可能なピクセルの総数によって最大限サポートされる空間分解能を指すものとしてよい。３Ｄ入力画像中のフル解像度３Ｄ画像データは、最初に、マルチレイヤ・ビデオ・エンコーダ（１００）によって入力ＬＥ画像フレーム（１０２−Ｌ）と入力ＲＥ画像フレーム（１０２−Ｒ）とにデコードされうるものとしてよく、これらは両方とも高空間周波数成分を含む。
【００２７】
例示的な一実施形態において、マルチレイヤ・ビデオ・エンコーダ（１００）内の１つまたは複数のフィルタリングおよびサブサンプリング・メカニズム（例えば、１０４−Ｈおよび１０４−Ｖ）は、垂直および水平方向のうちの一方の方向にフィルタリングされるが、入力ＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）に基づき垂直および水平方向のうちの他方の方向に未フィルタリングであるＬＥおよびＲＥ画像データを生成する。
【００２８】
例えば、フィルタリングおよびサブサンプリング・メカニズム（１０４−Ｈ）は、入力ＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）から水平方向に高空間周波数成分をフィルタリングし、対応するＬＥおよびＲＥ部分に水平方向にフィルタリングされたとおりにＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）を水平方向サブサンプリングするように構成されうる。マルチプレクサ（１０６−Ｈ）は、３Ｄ多重化画像フレーム（１０８−Ｈ）内のＬＥおよびＲＥ部分をサイド・バイ・サイド形式で結合するように構成されうる。
【００２９】
同様に、フィルタリングおよびサブサンプリング・メカニズム（１０４−Ｖ）は、入力ＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）から垂直方向に高空間周波数成分をフィルタリングし、対応するＬＥおよびＲＥ部分に垂直方向にフィルタリングされたとおりにＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）を垂直方向サブサンプリングするように構成されうる。マルチプレクサ（１０６−Ｖ）は、３Ｄ多重化画像フレーム（１０８−Ｖ）内のＬＥおよびＲＥ部分をトップ・アンド・ボトム形式で結合するように構成されうる。
【００３０】
ＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）のフィルタリングにより、水平および垂直方向のうちの一方の方向で高空間周波数成分のすべて、または実質的部分を入力ＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）から除去することができる。フィルタリングは、フィルタリングおよびサブサンプリング・メカニズムにおいて１つまたは複数のローパス・フィルター（ＬＰＦ）で実行されうる（例えば、１０４−Ｈおよび１０４−Ｖ）。例示的な一実施形態において、本明細書で説明されているようなフィルタリングは、水平および垂直方向のうちの一方の方向でマルチレイヤ・ビデオ・デコーダ（例えば、１５０）によってサポートされる空間分解能の何分の一か（例えば、１／２または別の分数）に対応する閾値周波数を超える入力画像中の任意の空間周波数成分を取り除くか、または実質的に減衰させる。
【００３１】
本明細書で使用されているように、空間方向（水平または垂直）の「高空間周波数成分」という用語は、空間方向にそって入力３Ｄビデオ・シーケンス内に存在する高空間周波数画像細部を指すものとしてよい。空間方向の高空間周波数成分の除去が生じた場合、下流デバイスは、空間方向にフィルタリングされた画像データで高解像度画像の細部を再現することはできないであろう。
【００３２】
本明細書で使用されているように、フィルタリングおよびサブサンプリング・メカニズム（１０４−Ｈまたは１０４Ｖ）内のサブサンプラーは、高空間周波数成分がフィルタリングされ／除去されている方向に垂直な方向で高空間周波数成分を保存するように構成されうる。例えば、フィルタリングおよびサブサンプリング・メカニズム（１０４−Ｈ）内のサブサンプラーは高空間周波数成分が除去された同じ水平方向にそってサブサンプリング（例えば、１つおきの列を保持）し、垂直方向にそったサブサンプリングを回避するように構成されうる。同様に、フィルタリングおよびサブサンプリング・メカニズム（１０４−Ｖ）内のサブサンプラーは高空間周波数成分が除去された同じ垂直方向にそってサブサンプリング（例えば、１つおきの行を保持）し、垂直方向にそったサブサンプリングを回避するように構成されうる。
【００３３】
多重化３Ｄ画像フレーム（１０８−Ｈおよび１０８−Ｖのうちの一方）は、左目に対する（例えば、ダウンサンプリングされた）画像データ部分および右目に対する（例えば、ダウンサンプリングされた）画像データ部分の両方を含む。  多重化３Ｄ画像フレームは、下流デバイスによって、水平および垂直方向のうちの一方の方向でＬＥ画像フレームと解像度を落とした（例えば、解像度が半分の）ＲＥ画像フレームとにデコードされうる。解像度が落とされたこのようなデコードされたＬＥおよびＲＥ画像フレームは、アップサンプリングされ、アップサンプリング・オペレーションでは得られないフル解像度画像に比べてファジィな見え方のフル解像度画像フレームと同じ数のピクセルを含むようにできる。
【００３４】
例示的な一実施形態において、多重化３Ｄ画像フレーム（１０８−Ｈ）は、ＬＥおよびＲＥ画像データ部分を含み、それらはそれぞれフル解像度画像フレーム内のピクセルの総数のうちの減らした数の（例えば、１／２、１／２未満、または総数より少ない別の数の）ピクセルを含み、そこでＬＥおよびＲＥ画像データ部分は、垂直方向の高空間周波数成分を含むのに対し、他方の多重化３Ｄ画像フレーム（１０８−Ｖ）は、相補的なＬＥおよびＲＥ画像データ部分を含み、それらはそれぞれフル解像度画像フレーム内のピクセルの総数のうちの減らした数の（例えば、１／２、１／２未満、または総数より少ない別の数の）ピクセルを含み、そこで相補的なＬＥおよびＲＥ画像データ部分は、水平方向の高空間周波数成分を含む。ＬＥおよびＲＥ画像データ部分は、サイド・バイ・サイド形式、オーバー・アンダー形式、クインカンクス形式、チェッカーボード形式、インターリーブ形式、前記の形式を組み合わせた形式、または別の多重形式で多重化３Ｄ画像フレーム（例えば、１０８−Ｈおよび１０８−Ｖのうちの一方）内に多重化されうる。
【００３５】
１つまたは複数のエンハンスメント・レイヤを使用して第１の多重化３Ｄ画像フレーム（例えば、１０８−Ｈおよび１０８−Ｖのうちの一方）を搬送することができ、この第１の多重化３Ｄ画像フレームはベース・レイヤにおいて第２の多重化３Ｄ画像フレーム（例えば、１０８−Ｈおよび１０８−Ｖのうちの他方）と組み合わせることができる。本明細書で説明されているようなマルチレイヤ・ビデオ・デコーダ（例えば、１５０）は、第１および第２の多重化３Ｄ画像フレーム（例えば、１０８−Ｈおよび１０８−Ｖ）に基づき垂直と水平の両方向に高空間分解能成分を持つ画像フレームを生成するように構成されうる。
【００３６】
例示的な一実施形態において、ＢＬエンコーダ（１１０）は、第１の多重化３Ｄ画像フレーム（例えば、１０８−Ｈ）に少なくとも一部は基づき、ベース・レイヤ・フレーム互換ビデオ・ストリーム（ＢＬ  ＦＣビデオ・ストリーム１１２−１）で搬送されるベースレイヤ・ビデオ信号を生成するのに対し、ＥＬエンコーダ（１１６）は、第２の多重化３Ｄ画像フレーム（例えば、１０８−Ｖ）に少なくとも一部は基づき、エンハンスメント・レイヤ・フレーム互換ビデオ・ストリーム（ＥＬ  ＦＣビデオ・ストリーム１１２−３）で搬送されるエンハンスメント・レイヤ・ビデオ信号を生成する。ＢＬエンコーダ（１１０）およびＥＬエンコーダ（１１６）の一方または両方は、Ｈ．２６４／ＡＶＣ、ＶＰ８、ＶＣ−１、および／または他のコーデックなどの、複数のコーデックのうちの１つまたは複数を使用して実装されうる。
【００３７】
本明細書で説明されているようなエンハンスメント・レイヤ・ビデオ信号は、ハイブリッド・ビデオ符号化方式を使用して生成されうる（例えば、ＶＣ−１、Ｈ．２６４／ＡＶＣ、および／または他のコーデックなどの、ビデオ・コーデックによって実装される）。多重化３Ｄ画像フレーム１０８−Ｖ内の画像データは、同じ画像フレーム内の隣接するサンプル（イントラ予測を使用して）、または同じレイヤに属し予測基準画像フレーム・バッファ内に動き補償予測基準としてバッファリングされる過去のデコードされた画像フレーム（インター予測）からのサンプルのいずれかから予測されうる。レイヤ間予測も、他のレイヤ（例えば、ベース・レイヤなど）からのデコードされた情報に少なくとも一部は基づくものとしてよい。
【００３８】
それに加えて、および／または適宜、マルチレイヤ・ビデオ・エンコーダ（１００）は、予測に関係するオペレーションを実行するため基準処理ユニット（ＲＰＵ、１１４）を備えることができる。基準処理ユニット（１１４）によって実装されるような予測は、マルチレイヤ・ビデオ・デコーダ（１５０）で多重化３Ｄ画像フレームを構築する際の冗長なデータおよびオーバーヘッドを低減するために使用されうる。ＲＰＵ（１１４）は、ＢＬエンコーダ１１０からＢＬ画像データおよび他の予測関係情報を受信して、利用し、イントラまたはインター予測を通じて予測基準画像フレームを生成することができる。
【００３９】
このような予測を利用するそれらの例示的な実施形態において、ＥＬエンコーダ（１１６）は、第２の多重化３Ｄ画像フレーム（例えば、１０８−Ｖ）および予測基準画像フレームに少なくとも一部は基づき、予測基準画像フレームと第２の多重化３Ｄ画像フレーム１０８−Ｖとの間の多重化３Ｄ画像残余または差分を生成し、ＥＬ  ＦＣビデオ・ストリーム（１１２−３）で搬送されるエンハンスメント・レイヤ・ビデオ信号に画像残余を格納する。さらに、予測および符号化プロセスに基づき、ＲＰＵ（１１４）は、ＲＰＵストリーム（１１２−２）を使用してメタデータとしてデコーダに送信されうる符号化情報を生成することができる。
【００４０】
図１Ｂは、元のビデオ・シーケンス（図１Ａに関連して説明されているような入力ビデオ・シーケンスであってよい）からの２つの直交する方向にある高空間周波数成分が、一実施形態により、それぞれ、エンハンスメント・レイヤおよびベース・レイヤで搬送される相補的画像データ内に保存されている入力ビデオ信号を受信するマルチレイヤ・ビデオ・デコーダ（１５０）を例示している。例示的な一実施形態において、入力ビデオ信号は、複数のレイヤ（または複数のビットストリーム）で受信される。本明細書で使用されているように、「マルチレイヤ」または「複数のレイヤ」という用語は、（入力ビデオ信号の）互いの間に１つまたは複数の論理的依存関係を有する入力ビデオ信号を搬送する２つまたはそれ以上のビットストリームを指すものとしてよい。
【００４１】
例示的な一実施形態において、マルチレイヤ・ビデオ・デコーダ（１５０）は、ＢＬ  ＦＣビデオ・ストリーム（図１Ｂの１１２−１）、ＥＬ  ＲＰＵストリーム（図１Ｂの１１２−２）、およびＥＬ  ＦＣビデオ・ストリーム（図１Ｂの１１２−３）内の１つまたは複数の入力ビデオ信号を一連の（フル解像度）３Ｄ出力画像にデコードするように構成される。マルチレイヤ・ビデオ・デコーダ（１５０）によってデコードされるようなこの一連の３Ｄ出力画像内の３Ｄ出力画像は両目に対する高空間分解能成分を含むが、それは、入力ビデオ信号を生じさせる元のビデオ・シーケンス内の高空間周波数成分が水平と垂直の両方向で保存されているからである。
【００４２】
例示的な一実施形態において、ＢＬデコーダ（１５２）は、ＢＬ  ＦＣビデオ・ストリーム（図１Ｂの１１２−１）から受信されたＢＬビデオ信号に少なくとも一部は基づき、第１の多重化３Ｄ画像フレーム（１５８−Ｈ）を生成するのに対し、ＥＬデコーダ（１５６）は、ＥＬ  ＦＣビデオ・ストリーム（図１Ｂの１１２−３）から受信されたＥＬビデオ信号に少なくとも一部は基づき、第２の多重化３Ｄ画像フレーム（１５８−Ｖ）を生成する。ＢＬデコーダ（１５２）およびＥＬデコーダ（１５６）の一方または両方は、Ｈ．２６４／ＡＶＣ、ＶＰ８、ＶＣ−１、および／または他のコーデックなどの、複数のコーデックのうちの１つまたは複数を使用して実装されうる。
【００４３】
予測を利用する実施形態において、デコーダ側ＲＰＵ（１５４）は、ＥＬ  ＲＰＵストリーム（図１Ｂの１１２−２）から受信された基準ビデオ信号および／またはＢＬデコーダ（１５２）からのＢＬ画像データに少なくとも一部は基づき、予測基準画像フレームを生成する。さらに、ＥＬデコーダ（１５６）は、ＥＬ  ＦＣビデオ・ストリーム（図１Ｂの１１２−３）内のＥＬビデオ信号およびＲＰＵ（１５４）からの予測基準画像フレームに少なくとも一部は基づき、第２の多重化３Ｄ画像フレーム（１５８−Ｖ）を生成する。
【００４４】
マルチレイヤ・ビデオ・デコーダ（１５０）は、１つまたは複数のエンハンスメント・レイヤ（例えば、ＥＬ  ＲＰＵストリーム１１２−２およびＥＬ  ＦＣビデオ・ストリーム１１２−３）で受信された相補的画像データをベース・レイヤ（例えば、ＢＬ  ＦＣビデオ・ストリーム１１２−１）で受信された画像データと結合して、垂直と水平の両方向の高空間周波数成分を含むフル解像度のＬＥおよびＲＥ出力画像フレーム（例えば、１６２−Ｌおよび１６２−Ｒ）を生成することができる。例えば、デマルチプレクサ（ＤｅＭｕｘ、１６０）は、多重化３Ｄ画像フレーム（１５８−Ｈおよび１５８−Ｖ）を高空間周波数成分を有するＬＥおよびＲＥ出力画像フレーム（１６２−Ｌおよび１６２−Ｒ）に逆多重化するように構成されうる。多重化３Ｄ画像フレーム（１５８−Ｈおよび１５８−Ｖ）はそれぞれ、左目と右目の両方に対する画像データを含むが、ＬＥおよびＲＥ出力画像フレーム（１６２−Ｌおよび１６２−Ｒ）のそれぞれは、左目および右目のうちの一方の目のみに対する画像フレームである。第１の多重化３Ｄ画像フレーム（１５８−Ｈ）内の第１のＬＥ画像データ部分は、第２の多重化３Ｄ画像フレーム（１５８−Ｖ）内の第２のＬＥ画像データ部分と結合されて、垂直と水平の両方向の高空間周波数成分を含むＬＥ出力画像（１６２−Ｌ）を形成することができる。同様に、第１の多重化３Ｄ画像フレーム（１５８−Ｈ）内の第１のＲＥ画像データ部分は、第２の多重化３Ｄ画像フレーム（１５８−Ｖ）内の第２のＲＥ画像データ部分と結合されて、垂直と水平の両方向の高空間周波数成分を含むＲＥ出力画像（１６２−Ｒ）を形成することができる。
【００４５】
フル解像度のＬＥおよびＲＥ出力画像フレーム（１６２−Ｌおよび１６２−Ｒ）は、両方とも垂直と水平の両方向の高空間周波数成分を含み、表示デバイス（例えば、マルチレイヤ・ビデオ・デコーダ１５０を備えるものとしてよい）によって、フル解像度出力３Ｄ画像を提示するようにレンダリングされうる。フル解像度のＬＥおよびＲＥ出力画像フレームをレンダリングすることは、フレーム順で行われてよいが、それに限定されるわけではない。高空間周波数成分は、マルチレイヤ・ビデオ・デコーダ（１５０）によって受信されたとおりにビデオ信号内に保存されているので、フル解像度出力３Ｄ画像は、元の３Ｄ画像（図１Ａの３Ｄ入力画像のうちの１つであってよい）中に存在しうる高空間周波数画像細部を含む。
【００４６】
図１Ｃは、一実施形態により、元のビデオ・シーケンス（図１Ａに関連して説明されているような入力ビデオ・シーケンスであってよい）から生成された１つまたは複数の入力ビデオ信号を受信するベースレイヤ・ビデオ・デコーダ（１５０−１）を例示している。例示的な一実施形態において、ベースレイヤ・ビデオ・デコーダ（１５０−１）は、他のレイヤ内のビデオ信号がデコーダによって受信された物理的信号中に存在しうるか否かに関係なく、ベース・レイヤ（図１ＣのＢＬ  ＦＣビデオ・ストリーム１１２−１）から受信されたとおりにＢＬ入力ビデオ信号を一連の３Ｄ出力画像内にデコードするように構成される。例示的な一実施形態において、ベースレイヤ・ビデオ・デコーダ（１５０−１）は、ＢＬ  ＦＣビデオ・ストリーム（１１２−１）以外の他のストリーム内にビデオ信号が存在することをどれも無視するように構成される。
【００４７】
ベースレイヤ・ビデオ・デコーダ（１５０−１）によって生成されるようなこの一連の３Ｄ出力画像内の３Ｄ出力画像は、フル解像度３Ｄ画像データを含まないが、それは、入力ビデオ信号を生じさせる元のビデオ・シーケンス内の垂直および水平方向のうちの一方にそった高空間周波数成分は、ベースレイヤ・ビデオ信号中でフィルタリングされ／除去されており、ベースレイヤ・ビデオ・デコーダ（１５０−１）によって復元されえないからである。
【００４８】
例示的な一実施形態において、ＢＬデコーダ（図１Ｃの１５２）は、ＢＬ  ＦＣビデオ・ストリーム（図１Ｃの１１２−１）内のＢＬ入力ビデオ信号に少なくとも一部は基づき、多重化３Ｄ画像フレーム（例えば、図１Ｃの１５８−Ｈ）を生成する。ＢＬデコーダ（図１Ｃの１５２）は、Ｈ．２６４／ＡＶＣ、ＶＰ８、ＶＣ−１、および／または他のコーデックなどの、複数のコーデックのうちの１つまたは複数を使用して実装されうる。
【００４９】
例示的な一実施形態において、アップサンプリング・ユニット（１７０）は、多重化３Ｄ画像フレーム（１５８−Ｈ）を逆多重化し、および／または２つの画像データ部分に分離する。多重化３Ｄ画像フレーム（１５８−Ｈ）は、左目と右目の両方に対する多重化されフィルタリングされた画像データを含むが、画像データ部分は、フィルタリングされたＬＥ画像データ部分とフィルタリングされたＲＥ画像データ部分とを含み、それらはそれぞれフル解像度より下げた解像度である。例示的な一実施形態において、アップサンプリング・ユニット（１７０）は、フィルタリングされたＬＥ画像データ部分をアップサンプリング（例えば、水平方向にそって拡大）して、アップサンプリングされたＬＥフィルタリング出力画像フレーム（１７２−Ｌ）を形成する。同様に、アップサンプリング・ユニット（１７０）は、フィルタリングされたＲＥ画像データ部分をアップサンプリング（例えば、水平方向にそって拡大）して、アップサンプリングされたＲＥフィルタリング出力画像フレーム（１７２−Ｒ）を形成する。アップサンプリングされたＬＥおよびＲＥフィルタリング画像フレーム（１７２−Ｌおよび−Ｒ）はそれぞれ、フル解像度画像フレームと同じ数のピクセルを含むことができるとしても、アップサンプリングされたＬＲおよびＲＥフィルタリング画像フレーム（１７２−Ｌおよび−Ｒ）を有するレンダリングされた３Ｄ画像は、アップサンプリング・オペレーションでは得られないフル解像度のＬＥおよびＲＥ画像フレーム（図１Ｂの１６２−Ｌおよび−Ｒ）から構成される３Ｄ画像よりもファジィな見え方になる。それに加えて、アップサンプリングされたＬＥおよびＲＥフィルタリング画像フレーム（１７２−Ｌおよび−Ｒ）は、ＢＬビデオ信号（例えば、図１Ａの１１２−１から導出されうる）のエンコーディング処理で除去された高空間周波数画像細部を有しない。
【００５０】
フル解像度より低い解像度のアップサンプリングされたＬＥおよびＲＥフィルタリング画像フレーム（１７２−Ｌおよび−Ｒ）は、表示デバイス（例えば、ベースレイヤ・ビデオ・デコーダ１５０−１を備えることができる）によって出力３Ｄ画像を提示するようにレンダリングされうる。アップサンプリングされたＬＥおよびＲＥフィルタリング画像フレーム（１７２−Ｌおよび−Ｒ）をレンダリングすることは、フレーム順で行われてよいが、それに限定されるわけではない。
【００５１】
３．デマルチプレクサ
図２、図３、および図４は、いくつかの例示的な実施形態による、図１Ｂのデマルチプレクサ１６０の異なる構成を例示している。デマルチプレクサ（１６０−１から１６０−５）のそれぞれは、第１の多重化３Ｄ画像フレーム（例えば、１５８−Ｈ）からデコード／導出された第１のＬＥ部分（２０２−Ｌ）、および第２の多重化３Ｄ画像フレーム（例えば、１５８−Ｖ）からデコード／導出された第２のＬＥ部分（２０４−Ｌ）を受け付けるように構成されうる。第１のＬＥ部分（２０２−Ｌ）は、垂直および水平方向のうちの一方の方向（例えば、垂直方向）の高空間周波数成分を含むのに対し、第２のＬＥ部分（２０４−Ｌ）は、垂直および水平方向のうちの他方の方向（同じ例における水平方向）の高空間周波数成分を含みうる。
【００５２】
デマルチプレクサ（１６０−１から１６０−５）のそれぞれは、第１のＬＥ部分（２０２−Ｌ）と第２のＬＥ部分（２０４−Ｌ）を処理して結合し、垂直および水平の両方向の高空間周波数成分を含むフル解像度ＬＥ画像フレーム（１６２−Ｌ）を生成するように構成されうる。
【００５３】
デマルチプレクサ（１６０−１から１６０−５）のそれぞれに類似するデマルチプレクサは、第１の多重化３Ｄ画像フレーム（１５８−Ｈ）からデコード／導出された第１のＲＥ部分および第２の多重化３Ｄ画像フレーム（１５８−Ｖ）からデコード／導出された第２のＲＥ部分を受け付けるように構成されうる。第１のＲＥ部分は、垂直方向の高空間周波数成分を含みうるのに対し、第２のＲＥ部分は、水平方向の高空間周波数成分を含みうる。デマルチプレクサは、第１のＲＥ部分と第２のＲＥ部分とを処理して結合し、垂直および水平の両方向の高空間周波数成分を含むフル解像度ＲＥ画像フレーム（例えば、図１Ｂの１６２−Ｒ）を生成するように構成されうる。
【００５４】
図２に示されているように、デマルチプレクサ（１６０−１）内のアップサンプラー（２０６−Ｈ）は、第１のＬＥ部分（２０２−Ｌ）を水平方向にアップサンプリングして、第１のＬＥ画像フレーム（２０８−Ｈ）を作成するように構成されうる。同様に、デマルチプレクサ（１６０−１）内のアップサンプラー２０６−Ｖは、第２のＬＥ部分（２０４−Ｌ）を垂直方向にアップサンプリングして、第２のＬＥ画像フレーム（２０８−Ｖ）を作成するように構成されうる。
【００５５】
第１のローパス・フィルター（２１０−１）および第１のハイパス・フィルター（２１０−２）が第１のＬＥ画像フレーム（２０８−Ｈ）に適用されて、第１のローパスＬＥ画像フレーム（２１２−１）および第１のハイパスＬＥ画像フレーム（２１２−２）を生成することができる。同様に、第２のローパス・フィルター（２１４−１）および第２のハイパス・フィルター（２１４−２）が第２のＬＥ画像フレーム（２０８−Ｖ）に適用されて、第２のローパスＬＥ画像フレーム（２１６−１）および第２のハイパスＬＥ画像フレーム（２１６−２）を生成することができる。
【００５６】
デマルチプレクサ（１６０−１）内の平均化ユニット（２１８）は、第１のローパスＬＥ画像フレーム（２１２−１）および第２のローパスＬＥ画像フレーム（２１６−１）を入力として受け付け、平均化オペレーションを第１のローパスＬＥ画像フレーム（２１２−１）および第２のローパスＬＥ画像フレーム（２１６−１）に作用させてローパス平均化ＬＥ画像フレームを生成するように構成されうる。
【００５７】
デマルチプレクサ（１６０−１）内の加算器（２２０）は、第１のハイパスＬＥ画像フレーム（２１２−２）、第２のハイパスＬＥ画像フレーム（２１６−２）、およびローパス平均化ＬＥ画像フレームを入力として受け付け、加算オペレーションを第１のハイパスＬＥ画像フレーム（２１２−２）、第２のハイパスＬＥ画像フレーム（２１６−２）、およびローパス平均化ＬＥ画像フレームに作用させて垂直および水平の両方向の高空間周波数成分を含むフル解像度ＬＥ画像フレーム（１６２−Ｌ）を生成するように構成されうる。
【００５８】
いくつかの実施形態では、ローパス・フィルタリングは、例えば、アンチエイリアシングを目的として、マルチレイヤ・ビデオ・エンコーダ（例えば、図１Ａの１００）によって適用されている。図２のデマルチプレクサ（１６０−１）は、図３Ａおよび図３Ｂに例示されているようにいくつかの実施形態により簡素化されうる。これらの実施形態では、デコードの複雑さは、ローパス・フィルター（例えば、２１０−１および２１４−１）ならびに図２のマルチプレクサ１６０−１で使用されうる平均化ユニット（２１８）を排除することによって低減されうる。
【００５９】
図３Ａに例示されているように、デマルチプレクサ（１６０−２）内のアップサンプラー（２０６−Ｈ）は、第１のＬＥ部分（２０２−Ｌ）を水平方向にアップサンプリングして、垂直方向の高空間周波数成分を含むＬＥ画像フレーム（２０８−Ｈ）を作成するように構成されうる。
【００６０】
水平方向の高空間周波数成分を保存するハイパス・フィルター（２１４−２）が第２のＬＥ部分（２０２−Ｌ）に適用されて、ハイパスＬＥ部分を生成することができる。デマルチプレクサ（１６０−２）内のアップサンプラー（２０６−Ｖ）は、ハイパスＬＥ部分を垂直方向にアップサンプリングして、水平方向の高空間周波数成分を含むハイパスＬＥ画像フレーム（２１６−２）を作成するように構成されうる。
【００６１】
デマルチプレクサ（１６０−２）内の加算器（２２２）は、ハイパスＬＥ画像フレーム（２１６−２）およびＬＥ画像フレーム（２０８−Ｈ）を入力として受け付け、加算オペレーションをハイパスＬＥ画像フレーム（２１６−２）およびＬＥ画像フレーム（２０８−Ｈ）に作用させて垂直および水平の両方向の高空間周波数成分を含むフル解像度ＬＥ画像フレーム（１６２−Ｌ）を生成するように構成されうる。
【００６２】
いくつかの実施形態では、フル解像度ＬＥ画像フレーム（例えば、１６２−Ｌ）を導出するために図３Ａに例示されているようなデマルチプレクサ（１６０−２）を使用する代わりに、図３Ｂに例示されているようなデマルチプレクサ（１６０−３）を使用することができる。図３Ｂでは、デマルチプレクサ（１６０−３）内のアップサンプラー（２０６−Ｖ）は、第２のＬＥ部分（２０４−Ｌ）を垂直方向にアップサンプリングして、水平方向の高空間周波数成分を含むＬＥ画像フレーム（２０８−Ｖ）を作成するように構成されうる。
【００６３】
垂直方向の高空間周波数成分を保存するハイパス・フィルター（２１０−２）が第１のＬＥ部分（２０２−Ｌ）に適用されて、ハイパスＬＥ部分を生成することができる。デマルチプレクサ（１６０−３）内のアップサンプラー２０６−Ｈは、ハイパスＬＥ部分を水平方向にアップサンプリングして、垂直方向の高空間周波数成分を含むハイパスＬＥ画像フレーム（２１２−２）を作成するように構成されうる。
【００６４】
デマルチプレクサ（１６０−３）内の加算器（２２２）は、ハイパスＬＥ画像フレーム（２１２−２）およびＬＥ画像フレーム（２０８−Ｖ）を入力として受け付け、加算オペレーションをハイパスＬＥ画像フレーム（２１２−２）およびＬＥ画像フレーム（２０８−Ｖ）に作用させて垂直および水平の両方向の高空間周波数成分を含むフル解像度ＬＥ画像フレーム（１６２−Ｌ）を生成するように構成されうる。
【００６５】
いくつかの実施形態では、フル解像度ＬＥ画像フレーム（例えば、１６２−Ｌ）を導出するために図３Ａおよび図３Ｂに例示されているようにデマルチプレクサ（１６０−２または１６０−３）内でハイパス・フィルター（例えば、図３Ａの２１４−２または図３Ｂの２１０−２）を使用する代わりに、図４Ａに例示されているような減算オペレーションが使用されうる。ハイパス・フィルタリング・オペレーションとは対照的に、４０２などの減算オペレーションは、計算複雑度が低くて済む可能性がある。
【００６６】
例示することのみを目的として、第１のＬＥ部分（２０２−Ｌ）は、ＢＬビデオ信号からデコードされうるのに対し、第２のＬＥ部分（２０４−Ｌ）は、ＥＬビデオ信号からデコードされうる。図４Ａに例示されているように、基準ＬＥ部分４０４は、第２のＬＥ部分（２０４−Ｌ）の同じ空間次元のものであってよく、レイヤ間予測処理中にＲＰＵ４０６（例えば、図１Ｂの１５４であってよい）によって第１のＬＥ部分（２０２ーＬ）に基づき生成されうる。いくつかの実施形態では、垂直方向のローパス・フィルター（４０８）（垂直方向の高空間周波数成分を除去する）、垂直サブサンプラー（４１０、これは例えば行を１つおきに保持することができる）、および水平アップサンプラー（４１２）を含む処理経路または部分経路を使用して、基準ＬＥ部分４０４を生成することができる。
【００６７】
減算オペレーション（４０２）は、基準のＬＥ部分４０４（上流マルチレイヤ・ビデオ・エンコーダ（例えば、図１Ａの１００）によって除去される水平方向の高空間周波数成分に加えて垂直方向の高空間周波数成分を除去している）および第２のＬＥ部分（２０４−Ｌ）を入力として受け付け、基準ＬＥ部分４０４によって第２のＬＥ部分（２０４−Ｌ）を減算して水平方向のみの高空間周波数成分を含むハイパスＬＥ部分を生成するように構成されうる。いくつかの実施形態では、本明細書で説明されているようなハイパスＬＥ部分は、図３Ａのハイパス・フィルター（２１４−２）によって生成されるハイパスＬＥ部分と同等であるものとしてよい。
【００６８】
図３Ａのデマルチプレクサ（１６０−２）と同様に、図４Ａのデマルチプレクサ（１６０−４）は、ハイパスＬＥ部分を垂直方向にアップサンプリングして、水平方向の高空間周波数成分を含むハイパスＬＥ画像フレーム（２１６−２）を作成するように構成されうるアップサンプラー２０６−Ｖを備えることができる。
【００６９】
デマルチプレクサ（１６０−４）内の加算器（２２２）は、ハイパスＬＥ画像フレーム（２１６−２）およびＬＥ画像フレーム（２０８−Ｈ）（水平アップサンプラー２０６−Ｈによって第１のＬＥ部分２０２−Ｌから生成される）を入力として受け付け、加算オペレーションをハイパスＬＥ画像フレーム（２１６−２）およびＬＥ画像フレーム（２０８−Ｈ）に作用させて垂直および水平の両方向の高空間周波数成分を含むフル解像度ＬＥ画像フレーム（１６２−Ｌ）を生成するように構成されうる。
【００７０】
図４Ｂに例示されているように、基準ＬＥ部分４２４は、第１のＬＥ部分（２０２−Ｌ）の同じ空間次元のものであってよく、レイヤ間予測処理中にＲＰＵ４２６（例えば、図１Ｂの１５４であってよい）によって第２のＬＥ部分（２０４ーＬ）に基づき生成されうる。いくつかの実施形態では、垂直方向のローパス・フィルター（４２８）（垂直方向の高空間周波数成分を除去する）、垂直サブサンプラー（４３０、これは例えば行を１つおきに保持することができる）、および水平アップサンプラー（４３２）を含む処理経路または部分経路を使用して、基準ＬＥ部分４０４を生成することができる。
【００７１】
デマルチプレクサ（１６０−５）内の減算オペレーション（４２２）は、基準のＬＥ部分４２４（上流マルチレイヤ・ビデオ・エンコーダ（例えば、図１Ａの１００）によって除去される垂直方向の高空間周波数成分に加えて水平方向の高空間周波数成分を除去している）および第１のＬＥ部分（２０２−Ｌ）を入力として受け付け、基準ＬＥ部分４２４によって第１のＬＥ部分（２０２−Ｌ）を減算して垂直方向のみの高空間周波数成分を含むハイパスＬＥ部分を生成するように構成されうる。いくつかの実施形態では、本明細書で説明されているようなハイパスＬＥ部分は、図３Ｂのハイパス・フィルター（２１０−２）によって生成されるハイパスＬＥ部分と同等であるものとしてよい。
【００７２】
図３Ｂのデマルチプレクサ（１６０−３）と同様に、図４Ｂのデマルチプレクサ（１６０−５）は、ハイパスＬＥ部分を水平方向にアップサンプリングして、垂直方向の高空間周波数成分を含むハイパスＬＥ画像フレーム（２１２−２）を作成するように構成されうるアップサンプラー２０６−Ｈを備えることができる。
【００７３】
デマルチプレクサ（１６０−５）内の加算器（２２２）は、ハイパスＬＥ画像フレーム（２１２−２）およびＬＥ画像フレーム（２０８−Ｖ）（垂直アップサンプラー２０６−Ｖによって第２のＬＥ部分２０４−Ｌから生成される）を入力として受け付け、加算オペレーションをハイパスＬＥ画像フレーム（２１２−２）およびＬＥ画像フレーム（２０８−Ｖ）に作用させて垂直および水平の両方向の高空間周波数成分を含むフル解像度ＬＥ画像フレーム（１６２−Ｌ）を生成するように構成されうる。
【００７４】
４．サンプリング形式
図５は、いくつかの例示的な実施形態における、多重化形式を例示している。図示されているように、ＬＥ画像フレーム（例えば、１０２−Ｌまたはそこから導出されたＬＥ画像）およびＲＥ画像フレーム（例えば、１０２−Ｒまたはそこから導出されたＲＥ画像）は、３Ｄ画像フレーム内の複数のピクセル（ｉは正整数であってよいものとして、ａｉ、ｂｉ、ｃｉ、ｄｉなど）に対するＬＥおよびＲＥピクセル値を含むことができる。いくつかの実施形態では、図１Ａの多重化画像フレーム１０８−Ｈなどのサイド・バイ・サイド多重化画像フレームは、複数のサイド・バイ・サイド多重化形式（１０８−Ｈ−１、１０８−Ｈ−２、１０８−Ｈ−３、または他のサイド・バイ・サイド多重化形式）のうちのどれかを使用して、ＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）から水平方向にサブサンプリングされた画像データをホストすることができる。いくつかの実施形態では、図１Ａの多重化画像フレーム１０８−Ｖなどのトップ・アンド・ボトム多重化画像フレームは、複数のトップ・アンド・ボトム多重化形式（１０８−Ｖ−１、１０８−Ｖ−２、１０８−Ｖ−３、または他のサイド・バイ・サイド多重化形式）のうちのどれかを使用して、ＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）から垂直方向にサブサンプリングされた画像データをホストすることができる。
【００７５】
図１の１０６−Ｈまたは１０６−Ｖなどのマルチプレクサは、１つまたは複数のファクタ（例えば、マルチプレクサによって採用されたサブサンプリング方法に関係する）に基づき複数の多重化形式から多重化形式を１つまたは複数選択することができ、例えば、ＲＰＵストリーム１１２−２を使用して、多重化形式の選択をマルチレイヤ・ビデオ・デコーダ（例えば、図１Ｂの１５０）にメタデータとして知らせることができる。マルチレイヤ・ビデオ・デコーダ（１５０）内のＲＰＵユニット（例えば、図４Ａの４０６または図４Ｂの４２６）は、ＢＬビデオ信号からデコードされた多重化３Ｄ画像フレーム（例えば、図１Ａの１０８−Ｈに対応する）に基づきレイヤ間基準フレームまたは画像部分（例えば、図４Ａの４０４または図４Ｂの４２４）を構成することができるが、その際に、ＢＬとＥＬの両方のレイヤで（差分的にまたは非差分的に）エンコードされた多重化３Ｄ画像フレーム（１０８−Ｈおよび１０８−Ｖ）を生成するときに上流マルチレイヤ・ビデオ・エンコーダによって使用される採用されたサブサンプリング方法を考慮する。
【００７６】
５．インターレース・ビデオ・アプリケーション
図６Ａは、いくつかの例示的な実施形態における、トップ・アンド・ボトム形式で画像部分（６０６）を形成する同じパースペクティブ（左目または右目のいずれか）のインターレースされたコンテンツ（６０２）を例示している。図６Ａでは、インターレースされたコンテンツ（６０２）は、最初に、ｔに等しい第１の時間に対する（例えば、１０８０ｉ）トップ・フィールド（６０４−Ｔ）およびｔ＋１に等しい第２の時間に対する（例えば、１０８０ｉ）ボトム・フィールド（６０４−Ｂ）に逆多重化されうる。図６Ａでは、トップ・フィールド（６０４−Ｔ）およびボトム・フィールド（６０４−Ｂ）のそれぞれは、垂直方向フィルタリングされて、第１のハーフ・フィールド（６０８−１）（例えば、垂直方向で、１／２、またはフル空間分解能の１／２未満、またはフル空間分解能より低い別の空間分解能の）、および第２のハーフ・フィールド（６０８−２）（例えば、垂直方向で、１／２、またはフル空間分解能の１／２未満、またはフル空間分解能より低い別の空間分解能の）に垂直方向サブサンプリングされうる。さらに、図６Ａでは、第１のハーフ・フィールド（６０８−１）および第２のハーフ・フィールド（６０８−２）は、第１のインターレース画像フレーム内のトップまたはボトム・フィールド（６０６）にインターリーブされうる。
【００７７】
図６Ｂは、いくつかの例示的な実施形態における、サイド・バイ・サイド形式で画像部分（６２６）を形成する同じパースペクティブ（左目または右目のいずれか）のインターレースされたコンテンツ（６０２）を例示している。いくつかの実施形態では、インターレースされたコンテンツ（６０２）は、水平方向フィルタリングおよび水平方向サブサンプリングの前に２つの別々のフィールドに逆多重化され、次いで画像部分（６２６）内にインターレースされる必要はない。その代わりに、インターレースされたコンテンツ（６０２）は、直接的に水平方向フィルタリングされ、画像部分（６２６）に水平方向サブサンプリングされうる。図６Ｂに例示されているオペレーションは、ＬＥおよびＲＥパースペクティブのそれぞれについて実行され、これはフィルタリングおよびサンプリング・メカニズムの半分を構成することができる（１０４−Ｈ）。
【００７８】
図６Ａおよび図６Ｂで説明されているオペレーションは、左目および右目のパースペクティブのそれぞれに適用され、これにより、トップ・アンド・ボトム形式の第１のインターリーブ画像フレーム（図６Ａに一部が例示されている）およびサイド・バイ・サイド・ボトム形式の第２のインターリーブ画像フレーム（図６Ｂに一部が例示されている）を形成することができる。第１のインターリーブ・フレームおよび第２のインターリーブ・フレームのうちの一方は、ＢＬビデオ信号で搬送されうるのに対し、他の（差分的にまたは非差分的にエンコードされた）インターリーブ・フレームは、ＥＬビデオ信号で搬送されうる。その結果、第１のインターリーブ画像フレームおよび第２のインターリーブ画像フレームのうちの一方（例えば、この例における第１のインターリーブ画像フレーム）は、水平方向の高空間周波数成分を搬送するのに対し、第１のインターリーブ画像フレームおよび第２のインターリーブ画像フレームのうちの他方（例えば、この例における第２のインターリーブ画像フレーム）は、垂直方向の高空間周波数成分を搬送する。
【００７９】
図７は、いくつかの例示的な実施形態における、インターレースされたコンテンツを搬送するための多重化形式を例示している。図６Ａおよび図６Ｂに例示されているように、水平または垂直方向のローパス・フィルタリングおよびサブサンプリングは、インターレースされたコンテンツに対してフィールド・ベースであってよい。左画像フィールド（７０８−Ｌ）および右画像フィールド（７０８−Ｒ）は、それぞれ、ｔに等しい時間に対してインターレースされたコンテンツのＬＥおよびＲＥパースペクティブに対応するものとしてよい。左画像フィールド（７０８−Ｌ）および右画像フィールド（７０８−Ｒ）の一方のピクセル値は、図６Ｂに例示されているように水平方向フィルタリングおよび水平方向サブサンプリングが適用されたときに図７に示されているように複数の多重化（またはサブサンプリング）形式（７０８−Ｈ−１、７０８−Ｈ−２、７０８−Ｈ−３など）のうちのどれかの左または右側を埋めるために使用されうる。同様に、左画像フィールド（７０８−Ｌ）および右画像フィールド（７０８−Ｒ）の一方のピクセル値は、図６Ａに例示されているように垂直方向フィルタリングおよび水平方向サブサンプリングが適用されたときに図７に示されているように複数の多重化（またはサブサンプリング）形式（７０８−Ｖ−１、７０８−Ｖ−２、７０８−Ｖ−３など）のうちのどれかのトップまたはボトムを埋めるために使用されうる。いくつかの実施形態では、ＬＥとＲＥの両方のパースペクティブの、ｔに等しい第１の時間およびｔ＋１に等しい第２の時間の両方に対応する、すべての画像フィールドからのサブサンプリングされた画像データは、インターレースされたコンテンツに適用されるトップ・アンド・ボトム形式で存在する。
【００８０】
６．残余画像符号化
図８Ａは、本発明の一実施形態による、入力ビデオ・シーケンス内に存在する高空間周波数成分を維持するマルチレイヤ・ビデオ・エンコーダ（１００−１）を例示している。図８Ｂは、例示的な実施形態による、図８Ａに示されているマルチレイヤ・ビデオ・エンコーダ（１００−１）に対応するマルチレイヤ・ビデオ・デコーダ（１５０−２）を示している。
【００８１】
例示的な一実施形態において、マルチレイヤ・ビデオ・エンコーダ（１００−１）は、一連の３Ｄ入力画像からなる入力３Ｄビデオ・シーケンスをエンコードするように構成される。この一連の３Ｄ画像中の３Ｄ入力画像は、高空間周波数成分を含むフル解像度３Ｄ画像データを含む。３Ｄ入力画像中のフル解像度３Ｄ画像データは、最初に、マルチレイヤ・ビデオ・エンコーダ（１００）によって入力ＬＥ画像フレーム（１０２−Ｌ）と入力ＲＥ画像フレーム（１０２−Ｒ）とにデコードされうるものとしてよく、それらは両方とも高空間周波数成分を含む。
【００８２】
例示的な一実施形態において、マルチレイヤ・ビデオ・エンコーダ（１００）内の第１のフィルタリングおよびサブサンプリング・メカニズム（例えば、１０４−Ｈ）は、垂直または水平方向のうちの一方の方向にフィルタリングされるが、入力ＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）に基づき垂直または水平方向のうちの他方の方向に未フィルタリングであるＬＥおよびＲＥ画像データを生成する。例示することを目的として、第１のフィルタリングおよびサブサンプリング・メカニズムは、図８Ａの１０４−Ｈであってよく、これは入力ＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）から水平方向に高空間周波数成分をフィルタリングし、対応するＬＥおよびＲＥ部分に水平方向にフィルタリングされたとおりにＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）を水平方向サブサンプリングするように構成される。マルチプレクサ（１０６−Ｈ）は、３Ｄ多重化画像フレーム（１０８−Ｈ）内のＬＥおよびＲＥ部分をサイド・バイ・サイド形式で結合するように構成されうる。
【００８３】
いくつかの実施形態では、ＥＬビデオ信号へのフィルタリング、サブサンプリング、多重化、および圧縮を含むＥＬ処理部分経路を通じてＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）を処理する代わりに、ＬＥおよびＲＥ残余画像フレーム（８０６−Ｌおよび８０６−Ｒ）は、ＥＬ処理部分経路によって処理されうる。図８Ａに例示されているように、ＲＰＵ（１１４）は、ＢＬエンコーダ（１１０）によって供給されるような多重化３Ｄ画像フレーム（１０８−Ｈ）に基づきＬＥおよびＲＥ基準画像部分を生成するように構成されうる。ＲＰＵ（１１４）からのＬＥおよびＲＥ基準画像部分は、ＢＬ処理部分経路のサブサンプリング方向と同じ方向にアップサンプリングされうる。例えば、水平方向フィルタリング、水平方向サブサンプリング、サイド・バイ・サイド多重化、およびＢＬエンコーディングを含むＢＬ処理部分経路が入力ＬＥおよびＲＥ画像フレーム（１０２−Ｌおよび１０２−Ｒ）のサブサンプリングを水平方向に実行する場合、ＲＰＵ（１１４）によって生成されるＬＥおよびＲＥ基準画像部分のそれぞれは水平方向にアップサンプリングされ、それにより、アップサンプリングされたＬＥ画像フレーム（８０４−Ｌ）およびアップサンプリングされたＲＥ画像フレーム（８０４−Ｒ）を形成することができる。
【００８４】
加算オペレーション（８１０−Ｌ）は、アップサンプリングされたＬＥ画像フレーム８０４−Ｌ（ＢＬ処理部分経路によって水平方向の高空間周波数成分を除去している）の相補的フレームと入力ＬＥ画像フレーム（１０２−Ｌ）とを入力として受け付け、入力ＬＥ画像フレーム（１０２−Ｌ）とアップサンプリングされたＬＥ画像フレーム８０４−Ｌの相補的フレームとを加算して水平方向のみの高空間周波数成分を含むＬＥ残余画像フレーム（８０６−Ｌ）を生成するように構成されうる。加算オペレーション（８１０−Ｒ）は、アップサンプリングされたＲＥ画像フレーム８０４−Ｒ（ＢＬ処理部分経路によって水平方向の高空間周波数成分を除去している）の相補的フレームと入力ＲＥ画像フレーム（１０２−Ｒ）とを入力として受け付け、入力ＲＥ画像フレーム（１０２−Ｒ）とアップサンプリングされたＲＥ画像フレーム８０４−Ｒの相補的フレームとを加算して水平方向のみの高空間周波数成分を含むＲＥ残余画像フレーム（８０６−Ｒ）を生成するように構成されうる。
【００８５】
第２のフィルタリングおよびサブサンプリング・メカニズムは、図８Ａの１０４−Ｖであってよく、これは、ＬＥおよびＲＥ残余画像フレーム（８０６−Ｌおよび８０６−Ｒ）を対応するＬＥおよびＲＥ残余部分に垂直方向サブサンプリングするように構成される。それに加えて、また適宜、第２のフィルタリングおよびサブサンプリング・メカニズムは垂直フィルターを備えることができ、これは、ＬＥおよびＲＥ残余画像フレーム（８０６−Ｌおよび８０６−Ｒ）を、例えば、ＬＥおよびＲＥ残余画像フレーム（８０６−Ｌおよび８０６−Ｒ）に上述のサブサンプリング・オペレーションを実行する前に垂直方向フィルタリングするように構成される。マルチプレクサ（１０６−Ｖ）は、３Ｄ多重化画像フレーム（８０８−Ｖ）内のＬＥおよびＲＥ残余部分をトップ・アンド・ボトム形式で結合するように構成されうる。
【００８６】
例示的な一実施形態において、ＢＬエンコーダ（１１０）は、第１の多重化３Ｄ画像フレーム（例えば、１０８−Ｈ）に少なくとも一部は基づき、ベース・レイヤ・フレーム互換ビデオ・ストリーム（ＢＬ  ＦＣビデオ・ストリーム１１２−１）で搬送されるベースレイヤ・ビデオ信号を生成するのに対し、ＥＬエンコーダ（１１６）は、第２の多重化３Ｄ画像フレーム（例えば、８０８−Ｖ）に少なくとも一部は基づき、エンハンスメント・レイヤ・フレーム互換ビデオ・ストリーム（ＥＬ  ＦＣビデオ・ストリーム１１２−３）で搬送されるエンハンスメント・レイヤ・ビデオ信号を生成する。ＢＬエンコーダ（１１０）およびＥＬエンコーダ（１１６）の一方または両方は、Ｈ．２６４／ＡＶＣ、ＶＰ８、ＶＣ−１、および／または他のコーデックなどの、複数のコーデックのうちの１つまたは複数を使用して実装されうる。
【００８７】
図８Ｂは、元のビデオ・シーケンス（図８Ａに関連して説明されているような入力ビデオ・シーケンスであってよい）からの高空間周波数成分が２つの直交する方向で、一実施形態により、それぞれ、エンハンスメント・レイヤおよびベース・レイヤで搬送される相補的画像データ内に保存されている入力ビデオ信号を受信するマルチレイヤ・ビデオ・デコーダ（１５０−２）を示している。
【００８８】
例示的な一実施形態において、マルチレイヤ・ビデオ・デコーダ（１５０−２）は、ＢＬ  ＦＣビデオ・ストリーム（図８Ｂの１１２−１）、ＥＬ  ＲＰＵストリーム（図８Ｂの１１２−２）、およびＥＬ  ＦＣビデオ・ストリーム（図８Ｂの１１２−３）内の１つまたは複数の入力ビデオ信号を一連の３Ｄ出力画像にデコードするように構成される。マルチレイヤ・ビデオ・デコーダ（１５０−２）によってデコードされるようなこの一連の３Ｄ出力画像内の３Ｄ出力画像は両目に対する高空間周波数成分を含むが、それは、入力ビデオ信号を生じさせる元のビデオ・シーケンス内の高空間周波数成分が水平と垂直の両方向で保存されているからである。
【００８９】
例示的な一実施形態において、ＢＬデコーダ（１５２）は、ＢＬ  ＦＣビデオ・ストリーム（図８Ｂの１１２−１）から受信されたＢＬビデオ信号に少なくとも一部は基づき、第１の多重化３Ｄ画像フレーム（１５８−Ｈ）を生成するのに対し、ＥＬデコーダ（１５６）は、ＥＬ  ＦＣビデオ・ストリーム（図８Ｂの１１２−３）から受信されたＥＬビデオ信号に少なくとも一部は基づき、第２の多重化３Ｄ画像フレーム（８５８−Ｖ）を生成する。ＢＬデコーダ（１５２）およびＥＬデコーダ（１５６）の一方または両方は、Ｈ．２６４／ＡＶＣ、ＶＰ８、ＶＣ−１、および／または他のコーデックなどの、複数のコーデックのうちの１つまたは複数を使用して実装されうる。
【００９０】
いくつかの実施形態では、ＥＬデコーダ（１５６）は、ＲＰＵ（１５４）からの予測基準画像フレームなしでＥＬ  ＦＣビデオ・ストリーム（図８Ｂの１１２−３）内のＥＬビデオ信号に少なくとも一部は基づき、第２の多重化３Ｄ画像フレーム（８５８−Ｖ）を生成する。
【００９１】
マルチレイヤ・ビデオ・デコーダ（１５０−２）は、１つまたは複数のエンハンスメント・レイヤ（例えば、ＥＬ  ＦＣビデオ・ストリーム１１２−３）で受信された残余画像データをベース・レイヤ（例えば、ＢＬ  ＦＣビデオ・ストリーム１１２−１）で受信された画像データと結合して、垂直と水平の両方向の高空間周波数成分を含むフル解像度のＬＥおよびＲＥ出力画像フレーム（例えば、１６２−Ｌおよび１６２−Ｒ）を生成することができる。例えば、デマルチプレクサ（ＤｅＭｕｘ、１６０）は、多重化３Ｄ画像フレーム（１５８−Ｈおよび８５８−Ｖ）を高空間周波数成分を有するＬＥおよびＲＥ出力画像フレーム（１６２−Ｌおよび１６２−Ｒ）に逆多重化するように構成されうる。多重化３Ｄ画像フレーム（１５８−Ｈおよび８５８−Ｖ）はそれぞれ、左目と右目の両方に対する画像データを含むが、ＬＥおよびＲＥ出力画像フレーム（１６２−Ｌおよび１６２−Ｒ）のそれぞれは、左目および右目のうちの一方の目のみに対する画像フレームである。第１の多重化３Ｄ画像フレーム（１５８−Ｈ）内の第１のＬＥ画像データ部分は、第２の多重化３Ｄ画像フレーム（１５８−Ｖ）内の第２のＬＥ画像データ部分と結合されて、垂直と水平の両方向の高空間周波数成分を含むＬＥ出力画像（１６２−Ｌ）を形成することができる。同様に、第１の多重化３Ｄ画像フレーム（１５８−Ｈ）内の第１のＲＥ画像データ部分は、第２の多重化３Ｄ画像フレーム（１５８−Ｖ）内の第２のＲＥ画像データ部分と結合されて、垂直と水平の両方向の高空間周波数成分を含むＲＥ出力画像（１６２−Ｒ）を形成することができる。
【００９２】
フル解像度のＬＥおよびＲＥ出力画像フレーム（１６２−Ｌおよび１６２−Ｒ）は、両方とも垂直と水平の両方向の高空間周波数成分を含み、表示デバイス（例えば、マルチレイヤ・ビデオ・デコーダ１５０を備えるものとしてよい）によって、フル解像度出力３Ｄ画像を提示するようにレンダリングされうる。フル解像度のＬＥおよびＲＥ出力画像フレームをレンダリングすることは、フレーム順で行われてよいが、それに限定されるわけではない。高空間周波数成分は、マルチレイヤ・ビデオ・デコーダ（１５０）によって受信されたとおりにビデオ信号内に保存されているので、フル解像度出力３Ｄ画像は、元の３Ｄ画像（図８Ａの３Ｄ入力画像のうちの１つであってよい）中に存在しうる高空間周波数画像細部を含む。
【００９３】
図８Ａおよび図８Ｂに例示されている実施形態では、レイヤ間予測は不要である。これらの実施形態におけるマルチレイヤ・ビデオ・デコーダによるＢＬおよびＥＬ画像データのデコードは、他の実施形態（図１Ａおよび図）に比べて広範に独立して実行されうる。その結果、図２から図４に例示されているものと比べて単純なデマルチプレクサ（例えば、図９の１６０−６）が、図８Ｂの１５０−２などのマルチレイヤ・ビデオ・デコーダにおいて使用されうる。
【００９４】
残余画像データは、プログレッシブ・ビデオ・アプリケーションでは図５に例示されているようなサブサンプリング形式のどれか、インターレース・ビデオ・アプリケーションでは図７に例示されているようなサブサンプリング形式のどれかを使用してサブサンプリングされうることに留意されたい。本明細書で説明されているようなＲＰＵ信号は、下流ビデオ・デコーダに、上流マルチレイヤ・ビデオ・エンコーダによってエンコードされたとおりのＢＬおよびＥＬ画像データの選択されたサブサンプリング形式を知らせるために使用されうる。
【００９５】
７．例示的なプロセス・フロー
図１０Ａは、本発明の一実施形態による例示的なプロセス・フローを例示している。いくつかの例示的な実施形態では、１つまたは複数のコンピューティング・デバイスまたはハードウェア・コンポーネントは、このプロセス・フローを実行することができる。ブロック１００２において、マルチレイヤ・ビデオ・エンコーダ（例えば、１００）は、入力３Ｄ画像を受け取り、この入力３Ｄ画像は左目（ＬＥ）入力画像フレームおよび右目（ＲＥ）入力画像フレームを含む。
【００９６】
ブロック１００４において、マルチレイヤ・ビデオ・エンコーダ（１００）は、ＬＥ入力画像フレームおよびＲＥ入力画像フレームに基づき、水平方向の第１の高空間周波数成分および垂直方向の第１の低解像度成分を含む第１の多重化画像フレームを生成する。
【００９７】
ブロック１００６において、マルチレイヤ・ビデオ・エンコーダ（１００）は、ＬＥ入力画像フレームおよびＲＥ入力画像フレームに基づき、垂直方向の第２の高空間周波数成分および水平方向の第２の低解像度成分を含む第２の多重化画像フレームを生成する。
【００９８】
ブロック１００８において、マルチレイヤ・ビデオ・エンコーダ（１００）は、入力３Ｄ画像を表現するために第１の多重化画像フレームおよび第２の多重化画像フレームをエンコードして出力する。
【００９９】
一実施形態において、３Ｄ入力画像は、第２のＬＥ入力画像フレームおよび第２のＬＥ入力画像フレームを有する第２の異なる３Ｄ入力画像を含む一連の３Ｄ入力画像内の第１の３Ｄ入力画像である。マルチレイヤ・ビデオ・エンコーダ（１００）は、第２のＬＥ入力画像フレームおよび第２のＲＥ入力画像フレームに基づき、水平方向の第３の高空間周波数成分および垂直方向の第３の低解像度成分を含む第３の多重化画像フレームを生成することと、第２のＬＥ入力画像フレームおよび第２の入力画像フレームに基づき、垂直方向の第４の高空間周波数成分および水平方向の第４の低解像度成分を含む第４の多重化画像フレームを生成することと、第２の入力３Ｄ画像を表現するために第３の多重化画像フレームおよび第４の多重化画像フレームをエンコードして出力することとを実行するようにさらに構成される。
【０１００】
一実施形態において、第１の多重化画像フレームは、第１のＬＥ画像データ部分と第１のＲＥ画像データ部分とを含む。第１のＬＥ画像データ部分および第１のＲＥ画像データ部分は、水平と垂直の両方向にそって同じ空間分解能を有する。第２の多重化画像フレームは、第２のＬＥ画像データ部分と第２のＲＥ画像データ部分とを含む。第２のＬＥ画像データ部分および第２のＲＥ画像データ部分は、水平と垂直の両方向にそって同じ空間分解能を有する。一実施形態において、第１のＬＥ画像データ部分および第１のＲＥ画像データ部分のそれぞれは、画像フレーム全体のうちのサブサンプリングされたバージョン（例えば、フル解像度の１／２、１／２未満、または別の低い解像度数の）を表し、第１の多重化画像フレームは、サイド・バイ・サイド形式を使用して、第１のＬＥ画像データ部分と第１のＲＥ画像データ部分とを搬送する。第２のＬＥ画像データ部分および第２のＲＥ画像データ部分のそれぞれは、画像フレーム全体のうちのサブサンプリングされたバージョン（例えば、フル解像度の１／２、１／２未満、または別の低い解像度数の）を表し、第２の多重化画像フレームは、トップ・アンド・ボトム形式を使用して、第２のＬＥ画像データ部分と第２のＲＥ画像データ部分とを搬送する。
【０１０１】
一実施形態において、第１の多重化画像フレームは、水平方向の高空間周波数成分を保存する第１の多重化形式を使用する。第２の多重化画像フレームは、垂直方向の高空間周波数成分を保存する第２の多重化形式を使用する。
【０１０２】
一実施形態において、第１の多重化画像フレームまたは第２の多重化画像フレームのうちの一方が、複数のビットストリーム内のベース・レイヤ・ビットストリームに出力されるが、第１の多重化画像フレームまたは第２の多重化画像フレームのうちの他方は、複数のビットストリーム内のエンハンスメント・レイヤ・ビットストリームに出力される。
【０１０３】
一実施形態において、マルチレイヤ・ビデオ・エンコーダ（１００）は、第１の多重化画像フレームに少なくとも一部は基づき、予測基準画像データを生成することと、予測基準画像データと第２の入力画像フレームとの間の差に基づきエンハンスメント・レイヤ・ビデオ信号をエンコードすることとを実行するようにさらに構成される。
【０１０４】
一実施形態において、マルチレイヤ・ビデオ・エンコーダ（１００）は、第１の多重化画像フレームを生成する際に第２の方向における（ａ）空間周波数フィルタリング・オペレーションまたは（ｂ）空間サブサンプリング・オペレーションのうちの少なくとも１つを含む１つまたは複数の第１のオペレーションを第１の入力画像フレームおよび第２の入力画像フレームに適用し、そこで１つまたは複数の第１のオペレーションは、第２の方向の高空間周波数成分を除去し、第１の方向の高空間周波数成分を保存することと、第２の多重化画像フレームを生成する際に第１の方向における（ａ）空間周波数フィルタリング・オペレーションまたは（ｂ）空間サブサンプリング・オペレーションのうちの少なくとも１つを含む１つまたは複数の第２のオペレーションを第１の入力画像フレームおよび第２の入力画像フレームに適用し、そこで１つまたは複数の第２のオペレーションは、第１の方向の高空間周波数成分を除去し、第１の方向の高空間周波数成分を保存することとを実行するようにさらに構成される。
【０１０５】
一実施形態において、第１の多重化画像フレームまたは第２の多重化画像フレームのうちの一方は、ＬＥ入力画像フレームおよびＲＥ入力画像フレームから導出された入力画像データから第１の多重化画像フレームまたは第２の多重化画像フレームのうちの他方に基づき生成された基準画像データを減算することによって生成される残余画像データを含む。
【０１０６】
一実施形態において、マルチレイヤ・ビデオ・エンコーダ（１００）は、１つまたは複数の入力ビデオ信号で表され、受信され、送信され、または格納された１つまたは複数の３Ｄ入力画像を１つまたは複数の出力ビデオ信号で表され、受信され、送信され、または格納される１つまたは複数の３Ｄ出力画像に変換するようにさらに構成される。
【０１０７】
一実施形態において、入力３Ｄ画像は、ハイ・ダイナミック・レンジ（ＨＤＲ）画像形式、映画芸術科学協会（ＡＭＰＡＳ）のＡｃａｄｅｍｙ  Ｃｏｌｏｒ  Ｅｎｃｏｄｉｎｇ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＡＣＥＳ）規格に関連するＲＧＢ色空間、Ｄｉｇｉｔａｌ  Ｃｉｎｅｍａ  ＩｎｉｔｉａｔｉｖｅのＰ３色空間規格、Ｒｅｆｅｒｅｎｃｅ  Ｉｎｐｕｔ  Ｍｅｄｉｕｍ  Ｍｅｔｒｉｃ／Ｒｅｆｅｒｅｎｃｅ  Ｏｕｔｐｕｔ  Ｍｅｄｉｕｍ  Ｍｅｔｒｉｃ（ＲＩＭＭ／ＲＯＭＭ）規格、ｓＲＧＢ色空間、国際電気通信連合（ＩＴＵ）のＢＴ．７０９  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ規格に関連するＲＧＢ色空間などのうちの１つでエンコードされた画像データを含む。
【０１０８】
図１０Ｂは、本発明の例示的な一実施形態による別の例示的なプロセス・フローを例示している。いくつかの例示的な実施形態では、１つまたは複数のコンピューティング・デバイスが、このプロセス・フローを実行することができる。ブロック１０５２において、マルチレイヤ・ビデオ・デコーダ（例えば、１５０）は、第１の多重化画像フレームおよび第２の多重化画像フレームによって表される３Ｄ画像を受け取り、第１の多重化画像フレームは水平方向の第１の高空間周波数成分および垂直方向の第１の低解像度成分を含み、第２の多重化画像フレームは垂直方向の第２の高空間周波数成分および水平方向の第２の低解像度成分を含む。
【０１０９】
ブロック１０５４において、マルチレイヤ・ビデオ・デコーダ（１５０）は、第１の多重化画像フレームおよび第２の多重化画像フレームに基づき、左目（ＬＥ）画像フレームおよび右目（ＲＥ）画像フレームを生成し、ＬＥ画像フレームは水平と垂直の両方向のＬＥ高空間周波数成分を含み、ＲＥ画像フレームは水平と垂直の両方向のＲＥ高空間周波数成分を含む。
【０１１０】
ブロック１０５６において、マルチレイヤ・ビデオ・デコーダ（１５０）は、ＬＥ画像フレームおよびＲＥ画像フレームをレンダリングすることによって３Ｄ画像をレンダリングする。
【０１１１】
一実施形態において、３Ｄ画像は、第３の多重化画像フレームおよび第４の多重化画像フレームを有する第２の異なる３Ｄ画像を含む一連の３Ｄ画像内の第１の３Ｄ画像であり、第３の多重化画像フレームは水平方向の第３の高空間周波数成分および垂直方向の第３の低解像度成分を含み、第４の多重化画像フレームは垂直方向の第４の高空間周波数成分および水平方向の第４の低解像度成分を含む。一実施形態において、マルチレイヤ・ビデオ・デコーダ（１５０）は、第２のＬＥ画像フレームおよび第２のＲＥ画像フレームを生成し、第２のＬＥ画像フレームは水平と垂直の両方向の高空間周波数成分を含み、第２のＬＥ画像フレームは水平と垂直の両方向の高空間周波数成分を含むことと、第２の３Ｄ画像を、第２のＬＥ画像フレームおよび第２のＲＥ画像フレームをレンダリングすることによってレンダリングすることとを実行するようにさらに構成される。
【０１１２】
一実施形態において、第１の多重化画像フレームまたは第２の多重化画像フレームのうちの少なくとも１つは、ＬＥ画像データ部分およびＲＥ画像データ部分を含む。ＬＥ画像データ部分およびＲＥ画像データ部分は、同じ空間分解能を有する。一実施形態において、ＬＥ画像データ部分およびＲＥ画像データ部分のそれぞれは、画像フレーム全体のうちのサブサンプリングされたバージョン（例えば、フル解像度の１／２、１／２未満、または別の低い解像度数の）を表す。ＬＥ画像データ部分とＲＥ画像データ部分とは、サイド・バイ・サイド形式またはトップ・アンド・ボトム形式のうちの一方で単一の画像フレームを形成する。
【０１１３】
一実施形態において、第１の多重化画像フレームまたは第２の多重化画像フレームのうちの一方は、複数のビットストリーム内のベース・レイヤ・ビットストリームからデコードされるのに対し、第１の多重化画像フレームまたは第２の多重化画像フレームのうちの他方は、複数のビットストリーム内のエンハンスメント・レイヤ・ビットストリームからデコードされる。
【０１１４】
一実施形態において、マルチレイヤ・ビデオ・デコーダ（１５０）は、第１の多重化画像フレームまたは第２の多重化画像フレームの一方に少なくとも一部は基づき、予測基準画像データを生成することと、ＥＬビデオ信号からデコードされたエンハンスメント・レイヤ（ＥＬ）データおよび予測基準画像データに基づき、ＬＥ画像フレームまたはＲＥ画像フレームのうちの一方を生成することとを実行するようにさらに構成される。
【０１１５】
一実施形態において、マルチレイヤ・ビデオ・デコーダ（１５０）は、ＬＥ画像フレームを生成する際に（ａ）空間周波数フィルタリング・オペレーションまたは（ｂ）逆多重化オペレーションのうちの少なくとも一方を含む１つまたは複数の第１のオペレーションを適用し、そこで１つまたは複数の第１のオペレーションは、水平および垂直の両方向の、第１の多重化画像フレームおよび第２の多重化画像フレームから導出されたとおりのＬＥ高空間周波数成分を結合してＬＥ画像フレームにすることと、ＲＥ画像フレームを生成する際に（ａ）空間周波数フィルタリング・オペレーションまたは（ｂ）逆多重化オペレーションのうちの少なくとも一方を含む１つまたは複数の第２のオペレーションを適用し、そこで１つまたは複数の第２のオペレーションは、水平および垂直の両方向の、第１の多重化画像フレームおよび第２の多重化画像フレームから導出されたとおりのＲＥ高空間周波数成分を結合してＲＥ画像フレームにすることとを実行するようにさらに構成される。
【０１１６】
一実施形態において、１つまたは複数の第１のオペレーションおよび１つまたは複数の第２のオペレーションは、少なくとも１つのハイパス・フィルタリング・オペレーションを含む。
【０１１７】
一実施形態において、１つまたは複数の第１のオペレーションおよび１つまたは複数の第２のオペレーションは、少なくとも１つのハイパス・フィルタリング・オペレーションの代替となる処理部分経路を含む。処理部分経路は、少なくとも１つの減算オペレーションを含み、ハイパス・フィルタリング・オペレーションを含まない。
【０１１８】
一実施形態において、第１の多重化画像フレームまたは第２の多重化画像フレームのうちの一方は、残余画像データを含む。マルチレイヤ・ビデオ・デコーダ（１５０）は、第１の多重化画像フレームまたは第２の多重化画像フレームのうちの他方から予測基準データを生成することなくエンハンスメント・レイヤ画像データをデコードし処理することを実行するようにさらに構成される。
【０１１９】
一実施形態において、マルチレイヤ・ビデオ・デコーダ（１５０）は、１つまたは複数の入力ビデオ信号で表される、受信される、送信される、または格納される１つまたは複数の３Ｄ画像を処理するようにさらに構成される。
【０１２０】
一実施形態において、３Ｄ画像は、ハイ・ダイナミック・レンジ（ＨＤＲ）画像形式、映画芸術科学協会（ＡＭＰＡＳ）のＡｃａｄｅｍｙ  Ｃｏｌｏｒ  Ｅｎｃｏｄｉｎｇ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＡＣＥＳ）規格に関連するＲＧＢ色空間、Ｄｉｇｉｔａｌ  Ｃｉｎｅｍａ  ＩｎｉｔｉａｔｉｖｅのＰ３色空間規格、Ｒｅｆｅｒｅｎｃｅ  Ｉｎｐｕｔ  Ｍｅｄｉｕｍ  Ｍｅｔｒｉｃ／Ｒｅｆｅｒｅｎｃｅ  Ｏｕｔｐｕｔ  Ｍｅｄｉｕｍ  Ｍｅｔｒｉｃ（ＲＩＭＭ／ＲＯＭＭ）規格、ｓＲＧＢ色空間、国際電気通信連合（ＩＴＵ）のＢＴ．７０９  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ規格に関連するＲＧＢ色空間などのうちの１つでエンコードされた画像データを含む。
【０１２１】
さまざまな例示的な実施形態において、エンコーダ、デコーダ、システムなどは、説明されているとおりに前記の方法のどれかまたは一部を実行する。
【０１２２】
８．キャリア信号を含む残余画像符号化
図８Ａに示されているように、一実施形態では、エンハンスメント・レイヤ（ＥＬ）ストリーム１１２−３は、トップ・アンド・ボトム（ＴａＢ）フレーム（８０８−Ｖ）として多重化された画像残余（例えば、８０６−Ｌおよび８０６−Ｒ）を含む。これらの残余信号を直接的に（例えば、ＥＬエンコーダ１１６を使用することによって）符号化する代わりに、残余信号を「キャリア」画像信号と結合して新しいＥＬ信号を形成することによって改善された圧縮が実現されうる。このようなキャリア信号を使用する目的は、「ＩＳＯ／ＩＥＣ  １４４９６−１０：  Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −  ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ  −  Ｐａｒｔ  １０：  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ」で説明されているようなＨ．２６４／ＡＶＣコーデックなどの既存のビデオ・コーデックが最適化されるエンハンスメント・レイヤを自然なビデオ信号により似せることである。このような一実施形態の一例は、図１２Ａに示されている。
【０１２３】
図１２Ａは、エンハンスメント・レイヤにおいてキャリア画像信号を利用する一実施形態による例示的なＦＣＦＲエンコーダを例示している。図１２Ａに示されているように、ベース・レイヤの処理は、例えば、図８Ａに示されているような、前の方で説明されている処理ステップに従う。左ビュー（１０２−Ｌ）および右ビュー（１０２−Ｒ）信号は、ステップ１２０５でダウンサンプリングされ多重化されて、例えばサイド・バイ・サイド（ＳｂＳ）形式で、多重化ハーフ解像度フレームを生成する。ステップ１２０５は、図８Ａで示されているステップ１０４−Ｈおよび１０６−Ｈの簡素化された表現を表す。多重化した後に、ＢＬ信号１２０７は、次いで、ベース・レイヤ・エンコーダ１２１０（例えば、Ｈ．２６４／ＡＶＣエンコーダ）で圧縮されて、圧縮ＢＬストリーム１２４０−１を生成する。
【０１２４】
ＢＬ信号１２０７（または代替的に、デコードＢＬ信号１２１２）は、水平方向アップサンプリング８０４を使用して左および右ビュー（左ＦＲおよび右ＦＲ）のフル解像度（ＦＲ）のバージョンを再生するために使用されうる。元のビュー（１０２−Ｌおよび１０２−Ｒ）および再構成されたビューは、次いで減算され（例えば、８１０において）、残余８０６−Ｌおよび８０６−Ｒを生成する。マルチプレクサ１２１５は、ベース・レイヤ（例えば、ＳｂＳ）で使用されているフレーム形式に直交するフレーム形式（例えば、ＴａＢ）にこれらの残余を多重化して、残余信号８０８−Ｖを生成する。次に、残余８０８−Ｖがキャリア信号１２２２に加算されて、ＥＬ信号１２３７を生成する。
【０１２５】
キャリア信号１２２２は、ＳｂＳ  ＢＬ１２０７信号に応答してキャリアＲＰＵ１２２０を使用して生成されうる。キャリアＲＰＵは、水平方向アップサンプリングおよび垂直方向ダウンサンプリングの両方を実行して、残余信号（例えば、８０８Ｖ）の形式および解像度と一致するキャリアＴａＢ信号１２２２を生成することができる。一実施形態（図１５を参照）では、垂直方向ダウンサンプリングが、水平方向アップサンプリングの前に実行される。別の実施形態では、キャリア信号は、ＢＬストリームのデコードされたバージョン、例えば、デコードＢＬ信号１２１２に応答して生成されうる。別の実施形態では、ベース・レイヤがＴａＢ形式であり、エンハンスメント・レイヤがＳｂＳ形式である場合に類似の処理が適用されうる（図１４を参照）。キャリアＲＰＵ１２２０およびコーデックＲＰＵ１２２５に関係する処理は、同じプロセッサまたは異なるプロセッサによって実行することができる。
【０１２６】
元の残余（８０８−Ｖ）の完全性を維持するために、一実施形態では、キャリア信号の範囲を、例えば、それぞれのピクセルを定数、例えば２で除算することによって狭めるとよい。このような除算プロセスは、キャリアＲＰＵにおいてフィルタリング・プロセスと組み合わせることができる。別の実施形態では、残余８０８−Ｖが、非常に小さい場合、キャリア信号は、そのピクセルのすべてに対して固定されたピクセル値、例えば、１２８を有することができる。別の実施形態では、キャリア信号の値は、残余信号の特性に基づき適応的に定義されうる。このような決定は、メタデータを（例えば、ＲＰＵデータ・ストリームの一部として）使用してデコーダに知らせることができる。
【０１２７】
一実施形態では、ＥＬ信号１２３７はＨ．２６４（ＡＶＣ）規格で指定されているようなマルチビュー符号化（ＭＶＣ）を使用して圧縮され、これにより、符号化された、または圧縮されたＥＬストリーム１２４０−２を生成する。ＢＬ信号１２０７およびＥＬ信号１２３７は、同じ多重化形式を有していないので、基準処理ユニット（ＲＰＵ）１２２５を使用して、デコードされたＳｂＳ  ＢＬ信号１２１２を、ＭＶＣエンコーダ１２３０によって基準として使用されうるＴａＢ信号（１２２７）に変換することができる。このＴａＢピクチャ（１２２７）は、新しく生成されたビュー間予測基準ピクチャであり、ＥＬピクチャをエンコードするための基準ピクチャ・リスト内に挿入される。符号化効率をさらに改善するために、コーデックＲＰＵ１２２５は、ＢＬ信号からＥＬ入力信号へビュー間基準ピクチャを一致させるために追加のパーティション分割、処理、およびフィルタリングを適用することができ、これは参照によりその全体が本明細書に組み込まれているＡ．Ｔｏｕｒａｐｉｓらによって２０１０年６月３０日に出願された国際特許出願ＰＣＴ／ＵＳ２０１０／０４０５４５で説明されている。ＲＰＵで使用されるフィルターおよびパーティションの選択は、複数のレベルの解像度で、例えば、スライス、ピクチャ、Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ（ＧＯＰ）、シーン、またはシーケンス・レベルで適応させることができる。エンコーダ上で、符号化されたＥＬおよびＢＬストリーム（１２４０）は、デコーダに送信されるＲＰＵデータ（例えば、１２４０−３）および他の補助データ（図示せず）と多重化されうる。
【０１２８】
図１２Ｂは、本発明の例示的な一実施形態によるデコードを行う例示的なプロセス・フローを例示している。受信器側で、着信ストリームが逆多重化されて、符号化されたＢＬストリーム（１２４０−１）、符号化されたＥＬストリーム（１２４０−２）、およびＲＰＵデータ（例えば、１２４０−３）を生成する。ＢＬデコーダ１２５０は、ＢＬエンコーダ１２１０に対応する。一実施形態では、ＢＬデコーダ１２５０は、ＡＶＣデコーダである。ＢＬデコーダ１２５０は、デコードされた（例えば、ＳｂＳ）ＢＬ画像１２５２を生成する。
【０１２９】
符号化されたＥＬストリーム１２４０−２は、ＥＬ信号１２３７およびデコードされたＢＬ信号１２１２の両方からの基準フレームを使用することによって符号化されたので、同じプロセスがデコーダ上でも適合する。ＲＰＵデータ１２４０−３を使用することで、コーデックＲＰＵ１２５５は、ＭＶＣデコーダ１２６０によって使用される信号１２５７を生成することができる。信号１２５７は、デコードされたＥＬ信号１２６２を生成するためにＭＶＣデコーダ１２６０に対する追加の一連の基準フレームとして使用されうる予測されたエンハンスメント・レイヤ信号を含む。
【０１３０】
ＢＬおよびＥＬストリームの圧縮を解除した後、デコーダは、フル解像度で左および右ビューを再構成する必要がある。「差分」法と称される、このような方法の例示的な一実施形態は、図１３Ａに示されている。ベース・レイヤ内で欠落している垂直または水平周波数は、エンハンスメント・レイヤ（１２６２）とキャリア信号１３０２のピクセル毎の差分として構成されうる。キャリア信号１３０２は、エンコーダ・キャリアＲＰＵ（１２２０）の処理と一致する処理を使用しデコードされたＢＬ信号１２５２およびデコーダＲＰＵ（例えば、１２５５）を使用して再構成することができる。このようなプロセスの例は、図１５に示されている。残余信号１３１７は、次いで、ピクセル毎の加算により、アップサンプリングされ（例えば、１３２０において）、アップサンプリングされたフレーム互換（ＦＣ）の再構成されたベース・レイヤ（ＦＣ−ＬおよびＦＣ−Ｒ）とマージされ、これにより、フル解像度（ＦＲ）の左および右ビュー（ＦＲ−ＬＥおよびＦＲ−ＲＥ）を再構成する。一実施形態では、複雑度を減らすために、コーデックＲＰＵ１２５５からの出力を再利用することができるが、それは、コーデックＲＰＵおよびキャリアＲＰＵが同じフィルターを共有する傾向があるからである。１つのパーティションと１つのフィルターとがコーデックＲＰＵにおいて使用される場合、２つのＲＰＵはまったく同じ処理を適用する。
【０１３１】
図１３Ａに示されているように、レガシー受信器は、そのまま、ＢＬ信号１２５２に対して適切なアップサンプリングを実行することによって、一対のハーフ解像度のフレーム互換のビュー（ＦＣ−ＬおよびＦＣ−Ｒ）をデコードすることができる。
【０１３２】
図１３Ｂは、フル解像度信号を再構成するための別の例示的な実施形態を示しており、この方法は「ハイパス法」と称される。この方法の下で、デコードされたＴａＢ  ＥＬ信号１２６２は、最初に、水平ハイパス・フィルター１３３０によって処理される。このようなフィルターは、ＥＬ信号内のキャリア信号の低周波成分を除去し、したがって、キャリアフリーの残余信号（例えば、８０８−Ｖ）を生成する。ハイパス・フィルターの出力は垂直方向にアップサンプリングされ（１３２０）、水平方向にアップサンプリングされた、再構成されたフレーム互換レイヤ（ＦＣ−ＬおよびＦＣ−Ｒ）に加算される、残余信号１３２２−Ｌおよび１３２２−Ｒを生成し、元のビュー（例えば、ＦＲ−ＲＥおよびＦＲ−ＬＥ）のフル解像度推定を生成する。
【０１３３】
ソース・ビデオがインターレースされる場合、一実施形態では、トップ・フィールドおよびボトム・フィールドは、垂直方向フィルタリング（例えば、ダウンサンプリングまたアップサンプリング）中に独立して処理される。次いで、これらのフィールドがマージされて（例えば、ライン・インターリービングによって）、フレームを形成する。ＡＶＣエンコーダが使用されている場合、インターレース信号は、フレーム符号化モードまたはフィールド符号化モードのいずれかで符号化されうる。コーデックＲＰＵは、ＢＬからのビュー間基準ピクチャをフレームまたはフィールドとして処理するかどうかの指示を受けるべきでもある。ＡＶＣ符号化では、デコードの範囲から外れているため、強制されるビットストリーム内の符号化シーケンスのスキャン・タイプを示すものはない。付加拡張情報（ＳＥＩ）メッセージ内に何らかの情報が提示される可能性もあるが、ＳＥＩメッセージはデコードに必要ない。一実施形態では、ＲＰＵがフレームまたはフィールド処理を適用すべきである場合を示すために高水準のシンタックスが提案されている。一実施形態では、インターレース信号である場合、ピクチャの符号化の仕方がどうあれ、ＲＰＵは、常に、ピクチャを別々のフィールドとして処理するものとしてよい。別の実施形態では、ＲＰＵは、ＢＬ信号がどのように符号化されるかに従うものとしてよい。したがって、ＢＬ信号がフィールドとして符号化される場合、ＲＰＵはフィールド処理を適用し、そうでない場合には、フレーム処理を適用する。
【０１３４】
本発明の実施形態はさまざまなフィルターを含み、それらは、多重化（またはマルチプレキシング）フィルター、ＲＰＵフィルター、および逆多重化（またはデマルチプレキシング）フィルターとして分類されうる。多重化フィルターを設計する場合、目標は、元のフィルターから可能な限り多くの情報を維持し、しかもエイリアシングを引き起こさないことである。ダウンサンプリングについては、多重化フィルターは、非常にフラットな通過帯域応答とスペクトルの中点における強い減衰を有するように設計することができ、そこで信号は、エイリアシングを回避するため、ダウンサンプリング中に信号は折り畳まれる。一実施形態では、（Ｍａｔｌａｂの表記により）このようなフィルターの一例は以下の係数を有する。
［３０，  −４，−６１，−２１，  ８３，  ７１，−１０２，  −１７８，  １１６，  ６３８，  ９０４，  
６３８，  １１６，  −１７８，  −１０２，  ７１，  ８３，  −２１，  −６１，  −４，  ３０］  ／  ２１１
【０１３５】
ＲＰＵを設計する場合、ダウンサンプリング・フィルターおよびアップサンプリング・フィルターは、非常に低いカットオフ周波数を有しているべきであるが、それは、キャリア画像内の高い周波数は再構成に使用されないからであり、このような低い通過信号を有していれば、ＥＬ信号に対する符号化効率を高めるのに役立つであろう。またＲＰＵダウンサンプリングおよびアップサンプリング・フィルターは、これらの正確なフィルターがリアルタイム・デコードのためデコーダ内で使用されるので可能な限り低い次数のものであるべきである。このようなフィルターの例は、表７に示されている。
【０１３６】
デコード中に、逆多重化フィルターとして、コーデックＲＰＵで使用されているアップサンプリング・フィルターと同じフィルターを適用するとよい。再構成のハイパス法（例えば、図１３Ｂ）については、ハイパス・フィルター（１３３０）は、多重化ダウンサンプリング・フィルターおよび逆多重化アップサンプリング・フィルターの結合された周波数応答と相補的であるべきである。典型的には、このようなフィルターの次数は高く、特定のリアルタイム・デコーダ・アプリケーションに適していない場合がある。類似の通過帯域特性を有するが、阻止帯域減衰が低いハイパス・フィルターは、かなり低いフィルター次数で導出することもでき、リアルタイム・デコーダ・アプリケーションにより適したものとなる。このようなフィルターの例は、表８に示されている。
【０１３７】
いくつかの実装は、ＥＬストリームに対する非常に低いビットレート要件を有する場合がある。一実施形態では、低ビットレートにおける符号化品質を改善するために、ＥＬストリームからすべての色度情報を除去するとよい。一例において、ＥＬ信号の色度値を定数値、例えば１２８に設定することができる。それに対応して、コーデックＲＰＵによって処理されるビュー間基準ピクチャの色成分も同じように設定される必要がある。別の実施形態では、ＥＬ信号において最も高い周波数を有する入力信号の領域のみを選択して送信し、残りの領域を、例えば、定数値（例えば、１２８）に設定することによってグレーアウトすることができる。このような領域の配置およびサイズを、メタデータを使用して、例えば、ＲＰＵデータ・ストリームを通じて、エンコーダからデコーダに知らせることができる。
【０１３８】
図１２Ａにおいて、残余信号８０８−Ｖがキャリア信号１２２２に加算されて、直接的にＥＬ１２３７を生成する。別の実施形態では、線形または非線形量子化法が、キャリアと加算する前に残余信号に適用されうる。
【０１３９】
これまで説明した例示的な実施形態では、欠落した水平または垂直周波数を復元するという問題を解決する。一実施形態において、追加のエンハンスメント・レイヤを使用して、対角などの追加の周波数を復元することができる。例えば、入力信号（１０２−Ｌおよび１０２−Ｒ）は、対角方向にダウンサンプリングされうる。その情報（またはその対角情報に基づく別の残余信号）は、第２のエンハンスメント・レイヤ（ＥＬ２）としてデコーダに送信されうる。デコーダは、ＢＬ、ＥＬ、およびＥＬ２信号をマージして、ＦＣＦＲ信号を生成することも可能であろう。別の実施形態では、別のＥＬ２ストリームを使用して対角情報を符号化する代わりに、ＥＬ信号内の色度チャネル内の輝度対角情報を符号化することができる。このような一実装では、輝度は、フル解像度で符号化されるが、色度は、ハーフ解像度で符号化される。
【０１４０】
８．２  シンタックスの例
８．３  Ｈ．２６４などの符号化規格では、典型的に、符号化されたビットストリームおよびデコード・プロセスのシンタックスのみを定義する。この節では、本発明の方法をサポートするＨ．２６４または他の圧縮規格における新しいＦＣＦＲプロファイルに対する提案されたシンタックスの例を取りあげる。
【０１４１】
第１の部分は、ＲＰＵヘッダと称される、ｒｐｕ＿ｈｅａｄｅｒ（）であり、信号の送信中に最も変化しそうにない静的情報を含む。
【０１４２】
第２の部分は、ＲＰＵデータ・ペイロードと称される、ｒｐｕ＿ｄａｔａ＿ｐａｙｌｏａｄ（）であり、より頻繁に更新される可能性のある動的情報を含む。ＲＰＵデータ・ペイロードは、予測に使用する前にビュー間基準ピクチャを更新するために使用されるフィルターをデコーダに知らせる。
【０１４３】
シンタックスは、スライス・レベル、ピクチャ・レベル、ＧＯＰレベル、シーン・レベル、またはシーケンス・レベルで送信されうる。それは、ＮＡＬユニット・ヘッダ、シーケンス・パラメータ・セット（ＳＰＳ）およびその拡張、ＳｕｂＳＰＳ、ピクチャ・パラメータ・セット（ＰＰＳ）、スライサー・ヘッダ、ＳＥＩメッセージ、または新規ＮＡＬユニット、および同様のものにおいて含まれうる。例示的な一実施形態において、ＲＰＵシンタックスは、シーケンス・レベルでのみ更新される。後方互換性のために、表１に示されているように、ＭＦＣの符号化スライス拡張に対する新規ＮＡＬユニット、ｓｌｉｃｅ＿ｌａｙｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｒｂｓｐ（  ）も定義される。この例において、表２においてプロファイル１３４として示されている、新規プロファイルは、直交多重化（ＯＭ）を使用してＦＣＦＲ  ３Ｄシステムの一実施形態に対して割り当てられる。
【０１４４】
提案されているシンタックスの追加の例は、表２、表３、および表４に示されており、そこで既存のＨ．２６４／ＡＶＣ規格への提案された追加は、Ｃｏｕｒｉｅｒフォントで示されている。この例では、提案されたＲＰＵシンタックスは、シーケンス・レベルで呼び出され、シーケンス・パラメータ・セットＭＶＣ拡張に追加される。
【０１４５】
ＲＰＵデータ・ヘッダのセマンティックス
【０１４６】
ｒｐｕ＿ｔｙｐｅは、ＲＰＵ信号に対する予測タイプの目的を指定する。存在しない場合、その値は０とみなされる。
【０１４７】
ｒｐｕ＿ｆｏｒｍａｔは、予測および／または最終再構成のためビデオ・データを処理するときに使用される、ｒｐｕ＿ｔｙｐｅが与えられた場合に、予測プロセス形式を指定する。存在しない場合、その値は０とみなされる。表５は、ｒｐｕ＿ｔｙｐｅおよびｒｐｕ＿ｆｏｒｍａｔの値の例を示している。
【０１４８】
ｄｅｆａｕｌｔ＿ｇｒｉｄ＿ｐｏｓｉｔｉｏｎは、ｖｉｅｗ０およびｖｉｅｗ１のグリッド位置の情報が明示的に知らされるべきかどうかを知らせる。ｄｅｆａｕｌｔ＿ｇｒｉｄ＿ｐｏｓｉｔｉｏｎが１に設定されているか、または存在しない場合、デフォルト値は以下のように取得される。
【０１４９】
if    (rpu_type  ==    0  &&  rpu_format  ==  0  )  {
view0_grid_position_x  =  4;
view0_grid_position_y  =  8;
view1_grid_position_x  =  12;
view1_grid_position_y  =  8;
}
else  if  (rpu_type  ==  0  &&  rpu_format  ==  1)
{
view0_grid_position_x  =  8;
view0_grid_position_y  =  4;
view1_grid_position_x  =  8;
view1_grid_position_y  =  12;
}
【０１５０】
ｖｉｅｗ０＿ｇｒｉｄ＿ｐｏｓｉｔｉｏｎ＿ｘは、Ｈ．２６４規格のフレーム格納配置ＳＥＩメッセージ・セマンティックス・セクションで定義されているようなｆｒａｍｅ０＿ｇｒｉｄ＿ｐｏｓｉｔｉｏｎ＿ｘと同じである。
【０１５１】
ｖｉｅｗ０＿ｇｒｉｄ＿ｐｏｓｉｔｉｏｎ＿ｙは、Ｈ．２６４規格のフレーム格納配置ＳＥＩメッセージ・セマンティックス・セクションで定義されているようなｆｒａｍｅ０＿ｇｒｉｄ＿ｐｏｓｉｔｉｏｎ＿ｙと同じである。
【０１５２】
ｖｉｅｗ１＿ｇｒｉｄ＿ｐｏｓｉｔｉｏｎ＿ｘは、Ｈ．２６４規格のフレーム格納配置ＳＥＩメッセージ・セマンティックス・セクションで定義されているようなｆｒａｍｅ１＿ｇｒｉｄ＿ｐｏｓｉｔｉｏｎ＿ｘと同じである。
【０１５３】
ｖｉｅｗ１＿ｇｒｉｄ＿ｐｏｓｉｔｉｏｎ＿ｙは、Ｈ．２６４規格のフレーム格納配置ＳＥＩメッセージ・セマンティックス・セクションで定義されているようなｆｒａｍｅ１＿ｇｒｉｄ＿ｐｏｓｉｔｉｏｎ＿ｙと同じである。
【０１５４】
ｉｎｔｅｒｌａｃｅ＿ｐｒｏｃｅｓｓｉｎｇ＿ｆｌａｇは、基準処理がフレーム・ベースで適用されるのか、フィールド・ベースで適用されるのかを知らせる。それがゼロに設定されている場合、処理は、フレームドメイン内で行われる。このフラグが１に設定されている場合、処理は、フィールド毎に別々に実行されるものとする。
【０１５５】
ｄｉｓａｂｌｅ＿ｐａｒｔ＿ｓｙｍｍｅｔｒｙ＿ｆｌａｇ（存在する場合）は、異なるビューに属している空間的に同一の場所に置かれているパーティションに対するフィルター選択が制約であるか、無制約であるかを知らせる。このフラグが設定されていない場合、いずれかのビュー内の両方の同一の場所に置かれているパーティションは、同じＲＰＵフィルターで処理され、エンハンスメント・レイヤ予測を導出する。したがって、半分ほどのフィルターが知らされる。このフラグが設定されている場合、処理されたピクチャ内のそれぞれのパーティションについてフィルターが知らされる。存在しない場合、すべてのパーティションで、同じフィルタリング方法（ＮＵＬＬ）を使用する。このフラグは、ｒｐｕ＿ｆｏｒｍａｔがＳＢＳに設定され、ＰｉｃＷｉｄｔｈＩｎＭｂｓ＝１である場合に、またはｒｐｕ＿ｆｏｒｍａｔがＯＵもしくはＴＡＢに設定され、ＰｉｃＨｅｉｇｈｔＩｎＭａｐＵｎｉｔｓが１に等しい場合に、１に等しくなるように制約される。存在しない場合、このフラグの値は１に設定される。
【０１５６】
ｎｕｍ＿ｘ＿ｐａｒｔｉｔｉｏｎｓ＿ｍｉｎｕｓ１は、フィルタリング中に処理済みピクチャを水平次元に細分するために使用されるパーティションの数を知らせる。それは、任意の非負整数値をとることができる。存在しない場合、ｎｕｍ＿ｘ＿ｐａｒｔｉｔｉｏｎｓ＿ｍｉｎｕｓ１の値は、０に等しくなるように設定される。ｎｕｍ＿ｘ＿ｐａｒｔｉｔｉｏｎｓ＿ｍｉｎｕｓ１の値は、０からＣｌｉｐ３（０，１５，（ＰｉｃＷｉｄｔｈＩｎＭｂｓ  ＞＞１）−１）の間であり、ＰｉｃＷｉｄｔｈＩｎＭｂｓは、Ｈ．２６４規格において指定されている。
【０１５７】
ｎｕｍ＿ｙ＿ｐａｒｔｉｔｉｏｎｓ＿ｍｉｎｕｓ１は、フィルタリング中に処理済みピクチャを垂直次元に細分するために使用されるパーティションの数を知らせる。それは、任意の非負整数値をとることができる。存在しない場合、ｎｕｍ＿ｙ＿ｐａｒｔｉｔｉｏｎｓ＿ｍｉｎｕｓ１の値は、０に等しくなるように設定される。ｎｕｍ＿ｙ＿ｐａｒｔｉｔｉｏｎｓ＿ｍｉｎｕｓ１の値は、０からＣｌｉｐ３（０，７，（ＰｉｃＨｅｉｇｈｔＩｎＭａｐＵｎｉｔｓ＞＞１）−１）の間であり、ＰｉｃＨｅｉｇｈｔＩｎＭａｐＵｎｉｔｓは、Ｈ．２６４規格において指定されている。
【０１５８】
ＲＰＵデータ・ペイロードのセマンティックス
【０１５９】
ｓｅｐａｒａｔｅ＿ｃｏｍｐｏｎｅｎｔ＿ｆｉｌｔｅｒｉｎｇ＿ｆｌａｇは、それぞれの色空間成分について別々のフィルターが送信されるか、またはすべての成分について単一のフィルターが使用されるかを知らせる。このフラグがゼロに設定されている場合、それぞれのフィルター・タップ係数について以下を設定する。ｆｉｌｔｅｒ＿ｉｄｘ［ｙ］［ｘ］［１］＝ｆｉｌｔｅｒ＿ｉｄｘ［ｙ］［ｘ］［２］＝ｆｉｌｔｅｒ＿ｉｄｘ［ｙ］［ｘ］［０］。
【０１６０】
ｆｉｌｔｅｒ＿ｉｄｘ＿ｄｏｗｎ［ｙ］［ｘ］［ｃｍｐ］は、色成分ｃｍｐに対応する、垂直座標ｙおよび水平座標ｘを有するパーティションについて使用されるダウンサンプリング処理フィルターに対応するインデックスを含む。このインデックスは、それぞれが一意的な処理フィルターまたはスキームに対応する、任意の非負値をとることができる。
【０１６１】
ｆｉｌｔｅｒ＿ｉｄｘ＿ｕｐ［ｙ］［ｘ］［ｃｍｐ］は、色成分ｃｍｐに対応する、垂直座標ｙおよび水平座標ｘを有するパーティションについて使用されるアップサンプリング処理フィルターに対応するインデックスを含む。このインデックスは、それぞれが一意的な処理フィルターまたはスキームに対応する、任意の非負値をとることができる。
【０１６２】
ｆｉｌｔｅｒ＿ｉｄｘメソッドを実現するシステムの一例は、図６に示されている。フィルターの例は、表７に示されている。ダウンサンプリングおよびアップサンプリングに対する「Ｆ２」フィルターはフィルター係数を有しない。それは、単純に、キャリア信号を定数値（例えば、１２８）に設定するだけである。
【０１６３】
図１４は、ＥＬ信号（１２３７）を生成するための例示的なプロセス・フローを示している。図１４の右半分は、ベース・レイヤがサイド・バイ・サイド（ＳｂＳ）形式で符号化される場合を示しており、したがって、ＥＬレイヤは、トップ・アンド・ボトム（ＴａＢ）形式で符号化されている。この半分のプロセス・フローは、図１２Ａに示されているようなプロセス・フローと一致する。図１４の左半分は、ベース・レイヤがトップ・アンド・ボトム（ＴａＢ）形式（１４０５）で符号化される場合を示しており、エンハンスメント・レイヤは、ＳｂＳ形式（１４１５）で符号化される。ＴａＢ多重化ステップ１４０５は、図１のステップ１０４−Ｖおよび１０６−Ｖで示されている処理に従うものとしてよいのに対し、ＳｂＳ多重化１４１５は、図１のステップ１０４−Ｈおよび１０６−Ｈで示されている処理に従うものとしてよい。
【０１６４】
前の方で説明されているシンタックスが与えられると、図１５は、キャリア信号１３０２を生成するためにＦＣＦＲストリームのデコード中にＲＰＵにおける例示的なプロセスの一実施形態を示している。類似のプロセスも、例えば、キャリアＲＰＵ１２２０を使用して、エンコーダでキャリア信号１２２２を生成するために適用されうる。図１５に示されているように、プロセスは、入力シーケンスのすべてのパーティションおよびすべての色成分に作用する。データ・フローは、ＢＬ信号がＳｂＳ形式で多重化されるのか、ＴａＢ形式で多重化されるのかに関係なく同じであるものとしてよいが、フィルタリングの向きは、ベース・レイヤの形式に依存する。プロセスは、ダウンサンプリングがアップサンプリングに先行することも仮定するが、別の実施形態では、アップサンプリングがダウンサンプリングに先行していてもよい。
【０１６５】
ＲＰＵデータ・ストリーム（例えば、１２４０−３）、およびフィルター識別ルックアップ・テーブル（例えば、表６）を使用することで、ステップ１５１０において、ＲＰＵはデコードされたＢＬ信号をダウンサンプリングするために使用されるダウンサンプリング・フィルターを識別する。それがＦ０またはＦ１フィルター（１５１５−１）である場合、それはダウンサンプリングの実行に進む（１５２０−１）。それがＦ２フィルターである場合、それはすべてのピクセル値を定数値（例えば、１２８）に設定してキャリア信号を単純に作成する（１５２０−２）。ＢＬレイヤがＳｂＳ形式で符号化される場合、ダウンサンプリング（１５２０）は、垂直方向に実行される。ＢＬレイヤがＴａＢ形式で符号化される場合、ダウンサンプリング（１５２０）は、水平方向に実行される。
【０１６６】
ダウンサンプリング（１５２０）の後、２つの元の半分（またはビュー）が逆多重化され、次いで、直交する向きで、例えば、ＳｂＳからＴａＢへ、またはＴａＢからＳｂＳへ再び多重化され、これにより、残余信号の多重化形式と一致する中間結果を形成する。この中間信号は、最終キャリア信号が残余信号の解像度と一致するようにアップサンプリングされる。アップサンプリング・フィルターがＦ０またはＦ１（１５２５−１）である場合、中間結果がアップサンプリングされ、最終キャリア信号１２３７を生成する。それがＦ２フィルターである場合、それはすべてのピクセル値を固定値（例えば、１２８）に設定してキャリア信号を作成する（１５３０−２）。ＢＬレイヤがＳｂＳ形式で符号化される場合、アップサンプリング（１５３０）は、水平方向に実行される。ＢＬレイヤがＴａＢ形式で符号化される場合、アップサンプリング（１５３０）は、垂直方向に実行される。デコーダがフィルターをどれも認識しない場合、プロセスは終了し、エラー・メッセージが生成されうる（１５４０）。
【０１６７】
【表１】
0005926387.tif 000002
【０１６８】
【表２】
0005926387.tif 000003
【０１６９】
【表３】
0005926387.tif 000004
【０１７０】
【表４】
0005926387.tif 000005
【表５】
0005926387.tif 000006
【０１７１】
【表６】
0005926387.tif 000007
【０１７２】
【表７】
0005926387.tif 000008
【０１７３】
【表８】
0005926387.tif 000009
【０１７４】
９．実装メカニズム−ハードウェアの概要
一実施形態によれば、本明細書で説明されている技術は、１つまたは複数の専用コンピューティング・デバイスによって実装される。専用コンピューティング・デバイスは、それらの技術を実行するためにハードウェアで実現されうるか、または、それらの技術を実行するために永続的プログラムされる１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）またはフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのデジタル電子デバイスを備えることができるか、またはファームウェア、メモリ、他のストレージ、または組み合わせ内のプログラム命令に従ってそれらの技術を実行するようにプログラムされた１つまたは複数の汎用ハードウェア・プロセッサを備えることができる。このような専用コンピューティング・デバイスは、それらの技術を実行するためにハードウェアで実現されたカスタム論理回路、ＡＳＩＣ、またはＦＰＧＡをカスタム・プログラミングと組み合わせることもできる。専用コンピューティング・デバイスは、デスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム、ハンドヘルド・デバイス、ネットワーキング・デバイス、またはそれらの技術を実装するためにハードウェアで実現された、および／またはプログラム論理を組み込む他の任意のデバイスであってよい。
【０１７５】
例えば、図１１は、本発明の例示的な実施形態が実装されうるコンピュータ・システム１１００を例示するブロック図である。コンピュータ・システム１１００は、情報を伝達するためのバス１１０２または他の通信メカニズムと、情報を処理するためにバス１１０２に結合されているハードウェア・プロセッサ１１０４とを備える。ハードウェア・プロセッサ１１０４は、例えば、汎用マイクロプロセッサであってよい。
【０１７６】
コンピュータ・システム１１００は、情報とプロセッサ１１０４によって実行される命令とを格納するためにバス１１０２に結合されている、ランダム・アクセス・メモリ（ＲＡＭ）または他の動的ストレージ・デバイスなどのメイン・メモリ１１０６も備える。メイン・メモリ１１０６は、プロセッサ１１０４によって実行される命令の実行中に一時的変数または他の中間情報を格納するためにも使用されうる。このような命令は、プロセッサ１１０４からアクセスできる非一時的記憶媒体に格納されているときに、コンピュータ・システム１１００を命令で指定されたオペレーションを実行するようにカスタマイズされた専用マシンに変える。
【０１７７】
コンピュータ・システム１１００は、静的情報とプロセッサ１１０４に対する命令とを格納するためにバス１１０２に結合されているリード・オンリー・メモリ（ＲＯＭ）１１０８または他の静的ストレージ・デバイスをさらに備える。磁気ディスクまたは光ディスクなどのストレージ・デバイス１１１０は、情報および命令を格納するために備えられ、バス１１０２に結合される。
【０１７８】
コンピュータ・システム１１００は、情報をコンピュータ・ユーザーに対し表示するために、バス１１０２を介して液晶ディスプレイなどのディスプレイ１１１２に結合されうる。英数字および他のキーを備える、入力デバイス１１１４は、プロセッサ１１０４に情報およびコマンド選択を伝達するためにバス１１０２に結合される。別の種類のユーザー入力デバイスは、方向情報およびコマンド選択をプロセッサ１１０４に伝達し、ディスプレイ１１１２上のカーソル移動を制御するためのマウス、トラックボール、またはカーソル方向キーなどのカーソルコントロール１１１６である。この入力デバイスは、典型的には、第１の軸（例えば、ｘ）と第２の軸（例えば、ｙ）の２本の軸において自由度２を有し、それにより、デバイスで平面内の位置を指定することができる。
【０１７９】
コンピュータ・システム１１００は、カスタマイズされたハードウェアで実現された論理、１つまたは複数のＡＳＩＣもしくはＦＰＧＡ、ファームウェア、および／またはコンピュータ・システムと組み合わせてコンピュータ・システム１１００を専用マシンにするか、またはそのようにプログラムするプログラム論理を使用して本明細書で説明されている技術を実装することができる。一実施形態によれば、本明細書の技術は、プロセッサ１１０４がメイン・メモリ１１０６に格納されている１つまたは複数の命令の１つまたは複数のシーケンスを実行することへの応答としてコンピュータ・システム１１００によって実行される。このような命令は、ストレージ・デバイス１１１０などの別の記憶媒体からメイン・メモリ１１０６内に読み込まれうる。メイン・メモリ１１０６内に格納されている命令のシーケンスが実行されると、プロセッサ１１０４は、本明細書で説明されているプロセス・ステップを実行する。代替実施形態では、ハードウェアで実現された回路を、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて使用することができる。
【０１８０】
本明細書で使用されているような「記憶媒体」という用語は、特定の様式でマシンを動作させるデータおよび／または命令を格納する任意の非一時的媒体を指す。このような記憶媒体には、不揮発性媒体および／または揮発性媒体がある。不揮発性媒体としては、例えば、ストレージ・デバイス１１１０などの光ディスクまたは磁気ディスクが挙げられる。揮発性媒体としては、メイン・メモリ１１０６などのダイナミック・メモリが挙げられる。記憶媒体の一般的な形態としては、例えば、フロッピー・ディスク、フレキシブル・ディスク、ハードディスク、ソリッド・ステート・ドライブ、磁気テープ、または他の任意の磁気データ記憶媒体、ＣＤ−ＲＯＭ、他の任意の光データ記憶媒体、何らかのパターンで穴があけられている他の物理的媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、ＮＶＲＡＭ、他の任意のメモリ・チップまたはカートリッジが挙げられる。
【０１８１】
記憶媒体は、伝送媒体と異なるが、伝送媒体と併せて使用することができる。伝送媒体は、記憶媒体同士の間の情報の転送に関わる。例えば、伝送媒体としては、バス１１０２を含む電線を含む、同軸ケーブル、銅線、および光ファイバーが挙げられる。伝送媒体は、電波および赤外線データ通信中に発生する波などの、音波または光波の形もとりうる。
【０１８２】
さまざまな形態の媒体が、１つまたは複数の命令の１つまたは複数のシーケンスを、実行のためプロセッサ１１０４に搬送することに関与しうる。例えば、命令は、最初に、リモート・コンピュータの磁気ディスクまたはソリッド・ステート・ドライブ上に搬送することができる。リモート・コンピュータは、命令をそのリモート・コンピュータのダイナミック・メモリ内にロードし、モデルを使用して電話回線を介して命令を送信することができる。コンピュータ・システム１１００のローカルに接続するモデムが、電話回線でデータを受信し、赤外線送信機を使用してデータを赤外線信号に変換することができる。赤外線検出器は、赤外線信号で搬送されたデータを受信し、適切な回路でデータをバス１１０２に送り出すことができる。バス１１０２は、データをメイン・メモリ１１０６に搬送し、プロセッサ１１０４は、そのメイン・メモリから命令を取り出して実行する。メイン・メモリ１１０６に入った命令は、適宜、プロセッサ１１０４による実行前または実行後にストレージ・デバイス１１１０に格納することができる。
【０１８３】
コンピュータ・システム１１００は、バス１１０２に結合された通信インターフェース１１１８も備える。通信インターフェース１１１８は、ローカル・ネットワーク１１２２に接続されているネットワーク・リンク１１２０に結合する双方向データ通信を提供する。例えば、通信インターフェース１１１８は、デジタル総合サービス網（ＩＳＤＮ）カード、ケーブル・モデム、衛星モデム、または対応する種類の電話回線とのデータ通信接続を提供するためのモデムであってもよい。別の例として、通信インターフェース１１１８は、互換性のあるＬＡＮとのデータ通信接続を行うためのローカルエリアネットワーク（ＬＡＮ）カードとすることができる。ワイヤレス・リンクを実装することもできる。このような実装のどれにおいても、通信インターフェース１１１８は、さまざまな種類の情報を表すデジタル・データ・ストリームを搬送する電気信号、電磁信号、または光信号を送受信する。
【０１８４】
ネットワーク・リンク１１２０は、典型的には、１つまたは複数のネットワークを介して他のデータデバイスとのデータ通信を提供する。例えば、ネットワーク・リンク１１２０は、ローカル・ネットワーク１１２２を介してホスト・コンピュータ１１２４との接続、またはインターネット・サービス・プロバイダ（ＩＳＰ）１１２６によって運用されるデータ機器との接続を提供することができる。ＩＳＰ  １１２６は、次いで、「インターネット」１１２８と現在では一般に称されているワールド・ワイド・パケット・データ通信ネットワークを介したデータ通信サービスを提供する。ローカル・ネットワーク１１２２およびインターネット１１２８は両方とも、デジタル・データ・ストリームを搬送する電気信号、電磁信号、または光信号を使用する。さまざまなネットワークを通るそれらの信号およびデジタル・データをコンピュータ・システム１１００との間でやり取りする通信インターフェース１１１８を介した、ネットワーク・リンク１１２０上の信号は、伝送媒体の例示的な形態である。
【０１８５】
コンピュータ・システム１１００は、ネットワーク（複数可）、ネットワーク・リンク１１２０、および通信インターフェース１１１８を介して、メッセージを送信し、プログラムコードを含む、データを受信することができる。インターネットの例では、サーバー１１３０は、インターネット１１２８、ＩＳＰ  １１２６、ローカル・ネットワーク１１２２、および通信インターフェース１１１８を介してアプリケーション・プログラムの要求されたコードを送信することも可能である。
【０１８６】
受信されたコードは、受信されるとともにプロセッサ１１０４によって実行されること、および／または後から実行するためにストレージ・デバイス１１１０、もしくは他の不揮発性ストレージに格納されことが可能である。
【０１８７】
１０．同等、拡張、代替、およびその他
上記明細書において、本発明の例示的な実施形態は、実装毎に異なりうる多数の固有の詳細を参照しつつ説明されている。したがって、何が本発明であり、何が出願人によって本発明であることが意図されているかを示す単独の、排他的な指標が、その後のどの訂正をも含む、本出願に由来する請求項が出される際の特定の形態の、本出願に由来する多数の請求項の集まりである。本出願に由来する請求項に含まれる用語について本明細書で明確に述べたどの定義も、請求項において使用されるような用語の意味を規定するものとする。したがって、請求項において明示的に記載されていない制限、要素、特性、特徴、利点、または属性は、いかなる形でも本出願に由来する請求項の範囲を制限すべきではない。したがって、本明細書および図面は、制限ではなく、例示することを目的としているものとみなすべきである。
【図１Ａ】
0005926387.tif 000010
【図１Ｂ】
0005926387.tif 000011
【図１Ｃ】
0005926387.tif 000012
【図２】
0005926387.tif 000013
【図３】
0005926387.tif 000014
【図４】
0005926387.tif 000015
【図５】
0005926387.tif 000016
【図６Ａ】
0005926387.tif 000017
【図６Ｂ】
0005926387.tif 000018
【図７】
0005926387.tif 000019
【図８Ａ】
0005926387.tif 000020
【図８Ｂ】
0005926387.tif 000021
【図９】
0005926387.tif 000022
【図１０Ａ】
0005926387.tif 000023
【図１０Ｂ】
0005926387.tif 000024
【図１１】
0005926387.tif 000025
【図１２Ａ】
0005926387.tif 000026
【図１２Ｂ】
0005926387.tif 000027
【図１３Ａ】
0005926387.tif 000028
【図１３Ｂ】
0005926387.tif 000029
【図１４】
0005926387.tif 000030
【図１５】
0005926387.tif 000031