(57)【要約】【課題】１枚の画像に左右の視差画像が連結された型式のステレオ画像を効率的に予測符号化すること。【解決手段】チェッカーボードパターンの第１の位相の位置に画素を有する第１の視差画像とチェッカーボードパターンの第２の位相の位置に画素を有する第２の視差画像とを有するステレオ画像信号の、第１の視差画像と第２の視差画像とが結合されたピクチャが予測符号化された符号化データから、（Ａ）視差画像ごとの予測残差、（Ｂ）視差画像ごとの予測モードの情報、及び、（Ｃ）ピクチャ上で第１の視差画像と第２の視差画像との配置を示す結合情報を復号化する復号化ステップと、既に復号化された視差画像上の各画素値および既に復号化された視差画像上で画素が存在しない位置の周辺画素から補間された画素値を参照して、予測モード情報に従って視差画像ごとの予測信号を生成する予測信号生成ステップと、を有することを特徴とする。【選択図】図２
2010232878.tif 000002
【特許請求の範囲】
【請求項１】
チェッカーボードパターンの第１の位相の位置に画素を有する第１の視差画像とチェッカーボードパターンの第２の位相の位置に画素を有する第２の視差画像とを有するステレオ画像信号の、前記第１の視差画像と前記第２の視差画像とが結合されたピクチャが予測符号化された符号化データから、（Ａ）前記視差画像ごとの予測残差、（Ｂ）前記視差画像ごとの予測モードの情報、及び、（Ｃ）前記ピクチャ上で前記第１の視差画像と前記第２の視差画像との配置を示す結合情報を復号化する復号化ステップと、
既に復号化された視差画像上の各画素値および前記既に復号化された視差画像上で画素が存在しない位置の周辺画素から補間された画素値を参照して、前記予測モード情報に従って前記視差画像ごとの予測信号を生成する予測信号生成ステップと、
前記結合情報に従って前記予測信号と前記予測残差とを加算して復号画像信号を生成する復号画像生成ステップと、
を有することを特徴とするステレオ画像復号化方法。
【請求項２】
前記予測信号生成ステップでは、前記ピクチャ内の所定の範囲毎に前記予測信号を生成し、
前記復号化ステップでは、前記所定の範囲毎に、既に復号化された前記所定の範囲の前記予測モードに係る情報に基づいて算出されるインデックスを復号化することを特徴とする請求項１記載のステレオ画像復号化方法。
【請求項３】
前記復号化ステップにおいて、さらに、前記視差画像毎に、他のピクチャにおける視差が同じ参照画像に対する動きベクトルに係る情報を復号化し、
前記動きベクトルに係る情報は、前記動きベクトルと、既に復号化された所定の範囲の動きベクトルと、の差に係る情報であり、
前記予測信号生成ステップにおいて、前記参照画像における前記予測信号を生成し、前記動きベクトルによる動き補償を行うことを特徴とする請求項２記載のステレオ画像復号化方法。
【請求項４】
前記符号化データが、前記視差画像毎に、抽出されていない画素位置の画素を当の視差画像の画素から補間した画像を前記所定の範囲毎に前記予測残差を直交変換して得られる変換係数の符号を含む場合に、
前記復号化ステップは、
前記視差画像毎に、前記所定の範囲毎の変換係数に対して逆直交変換して予測残差を得、前記予測残差のうち、当の視差画像の画素位置の予測残差をサンプリングして出力する逆直交変換ステップを有することを特徴とする請求項３記載のステレオ画像復号化方法。
【請求項５】
前記復号化ステップは、
前記視差画像毎に、偶数ラインに属する画素からなる所定の範囲と、奇数ラインに属する画素からなる所定の範囲と、のそれぞれの前記予測残差の変換係数を復号化する変換係数復号ステップと、
前記偶数ラインに属する画素からなる所定の範囲と、前記奇数ラインに属する画素からなる所定の範囲と、のそれぞれを逆直交変換して予測残差を生成する逆直交変換ステップと、
を有することを特徴とする請求項４記載のステレオ画像復号化方法。
【請求項６】
前記復号画像信号は、前記結合情報に基づいて、前記ピクチャ毎に、２つの前記視差画像に含まれる画素が所定の並び順で配置され、
前記復号画像信号に含まれる画素に対し、画素位置の位相が同じ画素毎に、フィルタ処理を行うフィルタ処理ステップを有する請求項５記載のステレオ画像復号化方法。
【請求項７】
前記復号画像信号が、前記第１の視差画像と前記第２の視差画像とが相補の格子状に配置されている場合に、
前記フィルタ処理ステップにおいて、前記復号画像信号の１画素おきの画素を用いるフィルタ処理を行うことを特徴とする請求項６記載のステレオ画像復号化方法。
【請求項８】
チェッカーボードパターンの第１の位相の位置に画素を有する第１の視差画像とチェッカーボードパターンの第２の位相の位置に画素を有する第２の視差画像とを有するステレオ画像信号の、前記第１の視差画像と前記第２の視差画像とが結合されたピクチャの各視差画像の予測信号を、複数の予測モードから選択された予測モードに従って、既に符号化された視差画像上の各画素値及び前記既に符号化された視差画像上で画素が存在しない位置の周辺画素から補間された画素値を参照して生成する予測信号生成ステップと、
各視差画像と予測信号との間の予測残差を生成する残差生成ステップと、
（Ａ）視差画像ごとの前記予測残差、（Ｂ）視差画像ごとの前記選択された予測モードの情報、及び、（Ｃ）前記ピクチャ上で前記第１の視差画像と前記第２の視差画像との配置を示す結合情報を符号化する符号化ステップと、
前記予測残差を復号化して復号予測残差を生成する復号化ステップと、
前記予測モードに係る情報と前記結合情報とに基づいて、前記復号予測残差を前記予測信号に加算して、復号画像信号を生成する復号画像生成ステップと、
を有することを特徴とするステレオ画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像を効率的に予測符号化する符号化方法、及びその符号化された符号データを復号化する復号化方法に関する。
【背景技術】
【０００２】
ステレオ（立体）画像（以下、ステレオ画像）は、左目用画像と右目用画像を、それぞれ左右の目で見られるよう表示することによって視覚的に立体感を出すことを目的とした画像である。そのため、同じ解像度およびフレームレートで表示を行う場合、通常の平面画像に対し、２倍の量の画像データが必要になる。
【０００３】
既存の伝送チャネル（例えば、放送、蓄積メディア、有線または無線の通信回線）は、平面画像を伝送することを想定しており、２倍の量の画像データを並列、かつ、同期させて送ることはできない。そのため、２倍に増えた画像データを１／２に削減し、既存の伝送チャネルで送ることが行われている。
【０００４】
例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣに採用されているＳｔｅｒｅｏ  ｖｉｄｅｏ  ｉｎｆｏｒｍａｔｉｏｎ  ＳＥＩ  （Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）  ｍｅｓｓａｇｅは、フレーム単位、またはフィールド単位で交互に伝送される左右の画像を示す付加情報をビットストリームに記録する。
【０００５】
また、米国特許出願公開第２００３／０２２３４９９号明細書（特許文献１では、左目画像と右目画像を互いに補間する格子状の位置でサブサンプリングした後、水平方向にスクイーズし、左目画像を画面の左半分、右目画像を画面の右半分に並べるステレオ画像形式が開示されている。このステレオ画像形式は、サブサンプリングする前の、左目画像又は右目画像と同じ画素数からなる１枚の左右画像の連結画像である（以下、この画像形式を「サイドバイサイド方式」と呼ぶ）。
【０００６】
また例えば、左目画像と右目画像とを互いに補間する格子状の位置でサブサンプリングした後、左目画像と右目画像を画素単位でマージするステレオ画像形式が存在する（以下、この画像形式を「画素インタリーブ方式」と呼ぶ）。また更に、左目画像と右目画像のそれぞれを垂直方向１／２サブサンプリングしスクイーズした後、上下に並べるステレオ画像形式等、左右の画像をそれぞれ空間面で１／２の画素数にサブサンプリングし、両者を組み合わせて、１枚分の画像データと同じ画素数にする様々なステレオ画像形式が存在する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許出願公開第２００３／０２２３４９９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献に記載のステレオ画像形式では、左目画像と右目画像との間に視差が存在するため、これらを区別することなく１枚の画像に連結されたままで予測符号化を行うと、圧縮効率が悪くなる。また視差がある色信号を直交変換を含む符号化方式で符号化すると色にじみが発生する。
【０００９】
本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、１枚の画像に左右の視差画像が連結された型式のステレオ画像を効率的に予測符号化することを目的としている。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、チェッカーボードパターンの第１の位相の位置に画素を有する第１の視差画像とチェッカーボードパターンの第２の位相の位置に画素を有する第２の視差画像とを有するステレオ画像信号の、前記第１の視差画像と前記第２の視差画像とが結合されたピクチャが予測符号化された符号化データから、（Ａ）前記視差画像ごとの予測残差、（Ｂ）前記視差画像ごとの予測モードの情報、及び、（Ｃ）前記ピクチャ上で前記第１の視差画像と前記第２の視差画像との配置を示す結合情報を復号化する復号化ステップと、既に復号化された視差画像上の各画素値および前記既に復号化された視差画像上で画素が存在しない位置の周辺画素から補間された画素値を参照して、前記予測モード情報に従って前記視差画像ごとの予測信号を生成する予測信号生成ステップと、前記結合情報に従って前記予測信号と前記予測残差とを加算して復号画像信号を生成する復号画像生成ステップと、を有することを特徴とする。
【００１１】
上述した課題を解決し、目的を達成するために、本発明は、また、チェッカーボードパターンの第１の位相の位置に画素を有する第１の視差画像とチェッカーボードパターンの第２の位相の位置に画素を有する第２の視差画像とを有するステレオ画像信号の、前記第１の視差画像と前記第２の視差画像とが結合されたピクチャの各視差画像の予測信号を、複数の予測モードから選択された予測モードに従って、既に符号化された視差画像上の各画素値及び前記既に符号化された視差画像上で画素が存在しない位置の周辺画素から補間された画素値を参照して生成する予測信号生成ステップと、各視差画像と予測信号との間の予測残差を生成する残差生成ステップと、（Ａ）視差画像ごとの前記予測残差、（Ｂ）視差画像ごとの前記選択された予測モードの情報、及び、（Ｃ）前記ピクチャ上で前記第１の視差画像と前記第２の視差画像との配置を示す結合情報を符号化する符号化ステップと、前記予測残差を復号化して復号予測残差を生成する復号化ステップと、前記予測モードに係る情報と前記結合情報とに基づいて、前記復号予測残差を前記予測信号に加算して、復号画像信号を生成する復号画像生成ステップと、を有することを特徴とする。
【発明の効果】
【００１２】
本発明のステレオ画像符号化方法、及び、ステレオ画像復号化方法によれば、１枚の画像に左右の視差画像が連結された型式のステレオ画像を効率的に予測符号化することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本実施形態に係る動画像符号化のための画像符号化装置２０の機能構成の例を示す図である。
【図２】図２は、予測画像作成器１１５の詳細な機能構成の例を示す図である。
【図３】図３は、画素インタリーブ方式を示す図である。
【図４】図４は、スクイーズされたステレオ画像を示す図である。
【図５】図５は、インタリーブ方式のステレオ画像に対する予測処理の一例を示す図である。
【図６】図６は、サイドバイサイド方式のステレオ画像に対するフレーム内予測器１１５１における予測処理の一例を示す図である。
【図７】図７は、画素インタリーブ方式のステレオ画像に対するフレーム間予測器１１５２における予測処理の例（その１）を示す図である。
【図８】図８は、サイドバイサイド方式のステレオ画像に対するフレーム間予測器１１５２における予測処理の例（その２）を示す図である。
【図９】図９は、画素インタリーブ方式のステレオ画像に対するループフィルタ１１３におけるデブロッキングフィルタ処理の一例を示す図である。
【図１０】図１０は、水平方向にスクイーズされたサイドバイサイド方式のステレオ画像に対するループフィルタ１１３におけるデブロッキングフィルタ処理の別の一例を示す図である。
【図１１】図１１は、ステレオ画像の符号化データに含まれる、ステレオ画像型式に係る情報のデータ構造を示す図である。
【図１２】図１２は、ステレオ画像の符号化データの全体のデータ構造を示す図である。
【図１３】図１３は、ステレオ画像の符号化データにおける符号化の所定の単位（スライス）毎の情報のデータ構造を示す図である。
【図１４】図１４は、ステレオ画像の符号化データにおける符号化の所定の単位（マクロブロック）毎の情報のデータ構造を示す図である。
【図１５】図１５は、ステレオ画像の符号化データにおけるマクロブロック毎の予測モード情報を含むデータ構造を示す図である。
【図１６】図１６は、ステレオ画像の符号化データにおけるサブマクロブロックの予測モードおよび動きベクトルに対するシンタクスの一例を示す図である。
【図１７】図１７は、本実施の形態における画像符号化方法を説明するフロー図である。
【図１８】図１８は、ステップＳ１０３において行われる処理の一部を示すフロー図である。
【図１９】図１９は、本実施の形態における画像復号化装置を示す図である。
【図２０】図２０は、予測画像作成器２０４の詳細な機能構成の例を示す図である。
【図２１】図２１は、本実施の形態における画像復号化方法を説明するフロー図である。
【図２２】図２２は、ステップＳ２０１において行われる処理の一部を示すフロー図である。
【発明を実施するための形態】
【００１４】
以下、本実施の形態を図面に基づき説明する。なお、以下の実施の形態において、画素の「サンプリング」及び画素の「サブサンプリング」は、複数の画素の中から一部の画素を抽出することをいう。
【００１５】
〔本実施の形態〕
図１は、本実施形態に係る動画像符号化のための画像符号化装置２０の機能構成の例を示す図である。画像符号化装置２０は、入力画像信号１００をフレーム毎に圧縮処理して符号化データ１１７を生成する。
【００１６】
画像符号化装置２０は、入力フレームバッファ１１８、差分信号作成器１０１、直交変換器１０４、量子化器１０６、逆量子化器１０９、逆直交変換器１１０、局部復号画像信号作成器１１１、ループフィルタ１１３、フレームメモリ１１４、予測画像作成器１１５、及び、エントロピー符号化器１０８を有する。
【００１７】
入力画像信号１００は、例えばフレーム単位で入力される。入力フレームバッファ１１８は、入力画像信号１００を一旦格納し、差分信号作成器１０１に対して出力する。差分信号作成器１０１は、入力画像信号１００と予測画像信号１０２との差分をとり、予測誤差信号１０３が生成される。予測画像信号１０２と差分をとられる入力画像信号１００は、左右２つの視差に分離した視差分離信号である。
【００１８】
直交変換器１０４は、予測誤差信号１０３に対して直交変換を行う。直交変換は、例えば、離散コサイン変換（以下、「ＤＣＴ」という。）である。直交変換により、直交変換係数情報１０５が得られる。直交変換係数情報１０５は、例えば、ＤＣＴ係数である。
【００１９】
直交変換器１０４は、左右の視差画像のそれぞれに対し、同一の視差画像の画素からなる矩形毎に、直交変換を行う。この矩形は、例えば、ブロック又はマクロブロック等である。
【００２０】
直交変換器１０４は、例えば、視差画像の一に対し、フレームに含まれる画素位置のうち画素が存在しない画素位置の画素を予測により生成し、予測された画素を含む矩形毎に、直交変換を行う。なお、画像符号化装置２０によって生成される符号データには、この直交変換により生成される直交変換係数情報１０５のうち、低域側から所定の個数の直交変換係数情報に係る符号が含まれるとよい。これにより、予測により生成された画素により増加した冗長分を削減することができる。例えば、半分の個数の直交変換係数情報を削除して、補間前の画素数と同数の直交変換係数情報１０５を出力するとよい。
【００２１】
直交変換器１０４は、また例えば、視差画像の一に対し、画素が存在しない画素位置をスクイーズした後、スクイーズした方向と異なる方向において同一のピクチャ内の位相を有する画素位置に対応する画素群毎に、直交変換を行う。
【００２２】
より詳細には、水平方向にスクイーズした場合には、奇数ラインに属する画素からなる所定の単位と、偶数ラインに属する画素からなる所定の単位と、のそれぞれを、直交変換を行う単位とする。また垂直方向にスクイーズした場合には、奇数列に属する画素からなる所定の単位と、偶数列に属する画素からなる所定の単位と、のそれぞれを、直交変換を行う単位とする。この所定の単位は、複数の画素が矩形に並び、例えば、ブロック又はマクロブロックと同数の画素が含まれている。
【００２３】
この直交変換では、画素補間を行わないため、画素数の増加による冗長の増加はない。そこで、生成される符号データには、この直交変換により生成される全ての直交変換係数情報１０５に係る符号が含まれるとよい。
【００２４】
量子化器１０６は、直交変換係数情報１０５を量子化して量子化直交変換係数情報１０７を出力する。量子化直交変換係数情報１０７は、二分岐され、一方は、エントロピー符号化器１０８に導かれる。また、他方は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて予測誤差信号と同様の信号とされた後、局部復号画像信号作成器１１１で予測画像信号１０２と加算されることにより、局部復号画像信号１１２が生成される。
【００２５】
ループフィルタ１１３は、局部復号画像信号１１２に対してフィルタ処理を行う。フィルタ処理された局部復号画像信号１１２は、フレームメモリ１１４に格納される。ループフィルタ１１３におけるフィルタ処理については後述する。なお、ループフィルタ１１３による処理は省略されてよい。
【００２６】
予測画像作成器１１５は、入力画像信号１００及び局部復号画像信号１１２から、予測モード情報に基づく予測画像信号を生成する。予測モード情報は、複数の予測モードのうちの何れの予測モードが用いられるかを示す情報を含む。予測モードとは、例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣにおけるＩｎｔｒａ  ｐｒｅｄｃｔｉｏｎの複数の予測モードである。予測モードとは、また例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣにおけるピクチャ間の複数の予測モードである。予測画像作成器１１５の詳細および予測画像信号の作成方法については後述する。
【００２７】
生成された予測画像信号１０２は、予測画像信号の動きベクトル情報と予測モード情報とステレオ画像形式情報とを含む情報１１６とともに予測画像作成器１１５より出力される。
【００２８】
ステレオ画像形式情報とは、複数の視差画像を含む画像データを、単一の視差画像からなる画像データのデータ形式に格納する際の、視差画像毎の画素の配置を示す情報である。ステレオ画像形式は、インタリーブ方式、サイドバイサイド方式等がある。
【００２９】
エントロピー符号化器１０８では、量子化直交変換係数情報１０７、動きベクトル情報と予測モード情報とステレオ画像形式情報とを含む情報１１６がエントロピー符号化され、これによって生成された符号化データ１１７は、図示しない伝送系または蓄積系へ送出される。
【００３０】
図２は、予測画像作成器１１５の詳細な機能構成の例を示す図である。予測画像作成器１１５は、モード判定器１１５０、フレーム内予測器１１５１、フレーム間予測器１１５２、視差画像サンプリング位置補間器１１５４、及び、視差画像分離器１１５５を有する。
【００３１】
視差画像分離器１１５５は、処理するステレオ画像のサンプリング方式およびマージ方式に応じて、局部復号画像信号１１２と入力画像信号１００とを、視差画像毎に属する画素のみの信号にそれぞれ分離し、スクイーズが行われている場合には解除する。
【００３２】
視差画像サンプリング位置補間器１１５４は、視差画像毎に分離された局部復号画像信号１１２と、入力画像信号１００とにおける、視差毎にサンプリングされなかった位置の画素を補間する。補間された入力画像信号１００は動きベクトル検出器１１５３へ、補間された局部復号画像信号１１２はフレーム内予測器１１５１、フレーム間予測器１１５２、および動きベクトル検出器１１５３に出力される。
【００３３】
フレーム内予測器１１５１は、フレームメモリ１１４に格納されている、処理しているフレーム内で既に符号化された領域の局部復号画像信号１１２からフレーム内予測に基づく予測画像信号を作成する。
【００３４】
フレーム間予測器１１５２は、動きベクトル検出器１１５３で検出された動きベクトルに基づいてフレームメモリ１１４に格納されている再生画像信号に対して動き補償を施し、フレーム間予測に基づく予測画像信号を作成する。
【００３５】
フレーム内予測器１１５１はＭ個のフレーム内予測モードの処理を行い、フレーム間予測器１１５２はＮ個のフレーム間予測モードの処理を行う。
【００３６】
より詳細には、フレーム内予測器１１５１及びフレーム間予測器１１５２で行われる予測処理は、符号化単位のうちの分離あるいはスクイーズが解除された視差画像ごとに別々に行われ、予測画像信号も視差ごとに分離あるいはスクイーズが解除された信号が出力される。
【００３７】
モード判定器１１５０は、フレーム内予測器１１５１の出力、及び、フレーム間予測器１１５２の出力が入力され、予測モードを選択する。モード判定器１１５０は、Ｎ個のフレーム間予測モードから選択された一つの予測モードに基づく予測画像信号、又は、Ｍ個のフレーム内予測モードから選択された一つの予測モードに基づく予測画像信号を出力する。
【００３８】
モード判定器１１５０は、視差画像ごとにそれぞれ予測モードを決定し、分離又はスクイーズが解除された予測画像信号が元のステレオ画像形式にマージ又はスクイーズされた予測画像信号１０２が最終的に出力される。
【００３９】
図３及び図４は、格子状にサブサンプリングされたステレオ画像型式の例を示す図である。図３は、画素インタリーブ方式を示す図である。図３では、左目画像Ｌ１及び右目画像Ｒ１が、互いに位相が異なる位置において、格子状にサブサンプリングされている。左目画像Ｌ１と右目画像Ｒ１とが、画素毎にインタリーブされて１枚のステレオ画像Ｓ１を形成する。ステレオ画像Ｓ１は、隣接する画素間において、縦又は横の位相が必ず同じとなるが、視差が異なる。なお、互いに位相が異なる位置に、格子状にサブサンプリングされた２組の画素位置を含むパターンを、チェッカーボードパターンという。ステレオ画像Ｓ１は、チェッカーボードパターンの第１の位相の位置に、左目画像の画素を有し、チェッカーボードパターンの第２の位相の位置に、右目画像の画素を有する。
【００４０】
図４は、スクイーズされたステレオ画像を示す図である。図４の左目画像Ｌ２及び右目画像Ｒ２は、図３と同様に、互いに位相が異なる位置において、格子状にサブサンプリングされている。図４のステレオ画像Ｓ２１は、左目画像Ｌ２に属する画素を、フレームの左半分に配し、右目画像Ｒ２に属する画素を、フレームの右半分に配する。ステレオ画像Ｓ２１は、サイドバイサイド方式のステレオ画像である。ステレオ画像Ｓ２１は、横方向に並ぶ画素間において縦方向の位相が同一であるが、横方向の位相が異なる。
【００４１】
ステレオ画像Ｓ２２は、フレームの上半分に右目画像Ｒ２に属する画素を配し、フレームの下半分に左目画像Ｌ２に属する画素を配する。ステレオ画像Ｓ２２は、縦方向に並ぶ画素間において、横方向の位相が同一であるが、縦方向の位相が異なる。
【００４２】
図５は、インタリーブ方式のステレオ画像に対するフレーム内予測器１１５１における予測処理の一例を示す図である。図５では、矩形が予測を行うブロックＢを示しており、丸が視差画像に含まれる画素を示している。ブロックＢの中は、左目用の画素のみを示し、ブロックＢの外に隣接する画素から左目用画素を垂直に予測する例を示している。
【００４３】
隣接画素は一画素ごとに右目用の画素がインタリーブされている。予測には、右目用の画素位置の画素を隣接する左目用の画素を用いて補間した画像を参照画像として用いる。補間画素は、例えば、隣接する左目用の２画素の平均値を補間画素の画素値としてもよい。図５では、斜線のハッチングを付した丸が補間画素である。
【００４４】
また例えば、１つの画素位置に対し、左右又は上下に隣接する左目画像の６画素を用いて、フィルタ処理を行い補間してもよい。より詳細には、例えば、１つの画素位置に対し、左右の２方向にそれぞれ３画素ずつ、計６画素を選択する。この６画素から、Ｈ．２６４で用いる１／２画素補間用の６タップのフィルタ（１／３２，−５／３２，２０／３２，２０／３２，−５／３２，１／３２）により補間してもよい。
【００４５】
参照画素位置が画面の端にあり、補間に必要な隣接画素が得られない場合は、例えば、最も端の画素値を画面外の画素の画素値として補間してもよく、画面の端の画素を対称点として画面内の画素を画面の外に鏡面コピーして補間に用いてもよい。このように補間により得られた参照画素を用いて、ブロック内の予測を行う。
【００４６】
図５では、垂直方向に予測する場合は、例えばブロックの上端に隣接する参照画素の値をそのまま予測値として用いる。ブロック内の右目用の画素についても同様に、参照画素の１画素おきにある左目用の画素位置を、隣接する右目用の画素を用いて補間し、参照画素としてブロック内の右目用画素位置の予測を行う。
【００４７】
この際、左目用の画素と右目用の画素の予測方法（予測モード）は異なっていてもよい。ここでは垂直方向の予測を行う例について述べた。なお、予測は、サンプリングされなかった位置の画素を同一の視差画像に属する画素により補間した参照画素列を用いて予測を行う手法であれば、どのような手法であってもよい。例えばＨ．２６４のイントラ予測などを適用してもよい。
【００４８】
図６は、サイドバイサイド方式のステレオ画像に対するフレーム内予測器１１５１における予測処理の一例を示す図である。図６のｆ１は、サイドバイサイドに水平方向にスクイーズされた、一の視差画像の画素配置を示しており、図６のｆ２は、スクイーズされる前の、一の視差画像の画素配置を示している。
【００４９】
図６で垂直方向に予測を行う例を示す。ｆ２において、一の視差画像に含まれる画素のを、白丸及び格子のハッチングを付した丸で示す。ｆ２において、サンプリングにより抽出されなかった画素位置Ｐ０１ないしＰ０４を、隣接するサンプリングされた画素Ｐ１０ないしＰ１３を用いて補間する。図６では、補間した画素にドットのハッチングを付す。そして、Ｐ０１からＰ０４及びＰ１０からＰ１４の参照画素列を用いて、垂直方向に参照画素値を予測値とすることで予測を行う。
【００５０】
また例えば水平方向に予測を行う場合は、垂直方向にはスクイーズが行われていないため、参照画素を補間せずそのまま予測に用いてもよい。また例えば、スクイーズ前にブロックの端から２画素離れている０行目、及び、２行目の参照画素（図中、白丸が示す画素）の位置を、例えば白丸の画素および１，３行目および左上の画素を用いて補間した画素に入れ替えて参照画素列として用いてもよい。
【００５１】
また、サイドバイサイドに垂直方向にスクイーズされたステレオ画像に対してフレーム内予測を行う場合は、ブロックの左に隣接する参照画素のスクイーズされる前の画素配置においてサンプリングされなかった画素位置を、隣接するサンプリングされた画素を用いて補間した参照画素列を用いることにより、水平方向の予測を行うことができる。
【００５２】
なお、予測は、水平方向や垂直方向の予測に限らず、スクイーズ前の画素配置においてサンプリングされなかった位置の画素を補間して予測に用いる手法であれば、どのような予測方法を用いてもよい。例えばＨ．２６４のイントラ予測などを適用してもよい。
【００５３】
図７は、画素インタリーブ方式のステレオ画像に対するフレーム間予測器１１５２における予測処理の一例を示す図である。図７においてｆ３１及びｆ３２が参照画像であり、ｆ３０が符号化対象となる入力画像である。参照画像は左目画像ｆ３１と右目画像ｆ３２に分離され、サンプリングされなかった位置の画素が周辺画素を用いて補間されたものを用いる。ｆ３１及びｆ３２において、黒丸及び黒四角で示す画素が補間された画素である。
【００５４】
入力画像ｆ３０の符号化単位であるブロックｂ３０内の、それぞれの視差画像に属する画素のみを用い、視差毎に分離され補間された参照画像に対して予測画像を得る。予測画像は、例えば、ブロックマッチングなどの手法を用いて視差画像ごとにそれぞれ動きベクトルを求め、その動きベクトルがそれぞれ指し示す位置の参照画像を、再び視差ごとに相補的に格子状にサンプリングし、サンプリングされなかった位置に異なる視差の画素をインタリーブすることで予測画像が得られる。
【００５５】
なお、動きベクトルの算出を、１／２画素精度や１／４画素精度で行う場合は、図７のｆ３１及びｆ３２のような、視差毎に分離され、サンプリングされなかった位置を周辺画素を用いて補完した参照画像において、１／２画素位置や１／４画素位置を補間した参照画像を用いる。この補間には、例えばＨ．２６４の補間フィルタなどを用いるとよい。
【００５６】
図８は、サイドバイサイド方式のステレオ画像に対するフレーム間予測器１１５２における予測処理の図７とは異なる例を示す図である。図８のｆ４１が参照画像の一部（左目画像に対応する画素を図示）であり、ｆ４０が符号化対象となる入力画像の一部である。ｆ４１において、ドットのハッチングを付した丸が、補間画素である。
【００５７】
参照画像ｆ４１は、スクイーズが解除され、サンプリングされなかった位置の画素が周辺画素を用いて補間されている。入力画像ｆ４０は、スクイーズが解除された状態の画素を示している。入力画像のある符号化単位に対して、それぞれの視差について補間された参照画像に対して、例えばブロックマッチングなどの手法を用いて視差画像ごとにそれぞれ動きベクトルを求め、その動きベクトルがそれぞれ指し示す位置の参照画像を、再び視差ごとに相補的に格子状にサンプリングし、スクイーズすることで予測画像が得られる。
【００５８】
なお、動きベクトルの算出を、１／２画素精度や１／４画素精度で行う場合は、ｆ４１のような、スクイーズが解除され、サンプリングされなかった位置を周辺画素を用いて補完した参照画像において、１／２画素位置や１／４画素位置を補間した参照画像を用いる。この補間は、例えばＨ．２６４の補間フィルタなどを用いるとよい。
【００５９】
次に、ループフィルタ１１３の詳細例について述べる。図９は、画素インタリーブ方式のステレオ画像に対するループフィルタ１１３におけるデブロッキングフィルタ処理の一例を示す図である。図９において、第１の視差画像の画素を丸で示し、第２の視差画像の画素を四角で示す。
【００６０】
ループフィルタのうち、デブロッキングフィルタは、符号化単位間の境界に発生するブロック歪を軽減するためのフィルタである。視差画像が画素インタリーブされた状態でデブロッキングフィルタを施すと、一のフィルタ処理に用いられる画素に複数の視差が存在する場合に、ブロック歪を除去する効果が得られないことがある。そのため、垂直および水平方向の境界エッジに対して、１画素おきの画素を用いてフィルタ処理を行うことにより、視差間の影響をなくしてブロック歪を除去する効果が得られる。なお、デブロッキングフィルタには、例えば低域通過フィルタを用いるとよい。
【００６１】
図１０は、水平方向にスクイーズされたサイドバイサイド方式のステレオ画像に対するループフィルタ１１３におけるデブロッキングフィルタ処理の別の一例を示す図である。水平方向には同じ視差の画素が並んでいるため、そのままの画素列を用いてフィルタを施すが、垂直方向には、一行ごとに位相が１画素ずれた画素が並んでいるため、１画素おきの画素列を用いてフィルタ処理を行う。
【００６２】
また、垂直方向にスクイーズされている場合には、水平方向は１画素とばしの画素列を用いてフィルタ処理を行い、垂直方向はそのままの画素列を用いてフィルタ処理を行えばよい。なお、サイドバイサイド方式の場合、視差間の境界となるラインに対するフィルタ処理は行わないようにしてもよい。
【００６３】
ループフィルタの例として、符号化単位の境界に対するデブロッキングフィルタについて説明したが、別のフィルタ処理（例えば、入力画像に近づけるウィナーフィルタの処理）を行ってもよい。この場合、画素インタリーブ方式のステレオ画像については、視差ごとに分離した画素列あるいは画素ブロックに対してフィルタ処理を行い、サイドバイサイド方式のステレオ画像に対しては、スクイーズを解除した画素列あるいは画素ブロックに対してフィルタ処理を施すのが望ましい。何れのループフィルタについても、視差が同一、かつ、画素位置の縦又は横の位相が同一の画素からなる複数の画素によるフィルタリング処理を行うとよい。
【００６４】
なお、ループフィルタ１１３は、デブロッキングフィルタに限らず、参照画像となる復号画像に対してフィルタ処理を行うフィルタであるとよい。ループフィルタ１１３によるフィルタ処理は、ブロック境界に限らず、復号化されたステレオ画像が有する画素に対して行われるとよい。
【００６５】
本実施の形態では、参照画像となる復号画像に対するフィルタ処理を行う、Ｉｎ−Ｌｏｏｐフィルタについて説明するが、参照画像とは別に、出力される復号画像に対するフィルタ処理を行う、ポストフィルタについても、ループフィルタ１１３と同様に、視差画像毎に属する画素に対して、画素位置の縦又は横の位相が同一の画素からなる複数の画素によるフィルタリング処理を行うとよい。
【００６６】
次に、直交変換器１０４における直交変換方法の例を示す。視差画像が画素インタリーブされている場合には、複数の視差の画素が一の直交変換の単位に含まれることにより直交変換が効率的に行われない。また、サイドバイサイド形式の場合は、行あるいは列ごとに１画素位相がずれた状態になっているため、やはり直交変換が効率的に行われない。
【００６７】
そこで、直交変換を効率的に行う例を２つ示す。
１つめの例は、残差信号を視差画像ごとに分離、あるいはスクイーズを解除し、サンプリングされなかった位置を周辺画素位置から補間した信号に対して、直交変換を施す。この場合、変換係数が２倍に増え、情報量が増加するため、生成される変換係数のうち、例えば、低域側の半分の個数の変換係数のみをエントロピー符号化器１０８にて符号化するとよい。なお、低域側の係数は、量子化単位の左斜め上の領域に位置する係数である。
【００６８】
２つめの例は、画素インタリーブ方式のステレオ画像の場合に、残差信号を視差画像ごとに分離し、さらに偶数ラインおよび奇数ラインのブロックに分割してそれぞれのブロックに対して直交変換を施す。またサイドバイサイド形式の場合は、水平にスクイーズされているときは偶数ラインと奇数ラインのブロックに分割し、垂直にスクイーズされているときは偶数列と奇数列のブロックに分割し、それぞれに対して直交変換を施す。２つ目の例の場合は、変換係数の数は増えないので、出力される変換係数を全てエントロピー符号化器１０８にて符号化してもよい。
【００６９】
予測画像作成器１１５から出力される、動きベクトル及び予測モード情報、すなわち動きベクトル検出器１１５３から出力される動きベクトルとモード判定器１１５０によって選択された予測モードを示す予測モード情報は、エントロピー符号化器１０８に送られてエントロピー符号化され、符号化データ１１７に多重化される。
【００７０】
図１１から図１６は、ステレオ画像の形式および、動きベクトル情報および予測モード情報を多重化するデータ構造の例を示す図である。
【００７１】
図１１は、ステレオ画像がどのような形式で空間方向にサブサンプリングされ、マージされているかを示す情報を多重化するデータ構造の例を示している。この情報は、シーケンス単位あるいはピクチャ単位に多重化される。
【００７２】
図１１において、ｓｐａｔｉａｌ＿ｓｕｂｓａｍｐｌｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｉｎｆｏは、サンプリングの方向を示す情報であり、例えばこの値が０１の場合は水平方向、１０の場合は垂直方向、１１の場合は格子状にサブサンプリングされていることを示す。ｌｅｆｔ＿ｓｕｂｓａｍｐｌｉｎｇ＿ｐｏｓｉｔｉｏｎ＿ｆｌａｇ，ｒｉｇｈｔ＿ｓｕｂｓａｍｐｌｉｎｇ＿ｐｏｓｉｔｉｏｎ＿ｆｌａｇは、左右それぞれの視差画像がどの位相でサブサンプリングされているかを示している。例えば、水平方向にサブサンプリングされている場合、０ならばトップフィールド、１ならばボトムフィールドが用いられる。垂直方向にサブサンプリングされている場合、０ならば偶数列、１ならば奇数列が用いられる。格子状にサブサンプリングされている場合、０ならば左上の画素から順にサブサンプリングされ、１ならば左上の１画素目の画素からサブサンプリングされていることを示す。
【００７３】
ｓｑｕｅｅｚｉｎｇ＿ｆｌａｇは、サンプリングされた視差画像がスクイーズされているか否かを示す。例えば０がスクイーズなしでマージされ、１がスクイーズしてマージされていることを示す。
【００７４】
ｓｑｕｅｅｚｉｎｇ＿ｆｌａｇが０の場合、すなわちスクイーズされていない場合に、ｌｅｆｔ＿ｓｕｂｓｕｍｐｌｉｎｇ＿ｐｏｓｉｔｉｏｎ＿ｆｌａｇとｒｉｇｈｔ＿ｓｕｂｓａｍｐｌｉｎｇ＿ｐｏｓｉｔｉｏｎ＿ｆｌａｇが同じ値のときは、どちらかの視差画像の位相をずらさないとサンプリングしなかった位置に画素を補填することができない。このため、どちらの視差画像をずらして補填するかを示すｓｈｉｆｔ＿ｖｉｅｗ＿ｆｌａｇの値を符号化データに含ませる。この値が０の場合は例えば右目画像の位置をずらして補填していることを示し、１の場合には例えば左目画像の位置をずらして補填していることを示す。
【００７５】
一方、ｓｑｕｅｅｚｉｎｇ＿ｆｌａｇが１の場合、すなわちスクイーズされている場合には、どの方向にスクイーズされているかを示すｓｑｕｅｅｚｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇがさらに付け加えられる。例えば、この値が０の場合は水平方向に、１の場合は垂直方向にスクイーズされていることを示す。
【００７６】
さらに、ｌｅｆｔ＿ｉｍａｇｅ＿ｔｏｐｌｅｆｔ＿ｆｌａｇはどの方向に連結されているかを示すフラグであり、例えばこの値が０の場合は左目画像が左（水平方向にスクイーズされた場合）又は上（垂直方向にスクイーズされた場合）になるように連結され、１の場合は右目画像が左（水平方向にスクイーズされた場合）又は上（垂直方向にスクイーズされた場合）になるように連結されていることを示す。
【００７７】
以上のような情報がビットストリームに多重化され、これらの情報からサンプリング方法が格子状である場合、サンプリング位相やスクイーズの有無などを用いて、前述の予測画像作成器１１５やループフィルタ１１３、直交変換器１０４における視差画像分離やスクイーズの解除処理、サンプリングされていない画素位置の補間処理などが行われる。
【００７８】
次に、動きベクトル情報および予測モード情報の多重化例について説明する。ここでは、例として、Ｈ．２６４と同様のフレーム内予測およびフレーム間予測を行った場合の動きベクトル情報と予測モード情報を多重化する際のデータ構造の例を示す。
【００７９】
図１２は符号化装置が出力する符号化データであるビットストリームのシンタックス構成を示す図である。このシンタクス構造例において、アクセスユニット（３０１）は、復号化処理の際に読み込まれる単位であり、この単位ごとに復号化処理が行われる。アクセスユニット（３０１）の内部には、処理の内容や符号化構造に応じて、ハイレベルシンタクス（３０２）、スライスレイヤシンタクス（３０５）などが詰め込まれている。ハイレベルシンタクス（３０２）には、スライス以上の上位レイヤのシンタクス情報が詰め込まれている。例えばこのレイヤにステレオ画像形式に関する情報が格納される。ハイレベルシンタクスは、シーケンスパラメータセットシンタクス（３０３）とピクチャパラメータセットシンタクス（３０４）を有する。
【００８０】
スライスレイヤシンタクス（３０５）は、スライス毎に必要な情報が明記されている。スライスレイヤシンタクス（３０５）は、スライスヘッダシンタクス（３０６）とスライスデータシンタクス（３０７）から構成される。スライスデータシンタクス（３０７）は、スライス内に含まれるマクロブロックレイヤの復号に必要な情報が明記されたマクロブロックレイヤシンタクス（３０８）および格子状にサブサンプリングされたステレオ画像用のマルチブロックレイヤ（３０９）が含まれており、マクロブロック毎に必要とされる量子化パラメータの変更値やモード情報などが明記されている。
【００８１】
上述したシンタクスは復号化時に必要不可欠な構成要素であり、これらのシンタクス情報が欠けると復号化時に正しくデータを復元できなくなることがある。
【００８２】
図１３から図１６は、動きベクトル情報および予測モード情報を多重化するデータ構造の例を示す図である。
【００８３】
図１３は、スライスデータのシンタックスの一例を示す図である。ｍｂ＿ｓｋｉｐ＿ｆｌａｇ、ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ（）、及び、ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ＿ｆｏｒ＿ｃｈｅｃｋｅｒｂｏａｒｄ（）が、あわせて、スライス内のマクロブロックの数と同数だけ、符号化データに含まれる。
【００８４】
ｍｂ＿ｓｋｉｐ＿ｆｌａｇは、マクロブロックの復号化の際に必要な情報を一切明記せずともそれまでの符号化および復号化の情報から復号可能かどうかを示すフラグであり、ＴＲＵＥの場合はマクロブロックレイヤシンタクス以下の情報が多重されなくてもよい。ＦＡＬＳＥの場合には、まず対象画像のサンプリング方法を示すｓｐａｔｉａｌ＿ｓｕｂｓａｍｐｌｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｉｎｆｏの値の判定を行う。
【００８５】
ｓｐａｔｉａｌ＿ｓｕｂｓａｍｐｌｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｉｎｆｏの値が格子状にサブサンプリングされていることを示す値、例えば１１であった場合には、スライス内に含まれるマクロブロックの復号に必要な情報を明記したマクロブロックレイヤシンタクスｍａｃｒｏｃｕｂｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｃｈｅｃｋｅｒｂｏａｒｄ（）がｅｎｄ＿ｏｆ＿ｓｌｉｃｅ＿ｆｌａｇが１となるまで、順次送信される。
【００８６】
一方、ｓｐａｔｉａｌ＿ｓｕｂｓａｍｐｌｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｉｎｆｏが格子状にサブサンプリングされていることを示す値ではない場合には、例えばＨ．２６４で用いられているのと同じｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ（）がｅｎｄ＿ｏｆ＿ｓｌｉｃｅ＿ｆｌａｇが１となるまで、順次送信される。
【００８７】
ｅｎｄ＿ｏｆ＿ｓｌｉｃｅ＿ｆｌａｇは、スライス内に含まれるマクロブロックのシンタクスが全て送信されたかどうかを示すフラグを示しており、０の場合はまだ送信されていないマクロブロックシンタクスが存在することを示す。一方、１の場合は、スライス内のマクロブロックシンタクスが全て送信されたことを示す。
【００８８】
図１４は、格子状にサブサンプリングされたステレオ画像用のマクロブロックレイヤのシンタクスの一例を示す図である。まず、ｓｑｕｅｅｚｉｎｇ＿ｆｌａｇの値を判定し、スクイーズされていない場合はマクロブロックの内部に視差画像が２つ含まれているため、マクロブロックのタイプ（フレーム内予測か、フレーム間予測かなどを示す情報）を示すｍｂ＿ｔｙｐｅが２つ多重され、ｖｉｅｗＣｎｔが２に設定される。
【００８９】
一方、スクイーズされている場合には、視差画像は左か右かのどちらかしか含まれていないので、ｍｂ＿ｔｙｐｅが１つ多重され、ｖｉｅｗＣｎｔが１に設定される。
【００９０】
次に、ｖｉｅｗＣｎｔの個数分だけ、マクロブロック内の予測モードの情報が多重される。すなわち、マクロブロックがフレーム間予測符号化されていて、かつマクロブロック内がさらに４つのサブマクロブロックに分割して符号化されている場合（ｍｂ＿ｔｙｐｅ［ｖｉｅｗＩｄｘ］！＝ＩＮＴＲＡ＆＆ＮｕｍＭｂＰａｒｔ＝＝４）には、サブマクロブロックの数だけｓｕｂ＿ｍｂ＿ｐｒｅｄ（ｍｂ＿ｔｙｐｅ［ｖｉｅｗＩｄｘ］）が多重される。マクロブロックがフレーム内予測符号化されている場合や、サブマクロブロックの個数が４つでない場合には、ｍｂ＿ｐｒｅｄ（ｍｂ＿ｔｙｐｅ［ｖｉｅｗＩｄｘ］）が多重される。
【００９１】
図１５は、マクロブロックの予測モードに関する情報を示すシンタクスの一例を示す図である。このシンタクスの内部では、予測モードの予測を同じ視差画像の符号化済みのブロックから予測するかどうかを示すｕｓｅ＿ｓａｍｅｖｉｅｗ＿ｐｒｅｄｍｏｄｅ＿ｆｌａｇが多重される。この値が０の場合は、同じ視差画像の画素に対して用いた周辺ブロックの予測モードや動きベクトルから対象とするブロックの予測モードや動きベクトルを予測符号化することを示す。一方、この値が１の場合には、符号化済みの例えばサブサンプル前に同じ位置の異なる視差画像のブロックや周辺ブロックに対する予測モードや動きベクトルから対象とするブロックの予測モードや動きベクトルを予測符号化することを示す。
【００９２】
予測モードの予測や、動きベクトルの予測方法については、例えばＨ．２６４と同様の手法を用いるとよい。例えば、ｍｂ＿ｔｙｐｅ［ｖｉｅｗＩｄｘ］がフレーム内予測を示すＩＮＴＲＡ＿ＮｘＭであった場合には、内部のイントラ予測の単位ブロックの個数分だけ、ｐｒｅｖ＿ｉｎｔｒａＮｘＭ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｌｕｍａＢｌｋＩｄｘ］が多重される。
【００９３】
ｐｒｅｖ＿ｉｎｔｒａＮｘＭ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｌｕｍａＢｌｋＩｄｘ］は、符号化済みの同じ視差画像に属する左の画素ブロック（以下、「左ブロック」という。）の予測モード、又は、異なる視差画像の同じ位置の画素ブロックの予測モードと同じ予測モードを使うかどうかを示すフラグである。
【００９４】
このフラグが１、すなわち同じ予測モードを使わない場合には、左ブロックの予測モードと符号化単位の予測モードが異なるときに、その差分値がｒｅｍ＿ｉｎｔｒａＮｘＭ＿ｐｒｅｄ＿ｍｏｄｅとして多重化される。また、入力画像がカラー信号の場合、例えばＹＵＶ４２０などであった場合には、色差信号に対するフレーム内予測モードを示すｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄが別途送信される。
【００９５】
なお、同じ視差画像に属する左の画素ブロックが存在しない場合は、上のブロックの予測モードを用い、左も上も存在しない場合はあらかじめ決められた予測モードを用いるとよい。
【００９６】
一方、ｍｂ＿ｔｙｐｅがフレーム間予測を示している場合には、内部のサブブロックの個数分だけ対応するサブブロックの動きベクトルの予測動きベクトルからの差分が多重される。ただし、動きベクトルの差分情報が０である場合は、サブマクロブロックの０番目のマクロブロックタイプをＤＩＲＥＣＴとして以下の動きベクトルの差分に関する情報は送信されない（ＭｂＰａｒｔＰｒｅｄＭｏｄｅ（ｍｂ＿ｔｙｐｅ，０）＝＝Ｄｉｒｅｃｔの場合に相当する）。
【００９７】
サブマクロブロックがＤＩＲＥＣＴでない場合には動きベクトルの差分情報がサブマクロブロックごとに送信される。例えば、Ｈ．２６４では、フレーム間予測は２つの参照画像（Ｌ０、Ｌ１）のどちらか又は双方からブロック参照することができる。しかし、サブマクロブロックのタイプがＰｒｅｄ＿Ｌ１すなわち参照画像Ｌ１からのみの予測でない場合は、参照画像Ｌ０に対する動きベクトルの、周辺ブロックから予測された動きベクトルとの差分が水平、垂直方向それぞれで多重される（ｍｖｄ＿ｌ０［ｍｂＰａｒｔＩｄｘ］［０］［ｃｏｍｐＩｄｘ］）。
【００９８】
次に、例えばサブマクロブロックのタイプがＰｒｅｄ＿Ｌ０すなわち参照画像Ｌ０からのみの予測でない場合は、参照画像Ｌ１に対する動きベクトルの、周辺ブロックから予測された動きベクトルとの差分が水平、垂直方向それぞれで多重される（ｍｖｄ＿ｌ１［ｍｂＰａｒｔＩｄｘ］［０］［ｃｏｍｐＩｄｘ］）。
【００９９】
図１６は、サブマクロブロックの予測モードおよび動きベクトルに対するシンタクスの一例を示す図である。まず、４つのサブブロックのマクロブロックタイプが順に送信され、続いて４つのサブブロックそれぞれに対して、予測モードの予測を同じ視差画像の符号化済みのブロックから予測するかどうかを示すｕｓｅ＿ｓａｍｅｖｉｅｗ＿ｐｒｅｄｍｏｄｅ＿ｆｌａｇが多重される。次に、サブブロック内のサブパーティションに対する動きベクトル情報を示すシンタクスがサブパーティションごとにそれぞれ多重されるが、多重化に、例えば図１５の動きベクトル情報を多重化する際のデータ構造と同様のデータ構造を用いることで実現可能である。
【０１００】
図１７及び図１８は、本実施の形態における画像符号化方法を説明するフロー図である。図１７の処理は、例えば、画像符号化装置２０によって実行される。
【０１０１】
図１７のステップＳ１０１では、視差画像サンプリング位置補間器１１５４が、予測のための補間画素を生成する。この補間画素は、予測信号となる。補間画素は、視差画像毎に、左目画像の補間画素は、左目画像の画素から生成する。また、右目画像の補間画素は、右目画像の画素から生成する。
【０１０２】
ステップＳ１０２では、フレーム内予測器１１５１又はフレーム間予測器１１５２が、予測信号と処理する画素との残差である予測残差を生成する。なお、フレーム間予測器１１５２では、動き補償のための動きベクトル検出が行われた後、予測残差が生成される。
【０１０３】
ステップＳ１０３では、直交変換器１０４が予測残差を直交変換して変換係数を生成し、量子化器１０６が変換係数を量子化し、エントロピー符号化器１０８が、量子化された変換係数をエントロピー符号化する。ステップＳ１０３では、さらに、エントロピー符号化器１０８が、付随する情報を符号化する。付随する情報は、予測モード情報、及び、ステレオ画像形式情報を含む。また、フレーム間予測が行われた場合には、さらに、動きベクトル情報が符号化される。
【０１０４】
ステップＳ１０４では、逆量子化器１０９が量子化された変換係数を逆量子化し、逆直交変換器１１０が、逆量子化された変換係数に対して逆直交変換を行う。これにより、復号された予測残差信号を得る。
【０１０５】
ステップＳ１０５では、局部復号画像信号作成器１１１が、復号された予測残差信号と、既に復号化されている画素から、局所復号画像を生成する。局所復号画像は、ステレオ画像形式情報により、所定のステレオ画像形式となる。ステップＳ１０５では、さらに、ループフィルタ１１３が、局所復号画像に対してフィルタ処理を行ってもよい。
【０１０６】
ステップＳ１０６では、フレームメモリ１１４が、局所復号画像を格納する。
【０１０７】
図１８は、ステップＳ１０３において行われる処理の一部を示すフロー図である。図１８では、ステップＳ１０３の処理のうち、予測残差に係る処理を示す。図１８のステップＳ１３１では、直交変換器１０４が、予測残差を、ピクチャ内の所定の範囲毎に直交変換する。所定の範囲とは、例えば、ブロック、又は、マクロブロック等の矩形である。これにより、直交変換係数情報１０５が生成される。
【０１０８】
ステップＳ１３２では、エントロピー符号化器１０８が、ステップＳ１３１で生成された直交変換係数情報１０５をエントロピー符号に変換し、符号化データに多重させる。なお、エントロピー符号化に先んじて、直交変換係数情報１０５を、量子化器１０６により量子化してもよい。また、動きベクトル情報、予測モード情報、及び、ステレオ画像形式情報も、符号化データに多重させるとよい。
【０１０９】
（デコーダ）
図１９は、本実施の形態における画像復号化装置を示す図である。図１９の画像復号化装置３０は、入力される符号化データを復号して復号画像を出力する。なお、画像復号化装置３０が処理する符号化データは、例えば、画像符号化装置２０が生成した符号化データである。
【０１１０】
画像復号化装置３０は、エントロピー復号化器２００、逆量子化器１０９、逆直交変換器１１０、局部復号画像信号作成器２０２、ループフィルタ１１３、フレームメモリ１１４、及び、予測画像作成器２０４を有する。
【０１１１】
エントロピー復号化器２００は、符号化データ１１７を、エントロピー符号化の逆の手順で復号化する。これにより、量子化直交変換係数情報１０７、動きベクトル情報と予測モード情報とステレオ画像形式情報とを含む情報１１６、および、直交変換情報が得られる。逆量子化器１０９及び逆直交変換器１１０は、直交変換情報に基づいて、量子化直交変換係数情報１０７に対し、量子化器１０６及び直交変換器１０４の処理と対になる逆の処理を順次行い残差信号２０１を生成する。
【０１１２】
予測画像作成器２０４は、動きベクトル情報と予測モード情報とステレオ画像形式情報とを含む情報１１６が入力される。予測画像作成器２０４では、復号画像信号２０３および動きベクトル情報と予測モード情報とステレオ画像形式情報とを含む情報１１６に基づく予測画像信号１０２が生成される。
【０１１３】
局部復号画像信号作成器２０２は、残差信号２０１と予測画像信号１０２を加算する。加算された信号は復号画像信号２０３として出力され、フレームメモリ１１４に格納される。なお、加算された信号は、ループフィルタ１１３で符号化器におけるループフィルタ１１３と同様のフィルタ処理がなされてもよい。フレームメモリ１１４内に格納された復号画像信号２０３は、表示順序に並び替えて出力される。
【０１１４】
図２０は、予測画像作成器２０４の詳細な機能構成の例を示す図である。予測画像作成器２０４は、入力される復号画像信号２０３から、視差画像毎に、予測画像信号１０２を生成する。予測画像作成器２０４は、視差画像分離器２０３４、視差画像サンプリング位置補間器２０３３、切替器２０３２、フレーム内予測器２０３０、及び、フレーム間予測器２０３１を有する。
【０１１５】
視差画像分離器２０３４は、局部復号画像信号１１２を、２つの視差画像に分離する。視差画像分離器２０３４は、例えば、図１１に示すシンタクスにより符号化データ１１７に多重されているステレオ画像形式に係る情報に基づいて、視差画像への分離を行う。視差画像分離器２０３４は、さらに、スクイーズがなされている画像のスクイーズを解除する。
【０１１６】
視差画像サンプリング位置補間器２０３３は、視差画像毎に、サンプリングされていない画素位置の画素を補間する。視差画像サンプリング位置補間器２０３３は、図１１に示すシンタクスにより符号化データ１１７に多重されているステレオ画像型式に係る情報に基づいて、画素の補間を行う。補間が行われた視差画像は、切替器２０３２により、フレーム内予測器２０３０又はフレーム間予測器２０３１に入力される。
【０１１７】
切替器２０３２は、例えば、図１３から図１６に示すシンタクスにより符号化データ１１７に多重される予測モード情報、及び、ステレオ画像型式に係る情報等に基づいて、フレーム内予測器２０３１とフレーム間予測器２０３２との何れかを選択する。
【０１１８】
フレーム内予測器２０３０は、視差画像毎に分離され、又は、スクイーズが解除され、サンプリングされなかった画素位置の画素が補間された局部復号画像信号１１２を参照画像としてフレーム内予測を行う。フレーム内予測器２０３０が行うフレーム内予測は、画像符号化装置２０のフレーム内予測器１１５１と同様である。これにより、フレーム内予測に基づく予測画像信号１０２が作成される。
【０１１９】
フレーム間予測器２０３１は、例えば図１４又は図１５のシンタクスにより符号化データ１１７に多重された動きベクトルを用いて、フレームメモリ内の再生画像信号に対して動き補償を施し、フレーム間予測に基づく予測画像信号を作成する。フレーム間予測器２０３１の動き補償によるフレーム間予測処理は、画像符号化装置２０のフレーム間予測器１１５２と同様の処理である。
【０１２０】
図２１及び図２２は、本実施の形態における画像復号化方法を説明するフロー図である。図２１の処理は、例えば、画像復号化装置３０によって実行される。
【０１２１】
図２１のステップＳ２０１では、エントロピー復号化器２００が、符号化データ１１７をエントロピー復号して、量子化直交変換係数情報１０７、動きベクトル情報と予測モード情報とステレオ画像形式情報とを含む情報１１６、および、直交変換情報を得る。
【０１２２】
ステップＳ２０１では、さらに、逆量子化器１０９が、量子化直交変換係数情報１０７を逆量子化して直交変換係数情報を生成し、逆直交変換器１１０が、直交変換係数情報に逆直交変換を行い、残差信号２０１を出力する。ステップＳ２０２では、予測画像作成器２０４が、予測モード情報に従い、復号画像信号２０３から、予測信号１０２を生成する。
【０１２３】
ステップＳ２０３では、局部復号画像信号作成器２０２が、予測信号１０２と残差信号２０１とから、復号画像信号２０３を生成する。ステップＳ２０３では、さらに、ループフィルタ１１３により、復号画像信号２０３に対し、フィルタ処理が行われてもよい。
【０１２４】
ステップＳ２０４では、フレームメモリ１１４に、復号画像信号２０３が格納される。フレームメモリ１１４に格納された復号画像信号２０３は、フレーム毎に、表示順にしたがい出力される。
【０１２５】
図２２は、ステップＳ２０１において行われる処理の一部を示すフロー図である。図２２のステップＳ２１１では、エントロピー復号化器２００が、符号化データ１１７を復号することにより、予測残差の変換係数を得る。この変換係数が量子化されている場合には、ステップＳ２１１では、さらに、逆量子化器１０９により、逆量子化が行われる。これにより、直交変換係数情報が出力される。
【０１２６】
ステップＳ２１２では、逆直交変換器１１０が、直交変換係数情報に対する逆直交変換を行い、残差信号２０１を出力する。
【０１２７】
以上の実施例によれば、格子状にサブサンプリングされマージされたステレオ画像を視差画像ごとに別々に予測処理、フィルタ処理、直交変換処理を行うことで、視差の影響やスクイーズによる位相のずれを排除した効果的な予測、フィルタ処理、直交変換を行うことが可能となり、符号化効率を向上させることが可能となる。
【０１２８】
（コンピュータ等による実現）
なお、本実施の形態に係るステレオ画像符号化装置及びステレオ画像復号化装置は、例えばパーソナルコンピュータ（ＰＣ）等で実現されてもよい。また、本発明の実施形態に係るステレオ画像符号化装置及びステレオ画像復号化装置は、例えば、ＣＰＵがＲＯＭやハードディスク装置等に記憶されたプログラムに従い、ＲＡＭ等のメインメモリをワークエリアとして使用し、実行される。
【０１２９】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【産業上の利用可能性】
【０１３０】
以上のように、本発明にかかるステレオ画像符号化装置は、ステレオ画像を既存の伝送チャネルで伝送する際に有用である。
【符号の説明】
【０１３１】
２０   画像符号化装置
３０   画像復号化装置
１００ 入力画像信号
１０１ 差分信号作成器
１０２ 予測画像信号
１０３ 予測誤差信号
１０４ 直交変換器
１０５ 直交変換係数情報
１０６ 量子化器
１０７ 量子化直交変換係数情報
１０８ エントロピー符号化器
１０９ 逆量子化器
１１０ 逆直交変換器
１１１ 局部復号画像信号作成器
１１２ 局部復号画像信号
１１３ ループフィルタ
１１４ フレームメモリ
１１５ 予測画像作成器
１１６ 情報
１１７ 符号化データ
１１８ 入力フレームバッファ
２００ エントロピー復号化器
２０１ 残差信号
２０２ 局部復号画像信号作成器
２０３ 復号画像信号
２０４ 予測画像作成器
１１５０      モード判定器
１１５１、２０３０   フレーム内予測器
１１５２、２０３１   フレーム間予測器
１１５３      動きベクトル検出器
１１５４、２０３３   視差画像サンプリング位置補間器
１１５５、２０３４   視差画像分離器
２０３２      切替器
【図１】
2010232878.tif 000003
【図２】
2010232878.tif 000004
【図３】
2010232878.tif 000005
【図４】
2010232878.tif 000006
【図５】
2010232878.tif 000007
【図６】
2010232878.tif 000008
【図７】
2010232878.tif 000009
【図８】
2010232878.tif 000010
【図９】
2010232878.tif 000011
【図１０】
2010232878.tif 000012
【図１１】
2010232878.tif 000013
【図１２】
2010232878.tif 000014
【図１３】
2010232878.tif 000015
【図１４】
2010232878.tif 000016
【図１５】
2010232878.tif 000017
【図１６】
2010232878.tif 000018
【図１７】
2010232878.tif 000019
【図１８】
2010232878.tif 000020
【図１９】
2010232878.tif 000021
【図２０】
2010232878.tif 000022
【図２１】
2010232878.tif 000023
【図２２】
2010232878.tif 000024