(57)【要約】  本技術は、視差予測の予測効率を改善することができる画像処理装置、及び、画像処理方法に関する。解像度変換装置は、３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の所定の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換する。符号化装置は、パッキング画像を、符号化対象画像、又は、参照画像として、視差補償を行うことにより、符号化対象画像の予測画像を生成し、その予測画像を用いて、符号化対象画像を、所定の符号化モードで符号化する。本技術は、例えば、複数の視点の画像の符号化、及び、復号に適用できる。
2012157443.tif 000002
【特許請求の範囲】
【請求項１】
３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換する変換部と、
前記変換部により変換された前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成する補償部と、
前記補償部により生成された前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する符号化部と
を備える画像処理装置。
【請求項２】
前記変換部は、前記符号化モードが、フィールド符号化モードである場合、２視点の画像を、垂直方向の解像度が1/2にされた前記２視点の画像の各ラインを交互に並べて配置したパッキング画像に変換する
請求項１に記載の画像処理装置。
【請求項３】
前記符号化モードに応じて、前記パッキングパターンを決定する決定部をさらに備える  請求項２に記載の画像処理装置。
【請求項４】
前記パッキングパターンを表す情報と、前記符号化部により符号化された符号化ストリームとを伝送する伝送部をさらに備える
請求項２に記載の画像処理装置。
【請求項５】
３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、
前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、
前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する
ステップを含む画像処理方法。
【請求項６】
３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、
前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、
前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する
ことにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像を、視差補償を行うことにより生成する補償部と、
前記補償部により生成された前記予測画像を用いて、前記符号化ストリームを、前記符号化モードで復号する復号部と、
前記復号部により前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像を、前記パッキングパターンに従って分離することにより、元の２視点以上の画像に逆変換する逆変換部と
を備える画像処理装置。
【請求項７】
前記符号化モードが、フィールド符号化モードである場合、
前記パッキング画像は、２視点の画像を、垂直方向の解像度が1/2にされた前記２視点の画像の各ラインを交互に並べて配置した１視点分の画像であり、
前記逆変換部は、前記パッキング画像を、元の２視点の画像に逆変換する
請求項６に記載の画像処理装置。
【請求項８】
前記パッキングパターンを表す情報と、前記符号化ストリームとを受け取る受け取り部をさらに備える
請求項７に記載の画像処理装置。
【請求項９】
３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、
前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、
前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する
ことにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像を、視差補償を行うことにより生成し、
前記予測画像を用いて、前記符号化ストリームを、前記符号化モードで復号し、
前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像を、前記パッキングパターンに従って分離することにより、元の２視点以上の画像に逆変換する
ステップを含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、及び、画像処理方法に関し、複数の視点の画像の符号化や復号において行う視差予測の予測効率を改善することができるようにする画像処理装置、及び、画像処理方法に関する。
【背景技術】
【０００２】
3D(Dimension)画像等の複数の視点の画像を符号化する符号化方式としては、例えば、AVC(Advanced Video Coding)(H.264/AVC)を拡張したMVC(Multiview Video Coding)等がある。【０００３】
MVCでは、符号化対象となる画像は、被写体からの光に対応する値を、画素値として有する色画像であり、複数の視点の色画像それぞれは、必要に応じて、その視点の色画像の他、他の視点の色画像をも参照して、符号化される。【０００４】
すなわち、MVCでは、複数の視点の色画像のうちの、１つの視点の色画像が、ベースビュー(Base View)の画像とされ、他の視点の色画像は、ノンベースビュー(Non Base View)の画像とされる。【０００５】
そして、ベースビューの色画像は、そのベースビューの色画像のみを参照して符号化され、ノンベースビューの色画像は、そのノンベースビューの色画像の他、他のビューの画像をも必要に応じて参照して符号化される。【０００６】
すなわち、ノンベースビューの色画像については、必要に応じて、他のビュー（視点）の色画像を参照して予測画像を生成する視差予測が行われ、その予測画像を用いて符号化される。【０００７】
ところで、近年においては、複数の視点の画像として、各視点の色画像の他に、各視点の色画像の画素ごとの視差に関する視差情報（デプス情報）を、画素値として有する視差情報画像（デプス画像）を採用し、各視点の色画像と各視点の視差情報画像とを、別々に符号化する方法が提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】“Draft Call for Proposals on 3D Video Coding Technology”,INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO, MPEG2010/N11679 Guangzhou,China,October 2010
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述のように、複数の視点の画像については、ある視点の画像の符号化（及び復号）において、他の視点の画像を参照する視差予測を行うことができるので、視差予測の予測効率（予測精度）が符号化効率に影響する。【００１０】
本技術は、このような状況に鑑みてなされたものであり、視差予測の予測効率を改善することができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の第１の側面の画像処理装置は、３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換する変換部と、前記変換部により変換された前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成する補償部と、前記補償部により生成された前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する符号化部とを備える画像処理装置である。【００１２】
本技術の第１の側面の画像処理方法は、３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化するステップを含む画像処理方法である。【００１３】
以上のような第１の側面においては、３視点以上の画像のうちの２視点以上の画像が、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングされることにより、パッキング画像に変換される。そして、前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像が生成され、前記予測画像を用いて、前記符号化対象画像が、前記符号化モードで符号化される。【００１４】
本技術の第２の側面の画像処理装置は、視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化することにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像を、視差補償を行うことにより生成する補償部と、前記補償部により生成された前記予測画像を用いて、前記符号化ストリームを、前記符号化モードで復号する復号部と、前記復号部により前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像を、前記パッキングパターンに従って分離することにより、元の２視点以上の画像に逆変換する逆変換部とを備える画像処理装置である。【００１５】
本技術の第２の側面の画像処理方法は、３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化することにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像を、視差補償を行うことにより生成し、前記予測画像を用いて、前記符号化ストリームを、前記符号化モードで復号し、前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像を、前記パッキングパターンに従って分離することにより、元の２視点以上の画像に逆変換するステップを含む画像処理方法である。【００１６】
以上のような第２の側面においては、３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化することにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像が、視差補償を行うことにより生成される。そして、前記予測画像を用いて、前記符号化ストリームが、前記符号化モードで復号され、前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像が、前記パッキングパターンに従って分離されることにより、元の２視点以上の画像に逆変換される。【００１７】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１８】
また、画像処理装置は、コンピュータにプログラムを実行させることにより実現することができ、そのプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１９】
本技術によれば、視差予測の予測効率を改善することができる。
【図面の簡単な説明】
【００２０】
【図１】本技術を適用した伝送システムの一実施の形態の構成例を示すブロック図である。
【図２】送信装置１１の構成例を示すブロック図である。
【図３】受信装置１２の構成例を示すブロック図である。
【図４】解像度変換装置２１Ｃが行う解像度変換を説明する図である。
【図５】符号化装置２２Ｃの構成例を示すブロック図である。
【図６】MVCの予測符号化において、予測画像を生成するときに参照するピクチャ（参照画像）を説明する図である。
【図７】MVCでのピクチャの符号化（及び復号）順を説明する図である。
【図８】エンコーダ４１及び４２で行われる時間予測と視差予測を説明する図である。
【図９】エンコーダ４２の構成例を示すブロック図である。
【図１０】MVC(AVC)のマクロブロックタイプを説明する図である。
【図１１】MVC(AVC)の予測ベクトル(PMV)を説明する図である。
【図１２】インター予測部１２３の構成例を示すブロック図である。
【図１３】視差予測部１３１の構成例を示すブロック図である。
【図１４】復号装置３２Ｃの構成例を示すブロック図である。
【図１５】デコーダ２１２の構成例を示すブロック図である。
【図１６】インター予測部２５０の構成例を示すブロック図である。
【図１７】視差予測部２６１の構成例を示すブロック図である。
【図１８】送信装置１１の他の構成例を示すブロック図である。
【図１９】受信装置１２の他の構成例を示すブロック図である。
【図２０】解像度変換装置３２１Ｃが行う解像度変換、及び、解像度逆変換装置３３３Ｃが行う解像度逆変換を説明する図である。
【図２１】送信装置１１の処理を説明するフローチャートである。
【図２２】受信装置１２の処理を説明するフローチャートである。
【図２３】符号化装置３２２Ｃの構成例を示すブロック図である。
【図２４】エンコーダ３４２の構成例を示すブロック図である。
【図２５】SEI生成部３５１で生成される解像度変換SEIを説明する図である。
【図２６】パラメータnum_views_minus_1，view_id[i]，frame_packing_info[i]，frame_field_coding、及び、view_id_in_frame[i]にセットされる値を説明する図である。
【図２７】視差予測部１３１で行われるパッキング色画像のピクチャ（フィールド）の視差予測を説明する図である。
【図２８】エンコーダ３４２が行う、パッキング色画像を符号化する符号化処理を説明するフローチャートである。
【図２９】視差予測部１３１が行う視差予測処理を説明するフローチャートである。
【図３０】復号装置３３２Ｃの構成例を示すブロック図である。
【図３１】デコーダ４１２の構成例を示すブロック図である。
【図３２】デコーダ４１２が行う、パッキング色画像の符号化データを復号する復号処理を説明するフローチャートである。
【図３３】視差予測部２６１が行う視差予測処理を説明するフローチャートである。
【図３４】符号化装置３２２Ｃの他の構成例を示すブロック図である。
【図３５】エンコーダ５４２の構成例を示すブロック図である。
【図３６】視差予測部１３１で行われる中央視点色画像のピクチャ（フィールド）の視差予測を説明する図である。
【図３７】エンコーダ５４２が行う、パッキング色画像を符号化する符号化処理を説明するフローチャートである。
【図３８】視差予測部１３１が行う視差予測処理を説明するフローチャートである。
【図３９】復号装置３３２Ｃの構成例を示すブロック図である。
【図４０】デコーダ６１２の構成例を示すブロック図である。
【図４１】デコーダ６１２が行う、中央視点色画像の符号化データを復号する復号処理を説明するフローチャートである。
【図４２】視差予測部２６１が行う視差予測処理を説明するフローチャートである。
【図４３】送信装置１１のさらに他の構成例を示すブロック図である。
【図４４】符号化装置７２２Ｃの構成例を示すブロック図である。
【図４５】エンコーダ８４２の構成例を示すブロック図である。
【図４６】視差と奥行きについて説明する図である。
【図４７】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【図４８】本技術を適用したTVの概略構成例を示す図である。
【図４９】本技術を適用した携帯電話機の概略構成例を示す図である。
【図５０】本技術を適用した記録再生装置の概略構成例を示す図である。
【図５１】本技術を適用した撮像装置の概略構成例を示す図である。
【発明を実施するための形態】
【００２１】
[本明細書におけるデプス画像（視差情報画像）の説明]
図４６は、視差と奥行きについて説明する図である。
【００２２】
図４６に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。
【００２３】
2012157443.tif 000003
・・・（ａ）
【００２４】
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
【００２５】
式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（視差情報画像）とする。
【００２６】
なお、デプス画像（視差情報画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差情報画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
【００２７】
視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【００２８】
【数４】
2012157443.tif 000004
【００２９】
なお、式（ｂ）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【００３０】
また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【００３１】
【数５】
2012157443.tif 000005
【００３２】
なお、式（ｃ）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【００３３】
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像（視差情報画像）とする。ここでは、デプス画像（視差情報画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
【００３４】
なお、デプス画像（視差情報画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報）とする。更に、値I又は値yをマッピングしたものをデプスマップとする。
【００３５】
［本技術の画像処理装置を適用した伝送システムの一実施の形態］
【００３６】
図１は、本技術を適用した伝送システムの一実施の形態の構成例を示すブロック図である。
【００３７】
図１において、伝送システムは、送信装置１１と受信装置１２とを有する。
【００３８】
送信装置１１には、多視点色画像と多視点視差情報画像（多視点デプス画像）とが供給される。
【００３９】
ここで、多視点色画像は、複数の視点の色画像を含み、その複数の視点のうちの所定の１つの視点の色画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の色画像は、ノンベースビューの画像として扱われる。
【００４０】
多視点視差情報画像は、多視点色画像を構成する色画像の各視点の視差情報画像を含み、例えば、所定の１つの視点の視差情報画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の視差情報画像は、色画像の場合と同様に、ノンベースビューの画像として扱われる。
【００４１】
送信装置１１は、そこに供給される多視点色画像と多視点視差情報画像とのそれぞれを符号化して多重化し、その結果得られる多重化ビットストリームを出力する。
【００４２】
送信装置１１が出力する多重化ビットストリームは、図示せぬ伝送媒体を介して伝送され、又は、図示せぬ記録媒体に記録される。
【００４３】
受信装置１２には、送信装置１１が出力する多重化ビットストリームが、図示せぬ伝送媒体、又は、記録媒体を介して提供される。
【００４４】
受信装置１２は、多重化ビットストリームを受け取り、その多重化ビットストリームの逆多重化を行うことにより、多重化ビットストリームから、多視点色画像の符号化データと、多視点視差情報画像の符号化データとを分離する。
【００４５】
さらに、受信装置１２は、多視点色画像の符号化データと、多視点視差情報画像の符号化データとのそれぞれを復号し、その結果得られる多視点色画像と多視点視差情報画像を出力する。
【００４６】
ところで、複数の視点の色画像である多視点色画像と、複数の視点の視差情報画像である多視点視差情報画像とを伝送する規格として、例えば、裸眼で鑑賞可能な裸眼3D(dimension)画像の表示を主なアプリ−ケーションとするMPEG3DVが策定されつつある。
【００４７】
MPEG3DVでは、２つの視点の画像（色画像、視差情報画像）の他、２つの視点より多い、例えば、３つの視点や４つの視点の画像の伝送についても議論されている。
【００４８】
裸眼3D画像（いわゆる偏光メガネなしで視聴可能な3D画像）の表示においては、（画像の）視点数が多いほど、高画質の画像を表示することができるとともに、立体感を強くすることができる。このため、画質や立体感の観点からは、視点数が多いことが望ましい。
【００４９】
しかしながら、視点数を多くすると、ベースバンドで扱うデータ量が膨大になる。
【００５０】
すなわち、例えば、３つの視点の色画像、及び、視差情報画像として、いわゆるフルHD(High Definition)の解像度の画像を伝送する場合、そのデータ量は、フルHDの2D画像のデータ量（１つの視点の画像のデータ量）の６倍になる。
【００５１】
ベースバンド伝送規格としては、例えば、HDMI(High-Definition Multimedia Interface)があるが、HDMIの最新規格でも、4K（フルHDの４倍）相当のデータ量しか扱うことができないため、３つの視点の色画像、及び、視差情報画像は、そのままでは、ベースバンドで伝送することができない。
【００５２】
したがって、フルHDの３つの視点の色画像、及び、視差情報画像を、ベースバンドで伝送するには、ベースバンドで、例えば、画像の解像度を低下させる等して、多視点色画像、及び、多視点視差情報画像の（ベースバンドでの）データ量を削減する必要がある。  
【００５３】
一方、送信装置１１では、多視点色画像、及び、多視点視差情報画像が符号化されるが、送信装置１１が出力する多重化ビットストリームのビットレートは制限されるため、符号化において、１つの視点の画像（色画像、視差情報画像）に割り当てられる符号化データのビット量も制限される。
【００５４】
符号化において、画像のベースバンドのデータ量に対して、その画像に割り当てることができる符号化データのビット量が少ない場合には、ブロック歪み等の符号化歪みが顕著になり、その結果、受信装置１２での復号によって得られる復号画像の画質が劣化する。
【００５５】
したがって、復号画像の画質の劣化を抑制する観点からも、多視点色画像、及び、多視点視差情報画像の（ベースバンドでの）データ量を削減する必要がある。
【００５６】
そこで、送信装置１１は、多視点色画像、及び、多視点視差情報画像の（ベースバンドでの）データ量を削減してから、符号化を行う。
【００５７】
ここで、視差情報画像の画素値である視差情報としては、ある視点を、基準とする基準視点として、色画像の各画素に写る被写体の、基準視点との視差を表す視差値（値Ｉ）や、色画像の各画素に写る被写体までの距離（奥行き）を表す奥行き値（値ｙ）を用いることができる。
【００５８】
複数の視点の色画像を撮影したカメラの位置関係が既知であれば、視差値と奥行き値とは、相互に変換することができるので、等価な情報である。
【００５９】
ここで、以下では、画素値として視差値を有する視差情報画像（デプス画像）を、視差画像ともいい、画素値として、奥行き値を有する視差情報画像（デプス画像）を、奥行き画像ともいう。
【００６０】
以下では、視差情報画像として、視差画像、及び、奥行き画像のうちの、例えば、奥行き画像を用いることとするが、視差情報画像としては、視差画像を用いることも可能である。
【００６１】
［送信装置１１の構成例］
【００６２】
図２は、図１の送信装置１１の構成例を示すブロック図である。
【００６３】
図２において、送信装置１１は、解像度変換装置２１Ｃ及び２１Ｄ、符号化装置２２Ｃ及び２２Ｄ、並びに、多重化装置２３を有する。
【００６４】
解像度変換装置２１Ｃには、多視点色画像が供給される。
【００６５】
解像度変換装置２１Ｃは、そこに供給される多視点色画像を、元の解像度より低い低解像度の解像度変換多視点色画像に変換する解像度変換を行い、その結果得られる解像度変換多視点色画像を、符号化装置２２Ｃに供給する。
【００６６】
符号化装置２２Ｃは、解像度変換装置２１Ｃから供給される解像度変換多視点色画像を、複数の視点の画像を伝送する規格である、例えば、MVCで符号化し、その結果得られる符号化データである多視点色画像符号化データを、多重化装置２３に供給する。
【００６７】
ここで、MVCは、AVCの拡張プロファイルであり、MVCによれば、前述したように、ノンベースビューの画像については、視差予測を特徴とする効率的な符号化を行うことができる。
【００６８】
また、MVCでは、ベースビューの画像は、AVC互換で符号化される。したがって、ベースビューの画像をMVCで符号化した符号化データは、AVCのデコーダで復号することができる。
【００６９】
解像度変換装置２１Ｄには、多視点色画像を構成する各視点の色画像の画素ごとの奥行き値を画素値として有する、各視点の奥行き画像である多視点奥行き画像が供給される。
【００７０】
図２において、解像度変換装置２１Ｄ、及び、符号化装置２２Ｄは、色画像（多視点色画像）ではなく、奥行き画像（多視点奥行き画像）を、処理の対象として、解像度変換装置２１Ｃ、及び、符号化装置２２Ｃと、それぞれ同様の処理を行う。
【００７１】
すなわち、解像度変換装置２１Ｄは、そこに供給される多視点奥行き画像を、元の解像度より低い低解像度の解像度変換多視点奥行き画像に解像度変換し、符号化装置２２Ｄに供給する。
【００７２】
符号化装置２２Ｄは、解像度変換装置２１Ｄから供給される解像度変換多視点奥行き画像を、MVCで符号化し、その結果得られる符号化データである多視点奥行き画像符号化データを、多重化装置２３に供給する。
【００７３】
多重化装置２３は、符号化装置２２Ｃからの多視点色画像符号化データと、符号化装置２２Ｄからの多視点奥行き画像符号化データとを多重化し、その結果得られる多重化ビットストリームを出力する。
【００７４】
［受信装置１２の構成例］
【００７５】
図３は、図１の受信装置１２の構成例を示すブロック図である。
【００７６】
図３において、受信装置１２は、逆多重化装置３１、復号装置３２Ｃ及び３２Ｄ、並びに、解像度逆変換装置３３Ｃ及び３３Ｄを有する。
【００７７】
逆多重化装置３１には、送信装置１１（図２）が出力する多重化ビットストリームが供給される。
【００７８】
逆多重化装置３１は、そこに供給される多重化ビットストリームを受け取り、その多重化ビットストリームの逆多重化を行うことにより、多重化ビットストリームを、多視点色画像符号化データと、多視点奥行き画像符号化データとに分離する。
【００７９】
そして、逆多重化装置３１は、多視点色画像符号化データを、復号装置３２Ｃに供給し、多視点奥行き画像符号化データを、復号装置３２Ｄに供給する。
【００８０】
復号装置３２Ｃは、逆多重化装置３１から供給される多視点色画像符号化データを、MVCで復号し、その結果得られる解像度変換多視点色画像を、解像度逆変換装置３３Ｃに供給する。
【００８１】
解像度逆変換装置３３Ｃは、復号装置３２Ｃからの解像度変換多視点色画像を、元の解像度の多視点色画像に（逆）変換する解像度逆変換を行い、その結果得られる多視点色画像を出力する。
【００８２】
復号装置３２Ｄ、及び、解像度逆変換装置３３Ｄは、多視点色画像符号化データ（解像度変換多視点色画像）ではなく、多視点奥行き画像符号化データ（解像度変換多視点奥行き画像）を、処理の対象として、復号装置３２Ｃ、及び、解像度逆変換装置３３Ｃと、それぞれ同様の処理を行う。
【００８３】
すなわち、復号装置３２Ｄは、逆多重化装置３１から供給される多視点奥行き画像符号化データを、MVCで復号し、その結果得られる解像度変換多視点奥行き画像を、解像度逆変換装置３３Ｄに供給する。
【００８４】
解像度逆変換装置３３Ｄは、復号装置３２Ｄからの解像度変換多視点奥行き画像を、元の解像度の多視点奥行き画像に解像度逆変換して出力する。
【００８５】
なお、本実施の形態では、以下同様に、奥行き画像については、色画像と同様の処理が施されるため、奥行き画像の処理については、以下、適宜、説明を省略する。
【００８６】
［解像度変換］  
【００８７】
図４は、図２の解像度変換装置２１Ｃが行う解像度変換を説明する図である。
【００８８】
なお、以下では、多視点色画像が（多視点奥行き画像についても同様）、例えば、３つの視点の色画像である中央視点色画像、左視点色画像、及び、右視点色画像であることとする。
【００８９】
３つの視点の色画像である中央視点色画像、左視点色画像、及び、右視点色画像は、例えば、３台のカメラを、被写体の正面の位置、被写体に向かって左側の位置、及び、被写体に向かって右側の位置に配置して、被写体を撮影することにより得られる画像である。
【００９０】
したがって、中央視点色画像は、被写体の正面の位置を視点とする画像である。また、左視点色画像は、中央視点色画像の視点（中央視点）より左側の位置（左視点）を視点とする画像であり、右視点色画像は、中央視点より右側の位置（右視点）を視点とする画像である。
【００９１】
なお、多視点色画像（及び多視点奥行き画像）は、２視点の画像、又は、４視点以上の画像であっても良い。
【００９２】
解像度変換装置２１Ｃは、そこに供給される多視点色画像である中央視点色画像、左視点色画像、及び、右視点色画像のうちの、例えば、中央視点色画像を、そのまま（解像度変換せずに）出力する。
【００９３】
また、解像度変換装置２１Ｃは、多視点色画像の残りの左視点色画像、及び、右視点色画像については、２つの視点の画像の解像度を低解像度に変換して、１視点分の画像に合成するパッキングを行うことにより、パッキング色画像を生成して出力する。
【００９４】
すなわち、解像度変換装置２１Ｃは、左視点色画像、及び、右視点色画像それぞれの垂直方向の解像度（画素数）を1/2にし、その垂直方向の解像度（垂直解像度）が1/2にされた左視点色画像、及び、右視点色画像を、上下に並べて配置することにより、１視点分の画像であるパッキング色画像を生成する。
【００９５】
ここで、図４のパッキング色画像では、左視点色画像が上側に配置され、右視点色画像が下側に配置されている。
【００９６】
解像度変換装置２１Ｃが出力する中央視点色画像、及び、パッキング色画像が、解像度変換多視点色画像として、符号化装置２２Ｃに供給される。  
【００９７】
ここで、解像度変換装置２１Ｃに供給される多視点色画像は、中央視点色画像、左視点色画像、及び、右視点色画像の３視点分の画像であるが、解像度変換装置２１Ｃが出力する解像度変換多視点色画像は、中央視点色画像、及び、パッキング色画像の２視点分の画像であり、ベースバンドでのデータ量が削減されている。
【００９８】
なお、図４では、多視点色画像を構成する中央視点色画像、左視点色画像、及び、右視点色画像のうちの、左視点色画像、及び、右視点色画像を、１視点分のパッキング色画像にパッキングしたが、パッキングは、中央視点色画像、左視点色画像、及び、右視点色画像のうちの、任意の２つの視点の色画像を対象として行うことができる。
【００９９】
但し、受信装置１２側において、2D画像が表示される場合には、その2D画像の表示には、多視点色画像を構成する中央視点色画像、左視点色画像、及び、右視点色画像のうちの、中央視点色画像が用いられることが予想される。このため、図４では、2D画像を高画質で表示することができるように、中央視点色画像を、解像度を低解像度に変換するパッキングの対象にしていない。
【０１００】
すなわち、受信装置１２側では、3D画像の表示には、多視点色画像を構成する中央視点色画像、左視点色画像、及び、右視点色画像のすべてが用いられるが、2D画像の表示には、中央視点色画像、左視点色画像、及び、右視点色画像のうちの、例えば、中央視点色画像だけが用いられる。したがって、受信装置１２側では、多視点色画像を構成する中央視点色画像、左視点色画像、及び、右視点色画像のうちの、左視点色画像、及び、右視点色画像は、3D画像の表示にのみ用いられるが、図４では、その3D画像の表示にのみ用いられる左視点色画像、及び、右視点色画像が、パッキングの対象にされている。
【０１０１】
［符号化装置２２Ｃの構成例］
【０１０２】
図５は、図２の符号化装置２２Ｃの構成例を示すブロック図である。
【０１０３】
図５の符号化装置２２Ｃは、解像度変換装置２１Ｃ（図２、図４）からの解像度変換多視点色画像である中央視点色画像、及び、パッキング色画像を、MVCで符号化する。
【０１０４】
ここで、以下では、特に断らない限り、中央視点色画像を、ベースビューの画像とし、他の視点の画像、すなわち、ここでは、パッキング色画像を、ノンベースビューの画像として扱うこととする。
【０１０５】
図５において、符号化装置２２Ｃは、エンコーダ４１，４２、及び、DPB(Decode Picture Buffer)４３を有する。
【０１０６】
エンコーダ４１には、解像度変換装置２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像が供給される。
【０１０７】
エンコーダ４１は、中央視点色画像を、ベースビューの画像として、MVC(AVC)で符号化し、その結果得られる中央視点色画像の符号化データを出力する。
【０１０８】
エンコーダ４２には、解像度変換装置２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像が供給される。
【０１０９】
エンコーダ４２は、パッキング色画像を、ノンベースビューの画像として、MVCで符号化し、その結果得られるパッキング色画像の符号化データを出力する。
【０１１０】
なお、エンコーダ４１が出力する中央視点色画像の符号化データと、エンコーダ４２が出力するパッキング色画像の符号化データとは、多視点色画像符号化データとして、多重化装置２３（図２）に供給される。
【０１１１】
DPB４３は、エンコーダ４１及び４２それぞれで、符号化対象の画像を符号化し、ローカルデコードすることにより得られるローカルデコード後の画像（デコード画像）を、予測画像の生成時に参照する参照画像（の候補）として一時記憶する。
【０１１２】
すなわち、エンコーダ４１及び４２は、符号化対象の画像を予測符号化する。そのため、エンコーダ４１及び４２は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
【０１１３】
DPB４３は、エンコーダ４１及び４２それぞれで得られるデコード画像を一時記憶する、いわば共用のバッファであり、エンコーダ４１及び４２それぞれは、DPB４３に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照画像を選択する。そして、エンコーダ４１及び４２それぞれは、参照画像を用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
【０１１４】
DPB４３は、エンコーダ４１及び４２で共用されるので、エンコーダ４１及び４２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
【０１１５】
但し、エンコーダ４１は、ベースビューの画像を符号化するため、エンコーダ４１で得られたデコード画像のみを参照する。
【０１１６】
［MVCの概要］
【０１１７】
図６は、MVCの予測符号化において、予測画像を生成するときに参照するピクチャ（参照画像）を説明する図である。
【０１１８】
いま、ベースビューの画像のピクチャを、表示時刻順に、p11,p12,p13,・・・と表すとともに、ノンベースビューの画像のピクチャを、表示時刻順に、p21,p22,p23,・・・と表すこととする。
【０１１９】
ベースビューのピクチャである、例えば、ピクチャp12は、そのベースビューのピクチャである、例えば、ピクチャp11やp13を、必要に応じて参照して、予測符号化される。
【０１２０】
すなわち、ベースビューのピクチャp12については、そのベースビューの他の表示時刻のピクチャであるピクチャp11やp13のみを参照し、予測（予測画像の生成）を行うことができる。
【０１２１】
また、ノンベースビューのピクチャである、例えば、ピクチャp22は、そのノンベースビューのピクチャである、例えば、ピクチャp21やp23、さらには、他のビューであるベースビューのピクチャp12を、必要に応じて参照して、予測符号化される。
【０１２２】
すなわち、ノンベースビューのピクチャp22は、そのノンベースビューの他の表示時刻のピクチャであるピクチャp21やp23の他、他のビューのピクチャであるベースビューのピクチャp12を参照し、予測を行うことができる。
【０１２３】
ここで、符号化対象のピクチャと同一のビューの（他の表示時刻の）ピクチャを参照して行われる予測を、時間予測ともいい、符号化対象のピクチャと異なるビューのピクチャを参照して行われる予測を、視差予測ともいう。
【０１２４】
以上のように、MVCでは、ベースビューのピクチャについては、時間予測のみを行うことができ、ノンベースビューのピクチャについては、時間予測と視差予測を行うことができる。
【０１２５】
なお、MVCにおいて、視差予測において参照する、符号化対象のピクチャと異なるビューのピクチャは、符号化対象のピクチャと同一の表示時刻のピクチャでなければならない。
【０１２６】
図７は、MVCでのピクチャの符号化（及び復号）順を説明する図である。
【０１２７】
図６と同様に、ベースビューの画像のピクチャを、表示時刻順に、p11,p12,p13,・・・と表すとともに、ノンベースビューの画像のピクチャを、表示時刻順に、p21,p22,p23,・・・と表すこととする。
【０１２８】
いま、説明を簡単にするために、各ビューのピクチャが、表示時刻順に符号化されることとすると、まず、ベースビューの最初の時刻t=1のピクチャp11が符号化され、その後、ノンベースビューの、同一時刻t=1のピクチャp21が符号化される。
【０１２９】
ノンベースビューの、同一時刻t=1のピクチャ（すべて）の符号化が終了すると、ベースビューの次の時刻t=2のピクチャp12が符号化され、その後、ノンベースビューの、同一時刻t=2のピクチャp22が符号化される。
【０１３０】
以下、同様の順番で、ベースビューのピクチャ、及び、ノンベースビューのピクチャは、符号化されていく。
【０１３１】
図８は、図５のエンコーダ４１及び４２で行われる時間予測と視差予測を説明する図である。
【０１３２】
なお、図８において、横軸は、符号化（復号）の時刻を表す。
【０１３３】
ベースビューの画像を符号化するエンコーダ４１では、ベースビューの画像である中央視点色画像のピクチャの予測符号化において、既に符号化された中央視点色画像の他のピクチャを参照する時間予測を行うことができる。
【０１３４】
ノンベースビューの画像を符号化するエンコーダ４２では、ノンベースビューの画像であるパッキング色画像のピクチャの予測符号化において、既に符号化されたパッキング色画像の他のピクチャを参照する時間予測と、（既に符号化された）中央視点色画像のピクチャ（符号化対象のパッキング色画像のピクチャと同一時刻（POC(Picture Order Count)が同一）のピクチャ）を参照する視差予測とを行うことができる。
【０１３５】
［エンコーダ４２の構成例］
【０１３６】
図９は、図５のエンコーダ４２の構成例を示すブロック図である。
【０１３７】
図９において、エンコーダ４２は、A/D(Analog/Digital)変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、及び、予測画像選択部１２４を有する。
【０１３８】
A/D変換部１１１には、符号化対象の画像（動画像）であるパッキング色画像のピクチャが、表示順に、順次、供給される。
【０１３９】
A/D変換部１１１は、そこに供給されるピクチャが、アナログ信号である場合には、そのアナログ信号をA/D変換し、画面並び替えバッファ１１２に供給する。
【０１４０】
画面並び替えバッファ１１２は、A/D変換部１１１からのピクチャを一時記憶し、あらかじめ決められたGOP(Group of Pictures)の構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。
【０１４１】
画面並び替えバッファ１１２から読み出されたピクチャは、演算部１１３、画面内予測部１２２、及び、インター予測部１２３に供給される。
【０１４２】
演算部１１３には、画面並び替えバッファ１１２から、ピクチャが供給される他、予測画像選択部１２４から、画面内予測部１２２、又は、インター予測部１２３で生成された予測画像が供給される。
【０１４３】
演算部１１３は、画面並び替えバッファ１１２から読み出されたピクチャを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。
【０１４４】
そして、演算部１１３は、対象ブロックの画素値から、予測画像選択部１２４から供給される予測画像の画素値を減算した減算値を、必要に応じて演算し、直交変換部１１４に供給する。
【０１４５】
直交変換部１１４は、演算部１１３からの対象ブロック（の画素値、又は、予測画像が減算された残差）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部１１５に供給する。
【０１４６】
量子化部１１５は、直交変換部１１４から供給される変換係数を量子化し、その結果得られる量子化値を、可変長符号化部１１６に供給する。
【０１４７】
可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化（例えば、CAVLC(Context-Adaptive Variable Length Coding)等）や、算術符号化（例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)等）等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ１１７に供給する。
【０１４８】
なお、可変長符号化部１１６には、量子化部１１５から量子化値が供給される他、予測画像選択部１２４から、符号化データのヘッダに含めるヘッダ情報が供給される。
【０１４９】
可変長符号化部１１６は、予測画像選択部１２４からのヘッダ情報を符号化し、符号化データのヘッダに含める。
【０１５０】
蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶し、所定のデータレートで出力（伝送）する。
【０１５１】
量子化部１１５で得られた量子化値は、可変長符号化部１１６に供給される他、逆量子化部１１８にも供給され、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０において、ローカルデコードが行われる。
【０１５２】
すなわち、逆量子化部１１８は、量子化部１１５からの量子化値を、変換係数に逆量子化し、逆直交変換部１１９に供給する。
【０１５３】
逆直交変換部１１９は、逆量子化部１１８からの変換係数を逆直交変換し、演算部１２０に供給する。
【０１５４】
演算部１２０は、逆直交変換部１１９から供給されるデータに対して、必要に応じて、予測画像選択部１２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード画像を得て、デブロッキングフィルタ１２１に供給する。
【０１５５】
デブロッキングフィルタ１２１は、演算部１２０からのデコード画像をフィルタリングすることにより、デコード画像に生じたブロック歪を除去（低減）し、DPB４３（図５）に供給する。
【０１５６】
ここで、DPB４３は、デブロッキングフィルタ１２１からのデコード画像、すなわち、エンコーダ４２において符号化されてローカルデコードされたパッキング色画像のピクチャを、時間的に後に行われる予測符号化（演算部１１３で予測画像の減算が行われる符号化）に用いる予測画像を生成するときに参照する参照画像（の候補）として記憶する。
【０１５７】
図５で説明したように、DPB４３は、エンコーダ４１及び４２で共用されるので、エンコーダ４２において符号化されてローカルデコードされたパッキング色画像のピクチャの他、エンコーダ４１において符号化されてローカルデコードされた中央視点色画像のピクチャも記憶する。
【０１５８】
なお、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０によるローカルデコードは、例えば、参照画像（参照ピクチャ）となることが可能な参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャを対象として行われ、DPB４３では、Iピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像が記憶される。
【０１５９】
画面内予測部１２２は、対象ピクチャが、イントラ予測（画面内予測）され得るIピクチャ、Pピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB４３から、対象ピクチャのうちの、既にローカルデコードされている部分（デコード画像）を読み出す。そして、画面内予測部１２２は、DPB４３から読み出した、対象ピクチャのうちのデコード画像の一部を、画面並び替えバッファ１１２から供給される対象ピクチャの対象ブロックの予測画像とする。
【０１６０】
さらに、画面内予測部１２２は、予測画像を用いて対象ブロックを符号化するのに要する符号化コスト、すなわち、対象ブロックの、予測画像に対する残差等を符号化するのに要する符号化コストを求め、予測画像とともに、予測画像選択部１２４に供給する。
【０１６１】
インター予測部１２３は、対象ピクチャが、インター予測され得るPピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB４３から、対象ピクチャより前に符号化されてローカルデコードされたピクチャを、参照画像として読み出す。
【０１６２】
また、インター予測部１２３は、画面並び替えバッファ１１２からの対象ピクチャの対象ブロックと、参照画像とを用いたME(Motion Estimation)によって、対象ブロックと、参照画像の、対象ブロックに対応する対応ブロック（例えば、対象ブロックとのSAD(Sum of Absolute Differences)等を最小にするブロック）とのずれ（視差、動き）を表すずれベクトルを検出する。
【０１６３】
ここで、参照画像が、対象ピクチャと同一のビューの（対象ピクチャと異なる時刻の）ピクチャである場合、対象ブロックと参照画像とを用いたMEによって検出されるずれベクトルは、対象ブロックと、参照画像との間の動き（時間的なずれ）を表す動きベクトルとなる。
【０１６４】
また、参照画像が、対象ピクチャと異なるビューの（対象ピクチャと同一時刻の）ピクチャである場合、対象ブロックと参照画像とを用いたMEによって検出されるずれベクトルは、対象ブロックと、参照画像との間の視差（空間的なずれ）を表す視差ベクトルとなる。
【０１６５】
インター予測部１２３は、対象ブロックのずれベクトルに従って、DPB４３からの参照画像のMC(Motion Compensation)であるずれ補償（動き分のずれを補償する動き補償、又は、視差分のずれを補償する視差補償）を行うことで、予測画像を生成する。
【０１６６】
すなわち、インター予測部１２３は、参照画像の、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（領域）である対応ブロックを、予測画像として取得する。
【０１６７】
さらに、インター予測部１２３は、対象ブロックを予測画像を用いて符号化するのに要する符号化コストを、後述するマクロブロックタイプ等が異なるインター予測モードごとに求める。
【０１６８】
そして、インター予測部１２３は、符号化コストが最小のインター予測モードを、最適なインター予測モードである最適インター予測モードとして、その最適インター予測モードで得られた予測画像と符号化コストとを、予測画像選択部１２４に供給する。
【０１６９】
ここで、ずれベクトル（視差ベクトル、動きベクトル）に基づいて、予測画像を生成することを、ずれ予測（視差予測、時間予測（動き予測））、又は、ずれ補償（視差補償、動き補償）ともいう。なお、ずれ予測には、必要に応じて、ずれベクトルの検出が含まれる。
【０１７０】
予測画像選択部１２４は、画面内予測部１２２、及び、インター予測部１２３それぞれからの予測画像のうちの、符号化コストが小さい予測画像を選択し、演算部１１３、及び、１２０に供給する。
【０１７１】
なお、画面内予測部１２２は、イントラ予測に関する情報（予測モード関連情報）を、予測画像選択部１２４に供給し、インター予測部１２３は、インター予測に関する情報（ずれベクトルの情報や、参照画像に割り当てられている参照インデクス等を含む予測モード関連情報）を、予測画像選択部１２４に供給する。
【０１７２】
予測画像選択部１２４は、画面内予測部１２２、及び、インター予測部１２３それぞれからの情報のうちの、符号化コストが小さい予測画像が生成された方からの情報を選択し、ヘッダ情報として、可変長符号化部１１６に供給する。
【０１７３】
なお、図５のエンコーダ４１も、図９のエンコーダ４２と同様に構成される。但し、ベースビューの画像を符号化するエンコーダ４１では、インター予測において、視差予測は行われず、時間予測だけが行われる。
【０１７４】
［マクロブロックタイプ］
【０１７５】
図１０は、MVC(AVC)のマクロブロックタイプを説明する図である。
【０１７６】
MVCでは、対象ブロックとなるマクロブロックは、横×縦が１６×１６画素のブロックであるが、ME（及び、予測画像の生成）は、マクロブロックをパーティションに分割して、パーティションごとに行うことができる。
【０１７７】
すなわち、MVCでは、マクロブロックを、１６×１６画素、１６×８画素、８×１６画素、又は８×８画素のうちのいずれかのパーティションに分割して、各パーティションごとに、MEを行って、ずれベクトル（動きベクトル、又は、視差ベクトル）を検出することができる。
【０１７８】
また、MVCでは、８×８画素のパーティションは、さらに、８×８画素、８×４画素、４×８画素、又は４×４画素のうちのいずれかのサブパーティションに分割し、各サブパーティションごとに、MEを行って、ずれベクトル（動きベクトル、又は、視差ベクトル）を検出することができる。
【０１７９】
マクロブロックタイプは、マクロブロックを、どのようなパーティション（さらには、サブパーティション）に分割するかを表す。
【０１８０】
インター予測部１２３（図９）のインター予測では、例えば、各マクロブロックタイプの符号化コストが、各インター予測モードの符号化コストとして算出され、符号化コストが最小のインター予測モード（マクロブロックタイプ）が、最適インター予測モードとして選択される。
【０１８１】
［予測ベクトル(PMV(Predicted Motion Vector))］
【０１８２】
図１１は、MVC(AVC)の予測ベクトル(PMV)を説明する図である。
【０１８３】
インター予測部１２３（図９）のインター予測では、MEによって、対象ブロックのずれベクトル（動きベクトル、又は、視差ベクトル）が検出され、そのずれベクトルを用いて、予測画像が生成される。
【０１８４】
ずれベクトルは、復号側において、画像を復号するのに必要であるため、ずれベクトルの情報を符号化して、符号化データに含める必要があるが、ずれベクトルを、そのまま符号化すると、ずれベクトルの符号量が多くなって、符号化効率が劣化することがある。
【０１８５】
すなわち、MVCでは、図１０に示したように、マクロブロックが、８×８画素のパーティションに分割され、さらに、その８×８画素のパーティションそれぞれが、４×４画素のサブパーティションに分割されることがある。この場合、１つのマクロブロックは、最終的には、４×４個のサブパーティションに分割されるため、１つのマクロブロックに対して、１６（＝４×４）個のずれベクトルが生じることがあり、ずれベクトルを、そのまま符号化すると、ずれベクトルの符号量が多くなって、符号化効率が劣化する。
【０１８６】
そこで、MVC(AVC)では、ずれベクトルを予測するベクトル予測が行われ、そのベクトル予測によって得られる予測ベクトルに対する、ずれベクトルの残差（残差ベクトル）が符号化される。
【０１８７】
但し、MVCで生成される予測ベクトルは、対象ブロックの周辺のマクロブロックの予測画像の生成に用いられる参照画像に割り当てられている参照インデクス（以下、予測用の参照インデクスともいう）によって異なる。
【０１８８】
ここで、MVC(AVC)の参照画像（となりうるピクチャ）と、参照インデクスについて説明する。
【０１８９】
AVCでは、予測画像を生成するときに、複数のピクチャを、参照画像とすることができる。
【０１９０】
そして、AVCのコーデックでは、参照画像は、デコード（ローカルデコード）後に、DPBと呼ばれるバッファに記憶される。
【０１９１】
DPBでは、短期間に参照されるピクチャは、短時間参照画像(used for short-term reference)として、長期間にわたって参照されるピクチャは、長時間参照画像(used for long-term reference)として、参照されないピクチャは、非参照画像(unused for reference)として、それぞれマーキングされる。
【０１９２】
DPBを管理する管理方式としては、移動窓メモリ管理方式(Sliding window process)と、適応メモリ管理方式(Adaptive memory control process)との２種類がある。
【０１９３】
移動窓メモリ管理方式では、DPBが、FIFO(First In First Out)方式で管理され、DPBに記憶されたピクチャは、frame_numの小さいピクチャから順に開放される（非参照画像となる）。
【０１９４】
すなわち、移動窓メモリ管理方式では、I(Intra)ピクチャ、P(Predictive)ピクチャ、及び、参照可能なB(Bi-directional Predictive)ピクチャであるBsピクチャは、短時間参照画像として、DPBに記憶される。
【０１９５】
そして、DPBが参照画像（となりうる参照画像）を記憶することができるだけの参照画像が記憶された後は、DPBに記憶された短時間参照画像の中で、最も早く（古い）短時間参照画像が開放される。
【０１９６】
なお、DPBに、長時間参照画像が記憶されている場合、移動窓メモリ管理方式は、DPBに記憶されている長時間参照画像には、影響しない。すなわち、移動窓メモリ管理方式において、参照画像の中で、FIFO方式で管理されるのは、短時間参照画像だけである。
【０１９７】
適応メモリ管理方式では、MMCO(Memory management control operation)と呼ばれるコマンドを用いて、DPBに記憶されるピクチャが管理される。
【０１９８】
MMCOコマンドによれば、DPBに記憶される参照画像を対象として、短時間参照画像を非参照画像に設定することや、短時間参照画像に対し、長時間参照画像を管理するための参照インデクスであるlong-term frame indexを割り当てることで、短時間参照画像を長時間参照画像に設定すること、long-term frame indexの最大値を設定すること、すべての参照画像を非参照画像に設定すること等を行うことができる。
【０１９９】
AVCでは、DPBに記憶された参照画像の動き補償（ずれ補償）を行うことで、予測画像を生成するインター予測が行われるが、Bピクチャ（Bsピクチャを含む）のインター予測には、最大で、2ピクチャの参照画像を用いることができる。その2ピクチャの参照画像を用いるインター予測は、それぞれ、L0(List 0)予測、及び、L1(List 1)予測と呼ばれる。
【０２００】
Bピクチャ（Bsピクチャを含む）については、インター予測として、L0予測、若しくは、L1予測、又は、L0予測とL1予測との両方が用いられる。Pピクチャについては、インター予測として、L0予測だけが用いられる。
【０２０１】
インター予測において、予測画像の生成に参照する参照画像は、参照リスト(Reference Picture List)により管理される。
【０２０２】
参照リストでは、予測画像の生成に参照する参照画像（となりうる参照画像）を指定するためのインデクスである参照インデクス(Reference Index)が、DPBに記憶された参照画像（になりうるピクチャ）に割り当てられる。
【０２０３】
対象ピクチャが、Pピクチャである場合、上述したように、Pピクチャについては、インター予測として、L0予測だけが用いられるので、参照インデクスの割り当ては、L0予測についてだけ行われる。
【０２０４】
また、対象ピクチャが、Bピクチャ（Bsピクチャを含む）である場合、上述したように、Bピクチャについては、インター予測として、L0予測とL1予測との両方が用いられることがあるので、参照インデクスの割り当ては、L0予測とL1予測との両方について行われる。
【０２０５】
ここで、L0予測についての参照インデクスを、L0インデクスともいい、L1予測についての参照インデクスを、L1インデクスともいう。
【０２０６】
対象ピクチャが、Pピクチャである場合、AVCのデフォルト（既定値）では、DPBに記憶された参照画像に対し、復号順が後の参照画像ほど、値が小さい参照インデクス（L0インデクス）が割り当てられる。
【０２０７】
参照インデクスは、0以上の整数値であり、最小値は、0である。したがって、対象ピクチャが、Pピクチャである場合には、対象ピクチャの直前に復号された参照画像に、L0インデクスとして、0が割り当てられる。
【０２０８】
対象ピクチャが、Bピクチャ（Bsピクチャを含む）である場合、AVCのデフォルトでは、DPBに記憶された参照画像に対し、POC(Picture Order Count)順、つまり、表示順に、参照インデクス（L0インデクス、及び、L1インデクス）が割り当てられる。
【０２０９】
すなわち、L0予測については、表示順で、対象ピクチャの時間的に前の参照画像に対し、対象ピクチャに近い参照画像ほど、値が小さいL0インデクスが割り当てられ、その後、表示順で、対象ピクチャの時間的に後の参照画像に対し、対象ピクチャに近い参照画像ほど、値が小さいL0インデクスが割り当てられる。
【０２１０】
また、L1予測については、表示順で、対象ピクチャの時間的に後の参照画像に対し、対象ピクチャに近い参照画像ほど、値が小さいL1インデクスが割り当てられ、その後、表示順で、対象ピクチャの時間的に前の参照画像に対し、対象ピクチャに近い参照画像ほど、値が小さいL1インデクスが割り当てられる。
【０２１１】
なお、以上のAVCのデフォルトでの参照インデクス（L0インデクス、及び、L1インデクス）の割り当ては、短時間参照画像を対象として行われる。長時間参照画像への参照インデクスの割り当ては、短時間参照画像に、参照インデクスが割り当てられた後に行われる。
【０２１２】
したがって、AVCのデフォルトでは、長時間参照画像には、短時間参照画像よりも大きい値の参照インデクスが割り当てられる。
【０２１３】
AVCにおいて、参照インデクスの割り当てとしては、以上のようなデフォルトの方法で割り当てを行う他、Reference Picture List Reorderingと呼ばれるコマンド（以下、RPLRコマンドともいう）を用いて、任意の割り当てを行うことができる。
【０２１４】
なお、RPLRコマンドを用いて、参照インデクスの割り当てが行われた後、参照インデクスが割り当てられていない参照画像がある場合には、その参照画像には、参照インデクスが、デフォルトの方法で割り当てられる。
【０２１５】
MVC(AVC)では、対象ブロックXのずれベクトルmvXの予測ベクトルPMVXは、図１１に示すように、対象ブロックXの左に隣接するマクロブロックA、上に隣接するマクロブロックB、及び、右斜め上に隣接するマクロブロックCそれぞれの予測用の参照インデクス（マクロブロックA，B、及び、Cそれぞれの予測画像の生成に用いられた参照画像に割り当てられている参照インデクス）によって異なる方法で求められる。
【０２１６】
すなわち、いま、対象ブロックXの予測用の参照インデクスref_idxが、例えば、0であるとする。
【０２１７】
図１１のＡに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0であるマクロブロックが、１つだけ存在する場合には、その１つのマクロブロック（予測用の参照インデクスref_idxが0のマクロブロック）のずれベクトルが、対象ブロックXのずれベクトルmvXの予測ベクトルPMVXとされる。
【０２１８】
ここで、図１１のＡでは、対象ブロックXに隣接する３つのマクロブロックAないしCのうちの、マクロブロックBだけが、予測用の参照インデクスref_idxが0のマクロブロックになっており、そのため、マクロブロックAのずれベクトルmvBが、対象ブロックX（のずれベクトルmvX）の予測ベクトルPMVXとされる。
【０２１９】
また、図１１のＢに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0であるマクロブロックが、２つ以上存在する場合には、その、予測用の参照インデクスref_idxが0の２つ以上のマクロブロックのずれベクトルのメディアンが、対象ブロックXの予測ベクトルPMVXとされる。
【０２２０】
ここで、図１１のＢでは、対象ブロックXに隣接する３つのマクロブロックAないしCのすべてが、予測用の参照インデクスref_idxが0のマクロブロックになっており、そのため、マクロブロックAのずれベクトルmvA、マクロブロックBのずれベクトルmvB、及び、マクロブロックCのずれベクトルmvCのメディアンmed(mvA,mvB,mvC)が、対象ブロックXの予測ベクトルPMVXとされる。なお、メディアンmed(mvA,mvB,mvC)の計算は、X成分とｙ成分とについて、別個（独立）に行われる。
【０２２１】
また、図１１のＣに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0であるマクロブロックが、１つも存在しない場合には、0ベクトルが、対象ブロックXの予測ベクトルPMVXとされる。
【０２２２】
ここで、図１１のＣでは、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが0のマクロブロックは存在しないので、0ベクトルが、対象ブロックXの予測ベクトルPMVXとされる。
【０２２３】
なお、MVC(AVC)では、対象ブロックXの予測用の参照インデクスref_idxが0である場合、対象ブロックXをスキップマクロブロック（スキップモード）として符号化することができる。
【０２２４】
スキップマクロブロックについては、対象ブロックの残差も、残差ベクトルも符号化されない。そして、復号時には、予測ベクトルが、そのまま、スキップマクロブロックのずれベクトルに採用され、参照画像の、スキップマクロブロックの位置からずれベクトル（予測ベクトル）だけずれた位置のブロック（対応ブロック）のコピーが、スキップマクロブロックの復号結果とされる。
【０２２５】
対象ブロックをスキップマクロブロックとするか否かは、エンコーダの仕様によるが、例えば、符号化データの符号量や、対象ブロックの符号化コスト等に基づいて決定（判定）される。
【０２２６】
［インター予測部１２３の構成例］
【０２２７】
図１２は、図９のエンコーダ４２のインター予測部１２３の構成例を示すブロック図である。
【０２２８】
インター予測部１２３は、視差予測部１３１及び時間予測部１３２を有する。
【０２２９】
ここで、図１２において、DPB４３には、デブロッキングフィルタ１２１から、デコード画像、すなわち、エンコーダ４２において符号化されてローカルデコードされたパッキング色画像（以下、デコードパッキング色画像ともいう）のピクチャが供給され、参照画像（となりうるピクチャ）として記憶される。
【０２３０】
また、DPB４３には、図５や図９で説明したように、エンコーダ４１において符号化されてローカルデコードされた中央視点色画像（以下、デコード中央視点色画像ともいう）のピクチャも供給されて記憶される。
【０２３１】
エンコーダ４２では、デブロッキングフィルタ１２１からのデコードパッキング色画像のピクチャの他、エンコーダ４１で得られるデコード中央視点色画像のピクチャが、符号化対象であるパッキング色画像の符号化（のための予測画像の生成）に用いられる。このため、図１２では、エンコーダ４１で得られるデコード中央視点色画像が、DPB４３に供給されることを示す矢印を、図示してある。  
【０２３２】
視差予測部１３１には、画面並び替えバッファ１１２から、パッキング色画像の対象ピクチャが供給される。
【０２３３】
視差予測部１３１は、画面並び替えバッファ１１２からのパッキング色画像の対象ピクチャの対象ブロックの視差予測を、DPB４３に記憶されたデコード中央視点色画像のピクチャ（対象ピクチャと同一時刻のピクチャ）を参照画像として用いて行い、対象ブロックの予測画像を生成する。
【０２３４】
すなわち、視差予測部１３１は、DPB４３に記憶されたデコード中央視点色画像のピクチャを参照画像として、MEを行うことにより、対象ブロックの視差ベクトルを求める。
【０２３５】
さらに、視差予測部１３１は、対象ブロックの視差ベクトルに従って、DPB４３に記憶されたデコード中央視点色画像のピクチャを参照画像とするMCを行うことにより、対象ブロックの予測画像を生成する。
【０２３６】
また、視差予測部１３１は、各マクロブロックタイプについて、参照画像から視差予測によって得られる予測画像を用いた対象ブロックの符号化（予測符号化）に要する符号化コストを算出する。
【０２３７】
そして、視差予測部１３１は、符号化コストが最小のマクロブロックタイプを、最適インター予測モードとして選択し、その最適インター予測モードで生成された予測画像（視差予測画像）を、予測画像選択部１２４に供給する。
【０２３８】
さらに、視差予測部１３１は、最適インター予測モード等の情報を、ヘッダ情報として、予測画像選択部１２４に供給する。
【０２３９】
なお、上述したように、参照画像には、参照インデクスが割り当てられており、視差予測部１３１において、最適インター予測モードで生成された予測画像を生成するときに参照された参照画像に割り当てられた参照インデクスは、対象ブロックの予測用の参照インデクスとして選択され、ヘッダ情報の１つとして、予測画像選択部１２４に供給される。
【０２４０】
時間予測部１３２には、画面並び替えバッファ１１２から、パッキング色画像の対象ピクチャが供給される。
【０２４１】
時間予測部１３２は、画面並び替えバッファ１１２からのパッキング色画像の対象ピクチャの対象ブロックの時間予測を、DPB４３に記憶されたデコードパッキング色画像のピクチャ（対象ピクチャと異なる時刻のピクチャ）を参照画像として用いて行い、対象ブロックの予測画像を生成する。
【０２４２】
すなわち、時間予測部１３２は、DPB４３に記憶されたデコードパッキング色画像のピクチャを参照画像として、MEを行うことにより、対象ブロックの動きベクトルを求める。
【０２４３】
さらに、時間予測部１３２は、対象ブロックの動きベクトルに従って、DPB４３に記憶されたデコードパッキング色画像のピクチャを参照画像とするMCを行うことにより、対象ブロックの予測画像を生成する。
【０２４４】
また、時間予測部１３２は、各マクロブロックタイプについて、参照画像から時間予測によって得られる予測画像を用いた対象ブロックの符号化（予測符号化）に要する符号化コストを算出する。
【０２４５】
そして、時間予測部１３２は、符号化コストが最小のマクロブロックタイプを、最適インター予測モードとして選択し、その最適インター予測モードで生成された予測画像（時間予測画像）を、予測画像選択部１２４に供給する。
【０２４６】
さらに、時間予測部１３２は、最適インター予測モード等の情報を、ヘッダ情報として、予測画像選択部１２４に供給する。
【０２４７】
なお、上述したように、参照画像には、参照インデクスが割り当てられており、時間予測部１３２において、最適インター予測モードで生成された予測画像を生成するときに参照された参照画像に割り当てられた参照インデクスは、対象ブロックの予測用の参照インデクスとして選択され、ヘッダ情報の１つとして、予測画像選択部１２４に供給される。
【０２４８】
予測画像選択部１２４では、例えば、画面内予測部１２２、並びに、インター予測部１２３を構成する視差予測部１３１、及び、時間予測部１３２それぞれからの予測画像のうちの、符号化コストが最小の予測画像が選択され、演算部１１３、及び、１２０に供給される。
【０２４９】
ここで、本実施の形態では、例えば、視差予測で参照される参照画像（ここでは、デコード中央視点色画像のピクチャ）には、値が1の参照インデクスが割り当てられ、時間予測で参照される参照画像（ここでは、デコードパッキング色画像のピクチャ）には、値が0の参照インデクスが割り当てられることとする。
【０２５０】
［視差予測部１３１の構成例］
【０２５１】
図１３は、図１２の視差予測部１３１の構成例を示すブロック図である。
【０２５２】
図１３において、視差予測部１３１は、視差検出部１４１、視差補償部１４２、予測情報バッファ１４３、コスト関数算出部１４４、及び、モード選択部１４５を有する。
【０２５３】
視差検出部１４１には、DPB４３から、参照画像としてのデコード中央視点色画像のピクチャが供給されるとともに、画面並び替えバッファ１１２から、符号化対象のパッキング色画像のピクチャ（対象ピクチャ）が供給される。
【０２５４】
視差検出部１４１は、対象ブロックと、参照画像であるデコード中央視点色画像のピクチャとを用いてMEを行うことにより、対象ブロックと、デコード中央視点色画像のピクチャにおいて、例えば、対象ブロックとのSAD等を最小にする等の符号化効率を最も良くする対応ブロックとのずれを表す視差ベクトルmvを、マクロブロックタイプごとに検出し、視差補償部１４２に供給する。
【０２５５】
視差補償部１４２には、視差検出部１４１から、視差ベクトルmvが供給される他、DPB４３から、参照画像としてのデコード中央視点色画像のピクチャが供給される。
【０２５６】
視差補償部１４２は、DPB４３からの参照画像の視差補償を、視差検出部１４１からの対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を、マクロブロックタイプごとに生成する。
【０２５７】
すなわち、視差補償部１４２は、参照画像としてのデコード中央視点色画像のピクチャの、対象ブロックの位置から、視差ベクトルmvだけずれた位置のブロック（領域）である対応ブロックを、予測画像として取得する。
【０２５８】
また、視差補償部１４２は、既に符号化済みの、対象ブロックの周辺のマクロブロックの視差ベクトル等を必要に応じて用いて、対象ブロックの視差ベクトルmvの予測ベクトルPMVを求める。
【０２５９】
さらに、視差補償部１４２は、対象ブロックの視差ベクトルmvと、その予測ベクトルPMVとの差分である残差ベクトルを求める。
【０２６０】
そして、視差補償部１４２は、マクロブロックタイプ等の予測モードごとの対象ブロックの予測画像を、その対象ブロックの残差ベクトル、及び、予測画像を生成するのに用いた参照画像（ここでは、デコード中央視点色画像のピクチャ）に割り当てられている参照インデクスとともに、予測モードと対応付けて、予測情報バッファ１４３、及び、コスト関数算出部１４４に供給する。
【０２６１】
予測情報バッファ１４３は、視差補償部１４２からの、予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、その予測モードとともに、予測情報として、一時記憶する。
【０２６２】
コスト関数算出部１４４には、視差補償部１４２から、予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスが供給されるとともに、画面並び替え部バッファ１１２から、パッキング色画像の対象ピクチャが供給される。
【０２６３】
コスト関数算出部１４４は、予測モードとしてのマクロブロックタイプ（図１０）ごとに、画面並び替えバッファ１１２からの対象ピクチャの対象ブロックの符号化に要する符号化コストを、符号化コストを算出する所定のコスト関数に従って求める。
【０２６４】
すなわち、コスト関数算出部１４４は、視差補償部１４２からの残差ベクトルの符号量に対応する値MVを求めるとともに、視差補償部１４２からの参照インデクス（予測用の参照インデクス）の符号量に対応する値INを求める。
【０２６５】
さらに、コスト関数算出部１４４は、視差補償部１４２からの予測画像に対する、対象ブロックの残差の符号量に対応する値DであるSADを求める。
【０２６６】
そして、コスト関数算出部１４４は、例えば、λ1及びλ2を重みとして、式COST＝D＋λ1×MV＋λ2×INに従い、マクロブロックタイプごとの符号化コスト（コスト関数のコスト関数値）COSTを求める。
【０２６７】
コスト関数算出部１４４は、マクロブロックタイプごとの符号化コスト（コスト関数値）を求めると、その符号化コストを、モード選択部１４５に供給する。
【０２６８】
モード選択部１４５は、コスト関数算出部１４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。
【０２６９】
さらに、モード選択部１４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択する。
【０２７０】
そして、モード選択部１４５は、最適インター予測モードである予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報バッファ１４３から読み出し、最適インター予測モードである予測モードとともに、予測画像選択部１２４に供給する。
【０２７１】
ここで、モード選択部１４５から予測画像選択部１２４に供給される予測モード（最適インター予測モード）、残差ベクトル、及び、参照インデクス（予測用の参照インデクス）が、インター予測（ここでは、視差予測）に関する予測モード関連情報であり、予測画像選択部１２４では、このインター予測に関する予測モード関連情報が、必要に応じて、ヘッダ情報として、可変長符号化部１１６（図９）に供給される。
【０２７２】
なお、図１２の時間予測部１３２では、参照画像が、デコード中央視点色画像のピクチャではなく、デコードパッキング色画像のピクチャであることを除き、図１３の視差予測部１３１と同様の処理が行われる。
【０２７３】
［復号装置３２Ｃの構成例］
【０２７４】
図１４は、図３の復号装置３２Ｃの構成例を示すブロック図である。
【０２７５】
図１４の復号装置３２Ｃは、逆多重化装置３１（図３）からの多視点色画像符号化データである中央視点色画像、及び、パッキング色画像の符号化データを、MVCで復号する。
【０２７６】
図１４において、復号装置３２Ｃは、デコーダ２１１及び２１２、並びに、DPB２１３を有する。
【０２７７】
デコーダ２１１には、逆多重化装置３１（図３）からの多視点色画像符号化データのうちの、ベースビューの画像である中央視点色画像の符号化データが供給される。
【０２７８】
デコーダ２１１は、そこに供給される中央視点色画像の符号化データを、MVCで復号し、その結果得られる中央視点色画像を出力する。
【０２７９】
デコーダ２１２には、逆多重化装置３１（図３）からの多視点色画像符号化データのうちの、ノンベースビューの画像であるパッキング色画像の符号化データが供給される。
【０２８０】
デコーダ２１２は、そこに供給されるパッキング色画像の符号化データを、MVCで
復号し、その結果得られるパッキング色画像を出力する。
【０２８１】
ここで、デコーダ２１１が出力する中央視点色画像と、デコーダ２１２が出力するパッキング色画像とは、解像度変換多視点色画像として、解像度逆変換装置３３Ｃ（図３）に供給される。
【０２８２】
DPB２１３は、デコーダ２１１及び２１２それぞれで、復号対象の画像を復号することにより得られる復号後の画像（デコード画像）を、予測画像の生成時に参照する参照画像（の候補）として一時記憶する。
【０２８３】
すなわち、デコーダ２１１及び２１２は、それぞれ、図５のエンコーダ４１及び４２で予測符号化された画像を復号する。
【０２８４】
予測符号化された画像を復号するには、その予測符号化で用いられた予測画像が必要であるため、デコーダ２１１及び２１２は、予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる、復号後の画像を、DPB２１３に一時記憶させる。
【０２８５】
DPB２１３は、デコーダ２１１及び２１２それぞれで得られる復号後の画像（デコード画像）を一時記憶する共用のバッファであり、デコーダ２１１及び２１２それぞれは、DPB２１３に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照画像を選択し、その参照画像を用いて、予測画像を生成する。
【０２８６】
DPB２１３は、デコーダ２１１及び２１２で共用されるので、デコーダ２１１及び２１２それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。
【０２８７】
但し、デコーダ２１１は、ベースビューの画像を復号するので、デコーダ２１１で得られたデコード画像のみを参照する（視差予測を行わない）。
【０２８８】
［デコーダ２１２の構成例］
【０２８９】
図１５は、図１４のデコーダ２１２の構成例を示すブロック図である。
【０２９０】
図１５において、デコーダ２１２は、蓄積バッファ２４１、可変長復号部２４２、逆量子化部２４３、逆直交変換部２４４、演算部２４５、デブロッキングフィルタ２４６、画面並び替えバッファ２４７、D/A変換部２４８、画面内予測部２４９、インター予測部２５０、及び、予測画像選択部２５１を有する。
【０２９１】
蓄積バッファ２４１には、逆多重化装置３１から、多視点色画像符号化データを構成する中央視点色画像、及び、パッキング色画像の符号化データのうちの、パッキング色画像の符号化データが供給される。
【０２９２】
蓄積バッファ２４１は、そこに供給される符号化データを一時記憶し、可変長復号部２４２に供給する。
【０２９３】
可変長復号部２４２は、蓄積バッファ２４１からの符号化データを可変長復号することにより、量子化値やヘッダ情報になっている予測モード関連情報を復元する。そして、可変長復号部２４２は、量子化値を、逆量子化部２４３に供給し、ヘッダ情報（予測モード関連情報）を、画面内予測部２４９、及び、インター予測部２５０に供給する。
【０２９４】
逆量子化部２４３は、可変長復号部２４２からの量子化値を、変換係数に逆量子化し、逆直交変換部２４４に供給する。
【０２９５】
逆直交変換部２４４は、逆量子化部２４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部２４５に供給する。
【０２９６】
演算部２４５は、逆直交変換部２４４から供給されるマクロブロックを復号対象の対象ブロックとして、その対象ブロックに対して、必要に応じて、予測画像選択部２５１から供給される予測画像を加算することで、デコード画像を求め、デブロッキングフィルタ２４６に供給する。
【０２９７】
デブロッキングフィルタ２４６は、演算部２４５からのデコード画像に対して、例えば、図９のデブロッキングフィルタ１２１と同様のフィルタリングを行い、そのフィルタリング後のデコード画像を、画面並び替えバッファ２４７に供給する。
【０２９８】
画面並び替えバッファ２４７は、デブロッキングフィルタ２４６からのデコード画像のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、D/A(Digital/Analog)変換部２４８に供給する。
【０２９９】
D/A変換部２４８は、画面並び替えバッファ２４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
【０３００】
また、デブロッキングフィルタ２４６は、フィルタリング後のデコード画像のうちの、参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像を、DPB２１３に供給する。
【０３０１】
ここで、DPB２１３は、デブロッキングフィルタ２４６からのデコード画像のピクチャ、すなわち、パッキング色画像のピクチャを、時間的に後に行われる復号に用いる予測画像を生成するときに参照する参照画像として記憶する。
【０３０２】
図１４で説明したように、DPB２１３は、デコーダ２１１及び２１２で共用されるので、デコーダ２１２において復号されたパッキング色画像（デコードパッキング色画像）のピクチャの他、デコーダ２１１において復号された中央視点色画像（デコード中央視点色画像）のピクチャも記憶する。
【０３０３】
画面内予測部２４９は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックが、イントラ予測（画面内予測）で生成された予測画像を用いて符号化されているかどうかを認識する。
【０３０４】
対象ブロックが、イントラ予測で生成された予測画像を用いて符号化されている場合、画面内予測部２４９は、図９の画面内予測部１２２と同様に、DPB２１３から、対象ブロックを含むピクチャ（対象ピクチャ）のうちの、既に復号されている部分（デコード画像）を読み出す。そして、画面内予測部２４９は、DPB２１３から読み出した、対象ピクチャのうちのデコード画像の一部を、対象ブロックの予測画像として、予測画像選択部２５１に供給する。
【０３０５】
インター予測部２５０は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックが、インター予測で生成された予測画像を用いて符号化されているかどうかを認識する。
【０３０６】
対象ブロックが、インター予測で生成された予測画像を用いて符号化されている場合、インター予測部２５０は、可変長復号部２４２からのヘッダ情報（予測モード関連情報）に基づき、予測用の参照インデクス、すなわち、対象ブロックの予測画像の生成に用いられた参照画像に割り当てられている参照インデクスを認識する。
【０３０７】
そして、インター予測部２５０は、DPB２１３に記憶されているデコードパッキン色画像のピクチャ、及び、デコード中央視点色画像のピクチャから、予測用の参照インデクスが割り当てられているピクチャを、参照画像として読み出す。
【０３０８】
さらに、インター予測部２５０は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられたずれベクトル（視差ベクトル、動きベクトル）を認識し、図９のインター予測部１２３と同様に、そのずれベクトルに従って、参照画像のずれ補償（動き分のずれを補償する動き補償、又は、視差分のずれを補償する視差補償）を行うことで、予測画像を生成する。
【０３０９】
すなわち、インター予測部２５０は、参照画像の、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
【０３１０】
そして、インター予測部２５０は、予測画像を、予測画像選択部２５１に供給する。
【０３１１】
予測画像選択部２５１は、画面内予測部２４９から予測画像が供給される場合には、その予測画像を、インター予測部２５０から予測画像が供給される場合には、その予測画像を、それぞれ選択し、演算部２４５に供給する。
【０３１２】
［インター予測部２５０の構成例］
【０３１３】
図１６は、図１５のデコーダ２１２のインター予測部２５０の構成例を示すブロック図である。
【０３１４】
図１６において、インター予測部２５０は、参照インデクス処理部２６０、視差予測部２６１、及び、時間予測部２６２を有する。
【０３１５】
ここで、図１６において、DPB２１３には、デブロッキングフィルタ２４６から、デコード画像、すなわち、デコーダ２１２において復号されたデコードパッキング色画像のピクチャが供給され、参照画像として記憶される。
【０３１６】
また、DPB２１３には、図１４や図１５で説明したように、デコーダ２１１において復号されたデコード中央視点色画像のピクチャも供給されて記憶される。このため、図１６では、デコーダ２１１で得られるデコード中央視点色画像が、DPB２１３に供給されることを示す矢印を、図示してある。
【０３１７】
参照インデクス処理部２６０には、可変長復号部２４２からのヘッダ情報である予測モード関連情報のうちの、対象ブロックの（予測用の）参照インデクスが供給される。
【０３１８】
参照インデクス処理部２６０は、可変長復号部２４２からの対象ブロックの予測用の参照インデクスが割り当てられているデコード中央視点色画像のピクチャ、又は、デコードパッキング色画像のピクチャを、DPB２１３から読み出し、視差予測部２６１、又は、時間予測部２６２に供給する。
【０３１９】
ここで、本実施の形態では、図１２で説明したように、エンコーダ４２において、視差予測で参照される参照画像であるデコード中央視点色画像のピクチャには、値が1の参照インデクスが割り当てられ、時間予測で参照される参照画像であるデコードパッキング色画像のピクチャには、値が0の参照インデクスが割り当てられる。
【０３２０】
したがって、対象ブロックの予測用の参照インデクスによって、その対象ブロックの予測画像の生成に用いられる参照画像となるデコード中央視点色画像のピクチャ、又は、デコードパッキング色画像のピクチャを認識することができ、さらに、対象ブロックの予測画像を生成するときに行うずれ予測が、時間予測、及び、視差予測のうちのいずれであるかも認識することができる。
【０３２１】
参照インデクス処理部２６０は、可変長復号部２４２からの対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコード中央視点色画像のピクチャである場合（予測用の参照インデクスが1である場合）、対象ブロックの予測画像は、視差予測により生成されるので、予測用の参照インデクス（に一致する参照インデクス）が割り当てられているデコード中央視点色画像のピクチャを、DPB２１３から参照画像として読み出し、視差予測部２６１に供給する。
【０３２２】
また、参照インデクス処理部２６０は、可変長復号部２４２からの対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコードパッキング色画像のピクチャである場合（予測用の参照インデクスが0である場合）、対象ブロックの予測画像は、時間予測により生成されるので、予測用の参照インデクス（に一致する参照インデクス）が割り当てられているデコードパッキング色画像のピクチャを、DPB２１３から参照画像として読み出し、時間予測部２６２に供給する。
【０３２３】
視差予測部２６１には、可変長復号部２４２からのヘッダ情報である予測モード関連情報が供給される。
【０３２４】
視差予測部２６１は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックが、視差予測で生成された予測画像を用いて符号化されているかどうかを認識する。
【０３２５】
対象ブロックが、視差予測で生成された予測画像を用いて符号化されている場合、視差予測部２６１は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられた視差ベクトルを復元し、図１２の視差予測部１３１と同様に、その視差ベクトルに従って、視差予測（視差補償）を行うことで、予測画像を生成する。
【０３２６】
すなわち、対象ブロックが、視差予測で生成された予測画像を用いて符号化されている場合、上述したように、視差予測部２６１には、参照インデクス処理部２６０から、参照画像としてのデコード中央視点色画像のピクチャが供給される。
【０３２７】
視差予測部２６１は、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャの、対象ブロックの位置から、その対象ブロックの視差ベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
【０３２８】
そして、視差予測部２６１は、予測画像を、予測画像選択部２５１に供給する。
【０３２９】
時間予測部２６２には、可変長復号部２４２からのヘッダ情報である予測モード関連情報が供給される。
【０３３０】
時間予測部２６２は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックが、時間予測で生成された予測画像を用いて符号化されているかどうかを認識する。
【０３３１】
対象ブロックが、時間予測で生成された予測画像を用いて符号化されている場合、時間予測部２６２は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられた動きベクトルを復元し、図１２の時間予測部１３２と同様に、その動きベクトルに従って、時間予測（動き補償）を行うことで、予測画像を生成する。
【０３３２】
すなわち、対象ブロックが、時間予測で生成された予測画像を用いて符号化されている場合、上述したように、時間予測部２６２には、参照インデクス処理部２６０から、参照画像としてのデコードパッキング色画像のピクチャが供給される。
【０３３３】
時間予測部２６２は、参照インデクス処理部２６０からの参照画像としてのデコードパッキング色画像のピクチャの、対象ブロックの位置から、その対象ブロックの動きベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
【０３３４】
そして、時間予測部２６２は、予測画像を、予測画像選択部２５１に供給する。
【０３３５】
［視差予測部２６１の構成例］
【０３３６】
図１７は、図１６の視差予測部２６１の構成例を示すブロック図である。
【０３３７】
図１７において、視差予測部２６１は、視差補償部２７２を有する。
【０３３８】
視差補償部２７２には、参照インデクス処理部２６０から、参照画像としてのデコード中央視点色画像が供給されるとともに、可変長復号部２４２から、ヘッダ情報としてのモード関連情報に含まれる予測モード、及び、残差ベクトルが供給される。
【０３３９】
視差補償部２７２は、既に復号されたマクロブロックの視差ベクトルを必要に応じて用いて、対象ブロックの視差ベクトルの予測ベクトルを求め、その予測ベクトルと、可変長復号部２４２からの対象ブロックの残差ベクトルとを加算することで、対象ブロックの視差ベクトルmvを復元する。
【０３４０】
さらに、視差補償部２７２は、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャの視差補償を、対象ブロックの視差ベクトルmvを用いて行うことで、可変長復号部２４２からの予測モードが表すマクロブロックタイプについて、対象ブロックの予測画像を生成する。
【０３４１】
すなわち、視差補償部２７２は、デコード中央視点色画像のピクチャの、対象ブロックの位置から、視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像として取得する。
【０３４２】
そして、視差補償部２７２は、予測画像を、予測画像選択部２５１に供給する。
【０３４３】
なお、図１６の時間予測部２６２では、参照画像が、デコード中央視点色画像のピクチャではなく、デコードパッキング色画像のピクチャであることを除き、図１７の視差予測部２６１と同様の処理が行われる。
【０３４４】
以上のように、MVCでは、ノンベースビューの画像については、時間予測の他、視差予測も行うことができるので、符号化効率を向上させることができる。
【０３４５】
しかしながら、上述したように、ノンベースビューの画像が、パッキング色画像であり、視差予測で参照される（参照されうる）ベースビューの画像が、中央視点色画像である場合には、視差予測の予測精度（予測効率）が低下することがある。
【０３４６】
すなわち、いま、説明を簡単にするために、中央視点色画像、左視点色画像、及び、右視点色画像の横と縦との解像度比（横の画素数と縦の画素数との比）が、1:1であるとする。
【０３４７】
パッキング色画像は、例えば、図４で説明したように、左視点色画像、及び、右視点色画像それぞれの垂直解像度を1/2にし、その垂直解像度が1/2にされた左視点色画像、及び、右視点色画像を、上下に並べて配置した１視点分の画像である。
【０３４８】
このため、エンコーダ４２（図９）において、符号化の対象となるパッキング色画像（符号化対象画像）の解像度比と、視差予測において、そのパッキング色画像の予測画像を生成する際に参照する、パッキング色画像とは異なる視点の参照画像である中央視点色画像（デコード中央視点色画像）の解像度比とは、合致（マッチ）しない。
【０３４９】
すなわち、パッキング色画像において、左視点色画像、及び、右視点色画像それぞれの垂直方向の解像度（垂直解像度）は、元の1/2になっており、したがって、パッキング色画像になっている左視点色画像、及び、右視点色画像の解像度比は、2:1になっている。
【０３５０】
これに対して、参照画像としての中央視点色画像の解像度比は、1:1であり、パッキング色画像になっている左視点色画像、及び、右視点色画像の解像度比である2:1と一致していない。
【０３５１】
このように、パッキング色画像の解像度比と、参照画像としての中央視点色画像の解像度比とが合致していない場合、すなわち、パッキング色画像になっている左視点色画像、及び、右視点色画像の解像度比と、参照画像としての中央視点色画像の解像度比とが一致していない場合、視差予測の予測精度が低下し（視差予測で生成される予測画像と、対象ブロックとの残差が大になり）、符号化効率が悪くなる。
【０３５２】
［送信装置１１の構成例］
【０３５３】
そこで、図１８は、図１の送信装置１１の他の構成例を示すブロック図である。
【０３５４】
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３５５】
図１８において、送信装置１１は、解像度変換装置３２１Ｃ及び３２１Ｄ、符号化装置３２２Ｃ及び３２２Ｄ、並びに、多重化装置２３を有する。
【０３５６】
したがって、図１８の送信装置１１は、多重化装置２３を有する点で、図２の場合と共通し、解像度変換装置２１Ｃ及び２１Ｄ、並びに、符号化装置２２Ｃ及び２２Ｄそれぞれに代えて、解像度変換装置３２１Ｃ及び３２１Ｄ、並びに、符号化装置３２２Ｃ及び３２２Ｄが設けられている点で、図２の場合と相違する。
【０３５７】
解像度変換装置３２１Ｃには、多視点色画像が供給される。
【０３５８】
解像度変換装置３２１Ｃは、例えば、図２の解像度変換装置２１Ｃと同様の処理を行う。
【０３５９】
すなわち、解像度変換装置３２１Ｃは、そこに供給される多視点色画像を、元の解像度より低い低解像度の解像度変換多視点色画像に変換する解像度変換を行い、その結果られる解像度変換多視点色画像を、符号化装置３２２Ｃに供給する。
【０３６０】
さらに、解像度変換装置３２１Ｃは、解像度変換情報を生成し、符号化装置３２２Ｃに供給する。
【０３６１】
ここで、解像度変換装置３２１Ｃが生成する解像度変換情報は、解像度変換装置３２１Ｃで行われる、多視点色画像の、解像度変換多視点色画像への解像度変換に関する情報であり、後段の符号化装置３２２Ｃにおいて、視差予測を用いた符号化の対象となる符号化対象画像であるパッキング色画像（を構成する左視点色画像、及び右視点色画像）と、その符号化対象画像の視差予測で参照される、符号化対象画像とは視点が異なる参照画像である中央視点色画像の解像度に関する解像度情報を含む。
【０３６２】
すなわち、符号化装置３２２Ｃでは、解像度変換装置３２１Ｃでの解像度変換の結果得られる解像度変換多視点色画像が符号化されるが、その符号化の対象である解像度変換多視点色画像は、図４で説明したように、中央視点色画像とパッキング色画像である。
【０３６３】
中央視点色画像とパッキング色画像のうち、視差予測を用いた符号化の対象となる符号化対象画像は、ノンベースビューの画像であるパッキング色画像であり、そのパッキング色画像の視差予測で参照される参照画像は、中央視点色画像である。
【０３６４】
したがって、解像度変換装置３２１Ｃが生成する解像度変換情報には、パッキング色画像、及び、中央視点色画像の解像度に関する情報が含まれる。
【０３６５】
符号化装置３２２Ｃは、解像度変換装置３２１Ｃから供給される解像度変換多視点色画像を、複数の視点の画像を伝送する規格である、例えば、MVC等の規格を拡張した拡張方式で符号化し、その結果得られる符号化データである多視点色画像符号化データを、多重化装置２３に供給する。
【０３６６】
なお、符号化装置３２２Ｃの符号化方式である拡張方式の元となる規格としては、MVCの他、複数の視点の画像を伝送することができる、例えば、HEVC(High Efficiency Video Coding)等の規格を採用することができる。
【０３６７】
解像度変換装置３２１Ｄには、多視点奥行き画像が供給される。
【０３６８】
解像度変換装置３２１Ｄ、及び、符号化装置３２２Ｄでは、色画像（多視点色画像）ではなく、奥行き画像（多視点奥行き画像）を、処理の対象として処理を行うことを除き、解像度変換装置３２１Ｃ、及び、符号化装置３２２Ｃと、それぞれ同様の処理が行われる。
【０３６９】
［受信装置１２の構成例］
【０３７０】
図１９は、図１の受信装置１２の他の構成例を示すブロック図である。
【０３７１】
すなわち、図１９は、図１の送信装置１１が図１８に示したように構成される場合の、図１の受信装置１２の構成例を示している。
【０３７２】
なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３７３】
図１９において、受信装置１２は、逆多重化装置３１、復号装置３３２Ｃ及び３３２Ｄ、並びに、解像度逆変換装置３３３Ｃ及び３３３Ｄを有する。
【０３７４】
したがって、図１９の受信装置１２は、逆多重化装置３１を有する点で、図３の場合と共通し、復号装置３２Ｃ及び３２Ｄ、並びに、解像度逆変換装置３３Ｃ及び３３Ｄそれぞれに代えて、復号装置３３２Ｃ及び３３２Ｄ、並びに、解像度逆変換装置３３３Ｃ及び３３３Ｄが設けられている点で、図３の場合と相違する。
【０３７５】
復号装置３３２Ｃは、逆多重化装置３１から供給される多視点色画像符号化データを、拡張方式で復号し、その結果得られる解像度変換多視点色画像、及び、解像度変換情報を、解像度逆変換装置３３３Ｃに供給する。
【０３７６】
解像度逆変換装置３３３Ｃは、復号装置３３２Ｃからの解像度変換多視点色画像を、同じく復号装置３３２Ｃからの解像度変換情報に基づいて元の解像度の多視点色画像に（逆）変換する解像度逆変換を行い、その結果得られる多視点色画像を出力する。
【０３７７】
復号装置３３２Ｄ、及び、解像度逆変換装置３３３Ｄは、多視点色画像符号化データ（解像度変換多視点色画像）ではなく、逆多重化装置３１からの多視点奥行き画像符号化データ（解像度変換多視点奥行き画像）を、処理の対象として処理を行うことを除き、復号装置３３２Ｃ、及び、解像度逆変換装置３３３Ｃと、それぞれ同様の処理を行う。
【０３７８】
［解像度変換、及び、解像度逆変換］
【０３７９】
図２０は、図１８の解像度変換装置３２１Ｃ（及び３２１Ｄ）が行う解像度変換、並びに、図１９の解像度逆変換装置３３３Ｃ（及び３３３Ｄ）が行う解像度逆変換を説明する図である。
【０３８０】
解像度変換装置３２１Ｃ（図１８）は、例えば、図２の解像度変換装置２１Ｃと同様に、そこに供給される多視点色画像である中央視点色画像、左視点色画像、及び、右視点色画像のうちの、例えば、中央視点色画像を、そのまま（解像度変換せずに）出力する。
【０３８１】
また、解像度変換装置３２１Ｃは、多視点色画像の残りの左視点色画像、及び、右視点色画像については、２つの視点の画像の解像度を低解像度に変換して、１視点分の画像に合成するパッキングを行うことにより、パッキング色画像を生成して出力する。
【０３８２】
すなわち、解像度変換装置３２１Ｃは、例えば、左視点色画像（のフレーム）、及び、右視点色画像（のフレーム）それぞれの垂直解像度（画素数）を1/2にし、その垂直解像度が1/2にされた左視点色画像、及び、右視点色画像それぞれの各ライン（水平ライン）を垂直方向に交互に並べて配置することにより、１視点分の画像（のフレーム）であるパッキング色画像を生成する。
【０３８３】
ここで、図２０では、解像度変換装置３２１Ｃにおいて、左視点色画像から、その左視点色画像の奇数ライン及び偶数ラインのうちの一方である、例えば、奇数ラインだけを抽出することにより、左視点色画像の垂直解像度が（元の）1/2にされている。
【０３８４】
さらに、解像度変換装置３２１Ｃでは、右視点色画像から、その右視点色画像の奇数ライン及び偶数ラインのうちの他方である偶数ラインだけを抽出することにより、右視点色画像の垂直解像度が1/2にされている。
【０３８５】
そして、解像度変換装置３２１Ｃでは、垂直解像度が1/2にされた左視点色画像のライン（以下、左視点ラインともいう）（元の左視点色画像の奇数ライン）を、奇数ラインのフィールドであるトップフィールドのラインとして配置するとともに、垂直解像度が1/2にされた右視点色画像のライン（以下、右視点ラインともいう）（元の右視点色画像の偶数ライン）を、偶数ラインのフィールドであるボトムフィールドのラインとして配置することにより、パッキング色画像（のフレーム）を生成する。
【０３８６】
ここで、図２０では、パッキング色画像の奇数ラインとして、左視点ラインを採用するとともに、パッキング色画像の偶数ラインとして、右視点ラインを採用することとしたが、パッキング色画像の奇数ラインとして、右視点ラインを採用するとともに、パッキング色画像の偶数ラインとして、左視点ラインを採用することができる。
【０３８７】
また、解像度変換装置３２１Ｃでは、左視点色画像の偶数ラインだけを抽出して、垂直解像度を1/2にすることができる。右視点色画像についても同様に、奇数ラインだけを抽出して、垂直解像度を1/2にすることができる。
【０３８８】
解像度変換装置３２１Ｃは、さらに、中央視点色画像の解像度が、元のままである旨や、パッキング色画像が、（垂直解像度が1/2にされた）左視点色画像の左視点ライン、及び、右視点色画像の右視点ラインを交互に並べた１視点分の画像である旨等を表す解像度変換情報を生成する。
【０３８９】
一方、解像度逆変換装置３３３Ｃ（図１９）は、そこに供給される解像度変換情報から、中央視点色画像の解像度が、元のままである旨や、パッキング色画像が、左視点色画像の左視点ライン、及び、右視点色画像の右視点ラインを交互に並べた１視点分の画像である旨等を認識する。
【０３９０】
そして、解像度逆変換装置３３３Ｃは、解像度変換情報から認識した情報に基づき、そこに供給される解像度変換多視点色画像である中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像を、そのまま出力する。
【０３９１】
また、解像度逆変換装置３３３Ｃは、解像度変換情報から認識した情報に基づき、そこに供給される解像度変換多視点色画像である中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像を、トップフィールドのラインである奇数ラインと、ボトムフィールドのラインである偶数ラインとに分離する。
【０３９２】
さらに、解像度逆変換装置３３３Ｃは、パッキング色画像を奇数ラインと偶数ラインとに分離することにより得られる、垂直解像度が1/2にされた左視点色画像、及び、右視点色画像の垂直解像度を、補間等によって、元の解像度に戻して出力する。
【０３９３】
なお、多視点色画像（及び多視点奥行き画像）は、４視点以上の画像であっても良い。多視点色画像が、４視点以上の画像である場合、上述のように、垂直解像度を1/2にした２つの視点の画像を、１視点分（のデータ量）の画像にパッキングしたパッキング色画像を、２つ以上生成することができる。また、垂直解像度を1/KにしたK個の視点以上の画像の各ラインを順番に、繰り返し並べて配置することにより、１視点分の画像にパッキングしたパッキング色画像を生成することができる。
【０３９４】
［送信装置１１の処理］
【０３９５】
図２１は、図１８の送信装置１１の処理を説明するフローチャートである。
【０３９６】
ステップＳ１１において、解像度変換装置３２１Ｃは、そこに供給される多視点色画像の解像度変換を行い、その結果得られる、中央視点色画像とパッキング色画像である解像度変換多視点色画像を、符号化装置３２２Ｃに供給する。
【０３９７】
さらに、解像度変換装置３２１Ｃは、解像度変換多視点色画像についての解像度変換情報を生成し、符号化装置３２２Ｃに供給して、処理は、ステップＳ１１からステップＳ１２に進む。
【０３９８】
ステップＳ１２では、解像度変換装置３２１Ｄは、そこに供給される多視点奥行き画像の解像度変換を行い、その結果得られる、中央視点奥行き画像とパッキング奥行き画像である解像度変換多視点奥行き画像を、符号化装置３２２Ｄに供給する。
【０３９９】
さらに、解像度変換装置３２１Ｄは、解像度変換多視点奥行き画像についての解像度変換情報を生成し、符号化装置３２２Ｄに供給して、処理は、ステップＳ１２からステップＳ１３に進む。
【０４００】
ステップＳ１３では、符号化装置３２２Ｃは、解像度変換装置３２１Ｃからの解像度変換情報を必要に応じて用いて、解像度変換装置３２１Ｃからの解像度変換多視点色画像を拡張方式で符号化し、その結果得られる符号化データである多視点色画像符号化データを、多重化装置２３に供給して、処理は、ステップＳ１４に進む。
【０４０１】
ステップＳ１４では、符号化装置３２２Ｄは、解像度変換装置３２１Ｄからの解像度変換情報を必要に応じて用いて、解像度変換装置３２１Ｄからの解像度変換多視点奥行き画像を拡張方式で符号化し、その結果得られる符号化データである多視点奥行き画像符号化データを、多重化装置２３に供給して、処理は、ステップＳ１５に進む。
【０４０２】
ステップＳ１５では、多重化装置２３は、符号化装置３２２Ｃからの多視点色画像符号化データと、符号化装置３２２Ｄからの多視点奥行き画像符号化データとを多重化し、その結果得られる多重化ビットストリームを出力する。
【０４０３】
［受信装置１２の処理］
【０４０４】
図２２は、図１９の受信装置１２の処理を説明するフローチャートである。
【０４０５】
ステップＳ２１において、逆多重化装置３１は、そこに供給される多重化ビットストリームの逆多重化を行うことにより、その多重化ビットストリームを、多視点色画像符号化データと、多視点奥行き画像符号化データとに分離する。
【０４０６】
そして、逆多重化装置３１は、多視点色画像符号化データを、復号装置３３２Ｃに供給し、多視点奥行き画像符号化データを、復号装置３３２Ｄに供給して、処理は、ステップＳ２１からステップＳ２２に進む。
【０４０７】
ステップＳ２２では、復号装置３３２Ｃは、逆多重化装置３１からの多視点色画像符号化データを、拡張方式で復号し、その結果得られる解像度変換多視点色画像、及び、その解像度変換多視点色画像についての解像度変換情報を、解像度逆変換装置３３３Ｃに供給して、処理は、ステップＳ２３に進む。
【０４０８】
ステップＳ２３では、復号装置３３２Ｄは、逆多重化装置３１からの多視点奥行き画像符号化データを、拡張方式で復号し、その結果得られる解像度変換多視点奥行き画像、及び、その解像度変換多視点奥行き画像についての解像度変換情報を、解像度逆変換装置３３３Ｄに供給して、処理は、ステップＳ２４に進む。
【０４０９】
ステップＳ２４では、解像度逆変換装置３３３Ｃは、復号装置３３２Ｃからの解像度変換多視点色画像を、同じく復号装置３３２Ｃからの解像度変換情報に基づいて元の解像度の多視点色画像に逆変換する解像度逆変換を行い、その結果得られる多視点色画像を出力して、処理は、ステップＳ２５に進む。
【０４１０】
ステップＳ２５では、解像度逆変換装置３３３Ｄは、復号装置３３２Ｄからの解像度変換多視点奥行き画像を、同じく復号装置３３２Ｄからの解像度変換情報に基づいて元の解像度の多視点奥行き画像に逆変換する解像度逆変換を行い、その結果得られる多視点奥行き画像を出力する。
【０４１１】
［符号化装置３２２Ｃの構成例］
【０４１２】
図２３は、図１８の符号化装置３２２Ｃの構成例を示すブロック図である。
【０４１３】
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４１４】
図２３において、符号化装置３２２Ｃは、エンコーダ３４１及び３４２、並びに、DPB４３を有する。
【０４１５】
したがって、図２３の符号化装置３２２Ｃは、DPB４３を有する点で、図５の符号化装置２２Ｃと共通し、エンコーダ４１及び４２に代えて、エンコーダ３４１及び３４２がそれぞれ設けられている点で、図５の符号化装置２２Ｃと相違する。
【０４１６】
エンコーダ３４１には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像（のフレーム）が供給される。
【０４１７】
エンコーダ３４２には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像（のフレーム）が供給される。
【０４１８】
さらに、エンコーダ３４１及び３４２には、解像度変換装置３２１Ｃからの解像度変換情報が供給される。
【０４１９】
エンコーダ３４１は、図５のエンコーダ４１と同様に、中央視点色画像を、ベースビューの画像として、MVC(AVC)を拡張した拡張方式で符号化し、その結果得られる中央視点色画像の符号化データを出力する。
【０４２０】
エンコーダ３４２は、図５のエンコーダ４２と同様に、パッキング色画像を、ノンベースビューの画像として、拡張方式で符号化し、その結果得られるパッキング色画像の符号化データを出力する。
【０４２１】
エンコーダ３４１及び３４２は、以上のように、拡張方式での符号化を行うが、拡張方式では、1フィールドを1ピクチャとして符号化を行うフィールド符号化モードと、1フレームを1ピクチャとして符号化を行うフレーム符号化モードとのうちのいずれを、ピクチャを符号化するときの符号化モードとして採用するかが、解像度変換装置３２１Ｃからの解像度変換情報に基づいて設定される。
【０４２２】
ここで、AVCでは、同一アクセスユニット内に存在するスライスヘッダに関して、field_pic_flagとbottom_field_flagは、すべて同じ値でなければならないことが規定されており、したがって、AVCを拡張したMVCにおいて、ベースビューの画像と、ノンベースビューの画像との間では、符号化モードは、一致している必要がある。
【０４２３】
MVCを拡張した拡張方式では、ベースビューの画像と、ノンベースビューの画像との符号化モードは一致している必要はないが、本実施の形態では、拡張方式の元となる規格（ここでは、MVC）との親和性を図るべく、ベースビューの画像と、ノンベースビューの画像との符号化モードは、一致させることとする。
【０４２４】
したがって、エンコーダ３４１及びエンコーダ３４２では、一方の符号化モードが、フィールド符号化モードに設定されるときには、他方の符号化モードも、フィールド符号化モードに設定され、一方の符号化モードが、フレーム符号化モードに設定されるときには、他方の符号化モードも、フレーム符号化モードに設定される。
【０４２５】
エンコーダ３４１が出力する中央視点色画像の符号化データと、エンコーダ３４２が出力するパッキング色画像の符号化データとは、多視点色画像符号化データとして、多重化装置２３（図１８）に供給される。
【０４２６】
ここで、図２３において、DPB４３は、エンコーダ３４１及び３４２で共用される。
【０４２７】
すなわち、エンコーダ３４１及び３４２は、符号化対象の画像を、MVCと同様に予測符号化する。そのため、エンコーダ３４１及び３４２は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
【０４２８】
そして、DPB４３では、エンコーダ３４１及び３４２それぞれで得られるデコード画像が一時記憶される。
【０４２９】
エンコーダ３４１及び３４２それぞれは、DPB４３に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照画像を選択する。そして、エンコーダ３４１及び３４２それぞれは、参照画像を用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
【０４３０】
したがって、エンコーダ３４１及び３４２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
【０４３１】
但し、上述したように、エンコーダ３４１は、ベースビューの画像を符号化するので、エンコーダ３４１で得られたデコード画像のみを参照する。
【０４３２】
［エンコーダ３４２の構成例］
【０４３３】
図２４は、図２３のエンコーダ３４２の構成例を示すブロック図である。
【０４３４】
なお、図中、図９及び図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４３５】
図２４において、エンコーダ３４２は、A/D変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、予測画像選択部１２４、SEI(Supplemental Enhancement Information)生成部３５１、及び、構造変換部３５２を有する。
【０４３６】
したがって、エンコーダ３４２は、A/D変換部１１１ないし予測画像選択部１２４を有する点で、図９のエンコーダ４２と共通する。
【０４３７】
但し、エンコーダ３４２は、SEI生成部３５１、及び、構造変換部３５２が新たに設けられている点で、図９のエンコーダ４２と相違する。
【０４３８】
SEI生成部３５１には、解像度変換装置３２１Ｃ（図１８）から、解像度変換多視点色画像についての解像度変換情報が供給される。
【０４３９】
SEI生成部３５１は、そこに供給される解像度変換情報のフォーマットを、MVC(AVC)のSEIのフォーマットに変換し、その結果得られる解像度変換SEIを出力する。
【０４４０】
SEI生成部３５１が出力する解像度変換SEIは、可変長符号化部１１６に供給される。
【０４４１】
可変長符号化部１１６では、SEI生成部３５１からの解像度変換SEIが、符号化データに含められて伝送される。
【０４４２】
構造変換部３５２は、画面並び替えバッファ１１２の出力側に設けられており、したがって、構造変換部３５２には、画面並び替えバッファ１１２からのピクチャが供給される。
【０４４３】
さらに、構造変換部３５２には、解像度変換装置３２１Ｃ（図１８）から、解像度変換多視点色画像についての解像度変換情報が供給される。
【０４４４】
構造変換部３５２は、解像度変換装置３２１Ｃからの解像度変換情報に基づいて、符号化モードを、フィールド符号化モード、又は、フレーム符号化モードに設定し、その符号化モードに基づいて、画面並び替えバッファ１１２からのピクチャの（走査方式の）構造を変換する。
【０４４５】
すなわち、構造変換部３５２は、画面並び替えバッファ１１２からのピクチャがフレーム（構造）である場合、符号化モードに基づき、画面並び替えバッファ１１２からのピクチャとしてのフレームを、そのまま1ピクチャとして出力し、又は、画面並び替えバッファ１１２からのピクチャとしてのフレームを、トップフィールドとボトムフィールドとに変換し、各フィールドを1ピクチャとして出力する。
【０４４６】
また、構造変換部３５２は、画面並び替えバッファ１１２からのピクチャがフィールド（構造）である場合、符号化モードに基づき、画面並び替えバッファ１１２からのピクチャとしてのフィールドを、そのまま1ピクチャとして出力し、又は、画面並び替えバッファ１１２からのピクチャとしてのフィールドのうちの連続するトップフィールドとボトムフィールドとをフレームに変換し、そのフレームを1ピクチャとして出力する。
【０４４７】
構造変換部３５２が出力するピクチャは、演算部１１３、並びに、画面内予測部１２２、及び、インター予測部１２３に供給される。
【０４４８】
なお、図２３のエンコーダ３４１も、図２４のエンコーダ３４２と同様に構成される。但し、ベースビューの画像を符号化するエンコーダ３４１では、インター予測部１２３が行うインター予測において、視差予測は行われず、時間予測だけが行われる。したがって、インター予測部１２３は、視差予測を行う視差予測部１３１を設けずに構成することができる。
【０４４９】
ベースビューの画像を符号化するエンコーダ３４１は、視差予測を行わないことを除いて、ノンベースビューの画像を符号化するエンコーダ３４２と同様の処理を行うので、以下では、エンコーダ３４２の説明を行い、エンコーダ３４１の説明は、適宜省略する。
【０４５０】
［解像度変換SEI］
【０４５１】
図２５は、図２４のSEI生成部３５１で生成される解像度変換SEIを説明する図である。
【０４５２】
すなわち、図２５は、解像度変換SEIとしての3dv_view_resolution(payloadSize)のシンタクス(syntax)の例を示す図である。
【０４５３】
解像度変換SEIとしての3dv_view_resolution(payloadSize)は、パラメータnum_views_minus_1，view_id[i]，frame_packing_info[i]，frame_field_coding、及び、view_id_in_frame[i]を有する。
【０４５４】
図２６は、SEI生成部３５１（図２４）において、解像度変換多視点色画像についての解像度変換情報から生成される解像度変換SEIのパラメータnum_views_minus_1，view_id[i]，frame_packing_info[i]，frame_field_coding、及び、view_id_in_frame[i]にセットされる値を説明する図である。
【０４５５】
パラメータnum_views_minus_1は、解像度変換多視点色画像を構成する画像の視点の数から1を減算した値を表す。
【０４５６】
本実施の形態では、解像度変換多視点色画像は、中央視点色画像と、左視点色画像、及び、右視点色画像を、１視点分の画像にパッキングしたパッキング色画像との、２つの視点の画像であるため、パラメータnum_views_minus_1には、num_views_minus_1=2-1=1がセットされる。
【０４５７】
パラメータview_id[i]は、解像度変換多視点色画像を構成するi+1番目（i=0,1,・・・）の画像を特定するインデクスを表す。
【０４５８】
すなわち、例えば、いま、左視点色画像が、番号0で表される視点#0（左視点）の画像であり、中央視点色画像が、番号1で表される視点#1（中央視点）の画像であり、右視点色画像が、番号2で表される視点#2（右視点）の画像であるとする。
【０４５９】
また、解像度変換装置３２１Ｃにおいて、中央視点色画像、左視点色画像、及び、右視点色画像の解像度変換が行われることにより得られる解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像について、視点を表す番号の割り当てがし直され、例えば、中央視点色画像に、視点#1を表す番号1が割り当てられるとともに、パッキング色画像に、視点#0を表す番号0が割り当てられることとする。
【０４６０】
さらに、中央視点色画像が、解像度変換多視点色画像を構成する1番目の画像（i=0の画像）であり、パッキング色画像が、解像度変換多視点色画像を構成する2番目の画像（i=1の画像）であることとする。
【０４６１】
この場合、解像度変換多視点色画像を構成する1(=i+1=0+1)番目の画像である中央視点色画像のパラメータview_id[0]には、中央視点色画像の視点#1を表す番号1がセットされる(view_id[0]=1)。
【０４６２】
また、解像度変換多視点色画像を構成する2(=i+1=1+1)番目の画像であるパッキング色画像のパラメータview_id[1]には、パッキング色画像の視点#0を表す番号0がセットされる(view_id[1]=0)。
【０４６３】
パラメータframe_packing_info[i]は、解像度変換多視点色画像を構成するi+1番目の画像のパッキングの有無と、パッキングのパターン（パッキングパターン）を表す。
【０４６４】
ここで、値が0のパラメータframe_packing_info[i]は、パッキングがされていないことを表す。
【０４６５】
また、値が1のパラメータframe_packing_info[i]は、パッキングがされていることを表す。
【０４６６】
そして、値が1のパラメータframe_packing_info[i]は、２つの視点の画像それぞれの垂直解像度を1/2に低解像度化し、その垂直解像度が1/2にされた左視点色画像、及び、右視点色画像それぞれの各ラインを交互に並べて配置することにより、１視点分（のデータ量）の画像にパッキングするインターレースパッキングがされていることを表す。
【０４６７】
本実施の形態では、解像度変換多視点色画像を構成する1(=i+1=0+1)番目の画像である中央視点色画像は、パッキングされていないので、中央視点色画像のパラメータframe_packing_info[0]には、パッキングされていないことを表す値0がセットされる(frame_packing_info[0]=0)。
【０４６８】
また、本実施の形態では、解像度変換多視点色画像を構成する2(=i+1=1+1)番目の画像であるパッキング色画像は、インターレースパッキングがされているので、パッキング色画像のパラメータframe_packing_info[1]には、インターレースパッキングがされていること、すなわち、垂直解像度が1/2にされた２視点の画像それぞれの各ラインを交互に並べて配置するパッキングのパッキングパターンを表す値1がセットされる(frame_packing_info[1]=1)。
【０４６９】
ここで、図２５の解像度変換SEI(3dv_view_resolution(payloadSize))において、for(i=0;<num_views_in_frame_minus_1;i++)のループの変数num_views_in_frame_minus_1は、解像度変換多視点色画像を構成するi+1番目の画像にパッキングされている画像（の視点）の数から1を減算した値を表す。
【０４７０】
したがって、パラメータframe_packing_info[i]が0である場合、解像度変換多視点色画像を構成するi+1番目の画像は、パッキングされていないので（i+1番目の画像には、１つの視点の画像がパッキングされているので）、変数num_views_in_frame_minus_1には、0=1-1がセットされる。
【０４７１】
また、パラメータframe_packing_info[i]が1である場合、解像度変換多視点色画像を構成するi+1番目の画像は、２つの視点の画像がパッキングされたパッキング色画像であるので、変数num_views_in_frame_minus_1には、1=2-1がセットされる。
【０４７２】
パラメータframe_field_codingは、パラメータframe_packing_info[i]が0でない(frame_packing_info[i]!=0)画像、つまり、解像度変換多視点色画像を構成するi+1番目の画像が、パッキングがされている画像である場合に、そのi+1番目の画像について伝送され、そのi+1番目の画像の符号化モードを表す。
【０４７３】
パラメータframe_packing_info[i]が1になっている画像（i+1番目の画像）の符号化モードが、フレーム符号化モードである場合、パラメータframe_field_codingには、フレーム符号化モードを表す、例えば、0がセットされ、パラメータframe_packing_info[i]が1になっている画像の符号化モードが、フィールド符号化モードである場合、パラメータframe_field_codingには、フィールド符号化モードを表す、例えば、1がセットされる。
【０４７４】
ここで、本実施の形態では、パラメータframe_packing_info[i]が0でない画像は、パラメータframe_packing_info[i]が1になっている画像であり、インターレースパッキングがされている。
【０４７５】
一方、構造変換部３５２は、解像度変換情報に基づき、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれるかどうかを認識する。
【０４７６】
そして、構造変換部３５２は、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれる場合には、例えば、符号化モードを、フィールド符号化モードに設定し、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれない場合には、例えば、符号化モードを、フレーム符号化モード、又は、フィールド符号化モードに設定する。
【０４７７】
したがって、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれているときには、構造変換部３５２において、符号化モードが、必ず、フィールド符号化モードに設定されるため、インターレースパッキングがされているパッキング色画像、つまり、パラメータframe_packing_info[i]が1になっている画像についてのみ伝送されるパラメータframe_field_codingには、必ず、フィールド符号化モードを表す1がセットされる。
【０４７８】
以上のように、本実施の形態では、パラメータframe_packing_info[i]が1になっている画像についてのみ伝送されるパラメータframe_field_codingには、必ず、フィールド符号化モードを表す1がセットされる。したがって、パラメータframe_field_codingは、パラメータframe_packing_info[i]から一意に認識することができるので、パラメータframe_packing_info[i]で代用することができ、解像度変換SEIとしての3dv_view_resolution(payloadSize)に含めなくてもよい。
【０４７９】
なお、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれている場合に、そのパッキング色画像を符号化する符号化モードとしては、フィールド符号化モードではなく、フレーム符号化モードを採用することができる。
【０４８０】
すなわち、パッキング色画像を符号化する符号化モードは、フィールド符号化モードとフレーム符号化モードとを、例えば、ピクチャ単位等で切り替えることができる。この場合、パラメータframe_field_codingには、符号化モードに応じて、フィールド符号化モードを表す1、又は、フレーム符号化モードを表す0がセットされる。
【０４８１】
パラメータview_id_in_frame[i]は、パッキング色画像にパッキングされている画像を特定するインデクスを表す。
【０４８２】
ここで、パラメータview_id_in_frame[i]の引数iは、他のパラメータview_id[i]及びframe_packing_info[i]の引数iと異なるため、説明を分かりやすくするために、パラメータview_id_in_frame[i]の引数iを、jと記載し、パラメータview_id_in_frame[i]を、view_id_in_frame[j]と記載することとする。
【０４８３】
パラメータview_id_in_frame[j]は、パラメータframe_field_codingと同様に、解像度変換多視点色画像を構成する画像のうちの、パラメータframe_packing_info[i]が0でない画像、すなわち、パッキング色画像についてだけ伝送される。
【０４８４】
パッキング色画像のパラメータframe_packing_info[i]が1である場合、すなわち、パッキング色画像が、２つの視点の画像の各ラインを交互に並べて配置するインターレースパッキングがされた画像である場合、引数j=0のパラメータview_id_in_frame[0]は、パッキング色画像にインターレースパッキングされている画像のうちの、奇数番目のライン（トップフィールドのライン）に配置されているラインの画像を特定するインデクスを表し、引数j=1のパラメータview_id_in_frame[1]は、パッキング色画像にインターレースパッキングされている画像のうちの、偶数番目のライン（ボトムフィールドのライン）に配置されているラインの画像を特定するインデクスを表す。
【０４８５】
本実施の形態では、パッキング色画像は、左視点色画像（の奇数ライン）を、パッキング色画像のトップフィールドに、右視点色画像（の偶数ライン）を、パッキング色画像のボトムフィールドに、それぞれ配置するインターレースパッキングがされた画像であるので、パッキング色画像にインターレースパッキングされている画像のうちの、トップフィールドに配置されているラインの画像を特定するインデクスを表す引数j=0のパラメータview_id_in_frame[0]には、左視点色画像の視点#0を表す番号0がセットされ、ボトムフィールドに配置されているラインの画像を特定するインデクスを表す引数j=1のパラメータview_id_in_frame[1]には、右視点色画像の視点#2を表す番号2がセットされる。
【０４８６】
図２７は、図２４の視差予測部１３１で行われるパッキング色画像のピクチャ（フィールド）の視差予測を説明する図である。
【０４８７】
図２６で説明したように、エンコーダ３４２（図２４）において、構造変換部３５２は、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれる場合には、符号化モードを、フィールド符号化モードに設定する。
【０４８８】
そして、構造変換部３５２は、符号化モードを、フィールド符号化モードに設定した場合には、画面並び替えバッファ１１２から、パッキング色画像のピクチャとしてのフレームが供給されると、そのフレームを、トップフィールドとボトムフィールドとに変換し、各フィールドをピクチャとして、演算部１１３、並びに、画面内予測部１２２、及び、インター予測部１２３に供給する。
【０４８９】
この場合、エンコーダ３４２では、パッキング色画像のピクチャとしてのフィールド（トップフィールド、ボトムフィールド）を、順次、対象ピクチャとして、処理が行われる。
【０４９０】
したがって、インター予測部１２３（図２４）の視差予測部１３１では、パッキング色画像のピクチャとしてのフィールド（の対象ブロック）の視差予測が、DPB４３に記憶されたデコード中央視点色画像のピクチャ（対象ピクチャと同一時刻のピクチャ）を参照画像として用いて行われる。
【０４９１】
ここで、本実施の形態では、図２３で説明したように、エンコーダ３４１及びエンコーダ３４２では、一方の符号化モードが、フィールド符号化モードに設定されるときには、他方の符号化モードも、フィールド符号化モードに設定される。
【０４９２】
したがって、エンコーダ３４２において、符号化モードがフィールド符号化モードに設定される場合には、エンコーダ３４１でも、符号化モードがフィールド符号化モードに設定される。そして、エンコーダ３４１では、エンコーダ３４２と同様に、ベースビューの画像である中央視点色画像のフレームは、フィールド（トップフィールドとボトムフィールド）に変換され、そのフィールドを、ピクチャとして符号化が行われる。
【０４９３】
その結果、エンコーダ３４１では、デコード中央視点色画像のピクチャとしてのフィールドが、符号化されてローカルデコードされ、その結果得られるデコード中央視点色画像のピクチャとしてのフィールドが、DPB４３に供給されて記憶される。
【０４９４】
そして、視差予測部１３１では、構造変換部３５２からのパッキング色画像の対象ピクチャとしてのフィールド（の対象ブロック）の視差予測が、DPB４３に記憶されたデコード中央視点色画像のピクチャとしてのフィールドを参照画像として用いて行われる。
【０４９５】
すなわち、エンコーダ３４２（図２４）では、構造変換部３５２において、符号化対象のパッキング色画像のフレームが、左視点色画像のフレームの奇数ライン（左視点ライン）で構成されるトップフィールドと、右視点色画像のフレームの偶数ライン（右視点ライン）で構成されるボトムフィールドとに変換されて処理される。
【０４９６】
一方、エンコーダ３４１でも、エンコーダ３４２と同様に、符号化対象の中央視点色画像のフレームが、そのフレームの奇数ラインで構成されるトップフィールドと、偶数ラインで構成されるボトムフィールドとに変換されて処理される。
【０４９７】
そして、DPB４３には、エンコーダ３４１での処理により得られるデコード中央視点色画像のフィールド（トップフィールド、ボトムフィールド）が、視差予測の参照画像となるピクチャとして記憶される。
【０４９８】
その結果、視差予測部１３１では、パッキング色画像の対象ピクチャとしてのフィールドの視差予測が、DPB４３に記憶されたデコード中央視点色画像のフィールドを参照画像として用いて行われる。
【０４９９】
すなわち、パッキング色画像の対象ピクチャとしてのトップフィールドの視差予測は、DPB４３に記憶されたデコード中央視点色画像の（対象ピクチャと同一時刻の）トップフィールドを参照画像として用いて行われる。また、パッキング色画像の対象ピクチャとしてのボトムフィールドの視差予測は、DPB４３に記憶されたデコード中央視点色画像の（対象ピクチャと同一時刻の）ボトムフィールドを参照画像として用いて行われる。
【０５００】
したがって、対象ピクチャとしてのパッキング色画像のフィールドの解像度比と、視差予測部１３１での視差予測において、そのパッキング色画像の予測画像を生成する際に参照する参照画像のピクチャとしてのデコード中央視点色画像のフィールドの解像度比とは、合致（マッチ）する。
【０５０１】
すなわち、符号化対象のパッキング色画像のトップフィールド、及び、ボトムフィールドを構成する左視点色画像、及び、右視点色画像それぞれの垂直解像度は、元の1/2になっており、したがって、パッキング色画像のトップフィールド及びボトムフィールドになっている左視点色画像、及び、右視点色画像それぞれの解像度比は、いずれも、2:1になっている。
【０５０２】
一方、参照画像は、デコード中央視点色画像のフィールド（トップフィールド、ボトムフィールド）であり、解像度比は、2:1であるから、パッキング色画像のトップフィールド及びボトムフィールドになっている左視点色画像、及び、右視点色画像の解像度比である2:1と一致する。
【０５０３】
以上のように、パッキング色画像の対象ピクチャとなるフィールド（トップフィールド、ボトムフィールド）の解像度比と、参照画像となるデコート中央視点色画像のフィールドの解像度比とが一致しているので、視差予測の予測精度を改善し（視差予測で生成される予測画像と、対象ブロックとの残差が小になり）、符号化効率を向上させることができる。
【０５０４】
その結果、上述した、多視点色画像（及び、多視点奥行き画像）のベースバンドでのデータ量を削減する解像度変換に起因する、受信装置１２で得られる復号画像の画質の劣化を防止することができる。
【０５０５】
［パッキング色画像の符号化処理］
【０５０６】
図２８は、図２４のエンコーダ３４２が行う、パッキング色画像を符号化する符号化処理を説明するフローチャートである。
【０５０７】
ステップＳ１０１において、A/D変換部１１１は、そこに供給されるパッキング色画像のピクチャとしてのフレームのアナログ信号をA/D変換し、画面並び替えバッファ１１２に供給して、処理は、ステップＳ１０２に進む。
【０５０８】
ステップＳ１０２では、画面並び替えバッファ１１２は、A/D変換部１１１からのパッキング色画像のピクチャとしてのフレームを一時記憶し、あらかじめ決められたGOPの構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。
【０５０９】
画面並び替えバッファ１１２から読み出されたピクチャとしてのフレームは、構造変換部３５２に供給され、処理は、ステップＳ１０２からステップＳ１０３に進む。
【０５１０】
ステップＳ１０３では、SEI生成部３５１が、解像度変換装置３２１Ｃ（図１８）から供給される解像度変換情報から、図２５及び図２６で説明した解像度変換SEIを生成し、可変長符号化部１１６に供給して、処理は、ステップＳ１０４に進む。
【０５１１】
ステップＳ１０４では、構造変換部３５２は、解像度変換装置３２１Ｃ（図１８）から供給される解像度変換情報に基づいて、符号化モードをフィールド符号化モードに設定する。
【０５１２】
さらに、構造変換部３５２は、符号化モードをフィールド符号化モードに設定したことに伴い、画面並び替えバッファ１１２からのパッキング色画像のピクチャとしてのフレームを、トップフィールドとボトムフィールドとの２つのフィールドに変換し、演算部１１３、画面内予測部１２２、並びに、インター予測部１２３の視差予測部１３１、及び、時間予測部１３２に供給して、処理は、ステップＳ１０４からステップＳ１０５に進む。
【０５１３】
ステップＳ１０５では、演算部１１３は、構造変換部３５２からのパッキング色画像のピクチャとしてのフィールドを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。
【０５１４】
そして、演算部１１３は、対象ブロックの画素値と、予測画像選択部１２４から供給される予測画像の画素値との差分（残差）を、必要に応じて演算し、直交変換部１１４に供給して、処理は、ステップＳ１０５からステップＳ１０６に進む。
【０５１５】
ステップＳ１０６では、直交変換部１１４は、演算部１１３からの対象ブロックに対して直交変換を施し、その結果得られる変換係数を、量子化部１１５に供給して、処理は、ステップＳ１０７に進む。
【０５１６】
ステップＳ１０７において、量子化部１１５は、直交変換部１１４から供給される変換係数を量子化し、その結果得られる量子化値を、逆量子化部１１８、及び、可変長符号化部１１６に供給して、処理は、ステップＳ１０８に進む。
【０５１７】
ステップＳ１０８では、逆量子化部１１８は、量子化部１１５からの量子化値を、変換係数に逆量子化し、逆直交変換部１１９に供給して、処理は、ステップＳ１０９に進む。
【０５１８】
ステップＳ１０９では、逆直交変換部１１９は、逆量子化部１１８からの変換係数を逆直交変換し、演算部１２０に供給して、処理は、ステップＳ１１０に進む。
【０５１９】
ステップＳ１１０では、演算部１２０は、逆直交変換部１１９から供給されるデータに対して、必要に応じて、予測画像選択部１２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコードパッキング色画像を求める。そして、演算部１２０は、対象ブロックをローカルデコードしたデコードパッキング色画像を、デブロッキングフィルタ１２１に供給して、処理は、ステップＳ１１０からステップＳ１１１に進む。
【０５２０】
ステップＳ１１１では、デブロッキングフィルタ１２１は、演算部１２０からのデコードパッキング色画像をフィルタリングし、DPB４３に供給して、処理は、ステップＳ１１２に進む。
【０５２１】
ステップＳ１１２では、DPB４３が、中央視点色画像を符号化するエンコーダ３４１（図２３）から、その中央視点色画像を符号化して、ローカルデコードすることにより得られるデコード中央視点色画像が供給されるのを待って、そのデコード中央視点色画像を記憶し、処理は、ステップＳ１１３に進む。
【０５２２】
ここで、上述したように、エンコーダ３４１では、視差予測が行われないことを除いて、エンコーダ３４２と同様の符号化処理、すなわち、中央視点色画像のフィールドを、ピクチャとするフィールド符号化モードでの符号化が行われる。したがって、DPB４３には、デコード中央視点色画像のフィールドが記憶される。
【０５２３】
ステップＳ１１３では、DPB４３が、デブロッキングフィルタ１２１からのデコードパッキング色画像（のフィールド）を記憶し、処理は、ステップＳ１１４に進む。
【０５２４】
ステップＳ１１４では、画面内予測部１２２は、次の対象ブロックについて、イントラ予測処理（画面内予測処理）を行う。
【０５２５】
すなわち、画面内予測部１２２は、次の対象ブロックについて、DPB４３に記憶されたデコードパッキング色画像のピクチャとしてのフィールドから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行う。
【０５２６】
そして、画面内予測部１２２は、イントラ予測の予測画像を用いて、次の対象ブロックを符号化するのに要する符号化コストを求め、ヘッダ情報（となるイントラ予測に関する情報）と、イントラ予測の予測画像とともに、予測画像選択部１２４に供給して、処理は、ステップＳ１１４からステップＳ１１５に進む。
【０５２７】
ステップＳ１１５では、時間予測部１３２は、次の対象ブロックについて、デコードパッキング色画像のピクチャとしてのフィールドを、参照画像として、時間予測処理を行う。
【０５２８】
すなわち、時間予測部１３２は、次の対象ブロックについて、DPB４３に記憶されたデコードパッキング色画像のピクチャとしてのフィールドを用いて、時間予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。
【０５２９】
さらに、時間予測部１３２は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、ヘッダ情報（となるインター予測に関する情報）と、符号化コストとともに、予測画像選択部１２４に供給して、処理は、ステップＳ１１５からステップＳ１１６に進む。
【０５３０】
ステップＳ１１６では、視差予測部１３１は、次の対象ブロックについて、デコード中央視点色画像のピクチャとしてのフィールドを、参照画像として、視差予測処理を行う。
【０５３１】
すなわち、視差予測部１３１は、次の対象ブロックについて、DPB４３に記憶されたデコード中央視点色画像のピクチャとしてのフィールドを用いて視差予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。
【０５３２】
さらに、視差予測部１３１は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、ヘッダ情報（となるインター予測に関する情報）と、符号化コストとともに、予測画像選択部１２４に供給して、処理は、ステップＳ１１６からステップＳ１１７に進む。
【０５３３】
ステップＳ１１７では、予測画像選択部１２４は、画面内予測部１２２からの予測画像（イントラ予測の予測画像）、時間予測部１３２からの予測画像（時間予測画像）、及び、視差予測部１３１からの予測画像（視差予測画像）のうちの、例えば、符号化コストが最小の予測画像を選択し、演算部１１３及び２２０に供給して、処理は、ステップＳ１１８に進む。
【０５３４】
ここで、予測画像選択部１２４がステップＳ１１７で選択する予測画像が、次の対象ブロックの符号化で行われるステップＳ１０５やＳ１１０の処理で用いられる。
【０５３５】
また、予測画像選択部１２４は、画面内予測部１２２、時間予測部１３２、及び、視差予測部１３１からのヘッダ情報のうちの、符号化コストが最小の予測画像とともに供給されたヘッダ情報を選択し、可変長符号化部１１６に供給する。
【０５３６】
ステップＳ１１８では、可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化を施し、符号化データを得る。
【０５３７】
さらに、可変長符号化部１１６は、予測画像選択部１２４からのヘッダ情報や、SEI生成部３５１からの解像度変換SEIを、符号化データのヘッダに含める。
【０５３８】
そして、可変長符号化部１１６は、符号化データを、蓄積バッファ１１７に供給して、処理は、ステップＳ１１８からステップＳ１１９に進む。
【０５３９】
ステップＳ１１９では、蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶する。
【０５４０】
蓄積バッファ１１７に記憶された符号化データは、所定の伝送レートで、多重化装置２３（図１８）に供給（伝送）される。
【０５４１】
エンコーダ３４２では、以上のステップＳ１０１ないしＳ１１９の処理が、適宜繰り返し行われる。
【０５４２】
図２９は、図２８のステップＳ１１６で、視差予測部１３１（図１３）が行う視差予測処理を説明するフローチャートである。
【０５４３】
ステップＳ１３１において、視差予測部１３１（図１３）では、視差検出部１４１、及び、視差補償部１４２が、DPB４３からのデコード中央視点色画像のピクチャとしてのフィールドを参照画像として受け取り、処理は、ステップＳ１３２に進む。
【０５４４】
ステップＳ１３２では、視差検出部１４１は、構造変換部３５２（図２４）から供給されるパッキング色画像の対象ブロックと、DPB４３からの参照画像としてのデコード中央視点色画像のフィールドとを用いてMEを行うことにより、対象ブロックの、参照画像に対する視差を表す視差ベクトルmvを、マクロブロックタイプごとに検出し、視差補償部１４２に供給して、処理は、ステップＳ１３３に進む。
【０５４５】
ステップＳ１３３では、視差補償部１４２は、DPB４３からの参照画像としてのデコード中央視点色画像のフィールドの視差補償を、視差検出部１４１からの対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を、マクロブロックタイプごとに生成し、処理は、ステップＳ１３４に進む。
【０５４６】
すなわち、視差補償部１４２は、参照画像としてのデコード中央視点色画像のフィールドの、対象ブロックの位置から、視差ベクトルmvだけずれた位置のブロック（領域）である対応ブロックを、予測画像として取得する。
【０５４７】
ステップＳ１３４では、視差補償部１４２は、既に符号化済みの、対象ブロックの周辺のマクロブロックの視差ベクトル等を必要に応じて用いて、対象ブロックの視差ベクトルmvの予測ベクトルPMVを求める。
【０５４８】
さらに、視差補償部１４２は、対象ブロックの視差ベクトルmvと、その予測ベクトルPMVとの差分である残差ベクトルを求める。
【０５４９】
そして、視差補償部１４２は、マクロブロックタイプ等の予測モードごとの対象ブロックの予測画像を、その対象ブロックの残差ベクトル、及び、予測画像を生成するのに用いた参照画像（デコード中央視点色画像のフィールド）に割り当てられている参照インデクスとともに、予測モードと対応付けて、予測情報バッファ１４３、及び、コスト関数算出部１４４に供給して、処理は、ステップＳ１３４からステップＳ１３５に進む。
【０５５０】
ステップＳ１３５では、予測情報バッファ１４３が、視差補償部１４２からの、予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報として、一時記憶して、処理は、ステップＳ１３６に進む。
【０５５１】
ステップＳ１３６では、コスト関数算出部１４４が、予測モードとしてのマクロブロックタイプごとに、構造変換部３５２（図２４）からの対象ピクチャの対象ブロックの符号化に要する符号化コスト（コスト関数値）を、コスト関数を演算することにより求め、モード選択部１４５に供給して、処理は、ステップＳ１３７に進む。
【０５５２】
ステップＳ１３７では、モード選択部１４５は、コスト関数算出部１４４からの予測モードごとの符号化コストの中から、最小値である最小コストを検出する。
【０５５３】
さらに、モード選択部１４５は、最小コストが得られた予測モードを、最適インター予測モードに選択する。
【０５５４】
そして、処理は、ステップＳ１３７からステップＳ１３８に進み、モード選択部１４５は、最適インター予測モードである予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報バッファ１４３から読み出し、最適インター予測モードである予測モードとともに、予測情報として、予測画像選択部１２４に供給して、処理はリターンする。
【０５５５】
［復号装置３３２Ｃの構成例］
【０５５６】
図３０は、図１９の復号装置３３２Ｃの構成例を示すブロック図である。
【０５５７】
なお、図中、図１４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５５８】
図３０において、復号装置３３２Ｃは、デコーダ４１１及び４１２、並びに、DPB２１３を有する。
【０５５９】
したがって、図３０の復号装置３３２Ｃは、DPB２１３を有する点で、図１４の復号装置３２Ｃと共通するが、デコーダ２１１及び２１２に代えて、デコーダ４１１及び４１２が設けられている点で、図１４の復号装置３２Ｃと相違する。
【０５６０】
デコーダ４１１には、逆多重化装置３１（図１９）からの多視点色画像符号化データのうちの、ベースビューの画像である中央視点色画像の符号化データが供給される。
【０５６１】
デコーダ４１１は、そこに供給される中央視点色画像の符号化データを、拡張方式で復号し、その結果得られる中央視点色画像を出力する。
【０５６２】
デコーダ４１２には、逆多重化装置３１（図１９）からの多視点色画像符号化データのうちの、ノンベースビューの画像であるパッキング色画像の符号化データが供給される。
【０５６３】
デコーダ４１２は、そこに供給されるパッキング色画像の符号化データを、拡張方式で復号し、その結果得られるパッキング色画像を出力する。
【０５６４】
デコーダ４１１が出力する中央視点色画像と、デコーダ４１２が出力するパッキング色画像とが、解像度変換多視点色画像として、解像度逆変換装置３３３Ｃ（図１９）に供給される。
【０５６５】
また、デコーダ４１１及び４１２は、それぞれ、図２３のエンコーダ３４１及び３４２で予測符号化された画像を復号する。
【０５６６】
予測符号化された画像を復号するには、その予測符号化で用いられた予測画像が必要であるため、デコーダ４１１及び４１２は、予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる、復号後の画像を、DPB２１３に一時記憶させる。
【０５６７】
DPB２１３は、デコーダ４１１及び４１２で共用され、デコーダ４１１及び４１２それぞれで得られる復号後の画像（デコード画像）を一時記憶する。
【０５６８】
デコーダ４１１及び４１２それぞれは、DPB２１３に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照画像を選択し、その参照画像を用いて、予測画像を生成する。
【０５６９】
以上のように、DPB２１３は、デコーダ４１１及び４１２で共用されるので、デコーダ４１１及び４１２それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。
【０５７０】
但し、デコーダ４１１は、ベースビューの画像を復号するので、デコーダ４１１で得られたデコード画像のみを参照する（視差予測を行わない）。
【０５７１】
［デコーダ４１２の構成例］
【０５７２】
図３１は、図３０のデコーダ４１２の構成例を示すブロック図である。
【０５７３】
なお、図中、図１５及び図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５７４】
図３１において、デコーダ４１２は、蓄積バッファ２４１、可変長復号部２４２、逆量子化部２４３、逆直交変換部２４４、演算部２４５、デブロッキングフィルタ２４６、画面並び替えバッファ２４７、D/A変換部２４８、画面内予測部２４９、インター予測部２５０、予測画像選択部２５１、及び、構造逆変換部４５１を有する。
【０５７５】
したがって、図３１のデコーダ４１２は、蓄積バッファ２４１ないし予測画像選択部２５１を有する点で、図１５のデコーダ２１２と共通する。
【０５７６】
但し、図３１のデコーダ４１２は、構造逆変換部４５１が新たに設けられている点で、図１５のデコーダ２１２と相違する。
【０５７７】
図３１のデコーダ４１２では、可変長復号部２４２が、蓄積バッファ２４１から、解像度変換SEIを含む、パッキング色画像の符号化データを受け取り、その符号化データに含まれる解像度変換SEIを、解像度変換情報として、解像度逆変換装置３３３Ｃ（図１９）に供給する。
【０５７８】
また、可変長復号部２４２は、解像度変換SEIを、構造逆変換部４５１に供給する。
【０５７９】
構造逆変換部４５１は、デブロッキングフィルタ２４６の出力側に設けられており、したがって、構造逆変換部４５１には、可変長復号部２４２から、解像度変換SEIが供給される他、デブロッキングフィルタ２４６から、フィルタリング後のデコード画像（デコードパッキング色画像）が供給される。
【０５８０】
構造逆変換部４５１は、デブロッキングフィルタ２４６からのデコードパッキング色画像について、可変長復号部２４２からの解像度変換SEIに基づき、図２４の構造変換部３５２で行われた変換の逆変換を行う。
【０５８１】
本実施の形態では、図２４の構造変換部３５２では、パッキング色画像のフレームが、パッキング色画像のフィールド（トップフィールドとボトムフィールド）に変換されており、したがって、デブロッキングフィルタ２４６から構造逆変換部４５１には、デコードパッキング色画像のピクチャとしてのフィールドが供給される。
【０５８２】
構造逆変換部４５１は、デブロッキングフィルタ２４６から、デコードパッキング色画像のフレームを構成するトップフィールドとボトムフィールドとが供給されると、そのトップフィールドとボトムフィールドの各ラインを交互に並べて配置することにより、フレームを（再）構成し、画面並び替えバッファ２４７に供給する。
【０５８３】
なお、図３０のデコーダ４１１も、図３１のデコーダ４１２と同様に構成される。但し、ベースビューの画像を復号するデコーダ４１１では、インター予測において、視差予測は行われず、時間予測だけが行われる。したがって、デコーダ４１１は、視差予測を行う視差予測部２６１を設けずに構成することができる。
【０５８４】
ベースビューの画像を復号するデコーダ４１１は、視差予測を行わないことを除いて、ノンベースビューの画像を復号するデコーダ４１２と同様の処理を行うので、以下では、デコーダ４１２の説明を行い、デコーダ４１１の説明は、適宜省略する。
【０５８５】
［パッキング色画像の復号処理］
【０５８６】
図３２は、図３１のデコーダ４１２が行う、パッキング色画像の符号化データを復号する復号処理を説明するフローチャートである。
【０５８７】
ステップＳ２０１において、蓄積バッファ２４１は、そこに供給されるパッキング色画像の符号化データを記憶し、処理は、ステップＳ２０２に進む。
【０５８８】
ステップＳ２０２では、可変長復号部２４２は、蓄積バッファ２４１に記憶された符号化データを読み出して可変長復号することにより、量子化値や、予測モード関連情報、解像度変換SEIを復元する。そして、可変長復号部２４２は、量子化値を、逆量子化部２４３に、予測モード関連情報を、画面内予測部２４９、並びに、インター予測部２５０の参照インデクス処理部２６０、視差予測部２６１、及び、時間予測部２６２に、解像度変換SEIを、構造逆変換部４５１、及び、解像度逆変換装置３３３Ｃ（図１９）に、それぞれ供給して、処理は、ステップＳ２０３に進む。
【０５８９】
ステップＳ２０３では、逆量子化部２４３は、可変長復号部２４２からの量子化値を、変換係数に逆量子化し、逆直交変換部２４４に供給して、処理は、ステップＳ２０４に進む。
【０５９０】
ステップＳ２０４では、逆直交変換部２４４は、逆量子化部２４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部２４５に供給して、処理は、ステップＳ２０５に進む。
【０５９１】
ステップＳ２０５では、演算部２４５は、逆直交変換部２４４からのマクロブロックを復号対象の対象ブロック（残差画像）として、その対象ブロックに対して、必要に応じて、予測画像選択部２５１から供給される予測画像を加算することで、デコード画像を求める。そして、演算部２４５は、デコード画像を、デブロッキングフィルタ２４６に供給し、処理は、ステップＳ２０５からステップＳ２０６に進む。
【０５９２】
ステップＳ２０６では、デブロッキングフィルタ２４６は、演算部２４５からのデコード画像に対して、フィルタリングを行い、そのフィルタリング後のデコード画像（デコードパッキング色画像）を、DPB２１３、及び、構造逆変換部４５１に供給して、処理は、ステップＳ２０７に進む。
【０５９３】
ステップＳ２０７では、DPB２１３が、中央視点色画像を復号するデコーダ４１１（図３０）から、デコード中央視点色画像が供給されるのを待って、そのデコード中央視点色画像を記憶し、処理は、ステップＳ２０８に進む。
【０５９４】
ステップＳ２０８では、DPB２１３が、デブロッキングフィルタ２４６からのデコードパッキング色画像を記憶し、処理は、ステップＳ２０９に進む。
【０５９５】
ここで、図２３のエンコーダ２１１では、中央視点色画像が、フィールドを対象ピクチャとして符号化され、エンコーダ２１２では、パッキング色画像が、フィールドを対象ピクチャとして符号化される。
【０５９６】
このため、中央視点色画像の符号化データを復号するデコーダ４１１では、中央視点色画像が、フィールドを対象ピクチャとして復号される。同様に、パッキング色画像の符号化データを復号するデコーダ４１２では、パッキング色画像が、フィールドを対象ピクチャとして復号される。
【０５９７】
したがって、DPB２１３には、フィールド（構造）のデコード中央視点色画像、及び、デコードパッキング色画像が記憶される。
【０５９８】
ステップＳ２０９では、画面内予測部２４９、並びに、インター予測部２５０（を構成する視差予測部２６１及び時間予測部２６２）が、可変長復号部２４２から供給される予測モード関連情報に基づき、次の対象ブロック（次に復号対象となるマクロブロック）が、イントラ予測（画面内予測）、及び、インター予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを判定する。
【０５９９】
そして、ステップＳ２０９において、次の対象ブロックが、画面内予測で生成された予測画像を用いて符号化されていると判定された場合、処理は、ステップＳ２１０に進み、画面内予測部２４９は、イントラ予測処理（画面内予測処理）を行う。
【０６００】
すなわち、画面内予測部２４９は、次の対象ブロックについて、DPB２１３に記憶されたデコードパッキング色画像から、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行い、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ２１０からステップＳ２１５に進む。
【０６０１】
また、ステップＳ２０９において、次の対象ブロックが、インター予測で生成された予測画像を用いて符号化されていると判定された場合、処理は、ステップＳ２１１に進み、参照インデクス処理部２６０は、可変長復号部２４２からの予測モード関連情報に含まれる予測用の参照インデクス（に一致する参照インデクス）が割り当てられているデコード中央視点色画像のピクチャとしてのフィールド、又は、デコードパッキング色画像のピクチャとしてのフィールドを、DPB２１３から読み出すことにより、参照画像として選択し、処理は、ステップＳ２１２に進む。
【０６０２】
ステップＳ２１２では、参照インデクス処理部２６０が、可変長復号部２４２からの予測モード関連情報に含まれる予測用の参照インデクスに基づき、次の対象ブロックが、インター予測である時間予測、及び、視差予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを判定する。
【０６０３】
ステップＳ２１２において、次の対象ブロックが、時間予測で生成された予測画像を用いて符号化されていると判定された場合、すなわち、可変長復号部２４２からの（次の）対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコードパッキング色画像のピクチャであり、ステップＳ２１１において、そのデコードパッキング色画像のピクチャが、参照画像として選択されている場合、参照インデクス処理部２６０は、参照画像としてのデコードパッキング色画像のピクチャを、時間予測部２６２に供給して、処理は、ステップＳ２１３に進む。
【０６０４】
ステップＳ２１３では、時間予測部２６２が、時間予測処理を行う。
【０６０５】
すなわち、時間予測部２６２は、次の対象ブロックについて、参照インデクス処理部２６０からの参照画像としてのデコードパッキング色画像のピクチャの動き補償を、可変長復号部２４２からの予測モード関連情報を用いて行うことにより、予測画像を生成し、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ２１３からステップＳ２１５に進む。
【０６０６】
また、ステップＳ２１２において、次の対象ブロックが、視差予測で生成された予測画像を用いて符号化されていると判定された場合、すなわち、可変長復号部２４２からの（次の）対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコード中央視点色画像のピクチャとしてのフィールドであり、ステップＳ２１１において、そのデコード中央視点色画像のピクチャとしてのフィールドが、参照画像として選択されている場合、参照インデクス処理部２６０は、参照画像としてのデコード中央視点色画像のピクチャとしてのフィールドを、視差予測部２６１に供給して、処理は、ステップＳ２１４に進む。
【０６０７】
ステップＳ２１４では、視差予測部２６１が、視差予測処理を行う。
【０６０８】
すなわち、視差予測部２６１は、次の対象ブロックについて、参照画像としてのデコード中央視点色画像のピクチャとしてのフィールドの視差補償を、可変長復号部２４２からの予測モード関連情報を用いて行うことにより、予測画像を生成し、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ２１４からステップＳ２１５に進む。
【０６０９】
ステップＳ２１５では、予測画像選択部２５１は、画面内予測部２４９、時間予測部２６２、及び、視差予測部２６１のうちの、予測画像が供給される方からの、その予測画像を選択し、演算部２４５に供給して、処理は、ステップＳ２１６に進む。
【０６１０】
ここで、予測画像選択部２５１がステップＳ２１５で選択する予測画像が、次の対象ブロックの復号で行われるステップＳ２０５の処理で用いられる。
【０６１１】
ステップＳ２１６では、構造逆変換部４５１が、可変長復号部２４２からの解像度変換SEIに基づき、デブロッキングフィルタ２４６から、フレームを構成するトップフィールドとボトムフィールドのデコードパッキング色画像が供給されている場合には、そのトップフィールドとボトムフィールドを、フレームに逆変換し、画面並び替えバッファ２４７に供給して、処理は、ステップＳ２１７に進む。
【０６１２】
ステップＳ２１７では、画面並び替えバッファ２４７が、構造逆変換部４５１からのデコードパッキング色画像のピクチャとしてのフレームを一時記憶して読み出すことで、ピクチャの並びを、元の並びに並び替え、D/A変換部２４８に供給して、処理は、ステップＳ２１８に進む。
【０６１３】
ステップＳ２１８では、D/A変換部２４８は、画面並び替えバッファ２４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
【０６１４】
デコーダ４１２では、以上のステップＳ２０１ないしＳ２１８の処理が、適宜繰り返し行われる。
【０６１５】
図３３は、図３２のステップＳ２１４で、視差予測部２６１（図１７）が行う視差予測処理を説明するフローチャートである。
【０６１６】
ステップＳ２３１において、視差予測部２６１（図１７）では、視差補償部２７２が、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャとしてのフィールドを受け取り、処理は、ステップＳ２３２に進む。
【０６１７】
ステップＳ２３２では、視差補償部２７２は、可変長復号部２４２からの予測モード関連情報に含まれる、（次の）対象ブロックの残差ベクトルを受け取り、処理は、ステップＳ２３３に進む。
【０６１８】
ステップＳ２３３では、視差補償部２７２は、既に復号された、対象ブロックの周辺のマクロブロックの視差ベクトル等を用いて、可変長復号部２４２からの予測モード関連情報に含まれる予測モード（最適インター予測モード）が表すマクロブロックタイプについての対象ブロックの予測ベクトルを求める。
【０６１９】
さらに、視差補償部２７２は、対象ブロックの予測ベクトルと、可変長復号部２４２からの残差ベクトルとを加算することにより、対象ブロックの視差ベクトルmvを復元し、処理は、ステップＳ２３３からステップＳ２３４に進む。
【０６２０】
ステップＳ２３４では、視差補償部２７２は、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャとしてのフィールドの視差補償を、パッキング色画像の対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を生成し、予測画像選択部２５１に供給して、処理はリターンする。
【０６２１】
［符号化装置３２２Ｃの他の構成例］  
【０６２２】
図３４は、図１８の符号化装置３２２Ｃの他の構成例を示すブロック図である。
【０６２３】
なお、図中、図２３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０６２４】
図３４において、符号化装置３２２Ｃは、エンコーダ５４１及び５４２、並びに、DPB４３を有する。
【０６２５】
したがって、図３４の符号化装置３２２Ｃは、DPB４３を有する点で、図２３の場合と共通し、エンコーダ３４１及び３４２に代えて、エンコーダ５４１及び５４２がそれぞれ設けられている点で、図２３の場合と相違する。
【０６２６】
ここで、パッキング色画像の解像度比と、中央視点色画像の解像度比とが一致していない場合には、パッキング色画像を符号化対象として、その視差予測が、中央視点色画像を参照画像として用いて行われるときの他、中央視点色画像を符号化対象として、その視差予測が、パッキング色画像を参照画像として用いて行われるときも、視差予測の予測精度が低下し（視差予測で生成される予測画像と、対象ブロックとの残差が大になり）、符号化効率が悪くなる。
【０６２７】
図２３では、中央視点色画像を、ベースビューの画像として符号化するとともに、パッキング色画像を、ノンベースビューの画像として符号化するようになっていたが、図３４では、ベースビューの画像を符号化するエンコーダ５４１において、パッキング色画像を、ベースビューの画像として符号化するとともに、ノンベースビューの画像を符号化するエンコーダ５４２において、中央視点色画像を、ノンベースビューの画像として符号化するようになっている。
【０６２８】
すなわち、エンコーダ５４１には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像（のフレーム）が供給される。
【０６２９】
エンコーダ５４２には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像（のフレーム）が供給される。
【０６３０】
さらに、エンコーダ５４１及び５４２には、解像度変換装置３２１Ｃからの解像度変換情報が供給される。
【０６３１】
エンコーダ５４１は、そこに供給されるパッキング色画像を、ベースビューの画像として、図２３のエンコーダ３４１と同様の符号化を行い、その結果得られるパッキング色画像の符号化データを出力する。
【０６３２】
エンコーダ５４２は、そこに供給される中央視点色画像を、ノンベースビューの画像として、図２３のエンコーダ３４２と同様の符号化を行い、その結果得られる中央視点色画像の符号化データを出力する。
【０６３３】
ここで、エンコーダ５４１は、符号化対象が、中央視点色画像ではなく、パッキング色画像であることを除き、図２３のエンコーダ３４１と同様の処理を行う。エンコーダ５４２も、符号化対象が、パッキング色画像ではなく、中央視点色画像であることを除き、図２３のエンコーダ３４２と同様の処理を行う。
【０６３４】
したがって、エンコーダ５４１及び５４２では、符号化モードが、フィールド符号化モード、又は、フレーム符号化モードに設定されるが、その符号化モードの設定は、図２３のエンコーダ３４１及び３４２と同様に、解像度変換装置３２１Ｃからの解像度変換情報に基づいて行われる。
【０６３５】
エンコーダ５４１が出力するパッキング色画像の符号化データと、エンコーダ５４２が出力する中央視点色画像の符号化データとは、多視点色画像符号化データとして、多重化装置２３（図１８）に供給される。
【０６３６】
なお、エンコーダ５４１及び５４２は、図２３のエンコーダ３４１及び３４２と同様に、符号化対象の画像を、MVCと同様に予測符号化するため、その予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
【０６３７】
DPB４３は、エンコーダ５４１及び５４２で共用され、エンコーダ５４１及び５４２それぞれで得られるデコード画像を一時記憶する。
【０６３８】
エンコーダ５４１及び５４２それぞれは、DPB４３に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照画像を選択する。そして、エンコーダ５４１及び５４２それぞれは、参照画像を用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
【０６３９】
したがって、エンコーダ５４１及び５４２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
【０６４０】
但し、上述したように、エンコーダ５４１は、ベースビューの画像を符号化するので、エンコーダ５４１で得られたデコード画像のみを参照する。
【０６４１】
［エンコーダ５４２の構成例］
【０６４２】
図３５は、図３４のエンコーダ５４２の構成例を示すブロック図である。
【０６４３】
なお、図中、図２４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０６４４】
図３５において、エンコーダ５４２は、A/D変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、予測画像選択部１２４、SEI生成部３５１、及び、構造変換部３５２を有する。
【０６４５】
したがって、エンコーダ５４２は、図２４のエンコーダ３４２と同様に構成される。
【０６４６】
但し、エンコーダ５４２は、符号化対象が、パッキング色画像ではなく、中央視点色画像である点で、図２４のエンコーダ３４２と相違する。
【０６４７】
したがって、エンコーダ５４２では、視差予測部１３１において、符号化対象である中央視点色画像の視差予測が、他の視点の画像であるパッキング色画像を参照画像として用いて行われる。
【０６４８】
すなわち、図３５において、DPB４３には、デブロッキングフィルタ１２１から供給される、エンコーダ５４２で符号化されてローカルデコードされたノンベースビューの画像としてのデコード中央視点色画像が記憶されるとともに、エンコーダ５４１から供給される、そのエンコーダ５４１で符号化されてローカルデコードされたベースビューの画像としてのデコードパッキング色画像が記憶される。
【０６４９】
そして、視差予測部１３１は、符号化対象である中央視点色画像の視差予測を、DPB４３に記憶されたデコードパッキング色画像を参照画像として用いて行う。
【０６５０】
なお、図３４のエンコーダ５４１は、図３５のエンコーダ５４２と同様に構成される。但し、ベースビューの画像を符号化するエンコーダ５４１では、インター予測において、視差予測は行われず、時間予測だけが行われる。したがって、エンコーダ５４１は、視差予測を行う視差予測部１３１を設けずに構成することができる。
【０６５１】
ベースビューの画像を符号化するエンコーダ５４１は、視差予測を行わないことを除いて、ノンベースビューの画像を符号化するエンコーダ５４２と同様の処理を行うので、以下では、エンコーダ５４２の説明を行い、エンコーダ５４１の説明は、適宜省略する。
【０６５２】
図３６は、図３５の視差予測部１３１で行われる中央視点色画像のピクチャ（フィールド）の視差予測を説明する図である。
【０６５３】
エンコーダ５４２（図３５）の構造変換部３５２は、図２６で説明したように、解像度変換多視点色画像に、インターレースパッキングがされているパッキング色画像が含まれる場合には、符号化モードを、フィールド符号化モードに設定する。
【０６５４】
そして、構造変換部３５２は、符号化モードを、フィールド符号化モードに設定した場合には、画面並び替えバッファ１１２から、ピクチャとしてのフレームが供給されると、そのフレームを、トップフィールドとボトムフィールドとに変換し、各フィールドをピクチャとして、演算部１１３、並びに、画面内予測部１２２、及び、インター予測部１２３に供給する。
【０６５５】
すなわち、エンコーダ５４２（図３５）では、構造変換部３５２には、画面並び替えバッファ１１２から、符号化対象の中央視点色画像のピクチャとしてのフレームが供給される。
【０６５６】
構造変換部３５２は、画面並び替えバッファ１１２からの中央視点色画像のピクチャとしてのフレームを、トップフィールドとボトムフィールドとに変換し、各フィールドをピクチャとして、演算部１１３、並びに、画面内予測部１２２、及び、インター予測部１２３に供給する。
【０６５７】
この場合、エンコーダ５４２では、中央視点色画像のピクチャとしてのフィールド（トップフィールド、ボトムフィールド）を、順次、対象ピクチャとして、処理が行われる。
【０６５８】
したがって、インター予測部１２３（図３５）の視差予測部１３１では、中央視点色画像のピクチャとしてのフィールド（の対象ブロック）の視差予測が、DPB４３に記憶されたデコードパッキング色画像のピクチャ（対象ピクチャと同一時刻のピクチャ）を参照画像として用いて行われる。
【０６５９】
ここで、エンコーダ５４１及びエンコーダ５４２では、エンコーダ３４１及び３４２（図２３）と同様に、一方の符号化モードが、フィールド符号化モードに設定されるときには、他方の符号化モードも、フィールド符号化モードに設定される。
【０６６０】
したがって、エンコーダ５４２において、符号化モードがフィールド符号化モードに設定される場合には、エンコーダ５４１でも、符号化モードがフィールド符号化モードに設定される。そして、エンコーダ５４１では、ベースビューの画像であるパッキング色画像のフレームは、フィールド（トップフィールドとボトムフィールド）に変換され、そのフィールドを、ピクチャとして符号化が行われる。
【０６６１】
その結果、エンコーダ５４１では、デコードパッキング色画像のピクチャとしてのフィールドが、符号化されてローカルデコードされ、その結果得られるデコードパッキング色画像のピクチャとしてのフィールドが、DPB４３に供給されて記憶される。
【０６６２】
そして、視差予測部１３１では、構造変換部３５２からの中央視点色画像の対象ピクチャとしてのフィールド（の対象ブロック）の視差予測が、DPB４３に記憶されたデコードパッキング色画像のピクチャとしてのフィールドを参照画像として用いて行われる。
【０６６３】
すなわち、エンコーダ５４２（図３５）では、構造変換部３５２において、符号化対象の中央視点色画像のフレームが、そのフレームの奇数ラインで構成されるトップフィールドと、偶数ラインで構成されるボトムフィールドとに変換されて処理される。
【０６６４】
一方、エンコーダ５４１でも、エンコーダ５４２と同様に、符号化対象のパッキング色画像のフレームが、左視点色画像のフレームの奇数ライン（左視点ライン）で構成されるトップフィールドと、右視点色画像のフレームの偶数ライン（右視点ライン）で構成されるボトムフィールドとに変換されて処理される。
【０６６５】
そして、DPB４３には、エンコーダ５４１での処理により得られるデコードパッキング色画像のフィールド（トップフィールド、ボトムフィールド）が、視差予測の参照画像となるピクチャとして記憶される。
【０６６６】
その結果、視差予測部１３１では、中央視点色画像の対象ピクチャとしてのフィールドの視差予測が、DPB４３に記憶されたデコードパッキング色画像のフィールドを参照画像として用いて行われる。
【０６６７】
すなわち、中央視点色画像の対象ピクチャとしてのトップフィールドの視差予測は、DPB４３に記憶されたデコードパッキング色画像の（対象ピクチャと同一時刻の）トップフィールドを参照画像として用いて行われる。また、中央視点色画像の対象ピクチャとしてのボトムフィールドの視差予測は、DPB４３に記憶されたデコードパッキング色画像の（対象ピクチャと同一時刻の）ボトムフィールドを参照画像として用いて行われる。
【０６６８】
したがって、対象ピクチャとしての中央視点色画像のフィールドの解像度比と、視差予測部１３１での視差予測において、その中央視点色画像の予測画像を生成する際に参照する参照画像のピクチャとしてのデコードパッキング色画像のフィールドの解像度比とは、合致（マッチ）する。
【０６６９】
すなわち、符号化対象の中央視点色画像のトップフィールド、及び、ボトムフィールドそれぞれの解像度比は、いずれも、2:1である。
【０６７０】
一方、参照画像は、デコードパッキング色画像のトップフィールド、及び、ボトムフィールドを構成する左視点色画像、及び、右視点色画像それぞれの垂直解像度は、元の1/2になっており、したがって、デコードパッキング色画像のトップフィールド及びボトムフィールドになっている左視点色画像、及び、右視点色画像それぞれの解像度比は、いずれも、2:1である。
【０６７１】
したがって、デコードパッキング色画像のトップフィールド、及び、ボトムフィールドを構成する左視点色画像、及び、右視点色画像それぞれの解像度比と、中央視点色画像のトップフィールド、及び、ボトムフィールドそれぞれの解像度比とは、2:1で一致する。
【０６７２】
以上のように、中央視点色画像の対象ピクチャとなるフィールド（トップフィールド、ボトムフィールド）の解像度比と、参照画像となるデコートパッキング色画像のフィールドの解像度比とが一致するので、視差予測の予測精度を改善し（視差予測で生成される予測画像と、対象ブロックとの残差が小になり）、符号化効率を向上させることができる。
【０６７３】
その結果、上述した、多視点色画像（及び、多視点奥行き画像）のベースバンドでのデータ量を削減する解像度変換に起因する、受信装置１２で得られる復号画像の画質の劣化を防止することができる。
【０６７４】
［中央視点色画像の符号化処理］
【０６７５】
図３７は、図３５のエンコーダ５４２が行う、中央視点色画像を符号化する符号化処理を説明するフローチャートである。
【０６７６】
エンコーダ５４２では、ステップＳ３０１ないしＳ３１９において、符号化対象が、パッキング色画像ではなく、中央視点色画像であること、さらに、そのために、符号化対象である中央視点色画像の視差予測が、パッキング色画像を参照画像として用いて行われることを除いて、図２８のステップＳ１０１ないしＳ１１９とそれぞれ同様の処理が行われる。
【０６７７】
すなわち、ステップＳ３０１において、A/D変換部１１１は、そこに供給される中央視点色画像のピクチャとしてのフレームのアナログ信号をA/D変換し、画面並び替えバッファ１１２に供給して、処理は、ステップＳ３０２に進む。
【０６７８】
ステップＳ３０２では、画面並び替えバッファ１１２は、A/D変換部１１１からの中央視点色画像のピクチャとしてのフレームを一時記憶し、あらかじめ決められたGOPの構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。
【０６７９】
画面並び替えバッファ１１２から読み出されたピクチャとしてのフレームは、構造変換部３５２に供給され、処理は、ステップＳ３０２からステップＳ３０３に進む。
【０６８０】
ステップＳ３０３では、SEI生成部３５１が、解像度変換装置３２１Ｃ（図１８）から供給される解像度変換情報から、図２５及び図２６で説明した解像度変換SEIを生成し、可変長符号化部１１６に供給して、処理は、ステップＳ３０４に進む。
【０６８１】
ステップＳ３０４では、構造変換部３５２は、解像度変換装置３２１Ｃ（図１８）から供給される解像度変換情報に基づいて、符号化モードをフィールド符号化モードに設定する。
【０６８２】
さらに、構造変換部３５２は、符号化モードをフィールド符号化モードに設定したことに伴い、画面並び替えバッファ１１２からの中央視点色画像のピクチャとしてのフレームを、トップフィールドとボトムフィールドとの２つのフィールドに変換し、演算部１１３、画面内予測部１２２、並びに、インター予測部１２３の視差予測部１３１、及び、時間予測部１３２に供給して、処理は、ステップＳ３０４からステップＳ３０５に進む。
【０６８３】
ステップＳ３０５では、演算部１１３は、構造変換部３５２からの中央視点色画像のピクチャとしてのフィールドを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。
【０６８４】
そして、演算部１１３は、対象ブロックの画素値と、予測画像選択部１２４から供給される予測画像の画素値との差分（残差）を、必要に応じて演算し、直交変換部１１４に供給して、処理は、ステップＳ３０５からステップＳ３０６に進む。
【０６８５】
ステップＳ３０６では、直交変換部１１４は、演算部１１３からの対象ブロックに対して直交変換を施し、その結果得られる変換係数を、量子化部１１５に供給して、処理は、ステップＳ３０７に進む。
【０６８６】
ステップＳ３０７において、量子化部１１５は、直交変換部１１４から供給される変換係数を量子化し、その結果得られる量子化値を、逆量子化部１１８、及び、可変長符号化部１１６に供給して、処理は、ステップＳ３０８に進む。
【０６８７】
ステップＳ３０８では、逆量子化部１１８は、量子化部１１５からの量子化値を、変換係数に逆量子化し、逆直交変換部１１９に供給して、処理は、ステップＳ３０９に進む。
【０６８８】
ステップＳ３０９では、逆直交変換部１１９は、逆量子化部１１８からの変換係数を逆直交変換し、演算部１２０に供給して、処理は、ステップＳ３１０に進む。
【０６８９】
ステップＳ３１０では、演算部１２０は、逆直交変換部１１９から供給されるデータに対して、必要に応じて、予測画像選択部１２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード中央視点色画像を求める。そして、演算部１２０は、対象ブロックをローカルデコードしたデコード中央視点色画像を、デブロッキングフィルタ１２１に供給して、処理は、ステップＳ３１０からステップＳ３１１に進む。
【０６９０】
ステップＳ３１１では、デブロッキングフィルタ１２１は、演算部１２０からのデコード中央視点色画像をフィルタリングし、DPB４３に供給して、処理は、ステップＳ３１２に進む。
【０６９１】
ステップＳ３１２では、DPB４３が、パッキング色画像を符号化するエンコーダ５４１（図３４）から、そのパッキング色画像を符号化して、ローカルデコードすることにより得られるデコードパッキング色画像が供給されるのを待って、そのデコードパッキング色画像を記憶し、処理は、ステップＳ３１３に進む。
【０６９２】
ここで、上述したように、エンコーダ５４１では、視差予測が行われないことを除いて、エンコーダ５４２と同様の符号化処理、すなわち、パッキング色画像のフィールドを、ピクチャとして、フィールド符号化モードでの符号化が行われる。したがって、DPB４３には、デコードパッキング色画像のフィールド、すなわち、左視点色画像の奇数ラインで構成されるトップフィールド、及び、右視点色画像の偶数ラインで構成されるボトムフィールドが記憶される。
【０６９３】
ステップＳ３１３では、DPB４３が、デブロッキングフィルタ１２１からのデコード中央視点色画像（のフィールド）を記憶し、処理は、ステップＳ３１４に進む。
【０６９４】
ステップＳ３１４では、画面内予測部１２２は、次の対象ブロックについて、イントラ予測処理（画面内予測処理）を行う。
【０６９５】
すなわち、画面内予測部１２２は、次の対象ブロックについて、DPB４３に記憶されたデコード中央視点色画像のピクチャとしてのフィールドから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行う。
【０６９６】
そして、画面内予測部１２２は、イントラ予測の予測画像を用いて、次の対象ブロックを符号化するのに要する符号化コストを求め、ヘッダ情報（となるイントラ予測に関する情報）と、イントラ予測の予測画像とともに、予測画像選択部１２４に供給して、処理は、ステップＳ３１４からステップＳ３１５に進む。
【０６９７】
ステップＳ３１５では、時間予測部１３２は、次の対象ブロックについて、デコード中央視点色画像のピクチャとしてのフィールドを、参照画像として、時間予測処理を行う。
【０６９８】
すなわち、時間予測部１３２は、次の対象ブロックについて、DPB４３に記憶されたデコード中央視点色画像のピクチャとしてのフィールドを用いて、時間予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。
【０６９９】
さらに、時間予測部１３２は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、ヘッダ情報（となるインター予測に関する情報）と、符号化コストとともに、予測画像選択部１２４に供給して、処理は、ステップＳ３１５からステップＳ３１６に進む。
【０７００】
ステップＳ３１６では、視差予測部１３１は、次の対象ブロックについて、デコードパッキング色画像のピクチャとしてのフィールドを、参照画像として、視差予測処理を行う。
【０７０１】
すなわち、視差予測部１３１は、次の対象ブロックについて、DPB４３に記憶されたデコードパッキング色画像のピクチャとしてのフィールドを用いて視差予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。
【０７０２】
さらに、視差予測部１３１は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、ヘッダ情報（となるインター予測に関する情報）と、符号化コストとともに、予測画像選択部１２４に供給して、処理は、ステップＳ３１６からステップＳ３１７に進む。
【０７０３】
ステップＳ３１７では、予測画像選択部１２４は、画面内予測部１２２からの予測画像（イントラ予測の予測画像）、時間予測部１３２からの予測画像（時間予測画像）、及び、視差予測部１３１からの予測画像（視差予測画像）のうちの、例えば、符号化コストが最小の予測画像を選択し、演算部１１３及び２２０に供給して、処理は、ステップＳ３１８に進む。
【０７０４】
ここで、予測画像選択部１２４がステップＳ３１７で選択する予測画像が、次の対象ブロックの符号化で行われるステップＳ３０５やＳ３１０の処理で用いられる。
【０７０５】
また、予測画像選択部１２４は、画面内予測部１２２、時間予測部１３２、及び、視差予測部１３１からのヘッダ情報のうちの、符号化コストが最小の予測画像とともに供給されたヘッダ情報を選択し、可変長符号化部１１６に供給する。
【０７０６】
ステップＳ３１８では、可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化を施し、符号化データを得る。
【０７０７】
さらに、可変長符号化部１１６は、予測画像選択部１２４からのヘッダ情報や、SEI生成部３５１からの解像度変換SEIを、符号化データのヘッダに含める。
【０７０８】
そして、可変長符号化部１１６は、符号化データを、蓄積バッファ１１７に供給して、処理は、ステップＳ３１８からステップＳ３１９に進む。
【０７０９】
ステップＳ３１９では、蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶する。
【０７１０】
蓄積バッファ１１７に記憶された符号化データは、所定の伝送レートで、多重化装置２３（図１８）に供給（伝送）される。
【０７１１】
エンコーダ５４２では、以上のステップＳ３０１ないしＳ３１９の処理が、適宜繰り返し行われる。
【０７１２】
図３８は、図３７のステップＳ３１６で、エンコーダ５４２の視差予測部１３１（図１３）が行う、中央視点色画像の視差予測処理を説明するフローチャートである。
【０７１３】
エンコーダ５４２の視差予測部１３１では、ステップＳ３３１ないしＳ３３８において、符号化対象が、パッキング色画像ではなく、中央視点色画像であること、及び、符号化対象である中央視点色画像の視差予測が、パッキング色画像を参照画像として用いて行われることを除いて、図２９のステップＳ１３１ないしＳ１３８とそれぞれ同様の処理が行われる。
【０７１４】
すなわち、ステップＳ３３１において、視差予測部１３１（図１３）では、視差検出部１４１、及び、視差補償部１４２が、DPB４３からのデコードパッキング色画像のピクチャとしてのフィールドを参照画像として受け取り、処理は、ステップＳ３３２に進む。
【０７１５】
ステップＳ３３２では、視差検出部１４１は、構造変換部３５２（図３５）から供給される中央視点色画像の対象ピクチャとしてのフィールドの対象ブロックと、DPB４３からの参照画像としてのデコードパッキング色画像のフィールドとを用いてMEを行うことにより、対象ブロックの、参照画像に対する視差を表す視差ベクトルmvを、マクロブロックタイプごとに検出し、視差補償部１４２に供給して、処理は、ステップＳ３３３に進む。
【０７１６】
ステップＳ３３３では、視差補償部１４２は、DPB４３からの参照画像としてのデコードパッキング色画像のフィールドの視差補償を、視差検出部１４１からの対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を、マクロブロックタイプごとに生成し、処理は、ステップＳ３３４に進む。
【０７１７】
すなわち、視差補償部１４２は、参照画像としてのデコードパッキング色画像のフィールドの、対象ブロックの位置から、視差ベクトルmvだけずれた位置のブロック（領域）である対応ブロックを、予測画像として取得する。
【０７１８】
ステップＳ３３４では、視差補償部１４２は、既に符号化済みの、対象ブロックの周辺のマクロブロックの視差ベクトル等を必要に応じて用いて、対象ブロックの視差ベクトルmvの予測ベクトルPMVを求める。
【０７１９】
さらに、視差補償部１４２は、対象ブロックの視差ベクトルmvと、その予測ベクトルPMVとの差分である残差ベクトルを求める。
【０７２０】
そして、視差補償部１４２は、マクロブロックタイプ等の予測モードごとの対象ブロックの予測画像を、その対象ブロックの残差ベクトル、及び、予測画像を生成するのに用いた参照画像（デコードパッキング色画像のフィールド）に割り当てられている参照インデクスとともに、予測モードと対応付けて、予測情報バッファ１４３、及び、コスト関数算出部１４４に供給して、処理は、ステップＳ３３４からステップＳ３３５に進む。
【０７２１】
ステップＳ３３５では、予測情報バッファ１４３が、視差補償部１４２からの、予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報として、一時記憶して、処理は、ステップＳ３３６に進む。
【０７２２】
ステップＳ３３６では、コスト関数算出部１４４が、予測モードとしてのマクロブロックタイプごとに、構造変換部３５２（図３５）からの対象ピクチャの対象ブロックの符号化に要する符号化コスト（コスト関数値）を、コスト関数を演算することにより求め、モード選択部１４５に供給して、処理は、ステップＳ３３７に進む。
【０７２３】
ステップＳ３３７では、モード選択部１４５は、コスト関数算出部１４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。
【０７２４】
さらに、モード選択部１４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択する。
【０７２５】
そして、処理は、ステップＳ３３７からステップＳ３３８に進み、モード選択部１４５は、最適インター予測モードである予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報バッファ１４３から読み出し、最適インター予測モードである予測モードとともに、予測情報として、予測画像選択部１２４に供給して、処理はリターンする。
【０７２６】
［復号装置３３２Ｃの他の構成例］
【０７２７】
図３９は、図１９の復号装置３３２Ｃの他の構成例を示すブロック図である。
【０７２８】
すなわち、図３９は、符号化装置３２２Ｃが図３４に示したように構成される場合の復号装置３３２Ｃの構成例を示すブロック図である。
【０７２９】
なお、図３９において、図３０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０７３０】
図３９において、復号装置３３２Ｃは、デコーダ６１１及び６１２、並びに、DPB２１３を有する。
【０７３１】
したがって、図３９の復号装置３３２Ｃは、DPB２１３を有する点で、図３０の場合と共通するが、デコーダ４１１及び４１２に代えて、デコーダ６１１及び６１２が設けられている点で、図３０の場合と相違する。
【０７３２】
図３０では、デコーダ４１１が、中央視点色画像を、ベースビューの画像として処理を行うとともに、デコーダ４１２が、パッキング色画像を、ノンベースビューの画像として処理を行うが、図３９では、デコーダ６１１が、パッキング色画像を、ベースビューの画像として処理を行うとともに、デコーダ６１２が、中央視点色画像を、ノンベースビューの画像として処理を行う点で、図３０と図３９とは異なる。
【０７３３】
すなわち、デコーダ６１１には、逆多重化装置３１（図１９）からの多視点色画像符号化データのうちの、パッキング色画像の符号化データが供給される。
【０７３４】
デコーダ６１１は、そこに供給されるパッキング色画像の符号化データを、ベースビューの画像の符号化データとして、図３０のデコーダ４１１と同様に復号し、その結果得られるパッキング色画像を出力する。
【０７３５】
デコーダ６１２には、逆多重化装置３１（図１９）からの多視点色画像符号化データのうちの、中央視点色画像の符号化データが供給される。
【０７３６】
デコーダ６１２は、そこに供給される中央視点色画像の符号化データを、ノンベースビューの画像の符号化データとして、図３０のデコーダ４１２と同様に復号し、その結果得られる中央視点色画像を出力する。
【０７３７】
デコーダ６１１が出力するパッキング色画像と、デコーダ６１２が出力する中央視点色画像とが、解像度変換多視点色画像として、解像度逆変換装置３３３Ｃ（図１９）に供給される。
【０７３８】
ここで、デコーダ６１１及び６１２は、図３０のデコーダ４１１及び４１２と同様に、予測符号化された画像を復号するが、その予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる、復号後の画像を、DPB２１３に一時記憶させる。
【０７３９】
DPB２１３は、デコーダ６１１及び６１２で共用され、デコーダ６１１及び６１２それぞれで得られる復号後の画像（デコード画像）を一時記憶する。
【０７４０】
デコーダ６１１及び６１２それぞれは、DPB２１３に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照画像を選択し、その参照画像を用いて、予測画像を生成する。
【０７４１】
以上のように、DPB２１３は、デコーダ６１１及び６１２で共用されるので、デコーダ６１１及び６１２それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。
【０７４２】
但し、デコーダ６１１は、ベースビューの画像を復号するので、デコーダ６１１で得られたデコード画像のみを参照する（視差予測を行わない）。
【０７４３】
［デコーダ６１２の構成例］
【０７４４】
図４０は、図３９のデコーダ６１２の構成例を示すブロック図である。
【０７４５】
なお、図中、図３１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０７４６】
図４０において、デコーダ６１２は、蓄積バッファ２４１、可変長復号部２４２、逆量子化部２４３、逆直交変換部２４４、演算部２４５、デブロッキングフィルタ２４６、画面並び替えバッファ２４７、D/A変換部２４８、画面内予測部２４９、インター予測部２５０、予測画像選択部２５１、及び、構造逆変換部４５１を有する。
【０７４７】
したがって、図４０のデコーダ６１２は、図３１のデコーダ４１２と同様に構成される。
【０７４８】
但し、デコーダ６１２は、復号対象が、パッキング色画像ではなく、中央視点色画像である点で、図３１のデコーダ４１２と相違する。
【０７４９】
したがって、デコーダ６１２では、視差予測部２６１において、復号対象である中央視点色画像の視差予測が、他の視点の画像であるパッキング色画像を参照画像として用いて行われる。
【０７５０】
すなわち、図４０において、DPB２１３には、デブロッキングフィルタ２４６から供給される、デコーダ６１２で復号されたノンベースビューの画像としてのデコード中央視点色画像が記憶されるとともに、デコーダ６１１から供給される、そのデコーダ６１１で復号されたベースビューの画像としてのデコードパッキング色画像が記憶される。
【０７５１】
そして、視差予測部２６１は、復号対象である中央視点色画像の視差予測を、DPB２１３に記憶されたデコードパッキング色画像を参照画像として用いて行う。
【０７５２】
なお、図３９のデコーダ６１１も、図４０のデコーダ６１２と同様に構成される。但し、ベースビューの画像を復号するデコーダ６１１では、インター予測において、視差予測は行われず、時間予測だけが行われる。したがって、デコーダ６１１は、視差予測を行う視差予測部２６１を設けずに構成することができる。
【０７５３】
ベースビューの画像を復号するデコーダ６１１は、視差予測を行わないことを除いて、ノンベースビューの画像を復号するデコーダ６１２と同様の処理を行うので、以下では、デコーダ６１２の説明を行い、デコーダ６１１の説明は、適宜省略する。
【０７５４】
［中央視点色画像の復号処理］
【０７５５】
図４１は、図４０のデコーダ６１２が行う、中央視点色画像の符号化データを復号する復号処理を説明するフローチャートである。
【０７５６】
デコーダ６１２では、ステップＳ４０１ないしＳ４１８において、復号対象が、パッキング色画像ではなく、中央視点色画像であること、さらに、そのために、復号対象である中央視点色画像の視差予測が、パッキング色画像を参照画像として用いて行われることを除いて、図３２のステップＳ２０１ないしＳ２１８とそれぞれ同様の処理が行われる。
【０７５７】
すなわち、ステップＳ４０１において、蓄積バッファ２４１は、そこに供給される中央視点色画像の符号化データを記憶し、処理は、ステップＳ４０２に進む。
【０７５８】
ステップＳ４０２では、可変長復号部２４２は、蓄積バッファ２４１に記憶された符号化データを読み出して可変長復号することにより、量子化値や、予測モード関連情報、解像度変換SEIを復元する。そして、可変長復号部２４２は、量子化値を、逆量子化部２４３に、予測モード関連情報を、画面内予測部２４９、並びに、インター予測部２５０の参照インデクス処理部２６０、視差予測部２６１、及び、時間予測部２６２に、解像度変換SEIを、構造逆変換部４５１、及び、解像度逆変換装置３３３Ｃ（図１９）に、それぞれ供給して、処理は、ステップＳ４０３に進む。
【０７５９】
ステップＳ４０３では、逆量子化部２４３は、可変長復号部２４２からの量子化値を、変換係数に逆量子化し、逆直交変換部２４４に供給して、処理は、ステップＳ４０４に進む。
【０７６０】
ステップＳ４０４では、逆直交変換部２４４は、逆量子化部２４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部２４５に供給して、処理は、ステップＳ４０５に進む。
【０７６１】
ステップＳ４０５では、演算部２４５は、逆直交変換部２４４からのマクロブロックを復号対象の対象ブロック（残差画像）として、その対象ブロックに対して、必要に応じて、予測画像選択部２５１から供給される予測画像を加算することで、デコード画像を求める。そして、演算部２４５は、デコード画像を、デブロッキングフィルタ２４６に供給し、処理は、ステップＳ４０５からステップＳ４０６に進む。
【０７６２】
ステップＳ４０６では、デブロッキングフィルタ２４６は、演算部２４５からのデコード画像に対して、フィルタリングを行い、そのフィルタリング後のデコード画像（デコード中央視点色画像）を、DPB２１３、及び、構造逆変換部４５１に供給して、処理は、ステップＳ４０７に進む。
【０７６３】
ステップＳ４０７では、DPB２１３が、パッキング色画像を復号するデコーダ６１１（図３９）から、デコードパッキング色画像が供給されるのを待って、そのデコードパッキング色画像を記憶し、処理は、ステップＳ４０８に進む。
【０７６４】
ステップＳ４０８では、DPB２１３が、デブロッキングフィルタ２４６からのデコード中央視点色画像を記憶し、処理は、ステップＳ４０９に進む。
【０７６５】
ここで、図３４のエンコーダ５４１では、パッキング色画像が、フィールドを対象ピクチャとして符号化され、エンコーダ５４２では、中央視点色画像が、フィールドを対象ピクチャとして符号化される。
【０７６６】
このため、パッキング色画像の符号化データを復号するデコーダ６１１では、パッキング色画像が、フィールドを対象ピクチャとして復号される。同様に、中央視点色画像の符号化データを復号するデコーダ６１２では、中央視点色画像が、フィールドを対象ピクチャとして復号される。
【０７６７】
したがって、DPB２１３には、フィールド（構造）のデコードパッキング色画像、及び、デコード中央視点色画像が記憶される。
【０７６８】
ステップＳ４０９では、画面内予測部２４９、並びに、インター予測部２５０（を構成する時間予測部２６２、及び、視差予測部２６１）が、可変長復号部２４２から供給される予測モード関連情報に基づき、次の対象ブロック（次に復号対象となるマクロブロック）が、イントラ予測（画面内予測）、及び、インター予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを判定する。
【０７６９】
そして、ステップＳ４０９において、次の対象ブロックが、画面内予測で生成された予測画像を用いて符号化されていると判定された場合、処理は、ステップＳ４１０に進み、画面内予測部２４９は、イントラ予測処理（画面内予測処理）を行う。
【０７７０】
すなわち、画面内予測部２４９は、次の対象ブロックについて、DPB２１３に記憶されたデコード中央視点色画像から、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行い、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ４１０からステップＳ４１５に進む。
【０７７１】
また、ステップＳ４０９において、次の対象ブロックが、インター予測で生成された予測画像を用いて符号化されていると判定された場合、処理は、ステップＳ４１１に進み、参照インデクス処理部２６０は、可変長復号部２４２からの予測モード関連情報に含まれる予測用の参照インデクスが割り当てられているデコードパッキング色画像のピクチャとしてのフィールド、又は、デコード中央視点色画像のピクチャとしてのフィールドを、DPB２１３から読み出すことにより、参照画像として選択し、処理は、ステップＳ４１２に進む。
【０７７２】
ステップＳ４１２では、参照インデクス処理部２６０が、可変長復号部２４２からの予測モード関連情報に含まれる予測用の参照インデクスに基づき、次の対象ブロックが、インター予測である時間予測、及び、視差予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを判定する。
【０７７３】
ステップＳ４１２において、次の対象ブロックが、時間予測で生成された予測画像を用いて符号化されていると判定された場合、すなわち、可変長復号部２４２からの（次の）対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコード中央視点色画像のピクチャであり、ステップＳ４１１において、そのデコード中央視点色画像のピクチャが、参照画像として選択されている場合、参照インデクス処理部２６０は、参照画像としてのデコード中央視点色画像のピクチャを、時間予測部２６２に供給して、処理は、ステップＳ４１３に進む。
【０７７４】
ステップＳ４１３では、時間予測部２６２が、時間予測処理を行う。
【０７７５】
すなわち、時間予測部２６２は、次の対象ブロックについて、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャの動き補償を、可変長復号部２４２からの予測モード関連情報を用いて行うことにより、予測画像を生成し、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ４１３からステップＳ４１５に進む。
【０７７６】
また、ステップＳ４１２において、次の対象ブロックが、視差予測で生成された予測画像を用いて符号化されていると判定された場合、すなわち、可変長復号部２４２からの（次の）対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコードパッキング色画像のピクチャとしてのフィールドであり、ステップＳ４１１において、そのデコードパッキング色画像のピクチャとしてのフィールドが、参照画像として選択されている場合、参照インデクス処理部２６０は、参照画像としてのデコードパッキング色画像のピクチャとしてのフィールドを、視差予測部２６１に供給して、処理は、ステップＳ４１４に進む。
【０７７７】
ステップＳ４１４では、視差予測部２６１が、視差予測処理を行う。
【０７７８】
すなわち、視差予測部２６１は、次の対象ブロックについて、参照画像としてのデコードパッキング色画像のピクチャとしてのフィールドの視差補償を、可変長復号部２４２からの予測モード関連情報を用いて行うことにより、予測画像を生成し、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ４１４からステップＳ４１５に進む。
【０７７９】
ステップＳ４１５では、予測画像選択部２５１は、画面内予測部２４９、時間予測部２６２、及び、視差予測部２６１のうちの、予測画像が供給される方からの、その予測画像を選択し、演算部２４５に供給して、処理は、ステップＳ４１６に進む。
【０７８０】
ここで、予測画像選択部２５１がステップＳ４１５で選択する予測画像が、次の対象ブロックの復号で行われるステップＳ４０５の処理で用いられる。
【０７８１】
ステップＳ４１６では、構造逆変換部４５１が、可変長復号部２４２からの解像度変換SEIに基づき、デブロッキングフィルタ２４６から、フレームを構成するトップフィールドとボトムフィールドのデコード中央視点色画像が供給されている場合には、そのトップフィールドとボトムフィールドを、フレームに逆変換し、画面並び替えバッファ２４７に供給して、処理は、ステップＳ４１７に進む。
【０７８２】
ステップＳ４１７では、画面並び替えバッファ２４７が、構造逆変換部４５１からのデコード中央視点色画像のピクチャとしてのフレームを一時記憶して読み出すことで、ピクチャの並びを、元の並びに並び替え、D/A変換部２４８に供給して、処理は、ステップＳ４１８に進む。
【０７８３】
ステップＳ４１８では、D/A変換部２４８は、画面並び替えバッファ２４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
【０７８４】
デコーダ６１２では、以上のステップＳ４０１ないしＳ４１８の処理が、適宜繰り返し行われる。
【０７８５】
図４２は、図４１のステップＳ４１４で、視差予測部２６１（図１７）が行う視差予測処理を説明するフローチャートである。
【０７８６】
デコーダ６１２の視差予測部２６１では、ステップＳ４３１ないしＳ４３４において、復号対象が、パッキング色画像ではなく、中央視点色画像であること、及び、復号対象である中央視点色画像の視差予測が、パッキング色画像を参照画像として用いて行われることを除いて、図３３のステップＳ２３１ないしＳ２３４とそれぞれ同様の処理が行われる。
【０７８７】
ステップＳ４３１において、視差予測部２６１（図１７）では、視差補償部２７２が、参照インデクス処理部２６０からの参照画像としてのデコードパッキング色画像のピクチャとしてのフィールドを受け取り、処理は、ステップＳ４３２に進む。
【０７８８】
ステップＳ４３２では、視差補償部２７２は、可変長復号部２４２からの予測モード関連情報に含まれる、（次の）対象ブロックの残差ベクトルを受け取り、処理は、ステップＳ４３３に進む。
【０７８９】
ステップＳ４３３では、視差補償部２７２は、既に復号された、中央視点色画像のピクチャとしてのフィールドの対象ブロックの周辺のマクロブロックの視差ベクトル等を用いて、可変長復号部２４２からの予測モード関連情報に含まれる予測モード（最適インター予測モード）が表すマクロブロックタイプについての対象ブロックの予測ベクトルを求める。
【０７９０】
さらに、視差補償部２７２は、対象ブロックの予測ベクトルと、可変長復号部２４２からの残差ベクトルとを加算することにより、対象ブロックの視差ベクトルmvを復元し、処理は、ステップＳ４３３からステップＳ４３４に進む。
【０７９１】
ステップＳ４３４では、視差補償部２７２は、参照インデクス処理部２６０からの参照画像としてのデコードパッキング色画像のピクチャとしてのフィールドの視差補償を、対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を生成し、予測画像選択部２５１に供給して、処理はリターンする。
【０７９２】
［送信装置１１の構成例］
【０７９３】
図４３は、図１の送信装置１１の他の構成例を示すブロック図である。
【０７９４】
なお、図中、図１８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０７９５】
図４３において、送信装置１１は、解像度変換装置７２１Ｃ及び７２１Ｄ、符号化装置７２２Ｃ及び７２２Ｄ、並びに、多重化装置２３を有する。
【０７９６】
したがって、図４３の送信装置１１は、多重化装置２３を有する点で、図１８の場合と共通し、解像度変換装置３２１Ｃ及び３２１Ｄ、並びに、符号化装置３２２Ｃ及び３２２Ｄそれぞれに代えて、解像度変換装置７２１Ｃ及び７２１Ｄ、並びに、符号化装置７２２Ｃ及び７２２Ｄが設けられている点で、図１８の場合と相違する。
【０７９７】
解像度変換装置７２１Ｃには、多視点色画像が供給される。
【０７９８】
解像度変換装置７２１Ｃは、例えば、図１８の解像度変換装置３２１Ｃと同様の処理を行う。
【０７９９】
すなわち、解像度変換装置７２１Ｃは、そこに供給される多視点色画像を、元の解像度より低い低解像度の解像度変換多視点色画像に変換する解像度変換を行い、その結果られる解像度変換多視点色画像を、符号化装置７２２Ｃに供給する。
【０８００】
さらに、解像度変換装置７２１Ｃは、解像度変換情報を生成し、符号化装置７２２Ｃに供給する。
【０８０１】
ここで、解像度変換装置７２１Ｃには、符号化装置７２２Ｃから、フィールド符号化モード、又は、フレーム符号化モードを表す符号化モードが供給される。
【０８０２】
解像度変換装置７２１Ｃは、符号化装置７２２Ｃから供給される符号化モードに応じて、そこに供給される多視点色画像に含まれる左視点色画像、及び、右視点色画像をパッキングするパッキングパターンを決定する。
【０８０３】
すなわち、解像度変換装置７２１Ｃは、符号化装置７２２Ｃから供給される符号化モードが、フィールド符号化モードである場合、インターレースパッキングのパターン（以下、インターレースパターンともいう）を、多視点色画像に含まれる左視点色画像、及び、右視点色画像をパッキングするパッキングパターンに決定する。
【０８０４】
ここで、パッキングパターンは、図２５及び図２６で説明したパラメータframe_packing_info[i]に相当する。
【０８０５】
解像度変換装置７２１Ｃは、パッキングパターンを決定すると、そのパッキングパターンに従って、多視点色画像に含まれる左視点色画像、及び、右視点色画像をパッキングし、その結果得られるパッキング色画像を含む解像度変換多視点色画像を、符号化装置７２２Ｃに供給する。
【０８０６】
符号化装置７２２Ｃは、符号化モードを、解像度変換装置７２１Ｃに供給する他は、図１８の符号化装置３２２Ｃと同様の処理を行う。
【０８０７】
すなわち、符号化装置７２２Ｃは、解像度変換装置７２１Ｃから供給される解像度変換多視点色画像を拡張方式で符号化し、その結果得られる符号化データである多視点色画像符号化データを、多重化装置２３に供給する。
【０８０８】
解像度変換装置７２１Ｄには、多視点奥行き画像が供給される。
【０８０９】
解像度変換装置７２１Ｄ、及び、符号化装置７２２Ｄでは、色画像（多視点色画像）ではなく、奥行き画像（多視点奥行き画像）を、処理の対象として処理を行うことを除き、解像度変換装置７２１Ｃ、及び、符号化装置７２２Ｃと、それぞれ同様の処理が行われる。
【０８１０】
なお、図４３の送信装置１１で得られる多重化ビットストリームは、図１９の受信装置１２で、多視点色画像、及び、多視点奥行き画像に復号することができる。
【０８１１】
［符号化装置７２２Ｃの構成例］
【０８１２】
図４４は、図４３の符号化装置７２２Ｃの構成例を示すブロック図である。
【０８１３】
なお、図中、図２３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８１４】
図４４において、符号化装置７２２Ｃは、エンコーダ８４１及び８４２、並びに、DPB４３を有する。
【０８１５】
したがって、図４４の符号化装置７２２Ｃは、DPB４３を有する点で、図２３の符号化装置３２２Ｃと共通し、エンコーダ３４１及び３４２に代えて、エンコーダ８４１及び８４２がそれぞれ設けられている点で、図２３の符号化装置３２２Ｃと相違する。
【０８１６】
エンコーダ８４１には、解像度変換装置７２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像（のフレーム）が供給される。
【０８１７】
エンコーダ８４２には、解像度変換装置７２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像（のフレーム）が供給される。
【０８１８】
さらに、エンコーダ８４１及び８４２には、解像度変換装置７２１Ｃからの解像度変換情報が供給される。
【０８１９】
エンコーダ８４１は、図２３のエンコーダ３４１と同様に、中央視点色画像を、ベースビューの画像として符号化し、その結果得られる中央視点色画像の符号化データを出力する。
【０８２０】
エンコーダ８４２は、図２３のエンコーダ３４２と同様に、パッキング色画像を、ノンベースビューの画像として符号化し、その結果得られるパッキング色画像の符号化データを出力する。
【０８２１】
なお、エンコーダ８４２は（エンコーダ８４１も同様）、符号化モードを、例えば、ユーザの操作等に応じて、フィールド符号化モード、又は、フレーム符号化モードに設定し、（又は、符号化コストに応じて、フィールド符号化モード、及び、フレーム符号化モードのうちの、符号化コストが小さい方に設定し）その符号化モードでの符号化を行う。
【０８２２】
また、エンコーダ８４２は、符号化モードを設定すると、その符号化モードを、解像度変換装置７２１Ｃに供給する。
【０８２３】
ここで、解像度変換装置７２１Ｃは、符号化装置７２２Ｃのエンコーダ８４２から符号化モードが供給されると、その符号化モードに応じて、図４３で説明したように、多視点色画像に含まれる左視点色画像、及び、右視点色画像をパッキングするパッキングパターンを決定する。
【０８２４】
エンコーダ８４１が出力する中央視点色画像の符号化データと、エンコーダ８４２が出力するパッキング色画像の符号化データとは、多視点色画像符号化データとして、多重化装置２３（図４３）に供給される。
【０８２５】
ここで、図４４において、DPB４３は、エンコーダ８４１及び８４２で共用される。
【０８２６】
すなわち、エンコーダ８４１及び８４２は、符号化対象の画像を、MVCと同様に予測符号化する。そのため、エンコーダ８４１及び８４２は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
【０８２７】
そして、DPB４３では、エンコーダ８４１及び８４２それぞれで得られるデコード画像が一時記憶される。
【０８２８】
エンコーダ８４１及び８４２それぞれは、DPB４３に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照画像を選択する。そして、エンコーダ８４１及び８４２それぞれは、参照画像を用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
【０８２９】
したがって、エンコーダ８４１及び８４２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
【０８３０】
但し、上述したように、エンコーダ８４１は、ベースビューの画像を符号化するので、エンコーダ８４１で得られたデコード画像のみを参照する。
【０８３１】
［エンコーダ８４２の構成例］
【０８３２】
図４５は、図４４のエンコーダ８４２の構成例を示すブロック図である。
【０８３３】
なお、図中、図２４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８３４】
図４５において、エンコーダ８４２は、A/D変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、予測画像選択部１２４、SEI生成部３５１、及び、構造変換部８５２を有する。
【０８３５】
したがって、エンコーダ８４２は、A/D変換部１１１ないし予測画像選択部１２４、及び、SEI生成部３５１を有する点で、図２４のエンコーダ３４２と共通する。
【０８３６】
但し、エンコーダ８４２は、構造変換部３５２に代えて、構造変換部８５２が設けられている点で、図２４のエンコーダ３４２と相違する。
【０８３７】
構造変換部８５２は、画面並び替えバッファ１１２の出力側に設けられており、図２４の構造変換部３５２と同様の処理を行う。
【０８３８】
但し、図２４の構造変換部３５２は、解像度変換装置３２１Ｃ（図１８）からの解像度変換情報に基づいて、符号化モードを、フィールド符号化モード、又は、フレーム符号化モードに設定するが、図４５の解像度変換部８５２は、解像度変換装置７２１Ｃ（図４３）からの解像度変換情報以外の、例えば、ユーザの操作等に応じて、符号化モードを設定し、その符号化モードを、解像度変換装置７２１Ｃに供給する。
【０８３９】
図４３で説明したように、解像度変換装置７２１Ｃでは、（符号化装置７２２Ｃの）エンコーダ８４２から供給される符号化モードに応じて、パッキングパターンが決定され、そのパッキングパターンに従って、多視点色画像に含まれる左視点色画像、及び、右視点色画像がパッキングされる。
【０８４０】
［本技術を適用したコンピュータの説明］
【０８４１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０８４２】
そこで、図４７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０８４３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１１０５やROM１１０３に予め記録しておくことができる。
【０８４４】
あるいはまた、プログラムは、リムーバブル記録媒体１１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０８４５】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０８４６】
コンピュータは、CPU(Central Processing Unit)１１０２を内蔵しており、CPU１１０２には、バス１１０１を介して、入出力インタフェース１１１０が接続されている。
【０８４７】
CPU１１０２は、入出力インタフェース１１１０を介して、ユーザによって、入力部１１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１１０３に格納されているプログラムを実行する。あるいは、CPU１１０２は、ハードディスク１１０５に格納されたプログラムを、RAM(Random Access Memory)１１０４にロードして実行する。
【０８４８】
これにより、CPU１１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１１０を介して、出力部１１０６から出力、あるいは、通信部１１０８から送信、さらには、ハードディスク１１０５に記録等させる。
【０８４９】
なお、入力部１１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０８５０】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０８５１】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０８５２】
本技術は、衛星放送、ケーブルTV（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して通信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像処理システムに適用することができる。
【０８５３】
また、上述した画像処理システムの少なくとも一部は、任意の電子機器に適用することができる。以下にその例について説明する。
【０８５４】
［TVの構成例］
【０８５５】
図４８は、本技術を適用したTVの概略構成例を示す図である。
【０８５６】
TV１９００は、アンテナ１９０１、チューナ１９０２、デマルチプレクサ１９０３、デコーダ１９０４、映像信号処理部１９０５、表示部１９０６、音声信号処理部１９０７、スピーカ１９０８、外部インタフェース部１９０９を有している。さらに、TV１９００は、制御部１９１０、ユーザインタフェース部１９１１等を有している。
【０８５７】
チューナ１９０２は、アンテナ１９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ１９０３に出力する。
【０８５８】
デマルチプレクサ１９０３は、符号化ビットストリームから視聴対象である番組の画像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ１９０４に出力する。また、デマルチプレクサ１９０３は、EPG(Electronic Program Guide)等のデータのパケットを制御部１９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０８５９】
デコーダ１９０４は、パケットの復号処理を行い、復号処理によって生成された画像データを画像信号処理部１９０５、音声データを音声信号処理部１９０７に出力する。
【０８６０】
画像信号処理部１９０５は、画像データに対して、ノイズ除去やユーザ設定に応じた画像処理等を行う。画像信号処理部１９０５は、表示部１９０６に表示させる番組の画像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、画像信号処理部１９０５は、項目の選択などのメニュー画面等を表示するための画像データを生成し、それを番組の画像データに重畳する。画像信号処理部１９０５は、このようにして生成した画像データに基づいて駆動信号を生成して表示部１９０６を駆動する。
【０８６１】
表示部１９０６は、画像信号処理部１９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の画像などを表示させる。
【０８６２】
音声信号処理部１９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのD/A変換処理や増幅処理を行いスピーカ１９０８に供給することで音声出力を行う。
【０８６３】
外部インタフェース部１９０９は、外部機器やネットワークと接続するためのインタフェースであり、画像データや音声データ等のデータ送受信を行う。
【０８６４】
制御部１９１０にはユーザインタフェース部１９１１が接続されている。ユーザインタフェース部１９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部１９１０に供給する。
【０８６５】
制御部１９１０は、CPU(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ、EPGデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、TV１９００の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、TV１９００がユーザ操作に応じた動作となるように各部を制御する。
【０８６６】
なお、TV１９００では、チューナ１９０２、デマルチプレクサ１９０３、画像信号処理部１９０５、音声信号処理部１９０７、外部インタフェース部１９０９等と制御部１９１０を接続するためバス１９１２が設けられている。
【０８６７】
このように構成されるTV１９００では、デコーダ１９０４に本技術の機能が設けられる。
【０８６８】
［携帯電話機の構成例］
【０８６９】
図４９は、本技術を適用した携帯電話機の概略構成例を示す図である。
【０８７０】
携帯電話機１９２０は、通信部１９２２、音声コーデック１９２３、カメラ部１９２６、画像処理部１９２７、多重分離部１９２８、記録再生部１９２９、表示部１９３０、制御部１９３１を有している。これらは、バス１９３３を介して互いに接続されている。
【０８７１】
また、通信部１９２２にはアンテナ１９２１が接続されており、音声コーデック１９２３には、スピーカ１９２４とマイクロホン１９２５が接続されている。さらに制御部１９３１には、操作部１９３２が接続されている。
【０８７２】
携帯電話機１９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０８７３】
音声通話モードにおいて、マイクロホン１９２５で生成された音声信号は、音声コーデック１９２３で音声データへの変換やデータ圧縮が行われて通信部１９２２に供給される。通信部１９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部１９２２は、送信信号をアンテナ１９２１に供給して図示しない基地局へ送信する。また、通信部１９２２は、アンテナ１９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック１９２３に供給する。音声コーデック１９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ１９２４に出力する。
【０８７４】
また、データ通信モードにおいて、メール送信を行う場合、制御部１９３１は、操作部１９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部１９３０に表示する。また、制御部１９３１は、操作部１９３２におけるユーザ指示等に基づいてメールデータを生成して通信部１９２２に供給する。通信部１９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ１９２１から送信する。また、通信部１９２２は、アンテナ１９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部１９３０に供給して、メール内容の表示を行う。
【０８７５】
なお、携帯電話機１９２０は、受信したメールデータを、記録再生部１９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０８７６】
データ通信モードにおいて画像データを送信する場合、カメラ部１９２６で生成された画像データを、画像処理部１９２７に供給する。画像処理部１９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０８７７】
多重分離部１９２８は、画像処理部１９２７で生成された符号化データと、音声コーデック１９２３から供給された音声データを所定の方式で多重化して通信部１９２２に供給する。通信部１９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ１９２１から送信する。また、通信部１９２２は、アンテナ１９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部１９２８に供給する。多重分離部１９２８は、多重化データの分離を行い、符号化データを画像処理部１９２７、音声データを音声コーデック１９２３に供給する。画像処理部１９２７は、符号化データの復号処理を行い、画像データを生成する。この画像データを表示部１９３０に供給して、受信した画像の表示を行う。音声コーデック１９２３は、音声データをアナログ音声信号に変換してスピーカ１９２４に供給して、受信した音声を出力する。
【０８７８】
このように構成される携帯電話装置１９２０では、画像処理部１９２７に本技術の機能が設けられる。
【０８７９】
［記録再生装置の構成例］
【０８８０】
図５０は、本技術を適用した記録再生装置の概略構成例を示す図である。
【０８８１】
記録再生装置１９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置１９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置１９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０８８２】
記録再生装置１９４０は、チューナ１９４１、外部インタフェース部１９４２、エンコーダ１９４３、HDD(Hard Disk Drive)部１９４４、ディスクドライブ１９４５、セレクタ１９４６、デコーダ１９４７、OSD(On-Screen Display)部１９４８、制御部１９４９、ユーザインタフェース部１９５０を有している。
【０８８３】
チューナ１９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ１９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ１９４６に出力する。
【０８８４】
外部インタフェース部１９４２は、IEEE1394インタフェース、ネットワークインタフェース部、USBインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部１９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する画像データや音声データ等のデータ受信を行う。
【０８８５】
エンコーダ１９４３は、外部インタフェース部１９４２から供給された画像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ１９４６に出力する。
【０８８６】
HDD部１９４４は、画像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０８８７】
ディスクドライブ１９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばDVDディスク(DVD-Video，DVD-RAM，DVD-R，DVD-RW，DVD+R，DVD+RW等)やBlu-rayディスク等である。
【０８８８】
セレクタ１９４６は、画像や音声の記録時には、チューナ１９４１またはエンコーダ１９４３からのいずれかの符号化ビットストリームを選択して、HDD部１９４４やディスクドライブ１９４５のいずれかに供給する。また、セレクタ１９４６は、画像や音声の再生時に、HDD部１９４４またはディスクドライブ１９４５から出力された符号化ビットストリームをデコーダ１９４７に供給する。
【０８８９】
デコーダ１９４７は、符号化ビットストリームの復号処理を行う。デコーダ１９４７は、復号処理を行うことにより生成された画像データをOSD部１９４８に供給する。また、デコーダ１９４７は、復号処理を行うことにより生成された音声データを出力する。
【０８９０】
OSD部１９４８は、項目の選択などのメニュー画面等を表示するための画像データを生成し、それをデコーダ１９４７から出力された画像データに重畳して出力する。
【０８９１】
制御部１９４９には、ユーザインタフェース部１９５０が接続されている。ユーザインタフェース部１９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部１９４９に供給する。
【０８９２】
制御部１９４９は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置１９４０の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、記録再生装置１９４０がユーザ操作に応じた動作となるように各部を制御する。
【０８９３】
このように構成される記録再生装置１９４０では、デコーダ１９４７に本技術の機能が設けられる。
【０８９４】
［撮像装置の構成例］
【０８９５】
図５１は、本技術を適用した撮像装置の概略構成例を示す図である。
【０８９６】
撮像装置１９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０８９７】
撮像装置１９６０は、光学ブロック１９６１、撮像部１９６２、カメラ信号処理部１９６３、画像データ処理部１９６４、表示部１９６５、外部インタフェース部１９６６、メモリ部１９６７、メディアドライブ１９６８、OSD部１９６９、制御部１９７０を有している。また、制御部１９７０には、ユーザインタフェース部１９７１が接続されている。さらに、画像データ処理部１９６４や外部インタフェース部１９６６、メモリ部１９６７、メディアドライブ１９６８、OSD部１９６９、制御部１９７０等は、バス１９７２を介して接続されている。
【０８９８】
光学ブロック１９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック１９６１は、被写体の光学像を撮像部１９６２の撮像面に結像させる。撮像部１９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部１９６３に供給する。
【０８９９】
カメラ信号処理部１９６３は、撮像部１９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部１９６３は、カメラ信号処理後の画像データを画像データ処理部１９６４に供給する。
【０９００】
画像データ処理部１９６４は、カメラ信号処理部１９６３から供給された画像データの符号化処理を行う。画像データ処理部１９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部１９６６やメディアドライブ１９６８に供給する。また、画像データ処理部１９６４は、外部インタフェース部１９６６やメディアドライブ１９６８から供給された符号化データの復号処理を行う。画像データ処理部１９６４は、復号処理を行うことにより生成された画像データを表示部１９６５に供給する。また、画像データ処理部１９６４は、カメラ信号処理部１９６３から供給された画像データを表示部１９６５に供給する処理や、OSD部１９６９から取得した表示用データを、画像データに重畳させて表示部１９６５に供給する。
【０９０１】
OSD部１９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部１９６４に出力する。
【０９０２】
外部インタフェース部１９６６は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部１９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部１９６６は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部１９７０は、例えば、ユーザインタフェース部１９７１からの指示にしたがって、メモリ部１９６７から符号化データを読み出し、それを外部インタフェース部１９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部１９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部１９６６を介して取得し、それを画像データ処理部１９６４に供給したりすることができる。
【０９０３】
メディアドライブ１９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であってもよい。
【０９０４】
また、メディアドライブ１９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０９０５】
制御部１９７０は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置１９６０の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、撮像装置１９６０がユーザ操作に応じた動作となるように各部を制御する。
【０９０６】
このように構成される撮像装置１９６０では、画像データ処理部１９６４に本技術の機能が設けられる。
【０９０７】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０９０８】
すなわち、本実施の形態では、MVCにおいて、分数精度での視差予測を行う際のフィルタ処理に用いられるフィルタ(AIF)をコントロールすることにより、参照画像を、符号化対象の画像の解像度比と合致する解像度比の変換参照画像に変換することとしたが、参照画像の、変換参照画像の変換に用いるフィルタとしては、専用の補間フィルタを用意し、その専用の補間フィルタを用いて、参照画像をフィルタ処理することにより、変換参照画像に変換することができる。
【０９０９】
また、符号化対象の画像の解像度比と合致する解像度比の変換参照画像には、横及び縦の解像度が、符号化対象の画像の解像度と一致する変換参照画像が、当然含まれる。
【０９１０】
なお、本技術は、以下のような構成を取ることができる。
【０９１１】
［１］
３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換する変換部と、
前記変換部により変換された前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成する補償部と、
前記補償部により生成された前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する符号化部と
を備える画像処理装置。
［２］
前記変換部は、前記符号化モードが、フィールド符号化モードである場合、２視点の画像を、垂直方向の解像度が1/2にされた前記２視点の画像の各ラインを交互に並べて配置したパッキング画像に変換する
［１］に記載の画像処理装置。
［３］
前記符号化モードに応じて、前記パッキングパターンを決定する決定部をさらに備える
［１］又は［２］に記載の画像処理装置。
［４］
前記パッキングパターンを表す情報と、前記符号化部により符号化された符号化ストリームとを伝送する伝送部をさらに備える
［１］ないし［３］に記載のいずれかの画像処理装置。
［５］
３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、
前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、
前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する
ステップを含む画像処理方法。
［６］
３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、
前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、
前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する
ことにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像を、視差補償を行うことにより生成する補償部と、
前記補償部により生成された前記予測画像を用いて、前記符号化ストリームを、前記符号化モードで復号する復号部と、
前記復号部により前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像を、前記パッキングパターンに従って分離することにより、元の２視点以上の画像に逆変換する逆変換部と
を備える画像処理装置。
［７］
前記符号化モードが、フィールド符号化モードである場合、
前記パッキング画像は、２視点の画像を、垂直方向の解像度が1/2にされた前記２視点の画像の各ラインを交互に並べて配置した１視点分の画像であり、
前記逆変換部は、前記パッキング画像を、元の２視点の画像に逆変換する
［６］に記載の画像処理装置。
［８］
前記パッキングパターンを表す情報と、前記符号化部により符号化された符号化ストリームとを受け取る受け取り部をさらに備える
［６］又は［７］に記載の画像処理装置。
［９］
３視点以上の画像のうちの２視点以上の画像を、符号化対象の符号化対象画像を符号化する際の符号化モードに応じて２視点以上の画像を１視点分の画像にパッキングするパッキングパターンに従ってパッキングすることにより、パッキング画像に変換し、
前記パッキング画像を、前記符号化対象画像、又は、参照画像として、視差補償を行うことにより、前記符号化対象画像の予測画像を生成し、
前記予測画像を用いて、前記符号化対象画像を、前記符号化モードで符号化する
ことにより得られる符号化ストリームを復号する際に用いる、復号対象の復号対象画像の予測画像を、視差補償を行うことにより生成し、
前記予測画像を用いて、前記符号化ストリームを、前記符号化モードで復号し、
前記符号化ストリームを復号することにより得られる前記復号対象画像が前記パッキング画像である場合に、前記パッキング画像を、前記パッキングパターンに従って分離することにより、元の２視点以上の画像に逆変換する
ステップを含む画像処理方法。
【符号の説明】
【０９１２】
１１  送信装置，  １２  受信装置，  ２１Ｃ，２１Ｄ  解像度変換装置，  ２２Ｃ，２２Ｄ  符号化装置，  ２３  多重化装置，  ３１  逆多重化装置，  ３２Ｃ，３２Ｄ  復号装置，  ３３Ｃ，３３Ｄ  解像度逆変換装置，  ４１，４２  エンコーダ，  ４３  DPB，  １１１  A/D変換部，  １１２  画面並び替えバッファ，  １１３  演算部，  １１４  直交変換部，  １１５  量子化部，  １１６  可変長符号化部，  １１７  蓄積バッファ，  １１８  逆量子化部，  １１９  逆直交変換部，  １２０  演算部，  １２１  デブロッキングフィルタ，  １２２  画面内予測部，  １２３  インター予測部，  １２４  予測画像選択部，  １３１  視差予測部，  １３２  時間予測部，  １４１  視差検出部，  １４２  視差補償部，  １４３  予測情報バッファ，  １４４  コスト関数算出部，  １４５  モード選択部，  ２１１，２１２  デコーダ，  ２１３  DPB，  ２４１  蓄積バッファ，  ２４２  可変長復号部，  ２４３  逆量子化部，  ２４４  逆直交変換部，  ２４５  演算部，  ２４６  デブロッキングフィルタ，  ２４７  画面並び替え部，  ２４８  D/A変換部，  ２４９  画面内予測部，  ２５０  インター予測部，  ２５１  予測画像選択部，  ２６０  参照インデクス処理部，  ２６１  視差予測部，  ２６２  時間予測部，  ２７２  視差補償部，  ３２１Ｃ，３２１Ｄ  解像度変換装置，  ３２２Ｃ，３２２Ｄ  符号化装置，  ３２３  多重化装置，  ３３２Ｃ，３３２Ｄ  復号装置，  ３３３Ｃ，３３３Ｄ  解像度逆変換装置，  ３４１，３４２  エンコーダ，  ３５１  SEI生成部，  ３５２  構造変換部，  ４１１，４１２  デコーダ，  ４５１  構造逆変換部，  ５４１，５４２  エンコーダ，  ６１１，６１２  デコーダ，  ７２１Ｃ，７２１Ｄ  解像度変換装置，  ７２２Ｃ，７２２Ｄ  符号化装置，  ８４１，８４２  エンコーダ，８５２  構造変換部，  １１０１  バス，  １１０２  CPU，  １１０３  ROM，  １１０４  RAM，  １１０５  ハードディスク，  １１０６  出力部，  １１０７  入力部，  １１０８  通信部，  １１０９  ドライブ，  １１１０  入出力インタフェース，  １１１１  リムーバブル記録媒体
【図１】
2012157443.tif 000006
【図２】
2012157443.tif 000007
【図３】
2012157443.tif 000008
【図４】
2012157443.tif 000009
【図５】
2012157443.tif 000010
【図６】
2012157443.tif 000011
【図７】
2012157443.tif 000012
【図８】
2012157443.tif 000013
【図９】
2012157443.tif 000014
【図１０】
2012157443.tif 000015
【図１１】
2012157443.tif 000016
【図１２】
2012157443.tif 000017
【図１３】
2012157443.tif 000018
【図１４】
2012157443.tif 000019
【図１５】
2012157443.tif 000020
【図１６】
2012157443.tif 000021
【図１７】
2012157443.tif 000022
【図１８】
2012157443.tif 000023
【図１９】
2012157443.tif 000024
【図２０】
2012157443.tif 000025
【図２１】
2012157443.tif 000026
【図２２】
2012157443.tif 000027
【図２３】
2012157443.tif 000028
【図２４】
2012157443.tif 000029
【図２５】
2012157443.tif 000030
【図２６】
2012157443.tif 000031
【図２７】
2012157443.tif 000032
【図２８】
2012157443.tif 000033
【図２９】
2012157443.tif 000034
【図３０】
2012157443.tif 000035
【図３１】
2012157443.tif 000036
【図３２】
2012157443.tif 000037
【図３３】
2012157443.tif 000038
【図３４】
2012157443.tif 000039
【図３５】
2012157443.tif 000040
【図３６】
2012157443.tif 000041
【図３７】
2012157443.tif 000042
【図３８】
2012157443.tif 000043
【図３９】
2012157443.tif 000044
【図４０】
2012157443.tif 000045
【図４１】
2012157443.tif 000046
【図４２】
2012157443.tif 000047
【図４３】
2012157443.tif 000048
【図４４】
2012157443.tif 000049
【図４５】
2012157443.tif 000050
【図４６】
2012157443.tif 000051
【図４７】
2012157443.tif 000052
【図４８】
2012157443.tif 000053
【図４９】
2012157443.tif 000054
【図５０】
2012157443.tif 000055
【図５１】
2012157443.tif 000056
【国際調査報告】
2012157443.tif 000057
2012157443.tif 000058
2012157443.tif 000059
2012157443.tif 000060