(57)【要約】本技術は、視差予測の予測効率を改善することができる画像処理装置、及び、画像処理方法に関する。参照画像変換部は、符号化対象の符号化対象画像の予測画像を生成する際に参照する、符号化対象画像とは異なる視点の参照画像、及び、符号化対象画像の解像度に関する解像度情報に応じて、参照画像に施すフィルタ処理をコントロールすることにより、参照画像を、符号化対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換する。視差補償部は、変換参照画像を用いて、視差補償を行うことにより、予測画像を生成し、その予測画像を用いて、符号化対象画像が符号化される。本技術は、例えば、複数の視点の画像の符号化、及び、復号に適用できる。
2012147622.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の符号化対象画像の予測画像を生成する際に参照する、前記符号化対象画像とは異なる視点の参照画像、及び、前記符号化対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像を、前記符号化対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換する変換部と、
前記変換部により変換された前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像を生成する補償部と、
前記補償部により生成された前記予測画像を用いて、前記符号化対象画像を符号化する符号化部と
を備える画像処理装置。
【請求項２】
前記変換部は、画素以下精度の視差補償を行う際に用いられるフィルタによる前記フィルタ処理をコントロールする
請求項１に記載の画像処理装置。
【請求項３】
前記符号化対象画像は、２つの視点の画像の解像度を変換して、１視点分の画像に合成するパッキングを行うことにより得られたパッキング画像であり、
前記解像度情報は、前記パッキング画像において、前記２つの視点の画像がどのようにパッキングされているかを表すパッキングパターンを含み、
前記変換部は、前記パッキングパターンに応じて、前記フィルタ処理をコントロールする
請求項２に記載の画像処理装置。
【請求項４】
前記符号化対象画像は、垂直方向の解像度が1/2にされた前記２つの視点の画像を、上下に並べて配置したパッキング画像、又は、水平方向の解像度が1/2にされた前記２つの視点の画像を、左右に並べて配置したパッキング画像であり、
前記変換部は、
前記参照画像とそのコピーとを、上下、又は、左右に並べて配置したパッキング参照画像を生成し、
前記パッキング参照画像に、画素を補間するフィルタによるフィルタ処理を施すことにより、前記変換参照画像を求める
請求項３に記載の画像処理装置。
【請求項５】
前記解像度情報と、前記符号化部により符号化された符号化ストリームとを伝送する伝送部をさらに備える
請求項２に記載の画像処理装置。
【請求項６】
符号化対象の符号化対象画像の予測画像を生成する際に参照する、前記符号化対象画像とは異なる視点の参照画像、及び、前記符号化対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像を、前記符号化対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換し、
前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像を生成し、
前記予測画像を用いて、前記符号化対象画像を符号化する
ステップを含む画像処理方法。
【請求項７】
復号対象の復号対象画像の予測画像を生成する際に参照する、前記復号対象画像とは異なる視点の参照画像、及び、前記復号対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像を、前記復号対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換する変換部と、
前記変換部により変換された前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像を生成する補償部と、
前記補償部により生成された前記予測画像を用いて、前記復号対象画像を含む画像を符号化した符号化ストリームを復号する復号部と
を備える画像処理装置。
【請求項８】
前記変換部は、画素以下精度の視差補償を行う際に用いられるフィルタによる前記フィルタ処理をコントロールする
請求項７に記載の画像処理装置。
【請求項９】
前記復号対象画像は、２つの視点の画像の解像度を変換して、１視点分の画像に合成するパッキングを行うことにより得られたパッキング画像であり、
前記解像度情報は、前記パッキング画像において、前記２つの視点の画像がどのようにパッキングされているかを表すパッキングパターンを含み、
前記変換部は、前記パッキングパターンに応じて、前記フィルタ処理をコントロールする
請求項８に記載の画像処理装置。
【請求項１０】
前記復号対象画像は、垂直方向の解像度が1/2にされた前記２つの視点の画像を、上下に並べて配置したパッキング画像、又は、水平方向の解像度が1/2にされた前記２つの視点の画像を、左右に並べて配置したパッキング画像であり、
前記変換部は、
前記参照画像とそのコピーとを、上下、又は、左右に並べて配置したパッキング参照画像を生成し、
前記パッキング参照画像に、画素を補間するフィルタによるフィルタ処理を施すことにより、前記変換参照画像を求める
請求項９に記載の画像処理装置。
【請求項１１】
前記解像度情報と、前記符号化ストリームとを受け取る受け取り部をさらに備える
請求項８に記載の画像処理装置。
【請求項１２】
復号対象の復号対象画像の予測画像を生成する際に参照する、前記復号対象画像とは異なる視点の参照画像、及び、前記復号対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像を、前記復号対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換し、
前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像を生成し、
前記予測画像を用いて、前記復号対象画像を含む画像を符号化した符号化ストリームを復号する
ステップを含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、及び、画像処理方法に関し、複数の視点の画像の符号化や復号において行う視差予測の予測効率を改善することができるようにする画像処理装置、及び、画像処理方法に関する。
【背景技術】
【０００２】
3D(Dimension)画像等の複数の視点の画像を符号化する符号化方式としては、例えば、AVC(Advanced Video Coding)(H.264/AVC)を拡張したMVC(Multiview Video Coding)等がある。【０００３】
MVCでは、符号化対象となる画像は、被写体からの光に対応する値を、画素値として有する色画像であり、複数の視点の色画像それぞれは、必要に応じて、その視点の色画像の他、他の視点の色画像をも参照して、符号化される。【０００４】
すなわち、MVCでは、複数の視点の色画像のうちの、１つの視点の色画像が、ベースビュー(Base View)の画像とされ、他の視点の色画像は、ノンベースビュー(Non Base View)の画像とされる。【０００５】
そして、ベースビューの色画像は、そのベースビューの色画像のみを参照して符号化され、ノンベースビューの色画像は、そのノンベースビューの色画像の他、他のビューの画像をも必要に応じて参照して符号化される。【０００６】
すなわち、ノンベースビューの色画像については、必要に応じて、他のビュー（視点）の色画像を参照して予測画像を生成する視差予測が行われ、その予測画像を用いて符号化される。【０００７】
ところで、近年においては、複数の視点の画像として、各視点の色画像の他に、各視点の色画像の画素ごとの視差に関する視差情報（デプス情報）を、画素値として有する視差情報画像(デプス画像)を採用し、各視点の色画像と各視点の視差情報画像とを、別々に符号化する方法が提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】“Draft Call for Proposals on 3D Video Coding Technology”,INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO, MPEG2010/N11679 Guangzhou,China,October 2010
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述のように、複数の視点の画像については、ある視点の画像の符号化（及び復号）において、他の視点の画像を参照する視差予測を行うことができるので、視差予測の予測効率（予測精度）が符号化効率に影響する。【００１０】
本技術は、このような状況に鑑みてなされたものであり、視差予測の予測効率を改善することができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の第１の側面の画像処理装置は、符号化対象の符号化対象画像の予測画像を生成する際に参照する、前記符号化対象画像とは異なる視点の参照画像、及び、前記符号化対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像を、前記符号化対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換する変換部と、前記変換部により変換された前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像を生成する補償部と、前記補償部により生成された前記予測画像を用いて、前記符号化対象画像を符号化する符号化部とを備える画像処理装置である。【００１２】
本技術の第１の側面の画像処理方法は、符号化対象の符号化対象画像の予測画像を生成する際に参照する、前記符号化対象画像とは異なる視点の参照画像、及び、前記符号化対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像を、前記符号化対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換し、前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像を生成し、前記予測画像を用いて、前記符号化対象画像を符号化するステップを含む画像処理方法である。【００１３】
以上のような第１の側面においては、符号化対象の符号化対象画像の予測画像を生成する際に参照する、前記符号化対象画像とは異なる視点の参照画像、及び、前記符号化対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像が、前記符号化対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換される。そして、前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像が生成され、前記予測画像を用いて、前記符号化対象画像が符号化される。【００１４】
本技術の第２の側面の画像処理装置は、復号対象の復号対象画像の予測画像を生成する際に参照する、前記復号対象画像とは異なる視点の参照画像、及び、前記復号対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像を、前記復号対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換する変換部と、前記変換部により変換された前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像を生成する補償部と、前記補償部により生成された前記予測画像を用いて、前記復号対象画像を含む画像を符号化した符号化ストリームを復号する復号部とを備える画像処理装置である。【００１５】
本技術の第２の側面の画像処理方法は、復号対象の復号対象画像の予測画像を生成する際に参照する、前記復号対象画像とは異なる視点の参照画像、及び、前記復号対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像を、前記復号対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換し、前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像を生成し、前記予測画像を用いて、前記復号対象画像を含む画像を符号化した符号化ストリームを復号するステップを含む画像処理方法である。【００１６】
以上のような第２の側面においては、復号対象の復号対象画像の予測画像を生成する際に参照する、前記復号対象画像とは異なる視点の参照画像、及び、前記復号対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像が、前記復号対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換される。そして、前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像が生成され、前記予測画像を用いて、前記復号対象画像を含む画像を符号化した符号化ストリームが復号される。【００１７】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１８】
また、画像処理装置は、コンピュータにプログラムを実行させることにより実現することができ、そのプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１９】
本技術によれば、視差予測の予測効率を改善することができる。
【図面の簡単な説明】
【００２０】
【図１】本技術を適用した伝送システムの一実施の形態の構成例を示すブロック図である。
【図２】送信装置１１の構成例を示すブロック図である。
【図３】受信装置１２の構成例を示すブロック図である。
【図４】解像度変換装置２１Ｃが行う解像度変換を説明する図である。
【図５】符号化装置２２Ｃの構成例を示すブロック図である。
【図６】MVCの予測符号化において、予測画像を生成するときに参照するピクチャ（参照画像）を説明する図である。
【図７】MVCでのピクチャの符号化（及び復号）順を説明する図である。
【図８】エンコーダ４１及び４２で行われる時間予測と視差予測を説明する図である。
【図９】エンコーダ４２の構成例を示すブロック図である。
【図１０】MVC(AVC)のマクロブロックタイプを説明する図である。
【図１１】MVC(AVC)の予測ベクトル(PMV)を説明する図である。
【図１２】インター予測部１２３の構成例を示すブロック図である。
【図１３】視差予測部１３１の構成例を示すブロック図である。
【図１４】参照画像に、サブペルを補間するMVCのフィルタ処理を説明する図である。
【図１５】参照画像に、サブペルを補間するMVCのフィルタ処理を説明する図である。
【図１６】参照画像変換部１４０の構成例を示すブロック図である。
【図１７】復号装置３２Ｃの構成例を示すブロック図である。
【図１８】デコーダ２１２の構成例を示すブロック図である。
【図１９】インター予測部２５０の構成例を示すブロック図である。
【図２０】視差予測部２６１の構成例を示すブロック図である。
【図２１】送信装置１１の他の構成例を示すブロック図である。
【図２２】受信装置１２の他の構成例を示すブロック図である。
【図２３】解像度変換装置３２１Ｃが行う解像度変換、及び、解像度逆変換装置３３３Ｃが行う解像度逆変換を説明する図である。
【図２４】送信装置１１の処理を説明するフローチャートである。
【図２５】受信装置１２の処理を説明するフローチャートである。
【図２６】符号化装置３２２Ｃの構成例を示すブロック図である。
【図２７】エンコーダ３４２の構成例を示すブロック図である。
【図２８】SEI生成部３５１で生成される解像度変換SEIを説明する図である。
【図２９】パラメータnum_views_minus_1，view_id[i]，frame_packing_info[i]、及び、view_id_in_frame[i]にセットされる値を説明する図である。
【図３０】視差予測部３６１の構成例を示すブロック図である。
【図３１】参照画像変換部３７０の構成例を示すブロック図である。
【図３２】コントローラ３８１のコントロールに従ったパッキング部３８２によるパッキングを説明する図である。
【図３３】水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５のフィルタ処理を説明する図である。
【図３４】水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５のフィルタ処理を説明する図である。
【図３５】参照画像変換部３７０において得られる変換参照画像を示す図である。
【図３６】エンコーダ３４２が行う、パッキング色画像を符号化する符号化処理を説明するフローチャートである。
【図３７】視差予測部３６１が行う視差予測処理を説明するフローチャートである。
【図３８】参照画像変換部３７０が行う参照画像の変換処理を説明するフローチャートである。
【図３９】復号装置３３２Ｃの構成例を示すブロック図である。
【図４０】デコーダ４１２の構成例を示すブロック図である。
【図４１】視差予測部４６１の構成例を示すブロック図である。
【図４２】参照画像変換部４７１の構成例を示すブロック図である。
【図４３】デコーダ４１２が行う、パッキング色画像の符号化データを復号する復号処理を説明するフローチャートである。
【図４４】視差予測部４６１が行う視差予測処理を説明するフローチャートである。
【図４５】参照画像変換部４７１が行う参照画像の変換処理を説明するフローチャートである。
【図４６】解像度変換装置３２１Ｃが行う解像度変換、及び、解像度逆変換装置３３３Ｃが行う解像度逆変換を説明する図である。
【図４７】パラメータnum_views_minus_1，view_id[i]，frame_packing_info[i]、及び、view_id_in_frame[i]にセットされる値を説明する図である。
【図４８】コントローラ３８１のコントロールに従ったパッキング部３８２によるパッキングを説明する図である。
【図４９】水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５のフィルタ処理を説明する図である。
【図５０】水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５のフィルタ処理を説明する図である。
【図５１】参照画像変換部３７０において得られる変換参照画像を示す図である。
【図５２】パッキング色画像が、サイドバイサイドパッキングされている場合の参照画像の変換処理を説明するフローチャートである。
【図５３】解像度変換装置３２１Ｃが行う解像度変換、及び、解像度逆変換装置３３３Ｃが行う解像度逆変換を説明する図である。
【図５４】解像度変換多視点色画像が、中央視点画像、低解像度左視点画像、及び、低解像度右視点画像である場合の、符号化装置３２２Ｃの構成例を示すブロック図である。
【図５５】エンコーダ５１１の構成例を示すブロック図である。
【図５６】SEI生成部５５１で生成される解像度変換SEIを説明する図である。
【図５７】パラメータnum_views_minus_1，view_id[i]、及び、resolution_info[i]にセットされる値を説明する図である。
【図５８】視差予測部５６１の構成例を示すブロック図である。
【図５９】参照画像変換部５７０の構成例を示すブロック図である。
【図６０】エンコーダ５１１が行う、低解像度左視点色画像を符号化する符号化処理を説明するフローチャートである。
【図６１】視差予測部５６１が行う視差予測処理を説明するフローチャートである。
【図６２】参照画像変換部５７０が行う参照画像の変換処理を説明するフローチャートである。
【図６３】コントローラ３８１による、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５それぞれのフィルタ処理のコントロールを説明する図である。
【図６４】解像度変換多視点色画像が、中央視点画像、低解像度左視点画像、及び、低解像度右視点画像である場合の復号装置３３２Ｃの構成例を示すブロック図である。
【図６５】デコーダ６１１の構成例を示すブロック図である。
【図６６】視差予測部６６１の構成例を示すブロック図である。
【図６７】デコーダ６１１が行う、低解像度左視点色画像の符号化データを復号する復号処理を説明するフローチャートである。
【図６８】視差予測部６６１が行う視差予測処理を説明するフローチャートである。
【図６９】視差と奥行きについて説明する図である。
【図７０】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【図７１】本技術を適用したTVの概略構成例を示す図である。
【図７２】本技術を適用した携帯電話機の概略構成例を示す図である。
【図７３】本技術を適用した記録再生装置の概略構成例を示す図である。
【図７４】本技術を適用した撮像装置の概略構成例を示す図である。
【発明を実施するための形態】
【００２１】
［本明細書におけるデプス画像（視差情報画像）の説明］
図６９は、視差と奥行きについて説明する図である。
【００２２】
図６９に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。
【００２３】
2012147622.tif 000003
・・・（ａ）
【００２４】
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
【００２５】
式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（視差情報画像）とする。
【００２６】
なお、デプス画像（視差情報画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差情報画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
【００２７】
視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【００２８】
【数４】
2012147622.tif 000004
【００２９】
なお、式（ｂ）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【００３０】
また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【００３１】
【数５】
2012147622.tif 000005
【００３２】
なお、式（ｃ）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【００３３】
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像（視差情報画像）とする。ここでは、デプス画像（視差情報画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
【００３４】
なお、デプス画像（視差情報画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報）とする。更に、値I又は値yをマッピングしたものをデプスマップとする。
【００３５】
［本技術の画像処理装置を適用した伝送システムの一実施の形態］
【００３６】
図１は、本技術を適用した伝送システムの一実施の形態の構成例を示すブロック図である。
【００３７】
図１において、伝送システムは、送信装置１１と受信装置１２とを有する。
【００３８】
送信装置１１には、多視点色画像と多視点視差情報画像(多視点デプス画像)とが供給される。
【００３９】
ここで、多視点色画像は、複数の視点の色画像を含み、その複数の視点のうちの所定の１つの視点の色画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の色画像は、ノンベースビューの画像として扱われる。
【００４０】
多視点視差情報画像は、多視点色画像を構成する色画像の各視点の視差情報画像を含み、例えば、所定の１つの視点の視差情報画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の視差情報画像は、色画像の場合と同様に、ノンベースビューの画像として扱われる。
【００４１】
送信装置１１は、そこに供給される多視点色画像と多視点視差情報画像とのそれぞれを符号化して多重化し、その結果得られる多重化ビットストリームを出力する。
【００４２】
送信装置１１が出力する多重化ビットストリームは、図示せぬ伝送媒体を介して伝送され、又は、図示せぬ記録媒体に記録される。
【００４３】
受信装置１２には、送信装置１１が出力する多重化ビットストリームが、図示せぬ伝送媒体、又は、記録媒体を介して提供される。
【００４４】
受信装置１２は、多重化ビットストリームを受け取り、その多重化ビットストリームの逆多重化を行うことにより、多重化ビットストリームから、多視点色画像の符号化データと、多視点視差情報画像の符号化データとを分離する。
【００４５】
さらに、受信装置１２は、多視点色画像の符号化データと、多視点視差情報画像の符号化データとのそれぞれを復号し、その結果得られる多視点色画像と多視点視差情報画像を出力する。
【００４６】
ところで、複数の視点の色画像である多視点色画像と、複数の視点の視差情報画像である多視点視差情報画像とを伝送する規格として、例えば、裸眼で鑑賞可能な裸眼3D(dimension)画像の表示を主なアプリ−ケーションとするMPEG3DVが策定されつつある。
【００４７】
MPEG3DVでは、２つの視点の画像（色画像、視差情報画像）の他、２つの視点より多い、例えば、３つの視点や４つの視点の画像の伝送についても議論されている。
【００４８】
裸眼3D画像（いわゆる偏光メガネなしで視聴可能な3D画像）の表示においては、（画像の）視点数が多いほど、高画質の画像を表示することができるとともに、立体感を強くすることができる。このため、画質や立体感の観点からは、視点数が多いことが望ましい。
【００４９】
しかしながら、視点数を多くすると、ベースバンドで扱うデータ量が膨大になる。
【００５０】
すなわち、例えば、３つの視点の色画像、及び、視差情報画像として、いわゆるフルHD(High Definition)の解像度の画像を伝送する場合、そのデータ量は、フルHDの2D画像のデータ量（１つの視点の画像のデータ量）の６倍になる。
【００５１】
ベースバンド伝送規格としては、例えば、HDMI(High-Definition Multimedia Interface)があるが、HDMIの最新規格でも、4K（フルHDの４倍）相当のデータ量しか扱うことができないため、３つの視点の色画像、及び、視差情報画像は、そのままでは、ベースバンドで伝送することができない。
【００５２】
したがって、フルHDの３つの視点の色画像、及び、視差情報画像を、ベースバンドで伝送するには、ベースバンドで、例えば、画像の解像度を低下させる等して、多視点色画像、及び、多視点視差情報画像の（ベースバンドでの）データ量を削減する必要がある。
【００５３】
一方、送信装置１１では、多視点色画像、及び、多視点視差情報画像が符号化されるが、符号化データ（ひいては、多重化ビットストリーム）のビットレートは制限されるため、符号化において、１つの視点の画像（色画像、視差情報画像）に割り当てられる符号化データのビット量も制限される。
【００５４】
符号化において、画像のベースバンドのデータ量に対して、その画像に割り当てることができる符号化データのビット量が少ない場合には、ブロック歪み等の符号化歪みが顕著になり、その結果、受信装置１２での復号によって得られる復号画像の画質が劣化する。
【００５５】
したがって、復号画像の画質の劣化を抑制する観点からも、多視点色画像、及び、多視点視差情報画像の（ベースバンドでの）データ量を削減する必要がある。
【００５６】
そこで、送信装置１１は、多視点色画像、及び、多視点視差情報画像の（ベースバンドでの）データ量を削減してから、符号化を行う。
【００５７】
ここで、視差情報画像の画素値である視差情報としては、ある視点を、基準とする基準視点として、色画像の各画素に写る被写体の、基準視点との視差を表す視差値（値Ｉ）や、色画像の各画素に写る被写体までの距離（奥行き）を表す奥行き値(値ｙ)を用いることができる。
【００５８】
複数の視点の色画像を撮影したカメラの位置関係が既知であれば、視差値と奥行き値とは、相互に変換することができるので、等価な情報である。
【００５９】
ここで、以下では、画素値として視差値を有する視差情報画像(デプス画像)を、視差画像ともいい、画素値として、奥行き値を有する視差情報画像(デプス画像)を、奥行き画像ともいう。
【００６０】
以下では、視差情報画像として、視差画像、及び、奥行き画像のうちの、例えば、奥行き画像を用いることとするが、視差情報画像としては、視差画像を用いることも可能である。
【００６１】
［送信装置１１の構成例］
【００６２】
図２は、図１の送信装置１１の構成例を示すブロック図である。
【００６３】
図２において、送信装置１１は、解像度変換装置２１Ｃ及び２１Ｄ、符号化装置２２Ｃ及び２２Ｄ、並びに、多重化装置２３を有する。
【００６４】
解像度変換装置２１Ｃには、多視点色画像が供給される。
【００６５】
解像度変換装置２１Ｃは、そこに供給される多視点色画像を、元の解像度より低い低解像度の解像度変換多視点色画像に変換する解像度変換を行い、その結果得られる解像度変換多視点色画像を、符号化装置２２Ｃに供給する。
【００６６】
符号化装置２２Ｃは、解像度変換装置２１Ｃから供給される解像度変換多視点色画像を、複数の視点の画像を伝送する規格である、例えば、MVCで符号化し、その結果得られる符号化データである多視点色画像符号化データを、多重化装置２３に供給する。
【００６７】
ここで、MVCは、AVCの拡張プロファイルであり、MVCによれば、前述したように、ノンベースビューの画像については、視差予測を特徴とする効率的な符号化を行うことができる。
【００６８】
また、MVCでは、ベースビューの画像は、AVC互換で符号化される。したがって、ベースビューの画像をMVCで符号化した符号化データは、AVCのデコーダで復号することができる。
【００６９】
解像度変換装置２１Ｄには、多視点色画像を構成する各視点の色画像の画素ごとの奥行き値を画素値として有する、各視点の奥行き画像である多視点奥行き画像が供給される。
【００７０】
図２において、解像度変換装置２１Ｄ、及び、符号化装置２２Ｄは、色画像（多視点色画像）ではなく、奥行き画像（多視点奥行き画像）を、処理の対象として、解像度変換装置２１Ｃ、及び、符号化装置２２Ｃと、それぞれ同様の処理を行う。
【００７１】
すなわち、解像度変換装置２１Ｄは、そこに供給される多視点奥行き画像を、元の解像度より低い低解像度の解像度変換多視点奥行き画像に解像度変換し、符号化装置２２Ｄに供給する。
【００７２】
符号化装置２２Ｄは、解像度変換装置２１Ｄから供給される解像度変換多視点奥行き画像を、MVCで符号化し、その結果得られる符号化データである多視点奥行き画像符号化データを、多重化装置２３に供給する。
【００７３】
多重化装置２３は、符号化装置２２Ｃからの多視点色画像符号化データと、符号化装置２２Ｄからの多視点奥行き画像符号化データとを多重化し、その結果得られる多重化ビットストリームを出力する。
【００７４】
［受信装置１２の構成例］
【００７５】
図３は、図１の受信装置１２の構成例を示すブロック図である。
【００７６】
図３において、受信装置１２は、逆多重化装置３１、復号装置３２Ｃ及び３２Ｄ、並びに、解像度逆変換装置３３Ｃ及び３３Ｄを有する。
【００７７】
逆多重化装置３１には、送信装置１１（図２）が出力する多重化ビットストリームが供給される。
【００７８】
逆多重化装置３１は、そこに供給される多重化ビットストリームを受け取り、その多重化ビットストリームの逆多重化を行うことにより、多重化ビットストリームを、多視点色画像符号化データと、多視点奥行き画像符号化データとに分離する。
【００７９】
そして、逆多重化装置３１は、多視点色画像符号化データを、復号装置３２Ｃに供給し、多視点奥行き画像符号化データを、復号装置３２Ｄに供給する。
【００８０】
復号装置３２Ｃは、逆多重化装置３１から供給される多視点色画像符号化データを、MVCで復号し、その結果得られる解像度変換多視点色画像を、解像度逆変換装置３３Ｃに供給する。
【００８１】
解像度逆変換装置３３Ｃは、復号装置３２Ｃからの解像度変換多視点色画像を、元の解像度の多視点色画像に（逆）変換する解像度逆変換を行い、その結果得られる多視点色画像を出力する。
【００８２】
復号装置３２Ｄ、及び、解像度逆変換装置３３Ｄは、多視点色画像符号化データ（解像度変換多視点色画像）ではなく、多視点奥行き画像符号化データ（解像度変換多視点奥行き画像）を、処理の対象として、復号装置３２Ｃ、及び、解像度逆変換装置３３Ｃと、それぞれ同様の処理を行う。
【００８３】
すなわち、復号装置３２Ｄは、逆多重化装置３１から供給される多視点奥行き画像符号化データを、MVCで復号し、その結果得られる解像度変換多視点奥行き画像を、解像度逆変換装置３３Ｄに供給する。
【００８４】
解像度逆変換装置３３Ｄは、復号装置３２Ｄからの解像度変換多視点奥行き画像を、元の解像度の多視点奥行き画像に解像度逆変換して出力する。
【００８５】
なお、本実施の形態では、以下同様に、奥行き画像については、色画像と同様の処理が施されるため、奥行き画像の処理については、以下、適宜、説明を省略する。
【００８６】
［解像度変換］
【００８７】
図４は、図２の解像度変換装置２１Ｃが行う解像度変換を説明する図である。
【００８８】
なお、以下では、多視点色画像が（多視点奥行き画像についても同様）、例えば、３つの視点の色画像である中央視点色画像、左視点色画像、及び、右視点色画像であることとする。
【００８９】
３つの視点の色画像である中央視点色画像、左視点色画像、及び、右視点色画像は、例えば、３台のカメラを、被写体の正面の位置、被写体に向かって左側の位置、及び、被写体に向かって右側の位置に配置して、被写体を撮影することにより得られる画像である。
【００９０】
したがって、中央視点色画像は、被写体の正面の位置を視点とする画像である。また、左視点色画像は、中央視点色画像の視点（中央視点）より左側の位置（左視点）を視点とする画像であり、右視点色画像は、中央視点より右側の位置（右視点）を視点とする画像である。
【００９１】
なお、多視点色画像（及び多視点奥行き画像）は、２視点の画像、又は、４視点以上の画像であっても良い。
【００９２】
解像度変換装置２１Ｃは、そこに供給される多視点色画像である中央視点色画像、左視点色画像、及び、右視点色画像のうちの、例えば、中央視点色画像を、そのまま（解像度変換せずに）出力する。
【００９３】
また、解像度変換装置２１Ｃは、多視点色画像の残りの左視点色画像、及び、右視点色画像については、２つの視点の画像の解像度を低解像度に変換して、１視点分の画像に合成するパッキングを行うことにより、パッキング色画像を生成して出力する。
【００９４】
すなわち、解像度変換装置２１Ｃは、左視点色画像、及び、右視点色画像それぞれの垂直方向の解像度（画素数）を1/2にし、その垂直方向の解像度（垂直解像度）が1/2にされた左視点色画像、及び、右視点色画像を、上下に並べて配置することにより、１視点分の画像であるパッキング色画像を生成する。
【００９５】
ここで、図４のパッキング色画像では、左視点色画像が上側に配置され、右視点色画像が下側に配置されている。
【００９６】
解像度変換装置２１Ｃが出力する中央視点色画像、及び、パッキング色画像が、解像度変換多視点色画像として、符号化装置２２Ｃに供給される。
【００９７】
ここで、解像度変換装置２１Ｃに供給される多視点色画像は、中央視点色画像、左視点色画像、及び、右視点色画像の３視点分の画像であるが、解像度変換装置２１Ｃが出力する解像度変換多視点色画像は、中央視点色画像、及び、パッキング色画像の２視点分の画像であり、ベースバンドでのデータ量が削減されている。
【００９８】
なお、図４では、多視点色画像を構成する中央視点色画像、左視点色画像、及び、右視点色画像のうちの、左視点色画像、及び、右視点色画像を、１視点分のパッキング色画像にパッキングしたが、パッキングは、中央視点色画像、左視点色画像、及び、右視点色画像のうちの、任意の２つの視点の色画像を対象として行うことができる。
【００９９】
但し、受信装置１２側において、2D画像が表示される場合には、その2D画像の表示には、多視点色画像を構成する中央視点色画像、左視点色画像、及び、右視点色画像のうちの、中央視点色画像が用いられることが予想される。このため、図４では、2D画像を高画質で表示することができるように、中央視点色画像を、解像度を低解像度に変換するパッキングの対象にしていない。
【０１００】
すなわち、受信装置１２側では、3D画像の表示には、多視点色画像を構成する中央視点色画像、左視点色画像、及び、右視点色画像のすべてが用いられるが、2D画像の表示には、中央視点色画像、左視点色画像、及び、右視点色画像のうちの、例えば、中央視点色画像だけが用いられる。したがって、受信装置１２側では、多視点色画像を構成する中央視点色画像、左視点色画像、及び、右視点色画像のうちの、左視点色画像、及び、右視点色画像は、3D画像の表示にのみ用いられるが、図４では、その3D画像の表示にのみ用いられる左視点色画像、及び、右視点色画像が、パッキングの対象にされている。
【０１０１】
［符号化装置２２Ｃの構成例］
【０１０２】
図５は、図２の符号化装置２２Ｃの構成例を示すブロック図である。
【０１０３】
図５の符号化装置２２Ｃは、解像度変換装置２１Ｃ（図２、図４）からの解像度変換多視点色画像である中央視点色画像、及び、パッキング色画像を、MVCで符号化する。
【０１０４】
ここで、以下では、特に断らない限り、中央視点色画像を、ベースビューの画像とし、他の視点の画像、すなわち、ここでは、パッキング色画像を、ノンベースビューの画像として扱うこととする。
【０１０５】
図５において、符号化装置２２Ｃは、エンコーダ４１，４２、及び、DPB(Decode Picture Buffer)４３を有する。
【０１０６】
エンコーダ４１には、解像度変換装置２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像が供給される。
【０１０７】
エンコーダ４１は、中央視点色画像を、ベースビューの画像として、MVC(AVC)で符号化し、その結果得られる中央視点色画像の符号化データを出力する。
【０１０８】
エンコーダ４２には、解像度変換装置２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像が供給される。
【０１０９】
エンコーダ４２は、パッキング色画像を、ノンベースビューの画像として、MVCで符号化し、その結果得られるパッキング色画像の符号化データを出力する。
【０１１０】
なお、エンコーダ４１が出力する中央視点色画像の符号化データと、エンコーダ４２が出力するパッキング色画像の符号化データとは、多視点色画像符号化データとして、多重化装置２３（図２）に供給される。
【０１１１】
DPB４３は、エンコーダ４１及び４２それぞれで、符号化対象の画像を符号化し、ローカルデコードすることにより得られるローカルデコード後の画像（デコード画像）を、予測画像の生成時に参照する参照画像（の候補）として一時記憶する。
【０１１２】
すなわち、エンコーダ４１及び４２は、符号化対象の画像を予測符号化する。そのため、エンコーダ４１及び４２は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
【０１１３】
DPB４３は、エンコーダ４１及び４２それぞれで得られるデコード画像を一時記憶する、いわば共用のバッファであり、エンコーダ４１及び４２それぞれは、DPB４３に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照画像を選択する。そして、エンコーダ４１及び４２それぞれは、参照画像を用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
【０１１４】
DPB４３は、エンコーダ４１及び４２で共用されるので、エンコーダ４１及び４２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
【０１１５】
但し、エンコーダ４１は、ベースビューの画像を符号化するため、エンコーダ４１で得られたデコード画像のみを参照する。
【０１１６】
［MVCの概要］
【０１１７】
図６は、MVCの予測符号化において、予測画像を生成するときに参照するピクチャ（参照画像）を説明する図である。
【０１１８】
いま、ベースビューの画像のピクチャを、表示時刻順に、p11,p12,p13,・・・と表すとともに、ノンベースビューの画像のピクチャを、表示時刻順に、p21,p22,p23,・・・と表すこととする。
【０１１９】
ベースビューのピクチャである、例えば、ピクチャp12は、そのベースビューのピクチャである、例えば、ピクチャp11やp13を、必要に応じて参照して、予測符号化される。
【０１２０】
すなわち、ベースビューのピクチャp12については、そのベースビューの他の表示時刻のピクチャであるピクチャp11やp13のみを参照し、予測（予測画像の生成）を行うことができる。
【０１２１】
また、ノンベースビューのピクチャである、例えば、ピクチャp22は、そのノンベースビューのピクチャである、例えば、ピクチャp21やp23、さらには、他のビューであるベースビューのピクチャp12を、必要に応じて参照して、予測符号化される。
【０１２２】
すなわち、ノンベースビューのピクチャp22は、そのノンベースビューの他の表示時刻のピクチャであるピクチャp21やp23の他、他のビューのピクチャであるベースビューのピクチャp12を参照し、予測を行うことができる。
【０１２３】
ここで、符号化対象のピクチャと同一のビューの（他の表示時刻の）ピクチャを参照して行われる予測を、時間予測ともいい、符号化対象のピクチャと異なるビューのピクチャを参照して行われる予測を、視差予測ともいう。
【０１２４】
以上のように、MVCでは、ベースビューのピクチャについては、時間予測のみを行うことができ、ノンベースビューのピクチャについては、時間予測と視差予測を行うことができる。
【０１２５】
なお、MVCにおいて、視差予測において参照する、符号化対象のピクチャと異なるビューのピクチャは、符号化対象のピクチャと同一の表示時刻のピクチャでなければならない。
【０１２６】
図７は、MVCでのピクチャの符号化（及び復号）順を説明する図である。
【０１２７】
図６と同様に、ベースビューの画像のピクチャを、表示時刻順に、p11,p12,p13,・・・と表すとともに、ノンベースビューの画像のピクチャを、表示時刻順に、p21,p22,p23,・・・と表すこととする。
【０１２８】
いま、説明を簡単にするために、各ビューのピクチャが、表示時刻順に符号化されることとすると、まず、ベースビューの最初の時刻t=1のピクチャp11が符号化され、その後、ノンベースビューの、同一時刻t=1のピクチャp21が符号化される。
【０１２９】
ノンベースビューの、同一時刻t=1のピクチャ（すべて）の符号化が終了すると、ベースビューの次の時刻t=2のピクチャp12が符号化され、その後、ノンベースビューの、同一時刻t=2のピクチャp22が符号化される。
【０１３０】
以下、同様の順番で、ベースビューのピクチャ、及び、ノンベースビューのピクチャは、符号化されていく。
【０１３１】
図８は、図５のエンコーダ４１及び４２で行われる時間予測と視差予測を説明する図である。
【０１３２】
なお、図８において、横軸は、符号化（復号）の時刻を表す。
【０１３３】
ベースビューの画像を符号化するエンコーダ４１では、ベースビューの画像である中央視点色画像のピクチャの予測符号化において、既に符号化された中央視点色画像の他のピクチャを参照する時間予測を行うことができる。
【０１３４】
ノンベースビューの画像を符号化するエンコーダ４２では、ノンベースビューの画像であるパッキング色画像のピクチャの予測符号化において、既に符号化されたパッキング色画像の他のピクチャを参照する時間予測と、（既に符号化された）中央視点色画像のピクチャ（符号化対象のパッキング色画像のピクチャと同一時刻（POC(Picture Order Count)が同一）のピクチャ）を参照する視差予測とを行うことができる。
【０１３５】
［エンコーダ４２の構成例］
【０１３６】
図９は、図５のエンコーダ４２の構成例を示すブロック図である。
【０１３７】
図９において、エンコーダ４２は、A/D(Analog/Digital)変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、及び、予測画像選択部１２４を有する。
【０１３８】
A/D変換部１１１には、符号化対象の画像（動画像）であるパッキング色画像のピクチャが、表示順に、順次、供給される。
【０１３９】
A/D変換部１１１は、そこに供給されるピクチャが、アナログ信号である場合には、そのアナログ信号をA/D変換し、画面並び替えバッファ１１２に供給する。
【０１４０】
画面並び替えバッファ１１２は、A/D変換部１１１からのピクチャを一時記憶し、あらかじめ決められたGOP(Group of Pictures)の構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。
【０１４１】
画面並び替えバッファ１１２から読み出されたピクチャは、演算部１１３、画面内予測部１２２、及び、インター予測部１２３に供給される。
【０１４２】
演算部１１３には、画面並び替えバッファ１１２から、ピクチャが供給される他、予測画像選択部１２４から、画面内予測部１２２、又は、インター予測部１２３で生成された予測画像が供給される。
【０１４３】
演算部１１３は、画面並び替えバッファ１１２から読み出されたピクチャを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。
【０１４４】
そして、演算部１１３は、対象ブロックの画素値から、予測画像選択部１２４から供給される予測画像の画素値を減算した減算値を、必要に応じて演算し、直交変換部１１４に供給する。
【０１４５】
直交変換部１１４は、演算部１１３からの対象ブロック（の画素値、又は、予測画像が減算された残差）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部１１５に供給する。
【０１４６】
量子化部１１５は、直交変換部１１４から供給される変換係数を量子化し、その結果得られる量子化値を、可変長符号化部１１６に供給する。
【０１４７】
可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化（例えば、CAVLC(Context-Adaptive Variable Length Coding)等）や、算術符号化（例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)等）等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ１１７に供給する。
【０１４８】
なお、可変長符号化部１１６には、量子化部１１５から量子化値が供給される他、予測画像選択部１２４から、符号化データのヘッダに含めるヘッダ情報が供給される。
【０１４９】
可変長符号化部１１６は、予測画像選択部１２４からのヘッダ情報を符号化し、符号化データのヘッダに含める。
【０１５０】
蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶し、所定のデータレートで出力（伝送）する。
【０１５１】
量子化部１１５で得られた量子化値は、可変長符号化部１１６に供給される他、逆量子化部１１８にも供給され、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０において、ローカルデコードが行われる。
【０１５２】
すなわち、逆量子化部１１８は、量子化部１１５からの量子化値を、変換係数に逆量子化し、逆直交変換部１１９に供給する。
【０１５３】
逆直交変換部１１９は、逆量子化部１１８からの変換係数を逆直交変換し、演算部１２０に供給する。
【０１５４】
演算部１２０は、逆直交変換部１１９から供給されるデータに対して、必要に応じて、予測画像選択部１２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード画像を得て、デブロッキングフィルタ１２１に供給する。
【０１５５】
デブロッキングフィルタ１２１は、演算部１２０からのデコード画像をフィルタリングすることにより、デコード画像に生じたブロック歪を除去（低減）し、DPB４３（図５）に供給する。
【０１５６】
ここで、DPB４３は、デブロッキングフィルタ１２１からのデコード画像、すなわち、エンコーダ４２において符号化されてローカルデコードされたパッキング色画像のピクチャを、時間的に後に行われる予測符号化（演算部１１３で予測画像の減算が行われる符号化）に用いる予測画像を生成するときに参照する参照画像（の候補）として記憶する。
【０１５７】
図５で説明したように、DPB４３は、エンコーダ４１及び４２で共用されるので、エンコーダ４２において符号化されてローカルデコードされたパッキング色画像のピクチャの他、エンコーダ４１において符号化されてローカルデコードされた中央視点色画像のピクチャも記憶する。
【０１５８】
なお、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０によるローカルデコードは、例えば、参照画像（参照ピクチャ）となることが可能な参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャを対象として行われ、DPB４３では、Iピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像が記憶される。
【０１５９】
画面内予測部１２２は、対象ピクチャが、イントラ予測（画面内予測）され得るIピクチャ、Pピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB４３から、対象ピクチャのうちの、既にローカルデコードされている部分（デコード画像）を読み出す。そして、画面内予測部１２２は、DPB４３から読み出した、対象ピクチャのうちのデコード画像の一部を、画面並び替えバッファ１１２から供給される対象ピクチャの対象ブロックの予測画像とする。
【０１６０】
さらに、画面内予測部１２２は、予測画像を用いて対象ブロックを符号化するのに要する符号化コスト、すなわち、対象ブロックの、予測画像に対する残差等を符号化するのに要する符号化コストを求め、予測画像とともに、予測画像選択部１２４に供給する。
【０１６１】
インター予測部１２３は、対象ピクチャが、インター予測され得るPピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB４３から、対象ピクチャより前に符号化されてローカルデコードされたピクチャを、参照画像として読み出す。
【０１６２】
また、インター予測部１２３は、画面並び替えバッファ１１２からの対象ピクチャの対象ブロックと、参照画像とを用いたME(Motion Estimation)によって、対象ブロックと、参照画像の、対象ブロックに対応する対応ブロック（例えば、対象ブロックとのSAD(Sum of Absolute Differences)等を最小にするブロック）とのずれ（視差、動き）を表すずれベクトルを検出する。
【０１６３】
ここで、参照画像が、対象ピクチャと同一のビューの（対象ピクチャと異なる時刻の）ピクチャである場合、対象ブロックと参照画像とを用いたMEによって検出されるずれベクトルは、対象ブロックと、参照画像との間の動き（時間的なずれ）を表す動きベクトルとなる。
【０１６４】
また、参照画像が、対象ピクチャと異なるビューの（対象ピクチャと同一時刻の）ピクチャである場合、対象ブロックと参照画像とを用いたMEによって検出されるずれベクトルは、対象ブロックと、参照画像との間の視差（空間的なずれ）を表す視差ベクトルとなる。
【０１６５】
インター予測部１２３は、対象ブロックのずれベクトルに従って、DPB４３からの参照画像のMC(Motion Compensation)であるずれ補償（動き分のずれを補償する動き補償、又は、視差分のずれを補償する視差補償）を行うことで、予測画像を生成する。
【０１６６】
すなわち、インター予測部１２３は、参照画像の、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（領域）である対応ブロックを、予測画像として取得する。
【０１６７】
さらに、インター予測部１２３は、対象ブロックを予測画像を用いて符号化するのに要する符号化コストを、後述するマクロブロックタイプ等が異なるインター予測モードごとに求める。
【０１６８】
そして、インター予測部１２３は、符号化コストが最小のインター予測モードを、最適なインター予測モードである最適インター予測モードとして、その最適インター予測モードで得られた予測画像と符号化コストとを、予測画像選択部１２４に供給する。
【０１６９】
ここで、ずれベクトル（視差ベクトル、動きベクトル）に基づいて、予測画像を生成することを、ずれ予測（視差予測、時間予測（動き予測））、又は、ずれ補償（視差補償、動き補償）ともいう。なお、ずれ予測には、必要に応じて、ずれベクトルの検出が含まれる。
【０１７０】
予測画像選択部１２４は、画面内予測部１２２、及び、インター予測部１２３それぞれからの予測画像のうちの、符号化コストが小さい予測画像を選択し、演算部１１３、及び、１２０に供給する。
【０１７１】
なお、画面内予測部１２２は、イントラ予測に関する情報（予測モード関連情報）を、予測画像選択部１２４に供給し、インター予測部１２３は、インター予測に関する情報（ずれベクトルの情報や、参照画像に割り当てられている参照インデクス等を含む予測モード関連情報）を、予測画像選択部１２４に供給する。
【０１７２】
予測画像選択部１２４は、画面内予測部１２２、及び、インター予測部１２３それぞれからの情報のうちの、符号化コストが小さい予測画像が生成された方からの情報を選択し、ヘッダ情報として、可変長符号化部１１６に供給する。
【０１７３】
なお、図５のエンコーダ４１も、図９のエンコーダ４２と同様に構成される。但し、ベースビューの画像を符号化するエンコーダ４１では、インター予測において、視差予測は行われず、時間予測だけが行われる。
【０１７４】
［マクロブロックタイプ］
【０１７５】
図１０は、MVC(AVC)のマクロブロックタイプを説明する図である。
【０１７６】
MVCでは、対象ブロックとなるマクロブロックは、横×縦が１６×１６画素のブロックであるが、ME（及び、予測画像の生成）は、マクロブロックをパーティションに分割して、パーティションごとに行うことができる。
【０１７７】
すなわち、MVCでは、マクロブロックを、１６×１６画素、１６×８画素、８×１６画素、又は８×８画素のうちのいずれかのパーティションに分割して、各パーティションごとに、MEを行って、ずれベクトル（動きベクトル、又は、視差ベクトル）を検出することができる。
【０１７８】
また、MVCでは、８×８画素のパーティションは、さらに、８×８画素、８×４画素、４×８画素、又は４×４画素のうちのいずれかのサブパーティションに分割し、各サブパーティションごとに、MEを行って、ずれベクトル（動きベクトル、又は、視差ベクトル）を検出することができる。
【０１７９】
マクロブロックタイプは、マクロブロックを、どのようなパーティション（さらには、サブパーティション）に分割するかを表す。
【０１８０】
インター予測部１２３（図９）のインター予測では、例えば、各マクロブロックタイプの符号化コストが、各インター予測モードの符号化コストとして算出され、符号化コストが最小のインター予測モード（マクロブロックタイプ）が、最適インター予測モードとして選択される。
【０１８１】
［予測ベクトル(PMV(Predicted Motion Vector))］
【０１８２】
図１１は、MVC(AVC)の予測ベクトル(PMV)を説明する図である。
【０１８３】
インター予測部１２３（図９）のインター予測では、MEによって、対象ブロックのずれベクトル（動きベクトル、又は、視差ベクトル）が検出され、そのずれベクトルを用いて、予測画像が生成される。
【０１８４】
ずれベクトルは、復号側において、画像を復号するのに必要であるため、ずれベクトルの情報を符号化して、符号化データに含める必要があるが、ずれベクトルを、そのまま符号化すると、ずれベクトルの符号量が多くなって、符号化効率が劣化することがある。
【０１８５】
すなわち、MVCでは、図１０に示したように、マクロブロックが、８×８画素のパーティションに分割され、さらに、その８×８画素のパーティションそれぞれが、４×４画素のサブパーティションに分割されることがある。この場合、１つのマクロブロックは、最終的には、４×４個のサブパーティションに分割されるため、１つのマクロブロックに対して、１６（＝４×４）個のずれベクトルが生じることがあり、ずれベクトルを、そのまま符号化すると、ずれベクトルの符号量が多くなって、符号化効率が劣化する。
【０１８６】
そこで、MVC(AVC)では、ずれベクトルを予測するベクトル予測が行われ、そのベクトル予測によって得られる予測ベクトルに対する、ずれベクトルの残差（残差ベクトル）が符号化される。
【０１８７】
但し、MVCで生成される予測ベクトルは、対象ブロックの周辺のマクロブロックの予測画像の生成に用いられる参照画像に割り当てられている参照インデクス（以下、予測用の参照インデクスともいう）によって異なる。
【０１８８】
ここで、MVC(AVC)の参照画像（となりうるピクチャ）と、参照インデクスについて説明する。
【０１８９】
AVCでは、予測画像を生成するときに、複数のピクチャを、参照画像とすることができる。
【０１９０】
そして、AVCのコーデックでは、参照画像は、デコード（ローカルデコード）後に、DPBと呼ばれるバッファに記憶される。
【０１９１】
DPBでは、短期間に参照されるピクチャは、短時間参照画像(used for short-term reference)として、長期間にわたって参照されるピクチャは、長時間参照画像(used for long-term reference)として、参照されないピクチャは、非参照画像(unused for reference)として、それぞれマーキングされる。
【０１９２】
DPBを管理する管理方式としては、移動窓メモリ管理方式(Sliding window process)と、適応メモリ管理方式(Adaptive memory control process)との２種類がある。
【０１９３】
移動窓メモリ管理方式では、DPBが、FIFO(First In First Out)方式で管理され、DPBに記憶されたピクチャは、frame_numの小さいピクチャから順に開放される（非参照画像となる）。
【０１９４】
すなわち、移動窓メモリ管理方式では、I(Intra)ピクチャ、P(Predictive)ピクチャ、及び、参照可能なB(Bi-directional Predictive)ピクチャであるBsピクチャは、短時間参照画像として、DPBに記憶される。
【０１９５】
そして、DPBが参照画像（となりうる参照画像）を記憶することができるだけの参照画像が記憶された後は、DPBに記憶された短時間参照画像の中で、最も早く（古い）短時間参照画像が開放される。
【０１９６】
なお、DPBに、長時間参照画像が記憶されている場合、移動窓メモリ管理方式は、DPBに記憶されている長時間参照画像には、影響しない。すなわち、移動窓メモリ管理方式において、参照画像の中で、FIFO方式で管理されるのは、短時間参照画像だけである。
【０１９７】
適応メモリ管理方式では、MMCO(Memory management control operation)と呼ばれるコマンドを用いて、DPBに記憶されるピクチャが管理される。
【０１９８】
MMCOコマンドによれば、DPBに記憶される参照画像を対象として、短時間参照画像を非参照画像に設定することや、短時間参照画像に対し、長時間参照画像を管理するための参照インデクスであるlong-term frame indexを割り当てることで、短時間参照画像を長時間参照画像に設定すること、long-term frame indexの最大値を設定すること、すべての参照画像を非参照画像に設定すること等を行うことができる。
【０１９９】
AVCでは、DPBに記憶された参照画像の動き補償（ずれ補償）を行うことで、予測画像を生成するインター予測が行われるが、Bピクチャ（Bsピクチャを含む）のインター予測には、最大で、2ピクチャの参照画像を用いることができる。その2ピクチャの参照画像を用いるインター予測は、それぞれ、L0(List 0)予測、及び、L1(List 1)予測と呼ばれる。
【０２００】
Bピクチャ（Bsピクチャを含む）については、インター予測として、L0予測、若しくは、L1予測、又は、L0予測とL1予測との両方が用いられる。Pピクチャについては、インター予測として、L0予測だけが用いられる。
【０２０１】
インター予測において、予測画像の生成に参照する参照画像は、参照リスト(Reference Picture List)により管理される。
【０２０２】
参照リストでは、予測画像の生成に参照する参照画像（となりうる参照画像）を指定するためのインデクスである参照インデクス(Reference Index)が、DPBに記憶された参照画像（になりうるピクチャ）に割り当てられる。
【０２０３】
対象ピクチャが、Pピクチャである場合、上述したように、Pピクチャについては、インター予測として、L0予測だけが用いられるので、参照インデクスの割り当ては、L0予測についてだけ行われる。
【０２０４】
また、対象ピクチャが、Bピクチャ（Bsピクチャを含む）である場合、上述したように、Bピクチャについては、インター予測として、L0予測とL1予測との両方が用いられることがあるので、参照インデクスの割り当ては、L0予測とL1予測との両方について行われる。
【０２０５】
ここで、L0予測についての参照インデクスを、L0インデクスともいい、L1予測についての参照インデクスを、L1インデクスともいう。
【０２０６】
対象ピクチャが、Pピクチャである場合、AVCのデフォルト（既定値）では、DPBに記憶された参照画像に対し、復号順が後の参照画像ほど、値が小さい参照インデクス（L0インデクス）が割り当てられる。
【０２０７】
参照インデクスは、0以上の整数値であり、最小値は、0である。したがって、対象ピクチャが、Pピクチャである場合には、対象ピクチャの直前に復号された参照画像に、L0インデクスとして、0が割り当てられる。
【０２０８】
対象ピクチャが、Bピクチャ（Bsピクチャを含む）である場合、AVCのデフォルトでは、DPBに記憶された参照画像に対し、POC(Picture Order Count)順、つまり、表示順に、参照インデクス（L0インデクス、及び、L1インデクス）が割り当てられる。
【０２０９】
すなわち、L0予測については、表示順で、対象ピクチャの時間的に前の参照画像に対し、対象ピクチャに近い参照画像ほど、値が小さいL0インデクスが割り当てられ、その後、表示順で、対象ピクチャの時間的に後の参照画像に対し、対象ピクチャに近い参照画像ほど、値が小さいL0インデクスが割り当てられる。
【０２１０】
また、L1予測については、表示順で、対象ピクチャの時間的に後の参照画像に対し、対象ピクチャに近い参照画像ほど、値が小さいL1インデクスが割り当てられ、その後、表示順で、対象ピクチャの時間的に前の参照画像に対し、対象ピクチャに近い参照画像ほど、値が小さいL1インデクスが割り当てられる。
【０２１１】
なお、以上のAVCのデフォルトでの参照インデクス（L0インデクス、及び、L1インデクス）の割り当ては、短時間参照画像を対象として行われる。長時間参照画像への参照インデクスの割り当ては、短時間参照画像に、参照インデクスが割り当てられた後に行われる。
【０２１２】
したがって、AVCのデフォルトでは、長時間参照画像には、短時間参照画像よりも大きい値の参照インデクスが割り当てられる。
【０２１３】
AVCにおいて、参照インデクスの割り当てとしては、以上のようなデフォルトの方法で割り当てを行う他、Reference Picture List Reorderingと呼ばれるコマンド（以下、RPLRコマンドともいう）を用いて、任意の割り当てを行うことができる。
【０２１４】
なお、RPLRコマンドを用いて、参照インデクスの割り当てが行われた後、参照インデクスが割り当てられていない参照画像がある場合には、その参照画像には、参照インデクスが、デフォルトの方法で割り当てられる。
【０２１５】
MVC(AVC)では、対象ブロックXのずれベクトルmvXの予測ベクトルPMVXは、図１１に示すように、対象ブロックXの左に隣接するマクロブロックA、上に隣接するマクロブロックB、及び、右斜め上に隣接するマクロブロックCそれぞれの予測用の参照インデクス（マクロブロックA，B、及び、Cそれぞれの予測画像の生成に用いられた参照画像に割り当てられている参照インデクス）によって異なる方法で求められる。
【０２１６】
すなわち、いま、対象ブロックXの予測用の参照インデクスref_idxが、例えば、0であるとする。
【０２１７】
図１１のＡに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0であるマクロブロックが、１つだけ存在する場合には、その１つのマクロブロック（予測用の参照インデクスref_idxが0のマクロブロック）のずれベクトルが、対象ブロックXのずれベクトルmvXの予測ベクトルPMVXとされる。
【０２１８】
ここで、図１１のＡでは、対象ブロックXに隣接する３つのマクロブロックAないしCのうちの、マクロブロックBだけが、予測用の参照インデクスref_idxが0のマクロブロックになっており、そのため、マクロブロックAのずれベクトルmvBが、対象ブロックX（のずれベクトルmvX）の予測ベクトルPMVXとされる。
【０２１９】
また、図１１のＢに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0であるマクロブロックが、２つ以上存在する場合には、その、予測用の参照インデクスref_idxが0の２つ以上のマクロブロックのずれベクトルのメディアンが、対象ブロックXの予測ベクトルPMVXとされる。
【０２２０】
ここで、図１１のＢでは、対象ブロックXに隣接する３つのマクロブロックAないしCのすべてが、予測用の参照インデクスref_idxが0のマクロブロックになっており、そのため、マクロブロックAのずれベクトルmvA、マクロブロックBのずれベクトルmvB、及び、マクロブロックCのずれベクトルmvCのメディアンmed(mvA,mvB,mvC)が、対象ブロックXの予測ベクトルPMVXとされる。なお、メディアンmed(mvA,mvB,mvC)の計算は、X成分とｙ成分とについて、別個（独立）に行われる。
【０２２１】
また、図１１のＣに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0であるマクロブロックが、１つも存在しない場合には、0ベクトルが、対象ブロックXの予測ベクトルPMVXとされる。
【０２２２】
ここで、図１１のＣでは、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが0のマクロブロックは存在しないので、0ベクトルが、対象ブロックXの予測ベクトルPMVXとされる。
【０２２３】
なお、MVC(AVC)では、対象ブロックXの予測用の参照インデクスref_idxが0である場合、対象ブロックXをスキップマクロブロック（スキップモード）として符号化することができる。
【０２２４】
スキップマクロブロックについては、対象ブロックの残差も、残差ベクトルも符号化されない。そして、復号時には、予測ベクトルが、そのまま、スキップマクロブロックのずれベクトルに採用され、参照画像の、スキップマクロブロックの位置からずれベクトル（予測ベクトル）だけずれた位置のブロック（対応ブロック）のコピーが、スキップマクロブロックの復号結果とされる。
【０２２５】
対象ブロックをスキップマクロブロックとするか否かは、エンコーダの仕様によるが、例えば、符号化データの符号量や、対象ブロックの符号化コスト等に基づいて決定（判定）される。
【０２２６】
［インター予測部１２３の構成例］
【０２２７】
図１２は、図９のエンコーダ４２のインター予測部１２３の構成例を示すブロック図である。
【０２２８】
インター予測部１２３は、視差予測部１３１及び時間予測部１３２を有する。
【０２２９】
ここで、図１２において、DPB４３には、デブロッキングフィルタ１２１から、デコード画像、すなわち、エンコーダ４２において符号化されてローカルデコードされたパッキング色画像（以下、デコードパッキング色画像ともいう）のピクチャが供給され、参照画像（となりうるピクチャ）として記憶される。
【０２３０】
また、DPB４３には、図５や図９で説明したように、エンコーダ４１において符号化されてローカルデコードされた中央視点色画像（以下、デコード中央視点色画像ともいう）のピクチャも供給されて記憶される。
【０２３１】
エンコーダ４２では、デブロッキングフィルタ１２１からのデコードパッキング色画像のピクチャの他、エンコーダ４１で得られるデコード中央視点色画像のピクチャが、符号化対象であるパッキング色画像の符号化に用いられる。このため、図１２では、エンコーダ４１で得られるデコード中央視点色画像が、DPB４３に供給されることを示す矢印を、図示してある。
【０２３２】
視差予測部１３１には、画面並び替えバッファ１１２から、パッキング色画像の対象ピクチャが供給される。
【０２３３】
視差予測部１３１は、画面並び替えバッファ１１２からのパッキング色画像の対象ピクチャの対象ブロックの視差予測を、DPB４３に記憶されたデコード中央視点色画像のピクチャ（対象ピクチャと同一時刻のピクチャ）を参照画像として用いて行い、対象ブロックの予測画像を生成する。
【０２３４】
すなわち、視差予測部１３１は、DPB４３に記憶されたデコード中央視点色画像のピクチャを参照画像として、MEを行うことにより、対象ブロックの視差ベクトルを求める。
【０２３５】
さらに、視差予測部１３１は、対象ブロックの視差ベクトルに従って、DPB４３に記憶されたデコード中央視点色画像のピクチャを参照画像とするMCを行うことにより、対象ブロックの予測画像を生成する。
【０２３６】
また、視差予測部１３１は、各マクロブロックタイプについて、参照画像から視差予測によって得られる予測画像を用いた対象ブロックの符号化（予測符号化）に要する符号化コストを算出する。
【０２３７】
そして、視差予測部１３１は、符号化コストが最小のマクロブロックタイプを、最適インター予測モードとして選択し、その最適インター予測モードで生成された予測画像（視差予測画像）を、予測画像選択部１２４に供給する。
【０２３８】
さらに、視差予測部１３１は、最適インター予測モード等の情報を、ヘッダ情報として、予測画像選択部１２４に供給する。
【０２３９】
なお、上述したように、参照画像には、参照インデクスが割り当てられており、視差予測部１３１において、最適インター予測モードで生成された予測画像を生成するときに参照された参照画像に割り当てられた参照インデクスは、対象ブロックの予測用の参照インデクスとして選択され、ヘッダ情報の１つとして、予測画像選択部１２４に供給される。
【０２４０】
時間予測部１３２には、画面並び替えバッファ１１２から、パッキング色画像の対象ピクチャが供給される。
【０２４１】
時間予測部１３２は、画面並び替えバッファ１１２からのパッキング色画像の対象ピクチャの対象ブロックの時間予測を、DPB４３に記憶されたデコードパッキング色画像のピクチャ（対象ピクチャと異なる時刻のピクチャ）を参照画像として用いて行い、対象ブロックの予測画像を生成する。
【０２４２】
すなわち、時間予測部１３２は、DPB４３に記憶されたデコードパッキング色画像のピクチャを参照画像として、MEを行うことにより、対象ブロックの動きベクトルを求める。
【０２４３】
さらに、時間予測部１３２は、対象ブロックの動きベクトルに従って、DPB４３に記憶されたデコードパッキング色画像のピクチャを参照画像とするMCを行うことにより、対象ブロックの予測画像を生成する。
【０２４４】
また、時間予測部１３２は、各マクロブロックタイプについて、参照画像から時間予測によって得られる予測画像を用いた対象ブロックの符号化（予測符号化）に要する符号化コストを算出する。
【０２４５】
そして、時間予測部１３２は、符号化コストが最小のマクロブロックタイプを、最適インター予測モードとして選択し、その最適インター予測モードで生成された予測画像（時間予測画像）を、予測画像選択部１２４に供給する。
【０２４６】
さらに、時間予測部１３２は、最適インター予測モード等の情報を、ヘッダ情報として、予測画像選択部１２４に供給する。
【０２４７】
なお、上述したように、参照画像には、参照インデクスが割り当てられており、時間予測部１３２において、最適インター予測モードで生成された予測画像を生成するときに参照された参照画像に割り当てられた参照インデクスは、対象ブロックの予測用の参照インデクスとして選択され、ヘッダ情報の１つとして、予測画像選択部１２４に供給される。
【０２４８】
予測画像選択部１２４では、例えば、画面内予測部１２２、並びに、インター予測部１２３を構成する視差予測部１３１、及び、時間予測部１３２それぞれからの予測画像のうちの、符号化コストが最小の予測画像が選択され、演算部１１３、及び、１２０に供給される。
【０２４９】
ここで、本実施の形態では、例えば、視差予測で参照される参照画像（ここでは、デコード中央視点色画像のピクチャ）には、値が1の参照インデクスが割り当てられ、時間予測で参照される参照画像（ここでは、デコードパッキング色画像のピクチャ）には、値が0の参照インデクスが割り当てられることとする。
【０２５０】
［視差予測部１３１の構成例］
【０２５１】
図１３は、図１２の視差予測部１３１の構成例を示すブロック図である。
【０２５２】
図１３において、視差予測部１３１は、参照画像変換部１４０、視差検出部１４１、視差補償部１４２、予測情報バッファ１４３、コスト関数算出部１４４、及び、モード選択部１４５を有する。
【０２５３】
参照画像変換部１４０には、DPB４３から、デコード中央視点色画像のピクチャが、参照画像として供給される。
【０２５４】
参照画像変換部１４０は、視差予測部１３１において、画素以下精度（参照画像の画素どうしの間隔以下の細かさ）である分数精度での視差予測（視差補償）を行うため、必要に応じて、DPB４３からの参照画像としてのデコード中央視点色画像のピクチャに、サブペル(Sub pel)と呼ばれる仮想的な画素を補間するフィルタ処理を、DPB４３からの参照画像に施すことにより、その参照画像を、解像度の高い（画素数の多い）参照画像に変換して、視差検出部１４１、及び、視差補償部１４２に供給する。
【０２５５】
ここで、MVCにおいて、以上のように、分数精度での視差予測（及び、時間予測）を行うために、サブペルを補間するフィルタ処理に用いられるフィルタは、AIF(Adaptive Interpolation Filter)と呼ばれる。
【０２５６】
なお、参照画像変換部１４０では、参照画像に、AIFによるフィルタ処理を施さずに、参照画像を、そのまま、視差検出部１４１、及び、視差補償部１４２に供給することができる。
【０２５７】
視差検出部１４１には、参照画像変換部１４０から、参照画像としてのデコード中央視点色画像のピクチャが供給されるとともに、画面並び替えバッファ１１２から、符号化対象のパッキング色画像のピクチャ（対象ピクチャ）が供給される。
【０２５８】
視差検出部１４１は、対象ブロックと、参照画像であるデコード中央視点色画像のピクチャとを用いてMEを行うことにより、対象ブロックと、デコード中央視点色画像のピクチャにおいて、例えば、対象ブロックとのSAD等を最小にする等の符号化効率を最も良くする対応ブロックとのずれを表す視差ベクトルmvを、マクロブロックタイプごとに検出し、視差補償部１４２に供給する。
【０２５９】
視差補償部１４２には、視差検出部１４１から、視差ベクトルmvが供給される他、参照画像変換部１４０から、参照画像としてのデコード中央視点色画像のピクチャが供給される。
【０２６０】
視差補償部１４２は、参照画像変換部１４０からの参照画像の視差補償を、視差検出部１４１からの対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を、マクロブロックタイプごとに生成する。
【０２６１】
すなわち、視差補償部１４２は、参照画像としてのデコード中央視点色画像のピクチャの、対象ブロックの位置から、視差ベクトルmvだけずれた位置のブロック（領域）である対応ブロックを、予測画像として取得する。
【０２６２】
また、視差補償部１４２は、既に符号化済みの、対象ブロックの周辺のマクロブロックの視差ベクトル等を必要に応じて用いて、対象ブロックの視差ベクトルmvの予測ベクトルPMVを求める。
【０２６３】
さらに、視差補償部１４２は、対象ブロックの視差ベクトルmvと、その予測ベクトルPMVとの差分である残差ベクトルを求める。
【０２６４】
そして、視差補償部１４２は、マクロブロックタイプ等の予測モードごとの対象ブロックの予測画像を、その対象ブロックの残差ベクトル、及び、予測画像を生成するのに用いた参照画像（ここでは、デコード中央視点色画像のピクチャ）に割り当てられている参照インデクスとともに、予測モードと対応付けて、予測情報バッファ１４３、及び、コスト関数算出部１４４に供給する。
【０２６５】
予測情報バッファ１４３は、視差補償部１４２からの、予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、その予測モードとともに、予測情報として、一時記憶する。
【０２６６】
コスト関数算出部１４４には、視差補償部１４２から、予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスが供給されるとともに、画面並び替え部バッファ１１２から、パッキング色画像の対象ピクチャが供給される。
【０２６７】
コスト関数算出部１４４は、予測モードとしてのマクロブロックタイプ（図１０）ごとに、画面並び替えバッファ１１２からの対象ピクチャの対象ブロックの符号化に要する符号化コストを、符号化コストを算出する所定のコスト関数に従って求める。
【０２６８】
すなわち、コスト関数算出部１４４は、視差補償部１４２からの残差ベクトルの符号量に対応する値MVを求めるとともに、視差補償部１４２からの参照インデクス（予測用の参照インデクス）の符号量に対応する値INを求める。
【０２６９】
さらに、コスト関数算出部１４４は、視差補償部１４２からの予測画像に対する、対象ブロックの残差の符号量に対応する値DであるSADを求める。
【０２７０】
そして、コスト関数算出部１４４は、例えば、λ1及びλ2を重みとして、式COST＝D＋λ1×MV＋λ2×INに従い、マクロブロックタイプごとの符号化コスト（コスト関数のコスト関数値）COSTを求める。
【０２７１】
コスト関数算出部１４４は、マクロブロックタイプごとの符号化コスト（コスト関数値）を求めると、その符号化コストを、モード選択部１４５に供給する。
【０２７２】
モード選択部１４５は、コスト関数算出部１４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。
【０２７３】
さらに、モード選択部１４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択する。
【０２７４】
そして、モード選択部１４５は、最適インター予測モードである予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報バッファ１４３から読み出し、最適インター予測モードである予測モードとともに、予測画像選択部１２４に供給する。
【０２７５】
ここで、モード選択部１４５から予測画像選択部１２４に供給される予測モード（最適インター予測モード）、残差ベクトル、及び、参照インデクス（予測用の参照インデクス）が、インター予測（ここでは、視差予測）に関する予測モード関連情報であり、予測画像選択部１２４では、このインター予測に関する予測モード関連情報が、必要に応じて、ヘッダ情報として、可変長符号化部２１６に供給される。
【０２７６】
なお、モード選択部１４５は、最小コストが得られた参照インデクスが、値が0の参照インデクスである場合には、例えば、最小コスト等に基づいて、対象ブロックを、スキップマクロブロックとして符号化するかどうかの判定を行う。
【０２７７】
モード選択部１４５において、対象ブロックを、スキップマクロブロックとして符号化すると判定された場合、最適インター予測モードは、対象ブロックを、スキップマクロブロックとして符号化するスキップモードとされる。
【０２７８】
また、図１２の時間予測部１３２では、参照画像が、デコード中央視点色画像のピクチャではなく、デコードパッキング色画像のピクチャであることを除き、図１３の視差予測部１３１と同様の処理が行われる。
【０２７９】
［MVCのフィルタ処理］
【０２８０】
図１４及び図１５は、参照画像変換部１４０で行われるフィルタ処理、すなわち、参照画像に、サブペルを補間するMVCのフィルタ処理を説明する図である。
【０２８１】
なお、図１４及び図１５において、○印は、参照画像の元の画素（サブペルでない画素）を表す。
【０２８２】
参照画像の元の画素（以下、原画素ともいう）どうしの横及び縦の間隔を1とすると、原画素の位置は、ある原画素の位置を原点(0,0)とし、左から右方向をx軸とするとともに、上から下方向をy軸とする２次元座標系において、整数を用いた座標で表すことができるので、原画素を、整数画素ともいう。
【０２８３】
また、整数を用いた座標で表すことができる位置を、整数位置ともいいい、整数画素のみで構成される画像を、整数精度画像ともいう。
【０２８４】
MVCでは、図１４に示すように、水平方向に６タップのフィルタ(AIF)によって、整数精度画像である参照画像の、水平方向に連続して並ぶ６画素の整数画素をフィルタリングするフィルタ処理（以下、水平1/2画素生成用フィルタ処理ともいう）によって、その６画素の整数画素のうちの、３番目と４番目の整数画素の間の位置aに、サブペルとしての画素が生成される。
【０２８５】
ここで、水平1/2画素生成用フィルタ処理により生成（補間）される画素を、水平1/2画素ともいう。
【０２８６】
さらに、MVCでは、図１４に示すように、垂直方向に６タップのフィルタ(AIF)によって、水平1/2画素生成用フィルタ処理後の参照画像の、垂直方向に連続して並ぶ６画素の整数画素、又は、水平1/2画素をフィルタリングするフィルタ処理（以下、垂直1/2画素生成用フィルタ処理ともいう）によって、その６画素の整数画素、又は、水平1/2画素のうちの、３番目と４番目の整数画素の間、又は、水平1/2画素の間の位置bに、サブペルとしての画素が生成される。
【０２８７】
ここで、垂直1/2画素生成用フィルタ処理により生成される画素を、垂直1/2画素ともいう。
【０２８８】
また、整数精度画像に対して、水平1/2画素生成用フィルタ処理を施し、さらに、垂直1/2画素生成用フィルタ処理を施すことにより得られる画像を、1/2精度画像ともいう。
【０２８９】
1/2精度画像においては、画素どうしの横及び縦の間隔は、1/2であり、画素の位置は、整数を含む1/2間隔の値を用いた座標で表すことができる。
【０２９０】
整数精度画像の参照画像を用いた場合の視差予測（視差ベクトルの検出や、予測画像の生成）の精度は、整数精度であるが、1/2精度画像の参照画像を用いた場合の視差予測の精度は、1/2精度となるので、1/2精度画像の参照画像を用いた場合の視差予測によれば、予測精度を向上させることができる。
【０２９１】
MVCでは、以上のような1/2精度画像の参照画像を用いて、1/2精度の視差予測を行うことができる他、その1/2精度画像の参照画像から、より精度（分解能）の高い参照画像を生成し、その参照画像を用いて、より精度の高い視差予測を行うことができる。
【０２９２】
すなわち、MVCでは、図１５に示すように、水平方向に２タップのフィルタ(AIF)によって、1/2精度画像である参照画像の、水平方向に連続して並ぶ整数画素と水平1/2画素（図１５における位置aの画素）、又は、２つの垂直1/2画素（図１５における位置bの画素）をフィルタリングするフィルタ処理（以下、水平1/4画素生成用フィルタ処理ともいう）によって、フィルタ処理の対象の整数画素と水平1/2画素との間、又は、２つの垂直1/2画素の間の位置cに、サブペルとしての画素が生成される。
【０２９３】
ここで、水平1/4画素生成用フィルタ処理により生成される画素を、水平1/4画素ともいう。
【０２９４】
さらに、MVCでは、図１５に示すように、垂直方向に２タップのフィルタ(AIF)によって、1/2精度画像である参照画像の、垂直方向に連続して並ぶ整数画素と垂直1/2画素（図１５における位置bの画素）、又は、水平1/2画素（図１５における位置aの画素）と垂直1/2画素（図１５における位置bの画素）をフィルタリングするフィルタ処理（以下、垂直1/4画素生成用フィルタ処理ともいう）によって、フィルタ処理の対象の整数画素と垂直1/2画素との間、又は、水平1/2画素と垂直1/2画素との間の位置dに、サブペルとしての画素が生成される。
【０２９５】
ここで、垂直1/4画素生成用フィルタ処理により生成される画素を、垂直1/4画素ともいう。
【０２９６】
さらに、MVCでは、図１５に示すように、斜め方向に２タップのフィルタ(AIF)によって、1/2精度画像である参照画像の、斜め方向に連続して並ぶ水平1/2画素（図１５における位置aの画素）と垂直1/2画素（図１５における位置bの画素）をフィルタリングするフィルタ処理（以下、水平垂直1/4画素生成用フィルタ処理ともいう）によって、フィルタ処理の対象の、斜め方向に並ぶ水平1/2画素と垂直1/2画素との間の位置eに、サブペルとしての画素が生成される。
【０２９７】
ここで、水平垂直1/4画素生成用フィルタ処理により生成される画素を、水平垂直1/4画素ともいう。
【０２９８】
また、1/2精度画像に対して、水平1/4画素生成用フィルタ処理を施し、さらに、垂直1/4画素生成用フィルタ処理を施し、その後、水平垂直1/4画素生成用フィルタ処理を施すことにより得られる画像を、1/4精度画像ともいう。
【０２９９】
1/4精度画像においては、画素どうしの横及び縦の間隔は、1/4であり、画素の位置は、整数を含む1/4間隔の値を用いた座標で表すことができる。
【０３００】
1/4精度画像の参照画像を用いた場合の視差予測の精度は、1/4精度となるので、1/4精度画像の参照画像を用いた場合の視差予測によれば、予測精度を、より向上させることができる。
【０３０１】
ここで、図１４は、整数精度画像の参照画像に対して、水平1/2画素生成用フィルタ処理、及び、垂直1/2画素生成用フィルタ処理を施すことにより、1/2精度画像の参照画像を生成することを説明する図であり、図１５は、1/2精度画像の参照画像に対して、水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理を施すことにより、1/4精度画像の参照画像を生成することを説明する図である。
【０３０２】
［参照画像変換部１４０の構成例］
【０３０３】
図１６は、図１３の参照画像変換部１４０の構成例を示すブロック図である。
【０３０４】
参照画像変換部１４０は、参照画像に、図１４や図１５で説明したMVCのフィルタ処理を施すことにより、整数精度画像の参照画像を、解像度が高い（画素数が多い）画像、すなわち、1/2精度画像の参照画像、又は、1/4精度の参照画像に変換する。
【０３０５】
図１６において、参照画像変換部１４０は、水平1/2画素生成用フィルタ処理部１５１、垂直1/2画素生成用フィルタ処理部１５２、水平1/4画素生成用フィルタ処理部１５３、垂直1/4画素生成用フィルタ処理部１５４、及び、水平垂直1/4画素生成用フィルタ処理部１５５を有する。
【０３０６】
水平1/2画素生成用フィルタ処理部１５１には、DPB４３からデコード中央視点色画像（のピクチャ）が、整数精度画像の参照画像として供給される。
【０３０７】
水平1/2画素生成用フィルタ処理部１５１は、整数精度画像の参照画像に、水平1/2画素生成用フィルタ処理を施し、水平方向の画素数が元の２倍になった参照画像を、垂直1/2画素生成用フィルタ処理部１５２に供給する。
【０３０８】
垂直1/2画素生成用フィルタ処理部１５２は、水平1/2画素生成用フィルタ処理部１５１からの参照画像に、垂直1/2画素生成用フィルタ処理を施し、水平方向及び垂直方向の画素数がいずれも元の２倍になった参照画像、すなわち、1/2精度画像の参照画像（図１４）を、水平1/4画素生成用フィルタ処理部１５３に供給する。
【０３０９】
水平1/4画素生成用フィルタ処理部１５３は、垂直1/2画素生成用フィルタ処理部１５２からの1/2精度画像の参照画像に、水平1/4画素生成用フィルタ処理を施し、垂直1/4画素生成用フィルタ処理部１５４に供給する。
【０３１０】
垂直1/4画素生成用フィルタ処理部１５４は、水平1/4画素生成用フィルタ処理部１５３からの参照画像に、垂直1/4画素生成用フィルタ処理を施し、水平垂直1/4画素生成用フィルタ処理部１５５に供給する。
【０３１１】
水平垂直1/4画素生成用フィルタ処理部１５５は、垂直1/4画素生成用フィルタ処理部１５４からの参照画像に、水平垂直1/4画素生成用フィルタ処理を施し、水平方向及び垂直方向の画素数がいずれも元の４倍になった参照画像、すなわち、1/4精度画像（図１５）の参照画像を出力する。
【０３１２】
なお、MVCでは、参照画像に対して、画素を補間するフィルタ処理を施す場合には、横方向と縦方向それぞれの画素数を、同一倍数だけ増加させるフィルタ処理を施すことが規定されている。
【０３１３】
したがって、MVCでは、整数精度画像の参照画像、1/2精度画像の参照画像、又は、1/4精度画像の参照画像を用いて、視差予測（及び時間予測）を行うことができる。
【０３１４】
よって、参照画像変換部１４０では、水平1/2画素生成用フィルタ処理、垂直1/2画素生成用フィルタ処理、水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理のいずれも行われず、整数精度画像の参照画像がそのまま出力される場合、水平1/2画素生成用フィルタ処理、及び、垂直1/2画素生成用フィルタ処理のみ行われ、整数精度画像の参照画像が、1/2精度画像の参照画像に変換される場合、並びに、水平1/2画素生成用フィルタ処理、垂直1/2画素生成用フィルタ処理、水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理のすべてが行われ、整数精度画像の参照画像が、1/4精度画像の参照画像に変換される場合の３通りの場合がある。
【０３１５】
［復号装置３２Ｃの構成例］
【０３１６】
図１７は、図３の復号装置３２Ｃの構成例を示すブロック図である。
【０３１７】
図１７の復号装置３２Ｃは、逆多重化装置３１（図３）からの多視点色画像符号化データである中央視点色画像、及び、パッキング色画像の符号化データを、MVCで復号する。
【０３１８】
図１７において、復号装置３２Ｃは、デコーダ２１１及び２１２、並びに、DPB２１３を有する。
【０３１９】
デコーダ２１１には、逆多重化装置３１（図３）からの多視点色画像符号化データのうちの、ベースビューの画像である中央視点色画像の符号化データが供給される。
【０３２０】
デコーダ２１１は、そこに供給される中央視点色画像の符号化データを、MVCで復号し、その結果得られる中央視点色画像を出力する。
【０３２１】
デコーダ２１２には、逆多重化装置３１（図３）からの多視点色画像符号化データのうちの、ノンベースビューの画像であるパッキング色画像の符号化データが供給される。
【０３２２】
デコーダ２１２は、そこに供給されるパッキング色画像の符号化データを、MVCで復号し、その結果得られるパッキング色画像を出力する。
【０３２３】
ここで、デコーダ２１１が出力する中央視点色画像と、デコーダ２１２が出力するパッキング色画像とは、解像度変換多視点色画像として、解像度逆変換装置３３Ｃ（図３）に供給される。
【０３２４】
DPB２１３は、デコーダ２１１及び２１２それぞれで、復号対象の画像を復号することにより得られる復号後の画像（デコード画像）を、予測画像の生成時に参照する参照画像（の候補）として一時記憶する。
【０３２５】
すなわち、デコーダ２１１及び２１２は、それぞれ、図５のエンコーダ４１及び４２で予測符号化された画像を復号する。
【０３２６】
予測符号化された画像を復号するには、その予測符号化で用いられた予測画像が必要であるため、デコーダ２１１及び２１２は、予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる、復号後の画像を、DPB２１３に一時記憶させる。
【０３２７】
DPB２１３は、デコーダ２１１及び２１２それぞれで得られる復号後の画像（デコード画像）を一時記憶する共用のバッファであり、デコーダ２１１及び２１２それぞれは、DPB２１３に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照画像を選択し、その参照画像を用いて、予測画像を生成する。
【０３２８】
DPB２１３は、デコーダ２１１及び２１２で共用されるので、デコーダ２１１及び２１２それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。
【０３２９】
但し、デコーダ２１１は、ベースビューの画像を復号するので、デコーダ２１１で得られたデコード画像のみを参照する。
【０３３０】
［デコーダ２１２の構成例］
【０３３１】
図１８は、図１７のデコーダ２１２の構成例を示すブロック図である。
【０３３２】
図１８において、デコーダ２１２は、蓄積バッファ２４１、可変長復号部２４２、逆量子化部２４３、逆直交変換部２４４、演算部２４５、デブロッキングフィルタ２４６、画面並び替えバッファ２４７、D/A変換部２４８、画面内予測部２４９、インター予測部２５０、及び、予測画像選択部２５１を有する。
【０３３３】
蓄積バッファ２４１には、逆多重化装置３１から、多視点色画像符号化データを構成する中央視点色画像、及び、パッキング色画像の符号化データのうちの、パッキング色画像の符号化データが供給される。
【０３３４】
蓄積バッファ２４１は、そこに供給される符号化データを一時記憶し、可変長復号部２４２に供給する。
【０３３５】
可変長復号部２４２は、蓄積バッファ２４１からの符号化データを可変長復号することにより、量子化値やヘッダ情報になっている予測モード関連情報を復元する。そして、可変長復号部２４２は、量子化値を、逆量子化部２４３に供給し、ヘッダ情報（予測モード関連情報）を、画面内予測部２４９、及び、インター予測部２５０に供給する。
【０３３６】
逆量子化部２４３は、可変長復号部２４２からの量子化値を、変換係数に逆量子化し、逆直交変換部２４４に供給する。
【０３３７】
逆直交変換部２４４は、逆量子化部２４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部２４５に供給する。
【０３３８】
演算部２４５は、逆直交変換部２４４から供給されるマクロブロックを復号対象の対象ブロックとして、その対象ブロックに対して、必要に応じて、予測画像選択部２５１から供給される予測画像を加算することで、デコード画像を求め、デブロッキングフィルタ２４６に供給する。
【０３３９】
デブロッキングフィルタ２４６は、演算部２４５からのデコード画像に対して、例えば、図９のデブロッキングフィルタ１２１と同様のフィルタリングを行い、そのフィルタリング後のデコード画像を、画面並び替えバッファ２４７に供給する。
【０３４０】
画面並び替えバッファ２４７は、デブロッキングフィルタ２４６からのデコード画像のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、D/A(Digital/Analog)変換部２４８に供給する。
【０３４１】
D/A変換部２４８は、画面並び替えバッファ２４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
【０３４２】
また、デブロッキングフィルタ２４６は、フィルタリング後のデコード画像のうちの、参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像を、DPB２１３に供給する。
【０３４３】
ここで、DPB２１３は、デブロッキングフィルタ２４６からのデコード画像のピクチャ、すなわち、パッキング色画像のピクチャを、時間的に後に行われる復号に用いる予測画像を生成するときに参照する参照画像として記憶する。
【０３４４】
図１７で説明したように、DPB２１３は、デコーダ２１１及び２１２で共用されるので、デコーダ２１２において復号されたパッキング色画像（デコードパッキング色画像）のピクチャの他、デコーダ２１１において復号された中央視点色画像（デコード中央視点色画像）のピクチャも記憶する。
【０３４５】
画面内予測部２４９は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックが、イントラ予測（画面内予測）で生成された予測画像を用いて符号化されているかどうかを認識する。
【０３４６】
対象ブロックが、イントラ予測で生成された予測画像を用いて符号化されている場合、画面内予測部２４９は、図９の画面内予測部１２２と同様に、DPB２１３から、対象ブロックを含むピクチャ（対象ピクチャ）のうちの、既に復号されている部分（デコード画像）を読み出す。そして、画面内予測部２４９は、DPB２１３から読み出した、対象ピクチャのうちのデコード画像の一部を、対象ブロックの予測画像として、予測画像選択部２５１に供給する。
【０３４７】
インター予測部２５０は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックが、インター予測で生成された予測画像を用いて符号化されているかどうかを認識する。
【０３４８】
対象ブロックが、インター予測で生成された予測画像を用いて符号化されている場合、インター予測部２５０は、可変長復号部２４２からのヘッダ情報（予測モード関連情報）に基づき、予測用の参照インデクス、すなわち、対象ブロックの予測画像の生成に用いられた参照画像に割り当てられている参照インデクスを認識する。
【０３４９】
そして、インター予測部２５０は、DPB２１３に記憶されているデコードパッキン色画像のピクチャ、及び、デコード中央視点色画像のピクチャから、予測用の参照インデクスが割り当てられているピクチャを、参照画像として読み出す。
【０３５０】
さらに、インター予測部２５０は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられたずれベクトル（視差ベクトル、動きベクトル）を認識し、図９のインター予測部１２３と同様に、そのずれベクトルに従って、参照画像のずれ補償（動き分のずれを補償する動き補償、又は、視差分のずれを補償する視差補償）を行うことで、予測画像を生成する。
【０３５１】
すなわち、インター予測部２５０は、参照画像の、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
【０３５２】
そして、インター予測部２５０は、予測画像を、予測画像選択部２５１に供給する。
【０３５３】
予測画像選択部２５１は、画面内予測部２４９から予測画像が供給される場合には、その予測画像を、インター予測部２５０から予測画像が供給される場合には、その予測画像を、それぞれ選択し、演算部２４５に供給する。
【０３５４】
［インター予測部２５０の構成例］
【０３５５】
図１９は、図１８のデコーダ２１２のインター予測部２５０の構成例を示すブロック図である。
【０３５６】
図１９において、インター予測部２５０は、参照インデクス処理部２６０、視差予測部２６１、及び、時間予測部２６２を有する。
【０３５７】
ここで、図１９において、DPB２１３には、デブロッキングフィルタ２４６から、デコード画像、すなわち、デコーダ２１２において復号されたデコードパッキング色画像のピクチャが供給され、参照画像として記憶される。
【０３５８】
また、DPB２１３には、図１７や図１８で説明したように、デコーダ２１１において復号されたデコード中央視点色画像のピクチャも供給されて記憶される。このため、図１９では、デコーダ２１１で得られるデコード中央視点色画像が、DPB２１３に供給されることを示す矢印を、図示してある。
【０３５９】
参照インデクス処理部２６０には、可変長復号部２４２からのヘッダ情報である予測モード関連情報のうちの、対象ブロックの（予測用の）参照インデクスが供給される。
【０３６０】
参照インデクス処理部２６０は、可変長復号部２４２からの対象ブロックの予測用の参照インデクスが割り当てられているデコード中央視点色画像のピクチャ、又は、デコードパッキング色画像のピクチャを、DPB２１３から読み出し、視差予測部２６１、又は、時間予測部２６２に供給する。
【０３６１】
ここで、本実施の形態では、図１２で説明したように、エンコーダ４２において、視差予測で参照される参照画像であるデコード中央視点色画像のピクチャ）には、値が1の参照インデクスが割り当てられ、時間予測で参照される参照画像であるデコードパッキング色画像のピクチャには、値が0の参照インデクスが割り当てられる。
【０３６２】
したがって、対象ブロックの予測用の参照インデクスによって、その対象ブロックの予測画像の生成に用いられる参照画像となるデコード中央視点色画像のピクチャ、又は、デコードパッキング色画像のピクチャを認識することができ、さらに、対象ブロックの予測画像を生成するときに行うずれ予測が、時間予測、及び、視差予測のうちのいずれであるかも認識することができる。
【０３６３】
参照インデクス処理部２６０は、可変長復号部２４２からの対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコード中央視点色画像のピクチャである場合（予測用の参照インデクスが１である場合）、対象ブロックの予測画像は、視差予測により生成されるので、予測用の参照インデクスが割り当てられているデコード中央視点色画像のピクチャを、DPB２１３から参照画像として読み出し、視差予測部２６１に供給する。
【０３６４】
また、参照インデクス処理部２６０は、可変長復号部２４２からの対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコードパッキング色画像のピクチャである場合（予測用の参照インデクスが０である場合）、対象ブロックの予測画像は、時間予測により生成されるので、参照インデクスが割り当てられているデコードパッキング色画像のピクチャを、DPB２１３から参照画像として読み出し、時間予測部２６２に供給する。
【０３６５】
視差予測部２６１には、可変長復号部２４２からのヘッダ情報である予測モード関連情報が供給される。
【０３６６】
視差予測部２６１は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックが、視差予測で生成された予測画像を用いて符号化されているかどうかを認識する。
【０３６７】
対象ブロックが、視差予測で生成された予測画像を用いて符号化されている場合、視差予測部２６１は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられた視差ベクトルを復元し、図１２の視差予測部１３１と同様に、その視差ベクトルに従って、視差予測（視差補償）を行うことで、予測画像を生成する。
【０３６８】
すなわち、対象ブロックが、視差予測で生成された予測画像を用いて符号化されている場合、上述したように、視差予測部２６１には、参照インデクス処理部２６０から、参照画像としてのデコード中央視点色画像のピクチャが供給される。
【０３６９】
視差予測部２６１は、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャの、対象ブロックの位置から、その対象ブロックの視差ベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
【０３７０】
そして、視差予測部２６１は、予測画像を、予測画像選択部２５１に供給する。  
【０３７１】
時間予測部２６２には、可変長復号部２４２からのヘッダ情報である予測モード関連情報が供給される。
【０３７２】
時間予測部２６２は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックが、時間予測で生成された予測画像を用いて符号化されているかどうかを認識する。
【０３７３】
対象ブロックが、時間予測で生成された予測画像を用いて符号化されている場合、時間予測部２６２は、可変長復号部２４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられた動きベクトルを復元し、図１２の時間予測部１３２と同様に、その動きベクトルに従って、時間予測（動き補償）を行うことで、予測画像を生成する。
【０３７４】
すなわち、対象ブロックが、時間予測で生成された予測画像を用いて符号化されている場合、上述したように、時間予測部２６２には、参照インデクス処理部２６０から、参照画像としてのデコードパッキング色画像のピクチャが供給される。
【０３７５】
時間予測部２６２は、参照インデクス処理部２６０からの参照画像としてのデコードパッキング色画像のピクチャの、対象ブロックの位置から、その対象ブロックの動きベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
【０３７６】
そして、時間予測部２６２は、予測画像を、予測画像選択部２５１に供給する。
【０３７７】
［視差予測部２６１の構成例］
【０３７８】
図２０は、図１９の視差予測部２６１の構成例を示すブロック図である。
【０３７９】
図２０において、視差予測部２６１は、参照画像変換部２７１、及び、視差補償部２７２を有する。
【０３８０】
参照画像変換部２７１には、参照インデクス処理部２６０から、参照画像としてのデコード中央視点色画像のピクチャが供給される。
【０３８１】
参照画像変換部２７１は、エンコーダ４２側の参照画像変換部１４０（図１６）と同様に構成され、参照画像変換部１４０と同様に、参照インデクス処理部２６０からの参照画像としてのデコート中央視点色画像のピクチャを変換し、視差補償部２７２に供給する。
【０３８２】
すなわち、参照画像変換部２７１は、参照インデクス処理部２６０からの参照画像を、そのまま、又は、1/2精度画像の参照画像、若しくは、1/4精度画像の参照画像に変換し、視差補償部２７２に供給する。
【０３８３】
視差補償部２７２には、参照画像変換部２７１から参照画像としてのデコード中央視点色画像が供給される他、可変長復号部２４２からのヘッダ情報としてのモード関連情報に含まれる予測モード、及び、残差ベクトルが供給される。
【０３８４】
視差補償部２７２は、既に復号されたマクロブロックの視差ベクトルを必要に応じて用いて、対象ブロックの視差ベクトルの予測ベクトルを求め、その予測ベクトルと、可変長復号部２４２からの対象ブロックの残差ベクトルとを加算することで、対象ブロックの視差ベクトルmvを復元する。
【０３８５】
さらに、視差補償部２７２は、参照画像変換部２７１からの参照画像としてのデコード中央視点色画像のピクチャの視差補償を、対象ブロックの視差ベクトルmvを用いて行うことで、可変長復号部２４２からの予測モードが表すマクロブロックタイプについて、対象ブロックの予測画像を生成する。
【０３８６】
すなわち、視差補償部２７２は、デコード中央視点色画像のピクチャの、対象ブロックの位置から、視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像として取得する。
【０３８７】
そして、視差補償部２７２は、予測画像を、予測画像選択部２５１に供給する。
【０３８８】
なお、図１９の時間予測部２６２では、参照画像が、デコード中央視点色画像のピクチャではなく、デコードパッキング色画像のピクチャであることを除き、図２０の視差予測部２６１と同様の処理が行われる。
【０３８９】
以上のように、MVCでは、ノンベースビューの画像については、時間予測の他、視差予測も行うことができるので、符号化効率を向上させることができる。
【０３９０】
しかしながら、上述したように、ノンベースビューの画像が、パッキング色画像であり、視差予測で参照される（参照されうる）ベースビューの画像が、中央視点色画像である場合には、視差予測の予測精度（予測効率）が低下することがある。
【０３９１】
すなわち、いま、説明を簡単にするために、中央視点色画像、左視点色画像、及び、右視点色画像の横と縦との解像度比（横の画素数と縦の画素数との比）が、1:1であるとする。
【０３９２】
パッキング色画像は、例えば、図４で説明したように、左視点色画像、及び、右視点色画像それぞれの垂直解像度を1/2にし、その垂直解像度が1/2にされた左視点色画像、及び、右視点色画像を、上下に並べて配置した１視点分の画像である。
【０３９３】
このため、エンコーダ４２（図９）において、符号化の対象となるパッキング色画像（符号化対象画像）の解像度比と、視差予測において、そのパッキング色画像の予測画像を生成する際に参照する、パッキング色画像とは異なる視点の参照画像である中央視点色画像（デコード中央視点色画像）の解像度比とは、合致（マッチ）しない。
【０３９４】
すなわち、パッキング色画像において、左視点色画像、及び、右視点色画像それぞれの垂直方向の解像度（垂直解像度）は、元の1/2になっており、したがって、パッキング色画像になっている左視点色画像、及び、右視点色画像の解像度比は、2:1になっている。
【０３９５】
これに対して、参照画像としての中央視点色画像の解像度比は、1:1であり、パッキング色画像になっている左視点色画像、及び、右視点色画像の解像度比である2:1と一致していない。
【０３９６】
このように、パッキング色画像の解像度比と、参照画像としての中央視点色画像の解像度比とが合致していない場合、すなわち、パッキング色画像になっている左視点色画像、及び、右視点色画像の解像度比と、参照画像としての中央視点色画像の解像度比とが一致していない場合、視差予測の予測精度が低下し（視差予測で生成される予測画像と、対象ブロックとの残差が大になり）、符号化効率が悪くなる。
【０３９７】
［送信装置１１の構成例］
【０３９８】
そこで、図２１は、図１の送信装置１１の他の構成例を示すブロック図である。
【０３９９】
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４００】
図２１において、送信装置１１は、解像度変換装置３２１Ｃ及び３２１Ｄ、符号化装置３２２Ｃ及び３２２Ｄ、並びに、多重化装置２３を有する。
【０４０１】
したがって、図２１の送信装置１１は、多重化装置２３を有する点で、図２の場合と共通し、解像度変換装置２１Ｃ及び２１Ｄ、並びに、符号化装置２２Ｃ及び２２Ｄそれぞれに代えて、解像度変換装置３２１Ｃ及び３２１Ｄ、並びに、符号化装置３２２Ｃ及び３２２Ｄが設けられている点で、図２の場合と相違する。
【０４０２】
解像度変換装置３２１Ｃには、多視点色画像が供給される。
【０４０３】
解像度変換装置３２１Ｃは、例えば、図２の解像度変換装置２１Ｃ及び２１Ｄと、それぞれ同様の処理を行う。
【０４０４】
すなわち、解像度変換装置３２１Ｃは、そこに供給される多視点色画像を、元の解像度より低い低解像度の解像度変換多視点色画像に変換する解像度変換を行い、その結果られる解像度変換多視点色画像を、符号化装置３２２Ｃに供給する。
【０４０５】
さらに、解像度変換装置３２１Ｃは、解像度変換情報を生成し、符号化装置３２２Ｃに供給する。
【０４０６】
ここで、解像度変換装置３２１Ｃが生成する解像度変換情報は、解像度変換装置３２１Ｃで行われる、多視点色画像の、解像度変換多視点色画像への解像度変換に関する情報であり、後段の符号化装置３２２Ｃにおいて、視差予測を用いた符号化の対象となる符号化対象画像であるパッキング色画像（を構成する左視点色画像、及び右視点色画像）と、その符号化対象画像の視差予測で参照される、符号化対象画像とは視点が異なる参照画像である中央視点色画像の解像度に関する解像度情報を含む。
【０４０７】
すなわち、符号化装置３２２Ｃでは、解像度変換装置３２１Ｃでの解像度変換の結果得られる解像度変換多視点色画像が符号化されるが、その符号化の対象である解像度変換多視点色画像は、図４で説明したように、中央視点色画像とパッキング色画像である。
【０４０８】
中央視点色画像とパッキング色画像のうち、視差予測を用いた符号化の対象となる符号化対象画像は、ノンベースビューの画像であるパッキング色画像であり、そのパッキング色画像の視差予測で参照される参照画像は、中央視点色画像である。
【０４０９】
したがって、解像度変換装置３２１Ｃが生成する解像度変換情報には、パッキング色画像、及び、中央視点色画像の解像度に関する情報が含まれる。
【０４１０】
符号化装置３２２Ｃは、解像度変換装置３２１Ｃから供給される解像度変換多視点色画像を、複数の視点の画像を伝送する規格である、例えば、MVC等の規格を拡張した拡張方式で符号化し、その結果得られる符号化データである多視点色画像符号化データを、多重化装置２３に供給する。
【０４１１】
なお、符号化装置３２２Ｃの符号化方式である拡張方式の元となる規格としては、MVCの他、複数の視点の画像を伝送することができ、かつ、視差予測で参照される参照画像に対し、画素以下精度（分数精度）での視差予測（視差補償）を行うための、画素を補間するフィルタ処理を施す、例えば、HEVC(High Efficiency Video Coding)等の規格を採用することができる。
【０４１２】
解像度変換装置３２１Ｄには、多視点奥行き画像が供給される。
【０４１３】
解像度変換装置３２１Ｄ、及び、符号化装置３２２Ｄでは、色画像（多視点色画像）ではなく、奥行き画像（多視点奥行き画像）を、処理の対象として処理を行うことを除き、解像度変換装置３２１Ｃ、及び、符号化装置３２２Ｃと、それぞれ同様の処理が行われる。
【０４１４】
［受信装置１２の構成例］
【０４１５】
図２２は、図１の受信装置１２の他の構成例を示すブロック図である。
【０４１６】
すなわち、図２２は、図１の送信装置１１が図２１に示したように構成される場合の、図１の受信装置１２の構成例を示している。
【０４１７】
なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４１８】
図２２において、受信装置１２は、逆多重化装置３１、復号装置３３２Ｃ及び３３２Ｄ、並びに、解像度逆変換装置３３３Ｃ及び３３３Ｄを有する。
【０４１９】
したがって、図２２の受信装置１２は、逆多重化装置３１を有する点で、図３の場合と共通し、復号装置３２Ｃ及び３２Ｄ、並びに、解像度逆変換装置３３Ｃ及び３３Ｄそれぞれに代えて、復号装置３３２Ｃ及び３３２Ｄ、並びに、解像度逆変換装置３３３Ｃ及び３３３Ｄが設けられている点で、図３の場合と相違する。
【０４２０】
復号装置３３２Ｃは、逆多重化装置３１から供給される多視点色画像符号化データを、拡張方式で復号し、その結果得られる解像度変換多視点色画像、及び、解像度変換情報を、解像度逆変換装置３３３Ｃに供給する。
【０４２１】
解像度逆変換装置３３３Ｃは、復号装置３３２Ｃからの解像度変換多視点色画像を、同じく復号装置３３２Ｃからの解像度変換情報に基づいて元の解像度の多視点色画像に（逆）変換する解像度逆変換を行い、その結果得られる多視点色画像を出力する。
【０４２２】
復号装置３３２Ｄ、及び、解像度逆変換装置３３３Ｄは、多視点色画像符号化データ（解像度変換多視点色画像）ではなく、逆多重化装置３１からの多視点奥行き画像符号化データ（解像度変換多視点奥行き画像）を、処理の対象として処理を行うことを除き、復号装置３３２Ｃ、及び、解像度逆変換装置３３３Ｃと、それぞれ同様の処理を行う。
【０４２３】
［解像度変換、及び、解像度逆変換］
【０４２４】
図２３は、図２１の解像度変換装置３２１Ｃ（及び３２１Ｄ）が行う解像度変換、並びに、図２２の解像度逆変換装置３３３Ｃ（及び３３３Ｄ）が行う解像度逆変換を説明する図である。
【０４２５】
解像度変換装置３２１Ｃ（図２１）は、例えば、図２の解像度変換装置２１Ｃと同様に、そこに供給される多視点色画像である中央視点色画像、左視点色画像、及び、右視点色画像のうちの、例えば、中央視点色画像を、そのまま（解像度変換せずに）出力する。
【０４２６】
また、解像度変換装置３２１Ｃは、例えば、図２の解像度変換装置２１Ｃと同様に、多視点色画像の残りの左視点色画像、及び、右視点色画像については、２つの視点の画像の解像度を低解像度に変換して、１視点分の画像に合成するパッキングを行うことにより、パッキング色画像を生成して出力する。
【０４２７】
すなわち、解像度変換装置３２１Ｃは、左視点色画像、及び、右視点色画像それぞれの垂直解像度（画素数）を1/2にし、その垂直解像度が1/2にされた左視点色画像、及び、右視点色画像を、例えば、上下に並べて配置することにより、１視点分の画像であるパッキング色画像を生成する。
【０４２８】
ここで、図２３のパッキング色画像では、図４の場合と同様に、左視点色画像が上側に配置され、右視点色画像が下側に配置されている。
【０４２９】
解像度変換装置３２１Ｃは、さらに、中央視点色画像の解像度が、元のままである旨や、パッキング色画像が、（垂直解像度が1/2にされた）左視点色画像、及び、右視点色画像を上下に並べた１視点分の画像である旨等を表す解像度変換情報を生成する。
【０４３０】
一方、解像度逆変換装置３３３Ｃ（図２２）は、そこに供給される解像度変換情報から、中央視点色画像の解像度が、元のままである旨や、パッキング色画像が、左視点色画像、及び、右視点色画像を上下に並べた１視点分の画像である旨等を認識する。
【０４３１】
そして、解像度逆変換装置３３３Ｃは、解像度変換情報から認識した情報に基づき、そこに供給される解像度変換多視点色画像である中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像を、そのまま出力する。
【０４３２】
また、解像度逆変換装置３３３Ｃは、解像度変換情報から認識した情報に基づき、そこに供給される解像度変換多視点色画像である中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像を上下に分離する。
【０４３３】
さらに、解像度逆変換装置３３３Ｃは、パッキング色画像を上下に分離することにより得られる、垂直解像度が1/2にされた左視点色画像、及び、右視点色画像の垂直解像度を、補間等によって、元の解像度に戻して出力する。
【０４３４】
なお、多視点色画像（及び多視点奥行き画像）は、４視点以上の画像であっても良い。多視点色画像が、４視点以上の画像である場合、上述のように、垂直解像度を1/2にした２つの視点の画像を、１視点分（のデータ量）の画像にパッキングしたパッキング色画像を、２つ以上生成することができる。また、垂直解像度を1/2より低解像度にした３つの視点以上の画像を、１視点分の画像にパッキングしたパッキング色画像を生成することや、垂直解像度と水平解像度との両方を低解像度にした３つの視点以上の画像を、１視点分の画像にパッキングしたパッキング色画像を生成することができる。
【０４３５】
［送信装置１１の処理］
【０４３６】
図２４は、図２１の送信装置１１の処理を説明するフローチャートである。
【０４３７】
ステップＳ１１において、解像度変換装置３２１Ｃは、そこに供給される多視点色画像の解像度変換を行い、その結果得られる、中央視点色画像とパッキング色画像である解像度変換多視点色画像を、符号化装置３２２Ｃに供給する。
【０４３８】
さらに、解像度変換装置３２１Ｃは、解像度変換多視点色画像についての解像度変換情報を生成し、符号化装置３２２Ｃに供給して、処理は、ステップＳ１１からステップＳ１２に進む。
【０４３９】
ステップＳ１２では、解像度変換装置３２１Ｄは、そこに供給される多視点奥行き画像の解像度変換を行い、その結果得られる、中央視点奥行き画像とパッキング奥行き画像である解像度変換多視点奥行き画像を、符号化装置３２２Ｄに供給する。
【０４４０】
さらに、解像度変換装置３２１Ｄは、解像度変換多視点奥行き画像についての解像度変換情報を生成し、符号化装置３２２Ｄに供給して、処理は、ステップＳ１２からステップＳ１３に進む。
【０４４１】
ステップＳ１３では、符号化装置３２２Ｃは、解像度変換装置３２１Ｃからの解像度変換情報を必要に応じて用いて、解像度変換装置３２１Ｃからの解像度変換多視点色画像を拡張方式で符号化し、その結果得られる符号化データである多視点色画像符号化データを、多重化装置２３に供給して、処理は、ステップＳ１４に進む。
【０４４２】
ステップＳ１４では、符号化装置３２２Ｄは、解像度変換装置３２１Ｄからの解像度変換情報を必要に応じて用いて、解像度変換装置３２１Ｄからの解像度変換多視点奥行き画像を拡張方式で符号化し、その結果得られる符号化データである多視点奥行き画像符号化データを、多重化装置２３に供給して、処理は、ステップＳ１５に進む。
【０４４３】
ステップＳ１５では、多重化装置２３は、符号化装置３２２Ｃからの多視点色画像符号化データと、符号化装置３２２Ｄからの多視点奥行き画像符号化データとを多重化し、その結果得られる多重化ビットストリームを出力する。
【０４４４】
［受信装置１２の処理］
【０４４５】
図２５は、図２２の受信装置１２の処理を説明するフローチャートである。
【０４４６】
ステップＳ２１において、逆多重化装置３１は、そこに供給される多重化ビットストリームの逆多重化を行うことにより、その多重化ビットストリームを、多視点色画像符号化データと、多視点奥行き画像符号化データとに分離する。
【０４４７】
そして、逆多重化装置３１は、多視点色画像符号化データを、復号装置３３２Ｃに供給し、多視点奥行き画像符号化データを、復号装置３３２Ｄに供給して、処理は、ステップＳ２１からステップＳ２２に進む。
【０４４８】
ステップＳ２２では、復号装置３３２Ｃは、逆多重化装置３１からの多視点色画像符号化データを、拡張方式で復号し、その結果得られる解像度変換多視点色画像、及び、その解像度変換多視点色画像についての解像度変換情報を、解像度逆変換装置３３３Ｃに供給して、処理は、ステップＳ２３に進む。
【０４４９】
ステップＳ２３では、復号装置３３２Ｄは、逆多重化装置３１からの多視点奥行き画像符号化データを、拡張方式で復号し、その結果得られる解像度変換多視点奥行き画像、及び、その解像度変換多視点奥行き画像についての解像度変換情報を、解像度逆変換装置３３３Ｄに供給して、処理は、ステップＳ２４に進む。
【０４５０】
ステップＳ２４では、解像度逆変換装置３３３Ｃは、復号装置３３２Ｃからの解像度変換多視点色画像を、同じく復号装置３３２Ｃからの解像度変換情報に基づいて元の解像度の多視点色画像に逆変換する解像度逆変換を行い、その結果得られる多視点色画像を出力して、処理は、ステップＳ２５に進む。
【０４５１】
ステップＳ２５では、解像度逆変換装置３３３Ｄは、復号装置３３２Ｄからの解像度変換多視点奥行き画像を、同じく復号装置３３２Ｄからの解像度変換情報に基づいて元の解像度の多視点奥行き画像に逆変換する解像度逆変換を行い、その結果得られる多視点奥行き画像を出力する。
【０４５２】
［符号化装置３２２Ｃの構成例］
【０４５３】
図２６は、図２１の符号化装置３２２Ｃの構成例を示すブロック図である。
【０４５４】
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４５５】
図２６において、符号化装置３２２Ｃは、エンコーダ４１、DPB４３、及び、エンコーダ３４２を有する。
【０４５６】
したがって、図２６の符号化装置３２２Ｃは、エンコーダ４１及びDPB４３を有する点で、図５の符号化装置２２Ｃと共通し、エンコーダ４２に代えて、エンコーダ３４２が設けられている点で、図５の符号化装置２２Ｃと相違する。
【０４５７】
エンコーダ４１には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像が供給される。
【０４５８】
エンコーダ３４２には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像が供給される。
【０４５９】
さらに、エンコーダ３４２には、解像度変換装置３２１Ｃからの解像度変換情報が供給される。
【０４６０】
エンコーダ４１は、図５で説明したように、中央視点色画像を、ベースビューの画像として、MVC(AVC)で符号化し、その結果得られる中央視点色画像の符号化データを出力する。
【０４６１】
エンコーダ３４２は、解像度変換情報に基づき、パッキング色画像を、ノンベースビューの画像として、拡張方式で符号化し、その結果得られるパッキング色画像の符号化データを出力する。
【０４６２】
エンコーダ４１が出力する中央視点色画像の符号化データと、エンコーダ３４２が出力するパッキング色画像の符号化データとは、多視点色画像符号化データとして、多重化装置２３（図２１）に供給される。
【０４６３】
ここで、図２６において、DPB４３は、エンコーダ４１及び３４２で共用される。
【０４６４】
すなわち、エンコーダ４１及び３４２は、符号化対象の画像を予測符号化する。そのため、エンコーダ４１及び３４２は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
【０４６５】
そして、DPB４３では、エンコーダ４１及び３４２それぞれで得られるデコード画像が一時記憶される。
【０４６６】
エンコーダ４１及び３４２それぞれは、DPB４３に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照画像を選択する。そして、エンコーダ４１及び３４２それぞれは、参照画像を用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
【０４６７】
したがって、エンコーダ４１及び３４２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
【０４６８】
但し、上述したように、エンコーダ４１は、ベースビューの画像を符号化するので、エンコーダ４１で得られたデコード画像のみを参照する。
【０４６９】
［エンコーダ３４２の構成例］
【０４７０】
図２７は、図２６のエンコーダ３４２の構成例を示すブロック図である。
【０４７１】
なお、図中、図９及び図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４７２】
図２７において、エンコーダ３４２は、A/D変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、予測画像選択部１２４、SEI(Supplemental Enhancement Information)生成部３５１、及び、インター予測部３５２を有する。
【０４７３】
したがって、エンコーダ３４２は、A/D変換部１１１ないし画面内予測部１２２、及び、予測画像選択部１２４を有する点で、図９のエンコーダ４２と共通する。
【０４７４】
但し、エンコーダ３４２は、SEI生成部３５１が新たに設けられ、インター予測部１２３に代えて、インター予測部３５２が設けられている点で、図９のエンコーダ４２と相違する。
【０４７５】
SEI生成部３５１には、解像度変換装置３２１Ｃ（図２１）から、解像度変換多視点色画像についての解像度変換情報が供給される。
【０４７６】
SEI生成部３５１は、そこに供給される解像度変換情報のフォーマットを、MVC(AVC)のSEIのフォーマットに変換し、その結果得られる解像度変換SEIを出力する。
【０４７７】
SEI生成部３５１が出力する解像度変換SEIは、可変長符号化部１１６とインター予測部３５２（の視差予測部３６１）に供給される。
【０４７８】
可変長符号化部１１６では、SEI生成部３５１からの解像度変換SEIが、符号化データに含められて伝送される。
【０４７９】
インター予測部３５２は、時間予測部１３２、及び、視差予測部３６１を有する。
【０４８０】
したがって、インター予測部３５２は、時間予測部１３２を有する点で、図１２のインター予測部１２３と共通し、視差予測部１３１に代えて、視差予測部３６１が設けられている点で、図１２のインター予測部１２３と相違する。
【０４８１】
視差予測部３６１には、画面並び替えバッファ１１２から、パッキング色画像の対象ピクチャが供給される。
【０４８２】
視差予測部３６１は、図１２の視差予測部１３１と同様に、画面並び替えバッファ１１２からのパッキング色画像の対象ピクチャの対象ブロックの視差予測を、DPB４３に記憶されたデコード中央視点色画像のピクチャ（対象ピクチャと同一時刻のピクチャ）を参照画像として用いて行い、対象ブロックの予測画像を生成する。
【０４８３】
そして、視差予測部３６１は、予測画像を、残差ベクトル等のヘッダ情報とともに、予測画像選択部１２４に供給する。
【０４８４】
また、視差予測部３６１には、SEI生成部３５１から、解像度変換SEIが供給される。
【０４８５】
視差予測部３６１は、SEI生成部３５１からの解像度変換SEIに応じて、視差予測において参照する参照画像としてのデコード中央視点色画像のピクチャに施すフィルタ処理をコントロールする。
【０４８６】
すなわち、上述したように、MVCでは、参照画像に対して、画素を補間するフィルタ処理を施す場合には、横方向と縦方向それぞれの画素数を、同一倍数だけ増加させるフィルタ処理を施すことが規定されているが、視差予測部３６１では、SEI生成部３５１からの解像度変換SEIに応じて、視差予測において参照する参照画像としてのデコード中央視点色画像のピクチャに施すフィルタ処理がコントロールされ、これにより、参照画像が、符号化対象のパッキング色画像のピクチャの横と縦との解像度比（横の画素数と縦の画素数との比）と合致する解像度比の変換参照画像に変換される。
【０４８７】
［解像度変換SEI］
【０４８８】
図２８は、図２７のSEI生成部３５１で生成される解像度変換SEIを説明する図である。
【０４８９】
すなわち、図２８は、解像度変換SEIとしての3dv_view_resolution(payloadSize)のシンタクス(syntax)の例を示す図である。
【０４９０】
解像度変換SEIとしての3dv_view_resolution(payloadSize)は、パラメータnum_views_minus_1，view_id[i]，frame_packing_info[i]、及び、view_id_in_frame[i]を有する。
【０４９１】
図２９は、SEI生成部３５１（図２７）において、解像度変換多視点色画像についての解像度変換情報から生成される解像度変換SEIのパラメータnum_views_minus_1，view_id[i]，frame_packing_info[i]、及び、view_id_in_frame[i]にセットされる値を説明する図である。
【０４９２】
パラメータnum_views_minus_1は、解像度変換多視点色画像を構成する画像の視点の数から1を減算した値を表す。
【０４９３】
本実施の形態では、解像度変換多視点色画像は、中央視点色画像と、左視点色画像、及び、右視点色画像を、１視点分の画像にパッキングしたパッキング色画像との、２つの視点の画像であるため、パラメータnum_views_minus_1には、num_views_minus_1=2-1=1がセットされる。
【０４９４】
パラメータview_id[i]は、解像度変換多視点色画像を構成するi+1番目（i=0,1,・・・）の画像を特定するインデクスを表す。
【０４９５】
すなわち、例えば、いま、左視点色画像が、番号0で表される視点#0（左視点）の画像であり、中央視点色画像が、番号1で表される視点#1（中央視点）の画像であり、右視点色画像が、番号2で表される視点#2（右視点）の画像であるとする。
【０４９６】
また、解像度変換装置３２１Ｃにおいて、中央視点色画像、左視点色画像、及び、右視点色画像の解像度変換が行われることにより得られる解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像について、視点を表す番号の割り当てがし直され、例えば、中央視点色画像に、視点#1を表す番号1が割り当てられるとともに、パッキング色画像に、視点#0を表す番号0が割り当てられることとする。
【０４９７】
さらに、中央視点色画像が、解像度変換多視点色画像を構成する1番目の画像（i=0の画像）であり、パッキング色画像が、解像度変換多視点色画像を構成する2番目の画像（i=1の画像）であることとする。
【０４９８】
この場合、解像度変換多視点色画像を構成する1(=i+1=0+1)番目の画像である中央視点色画像のパラメータview_id[0]には、中央視点色画像の視点#1を表す番号1がセットされる(view_id[0]=1)。
【０４９９】
また、解像度変換多視点色画像を構成する2(=i+1=1+1)番目の画像であるパッキング色画像のパラメータview_id[1]には、パッキング色画像の視点#0を表す番号0がセットされる(view_id[1]=0)。
【０５００】
パラメータframe_packing_info[i]は、解像度変換多視点色画像を構成するi+1番目の画像のパッキングの有無と、パッキングのパターン（パッキングパターン）を表す。
【０５０１】
ここで、値が0のパラメータframe_packing_info[i]は、パッキングがされていないことを表す。
【０５０２】
また、値が0以外の、例えば、1又は2のパラメータframe_packing_info[i]は、パッキングがされていることを表す。
【０５０３】
そして、値が1のパラメータframe_packing_info[i]は、２つの視点の画像それぞれの垂直解像度を1/2に低解像度化し、その垂直解像度が1/2にされた２つの視点の画像を、上下に並べて配置することにより、１視点分（のデータ量）の画像とするオーバーアンダーパッキング(Over Under Packing)がされていることを表す。
【０５０４】
また、値が2のパラメータframe_packing_info[i]は、２つの視点の画像それぞれの水平解像度（水平方向の解像度）を1/2に低解像度化し、その水平解像度が1/2にされた２つの視点の画像を、左右に並べて配置することにより、１視点分の画像とするサイドバイサイドパッキング(Side By Side Packing)がされていることを表す。
【０５０５】
本実施の形態では、解像度変換多視点色画像を構成する1(=i+1=0+1)番目の画像である中央視点色画像は、パッキングされていないので、中央視点色画像のパラメータframe_packing_info[0]には、パッキングされていないことを表す値0がセットされる(frame_packing_info[0]=0)。
【０５０６】
また、本実施の形態では、解像度変換多視点色画像を構成する2(=i+1=1+1)番目の画像であるパッキング色画像は、オーバーアンダーパッキングがされているので、パッキング色画像のパラメータframe_packing_info[1]には、オーバーアンダーパッキングがされていることを表す値1がセットされる(frame_packing_info[1]=1)。
【０５０７】
ここで、図２８の解像度変換SEI(3dv_view_resolution(payloadSize))において、for(i=0;<num_views_in_frame_minus_1;i++)のループの変数num_views_in_frame_minus_1は、解像度変換多視点色画像を構成するi+1番目の画像にパッキングされている画像（の視点）の数から1を減算した値を表す。
【０５０８】
したがって、パラメータframe_packing_info[i]が0である場合、解像度変換多視点色画像を構成するi+1番目の画像は、パッキングされていないので（i+1番目の画像には、１つの視点の画像がパッキングされているので）、変数num_views_in_frame_minus_1には、0=1-1がセットされる。
【０５０９】
また、パラメータframe_packing_info[i]が1又は2である場合、解像度変換多視点色画像を構成するi+1番目の画像には、２つの視点の画像がパッキングされているので、変数num_views_in_frame_minus_1には、1=2-1がセットされる。
【０５１０】
パラメータview_id_in_frame[i]は、パッキング色画像にパッキングされている画像を特定するインデクスを表す。
【０５１１】
ここで、パラメータview_id_in_frame[i]の引数iは、他のパラメータview_id[i]及びframe_packing_info[i]の引数iと異なるため、説明を分かりやすくするために、パラメータview_id_in_frame[i]の引数iを、jと記載し、パラメータview_id_in_frame[i]を、view_id_in_frame[j]と記載することとする。
【０５１２】
パラメータview_id_in_frame[j]は、解像度変換多視点色画像を構成する画像のうちの、パラメータframe_packing_info[i]が0でない画像、すなわち、パッキング色画像についてだけ伝送される。
【０５１３】
パッキング色画像のパラメータframe_packing_info[i]が1である場合、すなわち、パッキング色画像が、２つの視点の画像を上下に並べて配置するオーバーアンダーパッキングがされた画像である場合、引数j=0のパラメータview_id_in_frame[0]は、パッキング色画像にオーバーアンダーパッキングされている画像のうちの、上側に配置されている画像を特定するインデクスを表し、引数j=1のパラメータview_id_in_frame[1]は、パッキング色画像にオーバーアンダーパッキングされている画像のうちの、下側に配置されている画像を特定するインデクスを表す。
【０５１４】
また、パッキング色画像のパラメータframe_packing_info[i]が2である場合、すなわち、パッキング色画像が、２つの視点の画像を左右に並べて配置するサイドバイサイドパッキングがされた画像である場合、引数j=0のパラメータview_id_in_frame[0]は、パッキング色画像にサイドバイサイドパッキングされている画像のうちの、左側に配置されている画像を特定するインデクスを表し、引数j=1のパラメータview_id_in_frame[1]は、パッキング色画像にサイドバイサイドパッキングされている画像のうちの、右側に配置されている画像を特定するインデクスを表す。
【０５１５】
本実施の形態では、パッキング色画像は、左視点色画像を上に、右視点色画像を下に、それぞれ配置するオーバーアンダーパッキングがされた画像であるので、パッキング色画像にオーバーアンダーパッキングされている画像のうちの、上側に配置されている画像を特定するインデクスを表す引数j=0のパラメータview_id_in_frame[0]には、左視点色画像の視点#0を表す番号0がセットされ、下側に配置されている画像を特定するインデクスを表す引数j=1のパラメータview_id_in_frame[1]には、右視点色画像の視点#2を表す番号2がセットされる。
【０５１６】
［視差予測部１３１の構成例］
【０５１７】
図３０は、図２７の視差予測部３６１の構成例を示すブロック図である。
【０５１８】
なお、図中、図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５１９】
図３０において、視差予測部３６１は、視差検出部１４１、視差補償部１４２、予測情報バッファ１４３、コスト関数算出部１４４、モード選択部１４５、及び、参照画像変換部３７０を有する。
【０５２０】
したがって、図３０の視差予測部３６１は、視差検出部１４１ないしモード選択部１４５を有する点で、図１３の視差予測部１３１と共通する。
【０５２１】
但し、図３０の視差予測部３６１は、参照画像変換部１４０に代えて、参照画像変換部３７０が設けられている点で、図１３の視差予測部１３１と相違する。
【０５２２】
参照画像変換部３７０には、DPB４３から、デコード中央視点色画像のピクチャが、参照画像として供給される他、SEI生成部３５１から、解像度変換SEIが供給される。
【０５２３】
参照画像変換部３７０は、SEI生成部３５１からの解像度変換SEIに応じて、視差予測において参照する参照画像としてのデコード中央視点色画像のピクチャに施すフィルタ処理をコントロールし、これにより、参照画像を、符号化対象のパッキング色画像のピクチャの横と縦との解像度比と合致する解像度比の変換参照画像に変換して、視差検出部１４１、及び、視差補償部１４２に供給する。
【０５２４】
［参照画像変換部３７０の構成例］
【０５２５】
図３１は、図３０の参照画像変換部３７０の構成例を示すブロック図である。
【０５２６】
なお、図中、図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５２７】
図３１において、参照画像変換部３７０は、水平1/2画素生成用フィルタ処理部１５１、垂直1/2画素生成用フィルタ処理部１５２、水平1/4画素生成用フィルタ処理部１５３、垂直1/4画素生成用フィルタ処理部１５４、水平垂直1/4画素生成用フィルタ処理部１５５、コントローラ３８１、及び、パッキング部３８２を有する。
【０５２８】
したがって、図３１の参照画像変換部３７０は、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５を有する点で、図１６の参照画像変換部１４０と共通する。
【０５２９】
但し、図３１の参照画像変換部３７０は、コントローラ３８１、及び、パッキング部３８２が新たに設けられている点で、図１６の参照画像変換部１４０と相違する。
【０５３０】
コントローラ３８１には、SEI生成部３５１からの解像度変換SEIが供給される。
【０５３１】
コントローラ３８１は、SEI生成部３５１からの解像度変換SEIに応じて、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５それぞれのフィルタ処理、及び、パッキング部３８２のパッキングをコントロールする。
【０５３２】
パッキング部３８２には、DPB４３からの参照画像としてのデコード中央視点色画像が供給される。
【０５３３】
パッキング部３８２は、コントローラ３８１によるコントロールに従い、DPB４３からの参照画像とそのコピーとを、上下、又は、左右に並べて配置したパッキング参照画像を生成するパッキングを行い、その結果得られるパッキング参照画像を、水平1/2画素生成用フィルタ処理部１５１に供給する。
【０５３４】
すなわち、コントローラ３８１は、解像度変換SEI（のパラメータframe_packing_info[i]）から、パッキング色画像のパッキングパターン（オーバーアンダーパッキング又はサイドバイサイドパッキング）を認識し、パッキング色画像のパッキングと同様のパッキングを行うように、パッキング部３８２をコントロールする。
【０５３５】
パッキング部３８２は、DPB４３からの参照画像のコピーを生成し、コントローラ３８１によるコントロールに従い、参照画像とそのコピーとを、上下に並べて配置するオーバーアンダーパッキング、又は、左右に並べて配置するサイドバイサイドパッキングを行うことにより、パッキング参照画像を生成する。
【０５３６】
なお、パッキング部３８２では、参照画像とコピーとのパッキングは、参照画像とコピーの解像度を変更せずに行われる。
【０５３７】
また、図３１では、パッキング部３８２は、水平1/2画素生成用フィルタ処理部１５１の前段に設けられているが、パッキング部３８２は、水平垂直1/4画素生成用フィルタ処理部１５５の後段に設け、パッキング部３８２によるパッキングは、水平垂直1/4画素生成用フィルタ処理部１５５の出力を対象として行うことが可能である。
【０５３８】
図３２は、図３１のコントローラ３８１のコントロールに従ったパッキング部３８２によるパッキングを説明する図である。
【０５３９】
本実施の形態では、パッキング色画像は、オーバーアンダーパッキングがされているので、コントローラ３８１は、パッキング色画像と同様のオーバーアンダーパッキングを行うように、パッキング部３８２を制御する。
【０５４０】
パッキング部３８２は、コントローラ３８１によるコントロールに従い、参照画像としてのデコード中央視点色画像とそのコピーとを、上下に並べて配置するオーバーアンダーパッキングを行うことにより、パッキング参照画像を生成する。
【０５４１】
図３３及び図３４は、図３１のコントローラ３８１のコントロールに従った水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５のフィルタ処理を説明する図である。
【０５４２】
なお、図３３及び図３４において、○印は、パッキング参照画像の元の画素（サブペルでない画素）を表す。
【０５４３】
パッキング参照画像の元の画素（原画素）どうしの横及び縦の間隔を1とすると、図１４及び図１５で説明したように、原画素は、整数位置にある整数画素であり、したがって、パッキング参照画像は、整数画素のみで構成される整数精度画像である。
【０５４４】
パッキング色画像が、オーバーアンダーパッキングされている場合、コントローラ３８１は、解像度変換SEIから、パッキング色画像において、そのパッキング色画像を構成する左視点画像、及び、右視点画像の垂直解像度が元の（１視点の画像の）1/2になっていることを認識する。
【０５４５】
この場合、コントローラ３８１は、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５のうちの、垂直1/2画素生成用フィルタ処理部１５２を、フィルタ処理を行わないようにコントロールするとともに、残りの水平1/2画素生成用フィルタ処理部１５１、水平1/4画素生成用フィルタ処理部１５３、垂直1/4画素生成用フィルタ処理部１５４、及び、水平垂直1/4画素生成用フィルタ処理部１５５を、フィルタ処理を行うようにコントロールする。
【０５４６】
その結果、水平1/2画素生成用フィルタ処理部１５１は、コントローラ３８１からのコントロールに従い、パッキング部３８２からの整数精度画像であるパッキング参照画像に、水平1/2画素生成用フィルタ処理を施す。
【０５４７】
この場合、水平1/2画素生成用フィルタ処理によれば、図３３に示すように、x座標が、整数と1/2との加算値で表され、y座標が、整数で表される座標の位置aに、サブペルとしての画素（水平1/2画素）が補間される。
【０５４８】
水平1/2画素生成用フィルタ処理部１５１は、水平1/2画素生成用フィルタ処理によって得られる、図３３の位置aに、画素（水平1/2画素）が補間された画像、すなわち、画素どうしの横の間隔が1/2で、縦の間隔が1の水平1/2精度画像を、垂直1/2画素生成用フィルタ処理部１５２に供給する。
【０５４９】
ここで、水平1/2精度画像を構成する、上下に配置された参照画像とそのコピー（以下、コピー参照画像ともいう）の解像度比は、いずれも、2:1になっている。
【０５５０】
垂直1/2画素生成用フィルタ処理部１５２は、コントローラ３８１からのコントロールに従い、水平1/2画素生成用フィルタ処理部１５１からの水平1/2精度画像に、垂直1/2画素生成用フィルタ処理を施さずに、そのまま、水平1/4画素生成用フィルタ処理部１５３に供給する。
【０５５１】
水平1/4画素生成用フィルタ処理部１５３は、コントローラ３８１からのコントロールに従い、垂直1/2画素生成用フィルタ処理部１５２からの水平1/2精度画像に、水平1/4画素生成用フィルタ処理を施す。
【０５５２】
この場合、水平1/4画素生成用フィルタ処理の対象である、垂直1/2画素生成用フィルタ処理部１５２からの画像（水平1/2精度画像）には、その垂直1/2画素生成用フィルタ処理部１５２による垂直1/2画素生成用フィルタ処理が施されていないため、水平1/4画素生成用フィルタ処理によれば、図３４に示すように、x座標が、整数と1/4の加算値、又は、整数と-1/4の加算値で表され、y座標が、整数で表される座標の位置cに、サブペルとしての画素（水平1/4画素）が補間される。  
【０５５３】
水平1/4画素生成用フィルタ処理部１５３は、水平1/4画素生成用フィルタ処理によって得られる、図３４の位置cに、画素（水平1/4画素）が補間された画像、すなわち、画素どうしの横の間隔が1/4で、縦の間隔が1の画像を、垂直1/4画素生成用フィルタ処理部１５４に供給する。
【０５５４】
垂直1/4画素生成用フィルタ処理部１５４は、コントローラ３８１からのコントロールに従い、水平1/4画素生成用フィルタ処理部１５３からの画像に、垂直1/4画素生成用フィルタ処理を施す。
【０５５５】
この場合、垂直1/4画素生成用フィルタ処理の対象である、水平1/4画素生成用フィルタ処理部１５３からの画像には、垂直1/2画素生成用フィルタ処理部１５２による垂直1/2画素生成用フィルタ処理が施されていないため、垂直1/4画素生成用フィルタ処理によれば、図３４に示すように、x座標が、整数、又は、整数と1/2の加算値で表され、y座標が、整数と1/2の加算値で表される座標の位置dに、サブペルとしての画素（垂直1/4画素）が補間される。
【０５５６】
垂直1/4画素生成用フィルタ処理部１５４は、垂直1/4画素生成用フィルタ処理によって得られる、図３４の位置dに、画素（垂直1/4画素）が補間された画像を、水平垂直1/4画素生成用フィルタ処理部１５５に供給する。
【０５５７】
水平垂直1/4画素生成用フィルタ処理部１５５は、コントローラ３８１からのコントロールに従い、垂直1/4画素生成用フィルタ処理部１５４からの画像に、水平垂直1/4画素生成用フィルタ処理を施す。
【０５５８】
この場合、水平垂直1/4画素生成用フィルタ処理の対象である、垂直1/4画素生成用フィルタ処理部１５４からの画像には、垂直1/2画素生成用フィルタ処理部１５２による垂直1/2画素生成用フィルタ処理が施されていないため、水平垂直1/4画素生成用フィルタ処理によれば、図３４に示すように、x座標が、整数と1/4の加算値、又は、整数と-1/4の加算値で表され、y座標が、整数と1/2の加算値で表される座標の位置eに、サブペルとしての画素（水平垂直1/4画素）が補間される。
【０５５９】
水平垂直1/4画素生成用フィルタ処理部１５５は、水平垂直1/4画素生成用フィルタ処理によって得られる、図３４の位置eに、画素（水平垂直1/4画素）が補間された画像、すなわち、画素どうしの横の間隔が1/4で、縦の間隔が1/2の画像である水平1/4垂直1/2精度画像を、変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給する。
【０５６０】
ここで、水平1/4垂直1/2精度画像である変換参照画像を構成する、上下に配置された参照画像とコピー参照画像の解像度比は、いずれも、2:1になっている。
【０５６１】
図３５は、参照画像変換部３７０（図３１）において、垂直1/2画素生成用フィルタ処理を行わず、水平1/2画素生成用フィルタ処理、水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理を行うことにより得られる変換参照画像を示す図である。
【０５６２】
参照画像変換部３７０において、垂直1/2画素生成用フィルタ処理を行わず、水平1/2画素生成用フィルタ処理、水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理を行った場合には、図３３及び図３４で説明したように、画素どうしの横の間隔（水平方向の精度）が1/4で、縦の間隔（垂直方向の精度）が1/2の水平1/4垂直1/2精度画像を、変換参照画像として得ることができる。
【０５６３】
以上のようにして得られる変換参照画像は、（元の）参照画像としてのデコード中央視点画像と、そのコピーとを、パッキング色画像と同様に、上下に並べて配置した水平1/4垂直1/2精度画像である。
【０５６４】
一方、パッキング色画像は、例えば、図２３で説明したように、左視点色画像、及び、右視点色画像それぞれの垂直解像度を1/2にし、その垂直解像度が1/2にされた左視点色画像、及び、右視点色画像を、上下に並べて配置した１視点分の画像である。
【０５６５】
したがって、エンコーダ３４２（図２７）において、符号化の対象となるパッキング色画像（符号化対象画像）の解像度比と、視差予測部３６１（図３０）での視差予測において、そのパッキング色画像の予測画像を生成する際に参照する変換後参照画像の解像度比とは、合致（マッチ）する。
【０５６６】
すなわち、パッキング色画像において、上下に並んで配置されている左視点色画像、及び、右視点色画像それぞれの垂直解像度は、元の1/2になっており、したがって、パッキング色画像になっている左視点色画像、及び、右視点色画像それぞれの解像度比は、いずれも、2:1になっている。
【０５６７】
一方、変換参照画像において、上下に並んで配置されているデコード中央視点色画像、及び、そのコピーの解像度比も、いずれも、2:1であり、パッキング色画像になっている左視点色画像、及び、右視点色画像の解像度比である2:1と一致する。
【０５６８】
以上のように、パッキング色画像の解像度比と、変換参照画像の解像度比とが合致しているので、すなわち、パッキング色画像において、左視点色画像と右視点色画像が上下に並んで配置され、変換参照画像でも、パッキング色画像と同様に、デコード中央視点色画像とそのコピーが上下に並んで配置されており、かつ、そのようなパッキング画像において上下に並んで配置されている左視点色画像、及び、右視点色画像の解像度比と、変換参照画像において上下に並んで配置されているデコード中央視点色画像、及び、そのコピーの解像度比とが、それぞれ一致しているので、視差予測の予測精度を改善し（視差予測で生成される予測画像と、対象ブロックとの残差が小になり）、符号化効率を向上させることができる。
【０５６９】
その結果、上述した、多視点色画像（及び、多視点奥行き画像）のベースバンドでのデータ量を削減する解像度変換に起因する、受信装置１２で得られる復号画像の画質の劣化を防止することができる。
【０５７０】
なお、図３３ないし図３５では、参照画像変換部３７０（図３１）において、水平1/4垂直1/2精度画像（図３４）を、変換参照画像として求めることとしたが、変換参照画像としては、水平1/2精度画像（図３３）を求めることができる。
【０５７１】
水平1/2精度画像は、参照画像変換部３７０（図３１）のコントローラ３８１において、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５のうちの、水平1/2画素生成用フィルタ処理部１５１のみで、フィルタ処理を行い、他の垂直1/2画素生成用フィルタ処理部１５２ないし水平垂直1/4画素生成用フィルタ処理部１５５で、フィルタ処理を行わないように、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５をコントロールすることにより求めることができる。
【０５７２】
［パッキング色画像の符号化処理］
【０５７３】
図３６は、図２７のエンコーダ３４２が行う、パッキング色画像を符号化する符号化処理を説明するフローチャートである。
【０５７４】
ステップＳ１０１において、A/D変換部１１１は、そこに供給されるパッキング色画像のピクチャのアナログ信号をA/D変換し、画面並び替えバッファ１１２に供給して、処理は、ステップＳ１０２に進む。
【０５７５】
ステップＳ１０２では、画面並び替えバッファ１１２は、A/D変換部１１１からの中央視点色画像のピクチャを一時記憶し、あらかじめ決められたGOPの構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。
【０５７６】
画面並び替えバッファ１１２から読み出されたピクチャは、演算部１１３、画面内予測部１２２、並びに、インター予測部３５２の視差予測部３６１、及び、時間予測部１３２に供給され、処理は、ステップＳ１０２からステップＳ１０３に進む。
【０５７７】
ステップＳ１０３では、演算部１１３は、画面並び替えバッファ１１２からの中央視点色画像のピクチャを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。
【０５７８】
そして、演算部１１３は、対象ブロックの画素値と、予測画像選択部１２４から供給される予測画像の画素値との差分（残差）を、必要に応じて演算し、直交変換部１１４に供給して、処理は、ステップＳ１０３からステップＳ１０４に進む。
【０５７９】
ステップＳ１０４では、直交変換部１１４は、演算部１１３からの対象ブロックに対して直交変換を施し、その結果得られる変換係数を、量子化部１１５に供給して、処理は、ステップＳ１０５に進む。
【０５８０】
ステップＳ１０５において、量子化部１１５は、直交変換部１１４から供給される変換係数を量子化し、その結果得られる量子化値を、逆量子化部１１８、及び、可変長符号化部１１６に供給して、処理は、ステップＳ１０６に進む。
【０５８１】
ステップＳ１０６では、逆量子化部１１８は、量子化部１１５からの量子化値を、変換係数に逆量子化し、逆直交変換部１１９に供給して、処理は、ステップＳ１０７に進む。
【０５８２】
ステップＳ１０７では、逆直交変換部１１９は、逆量子化部１１８からの変換係数を逆直交変換し、演算部１２０に供給して、処理は、ステップＳ１０８に進む。
【０５８３】
ステップＳ１０８では、演算部１２０は、逆直交変換部１１９から供給されるデータに対して、必要に応じて、予測画像選択部１２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコードパッキング色画像を求める。そして、演算部１２０は、対象ブロックをローカルデコードしたデコードパッキング色画像を、デブロッキングフィルタ１２１に供給して、処理は、ステップＳ１０８からステップＳ１０９に進む。
【０５８４】
ステップＳ１０９では、デブロッキングフィルタ１２１は、演算部１２０からのデコードパッキング色画像をフィルタリングし、DPB４３に供給して、処理は、ステップＳ１１０に進む。
【０５８５】
ステップＳ１１０では、DPB４３が、中央視点色画像を符号化するエンコーダ４１（図２６）から、その中央視点色画像を符号化して、ローカルデコードすることにより得られるデコード中央視点色画像が供給されるのを待って、そのデコード中央視点色画像を記憶し、処理は、ステップＳ１１１に進む。
【０５８６】
ステップＳ１１１では、DPB４３が、デブロッキングフィルタ１２１からのデコードパッキング色画像を記憶し、処理は、ステップＳ１１２に進む。
【０５８７】
ステップＳ１１２では、画面内予測部１２２は、次の対象ブロックについて、イントラ予測処理（画面内予測処理）を行う。
【０５８８】
すなわち、画面内予測部１２２は、次の対象ブロックについて、DPB４３に記憶されたデコードパッキング色画像のピクチャから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行う。
【０５８９】
そして、画面内予測部１２２は、イントラ予測の予測画像を用いて、次の対象ブロックを符号化するのに要する符号化コストを求め、ヘッダ情報（となるイントラ予測に関する情報）と、イントラ予測の予測画像とともに、予測画像選択部１２４に供給して、処理は、ステップＳ１１２からステップＳ１１３に進む。
【０５９０】
ステップＳ１１３では、時間予測部１３２は、次の対象ブロックについて、デコードパッキング色画像のピクチャを、参照画像として、時間予測処理を行う。
【０５９１】
すなわち、時間予測部１３２は、次の対象ブロックについて、DPB４３に記憶されたデコードパッキング色画像のピクチャを用いて、時間予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。
【０５９２】
さらに、時間予測部１３２は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、ヘッダ情報（となるインター予測に関する情報）と、符号化コストとともに、予測画像選択部１２４に供給して、処理は、ステップＳ１１３からステップＳ１１４に進む。
【０５９３】
ステップＳ１１４では、SEI生成部３５１が、図２８及び図２９で説明した解像度変換SEIを生成し、可変長符号化部１１６、及び、視差予測部３６１に供給して、処理は、ステップＳ１１５に進む。
【０５９４】
ステップＳ１１５では、視差予測部３６１は、次の対象ブロックについて、デコード中央視点色画像のピクチャを、参照画像として、視差予測処理を行う。
【０５９５】
すなわち、視差予測部３６１は、DPB４３に記憶されたデコード中央視点色画像のピクチャを、参照画像として、その参照画像を、SEI生成部３５１からの解像度変換SEIに応じて、変換参照画像に変換する。
【０５９６】
さらに、視差予測部３６１は、次の対象ブロックについて、変換参照画像を用いて、視差予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。
【０５９７】
さらに、視差予測部３６１は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、ヘッダ情報（となるインター予測に関する情報）と、符号化コストとともに、予測画像選択部１２４に供給して、処理は、ステップＳ１１５からステップＳ１１６に進む。
【０５９８】
ステップＳ１１６では、予測画像選択部１２４は、画面内予測部１２２からの予測画像（イントラ予測の予測画像）、時間予測部１３２からの予測画像（時間予測画像）、及び、視差予測部３６１からの予測画像（視差予測画像）のうちの、例えば、符号化コストが最小の予測画像を選択し、演算部１１３及び２２０に供給して、処理は、ステップＳ１１７に進む。  
【０５９９】
ここで、予測画像選択部１２４がステップＳ１１６で選択する予測画像が、次の対象ブロックの符号化で行われるステップＳ１０３やＳ１０８の処理で用いられる。
【０６００】
また、予測画像選択部１２４は、画面内予測部１２２、時間予測部１３２、及び、視差予測部３６１からのヘッダ情報のうちの、符号化コストが最小の予測画像とともに供給されたヘッダ情報を選択し、可変長符号化部１１６に供給する。
【０６０１】
ステップＳ１１７では、可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化を施し、符号化データを得る。
【０６０２】
さらに、可変長符号化部１１６は、予測画像選択部１２４からのヘッダ情報や、SEI生成部３５１からの解像度変換SEIを、符号化データのヘッダに含める。
【０６０３】
そして、可変長符号化部１１６は、符号化データを、蓄積バッファ１１７に供給して、処理は、ステップＳ１１７からステップＳ１１８に進む。
【０６０４】
ステップＳ１１８では、蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶する。
【０６０５】
蓄積バッファ１１７に記憶された符号化データは、所定の伝送レートで、多重化装置２３（図２１）に供給（伝送）される。
【０６０６】
エンコーダ３４２では、以上のステップＳ１０１ないしＳ１１８の処理が、適宜繰り返し行われる。
【０６０７】
図３７は、図３６のステップＳ１１５で、図３０の視差予測部３６１が行う視差予測処理を説明するフローチャートである。
【０６０８】
ステップＳ１３１において、参照画像変換部３７０は、SEI生成部３５１から供給される解像度変換SEIを受け取り、処理は、ステップＳ１３２に進む。
【０６０９】
ステップＳ１３２では、参照画像変換部３７０は、DPB４３からの参照画像としてのデコード中央視点色画像のピクチャを受け取り、処理は、ステップＳ１３３に進む。
【０６１０】
ステップＳ１３３では、参照画像変換部３７０は、SEI生成部３５１からの解像度変換SEIに応じて、DPB４３からの参照画像としてのデコード中央視点色画像のピクチャに施すフィルタ処理をコントロールし、これにより、参照画像を、符号化対象のパッキング色画像のピクチャの横と縦との解像度比と合致する解像度比の変換参照画像に変換する参照画像の変換処理を行う。
【０６１１】
そして、参照画像変換部３７０は、参照画像の変換処理により得られる変換参照画像を、視差検出部１４１、及び、視差補償部１４２に供給して、処理は、ステップＳ１３３からステップＳ１３４に進む。
【０６１２】
ステップＳ１３４では、視差検出部１４１は、画面並び替えバッファ１１２から供給される対象ブロックと、参照画像変換部３７０からの変換参照画像とを用いてMEを行うことにより、対象ブロックの、変換参照画像に対する視差を表す視差ベクトルmvを、マクロブロックタイプごとに検出し、視差補償部１４２に供給して、処理は、ステップＳ１３５に進む。
【０６１３】
ステップＳ１３５では、視差補償部１４２は、参照画像変換部３７０からの変換参照画像の視差補償を、視差検出部１４１からの対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を、マクロブロックタイプごとに生成し、処理は、ステップＳ１３６に進む。
【０６１４】
すなわち、視差補償部１４２は、変換参照画像の、対象ブロックの位置から、視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像として取得する。
【０６１５】
ステップＳ１３６では、視差補償部１４２は、既に符号化済みの、対象ブロックの周辺のマクロブロックの視差ベクトル等を必要に応じて用いて、対象ブロックの視差ベクトルmvの予測ベクトルPMVを求める。
【０６１６】
さらに、視差補償部１４２は、対象ブロックの視差ベクトルmvと、その予測ベクトルPMVとの差分である残差ベクトルを求める。
【０６１７】
そして、視差補償部１４２は、マクロブロックタイプ等の予測モードごとの対象ブロックの予測画像を、その対象ブロックの残差ベクトル、及び、予測画像を生成するのに用いた変換参照画像（ひいては、参照画像としてのデコード中央視点色画像のピクチャ）に割り当てられている参照インデクスとともに、予測モードと対応付けて、予測情報バッファ１４３、及び、コスト関数算出部１４４に供給して、処理は、ステップＳ１３６からステップＳ１３７に進む。
【０６１８】
ステップＳ１３７では、予測情報バッファ１４３が、視差補償部１４２からの、予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報として、一時記憶して、処理は、ステップＳ１３８に進む。
【０６１９】
ステップＳ１３８では、コスト関数算出部１４４が、予測モードとしてのマクロブロックタイプごとに、画面並び替えバッファ１１２からの対象ピクチャの対象ブロックの符号化に要する符号化コスト（コスト関数値）を、コスト関数を演算することにより求め、モード選択部１４５に供給して、処理は、ステップＳ１３９に進む。
【０６２０】
ステップＳ１３９では、モード選択部１４５は、コスト関数算出部１４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。
【０６２１】
さらに、モード選択部１４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択する。
【０６２２】
そして、モード選択部１４５は、最適インター予測モードである予測モードに対応付けられた予測画像、残差ベクトル、及び、参照インデクスを、予測情報バッファ１４３から読み出し、最適インター予測モードである予測モードとともに、予測情報として、予測画像選択部１２４に供給して、処理はリターンする。
【０６２３】
図３８は、図３７のステップＳ１３３において、図３１の参照画像変換部３７０が行う参照画像の変換処理を説明するフローチャートである。
【０６２４】
ステップＳ１５１において、コントローラ３８１は、SEI生成部３５１からの解像度変換SEIを受け取り、処理は、ステップＳ１５２に進む。
【０６２５】
ステップＳ１５２では、パッキング部３８２が、DPB４３からの参照画像としてのデコード中央視点色画像を受け取り、処理は、ステップＳ１５３に進む。
【０６２６】
ステップＳ１５３では、コントローラ３８１が、SEI生成部３５１からの解像度変換SEIに応じて、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５それぞれのフィルタ処理、及び、パッキング部３８２のパッキングをコントロールし、これにより、DPB４３からの参照画像が、符号化対象のパッキング色画像のピクチャの横と縦との解像度比と合致する解像度比の変換参照画像に変換される。
【０６２７】
すなわち、ステップＳ１５３では、ステップＳ１５３−１において、パッキング部３８２は、DPB４３からの参照画像とそのコピーとをパッキングし、符号化対象のパッキング色画像と同一のパッキングパターンのパッキング参照画像を生成する。
【０６２８】
ここで、本実施の形態では、パッキング部３８２は、DPB４３からの参照画像とそのコピーとを、上下に並べて配置したパッキング参照画像を生成するパッキング（オーバーアンダーパッキング）を行う。
【０６２９】
パッキング部３８２は、パッキングによって得られるパッキング参照画像を、水平1/2画素生成用フィルタ処理部１５１に供給して、処理は、ステップＳ１５３−１からステップＳ１５３−２に進む。
【０６３０】
ステップＳ１５３−２では、水平1/2画素生成用フィルタ処理部１５１は、パッキング部３８２からの整数精度画像であるパッキング参照画像に、水平1/2画素生成用フィルタ処理を施す。
【０６３１】
水平1/2画素生成用フィルタ処理によって得られる画像である水平1/2精度画像（図３３）は、水平1/2画素生成用フィルタ処理部１５１から垂直1/2画素生成用フィルタ処理部１５２に供給されるが、垂直1/2画素生成用フィルタ処理部１５２は、コントローラ３８１のコントロールに従い、水平1/2画素生成用フィルタ処理部１５１からの水平1/2精度画像に、垂直1/2画素生成用フィルタ処理を施さずに、そのまま、水平1/4画素生成用フィルタ処理部１５３に供給する。
【０６３２】
その後、処理は、ステップＳ１５３−２からステップＳ１５３−３に進み、水平1/4画素生成用フィルタ処理部１５３は、垂直1/2画素生成用フィルタ処理部１５２からの水平1/2精度画像に、水平1/4画素生成用フィルタ処理を施し、その結果得られる画像を、垂直1/4画素生成用フィルタ処理部１５４に供給して、処理は、ステップＳ１５３−４に進む。
【０６３３】
ステップＳ１５３−４では、垂直1/4画素生成用フィルタ処理部１５４は、水平1/4画素生成用フィルタ処理部１５３からの画像に、垂直1/4画素生成用フィルタ処理を施し、その結果得られる画像を、水平垂直1/4画素生成用フィルタ処理部１５５に供給して、処理は、ステップＳ１５３−５に進む。
【０６３４】
ステップＳ１５３−５では、水平垂直1/4画素生成用フィルタ処理部１５５は、垂直1/4画素生成用フィルタ処理部１５４からの画像に、水平垂直1/4画素生成用フィルタ処理を施し、処理は、ステップＳ１５４に進む。
【０６３５】
ステップＳ１５４では、水平垂直1/4画素生成用フィルタ処理部１５５は、水平垂直1/4画素生成用フィルタ処理によって得られる水平1/4垂直1/2精度画像（図３４）を、変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給して、処理はリターンする。
【０６３６】
なお、図３８の参照画像の変換処理では、ステップＳ１５３−３ないしＳ１５３−５の処理をスキップし、ステップＳ１５３−２において、水平1/2画素生成用フィルタ処理部１５１による水平1/2画素生成用フィルタ処理によって得られる水平1/2精度画像（図３３）を、変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給することができる。
【０６３７】
［復号装置３３２Ｃの構成例］
【０６３８】
図３９は、図２２の復号装置３３２Ｃの構成例を示すブロック図である。
【０６３９】
なお、図中、図１７の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０６４０】
図３９において、復号装置３３２Ｃは、デコーダ２１１及び４１２、並びに、DPB２１３を有する。
【０６４１】
したがって、図３９の復号装置３３２Ｃは、デコーダ２１１及びDPB２１３を有する点で、図１７の復号装置３２Ｃと共通するが、デコーダ２１２に代えて、デコーダ４１２が設けられている点で、図１７の復号装置３２Ｃと相違する。
【０６４２】
デコーダ４１２には、逆多重化装置３１（図２２）からの多視点色画像符号化データのうちの、ノンベースビューの画像であるパッキング色画像の符号化データが供給される。
【０６４３】
デコーダ４１２は、そこに供給されるパッキング色画像の符号化データを、拡張方式で復号し、その結果得られるパッキング色画像を出力する。
【０６４４】
ここで、デコーダ２１１は、多視点色画像符号化データのうちの、ベースビューの画像である中央視点色画像の符号化データを、MVCで復号し、中央視点色画像を出力する。
【０６４５】
そして、デコーダ２１１が出力する中央視点色画像と、デコーダ４１２が出力するパッキング色画像とが、解像度変換多視点色画像として、解像度逆変換装置３３３Ｃ（図２２）に供給される。
【０６４６】
また、デコーダ２１１及び４１２は、それぞれ、図２６のエンコーダ４１及び３４２で予測符号化された画像を復号する。
【０６４７】
予測符号化された画像を復号するには、その予測符号化で用いられた予測画像が必要であるため、デコーダ２１１及び４１２は、予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる、復号後の画像を、DPB２１３に一時記憶させる。
【０６４８】
DPB２１３は、デコーダ２１１及び４１２で共用され、デコーダ２１１及び４１２それぞれで得られる復号後の画像（デコード画像）を一時記憶する。
【０６４９】
デコーダ２１１及び４１２それぞれは、DPB２１３に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照画像を選択し、その参照画像を用いて、予測画像を生成する。
【０６５０】
以上のように、DPB２１３は、デコーダ２１１及び４１２で共用されるので、デコーダ２１１及び４１２それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。
【０６５１】
但し、上述したように、デコーダ２１１は、ベースビューの画像を復号するので、デコーダ２１１で得られたデコード画像のみを参照する。
【０６５２】
［デコーダ４１２の構成例］
【０６５３】
図４０は、図３９のデコーダ４１２の構成例を示すブロック図である。
【０６５４】
なお、図中、図１８及び図１９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０６５５】
図４０において、デコーダ４１２は、蓄積バッファ２４１、可変長復号部２４２、逆量子化部２４３、逆直交変換部２４４、演算部２４５、デブロッキングフィルタ２４６、画面並び替えバッファ２４７、D/A変換部２４８、画面内予測部２４９、予測画像選択部２５１、及び、インター予測部４５０を有する。
【０６５６】
したがって、図４０のデコーダ４１２は、蓄積バッファ２４１ないし画面内予測部２４９、及び、予測画像選択部２５１を有する点で、図１８のデコーダ２１２と共通する。
【０６５７】
但し、図４０のデコーダ４１２は、インター予測部２５０に代えて、インター予測部４５０が設けられている点で、図１８のデコーダ２１２と相違する。
【０６５８】
インター予測部４５０は、参照インデクス処理部２６０、時間予測部２６２、及び、視差予測部４６１を有する。
【０６５９】
したがって、インター予測部４５０は、参照インデクス処理部２６０、及び、時間予測部２６２を有する点で、図１９のインター予測部２５０と共通するが、視差予測部２６１（図１９）に代えて、視差予測部４６１が設けられている点で、図１９のインター予測部２５０と相違する。
【０６６０】
図４０のデコーダ４１２では、可変長復号部２４２が、蓄積バッファ２４１から、解像度変換SEIを含む、パッキング色画像の符号化データを受け取り、その符号化データに含まれる解像度変換SEIを、視差予測部４６１に供給する。
【０６６１】
また、可変長復号部２４２は、解像度変換SEIを、解像度変換情報として、解像度逆変換装置３３３Ｃ（図２２）に供給する。
【０６６２】
さらに、可変長復号部２４２は、符号化データに含まれるヘッダ情報（予測モード関連情報）を、画面内予測部２４９、並びに、インター予測部４５０を構成する参照インデクス処理部２６０、時間予測部２６２、及び、視差予測部４６１に供給する。
【０６６３】
視差予測部４６１には、可変長復号部２４２から、予測モード関連情報、及び、解像度変換SEIが供給される他、参照インデクス処理部２６０から、参照画像としてのデコード中央視点色画像のピクチャが供給される。
【０６６４】
視差予測部４６１は、可変長復号部２４２からの解像度変換SEIに基づき、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャを、図２７の視差予測部３６１と同様にして、変換参照画像に変換する。
【０６６５】
さらに、視差予測部４６１は、可変長復号部２４２からの予測モード関連情報に基づき、対象ブロックの予測画像の生成に用いられた視差ベクトルを復元し、図２７の視差予測部３６１と同様に、その視差ベクトルに従って、変換参照画像の視差予測（視差補償）を行うことで、予測画像を生成して、予測画像選択部２５１に供給する。
【０６６６】
［視差予測部４６１の構成例］
【０６６７】
図４１は、図４０の視差予測部４６１の構成例を示すブロック図である。
【０６６８】
なお、図中、図２０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０６６９】
図４１において、視差予測部４６１は、視差補償部２７２、及び、参照画像変換部４７１を有する。
【０６７０】
したがって、図４１の視差予測部４６１は、視差補償部２７２を有する点で、図２０の視差予測部２６１と共通するが、参照画像変換部２７１に代えて、参照画像変換部４７１が設けられている点で、図２０の視差予測部２６１と相違する。
【０６７１】
参照画像変換部４７１には、参照インデクス処理部２６０から、デコード中央視点色画像のピクチャが、参照画像として供給されるとともに、可変長復号部２４２から、解像度変換SEIが供給される。
【０６７２】
参照画像変換部４７１は、図３０の参照画像変換部３７０と同様に、可変長復号部２４２からの解像度変換SEIに応じて、視差予測において参照する参照画像としてのデコード中央視点色画像のピクチャに施すフィルタ処理をコントロールし、これにより、参照画像を、復号対象のパッキング色画像のピクチャの横と縦との解像度比と合致する解像度比の変換参照画像に変換して、視差補償部２７２に供給する。
【０６７３】
［参照画像変換部４７１の構成例］
【０６７４】
図４２は、図４１の参照画像変換部４７１の構成例を示すブロック図である。
【０６７５】
図４２において、参照画像変換部４７１は、コントローラ４８１、パッキング部４８２、水平1/2画素生成用フィルタ処理部４８３、垂直1/2画素生成用フィルタ処理部４８４、水平1/4画素生成用フィルタ処理部４８５、垂直1/4画素生成用フィルタ処理部４８６、及び、水平垂直1/4画素生成用フィルタ処理部４８７を有する。
【０６７６】
コントローラ４８１ないし水平垂直1/4画素生成用フィルタ処理部４８７は、図３１のコントローラ３８１、パッキング部３８２、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５とそれぞれ同様の処理を行う。
【０６７７】
すなわち、コントローラ４８１には、可変長復号部２４２からの解像度変換SEIが供給される。
【０６７８】
コントローラ４８１は、可変長復号部２４２からの解像度変換SEIに応じて、パッキング部４８２のパッキング、及び、水平1/2画素生成用フィルタ処理部４８３ないし水平垂直1/4画素生成用フィルタ処理部４８７それぞれのフィルタ処理を、図３１のコントローラ３８１と同様にコントロールする。
【０６７９】
パッキング部４８２には、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像が供給される。
【０６８０】
パッキング部４８２は、コントローラ４８１によるコントロールに従い、参照インデクス処理部２６０からの参照画像とそのコピーとを、上下、又は、左右に並べて配置したパッキング参照画像を生成するパッキングを行い、その結果得られるパッキング参照画像を、水平1/2画素生成用フィルタ処理部４８３に供給する。
【０６８１】
すなわち、コントローラ４８１は、解像度変換SEI（のパラメータframe_packing_info[i]）（図２８、図２９）から、パッキング色画像のパッキングパターン（オーバーアンダーパッキング又はサイドバイサイドパッキング）を認識し、パッキング色画像のパッキングと同様のパッキングを行うように、パッキング部４８２をコントロールする。
【０６８２】
パッキング部４８２は、参照インデクス処理部２６０からの参照画像のコピーを生成し、コントローラ４８１によるコントロールに従い、参照画像とそのコピーとを、上下に並べて配置するオーバーアンダーパッキング、又は、左右に並べて配置するサイドバイサイドパッキングを行うことにより、パッキング参照画像を生成し、水平1/2画素生成用フィルタ処理部４８３に供給する。
【０６８３】
水平1/2画素生成用フィルタ処理部４８３ないし水平垂直1/4画素生成用フィルタ処理部４８７は、コントローラ４８１によるコントロールに従い、図３１の水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５とそれぞれ同様のフィルタ処理を行う。
【０６８４】
水平1/2画素生成用フィルタ処理部４８３ないし水平垂直1/4画素生成用フィルタ処理部４８７のフィルタ処理の結果得られる変換参照画像は、視差補償部２７２に供給され、視差補償部２７２では、その変換参照画像を用いて視差補償が行われる。
【０６８５】
［パッキング色画像の復号処理］
【０６８６】
図４３は、図４０のデコーダ４１２が行う、パッキング色画像の符号化データを復号する復号処理を説明するフローチャートである。
【０６８７】
ステップＳ２０１において、蓄積バッファ２４１は、そこに供給されるパッキング色画像の符号化データを記憶し、処理は、ステップＳ２０２に進む。
【０６８８】
ステップＳ２０２では、可変長復号部２４２は、蓄積バッファ２４１に記憶された符号化データを読み出して可変長復号することにより、量子化値や、予測モード関連情報、解像度変換SEIを復元する。そして、可変長復号部２４２は、量子化値を、逆量子化部２４３に、予測モード関連情報を、画面内予測部２４９、参照インデクス処理部２６０、時間予測部２６２、及び、視差予測部４６１に、解像度変換SEIを、視差予測部４６１に、それぞれ供給して、処理は、ステップＳ２０３に進む。
【０６８９】
ステップＳ２０３では、逆量子化部２４３は、可変長復号部２４２からの量子化値を、変換係数に逆量子化し、逆直交変換部２４４に供給して、処理は、ステップＳ２０４に進む。
【０６９０】
ステップＳ２０４では、逆直交変換部２４４は、逆量子化部２４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部２４５に供給して、処理は、ステップＳ２０５に進む。
【０６９１】
ステップＳ２０５では、演算部２４５は、逆直交変換部２４４からのマクロブロックを復号対象の対象ブロック（残差画像）として、その対象ブロックに対して、必要に応じて、予測画像選択部２５１から供給される予測画像を加算することで、デコード画像を求める。そして、演算部２４５は、デコード画像を、デブロッキングフィルタ２４６に供給し、処理は、ステップＳ２０５からステップＳ２０６に進む。
【０６９２】
ステップＳ２０６では、デブロッキングフィルタ２４６は、演算部２４５からのデコード画像に対して、フィルタリングを行い、そのフィルタリング後のデコード画像（デコードパッキング色画像）を、DPB２１３、及び、画面並び替えバッファ２４７に供給して、処理は、ステップＳ２０７に進む。
【０６９３】
ステップＳ２０７では、DPB２１３が、中央視点色画像を復号するデコーダ２１１（図３９）から、デコード中央視点色画像が供給されるのを待って、そのデコード中央視点色画像を記憶し、処理は、ステップＳ２０８に進む。
【０６９４】
ステップＳ２０８では、DPB２１３が、デブロッキングフィルタ２４６からのデコードパッキング色画像を記憶し、処理は、ステップＳ２０９に進む。
【０６９５】
ステップＳ２０９では、画面内予測部２４９、並びに、インター予測部４５０（を構成する時間予測部２６２、及び、視差予測部４６１）が、可変長復号部２４２から供給される予測モード関連情報に基づき、次の対象ブロック（次に復号対象となるマクロブロック）が、イントラ予測（画面内予測）、及び、インター予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを判定する。
【０６９６】
そして、ステップＳ２０９において、次の対象ブロックが、画面内予測で生成された予測画像を用いて符号化されていると判定された場合、処理は、ステップＳ２１０に進み、画面内予測部２４９は、イントラ予測処理（画面内予測処理）を行う。
【０６９７】
すなわち、画面内予測部２４９は、次の対象ブロックについて、DPB２１３に記憶されたデコードパッキング色画像のピクチャから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行い、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ２１０からステップＳ２１５に進む。
【０６９８】
また、ステップＳ２０９において、次の対象ブロックが、インター予測で生成された予測画像を用いて符号化されていると判定された場合、処理は、ステップＳ２１１に進み、参照インデクス処理部２６０は、可変長復号部２４２からの予測モード関連情報に含まれる（予測用の）参照インデクスが割り当てられているデコード中央視点色画像のピクチャ、又は、デコードパッキング色画像のピクチャを、DPB２１３から読み出すことにより、参照画像として選択し、処理は、ステップＳ２１２に進む。
【０６９９】
ステップＳ２１２では、参照インデクス処理部２６０が、可変長復号部２４２からの予測モード関連情報に含まれる（予測用の）参照インデクスに基づき、次の対象ブロックが、インター予測である時間予測、及び、視差予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを判定する。
【０７００】
ステップＳ２１２において、次の対象ブロックが、時間予測で生成された予測画像を用いて符号化されていると判定された場合、すなわち、可変長復号部２４２からの（次の）対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコードパッキング色画像のピクチャであり、ステップＳ２１１において、そのデコードパッキング色画像のピクチャが、参照画像として選択されている場合、参照インデクス処理部２６０は、参照画像としてのデコードパッキング色画像のピクチャを、時間予測部２６２に供給して、処理は、ステップＳ２１３に進む。
【０７０１】
ステップＳ２１３では、時間予測部２６２が、時間予測処理を行う。
【０７０２】
すなわち、時間予測部２６２は、次の対象ブロックについて、参照インデクス処理部２６０からの参照画像としてのデコードパッキング色画像のピクチャの動き補償を、可変長復号部２４２からの予測モード関連情報を用いて行うことにより、予測画像を生成し、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ２１３からステップＳ２１５に進む。
【０７０３】
また、ステップＳ２１２において、次の対象ブロックが、視差予測で生成された予測画像を用いて符号化されていると判定された場合、すなわち、可変長復号部２４２からの（次の）対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコード中央視点色画像のピクチャであり、ステップＳ２１１において、そのデコード中央視点色画像のピクチャが、参照画像として選択されている場合、参照インデクス処理部２６０は、参照画像としてのデコード中央視点色画像のピクチャを、視差予測部４６１に供給して、処理は、ステップＳ２１４に進む。
【０７０４】
ステップＳ２１４では、視差予測部４６１が、視差予測処理を行う。
【０７０５】
すなわち、視差予測部４６１は、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャを、可変長復号部２４２からの解像度変換SEIに応じて、変換参照画像に変換する。
【０７０６】
さらに、視差予測部４６１は、次の対象ブロックについて、変換参照画像の視差補償を、可変長復号部２４２からの予測モード関連情報を用いて行うことにより、予測画像を生成し、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ２１４からステップＳ２１５に進む。
【０７０７】
ステップＳ２１５では、予測画像選択部２５１は、画面内予測部２４９、時間予測部２６２、及び、視差予測部４６１のうちの、予測画像が供給される方からの、その予測画像を選択し、演算部２４５に供給して、処理は、ステップＳ２１６に進む。
【０７０８】
ここで、予測画像選択部２５１がステップＳ２１５で選択する予測画像が、次の対象ブロックの復号で行われるステップＳ２０５の処理で用いられる。
【０７０９】
ステップＳ２１６では、画面並び替えバッファ２４７が、デブロッキングフィルタ２４６からのデコードパッキング色画像のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並びに並び替え、D/A変換部２４８に供給して、処理は、ステップＳ２１７に進む。
【０７１０】
ステップＳ２１７では、D/A変換部２４８は、画面並び替えバッファ２４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
【０７１１】
デコーダ４１２では、以上のステップＳ２０１ないしＳ２１７の処理が、適宜繰り返し行われる。
【０７１２】
図４４は、図４３のステップＳ２１４で、図４１の視差予測部４６１が行う視差予測処理を説明するフローチャートである。
【０７１３】
ステップＳ２３１において、参照画像変換部４７１は、可変長復号部２４２から供給される解像度変換SEIを受け取り、処理は、ステップＳ２３２に進む。
【０７１４】
ステップＳ２３２では、参照画像変換部４７１は、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャを受け取り、処理は、ステップＳ２３３に進む。
【０７１５】
ステップＳ２３３では、参照画像変換部４７１は、可変長復号部２４２からの解像度変換SEIに応じて、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャに施すフィルタ処理をコントロールし、これにより、参照画像を、復号対象のパッキング色画像のピクチャの横と縦との解像度比と合致する解像度比の変換参照画像に変換する参照画像の変換処理を行う。
【０７１６】
そして、参照画像変換部４７１は、参照画像の変換処理により得られる変換参照画像を、視差補償部２７２に供給して、処理は、ステップＳ２３３からステップＳ２３４に進む。
【０７１７】
ステップＳ２３４では、視差補償部２７２は、可変長復号部２４２からの予測モード関連情報に含まれる、（次の）対象ブロックの残差ベクトルを受け取り、処理は、ステップＳ２３５に進む。
【０７１８】
ステップＳ２３５では、視差補償部２７２は、既に復号された、対象ブロックの周辺のマクロブロックの視差ベクトル等を用いて、可変長復号部２４２からの予測モード関連情報に含まれる予測モード（最適インター予測モード）が表すマクロブロックタイプについての対象ブロックの予測ベクトルを求める。
【０７１９】
さらに、視差補償部２７２は、対象ブロックの予測ベクトルと、可変長復号部２４２からの残差ベクトルとを加算することにより、対象ブロックの視差ベクトルmvを復元し、処理は、ステップＳ２３５からステップＳ２３６に進む。
【０７２０】
ステップＳ２３６では、視差補償部２７２は、参照画像変換部４７１からの変換参照画像の視差補償を、対象ブロックの視差ベクトルmvを用いて行うことで、対象ブロックの予測画像を生成し、予測画像選択部２５１に供給して、処理はリターンする。
【０７２１】
図４５は、図４４のステップＳ２３３において、図４２の参照画像変換部４７１が行う参照画像の変換処理を説明するフローチャートである。
【０７２２】
参照画像変換部４７１では、ステップＳ２５１ないしステップＳ２５４において、図３１の参照画像変換部３７０が図３８のステップＳ１５１ないしＳ１５４で行うのとそれぞれ同様の処理が行われる。
【０７２３】
すなわち、ステップＳ２５１において、コントローラ４８１は、可変長復号部２４２からの解像度変換SEIを受け取り、処理は、ステップＳ２５２に進む。
【０７２４】
ステップＳ２５２では、パッキング部４８２が、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像を受け取り、処理は、ステップＳ２５３に進む。
【０７２５】
ステップＳ２５３では、コントローラ４８１が、可変長復号部２４２からの解像度変換SEIに応じて、パッキング部４８２のパッキング、及び、水平1/2画素生成用フィルタ処理部４８３ないし水平垂直1/4画素生成用フィルタ処理部４８７それぞれのフィルタ処理をコントロールし、これにより、参照インデクス処理部２６０からの参照画像が、復号対象のパッキング色画像のピクチャの横と縦との解像度比と合致する解像度比の変換参照画像に変換される。
【０７２６】
すなわち、ステップＳ２５３では、ステップＳ２５３−１において、パッキング部４８２は、参照インデクス処理部２６０からの参照画像とそのコピーとをパッキングし、符号化対象のパッキング色画像と同一のパッキングパターンのパッキング参照画像を生成する。
【０７２７】
ここで、本実施の形態では、パッキング部４８２は、参照インデクス処理部２６０からの参照画像とそのコピーとを、上下に並べて配置したパッキング参照画像を生成するパッキングを行う。
【０７２８】
パッキング部４８２は、パッキングによって得られるパッキング参照画像を、水平1/2画素生成用フィルタ処理部４８３に供給して、処理は、ステップＳ２５３−１からステップＳ２５３−２に進む。
【０７２９】
ステップＳ２５３−２では、水平1/2画素生成用フィルタ処理部４８３は、パッキング部４８２からの整数精度画像であるパッキング参照画像に、水平1/2画素生成用フィルタ処理を施す。
【０７３０】
水平1/2画素生成用フィルタ処理によって得られる画像である水平1/2精度画像（図３３）は、水平1/2画素生成用フィルタ処理部４８３から垂直1/2画素生成用フィルタ処理部４８４に供給されるが、垂直1/2画素生成用フィルタ処理部４８４は、コントローラ４８１のコントロールに従い、水平1/2画素生成用フィルタ処理部４８３からの水平1/2精度画像に、垂直1/2画素生成用フィルタ処理を施さずに、そのまま、水平1/4画素生成用フィルタ処理部４８５に供給する。
【０７３１】
その後、処理は、ステップＳ２５３−２からステップＳ２５３−３に進み、水平1/4画素生成用フィルタ処理部４８５は、垂直1/2画素生成用フィルタ処理部４８４からの水平1/2精度画像に、水平1/4画素生成用フィルタ処理を施し、その結果得られる画像を、垂直1/4画素生成用フィルタ処理部４８６に供給して、処理は、ステップＳ２５３−４に進む。
【０７３２】
ステップＳ２５３−４では、垂直1/4画素生成用フィルタ処理部４８６は、水平1/4画素生成用フィルタ処理部４８５からの画像に、垂直1/4画素生成用フィルタ処理を施し、その結果得られる画像を、水平垂直1/4画素生成用フィルタ処理部４８７に供給して、処理は、ステップＳ２５３−５に進む。
【０７３３】
ステップＳ２５３−５では、水平垂直1/4画素生成用フィルタ処理部４８７は、垂直1/4画素生成用フィルタ処理部４８６からの画像に、水平垂直1/4画素生成用フィルタ処理を施し、処理は、ステップＳ２５４に進む。
【０７３４】
ステップＳ２５４では、水平垂直1/4画素生成用フィルタ処理部４８７は、水平垂直1/4画素生成用フィルタ処理によって得られる水平1/4垂直1/2精度画像（図３４）を、変換参照画像として、視差補償部２７２に供給して、処理はリターンする。
【０７３５】
なお、図４５の参照画像の変換処理では、図３８の場合と同様に、ステップＳ２５３−３ないしＳ２５３−５の処理をスキップし、ステップＳ２５３−２において、水平1/2画素生成用フィルタ処理部４８３による水平1/2画素生成用フィルタ処理によって得られる水平1/2精度画像（図３３）を、変換参照画像として、視差補償部２７２に供給することができる。
【０７３６】
［サイドバイサイドパッキング］
【０７３７】
図２３では、解像度変換装置３２１Ｃにおいて、オーバーアンダーパッキングを行うこととしたが、解像度変換装置３２１Ｃでは、オーバーアンダーパッキングの他、図２９で説明したサイドバイサイドパッキングを行うことにより、多視点色画像のベースバンドでのデータ量を削減した解像度変換多視点色画像を生成することができる。
【０７３８】
以下、解像度変換装置３２１Ｃにおいて、サイドバイサイドパッキングを行う場合に、オーバーアンダーパッキングを行う場合と異なる図１の伝送システムの処理について説明する。
【０７３９】
図４６は、図２１の解像度変換装置３２１Ｃ（及び３２１Ｄ）が行う解像度変換、並びに、図２２の解像度逆変換装置３３３Ｃ（及び３３３Ｄ）が行う解像度逆変換を説明する図である。
【０７４０】
すなわち、図４６は、解像度変換装置３２１Ｃにおいて、サイドバイサイドパッキングが行われる場合の、解像度変換装置３２１Ｃ（図２１）が行う解像度変換、及び、解像度逆変換装置３３３Ｃ（図２２）が行う解像度逆変換を説明する図である。
【０７４１】
図４６では、解像度変換装置３２１Ｃは、例えば、図２の解像度変換装置２１Ｃと同様に、そこに供給される多視点色画像である中央視点色画像、左視点色画像、及び、右視点色画像のうちの、例えば、中央視点色画像を、そのまま（解像度変換せずに）出力する。
【０７４２】
また、図４６では、解像度変換装置３２１Ｃは、多視点色画像の残りの左視点色画像、及び、右視点色画像については、左視点色画像、及び、右視点色画像それぞれの水平解像度（画素数）を1/2にし、その水平解像度が1/2にされた左視点色画像、及び、右視点色画像を、左右に並べて配置することにより、１視点分の画像であるパッキング色画像を生成する。
【０７４３】
ここで、図４６のパッキング色画像では、左視点色画像が左側に配置され、右視点色画像が右側に配置されている。
【０７４４】
解像度変換装置３２１Ｃは、さらに、中央視点色画像の解像度が、元のままである旨や、パッキング色画像が、（水平解像度が1/2にされた）左視点色画像、及び、右視点色画像を左右に並べた１視点分の画像である旨等を表す解像度変換情報を生成する。
【０７４５】
一方、解像度逆変換装置３３３Ｃは、そこに供給される解像度変換情報から、中央視点色画像の解像度が、元のままである旨や、パッキング色画像が、左視点色画像、及び、右視点色画像を左右に並べた１視点分の画像である旨等を認識する。
【０７４６】
そして、解像度逆変換装置３３３Ｃは、解像度変換情報から認識した情報に基づき、そこに供給される解像度変換多視点色画像である中央視点色画像、及び、パッキング色画像のうちの、中央視点色画像を、そのまま出力する。
【０７４７】
また、解像度逆変換装置３３３Ｃは、解像度変換情報から認識した情報に基づき、そこに供給される解像度変換多視点色画像である中央視点色画像、及び、パッキング色画像のうちの、パッキング色画像を左右に分離する。
【０７４８】
さらに、解像度逆変換装置３３３Ｃは、パッキング色画像を左右に分離することにより得られる、水平解像度が1/2にされた左視点色画像、及び、右視点色画像の水平解像度を、補間等によって、元の解像度に戻して出力する。
【０７４９】
［解像度変換SEI］
【０７５０】
図４７は、図２１の解像度変換装置３２１Ｃにおいて、図４６で説明した解像度変換としてのサイドバイサイドパッキングが行われる場合に、図２７のSEI生成部３５１が、解像度変換装置３３３Ｃが出力する解像度変換情報から生成する解像度変換SEI（図２８）としての3dv_view_resolution(payloadSize)のパラメータnum_views_minus_1，view_id[i]，frame_packing_info[i]、及び、view_id_in_frame[i]にセットされる値を説明する図である。
【０７５１】
パラメータnum_views_minus_1は、図２９で説明したように、解像度変換多視点色画像を構成する画像の視点の数から1を減算した値を表すので、図４６のサイドバイサイドパッキングが行われる場合のパラメータnum_views_minus_1には、図２９のオーバーアンダーパッキングの場合と同様に、num_views_minus_1=2-1=1がセットされる。
【０７５２】
パラメータview_id[i]は、図２９で説明したように、解像度変換多視点色画像を構成するi+1番目（i=0,1,・・・）の画像を特定するインデクスを表す。
【０７５３】
例えば、いま、図２９のオーバーアンダーパッキングの場合と同様に、左視点色画像が、番号0で表される視点#0の画像であり、中央視点色画像が、番号1で表される視点#1の画像であり、右視点色画像が、番号2で表される視点#2の画像であるとする。
【０７５４】
また、図２９のオーバーアンダーパッキングの場合と同様に、解像度変換装置３２１Ｃにおいて、中央視点色画像、左視点色画像、及び、右視点色画像の解像度変換が行われることにより得られる解像度変換多視点色画像を構成する中央視点色画像、及び、パッキング色画像について、視点を表す番号の割り当てがし直され、例えば、中央視点色画像に、視点#1を表す番号1が割り当てられるとともに、パッキング色画像に、視点#0を表す番号0が割り当てられることとする。
【０７５５】
さらに、図２９のオーバーアンダーパッキングの場合と同様に、中央視点色画像が、解像度変換多視点色画像を構成する1番目の画像（i=0の画像）であり、パッキング色画像が、解像度変換多視点色画像を構成する2番目の画像（i=1の画像）であることとする。
【０７５６】
この場合、解像度変換多視点色画像を構成する1(=i+1=0+1)番目の画像である中央視点色画像のパラメータview_id[0]には、中央視点色画像の視点#1を表す番号1がセットされる(view_id[0]=1)。
【０７５７】
また、解像度変換多視点色画像を構成する2(=i+1=1+1)番目の画像であるパッキング色画像のパラメータview_id[1]には、パッキング色画像の視点#0を表す番号0がセットされる(view_id[1]=0)。
【０７５８】
パラメータframe_packing_info[i]は、図２９で説明したように、解像度変換多視点色画像を構成するi+1番目の画像のパッキングの有無と、パッキングパターンを表す。
【０７５９】
そして、図２９で説明したように、値が0のパラメータframe_packing_info[i]は、パッキングがされていないことを、値が1のパラメータframe_packing_info[i]は、オーバーアンダーパッキングがされていることを、値が2のパラメータframe_packing_info[i]は、サイドバイサイドパッキングがされていることを、それぞれ表す。
【０７６０】
図４７では、解像度変換多視点色画像を構成する1(=i+1=0+1)番目の画像である中央視点色画像は、パッキングされていないので、中央視点色画像のパラメータframe_packing_info[0]には、パッキングされていないことを表す値0がセットされる(frame_packing_info[0]=0)。
【０７６１】
また、図４７では、解像度変換多視点色画像を構成する2(=i+1=1+1)番目の画像であるパッキング色画像は、サイドバイサイドパッキングがされているので、パッキング色画像のパラメータframe_packing_info[1]には、サイドバイサイドパッキングがされていることを表す値2がセットされる(frame_packing_info[1]=2)。
【０７６２】
パラメータview_id_in_frame[j]は、図２９で説明したように、パッキング色画像にパッキングされている画像を特定するインデクスを表し、解像度変換多視点色画像を構成する画像のうちの、パラメータframe_packing_info[i]が0でない画像、すなわち、パッキング色画像についてだけ伝送される。
【０７６３】
図２９で説明したように、パッキング色画像のパラメータframe_packing_info[i]が1である場合、すなわち、パッキング色画像が、２つの視点の画像を上下に並べて配置するオーバーアンダーパッキングがされた画像である場合、引数j=0のパラメータview_id_in_frame[0]は、パッキング色画像にオーバーアンダーパッキングされている画像のうちの、上側に配置されている画像を特定するインデクスを表し、引数j=1のパラメータview_id_in_frame[1]は、パッキング色画像にオーバーアンダーパッキングされている画像のうちの、下側に配置されている画像を特定するインデクスを表す。
【０７６４】
さらに、図２９で説明したように、パッキング色画像のパラメータframe_packing_info[i]が2である場合、すなわち、パッキング色画像が、２つの視点の画像を左右に並べて配置するサイドバイサイドパッキングがされた画像である場合、引数j=0のパラメータview_id_in_frame[0]は、パッキング色画像にサイドバイサイドパッキングされている画像のうちの、左側に配置されている画像を特定するインデクスを表し、引数j=1のパラメータview_id_in_frame[1]は、パッキング色画像にサイドバイサイドパッキングされている画像のうちの、右側に配置されている画像を特定するインデクスを表す。
【０７６５】
図４７では、パッキング色画像は、左視点画像を左に、右視点画像を右に、それぞれ配置するサイドバイサイドパッキングがされた画像であるので、パッキング色画像にサイドバイサイドパッキングされている画像のうちの、左側に配置されている画像を特定するインデクスを表す引数j=0のパラメータview_id_in_frame[0]には、左視点画像の視点#0を表す番号0がセットされ、右側に配置されている画像を特定するインデクスを表す引数j=1のパラメータview_id_in_frame[1]には、右視点画像の視点#2を表す番号2がセットされる。
【０７６６】
［パッキング色画像がサイドバイサイドパッキングされている場合の変換参照画像］
【０７６７】
図４８は、図３１のコントローラ３８１のコントロールに従ったパッキング部３８２によるパッキングを説明する図である。
【０７６８】
すなわち、図４８は、図２７のSEI生成部３５１において、図４７で説明した解像度変換SEIが生成される場合に、コントローラ３８１（図３１）が、その解像度変換SEIに応じて行うコントロールに従って、パッキング部３８２（図３１）が行うパッキングを説明する図である。
【０７６９】
コントローラ３８１は、SEI生成部３５１から供給される、図４７の解像度変換SEIから、パッキング色画像が、サイドバイサイドパッキングされていることを認識する。パッキング色画像が、サイドバイサイドパッキングされている場合、コントローラ３８１は、パッキング色画像と同様のサイドバイサイドパッキングを行うように、パッキング部３８２を制御する。
【０７７０】
パッキング部３８２は、コントローラ３８１によるコントロールに従い、参照画像としてのデコード中央視点色画像とそのコピーとを、左右に並べて配置するサイドバイサイドパッキングを行うことにより、パッキング参照画像を生成する。
【０７７１】
図４９及び図５０は、図３１のコントローラ３８１のコントロールに従った水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５のフィルタ処理を説明する図である。
【０７７２】
すなわち、図４９及び図５０は、図２７のSEI生成部３５１において、図４７で説明した解像度変換SEIが生成される場合に、コントローラ３８１（図３１）がその解像度変換SEIに応じて行うコントロールに従って、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５（図３１）が行うフィルタ処理を説明する図である。
【０７７３】
なお、図４９及び図５０において、○印は、パッキング参照画像の元の画素（サブペルでない画素）を表す。
【０７７４】
パッキング参照画像の元の画素（原画素）どうしの横及び縦の間隔を1とすると、図１４及び図１５で説明したように、原画素は、整数位置にある整数画素であり、したがって、パッキング参照画像は、整数画素のみで構成される整数精度画像である。
【０７７５】
パッキング色画像が、サイドバイサイドパッキングされている場合、コントローラ３８１（図３１）は、解像度変換SEIから、パッキング色画像において、そのパッキング色画像を構成する左視点画像、及び、右視点画像の水平解像度が元の（１視点の画像の）1/2になっていることを認識する。
【０７７６】
この場合、コントローラ３８１は、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５のうちの、水平1/2画素生成用フィルタ処理部１５１を、フィルタ処理を行わないようにコントロールするとともに、残りの垂直1/2画素生成用フィルタ処理部１５２ないし水平垂直1/4画素生成用フィルタ処理部１５５を、フィルタ処理を行うようにコントロールする。
【０７７７】
その結果、水平1/2画素生成用フィルタ処理部１５１は、コントローラ３８１からのコントロールに従い、パッキング部３８２からの整数精度画像であるパッキング参照画像に、水平1/2画素生成用フィルタ処理を施さずに、そのまま、垂直1/2画素生成用フィルタ処理部１５２に供給する。
【０７７８】
垂直1/2画素生成用フィルタ処理部１５２は、コントローラ３８１からのコントロールに従い、水平1/2画素生成用フィルタ処理部１５１からの整数精度画像であるパッキング参照画像に、垂直1/2画素生成用フィルタ処理を施す。
【０７７９】
この場合、垂直1/2画素生成用フィルタ処理によれば、図４９に示すように、x座標が、整数で表され、y座標が、整数と1/2との加算値で表される座標の位置bに、サブペルとしての画素（垂直1/2画素）が補間される。
【０７８０】
垂直1/2画素生成用フィルタ処理部１５２は、垂直1/2画素生成用フィルタ処理によって得られる、図４９の位置bに、画素（垂直1/2画素）が補間された画像、すなわち、画素どうしの横の間隔が1で、縦の間隔が1/2の垂直1/2精度画像を、水平1/4画素生成用フィルタ処理部１５３に供給する。
【０７８１】
ここで、垂直1/2精度画像を構成する、左右に配置された参照画像とそのコピー（コピー参照画像）の解像度比は、いずれも、1:2になっている。
【０７８２】
水平1/4画素生成用フィルタ処理部１５３は、コントローラ３８１からのコントロールに従い、垂直1/2画素生成用フィルタ処理部１５２からの垂直1/2精度画像に、水平1/4画素生成用フィルタ処理を施す。
【０７８３】
この場合、水平1/4画素生成用フィルタ処理の対象である、垂直1/2画素生成用フィルタ処理部１５２からの画像（垂直1/2精度画像）には、水平1/2画素生成用フィルタ処理部１５１による水平1/2画素生成用フィルタ処理が施されていないため、水平1/4画素生成用フィルタ処理によれば、図５０に示すように、x座標が、整数と1/2の加算値で表され、y座標が、整数、又は、整数と1/2の加算値で表される座標の位置cに、サブペルとしての画素（水平1/4画素）が補間される。
【０７８４】
水平1/4画素生成用フィルタ処理部１５３は、水平1/4画素生成用フィルタ処理によって得られる、図５０の位置cに、画素（水平1/4画素）が補間された画像、すなわち、画素どうしの横の間隔が1/2で、縦の間隔が1/2の画像を、垂直1/4画素生成用フィルタ処理部１５４に供給する。
【０７８５】
垂直1/4画素生成用フィルタ処理部１５４は、コントローラ３８１からのコントロールに従い、水平1/4画素生成用フィルタ処理部１５３からの画像に、垂直1/4画素生成用フィルタ処理を施す。
【０７８６】
この場合、垂直1/4画素生成用フィルタ処理の対象である、水平1/4画素生成用フィルタ処理部１５３からの画像には、水平1/2画素生成用フィルタ処理部１５１による水平1/2画素生成用フィルタ処理が施されていないため、垂直1/4画素生成用フィルタ処理によれば、図５０に示すように、x座標が、整数で表され、y座標が、整数と1/4の加算値、又は、整数と-1/4の加算値で表される座標の位置dに、サブペルとしての画素（垂直1/4画素）が補間される。
【０７８７】
垂直1/4画素生成用フィルタ処理部１５４は、垂直1/4画素生成用フィルタ処理によって得られる、図５０の位置dに、画素（垂直1/4画素）が補間された画像を、水平垂直1/4画素生成用フィルタ処理部１５５に供給する。
【０７８８】
水平垂直1/4画素生成用フィルタ処理部１５５は、コントローラ３８１からのコントロールに従い、垂直1/4画素生成用フィルタ処理部１５４からの画像に、水平垂直1/4画素生成用フィルタ処理を施す。
【０７８９】
この場合、水平垂直1/4画素生成用フィルタ処理の対象である、垂直1/4画素生成用フィルタ処理部１５４からの画像には、水平1/2画素生成用フィルタ処理部１５１による水平1/2画素生成用フィルタ処理が施されていないため、水平垂直1/4画素生成用フィルタ処理によれば、図５０に示すように、x座標が、整数と1/2の加算値で表され、y座標が、整数と1/4の加算値、又は、整数と-1/4の加算値で表される座標の位置eに、サブペルとしての画素（水平垂直1/4画素）が補間される。
【０７９０】
水平垂直1/4画素生成用フィルタ処理部１５５は、水平垂直1/4画素生成用フィルタ処理によって得られる、図５０の位置eに、画素（水平垂直1/4画素）が補間された画像、すなわち、画素どうしの横の間隔が1/2で、縦の間隔が1/4の画像である水平1/2垂直1/4精度画像を、変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給する。
【０７９１】
ここで、水平1/2垂直1/4精度画像である変換参照画像を構成する、左右に配置された参照画像とコピー参照画像の解像度比は、いずれも、1:2になっている。
【０７９２】
図５１は、参照画像変換部３７０（図３１）において、水平1/2画素生成用フィルタ処理を行わず、垂直1/2画素生成用フィルタ処理、水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理を行うことにより得られる変換参照画像を示す図である。
【０７９３】
参照画像変換部３７０において、水平1/2画素生成用フィルタ処理を行わず、垂直1/2画素生成用フィルタ処理、水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理を行った場合には、図４９及び図５０で説明したように、画素どうしの横の間隔（水平方向の精度）が1/2で、縦の間隔（垂直方向の精度）が1/4の水平1/2垂直1/4精度画像を、変換参照画像として得ることができる。
【０７９４】
以上のようにして得られる変換参照画像は、（元の）参照画像としてのデコード中央視点画像と、そのコピーとを、パッキング色画像と同様に、左右に並べて配置した水平1/2垂直1/4精度画像である。
【０７９５】
一方、サイドバイサイドパッキングで得られるパッキング色画像は、例えば、図４６で説明したように、左視点色画像、及び、右視点色画像それぞれの水平解像度を1/2にし、その水平解像度が1/2にされた左視点色画像、及び、右視点色画像を、左右に並べて配置した１視点分の画像である。
【０７９６】
したがって、エンコーダ３４２（図２７）において、符号化の対象となるパッキング色画像（符号化対象画像）の解像度比と、視差予測部３６１（図３０）での視差予測において、そのパッキング色画像の予測画像を生成する際に参照する変換後参照画像の解像度比とは、合致（マッチ）する。
【０７９７】
すなわち、パッキング色画像において、左右に並んで配置されている左視点色画像、及び、右視点色画像それぞれの水平解像度は、元の1/2になっており、したがって、パッキング色画像になっている左視点色画像、及び、右視点色画像それぞれの解像度比は、いずれも、1:2になっている。
【０７９８】
一方、変換参照画像において、左右に並んで配置されているデコード中央視点色画像、及び、そのコピーの解像度比も、いずれも、1:2であり、パッキング色画像になっている左視点色画像、及び、右視点色画像の解像度比である1:2と一致する。
【０７９９】
以上のように、パッキング色画像の解像度比と、変換参照画像の解像度比とが合致しているので、すなわち、パッキング色画像において、左視点色画像と右視点色画像が左右に並んで配置され、変換参照画像でも、パッキング色画像と同様に、デコード中央視点色画像とそのコピーが左右に並んで配置されており、かつ、そのようなパッキング画像において左右に並んで配置されている左視点色画像、及び、右視点色画像の解像度比と、変換参照画像において左右に並んで配置されているデコード中央視点色画像、及び、そのコピーの解像度比とが、それぞれ一致しているので、視差予測の予測精度を改善し（視差予測で生成される予測画像と、対象ブロックとの残差が小になり）、符号化効率を向上させることができる。
【０８００】
その結果、上述した、多視点色画像（及び、多視点視差情報画像）のベースバンドでのデータ量を削減する解像度変換に起因する、受信装置１２で得られる復号画像の画質の劣化を防止することができる。
【０８０１】
なお、図４９ないし図５１では、参照画像変換部３７０（図３１）において、水平1/2垂直1/4精度画像を、変換参照画像として求めることとしたが、パッキング色画像が、サイドバイサイドパッキングされている場合の変換参照画像としては、垂直1/2精度画像（図４９）を求めることができる。
【０８０２】
垂直1/2精度画像は、参照画像変換部３７０（図３１）のコントローラ３８１において、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５のうちの、垂直1/2画素生成用フィルタ処理部１５２のみで、フィルタ処理を行い、他の水平1/2画素生成用フィルタ処理部１５１、及び、水平1/4画素生成用フィルタ処理部１５３ないし水平垂直1/4画素生成用フィルタ処理部１５５で、フィルタ処理を行わないように、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５をコントロールすることにより求めることができる。
【０８０３】
図５２は、パッキング色画像が、サイドバイサイドパッキングされている場合に、図３７のステップＳ１３３において、図３１の参照画像変換部３７０が行う参照画像の変換処理を説明するフローチャートである。
【０８０４】
ステップＳ２７１において、コントローラ３８１は、SEI生成部３５１からの解像度変換SEIを受け取り、処理は、ステップＳ２７２に進む。
【０８０５】
ステップＳ２７２では、パッキング部３８２が、DPB４３からの参照画像としてのデコード中央視点色画像を受け取り、処理は、ステップＳ２７３に進む。
【０８０６】
ステップＳ２７３では、コントローラ３８１が、SEI生成部３５１からの解像度変換SEIに応じて、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５それぞれのフィルタ処理、及び、パッキング部３８２のパッキングをコントロールし、これにより、DPB４３からの参照画像が、符号化対象のパッキング色画像のピクチャの横と縦との解像度比と合致する解像度比の変換参照画像に変換される。
【０８０７】
すなわち、ステップＳ２７３では、ステップＳ２７３−１において、パッキング部３８２は、DPB４３からの参照画像とそのコピーとをパッキングし、符号化対象のパッキング色画像と同一のパッキングパターンのパッキング参照画像を生成する。
【０８０８】
ここで、図５２では、パッキング部３８２は、DPB４３からの参照画像とそのコピーとを、左右に並べて配置したパッキング参照画像を生成するパッキング（サイドバイサイドパッキング）を行う。
【０８０９】
パッキング部３８２は、パッキングによって得られる整数精度画像であるパッキング参照画像を、水平1/2画素生成用フィルタ処理部１５１に供給する。
【０８１０】
水平1/2画素生成用フィルタ処理部１５１は、コントローラ３８１のコントロールに従い、パッキング部３８２からのパッキング参照画像に、水平1/2画素生成用フィルタ処理を施さずに、そのまま、垂直1/2画素生成用フィルタ処理部１５２に供給し、処理は、ステップＳ２７３−１からステップＳ２７３−２に進む。
【０８１１】
ステップＳ２７３−２では、垂直1/2画素生成用フィルタ処理部１５２は、水平1/2画素生成用フィルタ処理部１５１からの整数精度画像であるパッキング参照画像に、垂直1/2画素生成用フィルタ処理を施し、その結果得られる垂直1/2精度画像（図４９）を、水平1/4画素生成用フィルタ処理部１５３に供給して、処理は、ステップＳ２７３−３に進む。
【０８１２】
ステップＳ２７３−３では、水平1/4画素生成用フィルタ処理部１５３は、垂直1/2画素生成用フィルタ処理部１５２からの垂直1/2精度画像に、水平1/4画素生成用フィルタ処理を施し、その結果得られる画像を、垂直1/4画素生成用フィルタ処理部１５４に供給して、処理は、ステップＳ２７３−４に進む。
【０８１３】
ステップＳ２７３−４では、垂直1/4画素生成用フィルタ処理部１５４は、水平1/4画素生成用フィルタ処理部１５３からの画像に、垂直1/4画素生成用フィルタ処理を施し、その結果得られる画像を、水平垂直1/4画素生成用フィルタ処理部１５５に供給して、処理は、ステップＳ２７３−５に進む。
【０８１４】
ステップＳ２７３−５では、水平垂直1/4画素生成用フィルタ処理部１５５は、垂直1/4画素生成用フィルタ処理部１５４からの画像に、水平垂直1/4画素生成用フィルタ処理を施し、処理は、ステップＳ２７４に進む。
【０８１５】
ステップＳ２７４では、水平垂直1/4画素生成用フィルタ処理部１５５は、水平垂直1/4画素生成用フィルタ処理によって得られる水平1/2垂直1/4精度画像（図５０）を、変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給して、処理はリターンする。
【０８１６】
なお、図５２の参照画像の変換処理では、ステップＳ２７３−３ないしＳ２７３−５の処理をスキップし、ステップＳ２７３−２において、垂直1/2画素生成用フィルタ処理部１５１による垂直1/2画素生成用フィルタ処理によって得られる垂直1/2精度画像（図４９）を、変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給することができる。
【０８１７】
また、パッキング色画像が、サイドバイサイドバッキングされている場合、デコーダ３９（図３９）の参照画像変換部４７１（図４２）では、図４４のステップＳ２３３として行われる図４５の参照画像の変換処理のステップＳ２５３において、図２７のステップＳ２７３と同様の処理が行われる。
【０８１８】
［パッキングを行わない場合］
【０８１９】
図２３や図４６では、解像度変換装置３２１Ｃにおいて、左視点色画像、及び、右視点色画像の解像度を低解像度化することにより、ベースバンドでのデータ量を削減し、その低解像度化された左視点色画像、及び、右視点色画像を、１視点分のパッキング色画像にパッキングすることとしたが、解像度変換装置３２１Ｃでは、左視点色画像、及び、右視点色画像の低解像度化のみを行い、パッキングを行わないことができる。
【０８２０】
図５３は、図２１の解像度変換装置３２１Ｃ（及び３２１Ｄ）が行う解像度変換、並びに、図２２の解像度逆変換装置３３３Ｃ（及び３３３Ｄ）が行う解像度逆変換を説明する図である。
【０８２１】
すなわち、図５３は、解像度変換装置３２１Ｃにおいて、ベースバンドでのデータ量を削減するための低解像度化のみを行い、パッキングを行わない場合の、解像度変換装置３２１Ｃ（図２１）が行う解像度変換、及び、解像度逆変換装置３３３Ｃ（図２２）が行う解像度逆変換を説明する図である。
【０８２２】
解像度変換装置３２１Ｃは、例えば、図２の解像度変換装置２１Ｃと同様に、そこに供給される多視点色画像である中央視点色画像、左視点色画像、及び、右視点色画像のうちの、例えば、中央視点色画像を、そのまま（解像度変換せずに）出力する。
【０８２３】
また、解像度変換装置３２１Ｃは、例えば、図２の解像度変換装置２１Ｃと同様に、多視点色画像の残りの左視点色画像、及び、右視点色画像については、２つの視点の画像の解像度を低解像度に変換し、その結果得られる低解像度の左視点色画像、及び、右視点色画像（以下、それぞれを、低解像度左視点画像、及び、低解像度右視点画像ともいう）を、パッキングせずに出力する。
【０８２４】
すなわち、解像度変換装置３２１Ｃは、左視点色画像、及び、右視点色画像それぞれの垂直解像度（画素数）を1/2にし、その垂直解像度が1/2にされた左視点色画像、及び、右視点色画像である低解像度左視点画像、及び、低解像度右視点画像を、パッキングせずに出力する。
【０８２５】
そして、解像度変換装置３２１Ｃが出力する中央視点画像、低解像度左視点画像、及び、低解像度右視点画像が、解像度変換多視点色画像として、符号化装置３２２Ｃ（図２１）に供給される。
【０８２６】
ここで、解像度変換装置３２１Ｃでは、左視点色画像、及び、右視点色画像それぞれの垂直解像度ではなく、水平解像度を1/2にすることができる。
【０８２７】
解像度変換装置３２１Ｃは、さらに、中央視点色画像の解像度が、元のままである旨や、低解像度左視点色画像、及び、低解像度右視点色画像が、垂直解像度（又は水平解像度）を（元の）1/2にした画像である旨等を表す解像度変換情報を生成して出力する。
【０８２８】
一方、解像度逆変換装置３３３Ｃは、そこに供給される解像度変換情報から、中央視点色画像の解像度が、元のままである旨や、低解像度左視点色画像、及び、低解像度右視点色画像が、垂直解像度を1/2にした画像である旨等を認識する。
【０８２９】
そして、解像度逆変換装置３３３Ｃは、解像度変換情報から認識した情報に基づき、そこに供給される解像度変換多視点色画像である中央視点色画像、低解像度左視点色画像、及び、低解像度右視点色画像のうちの、中央視点色画像を、そのまま出力する。
【０８３０】
また、解像度逆変換装置３３３Ｃは、解像度変換情報から認識した情報に基づき、そこに供給される解像度変換多視点色画像である中央視点色画像、低解像度左視点色画像、及び、低解像度右視点色画像のうちの、低解像度左視点色画像、及び、低解像度右視点色画像については、その垂直解像度を、補間等によって、元の解像度に戻して出力する。
【０８３１】
なお、多視点色画像（及び多視点奥行き画像）は、４視点以上の画像であっても良い。
【０８３２】
また、図５３では、多視点色画像である中央視点色画像、左視点色画像、及び、右視点色画像のうちの、左視点色画像、及び、右視点色画像の垂直解像度を低解像度化したが、解像度変換装置３２１Ｃでは、中央視点色画像、左視点色画像、及び、右視点色画像のうちの、１つの画像だけや、すべての画像を低解像度化する解像度変換を行うことができ、解像度逆変換装置３３３Ｃでは、解像度変換装置３２１Ｃでの解像度変換を元に戻す解像度逆変換を行うことができる。
【０８３３】
［符号化装置３２２Ｃの構成例］
【０８３４】
図５４は、解像度変換多視点色画像が、図５３で説明した中央視点画像、低解像度左視点画像、及び、低解像度右視点画像である場合の、図２１の符号化装置３２２Ｃの構成例を示すブロック図である。
【０８３５】
なお、図中、図２６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８３６】
図５４において、符号化装置３２２Ｃは、エンコーダ４１、DPB４３、並びに、エンコーダ５１１及び５１２を有する。
【０８３７】
したがって、図５４の符号化装置３２２Ｃは、エンコーダ４１及びDPB４３を有する点で、図２６の場合と共通し、エンコーダ３４２に代えて、エンコーダ５１１及び５１２が設けられている点で、図２６の場合と相違する。
【０８３８】
エンコーダ４１には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、低解像度左視点色画像、及び、低解像度右視点色画像のうちの、中央視点色画像が供給される。
【０８３９】
エンコーダ５１１には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、低解像度左視点色画像、及び、低解像度右視点色画像のうちの、低解像度左視点色画像が供給される。
【０８４０】
エンコーダ５１２には、解像度変換装置３２１Ｃからの解像度変換多視点色画像を構成する中央視点色画像、低解像度左視点色画像、及び、低解像度右視点色画像のうちの、低解像度右視点色画像が供給される。
【０８４１】
さらに、エンコーダ５１１及び５１２には、解像度変換装置３２１Ｃからの解像度変換情報が供給される。
【０８４２】
エンコーダ４１は、図５や図２６で説明したように、中央視点色画像を、ベースビューの画像として、MVC(AVC)で符号化し、その結果得られる中央視点色画像の符号化データを出力する。
【０８４３】
エンコーダ５１１は、解像度変換情報に基づき、低解像度左視点色画像を、ノンベースビューの画像として、拡張方式で符号化し、その結果得られる低解像度左視点色画像の符号化データを出力する。
【０８４４】
エンコーダ５１２は、解像度変換情報に基づき、低解像度右視点色画像を、ノンベースビューの画像として、拡張方式で符号化し、その結果得られる低解像度右視点色画像の符号化データを出力する。
【０８４５】
ここで、エンコーダ５１２は、処理の対象が、低解像度左視点色画像ではなく、低解像度右視点色画像であることを除き、エンコーダ５１１と同様の処理を行うので、以下では、その説明は、適宜省略する。
【０８４６】
エンコーダ４１が出力する中央視点色画像の符号化データ、エンコーダ５１１が出力する低解像度左視点色画像の符号化データ、及び、エンコーダ５１２が出力する低解像度右視点色画像の符号化データは、多視点色画像符号化データとして、多重化装置２３（図２１）に供給される。
【０８４７】
ここで、図５４において、DPB４３は、エンコーダ４１並びに５１１及び５１２で共用される。
【０８４８】
すなわち、エンコーダ４１並びに５１１及び５１２は、符号化対象の画像を予測符号化する。そのため、エンコーダ４１並びに５１１及び５１２は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
【０８４９】
そして、DPB４３では、エンコーダ４１並びに５１１及び５１２それぞれで得られるデコード画像が一時記憶される。
【０８５０】
エンコーダ４１並びに５１１及び５１２それぞれは、DPB４３に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照画像を選択する。そして、エンコーダ４１並びに５１１及び５１２それぞれは、参照画像を用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
【０８５１】
したがって、エンコーダ４１並びに５１１及び５１２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
【０８５２】
［エンコーダ５１１の構成例］
【０８５３】
図５５は、図５４のエンコーダ５１１の構成例を示すブロック図である。
【０８５４】
なお、図中、図２７の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８５５】
図５５において、エンコーダ５１１は、A/D変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、予測画像選択部１２４、SEI生成部５５１、及び、インター予測部５５２を有する。
【０８５６】
したがって、エンコーダ５１１は、A/D変換部１１１ないし画面内予測部１２２、及び、予測画像選択部１２４を有する点で、図２７のエンコーダ３４２と共通する。
【０８５７】
但し、エンコーダ５１１は、SEI生成部３５１、及び、インター予測部３５２に代えて、SEI生成部５５１、及び、インター予測部５５２がそれぞれ設けられている点で、図２７のエンコーダ３４２と相違する。
【０８５８】
SEI生成部５５１には、解像度変換装置３２１Ｃ（図２１）から、解像度変換多視点色画像についての解像度変換情報が供給される。
【０８５９】
SEI生成部５５１は、そこに供給される解像度変換情報のフォーマットを、MVC(AVC)のSEIのフォーマットに変換し、その結果得られる解像度変換SEIを出力する。
【０８６０】
SEI生成部５５１が出力する解像度変換SEIは、可変長符号化部１１６とインター予測部５５２（の視差予測部５６１）に供給される。
【０８６１】
可変長符号化部１１６では、SEI生成部５５１からの解像度変換SEIが、符号化データに含められて伝送される。
【０８６２】
インター予測部５５２は、時間予測部１３２、及び、視差予測部５６１を有する。
【０８６３】
したがって、インター予測部５５２は、時間予測部１３２を有する点で、図２７のインター予測部３５２と共通し、視差予測部３６１に代えて、視差予測部５６１が設けられている点で、図２７のインター予測部３５２と相違する。
【０８６４】
視差予測部５６１には、画面並び替えバッファ１１２から、低解像度左視点色画像の対象ピクチャが供給される。
【０８６５】
視差予測部５６１は、図２７の視差予測部３６１と同様に、画面並び替えバッファ１１２からの低解像度左視点色画像の対象ピクチャの対象ブロックの視差予測を、DPB４３に記憶されたデコード中央視点色画像のピクチャ（対象ピクチャと同一時刻のピクチャ）を参照画像として用いて行い、対象ブロックの予測画像を生成する。
【０８６６】
そして、視差予測部５６１は、予測画像を、残差ベクトル等のヘッダ情報とともに、予測画像選択部１２４に供給する。
【０８６７】
また、視差予測部５６１には、SEI生成部５５１から、解像度変換SEIが供給される。
【０８６８】
視差予測部５６１は、SEI生成部５５１からの解像度変換SEIに応じて、視差予測において参照する参照画像としてのデコード中央視点色画像のピクチャに施すフィルタ処理をコントロールする。
【０８６９】
すなわち、上述したように、MVCでは、参照画像に対して、画素を補間するフィルタ処理を施す場合には、横方向と縦方向それぞれの画素数を、同一倍数だけ増加させるフィルタ処理を施すことが規定されているが、視差予測部５６１では、SEI生成部５５１からの解像度変換SEIに応じて、視差予測において参照する参照画像としてのデコード中央視点色画像のピクチャに施すフィルタ処理をコントロールされ、これにより、参照画像が、符号化対象の低解像度左視点色画像のピクチャの横と縦との解像度比（横の画素数と縦の画素数との比）と合致する解像度比の変換参照画像に変換される。
【０８７０】
なお、低解像度右視点色画像を符号化するエンコーダ５１２（図５４）において、エンコーダ５１１の符号化対象である低解像度左視点色画像の対象ピクチャと同一時刻の、低解像度右視点色画像のピクチャが、対象ピクチャよりも先に符号化されてローカルデコードされ、その結果得られるデコード低解像度右視点色画像のピクチャが、DPB４３に記憶されている場合には、低解像度左視点色画像を符号化するエンコーダ５１１の視差予測部５６１では、視差予測において、デコード中央視点色画像のピクチャの他、DPB４３に記憶されているデコード低解像度右視点色画像のピクチャ（対象ピクチャと同一時刻のピクチャ）を参照画像に用いることができる。
【０８７１】
［解像度変換SEI］
【０８７２】
図５６は、図５５のSEI生成部５５１で生成される解像度変換SEIを説明する図である。
【０８７３】
すなわち、図５６は、図５３で説明したように、解像度変換装置３２１Ｃにおいて、低解像度化のみを行い、パッキングを行わない場合の解像度変換SEIとしての3dv_view_resolution(payloadSize)のシンタクス(syntax)の例を示す図である。
【０８７４】
図５６では、解像度変換SEIとしての3dv_view_resolution(payloadSize)は、パラメータnum_views_minus_1，view_id[i]、及び、resolution_info[i]を有する。
【０８７５】
図５７は、SEI生成部５５１（図５５）において、解像度変換多視点色画像についての解像度変換情報から生成される解像度変換SEIのパラメータnum_views_minus_1，view_id[i]、及び、resolution_info[i]にセットされる値を説明する図である。
【０８７６】
パラメータnum_views_minus_1は、図２９の場合と同様に、解像度変換多視点色画像を構成する画像の視点の数から1を減算した値を表す。
【０８７７】
図５７では、解像度変換多視点色画像は、中央視点色画像、低解像度左視点色画像、及び、低解像度右視点色画像の３つの視点の画像であるため、パラメータnum_views_minus_1には、num_views_minus_1=3-1=2がセットされる。
【０８７８】
パラメータview_id[i]は、図２９の場合と同様に、解像度変換多視点色画像を構成するi+1番目（i=0,1,・・・）の画像を特定するインデクスを表す。
【０８７９】
すなわち、例えば、図２９の場合と同様に、左視点色画像が、番号0で表される視点#0の画像であり、中央視点色画像が、番号1で表される視点#1の画像であり、右視点色画像が、番号2で表される視点#2の画像であるとする。
【０８８０】
また、解像度変換装置３２１Ｃにおいて、中央視点色画像、左視点色画像、及び、右視点色画像の解像度変換が行われることにより得られる解像度変換多視点色画像を構成する中央視点色画像、低解像度左視点色画像、及び、低解像度右視点色画像については、図２９で説明したような視点を表す番号の割り当てのし直しが行われないこととする。
【０８８１】
さらに、中央視点色画像が、解像度変換多視点色画像を構成する1番目の画像（i=0の画像）であり、低解像度左視点色画像が、解像度変換多視点色画像を構成する2番目の画像（i=1の画像）であり、低解像度右視点色画像が、解像度変換多視点色画像を構成する3番目の画像（i=2の画像）であることとする。
【０８８２】
この場合、解像度変換多視点色画像を構成する1(=i+1=0+1)番目の画像である中央視点色画像のパラメータview_id[0]には、中央視点色画像の視点#1を表す番号1がセットされる(view_id[0]=1)。
【０８８３】
また、解像度変換多視点色画像を構成する2(=i+1=1+1)番目の画像である低解像度左視点色画像のパラメータview_id[1]には、低解像度左視点色画像の視点#0を表す番号0がセットされる(view_id[1]=0)。
【０８８４】
さらに、解像度変換多視点色画像を構成する3(=i+1=2+1)番目の画像である低解像度右視点色画像のパラメータview_id[2]には、低解像度右視点色画像の視点#2を表す番号2がセットされる(view_id[2]=2)。
【０８８５】
パラメータresolution_info[i]は、解像度変換多視点色画像を構成するi+1番目の画像の低解像度化の有無と、低解像度化のパターン（低解像度化パターン）を表す。
【０８８６】
ここで、値が0のパラメータresolution_info[i]は、低解像度化がされていないことを表す。
【０８８７】
また、値が0以外の、例えば、1又は2のパラメータresolution_info[i]は、低解像度化がされていることを表す。
【０８８８】
そして、値が1のパラメータresolution_info[i]は、垂直解像度が（元の）1/2に低解像度化されていることを表し、値が2のパラメータresolution_info[i]は、水平解像度が1/2に低解像度化されていることを表す。
【０８８９】
図５７では、解像度変換多視点色画像を構成する1(=i+1=0+1)番目の画像である中央視点色画像は、低解像度化がされていないので、中央視点色画像のパラメータresolution_info[0]には、低解像度化がされていないことを表す値0がセットされる(resolution_info[0]=0)。
【０８９０】
また、図５７では、解像度変換多視点色画像を構成する2(=i+1=1+1)番目の画像である低解像度左視点色画像は、垂直解像度が1/2に低解像度化されているので、低解像度左視点色画像のパラメータresolution_info[1]には、垂直解像度が1/2に低解像度化されていることを表す値1がセットされる(resolution_info[1]=1)。
【０８９１】
さらに、図５７では、解像度変換多視点色画像を構成する3(=i+1=2+1)番目の画像である低解像度右視点色画像は、垂直解像度が1/2に低解像度化されているので、低解像度右視点色画像のパラメータresolution_info[2]には、垂直解像度が1/2に低解像度化されていることを表す値1がセットされる(resolution_info[2]=1)。
【０８９２】
［視差予測部３６１の構成例］
【０８９３】
図５８は、図５５の視差予測部５６１の構成例を示すブロック図である。
【０８９４】
なお、図中、図３０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８９５】
図５８において、視差予測部５６１は、視差検出部１４１、視差補償部１４２、予測情報バッファ１４３、コスト関数算出部１４４、モード選択部１４５、及び、参照画像変換部５７０を有する。
【０８９６】
したがって、図５８の視差予測部５６１は、視差検出部１４１ないしモード選択部１４５を有する点で、図３０の視差予測部３６１と共通する。
【０８９７】
但し、図５８の視差予測部５６１は、参照画像変換部３７０に代えて、参照画像変換部５７０が設けられている点で、図３０の視差予測部３６１と相違する。
【０８９８】
参照画像変換部５７０には、DPB４３から、デコード中央視点色画像のピクチャが、参照画像として供給される他、SEI生成部５５１から、解像度変換SEIが供給される。
【０８９９】
参照画像変換部５７０は、SEI生成部５５１からの解像度変換SEIに応じて、視差予測において参照する参照画像としてのデコード中央視点色画像のピクチャに施すフィルタ処理をコントロールし、これにより、参照画像を、符号化対象の低解像度左視点色画像のピクチャの横と縦との解像度比と合致する解像度比の変換参照画像に変換して、視差検出部１４１、及び、視差補償部１４２に供給する。
【０９００】
［参照画像変換部５７０の構成例］
【０９０１】
図５９は、図５８の参照画像変換部５７０の構成例を示すブロック図である。
【０９０２】
なお、図中、図３１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０９０３】
図５９において、参照画像変換部５７０は、水平1/2画素生成用フィルタ処理部１５１、垂直1/2画素生成用フィルタ処理部１５２、水平1/4画素生成用フィルタ処理部１５３、垂直1/4画素生成用フィルタ処理部１５４、水平垂直1/4画素生成用フィルタ処理部１５５、及び、コントローラ３８１を有する。
【０９０４】
したがって、図５９の参照画像変換部５７０は、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５、及び、コントローラ３８１を有する点で、図３１の参照画像変換部３７０と共通する。
【０９０５】
但し、図５９の参照画像変換部５７０は、パッキング部３８２が設けられていない点で、図３１の参照画像変換部３７０と相違する。
【０９０６】
図５９の参照画像変換部５７０では、コントローラ３８１は、SEI生成部５５１からの解像度変換SEIに応じて、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５それぞれのフィルタ処理をコントロールする。
【０９０７】
そして、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５は、コントローラ３８１によるコントロールに従い、DPB４３から供給される参照画像としてのデコード中央視点色画像にフィルタ処理を施し、その結果得られる変換後参照画像を、視差検出部１４１、及び、視差補償部１４２に供給する。
【０９０８】
［低解像度左視点色画像の符号化処理］
【０９０９】
図６０は、図５５のエンコーダ５１１が行う、低解像度左視点色画像を符号化する符号化処理を説明するフローチャートである。
【０９１０】
ステップＳ３０１ないしＳ３０９では、図３６のステップＳ１０１ないしＳ１０９とそれぞれ同様の処理が行われ、これにより、デブロッキングフィルタ１２１において、低解像度左視点色画像の対象ブロックを復号（ローカルデコード）したデコード低解像度左視点色画像がフィルタリングされて、DPB４３に供給される。
【０９１１】
その後、処理は、ステップＳ３１０に進み、DPB４３が、中央視点色画像を符号化するエンコーダ４１（図５４）から、その中央視点色画像を符号化して、ローカルデコードすることにより得られるデコード中央視点色画像が供給されるのを待って、そのデコード中央視点色画像を記憶し、処理は、ステップＳ３１１に進む。
【０９１２】
ステップＳ３１１では、DPB４３が、デブロッキングフィルタ１２１からのデコード低解像度左視点色画像を記憶し、処理は、ステップＳ３１２に進む。
【０９１３】
ステップＳ３１２では、画面内予測部１２２は、次の対象ブロックについて、イントラ予測処理（画面内予測処理）を行う。
【０９１４】
すなわち、画面内予測部１２２は、次の対象ブロックについて、DPB４３に記憶されたデコード低解像度左視点色画像のピクチャから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行う。
【０９１５】
そして、画面内予測部１２２は、イントラ予測の予測画像を用いて、次の対象ブロックを符号化するのに要する符号化コストを求め、ヘッダ情報（となるイントラ予測に関する情報）と、イントラ予測の予測画像とともに、予測画像選択部１２４に供給して、処理は、ステップＳ３１２からステップＳ３１３に進む。
【０９１６】
ステップＳ３１３では、時間予測部１３２は、次の対象ブロックについて、デコード低解像度左視点色画像のピクチャ（対象ピクチャより先に符号化されてローカルデコードされたピクチャ）を、参照画像として、時間予測処理を行う。
【０９１７】
すなわち、時間予測部１３２は、次の対象ブロックについて、DPB４３に記憶されたデコード低解像度左視点色画像のピクチャを用いて、時間予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。
【０９１８】
さらに、時間予測部１３２は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、ヘッダ情報（となるインター予測に関する情報）と、符号化コストとともに、予測画像選択部１２４に供給して、処理は、ステップＳ３１３からステップＳ３１４に進む。
【０９１９】
ステップＳ３１４では、SEI生成部５５１が、図５６及び図５７で説明した解像度変換SEIを生成し、可変長符号化部１１６、及び、視差予測部５６１に供給して、処理は、ステップＳ３１５に進む。
【０９２０】
ステップＳ３１５では、視差予測部５６１は、次の対象ブロックについて、デコード中央視点色画像のピクチャ（対象ピクチャと同一時刻のピクチャ）を、参照画像として、視差予測処理を行う。
【０９２１】
すなわち、視差予測部５６１は、DPB４３に記憶されたデコード中央視点色画像のピクチャを、参照画像として、その参照画像を、SEI生成部５５１からの解像度変換SEIに応じて、変換参照画像に変換する。
【０９２２】
さらに、視差予測部５６１は、次の対象ブロックについて、変換参照画像を用いて、視差予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。
【０９２３】
さらに、視差予測部５６１は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、ヘッダ情報（となるインター予測に関する情報）と、符号化コストとともに、予測画像選択部１２４に供給して、処理は、ステップＳ３１５からステップＳ３１６に進む。
【０９２４】
ステップＳ３１６では、予測画像選択部１２４は、画面内予測部１２２からの予測画像（イントラ予測の予測画像）、時間予測部１３２からの予測画像（時間予測画像）、及び、視差予測部５６１からの予測画像（視差予測画像）のうちの、例えば、符号化コストが最小の予測画像を選択し、演算部１１３及び２２０に供給して、処理は、ステップＳ３１７に進む。
【０９２５】
ここで、予測画像選択部１２４がステップＳ３１６で選択する予測画像が、次の対象ブロックの符号化で行われるステップＳ３０３やＳ３０８の処理で用いられる。
【０９２６】
また、予測画像選択部１２４は、画面内予測部１２２、時間予測部１３２、及び、視差予測部５６１からのヘッダ情報のうちの、符号化コストが最小の予測画像とともに供給されたヘッダ情報を選択し、可変長符号化部１１６に供給する。
【０９２７】
ステップＳ３１７では、可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化を施し、符号化データを得る。
【０９２８】
さらに、可変長符号化部１１６は、予測画像選択部１２４からのヘッダ情報や、SEI生成部５５１からの解像度変換SEIを、符号化データのヘッダに含める。
【０９２９】
そして、可変長符号化部１１６は、符号化データを、蓄積バッファ１１７に供給して、処理は、ステップＳ３１７からステップＳ３１８に進む。
【０９３０】
ステップＳ３１８では、蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶する。
【０９３１】
蓄積バッファ１１７に記憶された符号化データは、所定の伝送レートで、多重化装置２３（図２１）に供給される。
【０９３２】
エンコーダ５１１では、以上のステップＳ３０１ないしＳ３１８の処理が、適宜繰り返し行われる。
【０９３３】
図６１は、図６０のステップＳ３１５で、図５８の視差予測部５６１が行う視差予測処理を説明するフローチャートである。
【０９３４】
ステップＳ３３１において、参照画像変換部５７０は、SEI生成部５５１から供給される解像度変換SEIを受け取り、処理は、ステップＳ３３２に進む。
【０９３５】
ステップＳ３３２では、参照画像変換部５７０は、DPB４３からの参照画像としてのデコード中央視点色画像のピクチャを受け取り、処理は、ステップＳ３３３に進む。
【０９３６】
ステップＳ３３３では、参照画像変換部５７０は、SEI生成部５５１からの解像度変換SEIに応じて、DPB４３からの参照画像としてのデコード中央視点色画像のピクチャに施すフィルタ処理をコントロールし、これにより、参照画像を、符号化対象の低解像度左視点色画像のピクチャの横と縦との解像度比と合致する解像度比の変換参照画像に変換する参照画像の変換処理を行う。
【０９３７】
そして、参照画像変換部５７０は、参照画像の変換処理により得られる変換参照画像を、視差検出部１４１、及び、視差補償部１４２に供給して、処理は、ステップＳ３３３からステップＳ３３４に進む。
【０９３８】
ステップＳ３３４ないしＳ３４０では、図３７のステップＳ１３４ないしＳ１４０とそれぞれ同様の処理が行われる。
【０９３９】
図６２は、図６１のステップＳ３３３において、図５９の参照画像変換部５７０が行う参照画像の変換処理を説明するフローチャートである。
【０９４０】
ここで、以上においては、説明を簡単にするために、視差予測部５６１（図５５）において、エンコーダ５１１での符号化対象の、左視点色画像の垂直解像度を1/2に低解像度化した低解像度左視点画像の視差予測を、低解像度化がされていない（デコード）中央視点色画像を参照画像として用いて行うこととしたが、エンコーダ５１１での符号化対象の、左視点色画像を低解像度化した低解像度左視点画像の視差予測は、図５５で説明したように、右視点色画像を低解像度化した（デコード）低解像度右視点色画像を参照画像として用いて行うことができる。
【０９４１】
すなわち、エンコーダ５１１において、符号化対象の、低解像度化がされた低解像度左視点画像の視差予測は、低解像度化がされていない中央視点色画像の他、符号化対象の低解像度左視点画像と同一の低解像度化がされた低解像度右視点色画像を参照画像として用いて行うことができる。
【０９４２】
エンコーダ５１１において、左視点色画像の垂直解像度を1/2にする低解像度化がされた低解像度左視点画像を、符号化対象の画像とし、その符号化対象の画像の視差予測を、低解像度化がされていない中央視点色画像を参照画像として用いて行う場合、符号化対象の画像は、垂直解像度が（元の）1/2にされた低解像度の画像であり、参照画像は、低解像度化がされていない画像であるから、符号化対象の画像は、参照画像に対して、垂直解像度が1/2の画像であり、符号化対象の画像の解像度比と、参照画像の解像度比とは、異なる。
【０９４３】
一方、エンコーダ５１１において、左視点色画像の垂直解像度を1/2にする低解像度化がされた低解像度左視点画像を、符号化対象の画像とし、その符号化対象の画像の視差予測を、右視点色画像の垂直解像度を1/2にする低解像度化がされた低解像度右視点色画像を参照画像として用いて行う場合、符号化対象の画像は、垂直解像度が1/2にされた低解像度の画像であり、参照画像も、垂直解像度が1/2にされた低解像度の画像であるから、符号化対象の画像の解像度比と、参照画像の解像度比とは、一致する。
【０９４４】
また、図５４の符号化装置３２２Ｃでは、エンコーダ４１において、中央視点色画像を、ベースビューの画像として符号化するとともに、エンコーダ５１１及び５１２において、低解像度左視点画像、及び、低解像度右視点画像を、ノンベースビューの画像として、それぞれ符号化することとしたが、符号化装置３２２Ｃでは、その他、例えば、エンコーダ４１において、低解像度左視点画像、及び、低解像度右視点画像のうちの一方である、例えば、低解像度左視点画像を、ベースビューの画像として符号化するとともに、エンコーダ５１１において、中央視点色画像を、ノンベースビューの画像として符号化し、エンコーダ５１２において、低解像度左視点画像、及び、低解像度右視点画像のうちの他方である低解像度右視点画像を、ノンベースビューの画像として符号化することができる。
【０９４５】
エンコーダ５１１において、中央視点色画像を、ノンベースビューの画像として符号化する場合、符号化対象の、低解像度化がされていない中央視点色画像の視差予測は、左視点色画像の垂直解像度を1/2にする低解像度化がされた低解像度左視点画像（又は、右視点色画像の垂直解像度を1/2にする右解像度化がされた右解像度左視点画像）を参照画像として用いて行われる。
【０９４６】
エンコーダ５１１において、低解像度化がされていない中央視点色画像を、符号化対象の画像とし、その符号化対象の画像の視差予測を、垂直解像度を1/2にする低解像度化がされた低解像度左視点画像を参照画像として用いて行う場合、符号化対象の画像は、低解像度化がされていない中央視点色画像であり、参照画像は、垂直解像度が1/2にされた低解像度の画像であるから、符号化対象の画像は、参照画像に対して、垂直解像度が2倍の画像であり、符号化対象の画像の解像度比と、参照画像の解像度比とは、異なる。
【０９４７】
以上のように、エンコーダ５１１の符号化対象の画像と、その符号化対象の画像の視差予測に用いられる参照画像とについては、符号化対象の画像が、参照画像に対して、垂直解像度が1/2の画像、又は、2倍の画像であること等によって、符号化対象の画像の解像度比と、参照画像の解像度比とが、異なる場合と、符号化対象の画像の解像度比と、参照画像の解像度比とが、一致する場合とがある。
【０９４８】
また、解像度変換装置３２１Ｃでは、図５３で説明したように、左視点色画像、及び、右視点色画像それぞれの垂直解像度を1/2にする低解像度化の他、水平解像度を1/2にする低解像度化を行うことができる。
【０９４９】
図６２の参照画像の変換処理は、以上のような、符号化対象の画像が、参照画像に対して、垂直解像度が1/2の画像、又は、2倍の画像であること等によって、符号化対象の画像の解像度比と、参照画像の解像度比とが、異なっている場合、及び、符号化対象の画像の解像度比と、参照画像の解像度比とが、一致している場合、並びに、左視点色画像と右視点色画像の垂直解像度を1/2にする低解像度化が行われている場合、及び、左視点色画像と右視点色画像の水平解像度を1/2にする低解像度化が行われている場合のいずれの場合にも対処することができる処理になっている。
【０９５０】
図６２の参照画像の変換処理では、ステップＳ３５１において、コントローラ３８１（図５９）は、SEI生成部５５１からの解像度変換SEIを受け取り、処理は、ステップＳ３５２に進む。
【０９５１】
ステップＳ３５２では、水平1/2画素生成用フィルタ処理部１５１（図５９）が、DPB４３からの参照画像としてのデコード中央視点色画像を受け取り、処理は、ステップＳ３５３に進む。
【０９５２】
ステップＳ３５３では、コントローラ３８１が、SEI生成部５５１からの解像度変換SEIに応じて、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５それぞれのフィルタ処理をコントロールし、これにより、DPB４３からの参照画像が、符号化対象の画像のピクチャの横と縦との解像度比と合致する解像度比の変換参照画像に変換される。
【０９５３】
すなわち、ステップＳ３５３では、ステップＳ３６１において、コントローラ３８１は、エンコーダ５１１での符号化対象の画像のresolution_info[i]（図５６、図５７）と、その視差予測に用いられる参照画像（既に、符号化されてローカルデコードされたデコード画像）のresolution_info[j]とが等しいかどうかを判定する。
【０９５４】
ここで、エンコーダ５１１での符号化対象の画像は、解像度変換多視点色画像を構成するi＋１番目の画像であり、その視差予測に用いられる参照画像は、解像度変換多視点色画像を構成するj（≠i）＋１番目の画像であることとする（j=0,1,・・・）。
【０９５５】
ステップＳ３６１において、エンコーダ５１１での符号化対象の画像のresolution_info[i]と、その視差予測に用いられる参照画像のresolution_info[j]とが等しいと判定された場合、すなわち、符号化対象の画像と、その視差予測に用いられる参照画像とが、いずれも低解像度化されていない画像であるか、又は、同一の低解像度化がされた画像であり、符号化対象の画像の解像度比と、その視差予測に用いられる参照画像の解像度比とが一致する場合、処理は、ステップＳ３６２に進み、以下、ステップＳ３６２ないしＳ３６６において、DPB４３からの参照画像に、図１４及び図１５で説明したMVCに従ったフィルタ処理（横方向と縦方向それぞれの画素数を、同一倍数だけ増加させるフィルタ処理）が施される。
【０９５６】
すなわち、ステップＳ３６２において、水平1/2画素生成用フィルタ処理部１５１は、DPB４３からの整数精度画像である参照画像に、水平1/2画素生成用フィルタ処理を施し、その結果得られる画像を、垂直1/2画素生成用フィルタ処理部１５２に供給して、処理は、ステップＳ３６３に進む。
【０９５７】
ステップＳ３６３では、垂直1/2画素生成用フィルタ処理部１５２は、水平1/2画素生成用フィルタ処理部１５１からの画像に、垂直1/2画素生成用フィルタ処理を施し、その結果得られる1/2精度画像（図１４）を、水平1/4画素生成用フィルタ処理部１５３に供給して、処理は、ステップＳ３６４に進む。
【０９５８】
ステップＳ３６４では、水平1/4画素生成用フィルタ処理部１５３は、垂直1/2画素生成用フィルタ処理部１５２からの1/2精度画像に、水平1/4画素生成用フィルタ処理を施し、その結果得られる画像を、垂直1/4画素生成用フィルタ処理部１５４に供給して、処理は、ステップＳ３６５に進む。
【０９５９】
ステップＳ３６５では、垂直1/4画素生成用フィルタ処理部１５４は、水平1/4画素生成用フィルタ処理部１５３からの画像に、垂直1/4画素生成用フィルタ処理を施し、その結果得られる画像を、水平垂直1/4画素生成用フィルタ処理部１５５に供給して、処理は、ステップＳ３６６に進む。
【０９６０】
ステップＳ３６６では、水平垂直1/4画素生成用フィルタ処理部１５５は、垂直1/4画素生成用フィルタ処理部１５４からの画像に、水平垂直1/4画素生成用フィルタ処理を施し、処理は、ステップＳ３５４に進む。
【０９６１】
ステップＳ３５４では、水平垂直1/4画素生成用フィルタ処理部１５５は、水平垂直1/4画素生成用フィルタ処理によって得られる1/4精度画像（図１５）を、変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給して、処理はリターンする。
【０９６２】
なお、図６２の参照画像の変換処理において、符号化対象の画像のresolution_info[i]と、その視差予測に用いられる参照画像のresolution_info[j]とが等しい場合、すなわち、符号化対象の画像の解像度比と、その視差予測に用いられる参照画像の解像度比とが一致する場合には、ステップＳ３６２ないしＳ３６６のフィルタ処理のうちの、ステップＳ３６４ないしＳ３６６のフィルタ処理をスキップし、ステップＳ３６３で得られる1/2精度画像を、変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給すること、又は、ステップＳ３６２ないしＳ３６６のすべての処理をスキップして、参照画像を、そのまま変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給することができる。
【０９６３】
一方、ステップＳ３６１において、エンコーダ５１１での符号化対象の画像のresolution_info[i]と、その視差予測に用いられる参照画像のresolution_info[j]とが等しくないと判定された場合、すなわち、符号化対象の画像の解像度比と、その視差予測に用いられる参照画像の解像度比とが一致しない場合、処理は、ステップＳ３６７に進み、コントローラ３８１は、エンコーダ５１１での符号化対象の画像のresolution_info[i]と、その視差予測に用いられる参照画像のresolution_info[j]とを判定する。
【０９６４】
ステップＳ３６７において、符号化対象の画像のresolution_info[i]が1で、視差予測に用いられる参照画像のresolution_info[j]が0であると判定されるか、又は、符号化対象の画像のresolution_info[i]が0で、視差予測に用いられる参照画像のresolution_info[j]が2であると判定された場合、処理は、ステップＳ３６８に進み、水平1/2画素生成用フィルタ処理部１５１は、DPB４３からの整数精度画像である参照画像に、水平1/2画素生成用フィルタ処理を施し、その結果得られる水平1/2精度画像（図３３）を、垂直1/2画素生成用フィルタ処理部１５２に供給する。
【０９６５】
垂直1/2画素生成用フィルタ処理部１５２は、水平1/2画素生成用フィルタ処理部１５１からの水平1/2精度画像に、垂直1/2画素生成用フィルタ処理を施さずに（スキップして）、そのまま、水平1/4画素生成用フィルタ処理部１５３に供給して、処理は、ステップＳ３６８からステップＳ３６４に進む。
【０９６６】
以下、ステップＳ３６４ないしＳ３６６において、水平1/2精度画像に、上述した場合と同様の、水平1/4画素生成用フィルタ処理部１５３による水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理部１５４による垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理部１５５による水平垂直1/4画素生成用フィルタ処理が、それぞれ施され、水平1/4垂直1/2精度画像（図３４）が求められる。
【０９６７】
そして、処理は、ステップＳ３６６からステップＳ３５４に進み、水平垂直1/4画素生成用フィルタ処理部１５５は、水平1/4垂直1/2精度画像を、変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給して、処理はリターンする。
【０９６８】
すなわち、符号化対象の画像のresolution_info[i]が1で、視差予測に用いられる参照画像のresolution_info[j]が0である場合、図５６及び図５７で説明したことから、符号化対象の画像は、垂直解像度が1/2にされた低解像度の画像(resolution_info[i]=1)であり、視差予測に用いられる参照画像は、低解像度化がされていない画像(resolution_info[j]が0)であるから、視差予測に用いられる参照画像の解像度比が、1:1であるのに対して、符号化対象の画像の解像度比は、2:1になっている。
【０９６９】
そこで、参照画像変換部５７０（図５９）では、解像度比が1:1の参照画像を、補間される画素数の横と縦との比（以下、補間画素数比ともいう）が2:1の水平1/4垂直1/2精度画像に変換することで、解像度比が、符号化対象画像の解像度比である2:1に一致する変換参照画像が求められる。
【０９７０】
また、符号化対象の画像のresolution_info[i]が0で、視差予測に用いられる参照画像のresolution_info[j]が2である場合、図５６及び図５７で説明したことから、符号化対象の画像は、低解像度化がされていない画像(resolution_info[i]が0)であり、視差予測に用いられる参照画像は、水平解像度が1/2にされた低解像度の画像(resolution_info[j]=2)であるから、符号化対象の画像の解像度比が、1:1であるのに対して、視差予測に用いられる参照画像の解像度比は、1:2になっている。
【０９７１】
そこで、参照画像変換部５７０（図５９）では、解像度比が1:2の参照画像を、補間画素数比が2:1の水平1/4垂直1/2精度画像に変換することで、解像度比が、符号化対象画像の解像度比である1:1(=2:2)に一致する変換参照画像が求められる。
【０９７２】
なお、図６２の参照画像の変換処理において、符号化対象の画像のresolution_info[i]が1で、視差予測に用いられる参照画像のresolution_info[j]が0である場合と、符号化対象の画像のresolution_info[i]が0で、視差予測に用いられる参照画像のresolution_info[j]が2である場合においては、ステップＳ３６８、及び、ステップＳ３６４ないしＳ３６６のフィルタ処理のうちの、ステップＳ３６４ないしＳ３６６のフィルタ処理をスキップし、ステップＳ３６８で得られる水平1/2精度画像（図３３）を、変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給することができる。
【０９７３】
一方、ステップＳ３６７において、符号化対象の画像のresolution_info[i]が0で、視差予測に用いられる参照画像のresolution_info[j]が1であると判定されるか、又は、符号化対象の画像のresolution_info[i]が2で、視差予測に用いられる参照画像のresolution_info[j]が0であると判定された場合、水平1/2画素生成用フィルタ処理部１５１は、DPB４３からの整数精度画像である参照画像に、水平1/2画素生成用フィルタ処理を施さずに（スキップして）、そのまま、垂直1/2画素生成用フィルタ処理部１５２に供給して、処理は、ステップＳ３６９に進む。
【０９７４】
ステップＳ３６９では、垂直1/2画素生成用フィルタ処理部１５２は、水平1/2画素生成用フィルタ処理部１５１からの整数精度画像である参照画像に、垂直1/2画素生成用フィルタ処理を施し、その結果得られる垂直1/2精度画像（図４９）を、水平1/4画素生成用フィルタ処理部１５３に供給して、処理は、ステップＳ３６４に進む。
【０９７５】
以下、ステップＳ３６４ないしＳ３６６において、垂直1/2精度画像に、上述した場合と同様の、水平1/4画素生成用フィルタ処理部１５３による水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理部１５４による垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理部１５５による水平垂直1/4画素生成用フィルタ処理が、それぞれ施され、水平1/2垂直1/4精度画像（図５０）が求められる。
【０９７６】
そして、処理は、ステップＳ３６６からステップＳ３５４に進み、水平垂直1/4画素生成用フィルタ処理部１５５は、水平1/2垂直1/4精度画像を、変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給して、処理はリターンする。
【０９７７】
すなわち、符号化対象の画像のresolution_info[i]が0で、視差予測に用いられる参照画像のresolution_info[j]が1である場合、図５６及び図５７で説明したことから、符号化対象の画像は、低解像度化がされていない画像(resolution_info[i]が0)であり、視差予測に用いられる参照画像は、垂直解像度が1/2にされた低解像度の画像(resolution_info[j]=1)であるから、符号化対象の画像の解像度比が、1:1であるのに対して、視差予測に用いられる参照画像の解像度比は、2:1になっている。
【０９７８】
そこで、参照画像変換部５７０（図５９）では、解像度比が2:1の参照画像を、補間画素数比が1:2の水平1/2垂直1/4精度画像に変換することで、解像度比が、符号化対象画像の解像度比である1:1(=2:2)に一致する変換参照画像が求められる。
【０９７９】
また、符号化対象の画像のresolution_info[i]が2で、視差予測に用いられる参照画像のresolution_info[j]が0である場合、図５６及び図５７で説明したことから、符号化対象の画像は、水平解像度が1/2にされた低解像度の画像(resolution_info[i]=2)であり、視差予測に用いられる参照画像は、低解像度化がされていない画像(resolution_info[j]が0)であるから、視差予測に用いられる参照画像の解像度比が、1:1であるのに対して、符号化対象の画像の解像度比は、1:2になっている。
【０９８０】
そこで、参照画像変換部５７０（図５９）では、解像度比が1:1の参照画像を、補間画素数比が1:2の水平1/2垂直1/4精度画像に変換することで、解像度比が、符号化対象画像の解像度比である1:2に一致する変換参照画像が求められる。
【０９８１】
なお、図６２の参照画像の変換処理において、符号化対象の画像のresolution_info[i]が0で、視差予測に用いられる参照画像のresolution_info[j]が1である場合と、符号化対象の画像のresolution_info[i]が2で、視差予測に用いられる参照画像のresolution_info[j]が0である場合には、ステップＳ３６９、及び、ステップＳ３６４ないしＳ３６６のフィルタ処理のうちの、ステップＳ３６４ないしＳ３６６のフィルタ処理をスキップし、ステップＳ３６９で得られる垂直1/2精度画像（図４９）を、変換参照画像として、視差検出部１４１、及び、視差補償部１４２に供給することができる。
【０９８２】
図６３は、参照画像変換部５７０（図５９）において、図６２の参照画像の変換処理が行われる場合の、コントローラ３８１による、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５それぞれのフィルタ処理のコントロールを説明する図である。
【０９８３】
エンコーダ５１１での符号化対象の画像（ピクチャ）のresolution_info[i]と、その視差予測に用いられる参照画像（ピクチャ）のresolution_info[j]とが等しい場合、すなわち、resolution_info[i]、及び、resolution_info[j]が、いずれも、0，１、又は、2である場合、符号化対象の画像の解像度比と、その視差予測に用いられる参照画像の解像度比とが一致するので、コントローラ３８１は、例えば、水平1/2画素生成用フィルタ処理、垂直1/2画素生成用フィルタ処理、水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理のすべてのフィルタ処理を行うように、すなわち、図１４及び図１５で説明したMVCに従ったフィルタ処理（横方向と縦方向それぞれの画素数を、同一倍数だけ増加させるフィルタ処理）を行うように、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５をコントロールする。
【０９８４】
エンコーダ５１１での符号化対象の画像のresolution_info[i]が1で、その視差予測に用いられる参照画像のresolution_info[j]が0である場合、符号化対象の画像の解像度比が2:1で、その視差予測に用いられる参照画像の解像度比が1:1であるので、コントローラ３８１は、解像度比が1:1の参照画像が、符号化対象の画像の解像度比である2:1に一致する解像度比の変換参照画像に変換されるように、水平1/2画素生成用フィルタ処理、垂直1/2画素生成用フィルタ処理、水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理のうちの、例えば、垂直1/2画素生成用フィルタ処理のみをスキップし、他のフィルタ処理を行うように、すなわち、図３３及び図３４で説明したフィルタ処理を行うように、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５をコントロールする。
【０９８５】
エンコーダ５１１での符号化対象の画像のresolution_info[i]が2で、その視差予測に用いられる参照画像のresolution_info[j]が0である場合、符号化対象の画像の解像度比が1:2で、その視差予測に用いられる参照画像の解像度比が1:1であるので、コントローラ３８１は、解像度比が1:1の参照画像が、符号化対象の画像の解像度比である1:2に一致する解像度比の変換参照画像に変換されるように、水平1/2画素生成用フィルタ処理、垂直1/2画素生成用フィルタ処理、水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理のうちの、例えば、水平1/2画素生成用フィルタ処理のみをスキップし、他のフィルタ処理を行うように、すなわち、図４９及び図５０で説明したフィルタ処理を行うように、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５をコントロールする。
【０９８６】
エンコーダ５１１での符号化対象の画像のresolution_info[i]が0で、その視差予測に用いられる参照画像のresolution_info[j]が1である場合、符号化対象の画像の解像度比が1:1で、その視差予測に用いられる参照画像の解像度比が2:1であるので、コントローラ３８１は、解像度比が2:1の参照画像が、符号化対象の画像の解像度比である1:1に一致する解像度比の変換参照画像に変換されるように、水平1/2画素生成用フィルタ処理、垂直1/2画素生成用フィルタ処理、水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理のうちの、例えば、水平1/2画素生成用フィルタ処理のみをスキップし、他のフィルタ処理を行うように、すなわち、図４９及び図５０で説明したフィルタ処理を行うように、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５をコントロールする。
【０９８７】
エンコーダ５１１での符号化対象の画像のresolution_info[i]が0で、その視差予測に用いられる参照画像のresolution_info[j]が2である場合、符号化対象の画像の解像度比が1:1で、その視差予測に用いられる参照画像の解像度比が1:2であるので、コントローラ３８１は、解像度比が1:2の参照画像が、符号化対象の画像の解像度比である1:1に一致する解像度比の変換参照画像に変換されるように、水平1/2画素生成用フィルタ処理、垂直1/2画素生成用フィルタ処理、水平1/4画素生成用フィルタ処理、垂直1/4画素生成用フィルタ処理、及び、水平垂直1/4画素生成用フィルタ処理のうちの、例えば、垂直1/2画素生成用フィルタ処理のみをスキップし、他のフィルタ処理を行うように、すなわち、図３３及び図３４で説明したフィルタ処理を行うように、水平1/2画素生成用フィルタ処理部１５１ないし水平垂直1/4画素生成用フィルタ処理部１５５をコントロールする。
【０９８８】
［復号装置３３２Ｃの構成例］  
【０９８９】
図６４は、解像度変換多視点色画像が、図５３で説明した中央視点画像、低解像度左視点画像、及び、低解像度右視点画像である場合、つまり、符号化装置３２２Ｃ（図２１）が、図５４に示したように構成される場合の、図２２の復号装置３３２Ｃの構成例を示すブロック図である。
【０９９０】
なお、図中、図３９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０９９１】
図６４において、復号装置３３２Ｃは、デコーダ２１１，６１１、及び、６１２、並びに、DPB２１３を有する。
【０９９２】
したがって、図６４の復号装置３３２Ｃは、デコーダ２１１及びDPB２１３を有する点で、図３９の場合と共通するが、デコーダ４１２に代えて、デコーダ６１１及び６１２が設けられている点で、図３９の場合と相違する。
【０９９３】
デコーダ２１１には、逆多重化装置３１（図２２）からの多視点色画像符号化データのうちの、ベースビューの画像である中央視点色画像の符号化データが供給される。
【０９９４】
また、デコーダ６１１には、逆多重化装置３１からの多視点色画像符号化データのうちの、ノンベースビューの画像である低解像度左視点色画像の符号化データが供給され、デコーダ６１２には、逆多重化装置３１からの多視点色画像符号化データのうちの、ノンベースビューの画像である低解像度右視点色画像の符号化データが供給される。
【０９９５】
デコーダ２１１は、そこに供給される中央視点色画像の符号化データを、MVC(AVC)で復号し、その結果得られる中央視点色画像を出力する。
【０９９６】
デコーダ６１１は、そこに供給される低解像度左視点色画像の符号化データを、拡張方式で復号し、その結果得られる低解像度左視点色画像を出力する。
【０９９７】
デコーダ６１２は、そこに供給される低解像度右視点色画像の符号化データを、拡張方式で復号し、その結果得られる低解像度右視点色画像を出力する。
【０９９８】
そして、デコーダ２１１が出力する中央視点色画像、デコーダ６１１が出力する低解像度左視点色画像、及び、デコーダ６１２が出力する低解像度右視点画像が、解像度変換多視点色画像として、解像度逆変換装置３３３Ｃ（図２２）に供給される。
【０９９９】
また、デコーダ２１１，６１１、及び、６１２は、それぞれ、図５４のエンコーダ４１，５１１、及び、５１２で予測符号化された画像を復号する。
【１０００】
予測符号化された画像を復号するには、その予測符号化で用いられた予測画像が必要であるため、デコーダ２１１，６１１、及び、６１２は、予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる、復号後の画像を、DPB２１３に一時記憶させる。
【１００１】
DPB２１３は、デコーダ２１１，６１１、及び、６１２で共用され、デコーダ２１１，６１１、及び、６１２それぞれで得られる復号後の画像（デコード画像）を一時記憶する。
【１００２】
デコーダ２１１，６１１、及び、６１２それぞれは、DPB２１３に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照画像を選択し、その参照画像を用いて、予測画像を生成する。
【１００３】
以上のように、DPB２１３は、デコーダ２１１，６１１、及び、６１２で共用されるので、デコーダ２１１，６１１、及び、６１２それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。
【１００４】
ここで、デコーダ６１２は、処理の対象が、低解像度左視点色画像ではなく、低解像度右視点色画像であることを除き、デコーダ６１１と同様の処理を行うので、以下では、その説明は、適宜省略する。
【１００５】
［デコーダ６１１の構成例］
【１００６】
図６５は、図６４のデコーダ６１１の構成例を示すブロック図である。
【１００７】
なお、図中、図４０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【１００８】
図６５において、デコーダ６１１は、蓄積バッファ２４１、可変長復号部２４２、逆量子化部２４３、逆直交変換部２４４、演算部２４５、デブロッキングフィルタ２４６、画面並び替えバッファ２４７、D/A変換部２４８、画面内予測部２４９、予測画像選択部２５１、及び、インター予測部６５０を有する。
【１００９】
したがって、図６５のデコーダ６１１は、蓄積バッファ２４１ないし画面内予測部２４９、及び、予測画像選択部２５１を有する点で、図４０のデコーダ４１２と共通する。
【１０１０】
但し、図６５のデコーダ６１１は、インター予測部４５０に代えて、インター予測部６５０が設けられている点で、図４０のデコーダ４１２と相違する。
【１０１１】
インター予測部６５０は、参照インデクス処理部２６０、時間予測部２６２、及び、視差予測部６６１を有する。
【１０１２】
したがって、インター予測部６５０は、参照インデクス処理部２６０、及び、時間予測部２６２を有する点で、図４０のインター予測部４５０と共通するが、視差予測部４６１（図４０）に代えて、視差予測部６６１が設けられている点で、図４０のインター予測部４５０と相違する。
【１０１３】
図６５のデコーダ６１１では、可変長復号部２４２が、蓄積バッファ２４１から、解像度変換SEIを含む、低解像度左視点色画像の符号化データを受け取り、その符号化データに含まれる解像度変換SEIを、視差予測部６６１に供給する。
【１０１４】
また、可変長復号部２４２は、解像度変換SEIを、解像度変換情報として、解像度逆変換装置３３３Ｃ（図２２）に供給する。
【１０１５】
さらに、可変長復号部２４２は、符号化データに含まれるヘッダ情報（予測モード関連情報）を、画面内予測部２４９、並びに、インター予測部６５０を構成する参照インデクス処理部２６０、時間予測部２６２、及び、視差予測部６６１に供給する。
【１０１６】
視差予測部６６１には、可変長復号部２４２から、予測モード関連情報、及び、解像度変換SEIが供給される他、参照インデクス処理部２６０から、参照画像としてのデコード中央視点色画像のピクチャが供給される。
【１０１７】
視差予測部６６１は、可変長復号部２４２からの解像度変換SEIに基づき、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャを、図５５の視差予測部５６１と同様にして、変換参照画像に変換する。
【１０１８】
さらに、視差予測部６６１は、可変長復号部２４２からの予測モード関連情報に基づき、対象ブロックの予測画像の生成に用いられた視差ベクトルを復元し、図５５の視差予測部５６１と同様に、その視差ベクトルに従って、変換参照画像の視差予測（視差補償）を行うことで、予測画像を生成して、予測画像選択部２５１に供給する。
【１０１９】
［視差予測部６６１の構成例］
【１０２０】
図６６は、図６５の視差予測部６６１の構成例を示すブロック図である。
【１０２１】
なお、図中、図４１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【１０２２】
図６６において、視差予測部６６１は、視差補償部２７２、及び、参照画像変換部６７１を有する。
【１０２３】
したがって、図６６の視差予測部６６１は、視差補償部２７２を有する点で、図４１の視差予測部４６１と共通するが、参照画像変換部４７１に代えて、参照画像変換部６７１が設けられている点で、図４１の視差予測部４６１と相違する。
【１０２４】
参照画像変換部６７１には、参照インデクス処理部２６０から、デコード中央視点色画像のピクチャが、参照画像として供給されるとともに、可変長復号部２４２から、解像度変換SEIが供給される。
【１０２５】
参照画像変換部６７１は、図５９の参照画像変換部５７０と同様に構成される。
【１０２６】
そして、参照画像変換部６７１は、図５９の参照画像変換部５７０と同様に、可変長復号部２４２からの解像度変換SEIに応じて、視差予測において参照する参照画像としてのデコード中央視点色画像のピクチャに施すフィルタ処理をコントロールし、これにより、参照画像を、復号対象の低解像度左視点色画像のピクチャの横と縦との解像度比と合致する解像度比の変換参照画像に変換して、視差補償部２７２に供給する。
【１０２７】
［低解像度左視点色画像の復号処理］
【１０２８】
図６７は、図６５のデコーダ６１１が行う、低解像度左視点色画像の符号化データを復号する復号処理を説明するフローチャートである。
【１０２９】
ステップＳ４０１ないしＳ４０６において、図４３のステップＳ２０１ないしＳ２０６とそれぞれ同様の処理が行われ、これにより、デブロッキングフィルタ２４６において、低解像度左視点色画像の対象ブロックを復号したデコード低解像度左視点色画像がフィルタリングされて、DPB２１３、及び、画面並び替えバッファ２４７に供給される。
【１０３０】
その後、処理は、ステップＳ４０７に進み、DPB２１３が、中央視点色画像を復号するデコーダ２１１（図６４）から、デコード中央視点色画像が供給されるのを待って、そのデコード中央視点色画像を記憶し、処理は、ステップＳ４０８に進む。
【１０３１】
ステップＳ４０８では、DPB２１３が、デブロッキングフィルタ２４６からのデコード低解像度左視点色画像を記憶し、処理は、ステップＳ４０９に進む。
【１０３２】
ステップＳ４０９では、画面内予測部２４９、並びに、インター予測部６５０（を構成する時間予測部２６２、及び、視差予測部６６１）が、可変長復号部２４２から供給される予測モード関連情報に基づき、次の対象ブロック（次に復号対象となるマクロブロック）が、イントラ予測（画面内予測）、及び、インター予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを判定する。
【１０３３】
そして、ステップＳ４０９において、次の対象ブロックが、画面内予測で生成された予測画像を用いて符号化されていると判定された場合、処理は、ステップＳ４１０に進み、画面内予測部２４９は、イントラ予測処理（画面内予測処理）を行う。
【１０３４】
すなわち、画面内予測部２４９は、次の対象ブロックについて、DPB２１３に記憶されたデコード低解像度左視点色画像のピクチャから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行い、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ４１０からステップＳ４１５に進む。
【１０３５】
また、ステップＳ４０９において、次の対象ブロックが、インター予測で生成された予測画像を用いて符号化されていると判定された場合、処理は、ステップＳ４１１に進み、参照インデクス処理部２６０は、可変長復号部２４２からの予測モード関連情報に含まれる（予測用の）参照インデクスが割り当てられているデコード中央視点色画像のピクチャ、又は、デコード低解像度左視点色画像のピクチャを、DPB２１３から読み出すことにより、参照画像として選択し、処理は、ステップＳ４１２に進む。
【１０３６】
ステップＳ４１２では、参照インデクス処理部２６０が、可変長復号部２４２からの予測モード関連情報に含まれる（予測用の）参照インデクスに基づき、次の対象ブロックが、インター予測である時間予測、及び、視差予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを判定する。
【１０３７】
ステップＳ４１２において、次の対象ブロックが、時間予測で生成された予測画像を用いて符号化されていると判定された場合、すなわち、可変長復号部２４２からの（次の）対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコード低解像度左視点色画像のピクチャであり、ステップＳ４１１において、そのデコード低解像度左視点色画像のピクチャが、参照画像として選択されている場合、参照インデクス処理部２６０は、参照画像としてのデコード低解像度左視点色画像のピクチャを、時間予測部２６２に供給して、処理は、ステップＳ４１３に進む。
【１０３８】
ステップＳ４１３では、時間予測部２６２が、時間予測処理（インター予測処理）を行う。
【１０３９】
すなわち、時間予測部２６２は、次の対象ブロックについて、参照インデクス処理部２６０からの参照画像としてのデコード低解像度左視点色画像のピクチャの動き補償を、可変長復号部２４２からの予測モード関連情報を用いて行うことにより、予測画像を生成し、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ４１３からステップＳ４１５に進む。
【１０４０】
また、ステップＳ４１２において、次の対象ブロックが、視差予測で生成された予測画像を用いて符号化されていると判定された場合、すなわち、可変長復号部２４２からの（次の）対象ブロックの予測用の参照インデクスが割り当てられているピクチャが、デコード中央視点色画像のピクチャであり、ステップＳ４１１において、そのデコード中央視点色画像のピクチャが、参照画像として選択されている場合、参照インデクス処理部２６０は、参照画像としてのデコード中央視点色画像のピクチャを、視差予測部６６１に供給して、処理は、ステップＳ４１４に進む。
【１０４１】
ステップＳ４１４では、視差予測部６６１が、視差予測処理（インター予測処理）を行う。
【１０４２】
すなわち、視差予測部６６１は、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャを、可変長復号部２４２からの解像度変換SEIに応じて、変換参照画像に変換する。
【１０４３】
さらに、視差予測部６６１は、次の対象ブロックについて、変換参照画像の視差補償を、可変長復号部２４２からの予測モード関連情報を用いて行うことにより、予測画像を生成し、その予測画像を、予測画像選択部２５１に供給して、処理は、ステップＳ４１４からステップＳ４１５に進む。
【１０４４】
以下、ステップＳ４１５ないしＳ４１７では、図４３のステップＳ２１５ないしＳ２１７とそれぞれ同様の処理が行われる。
【１０４５】
デコーダ６１１では、以上のステップＳ４０１ないしＳ４１７の処理が、適宜繰り返し行われる。
【１０４６】
図６８は、図６７のステップＳ４１４で、図６６の視差予測部６６１が行う視差予測処理を説明するフローチャートである。
【１０４７】
ステップＳ４３１において、参照画像変換部６７１は、可変長復号部２４２から供給される解像度変換SEIを受け取り、処理は、ステップＳ４３２に進む。
【１０４８】
ステップＳ４３２では、参照画像変換部６７１は、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャを受け取り、処理は、ステップＳ４３３に進む。
【１０４９】
ステップＳ４３３では、参照画像変換部６７１は、可変長復号部２４２からの解像度変換SEIに応じて、参照インデクス処理部２６０からの参照画像としてのデコード中央視点色画像のピクチャに施すフィルタ処理をコントロールし、これにより、参照画像を、復号対象の低解像度左視点色画像のピクチャの横と縦との解像度比と合致する解像度比の変換参照画像に変換する、図６２と同様の参照画像の変換処理を行う。
【１０５０】
そして、参照画像変換部６７１は、参照画像を、低解像度左視点色画像と同一の解像度比に変換した変換参照画像を、視差補償部２７２に供給して、処理は、ステップＳ４３３からステップＳ４３４に進む。
【１０５１】
以下、ステップＳ４３４ないしＳ４３６において、図４４のステップＳ２３４ないしＳ２３６とそれぞれ同様の処理が行われる。
【１０５２】
［本技術を適用したコンピュータの説明］
【１０５３】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【１０５４】
そこで、図７０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【１０５５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１１０５やROM１１０３に予め記録しておくことができる。
【１０５６】
あるいはまた、プログラムは、リムーバブル記録媒体１１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【１０５７】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【１０５８】
コンピュータは、CPU(Central Processing Unit)１１０２を内蔵しており、CPU１１０２には、バス１１０１を介して、入出力インタフェース１１１０が接続されている。
【１０５９】
CPU１１０２は、入出力インタフェース１１１０を介して、ユーザによって、入力部１１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１１０３に格納されているプログラムを実行する。あるいは、CPU１１０２は、ハードディスク１１０５に格納されたプログラムを、RAM(Random Access Memory)１１０４にロードして実行する。
【１０６０】
これにより、CPU１１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１１０を介して、出力部１１０６から出力、あるいは、通信部１１０８から送信、さらには、ハードディスク１１０５に記録等させる。
【１０６１】
なお、入力部１１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【１０６２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【１０６３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【１０６４】
本技術は、衛星放送、ケーブルTV（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して通信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像処理システムに適用することができる。
【１０６５】
また、上述した画像処理システムの少なくとも一部は、任意の電子機器に適用することができる。以下にその例について説明する。
【１０６６】
［TVの構成例］
【１０６７】
図７１は、本技術を適用したTVの概略構成例を示す図である。
【１０６８】
TV１９００は、アンテナ１９０１、チューナ１９０２、デマルチプレクサ１９０３、デコーダ１９０４、映像信号処理部１９０５、表示部１９０６、音声信号処理部１９０７、スピーカ１９０８、外部インタフェース部１９０９を有している。さらに、TV１９００は、制御部１９１０、ユーザインタフェース部１９１１等を有している。
【１０６９】
チューナ１９０２は、アンテナ１９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ１９０３に出力する。
【１０７０】
デマルチプレクサ１９０３は、符号化ビットストリームから視聴対象である番組の画像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ１９０４に出力する。また、デマルチプレクサ１９０３は、EPG(Electronic Program Guide)等のデータのパケットを制御部１９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【１０７１】
デコーダ１９０４は、パケットの復号処理を行い、復号処理によって生成された画像データを画像信号処理部１９０５、音声データを音声信号処理部１９０７に出力する。
【１０７２】
画像信号処理部１９０５は、画像データに対して、ノイズ除去やユーザ設定に応じた画像処理等を行う。画像信号処理部１９０５は、表示部１９０６に表示させる番組の画像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、画像信号処理部１９０５は、項目の選択などのメニュー画面等を表示するための画像データを生成し、それを番組の画像データに重畳する。画像信号処理部１９０５は、このようにして生成した画像データに基づいて駆動信号を生成して表示部１９０６を駆動する。
【１０７３】
表示部１９０６は、画像信号処理部１９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の画像などを表示させる。
【１０７４】
音声信号処理部１９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのD/A変換処理や増幅処理を行いスピーカ１９０８に供給することで音声出力を行う。
【１０７５】
外部インタフェース部１９０９は、外部機器やネットワークと接続するためのインタフェースであり、画像データや音声データ等のデータ送受信を行う。
【１０７６】
制御部１９１０にはユーザインタフェース部１９１１が接続されている。ユーザインタフェース部１９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部１９１０に供給する。
【１０７７】
制御部１９１０は、CPU(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ、EPGデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、TV１９００の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、TV１９００がユーザ操作に応じた動作となるように各部を制御する。
【１０７８】
なお、TV１９００では、チューナ１９０２、デマルチプレクサ１９０３、画像信号処理部１９０５、音声信号処理部１９０７、外部インタフェース部１９０９等と制御部１９１０を接続するためバス１９１２が設けられている。
【１０７９】
このように構成されるTV１９００では、デコーダ１９０４に本技術の機能が設けられる。
【１０８０】
［携帯電話機の構成例］
【１０８１】
図７２は、本技術を適用した携帯電話機の概略構成例を示す図である。
【１０８２】
携帯電話機１９２０は、通信部１９２２、音声コーデック１９２３、カメラ部１９２６、画像処理部１９２７、多重分離部１９２８、記録再生部１９２９、表示部１９３０、制御部１９３１を有している。これらは、バス１９３３を介して互いに接続されている。
【１０８３】
また、通信部１９２２にはアンテナ１９２１が接続されており、音声コーデック１９２３には、スピーカ１９２４とマイクロホン１９２５が接続されている。さらに制御部１９３１には、操作部１９３２が接続されている。
【１０８４】
携帯電話機１９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【１０８５】
音声通話モードにおいて、マイクロホン１９２５で生成された音声信号は、音声コーデック１９２３で音声データへの変換やデータ圧縮が行われて通信部１９２２に供給される。通信部１９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部１９２２は、送信信号をアンテナ１９２１に供給して図示しない基地局へ送信する。また、通信部１９２２は、アンテナ１９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック１９２３に供給する。音声コーデック１９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ１９２４に出力する。
【１０８６】
また、データ通信モードにおいて、メール送信を行う場合、制御部１９３１は、操作部１９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部１９３０に表示する。また、制御部１９３１は、操作部１９３２におけるユーザ指示等に基づいてメールデータを生成して通信部１９２２に供給する。通信部１９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ１９２１から送信する。また、通信部１９２２は、アンテナ１９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部１９３０に供給して、メール内容の表示を行う。
【１０８７】
なお、携帯電話機１９２０は、受信したメールデータを、記録再生部１９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【１０８８】
データ通信モードにおいて画像データを送信する場合、カメラ部１９２６で生成された画像データを、画像処理部１９２７に供給する。画像処理部１９２７は、画像データの符号化処理を行い、符号化データを生成する。
【１０８９】
多重分離部１９２８は、画像処理部１９２７で生成された符号化データと、音声コーデック１９２３から供給された音声データを所定の方式で多重化して通信部１９２２に供給する。通信部１９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ１９２１から送信する。また、通信部１９２２は、アンテナ１９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部１９２８に供給する。多重分離部１９２８は、多重化データの分離を行い、符号化データを画像処理部１９２７、音声データを音声コーデック１９２３に供給する。画像処理部１９２７は、符号化データの復号処理を行い、画像データを生成する。この画像データを表示部１９３０に供給して、受信した画像の表示を行う。音声コーデック１９２３は、音声データをアナログ音声信号に変換してスピーカ１９２４に供給して、受信した音声を出力する。
【１０９０】
このように構成される携帯電話装置１９２０では、画像処理部１９２７に本技術の機能が設けられる。
【１０９１】
［記録再生装置の構成例］
【１０９２】
図７３は、本技術を適用した記録再生装置の概略構成例を示す図である。
【１０９３】
記録再生装置１９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置１９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置１９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【１０９４】
記録再生装置１９４０は、チューナ１９４１、外部インタフェース部１９４２、エンコーダ１９４３、HDD(Hard Disk Drive)部１９４４、ディスクドライブ１９４５、セレクタ１９４６、デコーダ１９４７、OSD(On-Screen Display)部１９４８、制御部１９４９、ユーザインタフェース部１９５０を有している。
【１０９５】
チューナ１９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ１９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ１９４６に出力する。
【１０９６】
外部インタフェース部１９４２は、IEEE1394インタフェース、ネットワークインタフェース部、USBインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部１９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する画像データや音声データ等のデータ受信を行う。
【１０９７】
エンコーダ１９４３は、外部インタフェース部１９４２から供給された画像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ１９４６に出力する。
【１０９８】
HDD部１９４４は、画像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【１０９９】
ディスクドライブ１９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばDVDディスク(DVD-Video，DVD-RAM，DVD-R，DVD-RW，DVD+R，DVD+RW等)やBlu-rayディスク等である。
【１１００】
セレクタ１９４６は、画像や音声の記録時には、チューナ１９４１またはエンコーダ１９４３からのいずれかの符号化ビットストリームを選択して、HDD部１９４４やディスクドライブ１９４５のいずれかに供給する。また、セレクタ１９４６は、画像や音声の再生時に、HDD部１９４４またはディスクドライブ１９４５から出力された符号化ビットストリームをデコーダ１９４７に供給する。
【１１０１】
デコーダ１９４７は、符号化ビットストリームの復号処理を行う。デコーダ１９４７は、復号処理を行うことにより生成された画像データをOSD部１９４８に供給する。また、デコーダ１９４７は、復号処理を行うことにより生成された音声データを出力する。
【１１０２】
OSD部１９４８は、項目の選択などのメニュー画面等を表示するための画像データを生成し、それをデコーダ１９４７から出力された画像データに重畳して出力する。
【１１０３】
制御部１９４９には、ユーザインタフェース部１９５０が接続されている。ユーザインタフェース部１９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部１９４９に供給する。
【１１０４】
制御部１９４９は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置１９４０の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、記録再生装置１９４０がユーザ操作に応じた動作となるように各部を制御する。
【１１０５】
このように構成される記録再生装置１９４０では、デコーダ１９４７に本技術の機能が設けられる。
【１１０６】
［撮像装置の構成例］
【１１０７】
図７４は、本技術を適用した撮像装置の概略構成例を示す図である。
【１１０８】
撮像装置１９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【１１０９】
撮像装置１９６０は、光学ブロック１９６１、撮像部１９６２、カメラ信号処理部１９６３、画像データ処理部１９６４、表示部１９６５、外部インタフェース部１９６６、メモリ部１９６７、メディアドライブ１９６８、OSD部１９６９、制御部１９７０を有している。また、制御部１９７０には、ユーザインタフェース部１９７１が接続されている。さらに、画像データ処理部１９６４や外部インタフェース部１９６６、メモリ部１９６７、メディアドライブ１９６８、OSD部１９６９、制御部１９７０等は、バス１９７２を介して接続されている。
【１１１０】
光学ブロック１９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック１９６１は、被写体の光学像を撮像部１９６２の撮像面に結像させる。撮像部１９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部１９６３に供給する。
【１１１１】
カメラ信号処理部１９６３は、撮像部１９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部１９６３は、カメラ信号処理後の画像データを画像データ処理部１９６４に供給する。
【１１１２】
画像データ処理部１９６４は、カメラ信号処理部１９６３から供給された画像データの符号化処理を行う。画像データ処理部１９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部１９６６やメディアドライブ１９６８に供給する。また、画像データ処理部１９６４は、外部インタフェース部１９６６やメディアドライブ１９６８から供給された符号化データの復号処理を行う。画像データ処理部１９６４は、復号処理を行うことにより生成された画像データを表示部１９６５に供給する。また、画像データ処理部１９６４は、カメラ信号処理部１９６３から供給された画像データを表示部１９６５に供給する処理や、OSD部１９６９から取得した表示用データを、画像データに重畳させて表示部１９６５に供給する。
【１１１３】
OSD部１９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部１９６４に出力する。
【１１１４】
外部インタフェース部１９６６は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部１９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部１９６６は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部１９７０は、例えば、ユーザインタフェース部１９７１からの指示にしたがって、メモリ部１９６７から符号化データを読み出し、それを外部インタフェース部１９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部１９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部１９６６を介して取得し、それを画像データ処理部１９６４に供給したりすることができる。
【１１１５】
メディアドライブ１９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であってもよい。
【１１１６】
また、メディアドライブ１９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【１１１７】
制御部１９７０は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置１９６０の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、撮像装置１９６０がユーザ操作に応じた動作となるように各部を制御する。
【１１１８】
このように構成される撮像装置１９６０では、画像データ処理部１９６４に本技術の機能が設けられる。
【１１１９】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【１１２０】
すなわち、本実施の形態では、MVCにおいて、分数精度での視差予測を行う際のフィルタ処理に用いられるフィルタ(AIF)をコントロールすることにより、参照画像を、符号化対象の画像の解像度比と合致する解像度比の変換参照画像に変換することとしたが、参照画像の、変換参照画像の変換に用いるフィルタとしては、専用の補間フィルタを用意し、その専用の補間フィルタを用いて、参照画像をフィルタ処理することにより、変換参照画像に変換することができる。
【１１２１】
また、符号化対象の画像の解像度比と合致する解像度比の変換参照画像には、横及び縦の解像度が、符号化対象の画像の解像度と一致する変換参照画像が、当然含まれる。
【１１２２】
なお、本技術は、以下のような構成を取ることができる。
【１１２３】
［１］
符号化対象の符号化対象画像の予測画像を生成する際に参照する、前記符号化対象画像とは異なる視点の参照画像、及び、前記符号化対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像を、前記符号化対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換する変換部と、
前記変換部により変換された前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像を生成する補償部と、
前記補償部により生成された前記予測画像を用いて、前記符号化対象画像を符号化する符号化部と
を備える画像処理装置。
［２］
前記変換部は、画素以下精度の視差補償を行う際に用いられるフィルタによる前記フィルタ処理をコントロールする
［１］に記載の画像処理装置。
［３］
前記符号化対象画像は、２つの視点の画像の解像度を変換して、１視点分の画像に合成するパッキングを行うことにより得られたパッキング画像であり、
前記解像度情報は、前記パッキング画像において、前記２つの視点の画像がどのようにパッキングされているかを表すパッキングパターンを含み、
前記変換部は、前記パッキングパターンに応じて、前記フィルタ処理をコントロールする
［１］又は［２］に記載の画像処理装置。
［４］
前記符号化対象画像は、垂直方向の解像度が1/2にされた前記２つの視点の画像を、上下に並べて配置したパッキング画像、又は、水平方向の解像度が1/2にされた前記２つの視点の画像を、左右に並べて配置したパッキング画像であり、
前記変換部は、
前記参照画像とそのコピーとを、上下、又は、左右に並べて配置したパッキング参照画像を生成し、
前記パッキング参照画像に、画素を補間するフィルタによるフィルタ処理を施すことにより、前記変換参照画像を求める
［３］に記載の画像処理装置。
［５］
前記解像度情報と、前記符号化部により符号化された符号化ストリームとを伝送する伝送部をさらに備える
［１］ないし［４］に記載の画像処理装置。
［６］
符号化対象の符号化対象画像の予測画像を生成する際に参照する、前記符号化対象画像とは異なる視点の参照画像、及び、前記符号化対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像を、前記符号化対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換し、
前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像を生成し、
前記予測画像を用いて、前記符号化対象画像を符号化する
ステップを含む画像処理方法。
［７］
復号対象の復号対象画像の予測画像を生成する際に参照する、前記復号対象画像とは異なる視点の参照画像、及び、前記復号対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像を、前記復号対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換する変換部と、
前記変換部により変換された前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像を生成する補償部と、
前記補償部により生成された前記予測画像を用いて、前記復号対象画像を含む画像を符号化した符号化ストリームを復号する復号部と
を備える画像処理装置。
［８］
前記変換部は、画素以下精度の視差補償を行う際に用いられるフィルタによる前記フィルタ処理をコントロールする
［７］に記載の画像処理装置。
［９］
前記復号対象画像は、２つの視点の画像の解像度を変換して、１視点分の画像に合成するパッキングを行うことにより得られたパッキング画像であり、
前記解像度情報は、前記パッキング画像において、前記２つの視点の画像がどのようにパッキングされているかを表すパッキングパターンを含み、
前記変換部は、前記パッキングパターンに応じて、前記フィルタ処理をコントロールする
［７］又は［８］に記載の画像処理装置。
［１０］
前記復号対象画像は、垂直方向の解像度が1/2にされた前記２つの視点の画像を、上下に並べて配置したパッキング画像、又は、水平方向の解像度が1/2にされた前記２つの視点の画像を、左右に並べて配置したパッキング画像であり、
前記変換部は、
前記参照画像とそのコピーとを、上下、又は、左右に並べて配置したパッキング参照画像を生成し、
前記パッキング参照画像に、画素を補間するフィルタによるフィルタ処理を施すことにより、前記変換参照画像を求める
［９］に記載の画像処理装置。
［１１］
前記解像度情報と、前記符号化ストリームとを受け取る受け取り部をさらに備える
［７］ないし［１０］に記載の画像処理装置。
［１２］
復号対象の復号対象画像の予測画像を生成する際に参照する、前記復号対象画像とは異なる視点の参照画像、及び、前記復号対象画像の解像度に関する解像度情報に応じて、前記参照画像に施すフィルタ処理をコントロールすることにより、前記参照画像を、前記復号対象画像の横と縦との解像度比と合致する解像度比の変換参照画像に変換し、
前記変換参照画像を用いて、視差補償を行うことにより、前記予測画像を生成し、
前記予測画像を用いて、前記復号対象画像を含む画像を符号化した符号化ストリームを復号する
ステップを含む画像処理方法。
【符号の説明】
【１１２４】
１１  送信装置，  １２  受信装置，  ２１Ｃ，２１Ｄ  解像度変換装置，  ２２Ｃ，２２Ｄ  符号化装置，  ２３  多重化装置，  ３１  逆多重化装置，  ３２Ｃ，３２Ｄ  復号装置，  ３３Ｃ，３３Ｄ  解像度逆変換装置，  ４１，４２  エンコーダ，  ４３  DPB，  １１１  A/D変換部，  １１２  画面並び替えバッファ，  １１３  演算部，  １１４  直交変換部，  １１５  量子化部，  １１６  可変長符号化部，  １１７  蓄積バッファ，  １１８  逆量子化部，  １１９  逆直交変換部，  １２０  演算部，  １２１  デブロッキングフィルタ，  １２２  画面内予測部，  １２３  インター予測部，  １２４  予測画像選択部，  １３１  視差予測部，  １３２  時間予測部，  １４０  参照画像変換部，  １４１  視差検出部，  １４２  視差補償部，  １４３  予測情報バッファ，  １４４  コスト関数算出部，  １４５  モード選択部，  １５１  水平1/2画素生成用フィルタ処理部，  １５２  垂直1/2画素生成用フィルタ処理部，  １５３  水平1/4画素生成用フィルタ処理部，  １５４  垂直1/4画素生成用フィルタ処理部，  １５５  水平垂直1/4画素生成用フィルタ処理部，  ２１１，２１２  デコーダ，  ２１３  DPB，  ２４１  蓄積バッファ，  ２４２  可変長復号部，  ２４３  逆量子化部，  ２４４  逆直交変換部，  ２４５  演算部，  ２４６  デブロッキングフィルタ，  ２４７  画面並び替え部，  ２４８  D/A変換部，  ２４９  画面内予測部，  ２５０  インター予測部，  ２５１  予測画像選択部，  ２６０  参照インデクス処理部，  ２６１  視差予測部，  ２６２  時間予測部，  ２７１  参照画像変換部，  ２７２  視差補償部，  ３２１Ｃ，３２１Ｄ  解像度変換装置，  ３２２Ｃ，３２２Ｄ  符号化装置，  ３２３  多重化装置，  ３３２Ｃ，３３２Ｄ  復号装置，  ３３３Ｃ，３３３Ｄ  解像度逆変換装置，  ３４２  エンコーダ，  ３５１  SEI生成部，  ３５２  インター予測部，  ３６１  視差予測部，  ３７０  参照画像変換部，  ３８１  コントローラ，  ３８２  パッキング部，  ４１２  デコーダ，  ４５０  インター予測部，  ４６１  視差予測部，  ４７１  参照画像変換部，  ４８１  コントローラ，  ４８２  パッキング部，  ４８３  水平1/2画素生成用フィルタ処理部，  ４８４  垂直1/2画素生成用フィルタ処理部，  ４８５  水平1/4画素生成用フィルタ処理部，  ４８６  垂直1/4画素生成用フィルタ処理部，  ４８７  水平垂直1/4画素生成用フィルタ処理部，  ５１１，５１２  エンコーダ，  ５５１  SEI生成部，  ５５２  インター予測部，  ５６１  視差予測部，  ５７０  参照画像変換部，  ６１１，６１２  デコーダ，  ６５０  インター予測部，  ６６１  視差予測部，  ６７１  参照画像変換部，  １１０１  バス，  １１０２  CPU，  １１０３  ROM，  １１０４  RAM，  １１０５  ハードディスク，  １１０６  出力部，  １１０７  入力部，  １１０８  通信部，  １１０９  ドライブ，  １１１０  入出力インタフェース，  １１１１  リムーバブル記録媒体
【図１】
2012147622.tif 000006
【図２】
2012147622.tif 000007
【図３】
2012147622.tif 000008
【図４】
2012147622.tif 000009
【図５】
2012147622.tif 000010
【図６】
2012147622.tif 000011
【図７】
2012147622.tif 000012
【図８】
2012147622.tif 000013
【図９】
2012147622.tif 000014
【図１０】
2012147622.tif 000015
【図１１】
2012147622.tif 000016
【図１２】
2012147622.tif 000017
【図１３】
2012147622.tif 000018
【図１４】
2012147622.tif 000019
【図１５】
2012147622.tif 000020
【図１６】
2012147622.tif 000021
【図１７】
2012147622.tif 000022
【図１８】
2012147622.tif 000023
【図１９】
2012147622.tif 000024
【図２０】
2012147622.tif 000025
【図２１】
2012147622.tif 000026
【図２２】
2012147622.tif 000027
【図２３】
2012147622.tif 000028
【図２４】
2012147622.tif 000029
【図２５】
2012147622.tif 000030
【図２６】
2012147622.tif 000031
【図２７】
2012147622.tif 000032
【図２８】
2012147622.tif 000033
【図２９】
2012147622.tif 000034
【図３０】
2012147622.tif 000035
【図３１】
2012147622.tif 000036
【図３２】
2012147622.tif 000037
【図３３】
2012147622.tif 000038
【図３４】
2012147622.tif 000039
【図３５】
2012147622.tif 000040
【図３６】
2012147622.tif 000041
【図３７】
2012147622.tif 000042
【図３８】
2012147622.tif 000043
【図３９】
2012147622.tif 000044
【図４０】
2012147622.tif 000045
【図４１】
2012147622.tif 000046
【図４２】
2012147622.tif 000047
【図４３】
2012147622.tif 000048
【図４４】
2012147622.tif 000049
【図４５】
2012147622.tif 000050
【図４６】
2012147622.tif 000051
【図４７】
2012147622.tif 000052
【図４８】
2012147622.tif 000053
【図４９】
2012147622.tif 000054
【図５０】
2012147622.tif 000055
【図５１】
2012147622.tif 000056
【図５２】
2012147622.tif 000057
【図５３】
2012147622.tif 000058
【図５４】
2012147622.tif 000059
【図５５】
2012147622.tif 000060
【図５６】
2012147622.tif 000061
【図５７】
2012147622.tif 000062
【図５８】
2012147622.tif 000063
【図５９】
2012147622.tif 000064
【図６０】
2012147622.tif 000065
【図６１】
2012147622.tif 000066
【図６２】
2012147622.tif 000067
【図６３】
2012147622.tif 000068
【図６４】
2012147622.tif 000069
【図６５】
2012147622.tif 000070
【図６６】
2012147622.tif 000071
【図６７】
2012147622.tif 000072
【図６８】
2012147622.tif 000073
【図６９】
2012147622.tif 000074
【図７０】
2012147622.tif 000075
【図７１】
2012147622.tif 000076
【図７２】
2012147622.tif 000077
【図７３】
2012147622.tif 000078
【図７４】
2012147622.tif 000079
【国際調査報告】
2012147622.tif 000080
2012147622.tif 000081
2012147622.tif 000082
2012147622.tif 000083