(57)【要約】本技術は、複数の視点の画像の符号化データのデータ量を削減することができるようにする符号化装置および符号化方法、並びに、復号装置および復号方法に関する。低解像度参照画像生成部は、視点Ａの色画像の解像度に比べて解像度の低い、視点Ａと異なる視点Ｂの色画像を符号化する場合に、視点Ａの色画像の解像度が視点Ｂの色画像の解像度と同一になるように、視点Ａの画像に対して、解像度を低下させる低解像度化処理を行う。インター予測部は、低解像度化処理後の視点Ａの色画像を参照して、視点Ｂの色画像の予測画像を生成する。演算部等は、予測画像を用いて、視点Ｂの色画像を符号化する。本技術は、例えば、３Ｄ画像の符号化装置に適用することができる。
2012147621.tif 000002
【特許請求の範囲】
【請求項１】
第１の視点の画像の解像度に比べて解像度の低い、前記第１の視点と異なる第２の視点の画像を符号化する場合に、前記第１の視点の画像の解像度が前記第２の視点の画像の解像度と同一になるように、前記第１の視点の画像に対して、解像度を低下させる低解像度化処理を行う第１の視点低解像度化処理部と、
前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する予測部と、
前記予測部により生成された前記予測画像を用いて、前記第２の視点の画像を符号化する符号化部と
を備える符号化装置。
【請求項２】
複数の異なる前記第２の視点の画像が多重化された画像である多重化画像を符号化する場合に、前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像を、前記多重化画像を構成する前記第２の視点の画像の数だけ複製して多重化する多重化部
をさらに備え、
前記予測部は、前記多重化部により多重化された前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する
請求項１に記載の符号化装置。
【請求項３】
前記第２の視点の画像の解像度を検出する検出部
をさらに備え、
前記第１の視点低解像度化処理部は、前記検出部により判定された解像度に基づいて、前記第１の視点の画像に対して低解像度化処理を行う
請求項１に記載の符号化装置。
【請求項４】
前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像をワーピングすることにより、低解像度化処理後の前記第１の視点の画像を前記第２の視点で得られる画像に変換したワープド画像を生成するワーピング部
をさらに備え、
前記予測部は、前記ワーピング部により生成された前記ワープド画像を参照して、前記予測画像を生成する
請求項１に記載の符号化装置。
【請求項５】
前記符号化部による符号化の結果得られる前記第２の視点の画像の符号化データと、前記予測画像の生成に前記ワープド画像を参照したことを表す情報を伝送する伝送部
をさらに備える
請求項４に記載の符号化装置。
【請求項６】
前記符号化部による符号化の結果得られる前記第２の視点の画像の符号化データのデータ量、または、前記符号化部による前記第２の視点の画像の符号化に要する符号化コストに基づいて、前記第２の視点の画像の符号化データを出力するかどうかを判定する判定部
をさらに備え、
前記符号化部は、前記判定部が前記第２の視点の画像の符号化データを出力すると判定した場合、前記第２の視点の画像の符号化データを出力する
請求項１に記載の符号化装置。
【請求項７】
前記第１の視点低解像度化処理部による前記低解像度化処理の種類を表す低解像度変換情報を生成する低解像度変換情報生成部と、
前記符号化部による符号化の結果得られる前記第２の視点の画像の符号化データと、前記低解像度変換情報生成部により生成された前記低解像度変換情報とを伝送する伝送部と
をさらに備える
請求項１に記載の符号化装置。
【請求項８】
前記第１の視点の画像と同一の解像度の前記第２の視点の画像に対して、前記第２の視点の画像の解像度が前記第１の視点の画像の解像度に比べて低くなるように低解像度化処理を行う第２の視点低解像度化処理部と、
前記第２の視点低解像度化処理部による前記低解像度化処理の種類を表す低解像度変換情報を生成する低解像度変換情報生成部と、
前記符号化部による符号化の結果得られる前記第２の視点の画像の符号化データと、前記低解像度変換情報生成部により生成された前記低解像度変換情報とを伝送する伝送部と
をさらに備える
請求項１に記載の符号化装置。
【請求項９】
符号化装置が、
第１の視点の画像の解像度に比べて解像度の低い、前記第１の視点と異なる第２の視点の画像を符号化する場合に、前記第１の視点の画像の解像度が前記第２の視点の画像の解像度と同一になるように、前記第１の視点の画像に対して、解像度を低下させる低解像度化処理を行う第１の視点低解像度化処理ステップと、
前記第１の視点低解像度化処理ステップの処理による低解像度化処理後の前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する予測ステップと、
前記予測ステップの処理により生成された前記予測画像を用いて、前記第２の視点の画像を符号化する符号化ステップと
を含む符号化方法。
【請求項１０】
第１の視点の画像の解像度に比べて解像度の低い、前記第１の視点と異なる第２の視点の画像の符号化データを復号する場合に、前記第１の視点の画像の解像度が前記第２の視点の画像の解像度と同一になるように、前記第１の視点の画像に対して、解像度を低下させる低解像度化処理を行う第１の視点低解像度化処理部と、
前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する予測部と、
前記予測部により予測された前記予測画像を用いて、前記第２の視点の画像の符号化データを復号する復号部と
を備える復号装置。
【請求項１１】
複数の異なる前記第２の視点の画像が多重化された画像である多重化画像の符号化データを復号する場合に、前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像を、前記多重化画像を構成する前記第２の視点の画像の数だけ複製して多重化する多重化部
をさらに備え、
前記予測部は、前記多重化部により多重化された前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する
請求項１０に記載の復号装置。
【請求項１２】
前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像をワーピングすることにより、低解像度化処理後の前記第１の視点の画像を前記第２の視点で得られる画像に変換したワープド画像を生成するワーピング部
をさらに備え、
前記予測部は、前記ワーピング部により生成された前記ワープド画像を参照して、前記予測画像を生成する
請求項１０に記載の復号装置。
【請求項１３】
前記第２の視点の画像の符号化データと、前記第２の視点の画像の符号化時の予測画像の生成に前記ワープド画像を参照したことを表す情報を受信する受信部
をさらに備える
請求項１２に記載の復号装置。
【請求項１４】
前記復号部は、前記第２の視点の画像の復号対象のブロックである対象ブロックの符号化データが存在する場合、前記予測部により予測された前記予測画像を用いて、前記対象ブロックの符号化データを復号し、前記対象ブロックの符号化データが存在しない場合、前記対象ブロックに隣接するブロックの符号化データに基づいて、前記対象ブロックの復号結果を生成する
請求項１０に記載の復号装置。
【請求項１５】
前記第２の視点の画像の符号化データと、前記第２の視点の画像の符号化時に行われた前記第１の視点の画像の低解像度化処理の種類を表す低解像度変換情報とを受信する受信部
をさらに備え、
前記第１の視点低解像度化処理部は、前記受信部により受信された前記低解像度変換情報に基づいて、前記第１の視点の画像に対して前記低解像度化処理を行う
請求項１０に記載の復号装置。
【請求項１６】
前記第２の視点の画像の符号化データと、前記第２の視点の画像の符号化前に、前記第１の視点の画像と同一の解像度の前記第２の視点の画像に対して、前記第２の視点の画像の解像度が前記第１の視点の画像の解像度に比べて低くなるように行われた低解像度化処理の種類を表す低解像度変換情報とを受信する受信部と、
前記受信部により受信された前記低解像度変換情報に基づいて、前記復号部による復号の結果得られる前記第２の視点の画像に対して、その第２の視点の画像の解像度が前記第１の視点の画像の解像度と同一になるように、解像度を高める高解像度化処理を行う高解像度化処理部と
をさらに備える
請求項１０に記載の復号装置。
【請求項１７】
復号装置が、
第１の視点の画像の解像度に比べて解像度の低い、前記第１の視点と異なる第２の視点の画像の符号化データを復号する場合に、前記第１の視点の画像の解像度が前記第２の視点の画像の解像度と同一になるように、前記第１の視点の画像に対して、解像度を低下させる低解像度化処理を行う第１の視点低解像度化処理ステップと、
前記第１の視点低解像度化処理ステップの処理による低解像度化処理後の前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する予測ステップと、
前記予測ステップの処理により予測された前記予測画像を用いて、前記第２の視点の画像の符号化データを復号する復号ステップと
復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、符号化装置および符号化方法、並びに、復号装置および復号方法に関し、特に、複数の視点の画像の符号化データのデータ量を削減することができるようにした符号化装置および符号化方法、並びに、復号装置および復号方法に関する。
【背景技術】
【０００２】
3D(Dimension)画像等の複数の視点の画像を符号化する符号化方式としては、例えば、AVC(Advanced Video Coding)(H.264/AVC)方式を拡張したMVC(Multiview Video Coding)方式等がある。【０００３】
MVC方式では、符号化対象となる画像は、被写体からの光に対応する値を、画素値として有する色画像であり、複数の視点の色画像それぞれは、必要に応じて、その視点の色画像の他、他の視点の色画像をも参照して、符号化される。【０００４】
すなわち、MVC方式では、複数の視点の色画像のうちの、１つの視点の色画像が、ベースビュー(Base View)の画像とされ、他の視点の色画像は、ディペンデントビュー(Dependent View)の画像とされる。【０００５】
そして、ベースビューの画像（色画像）は、そのベースビューの画像のみを参照して符号化され、ディペンデントビューの画像（色画像）は、そのディペンデントビューの画像の他、他のディペンデントビューの画像をも必要に応じて参照して、符号化される。【０００６】
また、複数の視点の色画像と、各視点の色画像の画素ごとの視差に関する視差情報（デプス情報）を画素値として有する視差情報画像とを符号化する方法として、色画像と視差情報画像を別々に符号化する方法が提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】“Draft Call for Proposals on 3D Video Coding Technology”,INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO,MPEG2010/N11679 Guangzhou,China,October 2010
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、MVC方式等では、符号化対象となる画像の解像度は全て同一である必要がある。即ち、MVC方式では、異なる解像度の画像を参照することができない。従って、MVC方式で複数の視点の画像が符号化される場合、符号化データのデータ量は、視点分の同一の解像度の画像の符号化データのデータ量となり、多くなってしまう。【０００９】
本技術は、このような状況に鑑みてなされたものであり、複数の視点の画像の符号化データのデータ量を削減することができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の第１の側面の符号化装置は、第１の視点の画像の解像度に比べて解像度の低い、前記第１の視点と異なる第２の視点の画像を符号化する場合に、前記第１の視点の画像の解像度が前記第２の視点の画像の解像度と同一になるように、前記第１の視点の画像に対して、解像度を低下させる低解像度化処理を行う第１の視点低解像度化処理部と、前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する予測部と、前記予測部により生成された前記予測画像を用いて、前記第２の視点の画像を符号化する符号化部とを備える符号化装置である。【００１１】
本技術の第１の側面の符号化方法およびプログラムは、本技術の第１の側面の符号化装置に対応する。【００１２】
本技術の第１の側面においては、第１の視点の画像の解像度に比べて解像度の低い、前記第１の視点と異なる第２の視点の画像を符号化する場合に、前記第１の視点の画像の解像度が前記第２の視点の画像の解像度と同一になるように、前記第１の視点の画像に対して、解像度を低下させる低解像度化処理が行われ、低解像度化処理後の前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像が生成され、前記予測画像を用いて、前記第２の視点の画像が符号化される。【００１３】
本技術の第２の側面の復号装置は、第１の視点の画像の解像度に比べて解像度の低い、前記第１の視点と異なる第２の視点の画像の符号化データを復号する場合に、前記第１の視点の画像の解像度が前記第２の視点の画像の解像度と同一になるように、前記第１の視点の画像に対して、解像度を低下させる低解像度化処理を行う第１の視点低解像度化処理部と、前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する予測部と、前記予測部により予測された前記予測画像を用いて、前記第２の視点の画像の符号化データを復号する復号部とを備える復号装置である。【００１４】
本技術の第２の側面の復号方法およびプログラムは、本技術の第２の側面の復号装置に対応する。【００１５】
本技術の第２の側面においては、第１の視点の画像の解像度に比べて解像度の低い、前記第１の視点と異なる第２の視点の画像の符号化データを復号する場合に、前記第１の視点の画像の解像度が前記第２の視点の画像の解像度と同一になるように、前記第１の視点の画像に対して、解像度を低下させる低解像度化処理が行われ、低解像度化処理後の前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像が生成され、前記予測画像を用いて、前記第２の視点の画像の符号化データが復号される。【００１６】
なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１７】
また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１８】
本技術の第１の側面によれば、複数の視点の画像の符号化データのデータ量を削減することができる。【００１９】
また、本技術の第２の側面によれば、複数の視点の画像の符号化データのデータ量を削減するように符号化された符号化データを復号することができる。
【図面の簡単な説明】
【００２０】
【図１】本技術を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。
【図２】低解像度化処理後の視点画像Ｂの符号化と復号の概要を説明する図である。
【図３】図１の画像処理システムが行う画像処理を説明するフローチャートである。
【図４】図１の画像変換処理装置の構成例を示すブロック図である。
【図５】図１の多視点画像符号化装置の構成例を示すブロック図である。
【図６】図５のエンコーダの構成例を示すブロック図である。
【図７】図５の他のエンコーダの構成例を示すブロック図である。
【図８】図７の低解像度参照画像生成部の構成例を示すブロック図である。
【図９】図７のエンコーダが行う符号化処理を説明するフローチャートである。
【図１０】図１の多視点画像復号装置の構成例を示すブロック図である。
【図１１】図１０のデコーダの構成例を示すブロック図である。
【図１２】図１０のデコーダの構成例を示すブロック図である。
【図１３】図１２の低解像度参照画像生成部の構成例を示すブロック図である。
【図１４】図１２のデコーダが行う復号処理を説明するフローチャートである。
【図１５】図１の画像逆変換処理装置の構成例を示すブロック図である。
【図１６】本技術を適用した画像処理システムの第２実施の形態の構成例を示すブロック図である。
【図１７】低解像度化処理後の視点画像Ｂの符号化と復号の概要を説明する図である。
【図１８】図１６の多視点画像符号化装置の構成例を示すブロック図である。
【図１９】多視点画像生成装置の構成例を示すブロック図である。
【図２０】図１８のエンコーダの構成例を示すブロック図である。
【図２１】デコード視点Ａ視差情報画像とワープド視点Ａ視差情報画像とを説明する図である。
【図２２】図２０の視差予測部の構成例を示すブロック図である。
【図２３】図２０のエンコーダが行う符号化処理を説明するフローチャートである。
【図２４】図２３の視差予測処理を説明するフローチャートである。
【図２５】図１８の他のエンコーダの構成例を示すブロック図である。
【図２６】図２５の視差予測部の構成例を示すブロック図である。
【図２７】図２５のエンコーダが行う符号化処理を説明するフローチャートである。
【図２８】図２６の視差予測部が行う視差予測処理を説明するフローチャートである。
【図２９】図１６の多視点画像復号装置の構成例を示すブロック図である。
【図３０】図２９のデコーダの構成例を示すブロック図である。
【図３１】図３０の視差予測部の構成例を示すブロック図である。
【図３２】図３０のデコーダが行う復号処理を説明するフローチャートである。
【図３３】図３２の視差予測処理を説明するフローチャートである。
【図３４】図２９のデコーダの構成例を示すブロック図である。
【図３５】図３４の視差予測部の構成例を示すブロック図である。
【図３６】図３４のデコーダが行う復号処理を説明するフローチャートである。
【図３７】図３６の視差予測処理を説明するフローチャートである。
【図３８】基点以外の視点の数が２である場合の符号化の概要を説明する図である。
【図３９】基点以外の視点の数が２である場合の復号の概要を説明する図である。
【図４０】本技術を適用した画像処理システムの第３実施の形態の構成例を示すブロック図である。
【図４１】視点ＢＣ多重化画像の符号化の概要を説明する図である。
【図４２】視点ＢＣ多重化画像の復号の概要を説明する図である。
【図４３】図４０の画像処理システムが行う画像処理を説明するフローチャートである。
【図４４】図４０の多視点画像符号化装置の構成例を示すブロック図である。
【図４５】図４４のエンコーダの構成例を示すブロック図である。
【図４６】図４５のエンコーダが行う符号化処理を説明するフローチャートである。
【図４７】図４０の多視点画像復号装置の構成例を示すブロック図である。
【図４８】図４７のデコーダの構成例を示すブロック図である。
【図４９】図４８のデコーダが行う復号処理を説明するフローチャートである。
【図５０】視差と奥行きについて説明する図である。
【図５１】コンピュータの一実施の形態の構成例を示す図である。
【図５２】本技術を適用したテレビジョン装置の概略構成例を示す図である。
【図５３】本技術を適用した携帯電話機の概略構成例を示す図である。
【図５４】本技術を適用した記録再生装置の概略構成例を示す図である。
【図５５】本技術を適用した撮像装置の概略構成例を示す図である。
【発明を実施するための形態】
【００２１】
＜本明細書におけるデプス画像（視差情報画像）の説明＞
図５０は、視差と奥行きについて説明する図である。
【００２２】
図５０に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。
【００２３】
2012147621.tif 000003
・・・（ａ）
【００２４】
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
【００２５】
式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（視差情報画像）とする。
【００２６】
なお、デプス画像（視差情報画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差情報画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
【００２７】
視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【００２８】
【数４】
2012147621.tif 000004
【００２９】
なお、式（ｂ）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【００３０】
また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【００３１】
【数５】
2012147621.tif 000005
【００３２】
なお、式（ｃ）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【００３３】
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像（視差情報画像）とする。ここでは、デプス画像（視差情報画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
【００３４】
なお、デプス画像（視差情報画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報）とする。更に、値I又は値yをマッピングしたものをデプスマップとする。
【００３５】
＜第１実施の形態＞
［画像処理システムの第１実施の形態の構成例］
図１は、本技術を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。
【００３６】
図１において、画像処理システム１０は、画像変換処理装置１１、多視点画像符号化装置１２、多視点画像復号装置１３、および画像逆変換処理装置１４を有する。画像処理システム１０は、外部から符号化対象として入力される２視点の色画像と視差情報画像のうちの、基点とする視点以外の１視点の色画像と視差情報画像の解像度を、基点の色画像と視差情報画像の解像度に比べて低下させて符号化および復号する。
【００３７】
具体的には、画像処理システム１０の画像変換処理装置１１は、外部から符号化対象として入力される基点以外の１視点としての視点Ｂの色画像と視差情報画像に対して、解像度を低下させる低解像度化処理を行う。なお、以下では、色画像と視差情報画像を特に区別する必要がない場合、それらをまとめて視点画像といい、視点Ｂの視点画像を視点画像Ｂという。
【００３８】
画像変換処理装置１１は、低解像度化処理後の視点画像Ｂを多視点画像符号化装置１２に供給する。また、画像変換処理装置１１は、視点画像Ｂの低解像度化処理として行われるフィルタ処理のタップ数等の低解像度化処理の種類を表す情報を、視点Ｂ低解像度変換情報として生成し、多視点画像符号化装置１２に供給する。
【００３９】
なお、画像変換処理装置１１は、視点Ｂ低解像度変換情報を多視点画像符号化装置１２に供給せず、直接画像逆変換処理装置１４に送信するようにしてもよい。また、画像変換処理装置１１は、視点Ｂ低解像度変換情報を生成せず、画像変換処理装置１１と画像逆変換処理装置１４の間で予め設定されたフィルタ処理が行われるようにしてもよい。
【００４０】
多視点画像符号化装置１２は、外部から符号化対象として入力される基点としての視点Ａの視点画像であって、視点Ｂと同一の解像度の視点画像Ａを取得する。多視点画像符号化装置１２は、視点画像Ａと画像変換処理装置１１から供給される低解像度化処理後の視点画像Ｂに対して符号化を行う。このとき、多視点画像符号化装置１２は、視点画像Ａに対して低解像度化処理を行うことにより、視点画像Ａの解像度を低解像度化処理後の視点画像Ｂの解像度と同一にし、視点画像Ｂを符号化する際には、低解像度化処理後の視点画像Ａを参照する。
【００４１】
多視点画像符号化装置１２は、符号化の結果得られる視点画像Ａおよび低解像度化処理後の視点画像Ｂの符号化データ、並びに、画像変換処理装置１１から供給される視点Ｂ低解像度変換情報を多重化し、ビットストリームを生成する。そして、多視点画像符号化装置１２は、生成されたビットストリームを多視点画像復号装置１３に伝送する。また、多視点画像符号化装置１２は、視点画像Ａの低解像度化処理として行われるフィルタ処理のタップ数等の低解像度化処理の種類を表す情報を、視点Ａ低解像度変換情報として生成し、多視点画像復号装置１３に伝送する。
【００４２】
多視点画像復号装置１３は、多視点画像符号化装置１２から伝送されてくるビットストリームを受信する。多視点画像復号装置１３は、受信されたビットストリームから、視点Ｂ低解像度変換情報を抽出し、画像逆変換処理装置１４に供給する。また、多視点画像復号装置１３は、ビットストリームのうちの視点画像Ａと低解像度化処理後の視点画像Ｂの符号化データを復号する。
【００４３】
このとき、多視点画像復号装置１３は、多視点画像符号化装置１２からの視点Ａ低解像度変換情報に基づいて、復号された視点画像Ａに対して低解像度化処理を行うことにより、視点画像Ａの解像度を低解像度化処理後の視点画像Ｂの解像度と同一にする。そして、多視点画像復号装置１３は、低解像度化処理後の視点画像Ｂの符号化データを復号する際、低解像度化処理後の視点画像Ａを参照する。多視点画像復号装置１３は、復号の結果得られる視点画像Ａを出力し、低解像度化処理後の視点画像Ｂを画像逆変換処理装置１４に供給する。
【００４４】
画像逆変換処理装置１４は、高解像度化処理部として機能し、多視点画像復号装置１３から供給される視点Ｂ低解像度変換情報に基づいて、多視点画像復号装置１３から供給される低解像度化処理後の視点画像Ｂに対して、解像度を高くする高解像度化処理を行う。これにより、画像逆変換処理装置１４は、高解像度化処理後の視点画像Ｂとして、視点画像Ａと同一の解像度、即ち外部から符号化対象として入力されたときの解像度の視点画像Ｂを生成する。画像逆変換処理装置１４は、生成された視点画像Ｂを出力する。
【００４５】
［視点画像Ｂの符号化と復号の概要］
図２は、低解像度化処理後の視点画像Ｂの図１の多視点画像符号化装置１２による符号化と多視点画像復号装置１３による復号の概要を説明する図である。
【００４６】
図２の左側に示すように、多視点画像符号化装置１２では、視点画像Ａが低解像度化処理され、視点画像Ａの解像度が低解像度化処理後の視点画像Ｂと同一の解像度にされる。そして、低解像度化処理後の視点画像Ｂの符号化時に、低解像度化処理後の視点画像Ａが参照される。従って、符号化対象と、符号化時に参照される画像の解像度は同一であり、MVC方式等を利用した方式で符号化を行うことができる。
【００４７】
符号化の結果得られる低解像度化処理後の視点画像Ｂの符号化データは、視点Ａ低解像度変換情報とともに多視点画像復号装置１３に伝送される。
【００４８】
なお、図２において、視点画像Ｂの符号化データを表す４×６の正方形のうち、斜線が付された正方形は、残差や符号化に関する情報が符号化されないスキップマクロブロックを表している。また、斜線が付されていない正方形は、残差や符号化に関する情報が符号化されるマクロブロックを表している。これらのことは、後述する図１７、図３８、および図３９においても同様である。
【００４９】
また、図２の右側に示すように、多視点画像復号装置１３では、多視点画像符号化装置１２により符号化され、多視点画像復号装置１３により復号された視点画像Ａが、視点Ａ低解像度変換情報に基づいて低解像度化処理される。これにより、視点画像Ａの解像度が、低解像度化処理後の視点画像Ｂと同一の解像度にされる。そして、多視点画像符号化装置１２から伝送されてくる低解像度化処理後の視点画像Ｂの符号化データの復号時に、低解像度化処理後の視点画像Ａが参照される。従って、復号対象と、復号時に参照される画像の解像度は同一であり、MVC方式等を利用した方式で復号を行うことができる。
【００５０】
［画像処理システムの処理の説明］
図３は、図１の画像処理システム１０が行う、視点画像Ａおよび視点画像Ｂを符号化し、復号する画像処理を説明するフローチャートである。
【００５１】
ステップＳ１では、画像処理システム１０の多視点画像符号化装置１２は、外部から符号化対象として入力される視点画像Ａを取得し、処理は、ステップＳ２に進む。
【００５２】
ステップＳ２では、画像変換処理装置１１は、外部から符号化対象として入力される視点画像Ｂを取得し、処理は、ステップＳ３に進む。
【００５３】
ステップＳ３では、画像変換処理装置１１は、視点画像Ｂに対して低解像度化処理を行い、低解像度化処理後の視点画像Ｂを多視点画像符号化装置１２に供給し、処理は、ステップＳ４に進む。
【００５４】
ステップＳ４では、画像変換処理装置１１は、視点Ｂ低解像度変換情報を生成し、多視点画像符号化装置１２に供給して、処理はステップＳ５に進む。
【００５５】
ステップＳ５では、多視点画像符号化装置１２は、視点画像Ａと画像変換処理装置１１から供給される低解像度化処理後の視点画像Ｂに対して符号化処理を行う。
【００５６】
具体的には、多視点画像符号化装置１２は、視点画像Ａを符号化する。また、多視点画像符号化装置１２は、視点画像Ａに対して低解像度化処理を行うことにより低解像度化処理後の視点画像Ｂの解像度と同一の解像度の視点画像Ａを生成し、その視点画像Ａを参照して低解像度化処理後の視点画像Ｂを符号化する。そして、多視点画像符号化装置１２は、符号化の結果得られる視点画像Ａおよび低解像度化処理後の視点画像Ｂの符号化データ、並びに、画像変換処理装置１１から供給される視点Ｂ低解像度変換情報を多重化し、ビットストリームを生成する。また、多視点画像符号化装置１２は、視点Ａ低解像度変換情報を生成する。そして、処理はステップＳ６に進む。
【００５７】
ステップＳ６では、多視点画像符号化装置１２は、ビットストリームと視点Ａ低解像度変換情報を多視点画像復号装置１３に伝送し、処理は、ステップＳ７に進む。
【００５８】
ステップＳ７では、多視点画像復号装置１３は、多視点画像符号化装置１２から伝送されてくるビットストリームと視点Ａ低解像度変換情報を受信し、処理は、ステップＳ８に進む。
【００５９】
ステップＳ８では、多視点画像復号装置１３は、受信されたビットストリームから、視点画像Ａおよび低解像度化処理後の視点画像Ｂの符号化データ、並びに、視点Ｂ低解像度変換情報を抽出する。そして、多視点画像復号装置１３は、視点Ｂ低解像度変換情報を画像逆変換処理装置１４に供給し、処理は、ステップＳ９に進む。
【００６０】
ステップＳ９では、多視点画像復号装置１３は、視点画像Ａと低解像度化処理後の視点画像Ｂの符号化データに対して復号処理を行う。具体的には、多視点画像復号装置１３は、視点画像Ａの符号化データを復号し、視点画像Ａを生成する。また、多視点画像復号装置１３は、受信された視点Ａ低解像度変換情報に基づいて、復号の結果得られる視点画像Ａに対して低解像度化処理を行うことにより低解像度化処理後の視点画像Ｂと同一の解像度の視点画像Ａを生成する。そして、多視点画像復号装置１３は、その視点画像Ａを参照して低解像度化処理後の視点画像Ｂの符号化データを復号し、低解像度化処理後の視点画像Ｂを生成する。
【００６１】
多視点画像復号装置１３は、復号処理の結果得られる視点画像Ａを出力し、低解像度化処理後の視点画像Ｂを画像逆変換処理装置１４に供給して、処理はステップＳ１０に進む。
【００６２】
ステップＳ１０では、画像逆変換処理装置１４は、多視点画像復号装置１３から供給される視点Ｂ低解像度変換情報に基づいて、多視点画像復号装置１３から供給される低解像度化処理後の視点画像Ｂに対して高解像度化処理を行う。画像逆変換処理装置１４は、高解像度化処理の結果生成される、画像処理システム１０に入力されたときと同一の解像度の視点画像Ｂを出力する。そして処理は終了する。
【００６３】
［画像変換処理装置の構成例］
図４は、図１の画像変換処理装置１１の構成例を示すブロック図である。
【００６４】
図４において、画像変換処理装置１１は、低解像度変換処理部３１と低解像度変換情報生成部３２を有する。
【００６５】
画像変換処理装置１１の低解像度変換処理部３１は、第２の視点低解像度化処理部として機能し、視点画像Ｂに対して所定のフィルタ処理を低解像度化処理として行い、低解像度化処理後の視点画像Ｂを図１の多視点画像符号化装置１２に供給する。また、低解像度変換処理部３１は、低解像度化処理として行ったフィルタ処理のタップ数等の情報を、低解像度変換情報生成部３２に供給する。
【００６６】
低解像度変換情報生成部３２は、低解像度変換処理部３１から供給されるフィルタ処理のタップ数等の情報に基づいて視点Ｂ低解像度変換情報を生成し、多視点画像符号化装置１２に供給する。
【００６７】
［多視点画像符号化装置の構成例］
図５は、図１の多視点画像符号化装置１２の構成例を示すブロック図である。
【００６８】
図５の多視点画像符号化装置１２は、例えば、MVC方式を利用して、複数の視点の画像を符号化する符号化装置であり、以下では、MVC方式と同様の処理については、適宜、説明を省略する。
【００６９】
図５において、多視点画像符号化装置１２は、エンコーダ５１乃至５４，DPB（Decoded Picture Buffer）５５、多重化部５６、および送信部５７を有する。
【００７０】
多視点画像符号化装置１２は、基点の視点画像ＡをMVC方式におけるベースビューとして符号化し、基点以外の視点の視点画像ＢをMVC方式におけるディペンデントビューとして符号化する。
【００７１】
具体的には、多視点画像符号化装置１２のエンコーダ５１は、外部から符号化対象として入力される視点Ａの色画像を符号化し、その結果得られる視点Ａの色画像の符号化データを、多重化部５６に供給する。
【００７２】
エンコーダ５２は、画像変換処理装置１１から供給される低解像度化処理後の視点Ｂの色画像を符号化し、その結果得られる視点Ｂの色画像の符号化データを、多重化部５６に供給する。また、エンコーダ５２は、視点Ａ低解像度変換情報を生成し、送信部５７に供給する。
【００７３】
エンコーダ５３は、外部から符号化対象として入力される視点Ａの視差情報画像を、符号化し、その結果得られる視点Ａの視差情報画像の符号化データを、多重化部５６に供給する。
【００７４】
エンコーダ５４は、画像変換処理装置１１から供給される低解像度化処理後の視点Ｂの視差情報画像を符号化し、その結果得られる視点Ｂの視差情報画像の符号化データを、多重化部５６に供給する。また、エンコーダ５４は、視点Ａ低解像度変換情報を生成し、送信部５７に供給する。
【００７５】
DPB５５は、エンコーダ５１乃至５４それぞれで、符号化対象の画像を符号化し、ローカルデコードすることにより得られるローカルデコード後の画像（デコード画像）を、予測画像の生成時に参照する参照ピクチャ（の候補）として一時記憶する。
【００７６】
即ち、エンコーダ５１乃至５４は、符号化対象の画像を予測符号化する。そのため、エンコーダ５１乃至５４は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
【００７７】
DPB５５は、エンコーダ５１乃至５４それぞれで得られるデコード画像を一時記憶する、いわば共用のバッファであり、エンコーダ５１乃至５４それぞれは、DPB５５に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照ピクチャを選択する。そして、エンコーダ５１乃至５４それぞれは、参照ピクチャを用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
【００７８】
DPB５５は、エンコーダ５１乃至５４で共用されるので、エンコーダ５１乃至５４それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
【００７９】
多重化部５６には、エンコーダ５１乃至５４のそれぞれから符号化データが供給される他、画像変換処理装置１１から視点Ｂ低解像度変換情報が供給される。
【００８０】
多重化部５６と送信部５７は、伝送部として機能する。具体的には、多重化部５６は、エンコーダ５１乃至５４のそれぞれからの符号化データ、および、視点Ｂ低解像度変換情報を多重化してビットストリームを生成する。多重化部５６は、ビットストリームを図１の多視点画像復号装置１３に伝送する。
【００８１】
送信部５７は、エンコーダ５２およびエンコーダ５４から供給される視点Ａ低解像度変換情報を、多視点画像復号装置１３に伝送する。
【００８２】
［エンコーダ５１の構成例］
図６は、図５のエンコーダ５１の構成例を示すブロック図である。
【００８３】
なお、図５のエンコーダ５３も、エンコーダ５１と同様に構成され、例えば、MVC方式にしたがって、画像の符号化を行う。
【００８４】
図６において、エンコーダ５１は、A/D(Analog/Digital)変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、および、予測画像選択部１２４を有する。
【００８５】
A/D変換部１１１には、符号化対象の画像（動画像）である視点Ａの色画像のピクチャが、表示順に、順次、供給される。
【００８６】
A/D変換部１１１は、そこに供給されるピクチャが、アナログ信号である場合には、そのアナログ信号をA/D変換し、画面並び替えバッファ１１２に供給する。
【００８７】
画面並び替えバッファ１１２は、A/D変換部１１１からのピクチャを一時記憶し、予め決められたGOP(Group of Pictures)の構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。
【００８８】
画面並び替えバッファ１１２から読み出されたピクチャは、演算部１１３、画面内予測部１２２、及び、インター予測部１２３に供給される。
【００８９】
演算部１１３には、画面並び替えバッファ１１２から、ピクチャが供給される他、予測画像選択部１２４から、画面内予測部１２２、又は、インター予測部１２３で生成された予測画像が供給される。
【００９０】
演算部１１３は、画面並び替えバッファ１１２から読み出されたピクチャを、符号化対象のピクチャである対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。
【００９１】
そして、演算部１１３は、対象ブロックの画素値から、予測画像選択部１２４から供給される予測画像の画素値を減算した減算値を、必要に応じて演算することにより予測符号化を行い、直交変換部１１４に供給する。
【００９２】
直交変換部１１４は、演算部１１３からの対象ブロック（の画素値、又は、予測画像が減算された残差）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部１１５に供給する。
【００９３】
量子化部１１５は、直交変換部１１４から供給される変換係数を量子化し、その結果得られる量子化値を、可変長符号化部１１６に供給する。
【００９４】
可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化（例えば、CAVLC(Context-Adaptive Variable Length Coding)等）や、算術符号化（例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)等）等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ１１７に供給する。
【００９５】
なお、可変長符号化部１１６には、量子化部１１５から量子化値が供給される他、画面内予測部１２２やインター予測部１２３から、符号化データのヘッダに含めるヘッダ情報が供給される。
【００９６】
可変長符号化部１１６は、画面内予測部１２２やインター予測部１２３からの、ヘッダ情報を符号化し、符号化データのヘッダに含める。
【００９７】
蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶し、所定のデータレートで出力する。
【００９８】
蓄積バッファ１１７から出力された符号化データは、多重化部５６（図５）に供給される。
【００９９】
量子化部１１５で得られた量子化値は、可変長符号化部１１６に供給される他、逆量子化部１１８にも供給され、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０において、ローカルデコードが行われる。
【０１００】
すなわち、逆量子化部１１８は、量子化部１１５からの量子化値を、変換係数に逆量子化し、逆直交変換部１１９に供給する。  
【０１０１】
逆直交変換部１１９は、逆量子化部１１８からの変換係数を逆直交変換し、演算部１２０に供給する。
【０１０２】
演算部１２０は、逆直交変換部１１９から供給されるデータに対して、必要に応じて、予測画像選択部１２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード画像を得て、デブロッキングフィルタ１２１に供給する。
【０１０３】
デブロッキングフィルタ１２１は、演算部１２０からのデコード画像をフィルタリングすることにより、デコード画像に生じたブロック歪を除去（低減）し、DPB５５に供給する。
【０１０４】
ここで、DPB５５は、デブロッキングフィルタ１２１からのデコード画像、すなわち、エンコーダ５１において符号化されてローカルデコードされた視点Ａの色画像のピクチャを、時間的に後に行われる予測符号化（演算部１１３で予測画像の減算が行われる符号化）に用いる予測画像を生成するときに参照する参照ピクチャ（の候補）として記憶する。
【０１０５】
図５で説明したように、DPB５５は、エンコーダ５１乃至５４で共用されるので、エンコーダ５１において符号化されてローカルデコードされた視点Ａの色画像のピクチャの他、エンコーダ５２において符号化されてローカルデコードされた視点Ｂの色画像のピクチャ、エンコーダ５３において符号化されてローカルデコードされた視点Ａの視差情報画像のピクチャ、および、エンコーダ５２において符号化されてローカルデコードされた視点Ｂの視差情報画像のピクチャも記憶する。
【０１０６】
なお、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０によるローカルデコードは、例えば、参照ピクチャとなることが可能な参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャを対象として行われ、DPB５５では、Iピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像が記憶される。
【０１０７】
画面内予測部１２２は、対象ピクチャが、イントラ予測（画面内予測）され得るIピクチャ、Pピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB５５から、対象ピクチャのうちの、既にローカルデコードされている部分（デコード画像）を読み出す。そして、画面内予測部１２２は、DPB５５から読み出した、対象ピクチャのうちのデコード画像の一部を、画面並び替えバッファ１１２から供給される対象ピクチャの対象ブロックの予測画像とする。
【０１０８】
さらに、画面内予測部１２２は、予測画像を用いて対象ブロックを符号化するのに要する符号化コスト、すなわち、対象ブロックの、予測画像に対する残差等を符号化するのに要する符号化コストを求め、予測画像とともに、予測画像選択部１２４に供給する。
【０１０９】
インター予測部１２３は、対象ピクチャが、インター予測され得るPピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB５５から、対象ピクチャより前に符号化されてローカルデコードされた１以上のピクチャを、候補ピクチャ（参照ピクチャの候補）として読み出す。
【０１１０】
また、インター予測部１２３は、画面並び替えバッファ１１２からの対象ピクチャの対象ブロックと、候補ピクチャとを用いたME(Motion Estimation)（動き検出）によって、対象ブロックと、候補ピクチャの、対象ブロックに対応する対応ブロック（対象ブロックとのSAD(Sum of Absolute Differences)を最小にするブロック）とのずれとしての動き（時間的なずれ）を表すずれベクトルを検出する。
【０１１１】
インター予測部１２３は、対象ブロックのずれベクトルに従って、DPB５５からの候補ピクチャの動き分のずれを補償する動き補償を行うことで、予測画像を生成する。
【０１１２】
すなわち、インター予測部１２３は、候補ピクチャの、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（領域）である対応ブロックを、予測画像として取得する。
【０１１３】
さらに、インター予測部１２３は、対象ブロックを予測画像を用いて符号化するのに要する符号化コストを、予測画像の生成に用いる候補ピクチャや、マクロブロックタイプが異なるインター予測モードごとに求める。
【０１１４】
そして、インター予測部１２３は、符号化コストが最小のインター予測モードを、最適なインター予測モードである最適インター予測モードとして、その最適インター予測モードで得られた予測画像と符号化コストとを、予測画像選択部１２４に供給する。
【０１１５】
予測画像選択部１２４は、画面内予測部１２２、及び、インター予測部１２３それぞれからの予測画像のうちの、符号化コストが小さい方を選択し、演算部１１３、及び、１２０に供給する。
【０１１６】
ここで、画面内予測部１２２は、イントラ予測に関する情報を、ヘッダ情報として、可変長符号化部１１６に供給し、インター予測部１２３は、インター予測に関する情報（ずれベクトルの情報等）を、ヘッダ情報として、可変長符号化部１１６に供給する。
【０１１７】
可変長符号化部１１６は、画面内予測部１２２、及び、インター予測部１２３それぞれからのヘッダ情報のうちの、符号化コストが小さい予測画像が生成された方からのヘッダ情報を選択し、符号化データのヘッダに含める。
【０１１８】
［エンコーダ５２の構成例］
図７は、図５のエンコーダ５２の構成例を示すブロック図である。
【０１１９】
なお、図５のエンコーダ５４も、エンコーダ５２と同様に構成され、例えば、MVC方式にしたがって、画像の符号化を行う。
【０１２０】
図７において、エンコーダ５２は、A/D変換部１４１、画面並び替えバッファ１４２、演算部１４３、直交変換部１４４、量子化部１４５、可変長符号化部１４６、蓄積バッファ１４７、逆量子化部１４８、逆直交変換部１４９、演算部１５０、デブロッキングフィルタ１５１、低解像度参照画像生成部１５２、画面内予測部１５３、インター予測部１５４、および予測画像選択部１５５を有する。
【０１２１】
エンコーダ５２のA/D変換部１４１、画面並び替えバッファ１４２、演算部１４３、直交変換部１４４、量子化部１４５、可変長符号化部１４６、蓄積バッファ１４７、逆量子化部１４８、逆直交変換部１４９、演算部１５０、デブロッキングフィルタ１５１、画面内予測部１５３、および予測画像選択部１５５は、それぞれ、図６のA/D変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、予測画像選択部１２４と同様であるので、説明は省略する。
【０１２２】
エンコーダ５２の低解像度参照画像生成部１５２は、画面並び替えバッファ１４２から読み出された所定のピクチャの解像度を検出する。例えば、低解像度参照画像生成部１５２は、シーケンスやGOPの先頭のピクチャの解像度を検出する。
【０１２３】
また、低解像度参照画像生成部１５２は、第１の視点低解像度化処理部として機能する。具体的には、低解像度参照画像生成部１５２は、DPB５５から候補ピクチャとして読み出されるローカルデコードされた視点Ａの色画像のピクチャに対して所定のフィルタ処理を低解像度化処理として行い、候補ピクチャの解像度を、検出された解像度と同一の解像度にする。即ち、低解像度参照画像生成部１５２は、候補ピクチャとして読み出される視点Ａの色画像のピクチャの解像度を、対象ピクチャである視点Ｂの色画像のピクチャの解像度と同一にする。そして、低解像度参照画像生成部１５２は、低解像度化処理後の候補ピクチャをインター予測部１５４に供給する。
【０１２４】
さらに、低解像度参照画像生成部１５２は、DPB５５から読み出された対象ピクチャのデコード画像のうちの、既にローカルデコードされている部分を、そのまま画面内予測部１５３に供給する。即ち、DPB５５から読み出された対象ピクチャのデコード画像の解像度は、対象ピクチャの解像度と同一である。従って、DPB５５から読み出された対象ピクチャのデコード画像は、そのまま画面内予測部１５３に供給される。
【０１２５】
また、低解像度参照画像生成部１５２は、DPB５５から候補ピクチャとして読み出されたローカルデコードされた視点Ｂの色画像の対象ピクチャと異なるピクチャを、そのままインター予測部１５４に供給する。即ち、DPB５５から候補ピクチャとして読み出されたローカルデコードされた視点Ｂの色画像の対象ピクチャと異なるピクチャの解像度は、対象ピクチャの解像度と同一である。従って、DPB５５から候補ピクチャとして読み出されたローカルデコードされた視点Ｂの色画像の対象ピクチャと異なるピクチャは、そのままインター予測部１５４に供給される。また、低解像度参照画像生成部１５２は、視点Ａ低解像度変換情報を生成し、図５の送信部５７に供給する。
【０１２６】
インター予測部１５４は、対象ピクチャが、インター予測され得るPピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB５５から低解像度参照画像生成部１５２を介して、対象ピクチャより前に符号化されてローカルデコードされた１以上のピクチャを、候補ピクチャとして読み出す。
【０１２７】
また、インター予測部１５４は、画面並び替えバッファ１４２からの対象ピクチャの対象ブロックと、候補ピクチャとを用いたMEによって、ずれベクトルとして動きまたは視差（空間的なずれ）を表すベクトルを検出する。
【０１２８】
具体的には、候補ピクチャが、対象ピクチャと同一の視点のピクチャである場合、対象ブロックと候補ピクチャとを用いたMEによって検出されるずれベクトルは、対象ブロックと、候補ピクチャとの間の動きを表す動きベクトルとなる。
【０１２９】
また、候補ピクチャが、対象ピクチャと異なる視点のピクチャである場合、対象ブロックと候補ピクチャとを用いたMEによって検出されるずれベクトルは、対象ブロックと、候補ピクチャとの間の視差を表す視差ベクトルとなる。
【０１３０】
以上のように、MEによって求められる視差ベクトルを、後述する多視点画像生成装置における視差ベクトルと区別するために、計算視差ベクトルともいう。
【０１３１】
インター予測部１５４は、対象ブロックのずれベクトルに従って、DPB５５からの候補ピクチャの動き分のずれを補償する動き補償、または、視差分のずれを補償する視差補償を、ずれを補償するずれ補償として行うことで、予測画像を生成する。
【０１３２】
また、インター予測部１５４は、図６のインター予測部１２３と同様に、符号化コストをインター予測モードごとに求める。
【０１３３】
そして、インター予測部１５４は、インター予測部１２３と同様に、最適インター予測モードを決定し、その最適インター予測モードで得られた予測画像と符号化コストとを、予測画像選択部１５５に供給する。
【０１３４】
［低解像度参照画像生成部の構成例］
図８は、図７の低解像度参照画像生成部１５２の構成例を示すブロック図である。
【０１３５】
図８の低解像度参照画像生成部１５２は、低解像度変換処理部１７１と低解像度変換情報生成部１７２により構成される。
【０１３６】
低解像度参照画像生成部１５２の低解像度変換処理部１７１は、画面並び替えバッファ１４２から読み出された所定のピクチャの解像度を検出する。また、低解像度変換処理部１７１は、DPB５５から候補ピクチャとして読み出されるローカルデコードされた視点Ａの色画像のピクチャに対して所定のフィルタ処理を低解像度化処理として行い、候補ピクチャの解像度を、検出された解像度と同一の解像度にする。そして、低解像度変換処理部１７１は、低解像度化処理後の候補ピクチャをインター予測部１５４（図７）に供給する。
【０１３７】
また、低解像度変換処理部１７１は、DPB５５から読み出された対象ピクチャのデコード画像のうちの、既にローカルデコードされている部分を、そのまま画面内予測部１５３に供給する。さらに、低解像度変換処理部１７１は、DPB５５から候補ピクチャとして読み出されたローカルデコードされた視点Ｂの色画像の対象ピクチャと異なるピクチャを、そのままインター予測部１５４に供給する。さらに、低解像度変換処理部１７１は、低解像度化処理として行ったフィルタ処理のタップ数等の情報を、低解像度変換情報生成部１７２に供給する。
【０１３８】
低解像度変換情報生成部１７２は、低解像度変換処理部１７１から供給されるフィルタ処理のタップ数等の情報に基づいて、視点Ａ低解像度変換情報を生成し、図５の送信部５７に供給する。
【０１３９】
[エンコーダ５２の処理の説明]
図９は、図３のステップＳ５において、図７のエンコーダ５２が行う、視点Ｂの色画像を符号化する符号化処理を説明するフローチャートである。
【０１４０】
ステップＳ１１では、A/D変換部１４１は、図１の画像変換処理装置１１から供給される視点Ｂの色画像のピクチャのアナログ信号をA/D変換し、画面並び替えバッファ１４２に供給して、処理は、ステップＳ１２に進む。
【０１４１】
ステップＳ１２では、画面並び替えバッファ１４２は、A/D変換部１４１からの視点Ｂの色画像のピクチャを一時記憶し、あらかじめ決められたGOPの構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順に並び替える並び替えを行う。
【０１４２】
画面並び替えバッファ１４２から読み出されたピクチャは、演算部１４３、低解像度参照画像生成部１５２、画面内予測部１５３、及び、インター予測部１５４に供給され、処理は、ステップＳ１２からステップＳ１３に進む。
【０１４３】
ステップＳ１３では、演算部１４３は、画面並び替えバッファ１４２からの視点Ｂの色画像のピクチャを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。
【０１４４】
そして、演算部１４３は、対象ブロックの画素値と、予測画像選択部１５５から供給される予測画像の画素値との差分（残差）を、必要に応じて演算し、直交変換部１４４に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
【０１４５】
ステップＳ１４では、直交変換部１４４は、演算部１４３からの対象ブロックに対して直交変換を施し、その結果得られる変換係数を、量子化部１４５に供給して、処理は、ステップＳ１５に進む。
【０１４６】
量子化部１４５は、直交変換部１４４から供給される変換係数を量子化し、その結果得られる量子化値を、逆量子化部１４８、及び、可変長符号化部１４６に供給して、処理は、ステップＳ１６に進む。
【０１４７】
ステップＳ１６では、逆量子化部１４８は、量子化部１４５からの量子化値を、変換係数に逆量子化し、逆直交変換部１４９に供給して、処理は、ステップＳ１７に進む。
【０１４８】
ステップＳ１７では、逆直交変換部１４９は、逆量子化部１４８からの変換係数を逆直交変換し、演算部１５０に供給して、処理は、ステップＳ１８に進む。
【０１４９】
ステップＳ１８では、演算部１５０は、逆直交変換部１４９から供給されるデータに対して、必要に応じて、予測画像選択部１５５から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード視点Ｂ色画像を求める。そして、演算部１５０は、対象ブロックのデコード視点Ｂ色画像を、デブロッキングフィルタ１５１に供給して、処理は、ステップＳ１８からステップＳ１９に進む。
【０１５０】
ステップＳ１９では、デブロッキングフィルタ１５１は、演算部１５０からのデコード視点Ｂ色画像をフィルタリングし、DPB５５に供給して、処理は、ステップＳ２０に進む。
【０１５１】
ステップＳ２０では、DPB５５が、視点Ａの色画像を符号化するエンコーダ５１から、その視点Ａの色画像を符号化して、ローカルデコードすることにより得られるデコード視点Ａ色画像が供給されるのを待って、そのデコード視点Ａ色画像を記憶し、処理は、ステップＳ２１に進む。
【０１５２】
ステップＳ２１では、DPB５５が、デブロッキングフィルタ１５１からのデコード視点Ｂ色画像を記憶し、処理は、ステップＳ２２に進む。
【０１５３】
ステップＳ２２では、低解像度参照画像生成部１５２の低解像度変換処理部１７１（図８）は、視点Ｂの色画像の所定のピクチャから検出された解像度に基づいて、DPB５５から候補ピクチャとして読み出されるデコード視点Ａ色画像のピクチャに対して低解像度化処理を行う。これにより、低解像度変換処理部１７１は、読み出されたデコード視点Ａ色画像のピクチャの解像度を対象ピクチャの解像度と同一にし、インター予測部１５４に供給する。
【０１５４】
また、低解像度変換処理部１７１は、DPB５５から読み出される対象ピクチャのデコード画像のうちの、既にローカルデコードされている部分を、そのまま画面内予測部１５３に供給する。さらに、低解像度変換処理部１７１は、DPB５５から候補ピクチャとして読み出されるデコード視点Ｂ色画像のピクチャをそのままインター予測部１５４に供給する。さらに、低解像度変換処理部１７１は、低解像度化処理として行ったフィルタ処理のタップ数等の情報を、低解像度変換情報生成部１７２に供給する。そして、処理はステップＳ２２からステップＳ２３に進む。
【０１５５】
ステップＳ２３では、低解像度参照画像生成部１５２の低解像度変換情報生成部１７２は、低解像度変換処理部１７１から供給されるフィルタ処理のタップ数等の情報に基づいて、視点Ａ低解像度変換情報を生成し、図５の送信部５７に供給する。そして、処理はステップＳ２３からステップＳ２４に進む。
【０１５６】
ステップＳ２４では、画面内予測部１５３は、次に符号化の対象となるマクロブロックである次の対象ブロックについて、イントラ予測処理（画面内予測処理）を行う。
【０１５７】
すなわち、画面内予測部１５３は、次の対象ブロックについて、DPB５５から低解像度変換処理部１７１を介して読み出されたデコード視点Ｂ色画像のピクチャから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行う。
【０１５８】
そして、画面内予測部１５３は、符号化コストを求め、イントラ予測の予測画像とともに、予測画像選択部１５５に供給して、処理は、ステップＳ２４からステップＳ２５に進む。
【０１５９】
ステップＳ２５では、インター予測部１５４は、次の対象ブロックについて、デコード視点Ａ色画像のピクチャを、候補ピクチャとして、ずれ補償処理を行う。
【０１６０】
すなわち、インター予測部１５４は、次の対象ブロックについて、DPB５５から低解像度変換処理部１７１を介して読み出された低解像度化処理後のデコード視点Ａ色画像のピクチャを用いて、視差分のずれを補償する視差補償を行うことにより、インター予測モードごとに、予測画像や符号化コスト等を求める。また、インター予測部１５４は、次の対象ブロックについて、DPB５５から低解像度変換処理部１７１を介して読み出されたデコード視点Ｂ色画像のピクチャを用いて、動き分のずれを補償する動き補償を行うことにより、インター予測モードごとに、予測画像や符号化コスト等を求める。
【０１６１】
さらに、インター予測部１５４は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、符号化コストとともに、予測画像選択部１５５に供給して、処理は、ステップＳ２５からステップＳ２６に進む。
【０１６２】
ステップＳ２６では、予測画像選択部１５５は、画面内予測部１５３からの予測画像（イントラ予測の予測画像）、及び、インター予測部１５４からの予測画像（インター予測の予測画像）のうちの、例えば、符号化コストが小さい方の予測画像を選択し、演算部１４３及び１５０に供給して、処理は、ステップＳ２７に進む。
【０１６３】
ここで、予測画像選択部１５５がステップＳ２６で選択する予測画像が、次の対象ブロックの符号化で行われるステップＳ１３やＳ１８の処理で用いられる。
【０１６４】
また、画面内予測部１５３は、ステップＳ２４のイントラ予測処理において得られるイントラ予測に関する情報を、ヘッダ情報として、可変長符号化部１４６に供給し、インター予測部１５４は、ステップＳ２５のずれ補償処理で得られる視差予測または動き予測（インター予測）に関する情報を、ヘッダ情報として、可変長符号化部１４６に供給する。
【０１６５】
ステップＳ２７では、可変長符号化部１４６は、量子化部１４５からの量子化値に対して、可変長符号化を施し、符号化データを得る。
【０１６６】
さらに、可変長符号化部１４６は、画面内予測部１５３、及び、インター予測部１５４それぞれからのヘッダ情報のうちの、符号化コストが小さい予測画像が生成された方からのヘッダ情報を選択し、符号化データのヘッダに含める。
【０１６７】
そして、可変長符号化部１４６は、符号化データを、蓄積バッファ１４７に供給して、処理は、ステップＳ２７からステップＳ２８に進む。
【０１６８】
ステップＳ２８では、蓄積バッファ１４７は、可変長符号化部１４６からの符号化データを一時記憶し、所定のデータレートで出力する。
【０１６９】
蓄積バッファ１４７から出力された符号化データは、多重化部５６（図５）に供給される。
【０１７０】
エンコーダ５２では、以上のステップＳ１１乃至Ｓ２８の処理が、適宜繰り返し行われる。
【０１７１】
以上のように、画像処理システム１０は、視点画像Ｂの解像度を視点画像Ａの解像度に比べて低下させて符号化を行うので、同一の解像度の視点画像Ａと視点画像Ｂを符号化する場合に比べて、符号化対象（ベースバンド）のデータ量を削減することができる。その結果、符号化データのデータ量を削減することができる。また、画像処理システム１０は、低解像度化処理後の視点画像Ｂの符号化時に、視点画像Ｂと同一の解像度の低解像度化処理後の視点画像Ａを参照するので、MVC方式等を利用した方式で符号化を行うことができる。
【０１７２】
これに対して、低解像度化処理後の視点画像Ｂに対して高解像度化処理を行って符号化対象と参照する視点画像Ａの解像度を同一にすることにより、MVC方式等を利用した方式で符号化を行うことを可能にする場合、符号化データのデータ量は削減されない。従って、符号化データのデータ量を削減するためには、符号化側で符号化データを間引き、復号側で隣接画素を用いた補間等により間引き前の符号化データを復元する必要がある。
【０１７３】
この場合、符号化データの復元時に誤差が発生し、復号画像の精度が劣化する可能性がある。復号後の視差情報画像の精度が劣化すると、画像処理システム１０の後段で生成される視点Ａおよび視点Ｂ以外の視点の色画像などに悪影響を及ぼす。
【０１７４】
［多視点画像復号装置の構成例］
図１０は、図１の多視点画像復号装置１３の構成例を示すブロック図である。
【０１７５】
図１０の多視点画像復号装置１３は、例えば、MVC方式を利用して、複数の視点の画像を符号化したデータを復号する復号装置であり、以下では、MVC方式と同様の処理については、適宜、説明を省略する。
【０１７６】
図１０において、多視点画像復号装置１３は、分離部３１０、デコーダ３１１乃至３１４、DPB３１５、および受信部３１６を有する。
【０１７７】
分離部３１０は、受信部として機能し、図１の多視点画像符号化装置１２から伝送されてくるビットストリームを受信する。分離部３１０は、受信されたビットストリームから、視点Ａの色画像の符号化データ、視点Ｂの色画像の符号化データ、視点Ａの視差情報画像の符号化データ、視点Ｂの視差情報画像の符号化データ、および視点Ｂ低解像度変換情報を分離する。
【０１７８】
そして、分離部３１０は、視点Ａの色画像の符号化データをデコーダ３１１に、視点Ｂの色画像の符号化データをデコーダ３１２に、視点Ａの視差情報画像の符号化データをデコーダ３１３に、視点Ｂの視差情報画像の符号化データをデコーダ３１４に、それぞれ供給する。また、分離部３１０は、視点Ｂ低解像度変換情報を図１の画像逆変換処理装置１４に供給する。
【０１７９】
デコーダ３１１は、分離部３１０からの視点Ａの色画像の符号化データを復号し、その結果得られる視点Ａの色画像を、DPB３１５に供給するとともに、出力する。
【０１８０】
デコーダ３１２は、受信部３１６から供給される視点Ａ低解像度変換情報を用いて、分離部３１０からの視点Ｂの色画像の符号化データを復号し、その結果得られる視点Ｂの色画像をDPB３１５と画像逆変換処理装置１４に供給する。
【０１８１】
デコーダ３１３は、分離部３１０からの視点Ａの視差情報画像の符号化データを復号し、その結果得られる視点Ａの視差情報画像を、DPB３１５に供給するとともに、出力する。
【０１８２】
デコーダ３１４は、受信部３１６から供給される視点Ａ低解像度変換情報を用いて、分離部３１０からの視点Ｂの視差情報画像の符号化データを復号し、その結果得られる視点Ｂの視差情報画像を、DPB３１５と画像逆変換処理装置１４に供給する。
【０１８３】
DPB３１５は、デコーダ３１１乃至３１４から供給される復号後の画像（デコード画像）を、予測画像の生成時に参照する参照ピクチャの候補として一時記憶する。
【０１８４】
即ち、デコーダ３１１乃至３１４は、それぞれ、図５のエンコーダ５１乃至５４で予測符号化された画像を復号する。
【０１８５】
予測符号化された画像を復号するには、その予測符号化で用いられた予測画像が必要であるため、デコーダ３１１乃至３１４は、予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる、復号後の画像を、DPB３１５に一時記憶させる。
【０１８６】
DPB３１５は、デコーダ３１１乃至３１４それぞれで得られる復号後の画像（デコード画像）を一時記憶する共用のバッファであり、デコーダ３１１乃至３１４それぞれは、DPB３１５に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照ピクチャを選択し、その参照ピクチャを用いて、予測画像を生成する。
【０１８７】
DPB３１５は、デコーダ３１１乃至３１４で共用されるので、デコーダ３１１乃至３１４それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。
【０１８８】
受信部３１６は、図１の多視点画像符号化装置１２から伝送されてくる視点Ａ低解像度変換情報を受信し、デコーダ３１２とデコーダ３１４に供給する。
【０１８９】
［デコーダ３１１の構成例］
図１１は、図１０のデコーダ３１１の構成例を示すブロック図である。
【０１９０】
なお、図１０のデコーダ３１３も、デコーダ３１１と同様に構成され、例えば、MVC方式に従って、画像の復号を行う。
【０１９１】
図１１において、デコーダ３１１は、蓄積バッファ３４１、可変長復号部３４２、逆量子化部３４３、逆直交変換部３４４、演算部３４５、デブロッキングフィルタ３４６、画面並び替えバッファ３４７、D/A変換部３４８、画面内予測部３４９、インター予測部３５０、及び、予測画像選択部３５１を有する。
【０１９２】
蓄積バッファ３４１には、分離部３１０（図１０）から、視点Ａの色画像の符号化データが供給される。
【０１９３】
蓄積バッファ３４１は、そこに供給される符号化データを一時記憶し、可変長復号部３４２に供給する。
【０１９４】
可変長復号部３４２は、蓄積バッファ３４１からの符号化データを可変長復号することにより、量子化値やヘッダ情報を復元する。そして、可変長復号部３４２は、量子化値を、逆量子化部３４３に供給し、ヘッダ情報を、画面内予測部３４９、及び、インター予測部３５０に供給する。
【０１９５】
逆量子化部３４３は、可変長復号部３４２からの量子化値を、変換係数に逆量子化し、逆直交変換部３４４に供給する。
【０１９６】
逆直交変換部３４４は、逆量子化部３４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部３４５に供給する。
【０１９７】
演算部３４５は、逆直交変換部３４４から供給されるマクロブロックを復号対象の対象ブロックとして、その対象ブロックに対して、必要に応じて、予測画像選択部３５１から供給される予測画像を加算することで、復号を行う。演算部３４５は、その結果得られるデコード画像をデブロッキングフィルタ３４６に供給する。
【０１９８】
デブロッキングフィルタ３４６は、演算部３４５からのデコード画像に対して、例えば、図６のデブロッキングフィルタ１２１と同様のフィルタリングを行い、そのフィルタリング後のデコード画像を、画面並び替えバッファ３４７に供給する。
【０１９９】
画面並び替えバッファ３４７は、デブロッキングフィルタ３４６からのデコード画像のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、D/A(Digital/Analog)変換部３４８に供給する。
【０２００】
D/A変換部３４８は、画面並び替えバッファ３４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
【０２０１】
また、デブロッキングフィルタ３４６は、フィルタリング後のデコード画像のうちの、参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像を、DPB３１５に供給する。
【０２０２】
ここで、DPB３１５は、デブロッキングフィルタ３４６からのデコード画像のピクチャ、すなわち、視点Ａの色画像のピクチャを、時間的に後に行われる復号に用いる予測画像を生成するときに参照する参照ピクチャの候補（候補ピクチャ）として記憶する。
【０２０３】
図１０で説明したように、DPB３１５は、デコーダ３１１乃至３１４で共用されるので、デコーダ３１１において復号された視点Ａの色画像（デコード視点Ａ色画像）のピクチャの他、デコーダ３１２において復号された視点Ｂの色画像（デコード視点Ｂ色画像）のピクチャ、デコーダ３１３において復号された視点Ａの視差情報画像（デコード視点Ａ視差情報画像）のピクチャ、及び、デコーダ３１４において復号された視点Ｂの視差情報画像（デコード視点Ｂ視差情報画像）のピクチャも記憶する。
【０２０４】
画面内予測部３４９は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックが、イントラ予測（画面内予測）で生成された予測画像を用いて符号化されているかどうかを認識する。
【０２０５】
対象ブロックが、イントラ予測で生成された予測画像を用いて符号化されている場合、画面内予測部３４９は、図６の画面内予測部１２２と同様に、DPB３１５から、対象ブロックを含むピクチャ（対象ピクチャ）のうちの、既に復号されている部分（デコード画像）を読み出す。そして、画面内予測部３４９は、DPB３１５から読み出した、対象ピクチャのうちのデコード画像の一部を、対象ブロックの予測画像として、予測画像選択部３５１に供給する。
【０２０６】
インター予測部３５０は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックが、インター予測で生成された予測画像を用いて符号化されているかどうかを認識する。
【０２０７】
対象ブロックが、インター予測で生成された予測画像を用いて符号化されている場合、インター予測部３５０は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックの最適インター予測モードを認識し、DPB３１５に記憶されている候補ピクチャから、最適インター予測モードに対応する候補ピクチャを、参照ピクチャとして読み出す。
【０２０８】
さらに、インター予測部３５０は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられた動きを表すずれベクトルを認識し、図６のインター予測部１２３と同様に、そのずれベクトルに従って、参照ピクチャの動き補償を行うことで、予測画像を生成する。
【０２０９】
すなわち、インター予測部３５０は、候補ピクチャの、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
【０２１０】
そして、インター予測部３５０は、予測画像を、予測画像選択部３５１に供給する。
【０２１１】
予測画像選択部３５１は、画面内予測部３４９から予測画像が供給される場合には、その予測画像を、インター予測部３５０から予測画像が供給される場合には、その予測画像を、それぞれ選択し、演算部３４５に供給する。
【０２１２】
［デコーダ３１２の構成例］
図１２は、図１０のデコーダ３１２の構成例を示すブロック図である。
【０２１３】
なお、図１０のデコーダ３１４も、デコーダ３１２と同様に構成され、例えば、MVC方式にしたがって、画像の復号を行う。
【０２１４】
図１２において、デコーダ３１４は、蓄積バッファ３７１、可変長復号部３７２、逆量子化部３７３、逆直交変換部３７４、演算部３７５、デブロッキングフィルタ３７６、画面並び替えバッファ３７７、D/A変換部３７８、低解像度参照画像生成部３７９、画面内予測部３８０、インター予測部３８１、および予測画像選択部３８２を有する。
【０２１５】
デコーダ３１４の蓄積バッファ３７１、可変長復号部３７２、逆量子化部３７３、逆直交変換部３７４、演算部３７５、デブロッキングフィルタ３７６、画面並び替えバッファ３７７、D/A変換部３７８、画面内予測部３８０、および予測画像選択部３８２は、それぞれ、蓄積バッファ３４１、可変長復号部３４２、逆量子化部３４３、逆直交変換部３４４、演算部３４５、デブロッキングフィルタ３４６、画面並び替えバッファ３４７、D/A変換部３４８、画面内予測部３４９、予測画像選択部３５１と同様であるので、説明は省略する。
【０２１６】
対象ブロックが、イントラ予測で生成された予測画像を用いて符号化されている場合、画面内予測部３８０により、図７の画面内予測部１５３と同様に、DPB３１５から、対象ブロックを含むピクチャ（対象ピクチャ）のうちの、既に復号されている部分（デコード画像）が対象ブロックの予測画像として読み出され、低解像度参照画像生成部３７９に供給される。
【０２１７】
対象ブロックが、インター予測で生成された予測画像を用いて符号化されている場合、インター予測部３８１により、DPB３１５に記憶されている候補ピクチャから、ヘッダ情報に含まれる最適インター予測モードに対応する候補ピクチャが参照ピクチャとして読み出され、低解像度参照画像生成部３７９に供給される。
【０２１８】
低解像度参照画像生成部３７９は、DPB３１５から対象ブロックの予測画像として読み出された対象ピクチャのうちのデコード画像の一部を、そのまま画面内予測部３８０に供給する。即ち、対象ブロックの予測画像として読み出された対象ピクチャのうちのデコード画像の一部の解像度は、対象ピクチャの解像度と同一である。従って、DPB３１５から対象ブロックの予測画像として読み出された対象ピクチャのうちのデコード画像の一部は、そのまま画面内予測部３８０に供給される。
【０２１９】
また、低解像度参照画像生成部３７９は、第１の視点低解像度化処理部として機能し、受信部３１６から供給される視点Ａ低解像度変換情報に基づいて、DPB３１５から参照ピクチャとして読み出されたデコード視点Ａ色画像のピクチャ対して、所定のフィルタ処理を低解像度化処理として行う。これにより、低解像度参照画像生成部３７９は、候補ピクチャの解像度を、対象ピクチャである視点画像Ｂの色画像のピクチャの解像度と同一にする。そして、低解像度参照画像生成部３７９は、低解像度化処理後の参照ピクチャをインター予測部３８１に供給する。
【０２２０】
さらに、低解像度参照画像生成部３７９は、DPB３１５から参照ピクチャとして読み出されたデコード視点Ｂ色画像の対象ピクチャとは異なるピクチャを、そのままインター予測部３８１に供給する。即ち、デコード視点Ｂ色画像の対象ピクチャとは異なるピクチャの解像度は、対象ピクチャの解像度と同一である。従って、参照ピクチャとして読み出されたデコード視点Ｂ色画像の対象ピクチャとは異なるピクチャは、そのままインター予測部３８１に供給される。
【０２２１】
インター予測部３８１は、図１１のインター予測部３５０と同様に、可変長復号部３７２からのヘッダ情報に基づき、対象ブロックが、インター予測で生成された予測画像を用いて符号化されているかどうかを認識する。
【０２２２】
対象ブロックが、インター予測で生成された予測画像を用いて符号化されている場合、インター予測部３８１は、インター予測部３５０と同様に、可変長復号部３７２からのヘッダ情報に基づき、対象ブロックの最適インター予測モードを認識する。そして、インター予測部３８１は、DPB３１５に記憶されている候補ピクチャから、最適インター予測モードに対応する候補ピクチャを、低解像度参照画像生成部３７９を介して、参照ピクチャとして読み出す。
【０２２３】
さらに、インター予測部３８１は、可変長復号部３７２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられた動きまたは視差を表すずれベクトルを認識する。そして、インター予測部３８１は、図７のインター予測部１５４と同様に、そのずれベクトルに従って、参照ピクチャのずれ補償を行うことで、予測画像を生成する。そして、インター予測部３８１は、予測画像を、予測画像選択部３８２に供給する。
［低解像度参照画像生成部の構成例］
図１３は、図１２の低解像度参照画像生成部３７９の構成例を示すブロック図である。
【０２２４】
図１３において、低解像度参照画像生成部３７９は、低解像度変換処理部３９１を有する。
【０２２５】
低解像度参照画像生成部３７９の低解像度変換処理部３９１は、図１０の受信部３１６から供給される視点Ａ低解像度変換情報に基づいて、DPB３１５から参照ピクチャとして読み出されたデコード視点Ａ色画像のピクチャに対して、所定のフィルタ処理を低解像度化処理として行う。これにより、低解像度参照画像生成部３７９は、参照ピクチャの解像度を対象ピクチャの解像度と同一にし、インター予測部３８１（図１２）に供給する。
【０２２６】
また、低解像度変換処理部３９１は、DPB３１５から参照ピクチャとして読み出されたデコード視点Ｂ色画像の対象ピクチャとは異なるピクチャを、そのままインター予測部３８１に供給する。さらに、低解像度変換処理部３９１は、DPB３１５から対象ブロックの予測画像として読み出された対象ピクチャのうちのデコード画像の一部を、そのまま画面内予測部３８０（図１２）に供給する。
【０２２７】
［デコーダ３１２の処理の説明］
図１４は、図３のステップＳ９で、図１２のデコーダ３１２が行う、視点Ｂの色画像の符号化データを復号する復号処理を説明するフローチャートである。
【０２２８】
ステップＳ１１１では、蓄積バッファ３７１は、図１の多視点画像符号化装置１２から供給される視点Ｂの色画像の符号化データを記憶し、処理は、ステップＳ１１２に進む。
【０２２９】
ステップＳ１１２では、可変長復号部３７２は、蓄積バッファ３７１に記憶された符号化データを読み出して可変長復号することにより、量子化値やヘッダ情報を復元する。そして、可変長復号部３７２は、量子化値を、逆量子化部３７３に供給し、ヘッダ情報を、画面内予測部３８０、及び、インター予測部３８１に供給して、処理は、ステップＳ１１３に進む。
【０２３０】
ステップＳ１１３では、逆量子化部３７３は、可変長復号部３７２からの量子化値を、変換係数に逆量子化し、逆直交変換部３７４に供給して、処理は、ステップＳ１１４に進む。
【０２３１】
ステップＳ１１４では、逆直交変換部３７４は、逆量子化部３７３からの変換係数を逆直交変換し、マクロブロック単位で、演算部３７５に供給して、処理は、ステップＳ１１５に進む。
【０２３２】
ステップＳ１１５では、演算部３７５は、逆直交変換部３７４からのマクロブロックを復号対象の対象ブロック（残差画像）として、その対象ブロックに対して、必要に応じて、予測画像選択部３８２から供給される予測画像を加算することで、デコード画像を求める。そして、演算部３７５は、デコード画像を、デブロッキングフィルタ３７６に供給し、処理は、ステップＳ１１５からステップＳ１１６に進む。
【０２３３】
ステップＳ１１６では、デブロッキングフィルタ３７６は、演算部３７５からのデコード画像に対して、フィルタリングを行い、そのフィルタリング後のデコード画像（デコード視点Ｂ色画像）を、DPB３１５、及び、画面並び替えバッファ３７７に供給して、処理は、ステップＳ１１７に進む。
【０２３４】
ステップＳ１１７では、DPB３１５が、視点Ａの色画像を復号するデコーダ３１１から、デコード視点Ａ色画像が供給されるのを待って、そのデコード視点Ａ色画像を記憶し、処理は、ステップＳ１１８に進む。
【０２３５】
ステップＳ１１８では、DPB３１５が、デブロッキングフィルタ３７６からのデコード視点Ｂ色画像を記憶し、処理は、ステップＳ１１９に進む。
【０２３６】
ステップＳ１１９では、低解像度参照画像生成部３７９の低解像度変換処理部３９１が、受信部３１６から供給される視点Ａ低解像度変換情報に基づいて、DPB３１５から参照ピクチャとして読み出されるデコード視点Ａ色画像のピクチャに対して低解像度化処理を行う。これにより、低解像度変換処理部３９１は、参照ピクチャの解像度を対象ピクチャの解像度と同一にし、インター予測部３８１に供給する。
【０２３７】
また、低解像度変換処理部３９１は、DPB３１５から参照ピクチャとして読み出されるデコード視点Ｂ色画像の対象ピクチャとは異なるピクチャを、そのままインター予測部３８１に供給する。さらに、低解像度変換処理部３９１は、DPB３１５から対象ブロックの予測画像として読み出される対象ピクチャのうちのデコード画像の一部を、そのまま画面内予測部３８０に供給する。
【０２３８】
ステップＳ１２０では、画面内予測部３８０、及び、インター予測部３８１が、可変長復号部３７２から供給されるヘッダ情報に基づき、次の対象ブロック（次に復号対象となるマクロブロック）が、イントラ予測（画面内予測）、及び、視差予測（インター予測）のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを認識する。
【０２３９】
そして、次の対象ブロックが、画面内予測で生成された予測画像を用いて符号化されている場合には、画面内予測部３８０が、イントラ予測処理（画面内予測処理）を行う。
【０２４０】
すなわち、画面内予測部３８０は、次の対象ブロックについて、DPB３１５に記憶されている対象ピクチャのうちのデコード画像の一部を、低解像度参照画像生成部３７９を介して対象ブロックの予測画像として読み出すことにより、予測画像（イントラ予測の予測画像）を生成する。そして、画面内予測部３８０は、その結果得られる予測画像を、予測画像選択部３８２に供給して、処理は、ステップＳ１２０からステップＳ１２１に進む。
【０２４１】
また、次の対象ブロックが、動き予測または視差予測（インター予測）で生成された予測画像を用いて符号化されている場合には、インター予測部３８１が、視差予測処理（インター予測処理）を行う。
【０２４２】
すなわち、インター予測部３８１は、次の対象ブロックについて、可変長復号部３７２からのヘッダ情報に含まれる最適インター予測モードに基づいて、最適インター予測モードに対応する候補ピクチャを、DPB３１５から低解像度変換処理部３９１を介して参照ピクチャとして読み出す。
【０２４３】
また、インター予測部３８１は、可変長復号部３７２からのヘッダ情報に含まれるずれベクトルに従って、参照ピクチャのずれ補償を行うことにより、予測画像を生成する。インター予測部３８１は、その予測画像を予測画像選択部３８２に供給して、処理は、ステップＳ１２０からステップＳ１２１に進む。
【０２４４】
ステップＳ１２１では、予測画像選択部３８２は、画面内予測部３８０、及び、インター予測部３８１のうちの、予測画像が供給される方からの、その予測画像を選択し、演算部３７５に供給して、処理は、ステップＳ１２２に進む。
【０２４５】
ここで、予測画像選択部３８２がステップＳ１２１で選択する予測画像が、次の対象ブロックの復号で行われるステップＳ１１５の処理で用いられる。
【０２４６】
ステップＳ１２２では、画面並び替えバッファ３７７が、デブロッキングフィルタ３７６からのデコード視点Ｂ色画像のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並びに並び替え、D/A変換部３７８に供給して、処理は、ステップＳ１２３に進む。
【０２４７】
ステップＳ１２３では、D/A変換部３７８は、画面並び替えバッファ３７７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して画像逆変換処理装置１４に出力する。
【０２４８】
デコーダ３１２では、以上のステップＳ１１１乃至Ｓ１２３の処理が、適宜繰り返し行われる。
【０２４９】
［画像逆変換処理装置の構成例］
図１５は、図１の画像逆変換処理装置１４の構成例を示すブロック図である。
【０２５０】
図１５において、画像逆変換処理装置１４は、解像度逆変換処理部４１１を有する。
【０２５１】
画像逆変換処理装置１４の解像度逆変換処理部４１１は、図１０の分離部３１０から供給される視点Ｂ低解像度変換情報に基づいて、図１０のデコーダ３１２およびデコーダ３１４から供給される視点画像Ｂ（デコード視点Ｂ色画像およびデコード視点Ｂ視差情報画像）に対して高解像度化処理を行う。これにより、解像度逆変換処理部４１１は、視点画像Ｂの解像度を、画像処理システム１０に符号化対象として入力されたときの解像度、即ち視点画像Ａの解像度と同一の解像度にする。解像度逆変換処理部４１１は、高解像度化処理後の視点画像Ｂを出力する。
【０２５２】
以上のように、画像処理システム１０は、視点画像Ａの解像度に比べて解像度が低下されて符号化された視点画像Ｂの符号化データを、視点画像Ｂと同一の解像度の低解像度化処理後の視点画像Ａを参照して復号する。従って、視点画像Ａの解像度に比べて解像度が低下されて符号化された視点画像Ｂの符号化データを、MVC方式等を利用した方式で復号することができる。
【０２５３】
＜第２実施の形態＞
［画像処理システムの第２実施の形態の構成例］
図１６は、本技術を適用した画像処理システムの第２実施の形態の構成例を示すブロック図である。
【０２５４】
図１６に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２５５】
図１６の画像処理システム５００の構成は、主に、多視点画像符号化装置１２の代わりに多視点画像符号化装置５０１が設けられている点、および、多視点画像復号装置１３の代わりに多視点画像復号装置５０２が設けられている点が図１の構成と異なる。
【０２５６】
画像処理システム５００は、視点画像Ａの解像度を低下させ、視点を視点Ｂに変更した画像を参照して、低解像度化処理後の視点画像Ｂを符号化し、復号する。
【０２５７】
具体的には、画像処理システム５００の多視点画像符号化装置５０１は、図１の多視点画像符号化装置１２と同様に、外部から符号化対象として入力される視点画像Ａを取得する。また、多視点画像符号化装置５０１は、外部から入力される視差関連情報（デプス関連情報）を取得する。ここで、視差関連情報（デプス関連情報）は、視差情報（デプス情報）のメタデータであり、その詳細については、後述する。
【０２５８】
また、多視点画像符号化装置５０１は、視点画像Ａと画像変換処理装置１１から供給される低解像度化処理後の視点画像Ｂに対して符号化を行う。このとき、多視点画像符号化装置５０１は、視点画像Ａに対して低解像度化処理を行うことにより視点画像Ａの解像度を低解像度化処理後の視点画像Ｂの解像度と同一にし、視差関連情報を用いて視点を視点Ｂに変更する。そして、多視点画像符号化装置５０１は、視点画像Ｂを符号化する際には、低解像度化処理され、視点が視点Ｂに変更された視点画像Ａを参照する。
【０２５９】
多視点画像符号化装置５０１は、符号の結果得られる視点画像Ａおよび低解像度化処理後の視点画像Ｂの符号化データ、画像変換処理装置１１からの視点Ｂ低解像度変換情報、並びに視差関連情報を多重化し、ビットストリームを生成する。そして、多視点画像符号化装置５０１は、多視点画像符号化装置１２と同様に、生成されたビットストリームを多視点画像復号装置５０２に供給する。また、多視点画像符号化装置５０１は、多視点画像符号化装置１２と同様に、視点Ａ低解像度変換情報を生成し、多視点画像復号装置５０２に供給する。
【０２６０】
多視点画像復号装置５０２は、図１の多視点画像復号装置１３と同様に、多視点画像符号化装置５０１から伝送されてくるビットストリームを受信する。多視点画像復号装置５０２は、多視点画像復号装置１３と同様に、受信されたビットストリームから、視点Ｂ低解像度変換情報を抽出し、画像逆変換処理装置１４に供給する。また、多視点画像復号装置５０２は、ビットストリームから視差関連情報を抽出する。さらに、多視点画像復号装置５０２は、ビットストリームのうちの符号化された視点画像Ａと低解像度化処理後の視点画像Ｂを復号する。
【０２６１】
このとき、多視点画像復号装置５０２は、多視点画像符号化装置５０１からの視点Ａ低解像度変換情報に基づいて、復号された視点画像Ａに対して低解像度化処理を行うことにより、視点画像Ａの解像度を低解像度化処理後の視点画像Ｂの解像度と同一にする。また、多視点画像復号装置５０２は、視差関連情報に基づいて、低解像度化処理後の視点画像Ａの視点を視点Ｂに変更する。そして、多視点画像復号装置５０２は、低解像度化処理後の視点画像Ｂの符号化データを復号する際に、低解像度化処理され、視点が視点Ｂに変更された視点画像Ａを参照する。多視点画像復号装置５０２は、多視点画像復号装置１３と同様に、復号の結果得られる視点画像Ａを出力し、低解像度化処理後の視点画像Ｂを画像逆変換処理装置１４に供給する。
【０２６２】
［低解像度化処理後の視点画像Ｂの符号化と復号の概要］
図１７は、低解像度化処理後の視点画像Ｂの図１６の多視点画像符号化装置５０１による符号化と多視点画像復号装置５０２による復号の概要を説明する図である。
【０２６３】
図１７の左側に示すように、多視点画像符号化装置５０１では、視点画像Ａが低解像度化処理され、視点画像Ａの解像度が低解像度化処理後の視点画像Ｂと同一の解像度にされる。そして、低解像度化処理後の視点画像Ａの視点が視点Ｂに変更される。即ち、低解像度化処理後の視点画像Ａは、それに対応する視点Ｂで得られる視点画像に変換される。そして、低解像度化処理後の視点画像Ｂの符号化時に、例えば、視点変更後の視点画像Ａが参照される。
【０２６４】
符号化の結果得られる低解像度化処理後の視点画像Ｂの符号化データは、視点Ａ低解像度変換情報とともに多視点画像復号装置５０２に伝送される。
【０２６５】
また、図１７の右側に示すように、多視点画像復号装置５０２では、多視点画像符号化装置５０１により符号化され、多視点画像復号装置５０２により復号された視点画像Ａが、視点Ａ低解像度変換情報に基づいて低解像度化処理される。これにより、視点画像Ａの解像度が、低解像度化処理後の視点画像Ｂと同一の解像度にされる。そして、低解像度化処理後の視点画像Ａの視点が視点Ｂに変更される。そして、多視点画像符号化装置５０１から伝送されてくる低解像度化処理後の視点画像Ｂの符号化データの復号時に、視点変更後の視点画像Ａが参照される。復号の結果、低解像度化処理後の視点画像Ｂが生成される。
【０２６６】
[多視点画像符号化装置の構成例]
図１８は、図１６の多視点画像符号化装置５０１の構成例を示すブロック図である。
【０２６７】
図１８に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２６８】
図１８の多視点画像符号化装置５０１の構成は、主に、エンコーダ５２、エンコーダ５４、および多重化部５６の代わりに、エンコーダ５２１、エンコーダ５２２、多重化部５２３が設けられている点が図５の構成と異なる。
【０２６９】
多視点画像符号化装置５０１のエンコーダ５２１は、画像変換処理装置１１から供給される低解像度化処理後の視点Ｂの色画像を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点Ｂの色画像の符号化データを、多重化部５２３に供給する。また、エンコーダ５２１は、視点Ａ低解像度変換情報を生成し、送信部５７に供給する。
【０２７０】
エンコーダ５２２は、画像変換処理装置１１から供給される低解像度化処理後の視点Ｂの視差情報画像を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点Ｂの視差情報画像の符号化データを、多重化部５２３に供給する。また、エンコーダ５２２は、視点Ａ低解像度変換情報を生成し、送信部５７に供給する。
【０２７１】
多重化部５２３は、エンコーダ５１、５２１，５３，５２２のそれぞれからの符号化データ、画像変換処理装置１１から供給される視点Ｂ低解像度変換情報、および視差関連情報を多重化してビットストリームを生成する。多重化部５２３は、ビットストリームを図１６の多視点画像復号装置５０２に伝送する。
【０２７２】
［多視点画像生成装置の構成例］
図１９は、視点画像Ａおよび視点画像Ｂを生成し、画像処理システム５００に入力する多視点画像生成装置５４０の構成例を示すブロック図である。
【０２７３】
多視点画像生成装置５４０では、視点Ａの色画像および視点Ｂの色画像を撮影するために、２つのカメラ５４１および５４２が、それぞれ、視点Ａ、視点Ｂの色画像を撮影することができる位置に設置されている。
【０２７４】
ここで、本実施の形態では、説明を簡単にするために、カメラ５４１および５４２は、ある水平面上の一直線上の異なる位置に、その直線に垂直な方向に光軸を向けて配置されていることとする。
【０２７５】
カメラ５４１は、そのカメラ５４１が配置されている位置で、被写体を撮影し、動画像である視点Ａの色画像を出力する。
【０２７６】
さらに、カメラ５４１は、他の任意の１つのカメラであるカメラ５４２の位置を、基準の視点として、視点Ａの色画像の各画素について、基準の視点に対する視差を表す視差ベクトル（視差）d1を出力する。
【０２７７】
カメラ５４２は、そのカメラ５４２が配置されている位置で、被写体を撮影し、動画像である視点Ｂの色画像を出力する。
【０２７８】
さらに、カメラ５４２は、他の任意の１つのカメラであるカメラ５４１の位置を、基準の視点として、視点Ｂの色画像の各画素について、基準の視点に対する視差を表す視差ベクトル（視差）d2を出力する。
【０２７９】
ここで、色画像の横（水平）方向を、x軸とし、縦（垂直）方向を、y軸とする２次元平面を、色画像平面ということとすると、カメラ５４１および５４２は、色画像平面に直交する平面（水平面）上の一直線上に配置されている。したがって、視差ベクトルd1およびd2は、y成分が0で、x成分が、カメラ５４１および５４２の水平方向の位置関係等に対応する値のベクトルとなる。
【０２８０】
なお、カメラ５４１および５４２が出力する視差ベクトルd1およびd2を、MEによって求められる視差ベクトルと区別するために、以下、撮影視差ベクトルともいう。
【０２８１】
カメラ５４１が出力する視点Ａの色画像、及び、撮影視差ベクトルd1、並びに、カメラ５４２が出力する視点Ｂの色画像、及び、撮影視差ベクトルd2は、多視点画像情報生成部５４３に供給される。
【０２８２】
多視点画像情報生成部５４３は、カメラ５４１からの視点Ａの色画像およびカメラ５４２からの視点Ｂの色画像を、そのまま出力する。
【０２８３】
また、多視点画像情報生成部５４３は、カメラ５４１からの撮影視差ベクトルd1から、視点Ａの色画像の画素ごとの視差に関する視差情報を求め、その視差情報を、画素値として有する視点Ａの視差情報画像を生成して出力する。
【０２８４】
さらに、多視点画像情報生成部５４３は、カメラ５４２からの撮影視差ベクトルd2から、視点Ｂの色画像の画素ごとの視差に関する視差情報を求め、その視差情報を、画素値として有する視点Ｂの視差情報画像を生成して出力する。
【０２８５】
上述したように、視差情報（デプス情報）としては、例えば、撮影視差ベクトルに対応する値である視差値（値Ｉ）や、被写体までの距離（奥行き）を表す奥行きＺの正規化後の値ｙがある。
【０２８６】
いま、視差情報画像の画素値が、例えば、8ビットで表される0ないし255の整数値をとることとする。さらに、撮影視差ベクトル（のx成分）をdで表すとともに、（例えば、ピクチャや、１つのコンテンツとしての動画像等で）撮影視差ベクトル（のx成分）の最大値と最小値を、それぞれ、dmaxとdminと表すこととする。
【０２８７】
この場合、視差値ν（値Ｉ）は、上述したように、例えば、撮影視差ベクトル（のx成分）dと、その最大値dmax（Dｍａｘ）及び最小値dmin（Ｄｍｉｎ）を用いて、式（１）に従って求められる。
【０２８８】
ν＝255×(d-dmin)／(dmax-dmin)
・・・（１）
【０２８９】
なお、式（１）の視差値νは、式（２）に従って、撮影視差ベクトル（のx成分）dに変換することができる。
【０２９０】
d＝ν×(dmax-dmin)／255＋dmin
・・・（２）
【０２９１】
また、奥行きＺは、カメラ５４１および５４２が配置されている直線上から、被写体までの距離を表す。
【０２９２】
カメラ５４１については（カメラ５４２についても同様）、カメラ５４１と一直線上に配置されているカメラ５４２との距離（基準の視点との距離）である基線長をLと、カメラ５４１の焦点距離をfと、それぞれ表すこととすると、奥行きZは、撮影視差ベクトル（のx成分）d(d1)を用い、式（３）に従って求めることができる。
【０２９３】
Z＝(L/d)×f
・・・（３）
【０２９４】
視差情報である視差値νと奥行きZとは、式（３）に従って相互に変換することができるので、等価な情報である。
【０２９５】
ここで、以下では、画素値として視差値νを有する視差情報画像（デプス画像）を、視差画像ともいい、画素値として、奥行きZの正規化後の値ｙを有する画像を、奥行き画像ともいう。
【０２９６】
なお、第２実施の形態では、視差情報画像として、視差画像、及び、奥行き画像のうちの、例えば、視差画像を用いることとするが、視差情報画像としては、奥行き画像を用いることも可能である。
【０２９７】
多視点画像情報生成部５４３は、以上の視点Ａの色画像及び視点Ｂの色画像、並びに、視点Ａの視差情報画像及び視点Ｂの視差情報画像の他に、視差関連情報を出力する。
【０２９８】
すなわち、多視点画像情報生成部５４３には、外部から、カメラ５４１と５４２との距離（カメラ５４１および５４２それぞれと、基準の視点との距離）である基線長L、及び、焦点距離fが供給される。
【０２９９】
多視点画像情報生成部５４３は、カメラ５４１からの撮影視差ベクトルd1、及び、カメラ５４２からの撮影視差ベクトルd2のそれぞれについて、撮影視差ベクトル（のx成分）dの最大値dmax及び最小値dminを検出する。
【０３００】
そして、多視点画像情報生成部５４３は、撮影視差ベクトルdの最大値dmax及び最小値dmin、並びに、基線長L、及び、焦点距離fを、視差関連情報として出力する。
【０３０１】
多視点画像情報生成部５４３が出力する視点Ａの色画像及び視点Ｂの色画像、視点Ａの視差情報画像及び視点Ｂの視差情報画像、並びに、視差関連情報は、図１６の画像処理システム５００に供給される。
【０３０２】
なお、ここでは、説明を簡単にするため、カメラ５４１および５４２を、色画像平面に直交する同一の平面上の一直線上に配置し、撮影視差ベクトルd（d1及びd2）が、y成分が0のベクトルであることとしたが、カメラ５４１および５４２それぞれは、色画像平面に直交する異なる平面上に配置することができる。この場合、撮影視差ベクトルdは、x成分及びy成分とも、0以外の値になりうるベクトルとなる。
【０３０３】
[エンコーダ５２２の構成例]
図２０は、図１８のエンコーダ５２２の構成例を示すブロック図である。
【０３０４】
エンコーダ５２２は、符号化対象の画像である視点Ｂの視差情報画像の符号化を、MVC方式を利用して行う。
【０３０５】
図２０において、エンコーダ５２２は、A/D変換部５６１、画面並び替えバッファ５６２、演算部５６３、直交変換部５６４、量子化部５６５、可変長符号化部５６６、蓄積バッファ５６７、逆量子化部５６８、逆直交変換部５６９、演算部５７０、デブロッキングフィルタ５７１、低解像度参照画像生成部５７２、画面内予測部５７３、ワーピング部５７４、ワープドピクチャバッファ５７５、参照インデクス割り当て部５７６、視差予測部５７７、及び予測画像選択部５７８を有する。
【０３０６】
A/D変換部５６１乃至画面内予測部５７３、及び、予測画像選択部５７８は、図７のエンコーダ５２のA/D変換部１４１乃至画面内予測部１５３、及び、予測画像選択部１５５と、それぞれ同様に構成されるので、その説明は、適宜省略する。
【０３０７】
図２０において、DPB５５には、デブロッキングフィルタ５７１から、デコード画像、すなわち、エンコーダ５２２において符号化されてローカルデコードされた視差情報画像（以下、デコード視点Ｂ視差情報画像ともいう）のピクチャが供給され、参照ピクチャとなりうる候補ピクチャとして記憶される。
【０３０８】
また、DPB５５には、エンコーダ５１において符号化されてローカルデコードされた視点Ａの色画像のピクチャ、エンコーダ５２１において符号化されてローカルデコードされた視点Ｂの色画像のピクチャ、及び、エンコーダ５２において符号化されてローカルデコードされた視点Ａの視差情報画像のピクチャも供給されて記憶される。
【０３０９】
ワーピング部５７４には、視差関連情報としての、撮影視差ベクトルd1の最大値dmax及び最小値dmin、基線長L、焦点距離fが供給される。
【０３１０】
ワーピング部５７４は、DPB５５から低解像度参照画像生成部５７２を介してデコード視点Ａ視差情報画像のピクチャ（対象ピクチャと同一時刻のピクチャ）を読み出す。
【０３１１】
そして、ワーピング部５７４は、視差関連情報を必要に応じて用いて、デコード視点Ａ視差情報画像のピクチャをワーピングすることにより、そのデコード視点Ａ視差情報画像のピクチャを視点Ｂで得られる画像（視差情報画像）に変換したワープド画像であるワープド視点Ａ視差情報画像のピクチャを生成する。
【０３１２】
すなわち、ワーピング部５７４は、デコード視点Ａ視差情報画像のピクチャの各画素の画素値である視差値νを、撮影視差ベクトルd1の最大値dmax及び最小値dminを用い、上述した式（２）に従って、画素ごとの撮影視差ベクトルd１に変換する。
【０３１３】
ここで、視差情報画像として、視差画像ではなく、奥行き画像を用いる場合には、基線長L、及び、焦点距離fを用い、上述した式（３）に従って、奥行き画像の画素値である値ｙの正規化前の値である奥行きZが、撮影視差ベクトルdに変換される。
【０３１４】
ワーピング部５７４は、デコード視点Ａ視差情報画像のピクチャの各画素を、その画素の撮影視差ベクトルd1に従って移動するワーピングを行うことにより、ワープド視点Ａ視差情報画像のピクチャを生成する。
【０３１５】
なお、ワーピングによれば、ワープド視点Ａ視差情報画像のピクチャには、画素値がない、穴が空いたオクルージョン部分が生じることがあるが、オクルージョン部分の画素は、周辺の画素、すなわち、例えば、ワーピングでの移動方向の逆方向にある、オクルージョン部分に最も近い画素等の画素値（視差値）によって補間される。
【０３１６】
ここで、ワーピングでの移動方向の逆方向にある、オクルージョン部分に最も近い画素は、奥側の背景の視差を表す視差値（背景の視差値）を、画素値として有する画素であり、したがって、オクルージョン部分（の画素）は、背景の視差値によって補間される。
【０３１７】
ワーピング部５７４は、デコード視点Ａ視差情報画像のピクチャのワーピングによって、ワープド視点Ａ視差情報画像のピクチャを生成すると、そのワープド視点Ａ視差情報画像のピクチャを、ワープドピクチャバッファ５７５に供給する。
【０３１８】
ワープドピクチャバッファ５７５は、ワーピング部５７４からのワープド視点Ａ視差情報画像のピクチャを、一時記憶する。
【０３１９】
なお、本実施の形態では、DPB５５とは別に、ワープド視点Ａ視差情報画像のピクチャを記憶するワープドピクチャバッファ５７５を設けてあるが、DPB５５とワープドピクチャバッファ５７５とは、１つのバッファで兼用することが可能である。
【０３２０】
参照インデクス割り当て部５７６は、DPB５５に記憶されたデコード視点Ａ視差情報画像のピクチャと、ワープドピクチャバッファ５７５に記憶されたワープド視点Ａ視差情報画像のピクチャとを、参照ピクチャの候補である候補ピクチャとして、各候補ピクチャに、参照インデクスを割り当てる。
【０３２１】
そして、参照インデクス割り当て部５７６は、候補ピクチャに割り当てられた参照インデクスを、視差予測部５７７に供給する。
【０３２２】
なお、参照インデクス割り当て部５７６は、候補ピクチャであるデコード視点Ａ視差情報画像のピクチャと、ワープド視点Ａ視差情報画像のピクチャとのうちの、デコード視点Ａ視差情報画像のピクチャに、値が1の参照インデクスを割り当て、ワープド視点Ａ視差情報画像に、値が0の参照インデクスを割り当てる。即ち、値が0の参照インデクスは、予測画像の生成にワープド視点Ａ視差情報画像を参照したことを表す情報である。
【０３２３】
ここで、MVC(AVC)では、値が0の参照インデクスの符号量は、値が1の参照インデクスの符号量よりも少ない。
【０３２４】
また、ワープド視点Ａ視差情報画像、及び、視点Ａの視差情報画像のピクチャについては、ワープド視点Ａ視差情報画像のピクチャが、視点Ａの視差情報画像のピクチャよりも、対象ブロックの符号化コストが小さくなりやすく、参照ピクチャとして選択されやすい。
【０３２５】
したがって、参照ピクチャとして選択されやすいワープド視点Ａ視差情報画像のピクチャに、符号量が少ない、値が0の参照インデクスを割り当てることにより、符号化効率を向上させることができる。
【０３２６】
また、エンコーダ５２２では、以上のように、候補ピクチャに、符号化対象である視点Ｂの視差情報画像の視点Ｂとは異なる視点Ａの視差情報画像（デコード視点Ａ視差情報画像）をワーピングすることにより生成されるワープド視点Ａ視差情報画像を含め、その候補ピクチャであるワープド視点Ａ視差情報画像に、参照インデクスを割り当てる他は、エンコーダ５２（図７）と同様の処理が行われる。
【０３２７】
したがって、対象ブロックの予測用の参照インデクスとして、ワープド視点Ａ視差情報画像に割り当てられた値が0の参照インデクスが選択された場合、つまり、値が0の参照インデクスが割り当てられた候補ピクチャであるワープド視点Ａ視差情報画像が、参照ピクチャとして選択された場合には、対象ブロックをスキップマクロブロックとすることができる。
【０３２８】
よって、参照ピクチャとして選択されやすいワープド視点Ａ視差情報画像のピクチャに、値が0の参照インデクスを割り当てることにより、残差やずれベクトルの情報が符号化されないスキップマクロブロックが発生する確率が高くなるので、符号化効率を向上させることができる。
【０３２９】
視差予測部５７７は、参照インデクス割り当て部５７６において参照インデクスが割り当てられた候補ピクチャ、すなわち、DPB５５に記憶されたデコード視点Ａ視差情報画像のピクチャと、ワープドピクチャバッファ５７５に記憶されたワープド視点Ａ視差情報画像のピクチャとを、それぞれ参照ピクチャとして、対象ブロックの視差予測（予測画像の生成）を行う。
【０３３０】
さらに、視差予測部５７７は、候補ピクチャであるデコード視点Ａ視差情報画像のピクチャと、ワープド視点Ａ視差情報画像のピクチャとのそれぞれについて、候補ピクチャから視差予測によって得られる予測画像を用いた対象ブロックの符号化（予測符号化）に要する符号化コストを算出する。
【０３３１】
そして、視差予測部５７７は、符号化コストに基づいて、候補ピクチャであるデコード視点Ａ視差情報画像のピクチャと、ワープド視点Ａ視差情報画像のピクチャとのそれぞれに割り当てられている参照インデクスの中から、対象ブロックの符号化に用いる候補ピクチャに割り当てられている参照インデクスを、対象ブロックの予測用の参照インデクスとして選択し、ヘッダ情報の１つとして、可変長符号化部５６６に出力する。
【０３３２】
また、視差予測部５７７は、対象ブロックの予測用の参照インデクスが割り当てられている候補ピクチャ（デコード視点Ａ視差情報画像のピクチャ、又は、ワープド視点Ａ視差情報画像のピクチャ）を参照ピクチャとして、視差予測により生成される予測画像を、予測画像選択部５７８に供給する。
【０３３３】
なお、図２０においては、説明を簡単にするために、エンコーダ５２２に、インター予測のうちの視差予測を行う視差予測部５７７を設けてあるが、エンコーダ５２２では、図７のエンコーダ５２のインター予測部１５４と同様に、視差予測の他、動き予測（時間予測）も行うことができる。
【０３３４】
エンコーダ５２２において、視差予測、及び、時間予測の両方を行う場合、参照インデクス割り当て部５７６では、視差予測で参照されうる候補ピクチャであるワープド視点Ａ視差情報画像、及び、デコード視点Ａ視差情報画像のピクチャの他、時間予測で参照されうる候補ピクチャであるデコード視点Ｂ視差情報画像のピクチャ（対象ピクチャとは時刻が異なる他時刻ピクチャ）にも、参照インデクスが割り当てられる。
【０３３５】
[デコード視点Ａ視差情報画像とワープド視点Ａ視差情報画像の説明]
図２１は、図２０のDPB５５に記憶されるデコード視点Ａ視差情報画像と、ワープドピクチャバッファ５７５に記憶されるワープド視点Ａ視差情報画像とを説明する図である。
【０３３６】
いま、視点Ａの視差情報画像及び視点Ｂの視差情報画像に注目すると、図１８のエンコーダ５３及び５２２では、MVC方式に従って、視点Ａの視差情報画像の第1ピクチャ、視点Ｂの視差情報画像の第1ピクチャ、視点Ａの視差情報画像の第2ピクチャ、視点Ｂの視差情報画像の第2ピクチャ、・・・の順に、符号化がされていく。
【０３３７】
そして、エンコーダ５３において、視点Ａの視差情報画像の第t-1ピクチャが符号化され、ローカルデコードされると、そのローカルデコードによって得られるデコード視点Ａ視差情報画像(デコード視点Ａ視差情報画像(t-1))が、DPB５５に供給されて記憶される。
【０３３８】
その後、エンコーダ５２２では、ワーピング部５７４において、低解像度参照画像生成部５７２により低解像度化処理されたデコード視点Ａ視差情報画像(t-1)がワーピングされることにより、ワープド視点Ａ視差情報画像の第t-1ピクチャ（ワープド視点Ａ視差情報画像(t-1)）が生成され、ワープドピクチャバッファ５７５に供給されて記憶される。
【０３３９】
そして、エンコーダ５２２では、参照インデクス割り当て部５７６において、ワープドピクチャバッファ５７５に記憶されたワープド視点Ａ視差情報画像(t-1)に、値が0の参照インデクスが割り当てられ、DPB５５に記憶されたデコード視点Ａ視差情報画像(t-1)に、値が1の参照インデクスが割り当てられる。
【０３４０】
さらに、エンコーダ５２２では、参照インデクスが割り当てられたワープド視点Ａ視差情報画像(t-1)、又は、デコード視点Ａ視差情報画像(t-1)を、必要に応じて、参照ピクチャとして用いて、視点Ｂの視差情報画像の第t-1ピクチャが符号化され、ローカルデコードされる。そのローカルデコードによって得られるデコード視点Ｂ視差情報画像(デコード視点Ｂ視差情報画像(t-1))は、DPB５５に供給されて記憶される。
【０３４１】
その結果、DPB５５には、図２１に示すように、デコード視点Ｂ視差情報画像(t-1)、および、デコード視点Ａ視差情報画像(t-1)が記憶される。
【０３４２】
その後、エンコーダ５３において、視点Ａの視差情報画像の第tピクチャが符号化され、ローカルデコードされる。そのローカルデコードによって得られるデコード視点Ａ視差情報画像(デコード視点Ａ視差情報画像(t))は、DPB５５に供給されて記憶される。
【０３４３】
その結果、DPB５５には、図２１に示すように、デコード視点Ａ視差情報画像(t)、デコード視点Ｂ視差情報画像(t-1)、および、デコード視点Ａ視差情報画像(t-1)が記憶される。
【０３４４】
以上のように、デコード視点Ａ視差情報画像(t)が、DPB５５に記憶されると、エンコーダ５２２のワーピング部５７４は、DPB５５から低解像度参照画像生成部５７２を介して読み出される低解像度化処理後のデコード視点Ａ視差情報画像(t)をワーピングすることにより、ワープド視点Ａ視差情報画像の第tピクチャ（ワープド視点Ａ視差情報画像(t)）を生成し、ワープドピクチャバッファ５７５に供給して記憶させる。
【０３４５】
その結果、ワープドピクチャバッファ５７５には、図２１に示すように、ワープド視点Ａ視差情報画像(t)およびワープド視点Ａ視差情報画像(t-1)が記憶される。
【０３４６】
その後、エンコーダ５２２では、参照インデクス割り当て部５７６において、ワープドピクチャバッファ５７５に記憶されたワープド視点Ａ視差情報画像(t)に、値が0の参照インデクスが割り当てられ、DPB５５に記憶されたデコード視点Ａ視差情報画像(t)に、値が1の参照インデクスが割り当てられる。
【０３４７】
さらに、エンコーダ５２２では、参照インデクスが割り当てられたワープド視点Ａ視差情報画像(t)、または、デコード視点Ａ視差情報画像(t)を、必要に応じて、参照ピクチャとして用いて、視点Ｂの視差情報画像の第tピクチャが符号化され、ローカルデコードされる。
【０３４８】
エンコーダ５３及び５２２では、以下同様の処理が行われていく。
【０３４９】
図２２は、図２０の視差予測部５７７の構成例を示すブロック図である。
【０３５０】
図２２において、視差予測部５７７は、視差検出部５９１、視差補償部５９２及び５９３、コスト関数算出部５９４、モード選択部５９５、並びに、予測ベクトル生成部５９６を有する。
【０３５１】
視差検出部５９１には、低解像度参照画像生成部５７２により低解像度化処理された候補ピクチャであるデコード視点Ａ視差情報画像のピクチャが供給される。さらに、視差検出部５９１には、参照インデクス割り当て部５７６から、候補ピクチャであるデコード視点Ａ視差情報画像のピクチャに割り当てられた参照インデクスidx（ここでは、1）が供給されるとともに、画面並び替えバッファ５６２から、符号化対象の視点Ｂの視差情報画像のピクチャの対象ブロックが供給される。
【０３５２】
視差検出部５９１は、MVC方式と同様に、対象ブロックと、候補ピクチャであるデコード視点Ａ視差情報画像のピクチャとを用いてMEを行うことにより、対象ブロックと、デコード視点Ａ視差情報画像のピクチャの、対象ブロックとのSADを最小にするブロック（対応ブロック）とのずれを表すずれベクトル、すなわち、対象ブロックの、視点Ａに対する視差を表す計算視差ベクトルmvを求め、視差補償部５９２に供給する。
【０３５３】
視差補償部５９２には、視差検出部５９１から、計算視差ベクトルmvであるずれベクトルが供給される他、低解像度参照画像生成部５７２から低解像度化処理後の候補ピクチャであるデコード視点Ａ視差情報画像のピクチャが供給される。さらに、視差補償部５９２には、参照インデクス割り当て部５７６から、候補ピクチャであるデコード視点Ａ視差情報画像のピクチャに割り当てられた参照インデクスidxが供給される。
【０３５４】
視差補償部５９２は、候補ピクチャであるデコード視点Ａ視差情報画像のピクチャを、参照ピクチャとして、その参照ピクチャのずれ補償（視差補償）を、視差検出部５９１からの計算視差ベクトルmvを用いて、MVC方式と同様にして行うことで、対象ブロックの予測画像ppを生成する。
【０３５５】
すなわち、視差補償部５９２は、デコード視点Ａ視差情報画像のピクチャの、対象ブロックの位置から、計算視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像ppとして取得する。
【０３５６】
そして、視差補償部５９２は、予測画像ppを、視差検出部５９１からの計算視差ベクトルmv、及び、参照インデクス割り当て部５７６からの、デコード視点Ａ視差情報画像のピクチャに割り当てられた参照インデクスidxとともに、コスト関数算出部５９４に供給する。
【０３５７】
視差補償部５９３には、ワープドピクチャバッファ５７５に記憶された候補ピクチャであるワープド視点Ａ視差情報画像のピクチャが供給される。さらに、視差補償部５９３には、参照インデクス割り当て部５７６から、候補ピクチャであるワープド視点Ａ視差情報画像のピクチャに割り当てられた参照インデクスidx'（ここでは、0）が供給される。
【０３５８】
視差補償部５９３は、候補ピクチャであるワープド視点Ａ視差情報画像のピクチャを、参照ピクチャとして、その参照ピクチャのずれ補償（視差補償）を、ずれベクトルとしての計算視差ベクトルmv'が0ベクトルであると仮定して、MVC方式と同様にして行うことで、対象ブロックの予測画像pp'を生成する。
【０３５９】
すなわち、ワープド視点Ａ視差情報画像は、視点Ａの視差情報画像をワーピングすることにより、視点Ｂで得られる視差情報画像に変換した画像であるから、視点Ｂの視差情報画像の対象ブロックとの視差がないとみなし、計算視差ベクトルmv'として、0ベクトルが採用される。
【０３６０】
そして、視差補償部５９３は、ワープド視点Ａ視差情報画像のピクチャの、対象ブロックの位置から、計算視差ベクトルmv'=0だけずれた位置のブロックである対応ブロック、つまり、ワープド視点Ａ視差情報画像のピクチャの、対象ブロックと同一の位置にあるブロックを、予測画像pp’として取得する。
【０３６１】
そして、視差補償部５９３は、予測画像pp'を、計算視差ベクトルmv'、及び、参照インデクス割り当て部５７６からの、ワープド視点Ａ視差情報画像のピクチャに割り当てられた参照インデクスidx'とともに、コスト関数算出部５９４に供給する。
【０３６２】
なお、ここでは、ワープド視点Ａ視差情報画像のピクチャに対する対象ブロックの計算視差ベクトルmv'を0ベクトルに仮定したが、ワープド視点Ａ視差情報画像のピクチャに対する対象ブロックの計算視差ベクトルmv'については、ワープド視点Ａ視差情報画像のピクチャと、対象ブロックとを用いてMEを行い、そのMEによって得られるずれベクトルを、計算視差ベクトルmv'に採用することができる。
【０３６３】
コスト関数算出部５９４には、視差補償部５９２から、予測画像pp、計算視差ベクトルmv、及び、参照インデクスidxが供給されるとともに、視差補償部５９３から、予測画像pp'、計算視差ベクトルmv'、及び、参照インデクスidx'が供給される他、予測ベクトル生成部５９６から、対象ブロックのずれベクトルの予測値である予測ベクトルが供給されるとともに、画面並び替えバッファ５６２から、対象ブロックが供給される。
【０３６４】
コスト関数算出部５９４は、参照インデクスidx（が割り当てられたデコード視点Ａ視差情報画像のピクチャ）について、マクロブロックタイプごとに、対象ブロックの符号化に要する符号化コストを求める。
【０３６５】
すなわち、コスト関数算出部５９４は、参照インデクスidxについて、計算視差ベクトルmvの、予測ベクトルに対する残差ベクトルを求め、その残差ベクトルの符号量に対応する値MVを求める。
【０３６６】
さらに、コスト関数算出部５９４は、参照インデクスidxについて、その参照インデクスidxが割り当てられたデコード視点Ａ視差情報画像から生成された予測画像ppに対する、対象ブロックの残差に対応する値であるSADを求める。
【０３６７】
そして、コスト関数算出部５９４は、符号化コストを算出するコスト関数としての、例えば、以下の式（４）に従い、参照インデクスidxについての、マクロブロックタイプごとの符号化コストを求める。
【０３６８】
COST＝SAD＋λMV
・・・（４）
【０３６９】
なお、式（４）において、λは、値MVに対する重みであり、残差の量子化ステップに応じて設定される。
【０３７０】
コスト関数算出部５９４は、参照インデクスidx'（が割り当てられたワープド視点Ａ視差情報画像のピクチャ）についても、同様に、マクロブロックタイプごとに、対象ブロックの符号化に要する符号化コストを求める。
【０３７１】
なお、符号化コストを求めるコスト関数は、式（４）に限定されるものではない。すなわち、符号化コストは、その他、例えば、λ1及びλ2を重みとして、SAD、残差ベクトルの符号量に対応する値に重みλ1を乗算した値、参照インデクスの符号量に対応する値に重みλ2を乗算した値を加算すること等によって求めることができる。
【０３７２】
コスト関数算出部５９４は、参照インデクスidx及びidx'のそれぞれについての、マクロブロックタイプごとの符号化コスト（コスト関数値）を求めると、符号化コストを、参照インデクス、予測画像、及び、残差ベクトル（視差ベクトル情報）とともに、モード選択部５９５に供給する。
【０３７３】
モード選択部５９５は、コスト関数算出部５９４からの参照インデクスidx及びidx'のそれぞれについての、マクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。
【０３７４】
さらに、モード選択部５９５は、最小コストが得られた参照インデクス、及び、マクロブロックタイプを、最適インター予測モードに選択する。
【０３７５】
なお、最適インター予測モードの選択では、例えば、まず、各マクロブロックタイプについて、参照インデクスidx及びidx'のうちの、符号化コストが小さい方の参照インデクスを選択し、その後、各マクロブロックタイプから選択された参照インデクスのみを対象として、符号化コストが最小のマクロブロックタイプを選択することで、最小コストが得られた参照インデクス、及び、マクロブロックタイプを、最適インター予測モードに選択することができる。
【０３７６】
そして、モード選択部５９５は、最適インター予測モード、最適インター予測モードの参照インデクス（予測用の参照インデクス）、及び、最適インター予測モードの視差ベクトル情報等を、ヘッダ情報として、可変長符号化部５６６に供給する。
【０３７７】
さらに、モード選択部５９５は、最適インター予測モードの予測画像と符号化コスト（最小コスト）を、予測画像選択部５７８に供給する。
【０３７８】
なお、モード選択部５９５は、最小コストが得られた参照インデクスが、値が0の参照インデクスである場合には、判定部として機能し、例えば、符号化データのデータ量や最小コスト等に基づいて、対象ブロックを、スキップマクロブロックとして符号化するかどうかの判定を行う。
【０３７９】
モード選択部５９５において、対象ブロックを、スキップマクロブロックとして符号化すると判定された場合、最適インター予測モードは、対象ブロックを、スキップマクロブロックとして符号化するスキップモードとされる。
【０３８０】
予測ベクトル生成部５９６は、MVC(AVC)方式で、対象ブロックの予測ベクトルを生成し、コスト関数算出部５９４に供給する。
【０３８１】
具体的には、予測ベクトル生成部５９６は、対象ブロックが符号化されるときに、（ラスタスキャン順で）既に符号化されているマクロブロックのうちの、対象ブロックの上に隣接するマクロブロックのずれベクトル、左に隣接するマクロブロックのずれベクトル、および右斜め上に隣接するマクロブロックのずれベクトルの中央値を、対象ブロックの予測ベクトルとして生成する。
【０３８２】
なお、対象ブロックが、ピクチャの右端のマクロブロックである場合等、対象ブロックの右斜め上に隣接するマクロブロックのずれベクトルが、利用可能でない場合には、そのずれベクトルに代えて、対象ブロックの左斜め上に隣接するマクロブロックのずれベクトルを用いて、対象ブロックの予測ベクトルが生成される。
【０３８３】
また予測ベクトルの算出は、x成分とy成分とのそれぞれについて、独立に行われる。
【０３８４】
[エンコーダ５２２の処理の説明]
図２３は、図２０のエンコーダ５２２が行う、視点Ｂの視差情報画像を符号化する符号化処理を説明するフローチャートである。
【０３８５】
ステップＳ１４１乃至Ｓ１５３の処理は、処理の対象が色画像ではなく視差情報画像である点を除いて、図９のステップＳ１１乃至Ｓ２３の処理と同様であるので、説明は省略する。
【０３８６】
ステップＳ１５３の処理後、ステップＳ１５４では、ワーピング部５７４が、視差関連情報を必要に応じて用いて、低解像度参照画像生成部５７２から供給される低解像度化処理後のデコード視点Ａ視差情報画像のピクチャをワーピングし、ワープド視点Ａ視差情報画像のピクチャを生成する。そして、ワーピング部５７４は、ワープド視点Ａ視差情報画像をワープドピクチャバッファ５７５に供給して、処理は、ステップＳ１５５に進む。
【０３８７】
ステップＳ１５５では、ワープドピクチャバッファ５７５が、ワーピング部５７４からのワープド視点Ａ視差情報画像のピクチャを記憶し、処理は、ステップＳ１５６に進む。
【０３８８】
ステップＳ１５６では、参照インデクス割り当て部５７６が、DPB５５に記憶されたデコード視点Ａ視差情報画像のピクチャと、ワープドピクチャバッファ５７５に記憶されたワープド視点Ａ視差情報画像のピクチャとのそれぞれに、参照インデクスを割り当てる。
【０３８９】
さらに、参照インデクス割り当て部５７６は、デコード視点Ａ視差情報画像のピクチャと、ワープド視点Ａ視差情報画像のピクチャとのそれぞれに割り当てた参照インデクスを、視差予測部５７７に供給して、処理は、ステップＳ１５６からステップＳ１５７に進む。
【０３９０】
ステップＳ１５７では、画面内予測部５７３は、次に符号化の対象となるマクロブロックである次の対象ブロックについて、イントラ予測処理（画面内予測処理）を行い、その結果得られる予測画像および符号化コストを予測画像選択部５７８に供給する。そして、処理は、ステップＳ１５７からステップＳ１５８に進む。
【０３９１】
ステップＳ１５８では、視差予測部５７７は、次の対象ブロックについて、デコード視点Ａ視差情報画像のピクチャ、及び、ワープド視点Ａ視差情報画像のピクチャを、候補ピクチャとして、視差予測処理を行う。
【０３９２】
すなわち、視差予測部５７７は、次の対象ブロックについて、低解像度参照画像生成部５７２により低解像度化処理され、参照インデクス割り当て部５７６によって参照インデクスが割り当てられたデコード視点Ａ視差情報画像のピクチャ、及び、ワープドピクチャバッファ５７５に記憶され、参照インデクス割り当て部５７６によって参照インデクスが割り当てられたワープド視点Ａ視差情報画像のピクチャそれぞれを用いて、視差予測を行うことにより、インター予測モードごとに、予測画像や符号化コスト等を求める。
【０３９３】
さらに、視差予測部５７７は、最適インター予測モードを決定し、その最適インター予測モードの予測画像を、符号化コストとともに、予測画像選択部５７８に供給して、処理は、ステップＳ１５８からステップＳ１５９に進む。
【０３９４】
ステップＳ１５９では、予測画像選択部５７８は、画面内予測部５７３からの予測画像（イントラ予測の予測画像）、及び、視差予測部５７７からの予測画像（インター予測の予測画像）のうちの、例えば、符号化コストが小さい方の予測画像を選択し、演算部５６３及び５７０に供給して、処理は、ステップＳ１６０に進む。
【０３９５】
ここで、予測画像選択部５７８がステップＳ１５９で選択する予測画像が、次の対象ブロックの符号化で行われるステップＳ１４３やＳ１４８の処理で用いられる。
【０３９６】
また、画面内予測部５７３は、ステップＳ１５７のイントラ予測処理において得られるイントラ予測に関する情報を、ヘッダ情報として、可変長符号化部５６６に供給し、視差予測部５７７は、ステップＳ１５８の視差予測処理で得られる視差予測（インター予測）に関する情報（最適インター予測モード、参照インデクス、視差ベクトル情報等）を、ヘッダ情報として、可変長符号化部５６６に供給する。
【０３９７】
ステップＳ１６０では、可変長符号化部５６６は、量子化部５６５からの量子化値に対して、可変長符号化を施し、符号化データを得る。
【０３９８】
さらに、可変長符号化部５６６は、画面内予測部５７３、及び、視差予測部５７７それぞれからのヘッダ情報のうちの、符号化コストが小さい予測画像が生成された方からのヘッダ情報を選択し、符号化データのヘッダに含める。
【０３９９】
そして、可変長符号化部５６６は、符号化データを、蓄積バッファ５６７に供給して、処理は、ステップＳ１６０からステップＳ１６１に進む。
【０４００】
ステップＳ１６１では、蓄積バッファ５６７は、可変長符号化部５６６からの符号化データを一時記憶し、所定のデータレートで出力する。
【０４０１】
蓄積バッファ５６７から出力された符号化データは、多重化部５６（図５）に供給される。
【０４０２】
エンコーダ５２２では、以上のステップＳ１４１ないしＳ１６１の処理が、適宜繰り返し行われる。
【０４０３】
図２４は、図２３のステップＳ１５８で、図２２の視差予測部５７７が行う視差予測処理を説明するフローチャートである。
【０４０４】
ステップＳ１７１では、視差予測部５７７は、低解像度参照画像生成部５７２から低解像度化処理後のデコード視点Ａ視差情報画像のピクチャを候補ピクチャとして取得し、視差検出部５９１、及び、視差補償部５９２に供給して、処理は、ステップＳ１７２に進む。
【０４０５】
ステップＳ１７２では、視差予測部５７７は、参照インデクス割り当て部５７６から、低解像度化処理後のデコード視点Ａ視差情報画像のピクチャに割り当てられた参照インデクスidxを取得し、視差検出部５９１、及び、視差補償部５９２に供給して、処理は、ステップＳ１７３に進む。
【０４０６】
ステップＳ１７３では、視差検出部５９１が、画面並べ替えバッファ５６２から供給される原画像である視点Ｂの視差情報画像の（次の）対象ブロックの、参照インデクス割り当て部５７６からの参照インデクスidxが割り当てられている低解像度化処理後のデコード視点Ａ視差情報画像のピクチャに対する視差を表す計算視差ベクトルmvを、MEによって検出する。
【０４０７】
そして、視差検出部５９１は、計算視差ベクトルmvを、視差補償部５９２に供給して、処理は、ステップＳ１７３からステップＳ１７４に進む。
【０４０８】
ステップＳ１７４では、視差補償部５９２は、参照インデックスidxが割り当てられた低解像度化処理後のデコード視点Ａ視差情報画像のピクチャを、参照ピクチャとして、その参照ピクチャのずれ補償（視差補償）を、視差検出部５９１からの計算視差ベクトルmvを用いて行うことで、対象ブロックの予測画像ppを生成する。
【０４０９】
そして、視差補償部５９２は、予測画像ppを、計算視差ベクトルmv、及び、参照インデクスidxとともに、コスト関数算出部５９４に供給して、処理は、ステップＳ１７４からステップＳ１７５に進む。
【０４１０】
ステップＳ１７５では、視差予測部５７７は、ワープドピクチャバッファ５７５から候補ピクチャであるワープド視点Ａ視差情報画像のピクチャを取得し、視差補償部５９３に供給して、処理は、ステップＳ１７６に進む。
【０４１１】
ステップＳ１７６では、視差予測部５７７は、参照インデクス割り当て部５７６から、ワープド視点Ａ視差情報画像のピクチャに割り当てられた参照インデクスidx'を取得し、視差補償部５９３に供給して、処理は、ステップＳ１７７に進む。
【０４１２】
ステップＳ１７７では、視差補償部５９３は、（次の）対象ブロックの、ワープド視点Ａ視差情報画像のピクチャに対する計算視差ベクトルmv'を0ベクトルに設定し、処理は、ステップＳ１７８に進む。
【０４１３】
ステップＳ１７８では、視差補償部５９３は、参照インデックスidx'が割り当てられたワープド視点Ａ視差情報画像のピクチャを、参照ピクチャとして、その参照ピクチャのずれ補償（視差補償）を、0ベクトルに設定した計算視差ベクトルmv'を用いて行うことで、対象ブロックの予測画像pp'を生成する。
【０４１４】
そして、視差補償部５９２は、予測画像pp'を、計算視差ベクトルmv'、及び、参照インデクスidx'とともに、コスト関数算出部５９４に供給して、処理は、ステップＳ１７８からステップＳ１７９に進む。
【０４１５】
ステップＳ１７９では、予測ベクトル生成部５９６が、計算視差ベクトルmv及びmv'それぞれの予測ベクトルを生成し、コスト関数算出部５９４に供給して、処理は、ステップＳ１８０に進む。
【０４１６】
ステップＳ１８０では、コスト関数算出部５９４は、画面並び替えバッファ５６２から供給される（次の）対象ブロック、視差補償部５９２から供給される予測画像pp、計算視差ベクトルmv、及び、参照インデクスidx、並びに、予測ベクトル生成部５９６から供給される予測ベクトルに基づいて、計算視差ベクトルmvと予測ベクトルとの残差ベクトルや、対象ブロックと予測画像ppとのSAD等の、コスト関数の演算に必要なパラメータを求める。
【０４１７】
さらに、コスト関数算出部５９４は、そのパラメータを用いて、コスト関数を演算することにより、参照インデクスidx（が割り当てられたデコード視点Ａ視差情報画像のピクチャ）について、マクロブロックタイプごとの符号化コストを算出し、処理は、ステップＳ１８１に進む。
【０４１８】
ステップＳ１８１では、コスト関数算出部５９４は、画面並び替えバッファ５６２から供給される（次の）対象ブロック、視差補償部５９３から供給される予測画像pp'、計算視差ベクトルmv'、及び、参照インデクスidx'、並びに、予測ベクトル生成部５９６から供給される予測ベクトルに基づき、計算視差ベクトルmv'と予測ベクトルとの残差ベクトルや、対象ブロックと予測画像pp'とのSAD等の、コスト関数の演算に必要なパラメータを求める。
【０４１９】
さらに、コスト関数算出部５９４は、そのパラメータを用いて、コスト関数を演算することにより、参照インデクスidx'（が割り当てられたワープド視点Ａ視差情報画像のピクチャ）について、マクロブロックタイプごとの符号化コストを算出する。
【０４２０】
そして、コスト関数算出部５９４は、参照インデクスidx及びidx'のそれぞれについての、マクロブロックタイプごとの符号化コスト（コスト関数値）を、参照インデクス、予測画像、及び、残差ベクトル（視差ベクトル情報）とともに、モード選択部５９５に供給し、処理は、ステップＳ１８１からステップＳ１８２に進む。
【０４２１】
ステップＳ１８２では、モード選択部５９５は、コスト関数算出部５９４からの参照インデクスidx及びidx'のそれぞれについての、マクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。
【０４２２】
さらに、モード選択部５９５は、最小コストが得られた参照インデクス、及び、マクロブロックタイプを、最適インター予測モードに選択して、処理は、ステップＳ１８２からステップＳ１８３に進む。
【０４２３】
ステップＳ１８３では、モード選択部５９５は、最適インター予測モードの予測画像と符号化コスト（最小コスト）を、予測画像選択部５７８に供給し、処理は、ステップＳ１８４に進む。
【０４２４】
ステップＳ１８４では、モード選択部５９５は、最適インター予測モード、最適インター予測モードの参照インデクス（予測用の参照インデクス）、及び、最適インター予測モードの視差ベクトル情報等を、ヘッダ情報として、可変長符号化部５６６に供給し、処理はリターンする。
【０４２５】
［エンコーダ５２１の構成例］
図２５は、図１８のエンコーダ５２１の構成例を示すブロック図である。
【０４２６】
図２５に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０４２７】
図２５のエンコーダ５２１の構成は、主に、低解像度参照画像生成部１５２の代わりに低解像度参照画像生成部６１０が設けられている点、および、ワーピング部６１１、ワープドピクチャバッファ６１２、参照インデクス割り当て部６１３、および視差予測部６１４が新たに設けられている点が図７の構成と異なる。
【０４２８】
ワーピング部６１１、ワープドピクチャバッファ６１２、参照インデクス割り当て部６１３、および視差予測部６１４は、視点Ｂの視差情報画像ではなく、視点Ｂの色画像を対象として処理を行うことを除き、図２０のワーピング部５７４、ワープドピクチャバッファ５７５、参照インデクス割り当て部５７６、および視差予測部５７７と、それぞれ同様の処理を行う。
【０４２９】
なお、図２５において、DPB５５には、デブロッキングフィルタ１２１からデコード視点Ａ色画像のピクチャが供給され、参照ピクチャとなりうる候補ピクチャとして記憶される。
【０４３０】
また、DPB５５には、エンコーダ５１において符号化されてローカルデコードされた視点Ａの色画像のピクチャ、エンコーダ５３において符号化されてローカルデコードされた視点Ａの視差情報画像のピクチャ、エンコーダ５２２において符号化されてローカルデコードされた視点Ｂの視差情報画像のピクチャも供給されて記憶される。
【０４３１】
但し、エンコーダ５２１では、デブロッキングフィルタ１５１からのデコード視点Ｂ色画像のピクチャの他、エンコーダ５１で得られ、低解像度化処理されたデコード視点Ａ色画像、および、エンコーダ５３で得られ、低解像度化処理されたデコード視点Ａ視差情報画像が、符号化対象である視点Ｂの色画像の符号化に用いられる。
【０４３２】
具体的には、ワーピング部６１１により、DPB５５からデコード視点Ａ視差情報画像およびデコード視点Ａ色画像の対象ピクチャと同一時刻のピクチャが読み出され、低解像度参照画像生成部６１０に供給される。また、視差予測部６１４により、参照インデクス割り当て部６１３において参照インデクスが割り当てられた候補ピクチャとしてのデコード視点Ａ色画像の対象ピクチャと同一時刻のピクチャが読み出され、低解像度参照画像生成部６１０に供給される。
【０４３３】
低解像度参照画像生成部６１０は、図７の低解像度参照画像生成部１５２と同様に、画面並び替えバッファ１４２から読み出された所定のピクチャの解像度を検出する。低解像度参照画像生成部６１０は、DPB５５から読み出されたデコード視点Ａ色画像とデコード視点Ａ視差情報画像の対象ピクチャと同一時刻のピクチャに対して、所定のフィルタ処理を低解像度化処理として行う。これにより、低解像度化処理後のピクチャの解像度が、検出された解像度と同一の解像度になる。
【０４３４】
そして、低解像度参照画像生成部６１０は、低解像度化処理後のデコード視点Ａ色画像の対象ピクチャと同一時刻のピクチャをワーピング部６１１または視差予測部６１４に供給する。また、低解像度参照画像生成部６１０は、低解像度化処理後のデコード視点Ａ視差情報画像の対象ピクチャと同一時刻のピクチャをワーピング部６１１に供給する。
【０４３５】
なお、低解像度化処理後のデコード視点Ａ視差情報画像は、ワーピング部６１１において、低解像度化処理後のデコード視点Ａ色画像のピクチャをワーピングすることにより、その低解像度化処理後のデコード視点Ａ色画像のピクチャを視点Ｂで得られる画像（色画像）に変換したワープド画像であるワープド視点Ａ色画像のピクチャを生成するために用いられる。
【０４３６】
すなわち、ワーピング部６１１は、図２０のワーピング部５７４と同様に、デコード視点Ａ視差情報画像のピクチャの各画素の画素値である視差値νを、式（２）に従って、画素ごとの撮影視差ベクトルd1に変換する。
【０４３７】
そして、ワーピング部６１１は、低解像度化処理後のデコード視点Ａ色画像のピクチャの各画素を、その画素の撮影視差ベクトルd1に従って移動するワーピングを行うことにより、ワープド視点Ａ色画像のピクチャを生成する。
【０４３８】
なお、ワープド視点Ａ色画像のピクチャに、画素値がない、穴が空いたオクルージョン部分が生じる場合には、オクルージョン部分の画素は、周辺の画素によって補間される。
【０４３９】
[視差予測部の構成例]
図２６は、図２５の視差予測部６１４の構成例を示すブロック図である。
【０４４０】
図２６において、視差予測部６１４は、視差検出部６３１、視差補償部６３２および６３３、コスト関数算出部６３４、モード選択部６３５、並びに、予測ベクトル生成部６３６を有する。
【０４４１】
視差検出部６３１乃至予測ベクトル生成部６３６は、視差情報画像に代えて色画像を対象として処理を行うことを除き、図２２の視差検出部５９１乃至予測ベクトル生成部５９６と、それぞれ同様の処理を行う。
【０４４２】
［エンコーダ５２１の処理の説明］
図２７は、図２５のエンコーダ５２１が行う、視点Ｂの色画像を符号化する符号化処理を説明するフローチャートである。
【０４４３】
図２５のエンコーダ５２１では、ステップＳ２０１乃至Ｓ２０９において、視差情報画像に代えて色画像を対象として、図２３のステップＳ１４１乃至Ｓ１４９とそれぞれ同様の処理が行われることにより、デブロッキングフィルタ１５１でのフィルタリングにより得られるデコード視点Ｂ色画像が、DPB５５に供給され、処理は、ステップＳ２１０に進む。
【０４４４】
ステップＳ２１０では、DPB５５が、視点Ａの色画像を符号化するエンコーダ５１から、その視点Ａの色画像を符号化して、ローカルデコードすることにより得られるデコード視点Ａ色画像が供給されるのを待って、そのデコード視点Ａ色画像を記憶し、処理は、ステップＳ２１１に進む。
【０４４５】
ステップＳ２１１では、DPB５５が、視点Ａの視差情報画像を符号化するエンコーダ５３から、その視点Ａの視差情報画像を符号化して、ローカルデコードすることにより得られるデコード視点Ａ視差情報画像が供給されるのを待って、そのデコード視点Ａ視差情報画像を記憶し、処理は、ステップＳ２１２に進む。
【０４４６】
ステップＳ２１２では、DPB５５が、デブロッキングフィルタ１５１からのデコード視点Ｂ色画像を記憶し、処理は、ステップＳ２１３に進む。
【０４４７】
ステップＳ２１３では、低解像度参照画像生成部６１０は、視点Ｂの色画像の所定のピクチャから検出された解像度に基づいて、DPB５５から読み出されるデコード視点Ａ色画像とデコード視点Ａ視差情報画像のピクチャに対して低解像度化処理を行う。これにより、低解像度変換処理部１７１は、読み出されたデコード視点Ａ色画像とデコード視点Ａ視差情報画像のピクチャの解像度を対象ピクチャの解像度と同一にする。そして、低解像度参照画像生成部６１０は、低解像度化処理後のデコード視点Ａ色画像をワーピング部６１１または視差予測部６１４に供給し、低解像度化処理後のデコード視点Ａ視差情報画像をワーピング部６１１に供給する。
【０４４８】
また、低解像度参照画像生成部６１０は、DPB５５から読み出される対象ピクチャのデコード画像のうちの、既にローカルデコードされている部分を、そのまま画面内予測部１５３に供給する。そして、処理はステップＳ２１３からステップＳ２１４に進む。
【０４４９】
ステップＳ２１４では、低解像度参照画像生成部６１０は、低解像度化処理として行ったフィルタ処理のタップ数等の情報に基づいて、視点Ａ低解像度変換情報を生成し、図１８の送信部５７に供給する。そして、処理はステップＳ２１４からステップＳ２１５に進む。
【０４５０】
ステップＳ２１５では、ワーピング部６１１が、低解像度参照画像生成部６１０から供給される低解像度化処理後のデコード視点Ａ視差情報画像のピクチャを用いて、低解像度化処理後のデコード視点Ａ色画像のピクチャをワーピングすることにより、ワープド視点Ａ色画像のピクチャを生成する。そして、ワーピング部６１１は、ワープド視点Ａ色画像のピクチャをワープドピクチャバッファ６１２に供給して、処理は、ステップＳ２１６に進む。
【０４５１】
以下、ステップＳ２１６乃至Ｓ２２２では、エンコーダ５２１において、視差情報画像に代えて色画像を対象として、図２３のステップＳ１５５乃至Ｓ１６１とそれぞれ同様の処理が行われる。
【０４５２】
図２８は、図２６の視差予測部５３４が（図２７のステップＳ２１９で）行う視差予測処理を説明するフローチャートである。
【０４５３】
図２６の視差予測部５３４では、ステップＳ２４１乃至Ｓ２５４において、視差情報画像に代えて色画像を対象として、図２４のステップＳ１７１乃至Ｓ１８４とそれぞれ同様の処理が行われる。
【０４５４】
以上のように、画像処理システム５００は、視点画像Ｂの解像度を視点画像Ａの解像度に比べて低下させて符号化を行うので、同一の解像度の視点画像Ａと視点画像Ｂを符号化する場合に比べて、符号化対象のデータ量を削減することができる。その結果、符号化データのデータ量を削減することができる。また、画像処理システム５００は、視点画像Ｂの符号化時に、視点画像Ｂと同一の解像度の低解像度化処理およびワーピング後の視点画像Ａを参照するので、MVC方式等を利用した方式で符号化を行うことができる。
【０４５５】
［多視点画像復号装置の構成例］
図２９は、図１６の多視点画像復号装置５０２の構成例を示すブロック図である。
【０４５６】
図２９に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０４５７】
図２９の多視点画像復号装置５０２の構成は、主に、分離部３１０、デコーダ３１２、およびデコーダ３１４の代わりに、分離部６５０、デコーダ６５１、デコーダ６５２が設けられている点が図１０の構成と異なる。
【０４５８】
多視点画像復号装置５０２の分離部６５０は、図１６の多視点画像符号化装置５０１から伝送されてくるビットストリームを受信する。分離部６５０は、受信されたビットストリームから、視点Ａの色画像の符号化データ、視点Ｂの色画像の符号化データ、視点Ａの視差情報画像の符号化データ、視点Ｂの視差情報画像の符号化データ、視点Ｂ低解像度変換情報、および視差関連情報を分離する。
【０４５９】
そして、分離部６５０は、視点Ａの色画像の符号化データをデコーダ３１１に、視点Ｂの色画像の符号化データをデコーダ６５１に、視点Ａの視差情報画像の符号化データをデコーダ３１３に、視点Ｂの視差情報画像の符号化データをデコーダ６５２に、それぞれ供給する。また、分離部６５０は、視差関連情報をデコーダ６５１およびデコーダ６５２に供給する。さらに、分離部６５０は、視点Ｂ低解像度変換情報を図１６の画像逆変換処理装置１４に供給する。
【０４６０】
［デコーダ６５２の構成例］
図３０は、図２９のデコーダ６５２の構成例を示すブロック図である。
【０４６１】
デコーダ６５２は、復号対象である視点Ｂの視差情報画像の符号化データを、MVC方式を利用して、すなわち、図２０のエンコーダ５２２で行われるローカルデコードと同様にして行う。
【０４６２】
図３０において、デコーダ６５２は、蓄積バッファ６７１、可変長復号部６７２、逆量子化部６７３、逆直交変換部６７４、演算部６７５、デブロッキングフィルタ６７６、画面並び替えバッファ６７７、D/A変換部６７８、画面内予測部６８０、低解像度参照画像生成部６７９、ワーピング部６８１、ワープドピクチャバッファ６８２、視差予測部６８３、および予測画像選択部６８４を有する。
【０４６３】
蓄積バッファ６７１乃至画面内予測部６８０、および、予測画像選択部６８４は、図１２の蓄積バッファ３７１乃至画面内予測部３８０、および、予測画像選択部３８２と、それぞれ同様に構成されるので、その説明は、適宜省略する。
【０４６４】
図３０において、DPB３１５には、デブロッキングフィルタ６７６から、デコード画像、すなわち、デコーダ６５２において復号された視点Ｂの視差情報画像であるデコード視点Ｂ視差情報画像のピクチャが供給され、参照ピクチャとなりうる候補ピクチャとして記憶される。
【０４６５】
また、DPB３１５には、デコーダ３１１において復号された視点Ａの色画像のピクチャ、デコーダ６５１において復号された視点Ｂの色画像のピクチャ、及び、デコーダ３１３において復号された視点Ａの視差情報画像のピクチャも供給されて記憶される。
【０４６６】
但し、デコーダ６５２では、デブロッキングフィルタ６７６からのデコード視点Ｂ視差情報画像のピクチャの他、デコーダ３１３で得られるデコード視点Ａ視差情報画像が、復号対象である視点Ｂの視差情報画像の符号化データの復号に用いられる。
【０４６７】
対象ブロックが、イントラ予測で生成された予測画像を用いて符号化されている場合、画面内予測部６８０により、DPB３１５から、対象ブロックを含むピクチャ（対象ピクチャ）のうちの、既に復号されている部分（デコード画像）が対象ブロックの予測画像として読み出され、低解像度参照画像生成部６７９を介して画面内予測部６８０に供給される。
【０４６８】
対象ブロックが、視差予測で生成された予測画像を用いて符号化されている場合、ワーピング部６８１と視差予測部６８３により、DPB３１５に記憶されている候補ピクチャから、ヘッダ情報に含まれる最適インター予測モードに対応するデコード視点Ａ視差情報画像の候補ピクチャが参照ピクチャとして読み出され、低解像度参照画像生成部６７９を介してワーピング部６８１と視差予測部６８３に供給される。
【０４６９】
ワーピング部６８１には、分離部６５０から視差関連情報としての、撮影視差ベクトルd（視点Ａの撮影視差ベクトルd1）の最大値dmax及び最小値dmin、基線長L、焦点距離fが供給される。
【０４７０】
ワーピング部６８１は、DPB３１５から低解像度参照画像生成部６７９を介して、低解像度化処理後のデコード視点Ａ視差情報画像のピクチャを取得する（読み出す）。
【０４７１】
そして、ワーピング部６８１は、図２０のワーピング部５７４と同様に、視差関連情報を必要に応じて用いて、DPB３１５から取得した低解像度化処理後のデコード視点Ａ視差情報画像のピクチャをワーピングすることにより、ワープド視点Ａ視差情報画像のピクチャを生成する。ワーピング部６８１は、そのワープド視点Ａ視差情報画像のピクチャを、ワープドピクチャバッファ６８２に供給する。
【０４７２】
ワープドピクチャバッファ６８２は、ワーピング部６８１からのワープド視点Ａ視差情報画像のピクチャを、一時記憶する。
【０４７３】
なお、本実施の形態では、DPB３１５とは別に、ワープド視点Ａ視差情報画像のピクチャを記憶するワープドピクチャバッファ６８２を設けてあるが、DPB３１５とワープドピクチャバッファ６８２とは、１つのバッファで兼用することが可能である。
【０４７４】
視差予測部６８３は、可変長復号部６７２からのヘッダ情報に基づき、対象ブロックが、視差予測（インター予測）で生成された予測画像を用いて符号化されているかどうかを認識する。
【０４７５】
対象ブロックが、視差予測で生成された予測画像を用いて符号化されている場合、視差予測部６８３は、可変長復号部６７２からのヘッダ情報に基づき、予測用の参照インデクス、すなわち、対象ブロックの予測画像の生成に用いられた参照ピクチャに割り当てられている参照インデクスを認識（取得）する。
【０４７６】
そして、視差予測部６８３は、低解像度参照画像生成部６７９から供給される候補ピクチャとしての低解像化処理後のデコード視点Ａ視差情報画像のピクチャ、および、ワープドピクチャバッファ６８２に記憶されている候補ピクチャとしてのワープド視点Ａ視差情報画像のピクチャのうちの、予測用の参照インデクスが割り当てられている候補ピクチャを、参照ピクチャとして選択する。
【０４７７】
さらに、視差予測部６８３は、可変長復号部６７２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられたずれベクトルとしての計算視差ベクトルを認識し、図２０の視差予測部５７７と同様に、その計算視差ベクトルに従って、視差予測を行うことで、予測画像を生成する。
【０４７８】
すなわち、視差予測部６８３は、候補ピクチャの、対象ブロックの位置から、その対象ブロックの計算視差ベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
【０４７９】
そして、視差予測部６８３は、予測画像を、予測画像選択部６８４に供給する。
【０４８０】
なお、図３０においては、説明を簡単にするため、図２０のエンコーダ５２２の場合と同様に、デコーダ６５２に、インター予測のうちの視差予測を行う視差予測部６８３を設けてあるが、図２０のエンコーダ５２２が、視差予測の他、時間予測も行う場合には、デコーダ６５２でも、エンコーダ５２２で行われるのと同様にして、視差予測、及び、時間予測（による予測画像の生成）が行われる。
【０４８１】
図３１は、図３０の視差予測部６８３の構成例を示すブロック図である。
【０４８２】
図３１において、視差予測部６８３は、参照ピクチャ選択部７０１、予測ベクトル生成部７０２、及び、視差補償部７０３を有する。
【０４８３】
参照ピクチャ選択部７０１には、低解像度参照画像生成部６７９により低解像度化処理されたデコード視点Ａ視差情報画像のピクチャと、ワープドピクチャバッファ６８２に記憶されたワープド視点Ｂ視差情報画像ピクチャとが供給される。
【０４８４】
さらに、参照ピクチャ選択部７０１には、可変長復号部６７２から、ヘッダ情報に含まれる、対象ブロックの予測用の参照インデクスが供給される。
【０４８５】
参照ピクチャ選択部７０１は、低解像度参照画像生成部６７９により低解像度化処理されたデコード視点Ａ視差情報画像のピクチャと、ワープドピクチャバッファ６８２に記憶されたワープド視点Ｂ視差情報画像ピクチャとを、参照ピクチャの候補（候補ピクチャ）として、そのデコード視点Ａ視差情報画像のピクチャと、ワープド視点Ｂ視差情報画像ピクチャとのうちの、可変長復号部６７２からの予測用の参照インデクスが割り当てられている方のピクチャを、参照ピクチャに選択し、可変長復号部６７２からの予測用の参照インデクスとともに、視差補償部７０３に供給する。
【０４８６】
予測ベクトル生成部７０２は、図２２の予測ベクトル生成部５９６と同様にして予測ベクトルを生成し、視差補償部７０３に供給する。
【０４８７】
視差補償部７０３には、参照ピクチャ選択部７０１から、予測用の参照インデクスが割り当てられた参照ピクチャが供給されるとともに、予測ベクトル生成部７０２から、予測ベクトルが供給される他、可変長復号部６７２から、ヘッダ情報に含まれる最適インター予測モード、及び、視差ベクトル情報が供給される。
【０４８８】
視差補償部７０３は、可変長復号部６７２からの視差ベクトル情報である残差ベクトルと、予測ベクトル生成部７０２からの予測ベクトルとを加算することで、対象ブロックの計算視差ベクトルとしてのずれベクトルを復号する。
【０４８９】
さらに、視差補償部７０３は、最適インター予測モードに従い、参照ピクチャ選択部７０１からの参照ピクチャのずれ補償（視差補償）を、対象ブロックの計算視差ベクトルを用いて、MVC方式と同様にして行うことで、対象ブロックの予測画像を生成する。
【０４９０】
すなわち、視差補償部７０３は、例えば、参照ピクチャの、対象ブロックの位置から、計算視差ベクトルだけずれた位置のブロックである対応ブロックを、予測画像として取得する。
【０４９１】
そして、視差補償部７０３は、予測画像を、予測画像選択部６８４に供給する。
【０４９２】
なお、スキップマクロブロックについては、残差も、ずれベクトルの情報も符号化されない。従って、対象ブロックがスキップマクロブロックである場合には、予測ベクトルが、そのまま、スキップマクロブロックのずれベクトルに採用され、参照ピクチャの、スキップマクロブロックの位置からずれベクトルだけずれた位置のブロック（対応ブロック）のコピーが、スキップマクロブロックの復号結果とされる。
【０４９３】
[デコーダ６５２の処理の説明]
図３２は、図３０のデコーダ６５２が行う、視点Ｂの視差情報画像の符号化データを復号する復号処理を説明するフローチャートである。
【０４９４】
ステップＳ２７１乃至Ｓ２７９の処理は、処理の対象が色画像ではなく視差情報画像であることを除き、図１４のステップＳ１１１乃至Ｓ１１９の処理と同様であるので、説明は省略する。
【０４９５】
ステップＳ２７９の処理後、ステップＳ２８０では、ワーピング部６８１が、視差関連情報を必要に応じて用いて、低解像度参照画像生成部６７９からの低解像度化処理後のデコード視点Ａ視差情報画像のピクチャをワーピングすることにより、ワープド視点Ａ視差情報画像のピクチャを生成する。そして、ワーピング部６８１は、ワープド視点Ａ視差情報画像のピクチャをワープドピクチャバッファ６８２に供給して、処理は、ステップＳ２８１に進む。
【０４９６】
ステップＳ２８１では、ワープドピクチャバッファ６８２が、ワーピング部６８１からのワープド視点Ａ視差情報画像のピクチャを記憶し、処理は、ステップＳ２８２に進む。
【０４９７】
ステップＳ２８２では、画面内予測部６８０、及び、視差予測部６８３が、可変長復号部６７２から供給されるヘッダ情報に基づき、次の対象ブロック（次に復号対象となるマクロブロック）が、イントラ予測（画面内予測）、及び、視差予測（インター予測）のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを認識する。
【０４９８】
そして、次の対象ブロックが、画面内予測で生成された予測画像を用いて符号化されている場合には、画面内予測部６８０が、イントラ予測処理（画面内予測処理）を行い、その結果得られる予測画像を、予測画像選択部６８４に供給する。そして、処理は、ステップＳ２８２からステップＳ２８３に進む。
【０４９９】
また、次の対象ブロックが、視差予測（インター予測）で生成された予測画像を用いて符号化されている場合には、視差予測部６８３が、視差予測処理（インター予測処理）を行う。
【０５００】
すなわち、視差予測部６８３は、次の対象ブロックについて、低解像度化処理後のデコード視点Ａ視差情報画像のピクチャ、及び、ワープドピクチャバッファ６８２に記憶されたワープド視点Ｂ視差情報画像のピクチャのうちの、可変長復号部６７２からのヘッダ情報に含まれる、次の対象ブロックの予測用の参照インデクスが割り当てられている方のピクチャを参照ピクチャに選択する。
【０５０１】
さらに、視差予測部６８３は、可変長復号部６７２からのヘッダ情報に含まれる最適インター予測モード、及び、視差ベクトル情報を用いて、視差予測（視差補償）を行うことにより、予測画像を生成し、その予測画像を、予測画像選択部６８４に供給する。そして、処理は、ステップＳ２８２からステップＳ２８３に進む。
【０５０２】
ステップＳ２８３では、予測画像選択部６８４は、画面内予測部６８０、及び、視差予測部６８３のうちの、予測画像が供給される方からの、その予測画像を選択し、演算部６７５に供給して、処理は、ステップＳ２８４に進む。
【０５０３】
ここで、予測画像選択部６８４がステップＳ２８３で選択する予測画像が、次の対象ブロックの復号で行われるステップＳ２７５の処理で用いられる。
【０５０４】
ステップＳ２８４では、画面並び替えバッファ６７７が、デブロッキングフィルタ６７６からのデコード視差情報画像のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並びに並び替え、D/A変換部６７８に供給して、処理は、ステップＳ２８５に進む。
【０５０５】
ステップＳ２８５では、D/A変換部３４８は、画面並び替えバッファ６７７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
【０５０６】
デコーダ６５２では、以上のステップＳ２７１ないしＳ２８５の処理が、適宜繰り返し行われる。
【０５０７】
図３３は、図３２のステップＳ２８２で、図３１の視差予測部６８３が行う視差予測処理を説明するフローチャートである。
【０５０８】
ステップＳ３０１では、視差予測部６８３の参照ピクチャ選択部７０１は、可変長復号部６７２からのヘッダ情報に含まれる、（次の）対象ブロックの予測用の参照インデクスを取得し、処理は、ステップＳ３０２に進む。
【０５０９】
ステップＳ３０２では、参照ピクチャ選択部７０１が、予測用の参照インデクスの値を判定する。
【０５１０】
ステップＳ３０２において、予測用の参照インデクスが、0であると判定された場合、処理は、ステップＳ３０３に進み、参照ピクチャ選択部７０１は、候補ピクチャである低解像度化処理後のデコード視点Ａ視差情報画像のピクチャ、及び、ワープド視点Ｂ視差情報画像のピクチャのうちの、値0の参照インデクスが割り当てられているワープド視点Ｂ視差情報画像のピクチャを、ワープドピクチャバッファ６８２から取得する。
【０５１１】
そして、参照ピクチャ選択部７０１は、ワープド視点Ｂ視差情報画像のピクチャを、参照ピクチャとして、視差補償部７０３に供給して、処理は、ステップＳ３０３からステップＳ３０５に進む。
【０５１２】
また、ステップＳ３０２において、予測用の参照インデクスが、1であると判定された場合、処理は、ステップＳ３０４に進み、参照ピクチャ選択部７０１は、候補ピクチャである低解像度化処理後のデコード視点Ａ視差情報画像のピクチャ、及び、ワープド視点Ｂ視差情報画像のピクチャのうちの、値1の参照インデクスが割り当てられている低解像度化処理後のデコード視点Ａ視差情報画像のピクチャを、DPB３１５から低解像度参照画像生成部６７９を介して取得する。
【０５１３】
そして、参照ピクチャ選択部７０１は、低解像度化処理後のデコード視点Ａ視差情報画像のピクチャを、参照ピクチャとして、視差補償部７０３に供給して、処理は、ステップＳ３０４からステップＳ３０５に進む。
【０５１４】
ステップＳ３０５では、視差補償部７０３が、可変長復号部６７２からのヘッダ情報に含まれる最適インター予測モード、及び、視差ベクトル情報（残差ベクトル）を取得し、処理は、ステップＳ３０６に進む。
【０５１５】
ステップＳ３０６では、予測ベクトル生成部７０２が、予測ベクトルを生成し、視差補償部７０３に供給して、処理は、ステップＳ３０７に進む。
【０５１６】
ステップＳ３０７では、視差補償部７０３は、可変長復号部６７２からの視差ベクトル情報である残差ベクトルと、予測ベクトル生成部７０２からの予測ベクトルとを加算することで、対象ブロックの計算視差ベクトルとしてのずれベクトルを復号し、処理は、ステップＳ３０７からステップＳ３０８に進む。  
【０５１７】
ステップＳ３０８では、視差補償部７０３は、最適インター予測モードに従い、参照ピクチャ選択部７０１からの参照ピクチャのずれ補償（視差補償）を、対象ブロックの計算視差ベクトルを用いて行うことで、対象ブロックの予測画像を生成し、処理は、ステップＳ３０９に進む。
【０５１８】
ステップＳ３０９では、視差補償部７０３は、予測画像を、予測画像選択部６８４に供給して、処理はリターンする。
【０５１９】
［デコーダ６５１の構成例］
図３４は、図２９のデコーダ６５１の構成例を示すブロック図である。
【０５２０】
図３４に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０５２１】
図３４のデコーダ６５２の構成は、主に、低解像度参照画像生成部３７９の代わりに低解像度参照画像生成部７２０が設けられている点、および、ワーピング部７２１、ワープドピクチャバッファ７２２、および視差予測部７２３が新たに設けられている点が図１２の構成と異なる。
【０５２２】
なお、図３４において、DPB３１５には、デブロッキングフィルタ３７６から、デコード画像、すなわち、デコーダ６５１において復号された視点Ｂの色画像であるデコード視点Ｂ色画像のピクチャが供給され、参照ピクチャとなりうる候補ピクチャとして記憶される。
【０５２３】
また、DPB３１５には、デコーダ３１１において復号された視点Ａの色画像（デコード視点Ａ色画像）のピクチャ、デコーダ３１３において復号された視点Ａの視差情報画像（デコード視点Ａ視差情報画像）ピクチャ、及び、デコーダ６５２において復号された視点Ｂの視差情報画像（デコード視点Ｂ視差情報画像）のピクチャも供給されて記憶される。
【０５２４】
但し、デコーダ６５１では、デブロッキングフィルタ３７６からのデコード画像の他、デコーダ３１１で得られるデコード視点Ａ色画像、および、デコーダ３１３で得られるデコード視点Ａ視差情報画像のピクチャが、低解像度化処理され、復号対象である視点Ｂの色画像の復号に用いられる。
【０５２５】
具体的には、DPB３１５から候補ピクチャとしてデコードされた視点画像Ａ（デコード視点Ａ色画像とデコード視点Ａ視差情報画像）のピクチャが読み出される。低解像度参照画像生成部７２０は、受信部３１６から供給される視点Ａ低解像度変換情報に基づいて、DPB３１５から読み出される視点画像Ａのピクチャに対して、所定のフィルタ処理を低解像度化処理として行う。これにより、低解像度参照画像生成部７２０は、視点画像Ａのピクチャの解像度を、視点画像Ｂの色画像の解像度と同一の解像度にする。そして、低解像度参照画像生成部７２０は、低解像度化処理後のデコード視点Ａ色画像をワーピング部７２１と視差予測部７２３に供給し、低解像度化処理後のデコード視点Ａ視差情報画像をワーピング部７２１に供給する。
【０５２６】
なお、低解像度化処理後のデコード視点Ａ視差情報画像は、ワーピング部７２１において、図２５のワーピング部６１１と同様に、低解像度化処理後のデコード視点Ａ色画像のピクチャをワーピングすることにより、ワープド視点Ａ色画像のピクチャを生成するために用いられる。
【０５２７】
また、低解像度参照画像生成部７２０は、図１２の低解像度参照画像生成部３７９と同様に、DPB３１５から読み出された対象ピクチャのうちのデコード画像の一部を、そのまま画面内予測部３８０に供給する。
【０５２８】
ワーピング部７２１乃至視差予測部７２３は、視差情報画像ではなく、色画像を対象として処理を行うことを除き、図３０のデコーダ６５２のワーピング部６８１乃至視差予測部６８３と、それぞれ同様の処理を行う。
【０５２９】
[視差予測部７２３の構成例]
図３５は、図３４の視差予測部７２３の構成例を示すブロック図である。
【０５３０】
図３５において、視差予測部７２３は、参照ピクチャ選択部７４１、予測ベクトル生成部７４２、及び、視差補償部７４３を有する。
【０５３１】
参照ピクチャ選択部７４１乃至視差補償部７４３は、視差情報画像ではなく、色画像を対象として処理を行うことを除き、図３１の視差予測部６８３の参照ピクチャ選択部７０１乃至視差補償部７０３と、それぞれ同様の処理を行う。
【０５３２】
［デコーダ６５１の処理の説明］
図３６は、図３４のデコーダ６５１が行う、視点Ｂの色画像の符号化データを復号する復号処理を説明するフローチャートである。
【０５３３】
図３４のデコーダ６５１では、ステップＳ３１１乃至Ｓ３１６において、視差情報画像に代えて色画像を対象として、図３２のステップＳ２７１乃至Ｓ２７６とそれぞれ同様の処理が行われることにより、デブロッキングフィルタ３７６でのフィルタリングにより得られるデコード視点Ｂ色画像が、DPB３１５に供給され、処理は、ステップＳ３１７に進む。
【０５３４】
ステップＳ３１７では、DPB３１５が、視点Ａの色画像を復号するデコーダ３１１から、デコード視点Ａ色画像が供給されるのを待って、そのデコード視点Ａ色画像を記憶し、処理は、ステップＳ３１８に進む。
【０５３５】
ステップＳ３１８では、DPB３１５が、視点Ａの視差情報画像を復号するデコーダ３１３から、デコード視点Ａ視差情報画像が供給されるのを待って、そのデコード視点Ａ視差情報画像を記憶し、処理は、ステップＳ３１９に進む。
【０５３６】
ステップＳ３１９では、DPB３１５が、デブロッキングフィルタ３７６からのデコード視点Ｂ色画像を記憶し、処理は、ステップＳ３２０に進む。
【０５３７】
ステップＳ３２０では、低解像度参照画像生成部７２０が、DPB３１５から読み出されるデコード視点Ａ色画像とデコード視点Ａ視差情報画像のピクチャに対して低解像度化処理を行う。そして、低解像度参照画像生成部７２０は、低解像度化処理後のデコード視点Ａ色画像とデコード視点Ａ視差情報画像をワーピング部７２１に供給する。また、低解像度参照画像生成部７２０は、デコード視点Ａ色画像を視差予測部７２３に供給する。そして、処理は、ステップＳ３２０からステップＳ３２１に進む。
【０５３８】
ステップＳ３２１では、ワーピング部７２１が、低解像度参照画像生成部７２０からの低解像度化デコード視点Ａ視差情報画像のピクチャを用いて、低解像度化処理後のデコード視点Ａ色画像のピクチャをワーピングすることにより、ワープド視点Ａ色画像のピクチャを生成する。そして、ワーピング部７２１は、ワープド視点Ａ色画像のピクチャをワープドピクチャバッファ７２２に供給して、処理は、ステップＳ３２２に進む。
【０５３９】
以下、ステップＳ３２２乃至Ｓ３２６では、デコーダ６５１において、視差情報画像に代えて色画像を対象として、図３２のステップＳ２８１乃至Ｓ２８５とそれぞれ同様の処理が行われる。
【０５４０】
図３７は、図３５の視差予測部７２３が（図３６のステップＳ３２３で）行う視差予測処理を説明するフローチャートである。
【０５４１】
図３５の視差予測部７２３では、ステップＳ３３１乃至Ｓ３３９において、視差情報画像に代えて色画像を対象として、図３３のステップＳ３０１乃至Ｓ３０９とそれぞれ同様の処理が行われる。
【０５４２】
以上のように、画像処理システム５００は、視点画像Ａの解像度に比べて解像度が低下されて符号化された視点画像Ｂの符号化データを、視点画像Ｂと同一の解像度の低解像度化処理およびワーピング後の視点画像Ａを参照して復号する。従って、視点画像Ａの解像度に比べて解像度が低下されて符号化された視点画像Ｂの符号化データを、MVC方式等を利用した方式で復号することができる。
【０５４３】
なお、第２実施の形態では、基点となる視点Ａ以外の視点が視点Ｂのみであったが、基点以外の視点の数は２以上であってもよい。
【０５４４】
[基点以外の視点の数が２である場合の符号化および復号の概要]
図３８は、基点以外の視点の数が２である場合の多視点画像符号化装置５０１における符号化の概要を説明する図である。
【０５４５】
なお、以下では、基点となる視点Ａ以外の視点の視点Ｂ以外の視点を視点Ｃといい、視点Ｃの視点画像を視点画像Ｃという。また、画像処理システム５００に符号化対象として入力される視点画像Ｃの解像度は、視点画像Ｃとともに入力される視点画像Ａおよび視点画像Ｂの解像度と同一である。また、視点画像Ｃは、画像変換処理装置１１により低解像度化処理され、視点画像Ｃの解像度は、低解像度化処理後の視点画像Ｂより低い解像度にされる。
【０５４６】
図３８の左側に示すように、多視点画像符号化装置５０１では、まず、視点画像Ａが低解像度化処理され、視点画像Ａの解像度が低解像度化処理後の視点画像Ｂと同一の解像度にされる。そして、低解像度化処理後の視点画像Ａがワーピングされ、視点が視点Ｂに変更される。そして、低解像度化処理後の視点画像Ｂの符号化時に、例えば、視点変更後の視点画像Ａが参照される。符号化の結果得られる低解像度化処理後の視点画像Ｂの符号化データは、その符号化時の視点Ａ低解像度変換情報とともに多視点画像復号装置５０２に伝送される。
【０５４７】
次に、図３８の右側に示すように、多視点画像符号化装置５０１では、視点画像Ａおよび視点画像Ｂが低解像度化処理され、視点画像Ａおよび視点画像Ｂの解像度が低解像度化処理後の視点画像Ｃと同一の解像度にされる。そして、低解像度化処理後の視点画像Ａおよび視点画像Ｂはワーピングされ、視点が視点Ｃに変更される。そして、低解像度化処理後の視点画像Ｃの符号化時に、例えば、視点変更後の視点画像Ａおよび視点画像Ｂが参照される。符号化の結果得られる低解像度化処理後の視点画像Ｃの符号化データは、その符号化時の視点Ａ低解像度変換情報および視点Ｂ低解像度変換情報とともに多視点画像復号装置５０２に伝送される。なお、視点Ｂ低解像度変換情報とは、視点画像Ｂの低解像度化処理として行われるフィルタ処理のタップ数等の低解像度化処理の種類を表す情報である。
【０５４８】
図３９は、基点以外の視点の数が２である場合の多視点画像復号装置５０２における復号の概要を説明する図である。
【０５４９】
図３９の左側に示すように、多視点画像復号装置５０２では、まず、多視点画像符号化装置５０１により符号化され、多視点画像復号装置５０２により復号された視点画像Ａが、視点画像Ｂの符号化時の視点Ａ低解像度変換情報に基づいて低解像度化処理される。これにより、視点画像Ａの解像度が、低解像度化処理後の視点画像Ｂと同一の解像度にされる。そして、低解像度化処理後の視点画像Ａはワーピングされ、視点が視点Ｂに変更される。そして、多視点画像符号化装置５０１から供給される低解像度化処理後の視点画像Ｂの符号化データの復号時に、視点変更後の視点画像Ａが参照される。復号の結果、低解像度化処理後の視点画像Ｂが生成される。
【０５５０】
次に、図３９の右側に示すように、多視点画像復号装置５０２では、復号された視点画像Ａが、視点画像Ｃの符号化時の視点Ａ低解像度変換情報に基づいて低解像度化処理される。また、復号された視点画像Ｂが、視点画像Ｃの符号化時の視点Ｂ低解像度変換情報に基づいて低解像度化処理される。以上により、視点画像Ａおよび視点画像Ｂの解像度が、低解像度化処理後の視点画像Ｃと同一の解像度にされる。そして、低解像度化処理後の視点画像Ａおよび視点画像Ｂはワーピングされ、視点が視点Ｃに変更される。そして、多視点画像符号化装置５０１から供給される低解像度化処理後の視点画像Ｃの符号化データの復号時に、視点変更後の視点画像Ａおよび視点画像Ｂが参照される。復号の結果、低解像度化処理後の視点画像Ｃが生成される。
【０５５１】
＜第３実施の形態＞
[画像処理システムの構成例]
図４０は、本技術を適用した画像処理システムの第３実施の形態の構成例を示すブロック図である。
【０５５２】
図４０において、画像処理システム８００は、画像変換処理装置８０１、多視点画像符号化装置８０２、多視点画像復号装置８０３、および画像逆変換処理装置８０４により構成される。画像処理システム８００は、視点画像Ａと同一の解像度の視点画像Ｂおよび視点画像Ｃを低解像度化して多重化することにより視点ＢＣ多重化画像を生成し、視点ＢＣ多重化画像を符号化および復号する。
【０５５３】
具体的には、画像処理システム８００の画像変換処理装置８０１は、外部から符号化対象として入力される視点画像Ｂおよび視点画像Ｃに対して低解像度化処理を行うことにより、視点画像Ｂおよび視点画像Ｃの解像度を半分にする。そして、画像変換処理装置８０１は、視点画像Ｂおよび視点画像Ｃを所定の多重化方式で多重化し、画像処理システム８００に入力される視点画像Ａ乃至Ｃと同一の解像度の視点ＢＣ多重化画像を生成する。画像変換処理装置８０１は、その視点ＢＣ多重化画像を多視点画像符号化装置８０２に供給する。
【０５５４】
なお、多重化方式としては、多重化対象の２枚の画像を多重化画像の左右に配置するサイドバイサイド方式、上下に配置するトップアンドボトム方式等がある。
【０５５５】
また、画像変換処理装置８０１は、視点ＢＣ多重化画像の多重化方式等の多重化に関する情報を、多重化情報として生成し、多視点画像符号化装置８０２に供給する。
【０５５６】
なお、画像変換処理装置８０１は、多重化情報を多視点画像符号化装置８０２に供給せず、直接画像逆変換処理装置８０４に送信するようにしてもよい。また、画像変換処理装置８０１は、多重化情報を生成せず、画像変換処理装置８０１と画像逆変換処理装置８０４の間で予め設定された多重化方式に基づいて処理が行われるようにしてもよい。
【０５５７】
多視点画像符号化装置８０２は、視点画像Ａを取得する。また、多視点画像符号化装置８０２は、視点画像Ａと画像変換処理装置８０１から供給される視点ＢＣ多重化画像に対して符号化を行う。このとき、多視点画像符号化装置８０２は、視点画像Ａに対して低解像度化処理を行うことにより視点画像Ａの解像度を半分にし、基点以外の視点の数である２つ複製する。そして、多視点画像符号化装置８０２は、画像変換処理装置８０１から供給される多重化情報に基づいて、視点ＢＣ多重化画像の多重化方式で、複製された低解像度化処理後の２枚の視点画像Ａを多重化する。そして、多視点画像符号化装置８０２は、視点ＢＣ多重化画像を符号化する際には、多重化の結果得られる視点Ａ多重化画像を参照する。
【０５５８】
多視点画像符号化装置８０２は、符号化の結果得られる視点画像Ａおよび視点ＢＣ多重化画像の符号化データ、並びに、多重化情報を多重化し、ビットストリームを生成する。そして、多視点画像符号化装置８０２は、生成されたビットストリームを多視点画像復号装置８０３に伝送する。
【０５５９】
多視点画像復号装置８０３は、多視点画像符号化装置８０２から伝送されてくるビットストリームを受信する。多視点画像復号装置８０３は、受信されたビットストリームから多重化情報を抽出する。
【０５６０】
また、多視点画像復号装置８０３は、ビットストリームのうちの視点画像Ａと視点ＢＣ多重化画像の符号化データを復号する。このとき、多視点画像復号装置８０３は、復号された視点画像Ａに対して低解像度化処理を行うことにより視点画像Ａの解像度を半分にし、基点以外の視点の数である２つ複製する。そして、多視点画像復号装置８０３は、多重化情報に基づいて、視点ＢＣ多重化画像の多重化方式で、複製された低解像度化処理後の２枚の視点画像Ａを多重化することにより、視点Ａ多重化画像を生成する。そして、多視点画像復号装置８０３は、視点ＢＣ多重化画像の符号化データを復号する際には、視点Ａ多重化画像を参照する。多視点画像復号装置８０３は、復号の結果得られる視点画像Ａを出力し、視点ＢＣ多重化画像と多重化情報を画像逆変換処理装置８０４に供給する。
【０５６１】
画像逆変換処理装置８０４は、多視点画像復号装置８０３から供給される多重化情報に基づいて、視点ＢＣ多重化画像を分離し、低解像度化処理後の視点画像Ｂおよび視点画像Ｃを生成する。そして、画像逆変換処理装置８０４は、視点画像Ｂおよび視点画像Ｃに対して高解像度化処理を行い、視点画像Ｂおよび視点画像Ｃの解像度を２倍にする。これにより、画像逆変換処理装置８０４は、高解像度化処理後の視点画像Ｂおよび視点画像Ｃとして、視点画像Ａと同一の解像度、即ち外部から符号化対象として入力されたときの解像度の視点画像Ｂおよび視点画像Ｃを生成する。画像逆変換処理装置８０４は、生成された視点画像Ｂおよび視点画像Ｃを出力する。
【０５６２】
［視点ＢＣ多重化画像の符号化と復号の概要］
図４１は、図４０の多視点画像符号化装置８０２による視点ＢＣ多重化画像の符号化の概要を説明する図である。
【０５６３】
図４１の左側に示すように、画像処理システム８００の画像変換処理装置８０１では、視点画像Ｂおよび視点画像Ｃが低解像度化処理され、視点画像Ｂおよび視点画像Ｃの解像度が半分にされた後、所定の多重化方式で多重化される。なお、図４１の例では、多重化方式がサイドバイサイド方式であり、低解像度化処理後の視点画像Ｂが視点ＢＣ多重化画像の左半分に配置され、低解像度化処理後の視点画像Ｃが視点ＢＣ多重化画像の右半分に配置されている。
【０５６４】
次に、多視点画像符号化装置８０２では、視点画像Ａが低解像度化処理され、視点画像Ａの解像度が半分にされた後２つ複製され、視点ＢＣ多重化画像の多重化方式で多重化される。そして、視点ＢＣ多重化画像の符号化時に、視点Ａ多重化画像が参照される。
【０５６５】
従って、符号化対象である視点ＢＣ多重化画像と、その視点ＢＣ多重化画像の符号化時に参照される視点Ａ多重化画像の解像度は同一であり、MVC方式等を利用した方式で符号化を行うことができる。また、符号化対象である視点ＢＣ多重化画像と、その視点ＢＣ多重化画像の符号化時に参照される視点Ａ多重化画像の多重化方式が同一であるので、符号化効率を向上させることができる。
【０５６６】
符号化の結果得られる視点ＢＣ多重化画像の符号化データは、多重化情報とともに多視点画像復号装置８０３に伝送される。
【０５６７】
図４２は、多視点画像復号装置８０３による視点ＢＣ多重化画像の復号の概要を説明する図である。
【０５６８】
図４２に示すように、多視点画像復号装置８０３では、多視点画像符号化装置８０２により符号化され、多視点画像復号装置８０３により復号された視点画像Ａが、低解像度化処理され、視点画像Ａの解像度が半分にされた後２つ複製される。その後、複製された低解像度化処理後の２枚の視点画像Ａが、視点ＢＣ多重化画像の多重化方式（図４２の例ではサイドバイサイド方式）で多重化される。そして、視点ＢＣ多重化画像の符号化データの復号時に、視点Ａ多重化画像が参照される。
【０５６９】
従って、復号対象である視点ＢＣ多重化画像と、その視点ＢＣ多重化画像の復号時に参照される視点Ａ多重化画像の解像度は同一であり、MVC方式等を利用した方式で復号を行うことができる。
【０５７０】
[画像処理システムの処理の説明]
図４３は、図４０の画像処理システム８００が行う、視点画像Ａ乃至視点画像Ｃを符号化し、復号する画像処理を説明するフローチャートである。
【０５７１】
ステップＳ３８１では、画像処理システム８００の多視点画像符号化装置８０２は、外部から符号化対象として入力される視点画像Ａを取得し、処理は、ステップＳ３８２に進む。
【０５７２】
ステップＳ３８２では、画像変換処理装置８０１は、外部から符号化対象として入力される視点画像Ｂを取得し、処理は、ステップＳ３８３に進む。
【０５７３】
ステップＳ３８３では、画像変換処理装置８０１は、外部から符号化対象として入力される視点画像Ｃを取得し、処理は、ステップＳ３８４に進む。
【０５７４】
ステップＳ３８４では、画像変換処理装置８０１は、取得された視点画像Ｂおよび視点画像Ｃに対して低解像度化処理を行うことにより、視点画像Ｂおよび視点画像Ｃの解像度を半分にする。
【０５７５】
ステップＳ３８５では、画像変換処理装置８０１は、低解像度化処理後の視点画像Ｂおよび視点画像Ｃを所定の多重化方式で多重化し、画像処理システム８００に入力される視点画像Ａ乃至Ｃと同一の解像度の多重化画像を生成する。画像変換処理装置８０１は、その多重化画像を視点ＢＣ多重化画像として多視点画像符号化装置８０２に供給する。
【０５７６】
ステップＳ３８６では、画像変換処理装置８０１は、多重化情報を生成し、多視点画像符号化装置８０２に供給する。
【０５７７】
ステップＳ３８７では、多視点画像符号化装置８０２は、視点画像Ａと画像変換処理装置８０１から供給される視点ＢＣ多重化画像に対して符号化処理を行う。
【０５７８】
具体的には、多視点画像符号化装置８０２は、視点画像Ａを符号化する。また、多視点画像符号化装置８０２は、視点画像Ａに対して低解像度化処理を行うことにより視点画像Ａの解像度を半分にし、２つ複製する。そして、多視点画像符号化装置８０２は、画像変換処理装置８０１から供給される多重化情報に基づいて、視点ＢＣ多重化画像の多重化方式で、複製された低解像度化処理後の２枚の視点画像Ａを多重化する。そして、多視点画像符号化装置８０２は、多重化の結果得られる視点Ａ多重化画像を参照して、視点画像ＢＣ多重化画像を符号化する。そして、多視点画像符号化装置８０２は、符号化の結果得られる視点画像Ａおよび視点ＢＣ多重化画像の符号化データ、並びに、多重化情報を多重化し、ビットストリームを生成し、処理はステップＳ３８８に進む。
【０５７９】
ステップＳ３８８では、多視点画像符号化装置８０２は、ビットストリームを多視点画像復号装置８０３に伝送し、処理はステップＳ３８９に進む。
【０５８０】
ステップＳ３８９では、多視点画像復号装置８０３は、多視点画像符号化装置８０２から伝送されてくるビットストリームを受信し、処理はステップＳ３９０に進む。
【０５８１】
ステップＳ３９０では、多視点画像復号装置８０３は、受信されたビットストリームから、視点画像Ａおよび視点ＢＣ多重化画像の符号化データ、並びに多重化情報を抽出し、処理はステップＳ３９１に進む。
【０５８２】
ステップＳ３９１では、多視点画像復号装置８０３は、視点画像Ａおよび視点ＢＣ多重化画像の符号化データに対して復号処理を行う。
【０５８３】
具体的には、多視点画像復号装置８０３は、復号された視点画像Ａに対して低解像度化処理を行うことにより視点画像Ａの解像度を半分にし、２つ複製する。そして、多視点画像復号装置８０３は、多重化情報に基づいて、視点ＢＣ多重化画像の多重化方式で、複製された低解像度化処理後の２枚の視点画像Ａを多重化する。そして、多視点画像復号装置８０３は、多重化の結果得られる視点Ａ多重化画像を参照して、視点ＢＣ多重化画像の符号化データを復号する。多視点画像復号装置８０３は、復号の結果得られる視点画像Ａを出力し、視点ＢＣ多重化画像と多重化情報を画像逆変換処理装置８０４に供給する。そして、処理はステップＳ３９２に進む。
【０５８４】
ステップＳ３９２では、画像逆変換処理装置８０４は、多視点画像復号装置８０３から供給される多重化情報に基づいて、視点ＢＣ多重化画像を分離し、低解像度化処理後の視点画像Ｂおよび視点画像Ｃを生成する。そして、処理はステップＳ３９３に進む。
【０５８５】
ステップＳ３９３では、画像逆変換処理装置８０４は、低解像度化処理後の視点画像Ｂおよび視点画像Ｃに対して高解像度化処理を行い、視点画像Ｂおよび視点画像Ｃの解像度を２倍にする。これにより、画像逆変換処理装置８０４は、外部から符号化対象として入力されたときの解像度の視点画像Ｂおよび視点画像Ｃを生成し、出力する。そして、処理は終了する。
【０５８６】
［多視点画像符号化装置の構成例］
図４４は、図４０の多視点画像符号化装置８０２の構成例を示すブロック図である。
【０５８７】
図４４に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０５８８】
図４４の多視点画像符号化装置８０２の構成は、主に、エンコーダ５２、エンコーダ５４の代わりにエンコーダ８１１、エンコーダ８１２が設けられている点、および、送信部５７が設けられない点が図５の構成と異なる。
【０５８９】
図４４の多視点画像符号化装置８０２は、例えば、MVC方式を利用して、複数の視点の画像を符号化する符号化装置である。
【０５９０】
多視点画像符号化装置８０２は、基点の視点画像ＡをMVC方式におけるベースビューとして符号化し、視点ＢＣ多重化画像をMVC方式におけるディペンデントビューとして符号化する。
【０５９１】
具体的には、多視点画像符号化装置８０２のエンコーダ８１１は、図４０の画像変換処理装置８０１から供給される多重化情報に基づいて、多重化情報とともに供給される視点ＢＣ多重化画像のうちの色画像である視点ＢＣ色画像を符号化する。エンコーダ８１１は、符号化の結果得られる視点ＢＣ色画像の符号化データを、多重化部８１３に供給する。
【０５９２】
エンコーダ８１２は、画像変換処理装置８０１から供給される多重化情報に基づいて、画像変換処理装置８０１から供給される視点ＢＣ多重化画像のうちの視差情報画像である視点ＢＣ視差情報画像を符号化する。エンコーダ８１２は、符号化の結果得られる視点ＢＣ視差情報画像の符号化データを、多重化部８１３に供給する。
【０５９３】
多重化部８１３には、エンコーダ５１、エンコーダ８１１、エンコーダ５３、およびエンコーダ８１２のそれぞれからの符号化データ、および、画像変換処理装置８０１から供給される多重化情報を多重化してビットストリームを生成する。多重化部８１３は、ビットストリームを図４０の多視点画像復号装置８０３に伝送する。
【０５９４】
［エンコーダ８１１の構成例］
図４５は、図４４のエンコーダ８１１の構成例を示すブロック図である。
【０５９５】
なお、図４４のエンコーダ８１２も、エンコーダ８１１と同様に構成され、例えば、MVC方式にしたがって、画像の符号化を行う。
【０５９６】
図４５に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０５９７】
図４５のエンコーダ８１１の構成は、主に、低解像度参照画像生成部１５２の代わりに多重化参照画像生成部８３１が設けられている点が図７の構成と異なる。
【０５９８】
エンコーダ８１１の多重化参照画像生成部８３１は、DPB５５から候補ピクチャとして読み出されるデコード視点Ａ色画像のピクチャに対して低解像度化処理を行うことにより、デコード視点Ａ色画像の解像度を半分にし、２つ複製する。
【０５９９】
また、多重化参照画像生成部８３１は、多重化部として機能する。具体的には、多重化参照画像生成部８３１は、図４０の画像変換処理装置８０１から供給される多重化情報に基づいて、視点ＢＣ多重化画像の多重化方式で、複製された低解像度化処理後の２枚のデコード視点Ａ色画像のピクチャを多重化し、視点Ａ多重化画像のうちの色画像である視点Ａ多重化色画像を生成する。これにより、視点Ａ多重化色画像の解像度は、符号化対象である視点ＢＣ色画像の解像度と同一になる。そして、多重化参照画像生成部８３１は、視点Ａ多重化色画像を候補ピクチャとしてインター予測部１５４に供給する。
【０６００】
また、多重化参照画像生成部８３１は、図７の低解像度参照画像生成部１５２と同様に、DPB５５から読み出された対象ピクチャのデコード画像のうちの、既にローカルデコードされている部分を、そのまま画面内予測部１５３に供給する。  
【０６０１】
さらに、多重化参照画像生成部８３１は、低解像度参照画像生成部１５２と同様に、DPB５５から候補ピクチャとして読み出されたローカルデコードされた視点Ｂの色画像の対象ピクチャと異なるピクチャを、そのままインター予測部１５４に供給する。
【０６０２】
[エンコーダ８１１の処理の説明]
図４６は、図４３のステップＳ３８７において、図４５のエンコーダ８１１が行う、視点ＢＣ色画像を符号化する符号化処理を説明するフローチャートである。
【０６０３】
ステップＳ４０１乃至Ｓ４１１の処理は、図９のステップＳ１１乃至Ｓ２１の処理と同様であるので、説明は省略する。
【０６０４】
ステップＳ４１１の処理後、ステップＳ４１２では、エンコーダ８１１の多重化参照画像生成部８３１は、DPB５５から候補ピクチャとして読み出されるデコード視点Ａ色画像のピクチャに対して低解像度化処理を行うことにより解像度を半分にし、２つ複製する。
そして、処理はステップＳ４１３に進む。
【０６０５】
ステップＳ４１３では、多重化参照画像生成部８３１は、図４０の画像変換処理装置８０１から供給される多重化情報に基づいて、視点ＢＣ多重化画像の多重化方式で、複製された低解像度化処理後の２枚のデコード視点Ａ色画像を多重化し、視点Ａ多重化色画像を生成する。これにより、視点Ａ多重化色画像の解像度は、符号化対象である視点ＢＣ色画像の解像度と同一になる。そして、多重化参照画像生成部８３１は、視点Ａ多重化色画像を候補ピクチャとしてインター予測部１５４に供給する。
【０６０６】
また、多重化参照画像生成部８３１は、DPB５５から読み出された対象ピクチャのデコード画像のうちの、既にローカルデコードされている部分を、そのまま画面内予測部１５３に供給する。さらに、多重化参照画像生成部８３１は、DPB５５から候補ピクチャとして読み出されたローカルデコードされた視点Ｂの色画像の対象ピクチャと異なるピクチャを、そのままインター予測部１５４に供給する。そして、処理はステップＳ４１４に進む。
【０６０７】
ステップＳ４１４乃至Ｓ４１８の処理は、図９のステップＳ２４乃至Ｓ２８の処理と同様であるので、説明は省略する。
【０６０８】
エンコーダ８１１では、以上のステップＳ４０１乃至Ｓ４１８の処理が、適宜繰り返し行われる。
【０６０９】
以上のように、画像処理システム８００は、視点画像Ｂおよび視点画像Ｃの解像度を視点画像Ａの解像度に比べて低下させて符号化を行うので、同一の解像度の視点画像Ａ乃至視点画像Ｃを符号化する場合に比べて、符号化対象のデータ量を削減することができる。その結果、符号化データのデータ量を削減することができる。また、画像処理システム８００は、視点ＢＣ多重化画像の符号化時に、視点ＢＣ多重化画像と同一の解像度の視点Ａ多重化画像を参照するので、MVC方式等を利用した方式で符号化を行うことができる。さらに、画像処理システム８００は、符号化対象である視点ＢＣ多重化画像と、参照される視点Ａ多重化画像の多重化方式を同一にするので、符号化効率を向上させることができる。
【０６１０】
［多視点画像復号装置の構成例］
図４７は、図４０の多視点画像復号装置８０３の構成例を示すブロック図である。
【０６１１】
図４７に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０６１２】
図４７の多視点画像復号装置８０３の構成は、主に、分離部３１０、デコーダ３１２、デコーダ３１４の代わりに分離部８７０、デコーダ８７１、デコーダ８７２が設けられている点、および、受信部３１６が設けられない点が図１０の構成と異なる。
【０６１３】
図４７の多視点画像復号装置８０３は、例えば、MVC方式を利用して、複数の視点の画像を符号化したデータを復号する復号装置である。
【０６１４】
分離部８７０は、受信部として機能し、図４０の多視点画像符号化装置８０２から伝送されてくるビットストリームを受信する。分離部８７０は、受信されたビットストリームから、視点Ａの色画像の符号化データ、視点ＢＣ色画像の符号化データ、視点Ａの視差情報画像の符号化データ、視点ＢＣ視差情報画像の符号化データ、および多重化情報を分離する。
【０６１５】
そして、分離部８７０は、視点Ａの色画像の符号化データをデコーダ３１１に、視点ＢＣ色画像の符号化データをデコーダ８７１に、視点Ａの視差情報画像の符号化データをデコーダ３１３に、視点ＢＣ視差情報画像の符号化データをデコーダ８７２に、それぞれ供給する。また、分離部８７０は、多重化情報をデコーダ８７１、デコーダ８７２、および図４０の画像逆変換処理装置８０４に供給する。
【０６１６】
デコーダ８７１は、分離部８７０から供給される多重化情報を用いて、視点ＢＣ色画像の符号化データを復号し、その結果得られる視点ＢＣ色画像を、DPB３１５と画像逆変換処理装置８０４に供給する。
【０６１７】
デコーダ８７２は、分離部８７０から供給される多重化情報を用いて、視点ＢＣ視差情報画像の符号化データを復号し、その結果得られる視点ＢＣ視差情報画像を、DPB３１５と画像逆変換処理装置８０４に供給する。
【０６１８】
［デコーダ８７１の構成例］
図４８は、図４７のデコーダ８７１の構成例を示すブロック図である。
【０６１９】
なお、図４７のデコーダ８７２も、デコーダ８７１と同様に構成され、例えば、MVC方式に従って、画像の復号を行う。
【０６２０】
図４８に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０６２１】
図４８のデコーダ８７１の構成は、主に、低解像度参照画像生成部３７９の代わりに多重化参照画像生成部８９１が設けられている点が図１２の構成と異なる。
【０６２２】
多重化参照画像生成部８９１は、図１２の低解像度参照画像生成部３７９と同様に、DPB３１５から対象ブロックの予測画像として読み出された対象ピクチャのうちのデコード画像の一部を、そのまま画面内予測部３８０に供給する。
【０６２３】
また、多重化参照画像生成部８９１は、DPB３１５から参照ピクチャとして読み出されたデコード視点Ａ色画像のピクチャ対して低解像度化処理を行い、デコード視点Ａ色画像の解像度を半分にし、２つ複製する。また、多重化参照画像生成部８９１は、多重化部として機能し、図４７の分離部８７０から供給される多重化情報に基づいて、視点ＢＣ多重化画像の多重化方式で、複製された低解像度化処理後の２枚のデコード視点Ａ色画像を多重化する。多重化参照画像生成部８９１は、多重化の結果得られる視点Ａ多重化色画像をインター予測部３８１に供給する。
【０６２４】
さらに、多重化参照画像生成部８９１は、低解像度参照画像生成部３７９と同様に、DPB３１５から参照ピクチャとして読み出されたデコード視点Ｂ色画像の対象ピクチャとは異なるピクチャを、そのままインター予測部３８１に供給する。
【０６２５】
［デコーダ８７１の処理の説明］
図４９は、図４３のステップＳ３９１で、図４８のデコーダ８７１が行う、視点ＢＣ色画像の符号化データを復号する復号処理を説明するフローチャートである。
【０６２６】
ステップＳ４４１乃至Ｓ４４８の処理は、図１４のステップＳ１１１乃至Ｓ１１８の処理と同様であるので、説明は省略する。
【０６２７】
ステップＳ４４８の処理後、ステップＳ４４９では、多重化参照画像生成部８９１が、DPB３１５から候補ピクチャとして読み出されたデコード視点Ａ色画像のピクチャに対して低解像度化処理を行い、デコード視点Ａ色画像の解像度を半分にし、２つ複製する。そして、処理はステップＳ４５０に進む。
【０６２８】
ステップＳ４５０では、多重化参照画像生成部８９１が、分離部８７０から供給される多重化情報に基づいて、視点ＢＣ多重化画像の多重化方式で、複製された低解像度化処理後の２枚のデコード視点Ａ色画像のピクチャを多重化する。そして、多重化参照画像生成部８９１は、その結果得られる視点Ａ多重化色画像をインター予測部３８１に供給する。
【０６２９】
また、多重化参照画像生成部８９１は、DPB３１５から対象ブロックの予測画像として読み出された対象ピクチャのうちのデコード画像の一部を、そのまま画面内予測部３８０に供給する。さらに、多重化参照画像生成部８９１は、DPB３１５から参照ピクチャとして読み出されたデコード視点Ｂ色画像の対象ピクチャとは異なるピクチャを、そのままインター予測部３８１に供給する。そして、処理はステップＳ４５１に進む。
【０６３０】
ステップＳ４５１乃至Ｓ４５４の処理は、図１４のステップＳ１２０乃至Ｓ１２３の処理と同様であるので、説明は省略する。
【０６３１】
以上のように、画像処理システム８００は、視点画像Ａの解像度に比べて解像度が低下された視点画像Ｂおよび視点画像Ｃから構成される視点ＢＣ多重化画像の符号化データを、視点ＢＣ多重化画像と同一の解像度の視点Ａ多重化画像を参照して復号する。従って、視点ＢＣ多重化画像の符号化データを、MVC方式等を利用した方式で復号することができる。
【０６３２】
なお、図示は省略するが、第２および第３の実施の形態を組み合わさるようにしてもよい。即ち、図４４のエンコーダ８１１およびエンコーダ８１２並びに図４７のデコーダ８７１およびデコーダ８７２において、ワーピングされた視点Ａ多重化画像も参照されるようにしてもよい。
【０６３３】
また、本実施の形態では、視点Ｂ低解像度情報や多重化情報が符号化データに付加(記述)され、視点Ａ低解像度情報が符号化データとは別に伝送されたが、伝送方法はこれに限定されない。
【０６３４】
例えば、視点Ａ低解像度情報、視点Ｂ低解像度情報、および多重化情報は、画像データ(又はビットストリーム)と無関係に伝送(記録)されるようにしてもよいし、連結されて伝送されるようにしてもよい。
【０６３５】
但し、本実施の形態では、「連結」を以下のように定義する。「連結」とは、画像データ(又はビットストリーム)と視点Ａ低解像度情報、視点Ｂ低解像度情報、および多重化情報とが互いにリンクされている状態を指す。連結対象の画像データと視点Ａ低解像度情報、視点Ｂ低解像度情報、および多重化情報とは、多重化されて同一の伝送路で伝送されてもよいし、別の伝送路で伝送されてもよい。また、連結対象の画像データ(又はビットストリーム)と視点Ａ低解像度情報、視点Ｂ低解像度情報、および多重化情報とは、同一の記録媒体に記録されてもよいし、互いに別の記録媒体(又は同一の記録媒体内の別々の記録エリア)に記録されてもよい。なお、画像データ(又はビットストリーム)と視点Ａ低解像度情報、視点Ｂ低解像度情報、および多重化情報とをリンクさせる単位は、例えば、符号化処理単位(１フレーム、複数フレーム等)にすることができる。
【０６３６】
また、視点Ａ低解像度情報、視点Ｂ低解像度情報、および多重化情報は、符号化されて伝送されるようにしてもよい。
【０６３７】
＜第４実施の形態＞
［本技術を適用したコンピュータの説明］
【０６３８】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０６３９】
そこで、図５１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０６４０】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１１０５やROM１１０３に予め記録しておくことができる。
【０６４１】
あるいはまた、プログラムは、リムーバブル記録媒体１１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０６４２】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０６４３】
コンピュータは、CPU(Central Processing Unit)１１０２を内蔵しており、CPU１１０２には、バス１１０１を介して、入出力インタフェース１１１０が接続されている。
【０６４４】
CPU１１０２は、入出力インタフェース１１１０を介して、ユーザによって、入力部１１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１１０３に格納されているプログラムを実行する。あるいは、CPU１１０２は、ハードディスク１１０５に格納されたプログラムを、RAM(Random Access Memory)１１０４にロードして実行する。
【０６４５】
これにより、CPU１１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１１０を介して、出力部１１０６から出力、あるいは、通信部１１０８から送信、さらには、ハードディスク１１０５に記録等させる。
【０６４６】
なお、入力部１１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０６４７】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０６４８】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０６４９】
本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して通信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像処理システムに適用することができる。
【０６５０】
また、上述した画像処理システムの少なくとも一部は、任意の電子機器に適用することができる。以下にその例について説明する。
【０６５１】
＜第５実施の形態＞
［テレビジョン装置の構成例］
図５２は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置１９００は、アンテナ１９０１、チューナ１９０２、デマルチプレクサ１９０３、デコーダ１９０４、映像信号処理部１９０５、表示部１９０６、音声信号処理部１９０７、スピーカ１９０８、外部インタフェース部１９０９を有している。さらに、テレビジョン装置１９００は、制御部１９１０、ユーザインタフェース部１９１１等を有している。
【０６５２】
チューナ１９０２は、アンテナ１９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ１９０３に出力する。
【０６５３】
デマルチプレクサ１９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ１９０４に出力する。また、デマルチプレクサ１９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部１９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０６５４】
デコーダ１９０４は、パケットの復号化処理を行い、復号化処理によって生成された映像データを映像信号処理部１９０５、音声データを音声信号処理部１９０７に出力する。
【０６５５】
映像信号処理部１９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部１９０５は、表示部１９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部１９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部１９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部１９０６を駆動する。
【０６５６】
表示部１９０６は、映像信号処理部１９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０６５７】
音声信号処理部１９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ１９０８に供給することで音声出力を行う。
【０６５８】
外部インタフェース部１９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０６５９】
制御部１９１０にはユーザインタフェース部１９１１が接続されている。ユーザインタフェース部１９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部１９１０に供給する。
【０６６０】
制御部１９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置１９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置１９００がユーザ操作に応じた動作となるように各部を制御する。
【０６６１】
なお、テレビジョン装置１９００では、チューナ１９０２、デマルチプレクサ１９０３、映像信号処理部１９０５、音声信号処理部１９０７、外部インタフェース部１９０９等と制御部１９１０を接続するためバス１９１２が設けられている。
【０６６２】
このように構成されたテレビジョン装置では、デコーダ１９０４に本願の復号装置（復号方法）の機能が設けられる。このため、複数の視点の画像の符号化データのデータ量を削減するように符号化された符号化データを復号することができる。
【０６６３】
＜第６実施の形態＞
［携帯電話機の構成例］
図５３は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機１９２０は、通信部１９２２、音声コーデック１９２３、カメラ部１９２６、画像処理部１９２７、多重分離部１９２８、記録再生部１９２９、表示部１９３０、制御部１９３１を有している。これらは、バス１９３３を介して互いに接続されている。
【０６６４】
また、通信部１９２２にはアンテナ１９２１が接続されており、音声コーデック１９２３には、スピーカ１９２４とマイクロホン１９２５が接続されている。さらに制御部１９３１には、操作部１９３２が接続されている。
【０６６５】
携帯電話機１９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０６６６】
音声通話モードにおいて、マイクロホン１９２５で生成された音声信号は、音声コーデック１９２３で音声データへの変換やデータ圧縮が行われて通信部１９２２に供給される。通信部１９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部１９２２は、送信信号をアンテナ１９２１に供給して図示しない基地局へ送信する。また、通信部１９２２は、アンテナ１９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック１９２３に供給する。音声コーデック１９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ１９２４に出力する。
【０６６７】
また、データ通信モードにおいて、メール送信を行う場合、制御部１９３１は、操作部１９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部１９３０に表示する。また、制御部１９３１は、操作部１９３２におけるユーザ指示等に基づいてメールデータを生成して通信部１９２２に供給する。通信部１９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ１９２１から送信する。また、通信部１９２２は、アンテナ１９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部１９３０に供給して、メール内容の表示を行う。
【０６６８】
なお、携帯電話機１９２０は、受信したメールデータを、記録再生部１９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０６６９】
データ通信モードにおいて画像データを送信する場合、カメラ部１９２６で生成された画像データを、画像処理部１９２７に供給する。画像処理部１９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０６７０】
多重分離部１９２８は、画像処理部１９２７で生成された符号化データと、音声コーデック１９２３から供給された音声データを所定の方式で多重化して通信部１９２２に供給する。通信部１９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ１９２１から送信する。また、通信部１９２２は、アンテナ１９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部１９２８に供給する。多重分離部１９２８は、多重化データの分離を行い、符号化データを画像処理部１９２７、音声データを音声コーデック１９２３に供給する。画像処理部１９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部１９３０に供給して、受信した画像の表示を行う。音声コーデック１９２３は、音声データをアナログ音声信号に変換してスピーカ１９２４に供給して、受信した音声を出力する。
【０６７１】
このように構成された携帯電話装置では、画像処理部１９２７に本願の符号化装置（符号化方法）および復号装置（復号方法）の機能が設けられる。このため、数の視点の画像の符号化データのデータ量を削減することができる。また、複数の視点の画像の符号化データのデータ量を削減するように符号化された符号化データを復号することができる。
【０６７２】
＜第７実施の形態＞
［記録再生装置の構成例］
図５４は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置１９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置１９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置１９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０６７３】
記録再生装置１９４０は、チューナ１９４１、外部インタフェース部１９４２、エンコーダ１９４３、ＨＤＤ（Hard Disk Drive）部１９４４、ディスクドライブ１９４５、セレクタ１９４６、デコーダ１９４７、ＯＳＤ（On-Screen Display）部１９４８、制御部１９４９、ユーザインタフェース部１９５０を有している。
【０６７４】
チューナ１９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ１９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ１９４６に出力する。
【０６７５】
外部インタフェース部１９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部１９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０６７６】
エンコーダ１９４３は、外部インタフェース部１９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ１９４６に出力する。
【０６７７】
ＨＤＤ部１９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０６７８】
ディスクドライブ１９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
【０６７９】
セレクタ１９４６は、映像や音声の記録時には、チューナ１９４１またはエンコーダ１９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部１９４４やディスクドライブ１９４５のいずれかに供給する。また、セレクタ１９４６は、映像や音声の再生時に、ＨＤＤ部１９４４またはディスクドライブ１９４５から出力された符号化ビットストリームをデコーダ１９４７に供給する。
【０６８０】
デコーダ１９４７は、符号化ビットストリームの復号化処理を行う。デコーダ１９４７は、復号化処理を行うことにより生成された映像データをＯＳＤ部１９４８に供給する。また、デコーダ１９４７は、復号化処理を行うことにより生成された音声データを出力する。
【０６８１】
ＯＳＤ部１９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ１９４７から出力された映像データに重畳して出力する。
【０６８２】
制御部１９４９には、ユーザインタフェース部１９５０が接続されている。ユーザインタフェース部１９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部１９４９に供給する。
【０６８３】
制御部１９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置１９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置１９４０がユーザ操作に応じた動作となるように各部を制御する。
【０６８４】
このように構成された記録再生装置では、デコーダ１９４７に本願の復号装置（復号方法）の機能が設けられる。このため、複数の視点の画像の符号化データのデータ量を削減するように符号化された符号化データを復号することができる。
【０６８５】
＜第８実施の形態＞
［撮像装置の構成例］
図５５は、本技術を適用した撮像装置の概略構成を例示している。撮像装置１９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０６８６】
撮像装置１９６０は、光学ブロック１９６１、撮像部１９６２、カメラ信号処理部１９６３、画像データ処理部１９６４、表示部１９６５、外部インタフェース部１９６６、メモリ部１９６７、メディアドライブ１９６８、ＯＳＤ部１９６９、制御部１９７０を有している。また、制御部１９７０には、ユーザインタフェース部１９７１が接続されている。さらに、画像データ処理部１９６４や外部インタフェース部１９６６、メモリ部１９６７、メディアドライブ１９６８、ＯＳＤ部１９６９、制御部１９７０等は、バス１９７２を介して接続されている。
【０６８７】
光学ブロック１９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック１９６１は、被写体の光学像を撮像部１９６２の撮像面に結像させる。撮像部１９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部１９６３に供給する。
【０６８８】
カメラ信号処理部１９６３は、撮像部１９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部１９６３は、カメラ信号処理後の画像データを画像データ処理部１９６４に供給する。
【０６８９】
画像データ処理部１９６４は、カメラ信号処理部１９６３から供給された画像データの符号化処理を行う。画像データ処理部１９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部１９６６やメディアドライブ１９６８に供給する。また、画像データ処理部１９６４は、外部インタフェース部１９６６やメディアドライブ１９６８から供給された符号化データの復号化処理を行う。画像データ処理部１９６４は、復号化処理を行うことにより生成された画像データを表示部１９６５に供給する。また、画像データ処理部１９６４は、カメラ信号処理部１９６３から供給された画像データを表示部１９６５に供給する処理や、ＯＳＤ部１９６９から取得した表示用データを、画像データに重畳させて表示部１９６５に供給する。
【０６９０】
ＯＳＤ部１９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部１９６４に出力する。
【０６９１】
外部インタフェース部１９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部１９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部１９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部１９７０は、例えば、ユーザインタフェース部１９７１からの指示にしたがって、メモリ部１９６７から符号化データを読み出し、それを外部インタフェース部１９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部１９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部１９６６を介して取得し、それを画像データ処理部１９６４に供給したりすることができる。
【０６９２】
メディアドライブ１９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０６９３】
また、メディアドライブ１９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０６９４】
制御部１９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置１９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置１９６０がユーザ操作に応じた動作となるように各部を制御する。
【０６９５】
このように構成された撮像装置では、画像データ処理部１９６４に本願の符号化装置（符号化方法）および復号装置（復号方法）の機能が設けられる。このため、複数の視点の画像の符号化データのデータ量を削減することができる。また、複数の視点の画像の符号化データのデータ量を削減するように符号化された符号化データを復号することができる。
【０６９６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０６９７】
なお、本技術は、以下のような構成もとることができる。
【０６９８】
（１）
第１の視点の画像の解像度に比べて解像度の低い、前記第１の視点と異なる第２の視点の画像を符号化する場合に、前記第１の視点の画像の解像度が前記第２の視点の画像の解像度と同一になるように、前記第１の視点の画像に対して、解像度を低下させる低解像度化処理を行う第１の視点低解像度化処理部と、
前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する予測部と、
前記予測部により生成された前記予測画像を用いて、前記第２の視点の画像を符号化する符号化部と
を備える符号化装置。
（２）
複数の異なる前記第２の視点の画像が多重化された画像である多重化画像を符号化する場合に、前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像を、前記多重化画像を構成する前記第２の視点の画像の数だけ複製して多重化する多重化部
をさらに備え、
前記予測部は、前記多重化部により多重化された前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する
前記（１）に記載の符号化装置。
（３）
前記第２の視点の画像の解像度を検出する検出部
をさらに備え、
前記第１の視点低解像度化処理部は、前記検出部により判定された解像度に基づいて、前記第１の視点の画像に対して低解像度化処理を行う
前記（１）に記載の符号化装置。
（４）
前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像をワーピングすることにより、低解像度化処理後の前記第１の視点の画像を前記第２の視点で得られる画像に変換したワープド画像を生成するワーピング部
をさらに備え、
前記予測部は、前記ワーピング部により生成された前記ワープド画像を参照して、前記予測画像を生成する
前記（１）または（３）に記載の符号化装置。
（５）
前記符号化部による符号化の結果得られる前記第２の視点の画像の符号化データと、前記予測画像の生成に前記ワープド画像を参照したことを表す情報を伝送する伝送部
をさらに備える
前記（４）に記載の符号化装置。
（６）
前記符号化部による符号化の結果得られる前記第２の視点の画像の符号化データのデータ量、または、前記符号化部による前記第２の視点の画像の符号化に要する符号化コストに基づいて、前記第２の視点の画像の符号化データを出力するかどうかを判定する判定部
をさらに備え、
前記符号化部は、前記判定部が前記第２の視点の画像の符号化データを出力すると判定した場合、前記第２の視点の画像の符号化データを出力する
前記（１）乃至（５）のいずれかに記載の符号化装置。
（７）
前記第１の視点低解像度化処理部による前記低解像度化処理の種類を表す低解像度変換情報を生成する低解像度変換情報生成部と、
前記符号化部による符号化の結果得られる前記第２の視点の画像の符号化データと、前記低解像度変換情報生成部により生成された前記低解像度変換情報とを伝送する伝送部と
をさらに備える
前記（１）または（３）乃至（６）のいずれかに記載の符号化装置。
（８）
前記第１の視点の画像と同一の解像度の前記第２の視点の画像に対して、前記第２の視点の画像の解像度が前記第１の視点の画像の解像度に比べて低くなるように低解像度化処理を行う第２の視点低解像度化処理部と、
前記第２の視点低解像度化処理部による前記低解像度化処理の種類を表す低解像度変換情報を生成する低解像度変換情報生成部と、
前記符号化部による符号化の結果得られる前記第２の視点の画像の符号化データと、前記低解像度変換情報生成部により生成された前記低解像度変換情報とを伝送する伝送部と
をさらに備える
前記（１）または（３）乃至（６）のいずれかに記載の符号化装置。
（９）
符号化装置が、
第１の視点の画像の解像度に比べて解像度の低い、前記第１の視点と異なる第２の視点の画像を符号化する場合に、前記第１の視点の画像の解像度が前記第２の視点の画像の解像度と同一になるように、前記第１の視点の画像に対して、解像度を低下させる低解像度化処理を行う第１の視点低解像度化処理ステップと、
前記第１の視点低解像度化処理ステップの処理による低解像度化処理後の前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する予測ステップと、
前記予測ステップの処理により生成された前記予測画像を用いて、前記第２の視点の画像を符号化する符号化ステップと
を含む符号化方法。
（１０）
第１の視点の画像の解像度に比べて解像度の低い、前記第１の視点と異なる第２の視点の画像の符号化データを復号する場合に、前記第１の視点の画像の解像度が前記第２の視点の画像の解像度と同一になるように、前記第１の視点の画像に対して、解像度を低下させる低解像度化処理を行う第１の視点低解像度化処理部と、
前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する予測部と、
前記予測部により予測された前記予測画像を用いて、前記第２の視点の画像の符号化データを復号する復号部と
を備える復号装置。
（１１）
複数の異なる前記第２の視点の画像が多重化された画像である多重化画像の符号化データを復号する場合に、前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像を、前記多重化画像を構成する前記第２の視点の画像の数だけ複製して多重化する多重化部
をさらに備え、
前記予測部は、前記多重化部により多重化された前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する
前記（１０）に記載の復号装置。
（１２）
前記第１の視点低解像度化処理部による低解像度化処理後の前記第１の視点の画像をワーピングすることにより、低解像度化処理後の前記第１の視点の画像を前記第２の視点で得られる画像に変換したワープド画像を生成するワーピング部
をさらに備え、
前記予測部は、前記ワーピング部により生成された前記ワープド画像を参照して、前記予測画像を生成する
前記（１０）に記載の復号装置。
（１３）
前記第２の視点の画像の符号化データと、前記第２の視点の画像の符号化時の予測画像の生成に前記ワープド画像を参照したことを表す情報を受信する受信部
をさらに備える
前記（１２）に記載の復号装置。
（１４）
前記復号部は、前記第２の視点の画像の復号対象のブロックである対象ブロックの符号化データが存在する場合、前記予測部により予測された前記予測画像を用いて、前記対象ブロックの符号化データを復号し、前記対象ブロックの符号化データが存在しない場合、前記対象ブロックに隣接するブロックの符号化データに基づいて、前記対象ブロックの復号結果を生成する
前記（１０）乃至（１３）のいずれかに記載の復号装置。
（１５）
前記第２の視点の画像の符号化データと、前記第２の視点の画像の符号化時に行われた前記第１の視点の画像の低解像度化処理の種類を表す低解像度変換情報とを受信する受信部
をさらに備え、
前記第１の視点低解像度化処理部は、前記受信部により受信された前記低解像度変換情報に基づいて、前記第１の視点の画像に対して前記低解像度化処理を行う
前記（１０）または（１２）乃至（１４）のいずれかに記載の復号装置。
（１６）
前記第２の視点の画像の符号化データと、前記第２の視点の画像の符号化前に、前記第１の視点の画像と同一の解像度の前記第２の視点の画像に対して、前記第２の視点の画像の解像度が前記第１の視点の画像の解像度に比べて低くなるように行われた低解像度化処理の種類を表す低解像度変換情報とを受信する受信部と、
前記受信部により受信された前記低解像度変換情報に基づいて、前記復号部による復号の結果得られる前記第２の視点の画像に対して、その第２の視点の画像の解像度が前記第１の視点の画像の解像度と同一になるように、解像度を高める高解像度化処理を行う高解像度化処理部と
をさらに備える
前記（１０）または（１２）乃至（１４）のいずれかに記載の復号装置。
（１７）
復号装置が、
第１の視点の画像の解像度に比べて解像度の低い、前記第１の視点と異なる第２の視点の画像の符号化データを復号する場合に、前記第１の視点の画像の解像度が前記第２の視点の画像の解像度と同一になるように、前記第１の視点の画像に対して、解像度を低下させる低解像度化処理を行う第１の視点低解像度化処理ステップと、
前記第１の視点低解像度化処理ステップの処理による低解像度化処理後の前記第１の視点の画像を参照して、前記第２の視点の画像の予測画像を生成する予測ステップと、
前記予測ステップの処理により予測された前記予測画像を用いて、前記第２の視点の画像の符号化データを復号する復号ステップと
復号方法。
【符号の説明】
【０６９９】
１１  画像変換処理装置，  １２  多視点画像符号化装置，  １３  多視点画像復号装置，  １４  画像逆変換処理装置，  ３１  低解像度変換処理部，  ３２  低解像度変換情報生成部，  １４３  演算部，  １４７  蓄積バッファ，  １５２  低解像度参照画像生成部，  １５４  インター予測部，  １７１  低解像度変換処理部，  １７２  低解像度変換情報生成部，  ３１６  受信部，  ３７１  蓄積バッファ，  ３７５  演算部，  ３７９  低解像度参照画像生成部，  ３８１  インター予測部，  ５７４  ワーピング部，  ５７７  視差予測部，  ６５０  分離部，  ７２１  ワーピング部，  ８９１  多重化参照画像生成部
【図１】
2012147621.tif 000006
【図２】
2012147621.tif 000007
【図３】
2012147621.tif 000008
【図４】
2012147621.tif 000009
【図５】
2012147621.tif 000010
【図６】
2012147621.tif 000011
【図７】
2012147621.tif 000012
【図８】
2012147621.tif 000013
【図９】
2012147621.tif 000014
【図１０】
2012147621.tif 000015
【図１１】
2012147621.tif 000016
【図１２】
2012147621.tif 000017
【図１３】
2012147621.tif 000018
【図１４】
2012147621.tif 000019
【図１５】
2012147621.tif 000020
【図１６】
2012147621.tif 000021
【図１７】
2012147621.tif 000022
【図１８】
2012147621.tif 000023
【図１９】
2012147621.tif 000024
【図２０】
2012147621.tif 000025
【図２１】
2012147621.tif 000026
【図２２】
2012147621.tif 000027
【図２３】
2012147621.tif 000028
【図２４】
2012147621.tif 000029
【図２５】
2012147621.tif 000030
【図２６】
2012147621.tif 000031
【図２７】
2012147621.tif 000032
【図２８】
2012147621.tif 000033
【図２９】
2012147621.tif 000034
【図３０】
2012147621.tif 000035
【図３１】
2012147621.tif 000036
【図３２】
2012147621.tif 000037
【図３３】
2012147621.tif 000038
【図３４】
2012147621.tif 000039
【図３５】
2012147621.tif 000040
【図３６】
2012147621.tif 000041
【図３７】
2012147621.tif 000042
【図３８】
2012147621.tif 000043
【図３９】
2012147621.tif 000044
【図４０】
2012147621.tif 000045
【図４１】
2012147621.tif 000046
【図４２】
2012147621.tif 000047
【図４３】
2012147621.tif 000048
【図４４】
2012147621.tif 000049
【図４５】
2012147621.tif 000050
【図４６】
2012147621.tif 000051
【図４７】
2012147621.tif 000052
【図４８】
2012147621.tif 000053
【図４９】
2012147621.tif 000054
【図５０】
2012147621.tif 000055
【図５１】
2012147621.tif 000056
【図５２】
2012147621.tif 000057
【図５３】
2012147621.tif 000058
【図５４】
2012147621.tif 000059
【図５５】
2012147621.tif 000060
【国際調査報告】
2012147621.tif 000061
2012147621.tif 000062
2012147621.tif 000063
2012147621.tif 000064