(57)【要約】【課題】視点画像および対応する奥行き画像を符号化し、その符号化データを利用して多数の視点画像を生成・表示する際に、少ないデータ量でより高品位な映像を生成・表示することを可能にする。【解決手段】観察視点に対応する視点画像を符号化する視点画像符号化手段と、観察視点からの各被写体までの距離を示す奥行き画像を符号化する奥行き画像符号化手段とを備える画像符号化装置であって、奥行き画像符号化手段は、奥行き画像内の画素値の変化の大きさに基づいて奥行き画像を複数の領域に分割する画像分割手段と、分割された領域ごとの画像特性に基づいて解像度を変換する解像度変換手段と、解像度変換された領域ごとに奥行き画像を圧縮符号化する画像圧縮符号化手段とから構成する。【選択図】図２
2013128260.tif 000002
【特許請求の範囲】
【請求項１】
観察視点に対応する視点画像を符号化する視点画像符号化手段と、前記観察視点からの各被写体までの距離を示す奥行き画像を符号化する奥行き画像符号化手段とを備える画像符号化装置であって、
前記奥行き画像符号化手段は、
前記奥行き画像内の画素値の変化の大きさに基づいて前記奥行き画像を複数の領域に分割する画像分割手段と、
分割された前記領域ごとの画像特性に基づいて解像度を変換する解像度変換手段と、
解像度変換された前記領域ごとに前記奥行き画像を圧縮符号化する画像圧縮符号化手段と
から構成することを特徴とする画像符号化装置。
【請求項２】
前記画像分割手段は、前記奥行き画像内の画素値の分散に基づいて、前記奥行き画像の分割数を決定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記解像度変換手段は、前記奥行き画像の領域ごとの画素値の分散に基づいて、前記奥行き画像の解像度の変換度合いを決定することを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記解像度変換手段は、前記奥行き画像の領域ごとのエッジの有無に基づいて、前記奥行き画像の解像度の変換度合いを決定することを特徴とする請求項１に記載の画像符号化装置。
【請求項５】
前記解像度変換手段は、前記奥行き画像の領域ごとの空間周波数の高さに基づいて、前記奥行き画像の解像度の変換度合いを決定することを特徴とする請求項１に記載の画像符号化装置。
【請求項６】
視点画像を符号化した符号化視点画像を復号する視点画像復号手段と、前記視点画像に対応する奥行き画像を符号化した符号化奥行き画像を復号する奥行き画像復号手段とを備える画像復号装置であって、
前記奥行き画像復号手段は、前記符号化奥行き画像を復号すると共に解像度変換に関する情報を抽出する画像復号手段と、
前記解像度変換に関する情報に基づいて復号後の奥行き画像の解像度を逆変換する解像度逆変換手段と、
前記奥行き画像の分割に関する情報に基づいて解像度逆変換後の前記奥行き画像の各領域を結合して、前記奥行き画像を復元する奥行き画像復元手段と
から構成することを特徴とする画像復号装置。
【請求項７】
観察視点に対応する視点画像を符号化する視点画像符号化手段と、前記観察視点からの各被写体までの距離を示す奥行き画像を符号化する奥行き画像符号化手段とを備える画像符号化装置における画像符号化方法であって、
前記奥行き画像符号化手段は、
前記奥行き画像内の画素値の変化の大きさに基づいて前記奥行き画像を複数の領域に分割する画像分割ステップと、
分割された前記領域ごとの画像特性に基づいて解像度を変換する解像度変換ステップと、
解像度変換された前記領域ごとに前記奥行き画像を圧縮符号化する画像圧縮符号化ステップと
を有することを特徴とする画像符号化方法。
【請求項８】
視点画像を符号化した符号化視点画像を復号する視点画像復号手段と、前記視点画像に対応する奥行き画像を符号化した符号化奥行き画像を復号する奥行き画像復号手段とを備える画像復号装置における画像復号方法であって、
前記奥行き画像復号手段は、
前記符号化奥行き画像を復号すると共に解像度変換に関する情報を抽出する画像復号ステップと、
前記解像度変換に関する情報に基づいて復号後の奥行き画像の解像度を逆変換する解像度逆変換ステップと、
前記奥行き画像の分割に関する情報に基づいて解像度逆変換後の前記奥行き画像の各領域を結合して、前記奥行き画像を復元する奥行き画像復元ステップと
を有することを特徴とする画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法に関する。
【背景技術】
【０００２】
複数視点の画像を記録または伝送することによって、視聴者の好みの観察角度からの画像を観賞することができる。ＤＶＤ−Ｖｉｄｅｏで利用されるマルチアングル映像は、予め視聴者が興味を持ちそうな、あるいは制作者側が見せたい観察視点または観察対象の映像を、同時刻で並行して複数用意しておき、視聴者の操作によって表示する映像を切り替える機能である。このようなマルチアングル映像の機能を実現するためには、対応する複数の映像を全て記録しておく必要があるが、制作者側で特に見せたい、あるいは視聴者からの要望が高そうなシーンや視点数に限定することによって、記録メディアの容量を超えない範囲で映像を制作している。
【０００３】
スポーツやコンサートあるいは舞台演劇などの映像に対して、視聴者が興味を持つ視点は様々であり、視聴者の多様な要望に応える映像を提供することが求められている。このような問題を解決するために、複数の視点画像を符号化すると共に、複数の視点画像から生成した奥行き画像も符号化し、両者を含む符号化ストリームを生成する画像符号化装置が知られている（例えば、特許文献１参照）。奥行き画像は、視点画像内の各被写体が、それぞれ観察位置からどれだけ離れているかを示す情報であり、奥行き画像を利用することによって、限られた入力視点画像から、任意の視点位置に対応する映像を生成することができる。
【０００４】
図８は、一つの視点画像とそれに対応する奥行き画像をもとにして、任意の視点位置からの映像を生成する様子を示す図である。図８に示すように、視点画像４１と奥行き画像４２が入力として与えられている場合を想定する。視点画像４１は、視点位置に配置されたカメラ４３からあるシーンを撮影したものであり、撮影した際のカメラ４３の位置や撮影方向に関する情報や、撮影したシーンに関するカメラからの距離の情報も併せて得られているものとする。奥行き画像４２は、視点画像４１に含まれる被写体や背景までのカメラ４３からの距離（奥行き）の値を所定範囲で数値化し、輝度値として画像化したものである。
【０００５】
この奥行き画像４２と、撮影時のカメラ４３やシーンに関する情報（以下、撮影条件情報と称する）を用いると、視点画像内の各被写体の３次元空間上の位置を計算することができ、撮影した３Ｄシーン４０を仮想的に再現することができる。そして、所望の仮想視点位置に配置されたカメラ４４の位置（視点位置）や撮影方向などの情報を与えてやることにより、仮想視点位置に対応する視点画像４５を生成することができる。このとき、カメラ４３の配置位置（視点位置）から見えない領域すなわち視点画像４１に映っていない領域の画像は計算できないが、周囲の情報から補間もしくは推定することで、視点画像４１には映っていないが仮想視点画像４５に映っているべき領域を生成することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１５７８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述したように、限られた数の視点画像と奥行き画像を符号化し、記録または伝送することによって、比較的少ないデータ量で、多くの視点に対応する映像を生成し、視聴者の多様な要望を満たすことが可能になる。
【０００８】
しかしながら、視聴者の多様な要望を満たすために、視点画像および対応する奥行き画像を符号化し、その符号化データを利用して多数の視点画像を生成・表示するには、符号化対象画像が多くなるため、符号化処理の負荷が高くなるとともに、符号化データ量が多くなってしまうという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、視点画像および対応する奥行き画像を符号化し、その符号化データを利用して多数の視点画像を生成・表示する際に、少ないデータ量でより高品位な映像を生成・表示することを可能にする画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、観察視点に対応する視点画像を符号化する視点画像符号化手段と、前記観察視点からの各被写体までの距離を示す奥行き画像を符号化する奥行き画像符号化手段とを備える画像符号化装置であって、前記奥行き画像符号化手段は、前記奥行き画像内の画素値の変化の大きさに基づいて前記奥行き画像を複数の領域に分割する画像分割手段と、分割された前記領域ごとの画像特性に基づいて解像度を変換する解像度変換手段と、解像度変換された前記領域ごとに前記奥行き画像を圧縮符号化する画像圧縮符号化手段とから構成することを特徴とする。
【００１１】
本発明は、前記画像分割手段は、前記奥行き画像内の画素値の分散に基づいて、前記奥行き画像の分割数を決定することを特徴とする。
【００１２】
本発明は、前記解像度変換手段は、前記奥行き画像の領域ごとの画素値の分散に基づいて、前記奥行き画像の解像度の変換度合いを決定することを特徴とする。
【００１３】
本発明は、前記解像度変換手段は、前記奥行き画像の領域ごとのエッジの有無に基づいて、前記奥行き画像の解像度の変換度合いを決定することを特徴とする。
【００１４】
本発明は、前記解像度変換手段は、前記奥行き画像の領域ごとの空間周波数の高さに基づいて、前記奥行き画像の解像度の変換度合いを決定することを特徴とする。
【００１５】
本発明は、視点画像を符号化した符号化視点画像を復号する視点画像復号手段と、前記視点画像に対応する奥行き画像を符号化した符号化奥行き画像を復号する奥行き画像復号手段とを備える画像復号装置であって、前記奥行き画像復号手段は、前記符号化奥行き画像を復号すると共に解像度変換に関する情報を抽出する画像復号手段と、前記解像度変換に関する情報に基づいて復号後の奥行き画像の解像度を逆変換する解像度逆変換手段と、前記奥行き画像の分割に関する情報に基づいて解像度逆変換後の前記奥行き画像の各領域を結合して、前記奥行き画像を復元する奥行き画像復元手段とから構成することを特徴とする。
【００１６】
本発明は、観察視点に対応する視点画像を符号化する視点画像符号化手段と、前記観察視点からの各被写体までの距離を示す奥行き画像を符号化する奥行き画像符号化手段とを備える画像符号化装置における画像符号化方法であって、前記奥行き画像符号化手段は、前記奥行き画像内の画素値の変化の大きさに基づいて前記奥行き画像を複数の領域に分割する画像分割ステップと、分割された前記領域ごとの画像特性に基づいて解像度を変換する解像度変換ステップと、解像度変換された前記領域ごとに前記奥行き画像を圧縮符号化する画像圧縮符号化ステップとを有することを特徴とする。
【００１７】
本発明は、視点画像を符号化した符号化視点画像を復号する視点画像復号手段と、前記視点画像に対応する奥行き画像を符号化した符号化奥行き画像を復号する奥行き画像復号手段とを備える画像復号装置における画像復号方法であって、前記奥行き画像復号手段は、前記符号化奥行き画像を復号すると共に解像度変換に関する情報を抽出する画像復号ステップと、前記解像度変換に関する情報に基づいて復号後の奥行き画像の解像度を逆変換する解像度逆変換ステップと、前記奥行き画像の分割に関する情報に基づいて解像度逆変換後の前記奥行き画像の各領域を結合して、前記奥行き画像を復元する奥行き画像復元ステップとを有することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、奥行き画像を利用して生成する仮想視点画像の画質への悪影響を抑えながら、奥行き画像の情報量の圧縮度を高めることができ、少ないデータ量でより高品位な映像を生成・表示することが可能になるという効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る多視点画像符号化装置の構成を示すブロック図である。
【図２】図１に示す奥行き画像符号化部の構成を示すブロック図である。
【図３】奥行き画像とブロック分割の例を示す図である。
【図４】解像度変換の例を示す図である。
【図５】解像度変換の別の例を示す図である。
【図６】本発明の実施形態に係る多視点画像復号装置の構成を示すブロック図である。
【図７】図５に示す奥行き画像復号部の構成を示すブロック図である。
【図８】視点画像と奥行き画像および仮想視点の視点画像との関係を示す概念図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明の一実施形態による画像符号化装置、画像復号装置を説明する。始めに、画像符号化装置について説明する。図１は同実施形態における多視点画像符号化装置の構成を示すブロック図である。多視点画像符号化装置１は、視点画像圧縮符号化部１１と、奥行き画像圧縮符号化部１２と、撮影条件情報符号化部１３とから構成する。
【００２１】
視点画像圧縮符号化部１１は、入力される単一または複数の視点画像を、その情報量を削減するように圧縮し符号化する。圧縮符号化方式は、例えばＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＭＰＥＧ−４  ＡＶＣ（Advanced Video Coding）などの方式を利用する。
【００２２】
奥行き画像圧縮符号化部１２は、入力される単一または複数の奥行き画像を、その情報量を削減するように圧縮し符号化する。その際、奥行き画像の特性を判定し、判定結果に従って解像度変換を行った上で圧縮符号化する。奥行き画像圧縮符号化部１２の詳細については後述する。
【００２３】
撮影条件情報符号化部１３は、視点画像の撮影または生成の際の、撮影シーンとカメラに関するパラメータを符号化する。撮影条件情報には、カメラの位置や撮影方向に関する情報と、撮影したシーンに関するカメラからの距離の最近値と最遠値を含む。撮影条件情報は、視点画像や奥行き画像と比べるとその情報量は少ないため、視点画像や奥行き画像に対するような情報量の削減は行わず、各情報やパラメータを所定の順序に従って連続して伝送する。
【００２４】
次に、図２を参照して、図１に示す奥行き画像圧縮符号化部１２について説明する。図２は、図１に示す奥行き画像圧縮符号化部１２の内部構成を示すブロック図である。奥行き画像圧縮符号化部１２は、画像分割・特性判定部１２０１と、解像度変換部１２０２と、画像圧縮符号化部１２０３とから構成する。
【００２５】
画像分割・特性判定部１２０１は、入力される奥行き画像の特性に従って、奥行き画像を複数の領域に分割する。画像分割・特性判定部１２０１による画像分割の例を図３に示す。図３に示す奥行き画像３０が、画像分割・特性判定部１２０１に入力するものとして説明する。まず奥行き画像３０の全画素値に関する分散ｚ０を算出し、分散ｚ０が所定の値ｚ０’より大きい場合、領域の分割が必要と判定する。領域の分割が必要な場合、奥行き画像３０を２分割し、分割した領域ごとに画素値の分散ｚ１を算出し、同様に所定の値ｚ１’と比較し、ｚ１＞ｚ１’であればさらにその領域を２分割する。このようにして領域ごとに分割を繰り返し、分散の値が小さい複数の領域３１ａ、３１ｂ、３１ｃ等に分割されることになる。
【００２６】
図３に示す例では、奥行き画像３０の中央領域（破線で示す領域）３２において、周囲よりも画素値の変化が大きいため、領域３２は、例えば領域３１ａ〜３１ｅ等周囲の領域と比べて細かく分割する。このようにして画像の分割を行った結果として、画像分割・特性判定部１２０１は、分割した各領域の画像と、それらの位置、大きさおよび画素値の分散を、解像度変換部１２０２へ出力するとともに、分割した各領域の位置と大きさに関する情報を画像圧縮符号化部１２０３へ出力する。
【００２７】
図３に示す例では、領域３１ａ、３１ｂ、３１ｃ等は、奥行き画像の画素値がほぼ一様の領域であるため、その分散はほとんど０に近い値を示す。一方、領域３２は、その内部の各ブロックにおいて、領域３１ａ等に比べると画素値の変化があるため、分散値は大きな値を示すことになる。
【００２８】
解像度変換部１２０２は、画像分割・特性判定部１２０１から入力される分割された奥行き画像を、分割された領域ごとに解像度変換する。解像度変換部１２０２による解像度変換例を図４に示す。図４（ａ）は、領域３１ａ、３１ｂ、３１ｃ等の１ブロックに対応する画素群Ｐｘ３１に関して、水平方向および垂直方向の解像度が１／４になるようにサブサンプリングした結果Ｐｘ３１’を示している。図中、●のひとつひとつが画素位置を表わしており、○はサブサンプリングによって間引かれた画素の位置を表わしている。また、図４（ｂ）は、領域３２内の１ブロックに対応する画素群Ｐｘ３２に関して、水平方向および垂直方向の解像度が１／２になるようにサブサンプリングした結果Ｐｘ３２’を示している。
【００２９】
このように、分割された各領域内の分散値の大小、すなわち画素値の変化の大きさに従って、解像度変換部１２０２が、解像度変換（サブサンプリング）の度合いを決定し、解像度変換を適用する。解像度変換部１２０２は、解像度変換の特性を示す情報と変換後の奥行き画像を画像圧縮符号化部１２０３へ出力する。
【００３０】
ここで、解像度変換の特性を示す情報について説明する。解像度変換の特性を示す情報は、水平方向のサブサンプリング度合いｈｒおよび垂直方向のサブサンプリング度合いｖｒを含んで構成される。例えば図４（ａ）の例では、水平方向・垂直方向ともに画素数が１／４になるようにサブサンプリングしているため、解像度変換部１２０２は、ｈｒ＝１／４およびｖｒ＝１／４として、解像度変換の特性を示す情報を構成する。図４（ｂ）の例では、水平方向・垂直方向ともに画素数が１／２になるようにサブサンプリングしているため、解像度変換部１２０２は、ｈｒ＝１／２およびｖｒ＝１／２として、解像度変換の特性を示す情報を構成する。
【００３１】
画像圧縮符号化部１２０３は、解像度変換部１２０２から入力される奥行き画像を、画像分割・特性判定部１２０１から入力される分割に関する情報（各領域の画像内の位置と大きさ）に基づいて、分割された領域ごとに圧縮符号化する。圧縮符号化の方式は、前述の視点画像圧縮符号化部１１と同様に、公知の方式を利用する。
【００３２】
なお、視点画像の圧縮符号化方式と奥行き画像の圧縮符号化方式は、同一の方式でもよいし異なる方式でもよい。
【００３３】
以上のように、奥行き画像圧縮符号化部１２によれば、奥行き画像の領域ごとに画素値の変化の大きさを判定し、変化の大きさに応じて解像度変換を行うことにより、画素値の一様な領域は解像度を大きく削減し、そうでない領域は解像度の削減度合いを抑えて変換するか解像度変換自体をせずに、それぞれ符号化する。これらの処理によって、奥行き画像の特徴を維持しながら全体として情報量を削減し、符号化処理負荷の低減および符号化後の伝送符号量の削減が可能になる。
【００３４】
なお、前述の例では、画像分割・特性判定部１２０１および解像度変換部１２０２において、奥行き画像の特性をその画素値の分散によって判定し、それに基づいて解像度変換の度合いを決定する方法を示したが、この方法に限定されない。例えば、領域ごとに奥行き画像のエッジ検出を行い、エッジの有無に基づいて解像度変換の度合いを決定するようにしてもよい。その場合、エッジを含む領域は解像度変換の度合いを少なめ、あるいは解像度変換自体を行わないようにし、エッジを含まない領域は解像度変換の度合いを多めにして情報量を大きく削減させるようにしてもよい。
【００３５】
また、別の方法として、領域ごとにフーリエ変換などにより空間周波数分析を行い、空間周波数の高い領域は解像度変換の度合いを低めにして、空間周波数の低い領域は解像度変換の度合いを高めにするという方法を用いてもよい。
【００３６】
ここで、空間周波数分析に基づく解像度変換の例を示す。まず、奥行き画像の領域ごとにフーリエ変換を行い、水平方向の周波数ｈｆと、垂直方向の周波数ｖｆを算出する。これら周波数ｈｆ、ｖｆは、フーリエ変換の結果に基づき選択された、例えば、該領域において最も振幅が大きい周波数成分の周波数である。画素数がＨ×Ｖ（水平方向×垂直方向）である奥行き画像における、画素数によって決まる空間周波数の最大値であって、水平方向の空間周波数の最大値をＨｆｍａｘ、垂直方向の空間周波数の最大値をＶｆｍａｘとするとき、ｈｆとｖｆがそれぞれＨｆｍａｘ、Ｖｆｍａｘに対して、１割減以上・２割減以上・３割減以上・・・である領域に関して、水平方向と垂直方向それぞれに対するサブサンプリングの度合いを、１／２・１／３・１／４・・・のように決定する。空間周波数は一般的に水平方向と垂直方向で異なる値が得られるため、図５に示すように、水平方向と垂直方向で異なる間引きを適用してもよい。図５（ａ）は水平方向のみ１／２サブサンプリングを行って垂直方向はサブサンプリングを行わない例で、図５（ｂ）は垂直方向のみ１／２サブサンプリングを行って水平方向はサブサンプリングを行わない例を、それぞれ示している。水平方向と垂直方向のサブサンプリング度合いの組み合わせとしては、これ以外にも、水平１／２・垂直１／２、水平１／２・垂直１／３、水平１／３・垂直１／２、水平１／２・垂直１／４、水平１／４・垂直１／２、水平１／４・垂直１／４、等、様々な組み合わせを取り得る。
このように、解像度変換を行う際には、画像分割・特性判定部１２０１の処理結果による分散値の大きさやエッジの量、空間周波数の高さなどに応じて、多段階の解像度変換を実施するようにしてもよい。
【００３７】
なお、本実施形態において、奥行き画像は、多視点画像符号化装置１の外部から入力されるデータとして扱っているが、多視点画像符号化装置１が奥行き画像を生成する手段を備えてもよい。奥行き画像を生成する方法としては、複数の視点画像からブロックマッチングにより推定する方法や、赤外線や超音波などを被写体に向けて放射しその反射時間を測定して被写体までの距離を算出する方法等を用いればよい。
【００３８】
次に、画像復号装置について説明する。図６は、同実施形態における多視点画像復号装置の構成を示すブロック図である。多視点画像復号装置２は、視点画像復号部２１と、奥行き画像復号部２２と、撮影条件情報復号部２３とから構成する。
【００３９】
視点画像復号部２１は、図１に示す視点画像圧縮符号化部１１において生成された符号化データである符号化視点画像を復号し、視点画像を復元する。符号化視点画像を復号する方法は、図１に示す視点画像圧縮符号化部１１において用いた符号化方法と対応する復号方式を利用する。
【００４０】
奥行き画像復号部２２は、図１に示す奥行き画像圧縮符号化部１２において生成された符号化データである符号化奥行き画像を復号し、奥行き画像を復元する。奥行き画像復号部２２の詳細については後述する。
【００４１】
撮影条件情報復号部２３は、図１に示す撮影条件情報符号化部１３において生成された符号化撮影条件情報を復号し、撮影条件情報を復元する。
【００４２】
次に、図７を参照して、図６に示す奥行き画像復号部２２について説明する。図７は、図６に示す奥行き画像復号部２２の内部構成を示すブロック図である。奥行き画像復号部２２は、画像復号部２２０１と、解像度逆変換部２２０２と、奥行き画像復元部２２０３とから構成する。
【００４３】
画像復号部２２０１は、図２に示す画像圧縮符号化部１２０３における符号化方式と対応する復号方式を用いて、符号化奥行き画像を復号する。画像復号部２２０１は、復号後の奥行き画像と、本実施形態における解像度変換に関する情報である解像度変換の特性を示す情報とを解像度逆変換部２２０２へ出力すると共に、符号化された各領域の分割に関する情報（各領域の画像内の位置と大きさ）を抽出し、奥行き画像復元部２２０３へ出力する。
【００４４】
解像度逆変換部２２０２は、画像復号部２２０１から入力される復号された奥行き画像と解像度変換の特性を示す情報とに基づいて、奥行き画像の分割された領域ごとに解像度の逆変換を行う。解像度の逆変換は、図４に示した解像度変換の逆変換を行うものであるが、サブサンプリングによって間引かれた画素（図中○で示した画素）を周囲の画素（図中●で示した画素）を利用して補間する。元の奥行き画像に対してどれだけ画素が間引かれたかは、画像復号部２２０１から入力される解像度変換の特性を示す情報で示される。
【００４５】
復号された奥行き画像が、元の奥行き画像に対してどれだけ画素が間引かれているかを示す値、すなわち、水平方向および垂直方向のサブサンプリング度合いｈｒ、ｖｒは、多視点画像符号化装置１から伝送される解像度変換の特性を示す情報をそのまま利用して導出してもよいし、解像度変換の領域が奥行き画像全体で共通（すなわち分割がない）の場合には、別途伝送される符号化視点画像の水平方向および垂直方向の画素数と、符号化奥行き画像の水平方向および垂直方向の画素数とから、その比を算出して導出してもよい。
奥行き画像復元部２２０３は、解像度の逆変換が施された領域単位の奥行き画像を、画像復号部２２０１から入力される各領域の分割に関する情報に基づいて、各領域を連結して１つの奥行き画像として復元し、奥行き画像復号部２２の外部へ出力する。
【００４６】
以上説明したように、多視点画像符号化装置１および多視点画像復号装置２は、奥行き画像を分割した領域ごとに、画素値の変化の大きさに応じて解像度変換を行った上で符号化・伝送・復号する。復号後の奥行き画像は、それ自体表示には用いられないため、解像度を削減しても視点画像の符号化画質には影響を与えずに、伝送する全体の符号量を削減することができる。その際、奥行き値の変化が少ない領域に関しては大きく解像度を削減するような解像度変換を行いながら、奥行き値の変化が大きな領域に関しては解像度の削減度合いを抑えるか解像度削減を行わないことにより、奥行き画像全体としての特徴は維持されるため、奥行き画像を使って仮想視点画像を生成する際に及ぼす影響を低く抑えることができる。
【００４７】
なお、図２、図７における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理・画像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４９】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【産業上の利用可能性】
【００５０】
視点画像および対応する奥行き画像を符号化し、その符号化データを利用して多数の視点画像を生成・表示する際に、少ないデータ量でより高品位な映像を生成・表示することが不可欠な用途に適用できる。
【符号の説明】
【００５１】
１・・・多視点画像符号化装置、１１・・・視点画像圧縮符号化部、１２・・・奥行き画像圧縮符号化部、１３・・・撮影条件情報符号化部、１２０１・・・画像分割・特性判定部、１２０２・・・解像度変換部、１２０３・・・画像圧縮符号化部、２・・・多視点画像復号装置、２１・・・視点画像圧縮復号部、２２・・・奥行き画像復号部、２３・・・撮影条件情報復号部、２２０１・・・画像復号部、２２０２・・・解像度逆変換部、２２０３・・・奥行き画像復元部
【図１】
2013128260.tif 000003
【図２】
2013128260.tif 000004
【図４】
2013128260.tif 000005
【図５】
2013128260.tif 000006
【図６】
2013128260.tif 000007
【図７】
2013128260.tif 000008
【図３】
2013128260.tif 000009
【図８】
2013128260.tif 000010