(57)【特許請求の範囲】
【請求項１】
複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化装置であって、
前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像に対する視点合成画像を生成する視点合成画像生成部と、
前記符号化対象画像を分割した符号化対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定部と、
前記符号化対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合には、当該符号化対象領域については何も符号化せず、前記利用可否判定部において前記視点合成画像が利用不可能と判定された場合には、予測画像生成方法を選択しながら、当該符号化対象領域に対する前記符号化対象画像を予測符号化する画像符号化部と
を備える画像符号化装置。
【請求項２】
前記画像符号化部は、前記符号化対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合に、符号化情報を生成する請求項１に記載の画像符号化装置。
【請求項３】
前記画像符号化部は、前記符号化情報として予測ブロックサイズを決定する請求項２に記載の画像符号化装置。
【請求項４】
前記画像符号化部は、予測方法を決定し、前記予測方法に対する符号化情報を生成する請求項２に記載の画像符号化装置。
【請求項５】
前記利用可否判定部は、前記符号化対象領域における前記視点合成画像の品質に基づいて、前記視点合成画像の利用可否を判定する請求項１から請求項４のいずれか１項に記載の画像符号化装置。
【請求項６】
前記画像符号化装置は、前記参照デプスマップを用いて、前記符号化対象画像上の画素で、前記参照画像の遮蔽画素を表すオクルージョンマップを生成するオクルージョンマップ生成部を更に備え、
前記利用可否判定部は、前記オクルージョンマップを用いて、前記符号化対象領域内に存在する前記遮蔽画素の数に基づいて、前記視点合成画像の利用可否を判定する請求項１から請求項４のいずれか１項に記載の画像符号化装置。
【請求項７】
複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号装置であって、
前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像に対する視点合成画像を生成する視点合成画像生成部と、
前記復号対象画像を分割した復号対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定部と、
前記復号対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合には、当該復号対象領域に対する前記視点合成画像を当該復号対象領域に対する前記復号対象画像とし、前記利用可否判定部において前記視点合成画像が利用不可能と判定された場合には、予測画像を生成しながら前記符号データから当該復号対象領域に対する前記復号対象画像を復号する画像復号部と
を備える画像復号装置。
【請求項８】
前記画像復号部は、前記復号対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合に、符号化情報を生成する請求項７に記載の画像復号装置。
【請求項９】
前記画像復号部は、前記符号化情報として予測ブロックサイズを決定する請求項８に記載の画像復号装置。
【請求項１０】
前記画像復号部は、予測方法を決定し、前記予測方法に対する符号化情報を生成する請求項８に記載の画像復号装置。
【請求項１１】
前記利用可否判定部は、前記復号対象領域における前記視点合成画像の品質に基づいて、前記視点合成画像の利用可否を判定する請求項７から請求項１０のいずれか１項に記載の画像復号装置。
【請求項１２】
前記画像復号装置は、前記参照デプスマップを用いて、前記復号対象画像上の画素で、前記参照画像の遮蔽画素を表すオクルージョンマップを生成するオクルージョンマップ生成部を更に備え、
前記利用可否判定部は、前記オクルージョンマップを用いて、前記復号対象領域内に存在する前記遮蔽画素の数に基づいて、前記視点合成画像の利用可否を判定する請求項７から請求項１０のいずれか１項に記載の画像復号装置。
【請求項１３】
複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化方法であって、
前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像に対する視点合成画像を生成する視点合成画像生成ステップと、
前記符号化対象画像を分割した符号化対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定ステップと、
前記符号化対象領域ごとに、前記利用可否判定ステップにおいて前記視点合成画像が利用可能と判定された場合には、当該符号化対象領域については何も符号化せず、前記利用可否判定ステップにおいて前記視点合成画像が利用不可能と判定された場合には、予測画像生成方法を選択しながら、当該符号化対象領域に対する前記符号化対象画像を予測符号化する画像符号化ステップと
を有する画像符号化方法。
【請求項１４】
複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号方法であって、
前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像に対する視点合成画像を生成する視点合成画像生成ステップと、
前記復号対象画像を分割した復号対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定ステップと、
前記復号対象領域ごとに、前記利用可否判定ステップにおいて前記視点合成画像が利用可能と判定された場合には、当該復号対象領域に対する前記視点合成画像を当該復号対象領域に対する前記復号対象画像とし、前記利用可否判定ステップにおいて前記視点合成画像が利用不可能と判定された場合には、予測画像を生成しながら前記符号データから当該復号対象領域に対する前記復号対象画像を復号する画像復号ステップと
を有する画像復号方法。
【請求項１５】
コンピュータに、請求項１３に記載の画像符号化方法を実行させるための画像符号化プログラム。
【請求項１６】
コンピュータに、請求項１４に記載の画像復号方法を実行させるための画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像を符号化及び復号する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムに関する。
本願は、２０１３年４月１１日に日本へ出願された特願２０１３−０８２９５７号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
従来から、複数のカメラで同じ被写体と背景を撮影した複数の画像からなる多視点画像（Multiview images：マルチビューイメージ）が知られている。この複数のカメラで撮影した動画像のことを多視点動画像（または多視点映像）という。以下の説明では１つのカメラで撮影された画像（動画像）を“２次元画像（動画像）”と称し、同じ被写体と背景とを位置や向き（以下、視点と称する）が異なる複数のカメラで撮影した２次元画像（２次元動画像）群を“多視点画像（多視点動画像）”と称する。【０００３】
２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めることができる。一方、多視点画像や多視点動画像では、各カメラが同期されている場合、各カメラの映像の同じ時刻に対応するフレーム（画像）は、全く同じ状態の被写体と背景を別の位置から撮影したものであるので、カメラ間（同じ時刻の異なる２次元画像間）で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。【０００４】
ここで、２次元動画像の符号化技術に関する従来技術を説明する。国際符号化標準であるＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償予測、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、符号化対象フレームと過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。【０００５】
Ｈ．２６４で使われている動き補償予測技術の詳細については、例えば非特許文献１に記載されている。Ｈ．２６４で使われている動き補償予測技術の概要を説明する。Ｈ．２６４の動き補償予測は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照フレームを持つことを許可している。各ブロックで異なる動きベクトルを使用することで、被写体ごとに異なる動きを補償した精度の高い予測を実現している。一方、各ブロックで異なる参照フレームを使用することで、時間変化によって生じるオクルージョンを考慮した精度の高い予測を実現している。【０００６】
次に、従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と、多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、どちらの場合でも、同じ方法でカメラ間の相関を利用することができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。【０００７】
多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償予測を同じ時刻の異なるカメラで撮影された画像に適用した“視差補償予測”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ部分が存在する位置の差である。図２７は、カメラ間で生じる視差を示す概念図である。図２７に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ部分が投影される位置は、一般的に対応点と呼ばれる。【０００８】
視差補償予測では、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。視差は対象とするカメラ対や位置ごとに変化するため、視差補償予測を行う領域ごとに視差情報を符号化することが必要である。実際に、Ｈ．２６４の多視点動画像符号化方式では、視差補償予測を用いるブロックごとに視差情報を表すベクトルを符号化している。【０００９】
視差情報によって与えられる対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、被写体の３次元位置を示す１次元量で表すことができる。被写体の３次元位置を示す情報としては、様々な表現が存在するが、基準となるカメラから被写体までの距離や、カメラの画像平面と平行ではない軸上の座標値を用いることが多い。なお、距離ではなく距離の逆数を用いる場合もある。また、距離の逆数は視差に比例する情報となるため、基準となるカメラを２つ設定し、それらのカメラで撮影された画像間での視差量として３次元位置を表現する場合もある。どのような表現を用いたとしても本質的な違いはないため、以下では、表現による区別をせずに、それら３次元位置を示す情報をデプスと表現する。【００１０】
図２８はエピポーラ幾何拘束の概念図である。エピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点はエピポーラ線という直線上に拘束される。このとき、その画素に対するデプスが得られた場合、対応点はエピポーラ線上に一意に定まる。例えば、図２８に示すように、第１のカメラ画像においてｍの位置に投影された被写体に対する第２のカメラ画像での対応点は、実空間における被写体の位置がＭ’の場合にはエピポーラ線上の位置ｍ’に投影され、実空間における被写体の位置がＭ’’の場合にはエピポーラ線上の位置ｍ’’に投影される。【００１１】
この性質を利用して、参照フレームに対するデプスマップ（距離画像）によって与えられる各被写体の３次元情報に従って、参照フレームから符号化対象フレームに対する合成画像を生成し、それを予測画像として用いることで、精度の高い予測を実現し、効率的な多視点動画像の符号化を実現することができる。なお、このデプスに基づいて生成される合成画像は視点合成画像、視点補間画像、または視差補償画像と呼ばれる。【００１２】
しかしながら、参照フレームと符号化対象フレームとは異なる位置に置かれたカメラで撮影された画像であるため、フレーミングやオクルージョンの影響で、符号化対象フレームには存在するが、参照フレームには存在しない被写体や背景が写った領域が存在する。そのため、そのような領域では、視点合成画像は適切な予測画像を提供することができない。以下では、そのような視点合成画像では適切な予測画像を提供できない領域をオクルージョン領域と呼ぶ。【００１３】
非特許文献２では、符号化対象画像と視点合成画像の差分画像に対して、更なる予測を行うことで、オクルージョン領域においても、空間的または時間的相関を利用して効率的な符号化を実現している。また、非特許文献３では、生成した視点合成画像を領域ごとの予測画像の候補とすることで、オクルージョン領域においては、別の方法で予測した予測画像を用い、効率的な符号化を実現することを可能にしている。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】ITU-T Recommendation H.264 (03/2009), "Advanced video coding for generic audiovisual services", March, 2009.
【非特許文献２】Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA, and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.
【非特許文献３】S. Shimizu, H. Kimata, and Y. Ohtani, "Adaptive appearance compensated view synthesis prediction for Multiview Video Coding", Image Processing (ICIP), 2009 16th IEEE International Conference on Image Processing, pp. 2949-2952, 7-10 Nov. 2009.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
非特許文献２や非特許文献３に記載の方法によれば、デプスマップから得られる被写体の三次元情報を用いて高精度な視差補償を行った視点合成画像によるカメラ間の予測と、オクルージョン領域での空間的または時間的な予測とを組み合わせて、全体として高効率な予測を実現することが可能である。【００１６】
しかしながら、非特許文献２に記載の方法では、視点合成画像が高精度な予測を提供している領域に対しても、符号化対象画像と視点合成画像との差分画像に対する予測を行うための方法を示す情報を符号化しなくてはならないため、無駄な符号量が生じてしまうという問題ある。【００１７】
一方、非特許文献３に記載の方法では、視点合成画像が高精度な予測を提供可能な領域に対しては、視点合成画像を用いた予測を行うことを示すだけでよいため、無駄な情報を符号化する必要はない。しかしながら、高精度な予測を提供するか否かに関わらず、視点合成画像は予測画像の候補に含まれるため、予測画像の候補数が大きくなるという問題がある。つまり、予測画像の生成法を選択するのに必要な演算量が増えるだけでなく、予測画像の生成方法を示すためには多くの符号量が必要となるという問題がある。【００１８】
本発明は、このような事情に鑑みてなされたもので、視点合成画像を予測画像の１つとして用いながら多視点動画像を符号化または復号する際に、オクルージョン領域における符号化効率の低下を防ぎながら、全体として少ない符号量での符号化を実現することができる画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の一態様は、複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像に対する視点合成画像を生成する視点合成画像生成部と、前記符号化対象画像を分割した符号化対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定部と、前記符号化対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合には、当該符号化対象領域については何も符号化せず、前記利用可否判定部において前記視点合成画像が利用不可能と判定された場合には、予測画像生成方法を選択しながら、当該符号化対象領域に対する前記符号化対象画像を予測符号化する画像符号化部とを備える。【００２０】
本発明の一態様は、複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像に対する視点合成画像を生成する視点合成画像生成部と、前記符号化対象画像を分割した符号化対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定部と、前記符号化対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合には、前記符号化対象領域に対する前記符号化対象画像と前記視点合成画像の差分を符号化し、前記利用可否判定部において前記視点合成画像が利用不可能と判定された場合には、予測画像生成方法を選択しながら、当該符号化対象領域に対する前記符号化対象画像を予測符号化する画像符号化部とを備える。【００２１】
好ましくは、前記画像符号化部は、前記符号化対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合に、符号化情報を生成する。【００２２】
好ましくは、前記画像符号化部は、前記符号化情報として予測ブロックサイズを決定する。【００２３】
好ましくは、前記画像符号化部は、予測方法を決定し、前記予測方法に対する符号化情報を生成する。【００２４】
好ましくは、前記利用可否判定部は、前記符号化対象領域における前記視点合成画像の品質に基づいて、前記視点合成画像の利用可否を判定する。【００２５】
好ましくは、前記画像符号化装置は、前記参照デプスマップを用いて、前記符号化対象画像上の画素で、前記参照画像の遮蔽画素を表すオクルージョンマップを生成するオクルージョンマップ生成部を更に備え、前記利用可否判定部は、前記オクルージョンマップを用いて、前記符号化対象領域内に存在する前記遮蔽画素の数に基づいて、前記視点合成画像の利用可否を判定する。【００２６】
本発明の一態様は、複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号装置であって、前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像に対する視点合成画像を生成する視点合成画像生成部と、前記復号対象画像を分割した復号対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定部と、前記復号対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合には、当該復号対象領域に対する前記視点合成画像を当該復号対象領域に対する前記復号対象画像とし、前記利用可否判定部において前記視点合成画像が利用不可能と判定された場合には、予測画像を生成しながら前記符号データから当該復号対象領域に対する前記復号対象画像を復号する画像復号部とを備える。【００２７】
本発明の一態様は、複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号装置であって、前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像に対する視点合成画像を生成する視点合成画像生成部と、前記復号対象画像を分割した復号対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定部と、前記復号対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合には、前記符号データから前記復号対象画像と前記視点合成画像の差分を復号しながら前記復号対象画像を生成し、前記利用可否判定部において前記視点合成画像が利用不可能と判定された場合には、予測画像を生成しながら前記符号データから当該復号対象領域に対する前記復号対象画像を復号する画像復号部とを備える。【００２８】
好ましくは、前記画像復号部は、前記復号対象領域ごとに、前記利用可否判定部において前記視点合成画像が利用可能と判定された場合に、符号化情報を生成する。【００２９】
好ましくは、前記画像復号部は、前記符号化情報として予測ブロックサイズを決定する。【００３０】
好ましくは、前記画像復号部は、予測方法を決定し、前記予測方法に対する符号化情報を生成する。【００３１】
好ましくは、前記利用可否判定部は、前記復号対象領域における前記視点合成画像の品質に基づいて、前記視点合成画像の利用可否を判定する。【００３２】
好ましくは、前記画像復号装置は、前記参照デプスマップを用いて、前記復号対象画像上の画素で、前記参照画像の遮蔽画素を表すオクルージョンマップを生成するオクルージョンマップ生成部を更に備え、前記利用可否判定部は、前記オクルージョンマップを用いて、前記復号対象領域内に存在する前記遮蔽画素の数に基づいて、前記視点合成画像の利用可否を判定する。【００３３】
本発明の一態様は、複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像に対する視点合成画像を生成する視点合成画像生成ステップと、前記符号化対象画像を分割した符号化対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定ステップと、前記符号化対象領域ごとに、前記利用可否判定ステップにおいて前記視点合成画像が利用可能と判定された場合には、当該符号化対象領域については何も符号化せず、前記利用可否判定ステップにおいて前記視点合成画像が利用不可能と判定された場合には、予測画像生成方法を選択しながら、当該符号化対象領域に対する前記符号化対象画像を予測符号化する画像符号化ステップとを有する。【００３４】
本発明の一態様は、複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号方法であって、前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像に対する視点合成画像を生成する視点合成画像生成ステップと、前記復号対象画像を分割した復号対象領域ごとに、前記視点合成画像が利用可能か否かを判定する利用可否判定ステップと、前記復号対象領域ごとに、前記利用可否判定ステップにおいて前記視点合成画像が利用可能と判定された場合には、当該復号対象領域に対する前記視点合成画像を当該復号対象領域に対する前記復号対象画像とし、前記利用可否判定ステップにおいて前記視点合成画像が利用不可能と判定された場合には、予測画像を生成しながら前記符号データから当該復号対象領域に対する前記復号対象画像を復号する画像復号ステップとを有する。【００３５】
本発明の一態様は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。【００３６】
本発明の一態様は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。
【発明の効果】
【００３７】
本発明によれば、視点合成画像を予測画像の１つとして用いる際に、オクルージョンの領域の有無に代表される視点合成画像の品質に基づき、視点合成画像のみを予測画像とする符号化と、視点合成画像以外を予測画像とする符号化とを、領域ごとに適応的に切り替えることで、オクルージョン領域における符号化効率の低下を防ぎながら、全体として少ない符号量で多視点画像及び多視点動画像を符号化することができるという効果が得られる。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態における画像符号化装置の構成を示すブロック図である。
【図２】図１に示す画像符号化装置１００ａの動作を示すフローチャートである。
【図３】オクルージョンマップを生成及び利用する場合の画像符号化装置の構成例を示すブロック図である。
【図４】画像符号化装置が復号画像を生成する場合の処理動作を示すフローチャートである。
【図５】視点合成画像が利用可能な領域に対して、符号化対象画像と視点合成画像との差分信号の符号化を行う場合の処理動作を示すフローチャートである。
【図６】図５に示す処理動作の変形例を示すフローチャートである。
【図７】視点合成画像が利用可能と判定された領域に対して、符号化情報を生成し、別の領域や別のフレームを符号化する際に符号化情報を参照できるようにする場合の画像符号化装置の構成を示すブロック図である。
【図８】図７に示す画像符号化装置１００ｃの処理動作を示すフローチャートである。
【図９】図８に示す処理動作の変形例を示すフローチャートである。
【図１０】視点合成可能領域数を求めて符号化する場合の画像符号化装置の構成を示すブロック図である。
【図１１】図１０に示す画像符号化装置１００ｄが、視点合成可能領域数を符号化する場合の処理動作を示すフローチャートである。
【図１２】図１１に示す処理動作の変形例を示すフローチャートである。
【図１３】本発明の一実施形態における画像復号装置の構成を示すブロック図である。
【図１４】図１３に示す画像復号装置２００ａの動作を示すフローチャートである。
【図１５】視点合成画像が利用可能か否かを判定するために、オクルージョンマップを生成して用いる場合の画像復号装置の構成を示すブロック図である。
【図１６】図１５に示す画像復号装置２００ｂが、領域ごとに視点合成画像を生成する場合の処理動作を示すフローチャートである。
【図１７】視点合成画像が利用可能な領域に対して、ビットストリームから復号対象画像と視点合成画像との差分信号の復号を行う場合の処理動作を示すフローチャートである。
【図１８】視点合成画像が利用可能と判定された領域に対して、符号化情報を生成し、別の領域や別のフレームを復号する際に符号化情報を参照できるようにする場合の画像復号装置の構成を示すブロック図である。
【図１９】図１８に示す画像復号装置２００ｃの処理動作を示すフローチャートである。
【図２０】復号対象画像と視点合成画像との差分信号をビットストリームから復号して、復号対象画像の生成を行う場合の処理動作を示すフローチャートである。
【図２１】視点合成可能領域数をビットストリームから復号する場合の画像復号装置の構成を示すブロック図である。
【図２２】視点合成可能領域数を復号する場合の処理動作を示すフローチャートである。
【図２３】視点合成画像が利用不可能として復号した領域の数をカウントしながら復号する場合の処理動作を示すフローチャートである。
【図２４】視点合成画像が利用可能として復号した領域の数もカウントしながら処理する場合の処理動作を示すフローチャートである。
【図２５】画像符号化装置１００ａ〜１００ｄをコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。
【図２６】画像復号装置２００ａ〜２００ｄをコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。
【図２７】カメラ間で生じる視差を示す概念図である。
【図２８】エピポーラ幾何拘束の概念図である。
【発明を実施するための形態】
【００３９】
以下、図面を参照して、本発明の実施形態による画像符号化装置及び画像復号装置を説明する。
【００４０】
以下の説明においては、第１のカメラ（カメラＡという）、第２のカメラ（カメラＢという）の２つのカメラで撮影された多視点画像を符号化する場合を想定し、カメラＡの画像を参照画像としてカメラＢの画像を符号化または復号するものとして説明する。
【００４１】
なお、デプス情報から視差を得るために必要となる情報は別途与えられているものとする。具体的には、この情報は、カメラＡとカメラＢの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータであるが、これら以外の形態であってもデプス情報から視差が得られるものであれば、別の情報が与えられていてもよい。これらのカメラパラメータに関する詳しい説明は、例えば、文献「Olivier Faugeras, "Three-Dimensional Computer Vision", pp. 33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。この文献には、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。
【００４２】
以下の説明では、画像や映像フレーム、デプスマップに対して、記号［］で挟まれた位置を特定可能な情報（座標値もしくは座標値に対応付け可能なインデックス）を付加することで、その位置の画素によってサンプリングされた画像信号や、それに対するデプスを示すものとする。また、座標値やブロックに対応付け可能なインデックス値とベクトルの加算によって、その座標やブロックをベクトルの分だけずらした位置の座標値やブロックを表すものとする。
【００４３】
図１は本実施形態における画像符号化装置の構成を示すブロック図である。画像符号化装置１００ａは、図１に示すように、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、参照画像入力部１０３、参照デプスマップ入力部１０４、視点合成画像生成部１０５、視点合成画像メモリ１０６、視点合成可否判定部１０７及び画像符号化部１０８を備えている。
【００４４】
符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下では、この符号化対象となる画像を符号化対象画像と称する。ここではカメラＢの画像を入力するものとする。また、符号化対象画像を撮影したカメラ（ここではカメラＢ）を符号化対象カメラと称する。符号化対象画像メモリ１０２は、入力した符号化対象画像を記憶する。参照画像入力部１０３は、視点合成画像（視差補償画像）を生成する際に参照する画像を入力する。以下では、ここで入力された画像を参照画像と呼ぶ。ここではカメラＡの画像を入力するものとする。
【００４５】
参照デプスマップ入力部１０４は、視点合成画像を生成する際に参照するデプスマップを入力する。ここでは、参照画像に対するデプスマップを入力するものとするが、別のカメラに対するデプスマップでも構わない。以下では、このデプスマップを参照デプスマップと称する。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。デプスマップは、別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここでは視差量が得られれば構わないので、デプスマップではなく、視差量を直接表現した視差マップを用いても構わない。なお、ここではデプスマップが画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。以下では、参照デプスマップに対応するカメラ（ここではカメラＡ）を参照デプスカメラと称する。
【００４６】
視点合成画像生成部１０５は、参照デプスマップを用いて、符号化対象画像の画素と参照画像の画素との対応関係を求め、符号化対象画像に対する視点合成画像を生成する。視点合成画像メモリ１０６は生成された符号化対象画像に対する視点合成画像を記憶する。視点合成可否判定部１０７は、符号化対象画像を分割した領域ごとに、その領域に対する視点合成画像が利用可能か否かを判定する。画像符号化部１０８は、視点合成可否判定部１０７の判定に基づき、符号化対象画像を分割した領域ごとに、符号化対象画像を予測符号化する。
【００４７】
次に、図２を参照して、図１に示す画像符号化装置１００ａの動作を説明する。図２は、図１に示す画像符号化装置１００ａの動作を示すフローチャートである。まず、符号化対象画像入力部１０１は、符号化対象画像Ｏｒｇを入力し、入力された符号化対象画像Ｏｒｇを符号化対象画像メモリ１０２に記憶する（ステップＳ１０１）。次に、参照画像入力部１０３は参照画像を入力し、入力された参照画像を視点合成画像生成部１０５へ出力し、参照デプスマップ入力部１０４は参照デプスマップを入力し、入力された参照デプスマップを視点合成画像生成部１０５へ出力する（ステップＳ１０２）。
【００４８】
なお、ステップＳ１０２で入力される参照画像、参照デプスマップは、既に符号化済みのものを復号したものなど、復号側で得られるものと同じものとする。これは画像復号装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のものなど、符号化側でしか得られないものが入力されてもよい。参照デプスマップに関しては、既に符号化済みのものを復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなども、復号側で同じものが得られるものとして用いることができる。
【００４９】
次に、視点合成画像生成部１０５は、符号化対象画像に対する視点合成画像Ｓｙｎｔｈを生成し、生成された視点合成画像Ｓｙｎｔｈを視点合成画像メモリ１０６に記憶する（ステップＳ１０３）。ここでの処理は、参照画像と参照デプスマップとを用いて、符号化対象カメラにおける画像を合成する方法であれば、どのような方法を用いても構わない。例えば、非特許文献２や文献「Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, “View Generation with 3D Warping Using Depth Information for FTV”, In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.」に記載されている方法を用いても構わない。
【００５０】
次に、視点合成画像が得られたら、符号化対象画像を分割した領域ごとに、視点合成画像の利用可否を判定しながら、符号化対象画像を予測符号化する。すなわち、符号化対象画像を分割した符号化処理を行う単位の領域のインデックスを示す変数ｂｌｋをゼロで初期化した後（ステップ１０４）、ｂｌｋに１ずつ加算しながら（ステップＳ１０７）、ｂｌｋが符号化対象画像内の領域数ｎｕｍＢｌｋｓになるまで（ステップＳ１０８）、以下の処理（ステップＳ１０５およびステップＳ１０６）を繰り返す。
【００５１】
符号化対象画像を分割した領域ごとに行われる処理では、まず、視点合成可否判定部１０７が、領域ｂｌｋに対して視点合成画像が利用可能か否かを判定して（ステップＳ１０５）、判定結果に応じて、ブロックｂｌｋに対する符号化対象画像を予測符号化する（ステップＳ１０６）。ステップＳ１０５において行われる視点合成画像が利用可能か否かを判定する処理については、後で説明する。
【００５２】
視点合成画像が利用可能と判断された場合は、領域ｂｌｋの符号化処理を終了する。一方、視点合成画像が利用不可能と判断された場合、画像符号化部１０８は、領域ｂｌｋの符号化対象画像を予測符号化し、ビットストリームを生成する（ステップＳ１０６）。復号側で正しく復号可能であるならば、予測符号化にはどのような方法を用いてもよい。なお、生成されたビットストリームが画像符号化装置１００ａの出力の一部となる。
【００５３】
ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化では、領域ごとに、複数の予測モードの中から１つのモードを選択して予測画像を生成し、符号化対象画像と予測画像との差分信号に対してＤＣＴ（離散コサイン変換）などの周波数変換を施し、その結果得られた値に対して、量子化、２値化、エントロピー符号化の処理を順に適用することで符号化を行う。なお、符号化において、視点合成画像を予測画像の候補の１つとして用いても構わないが、予測画像の候補から視点合成画像を除外することでモード情報にかかる符号量を削減することが可能である。視点合成画像を予測画像の候補から除外する方法には、予測モードを識別するテーブルにおいて、視点合成画像に対するエントリを削除するか、視点合成画像に対するエントリの存在しないテーブルを用いるという方法を使用しても構わない。
【００５４】
ここでは、画像符号化装置１００ａは画像信号に対するビットストリームを出力している。すなわち、画像サイズ等の情報を示すパラメータセットやヘッダは、必要に応じて、画像符号化装置１００ａの出力したビットストリームに対して、別途追加されるものとする。
【００５５】
ステップＳ１０５において行われる視点合成画像が利用可能か否かを判定する処理は、復号側で同じ判定方法が利用可能であるならば、どのような方法を用いても構わない。例えば、領域ｂｌｋに対する視点合成画像の品質に従って利用可否を判断、つまり、視点合成画像の品質が別途定められた閾値以上であれば利用可と判断し、視点合成画像の品質が閾値未満の場合には利用不可と判断しても構わない。ただし、復号側では領域ｂｌｋに対する符号化対象画像は利用することができないため、視点合成画像や、隣接領域における符号化対象画像を符号化して復号した結果を用いて品質を評価する必要がある。視点合成画像のみを用いて品質を評価する方法としては、ＮＲ画質評価尺度（No-reference image quality metric）を用いることができる。また、隣接領域において、符号化対象画像を符号化して復号した結果と視点合成画像との誤差量を評価値としても構わない。
【００５６】
別の方法として、領域ｂｌｋにおけるオクルージョン領域の有無に従って判定する方法がある。つまり、領域ｂｌｋ中のオクルージョン領域の画素数が、別途定められた閾値以上であれば利用不可と判断し、領域ｂｌｋ中のオクルージョン領域の画素数が閾値未満の場合には利用可能と判断しても構わない。特に、閾値を１として、１画素でもオクルージョン領域に含まれる場合は、利用不可と判断しても構わない。
【００５７】
なお、オクルージョン領域を正しく得るためには、視点合成画像を生成する場合に、被写体の前後関係を適切に判定しながら視点合成を行う必要がある。つまり、符号化対象画像の画素のうち、参照画像上では他の被写体によって遮蔽されてしまう画素については、合成画像を生成しないようにする必要がある。合成画像を生成しないようにする場合、視点合成画像を生成する前に、視点合成画像の各画素の画素値を、取りえない値で初期化しておくことで、視点合成画像を用いて、オクルージョン領域の有無を判定することができる。また、視点合成画像を生成する際に、オクルージョン領域を示すオクルージョンマップを同時に生成し、それを用いて判定を行っても構わない。
【００５８】
次に、図３を参照して、図１に示す画像符号化装置の変形例を説明する。図３は、オクルージョンマップを生成及び利用する場合の画像符号化装置の構成例を示すブロック図である。図３に示す画像符号化装置１００ｂが図１に示す画像符号化装置１００ａと異なる点は、視点合成画像生成部１０５に代えて視点合成部１１０とオクルージョンマップメモリ１１１とを備える点である。なお、図１に示す画像符号化装置１００ａと同じ構成には同じ符号を付してその説明を省略する。
【００５９】
視点合成部１１０は、参照デプスマップを用いて、符号化対象画像の画素と参照画像の画素との対応関係を求め、符号化対象画像に対する視点合成画像とオクルージョンマップを生成する。ここで、オクルージョンマップは符号化対象画像の各画素に対して、参照画像上でその画素に写っている被写体の対応が取れるか否かを表したものである。オクルージョンマップメモリ１１１は生成されたオクルージョンマップを記憶する。
【００６０】
オクルージョンマップの生成には、復号側で同じ処理を行うことができるのであれば、どのような方法を用いても構わない。例えば、前述のように各画素の画素値を取りえない値で初期化して生成した視点合成画像を解析することでオクルージョンマップを求めても構わないし、全ての画素においてオクルージョンであるとしてオクルージョンマップを初期化しておき、画素に対して視点合成画像が生成される度に、当該画素に対する値をオクルージョン領域でないことを示す値で上書きすることでオクルージョンマップを生成しても構わない。また、参照デプスマップの解析によりオクルージョン領域を推定することでオクルージョンマップを生成する方法もある。例えば、参照デプスマップにおけるエッジを抽出し、その強度と向きからオクルージョン範囲を推定する方法がある。
【００６１】
視点合成画像の生成方法のなかには、オクルージョン領域に対して、時空間予測をすることで、何らかの画素値を生成する手法が存在する。この処理はインペイントと呼ばれる。この場合、インペイントによって画素値が生成された画素は、オクルージョン領域としても構わないし、オクルージョン領域ではないとしても構わない。なお、インペイントによって画素値が生成された画素をオクルージョン領域として扱う場合は、視点合成画像をオクルージョン判定に使用することはできないため、オクルージョンマップを生成する必要がある。
【００６２】
更に別の方法として、視点合成画像の品質による判定と、オクルージョン領域の有無による判定とを組み合わせても構わない。例えば、両方の判定を組み合わせて、両方の判定で基準を満たさない場合には、利用不可と判断する方法がある。また、オクルージョン領域に含まれる画素数に従って、視点合成画像の品質の閾値を変化させる方法もある。更に、オクルージョン領域の有無の判定で基準を満たさない場合にのみ、品質による判定を行うようにする方法もある。
【００６３】
前述までの説明では、符号化対象画像の復号画像を生成していないが、符号化対象画像の復号画像が別の領域や別のフレームの符号化に使用される場合には、復号画像を生成する。図４は、画像符号化装置が復号画像を生成する場合の処理動作を示すフローチャートである。図４において、図２に示す処理動作と同じ処理動作には、同じ符号を付してその説明を省略する。図４に示す処理動作は、図２に示す処理動作と異なり、視点合成画像が利用可能か否かを判定し（ステップＳ１０５）、利用可能と判定された場合に、視点合成画像を復号画像とする処理（ステップＳ１０９）と、利用不可能と判定された場合に、復号画像を生成する処理（ステップＳ１１０）とが追加されている。
【００６４】
なお、ステップＳ１１０において行われる復号画像の生成処理は、復号側と同じ復号画像が得られるのであればどのような方法で行っても構わない。例えば、ステップＳ１０６で生成されたビットストリームを復号することで行っても構わないし、２値化およびエントロピー符号化でロスレス符号化された値を、逆量子化及び逆変換して、その結果得られた値を予測画像に加えることで簡易的に行っても構わない。
【００６５】
また、前述までの説明では、視点合成画像が利用可能な領域に対しては、ビットストリームが生成されないが、符号化対象画像と視点合成画像との差分信号を符号化するようにしても構わない。なお、ここで差分信号は、視点合成画像の符号化対象画像に対する誤差を補正することができるのであれば、単純な差分として表現しても構わないし、符号化対象画像の剰余として表現しても構わない。ただし、復号側において、どのような方法で差分信号が表現されているかが判定できる必要がある。例えば、常にある表現を用いるものとしても構わないし、フレームごとに表現方法を伝える情報を符号化して通知しても構わない。視点合成画像や参照デプスマップ、オクルージョンマップなど復号側でも得られる情報を用いて表現方法を決定することで、画素やフレームごとに異なる表現方法を用いても構わない。
【００６６】
図５は、視点合成画像が利用可能な領域に対して、符号化対象画像と視点合成画像との差分信号の符号化を行う場合の処理動作を示すフローチャートである。図５に示す処理動作が図２に示す処理動作と異なる点は、ステップＳ１１１が追加されている点であり、その他は同じである。同じ処理を行うステップに対しては同じ符号を付して、その説明を省略する。
【００６７】
図５に示す処理動作では、領域ｂｌｋにおいて、視点合成画像が利用可能と判定された場合、符号化対象画像と視点合成画像との差分信号を符号化し、ビットストリームを生成する（ステップＳ１１１）。復号側で正しく復号可能であるならば、差分信号の符号化にはどのような方法を用いてもよい。生成されたビットストリームは画像符号化装置１００ａの出力の一部となる。
【００６８】
なお、復号画像を生成・記憶する場合は、図６に示す通り、符号化された差分信号を視点合成画像に加えることで復号画像を生成・記憶する（ステップＳ１１２）。図６は、図５に示す処理動作の変形例を示すフローチャートである。ここで符号化された差分信号とは、ビットストリームで表現された差分信号であり、復号側で得られる差分信号と同じものである。
【００６９】
ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化における差分信号の符号化では、領域ごとに、ＤＣＴなどの周波数変換を施し、その結果得られた値に対して、量子化、２値化、エントロピー符号化の処理を順に適用することで符号化を行う。この場合、ステップＳ１０６における予測符号化処理と異なり、予測ブロックサイズや予測モード、動き／視差ベクトルなどの予測画像の生成に必要な情報の符号化を省略し、それらに対するビットストリームは生成されない。そのため、全ての領域に対して予測モード等を符号化する場合と比べて、符号量を削減し、効率的な符号化を実現することができる。
【００７０】
前述までの説明では、視点合成画像が利用可能な領域に対しては、符号化情報（予測情報）が生成されない。しかしながら、ビットストリームには含まれない領域ごとの符号化情報を生成して、別のフレームを符号化する際に符号化情報を参照できるようにしても構わない。ここで、符号化情報とは、予測ブロックサイズや予測モード、動き/視差ベクトルなどの予測画像の生成や予測残差の復号に使用される情報のことである。
【００７１】
次に、図７を参照して、図１に示す画像符号化装置の変形例を説明する。図７は、視点合成画像が利用可能と判定された領域に対して、符号化情報を生成し、別の領域や別のフレームを符号化する際に符号化情報を参照できるようにする場合の画像符号化装置の構成を示すブロック図である。図７に示す画像符号化装置１００ｃが、図１に示す画像符号化装置１００ａと異なる点は、符号化情報生成部１１２を更に備える点である。なお、図７において、図１に示す同じ構成には同じ符号を付して、その説明を省略する。
【００７２】
符号化情報生成部１１２は、視点合成画像が利用可能と判定された領域に対して符号化情報を生成し、別の領域や別のフレームを符号化する画像符号化装置へ出力する。本実施形態では、別の領域や別のフレームの符号化も画像符号化装置１００ｃで行われることとし、生成された情報は画像符号化部１０８へ渡される。
【００７３】
次に、図８を参照して、図７に示す画像符号化装置１００ｃの処理動作を説明する。図８は、図７に示す画像符号化装置１００ｃの処理動作を示すフローチャートである。図８に示す処理動作が図２に示す処理動作と異なる点は、視点合成画像の利用可否判定（ステップＳ１０５）で利用可と判定された後に、領域ｂｌｋに対する符号化情報を生成する処理（ステップＳ１１３）が追加されている点である。なお、符号化情報の生成は、復号側が同じ情報を生成可能であれば、どのような情報を生成しても構わない。
【００７４】
例えば、予測ブロックサイズとしては、可能な限り大きなブロックサイズとしても構わないし、可能な限り小さなブロックサイズとしても構わない。また、使用したデプスマップや生成された視点合成画像を元に判定することで領域ごとに異なるブロックサイズを設定しても構わない。類似した画素値やデプス値を持つ画素のできるだけ大きな集合となるようにブロックサイズを適応的に決定しても構わない。
【００７５】
予測モードや動き/視差ベクトルとしては、全ての領域に対して、領域ごとの予測を行う場合に視点合成画像を使用した予測を示すモード情報や動き/視差ベクトルを設定しても構わない。また、視点間予測モードに対応するモード情報とデプス等から得られる視差ベクトルを、それぞれモード情報や動き/視差ベクトルとして設定しても構わない。視差ベクトルに関しては、その領域に対する視点合成画像をテンプレートとして、参照画像上を探索することで求めても構わない。
【００７６】
別の方法としては、視点合成画像を符号化対象画像とみなして解析することで、最適なブロックサイズや予測モードを推定して生成しても構わない。この場合、予測モードとしては、画面内予測や動き補償予測なども選択可能にしても構わない。
【００７７】
このようにビットストリームからは得られない情報を生成し、別のフレームを符号化する際に、生成された情報を参照可能にすることで、別のフレームの符号化効率を向上させることができる。これは、時間的に連続するフレームや同じ被写体を撮影したフレームなど類似したフレームを符号化する場合、動きベクトルや予測モードにも相関があるため、それらの相関を利用して冗長性を取り除くことができるためである。
【００７８】
ここでは、視点合成画像が利用可能な領域では、ビットストリームを生成しない場合の説明を行ったが、図９に示す通り、前述した符号化対象画像と視点合成画像との差分信号の符号化を行っても構わない。図９は、図８に示す処理動作の変形例を示すフローチャートである。なお、符号化対象画像の復号画像が別の領域や別のフレームの符号化に使用される場合は、領域ｂｌｋに対する処理が終了したら、前述した説明の通り、対応する方法を用いて復号画像を生成・記憶する。
【００７９】
前述した画像符号化装置では、視点合成画像が利用可能として符号化された領域の数についての情報は出力されるビットストリームに含まれない。しかしながら、ブロックごとの処理を行う前に、視点合成画像が利用可能な領域の数を求め、その数を示す情報をビットストリームに埋め込むようにしてもよい。以下では、視点合成画像が利用可能な領域の数を視点合成可能領域数と称する。なお、視点合成画像が利用不可能な領域の数を用いても構わないことは明らかであるため、視点合成画像が利用可能な領域の数を用いる場合を説明する。
【００８０】
次に、図１０を参照して、図１に示す画像符号化装置の変形例を説明する。図１０は視点合成可能領域数を求めて符号化する場合の画像符号化装置の構成を示すブロック図である。図１０に示す画像符号化装置１００ｄが、図１に示す画像符号化装置１００ａと異なる点は、視点合成可否判定部１０７に代えて、視点合成可能領域決定部１１３と視点合成可能領域数符号化部１１４とを備える点である。なお、図１０において、図１に示す画像符号化装置１００ａと同じ構成には同じ符号を付してその説明を省略する。
【００８１】
視点合成可能領域決定部１１３は、符号化対象画像を分割した領域ごとに、その領域に対する視点合成画像が利用可能か否かを判定する。視点合成可能領域数符号化部１１４は、視点合成可能領域決定部１１３で、視点合成画像が利用可能と決定された領域の数を符号化する。
【００８２】
次に、図１１を参照して、図１０に示す画像符号化装置１００ｄの処理動作を説明する。図１１は、図１０に示す画像符号化装置１００ｄが、視点合成可能領域数を符号化する場合の処理動作を示すフローチャートである。図１１に示す処理動作は、図２に示す処理動作と異なり、視点合成画像を生成した後に、視点合成画像を利用可能とする領域を決定し（ステップＳ１１４）、その領域数である視点合成可能領域数を符号化する（ステップＳ１１５）。符号化結果のビットストリームは、画像符号化装置１００ｄの出力の一部となる。また、領域ごとに行われる視点合成画像が利用可能か否かの判断（ステップＳ１１６）は、前述のステップＳ１１４での決定と同じ方法で行われる。なお、ステップＳ１１４において、各領域において視点合成画像が利用可能か否かを示すマップを生成し、ステップＳ１１６では、そのマップを参照することで視点合成画像の利用可否を判定するようにしても構わない。
【００８３】
なお、視点合成画像が利用可能な領域の決定には、どのような方法を用いても構わない。ただし、復号側で同様の基準を用いて領域を特定できる必要がある。例えば、オクルージョン領域に含まれる画素数や視点合成画像の品質などに対して、予め定められた閾値を基準にして、視点合成画像が利用可能か否かを決定しても構わない。その際に、ターゲットビットレートや品質に応じて閾値を決定し、視点合成画像を利用可能とする領域を制御しても構わない。なお、使用された閾値を符号化する必要はないが、閾値を符号化して、符号化された閾値を伝送しても構わない。
【００８４】
ここでは、画像符号化装置は２種類のビットストリームを出力するものとしたが、画像符号化部１０８の出力と視点合成可能領域数符号化部１１４の出力とを多重化し、その結果得られたビットストリームを画像符号化装置の出力としても構わない。また、図１１に示す処理動作では、各領域の符号化を行う前に視点合成可能領域数を符号化したが、図１２に示すように、図２に示す処理動作に従って符号化した後に、結果として視点合成画像が利用可能と判断された領域数を符号化する（ステップＳ１１７）ようにしても構わない。図１２は、図１１に示す処理動作の変形例を示すフローチャートである。
【００８５】
更に、ここでは視点合成画像が利用可能と判断された領域では、符号化処理を省略する場合で説明を行ったが、図３〜図９を参照して説明した方法において、視点合成可能領域数を符号化する方法を組み合わせても構わないことは明らかである。
【００８６】
このように視点合成可能領域数をビットストリームに含めることで、何らかのエラーにより符号化側と復号側とで異なる参照画像や参照デプスマップが得られた場合においても、そのエラーによるビットストリームの読み取りエラーの発生を防ぐことが可能となる。なお、符号化時に想定した領域数よりも多くの領域で視点合成画像が利用可能と判断されると、当該フレームにおいて本来読み込むべきはずのビットを読み込まず、次のフレーム等の復号において、誤ったビットが先頭ビットだと判断され、正常なビット読み込みができなくなる。一方、符号化時に想定した領域数よりも少ない領域で視点合成画像が利用可能と判断されると、次のフレーム等に対するビットを用いて復号処理を行おうとしてしまい、当該フレームから正常なビット読み込みが不可能になる。
【００８７】
次に、本実施形態における画像復号装置について説明する。図１３は本実施形態における画像復号装置の構成を示すブロック図である。画像復号装置２００ａは、図１３に示すように、ビットストリーム入力部２０１、ビットストリームメモリ２０２、参照画像入力部２０３、参照デプスマップ入力部２０４、視点合成画像生成部２０５、視点合成画像メモリ２０６、視点合成可否判定部２０７及び画像復号部２０８を備えている。
【００８８】
ビットストリーム入力部２０１は、復号対象となる画像のビットストリームを入力する。以下では、この復号対象となる画像を復号対象画像と呼ぶ。ここでは、復号対象画像はカメラＢの画像を指す。また、以下では、復号対象画像を撮影したカメラ（ここではカメラＢ）を復号対象カメラと呼ぶ。ビットストリームメモリ２０２は、入力した復号対象画像に対するビットストリームを記憶する。参照画像入力部２０３は、視点合成画像（視差補償画像）を生成する際に参照する画像を入力する。以下では、ここで入力された画像を参照画像と呼ぶ。ここではカメラＡの画像が入力されるものとする。
【００８９】
参照デプスマップ入力部２０４は、視点合成画像を生成する際に参照するデプスマップを入力する。ここでは、参照画像に対するデプスマップを入力するものとするが、別のカメラに対するデプスマップでも構わない。以下では、このデプスマップを参照デプスマップと称する。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。デプスマップは、別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここでは視差量が得られれば構わないので、デプスマップではなく、視差量を直接表現した視差マップを用いても構わない。なお、ここではデプスマップが画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。以下では、参照デプスマップに対応するカメラ（ここではカメラＡ）を参照デプスカメラと称する。
【００９０】
視点合成画像生成部２０５は、参照デプスマップを用いて、復号対象画像の画素と参照画像の画素との対応関係を求め、復号対象画像に対する視点合成画像を生成する。視点合成画像メモリ２０６は生成された復号対象画像に対する視点合成画像を記憶する。視点合成可否判定部２０７は、復号対象画像を分割した領域ごとに、その領域に対する視点合成画像が利用可能か否かを判定する。画像復号部２０８は、復号対象画像を分割した領域ごとに、視点合成可否判定部２０７の判定に基づいて、復号対象画像をビットストリームから復号、または、視点合成画像から生成して出力する。
【００９１】
次に、図１４を参照して、図１３に示す画像復号装置２００ａの動作を説明する。図１４は、図１３に示す画像復号装置２００ａの動作を示すフローチャートである。まず、ビットストリーム入力部２０１は、復号対象画像を符号化したビットストリームを入力し、入力されたビットストリームをビットストリームメモリ２０２に記憶する（ステップＳ２０１）。次に、参照画像入力部２０３は参照画像を入力し、入力された参照画像を視点合成画像生成部２０５へ出力し、参照デプスマップ入力部２０４は参照デプスマップを入力し、入力された参照デプスマップを視点合成画像生成部２０５へ出力する（ステップＳ２０２）。
【００９２】
なお、ステップＳ２０２で入力される参照画像、参照デプスマップは、符号化側で使用されたものと同じものとする。これは画像符号化装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用されたものと異なるものが入力されてもよい。参照デプスマップに関しては、別途復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなどを用いることもある。
【００９３】
次に、視点合成画像生成部２０５は、復号対象画像に対する視点合成画像Ｓｙｎｔｈを生成し、生成された視点合成画像Ｓｙｎｔｈを視点合成画像メモリ２０６に記憶する（ステップＳ２０３）。ここでの処理は前述したステップＳ１０３と同じである。なお、ドリフト等の符号化ノイズの発生を抑えるためには、符号化時に使用された方法と同じ方法を用いる必要があるが、そのような符号化ノイズの発生を許容する場合には、符号化時に使用された方法と異なる方法を使用しても構わない。
【００９４】
次に、視点合成画像が得られたら、復号対象画像を分割した領域ごとに、視点合成画像の利用可否を判定しながら、復号対象画像を復号または生成する。すなわち、復号対象画像を分割した復号処理を行う単位の領域のインデックスを示す変数ｂｌｋをゼロで初期化した後（ステップ２０４）、ｂｌｋに１ずつ加算しながら（ステップＳ２０８）、ｂｌｋが復号対象画像内の領域数ｎｕｍＢｌｋｓになるまで（ステップＳ２０９）、以下の処理（ステップＳ２０５〜ステップＳ２０７）を繰り返す。
【００９５】
復号対象画像を分割した領域ごとに行われる処理では、まず、視点合成可否判定部２０７が、領域ｂｌｋに対して視点合成画像が利用可能か否かを判定する（ステップＳ２０５）。ここでの処理は前述したステップＳ１０５と同じである。
【００９６】
視点合成画像が利用可能と判断された場合は、領域ｂｌｋの視点合成画像を復号対象画像とする（ステップＳ２０６）。一方、視点合成画像が利用不可能と判断された場合、画像復号部２０８は、指定された方法で予測画像を生成しながらビットストリームから復号対象画像を復号する（ステップＳ２０７）。なお、得られた復号対象画像は画像復号装置２００ａの出力となる。本発明を動画像復号や多視点画像復号などに使う場合など、復号対象画像が他のフレームを復号する際に使われる場合は、復号対象画像は別途定められた復号画像メモリに記憶される。
【００９７】
ビットストリームから復号対象画像を復号する場合は、符号化時に用いた方式に対応する方法を用いる。例えば、非特許文献１に記載のＨ．２６４／ＡＶＣに準ずる方式を用いて符号化されている場合は、ビットストリームから予測方法を示す情報や予測残差を復号し、復号した予測方法に従って生成した予測画像に予測残差を加えることで復号対象画像を復号する。なお、符号化時に、予測モードを識別するテーブルにおいて、視点合成画像に対するエントリを削除するか、視点合成画像に対するエントリの存在しないテーブルを用いることで、視点合成画像が予測画像の候補から除外されている場合には、同様の処理によって、予測モードを識別するテーブルにおいて、視点合成画像に対するエントリを削除するか、元々視点合成画像に対するエントリの存在しないテーブルに従って復号処理を行う必要がある。
【００９８】
ここでは、画像復号装置２００ａには画像信号に対するビットストリームが入力される。すなわち、画像サイズ等の情報を示すパラメータセットやヘッダは、必要に応じて、画像復号装置２００ａの外側で解釈され、復号に必要な情報は画像復号装置２００ａへ通知されるものとする。
【００９９】
ステップＳ２０５において、視点合成画像が利用可能か否かを判定するために、オクルージョンマップを生成して用いても構わない。その場合の画像復号装置の構成例を図１５に示す。図１５は、視点合成画像が利用可能か否かを判定するために、オクルージョンマップを生成して用いる場合の画像復号装置の構成を示すブロック図である。図１５に示す画像復号装置２００ｂが、図１３に示す画像復号装置２００ａと異なる点は、視点合成画像生成部２０５に代えて視点合成部２０９とオクルージョンマップメモリ２１０とを備える点である。なお、図１５において、図１３に示す画像復号装置２００ａと同じ構成には同じ符号を付してその説明を省略する。
【０１００】
視点合成部２０９は、参照デプスマップを用いて、復号対象画像の画素と参照画像の画素との対応関係を求め、復号対象画像に対する視点合成画像とオクルージョンマップを生成する。ここで、オクルージョンマップは復号対象画像の各画素に対して、参照画像上でその画素に写っている被写体の対応が取れるか否かを表したものである。なお、オクルージョンマップの生成には、符号化側と同じ処理であれば、どのような方法を用いても構わない。オクルージョンマップメモリ２１０は生成されたオクルージョンマップを記憶する。
【０１０１】
また、視点合成画像の生成方法のなかには、オクルージョン領域に対して、時空間予測をすることで、何らかの画素値を生成する手法が存在する。この処理はインペイントと呼ばれる。この場合、インペイントによって画素値が生成された画素は、オクルージョン領域としても構わないし、オクルージョン領域ではないとしても構わない。なお、インペイントによって画素値が生成された画素をオクルージョン領域として扱う場合は、視点合成画像をオクルージョン判定に使用することはできないため、オクルージョンマップを生成する必要がある。
【０１０２】
オクルージョンマップを用いて、視点合成画像が利用可能か否かを判定する場合、復号対象画像全体に対しては視点合成画像を生成せず、領域ごとに視点合成画像を生成するようにしても構わない。このようにすることで、視点合成画像を記憶するためのメモリ量や演算量を削減することが可能である。ただし、そのような効果を得るためには、視点合成画像を領域ごとに作成することができる必要がある。
【０１０３】
次に、図１６を参照して、図１５に示す画像復号装置の処理動作を説明する。図１６は、図１５に示す画像復号装置２００ｂが、領域ごとに視点合成画像を生成する場合の処理動作を示すフローチャートである。図１６に示す通り、フレーム単位でオクルージョンマップを生成し（ステップＳ２１３）、オクルージョンマップを用いて視点合成画像が利用可能か否かを判定する（ステップＳ２０５’）。その後、視点合成画像が利用可能と判断された領域に対して、視点合成画像を生成し復号対象画像とする（ステップＳ２１４）。
【０１０４】
視点合成画像を領域ごとに作成可能な状況としては、復号対象画像に対するデプスマップが得られている状況がある。例えば、参照デプスマップとして復号対象画像に対するデプスマップが与えられても構わないし、参照デプスマップから復号対象画像に対するデプスマップを生成し、視点合成画像の生成に使用するとしても構わない。なお、参照デプスマップから視点合成画像に対するデプスマップを生成する際に、取りえないデプス値で合成デプスマップを初期化した後に、画素ごとの投影処理によって合成デプスマップを生成することで、合成デプスマップをオクルージョンマップとしても利用しても構わない。
【０１０５】
前述までの説明では、視点合成画像が利用可能な領域に対しては、視点合成画像をそのまま復号対象画像としているが、ビットストリームに復号対象画像と視点合成画像との差分信号が符号化されている場合は、それを用いながら復号対象画像を復号するようにしても構わない。なお、ここで差分信号とは視点合成画像の復号対象画像に対する誤差を補正する情報であり、単純な差分として表現されていても構わないし、復号対象画像の剰余として表現されていても構わない。ただし、符号化時に用いた表現方法を知らなくてはならない。例えば、常に特定の表現が使用されているものとしても構わないし、フレームごとに表現方法を伝える情報が符号化されているとしても構わない。後者の場合、適切なタイミングでビットストリームから表現形式を示す情報を復号する必要がある。また、視点合成画像や参照デプスマップ、オクルージョンマップなど符号化側と同じ情報を用いて表現方法を決定することで、画素やフレームごとに異なる表現方法が用いられたとしても構わない。
【０１０６】
図１７は、視点合成画像が利用可能な領域に対して、ビットストリームから復号対象画像と視点合成画像との差分信号の復号を行う場合の処理動作を示すフローチャートである。図１７に示す処理動作が、図１４に示す処理動作と異なる点はステップＳ２０６の代わりに、ステップＳ２１０とステップＳ２１１が行われる点であり、その他は同じである。図１７において、図１４に示す処理と同じ処理を行うステップに対しては同じ符号を付して、その説明を省略する。
【０１０７】
図１７に示すフローでは、領域ｂｌｋにおいて、視点合成画像が利用可能と判断された場合、まず、ビットストリームから復号対象画像と視点合成画像との差分信号を復号する（ステップＳ２１０）。ここでの処理は符号化側で用いられた処理に対応する方法を用いる。例えば、ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化における差分信号の符号化と同じ方式を用いて符号化されている場合は、ビットストリームをエントロピー復号して得られた値に対して、逆２値化、逆量子化、ＩＤＣＴ（逆離散コサイン変換）などの周波数逆変換を施すことで差分信号を復号する。
【０１０８】
次に、視点合成画像と復号した差分信号とを用いて復号対象画像を生成する（ステップＳ２１１）。ここでの処理は差分信号の表現方法に合わせて行う。例えば、差分信号が単純な差分で表現されている場合は、視点合成画像に差分信号を加え、画素値の値域に従ったクリッピング処理を行うことで復号対象画像を生成する。差分信号が復号対象画像の剰余を示している場合は、視点合成画像の画素値に最も近く、差分信号の剰余と同じ画素値を求めることで復号対象画像を生成する。また、差分信号が誤り訂正符号になっている場合は、視点合成画像の誤りを差分信号を用いて訂正することで復号対象画像を生成する。
【０１０９】
なお、ステップＳ２０７における復号処理と異なり、予測ブロックサイズや予測モード、動き／視差ベクトルなどの予測画像の生成に必要な情報をビットストリームから復号する処理が行われない。そのため、全ての領域に対して予測モード等が符号化されている場合と比べて、符号量を削減し、効率的な符号化を実現することができる。
【０１１０】
前述までの説明では、視点合成画像が利用可能な領域に対しては、符号化情報が生成されない。しかしながら、ビットストリームには含まれない領域ごとの符号化情報を生成して、別のフレームを復号する際に符号化情報を参照できるようにしても構わない。ここで、符号化情報とは、予測ブロックサイズや予測モード、動き/視差ベクトルなどの予測画像の生成や予測残差の復号に使用される情報のことである。
【０１１１】
次に、図１８を参照して、図１３に示す画像復号装置の変形例を説明する。図１８は、視点合成画像が利用可能と判定された領域に対して、符号化情報を生成し、別の領域や別のフレームを復号する際に符号化情報を参照できるようにする場合の画像復号装置の構成を示すブロック図である。図１８に示す画像復号装置２００ｃが、図１３に示す画像復号装置２００ａと異なる点は、符号化情報生成部２１１を更に備える点である。なお、図１８において、図１３に示す構成と同じ構成には同じ符号を付して、その説明を省略する。
【０１１２】
符号化情報生成部２１１は、視点合成画像が利用可能と判定された領域に対して符号化情報を生成し、別の領域や別のフレームを復号する画像復号装置へ出力する。ここでは、別の領域や別のフレームの復号も画像復号装置２００ｃで行われる場合を表しており、生成された情報は画像復号部２０８へ渡される。
【０１１３】
次に、図１９を参照して、図１８に示す画像復号装置２００ｃの処理動作を説明する。図１９は、図１８に示す画像復号装置２００ｃの処理動作を示すフローチャートである。図１９に示す処理動作が、図１４に示す処理動作と異なる点は、視点合成画像の利用可否判定（ステップＳ２０５）で利用可と判定され、復号対象画像を生成した後に、領域ｂｌｋに対する符号化情報を生成する処理（ステップＳ２１２）が追加されている点である。なお、符号化情報の生成処理では、符号化側で生成した情報と同じ情報を生成するのであれば、どのような情報を生成しても構わない。
【０１１４】
例えば、予測ブロックサイズとしては、可能な限り大きなブロックサイズとしても構わないし、可能な限り小さなブロックサイズとしても構わない。また、使用したデプスマップや生成された視点合成画像を元に判定することで領域ごとに異なるブロックサイズを設定しても構わない。類似した画素値やデプス値を持つ画素のできるだけ大きな集合となるようにブロックサイズを適応的に決定しても構わない。
【０１１５】
予測モードや動き/視差ベクトルとしては、全ての領域に対して、領域ごとの予測を行う場合に視点合成画像を使用した予測を示すモード情報や動き/視差ベクトルを設定しても構わない。また、視点間予測モードに対応するモード情報とデプス等から得られる視差ベクトルを、それぞれモード情報や動き/視差ベクトルとして設定しても構わない。視差ベクトルに関しては、その領域に対する視点合成画像をテンプレートとして、参照画像上を探索することで求めても構わない。
【０１１６】
別の方法としては、視点合成画像を復号対象画像の符号化する前の画像とみなして解析することで、最適なブロックサイズや予測モードを推定して生成しても構わない。この場合、予測モードとしては、画面内予測や動き補償予測なども選択可能にしても構わない。
【０１１７】
このようにビットストリームからは得られない情報を生成し、別のフレームを復号する際に、生成された情報を参照可能にすることで、別のフレームの符号化効率を向上させることができる。これは、時間的に連続するフレームや同じ被写体を撮影したフレームなど類似したフレームを符号化する場合、動きベクトルや予測モードにも相関があるため、それらの相関を利用して冗長性を取り除くことができるためである。
【０１１８】
ここでは、視点合成画像が利用可能な領域では、視点合成画像を復号対象画像とする場合の説明を行ったが、図２０に示す通り、復号対象画像と視点合成画像との差分信号をビットストリームから復号して（ステップＳ２１０）、復号対象画像の生成（ステップＳ２１１）を行っても構わない。図２０は、復号対象画像と視点合成画像との差分信号をビットストリームから復号して、復号対象画像の生成を行う場合の処理動作を示すフローチャートである。また、前述したフレーム単位ではオクルージョンマップを生成し、視点合成画像は領域ごとに生成を行う方法と、符号化情報を生成する方法とを組み合わせて用いても構わない。
【０１１９】
前述した画像復号装置では、視点合成画像が利用可能として符号化されている領域の数についての情報は入力されるビットストリームに含まれていない。しかしながら、ビットストリームから、視点合成画像が利用可能な領域の数（または、利用不可能な領域の数）を復号し、その数に従って復号処理を制御するようにしても構わない。以下では、復号した視点合成画像が利用可能な領域の数を視点合成可能領域数と称する。
【０１２０】
図２１は視点合成可能領域数をビットストリームから復号する場合の画像復号装置の構成を示すブロック図である。図２１に示す画像復号装置２００ｄが、図１３に示す画像復号装置２００ａと異なる点は、視点合成可否判定部２０７に代えて、視点合成可能領域数復号部２１２と視点合成可能領域決定部２１３とを備える点である。なお、図２１において、図１３に示す画像復号装置２００ａと同じ構成には同じ符号を付してその説明を省略する。
視点合成可能領域数復号部２１２は、ビットストリームから、復号対象画像を分割した領域のうち、視点合成画像が利用可能と判断する領域の数を復号する。視点合成可能領域決定部２１３は、復号した視点合成可能領域数に基づいて、復号対象画像を分割した領域ごとに、視点合成画像が利用可能か否かを決定する。
【０１２１】
次に、図２２を参照して、図２１に示す画像復号装置２００ｄの処理動作を説明する。図２２は、視点合成可能領域数を復号する場合の処理動作を示すフローチャートである。図２２に示す処理動作は、図１４に示す処理動作と異なり、視点合成画像を生成した後に、ビットストリームから視点合成可能領域数を復号し（ステップＳ２１３）、復号した視点合成可能領域数を用いて、復号対象画像を分割した領域ごとに、視点合成画像を利用可能とするか否かを決定する（ステップＳ２１４）。また、領域ごとに行われる視点合成画像が利用可能か否かの判断（ステップＳ２１５）は、ステップＳ２１４での決定と同じ方法で行われる。
【０１２２】
視点合成画像が利用可能とする領域の決定には、どのような方法を用いても構わない。ただし、符号化側と同じ基準を用いて領域を決定する必要がある。例えば、視点合成画像の品質やオクルージョン領域に含まれる画素数を基準にして、各領域を順位付けし、視点合成可能領域数に従って、視点合成画像を利用可能とする領域を決定するようにしても構わない。これによって、ターゲットビットレートや品質に応じて、視点合成画像を利用可能とする領域の数をコントロール可能になり、高品質な復号対象画像の伝送を可能にする符号化から、低ビットレートによる画像伝送を可能にする符号化まで、柔軟な符号化を実現することが可能となる。
【０１２３】
なお、ステップＳ２１４において、各領域において視点合成画像が利用可能か否かを示すマップを生成し、ステップＳ２１５では、そのマップを参照することで視点合成画像の利用可否を判定するようにしても構わない。また、視点合成画像の利用可否を表すマップを生成しない場合に、ステップＳ２１４では、設定された基準を用いる際に、復号した視点合成可能領域数を満たす閾値を決定し、ステップＳ２１５における判定では、決定した閾値を満たすか否かで判定を行うようにしても構わない。このようにすることで領域ごとに行う視点合成画像の利用可否にかかる演算量を削減することが可能である。
【０１２４】
ここでは、画像復号装置には１種類のビットストリームが入力され、入力されたビットストリームが適切な情報を含んだ部分ビットストリームへと分離され、適切なビットストリームが画像復号部２０８と視点合成可能領域数復号部２１２とに入力されるものとした。しかし、ビットストリームの分離を画像復号装置の外部で行い、別々のビットストリームを画像復号部２０８と視点合成可能領域数復号部２１２とに入力するようにしても構わない。
【０１２５】
また、前述した処理動作では、各領域の復号を行う前に、画像全体を鑑みて、視点合成画像を利用可能な領域の決定を行ったが、それまでに処理した領域の判定結果を考慮しながら、領域ごとに視点合成画像が利用可能か否かを判定するようにしても構わない。
【０１２６】
例えば、図２３は視点合成画像が利用不可能として復号した領域の数をカウントしながら復号する場合の処理動作を示すフローチャートである。この処理動作では、領域ごとの処理を行う前に、視点合成可能領域数ｎｕｍＳｙｎｔｈＢｌｋｓを復号し（ステップＳ２１３）、残りのビットストリーム内の視点合成可能領域数以外の領域数を表すｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓを求める（ステップＳ２１６）。
【０１２７】
領域ごとの処理では、最初に、ｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓが０より大きいか否かをチェックする（ステップＳ２１７）。ｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓが０より大きい場合は、これまでの説明と同様に、当該領域において視点合成画像が利用可能か否かを判定する（ステップＳ２０５）。一方、ｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓが０以下（正確には０）の場合は、当該領域に対する視点合成画像の利用可否の判定をスキップして、当該領域では視点合成画像が利用可能である場合の処理を行う。また、視点合成画像が利用不可能として処理をする度に、ｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓを１ずつ減ずる（ステップＳ２１８）。
【０１２８】
全ての領域について復号処理が完了した後、ｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓが０より大きいか否かをチェックする（ステップＳ２１９）。ｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓが０より大きい場合は、ビットストリームからｎｕｍＮｏｎＳｙｎｔｈＢｌｋｓと同じ領域数に相当するビットを読み込む（ステップＳ２２１）。読み込んだビットは、そのまま破棄しても構わないし、エラー箇所を同定するのに利用しても構わない。
【０１２９】
このようにすることで、何らかのエラーにより符号化側と復号側とで異なる参照画像や参照デプスマップが得られた場合においても、そのエラーによるビットストリームの読み取りエラーの発生を防ぐことが可能となる。具体的には、符号化時に想定した領域数よりも多くの領域で視点合成画像が利用可能と判断し、当該フレームにおいて本来読み込むべきはずのビットを読み込まず、次のフレーム等の復号において、誤ったビットが先頭ビットだと判断され、正常なビット読み込みができなくなることを防ぐことができる。また、符号化時に想定した領域数よりも少ない領域で視点合成画像が利用可能と判断し、次のフレーム等に対するビットを用いて復号処理を行おうとしてしまい、当該フレームから正常なビット読み込みが不可能になることも防ぐことができる。
【０１３０】
また、視点合成画像が利用不可能として復号した領域の数だけでなく、視点合成画像が利用可能として復号した領域の数もカウントしながら処理する場合の処理動作を図２４に示す。図２４は、視点合成画像が利用可能として復号した領域の数もカウントしながら処理する場合の処理動作を示すフローチャートである。図２４に示す処理動作は、図２３に示す処理動作と基本的な処理動作は同じである。
【０１３１】
図２４に示す処理動作と図２３に示す処理動作の違いを説明する。まず、領域ごとの処理を行う際に、ｎｕｍＳｙｎｔｈＢｌｋｓが０より大きいか否かを最初に判定する（ステップＳ２１９）。ｎｕｍＳｙｎｔｈＢｌｋｓが０より大きい場合は、特に何も行わない。一方、ｎｕｍＳｙｎｔｈＢｌｋｓが０以下（正確には０）の場合は、強制的に、当該領域では視点合成画像が利用不可能であるとして処理を行う。次に、視点合成画像が利用可能として処理する度に、ｎｕｍＳｙｎｔｈＢｌｋｓを１ずつ減ずる（ステップＳ２２０）。最後に、全ての領域について復号処理が完了したら直ちに復号処理が終了する。
【０１３２】
ここでは視点合成画像が利用可能と判断された領域では、復号処理を省略する場合で説明を行ったが、図１５〜図２０を参照して説明した方法と、視点合成可能領域数を復号する方法を組み合わせても構わないことは明らかである。
【０１３３】
前述した説明においては、１フレームを符号化及び復号する処理を説明したが、複数フレームについて処理を繰り返すことで動画像符号化にも本手法を適用することができる。また、動画像の一部のフレームや一部のブロックにのみ本手法を適用することもできる。さらに、前述した説明では画像符号化装置及び画像復号装置の構成及び処理動作を説明したが、これら画像符号化装置及び画像復号装置の各部の動作に対応した処理動作によって本発明の画像符号化方法及び画像復号方法を実現することができる。
【０１３４】
また、前述した説明においては、参照デプスマップが符号化対象カメラまたは復号対象カメラとは異なるカメラで撮影された画像に対するデプスマップであるとして説明を行ったが、符号化対象カメラまたは復号対象カメラによって撮影された画像に対するデプスマップを、参照デプスマップとして用いても構わない。
【０１３５】
図２５は、前述した画像符号化装置１００ａ〜１００ｄをコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図２５に示すシステムは、プログラムを実行するＣＰＵ（Central Processing Unit）５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ（Random Access Memory）等のメモリ５１と、カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、カメラ等からの参照対象の画像信号を入力する参照画像入力部５３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの符号化対象画像を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する参照デプスマップ入力部５４（ディスク装置等によるデプスマップを記憶する記憶部でもよい）と、画像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５５１が格納されたプログラム記憶装置５５と、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５５１を実行することにより生成されたビットストリームを、例えばネットワークを介して出力するビットストリーム出力部５６（ディスク装置等によるビットストリームを記憶する記憶部でもよい）とが、バスで接続された構成になっている。
【０１３６】
図２６は、前述した画像復号装置２００ａ〜２００ｄをコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図２６に示すシステムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と、画像符号化装置が本手法により符号化したビットストリームを入力するビットストリーム入力部６２（ディスク装置等によるビットストリームを記憶する記憶部でもよい）と、カメラ等からの参照対象の画像信号を入力する参照画像入力部６３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの復号対象を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する参照デプスマップ入力部６４（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６５１が格納されたプログラム記憶装置６５と、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６５１を実行することにより、ビットストリームを復号して得られた復号対象画像を、再生装置などに出力する復号対象画像出力部６６（ディスク装置等による画像信号を記憶する記憶部でもよい）とが、バスで接続された構成になっている。
【０１３７】
前述した実施形態における画像符号化装置１００ａ〜１００ｄ及び画像復号装置２００ａ〜２００ｄをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【０１３８】
以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【０１３９】
本発明は、符号化（復号）対象画像を撮影したカメラとは異なる位置から撮影された画像に対するデプスマップを用いて、符号化（復号）対象画像に対して視差補償予測を行う際に、高い符号化効率を少ない演算量で達成する用途に適用できる。
【符号の説明】
【０１４０】
１０１・・・符号化対象画像入力部、１０２・・・符号化対象画像メモリ、１０３・・・参照画像入力部、１０４・・・参照デプスマップ入力部、１０５・・・視点合成画像生成部、１０６・・・視点合成画像メモリ、１０７・・・視点合成可否判定部、１０８・・・画像符号化部、１１０・・・視点合成部、１１１・・・オクル-ジョンマップメモリ、１１２・・・符号化情報生成部、１１３・・・視点合成可能領域決定部、１１４・・・視点合成可能領域数符号化部、２０１・・・ビットストリーム入力部、２０２・・・ビットストリームメモリ、２０３・・・参照画像入力部、２０４・・・参照デプスマップ入力部、２０５・・・視点合成性画像生成部、２０６・・・視点合成画像メモリ、２０７・・・視点合成可否判定部、２０８・・・画像復号部、２０９・・・視点合成部、２１０・・・オクル-ジョンマップメモリ、２１１・・・符号化情報生成部、２１２・・・視点合成可能領域数復号部、２１３・・・視点合成可能領域決定部
【図１】
0005947977.tif 000002
【図２】
0005947977.tif 000003
【図３】
0005947977.tif 000004
【図４】
0005947977.tif 000005
【図５】
0005947977.tif 000006
【図６】
0005947977.tif 000007
【図７】
0005947977.tif 000008
【図８】
0005947977.tif 000009
【図９】
0005947977.tif 000010
【図１０】
0005947977.tif 000011
【図１１】
0005947977.tif 000012
【図１２】
0005947977.tif 000013
【図１３】
0005947977.tif 000014
【図１４】
0005947977.tif 000015
【図１５】
0005947977.tif 000016
【図１６】
0005947977.tif 000017
【図１７】
0005947977.tif 000018
【図１８】
0005947977.tif 000019
【図１９】
0005947977.tif 000020
【図２０】
0005947977.tif 000021
【図２１】
0005947977.tif 000022
【図２２】
0005947977.tif 000023
【図２３】
0005947977.tif 000024
【図２４】
0005947977.tif 000025
【図２５】
0005947977.tif 000026
【図２６】
0005947977.tif 000027
【図２７】
0005947977.tif 000028
【図２８】
0005947977.tif 000029