(57)【特許請求の範囲】
【請求項１】
複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化装置であって、
前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像全体に対する視点合成画像を生成する視点合成画像生成部と、
予測単位として、前記符号化対象画像を分割した符号化対象ブロックごとに予測を行うか、前記符号化対象画像全体に対して前記視点合成画像を用いて予測を行うかを選択する予測単位設定部と、
選択された前記予測単位を示す情報を符号化する予測単位情報符号化部と、
前記予測単位として前記符号化対象ブロックごとに予測を行うことが選択された場合に、前記符号化対象画像を、前記符号化対象ブロックごとに、予測画像生成方法を選択しながら予測符号化する符号化対象画像予測符号化部と
を備える画像符号化装置。
【請求項２】
前記予測単位として前記符号化対象画像全体に対して前記視点合成画像を用いて予測を行うことが選択された場合に、前記符号化対象画像と前記視点合成画像の差分を符号化する視点合成予測残差符号化部を更に有する請求項１に記載の画像符号化装置。
【請求項３】
前記符号化対象画像全体を前記視点合成画像で予測して符号化する場合のレート歪みコストである画像単位予測レート歪みコストを推定する画像単位予測レート歪みコスト推定部と、
前記符号化対象ブロックごとに、予測画像生成方法を選択しながら前記符号化対象画像を予測符号化する場合のレート歪みコストであるブロック単位予測レート歪みコストを推定するブロック単位予測レート歪みコスト推定部とを更に有し、
前記予測単位設定部では、前記画像単位予測レート歪みコストと前記ブロック単位予測レート歪みコストとを比較して前記予測単位を設定する請求項１または請求項２に記載の画像符号化装置。
【請求項４】
前記符号化対象ブロックごとに、前記参照画像と前記参照デプスマップとを用いて、前記符号化対象ブロックに対する視点合成画像である部分視点合成画像を生成する部分視点合成画像生成部を更に有し、
前記符号化対象画像予測符号化部では、前記部分視点合成画像を予測画像の候補として用いる請求項１から３のいずれか１項に記載の画像符号化装置。
【請求項５】
前記予測単位として画像全体に対して前記視点合成画像を用いて予測を行うことが選択された場合に、前記符号化対象ブロックごとに、予測情報を生成する予測情報生成部を更に有する請求項１から４のいずれか１項に記載の画像符号化装置。
【請求項６】
前記予測情報生成部では、予測ブロックサイズを決定し、
前記視点合成画像生成部では、前記予測ブロックサイズごとに視点合成画像を生成する処理を繰り返すことで、前記符号化対象画像全体に対する前記視点合成画像を生成する請求項５に記載の画像符号化装置。
【請求項７】
前記予測情報生成部では、視差ベクトルを推定し、視差補償予測としての予測情報を生成する請求項５に記載の画像符号化装置。
【請求項８】
前記予測情報生成部では、予測方法を決定し、当該予測方法に対する予測情報を生成する請求項５に記載の画像符号化装置。
【請求項９】
複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号装置であって、
前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像全体に対する視点合成画像を生成する視点合成画像生成部と、
前記符号データから前記復号対象画像を分割した復号対象ブロックごとに予測を行うか、前記復号対象画像全体に対して前記視点合成画像を用いて予測を行うかを示す予測単位の情報を復号する予測単位情報復号部と、
前記予測単位が前記復号画像全体に対して前記視点合成画像を用いて予測を行うことを示す場合に、前記視点合成画像を前記復号対象画像とする復号対象画像設定部と、
前記予測単位が前記復号対象ブロックごとに予測を行うことを示す場合に、前記符号データから、前記復号対象ブロックごとに予測画像を生成しながら、復号対象画像を復号する復号対象画像復号部と
を備える画像復号装置。
【請求項１０】
前記復号対象画像設定部において、符号データから前記復号対象画像と前記視点合成画像の差分を復号し、当該差分と前記視点合成画像とを足し合わせることで前記復号対象画像を生成する請求項９に記載の画像復号装置。
【請求項１１】
前記復号対象ブロックごとに、前記参照画像と前記参照デプスマップとを用いて、前記復号対象ブロックに対する視点合成画像である部分視点合成画像を生成する部分視点合成画像生成部を更に有し、
前記復号対象画像復号部では、前記部分視点合成画像を予測画像の候補として用いる請求項９または請求項１０に記載の画像復号装置。
【請求項１２】
前記予測単位が前記復号画像全体に対して前記視点合成画像を用いて予測を行うことを示す場合に、前記復号対象ブロックごとに、予測情報を生成する予測情報生成部を更に有する請求項９から請求項１１のいずれか１項に記載の画像復号装置。
【請求項１３】
前記予測情報生成部では、予測ブロックサイズを決定し、
前記視点合成画像生成部では、前記予測ブロックサイズごとに視点合成画像を生成する処理を繰り返すことで、前記復号対象画像全体に対する前記視点合成画像を生成する請求項１２に記載の画像復号装置。
【請求項１４】
前記予測情報生成部では、視差ベクトルを推定し、視差補償予測としての予測情報を生成する請求項１２に記載の画像復号装置。
【請求項１５】
前記予測情報生成部では、予測方法を決定し、当該予測方法に対する予測情報を生成する請求項１２に記載の画像復号装置。
【請求項１６】
複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化方法であって、
前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像全体に対する視点合成画像を生成する視点合成画像生成ステップと、
予測単位として、前記符号化対象画像を分割した符号化対象ブロックごとに予測を行うか、前記符号化対象画像全体に対して前記視点合成画像を用いて予測を行うかを選択する予測単位設定ステップと、
選択された前記予測単位を示す情報を符号化する予測単位情報符号化ステップと、
前記予測単位として前記符号化対象ブロックごとに予測を行うことが選択された場合に、前記符号化対象画像を、前記符号化対象ブロックごとに、予測画像生成方法を選択しながら予測符号化する符号化対象画像予測符号化ステップと
を有することを特徴とする画像符号化方法。
【請求項１７】
複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号方法であって、
前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像全体に対する視点合成画像を生成する視点合成画像生成ステップと、
前記符号データから前記復号対象画像を分割した復号対象ブロックごとに予測を行うか、前記復号対象画像全体に対して前記視点合成画像を用いて予測を行うかを示す予測単位の情報を復号する予測単位情報復号ステップと、
前記予測単位が前記復号画像全体に対して前記視点合成画像を用いて予測を行うことを示す場合に、前記視点合成画像を前記復号対象画像とする復号対象画像設定ステップと、
前記予測単位が前記復号対象ブロックごとに予測を行うことを示す場合に、前記符号データから、前記復号対象ブロックごとに予測画像を生成しながら、前記復号対象画像を復号する復号対象画像復号ステップと
を有することを特徴とする画像復号方法。
【請求項１８】
コンピュータに、請求項１６に記載の画像符号化方法を実行させるための画像符号化プログラム。
【請求項１９】
コンピュータに、請求項１７に記載の画像復号方法を実行させるための画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像を符号化及び復号する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラムに関する。
本願は、２０１３年４月１１日に、日本に出願された特願２０１３−８２９５６号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
従来から、複数のカメラで同じ被写体と背景を撮影した複数の画像からなる多視点画像（Multiview images：マルチビューイメージ）が知られている。この複数のカメラで撮影した動画像のことを多視点動画像（または多視点映像）という。以下の説明では１つのカメラで撮影された画像（動画像）を”２次元画像（動画像）”と称し、同じ被写体と背景とを位置や向き（以下、視点と称する）が異なる複数のカメラで撮影した２次元画像（２次元動画像）群を”多視点画像（多視点動画像）”と称する。【０００３】
２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めることができる。一方、多視点画像や多視点動画像では、各カメラが同期されている場合、各カメラの映像の同じ時刻に対応するフレーム（画像）は、全く同じ状態の被写体と背景を別の位置から撮影したものであるので、カメラ間（同じ時刻の異なる２次元画像間）で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。【０００４】
ここで、２次元動画像の符号化技術に関する従来技術を説明する。国際符号化標準であるＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償予測、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。【０００５】
Ｈ．２６４で使われている動き補償予測技術の詳細については、例えば非特許文献１に記載されている。Ｈ．２６４で使われている動き補償予測技術の概要を説明する。Ｈ．２６４の動き補償予測は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照フレームを持つことを許可している。各ブロックで異なる動きベクトルを使用することで、被写体ごとに異なる動きを補償した精度の高い予測を実現している。一方、各ブロックで異なる参照フレームを使用することで、時間変化によって生じるオクルージョンを考慮した精度の高い予測を実現している。【０００６】
次に、従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と、多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、どちらの場合でも、同じ方法でカメラ間の相関を利用することができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。【０００７】
多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償予測を同じ時刻の異なるカメラで撮影された画像に適用した”視差補償予測”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ部分が存在する位置の差である。図２１は、カメラ間で生じる視差を示す概念図である。図２１に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ部分が投影される位置は、一般的に対応点と呼ばれる。【０００８】
視差補償予測では、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。視差は対象とするカメラ対や位置ごとに変化するため、視差補償予測を行う領域ごとに視差情報を符号化することが必要である。実際に、Ｈ．２６４の多視点動画像符号化方式では、視差補償予測を用いるブロックごとに視差情報を表すベクトルを符号化している。【０００９】
視差情報によって与えられる対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、被写体の３次元位置を示す１次元量で表すことができる。被写体の３次元位置を示す情報としては、様々な表現が存在するが、基準となるカメラから被写体までの距離や、カメラの画像平面と平行ではない軸上の座標値を用いることが多い。なお、距離ではなく距離の逆数を用いる場合もある。また、距離の逆数は視差に比例する情報となるため、基準となるカメラを２つ設定し、それらのカメラで撮影された画像間での視差量として表現する場合もある。どのような表現を用いたとしても本質的な違いはないため、以下では、表現による区別をせずに、それら３次元位置を示す情報をデプスと表現する。【００１０】
図２２はエピポーラ幾何拘束の概念図である。エピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点はエピポーラ線という直線上に拘束される。このとき、その画素に対するデプスが得られた場合、対応点はエピポーラ線上に一意に定まる。例えば、図２２に示すように、第１のカメラ画像においてｍの位置に投影された被写体に対する第２のカメラ画像での対応点は、実空間における被写体の位置がＭ’の場合にはエピポーラ線上の位置ｍ’に、実空間における被写体の位置がＭ’’の場合にはエピポーラ線上の位置ｍ’’に、投影される。【００１１】
非特許文献２では、この性質を利用して、参照フレームに対するデプスマップ（距離画像）によって与えられる各被写体の３次元情報に従って、参照フレームから符号化対象フレームに対する合成画像を生成し、領域ごとの予測画像の候補とすることで、精度の高い予測を実現し、効率的な多視点動画像の符号化を実現している。なお、このデプスに基づいて生成される合成画像は視点合成画像、視点補間画像、または視差補償画像と呼ばれる。【００１２】
さらに、非特許文献３では、領域ごとに、参照フレームに対するデプスマップから符号化対象フレームに対する仮想デプスマップを生成し、その生成された仮想デプスマップを用いて対応点を求めることで、参照フレームに対するデプスマップを使いながらも、必要な領域に対してのみ視点合成画像を生成することを可能にしている。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】ITU-T Recommendation H.264 (03/2009), "Advanced video coding for generic audiovisual services", March, 2009.
【非特許文献２】S. Shimizu, H. Kimata, and Y. Ohtani, "Adaptive appearance compensated view synthesis prediction for Multiview Video Coding", In Proceedings of 16th IEEE International Conference on Image Processing (ICIP), pp.2949-2952, 7-10 Nov. 2009.
【非特許文献３】S.Shimizu, S. Sugimoto, and H. Kimata, "CE1.h: Backward Projection based View Synthesis Prediction using Derived Disparity Vector", JCT-3V Input Contribution, JCT3V-C0100, Jan. 2013.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
非特許文献２に記載の方法によれば、デプスマップから得られる被写体の三次元情報を用いて高精度な視差補償を行った視点合成画像によって、高効率な予測を実現することが可能である。また、領域ごとに既存の予測と視点合成画像による予測を選択することで、デプスマップの品質やオクルージョンの影響を受けて、部分的には精度が低い視点合成画像が生成される場合においても、領域ごとに視点合成画像を予測画像とするか否かを選択することで、符号量が増加してしまうのを防ぐことが可能である。【００１５】
しかしながら、非特許文献２に記載の方法では、視点合成画像を予測画像として利用するか否かにかかわらず、１フレーム分の視点合成画像を生成して蓄積しなくてはならないため、処理負荷やメモリ消費量が増加してしまうという問題がある。また、処理対象画像（符号化対象画像または復号対象画像）と参照フレームとの間の視差が少ない場合や、デプスマップの品質が高い場合などは、処理対象画像の広い領域に対して高品質な視点合成画像が得られるが、領域ごとに、視点合成画像を予測画像として利用したか否かを示す情報を符号化しなくてはならないため、符号量が増加してしまうという問題もある。【００１６】
一方、非特許文献３の方法を用いることで、予測に用いない領域に対する視点合成画像を生成する必要がなくなるため、処理負荷とメモリ消費量の問題を解決することが可能である。【００１７】
しかしながら、一般に正しいデプスマップと比べて仮想デプスマップの品質は低く、生成される視点合成画像の品質も低下するため、非特許文献２と比べて符号量が増加してしまうという問題が発生する。また、領域ごとに、視点合成画像を予測画像として利用したか否かを示す情報を符号化することによる符号量の増加の問題を解決することはできない。【００１８】
本発明は、このような事情に鑑みてなされたもので、視点合成画像を予測画像の１つとして用いながら多視点動画像を符号化または復号する際に、処理量及び消費メモリの増加を抑えつつ、少ない符号量での符号化を実現することができる画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明は、複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像全体に対する視点合成画像を生成する視点合成画像生成部と、予測単位として、前記符号化対象画像を分割した符号化対象ブロックごとに予測を行うか、前記符号化対象画像全体に対して前記視点合成画像を用いて予測を行うかを選択する予測単位設定部と、選択された前記予測単位を示す情報を符号化する予測単位情報符号化部と、前記予測単位として前記符号化対象ブロックごとに予測を行うことが選択された場合に、前記符号化対象画像を、前記符号化対象ブロックごとに、予測画像生成方法を選択しながら予測符号化する符号化対象画像予測符号化部とを有する。【００２０】
本発明の画像符号化装置は、前記予測単位として前記符号化対象画像全体に対して前記視点合成画像を用いて予測を行うことが選択された場合に、前記符号化対象画像と前記視点合成画像の差分を符号化する視点合成予測残差符号化部を更に有してもよい。【００２１】
本発明の画像符号化装置は、前記符号化対象画像全体を前記視点合成画像で予測して符号化する場合のレート歪みコストである画像単位予測レート歪みコストを推定する画像単位予測レート歪みコスト推定部と、前記符号化対象ブロックごとに、予測画像生成方法を選択しながら前記符号化対象画像を予測符号化する場合のレート歪みコストであるブロック単位予測レート歪みコストを推定するブロック単位予測レート歪みコスト推定部とを更に有してもよく、前記予測単位設定部では、前記画像単位予測レート歪みコストと前記ブロック単位予測レート歪みコストとを比較して前記予測単位を設定するようにしてもよい。【００２２】
本発明の画像符号化装置は、前記符号化対象ブロックごとに、前記参照画像と前記参照デプスマップとを用いて、前記符号化対象ブロックに対する視点合成画像である部分視点合成画像を生成する部分視点合成画像生成部を更に有してもよく、前記符号化対象画像予測符号化部では、前記部分視点合成画像を予測画像の候補として用いるようにしてもよい。【００２３】
本発明の画像符号化装置は、前記予測単位として画像全体に対して前記視点合成画像を用いて予測を行うことが選択された場合に、前記符号化対象ブロックごとに、予測情報を生成する予測情報生成部を更に有してもよい。【００２４】
本発明の画像符号化装置において、前記予測情報生成部では、予測ブロックサイズを決定し、前記視点合成画像生成部では、前記予測ブロックサイズごとに視点合成画像を生成する処理を繰り返すことで、前記符号化対象画像全体に対する前記視点合成画像を生成するようにしてもよい。【００２５】
本発明の画像符号化装置において、前記予測情報生成部では、視差ベクトルを推定し、視差補償予測としての予測情報を生成するようにしてもよい。【００２６】
本発明の画像符号化装置において、前記予測情報生成部では、予測方法を決定し、当該予測方法に対する予測情報を生成するようにしてもよい。【００２７】
本発明は、複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号装置であって、前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像全体に対する視点合成画像を生成する視点合成画像生成部と、前記符号データから前記復号対象画像を分割した復号対象ブロックごとに予測を行うか、前記復号対象画像全体に対して前記視点合成画像を用いて予測を行うかを示す予測単位の情報を復号する予測単位情報復号部と、前記予測単位が前記復号画像全体に対して前記視点合成画像を用いて予測を行うことを示す場合に、前記視点合成画像を前記復号対象画像とする復号対象画像設定部と、前記予測単位が前記復号対象ブロックごとに予測を行うことを示す場合に、前記符号データから、前記復号対象ブロックごとに予測画像を生成しながら、復号対象画像を復号する復号対象画像復号部とを有する。【００２８】
本発明の画像復号装置は、前記復号対象画像設定部において、符号データから前記復号対象画像と前記視点合成画像の差分を復号し、当該差分と前記視点合成画像とを足し合わせることで前記復号対象画像を生成するようにしてもよい。【００２９】
本発明の画像復号装置は、前記復号対象ブロックごとに、前記参照画像と前記参照デプスマップとを用いて、前記復号対象ブロックに対する視点合成画像である部分視点合成画像を生成する部分視点合成画像生成部を更に有してもよく、前記復号対象画像復号部では、前記部分視点合成画像を予測画像の候補として用いるようにしてもよい。【００３０】
本発明の画像復号装置は、前記予測単位が前記復号画像全体に対して前記視点合成画像を用いて予測を行うことを示す場合に、前記復号対象ブロックごとに、予測情報を生成する予測情報生成部を更に有してもよい。【００３１】
本発明の画像復号装置は、前記予測情報生成部において、予測ブロックサイズを決定し、前記視点合成画像生成部において、前記予測ブロックサイズごとに視点合成画像を生成する処理を繰り返すことで、前記復号対象画像全体に対する前記視点合成画像を生成するようにしてもよい。【００３２】
本発明の画像復号装置は、前記予測情報生成部において、視差ベクトルを推定し、視差補償予測としての予測情報を生成するようにしてもよい。【００３３】
本発明の画像復号装置は、前記予測情報生成部において、予測方法を決定し、当該予測方法に対する予測情報を生成するようにしてもよい。【００３４】
本発明は、複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記参照画像と前記参照デプスマップとを用いて、前記符号化対象画像全体に対する視点合成画像を生成する視点合成画像生成ステップと、予測単位として、前記符号化対象画像を分割した符号化対象ブロックごとに予測を行うか、前記符号化対象画像全体に対して前記視点合成画像を用いて予測を行うかを選択する予測単位設定ステップと、選択された前記予測単位を示す情報を符号化する予測単位情報符号化ステップと、前記予測単位として前記符号化対象ブロックごとに予測を行うことが選択された場合に、前記符号化対象画像を、前記符号化対象ブロックごとに、予測画像生成方法を選択しながら予測符号化する符号化対象画像予測符号化ステップとを備える。【００３５】
本発明は、複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号方法であって、前記参照画像と前記参照デプスマップとを用いて、前記復号対象画像全体に対する視点合成画像を生成する視点合成画像生成ステップと、前記符号データから前記復号対象画像を分割した復号対象ブロックごとに予測を行うか、前記復号対象画像全体に対して前記視点合成画像を用いて予測を行うかを示す予測単位の情報を復号する予測単位情報復号ステップと、前記予測単位が前記復号画像全体に対して前記視点合成画像を用いて予測を行うことを示す場合に、前記視点合成画像を前記復号対象画像とする復号対象画像設定ステップと、前記予測単位が前記復号対象ブロックごとに予測を行うことを示す場合に、前記符号データから、前記復号対象ブロックごとに予測画像を生成しながら、復号対象画像を復号する復号対象画像復号ステップとを備える。【００３６】
本発明は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。【００３７】
本発明は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。【００３８】
本発明の一態様は、前記画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。【００３９】
本発明の一態様は、前記画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００４０】
本発明によれば、視点合成画像を予測画像の１つとして用いる際に、符号化対象画像全体に対する予測と符号化対象ブロック単位の予測を適応的に切り替えることで、復号時の演算量及びメモリ消費量を増加させずに、少ない符号量で多視点画像及び多視点動画像を符号化することができるという効果が得られる。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１の実施形態による画像符号化装置を示すブロック図である。
【図２】図１に示す画像符号化装置の動作を示すフローチャートである。
【図３】図１に示す画像符号化装置の他の動作を示すフローチャートである。
【図４】本発明の第２の実施形態による画像符号化装置を示すブロック図である。
【図５】図４に示す画像符号化装置の動作を示すフローチャートである。
【図６】図４に示す画像符号化装置の他の動作を示すフローチャートである。
【図７】本発明の第３の実施形態による画像符号化装置を示すブロック図である。
【図８】本発明の第４の実施形態による画像符号化装置を示すブロック図である。
【図９】図７および図８に示す画像符号化装置におけるフレーム単位予測のビットストリームを構築・出力する処理動作を示すフローチャートである。
【図１０】本発明の第５の実施形態による画像復号装置を示すブロック図である。
【図１１】図１０に示す画像復号置の動作を示すフローチャートである。
【図１２】図１０に示す画像復号置の他の動作を示すフローチャートである。
【図１３】本発明の第６の実施形態による画像復号装置を示すブロック図である。
【図１４】図１３に示す画像復号装置の動作を示すフローチャートである。
【図１５】本発明の第７の実施形態による画像復号装置を示すブロック図である。
【図１６】本発明の第８の実施形態による画像復号装置を示すブロック図である。
【図１７】図１５に示す画像復号装置の動作を示すフローチャートである。
【図１８】図１６に示す画像復号装置の動作を示すフローチャートである。
【図１９】本発明の第９の実施形態による画像符号化装置を示すブロック図である。
【図２０】本発明の第１０の実施形態による画像復号装置を示すブロック図である。
【図２１】２つのカメラ間で生じる視差を示す概念図である。
【図２２】エピポーラ幾何拘束を説明する概念図である。
【発明を実施するための形態】
【００４２】
以下、図面を参照して、本発明の実施形態による画像符号化装置及び画像復号装置を説明する。以下の説明においては、第１のカメラ（カメラＡという）、第２のカメラ（カメラＢという）の２つのカメラで撮影された多視点画像を符号化する場合を想定し、カメラＡの画像を参照画像としてカメラＢの画像を符号化または復号するものとして説明する。
なお、デプス情報から視差を得るために必要となる情報は別途与えられているものとする。具体的には、カメラＡとカメラＢの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータであるが、これら以外の形態であってもデプス情報から視差が得られるものであれば、別の情報が与えられていてもよい。これらのカメラパラメータに関する詳しい説明は、例えば、文献「Oliver Faugeras, "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。この文献には、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。
【００４３】
以下の説明では、画像や映像フレーム、デプスマップに対して、記号［］で挟まれた位置を特定可能な情報（座標値もしくは座標値に対応付け可能なインデックス）を付加することで、その位置の画素によってサンプリングされた画像信号や、それに対するデプスを示すものとする。また、座標値やブロックに対応付け可能なインデックス値とベクトルの加算によって、その座標やブロックをベクトルの分だけずらした位置の座標値やブロックを表すものとする。
【００４４】
図１は本発明の第１の実施形態による画像符号化装置の構成を示すブロック図である。画像符号化装置１００ａは、図１に示すように、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、参照画像入力部１０３、参照デプスマップ入力部１０４、視点合成画像生成部１０５、視点合成画像メモリ１０６、フレーム単位予測ＲＤ（Rate Distortion）コスト計算部１０７、画像符号化部１０８、ブロック単位予測ＲＤコスト計算部１０９、予測単位判定部１１０及びビットストリーム生成部１１１を備えている。
【００４５】
符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下では、この符号化対象となる画像を符号化対象画像と称する。ここではカメラＢの画像を入力するものとする。また、符号化対象画像を撮影したカメラ（ここではカメラＢ）を符号化対象カメラと称する。符号化対象画像メモリ１０２は、入力した符号化対象画像を記憶する。参照画像入力部１０３は、視点合成画像（視差補償画像）を生成する際に参照する画像を入力する。以下では、ここで入力された画像を参照画像と呼ぶ。ここではカメラＡの画像を入力するものとする。
【００４６】
参照デプスマップ入力部１０４は、視点合成画像を生成する際に参照するデプスマップを入力する。ここでは、参照画像に対するデプスマップを入力するものとするが、別のカメラに対するデプスマップでも構わない。以下では、このデプスマップを参照デプスマップと称する。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここでは視差量が得られれば構わないので、デプスマップではなく、視差量を直接表現した視差マップを用いても構わない。なお、ここではデプスマップとして画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。以下では、参照デプスマップに対応するカメラ（ここではカメラＡ）を参照デプスカメラと称する。
【００４７】
視点合成画像生成部１０５は、参照デプスマップを用いて、符号化対象画像の画素と参照画像の画素との対応関係を求め、符号化対象画像に対する視点合成画像を生成する。視点合成画像メモリ１０６は生成された符号化対象画像に対する視点合成画像を蓄積する。
フレーム単位予測ＲＤコスト計算部１０７は、視点合成画像を用いて符号化対象画像をフレーム単位で予測した際のレート歪みコストを計算する。画像符号化部１０８は、視点合成画像を用いながら、符号化対象画像をブロック単位で予測符号化する。ブロック単位予測ＲＤコスト計算部１０９は、視点合成画像を用いながら、符号化対象画像をブロック単位で予測符号化した際のレート歪みコストを計算する。予測単位判定部１１０は、レート歪みコストに基づいて、符号化対象画像をフレーム単位で予測するか、ブロック単位で予測符号化するかを決定する。ビットストリーム生成部１１１は、予測単位決定部１１０の決定に基づき、符号化対象画像に対するビットストリームを構築して出力する。
【００４８】
次に、図２を参照して、図１に示す画像符号化装置１００ａの動作を説明する。図２は、図１に示す画像符号化装置１００ａの動作を示すフローチャートである。まず、符号化対象画像入力部１０１は、符号化対象画像Ｏｒｇを入力し、符号化対象画像メモリ１０２に記憶する（ステップＳ１０１）。次に、参照画像入力部１０３は参照画像を入力し、参照デプスマップ入力部１０４は参照デプスマップを入力し、視点合成画像生成部１０５へ出力する（ステップＳ１０２）。
【００４９】
なお、ステップＳ１０２で入力される参照画像、参照デプスマップは、既に符号化済みのものを復号したものなど、復号側で得られるものと同じものとする。これは復号装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のものなど、符号化側でしか得られないものが入力されてもよい。参照デプスマップに関しては、既に符号化済みのものを復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなども、復号側で同じものが得られるものとして用いることができる。
【００５０】
次に、視点合成画像生成部１０５は、符号化対象画像に対する視点合成画像Ｓｙｎｔｈを生成し、視点合成画像メモリ１０６に記憶する（ステップＳ１０３）。ここでの処理は、参照画像と参照デプスマップとを用いて、符号化対象カメラにおける画像を合成する方法であれば、どのような方法を用いても構わない。例えば、非特許文献２や文献「Y. Mori, N. Fukushima, T. Fuji, and M. Tanimoto, “View Generation with 3D Warping Using Depth Information for FTV”, In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.」に記載されている方法を用いても構わない。
【００５１】
次に、視点合成画像が得られたら、フレーム単位予測ＲＤコスト計算部１０７は、符号化対象画像全体を視点合成画像で予測して符号化する場合のレート歪みコストを計算する（ステップＳ１０４）。レート歪みコストとは、次の（１）式に示すように、発生符号量と符号化よって生じる歪みの重み付き和で表される値である。
【数１】
0005926451.tif 000002
【００５２】
（１）式において、ＣｏｓｔｍがＲＤコストであり、Ｄｍは符号化した結果得られる画像（正確には符号化結果のビットストリームを復号して得られる復号画像）の符号化対象画像からの歪み量、Ｒｍは符号化した結果得られるビットストリームの符号量、λはターゲットビットレートや目標品質などに依存するラグランジュ未定乗数である。なお、歪み量としてはどのような尺度を用いても構わないが、例えば、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ：差分二乗和）やＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ：差分絶対値和）などの信号的な歪みを表す尺度や、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ  Ｓｉｍｉｌａｒｉｔｙ：構造的類似性）などの主観品質にかかわる歪みの尺度を用いることができる。
【００５３】
（１）式において、ｍは符号化に用いた手法を示し、ｆｒａｍｅが視点合成画像を用いたフレーム単位での予測による符号化手法を表すものとする。視点合成画像を用いたフレーム単位での予測による符号化手法としては、各領域において予測画像の生成や選択について示す情報を符号化しないものであれば、どのような方法を用いても構わない。
【００５４】
ここでは、符号化対象画像に対する復号結果が視点合成画像であるとして、符号化対象画像の符号化をスキップし、スキップしたことを示す情報を符号化結果とする方法を用いる場合について説明するが、符号化対象画像全体で予測画像が視点合成画像であるとして、符号化対象画像の予測残差をフレームまたは領域ごとに変換符号化する方法など別の方法を用いても構わない。
【００５５】
歪み量をＳＳＤで表すとすると、符号化対象画像に対する復号結果が視点合成画像であるとして、符号化対象画像の符号化をスキップし、スキップしたことを示す情報を符号化結果とする方法を用いる場合の歪み量Ｄｆｒａｍｅは次の（２）式で表される。
【数２】
0005926451.tif 000003
なお、ｐは画素位置を表すインデックスであり、Σｐは符号化対象画像内の全ての画素に対する和を表す。
【００５６】
スキップしたことを示す情報はスキップしたか否かのフラグで表すことができるため、ここでは、その符号量Ｒｆｒａｍｅを１ビットとする。なお、１ビット以上の長さのフラグを用いても構わないし、他のフレームに対するフラグとまとめてエントロピー符号化することで１ビット未満の符号量としても構わない。
【００５７】
次に、画像符号化部１０８は、符号化対象画像を分割した領域（符号化対象ブロック）ごとに予測画像を生成しながら符号化する（ステップＳ１０５）。符号化する方法は、画像を分割してブロックごとに符号化する方法であれば、どのような方法を用いても構わない。例えば、非特許文献１に記載のＨ．２６４／ＡＶＣに準ずる方式を用いても構わない。なお、ブロックごとに選択する予測画像の候補として、視点合成画像を用いる方式であっても構わないし、用いない方式であっても構わない。
【００５８】
次に、ブロックごとの符号化が完了したら、ブロック単位予測ＲＤコスト計算部１０９は、符号化対象画像を複数のブロックに分割し、ブロックごとに予測方式を選択しながら符号化する場合のレート歪みコストＣｏｓｔｂｌｏｃｋを計算する（ステップＳ１０６）。ここでは、ブロック単位予測ＲＤコストＣｏｓｔｂｌｏｃｋは、ステップＳ１０５における符号化結果の画像（正確には符号化結果のビットストリームを復号して得られる復号画像）の符号化対象画像に対する歪み量Ｄｂｌｏｃｋと、ステップＳ１０５における符号化結果のビットストリームの符号量に符号化対象画像の符号化をスキップしなかったことを示すフラグの符号量を足した符号量Ｒｂｌｏｃｋとを用いて、（１）式にしたがって計算する。
【００５９】
次に、２つのレート歪みコストが得られたら、予測単位判定部１１０は、レート歪みコストを比較することで予測単位を決定する判定を行う（ステップＳ１０７）。なお、（１）式で定義されるレート歪みコストはその値が小さいほど符号化効率が良いことを示すため、小さなレート歪みコストを持つ予測単位を選択する。もし、値が大きいほど符号化効率が良いことを示すレート歪みコストを用いる場合は、判定を逆転させ、大きなレート歪みコストを持つ予測単位を選択する必要がある。
【００６０】
判定の結果、視点合成画像を用いたフレーム単位の予測を用いると判定された（Ｃｏｓｔｂｌｏｃｋ＜Ｃｏｓｔｆｒａｍｅを満たさない）場合は、ビットストリーム生成部１１１は、フレーム単位予測を行う場合のビットストリームを生成する（ステップＳ１０８）。生成されたビットストリームが画像符号化装置１００ａの出力となる。ここでは、復号画像全体が視点合成画像であることを示す１ビットのフラグが、この場合のビットストリームとなる。
【００６１】
なお、視点合成画像を用いたフレーム単位の予測を用いる方式として、符号化対象画像全体で予測画像が視点合成画像であるとし、符号化対象画像の予測残差をフレームまたはブロックごとに変換符号化する方式を用いた場合は、上記フラグに予測残差に対応するビットストリームが連結されたものが生成されるビットストリームとなる。このとき、予測残差に対するビットストリームは新たに生成しても構わないが、ステップＳ１０４において生成したビットストリームをメモリ等に記憶しておき、そのビットストリームをメモリ等から読み出して用いても構わない。これによって、予測残差に対するビットストリームの生成処理を複数回行うことを避け、符号化にかかる演算量を削減することが可能である。
【００６２】
一方、判定の結果、ブロック単位の予測を用いると判定された（Ｃｏｓｔｂｌｏｃｋ＜Ｃｏｓｔｆｒａｍｅを満たす）場合は、ビットストリーム生成部１１１で、ブロック単位予測を行う場合のビットストリームを生成する（ステップＳ１０９）。生成されたビットストリームが画像符号化装置１００ａの出力となる。ここでは、復号画像全体が視点合成画像でないことを示す１ビットのフラグに、ステップＳ１０５で画像符号化部１０８が生成したビットストリームを連結したものが生成されるビットストリームとなる。なお、ステップＳ１０５で生成したビットストリームをメモリ等に蓄積しておき、それを読み出して用いても構わないし、再度生成し直しても構わない。
【００６３】
ここでは、画像符号化装置１００ａは画像信号に対するビットストリームを出力している。すなわち、画像サイズ等の情報を示すパラメータセットやヘッダは、必要に応じて、画像符号化装置１００ａの出力したビットストリームに対して、別途追加されるものとする。
【００６４】
上記の説明では、ブロック単位の予測を用いる符号化を全てのブロックに対して行った後に、予測単位の判定を行ったが、画像全体の歪み量と符号量を用いたレート歪みコストを用いる場合は、一定数のブロックを符号化するごとに判定を行っても構わない。図３は、その一例であるブロックごとに判定を行う場合の処理動作を示すフローチャートである。図２に示す処理動作と同じ処理を行う部分には同じ符号を付してその説明を省略する。
【００６５】
図３に示す処理動作が、図２に示す処理動作と異なる点は、フレーム単位予測ＲＤコストを計算した後、ブロックごとに、符号化処理、レート歪みコスト計算処理、及び、予測単位の判定処理を繰り返す点である。すなわち、まず、符号化対象画像を分割した符号化処理を行う単位であるブロックのインデックスを示す変数ｂｌｋをゼロとし、ブロック単位予測レート歪みコストＣｏｓｔｂｌｏｃｋをλで初期化する（ステップ１１０）。次に、変数ｂｌｋを１ずつ加算しながら（ステップＳ１１４）、変数ｂｌｋが符号化対象画像内のブロック数ｎｕｍＢｌｋｓになるまで（ステップＳ１１５）、以下の処理（ステップＳ１１１〜１１３、ステップＳ１０７）を繰り返す。なお、ステップ１１０において、Ｃｏｓｔｂｌｏｃｋをλで初期化したが、予測単位を表す情報のビット量と、ＲＤコストを算出するときの符号量の単位とに従った適切な値で初期化を行う必要がある。ここでは、予測単位を示す情報は１ビットであり、ＲＤコスト算出における符号量はビットを単位としている。
【００６６】
符号化対象画像を分割した符号化対象ブロックごとに行われる処理では、まず、画像符号化部１０８は、変数ｂｌｋで表されるブロックに対する符号化対象画像を符号化する（ステップＳ１１１）。復号側で正しく復号可能であるならば、符号化にはどのような方法を用いてもよい。
【００６７】
ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化では、ブロックごとに、複数の予測モードの中から１つのモードを選択して予測画像を生成し、符号化対象画像と予測画像との差分信号に対してＤＣＴなどの周波数変換を施す。次に、周波数変換の結果得られた値に対して、量子化、２値化、エントロピー符号化の処理を順に適用することで符号化を行う。なお、符号化において、視点合成画像を予測画像の候補の１つとして用いても構わない。
【００６８】
次に、ブロックｂｌｋに対するレート歪みコストＣｏｓｔｂｌｋを計算する（ステップＳ１１２）。ここでの処理は対象となる画像の範囲が異なるだけで、前述のステップＳ１０６の処理と同じである。すなわち、ブロックｂｌｋの歪み量Ｄｂｌｋと符号量Ｒｂｌｋから、（１）式に従って計算を行う。そして、計算して得られたブロックｂｌｋに対するレート歪みコストを、Ｃｏｓｔｂｌｏｃｋに加算し（ステップＳ１１３）、Ｃｏｓｔｆｒａｍｅと比較することで、予測単位の判定を行う（ステップＳ１０７）。
【００６９】
ＣｏｓｔｂｌｏｃｋがＣｏｓｔｆｒａｍｅ以上になった時点で、フレーム単位の予測を用いると判断し、ブロックごとの処理を終了する。なお、ブロックごとの判定を行っているため、全てのブロックについて処理が完了した場合は、再度予測単位を判定せずに、ブロック単位の予測を用いると判断する。
【００７０】
上記の説明では、フレーム単位の予測を行う場合と、ブロック単位の予測を行う場合とで、同じ視点合成画像を用いたが、それぞれ異なる方法で視点合成画像を生成しても構わない。例えば、ブロック単位で予測を行う場合は、既に符号化済みのブロックの情報を参照して合成を行うことで、視点合成画像を蓄積するためのメモリ量を削減し、視点合成画像の品質を向上しても構わない。また、フレーム単位で予測を行う場合は、フレーム全体での整合性や客観的な品質を鑑みて合成を行うことで、復号側で得られる復号画像の品質を向上しても構わない。
【００７１】
次に、図４を参照して、本発明の第２の実施形態による画像符号化装置を説明する。図４は、予測単位ごとに異なる方法で視点合成画像を生成する場合の画像符号化装置の構成を示すブロック図である。図１に示す画像符号化装置１００ａと図４に示す画像符号化装置１００ｂとの違いは、画像符号化装置１００ｂでは、フレーム単位視点合成画像生成部１１４とブロック単位視点合成画像生成部１１５という２つの視点合成画像生成部を備え、視点合成画像メモリを必ずしも備えない点である。なお、画像符号化装置１００ａと同じ構成には同じ符号を付してその説明を省略する。
【００７２】
フレーム単位視点合成画像生成部１１４は、参照デプスマップを用いて、符号化対象画像の画素と参照画像の画素との対応関係を求め、符号化対象画像全体に対する視点合成画像を生成する。ブロック単位視点合成画像生成部１１５は、参照デプスマップを用いて、符号化対象画像の符号化処理を行うブロックごとに視点合成画像を生成する。
【００７３】
次に、図５、図６を参照して、図４に示す画像符号化装置１００ｂの動作を説明する。
図５及び図６は、図４に示す画像符号化装置１００ｂの動作を示すフローチャートである。図５は、ブロック単位の予測を用いる符号化を全てのブロックに対して行った後に、予測単位の判定を行う場合の処理動作であり、図６はブロックごとに符号化と判定を繰り返す場合の処理動作である。図５または図６において、図２または図３に示すフローチャートと同じ処理を行う部分には同じ符号を付し、その説明を省略する。
【００７４】
図５または図６において、図２または図３に示す処理動作との違いは、フレーム単位で予測のために生成した視点合成画像とは別に、ブロックごとに、そのブロックに対する視点合成画像を生成する処理を行う点（ステップＳ１１７）である。なお、ブロックごとに視点合成画像を生成する処理としてはどのような方式を用いても構わないが、例えば、非特許文献３に記載の方法を用いても構わない。
【００７５】
上記の説明では、フレーム単位の予測を行う場合には、符号化対象画像全体に対して予測単位を示す情報のみが生成され、符号化対象画像のブロックごとには予測情報が生成されないが、ビットストリームには含まれないブロックごとの予測情報を生成して、別のフレームを符号化する際に参照できるようにしても構わない。ここで、予測情報とは、予測ブロックサイズや予測モード、動き/視差ベクトルなどの予測画像の生成や予測残差の復号に使用される情報のことである。
【００７６】
次に、図７および図８を参照して、本発明の第３および第４の実施形態による画像符号化装置を説明する。
図７および図８は、フレーム単位の予測を行うと判定された際に、符号化対象画像を分割したブロックごとに予測情報を生成して、別のフレームを符号化する際に参照できるようにする場合の画像符号化装置の構成を示すブロック図である。図７に示す画像符号化装置１００ｃは図１に示す画像符号化装置１００ａに対応し、図８に示す画像符号化装置１００ｄは図４に示す画像符号化装置１００ｂに対応するブロック図である。それぞれで異なる点は、ブロック単位予測情報生成部１１６を更に備えている点である。なお、それぞれ同じ構成には同じ符号を付して、その説明を省略する。
【００７７】
ブロック単位予測情報生成部１１６は、フレーム単位の予測を行うと判定された際に、符号化対象画像を分割したブロックごとに予測情報を生成し、別のフレームを符号化する画像符号化装置へ出力する。なお、同じ画像符号化装置で別のフレームを符号化する場合は、生成した情報は画像符号化部１０８へ渡されることになる。図７に示す画像符号化装置１００ｃ及び図８に示す画像符号化装置１００ｄの実行する処理動作は、上記の説明したものと基本的には同じであり、フレーム単位予測のビットストリームを構築・出力する処理（ステップＳ１０８）が、図９に示す処理動作が実行されることになるだけである。
【００７８】
図９は、フレーム単位予測のビットストリームを構築・出力する処理動作を示すフローチャートである。まず、フレーム単位予測のビットストリームを構築・出力する（ステップＳ１８０１）。この処理は前述のステップＳ１０８と同じである。その後、ブロック単位予測情報生成部１１６において、符号化対象画像を分割したブロックごとに予測情報を生成・出力する（ステップＳ１８０２）。予測情報の生成は、復号側が同じ情報を生成可能であれば、どのような情報を生成しても構わない。
【００７９】
例えば、予測ブロックサイズとしては、可能な限り大きなブロックサイズとしても構わないし、可能な限り小さなブロックサイズとしても構わない。また、使用したデプスマップや生成された視点合成画像を元に判定することでブロックごとに異なるブロックサイズを設定しても構わない。類似した画素値やデプス値を持つ画素のできるだけ大きな集合となるようにブロックサイズを適応的に決定しても構わない。
【００８０】
予測モードや動き／視差ベクトルとしては、全てのブロックに対して、ブロックごとの予測を行う場合に視点合成画像を使用した予測を示すモード情報や動き／視差ベクトルを設定しても構わない。また、視点間予測モードに対応するモード情報とデプス等から得られる視差ベクトルを、それぞれモード情報や動き/視差ベクトルとして設定しても構わない。視差ベクトルに関しては、そのブロックに対する視点合成画像をテンプレートとして、参照画像上を探索することで求めても構わない。
【００８１】
別の方法としては、視点合成画像を符号化対象画像とみなして解析することで、最適なブロックサイズや予測モードを推定して生成しても構わない。この場合、予測モードとしては、画面内予測や動き補償予測なども選択可能にしても構わない。
【００８２】
このようにビットストリームからは得られない情報を生成し、別のフレームを符号化する際に参照可能にすることで、別のフレームの符号化効率を向上させることができる。これは、時間的に連続するフレームや同じ被写体を撮影したフレームなど類似したフレームを符号化する場合、動きベクトルや予測モードにも相関があるため、それらの相関を利用して冗長性を取り除くことができるためである。
【００８３】
次に、本発明の第５の実施形態による画像復号装置について説明する。図１０は本実施形態における画像復号装置の構成を示すブロック図である。画像復号装置２００ａは、図１０に示すように、ビットストリーム入力部２０１、ビットストリームメモリ２０２、参照画像入力部２０３、参照デプスマップ入力部２０４、視点合成画像生成部２０５、視点合成画像メモリ２０６、予測単位情報復号部２０７及び画像復号部２０８を備えている。
【００８４】
ビットストリーム入力部１０１は、復号対象となる画像のビットストリームを入力する。以下では、この復号対象となる画像を復号対象画像と呼ぶ。ここではカメラＢの画像を指す。また、以下では、復号対象画像を撮影したカメラ（ここではカメラＢ）を復号対象カメラと呼ぶ。ビットストリームメモリ２０２は、入力した復号対象画像に対するビットストリームを記憶する。参照画像入力部２０３は、視点合成画像（視差補償画像）を生成する際に参照する画像を入力する。以下では、ここで入力された画像を参照画像と呼ぶ。
ここではカメラＡの画像が入力されるものとする。
【００８５】
参照デプスマップ入力部２０４は、視点合成画像を生成する際に参照するデプスマップを入力する。ここでは、参照画像に対するデプスマップを入力するものとするが、別のカメラに対するデプスマップでも構わない。以下では、このデプスマップを参照デプスマップと称する。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここでは視差量が得られれば構わないので、デプスマップではなく、視差量を直接表現した視差マップを用いても構わない。なお、ここではデプスマップとして画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。以下では、参照デプスマップに対応するカメラ（ここではカメラＡ）を参照デプスカメラと称する。
【００８６】
視点合成画像生成部２０５は、参照デプスマップを用いて、復号対象画像の画素と参照画像の画素との対応関係を求め、復号対象画像に対する視点合成画像を生成する。視点合成画像メモリ２０６は生成された復号対象画像に対する視点合成画像を蓄積する。予測単位情報復号部２０７は、ビットストリームから、復号対象画像がフレーム単位で予測されているか、ブロック単位で予測符号化されているかを示す情報を復号する。画像復号部２０８は、予測単位情報復号部２０７の復号した情報に基づき、ビットストリームから復号対象画像を復号して出力する。
【００８７】
次に、図１１を参照して、図１０に示す画像復号装置２００ａの動作を説明する。図１１は、図１０に示す画像復号置２００ａの動作を示すフローチャートである。まず、ビットストリーム入力部２０１は、復号対象画像を符号化したビットストリームを入力し、ビットストリームメモリ２０２に記憶する（ステップＳ２０１）。次に、参照画像入力部２０３は参照画像を入力し、参照デプスマップ入力部２０４は参照デプスマップを入力し、視点合成画像生成部２０５へ出力する（ステップＳ２０２）。
【００８８】
なお、ステップＳ２０２で入力される参照画像、参照デプスマップは、符号化側で使用されたものと同じものとする。これは画像符号化装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用されたものと異なるものが入力されてもよい。参照デプスマップに関しては、別途復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなどを用いることもある。
【００８９】
次に、視点合成画像生成部２０５は、復号対象画像に対する視点合成画像Ｓｙｎｔｈを生成し、視点合成画像メモリ２０６に記憶する（ステップＳ２０３）。ここでの処理は前述した符号化時のステップＳ１０３と同じである。なお、ドリフト等の符号化ノイズの発生を抑えるためには、符号化時に使用された方法と同じ方法をもちいる必要があるが、そのような符号化ノイズの発生を許容する場合には、符号化時に使用された方法と異なる方法を使用しても構わない。
【００９０】
次に、視点合成画像が得られたら、予測単位情報復号部２０７は、ビットストリームから予測単位を表す情報を復号する（ステップＳ２０４）。例えば、復号対象画像に対するビットストリームの先頭の１ビットで予測単位を表している場合は、その１ビットを読み込んで予測単位を決定する。
【００９１】
次に、その得られた予測単位に従って、画像復号部２０８は、復号対象画像を復号する。得られた復号対象画像は画像復号装置２００ａの出力となる。なお、本発明を動画像復号や多視点画像復号などに使う場合など、復号対象画像が他のフレームを復号する際に使われる場合は、復号対象画像は別途定められた復号画像メモリに記憶する。
【００９２】
復号対象画像の復号には符号化時に用いられた方法に対応する方法を用いる。上記説明した画像符号化装置で生成されたビットストリームを復号する際に、フレーム単位の予測が行われる場合は、視点合成画像を復号画像として設定することで復号を行う。一方、ブロック単位の予測が行われる場合は、復号対象画像を分割した領域（復号対象ブロック）ごとに、指定された方法で予測画像を生成しながら復号対象画像を復号する。例えば、非特許文献１に記載のＨ．２６４／ＡＶＣに準ずる方式を用いて符号化されている場合は、ブロックごとに、ビットストリームから予測方法を示す情報や予測残差を復号し、復号した予測方法に従って生成した予測画像に予測残差を加えることで復号対象画像を復号する。なお、フレーム単位の予測を行う際に、予測残差を符号化した場合は、ビットストリームから予測残差を復号し、視点合成画像と足し合わせることで復号対象画像を復号する。
【００９３】
ここでは、画像復号装置２００ａには画像信号に対するビットストリームが入力される。すなわち、画像サイズ等の情報を示すパラメータセットやヘッダは、必要に応じて、画像復号装置２００ａの外側で解釈され、復号に必要な情報は画像復号装置２００ａへ通知されるものとする。
【００９４】
前述した説明では、ブロック単位の予測を行う際に、視点合成画像による予測が行われている可能性があることを想定している。しかし、ブロック単位の予測を行う際には、視点合成画像による予測が行われている可能性がない場合は、予測単位を復号した後に必要に応じて視点合成画像を生成しても構わない。図１２は、予測単位がフレーム単位のときのみに視点合成画像を生成する処理動作を示すフローチャートである。図１２に示す処理動作が、図１１に示す処理動作と異なる点は、予測単位の判定に基づいて（ステップＳ２０６）、参照画像および参照デプスマップの入力（ステップＳ２０２）と、視点合成画像の生成（ステップＳ２０３）とが実行されるか否かが決定されている点である。
【００９５】
また、前述した説明では、フレーム単位の予測を行う場合と、ブロック単位の予測を行う場合とで、同じ視点合成画像を用いたが、それぞれ異なる方法で視点合成画像を生成しても構わない。例えば、ブロック単位で予測を行う場合は、既に復号済みのブロックの情報を参照して合成を行うことで、視点合成画像を蓄積するためのメモリ量を削減し、視点合成画像の品質を向上しても構わない。また、フレーム単位で予測を行う場合は、フレーム全体での整合性や客観的な品質を鑑みて合成を行うことで、視点合成画像及び復号対象画像の品質を向上しても構わない。
【００９６】
次に、本発明の第６の実施形態による画像復号装置を説明する。図１３は、予測単位ごとに異なる方法で視点合成画像を生成する場合の画像復号装置の構成を示すブロック図である。図１３に示す画像復号装置２００ｂが、図１０に示す画像復号装置２００ａと異なる点は、フレーム単位視点合成画像生成部２０９とブロック単位視点合成画像生成部２１０という２つの視点合成画像生成部と、スイッチ２１１とを備え、視点合成画像メモリを必ずしも備えない点である。なお、画像復号装置２００ａと同じ構成部には同じ符号を付してその説明を省略する。
【００９７】
フレーム単位視点合成画像生成部２０９は、参照デプスマップを用いて、復号対象画像の画素と参照画像の画素との対応関係を求め、復号対象画像全体に対する視点合成画像を生成する。ブロック単位視点合成画像生成部２１０は、参照デプスマップを用いて、復号対象画像の復号処理を行うブロックごとに視点合成画像を生成する。スイッチ２１１は予測単位情報復号部２０７の出力する予測単位に応じて画像復号部２０８へ入力する視点合成画像を切り替える。
【００９８】
次に、図１４を参照して、図１３に示す画像復号装置１００ｂの処理動作を説明する。図１４は、図１３に示す画像復号装置１００ｂの処理動作を示すフローチャートである。
図１４に示す処理動作が、図１１または図１２に示す処理動作と異なる点は、復号して得られた予測単位に応じて（ステップＳ２０６）、生成する視点合成画像を切り替えている点である。なお、ブロック単位の予測を行う場合は、ブロックごとに、ブロック単位視点合成画像を生成する処理（ステップＳ２１０）と復号対象画像を復号する処理（ステップＳ２１１）とを繰り返すことになる。このフローチャートでは、復号するブロックに対するインデックスを示す変数をｂｌｋとし、復号対象画像内のブロック数ｎｕｍＢｌｋｓで示した。
【００９９】
フレーム全体に対して視点合成画像を生成する処理（ステップＳ２０７）は前述したステップＳ２０３と同じである。また、ブロックごとに視点合成画像を生成する方法としてはどのような方法を用いても構わないが、例えば、非特許文献３に記載の方法を用いても構わない。復号対象画像を復号する処理（ステップＳ２０８およびステップＳ２１１）は、それぞれ、予測単位が固定されているのに加え、処理する単位が異なるだけで、前述したステップＳ２０５と同じである。
【０１００】
上記の説明では、フレーム単位の予測が行われていた場合には、復号対象画像に対しては予測単位を示す情報のみが生成され、復号対象画像のブロックごとには予測情報が生成されない。しかし、ビットストリームには含まれないブロックごとの予測情報を生成して、別のフレームを復号する際に参照できるようにしても構わない。ここで、予測情報とは、予測ブロックサイズや予測モード、動き/視差ベクトルなどの予測画像の生成や予測残差の復号に使用される情報のことである。
【０１０１】
次に、図１５および図１６を参照して、本発明の第７および第８の実施形態による画像復号装置を説明する。図１５および図１６は、フレーム単位の予測を行うと判定された際に、復号対象画像を分割したブロックごとに予測情報を生成して、別のフレームを復号する際に参照できるようにする場合の画像復号装置の構成を示すブロック図である。図１５に示す画像復号装置２００ｃは図１０に示す画像復号装置２００ａに対応し、図１６に示す画像復号装置２００ｄは図１３に示す画像復号装置２００ｂに対応するブロック図である。それぞれで異なる点は、ブロック単位予測情報生成部２１２を更に備える点である。なお、それぞれ同じ構成部には同じ符号を付して、その説明を省略する。
【０１０２】
ブロック単位予測情報生成部２１２は、フレーム単位の予測を行うと判定された際に、復号対象画像を分割した復号対象ブロックごとに予測情報を生成し、別のフレームを復号する画像符号化装置へ出力する。なお、同じ画像復号装置で別のフレームを符号化する場合は、生成した情報は画像復号部２０８へ渡されることになる。
【０１０３】
次に、図１７、図１８を参照して、図１５、図１６に示す画像復号装置２００ｃと画像復号装置２００ｄの処理動作を説明する。図１７、図１８は、図１５に示す画像復号装置２００ｃ及び図１６に示す画像復号装置２００ｄの処理動作を示すフローチャートである。基本的な処理は、それぞれ、図１１及び図１４に示す処理動作と同じであるため、前述した説明と同じ処理を行うステップについては同じ符号を付して、その説明を省略する。
【０１０４】
この場合に特有の処理としては、予測単位がフレーム単位であるとされた場合に、ブロックごとに予測情報を生成・出力する処理（ステップＳ２１４）が追加されている。なお、予測情報の生成は、符号化側で生成した情報と同じであれば、どのような情報を生成しても構わない。例えば、予測ブロックサイズとしては、可能な限り大きなブロックサイズとしても構わないし、可能な限り小さなブロックサイズとしても構わない。また、使用したデプスマップや生成された視点合成画像を元に判定することでブロックごとに異なるブロックサイズを設定しても構わない。類似した画素値やデプス値を持つ画素のできるだけ大きな集合となるようにブロックサイズを適応的に決定しても構わない。
【０１０５】
予測モードや動き／視差ベクトルとしては、全てのブロックに対して、ブロックごとの予測を行う場合に視点合成画像を使用した予測を示すモード情報や動き／視差ベクトルを設定しても構わない。また、視点間予測モードに対応するモード情報とデプス等から得られる視差ベクトルを、それぞれモード情報や動き/視差ベクトルとして設定しても構わない。視差ベクトルに関しては、そのブロックに対する視点合成画像をテンプレートとして、参照画像上を探索することで求めても構わない。
【０１０６】
別の方法としては、視点合成画像を符号化対象画像とみなして解析することで、最適なブロックサイズや予測モードを推定して生成しても構わない。この場合、予測モードとしては、画面内予測や動き補償予測なども選択可能にしても構わない。
【０１０７】
このようにビットストリームからは得られない情報を生成し、別のフレームを復号する際に参照可能にすることで、別のフレームの符号化効率を向上させることができる。これは、時間的に連続するフレームや同じ被写体を撮影したフレームなど類似したフレームを符号化する場合、動きベクトルや予測モードにも相関があるため、それらの相関を利用して冗長性を取り除くことができるためである。
【０１０８】
前述した説明においては、１フレームを符号化及び復号する処理を説明したが、複数フレーム繰り返すことで動画像符号化にも適用することができる。また、動画像の一部のフレームや一部のブロックにのみ適用することもできる。例えば、タイルやスライスと呼ばれるフレームを分割して得られる一部の領域に対してのみ適用しても構わない。また、インタレース画像などにおいて定義されるフィールドの一部または全体に対して適用しても構わない。さらに、前述した説明では画像符号化装置及び画像復号装置の構成及び処理動作を説明したが、これら画像符号化装置及び画像復号装置の各部の動作に対応した処理動作によって本発明の画像符号化方法及び画像復号方法を実現することができる。
【０１０９】
また、前述した説明においては、参照デプスマップが符号化対象カメラまたは復号対象カメラとは異なるカメラで撮影された画像に対するデプスマップであるとして説明を行ったが、符号化対象画像または復号対象画像とは異なる時刻に、符号化対象カメラまたは復号対象カメラによって撮影された画像に対するデプスマップを、参照デプスマップとして用いても構わない。
【０１１０】
図１９は、前述した画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図１９に示すシステムは、ＣＰＵ５０と、ＲＡＭ等のメモリ５１と、符号化対象画像入力部５２と、参照画像入力部５３と、参照デプスマップ入力部５４と、プログラム記憶装置５５と、ビットストリーム出力部５６とが、バスで接続された構成になっている。
ＣＰＵ５０は、プログラムを実行する。ＲＡＭ等のメモリ５１は、ＣＰＵ５０がアクセスするプログラムやデータが格納する。符号化対象画像入力部５２は、カメラ等からの符号化対象の画像信号を入力する（符号化対象画像入力部５２は、ディスク装置等による画像信号を記憶する記憶部でもよい）。参照画像入力部５３は、カメラ等からの参照対象の画像信号を入力する（参照画像入力部５３は、ディスク装置等による画像信号を記憶する記憶部でもよい）。参照デプスマップ入力部５４は、デプスカメラ等からの符号化対象画像を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する（参照デプスマップ入力部５４は、ディスク装置等によるデプスマップを記憶する記憶部でもよい）。プログラム記憶装置５５は、画像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５５１を格納する。ビットストリーム出力部５６は、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５５１を実行することにより生成されたビットストリームを、例えばネットワークを介して出力する（ビットストリーム出力部５６は、ディスク装置等によるビットストリームを記憶する記憶部でもよい）。
【０１１１】
図２０は、前述した画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図２０に示すシステムは、ＣＰＵ６０と、ＲＡＭ等のメモリ５１と、ビットストリーム入力部６２と、参照画像入力部６３と、参照デプスマップ入力部６４と、プログラム記憶装置６５と、復号対象画像出力部６６とが、バスで接続された構成になっている。
ＣＰＵ６０は、プログラムを実行する。ＲＡＭ等のメモリ５１は、ＣＰＵ６０がアクセスするプログラムやデータを格納する。ビットストリーム入力部６２は、画像符号化装置が本手法により符号化したビットストリームを入力する（ビットストリーム入力部６２は、ディスク装置等による画像信号を記憶する記憶部でもよい）。参照画像入力部６３は、カメラ等からの参照対象の画像信号を入力する（参照画像入力部６３は、ディスク装置等による画像信号を記憶する記憶部でもよい）。参照デプスマップ入力部６４は、デプスカメラ等からの復号対象を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する（参照デプスマップ入力部６４は、ディスク装置等によるデプス情報を記憶する記憶部でもよい）。プログラム記憶装置６５は、画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６５１を格納する。復号対象画像出力部６６は、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６５１を実行することにより、ビットストリームを復号して得られた復号対象画像を、再生装置などに出力する（復号対象画像出力部６６は、ディスク装置等による画像信号を記憶する記憶部でもよい）。
【０１１２】
前述した実施形態における画像符号化装置１００及び画像復号装置２００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【０１１３】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【０１１４】
符号化（復号）対象画像を撮影したカメラとは異なる位置から撮影された画像とその画像中の被写体に対するデプスマップを用いて、符号化（復号）対象画像に対して視点合成予測を行う際に、復号時の演算量及びメモリ消費量を増加させずに、高い符号化効率を達成することが不可欠な用途に適用できる。
【符号の説明】
【０１１５】
１０１・・・符号化対象画像入力部、
１０２・・・符号化対象画像メモリ、
１０３・・・参照画像入力部、
１０４・・・参照デプスマップ入力部、
１０５・・・視点合成画像生成部、
１０６・・・視点合成画像メモリ、
１０７・・・フレーム単位予測ＲＤコスト計算部、
１０８・・・画像符号化部、
１０９・・・ブロック単位予測ＲＤコスト計算部、
１１０・・・予測単位判定部、
１１１・・・ビットストリーム生成部、
１１２・・・参照画像メモリ、
１１３・・・参照デプスマップメモリ、
１１４・・・フレーム単位視点合成画像生成部、
１１５・・・ブロック単位視点合成画像生成部、
１１６・・・ブロック単位予測情報生成部、
２０１・・・ビットストリーム入力部、
２０２・・・ビットストリームメモリ、
２０３・・・参照画像入力部、
２０４・・・参照デプスマップ入力部、
２０５・・・視点合成画像生成部、
２０６・・・視点合成画像メモリ、
２０７・・・予測単位情報復号部、
２０８・・・画像復号部、
２０９・・・フレーム単位視点合成画像生成部、
２１１・・・スイッチ、
２１２・・・ブロック単位予測情報生成部。
【図１】
0005926451.tif 000004
【図２】
0005926451.tif 000005
【図３】
0005926451.tif 000006
【図４】
0005926451.tif 000007
【図５】
0005926451.tif 000008
【図６】
0005926451.tif 000009
【図７】
0005926451.tif 000010
【図８】
0005926451.tif 000011
【図９】
0005926451.tif 000012
【図１０】
0005926451.tif 000013
【図１１】
0005926451.tif 000014
【図１２】
0005926451.tif 000015
【図１３】
0005926451.tif 000016
【図１４】
0005926451.tif 000017
【図１５】
0005926451.tif 000018
【図１６】
0005926451.tif 000019
【図１７】
0005926451.tif 000020
【図１８】
0005926451.tif 000021
【図１９】
0005926451.tif 000022
【図２０】
0005926451.tif 000023
【図２１】
0005926451.tif 000024
【図２２】
0005926451.tif 000025