(57)【特許請求の範囲】
【請求項１】
複数の映像を一つの映像として符号化するにあたり、複数の映像間の視差を用いて予測する視差補償により符号化する映像符号化方法であって、
参照画像から推定された、符号化対象画像に対する参照視差を設定する参照視差設定ステップと、
画面内での領域分割を設定する領域分割設定ステップと、
前記領域分割設定ステップで設定された各領域に関して、前記参照視差と前記視差補償に用いる視差の差である視差変位を設定する視差変位設定ステップと、
前記領域分割設定ステップで設定された領域分割を示す領域分割情報を符号化する領域分割情報符号化ステップと、
前記視差変位設定ステップで設定された視差変位を示す視差変位情報を符号化する視差変位情報符号化ステップと、
を有し、
前記参照視差設定ステップでは、前記参照視差を前記符号化対象画像の各画素に対して設定し、
前記符号化対象画像の各画素に対して、設定された前記参照視差と、その画素が属する領域に対して設定された前記視差変位とを加えて得られる画素単位の視差を用いて、視差補償のための予測画像を生成する予測画像生成ステップを更に有することを特徴とする映像符号化方法。
【請求項２】
請求項１に記載の映像符号化方法において、
前記参照視差設定ステップにおいて設定される画素毎の参照視差は、前記符号化対象画像を用いることなく複数の参照画像から推定され、
前記予測画像生成ステップでは、前記複数の参照画像の画素値に基づいて前記予測画像を生成することを特徴とする映像符号化方法。
【請求項３】
請求項２に記載の映像符号化方法において、
前記予測画像生成ステップでは、前記複数の参照画像の画素値の平均を求めて前記予測画像を生成することを特徴とする映像符号化方法。
【請求項４】
複数の映像を一つの映像として復号するにあたり、複数の映像間の視差を用いて予測する視差補償により復号する映像復号方法であって、
参照画像から推定された、復号対象画像に対する参照視差を設定する参照視差設定ステップと、
符号化情報に含まれる領域分割を示す領域分割情報を復号する領域分割情報復号ステップと、
前記領域分割情報復号ステップで復号された領域分割情報が示す各領域に関して、前記符号化情報に含まれる、前記参照視差と前記視差補償に用いる視差の差である視差変位の情報を復号する視差変位情報復号ステップと、
を有し、
前記参照視差設定ステップでは、前記参照視差を前記復号対象画像の各画素に対して設定し、
前記復号対象画像の各画素に対して、設定された前記参照視差と、その画素が属する領域に対して設定された前記視差変位とを加えて得られる画素単位の視差を用いて、視差補償のための予測画像を生成する予測画像生成ステップを更に有することを特徴とする映像復号方法。
【請求項５】
請求項４に記載の映像復号方法において、
前記参照視差設定ステップにおいて設定される画素毎の参照視差は、前記復号対象画像を用いることなく複数の参照画像から推定され、
前記予測画像生成ステップでは、前記複数の参照画像の画素値に基づいて前記予測画像を生成することを特徴とする映像復号方法。
【請求項６】
請求項５に記載の映像復号方法において、
前記予測画像生成ステップでは、前記複数の参照画像の画素値の平均を求めて前記予測画像を生成することを特徴とする映像復号方法。
【請求項７】
複数の映像を一つの映像として符号化するにあたり、複数の映像間の視差を用いて予測する視差補償により符号化する映像符号化装置であって、
参照画像から推定された、符号化対象画像に対する参照視差を設定する参照視差設定手段と、
画面内での領域分割を設定する領域分割設定手段と、
前記領域分割設定手段で設定された各領域に関して、前記参照視差と前記視差補償に用いる視差の差である視差変位を設定する視差変位設定手段と、
前記領域分割設定手段で設定された領域分割を示す領域分割情報を符号化する領域分割情報符号化手段と、
前記視差変位設定手段で設定された視差変位を示す視差変位情報を符号化する視差変位情報符号化手段と、
を備え、
前記参照視差設定手段は、前記参照視差を前記符号化対象画像の各画素に対して設定し、
前記符号化対象画像の各画素に対して、設定された前記参照視差と、その画素が属する領域に対して設定された前記視差変位とを加えて得られる画素単位の視差を用いて、視差補償のための予測画像を生成する予測画像生成手段を更に備えることを特徴とする映像符号化装置。
【請求項８】
請求項７に記載の映像符号化装置において、
前記参照視差設定手段は、前記画素毎の参照視差を、前記符号化対象画像を用いることなく複数の参照画像から推定し、
前記予測画像生成手段は、前記複数の参照画像の画素値に基づいて前記予測画像を生成することを特徴とする映像符号化装置。
【請求項９】
請求項８に記載の映像符号化装置において、
前記予測画像生成手段は、前記複数の参照画像の画素値の平均を求めて前記予測画像を生成することを特徴とする映像符号化装置。
【請求項１０】
複数の映像を一つの映像として復号するにあたり、複数の映像間の視差を用いて予測する視差補償により復号する映像復号装置であって、
参照画像から推定された、復号対象画像に対する参照視差を設定する参照視差設定手段と、
符号化情報に含まれる領域分割を示す領域分割情報を復号する領域分割情報復号手段と、
前記領域分割情報復号手段で復号された領域分割情報が示す各領域に関して、前記符号化情報に含まれる、前記参照視差と前記視差補償に用いる視差の差である視差変位の情報を復号する視差変位情報復号手段と、
を備え、
前記参照視差設定手段は、前記参照視差を前記復号対象画像の各画素に対して設定し、
前記復号対象画像の各画素に対して、設定された前記参照視差と、その画素が属する領域に対して設定された前記視差変位とを加えて得られる画素単位の視差を用いて、視差補償のための予測画像を生成する予測画像生成手段を更に備えることを特徴とする映像復号装置。
【請求項１１】
請求項１０に記載の映像復号装置において、
前記参照視差設定手段は、前記画素毎の参照視差を、前記復号対象画像を用いることなく複数の参照画像から推定し、
前記予測画像生成手段は、前記複数の参照画像の画素値に基づいて前記予測画像を生成することを特徴とする映像復号装置。
【請求項１２】
請求項１１に記載の映像復号装置において、
前記予測画像生成手段は、前記複数の参照画像の画素値の平均を求めて前記予測画像を生成することを特徴とする映像復号装置。
【請求項１３】
請求項１から３のいずれか１項に記載の映像符号化方法を、コンピュータに実行させるための映像符号化プログラム。
【請求項１４】
請求項４から６のいずれか１項に記載の映像復号方法を、コンピュータに実行させるための映像復号プログラム。
【請求項１５】
請求項１から３のいずれか１項に記載の映像符号化方法を、コンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１６】
請求項４から６のいずれか１項に記載の映像復号方法を、コンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点動画像の符号化及び復号に関する技術である。
本願は、２００６年１月５日に出願された特願２００６−０００３９３号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
多視点動画像は、様々な位置にあるカメラで同じ被写体と背景を撮影した複数の動画像である。以下では、一つのカメラで撮影された動画像を“２次元動画像”と呼び、同じ被写体と背景を撮影した２次元動画像の集合を多視点動画像と呼ぶ。多視点動画像に含まれる各カメラの２次元動画像は、時間方向に強い相関がある。一方、各カメラが同期されていた場合、同じ時間に対応した各カメラのフレームは全く同じ状態の被写体と背景を撮影しているため、カメラ間で強い相関がある。【０００３】
まず、２次元動画像の符号化方式に関する従来技術を述べる。国際符号化標準であるＨ．２６４、ＭＰＥＧ−４、ＭＰＥＧ−２をはじめとした従来の多くの２次元動画像符号化方式では、動き補償、直交変換、量子化、可変長符号化という技術を利用して、高効率な符号化を行う。【０００４】
例えば、Ｈ．２６４では、Ｉフレームにおいてはフレーム内相関を利用して符号化が可能で、Ｐフレームでは過去の複数枚のフレームとのフレーム間相関を利用して符号化が可能で、Ｂフレームでは過去あるいは未来の複数毎のフレームとのフレーム間相関を利用して符号化が可能である。【０００５】
Ｈ．２６４の技術の詳細については、下記の非特許文献１に記載されているが、以下で概要を説明する。Ｉフレームではフレームをブロック分割し（このブロックをマクロブロックといい、ブロックサイズは１６×１６（ピクセル）である）、各マクロブロックにおいてイントラ予測を行う。イントラ予測の際には、各マクロブロックをさらに小さなブロックに分割し（以後、サブブロックと呼ぶ）、各サブブロックで異なるイントラ予測方法を行うことができる。【０００６】
一方、Ｐフレームでは、各マクロブロックでイントラ予測、あるいはインター予測を行うことができる。Ｐフレームにおけるイントラ予測は、Ｉフレームの場合と同様である。一方、インター予測の際には動き補償が行われる。動き補償においても、マクロブロックをより小さなブロックに分割して、各サブブロックで異なる動きベクトル、参照画像を持つことができる。【０００７】
なお、Ｂフレームにおいても、イントラ予測とインター予測が行えるが、Ｂフレームでのインター予測では、過去のフレームに加えて未来のフレームも動き補償の参照画像にできる。例えば、Ｉフレーム→Ｂフレーム→Ｂフレーム→Ｐフレームというフレーム構成で符号化する場合、Ｉ→Ｐ→Ｂ→Ｂの順番で符号化することができる。そして、Ｂフレームでは、Ｉ及びＰフレームを参照して動き補償ができる。また、Ｐフレームの場合と同様に、マクロブロックを分割したサブブロックごとに異なる動きベクトルを持つことができる。
イントラ、インター予測を行うと予測残差が得られるが、各マクロブロックで予測残差ブロックにＤＣＴ（離散コサイン変換）を行って量子化が行われる。そして、このようにして得られるＤＣＴ係数の量子化値に対して可変長符号化が行われる。【０００８】
多視点動画像の符号化については、動き補償を同じ時刻の異なるカメラの画像に適用した“視差補償”によって高効率に多視点動画像を符号化する方式が従来からある。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ位置が投影される位置の差である。【０００９】
このカメラ間で生じる視差の概念図を図９に示す。この概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ位置が投影される位置は、一般的に対応点と呼ばれる。視差は画像平面内での位置のズレとして表現できるため、２次元ベクトルの情報として表現できる。【００１０】
視差補償では、符号化対象カメラの画像上のある着目画素に対応する参照先のカメラの画像上の対応点を参照画像から推定し、当該対応点に対応した画素値で、着目画素の画素値を予測する。以下では、便宜上、前述のような“推定された視差”についても“視差”と呼ぶこととする。【００１１】
視差補償を用いた符号化手法としては、例えば非特許文献２があるが、このような方式では、符号化対象の画像の画素に対する視差情報と予測残差を符号化する。具体的には、この手法ではブロック単位で視差補償を行う仕組みが含まれているが、ブロック単位の視差を２次元ベクトルで表現する。この視差ベクトルの概念図を図１０に示す。即ち、この手法では２次元ベクトルである視差情報と予測残差を符号化する。なお、この方法では、カメラパラメータを利用して符号化を行わないため、カメラパラメータが未知である場合に有効である。【００１２】
各々が異なるカメラからのものである参照画像が複数ある場合、任意視点画像技術を利用して視差補償を行うことが可能である。非特許文献３では、任意視点画像生成技術を利用して視差補償をする。具体的には、符号化対象カメラの画像の画素値を、当該画素に対応した異なるカメラの対応点の画素値で補間して予測する。この補間の概念図を図１１に示す。この補間では、符号化対象画像の画素ｍの値を、画素ｍに対応する参照画像１、２の画素ｍ′、ｍ″の値を補間することにより予想する。【００１３】
なお、非特許文献３の場合のように、異なるカメラの２枚以上の参照画像があれば、符号化対象画像を利用せずに、符号化対象画像の各画素に関する各参照画像への視差を推定できる。この視差推定の概念図を図１２に示す。
この図に示されているように、真の視差においては参照画像の対応点の画素値がほぼ同じ値になるはずである。従い、多くの視差推定法では、様々な奥行きに関する対応点について参照画像の画素値を比較して、画素値が最も近くなる奥行きに基づいて視差を推定することができる。この処理は符号化対象画像の画素単位で行うことが可能である。
このように、異なるカメラの２枚以上の参照画像があり、復号側で視差推定が可能な場合には、符号化側から明示的に視差情報を符号化して復号側に提供することなく、復号側で画素単位の視差情報を利用して視差補償を行うことができる。
【非特許文献１】ITU-T Rec.H.264/ISO/IEC 11496-10, "Advanced Video Coding", Final Committee Draft, Document JVT-E022, September 2002
【非特許文献２】Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)", document M10976 MPEG Redmond Meeting, July, 2004
【非特許文献３】Masayuki Tanimoto, Toshiaki Fujii, "Response to Call for Evidence on Multi-View Video Coding", document Mxxxxx MPEG Hong Kong Meeting, January, 2005
【発明の開示】
【発明が解決しようとする課題】
【００１４】
従来の技術によれば、異なるカメラの２枚以上の参照画像があり、復号側で視差推定が可能な場合には、符号化側から明示的に視差情報を符号化することなく、復号側で画素単位の視差情報を利用して視差補償を行うことができる。このように、符号化及び復号側において、符号化または復号対象の画像を用いずに（復号の場合は復号せずに）推定できる、符号化／復号対象の画像に関する視差を“参照視差”と呼ぶこととする。
しかしながら、復号側で推定される参照視差は予測効率の意味では最適なものではないため、予測残差の符号量が多くなる場合がある。従い、符号化側で予測効率を最大化する視差を求め、この視差と参照視差の差（以下では、視差変位と呼ぶ）を各画素について符号化することにより、予測効率を向上させ、結果として予測残差の符号化効率を向上させる方法が容易に類推できる。【００１５】
しかしながら、このように容易に類推可能な技術では、画素単位で視差変位を符号化するため、視差情報としての符号量の増加を招き、結果として全体として高い符号化効率を実現できないという課題がある。【００１６】
本発明は上記課題の解決を図り、視差補償の精度に関する犠牲を小さく抑えながら、視差情報のデータ量を少なくすることができるようにすることを目的とする。
【課題を解決するための手段】
【００１７】
本発明が従来技術ともっとも異なる点は、本発明では上記課題を解決するため、画像のブロック分割を決定する処理と、そこで決定したブロック分割情報及びブロックごとの視差変位情報を符号化する処理を行い、これらの情報を符号化情報とする点にある。【００１８】
本発明による映像符号化方法、映像復号方法の第１の態様によれば、符号化対象の画像の性質に応じて設定した領域分割に基づき、各分割領域について視差変位情報を符号化することができる。
一般的に、視差変位は画面内において空間的な相関があるため、適切な領域分割を設定し、その各領域に対して視差変位を符号化することで視差補償の予測効率を劣化させずに視差情報の符号量を抑えることができる。
なお、映像符号化側では、参照視差設定ステップにおいて、すでに符号化済みの情報（参照画像）から符号化対象画像に関する視差（参照視差）を設定し、さらに、領域分割設定ステップにおいて、符号化対象画像の画面内の領域分割を設定する。そして、視差変位設定ステップにおいて、領域分割で設定された各領域に対応した視差変位を設定し、領域分割情報符号化ステップにおいて領域分割を示す情報である領域分割情報を符号化し、視差変位情報符号化ステップにおいて、視差変位情報を符号化する。【００１９】
なお、参照視差設定ステップにおいて設定される参照視差としては、例えば図１２で示した原理に基づいて参照画像から推定された視差（下記の第３の態様参照）、任意視点画像生成等を目的として別途手段で符号化され復号側に送られる視差画像や３次元モデルに基づく視差、もしくはその他の方法で与えられる視差のいずれでも良い。【００２０】
一方、映像復号側では、参照視差設定ステップにおいて、符号化側と同様にすでに復号済みの情報（参照画像）から復号対象画像に関する参照視差を設定し、領域分割情報復号ステップにおいて領域分割情報を復号し、視差変位情報復号ステップにおいて、領域分割情報に基づく領域に関する視差変位情報を復号する。【００２１】
本発明による映像符号化方法、映像復号方法の第２の態様は、基本的には上記第１の態様と同様であるが、領域分割を矩形ブロック単位で行なうものとする。具体的には、例えば後掲の図１０のような矩形ブロック分割を、マクロブロック単位で指定することが考えられる。このようなブロック分割に関する情報は、例えばＨ．２６４のエントロピー符号化など、従来のエントロピー符号化技術により効率的に符号化できる。【００２２】
本発明による映像符号化方法、映像復号方法の第３の態様は、基本的には上記第１及び第２の態様と同様であるが、図１２で示したような原理で、符号化対象画像を用いることなく複数の参照画像から推定された参照視差を用いる。このように、参照画像から参照視差を推定する場合、復号側にすでに送られた情報のみで参照視差を設定することが可能なため、参照視差を設定するために符号化すべき付加情報を発生させないようにすることができる。
【発明の効果】
【００２３】
本発明によれば、参照画像から視差を推定する映像符号化及び復号方法において、視差変位情報に空間的な相関があることを利用し、視差補償における予測効率の劣化をおさえながらも視差変位情報に関する符号量を小さくすることができ、全体としての符号化効率を向上させることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施例に係る映像符号化装置を示す図である。
【図２】実施例におけるカメラの参照関係を示す図である。
【図３】実施例におけるカメラ配置を示す図である。
【図４】本実施例の符号化フローチャートである。
【図５】図４のステップＳ１０６の処理に関する詳細フローチャートである。
【図６】マクロブロックにおけるブロック分割の例を示す図である。
【図７】実施例に係る映像復号装置を示す図である。
【図８】実施例における復号フローチャートである。
【図９】カメラ間で生じる視差の概念図である。
【図１０】視差ベクトルの概念図である。
【図１１】画素値補間の概念図である。
【図１２】視差推定の概念図である。
【符号の説明】
【００２５】
１００  映像符号化装置
１０１  画像入力部
１０２  参照画像入力部
１０３  参照画像メモリ
１０４  参照視差設定部
１０５  視差変位設定部
１０６  ブロック分割設定部
１０７  ブロック分割情報符号化部
１０８  視差変位情報符号化部
１０９  予測残差符号化部
２００  映像復号装置
２０１  ブロック分割情報復号部
２０２  視差変位情報復号部
２０３  予測残差復号部
２０４  視差補償部
２０５  参照画像メモリ
【発明を実施するための最良の形態】
【００２６】
本発明の実施例に係る映像符号化装置の構成図を図１に示す。
この映像符号化装置１００は、符号化対象画像であるカメラＣの原画像を入力する画像入力部１０１、参照画像であるカメラＡとＢの復号画像を入力する参照画像入力部１０２、参照画像を格納する参照画像メモリ１０３、参照画像から参照視差を求める参照視差設定部１０４、視差変位を求める視差変位設定部１０５、ブロック分割を設定するブロック分割設定部１０６、ブロック分割情報を符号化するブロック分割情報符号化部１０７、視差変位情報を符号化する視差変位情報符号化部１０８、予測残差を符号化する予測残差符号化部１０９を備える。【００２７】
図２は、本実施例におけるカメラの参照関係を示す図である。
本実施例では、図２で示すように、３つのカメラに関する多視点映像を符号化するにあたり、カメラＡとＢの復号画像を参照画像として、カメラＣの動画像を符号化する場合を示す。
図中の矢印は、視差補償の際の参照関係を示しており、カメラＣの画像を符号化する際には、表示時刻において同時刻であるカメラＡとＢの復号画像を参照画像として符号化する。その際には、カメラＡ及びＢの対応点（視差変位ベクトルと参照視差ベクトルの和で与えられるベクトルが指す画素）に関する画素値の平均値で予測画像を作成するものとする。【００２８】
図３は、本実施例におけるカメラ配置を示す図である。本実施例では、例えば図３に示すように、３つのカメラの視点位置は直線上に等間隔に並んでおり、光軸はカメラが並ぶ直線に対して垂直となっているとする。すなわち、３つのカメラの光軸は平行であるとする。
また、画像平面のｘｙ座標系は、カメラが並ぶ直線に対する平行移動（回転等はなし）により得られ、各々のカメラで画像平面のｘ軸及びｙ軸を等間隔に分割することで画素が構成されているとする。すなわち、解像度が各カメラで同じであり、なおかつ、カメラＣとカメラＡのＰ画素分の視差は、カメラＣとカメラＢでＰ画素の視差となることになる。【００２９】
本実施例における符号化のフローを図４に示す。さらに、図５は、図４におけるステップＳ１０６の処理を詳細に記載したフロー図である。【００３０】
本実施例では、縦横１６画素で構成されるマクロブロック単位でマクロブロック内のブロック分割を指定し、そのブロック分割で作成されるブロック（便宜上、単に“ブロック”と呼ぶ）単位で視差変位情報を求めて符号化する。
参照視差は、２次元ベクトルとして表現されるので、復号側（及び符号化側）において、参照画像から、画素単位で各参照画像に対する２次元ベクトル（参照視差）が求められる。【００３１】
一方、視差変位については、各ブロックについて２次元ベクトルの視差変位を一つ（カメラＡに対する視差変位）符号化することとする。これは、参照視差を求める場合と同様に、各参照画像の各画素に関する視差変位ベクトルと参照視差ベクトルの和で与えられるベクトル（視差補償に利用される視差ベクトルである）が、被写体上の同じ位置を指しているという物理的な制約条件を仮定すると、カメラＡに対する視差変位ベクトルが既知であれば、他のカメラに関する視差変位ベクトルが一意に決まるからである。
なお、このような制約条件を仮定せず、各参照画像に対する視差変位を独立に求めてそれぞれ符号化することも考えられるが、このケースについては本実施例の変更例として容易に適用可能であるので説明を省略する。【００３２】
マクロブロックで適用可能なブロック分割としては様々なものが考えられるが、例えば、図６に示すようなものが考えられる。なお、図６に記載のように、ブロック分割の種類に関するインデックスをblkMode とし、ブロック分割blkMode におけるブロック数をmaxBlk[blkMode] と表す。【００３３】
このような前提の下で、図４のフローに沿って符号化処理を説明する。
まず、画像入力部１０１によりカメラＣの画像が入力される（ステップＳ１０１）。なお、ここで入力されたカメラＣの画像と表示時刻が同じであるカメラＡとＢの復号画像が参照画像メモリ１０３に参照画像入力部１０２により入力されている。【００３４】
次に、参照画像メモリ１０３からカメラＡとＢの復号画像を入力し（Ｓ１０２）、入力した参照画像から、符号化対象画像の各画素に対する参照視差を求める（Ｓ１０３）。すなわち、参照視差設定部１０４にカメラＡとＢに関する２枚の参照画像が読み込まれ、カメラＣの画像の各画素に関する参照視差が求められる。
これが行われることにより、カメラＣの画像の各画素に対して２次元ベクトルが二つ求められる。ここで、カメラＣの画像平面上の座標（ｘ、ｙ）（ｘ及びｙは整数値でピクセルの座標を表すとする）に関するカメラＡに対する参照視差ベクトルをｄA [x,y] 、カメラＢに対する参照視差ベクトルをｄB [x,y] とする。【００３５】
ここで、マクロブロックのインデックスをMBBlk と表し、マクロブロック数をmaxMBBlkと表す。マクロブロックのインデックスMBBlk を０に初期化した後（Ｓ１０４）、以下の処理（Ｓ１０５〜Ｓ１１１）を、マクロブロックのインデックスMBBlk に１を加算しながら（Ｓ１１０）、各マクロブロックについて繰り返し実行する。【００３６】
まず、ブロック分割（インデックス）blkMode を０に初期化した後（Ｓ１０５）、ブロック分割blkMode が最大のインデックス値maxBlkModeになるまで（Ｓ１０８）、ブロック分割blkMode に１を加算しながら（Ｓ１０７）、マクロブロックMBBlk 及びブロック分割blkMode に関するレート歪コストを求める（Ｓ１０６）。すなわち、視差変位設定部１０５において、各ブロック分割blkMode に関するレート歪コストMBCostが求められる。【００３７】
あるブロック分割blkMode に関するレート歪コストMBCostは、各ブロックに関するレート歪コストblkCost を計算し（ブロック総数はmaxBlk[blkMode] で表される）、その総和を取ることにより得られる。
あるブロックに関するレート歪コストblkCost は、ある視差変位ベクトルを利用したときのレート歪コストcostの最小値として求められる。従い、各ブロックでcostを最小化する視差変位ベクトルとそのレート歪コストを求める必要がある。
ここで、符号化に利用する視差変位の探索は参照視差の周辺を探索するとする。すなわち、視差変位ベクトルの候補としてｅ0 、ｅ1 〜ｅN-1 を考え、視差ベクトルｄA [x,y]+ｅn についてレート歪コストを計算する処理をｎ＝0,1,..,N-1について繰り返して当該ブロックの最適な視差変位ベクトルを符号化する。
なお、costの計算の際には、まず、ある視差変位ベクトルｅn を用いたときの予測残差のブロックに関する絶対値の総和ＳＡＤ [ｅn ] が求められる。
さらに、ある視差変位ベクトルｅn を符号化したときの視差変位ベクトルの符号量の見積もり値Ｒ [ｅn ] が求められ、costは次の式で計算される。【００３８】
cost＝ＳＡＤ [ｅn ]+λＲ [ｅn ]                (1)
次に、ブロック分割設定部１０６において、各マクロブロックMBBlk に関して、レート歪コストMBCostが最小になるようなブロック分割bestBlkMode が求められる（これに対応した視差変位ベクトルはすでに求まっている）。【００３９】
以上のステップＳ１０６について、具体的には図５に示す処理を行う。
まず、マクロブロックのレート歪コストMBCostとブロックblk のインデックス値を０に初期化し（Ｓ１０６１）、ブロックblk におけるレート歪コストblkCost を最小にするように視差変位ベクトルを求める（Ｓ１０６２）。
求めたブロックのレート歪コストblkCost をマクロブロックのレート歪コストMBCostに加算した後（Ｓ１０６３）、ブロックblk に１を加算し、ブロックblk がブロック総数maxBlk[blkMode] になるまで、ステップＳ１０６２〜Ｓ１０６４を繰り返す（Ｓ１０６５）。【００４０】
ブロックblk がブロック総数maxBlk[blkMode] になったならば、そのときに算出されたマクロブロックのレート歪コストMBCostが、現時点における最小のマクロブロックのレート歪コストminMBCost より小さいかを判定し（Ｓ１０６６）、小さければ、レート歪コストMBCostを最小のレート歪コストminMBCost として記憶し、そのときのブロック分割blkMode を、最適なブロック分割bestBlkMode として記憶する（Ｓ１０６７）。【００４１】
上記の処理を行うことにより、マクロブロックMBBlk の視差補償に利用するブロック分割情報bestBlkMode 、視差変位情報（視差変位ベクトル）、視差補償による予測残差が求まるので、次に、当該ブロック分割情報bestBlkMode がブロック分割情報符号化部１０７で、bestBlkMode に対応した視差変位情報が視差変位情報符号化部１０８で符号化される（Ｓ１０９）。
また、当該視差変位情報に対応した予測残差が予測残差符号化部１０９で符号化される。【００４２】
次に、本実施例において用いる映像復号装置を図７に示す。
映像復号装置２００は、ブロック分割情報復号部２０１、視差変位情報復号部２０２、予測残差復号部２０３、視差補償部２０４、参照画像メモリ２０５を備える。【００４３】
図８に本実施例の映像復号装置２００による復号フローを示す。これはカメラＣを１フレーム復号する上でのフローを示している。以下でフローを詳細に説明していく。なお、カメラＡとＢの同時刻のフレームが先立って復号されているとし、その復号画像が参照画像メモリ２０５に蓄積されているものとする。【００４４】
まず、参照画像メモリ２０５からカメラＡとＢの復号画像を入力し（Ｓ２０１）、参照画像から符号化対象画像の各画素に対する参照視差を求める（Ｓ２０２）。すなわち、視差補償部２０４にカメラＡとＢに関する２枚の参照画像が読み込まれ、カメラＣの画像の各画素に関する参照視差が求められる。これが行われることにより、カメラＣの画像の各画素に対して２次元ベクトルが二つ求められる。【００４５】
次に、マクロブロックのインデックスMBBlk を０に初期化した後（Ｓ２０３）、以下の処理（Ｓ２０４〜Ｓ２１２）を、マクロブロックのインデックスMBBlk に１を加算しながら（Ｓ２１１）、各マクロブロックについて１フレーム分繰り返す（１フレームのブロック数はmaxMBBlk）。これによりカメラＣの１フレームが復号される。【００４６】
各マクロブロックの復号では、まず、マクロブロックMBBlk に関するブロック分割情報bestBlkMode がブロック分割情報復号部２０１によって復号される（Ｓ２０４）。次に、ブロックblk のインデックス値を０に初期化した後（Ｓ２０５）、以下の処理（Ｓ２０６〜Ｓ２０９）が各ブロックblk について繰り返し行われる（最大ブロック数はmaxBlk[blkMode] である）。【００４７】
まず、視差変位情報復号部２０２においてブロックblk に関する視差変位情報が復号され（Ｓ２０６）、視差補償部２０４において、視差変位情報と参照視差を用いてブロックblk に関する予測画像（カメラＡとＢの画素値を補間することで作成）が作成される（Ｓ２０７）。【００４８】
ここで、上記のブロックblk に関する繰り返し処理が行われることにより、マクロブロックMBBlk に関する予測画像が生成される。従い、次に予測残差復号部２０３においてマクロブロックMBBlk に関する予測残差が復号される。そして、視差補償部２０４で予測画像と予測残差の和が計算されることにより、マクロブロックMBBlk に関する復号画像が得られる（Ｓ２１０）。
以上の処理が１フレーム分のすべてのマクロブロックに対して繰り返され（Ｓ２１１、Ｓ２１２）、カメラＣの１フレームが復号される。【００４９】
なお、本実施例では、カメラＣを符号化するにあたり、他のカメラ（カメラＡ及びＢ）を参照することで符号化したが、他のカメラを参照して符号化する場合とカメラＣの復号画像を参照して動き補償を行う場合とを画面（一画像）内で適応的に切り替えて符号化しても良い。
具体的には、例えば図６のブロック分割に含まれる各ブロックを単位として視差補償と動き補償を切り替えても良い。この場合には、映像符号化側では各ブロックで視差／動き補償のどちらが利用されたかを示す情報を符号化する必要があるとともに、映像復号側では、この情報を復号する必要がある。【００５０】
以上の映像符号化及び映像復号の処理は、コンピュータとソフトウェアプログラムとによって実現することができ、そのプログラムをコンピュータ読み取り可能な記憶媒体に記録して提供することも、ネットワークを通して提供することも可能である。
【産業上の利用可能性】
【００５１】
参照画像から視差を推定する映像符号化及び復号方法において、視差変位情報に空間的な相関があることを利用し、視差補償における予測効率の劣化をおさえながらも視差変位情報に関する符号量を小さくすることができ、全体としての符号化効率を向上させることができる。
【図１】
0005234587.tif 000002
【図２】
0005234587.tif 000003
【図３】
0005234587.tif 000004
【図４】
0005234587.tif 000005
【図５】
0005234587.tif 000006
【図６】
0005234587.tif 000007
【図７】
0005234587.tif 000008
【図８】
0005234587.tif 000009
【図９】
0005234587.tif 000010
【図１０】
0005234587.tif 000011
【図１１】
0005234587.tif 000012
【図１２】
0005234587.tif 000013