(57)【要約】  映像符号化装置は、複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の前記視点とは異なる参照視点から予測符号化を行う映像符号化方法装置であって、前記符号化対象画像の視点と前記参照視点との位置関係に基づいて、前記符号化対象領域の分割方法を決定する領域分割設定ステップ部と、前記分割方法に従って前記符号化対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップ部とを有する。
2015098827.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化装置であって、
前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記符号化対象領域の分割方法を決定する領域分割設定部と、
前記分割方法に従って前記符号化対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部と
を有する映像符号化装置。
【請求項２】
前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、
前記視差ベクトル設定部は、前記サブ領域ごとに設定された前記代表デプスを基づいて、前記視差ベクトルを設定する請求項１に記載の映像符号化装置。
【請求項３】
前記領域分割設定部は、前記符号化対象領域を分割するための分割線の方向を、前記符号化対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ方向に設定する請求項１または請求項２に記載の映像符号化装置。
【請求項４】
複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化装置であって、
前記符号化対象領域を複数のサブ領域へと分割する領域分割部と、
前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定部と、
前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部と
を有する映像符号化装置。
【請求項５】
前記処理方向設定部は、前記符号化対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ向きに存在する前記サブ領域の集合ごとに、前記視差の方向と同じ向きで前記順番を設定する請求項４に記載の映像符号化装置。
【請求項６】
前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する視差ベクトルと、当該サブ領域に対して前記デプスマップを用いて設定される視差ベクトルとを比較して、大きさの大きい方を前記参照視点に対する前記視差ベクトルとして設定する請求項４または請求項５に記載の映像符号化装置。
【請求項７】
前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、
前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する前記代表デプスと、当該サブ領域に対して設定された前記代表デプスとを比較し、より前記符号化対象画像の前記視点に近いことを示す前記代表デプスに基づいて、前記視差ベクトルを設定する請求項４または請求項５に記載の映像符号化装置。
【請求項８】
複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号装置であって、
前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記復号対象領域の分割方法を決定する領域分割設定部と、
前記分割方法に従って前記復号対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部と
を有する映像復号装置。
【請求項９】
前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、
前記視差ベクトル設定部は、前記サブ領域ごとに設定された前記代表デプスを基づいて、前記視差ベクトルを設定する請求項８に記載の映像復号装置。
【請求項１０】
前記領域分割設定部は、前記復号対象領域を分割するための分割線の方向を、前記復号対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ方向に設定する請求項８または請求項９に記載の映像復号装置。
【請求項１１】
複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号装置であって、
前記復号対象領域を複数のサブ領域へと分割する領域分割部と、
前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定部と、
前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部と
を有する映像復号装置。
【請求項１２】
前記処理方向設定部は、前記復号対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ向きに存在する前記サブ領域の集合ごとに、前記視差の方向と同じ向きで前記順番を設定する請求項１１に記載の映像復号装置。
【請求項１３】
前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する視差ベクトルと、当該サブ領域に対して前記デプスマップを用いて設定される視差ベクトルとを比較して、大きさの大きい方を前記参照視点に対する前記視差ベクトルとして設定する請求項１１または請求項１２に記載の映像復号装置。
【請求項１４】
前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、
前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する前記代表デプスと、当該サブ領域に対して設定された前記代表デプスとを比較し、より前記復号対象画像の前記視点に近いことを示す前記代表デプスに基づいて、前記視差ベクトルを設定する請求項１１または請求項１２に記載の映像復号装置。
【請求項１５】
複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化方法であって、
前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記符号化対象領域の分割方法を決定する領域分割設定ステップと、
前記分割方法に従って前記符号化対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップと
を有する映像符号化方法。
【請求項１６】
複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化方法であって、
前記符号化対象領域を複数のサブ領域へと分割する領域分割ステップと、
前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定ステップと、
前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップと
を有する映像符号化方法。
【請求項１７】
複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号方法であって、
前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記復号対象領域の分割方法を決定する領域分割設定ステップと、
前記分割方法に従って前記復号対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップと
を有する映像復号方法。
【請求項１８】
複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号方法であって、
前記復号対象領域を複数のサブ領域へと分割する領域分割ステップと、
前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定ステップと、
前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップと
を有する映像復号方法。
【請求項１９】
コンピュータに、請求項１５または１６に記載の映像符号化方法を実行させるための映像符号化プログラム。
【請求項２０】
コンピュータに、請求項１７または１８に記載の映像復号方法を実行させるための映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラムに関する。
本願は、２０１３年１２月２７日に日本へ出願された特願２０１３−２７３３１７号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
自由視点映像とは、撮影空間内でのカメラの位置や向き（以下、「視点」という。）をユーザが自由に指定できる映像である。自由視点映像では、ユーザが視点を任意に指定するため、指定される可能性の有る全ての視点からの映像を保持することは不可能である。そのため、自由視点映像は、指定可能ないくつかの視点からの映像を生成するのに必要な情報群によって構成される。なお、自由視点映像は、自由視点テレビ、任意視点映像又は任意視点テレビなどと呼ばれることもある。【０００３】
自由視点映像は、様々なデータ形式を用いて表現されるが、最も一般的な形式として、映像とその映像のフレームに対応するデプスマップ（距離画像）とを用いる方式がある（例えば、非特許文献１参照）。デプスマップとは、カメラから被写体までのデプス（距離）を画素ごとに表現したものである。デプスマップは、被写体の三次元的な位置を表現している。【０００４】
デプスは、ある条件を満たす場合、二つのカメラ（カメラ対）の間の視差の逆数に比例している。このため、デプスは、ディスパリティマップ（視差画像）と呼ばれることもある。コンピュータグラフィックスの分野では、デプスは、Ｚバッファに蓄積された情報となるため、Ｚ画像又はＺマップと呼ばれることもある。なお、カメラから被写体までの距離の他に、表現対象空間上に張られた三次元座標系のＺ軸の座標値（Ｚ値）を、デプスとして用いることもある。【０００５】
撮影された画像に対して水平方向にＸ軸、垂直方向にＹ軸が定められた場合、Ｚ軸はカメラの向きと一致する。しかし、複数のカメラに対して共通の座標系を用いる場合には、Ｚ軸は、カメラの向きと一致しないこともある。以下では、距離及びＺ値を区別せずに「デプス」という。また、デプスを画素値として表した画像を「デプスマップ」という。ただし、厳密には、ディスパリティマップでは、基準となるカメラ対を設定する必要がある。【０００６】
デプスを画素値として表す際に、物理量に対応する値をそのまま画素値とする方法と、最小値及び最大値の間が所定数の区間に量子化されるときにデプスの量子化によって得られる値を用いる方法と、デプスの最小値からの差を所定ステップ幅で量子化して得られる値を用いる方法とがある。表現したい範囲が限られている場合には、最小値などの付加情報を用いるほうが、デプスを高精度に表現することができる。【０００７】
また、物理量を等間隔に量子化する方法には、物理量をそのまま量子化する方法と、物理量の逆数を量子化する方法とがある。距離の逆数は視差に比例した値となるため、距離を高精度に表現する必要がある場合には、前者が使用され、視差を高精度に表現する必要がある場合には、後者が使用されることが多い。【０００８】
以下では、デプスの画素値化の方法や量子化の方法に関係なく、デプスが表現された画像を「デプスマップ」という。デプスマップは、画素ごとに一つの値を持つ画像として表現されるため、グレースケール画像とみなすことができる。被写体は、実空間上で連続的に存在し、離れた位置へ瞬間的に移動することができない。このため、デプスマップは、映像信号と同様に、空間的相関及び時間的相関を有すると言える。【０００９】
したがって、画像信号を符号化するために用いられる画像符号化方式、又は、映像信号を符号化するために用いられる映像符号化方式によって、デプスマップ、又は、連続するデプスマップで構成される映像を、空間的冗長性や時間的冗長性を取り除きながら、効率的に符号化することが可能である。以下では、デプスマップと、連続するデプスマップで構成される映像とを区別せずに、「デプスマップ」という。【００１０】
一般的な映像符号化について説明する。映像符号化では、被写体が空間的および時間的に連続しているという特徴を利用して効率的な符号化を実現するために、マクロブロックと呼ばれる処理単位ブロックに、映像の各フレームを分割する。映像符号化では、マクロブロックごとに、その映像信号を空間的及び時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化する。【００１１】
映像信号を空間的に予測する場合は、例えば、空間的な予測の方向を示す情報が予測情報となる。映像信号を時間的に予測する場合は、例えば、参照するフレームを示す情報と、そのフレーム中の位置を示す情報とが予測情報となる。空間的に行う予測は、フレーム内の予測であることから、フレーム内予測、画面内予測又はイントラ予測と呼ばれる。【００１２】
時間的に行う予測は、フレーム間の予測であることから、フレーム間予測、画面間予測又はインター予測と呼ばれる。また、時間的に行う予測は、映像の時間的変化、すなわち、動きを補償して、映像信号の予測を行うことになることから、動き補償予測とも呼ばれる。【００１３】
同じシーンを複数の位置や向きから撮影した映像からなる多視点映像を符号化する際には、映像の視点間の変化、すなわち、視差を補償して、映像信号の予測を行うことになるため、視差補償予測が用いられる。【００１４】
複数の視点に基づく映像とデプスマップとで構成される自由視点映像の符号化においては、どちらも空間相関及び時間相関を有することから、通常の映像符号化方式を用いてそれぞれを符号化することで、データ量を削減できる。例えば、ＭＰＥＧ‐Ｃ  Ｐａｒｔ．３を用いて、多視点映像とそれに対応するデプスマップとを表現する場合、既存の映像符号化方式を用いてそれぞれを符号化する。【００１５】
また、複数の視点に基づく映像とデプスマップとを一緒に符号化する場合、デプスマップから得られる視差情報を用いることで、視点間で存在する相関を利用して、効率的な符号化を実現する方法がある。例えば、非特許文献２には、処理対象の領域に対して、デプスマップから視差ベクトルを求め、その視差ベクトルを用いて、既に符号化済みの別の視点の映像上の対応領域を決定し、その対応領域における映像信号を、処理対象の領域における映像信号の予測値として用いることで、効率的な符号化を実現する方法が記載されている。別の例としては、非特許文献３では、得られた対応領域を符号化する際に使用された動き情報を、処理対象の領域の動き情報又はその予測値として用いることで、効率的な符号化を実現している。【００１６】
このとき、効率的な符号化を実現するためには、処理対象の領域ごとに、精度の高い視差ベクトルを取得する必要がある。非特許文献２及び非特許文献３に記載の方法は、処理対象の領域を分割したサブ領域ごとに視差ベクトルを求めることで、処理対象の領域に異なる物体が撮影されていたとしても、正しい視差ベクトルを取得することができる。
【先行技術文献】
【非特許文献】
【００１７】
【非特許文献１】Y. Mori, N. Fukusima, T. Fujii, and M. Tanimoto,“View Generation with 3D Warping Using Depth Information for FTV ”,In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.
【非特許文献２】G. Tech, K. Wegner, Y. Chen, and S. Yea, “3D-HEVC Draft Text 1”, JCT-3V Doc., JCT3V-E1001 (version 3), September 2013.
【非特許文献３】S. Shimizu and S. Sugimoto, “CE1-related: View synthesis prediction via motion field synthesis”, JCT-3V Doc., JCT3V-F0177, October 2013.
【発明の概要】
【発明が解決しようとする課題】
【００１８】
非特許文献２及び非特許文献３に記載の方法は、細かい領域ごとにデプスマップの値を変換し、高精度な視差ベクトルを取得することにより、高効率な予測符号化を実現することが可能である。しかしながら、デプスマップは、各領域に写された被写体の三次元位置や視差ベクトルを表現しているだけであり、視点間で同じ被写体が撮影されているか否かを保証していない。したがって、非特許文献２及び非特許文献３に記載の方法では、視点間でオクルージョンが発生している場合、視点間における被写体の正しい対応関係が得られない。なお、オクルージョンとは、処理対象の領域に存在する被写体が物体により遮蔽されてしまい、所定の視点から確認することができない状態を指す。【００１９】
上記事情に鑑み、本発明は、複数の視点に対する映像とデプスマップとを構成要素に持つ自由視点映像データの符号化において、デプスマップから視点間のオクルージョンを考慮した対応関係を得ることで、映像信号や動きベクトルの視点間予測の精度を向上させ、映像符号化の効率を向上させることができる映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラムを提供することを目的としている。
【課題を解決するための手段】
【００２０】
本発明の一態様は、複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化装置であって、前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記符号化対象領域の分割方法を決定する領域分割設定部と、前記分割方法に従って前記符号化対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部とを有する。【００２１】
好ましくは、本発明の一態様は、前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、前記視差ベクトル設定部は、前記サブ領域ごとに設定された前記代表デプスを基づいて、前記視差ベクトルを設定する。【００２２】
好ましくは、本発明の一態様において、前記領域分割設定部は、前記符号化対象領域を分割するための分割線の方向を、前記符号化対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ方向に設定する。【００２３】
本発明の一態様は、複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化装置であって、前記符号化対象領域を複数のサブ領域へと分割する領域分割部と、前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定部と、前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部とを有する。【００２４】
好ましくは、本発明の一態様において、前記処理方向設定部は、前記符号化対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ向きに存在する前記サブ領域の集合ごとに、前記視差の方向と同じ向きで前記順番を設定する。【００２５】
好ましくは、本発明の一態様において、前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する視差ベクトルと、当該サブ領域に対して前記デプスマップを用いて設定される視差ベクトルとを比較して、大きさの大きい方を前記参照視点に対する前記視差ベクトルとして設定する。【００２６】
好ましくは、本発明の一態様は、前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する前記代表デプスと、当該サブ領域に対して設定された前記代表デプスとを比較し、より前記符号化対象画像の前記視点に近いことを示す前記代表デプスに基づいて、前記視差ベクトルを設定する。【００２７】
本発明の一態様は、複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号装置であって、前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記復号対象領域の分割方法を決定する領域分割設定部と、前記分割方法に従って前記復号対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部とを有する。【００２８】
好ましくは、本発明の一態様は、前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、前記視差ベクトル設定部は、前記サブ領域ごとに設定された前記代表デプスを基づいて、前記視差ベクトルを設定する。【００２９】
好ましくは、本発明の一態様において、前記領域分割設定部は、前記復号対象領域を分割するための分割線の方向を、前記復号対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ方向に設定する。【００３０】
本発明の一態様は、複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号装置であって、前記復号対象領域を複数のサブ領域へと分割する領域分割部と、前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定部と、前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部とを有する。【００３１】
好ましくは、本発明の一態様において、前記処理方向設定部は、前記復号対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ向きに存在する前記サブ領域の集合ごとに、前記視差の方向と同じ向きで前記順番を設定する。【００３２】
好ましくは、本発明の一態様において、前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する視差ベクトルと、当該サブ領域に対して前記デプスマップを用いて設定される視差ベクトルとを比較して、大きさの大きい方を前記参照視点に対する前記視差ベクトルとして設定する。【００３３】
好ましくは、本発明の一態様は、前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する前記代表デプスと、当該サブ領域に対して設定された前記代表デプスとを比較し、より前記復号対象画像の前記視点に近いことを示す前記代表デプスに基づいて、前記視差ベクトルを設定する。【００３４】
本発明の一態様は、複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化方法であって、前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記符号化対象領域の分割方法を決定する領域分割設定ステップと、前記分割方法に従って前記符号化対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップとを有する。【００３５】
本発明の一態様は、複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化方法であって、前記符号化対象領域を複数のサブ領域へと分割する領域分割ステップと、前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定ステップと、前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップとを有する。【００３６】
本発明の一態様は、複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号方法であって、前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記復号対象領域の分割方法を決定する領域分割設定ステップと、前記分割方法に従って前記復号対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップとを有する。【００３７】
本発明の一態様は、複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号方法であって、前記復号対象領域を複数のサブ領域へと分割する領域分割ステップと、前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定ステップと、前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップとを有する。【００３８】
本発明の一態様は、コンピュータに、映像符号化方法を実行させるための映像符号化プログラムである。【００３９】
本発明の一態様は、コンピュータに、映像復号方法を実行させるための映像復号プログラムである。
【発明の効果】
【００４０】
本発明によれば、複数の視点に対する映像とデプスマップとを構成要素に持つ自由視点映像データの符号化において、デプスマップから視点間のオクルージョンを考慮した対応関係を得ることで、映像信号や動きベクトルの視点間予測の精度を向上させ、映像符号化の効率を向上させることが可能となる。
【図面の簡単な説明】
【００４１】
【図１】本発明の一実施形態における、映像符号化装置の構成を示すブロック図である。
【図２】本発明の一実施形態における、映像符号化装置の動作を示すフローチャートである。
【図３】本発明の一実施形態における、視差ベクトル場生成部が視差ベクトル場を生成する処理（ステップＳ１０４）の第１例を示すフローチャートである。
【図４】本発明の一実施形態における、視差ベクトル場生成部が視差ベクトル場を生成する処理（ステップＳ１０４）の第２例を示すフローチャートである。
【図５】本発明の一実施形態における、映像復号装置の構成を示すブロック図である。
【図６】本発明の一実施形態における、映像復号装置の動作を示すフローチャートである。
【図７】本発明の一実施形態における、映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成の例を示すブロック図である。
【図８】本発明の一実施形態における、映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成の例を示すブロック図である。
【発明を実施するための形態】
【００４２】
以下、本発明の一実施形態の映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラムを、図面を参照して詳細に説明する。
【００４３】
以下の説明では、２台のカメラ（カメラＡ及びカメラＢ）から撮影された多視点映像を符号化する場合を想定する。カメラＡの視点は参照視点とする。また、カメラＢが撮影した映像は、フレーム単位で符号化及び復号される。
【００４４】
なお、デプスから視差を得るために必要となる情報は、別途与えられているものとする。具体的には、この情報は、カメラＡ及びカメラＢの位置関係を表す外部パラメータ、又は、カメラによる画像平面への投影情報を表す内部パラメータなどである、これらと同じ意味をもつものであれば、別の形式で必要な情報が与えられていてもよい。これらのカメラパラメータに関する詳しい説明は、例えば、文献「Olivier Faugeras, “Three-Dimensional Computer Vision”, pp. 33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。この文献には、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。
【００４５】
以下の説明では、画像、映像フレーム（画像フレーム）、又はデプスマップに対して、位置を特定可能な情報（座標値、又は座標値に対応付け可能なインデックスなど）を付加することで、位置を特定可能な情報が付加された情報は、その位置の画素にサンプリングされた映像信号や、それに基づくデプスを示すものとする。また、座標値に対応付け可能なインデックス値と、ベクトルとの加算によって得られた値により、その座標をベクトルの分だけずらした位置の座標値を表すものとする。また、ブロックに対応付け可能なインデックス値と、ベクトルとの加算によって得られた値により、そのブロックをベクトルの分だけずらした位置のブロックを表すものとする。
【００４６】
まず、符号化について説明する。
図１は、本発明の一実施形態における、映像符号化装置の構成を示すブロック図である。映像符号化装置１００は、符号化対象画像入力部１０１と、符号化対象画像メモリ１０２と、デプスマップ入力部１０３と、視差ベクトル場生成部１０４（視差ベクトル設定部、処理方向設定部、代表デプス設定部、領域分割設定部、領域分割部）と、参照視点情報入力部１０５と、画像符号化部１０６と、画像復号部１０７と、参照画像メモリ１０８と、を備える。
【００４７】
符号化対象画像入力部１０１は、符号化対象となる映像を、符号化対象画像メモリ１０２にフレーム毎に入力する。以下、この符号化対象となる映像を「符号化対象画像群」という。入力されて符号化されるフレームを「符号化対象画像」という。符号化対象画像入力部１０１は、カメラＢが撮影した符号化対象画像群から、フレームごとに符号化対象画像を入力する。以下、符号化対象画像を撮影した視点（カメラＢ）を「符号化対象視点」という。符号化対象画像メモリ１０２は、入力された符号化対象画像を記憶する。
【００４８】
デプスマップ入力部１０３は、視点間の画素の対応関係に基づく視差ベクトルを求める際に参照するデプスマップを、視差ベクトル場生成部１０４に入力する。ここでは、符号化対象画像に対応するデプスマップを入力するものとするが、別の視点に基づくデプスマップでも構わない。
【００４９】
なお、このデプスマップとは、符号化対象画像に写っている被写体の３次元位置を画素ごとに表すものである。デプスマップは、例えば、カメラから被写体までの距離、画像平面とは平行ではない軸の座標値、又は、別のカメラ（例えば、カメラＡ）に対する視差量を用いて表現することができる。ここでは、画像の形態でデプスマップが渡されるものとしているが、同様の情報が得られるのであれば、デプスマップは画像の形態で渡されなくても構わない。
【００５０】
以下、符号化対象画像を符号化する際に参照する画像の視点を、「参照視点」という。また、参照視点からの画像を「参照視点画像」という。
視差ベクトル場生成部１０４は、符号化対象画像に含まれる領域と、その含まれる領域に対応付けられた参照視点に基づく領域を示す視差ベクトル場を、デプスマップから生成する。
【００５１】
参照視点情報入力部１０５は、符号化対象画像とは異なる視点（カメラＡ）から撮影された映像に基づく情報、すなわち、参照視点画像に基づく情報（以下、「参照視点情報」という。）を、画像符号化部１０６に入力する。符号化対象画像とは異なる視点（カメラＡ）から撮影された映像は、符号化対象画像を符号化する際に参照される画像である。つまり、参照視点情報入力部１０５は、符号化対象画像を符号化する際に予測する対象に基づく情報を、画像符号化部１０６に入力する。
【００５２】
なお、参照視点情報とは、参照視点画像や、参照視点画像に基づくベクトル場などである。このベクトルは、例えば、動きベクトルである。参照視点画像が使用される場合、視差ベクトル場は、視差補償予測に使用される。参照視点画像に基づくベクトル場が使用される場合、視差ベクトル場は、視点間ベクトル予測に使用される。なお、これら以外の情報（例えば、ブロック分割方法、予測モード、イントラ予測方向、インループフィルタパラメータなど）が、予測に使用されても構わない。また、複数の情報が、予測に使用されても構わない。
【００５３】
画像符号化部１０６は、生成された視差ベクトル場と、参照画像メモリ１０８に蓄積された復号対象画像と、参照視点情報とに基づいて、符号化対象画像を予測符号化する。
画像復号部１０７は、参照画像メモリ１０８に蓄積された復号対象画像（参照視点画像）と、視差ベクトル場生成部１０４が生成した視差ベクトル場とに基づいて、新たに入力された符号化対象画像を復号した復号対象画像を生成する。
参照画像メモリ１０８は、画像復号部１０７により復号された復号対象画像を蓄積する。
【００５４】
次に、映像符号化装置１００の動作を説明する。
図２は、本発明の一実施形態における、映像符号化装置１００の動作を示すフローチャートである。
符号化対象画像入力部１０１は、符号化対象画像を、符号化対象画像メモリ１０２に入力する。符号化対象画像メモリ１０２は、符号化対象画像を記憶する（ステップＳ１０１）。
【００５５】
符号化対象画像が入力された場合、予め定められた大きさの領域に符号化対象画像を分割し、分割した領域ごとに、符号化対象画像の映像信号を符号化する。以下、符号化対象画像を分割した領域を「符号化対象領域」という。一般的な符号化では、１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックに分割するが、復号側と同じであれば、その他の大きさのブロックに分割しても構わない。また、符号化対象画像の全体を同じサイズで分割せず、領域ごとに異なるサイズのブロックに分割しても構わない（ステップＳ１０２〜Ｓ１０８）。
【００５６】
図２では、符号化対象領域インデックスを「ｂｌｋ」と表す。符号化対象画像の１フレーム中の符号化対象領域の総数を「ｎｕｍＢｌｋｓ」と表す。ｂｌｋは０で初期化される（ステップＳ１０２）。
符号化対象領域ごとに繰り返される処理では、まず、符号化対象領域ｂｌｋのデプスマップを設定する（ステップＳ１０３）。
【００５７】
このデプスマップは、デプスマップ入力部１０３によって、視差ベクトル場生成部１０４に入力される。なお、入力されるデプスマップは、既に符号化済みのデプスマップを復号したものなど、復号側で得られるデプスマップと同じものとする。これは、復号側で得られるものと同じデプスマップを用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のデプスマップなど、符号化側でしか得られないデプスマップが入力されても構わない。
【００５８】
また、既に符号化済みのデプスマップを復号したもの以外に、複数のカメラに対して復号された多視点映像に対してステレオマッチング等を適用することで推定したデプスマップ、又は、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなども、復号側で同じデプスマップが得られるものとして使用することができる。
【００５９】
また、本実施形態では、符号化対象領域に対応するデプスマップを符号化対象領域ごとに入力するものとしたが、符号化対象画像の全体で用いるデプスマップを事前に入力及び蓄積しておき、蓄積されているデプスマップを符号化対象領域ごとに参照することで、符号化対象領域ｂｌｋのデプスマップを設定しても構わない。
【００６０】
符号化対象領域ｂｌｋのデプスマップは、どのように設定されても構わない。例えば、符号化対象画像に対応するデプスマップを用いる場合、符号化対象画像における符号化対象領域ｂｌｋの位置と同じ位置のデプスマップを設定しても構わないし、予め定められた又は別途指定されたベクトル分だけズラした位置のデプスマップを設定しても構わない。
【００６１】
なお、符号化対象画像と、符号化対象画像に対応するデプスマップとの解像度が異なる場合、解像度比に応じてスケーリングした領域を設定しても構わないし、解像度比に応じてスケーリングした領域を解像度比に応じてアップサンプルして生成したデプスマップを、設定しても構わない。また、符号化対象視点に対して過去に符号化された画像に対応するデプスマップの符号化対象領域と同じ位置のデプスマップを、設定しても構わない。
【００６２】
なお、符号化対象視点とは異なる視点の一つをデプス視点とし、デプス視点に基づくデプスマップを用いる場合は、符号化対象領域ｂｌｋにおける符号化対象視点とデプス視点との推定視差ＰＤＶを求め、「ｂｌｋ＋ＰＤＶ」におけるデプスマップを設定する。なお、符号化対象画像とデプスマップとの解像度が異なる場合は、解像度比に応じて位置及び大きさのスケーリングを行っても構わない。
【００６３】
符号化対象領域ｂｌｋにおける、符号化対象視点とデプス視点との推定視差ＰＤＶは、復号側と同じ方法であれば、どのような方法を用いて求めても構わない。例えば、符号化対象領域ｂｌｋの周辺領域を符号化する際に使用された視差ベクトル、符号化対象画像の全体や符号化対象領域を含む部分画像に対して設定されたグローバル視差ベクトル、又は、符号化対象領域ごとに別途設定され符号化された視差ベクトルなどを用いることが可能である。また、異なる符号化対象領域や、過去に符号化された符号化対象画像で使用された視差ベクトルを蓄積して、その蓄積された視差ベクトルを用いても構わない。
【００６４】
次に、視差ベクトル場生成部１０４は、設定したデプスマップを用いて、符号化対象領域ｂｌｋの視差ベクトル場を生成する（ステップＳ１０４）。この処理の詳細については後述する。
【００６５】
画像符号化部１０６は、符号化対象領域ｂｌｋの視差ベクトル場と、参照画像メモリ１０８に蓄積された画像とを用いて予測を行いながら、符号化対象領域ｂｌｋにおける符号化対象画像の映像信号（画素値）を符号化する（ステップＳ１０５）。
【００６６】
符号化の結果得られるビットストリームは、映像符号化装置１００の出力となる。なお、符号化する方法には、どのような方法を用いても構わない。例えば、画像符号化部１０６は、ＭＰＥＧ‐２やＨ．２６４／ＡＶＣなどの一般的な符号化が用いられる場合、符号化対象領域ｂｌｋの映像信号と予測画像との差分信号に対して、離散コサイン変換（DCT : Discrete Cosine Transform）などの周波数変換、量子化、２値化、エントロピー符号化を順に施すことで符号化を行う。
【００６７】
なお、画像符号化部１０６に入力される参照視点情報は、既に符号化済みの参照視点情報を復号したものなど、復号側で得られる参照視点情報と同じものとする。これは、復号側で得られる参照視点情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前の参照視点情報など、符号化側でしか得られない参照視点情報が入力されてもよい。
【００６８】
また、既に符号化済みの参照視点情報を復号した参照視点情報以外に、復号した参照視点画像や参照視点画像に対応するデプスマップを解析して得られる参照視点情報も、復号側で同じ参照視点情報が得られるものとして使用することができる。また、本実施形態では、必要な参照視点情報を領域ごとに入力するものとしたが、符号化対象画像の全体で用いる参照視点情報を事前に入力及び蓄積しておき、蓄積されている参照視点情報を符号化対象領域ごとに参照するようにしてもよい。
【００６９】
画像復号部１０７は、符号化対象領域ｂｌｋに対する映像信号を復号し、復号結果である復号対象画像を、参照画像メモリ１０８に蓄積する（ステップＳ１０６）。画像復号部１０７は、生成されたビットストリームを取得し、それを復号することで復号対象画像を生成する。画像復号部１０７は、符号化側での処理がロスレスになる直前のデータと予測画像とを取得し、簡略化した処理によって復号を実行してもよい。いずれの場合でも、画像復号部１０７は、符号化時に用いた手法に対応する手法を用いる。
【００７０】
例えば、画像復号部１０７は、ビットストリームを取得し、復号処理を行う場合、ＭＰＥＧ‐２やＨ．２６４／ＡＶＣなどの一般的な符号化が用いられるのであれば、符号データに対して、エントロピー復号、逆２値化、逆量子化、逆離散コサイン変換（IDCT: Inverse Discrete Cosine Transform）などの周波数逆変換を順に施す。画像復号部１０７は、得られた２次元信号に対して予測画像を加え、最後に、得られた値を画素値の値域でクリッピングすることで映像信号を復号する。
【００７１】
画像復号部１０７は、簡略化した処理によって復号を行う場合、前述の例であれば、符号化の際に量子化処理を加えた後の値と、動き補償予測画像とを取得し、その量子化後の値に逆量子化、周波数逆変換を順に施して得られた２次元信号に対して、動き補償予測画像を加え、得られた値を画素値の値域でクリッピングすることで映像信号を復号してもよい。
【００７２】
画像符号化部１０６は、ｂｌｋに１を加算する（ステップＳ１０７）。
画像符号化部１０６は、ｂｌｋがｎｕｍＢｌｋｓ未満であるか否か、を判定する（ステップＳ１０８）。ｂｌｋがｎｕｍＢｌｋｓ未満である場合（ステップＳ１０８：Ｙｅｓ）、画像符号化部１０６は、ステップＳ１０３に処理を戻す。一方、ｂｌｋがｎｕｍＢｌｋｓ未満でない場合（ステップＳ１０８：Ｎｏ）、画像符号化部１０６は、処理を終了する。
【００７３】
図３は、本発明の一実施形態における、視差ベクトル場生成部１０４が視差ベクトル場を生成する処理（ステップＳ１０４）の第１例を示すフローチャートである。
視差ベクトル場を生成する処理では、視差ベクトル場生成部１０４は、符号化対象視点と参照視点との位置関係に基づいて、符号化対象領域ｂｌｋを複数のサブ領域に分割する（ステップＳ１４０１）。視差ベクトル場生成部１０４は、視点の位置関係に従って視差の方向を同定し、視差の方向と平行に符号化対象領域ｂｌｋを分割する。
【００７４】
なお、視差の方向と平行に符号化対象領域を分割するとは、分割された符号化対象領域の境界線（符号化対象領域を分割するための分割線）が視差の方向と平行になることを意味し、視差の方向と直交する方向に複数の分割された符号化対象領域が並ぶことを意味する。つまり、視差が左右方向に生じる場合には、複数のサブ領域が上下に並ぶように、符号化対象領域が分割される。
【００７５】
符号化対象領域が分割される場合において、視差の方向に垂直な方向の幅は、復号側と同じであればどのような幅に設定してもよい。例えば、予め定められた幅（１画素、２画素、４画素又は８画素など）に設定してもよいし、デプスマップを解析することで幅を設定してもよい。さらに、全てのサブ領域で同じ幅を設定してもよいし、異なる幅を設定してもよい。例えば、サブ領域内のデプスマップの値に基づいてクラスタリングすることで、幅を設定してもよい。また、視差の方向は、任意の精度の角度で求めてもよいし、離散化された角度の中から選ぶようにしてもよい。例えば、視差の方向は、左右方向又は上下方向のどちらかを選択するようにしてもよい。この場合、領域分割は、上下又は左右のいずれかで行われることになる。
なお、符号化対象領域ごとに同じ数のサブ領域へ分割しても構わないし、異なる数のサブ領域へ分割しても構わない。
【００７６】
サブ領域への分割が終了した場合、視差ベクトル場生成部１０４は、サブ領域ごとに、デプスマップから視差ベクトルを求める（ステップＳ１４０２〜Ｓ１４０５）。
視差ベクトル場生成部１０４は、サブ領域インデックス「ｓｂｌｋ」を、０で初期化する（ステップＳ１４０２）。
【００７７】
視差ベクトル場生成部１０４は、サブ領域ｓｂｌｋのデプスマップから、視差ベクトルを求める（ステップＳ１４０３）。なお、１つのサブ領域ｓｂｌｋに対して、複数個の視差ベクトルを設定しても構わない。サブ領域ｓｂｌｋのデプスマップから視差ベクトルを求める方法には、どのような方法が用いられてもよい。例えば、視差ベクトル場生成部１０４は、サブ領域ｓｂｌｋを表す代表的なデプス値（代表デプスｒｅｐ）を求め、そのデプス値を視差ベクトルへ変換することで視差ベクトルを求めてもよい。一つのサブ領域ｓｂｌｋに対して、複数個の代表デプスを設定し、それぞれの代表デプスから得られる視差ベクトルを設定することで、複数個の視差ベクトルを設定することが可能である。
【００７８】
代表デプスｒｅｐを設定する代表的な方法としては、サブ領域ｓｂｌｋのデプスマップの平均値、最頻値、中央値、最大値又は最小値などを用いる方法がある。また、サブ領域ｓｂｌｋ内の全ての画素ではなく、一部の画素に対応するデプス値の平均値、中央値、最大値又は最小値などを用いても構わない。一部の画素としては、サブ領域ｓｂｌｋに定められた４頂点の画素、又は、４頂点及び中央の画素などを用いても構わない。更に、サブ領域ｓｂｌｋに対して左上又は中央など予め定められた位置に対応するデプス値を用いる方法もある。
【００７９】
視差ベクトル場生成部１０４は、ｓｂｌｋに１を加算する（ステップＳ１４０４）。
視差ベクトル場生成部１０４は、ｓｂｌｋがｎｕｍＳＢｌｋｓ未満であるか否かを判定する。ｎｕｍＳＢｌｋｓは、符号化対象領域ｂｌｋ内のサブ領域数を示す（ステップＳ１４０５）。ｓｂｌｋがｎｕｍＳＢｌｋｓ未満である場合（ステップＳ１４０５：Ｙｅｓ）、視差ベクトル場生成部１０４は、ステップＳ１４０３に処理を戻す。つまり、視差ベクトル場生成部１０４は、分割によって得られたサブ領域ごとに、デプスマップから視差ベクトルを求める「ステップＳ１４０３〜Ｓ１４０５」を繰り返すことになる。一方、ｓｂｌｋがｎｕｍＳＢｌｋｓ未満でない場合（ステップＳ１４０５：Ｎｏ）、視差ベクトル場生成部１０４は、処理を終了する。
【００８０】
図４は、本発明の一実施形態における、視差ベクトル場生成部１０４が視差ベクトル場を生成する処理（ステップＳ１０４）の第２例を示すフローチャートである。
視差ベクトル場を生成する処理では、視差ベクトル場生成部１０４は、符号化対象領域ｂｌｋを、複数のサブ領域に分割する（ステップＳ１４１１）。
【００８１】
符号化対象領域ｂｌｋの分割は、復号側と同じサブ領域になるのであれば、どのようなサブ領域に分割してもよい。例えば、視差ベクトル場生成部１０４は、予め定められたサイズ（１画素、２×２画素、４×４画素、８×８画素又は４×８画素など）のサブ領域の集合に、符号化対象領域ｂｌｋを分割してもよいし、デプスマップを解析することで符号化対象領域ｂｌｋを分割してもよい。
【００８２】
デプスマップを解析することで符号化対象領域ｂｌｋを分割する方法としては、視差ベクトル場生成部１０４は、同じサブ領域内のデプスマップの分散ができるだけ小さくなるように、符号化対象領域ｂｌｋを分割してもよい。別の方法としては、符号化対象領域ｂｌｋに定められた複数の画素に対応するデプスマップの値を比較して、符号化対象領域ｂｌｋを分割する方法を定めてもよい。また、予め定められたサイズの四角形領域に符号化対象領域ｂｌｋを分割しておき、その四角形領域ごとに、その四角形領域に定められた４頂点の画素値をチェックして、その四角形領域を分割してもよい。
【００８３】
なお、前述の例のように、視差ベクトル場生成部１０４は、符号化対象視点と参照視点との位置関係に基づいて、符号化対象領域ｂｌｋをサブ領域に分割してもよい。例えば、視差ベクトル場生成部１０４は、視差の方向に基づいて、サブ領域や前述の四角形領域の縦横比を定めてもよい。
【００８４】
符号化対象領域ｂｌｋをサブ領域に分割した場合、視差ベクトル場生成部１０４は、符号化対象視点と参照視点との位置関係に基づいてサブ領域をグルーピングし、サブ領域に順番（処理順序）を定める（ステップＳ１４１２）。ここでは、視差ベクトル場生成部１０４は、視点の位置関係に従って視差の方向を同定する。視差ベクトル場生成部１０４は、視差の方向と平行な向きに存在するサブ領域群を、同じグループにまとめる。視差ベクトル場生成部１０４は、グループに含まれるサブ領域の順番を、オクルージョンの発生する方向に従って、グループごとに定める。以下、視差ベクトル場生成部１０４は、サブ領域の順番を、オクルージョンと同じ方向に従って定めるものとする。
【００８５】
ここで、オクルージョンの方向とは、符号化対象視点からは観測できるが、参照視点からは観測できない領域に対応する符号化対象画像上のオクルージョン領域に対して、参照視点から見たときにそのオクルージョン領域を遮蔽している物体に対応する符号化対象画像上のオブジェクト領域（物体領域）を設定する場合に、符号化対象画像上でオブジェクト領域からオクルージョン領域に向かう方向を指す。
【００８６】
例えば、同じ方向を向いたカメラが２台あり、符号化対象視点に対応するカメラＢの左側に、参照視点に対応するカメラＡが存在する場合、符号化対象画像上で、水平右方向がオクルージョンの方向となる。なお、符号化対象視点と参照視点とが一次元平行配置されている場合、オクルージョンの方向と視差の方向とは一致する。ただし、ここでの視差は、符号化対象画像上の位置を起点として表現される。
【００８７】
以下、グループを示すインデックスを、「ｇｒｐ」と表記する。生成されたグループの数を「ｎｕｍＧｒｐｓ」と表記する。グループ内のサブ領域を順番に従って表すインデックスを「ｓｂｌｋ」と表記する。グループｇｒｐに含まれるサブ領域の数を「ｎｕｍＳＢｌｋｓｇｒｐ」と表記する。グループｇｒｐ内のインデックスｓｂｌｋのサブ領域を「ｓｕｂｂｌｋｇｒｐ，ｓｂｌｋ」と表記する。
【００８８】
視差ベクトル場生成部１０４は、サブ領域をグルーピングし、サブ領域に順番を定めた場合、グループに含まれるサブ領域に対して、視差ベクトルをグループごとに定める（ステップＳ１４１３〜Ｓ１４２３）。
視差ベクトル場生成部１０４は、グループｇｒｐを０で初期化する（ステップＳ１４１３）。
視差ベクトル場生成部１０４は、インデックスｓｂｌｋを、０で初期化する。視差ベクトル場生成部１０４は、グループ内での基本デプスｂａｓｅＤを、０で初期化する（ステップＳ１４１４）。
【００８９】
視差ベクトル場生成部１０４は、デプスマップから視差ベクトルを求める処理（ステップＳ１４１５〜Ｓ１４１９）を、グループｇｒｐ内のサブ領域ごとに繰り返す。なお、デプスの値は、０以上の値とする。デプスの値０は、視点から被写体までの距離が最も遠いことを表すものとする。つまり、デプスの値０は、視点から被写体までの距離が近いほど値が大きくなるものとする。
【００９０】
仮に、デプス値の大小が逆に定義された場合、すなわち、視点から被写体までの距離が近いほど値が小さくなるものと定義された場合、デプスの値は、値０で初期化されず、デプスの最大値で初期化される。この場合、デプス値の大小の比較は、値０が視点から被写体までの距離が最も遠いことを表す場合と比較して、適宜逆に読み替える必要がある。
【００９１】
グループｇｒｐ内のサブ領域ごとに繰り返される処理では、視差ベクトル場生成部１０４は、サブ領域ｓｕｂｂｌｋｇｒｐ，ｓｂｌｋのデプスマップから、サブ領域ｓｕｂｂｌｋｇｒｐ，ｓｂｌｋに基づく代表デプスｍｙＤを求める（ステップＳ１４１５）。代表デプスは、例えば、サブ領域ｓｕｂｂｌｋｇｒｐ，ｓｂｌｋのデプスマップの平均値、中間値、最小値、最大値又は最頻値などである。また、代表デプスは、サブ領域の全ての画素に対応するデプス値でもよいし、サブ領域ｓｕｂｂｌｋｇｒｐ，ｓｂｌｋに定められた４頂点の画素、又は、４頂点及び中央に位置する画素など、一部の画素に対応するデプス値でもよい。
【００９２】
視差ベクトル場生成部１０４は、代表デプスｍｙＤが基本デプスｂａｓｅＤ以上であるか否かを判定する（サブ領域ｓｕｂｂｌｋｇｒｐ，よりも前に処理されたサブ領域とのオクルージョンを判定する。ステップＳ１４１６）。代表デプスｍｙＤが基本デプスｂａｓｅＤ以上である場合（サブ領域ｓｕｂｂｌｋｇｒｐ，ｓｂｌｋに対する代表デプスｍｙＤが、当該サブ領域ｓｕｂｂｌｋｇｒｐ，ｓｂｌｋより前に処理されたサブ領域に対する代表デプスである基本デプスｂａｓｅＤよりも、より視点に近いことを示している場合。ステップＳ１４１６：Ｙｅｓ）、視差ベクトル場生成部１０４は、基本デプスｂａｓｅＤを代表デプスｍｙＤで更新する（ステップＳ１４１７）。
【００９３】
代表デプスｍｙＤが基本デプスｂａｓｅＤ未満である場合（ステップＳ１４１６：Ｎｏ）、視差ベクトル場生成部１０４は、代表デプスｍｙＤを基本デプスｂａｓｅＤで更新する（ステップＳ１４１８）。
視差ベクトル場生成部１０４は、代表デプスｍｙＤに基づいて、視差ベクトルを算出する。視差ベクトル場生成部１０４は、算出した視差ベクトルを、サブ領域ｓｕｂｂｌｋｇｒｐ，ｓｂｌｋの視差ベクトルに定める（ステップＳ１４１９）。
【００９４】
なお、図４では、視差ベクトル場生成部１０４は、サブ領域ごとに代表デプスを求めて、代表デプスに基づく視差ベクトルを算出しているが、デプスマップから視差ベクトルを直接算出してもよい。この場合、視差ベクトル場生成部１０４は、基本デプスの代わりに、基本視差ベクトルを蓄積及び更新する。また、視差ベクトル場生成部１０４は、代表デプスの代わりに、サブ領域ごとに代表視差ベクトルを求め、基本視差ベクトルと代表視差ベクトルとを比較し（サブ領域に対する視差ベクトルを当該サブ領域より前に処理されたサブ領域に対する視差ベクトルと比較し）、基本視差ベクトルの更新と、代表視差ベクトルの変更とを実行してもよい。
【００９５】
この比較の基準、及び、更新又は変更の方法は、符号化対象視点と参照視点との配置に依存する。符号化対象視点と参照視点とが一次元平行配置の場合、視差ベクトル場生成部１０４は、ベクトルが大きくなるように、基本視差ベクトル及び代表視差ベクトルを定める（サブ領域に対する視差ベクトル及び当該サブ領域より前に処理されたサブ領域に対する視差ベクトルのうち、大きい方を代表視差ベクトルとして設定する）。ただし、視差ベクトルは、オクルージョンの方向を正方向とし、符号化対象画像上の位置を起点として表現される。
【００９６】
なお、基本デプスの更新は、どのように実現されても構わない。例えば、視差ベクトル場生成部１０４は、代表デプスと基本デプスとの大小を常に比較して、基本デプスを更新又は代表デプスを変更する代わりに、基本デプスを最後に更新したサブ領域と、現在処理中のサブ領域の距離とに応じて、基本デプスを強制的に更新してもよい。
【００９７】
例えば、視差ベクトル場生成部１０４は、ステップＳ１４１７において、基本デプスに基づくサブ領域ｂａｓｅＢｌｋの位置を蓄積する。視差ベクトル場生成部１０４は、ステップＳ１４１８を実行する前に、サブ領域ｂａｓｅＢｌｋの位置と、サブ領域ｓｕｂｂｌｋｇｒｐ，ｓｂｌｋの位置との差が、基本デプスに基づく視差ベクトルよりも大きくなるか否かを判定してもよい。基本デプスに基づく視差ベクトルよりも差が大きくなる場合、視差ベクトル場生成部１０４は、基本デプスを更新する処理（ステップＳ１４１７）を実行する。一方、基本デプスに基づく視差ベクトルよりも差が大きくならない場合、視差ベクトル場生成部１０４は、代表デプスを変更する処理（ステップＳ１４１８）を実行する。
【００９８】
視差ベクトル場生成部１０４は、ｓｂｌｋに１を加算する（ステップＳ１４２０）。
視差ベクトル場生成部１０４は、ｓｂｌｋがｎｕｍＳＢｌｋｓｇｒｐ未満であるか否かを判定する（ステップＳ１４２１）。ｓｂｌｋがｎｕｍＳＢｌｋｓｇｒｐ未満である場合（ステップＳ１４２１：Ｙｅｓ）、視差ベクトル場生成部１０４は、ステップＳ１４１５に処理を戻す。
【００９９】
一方、ｓｂｌｋがｎｕｍＳＢｌｋｓｇｒｐ以上である場合（ステップＳ１４２１：Ｎｏ）、視差ベクトル場生成部１０４は、グループｇｒｐに含まれる各サブ領域に定めた順番で、デプスマップに基づいて視差ベクトルを求める処理（ステップＳ１４１４〜Ｓ１４２１）を繰り返す。
【０１００】
視差ベクトル場生成部１０４は、グループｇｒｐに１を加算する（ステップＳ１４２２）。視差ベクトル場生成部１０４は、グループｇｒｐがｎｕｍＧｒｐｓ未満であるか否かを判定する（ステップＳ１４２３）。グループｇｒｐがｎｕｍＧｒｐｓ未満である場合（ステップＳ１４２３：Ｙｅｓ）、視差ベクトル場生成部１０４は、ステップＳ１４１４に処理を戻す。一方、グループｇｒｐがｎｕｍＧｒｐｓ以上である場合（ステップＳ１４２３：Ｎｏ）、視差ベクトル場生成部１０４は、処理を終了する。
【０１０１】
次に、復号について説明する。
図５は、本発明の一実施形態における、映像復号装置の構成を示すブロック図である。映像復号装置２００は、ビットストリーム入力部２０１と、ビットストリームメモリ２０２と、デプスマップ入力部２０３と、視差ベクトル場生成部２０４（視差ベクトル設定部、処理方向設定部、代表デプス設定部、領域分割設定部、領域分割部）と、参照視点情報入力部２０５と、画像復号部２０６と、参照画像メモリ２０７とを備える。
【０１０２】
ビットストリーム入力部２０１は、映像符号化装置１００が符号化したビットストリーム、すなわち、復号対象となる映像のビットストリームを、ビットストリームメモリ２０２に入力する。ビットストリームメモリ２０２は、復号対象となる映像のビットストリームを記憶する。以下では、この復号対象となる映像に含まれる画像を「復号対象画像」という。復号対象画像は、カメラＢが撮影した映像（復号対象画像群）に含まれる画像である。また、以下では、復号対象画像を撮影したカメラＢの視点を「復号対象視点」という。
【０１０３】
デプスマップ入力部２０３は、視点間の画素の対応関係に基づく視差ベクトルを求める際に参照するデプスマップを、視差ベクトル場生成部２０４に入力する。ここでは、復号対象画像に対応するデプスマップを入力するものとするが、別の視点（参照視点など）におけるデプスマップでも構わない。
【０１０４】
なお、このデプスマップとは、復号対象画像に写っている被写体の３次元位置を画素ごとに表すものである。デプスマップは、例えば、カメラから被写体までの距離、画像平面とは平行ではない軸の座標値、又は、別のカメラ（例えばカメラＡ）に対する視差量を用いて表現することができる。ここでは、画像の形態でデプスマップが渡されるものとしているが、同様の情報が得られるのであれば、デプスマップは画像の形態で渡されなくても構わない。
【０１０５】
視差ベクトル場生成部２０４は、復号対象画像に含まれる領域と、その復号対象画像に対応付けられた参照視点情報に含まれる領域との視差ベクトル場を、デプスマップから生成する。参照視点情報入力部２０５は、復号対象画像とは異なる視点（カメラＡ）から撮影された映像に含まれる画像に基づく情報、すなわち、参照視点情報を、画像復号部２０６に入力する。復号対象画像とは異なる視点に基づく映像に含まれる画像は、復号対象画像を復号する際に参照される画像である。以下では、復号対象画像を復号する際に参照される画像の視点を「参照視点」という。参照視点の画像を「参照視点画像」という。参照視点情報とは、例えば、復号対象画像を復号する際に予測する対象に基づく情報である。
【０１０６】
画像復号部２０６は、参照画像メモリ２０７に蓄積された復号対象画像（参照視点画像）と、生成された視差ベクトル場と、参照視点情報とに基づいて、ビットストリームから復号対象画像を復号する。
参照画像メモリ２０７は、画像復号部２０６により復号された復号対象画像を、参照視点画像として蓄積する。
【０１０７】
次に、映像復号装置２００の動作を説明する。
図６は、本発明の一実施形態における、映像復号装置２００の動作を示すフローチャートである。
ビットストリーム入力部２０１は、復号対象画像を符号化したビットストリームを、ビットストリームメモリ２０２に入力する。ビットストリームメモリ２０２は、復号対象画像を符号化したビットストリームを記憶する。参照視点情報入力部２０５は、参照視点情報を、画像復号部２０６に入力する（ステップＳ２０１）。
【０１０８】
なお、ここで入力される参照視点情報は、符号化側で使用された参照視点情報と同じ参照視点情報とする。これは、符号化時に用いた参照視点情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用された参照視点情報とは異なる参照視点情報が入力されてもよい。また、既に符号化済みの参照視点情報を復号した参照視点情報以外に、復号した参照視点画像や参照視点画像に対応するデプスマップを解析して得られる参照視点情報も、復号側で同じ参照視点情報が得られるものとして使用することができる。
【０１０９】
また、本実施形態では、参照視点情報を領域ごとに画像復号部２０６に入力するものとしたが、復号対象画像の全体で用いる参照視点情報を事前に入力及び蓄積しておき、画像復号部２０６は、蓄積されている参照視点情報を、領域ごとに参照するようにしてもよい。
【０１１０】
ビットストリーム及び参照視点情報が入力された場合、画像復号部２０６は、予め定められた大きさの領域に復号対象画像を分割し、分割した領域ごとに、復号対象画像の映像信号をビットストリームから復号する。以下、復号対象画像を分割した領域を「復号対象領域」という。一般的な復号では、１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックに分割するが、符号化側と同じであれば、その他の大きさのブロックに分割しても構わない。また、画像復号部２０６は、復号対象画像の全体を同じサイズで分割せず、領域ごとに異なるサイズのブロックに分割しても構わない（ステップＳ２０２〜Ｓ２０７）。
【０１１１】
図６では、復号対象領域インデックスを「ｂｌｋ」と表す。復号対象画像の１フレーム中の復号対象領域の総数を「ｎｕｍＢｌｋｓ」と表す。ｂｌｋは、０で初期化される（ステップＳ２０２）。
復号対象領域ごとに繰り返される処理では、まず、復号対象領域ｂｌｋのデプスマップを設定する（ステップＳ２０３）。このデプスマップは、デプスマップ入力部２０３によって入力される。なお、入力されるデプスマップは、符号化側で使用されたデプスマップと同じデプスマップとする。これは、符号化側で使用したデプスマップと同じデプスマップを用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化側とは異なるデプスマップが入力されても構わない。
【０１１２】
符号化側で使用されたデプスマップと同じデプスマップとしては、ビットストリームから別途復号したデプスマップ以外に、複数のカメラについて復号された多視点映像に対してステレオマッチング等を適用することで推定したデプスマップ、又は、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなどを使用することができる。
【０１１３】
また、本実施形態では、復号対象領域のデプスマップを、復号対象領域ごとに画像復号部２０６に入力するものとしたが、復号対象画像の全体で用いるデプスマップを事前に入力及び蓄積しておき、画像復号部２０６は、蓄積されているデプスマップを復号対象領域ごとに参照することで、復号対象領域ｂｌｋのデプスマップを設定しても構わない。
【０１１４】
復号対象領域ｂｌｋのデプスマップは、どのように設定されても構わない。例えば、復号対象画像に対応するデプスマップを用いる場合、復号対象画像における復号対象領域ｂｌｋの位置と同じ位置のデプスマップを設定しても構わないし、予め定められた又は別途指定されたベクトル分だけズラした位置のデプスマップを設定しても構わない。
【０１１５】
なお、復号対象画像と、復号対象画像に対応するデプスマップとの解像度が異なる場合は、解像度比に応じてスケーリングした領域を設定しても構わないし、解像度比に応じてスケーリングした領域を解像度比に応じてアップサンプルして生成したデプスマップを、設定しても構わない。また、復号対象視点に対して過去に復号された画像に対応するデプスマップの復号対象領域と同じ位置のデプスマップを、設定しても構わない。
【０１１６】
なお、復号対象視点とは異なる視点の一つをデプス視点とし、デプス視点におけるデプスマップを用いる場合は、復号対象領域ｂｌｋにおける復号対象視点とデプス視点との推定視差ＰＤＶを求め、「ｂｌｋ＋ＰＤＶ」におけるデプスマップを設定する。なお、復号対象画像とデプスマップとの解像度が異なる場合は、解像度比に応じて位置及び大きさのスケーリングを行っても構わない。
【０１１７】
復号対象領域ｂｌｋにおける、復号対象視点とデプス視点の推定視差ＰＤＶは、符号化側と同じ方法であれば、どのような方法を用いて求めても構わない。例えば、復号対象領域ｂｌｋの周辺領域を復号する際に使用された視差ベクトル、復号対象画像の全体や復号対象領域を含む部分画像に対して設定されたグローバル視差ベクトル、又は、復号対象領域ごとに別途設定され符号化された視差ベクトルなどを用いることが可能である。また、異なる復号対象領域や、過去に復号された復号対象画像で使用した視差ベクトルを蓄積して、その蓄積された視差ベクトルを用いても構わない。
【０１１８】
次に、視差ベクトル場生成部２０４は、復号対象領域ｂｌｋにおける視差ベクトル場を生成する（ステップＳ２０４）。この処理は、符号化対象領域を復号対象領域に置き換えて読むだけで、前述したステップＳ１０４と同じである。
【０１１９】
画像復号部２０６は、復号対象領域ｂｌｋの視差ベクトル場と、参照視点情報入力部２０５から入力された参照視点情報と、参照画像メモリ２０７に蓄積された参照視点画像と、を用いて予測を行いながら、復号対象領域ｂｌｋにおける映像信号（画素値）を、ビットストリームから復号する（ステップＳ２０５）。
【０１２０】
得られた復号対象画像は、参照画像メモリ２０７に蓄積されると共に、映像復号装置２００の出力となる。なお、映像信号の復号には、符号化時に用いられた方法に対応する方法が用いられる。画像復号部２０６は、例えば、ＭＰＥＧ‐２やＨ．２６４／ＡＶＣなどの一般的な符号化が用いられた場合、ビットストリームに対して、エントロピー復号、逆２値化、逆量子化、逆離散コサイン変換などの周波数逆変換を順に施し、得られた２次元信号に対して予測画像を加え、最後に、得られた値を画素値の値域でクリッピングすることで、映像信号をビットストリームから復号する。
【０１２１】
なお、参照視点情報とは、参照視点画像や、参照視点画像に基づくベクトル場などである。このベクトルは、例えば、動きベクトルである。参照視点画像が使用される場合、視差ベクトル場は、視差補償予測に使用される。参照視点画像に基づくベクトル場が使用される場合、視差ベクトル場は、視点間ベクトル予測に使用される。なお、これら以外の情報（例えば、ブロック分割方法、予測モード、イントラ予測方向、インループフィルタパラメータなど）が、予測に使用されても構わない。また、複数の情報が、予測に使用されても構わない。
【０１２２】
画像復号部２０６は、ｂｌｋに１を加算する（ステップＳ２０６）。
画像復号部２０６は、ｂｌｋがｎｕｍＢｌｋｓ未満であるか否か、を判定する（ステップＳ２０７）。ｂｌｋがｎｕｍＢｌｋｓ未満である場合（ステップＳ２０７：Ｙｅｓ）、画像復号部２０６は、ステップＳ２０３に処理を戻す。一方、ｂｌｋがｎｕｍＢｌｋｓ未満でない場合（ステップＳ２０７：Ｎｏ）、画像復号部２０６は、処理を終了する。
【０１２３】
上述した実施形態では、符号化対象画像又は復号対象画像を分割した領域ごとに、視差ベクトル場の生成を行ったが、符号化対象画像又は復号対象画像の全ての領域に対して、視差ベクトル場を事前に生成及び蓄積しておき、蓄積された視差ベクトル場を領域ごとに参照するようにしても構わない。
【０１２４】
上述した実施形態では、画像全体を符号化又は復号する処理として書かれているが、画像の一部分のみに処理を適用することも可能である。この場合、処理を適用するか否かを示すフラグを、符号化又は復号しても構わない。また、処理を適用するか否かを示すフラグを、なんらか別の手段で指定しても構わない。例えば、処理を適用するか否かは、領域ごとの予測画像を生成する手法を示すモードの一つとして、表現されても構わない。
【０１２５】
次に、映像符号化装置及び映像復号装置を、コンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成の例を説明する。
図７は、本発明の一実施形態における、映像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成の例を示すブロック図である。システムは、ＣＰＵ（Central Processing Unit）５０と、メモリ５１と、符号化対象画像入力部５２と、参照視点情報入力部５３と、デプスマップ入力部５４と、プログラム記憶装置５５と、ビットストリーム出力部５６とを備える。各部は、バスを介して通信可能に接続されている。
【０１２６】
ＣＰＵ５０は、プログラムを実行する。メモリ５１は、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ（Random Access Memory）等である。符号化対象画像入力部５２は、カメラＢ等からの符号化対象の映像信号を、ＣＰＵ５０に入力する。符号化対象画像入力部５２は、映像信号を記憶するディスク装置等の記憶部でもよい。参照視点情報入力部５３は、カメラＡ等の参照視点からの映像信号を、ＣＰＵ５０に入力する。参照視点情報入力部５３は、映像信号を記憶するディスク装置等の記憶部でもよい。デプスマップ入力部５４は、デプスカメラなどにより被写体を撮影した視点におけるデプスマップを、ＣＰＵ５０に入力する。デプスマップ入力部５４は、デプスマップを記憶するディスク装置等の記憶部でもよい。プログラム記憶装置５５は、映像像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである映像符号化プログラム５５１を格納する。
【０１２７】
ビットストリーム出力部５６は、プログラム記憶装置５５からメモリ５１にロードされた映像符号化プログラム５５１をＣＰＵ５０が実行することにより生成されたビットストリームを、例えば、ネットワークを介して出力する。ビットストリーム出力部５６は、ビットストリームを記憶するディスク装置等の記憶部でもよい。
【０１２８】
符号化対象画像入力部１０１は、符号化対象画像入力部５２に対応する。符号化対象画像メモリ１０２は、メモリ５１に対応する。デプスマップ入力部１０３は、デプスマップ入力部５４に対応する。視差ベクトル場生成部１０４は、ＣＰＵ５０に対応する。参照視点情報入力部１０５は、参照視点情報入力部５３に対応する。画像符号化部１０６は、ＣＰＵ５０に対応する。画像復号部１０７は、ＣＰＵ５０に対応する。参照画像メモリ１０８は、メモリ５１に対応する。
【０１２９】
図８は、本発明の一実施形態における、映像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成の例を示すブロック図である。システムは、ＣＰＵ６０と、メモリ６１と、ビットストリーム入力部６２と、参照視点情報入力部６３と、デプスマップ入力部６４と、プログラム記憶装置６５と、復号対象画像出力部６６とを備える。各部は、バスを介して通信可能に接続されている。
【０１３０】
ＣＰＵ６０は、プログラムを実行する。メモリ６１は、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等である。ビットストリーム入力部６２は、映像符号化装置１００が符号化したビットストリームを、ＣＰＵ６０に入力する。ビットストリーム入力部６２は、ビットストリームを記憶するディスク装置等の記憶部でもよい。参照視点情報入力部６３は、カメラＡ等の参照視点からの映像信号を、ＣＰＵ６０に入力する。参照視点情報入力部６３は、映像信号を記憶するディスク装置等の記憶部でもよい。
【０１３１】
デプスマップ入力部６４は、デプスカメラなどにより被写体を撮影した視点におけるデプスマップを、ＣＰＵ６０に入力する。デプスマップ入力部６４は、デプス情報を記憶するディスク装置等の記憶部でもよい。プログラム記憶装置６５は、映像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである映像復号プログラム６５１を格納する。復号対象画像出力部６６は、メモリ６１にロードされた映像復号プログラム６５１をＣＰＵ６０が実行することによりビットストリームを復号して得られた復号対象画像を、再生装置などに出力する。復号対象画像出力部６６は、映像信号を記憶するディスク装置等の記憶部でもよい。
【０１３２】
ビットストリーム入力部２０１は、ビットストリーム入力部６２に対応する。ビットストリームメモリ２０２は、メモリ６１に対応する。参照視点情報入力部２０５は、参照視点情報入力部６３に対応する。参照画像メモリ２０７は、メモリ６１に対応する。デプスマップ入力部２０３は、デプスマップ入力部６４に対応する。視差ベクトル場生成部２０４は、ＣＰＵ６０に対応する。画像復号部２０６は、ＣＰＵ６０に対応する。
【０１３３】
上述した実施形態における映像符号化装置１００又は映像復号装置２００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、映像符号化装置１００及び映像復号装置２００は、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【０１３４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【０１３５】
本発明は、例えば、自由視点映像の符号化及び復号に適用することができる。本発明によれば、複数の視点に対する映像とデプスマップとを構成要素に持つ自由視点映像データの符号化において、映像信号や動きベクトルの視点間予測の精度を向上させ、映像符号化の効率を向上させることが可能となる。
【符号の説明】
【０１３６】
５０…ＣＰＵ，５１…メモリ，５２…符号化対象画像入力部，５３…参照視点情報入力部，５４…デプスマップ入力部，５５…プログラム記憶装置，５６…ビットストリーム出力部，６０…ＣＰＵ，６１…メモリ，６２…ビットストリーム入力部，６３…参照視点情報入力部，６４…デプスマップ入力部，６５…プログラム記憶装置，６６…復号対象画像出力部，１００…映像符号化装置，１０１…符号化対象画像入力部，１０２…符号化対象画像メモリ，１０３…デプスマップ入力部，１０４…視差ベクトル場生成部，１０５…参照視点情報入力部，１０６…画像符号化部，１０７…画像復号部，１０８…参照画像メモリ，２００…映像復号装置，２０１…ビットストリーム入力部，２０２…ビットストリームメモリ，２０３…デプスマップ入力部，２０４…視差ベクトル場生成部，２０５…参照視点情報入力部，２０６…画像復号部，２０７…参照画像メモリ，５５１…映像符号化プログラム，６５１…映像復号プログラム
【図１】
2015098827.tif 000003
【図２】
2015098827.tif 000004
【図３】
2015098827.tif 000005
【図４】
2015098827.tif 000006
【図５】
2015098827.tif 000007
【図６】
2015098827.tif 000008
【図７】
2015098827.tif 000009
【図８】
2015098827.tif 000010
【手続補正書】
【提出日】平成27年7月24日(2015.7.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化装置であって、
前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記符号化対象領域の分割方法を決定する領域分割決定部と、
前記分割方法に従って前記符号化対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部と
を有する映像符号化装置。
【請求項２】
前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、
前記視差ベクトル設定部は、前記サブ領域ごとに設定された前記代表デプスに基づいて、前記視差ベクトルを設定する請求項１に記載の映像符号化装置。
【請求項３】
前記領域分割設定部は、前記符号化対象領域を分割するための分割線の方向を、前記符号化対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ方向に設定する請求項１または請求項２に記載の映像符号化装置。
【請求項４】
複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化装置であって、
前記符号化対象領域を複数のサブ領域へと分割する領域分割部と、
前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定部と、
前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部と
を有する映像符号化装置。
【請求項５】
前記処理方向設定部は、前記符号化対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ向きに存在する前記サブ領域の集合ごとに、前記視差の方向と同じ向きで前記順番を設定する請求項４に記載の映像符号化装置。
【請求項６】
前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する視差ベクトルと、当該サブ領域に対して前記デプスマップを用いて設定される視差ベクトルとを比較して、大きさの大きい方を前記参照視点に対する前記視差ベクトルとして設定する請求項４または請求項５に記載の映像符号化装置。
【請求項７】
前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、
前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する前記代表デプスと、当該サブ領域に対して設定された前記代表デプスとを比較し、より前記符号化対象画像の前記視点に近いことを示す前記代表デプスに基づいて、前記視差ベクトルを設定する請求項４または請求項５に記載の映像符号化装置。
【請求項８】
複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号装置であって、
前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記復号対象領域の分割方法を決定する領域分割設定部と、
前記分割方法に従って前記復号対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部と
を有する映像復号装置。
【請求項９】
前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、
前記視差ベクトル設定部は、前記サブ領域ごとに設定された前記代表デプスに基づいて、前記視差ベクトルを設定する請求項８に記載の映像復号装置。
【請求項１０】
前記領域分割設定部は、前記復号対象領域を分割するための分割線の方向を、前記復号対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ方向に設定する請求項８または請求項９に記載の映像復号装置。
【請求項１１】
複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号装置であって、
前記復号対象領域を複数のサブ領域へと分割する領域分割部と、
前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定部と、
前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部と
を有する映像復号装置。
【請求項１２】
前記処理方向設定部は、前記復号対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ向きに存在する前記サブ領域の集合ごとに、前記視差の方向と同じ向きで前記順番を設定する請求項１１に記載の映像復号装置。
【請求項１３】
前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する視差ベクトルと、当該サブ領域に対して前記デプスマップを用いて設定される視差ベクトルとを比較して、大きさの大きい方を前記参照視点に対する前記視差ベクトルとして設定する請求項１１または請求項１２に記載の映像復号装置。
【請求項１４】
前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、
前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する前記代表デプスと、当該サブ領域に対して設定された前記代表デプスとを比較し、より前記復号対象画像の前記視点に近いことを示す前記代表デプスに基づいて、前記視差ベクトルを設定する請求項１１または請求項１２に記載の映像復号装置。
【請求項１５】
複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化方法であって、
前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記符号化対象領域の分割方法を決定する領域分割設定ステップと、
前記分割方法に従って前記符号化対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップと
を有する映像符号化方法。
【請求項１６】
複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化方法であって、
前記符号化対象領域を複数のサブ領域へと分割する領域分割ステップと、
前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定ステップと、
前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップと
を有する映像符号化方法。
【請求項１７】
複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号方法であって、
前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記復号対象領域の分割方法を決定する領域分割設定ステップと、
前記分割方法に従って前記復号対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップと
を有する映像復号方法。
【請求項１８】
複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号方法であって、
前記復号対象領域を複数のサブ領域へと分割する領域分割ステップと、
前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定ステップと、
前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定ステップと
を有する映像復号方法。
【請求項１９】
コンピュータに、請求項１５または１６に記載の映像符号化方法を実行させるための映像符号化プログラム。
【請求項２０】
コンピュータに、請求項１７または１８に記載の映像復号方法を実行させるための映像復号プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
ル設定部は、前記サブ領域ごとに設定された前記代表デプスに基づいて、前記視差ベクトルを設定する。
［００２２］
好ましくは、本発明の一態様において、前記領域分割設定部は、前記符号化対象領域を分割するための分割線の方向を、前記符号化対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ方向に設定する。
［００２３］
本発明の一態様は、複数の異なる視点の映像からなる多視点映像の１フレームである符号化対象画像を符号化する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記符号化対象画像を分割した領域である符号化対象領域ごとに、前記符号化対象画像の視点とは異なる参照視点から予測符号化を行う映像符号化装置であって、前記符号化対象領域を複数のサブ領域へと分割する領域分割部と、前記符号化対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定部と、前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しながら、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部とを有する。
［００２４］
好ましくは、本発明の一態様において、前記処理方向設定部は、前記符号化対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ向きに存在する前記サブ領域の集合ごとに、前記視差の方向と同じ向きで前記順番を設定する。
［００２５］
好ましくは、本発明の一態様において、前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する視差ベクトルと、当該サブ領域に対して前記デプスマップを用いて設定される視差ベクトルとを比較して、大きさの大きい方を前記参照視点に対する前記視差ベクトルとして設定する。
［００２６］
好ましくは、本発明の一態様は、前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、前記視差ベクトル設定部は、当該サブ領域より前に処理されたサブ領域に対する前記代表デ
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
プスと、当該サブ領域に対して設定された前記代表デプスとを比較し、より前記符号化対象画像の前記視点に近いことを示す前記代表デプスに基づいて、前記視差ベクトルを設定する。
［００２７］
本発明の一態様は、複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号装置であって、前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記復号対象領域の分割方法を決定する領域分割設定部と、前記分割方法に従って前記復号対象領域を分割して得られるサブ領域ごとに、前記デプスマップを用いて、前記参照視点に対する視差ベクトルを設定する視差ベクトル設定部とを有する。
［００２８］
好ましくは、本発明の一態様は、前記サブ領域に対する前記デプスマップから代表デプスを設定する代表デプス設定部をさらに有し、前記視差ベクトル設定部は、前記サブ領域ごとに設定された前記代表デプスに基づいて、前記視差ベクトルを設定する。
［００２９］
好ましくは、本発明の一態様において、前記領域分割設定部は、前記復号対象領域を分割するための分割線の方向を、前記復号対象画像の前記視点と前記参照視点との間に生じる視差の方向と同じ方向に設定する。
［００３０］
本発明の一態様は、複数の異なる視点の映像からなる多視点映像の符号データから、復号対象画像を復号する際に、前記多視点映像中の被写体に対するデプスマップを用いて、前記復号対象画像を分割した領域である復号対象領域ごとに、前記復号対象画像の視点とは異なる参照視点から予測しながら復号を行う映像復号装置であって、前記復号対象領域を複数のサブ領域へと分割する領域分割部と、前記復号対象画像の前記視点と前記参照視点との位置関係に基づいて、前記サブ領域を処理する順番を設定する処理方向設定部と、前記順番に従って、前記サブ領域ごとに、前記デプスマップを用いて、当該サブ領域より前に処理されたサブ領域とのオクルージョンを判定しなが
【国際調査報告】
2015098827.tif 000011
2015098827.tif 000012
2015098827.tif 000013
2015098827.tif 000014