(57)【要約】  符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置。既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し、参照先である第１参照領域を示す第１参照情報を決定する予測手段と、前記第１参照領域に対応するデプスマップから、符号化対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定手段と、前記第２参照情報、または前記第１参照情報と前記第２参照情報との両方に基づいて予測画像を生成する予測画像生成手段とを有する。
2015056700.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置であって、
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し、参照先である第１参照領域を示す第１参照情報を決定する予測手段と、
前記第１参照領域に対応するデプスマップから、符号化対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定手段と、
前記第２参照情報、または前記第１参照情報と前記第２参照情報との両方に基づいて予測画像を生成する予測画像生成手段と
を有することを特徴とする映像符号化装置。
【請求項２】
前記第１参照情報は符号化対象画像と異なるフレームの画像上の参照先を示し、前記第２参照情報は符号化対象画像と異なる視点の画像上の参照先を示すことを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
前記予測画像生成手段は、前記第１参照情報を使用して第１一次予測画像を生成し、前記第２参照情報を使用して第２一次予測画像を生成し、前記第１一次予測画像と前記第２一次予測画像とを混合することによって前記予測画像を生成することを特徴とする請求項１に記載の映像符号化装置。
【請求項４】
前記予測画像生成手段は、符号化対象画像の部分領域毎に、前記第１参照情報と前記第２参照情報のうちのいずれかまたは両方を使用して、前記予測画像を生成することを特徴とする請求項１に記載の映像符号化装置。
【請求項５】
前記第１参照領域に対応するデプスマップによって決定される前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域に基づいて、符号化対象画像の部分領域毎に、前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用するかを判定する判定手段を更に有し、
前記予測画像生成手段は、前記判定手段の判定結果に基づいて、符号化対象画像の部分領域毎に、前記前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用して前記予測画像を生成することを特徴とする請求項４に記載の映像符号化装置。
【請求項６】
前記予測画像生成手段は、前記第１参照情報を使用して第１一次予測画像を生成し、前記第２参照情報を使用して第２一次予測画像を生成し、更に前記第１参照情報と前記第１参照領域に対応するデプスマップ、または前記第１参照情報と前記第２参照情報を使用して残差予測を行うことにより前記予測画像を生成することを特徴とする請求項１に記載の映像符号化装置。
【請求項７】
前記予測画像生成手段は、前記第１参照領域に対応するデプスマップによって決定される、前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域から二次予測画像を生成し、前記第１一次予測画像と前記第２一次予測画像と前記二次予測画像とから残差予測を行い、前記予測画像を生成することを特徴とする請求項６に記載の映像符号化装置。
【請求項８】
符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置であって、
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し、参照先である第１参照領域を示す第１参照情報を決定する予測手段と、
前記第１参照領域に対応するデプスマップから、符号化対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定手段と、
前記第２参照情報を、符号化対象画像の周辺画像の予測情報をリスト化した候補リストに加える候補リスト更新手段と
を有することを特徴とする映像符号化装置。
【請求項９】
復号対象映像に含まれる復号対象画像を予測復号する映像復号装置であって、
符号化された予測情報または該映像復号装置で参照可能な情報に基づく第１参照情報の示す参照先である第１参照領域に対応するデプスマップから、復号対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定手段と、
前記第２参照情報、または前記第１参照情報と前記第２参照情報との両方に基づいて予測画像を生成する予測画像生成手段と
を有することを特徴とする映像復号装置。
【請求項１０】
前記第１参照情報は復号対象画像と異なるフレームの画像上の参照先を示し、前記第２参照情報は復号対象画像と異なる視点の画像上の参照先を示すことを特徴とする請求項９に記載の映像復号装置。
【請求項１１】
前記予測画像生成手段は、前記第１参照情報を使用して第１一次予測画像を生成し、前記第２参照情報を使用して第２一次予測画像を生成し、前記第１一次予測画像と前記第２一次予測画像とを混合することによって前記予測画像を生成することを特徴とする請求項請求項９に記載の映像復号装置。
【請求項１２】
前記予測画像生成手段は、復号対象画像の部分領域毎に前記第１参照情報と前記第２参照情報のうちのいずれかまたは両方を使用して前記予測画像を生成することを特徴とする請求項９に記載の映像復号装置。
【請求項１３】
前記第１参照領域に対応するデプスマップによって決定される前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域に基づいて、復号対象画像の部分領域毎に前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用するかを判定する判定手段を更に有し、
前記予測画像生成手段は、前記判定手段の判定結果に基づいて、復号対象画像の部分領域毎に、前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用して前記予測画像を生成することを特徴とする請求項１２に記載の映像復号装置。
【請求項１４】
前記予測画像生成手段は、前記第１参照情報を使用して第１一次予測画像を生成し、前記第２参照情報を使用して第２一次予測画像を生成し、更に前記第１参照情報と前記第１参照領域に対応するデプスマップ、または前記第１参照情報と前記第２参照情報を使用して残差予測を行うことにより前記予測画像を生成することを特徴とする請求項９に記載の映像復号装置。
【請求項１５】
前記予測画像生成手段は、前記第１参照領域に対応するデプスマップによって決定される、前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域から二次予測画像を生成し、前記第１一次予測画像と前記第２一次予測画像と前記二次予測画像とから残差予測を行い前記予測画像を生成することを特徴とする請求項１４に記載の映像復号装置。
【請求項１６】
復号対象映像に含まれる復号対象画像を予測復号する映像復号装置であって、
既に復号済みの画像を参照ピクチャとして復号対象画像を予測し参照先である第１参照領域を示す第１参照情報を決定する予測手段と、
前記第１参照領域に対応するデプスマップと、復号対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定手段と、
前記第２参照情報を、復号対象画像の周辺画像の予測情報をリスト化した候補リストに加える候補リスト更新手段と
を有することを特徴とする映像復号装置。
【請求項１７】
符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置が行う映像符号化方法であって、
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し参照先である第１参照領域を示す第１参照情報を決定する予測ステップと、
前記第１参照領域に対応するデプスマップと、符号化対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定ステップと、
前記第２参照情報または前記第１参照情報と前記第２参照情報の両方に基づいて予測画像を生成する予測画像生成ステップと
を備えることを特徴とする映像符号化方法。
【請求項１８】
符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置が行う映像符号化方法であって、
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し参照先である第１参照領域を示す第１参照情報を決定する予測ステップと、
前記第１参照領域に対応するデプスマップから、符号化対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定ステップと、
前記第２参照情報を、符号化対象画像の周辺画像の予測情報をリスト化した候補リストに加える候補リスト更新ステップと
を備えることを特徴とする映像符号化方法。
【請求項１９】
復号対象映像に含まれる復号対象画像を予測復号する映像復号装置が行う映像復号方法であって、
符号化された予測情報または該映像復号装置で参照可能ないずれかの情報に基づく第１参照情報の示す参照先である第１参照領域に対応するデプスマップから、復号対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定ステップと、
前記第２参照情報または前記第１参照情報と前記第２参照情報の両方に基づいて予測画像を生成する予測画像生成ステップと
を備えることを特徴とする映像復号方法。
【請求項２０】
復号対象映像に含まれる復号対象画像を予測復号する映像復号装置が行う映像復号方法であって、
既に復号済みの画像を参照ピクチャとして復号対象画像を予測し参照先である第１参照領域を示す第１参照情報を決定する予測ステップと、
前記第１参照領域に対応するデプスマップと、復号対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定ステップと、
前記第２参照情報を、復号対象画像の周辺画像の予測情報をリスト化した候補リストに加える候補リスト更新ステップと
を備えることを特徴とする映像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化装置、映像復号装置、映像符号化方法、及び、映像復号方法に関する。
本願は、２０１３年１０月１７日に出願された特願２０１３−２１６５２５号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
一般的な映像符号化では、被写体の空間的／時間的な連続性を利用して、映像の各フレームを処理単位ブロックに分割し、ブロック毎にその映像信号を空間的／時間的に予測し、その予測方法を示す予測情報と予測残差信号とを符号化することで、映像信号そのものを符号化する場合に比べて大幅な符号化効率の向上を図っている。また、一般的な二次元映像符号化では、同じフレーム内の既に符号化済みのブロックを参照して符号化対象信号を予測するイントラ予測と、既に符号化済みの他のフレームを参照して動き補償などに基づき符号化対象信号を予測するフレーム間予測を行う。【０００３】
ここで、多視点映像符号化について説明する。多視点映像符号化とは、同一のシーンを複数のカメラで撮影した複数の映像を、その映像間の冗長性を利用して高い効率で符号化するものである。多視点映像符号化については非特許文献１に詳しい。
多視点映像符号化においては、一般的な映像符号化で用いられる予測方法の他に、既に符号化済みの別の視点の映像を参照して視差補償に基づき符号化対象信号を予測する視点間予測と、フレーム間予測により符号化対象信号を予測し、その残差信号を、既に符号化済みの別の視点の映像の符号化時の残差信号を参照して予測する視点間残差予測などの方法が用いられる。視点間予測は、ＭＶＣ（Multiview Video Coding）などの多視点映像符号化ではフレーム間予測とまとめてインター予測として扱われ、Ｂピクチャにおいては２つ以上の予測画像を補間して予測画像とする双方向予測にも用いることができる。このように、多視点映像符号化においては、フレーム間予測と視点間予測の両方を行うことができるピクチャについては、フレーム間予測と視点間予測による双方向予測を行うことができる。【０００４】
インター予測を行う場合には、その参照先を示す参照ピクチャインデックスや動きベクトルなどの参照情報を得る必要が有る。一般的には、参照情報は予測情報として符号化し、映像とともに多重化するが、その符号量を削減するために、何らかの方法で参照情報を予測することもある。
一般的な方法では、既に符号化済みの、符号化対象画像の周辺ブロックが符号化時に使用した予測情報を取得し、符号化対象画像の予測に用いる参照情報とするダイレクトモードや、周辺ブロックの予測情報を候補リスト（Ｃａｎｄｉｄａｔｅ  Ｌｉｓｔ）としてリスト化し、リスト中から予測情報を取得する対象ブロックを識別する識別子を符号化するマージモードなどがある。【０００５】
また、多視点映像符号化においては、符号化対象画像に対応する別の視点のピクチャ上の領域と参照情報を共有する視点間動き予測という方法がある。視点間動き予測については非特許文献２に詳しい。【０００６】
また他の方法として残差予測がある。残差予測は、高い相関を持つ２つの画像をそれぞれ予測符号化した場合にその予測残差も互いに相関を持つことを利用した、予測残差の符号量を抑えるための方法である。残差予測については非特許文献３に詳しい。
多視点映像符号化において用いられる視点間残差予測では、異なる視点の映像における符号化対象画像と対応する領域の、符号化時の予測残差信号を、符号化対象の予測残差信号から差し引くことによって残差信号のエネルギーを低減し、符号化効率を向上することが可能である。
視点間の対応関係は、例えば既に符号化済みの周辺ブロックが視差補償予測で符号化されている場合に、その視差ベクトルによって、符号化対象ブロックに対応する別の視点の領域を設定するなどの方法で求められる。この方法で求められる視差ベクトルは「ｎｅｉｇｈｂｏｒｉｎｇ  ｂｌｏｃｋ  ｂａｓｅｄ  ｄｉｓｐａｒｉｔｙ  ｖｅｃｔｏｒ（ＮＢＤＶ）」と呼ばれる。
視点間残差予測は、Ｂピクチャにおいてフレーム間予測が用いられる場合に、その予測とは別に、残差に対する更なる処理として用いられる。【０００７】
ここで、自由視点映像符号化について説明する。自由視点映像とは、対象シーンを多数の撮像装置等を用いて様々な位置・角度から撮像することでシーンの光線情報を取得し、これを元に任意の視点における光線情報を復元することで任意の視点から見た映像を生成するものである。
シーンの光線情報は様々なデータ形式によって表現されるが、最も一般的な形式としては、映像とその映像の各フレームにおけるデプスマップと呼ばれる奥行き画像を用いる方式がある（非特許文献４）。【０００８】
デプスマップとは、カメラから被写体までの距離（奥行き・デプス）を画素毎に記述したものであり、被写体のもつ３次元情報の簡易な表現である。
２つのカメラから同一の被写体を観測するとき、被写体のデプス値はカメラ間の視差の逆数に比例するために、デプスマップはディスパリティマップ（視差画像）と呼ばれることもある。これに対して、デプスマップの対応するカメラの映像のことをテクスチャと呼ぶこともある。
デプスマップは画像の各画素につき一つの値を持つ表現であるために、グレースケール画像とみなして記述することができる。【０００９】
また、デプスマップの時間的に連続した記述であるデプスマップ映像（以下では画像／映像の区別なしにデプスマップと呼ぶ）は、映像信号と同様に、被写体の空間的／時間的な連続性から、空間的・時間的相関を持つと言える。したがって、通常の映像信号を符号化するために用いられる映像符号化方式によって、空間的／時間的冗長性を取り除きながらデプスマップを効率的に符号化することが可能である。このような映像とデプスマップによる映像フォーマットは、自由視点映像だけでなく、三次元映像の表現／符号化や、多視点映像においても符号量削減のために符号化に用いられる。【００１０】
このような映像とデプスマップによる映像フォーマットを符号化する場合、映像とデプスマップの間の相関や、デプスマップが映像の各画素の奥行きを持つことを利用して符号化効率を向上することが可能である。
代表的な例としては、映像の符号化において、符号化対象画像に対応するデプスマップのデプス値を視差に変換することで、符号化対象画像で視差補償予測を行うための視差ベクトルを得るという方法などがある。また別の方法としては、デプスマップを使用して符号化対象視点の画像を合成して予測画像に用いる視点合成予測という方法もある（非特許文献５）。【００１１】
なお、本明細書中において、画像とは動画像の１つのフレームまたは静止画像のことであり、複数のフレーム（画像）が集まったもの（動画像）を映像と称する。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】M. Flierl and B. Girod, "Multiview video compression", Signal Processing Magazine, IEEE, pp. 66-76, November 2007.
【非特許文献２】Yang, H., Chang, Y., & Huo, J., "Fine-Granular Motion Matching for Inter-View Motion Skip Mode in Multiview Video Coding", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 19, No. 6, pp. 887-892, June 2009.
【非特許文献３】X. Wang and J. Ridge, "Improved video coding with residual prediction for extended spatial scalability", ISCCSP 2008, pp. 1041-1046, March 2008.
【非特許文献４】Y. Mori, N. Fukusima, T. Fuji, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV", Proceedings of 3DTV-CON’08, pp. 229-232, May 2008.
【非特許文献５】Yea, S., & Vetro, A. "View synthesis prediction for multiview video coding", Signal Processing: Image Communication 24, pp. 89-100, 2009.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
多視点映像符号化において、視点間動き予測は有効な符号量削減方法であるが、カメラ配置の問題などにより視点間で動きベクトルを共有できない場合には効果は得られない。
また、視点間動き予測や残差予測において、一般にはＮＢＤＶを使用して符号化対象画像に対応する別の視点のピクチャ上の領域を決定するという方法がとられる。このような方法は符号化対象画像が周辺ブロックと同じ動き／視差を持っている場合には有効であるが、そうでない場合にはまったく効果は得られない。またこの方法は周辺ブロックに視差補償予測で符号化されているものがない場合には使用することができない。
このような場合に視点間動き予測や残差予測を行うためには追加の視差ベクトル等の、視点間対応を得るための情報が必要になり、符号量が増加するという問題がある。【００１４】
また、三次元映像や自由視点映像符号化ではデプスマップを利用した映像の符号化が可能であるが、復号装置で符号化装置で参照したデプスマップと同一のデプスマップを参照する必要があるため、使用するデプスマップが符号化対象画像より先に復号されている必要がある。しかしながら一般的には各視点・各フレーム毎に映像を符号化し、続いて同じ視点・フレームのデプスマップを符号化するという方法が多くとられる。このような場合には、デプスマップを使用した映像符号化の方法は使用することができないという問題がある。【００１５】
本発明は、このような事情に鑑みてなされたもので、予測画像の精度を向上させることで予測残差符号化に必要な符号量を削減することができる映像符号化装置、映像復号装置、映像符号化方法、及び、映像復号方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明は、符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置であって、既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し、参照先である第１参照領域を示す第１参照情報を決定する予測手段と、
前記第１参照領域に対応するデプスマップから、符号化対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定手段と、
前記第２参照情報、または前記第１参照情報と前記第２参照情報との両方に基づいて予測画像を生成する予測画像生成手段と
を有することを特徴とする映像符号化装置を提供する。【００１７】
典型例として、前記第１参照情報は符号化対象画像と異なるフレームの画像上の参照先を示し、前記第２参照情報は符号化対象画像と異なる視点の画像上の参照先を示す。【００１８】
好適例として、前記予測画像生成手段は、前記第１参照情報を使用して第１一次予測画像を生成し、前記第２参照情報を使用して第２一次予測画像を生成し、前記第１一次予測画像と前記第２一次予測画像とを混合することによって前記予測画像を生成する。【００１９】
前記予測画像生成手段は、符号化対象画像の部分領域毎に、前記第１参照情報と前記第２参照情報のうちのいずれかまたは両方を使用して、前記予測画像を生成するようにしても良い。【００２０】
この場合、前記第１参照領域に対応するデプスマップによって決定される前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域に基づいて、符号化対象画像の部分領域毎に、前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用するかを判定する判定手段を更に有し、
前記予測画像生成手段は、前記判定手段の判定結果に基づいて、符号化対象画像の部分領域毎に、前記前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用して前記予測画像を生成するようにしても良い。【００２１】
別の好適例として、前記予測画像生成手段は、前記第１参照情報を使用して第１一次予測画像を生成し、前記第２参照情報を使用して第２一次予測画像を生成し、更に前記第１参照情報と前記第１参照領域に対応するデプスマップ、または前記第１参照情報と前記第２参照情報を使用して残差予測を行うことにより前記予測画像を生成する。【００２２】
この場合、前記予測画像生成手段は、前記第１参照領域に対応するデプスマップによって決定される、前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域から二次予測画像を生成し、前記第１一次予測画像と前記第２一次予測画像と前記二次予測画像とから残差予測を行い、前記予測画像を生成するようにしても良い。【００２３】
本発明はまた、符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置であって、
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し、参照先である第１参照領域を示す第１参照情報を決定する予測手段と、
前記第１参照領域に対応するデプスマップから、符号化対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定手段と、
前記第２参照情報を、符号化対象画像の周辺画像の予測情報をリスト化した候補リストに加える候補リスト更新手段と
を有することを特徴とする映像符号化装置も提供する。【００２４】
本発明はまた、復号対象映像に含まれる復号対象画像を予測復号する映像復号装置であって、
符号化された予測情報または該映像復号装置で参照可能な情報に基づく第１参照情報の示す参照先である第１参照領域に対応するデプスマップから、復号対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定手段と、
前記第２参照情報、または前記第１参照情報と前記第２参照情報との両方に基づいて予測画像を生成する予測画像生成手段と
を有することを特徴とする映像復号装置も提供する。【００２５】
典型例として、前記第１参照情報は復号対象画像と異なるフレームの画像上の参照先を示し、前記第２参照情報は復号対象画像と異なる視点の画像上の参照先を示す。【００２６】
好適例として、前記予測画像生成手段は、前記第１参照情報を使用して第１一次予測画像を生成し、前記第２参照情報を使用して第２一次予測画像を生成し、前記第１一次予測画像と前記第２一次予測画像とを混合することによって前記予測画像を生成する。【００２７】
前記予測画像生成手段は、復号対象画像の部分領域毎に前記第１参照情報と前記第２参照情報のうちのいずれかまたは両方を使用して前記予測画像を生成するようにしても良い。【００２８】
この場合、前記第１参照領域に対応するデプスマップによって決定される前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域に基づいて、復号対象画像の部分領域毎に前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用するかを判定する判定手段を更に有し、
前記予測画像生成手段は、前記判定手段の判定結果に基づいて、復号対象画像の部分領域毎に、前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用して前記予測画像を生成するようにしても良い。【００２９】
別の好適例として、前記予測画像生成手段は、前記第１参照情報を使用して第１一次予測画像を生成し、前記第２参照情報を使用して第２一次予測画像を生成し、更に前記第１参照情報と前記第１参照領域に対応するデプスマップ、または前記第１参照情報と前記第２参照情報を使用して残差予測を行うことにより前記予測画像を生成する。【００３０】
この場合、前記予測画像生成手段は、前記第１参照領域に対応するデプスマップによって決定される、前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域から二次予測画像を生成し、前記第１一次予測画像と前記第２一次予測画像と前記二次予測画像とから残差予測を行い前記予測画像を生成するようにしても良い。【００３１】
本発明はまた、復号対象映像に含まれる復号対象画像を予測復号する映像復号装置であって、
既に復号済みの画像を参照ピクチャとして復号対象画像を予測し参照先である第１参照領域を示す第１参照情報を決定する予測手段と、
前記第１参照領域に対応するデプスマップと、復号対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定手段と、
前記第２参照情報を、復号対象画像の周辺画像の予測情報をリスト化した候補リストに加える候補リスト更新手段と
を有することを特徴とする映像復号装置も提供する。【００３２】
本発明はまた、符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置が行う映像符号化方法であって、
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し参照先である第１参照領域を示す第１参照情報を決定する予測ステップと、
前記第１参照領域に対応するデプスマップと、符号化対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定ステップと、
前記第２参照情報または前記第１参照情報と前記第２参照情報の両方に基づいて予測画像を生成する予測画像生成ステップと
を備えることを特徴とする映像符号化方法も提供する。【００３３】
本発明はまた、符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置が行う映像符号化方法であって、
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し参照先である第１参照領域を示す第１参照情報を決定する予測ステップと、
前記第１参照領域に対応するデプスマップから、符号化対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定ステップと、
前記第２参照情報を、符号化対象画像の周辺画像の予測情報をリスト化した候補リストに加える候補リスト更新ステップと
を備えることを特徴とする映像符号化方法も提供する。【００３４】
本発明はまた、復号対象映像に含まれる復号対象画像を予測復号する映像復号装置が行う映像復号方法であって、
符号化された予測情報または該映像復号装置で参照可能ないずれかの情報に基づく第１参照情報の示す参照先である第１参照領域に対応するデプスマップから、復号対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定ステップと、
前記第２参照情報または前記第１参照情報と前記第２参照情報の両方に基づいて予測画像を生成する予測画像生成ステップと
を備えることを特徴とする映像復号方法も提供する。【００３５】
本発明はまた、復号対象映像に含まれる復号対象画像を予測復号する映像復号装置が行う映像復号方法であって、
既に復号済みの画像を参照ピクチャとして復号対象画像を予測し参照先である第１参照領域を示す第１参照情報を決定する予測ステップと、
前記第１参照領域に対応するデプスマップと、復号対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定ステップと、
前記第２参照情報を、復号対象画像の周辺画像の予測情報をリスト化した候補リストに加える候補リスト更新ステップと
を備えることを特徴とする映像復号方法も提供する。
【発明の効果】
【００３６】
本発明によれば、予測画像の精度を向上させることができるため予測残差符号化に必要な符号量を削減することができるという効果が得られる。
【図面の簡単な説明】
【００３７】
【図１】本発明の第１実施形態による映像符号化装置１００の構成を示すブロック図である。
【図２】図１に示す映像符号化装置１００の処理動作を示すフローチャートである。
【図３】図１に示す映像符号化装置１００の処理動作を示す説明図である。
【図４】本発明の第１実施形態による映像復号装置２００の構成を示すブロック図である。
【図５】図４に示す映像復号装置２００の処理動作を示すフローチャートである。
【図６】本発明の第２実施形態による映像符号化装置１００ａの構成を示すブロック図である。
【図７】図６に示す映像符号化装置１００ａの処理動作を示すフローチャートである。
【図８】図６に示す映像符号化装置１００ａの処理動作を示す説明図である。
【図９】同様に、図６に示す映像符号化装置１００ａの処理動作を示す説明図である。
【図１０】本発明の第２実施形態による映像復号装置２００ａの構成を示すブロック図である。
【図１１】図１０に示す映像復号装置２００ａの処理動作を示すフローチャートである。
【図１２】本発明の第３実施形態による映像符号化装置１００ｂの構成を示すブロック図である。
【図１３】図１２に示す映像符号化装置１００ｂの処理動作を示すフローチャートである。
【図１４】図１２に示す映像符号化装置１００ｂの処理動作を示す説明図である。
【図１５】本発明の第３実施形態による映像復号装置２００ｂの構成を示すブロック図である。
【図１６】図１５に示す映像復号装置２００ｂの処理動作を示すフローチャートである。
【発明を実施するための形態】
【００３８】
以下、本発明の実施形態を、図面を参照して説明する。
＜第１実施形態＞
まず、第１実施形態について説明する。図１は、本発明の第１実施形態による映像符号化装置１００の構成を示すブロック図である。
映像符号化装置１００は、図１に示すように、符号化対象映像入力部１０１、入力映像メモリ１０２、参照ピクチャメモリ１０３、デプスマップ入力部１０４、デプスマップメモリ１０５、予測部１０６、第２参照情報決定部１０７、予測画像生成部１０８、減算部１０９、変換・量子化部１１０、逆量子化・逆変換部１１１、加算部１１２、及びエントロピー符号化部１１３を備えている。
【００３９】
符号化対象映像入力部１０１は、符号化対象となる映像を映像符号化装置１００に入力する。以下の説明では、この符号化対象となる映像のことを符号化対象映像と呼び、特に処理を行うフレームを符号化対象フレームまたは符号化対象ピクチャと呼ぶ。
入力映像メモリ１０２は、入力された符号化対象映像を記憶する。
参照ピクチャメモリ１０３は、それまでに符号化・復号された画像を記憶する。以下では、この記憶されたフレームを参照フレームまたは参照ピクチャと呼ぶ。
デプスマップ入力部１０４は、参照ピクチャに対応するデプスマップを映像符号化装置１００に入力する。デプスマップメモリ１０５は、これまでに入力されたデプスマップを記憶する。
【００４０】
予測部１０６は、参照ピクチャメモリ１０３に記憶された参照ピクチャ上で符号化対象画像に対する予測を行い、参照先である第１参照領域を示す第１参照情報を決定し、第１参照情報または第１参照情報を特定可能な情報である予測情報を生成する。
第２参照情報決定部１０７は、上記第１参照情報により示される第１参照領域に対応するデプスマップから、別の参照先である第２参照領域を示す第２参照情報を決定する。
予測画像生成部１０８は、上記第２参照情報に基づき、予測画像を生成する。
減算部１０９は、符号化対象画像と予測画像の差分値を求め、予測残差を生成する。
【００４１】
変換・量子化部１１０は、生成された予測残差を変換・量子化し、量子化データを生成する。
逆量子化・逆変換部１１１は、生成された量子化データを逆量子化・逆変換し、復号予測残差を生成する。
加算部１１２は、復号予測残差と予測画像とを加算し復号画像を生成する。
エントロピー符号化部１１３は、量子化データをエントロピー符号化し、符号データを生成する。
【００４２】
次に、図２を参照して、図１に示す映像符号化装置１００の処理動作を説明する。図２は、図１に示す映像符号化装置１００の処理動作を示すフローチャートである。
ここでは、符号化対象映像は多視点映像のうちの一つの映像であるものとし、多視点映像は、フレーム毎に１視点ずつ全視点の映像を符号化し復号する構造をとるものとする。そしてここでは、符号化対象映像中のある１フレームを符号化する処理について説明する。以下で説明する処理をフレームごとに繰り返すことで、映像の符号化が実現できる。
【００４３】
まず、符号化対象映像入力部１０１は、符号化対象ピクチャ（フレーム）を受け取り、入力映像メモリ１０２に記憶し、デプスマップ入力部１０４は、 デプスマップを受け取り、デプスマップメモリ１０５に記憶する（ステップＳ１０１）。
なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号結果が参照ピクチャメモリ１０３に記憶されているとする。また、符号化対象ピクチャと同じフレームまでの参照可能な別の視点の映像も、既に符号化され復号されて参照ピクチャメモリ１０３に記憶されていることとする。
【００４４】
デプスマップは、通常多視点映像と共に符号化され多重化されるもののうち、参照ピクチャメモリ１０３に記憶されている参照ピクチャのそれぞれに対応するデプスマップであり、符号化対象画像より前にすでに符号化され復号されている。
ただし、符号化装置と復号装置で同一のものを参照することが可能であれば、映像と共に符号化されていないものでもよいし、非圧縮のものでもよい。
【００４５】
ここで入力されるデプスマップは、いずれかの方法で各画素の視差を決定することができるものであればどのような種類のものでもよい。一般的なものではピクチャの各画素の奥行き値を記述したものがあるが、そのほかに奥行きの逆数値を記述したものでもよいし、視差を記述したものでもよい。
【００４６】
また、入力の順番はこの限りでなく、どのような順番で入力されてもよい。例えば、デプスマップは符号化対象映像の符号化が開始されるより前に、デプスマップの符号化が実行された時点で入力しデプスマップメモリ１０５に記憶しておいてもよい。また、別のデプスマップ符号化装置におけるデプスマップメモリを本装置のデプスマップメモリ１０５として使用してもよい。
【００４７】
映像入力の後、符号化対象ピクチャを符号化対象ブロックに分割し、ブロック毎に符号化対象ピクチャの映像信号を符号化する（ステップＳ１０２〜Ｓ１１１）。
以下では、符号化対象となるブロックの画像のことを符号化対象ブロックまたは符号化対象画像と呼ぶ。以下のステップＳ１０３〜Ｓ１１０の処理は、ピクチャの全てのブロックに対して繰り返し実行する。
【００４８】
符号化対象ブロックごとに繰り返される処理において、まず、予測部１０６は、符号化対象ブロックに対して、参照ピクチャメモリ内の参照ピクチャを参照するインター予測を行い、参照先である第１参照領域を示す情報である第１参照情報を決定し、第１参照情報または第１参照情報を特定可能な情報である予測情報を生成する（ステップＳ１０３）。
予測はどのような方法で行ってもよいし、第１参照情報及び予測情報はどのようなものでもよい。
参照領域を示す参照情報として一般的なものとして、参照ピクチャを特定する参照ピクチャインデックス情報と、参照ピクチャ上での参照位置を示すベクトルの組み合わせなどがある。
【００４９】
予測方法として一般的なものとしては、候補となる参照ピクチャ上でマッチングを行い参照情報を決定する方法や、ダイレクトモードやマージモードと呼ばれる、既に符号化済みの周辺ブロックの符号化時の予測に用いた参照情報を継承する方法などがある。
また、予測情報は、第１参照情報を決定可能なものであればどのようなものでもよい。第１参照情報そのものを予測情報としてもよいし、マージモードなどで用いるブロックを特定可能な識別情報を予測情報としてもよい。その他どのような予測方法、参照情報、予測情報を使用してもよい。
予測情報は符号化して映像の符号データと多重化してもよいし、前述のように周辺の予測情報や候補リストから導き出せる場合には符号化しなくてもよい。また、予測情報を予測し、その残差を符号化してもよい。
【００５０】
予測が完了したら、第２参照情報決定部１０７は、第１参照情報を示す予測情報に基づいた第１参照領域を参照し、第１参照領域に対応するデプスマップに基づいて、別の参照先である第２参照領域を示す第２参照情報を決定する（ステップＳ１０４）。
第２参照情報は、第１参照情報と同様に、参照ピクチャと参照位置を特定可能な情報であればどのようなものでもよい。また、参照ピクチャはあらかじめ定められたものでもよいし、別途決定してもよい。例えば第２参照領域は必ずある特定の視点の映像上に設定することとして、第２参照情報として参照ピクチャを指定する情報を含めなくてもよい。参照位置を指定する情報としては、視差ベクトルやデプスマップなどの情報でもよいし、そのほかのどのような情報でもよい。
【００５１】
また、第２参照情報の決定はどのように行ってもよい。以下では第１参照領域が符号化対象視点と同じ視点の異なるフレームのピクチャ上にある例について説明する。
図３は、符号化対象画像が視点Ｂのフレームｎのピクチャの一部であり、第１参照情報により示された第１参照領域が視点Ｂのフレームｍ（≠ｎ）の参照ピクチャ上にあり、第２参照領域を視点Ａ（≠Ｂ）のフレームｎの参照ピクチャ上に設定する場合の例である。
この場合、視点Ａのフレームｎの参照ピクチャを示す参照ピクチャインデックスと、第１参照領域に対応するデプスマップに基づいて視差ベクトルを決定し第２参照情報とすることで、第２参照情報に基づいて視差補償予測などを行うことができる。
【００５２】
また、第１参照領域に対応するデプスマップそのものを第２参照情報として、当該デプスマップの値に基づき、各画素やサブブロック毎に異なる視点の画素を取得して予測画像を生成する視点合成予測などを行うこともできる。
また別の方法として、デプスマップに基づいて視差ベクトルを決定し、その視差ベクトルを使用して既に復号済みの別の視点の映像を参照し、その映像の符号化時の予測情報を使用して第２参照情報を決定するなどしてもよい。
デプスマップから視差ベクトルへの変換はどのように行ってもよい。必要ならデプス値を視差値に変換するルックアップテーブルやホモグラフィ行列や、別途カメラパラメータなどの付加情報を使用してもよい。付加情報は符号化して映像と共に多重化してもよいし、復号装置で同一のものを参照できるのであればしなくてもよい。
【００５３】
上記の例では、第１参照領域が符号化対象視点と同じ視点の異なるフレームのピクチャ上にある場合について説明したが、第１参照領域が符号化対象視点と異なる視点の同じフレームのピクチャ上にある場合にも同様の方法を用いることができる。
または、更に第１参照領域の候補リスト中の予測情報やＮＢＤＶに基づいて第２参照情報を決定することもできる。その他にどのような方法で決定してもよい。  
【００５４】
第２参照情報はどのような単位ごとに決定してもよい。符号化対象ブロック毎でもよいし、それ以下のサイズの領域をサブブロックとし、サブブロック毎に決定してもよい。また、サブブロックサイズはどのように決定してもよい。あらかじめ定められたサイズでもよいし、あらかじめ定められたサイズの組の中から選択してもよいし、その他の任意のサイズを適応的に決定してもよいし、画素ごとに第２参照情報を決定してもよい。
【００５５】
適応的に決定する場合には、例えばデプスマップの符号化時の分割情報に基づいて決定することなどができる。例えば、符号化対象画像は符号化対象ブロックを更に分割した１６×１６ブロック毎に第１参照情報をもち、第１参照領域に対応するデプスマップが符号化時に８×８ブロック毎に予測されていた場合には、符号化対象画像は８×８ブロック毎に第２参照領域を決定するなどである。また、デプスマップそのものを参照して分割サイズを決定してもよい。
【００５６】
また、例えばサブブロックに対して一つ視差ベクトルを決定する場合に、サブブロック内のデプス値のうち一つを選択して第２参照情報の決定に使用してもよいし、複数を使用して決定してもよい。例えば必ずサブブロック内の左上のデプス値を使用するとあらかじめ定めてもよいし、複数のデプス値の平均値や中間値などを使用すると定めてもよい。また、デプス値を一つ決定してから視差ベクトルに変換してもよいし、複数のデプス値から複数の視差ベクトルを変換し、その後にひとつの視差ベクトルを決定してもよい。
【００５７】
また、第１参照領域の予測情報に補正をかけた上で第２参照情報を決定してもよい。補正の方法はどのような方法でもよい。
例えば、符号化対象ブロックの候補リスト（周辺ブロックの予測情報）中のベクトルやＮＢＤＶと、第１参照領域の周辺のデプスマップとから、第１参照領域のデプスマップを符号化対象画像に合わせる補正係数を決定することなどができる。補正係数はどのようなものでもよい。スケーリングやオフセットのためのパラメータでもよいし、あらかじめ定められたパラメータの中から使用するものを指定する識別子でもよい。
【００５８】
その他の方法として、カメラパラメータなど映像以外の情報を使用して補正を行ってもよい。
例えば、第１参照領域のフレームでのカメラパラメータ中の映像の深度レンジと符号化対象画像のフレームの深度レンジを合わせるように補正係数を決定するなどしてもよい。また、補正のための情報を符号化して映像と多重化してもよい。補正係数そのものを符号化しても構わないし、あらかじめ定められた補正係数の組のうち使用するものを指定する識別子を符号化しても構わない。また、復号側で同様の情報が得られる場合には符号化しなくてもよい。
【００５９】
第２参照情報生成が完了したら、予測画像生成部１０８は、第２参照情報に基づき予測画像を生成する（ステップＳ１０５）。
予測画像は第２参照情報のみを用いて視差補償や視点合成予測によって生成してもよい。また、更に第１参照情報を用いて動き補償または視差補償によってもう一つの予測画像を生成し、２つの予測画像を混合することで最終的な予測画像を生成してもよい。また、双方向予測において重みつき混合を行うこととしてその重みを任意に決定してもよい。また、第２参照情報がデプスマップである場合に視点合成予測を行ってもよい。
【００６０】
また、符号化対象ブロックや、更に小さなサブブロックなどの任意の単位毎にいずれかの予測または双方向予測を行うこととし、単位ごとにどの予測を行うかを示す情報や、重みつきの混合を行う場合にはその重みを符号化し、映像と共に多重化してもよい。復号側で予測方法や重みを決定できる場合には符号化しなくてもよい。
【００６１】
次に、減算部１０９は予測画像と符号化対象ブロックの差分をとり、予測残差を生成する（ステップＳ１０６）。
次に、予測残差の生成が終了したら、変換・量子化部１１０は予測残差を変換・量子化し、量子化データを生成する（ステップＳ１０７）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いてもよい。
そして、変換・量子化が終了したら、逆量子化・逆変換部１１１は、量子化データを逆量子化・逆変換し、復号予測残差を生成する（ステップＳ１０８）。
【００６２】
次に、復号予測残差の生成が終了したら、加算部１１２は、復号予測残差と予測画像とを加算して復号画像を生成し、参照ピクチャメモリ１０３に記憶する（ステップＳ１０９）。
この時、必要であれば復号画像にループフィルタをかけてもよい。通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。
【００６３】
次に、エントロピー符号化部１１３は、量子化データをエントロピー符号化し符号データを生成し、必要であれば、予測情報や残差予測情報その他の付加情報も符号化して符号データと多重化し（ステップＳ１１０）、全てのブロックについて処理が終了したら（ステップＳ１１１）、符号データを出力する（ステップＳ１１２）。
【００６４】
次に、映像復号装置について説明する。図４は、本発明の第１実施形態による映像復号装置の構成を示すブロック図である。
映像復号装置２００は、図４に示すように、符号データ入力部２０１、符号データメモリ２０２、参照ピクチャメモリ２０３、デプスマップ入力部２０４、デプスマップメモリ２０５、エントロピー復号部２０６、逆量子化・逆変換部２０７、第２参照情報決定部２０８、予測画像生成部２０９、加算部２１０を備えている。
【００６５】
符号データ入力部２０１は、復号対象となる映像符号データを映像復号装置２００に入力する。この復号対象となる映像符号データのことを復号対象映像符号データと呼び、特に処理を行うフレームを復号対象フレームまたは復号対象ピクチャと呼ぶ。
符号データメモリ２０２は、入力された復号対象映像の符号データを記憶する。参照ピクチャメモリ２０３は、すでに復号済みの画像を記憶する。
デプスマップ入力部２０４は、参照ピクチャに対応するデプスマップを映像復号装置２００に入力する。デプスマップメモリ２０５は、これまでに入力されたデプスマップを記憶する。
エントロピー復号部２０６は、復号対象ピクチャの符号データをエントロピー復号して量子化データを生成し、逆量子化・逆変換部２０７は、量子化データに逆量子化／逆変換を施して復号予測残差を生成する。
第２参照情報決定部２０８は、エントロピー復号部２０６から受け取るなどする予測情報に基づいて設定される第１参照領域に対応するデプスマップに基づいて、第２参照情報を決定する。
予測画像生成部２０９は、第２参照情報に基づき、予測画像を生成する。
加算部２１０は、復号予測残差と予測画像とを加算して復号画像を生成する。
【００６６】
次に、図５を参照して、図４に示す映像復号装置２００の処理動作を説明する。図５は、図４に示す映像復号装置２００の処理動作を示すフローチャートである。
ここでは、復号対象映像は多視点映像のうちの一つの映像であることとし、多視点映像は、フレーム毎に１視点ずつ全視点の映像を復号する構造をとるとする。そしてここでは、符号データ中のある１フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の復号が実現できる。
【００６７】
まず、符号データ入力部２０１は符号データを受け取り、符号データメモリ２０２に記憶し、デプスマップ入力部２０４はデプスマップを受け取り、デプスマップメモリ２０５に記憶する（ステップＳ２０１）。
なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、その復号結果が参照ピクチャメモリ２０３に記憶されているものとする。また、復号対象ピクチャと同じフレームまでの参照可能な別の視点の映像も既に復号されて参照ピクチャメモリ２０３に記憶されていることとする。
【００６８】
デプスマップは、通常多視点映像と共に符号化され多重化されているもののうち、参照ピクチャメモリ１０３に記憶されている参照ピクチャのそれぞれに対応するデプスマップであり、復号対象画像より前にすでに復号されている。
ただし符号化装置と復号装置で同一のものを参照することが可能であれば映像と共に符号化されていないものでもよいし、非圧縮のものでもよい。
【００６９】
ここで入力されるデプスマップは、いずれかの方法で各画素の視差を決定することができるものであればどのような種類のものでもよい。一般的なものではピクチャの各画素の奥行き値を記述したものがあるが、そのほかに奥行きの逆数値を記述したものでもよいし、視差を記述したものでもよい。
【００７０】
また、入力の順番はこの限りでなく、どのような順番で入力されてもいい。例えば、デプスマップは符号化対象画像の復号が開始されるより前に、デプスマップの復号が実行された時点で入力しデプスマップメモリ２０５に記憶しておいてもよい。また、別のデプスマップ復号装置におけるデプスマップメモリを、本装置のデプスマップメモリ２０５として使用してもよい。
【００７１】
次に、映像入力の後、復号対象ピクチャを復号対象ブロックに分割し、ブロック毎に復号対象ピクチャの映像信号を復号する（ステップＳ２０２〜Ｓ２０８）。
以下では、復号対象となるブロックの画像のことを復号対象ブロックまたは復号対象画像と呼ぶ。ステップＳ２０３〜Ｓ２０７の処理は、フレーム全てのブロックに対して繰り返し実行する。
【００７２】
復号対象ブロックごとに繰り返される処理において、まず、エントロピー復号部２０６は、符号データをエントロピー復号する（ステップＳ２０３）。
逆量子化・逆変換部２０７は、逆量子化・逆変換を行い、復号予測残差を生成する（ステップＳ２０４）。予測情報やその他の付加情報が符号データに含まれる場合は、それらも復号し、適宜必要な情報を生成してもよい。
【００７３】
第２参照情報決定部２０８は、予測情報に基づく第１参照情報の示す参照ピクチャ上の領域である第１参照領域を参照し、第１参照領域に対応するデプスマップに基づいて第２参照情報を決定する（ステップＳ２０５）。
予測情報、第１参照情報及び第２参照情報の詳細とその決定方法は、映像符号化装置と同様である。第２参照情報生成が完了したら、予測画像生成部２０９は、第２参照情報に基づき予測画像を生成する（ステップＳ２０６）。
【００７４】
次に、予測画像の生成が終了したら、加算部２１０は、復号予測残差と予測画像を加算して復号画像を生成し、参照ピクチャメモリに記憶する（ステップＳ２０７）。
必要であれば復号画像にループフィルタをかけてもよい。通常の映像復号では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。
そして、全てのブロックについて処理が終了したら（ステップＳ２０８）、復号フレームとして出力する（ステップＳ２０９）。
【００７５】
＜第２実施形態＞
次に、第２実施形態について説明する。図６は、本発明の第２実施形態による映像符号化装置１００ａの構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図１に示す装置と異なる点は、新たに予測方法切り替え部１１４を備えている点である。予測方法切り替え部１１４は、予測画像生成部１０８において第１参照情報と第２参照情報のいずれかあるいは両方によるインター予測のうちどの予測方法を使用して予測画像を生成するかを示す切り替え判定情報を決定する。
【００７６】
次に、図７を参照して、図６に示す映像符号化装置１００ａの処理動作を説明する。図７は、図６に示す映像符号化装置１００ａの処理動作を示すフローチャートである。図７において、図２に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
まず、ステップＳ１０１からＳ１０３までは、図２に示す処理動作と同様の処理を行う。
そして、予測方法切り替え部１１４は、予測画像生成部１０８において第１参照情報と第２参照情報のいずれかあるいは両方によるインター予測または視点合成予測などのうち、どの予測方法を使用して予測画像を生成するかを示す切り替え判定情報を決定する（ステップＳ１０３ａ）。
【００７７】
上記の切り替え判定はどのような方法で行ってもよい。また、第１実施形態の場合と同様に、判定はどのような単位ごとに行ってもよい。
切り替え判定の方法としては、例えば第１参照領域の符号化時の予測残差を使用して予測方法を決定することもできる。このような方法では、あるブロックでは第１参照領域の予測残差が多い場合には、その領域では第２参照情報の精度が低いものとして、第１参照情報のみを使用して予測を行うような切り替えが可能である。
【００７８】
また、別の方法としては、第２参照領域の符号化時の予測情報を参照し、第１参照情報と比較することで予測方法を決定することもできる。例えば第２参照領域の符号化時の参照ピクチャが第１参照情報の示す参照ピクチャと同じフレームや視点であった場合に、それらの参照先を示すベクトルが互いに大きく異なるブロックでは第２参照情報の精度が低いものとして第１参照情報のみを使用して予測を行うような切り替えが可能である。
【００７９】
また、別の方法としては、第１参照領域に対応する他の参照ピクチャ上の参照先である第３参照領域を参照して予測方法を決定するという方法もある。第３参照領域はどのように決定してもよい。例えば、第１参照領域に対応するデプスマップを参照し決定してもよいし、ステップＳ１０４を先に実行して第２参照領域の情報を先に決定し、その情報から決定してもよい。
【００８０】
以下では、第１参照領域が符号化対象視点と同じ視点の異なるフレームのピクチャ上にある例について説明する。
図８は、符号化対象画像が視点Ｂのフレームｎのピクチャの一部であり、第１参照情報により示された第１参照領域が視点Ｂのフレームｍ（≠ｎ）の参照ピクチャ上にあり、第２参照領域を視点Ａ（≠Ｂ）のフレームｎの参照ピクチャ上に設定する場合の例である。
この場合第３参照領域は視点Ａ（≠Ｂ）のフレームｍの参照ピクチャ上にある。
【００８１】
この場合では、例えば第１参照領域の画像と第３参照領域の画像の差分をとって差分画像とし、これに基づいて第２参照情報による予測の精度を推定し、精度の低い場合には第２参照情報は使用せずに第１参照情報を使用するという方法が適用できる。
その場合、予測精度の見積もりはどのように行ってもよい。例えば、差分画像が第２参照情報による予測で発生する残差であるとして、ブロック内の残差の絶対量や平均量、または変換して符号化した場合の符号量を見積もる方法が適用できる。また見積もった予測精度または符号量などに基づく判定は、どのように行ってもよい。例えば、あらかじめ定められた閾値を使用して判定する方法などが適用できる。
【００８２】
また更に、図９に示すように、第２参照領域の画像と第３参照領域の画像の差分をとって第２の差分画像とし、第１の差分画像（図８に示す差分画像）と共に判定に使用してもよい。この場合には、見積もった予測精度の高い方を使用するとして判定することができる。
このように第２参照領域の情報も使用して判定を行う場合には、ステップＳ１０３ａの前にステップＳ１０４を実行してもよい。
【００８３】
また、更に第３参照領域に対応するデプスマップを参照して決定してもよい。例えば、第１参照領域に対応するデプスマップと第２参照領域に対応するデプスマップとをそれぞれ第１デプスマップと第３デプスマップとした時、それぞれから互いの方向に向けた視差ベクトルを求め、その整合性を測ることで予測精度を見積もってもよい。
【００８４】
ステップＳ１０４の処理は、図２に示す処理動作と同様に実行する。ただし、切り替え判定によって第１参照情報のみ使用すると判定されたサブブロックについては、ステップＳ１０４の第２参照情報決定を行わなくてもよい。
【００８５】
次に、予測画像生成部１０８は、切り替え判定情報及び第１参照情報または第２参照情報またはその両方に基づき、予測画像を生成する（ステップＳ１０５ａ）。ここで、図７のフローチャートの流れでは「第１参照情報または第２参照情報」としている。
以下、ステップＳ１０６〜Ｓ１１２までの処理は、図２に示す処理動作と同様に実行する。
【００８６】
次に、映像復号装置について説明する。図１０は、本発明の第２実施形態による映像復号装置２００ａの構成を示すブロック図である。この図において、図４に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図４に示す装置と異なる点は、新たに予測方法切り替え部２１１を備えている点である。予測方法切り替え部２１１は、予測画像生成部２０９において第１参照情報と第２参照情報のいずれかあるいは両方によるインター予測のうちどの予測方法を使用して予測画像を生成するかを示す切り替え判定情報を決定する。
【００８７】
次に、図１１を参照して、図１０に示す映像復号装置の処理動作を説明する。図１１は、図１０に示す映像復号装置２００ａの処理動作を示すフローチャートである。図１１において、図５に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
まず、ステップＳ２０１からＳ２０４までは、図５に示す処理動作と同様の処理を行う。
【００８８】
そして、予測方法切り替え部２１１は、予測画像生成部２０９において第１参照情報と第２参照情報のいずれかあるいは両方によるインター予測のうちどの予測方法を使用して予測画像を生成するかを示す切り替え判定情報を決定する（ステップＳ２０４ａ）。切り替え方法やその他の詳細な説明は映像符号化装置と同様である。
【００８９】
ステップＳ２０５の処理は、図５に示す処理動作と同様に実行する。ただし切り替え判定によって第１参照情報のみ使用すると判定されたサブブロックについてはステップＳ２０５の第２参照情報決定を行わなくてもよい。
【００９０】
次に、予測画像生成部２０９は、切り替え判定情報及び第１参照情報または第２参照情報またはその両方に基づき、予測画像を生成する（ステップＳ２０６ａ）。
以下、ステップＳ２０７〜Ｓ２０９までの処理は、図５に示す処理動作と同様に実行する。
【００９１】
＜第３実施形態＞
次に、第３実施形態について説明する。図１２は、本発明の第３実施形態による映像符号化装置１００ｂの構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図１に示す装置と異なる点は、新たに二次予測画像生成部１１５を備えている点である。二次予測画像生成部１１５は、第１参照領域に対応するデプスマップに基づいて、第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域を参照し、第１参照領域の予測画像である二次予測画像を生成する。
【００９２】
次に、図１３を参照して、図１２に示す映像符号化装置１００ｂの処理動作を説明する。図１３は、図１２に示す映像符号化装置１００ｂの処理動作を示すフローチャートである。図１３において、図２に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
【００９３】
まず、ステップＳ１０１からＳ１０４までは、図２に示す処理動作と同様の処理を行う。
そして、二次予測画像生成部１１５は、第１参照領域に対応するデプスマップに基づいて、第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域を参照し、動き補償または視差補償または視点合成予測によって、上述の二次予測画像を生成する（ステップＳ１０５ｂ）。
【００９４】
第３参照領域の決定はどのように実施してもよい。例えばステップＳ１０４において生成した第２参照情報を使用して決定してもよいし、別途第１参照領域に対応するデプスマップを参照してもよい。また、第１実施形態における第２参照領域を決定する場合と同様に、どのような単位ごとに決定を行ってもよい。この単位は第２参照情報を決定した時と同じ単位でもよいし、異なる単位でもよい。  
【００９５】
二次予測画像を生成したら、予測画像生成部１０８は、第１参照情報に基づき第１一次予測画像を生成し、第２参照情報に基づき第２一次予測画像を生成し、第１一次予測画像と第２一次予測画像と二次予測画像とから、予測画像を生成する（ステップＳ１０５ｃ）。
予測画像の生成はどのように行ってもよい。以下では、第１参照領域が符号化対象視点と同じ視点の異なるフレームのピクチャ上にある例について説明する。
図１４は、符号化対象画像が視点Ｂのフレームｎのピクチャの一部であり、第１参照情報により示された第１参照領域が視点Ｂのフレームｍ（≠ｎ）の参照ピクチャ上にあり、第２参照領域を視点Ａ（≠Ｂ）のフレームｎの参照ピクチャ上に設定する場合の例である。
この場合第３参照領域は視点Ａ（≠Ｂ）のフレームｍの参照ピクチャ上にある。
【００９６】
この例において第１一次予測画像に対して残差予測を実施して予測画像を生成する場合、第２一次予測画像と二次予測画像の差分（図１４における第１差分画像）をこの動き補償における残差の予測値として、第１一次予測画像に加算することによって予測画像を生成することができる。
ここで、第１一次予測画像をＩ１、第２一次予測画像をＩ２、二次予測画像をＩ３とするとき、予測画像Ｉは（１）式で表される。
Ｉ＝Ｉ１＋（Ｉ２−Ｉ３）  ・・・（１）
予測画像生成においては、上記（１）式に基づいて一度に予測画像を生成してもよいし、別途差分画像を生成してから更に第１一次予測画像に加算することで予測画像を生成してもよい。その他にどのような手順で残差予測を行い予測画像を生成してもよい。
【００９７】
また、第２一次予測画像に対して残差予測を実施する場合にも、同一の式で予測画像を生成することができる（第２一次予測画像に図１４における第２差分画像を加算すると（１）式と等価になる）。
なお、上記の例では第１参照領域が符号化対象視点と同じ視点の異なるフレームのピクチャ上にある場合について説明したが、第１参照領域が符号化対象視点と異なる視点の同じフレームのピクチャ上にある場合にも、同様の方法を用いることができる。
以下、ステップＳ１０６〜Ｓ１１２までの処理は、図２に示す処理動作と同様に実行する。      
【００９８】
次に、映像復号装置について説明する。図１５は、本発明の第３実施形態による映像復号装置２００ｂの構成を示すブロック図である。この図において、図４に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図４に示す装置と異なる点は、新たに二次予測画像生成部２１２を備えている点である。二次予測画像生成部２１２は、第１参照領域に対応するデプスマップに基づいて、第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域を参照し、第１参照領域 に対応する予測画像である二次予測画像を生成する。
【００９９】
次に、図１６を参照して、図１５に示す映像復号装置２００ｂの処理動作を説明する。図１６は、図１５に示す映像復号装置２００ｂの処理動作を示すフローチャートである。図１６において、図５に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
まず、ステップＳ２０１からＳ２０５までは、図５に示す処理動作と同様の処理を行う。
【０１００】
そして、二次予測画像生成部２１２は、第１参照領域に対応するデプスマップに基づいて、第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域を参照し、第１参照領域に対応する予測画像である二次予測画像を生成する（ステップＳ２０６ｂ）。詳細な説明は映像符号化装置と同様であるため、ここでは省略する。
【０１０１】
二次予測画像を生成したら、予測画像生成部２０９は、第１参照情報に基づき第１一次予測画像を生成し、第２参照情報に基づき第２一次予測画像を生成し、第１一次予測画像と第２一次予測画像と二次予測画像とから、予測画像を生成する（ステップＳ２０６ｃ）。詳細な動作は、映像符号化装置の説明と同様であるため、ここでは省略する。
以下、ステップＳ２０７〜Ｓ２０９までの処理は、図５に示す処理動作と同様に実行する。
【０１０２】
なお、前述した第２実施形態においてはブロックまたはサブブロック毎に予測方法を切り替えて予測画像を生成しているが、切り替えではなく、第１参照領域と第２参照領域の両方を使用した双方向予測を行うとして、双方向予測を行う際の重みを決定してもよい。
この重みは、前述のような第１参照領域の予測残差や、第２参照領域の予測情報や、第３参照領域や差分画像を使用して予測精度を見積もる方法で決定してもよい。また別の方法としては、符号化対象ブロックの周辺ブロックと、第１参照領域及び第２参照領域の周辺ブロックを参照し、最適な重みを決定するなどしてもよい。
【０１０３】
また、前述した第３実施形態においては、第１参照領域に対応するデプスマップに基づいて、第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域を参照して二次予測画像を生成して残差予測に使用しているが、別の方法として、第１参照領域の符号化時の予測残差を蓄積しておき、その蓄積された予測残差を使用して残差予測を行ってもよい。
蓄積された予測残差をＲとして、この場合には（１）式は下記の（２）式のように変形され、第１参照領域の予測残差と第２参照領域のみから予測画像を生成することができる。または、蓄積された予測残差を第１参照領域の画像から減算することで二次予測画像を生成し、これを用いて第３実施形態と同じ方法で予測画像を生成することもできる。
Ｉ＝Ｉ１＋Ｒ  ・・・（２）
【０１０４】
また、前述した第１〜第３実施形態においては、決定した第２参照情報を符号化対象ブロックの予測に使用する場合の処理を説明したが、決定した第２参照情報を符号化対象ブロックの処理には使用せずにマージモードで使用される候補リスト（candidate list）に追加してもよい。または予測に使用したうえで更に候補リストに追加してもよい。あるいは、第２参照情報が視差ベクトルである場合には、以降のブロックでＮＢＤＶとして使用するために記憶してもよい。また、ベクトル予測の予測値として使用してもよいし、そのための候補リストに追加してもよい。
【０１０５】
また、前述した第１〜第３実施形態においては、第１参照領域に対応するデプスマップに基づいて第２参照情報を決定する場合の処理を説明したが、更に第１参照領域の符号化時の候補リストや、ＮＢＤＶなどの周辺ブロックの情報から第２参照情報を決定しても構わない。候補の中から一つを選択してもよいし、複数の候補を使用して決定してもよい。
【０１０６】
また、さらに符号化対象ブロックの候補リストやＮＢＤＶなどの周辺ブロックの情報を使用してもよい。例えば、通常は符号化対象ブロックのＮＢＤＶを決定する際には、周辺ブロックの符号化時の視差ベクトルのリスト中からあらかじめ定められた規則に基づいてＮＢＤＶを決定するが、このときに第１参照領域の周辺ブロックの符号化時の視差ベクトルのリストと突き合わせて尤もらしい視差ベクトルを選択するとしてもよい。
なお、前述した第１〜第３実施形態においては、符号化対象ブロックが単方向予測と同様に第１参照情報を１つもつ場合の処理について説明したが、一般的な双方向予測のように２つ以上の第１参照情報を与えてもよい。その場合に両方向について第２参照情報を決定し前述の処理を実施してもよいし、一方向だけに実施してもよい。
【０１０７】
また、前述した第１〜第３実施形態においては、第２参照情報の決定に使用した第１参照領域を予測に使用する方法について説明したが、第２参照領域の決定に使用した第１参照領域とは別の領域を予測に使用してもよい。
例えば、予測情報を二つ符号化し、一方を予測に使用し、もう一方を第２参照領域の決定に使用するなどしてもよい。あるいは、符号化した予測情報は通常の予測にのみ使用し、候補リストやＮＢＤＶなどを使用して第２参照情報を決定するための第１参照情報を別に決定するなどしてもよい。
また、第２参照情報を使用して第１参照情報を補正、または新たに生成するなどしてもよい。例えば、第１参照情報が動きベクトルであり、動きベクトルの示す参照先のデプスマップから第２参照情報を得る場合に、第２参照情報の示す参照先の符号化時の動きベクトルを取得して新たな第１参照情報として予測に用いるなどしてもよい。
【０１０８】
また、前述した第１〜第３実施形態で説明した方法を互いに組み合わせてもよいし、他のどのような方法を組み合わせてもよい。
例えば、第１実施形態で説明した方法によって符号化された動きベクトルを使用してデプスマップから視差ベクトルを取得し、視差補償予測によって一次予測画像を生成し、更に上記の符号化された動きベクトルを使用して残差予測を行うなどしてもよい。
また元々の符号化された動きベクトルの代わりに視差ベクトルの示す参照先の符号化時の動きベクトルを使用して残差予測を行うなどしてもよい。
また、符号化された動きベクトルと参照先の符号化時の動きベクトルを使用して、取得した視差ベクトルの補正を行うなどしてもよい。
【０１０９】
また、前述した第１〜第３実施形態における一部の処理は、その順序が前後しても構わない。
【０１１０】
以上説明したように、符号化された動き／視差ベクトルやダイレクトモード／マージモード、または視点間動き予測やその他の方法で得られる動き／視差ベクトルを使用して既に符号化済みのピクチャ上の領域を参照し、また更にその参照領域に対応する既に符号化済みのデプスマップを取得し、視差ベクトルの生成などを行う。それにより、追加のベクトルを符号化することなく、また符号化対象画像に対応するデプスマップを参照することができない場合においても、精度のよいインター予測や視点合成予測や、元々の動き／視差ベクトルと組み合わせることによる双方向予測や残差予測などを精度よく実施し、予測画像の精度を向上させることで、予測残差符号化に必要な符号量を削減することができる。
【０１１１】
前述した実施形態における映像符号化装置、映像復号装置をコンピュータで実現するようにしてもよい。その場合、当該機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【０１１２】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【０１１３】
追加の動き／視差ベクトルを符号化することなく、精度のよい動き／視差補償予測や、元々の動き／視差ベクトルと組み合わせた双方向予測や残差予測などを精度よく実施し、予測画像の精度を向上させることで、予測残差符号化に必要な符号量を削減することが不可欠な用途に適用できる。
【符号の説明】
【０１１４】
１０１・・・符号化対象映像入力部
１０２・・・入力映像メモリ
１０３・・・参照ピクチャメモリ
１０４・・・デプスマップ入力部
１０５・・・デプスマップメモリ
１０６・・・予測部
１０７・・・第２参照情報決定部
１０８・・・予測画像生成部
１０９・・・減算部
１１０・・・変換・量子化部
１１１・・・逆量子化・逆変換部
１１２・・・加算部
１１３・・・エントロピー符号化部
１１４・・・予測方法切り替え部
１１５・・・二次予測画像生成部
２０１・・・符号データ入力部
２０２・・・符号データメモリ
２０３・・・参照ピクチャメモリ
２０４・・・デプスマップ入力部
２０５・・・デプスマップメモリ
２０６・・・エントロピー復号部
２０７・・・逆量子化・逆変換部
２０８・・・第２参照情報決定部
２０９・・・予測画像生成部
２１０・・・加算部
２１１・・・予測方法切り替え部
２１２・・・二次予測画像生成部
【図１】
2015056700.tif 000003
【図２】
2015056700.tif 000004
【図３】
2015056700.tif 000005
【図４】
2015056700.tif 000006
【図５】
2015056700.tif 000007
【図６】
2015056700.tif 000008
【図７】
2015056700.tif 000009
【図８】
2015056700.tif 000010
【図９】
2015056700.tif 000011
【図１０】
2015056700.tif 000012
【図１１】
2015056700.tif 000013
【図１２】
2015056700.tif 000014
【図１３】
2015056700.tif 000015
【図１４】
2015056700.tif 000016
【図１５】
2015056700.tif 000017
【図１６】
2015056700.tif 000018
【手続補正書】
【提出日】平成28年11月7日(2016.11.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置であって、
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し、参照先である第１参照領域を示す第１参照情報を決定する予測手段と、
前記第１参照領域に対応するデプスマップから、符号化対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定手段と、
前記第２参照情報、または前記第１参照情報と前記第２参照情報との両方に基づいて予測画像を生成する予測画像生成手段と
を有し、
前記第１参照領域に対応するデプスマップによって決定される前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域に基づいて、符号化対象画像の部分領域毎に、前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用するかを判定する判定手段を更に有し、
前記予測画像生成手段は、前記判定手段の判定結果に基づいて、符号化対象画像の部分領域毎に、前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用して、フレーム間と視点間予測による双方向予測を用いて前記予測画像を生成することを特徴とする映像符号化装置。
【請求項２】
前記第１参照情報は符号化対象画像と異なるフレームの画像上の参照先を示し、前記第２参照情報は符号化対象画像と異なる視点の画像上の参照先を示すことを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
前記予測画像生成手段は、前記第１参照情報を使用して第１一次予測画像を生成し、前記第２参照情報を使用して第２一次予測画像を生成し、前記第１一次予測画像と前記第２一次予測画像とを混合することによって前記予測画像を生成することを特徴とする請求項１に記載の映像符号化装置。
【請求項４】
前記予測画像生成手段は、前記第１参照情報を使用して第１一次予測画像を生成し、前記第２参照情報を使用して第２一次予測画像を生成し、更に前記第１参照情報と前記第１参照領域に対応するデプスマップ、または前記第１参照情報と前記第２参照情報を使用して残差予測を行うことにより前記予測画像を生成することを特徴とする請求項１に記載の映像符号化装置。
【請求項５】
前記予測画像生成手段は、前記第１参照領域に対応するデプスマップによって決定される、前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域から二次予測画像を生成し、前記第１一次予測画像と前記第２一次予測画像と前記二次予測画像とから残差予測を行い、前記予測画像を生成することを特徴とする請求項４に記載の映像符号化装置。
【請求項６】
復号対象映像に含まれる復号対象画像を予測復号する映像復号装置であって、
符号化された予測情報または該映像復号装置で参照可能な情報に基づく第１参照情報の示す参照先である第１参照領域に対応するデプスマップから、復号対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定手段と、
前記第２参照情報、または前記第１参照情報と前記第２参照情報との両方に基づいて予測画像を生成する予測画像生成手段と
を有し、
前記第１参照領域に対応するデプスマップによって決定される前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域に基づいて、復号対象画像の部分領域毎に前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用するかを判定する判定手段を更に有し、
前記予測画像生成手段は、前記判定手段の判定結果に基づいて、復号対象画像の部分領域毎に、前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用して、フレーム間と視点間予測による双方向予測を用いて前記予測画像を生成することを特徴とする映像復号装置。
【請求項７】
前記第１参照情報は復号対象画像と異なるフレームの画像上の参照先を示し、前記第２参照情報は復号対象画像と異なる視点の画像上の参照先を示すことを特徴とする請求項６に記載の映像復号装置。
【請求項８】
前記予測画像生成手段は、前記第１参照情報を使用して第１一次予測画像を生成し、前記第２参照情報を使用して第２一次予測画像を生成し、前記第１一次予測画像と前記第２一次予測画像とを混合することによって前記予測画像を生成することを特徴とする請求項６に記載の映像復号装置。
【請求項９】
前記予測画像生成手段は、前記第１参照情報を使用して第１一次予測画像を生成し、前記第２参照情報を使用して第２一次予測画像を生成し、更に前記第１参照情報と前記第１参照領域に対応するデプスマップ、または前記第１参照情報と前記第２参照情報を使用して残差予測を行うことにより前記予測画像を生成することを特徴とする請求項６に記載の映像復号装置。
【請求項１０】
前記予測画像生成手段は、前記第１参照領域に対応するデプスマップによって決定される、前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域から二次予測画像を生成し、前記第１一次予測画像と前記第２一次予測画像と前記二次予測画像とから残差予測を行い前記予測画像を生成することを特徴とする請求項９に記載の映像復号装置。
【請求項１１】
符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置が行う映像符号化方法であって、
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し参照先である第１参照領域を示す第１参照情報を決定する予測ステップと、
前記第１参照領域に対応するデプスマップと、符号化対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定ステップと、
前記第２参照情報または前記第１参照情報と前記第２参照情報の両方に基づいて予測画像を生成する予測画像生成ステップと
を備え、
前記第１参照領域に対応するデプスマップによって決定される前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域に基づいて、符号化対象画像の部分領域毎に、前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用するかを判定する判定ステップを更に有し、
前記予測画像生成ステップでは、前記映像符号化装置は、前記判定手段の判定結果に基づいて、符号化対象画像の部分領域毎に、前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用して、フレーム間と視点間予測による双方向予測を用いて前記予測画像を生成することを特徴とする映像符号化方法。
【請求項１２】
復号対象映像に含まれる復号対象画像を予測復号する映像復号装置が行う映像復号方法であって、
符号化された予測情報または該映像復号装置で参照可能ないずれかの情報に基づく第１参照情報の示す参照先である第１参照領域に対応するデプスマップから、復号対象画像に対する別の参照先である第２参照領域を示す第２参照情報を決定する第２参照情報決定ステップと、
前記第２参照情報または前記第１参照情報と前記第２参照情報の両方に基づいて予測画像を生成する予測画像生成ステップと
を備え、
前記第１参照領域に対応するデプスマップによって決定される前記第１参照領域に対応する別の参照ピクチャ上の参照先である第３参照領域に基づいて、復号対象画像の部分領域毎に前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用するかを判定する判定ステップを更に有し、
前記予測画像生成ステップでは、前記映像復号装置は、前記判定手段の判定結果に基づいて、復号対象画像の部分領域毎に、前記第１参照情報と前記第２参照情報のいずれかまたは両方を使用して、フレーム間と視点間予測による双方向予測を用いて前記予測画像を生成することを特徴とする映像復号方法。
【国際調査報告】
2015056700.tif 000019
2015056700.tif 000020
2015056700.tif 000021
2015056700.tif 000022