(57)【特許請求の範囲】
【請求項１】
映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさに分割した処理領域に対して、フレーム内予測を用いて予測符号化を行う映像符号化方法であって、
前記フレーム内予測における予測方向を設定するフレーム内予測方向設定ステップと、
前記処理領域内の画素または所定数の画素群ごとに、前記設定した予測方向と反対の方向に存在し、前記処理領域から所定の距離範囲内にある既に符号化済みの画素を参照画素の候補として設定する参照画素候補設定ステップと、
前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出ステップと、
前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定ステップと、
前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成ステップと
を有することを特徴とする映像符号化方法。
【請求項２】
前記参照画素候補設定ステップは、前記参照画素の候補に加えて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補に対して、前記設定した予測方向と直交する方向に存在し、前記参照画素の候補から所定の距離範囲内にある既に符号化済みの画素についても前記参照画素の候補として設定することを特徴とする請求項１に記載の映像符号化方法。
【請求項３】
前記参照画素候補設定ステップは、前記参照画素の候補に加えて、前記処理領域内の画素または所定数の画素群ごとに、前記設定した予測方向に反対の方向を中心とする所定の角度範囲に存在し、前記処理領域から所定の距離範囲内にある既に符号化済みの画素についても前記参照画素の候補として設定することを特徴とする請求項１に記載の映像符号化方法。
【請求項４】
前記参照画素相違度算出ステップは、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする請求項１から３のいずれか１項に記載の映像符号化方法。
【請求項５】
前記参照画素決定ステップは、各参照画素に対する前記相違度の合計値と、前記処理領域における参照画素のばらつきを平滑化するための参照画素間の距離に対する増加関数値との和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする請求項１から４のいずれか１項に記載の映像符号化方法。
【請求項６】
前記参照画素決定ステップは、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、
前記予測画像生成ステップは、前記予測方向に従って、複数の前記参照画素を用いて予測画像を生成する
ことを特徴とする請求項１から５のいずれか１項に記載の映像符号化方法。
【請求項７】
前記予測画像生成ステップは、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定ステップを含み、
前記予測方向に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする請求項６に記載の映像符号化方法。
【請求項８】
映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさの分割した処理領域に対して、フレーム内予測を用いて映像信号の復号を行う映像復号方法であって、
前記フレーム内予測における予測方向を設定するフレーム内予測方向設定ステップと、
前記処理領域内の画素または所定数の画素群ごとに、前記設定した予測方向と反対の方向に存在し、前記処理領域から所定の距離範囲内にある既に復号済みの画素を参照画素の候補として設定する参照画素候補設定ステップと、
前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出ステップと、
前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定ステップと、
前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成ステップと
を有することを特徴とする映像復号方法。
【請求項９】
前記参照画素候補設定ステップは、前記参照画素の候補に加えて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補に対して、前記設定した予測方向と直交する方向に存在し、前記参照画素の候補から所定の距離範囲内にある既に復号済みの画素についても前記参照画素の候補として設定することを特徴とする請求項８に記載の映像復号方法。
【請求項１０】
前記参照画素候補設定ステップは、前記参照画素の候補に加えて、前記処理領域内の画素または所定数の画素群ごとに、前記設定した予測方向に反対の方向を中心とする所定の角度範囲に存在し、前記処理領域から所定の距離範囲内にある既に復号済みの画素についても前記参照画素の候補として設定することを特徴とする請求項８に記載の映像復号方法。
【請求項１１】
前記参照画素相違度算出ステップは、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする請求項８から１０のいずれか１項に記載の映像復号方法。
【請求項１２】
前記参照画素決定ステップは、各参照画素に対する前記相違度の合計値と、前記処理領域における参照画素のばらつきを平滑化するための参照画素間の距離に対する増加関数値との和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする請求項８から１１のいずれか１項に記載の映像復号方法。
【請求項１３】
前記参照画素決定ステップは、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、
前記予測画像生成ステップは、前記予測方向に従って、複数の前記参照画素を用いて予測画像を生成する
ことを特徴とする請求項８から１２のいずれか１項に記載の映像復号方法。
【請求項１４】
前記予測画像生成ステップは、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定ステップを含み、
前記予測方向に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする請求項１３に記載の映像復号方法。
【請求項１５】
映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさに分割した処理領域に対して、フレーム内予測を用いて予測符号化を行う映像符号化装置であって、
前記フレーム内予測における予測方向を設定するフレーム内予測方向設定手段と、
前記処理領域内の画素または所定数の画素群ごとに、前記設定した予測方向と反対の方向に存在し、前記処理領域から所定の距離範囲内にある既に符号化済みの画素を参照画素の候補として設定する参照画素候補設定手段と、
前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出手段と、
前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定手段と、
前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成手段と
を有することを特徴とする映像符号化装置。
【請求項１６】
前記参照画素候補設定手段は、前記参照画素の候補に加えて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補に対して、前記設定した予測方向と直交する方向に存在し、前記参照画素の候補から所定の距離範囲内にある既に符号化済みの画素についても前記参照画素の候補として設定することを特徴とする請求項１５に記載の映像符号化装置。
【請求項１７】
前記参照画素候補設定手段は、前記参照画素の候補に加えて、前記処理領域内の画素または所定数の画素群ごとに、前記設定した予測方向に反対の方向を中心とする所定の角度範囲に存在し、前記処理領域から所定の距離範囲内にある既に符号化済みの画素についても前記参照画素の候補として設定することを特徴とする請求項１５に記載の映像符号化装置。
【請求項１８】
映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさの分割した処理領域に対して、フレーム内予測を用いて映像信号の復号を行う映像復号装置であって、
前記フレーム内予測における予測方向を設定するフレーム内予測方向設定手段と、
前記処理領域内の画素または所定数の画素群ごとに、前記設定した予測方向と反対の方向に存在し、前記処理領域から所定の距離範囲内にある既に復号済みの画素を参照画素の候補として設定する参照画素候補設定手段と、
前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出手段と、
前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定手段と、
前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成手段と
を有することを特徴とする映像復号装置。
【請求項１９】
前記参照画素候補設定手段は、前記参照画素の候補に加えて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補に対して、前記設定した予測方向と直交する方向に存在し、前記参照画素の候補から所定の距離範囲内にある既に復号済みの画素についても前記参照画素の候補として設定することを特徴とする請求項１８に記載の映像復号装置。
【請求項２０】
前記参照画素候補設定手段は、前記参照画素の候補に加えて、前記処理領域内の画素または所定数の画素群ごとに、前記設定した予測方向に反対の方向を中心とする所定の角度範囲に存在し、前記処理領域から所定の距離範囲内にある既に復号済みの画素についても前記参照画素の候補として設定することを特徴とする請求項１８に記載の映像復号装置。
【請求項２１】
請求項１から請求項７までのいずれか１項に記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラム。
【請求項２２】
請求項８から請求項１４までのいずれか１項に記載の映像復号方法をコンピュータに実行させるための映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラムに関する。
【背景技術】
【０００２】
自由視点映像とは、撮影空間内でのカメラの位置や向き（以下、視点と記す）をユーザが自由に指定できる映像のことである。自由視点映像では、ユーザが任意の視点を指定するため、その全ての可能性に対して映像を保持することは現実的でないため、指定された視点の映像を生成するのに必要な情報群によって構成される。なお、自由視点映像は、自由視点テレビ、任意視点映像、任意視点テレビなどと呼ばれることもある。
【０００３】
自由視点映像は様々なデータ形式を用いて表現されるが、最も一般的な形式として映像とその映像の各フレームに対するデプスマップ（距離画像）を用いる方式がある（例えば、非特許文献１参照）。ここで、デプスマップとは、カメラの撮影位置から被写体までのデプス（距離）を画素ごとに表現したものであり、被写体の三次元的な位置を表現している。デプスは二つのカメラ間の視差の逆数に比例しているため、ディスパリティマップ（視差画像）と呼ばれることもある。コンピュータグラフィックスの分野では、デプスはＺバッファに蓄積された情報となるためＺ画像やＺマップと呼ばれることもある。なお、カメラから被写体までの距離の他に、表現対象空間上に張られた三次元座標系のＺ軸に対する座標値をデプスとして用いることもある。一般に、撮影された画像に対して水平方向をＸ軸、垂直方向をＹ軸とするため、Ｚ軸はカメラの向きと一致するが、複数のカメラに対して共通の座標系を用いる場合など、Ｚ軸がカメラの向きと一致しない場合もある。以下では、距離・Ｚ値を区別せずにデプスと呼び、デプスを画素値として表した画像をデプスマップと呼ぶ。ただし、厳密にはディスパリティマップでは基準となるカメラ対を設定する必要がある。
【０００４】
デプスを画素値として表す際に、物理量に対応する値をそのまま画素値とする方法と、最小値と最大値の間をある数に量子化して得られる値を用いる方法と、最小値からの差をあるステップ幅で量子化して得られる値を用いる方法がある。表現したい範囲が限られている場合には、最小値などの付加情報を用いるほうがデプスを高精度に表現することができる。また、等間隔に量子化する際に、物理量をそのまま量子化する方法と物理量の逆数を量子化する方法とがある。距離の逆数は視差に比例した値となるため、距離を高精度に表現する必要がある場合には、前者が使用され、視差を高精度に表現する必要がある場合には、後者が使用されることが多い。以下では、デプスの画素値化の方法や量子化の方法に関係なく、デプスが画像として表現されたものを全てデプスマップと呼ぶ。
【０００５】
デプスマップは、各画素が一つの値を持つ画像として表現されるため、グレースケール画像とみなすことができる。また、被写体が実空間上で連続的に存在し、瞬間的に離れた位置へ移動することができないため、画像信号と同様に空間的相関および時間的相関を持つと言える。したがって、通常の画像信号や映像信号を符号化するために用いられる画像符号化方式や映像符号化方式によって、デプスマップや連続するデプスマップで構成される映像を空間的冗長性や時間的冗長性を取り除きながら効率的に符号化することが可能である。以下では、デプスマップとその映像を区別せずにデプスマップと呼ぶ。
【０００６】
ここで、一般的な映像符号化について説明する。映像符号化では、被写体が空間的および時間的に連続しているという特徴を利用して効率的な符号化を実現するために、映像の各フレームをマクロブロックと呼ばれる処理単位ブロックに分割し、マクロブロックごとにその映像信号を空間的または時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化する。映像信号を空間的に予測する場合は、例えば空間的な予測の方向を示す情報が予測情報となり、時間的に予測する場合は、例えば参照するフレームを示す情報とそのフレーム中の位置を示す情報とが予測情報となる。
【０００７】
空間的に行う予測は、フレーム内の予測であることから、フレーム内予測（画面内予測、イントラ予測）と呼ばれる。Ｈ．２６４／ＡＶＣに代表される近年の映像符号化方式で用いられるフレーム内予測では、予測対象のブロックに対して隣接ブロックとのテクスチャの連続性など、そのブロックにおける画像における隣接ブロックとの空間的な相関の方向を示す情報を用いる。具体的には、予測対象のブロックに対して、予め用意されていた複数種類の方向の中から１つの方向を選択し、その方向に従って、予測対象のブロックに隣接する既に符号化済み（または復号済み）の画素の画素値を用いて予測画像を生成する。選択可能な予測方向を細かく設定することで、より高い精度で相関を利用することが可能になる。Ｈ．２６４／ＡＶＣでは、予測対象のブロックの大きさによって異なるが、最大で８種類の方向が利用可能である。（Ｈ．２６４／ＡＶＣの詳細については、例えば、非特許文献２参照）。
【０００８】
フレーム内予測の予測方向を細かく設定可能にすることで、多様な向きのテクスチャの連続性に対応した予測が可能となる。しかしながら、予測方向を細かく設定可能にするだけでは、オクルージョンなどで予測対象のブロックとその隣接画素とで異なる被写体が写っている場合には、正しいフレーム内予測を行うことが不可能である。
【０００９】
このような問題に対し、特許文献１では、予測方向に加えて、予測対象ブロックからの距離を指定し、隣接画素以外の画素を用いた予測画像の生成を行うことで、オクルージョンが発生する場合においても、正しいフレーム内予測を実現している。この方式を用いることで、隣接画素以外の離れた画素を参照したフレーム内予測を行うことが可能となるため、ブロック端にオクルージョンや雑音を含む場合や、空間的に周期的な信号が存在する場合において、高い精度で映像信号を予測することが可能となる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】再公表ＷＯ２００８／１０２８０５号公報
【非特許文献】
【００１１】
【非特許文献１】Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, “View Generation with 3D Warping Using Depth Information for FTV ”,In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.
【非特許文献２】Rec. ITU-T H.264,“Advanced video coding for generic audiovisual services”,  March 2009.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１の方法では、予測方向に加えて、ブロックごとにどの画素を参照画素として予測を行うかを示す情報を符号化する必要が生じてしまう。その結果、フレーム内予測を行うブロックにおける付加情報の符号量が増大してしまうため、効率的な符号化を実現することができないという問題がある。
【００１３】
また、特許文献１の方法は、予測対象ブロック毎に、１つの予測対象ブロックからの距離を定義し、予測対象ブロック内の全ての画素に対して同じ距離を用いて参照画素を指定するため、被写体形状がブロック境界に対して並行でない場合や、予測方向に対して複数の被写体が存在する場合において、精度の高い予測を行うことができないという問題がある。また、ブロック内の各画素に対して参照画素を示すための距離を指定するという方法を用いることも可能であるが、この方法では、画素ごとにどの画素を参照画素として予測を行うかを示す情報を符号化しなくてはならなくなり、付加情報の符号量の更なる増大を招き、効率的な符号化を実現できないという問題がある。
【００１４】
本発明は、このような事情に鑑みてなされたもので、映像とデプスマップとを構成要素に持つ自由視点映像データの符号化において、フレーム内予測の符号化効率を向上することができる映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は、映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさに分割した処理領域に対して、フレーム内予測を用いて予測符号化を行う映像符号化方法であって、前記フレーム内予測における予測方向を設定するフレーム内予測方向設定ステップと、前記設定した予測方向に従って、前記処理領域内の画素または所定数の画素群ごとに、前記処理領域から所定の距離範囲内にある画素を参照画素の候補として設定する参照画素候補設定ステップと、前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出ステップと、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定ステップと、前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成ステップとを有することを特徴とする。
【００１６】
本発明によれば、映像信号の予測精度の向上に伴う、予測残差の符号化に必要な符号量を削減することができる。フレーム内予測において予測対象領域に隣接する画素だけではなく、そこから一定距離内かつフレーム内予測の予測方向に沿った位置に存在する画素からの予測が可能になったことにより、領域端にオクルージョンや雑音を含む場合や、予測方向に対して複数の被写体が存在する領域に対しても、同じ被写体からの画素値の予測が可能になるため、高精度な予測が実現できる。従来手法（例えば、特許文献１）では、予測対象領域からの距離を指定し、予測対象領域に隣接する画素以外を用いたフレーム内予測を実現していた。この場合、距離を指定する情報を符号化する必要が生じるため、画素ごとに距離を指定することができず、全ての画素に対して精度の高い予測を行えなかった。本発明では、別途伝送されているデプスマップの情報を用いて、参照画素の候補の中から、予測する対象の画素と同じ被写体が写っている画素を選択し、その選択された参照画素を用いて予測画像を生成する。このようにすることで、距離を指定する情報を符号化する必要がなくなる。その結果、画素ごとに距離を決定することが可能となり、全ての画素に対して精度の高い予測を実現できる。ここで、デプスマップの値は被写体に大きく依存した値であるため、デプスマップを用いた被写体の判定によって、高精度に同じ被写体が写っているか否かを判定することが可能である。なお、画素群ごとに距離を指定する場合においても、特許文献１では必要だった距離を指定する情報を符号化する必要がなくなることによって、その分の符号量を削減することが可能である。
【００１７】
本発明は、前記参照画素相違度算出ステップは、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする。
【００１８】
本発明によれば、予測対象の画素に対してより相関の高い画素から予測を行うことによる予測精度の向上に伴う、予測残差の符号化に必要な符号量の削減を達成することができる。デプスマップではテクスチャ情報が失われているため、同じ被写体内のテクスチャまで考慮に入れて参照画素を決定することができない。一般に、画像内での空間的な距離が近いほど画素値の相関が高いため、デプスマップの値に加えて、参照画素と予測対象画素との間の距離の基準に参照画素を決定することで、参照画像の候補に同じ被写体が写った画素が複数存在する場合に、より相関の高い画素を用いた予測が可能になる。
【００１９】
本発明は、前記参照画素決定ステップは、各参照画素に対する前記相違度の合計値と、前記処理領域と各参照画素との距離のばらつきを表す値との重み付き和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする。
【００２０】
本発明によれば、予測画像に不自然な高周波成分が発生するのを抑制することによる周波数領域での予測精度の向上に伴う、予測残差の符号化に必要な符号量を削減することができる。予測対象領域の画素ごとに参照画素を設定する場合、本来は連続していなかった画素を寄せ集めて予測画像が生成されることになる。その結果、予測画像における画素間の連続性が低下し、自然画像ではありえない高周波成分が発生することがある。そこで、予測対象領域の隣接画素間での参照画素までの距離の変化を抑制しつつ、できる限り同じ被写体が撮影されている画素を参照画素として設定することで、予測画像に不自然な高周波成分が発生するのを抑制することが可能となる。なお、一般的な符号化では予測残差は周波数領域で符号化されるため、このようにすることで予測残差における無駄な高周波成分の発生を防ぎ、より効率的な符号化を実現することが可能となる。
【００２１】
本発明は、前記参照画素決定ステップは、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、前記予測画像生成ステップは、前記予測方法に従って、複数の前記参照画素を用いて予測画像を生成することを特徴とする。
【００２２】
本発明によれば、参照画素やデプスマップにおけるノイズに対する頑健性を向上することができる。デプスマップにノイズが含まれる場合、複数の参照画素の候補から１つの参照画素を選択する際に誤りが生じることがある。その場合、複数の参照画素を選択し、その参照画素群に対する画素値の平均値や中央値を用いて予測画像を生成することで、誤って異なる被写体が撮影されている参照画素が幾つか選択されていても、その影響を低減して予測画像を生成することができる。また、参照画素にノイズが含まれる場合においても、複数の参照画素を用いて平均値をとることでノイズ成分を低減し、より高精度な予測を実現することが可能となる。
【００２３】
本発明は、前記予測画像生成ステップは、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定ステップを含み、前記予測方法に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする。
【００２４】
本発明によれば、複数の参照画素を用いて予測を行う際の予測精度向上に伴う、予測残差の符号化に必要な符号量を削減することができる。複数の参照画素を用いて予測を行う場合、予測対象画素と参照画素との相違度に基づいた重み係数を用いた重み付き平均値や重み付き中央値によって予測を行うことで、予想対象画素との類似度が高いとされる画素を重視した予測となるため、ノイズへの頑健性を維持したまま予測精度を向上することが可能となる。
【００２５】
本発明は、映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさの分割した処理領域に対して、フレーム内予測を用いて映像信号の復号を行う映像復号方法であって、前記フレーム内予測における予測方向を設定するフレーム内予測方向設定ステップと、前記設定した予測方向に従って、前記処理領域内の画素または所定数の画素群ごとに、前記処理領域から所定の距離範囲内にある画素を参照画素の候補として設定する参照画素候補設定ステップと、前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出ステップと、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定ステップと、前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成ステップとを有することを特徴とする。
【００２６】
本発明は、前記参照画素相違度算出ステップは、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする。
【００２７】
本発明は、前記参照画素決定ステップは、各参照画素に対する前記相違度の合計値と、前記処理領域と各参照画素との距離のばらつきを表す値との重み付き和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする。
【００２８】
本発明は、前記参照画素決定ステップは、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、前記予測画像生成ステップは、前記予測方向に従って、複数の前記参照画素を用いて予測画像を生成することを特徴とする。
【００２９】
本発明は、前記予測画像生成ステップは、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定ステップを含み、前記予測方向に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする。
【００３０】
本発明は、映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさに分割した処理領域に対して、フレーム内予測を用いて予測符号化を行う映像符号化装置であって、前記フレーム内予測における予測方向を設定するフレーム内予測方向設定手段と、前記設定した予測方向に従って、前記処理領域内の画素または所定数の画素群ごとに、前記処理領域から所定の距離範囲内にある画素を参照画素の候補として設定する参照画素候補設定手段と、前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出手段と、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定手段と、前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成手段とを有することを特徴とする。
【００３１】
本発明は、前記参照画素相違度算出手段は、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする。
【００３２】
本発明は、前記参照画素決定手段は、各参照画素に対する前記相違度の合計値と、前記処理領域と各参照画素との距離のばらつきを表す値との重み付き和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする。
【００３３】
本発明は、前記参照画素決定手段は、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、前記予測画像生成手段は、前記予測方法に従って、複数の前記参照画素を用いて予測画像を生成することを特徴とする。
【００３４】
本発明は、前記予測画像生成手段は、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定手段を含み、前記予測方法に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする。
【００３５】
本発明は、映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさの分割した処理領域に対して、フレーム内予測を用いて映像信号の復号を行う映像復号装置であって、前記フレーム内予測における予測方向を設定するフレーム内予測方向設定手段と、前記設定した予測方向に従って、前記処理領域内の画素または所定数の画素群ごとに、前記処理領域から所定の距離範囲内にある画素を参照画素の候補として設定する参照画素候補設定手段と、前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出手段と、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定手段と、前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成手段とを有することを特徴とする。
【００３６】
本発明は、前記参照画素相違度算出手段は、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする。
【００３７】
本発明は、前記参照画素決定手段は、各参照画素に対する前記相違度の合計値と、前記処理領域と各参照画素との距離のばらつきを表す値との重み付き和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする。
【００３８】
本発明は、前記参照画素決定手段は、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、前記予測画像生成手段は、前記予測方向に従って、複数の前記参照画素を用いて予測画像を生成することを特徴とする。
【００３９】
本発明は、前記予測画像生成手段は、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定手段を含み、前記予測方向に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする。
【００４０】
本発明は、前記映像符号化方法をコンピュータに実行させるための映像符号化プログラムである。
【００４１】
本発明は、前記映像復号方法をコンピュータに実行させるための映像復号プログラムである。
【発明の効果】
【００４２】
本発明によれば、映像がその映像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合、ブロック端にオクルージョンや雑音を含むブロックや、予測方向に対して複数の被写体が存在するブロックに対して、効率的なフレーム内予測を実行することが可能となり、符号量を削減することが可能になるという効果が得られる。
【図面の簡単な説明】
【００４３】
【図１】本発明の一実施形態における映像符号化装置の構成を示すブロック図である。
【図２】図１に示す映像符号化装置の処理動作を示すフローチャートである。
【図３】本発明の一実施形態における映像復号装置の構成を示すブロック図である。
【図４】図３に示す映像復号装置の処理動作を示すフローチャートである。
【図５】映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。
【図６】映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。
【図７】垂直下向きのフレーム内予測を使用する際の参照画素の候補を示す図である。
【図８】参照ラインを用いて参照画素を表現する際の例を示す図である。
【図９】垂直下向きのフレーム内予測を使用する際に角度幅をもって参照画素の候補を設定した例を示す図である。
【図１０】垂直下向きのフレーム内予測を使用する際に画素幅をもって参照画素の候補をした例を示す図である。
【発明を実施するための形態】
【００４４】
以下、図面を参照して、本発明の一実施形態による映像符号化装置および映像復号装置を説明する。
【００４５】
＜映像符号化装置＞
図１は同実施形態における映像符号化装置の構成を示すブロック図である。映像符号化装置１００は、符号化対象映像入力部１０１、入力フレームメモリ１０２、デプスマップ入力部１０３、デプスマップメモリ１０４、予測方向設定部１０５、参照画素決定部１０６、予測画像生成部１０７、予測方向符号化部１０８、映像信号符号化部１０９、映像信号復号部１１０、参照フレームメモリ１１１および多重化部１１２を備えている。
【００４６】
符号化対象映像入力部１０１は、外部から符号化対象となる映像を入力する。以下の説明において、この符号化対象となる映像のことを符号化対象映像と呼び、特に処理を行うフレームを符号化対象フレームまたは符号化対象画像と呼ぶ。入力フレームメモリ１０２は、入力された符号化対象映像を記憶する。デプスマップ入力部１０３は、符号化対象映像に対応するデプスマップを入力する。このデプスマップは符号化対象映像の各フレームの各画素に写っている被写体のデプスを表すものである。デプスマップメモリ１０４は、入力されたデプスマップを記憶する。
【００４７】
予測方向設定部１０５は、予測画像を生成するにあたって、フレーム内予測を行う方向を設定する。参照画素決定部１０６は、設定された予測方向に存在する符号化済み画素群と処理領域に対するデプスマップを用いて、処理領域の画素ごとに、予測画像を生成する際の参照画素を決定する。予測画像生成部１０７は、決定された参照画素に基づいて予測画像を生成する。
【００４８】
予測方向符号化部１０８は、予測方向設定部１０５において設定した予測方向を示す情報（予測情報）を符号化する。映像信号符号化部１０９は、生成された予測画像を用いて、符号化対象フレームの映像信号を予測符号化する。映像信号復号部１１０は、生成された予測画像を用いて、生成された符号データを復号して復号フレームを生成する。参照フレームメモリ１１１は、生成された復号フレームを記憶する。多重化部１１２は、予測情報の符号データと映像信号の符号データとを多重化して外部へ出力する。
【００４９】
次に、図２を参照して、図１に示す映像符号化装置１００の動作を説明する。図２は、図１に示す映像符号化装置１００の動作を示すフローチャートである。ここでは符号化対象映像中のある１フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の符号化が実現できる。
【００５０】
まず、符号化対象映像入力部１０１は、符号化対象フレームを入力し、入力した符号化対象フレームを入力フレームメモリ１０２に記憶する。一方、デプスマップ入力部１０３は、符号化対象フレームに対するデプスマップを入力し、入力したデプスマップをデプスマップメモリ１０４に記憶する（ステップＳ１０１）。なお、ここでは入力された符号化対象フレームが順次符号化されるものとしているが、入力順と符号化順は必ずしも一致している必要はない。入力順と符号化順が異なる場合は、次に符号化するフレームが入力されるまで、入力されたフレーム及びデプスマップは入力フレームメモリ１０２及びデプスマップメモリ１０４に記憶する。記憶された符号化対象フレーム及びデプスマップは、以下で説明する符号化処理によって符号化されたら、各メモリから削除しても構わない。
【００５１】
なお、ステップＳ１０１において入力するデプスマップは、既に符号化済みのデプスマップを復号したものなど、復号側で得られるデプスマップとする。これは、映像復号装置で得られる情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されても構わない。その他の復号側で得られるデプスマップの例としては、別の視点の符号化済みデプスマップを復号したものを用いて合成されたデプスマップや、別の視点の符号化済み画像群を復号したものからステレオマッチング等によって推定したデプスマップなどがある。
【００５２】
符号化対象フレームとデプスマップの記憶が終了したら、符号化対象フレームを予め定められた大きさの領域に分割し、分割した領域ごとに、符号化対象フレームの映像信号を符号化する（ステップＳ１０２〜Ｓ１１１）。すなわち、符号化対象領域インデックスをｂｌｋ、１フレーム中の総符号化対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ１０２）、その後、ｂｌｋに１を加算しながら（ステップＳ１１０）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ１１１）、以下の処理（ステップＳ１０３〜ステップＳ１０９）を繰り返す。一般的な符号化では１６画素ｘ１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、復号側と同じであればその他の大きさのブロックに分割しても構わない。
【００５３】
符号化対象領域ごとに繰り返される処理において、予測方向設定部１０５は、フレーム内予測で用いる予測方向を設定する（ステップＳ１０３）。予測方向とは、符号化対象領域ｂｌｋの映像信号を予測する際に参照する既に符号化済み画素が存在する方向のことである。符号化対象領域ｂｌｋ内の各画素について、この予測方向で示される元に存在する既に符号化済み画素群の復号画素値を用いて予測画像が生成される。ここで設定する予測方向はどのように決定しても構わない。ただし、符号化効率を最大にする場合は、設定した予測方向によって生成される予測画像による予測効率を評価し、その予測効率が最大になるものに決定したほうがよい。
【００５４】
すなわち、予測方向をｖとするとき、（１）式で与えられる予測方向Ｖｂｌｋを、符号化対象領域ｂｌｋに対する予測方向に決定する。なお、予測方向はどのように表現しても構わない。ここでは、設定可能な予測方向の候補をＮｕｍＶとし、０からＮｕｍＶ−１までの整数で表されるインデックス値で予測方向を示すものとする。各インデックス値はそれぞれ異なる向き（２次元ベクトル）に対応している。
【数１】
0005759357.tif 000002
【００５５】
なお、Ｅｂｌｋ（ｖ）の値は小さいほど符号化効率が高いことを示しており、ａｒｇｍｉｎは与えられた関数を最小化するパラメータを返す関数を示す。最小化対象のパラメータはａｒｇｍｉｎの下部で与えられる。予測方向の候補には任意のものを使用しても構わない。例えば、Ｈ．２６４／ＡＶＣの４×４ブロックにおけるイントラ予測と同様に８種類の予測方向を候補としても構わないし、文献「K. McCann, W.-J. Han, and I. Kim, “Samsung's Response to the Call for Proposals on Video Compression Technology", Input document to Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A124, April 2010.」のようにさらに多数の予測方向を候補としても構わない。
【００５６】
また、常に固定である必要もなく、ピクチャタイプやブロックサイズなどに応じて、候補を変更しても構わない。例えば、Ｈ．２６４／ＡＶＣでは、４×４ブロックでは前述の通り８通りの予測方向を使用可能としているが、１６×１６ブロックでは３種類の予測方向のみを使用可能としている。予測効率の評価値Ｅｂｌｋ（ｖ）には、どのようなものを用いても構わない。例えば、（２）式、（３）式で表される符号化対象画像と予測画像の差分絶対値和（ＳＡＤ）や差分二乗和（ＳＳＤ）を用いても構わない。
【数２】
0005759357.tif 000003
【数３】
0005759357.tif 000004
【００５７】
ここで、Ｏｒｇは符号化対象フレームを示し、ＰｒｅｄＶは予測方向をｖとした際に後述する方法で生成された予測画像を示す。これら以外に符号化対象画像と予測画像の差分値をＤＣＴやアダマール変換などを用いて変換した値を用いた方法がある。その変換を行列Ａで表すと、（４）式で表すことができる。なお、‖Ｘ‖はＸのノルムを表す。
【数４】
0005759357.tif 000005
【００５８】
また、上記のように符号化対象フレームと予測画像との乖離度のみを評価する方法ではなく、発生する符号量と歪み量を鑑みたＲＤコストを用いても構わない。ここで用いるＲＤコストは、ＰｒｅｄＶを予測画像としてＯｒｇを符号化した際の符号量Ｒｂｌｋ（ｖ）と歪み量Ｄｂｌｋ（ｖ）とを用いて、（５）式で表すことができる。なお、λはラグランジュの未定乗数であり、予め定められた値を用いる。
【数５】
0005759357.tif 000006
【００５９】
正確なＲＤコストを算出するためには、予測残差の符号化および復号を行う必要がある。これには非常に多くの演算を必要とするため、予測情報の符号量Ｒｂｌｋ’（ｖ）と、予測画像における符号化対象フレームからの歪み量Ｄｂｌｋ’（ｖ）とを用いて算出したＲＤコストを用いて予測方向ｖを決定しても構わない。このとき、ラグランジュの未定乗数はλとは異なる値を用いることが多い。また、符号量Ｒｂｌｋ’も実際に符号化して求めず、簡易な方法で符号量Ｒｂｌｋ’の推定量を求めて、それを使用することで更なる高速化を図ることも可能である。
【００６０】
予測方向の設定ができたら、参照画素決定部１０６は、符号化対象領域ｂｌｋと参照画素の候補に対するデプスマップを用いて、符号化対象領域の画素ごとに、予測画像を生成する際の参照画素を決定する（ステップＳ１０４）。参照画素の候補は符号化対象領域の画素ごとに設定され、符号化対象領域の画素に対して予測方向の元となる方向へ辿っていくことで見つかる既に符号化済みの画素の集合である。
【００６１】
すなわち、上のブロックから予測を行う垂直予測の場合、予測方向の元となる方向は上であり、図７に示すように符号化対象画素から上に辿ることで見つかる既に符号化済みの画素の集合である。参照画素を決定するに当たって、符号化対象領域またはその画素からの距離を選択基準の一つとして使用しても構わない。本実施形態では、予測方向がｖの際のある画素ｐの参照画素の候補集合を｛ｒｐｐ，ｖ，ｉ｜ｉ＝１，２，…Ｎｐ，ｖ｝で表す。Ｎｐは参照画素の候補数であり、ｉの値が小さいほど符号化対象画素に近い画素であることを示すものとする。
【００６２】
なお、参照画素の候補数は固定であっても可変であっても構わない。例えば、候補数を予め指定しておいても構わないし、遡る距離を予め設定しておいても構わないし、それらの組み合わせで指定しても構わない。指定された条件や数は、ブロック・スライス・フレーム・ＧＯＰ（Group Of Pictures）などの単位で決定し、その値をブロックヘッダ・スライスヘッダ・ピクチャヘッダ・ＧＯＰヘッダなどの位置で符号化しても構わない。遡る距離は符号化対象ブロック端からの距離として定義しても構わないし、符号化対象の画素からの距離として定義しても構わない。なお、常に固定の条件を用いる場合は、その情報を符号化する必要はない。
【００６３】
また、符号化対象領域の画素ごとに、図８に示すｒｅｆｌｉｎｅ＿ｘ及びｒｅｆｌｉｎｅ＿ｙを決定することで、参照画素を決定しても構わない。図中、Ｍｘ及びＭｙは符号化対象領域または符号化対象画素から参照画素までの最大距離によって定義される値である。この場合、ｒｅｆｌｉｎｅ＿ｘ及びｒｅｆｌｉｎｅ＿ｙの組み合わせが参照画素の候補となる。ただし、予測方向によってはｒｅｆｌｉｎｅ＿ｘまたはｒｅｆｌｉｎｅ＿ｙのどちらか一方のみを決定するだけで良い場合もある。例えば、垂直下向きに予測を行う場合はｒｅｆｌｉｎｅ＿ｘが不要であり、水平右向きに予測を行う場合はｒｅｆｌｉｎｅ＿ｙが不要である。
【００６４】
参照画素は、（６）式で表される通り、設定した参照画素の候補中で、符号化対象領域の画素との相違度が最小となる画素として決定する。
【数６】
0005759357.tif 000007
【００６５】
Ｄｉｓｓｉｍｉｌａｒｉｔｙは与えられた２つの画素の相違度を示すものであり、例えば（７）式、（８）式で表されるデプスマップの値の差分絶対値や差分二乗値を用いることが可能である。
【数７】
0005759357.tif 000008
【数８】
0005759357.tif 000009
【００６６】
また、デプス値の違いだけでなく、符号化対象領域または符号化対象領域の画素から参照画素までの距離を考慮した尺度を用いることも可能である。例えば、（９）式を用いても構わない。
【数９】
0005759357.tif 000010
【００６７】
αは別途定められた重み係数であり、Ｄｉｓｔａｎｃｅは与えられた２つの画素の距離を示すものである。前述の定義を用いる場合は参照画素の候補がｒｐｐ，ｖ，ｉの場合は、ｉを距離として用いることができる。また、ｒｅｆｌｉｎｅ＿ｘとｒｅｆｌｉｎｅ＿ｙの合計値を距離として用いることも可能である。距離を考慮することで、デプスマップの値による相違度が一緒の場合に、より符号化対象領域に近い画素を参照画素として使用することになる。一般に、空間的な距離が近いほど相関が高いと考えられるため、このような距離を考慮した尺度を用いることで、より適切な参照画素を選択することが可能となる。
【００６８】
更に、符号化対象領域または符号化対象領域内の画素から参照画素までの距離を考慮する際に、その距離の符号化対象領域内の画素毎の変化を考慮しても構わない。その場合、符号化対象領域の各画素に対する参照画素は、（１０）式で与えられる。
【数１０】
0005759357.tif 000011
【００６９】
ここで、集合Ｘは符号化対象領域内の画素に対する参照画素の集合であり、ｘｐはＸの第ｐ元、すなわち画素ｐに対する参照画素を示す。画素ｐに対する参照画素は前述と同様に候補｛ｒｐｐ，ｖ，ｉ｜ｉ＝１，２，…Ｎｐ，ｖ｝の中から選択される。Ｅは符号化対象領域内の画素間の隣接関係を表す集合であり、（ｐ，ｑ）∈Ｅのとき画素ｐと画素ｑは隣接していると考える。また、ｈｐｑは画素毎に選択される参照画素のばらつきを抑えるための平滑化項で、ここでは参照画素間の距離に対する増加関数であれば、どのようなものを用いても構わない。なお、参照画素間の距離としては、画素間の距離を計算して用いても構わないし、それぞれの参照画素に対する参照画素と符号化対象画素との距離を求め、その差を用いても構わない。それぞれの参照画素に対する参照画素と符号化対象画素との距離の差は、ｘｐがｒｐｐ，ｖ，ｉで、ｘｑがｒｐｑ，ｖ，ｊの時、参照画素間の距離は｜ｉ−ｊ｜で得られる。
【００７０】
（１０）式の最小化はグラフカット等のマルコフ確率場の最小化問題を解くアルゴリズムを用いて解くことができる。ただし、厳密な意味で右辺を最小化する解を求めるのが困難な場合があるため、近似解を用いたとしても構わない。なお、近似解を用いる場合は、復号側でも同様の解が得られる必要があるため、予め定められた条件を用いて最小化をやめるか、最小化の停止条件を符号化して伝送する必要がある。
【００７１】
また、（１０）式では符号化対象領域の全ての画素を対象に最小化を行っているが、演算量を考慮して、符号化対象領域内の行毎又は列毎など、部分集合毎に最小化を行って、その結果を近似解として用いることも可能である。特に隣接関係が１次元に限定された場合、動的計画法を用いることで、その部分集合に対する最小解を高速に見つけることが可能となる。
【００７２】
次に、参照画素が決定したら、予測画像生成部１０７は、予測画像を生成する（ステップＳ１０５）。予測画像は一般的なフレーム内予測と同様に、画素毎に、参照画素の画素値を割り当てることで生成する。すなわち、予測画像は（１１）式に基づいて生成される。Ｄｅｃは参照フレームメモリ１１１に記憶されている符号化対象画像の既に符号化済み領域に対する復号画像を示す。
【数１１】
0005759357.tif 000012
【００７３】
次に、予測画像の生成が終了したら、予測方向符号化部１０８は予測方向の符号化を行う（ステップＳ１０６）。予測方向の符号化にはどのような方法を用いても構わない。ただし、正しく復号可能にするためには、復号側で復号可能な方式を用いる必要がある。例えば、予測方向のインデックス値を予め定められた方法を用いて２値化して２値算術符号化によって符号化しても構わない。また、隣接ブロックを符号化する際に使用されたフレーム内予測の予測方向から、予測方向の予測値を生成し、その予測が正しいか否かに加え、予測が誤っている場合にのみ予測方向を符号化する方法もある。
【００７４】
次に、生成された予測画像を用いて、映像信号符号化部１０９は符号化対象フレームＯｒｇの符号化対象領域ｂｌｋにおける映像信号を符号化する（ステップＳ１０７）。復号側で正しく復号可能であるならば、符号化にはどのような方法を用いても構わない。ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化では、ブロックｂｌｋの映像信号と予測画像との差分信号に対して、ＤＣＴなどの周波数変換、量子化、２値化、エントロピー符号化を順に施すことで符号化を行う。
【００７５】
次に、映像信号復号部１１０は、映像信号の符号データと予測画像とを用いて、ブロックｂｌｋに対する映像信号を復号し、復号結果であるところの復号フレームＤｅｃ［ｂｌｋ］を参照フレームメモリ１１１に記憶する（ステップＳ１０８）。ここでは、符号化時に用いた手法に対応する手法を用いる。例えば、ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化であれば、符号データに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴなどの周波数逆変換を順に施し、得られた２次元信号に対して予測画像を加え、最後に画素値の値域でクリッピングを行うことで映像信号を復号する。
【００７６】
なお、符号化側での処理がロスレスになる直前のデータと予測画像を受け取り、簡略化した復号処理によって復号処理を行っても構わない。すなわち、前述の例であれば符号化時に量子化処理を加えた後の値と予測画像を受け取り、その量子化後の値に逆量子化、周波数逆変換を順に施して得られた２次元信号に対して予測画像を加え、画素値の値域でクリッピングを行うことで映像信号を復号しても構わない。
【００７７】
次に、多重化部１１２は、予測方向の符号データと、映像信号の符号データとを多重化して出力する（ステップＳ１０９）。なお、ここではブロックごとに多重化しているが、フレーム単位で多重化しても構わない。ただし、その場合には、復号時に１フレーム分の符号データをバッファリングしてから復号する必要が生じる。
【００７８】
なお、図２に示す一部の処理は、その順序が前後しても構わない。具体的には、ステップＳ１０６の予測方向の符号化処理は、ステップＳ１０３の予測方向の決定処理よりも後ろであればいつ行っても構わないし、ステップＳ１０９の符号データの多重化処理は、ステップＳ１０６の予測方向の符号化処理とステップＳ１０７の映像信号の符号化処理より後ろであればどのタイミングで行っても構わない。
【００７９】
＜映像復号装置＞
次に、映像復号装置について説明する。図３は、本発明の一実施形態による映像復号装置の構成を示すブロック図である。映像復号装置２００は、符号データ入力部２０１、符号データメモリ２０２、デプスマップ入力部２０３、デプスマップメモリ２０４、分離部２０５、予測方向復号部２０６、参照画素決定部２０７、予測画像生成部２０８、映像信号復号部２０９および参照フレームメモリ２１０を備えている。
【００８０】
符号データ入力部２０１は、外部から復号対象となる映像の符号データ（例えば、図１に示す映像符号化装置１００から出力された符号化データ）を入力する。以下の説明においては、この復号対象となる映像のことを復号対象映像と呼び、特に処理を行うフレームを復号対象フレームまたは復号対象画像と呼ぶ。符号データメモリ２０２は入力された符号データを記憶する。デプスマップ入力部２０３は、復号対象映像に対応するデプスマップを入力する。このデプスマップは復号対象映像の各フレームの各画素に写っている被写体のデプスを表すものである。デプスマップメモリ２０４は、入力されたデプスマップを記憶する。
【００８１】
分離部２０５は、入力された符号データで多重化されている予測情報の符号データと映像信号の符号データとを分離する。予測方向復号部２０６は、予測画像を生成する際に行うフレーム内予測を行う方向（予測方向）を示す情報を符号データから復号する。参照画素決定部２０７は、復号された予測方向に存在する符号化済み画素群と処理領域に対するデプスマップを用いて、処理領域の画素ごとに、予測画像を生成する際の参照画素を決定する。予測画像生成部２０８は、決定された参照画素に基づいて予測画像を生成する。映像信号復号部２０９は、生成された予測画像を用いて、符号データを復号して復号フレームを生成する。参照フレームメモリ２１０は、生成された復号フレームを記憶する。
【００８２】
次に、図４を参照して、図２に示す映像復号装置２００の動作を説明する。図４は、図３に示す映像復号装置２００の動作を示すフローチャートである。ここでは復号対象映像中のある１フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の復号が実現できる。
【００８３】
まず、符号データ入力部２０１は、復号対象映像の符号データを入力し、入力した符号データを符号データメモリ２０２に記憶する。一方、デプスマップ入力部２０３は、復号対象映像に対するデプスマップを入力し、入力したデプスマップをデプスマップメモリ２０４に記憶する（ステップＳ２０１）。なお、ここでは入力された符号データから復号対象フレームが順次復号して出力するとしているが、入力順と出力順は必ずしも一致している必要はない。入力順と出力順が異なる場合は、次に出力するフレームが復号されるまで、復号されたフレームは参照フレームメモリ２１０に記憶する。記憶されたデプスマップは、以下で説明する復号処理によって対応するフレームが復号されたら、各メモリから削除しても構わない。
【００８４】
なお、ステップＳ２０１で入力するデプスマップは、符号化時に使用したデプスマップと同じものとする。これは映像符号化装置１００で使用した情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化に使用されたものとは異なるものが入力されても構わない。入力されるデプスマップとしては、例えば、別途復号されたデプスマップや、別の視点に対して復号されたデプスマップを用いて合成されたデプスマップや、別の視点に対して復号された画像群からステレオマッチング等によって推定したデプスマップなどがある。
【００８５】
次に、符号データとデプスマップの記憶が終了したら、復号対象フレームを予め定められた大きさに分割した領域ごとに、復号対象フレームの映像信号を復号する（ステップＳ２０２〜Ｓ２１０）。すなわち、復号対象領域インデックスをｂｌｋ、１フレーム中の総復号対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ２０２）、その後、ｂｌｋに１を加算しながら（ステップＳ２０９）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ２１０）、以下の処理（ステップＳ２０３〜ステップＳ２０８）を繰り返す。処理領域のサイズは符号化側で使用されたものと同じ大きさとなる。一般的な符号化では１６×１６画素のマクロブロックと呼ばれる処理単位ブロックが使用されるが、符号化側と同じであればその他の大きさのブロックごとに処理を行う。
【００８６】
復号対象領域ごとに繰り返される処理において、まず、分離部２０５は符号データから、復号対象領域ｂｌｋの予測方向の符号データと映像信号の符号データとを分離する（ステップＳ２０３）。なお、ここでは復号対象領域ごとに分離しているが、フレーム単位など他の単位で分離しても構わない。ただしフレーム単位で分離する場合は、入力された符号データではなく、分離された符号データを記憶する必要が生じる。
【００８７】
次に、予測方向復号部２０６で、分離された予測方向に対する符号データを復号し、復号対象領域ｂｌｋに対するフレーム内予測の予測方向を設定する（ステップＳ２０４）。予測方向の復号が終了したら、参照画素決定部２０７は、復号対象領域ｂｌｋと参照画素の候補に対するデプスマップを用いて、復号対象領域の画素ごとに、予測画像を生成する際の参照画素を決定する（ステップＳ２０５）。ここでの処理は図２に示すステップＳ１０４と同じである。どのような規則で参照画素を決定しても構わないが、符号化側と同じ規則に従って決定する必要がある。なお、符号化側で使用した規則についての情報が符号化されている場合は、適切なタイミング（シーケンス・フレーム・ブロック群・ブロックなどの先頭）で、その情報を復号し、復号した規則に従って参照画素を決定する必要がある。
【００８８】
次に、復号対象領域の各画素に対する参照画素の決定が終了したら、予測画像生成部２０８は予測画像を生成する（ステップＳ２０６）。ここでの処理は図２に示すステップＳ１０５と同じであり、一般的なフレーム内予測と同様に、画素毎に参照画素の画素値を割り当てることで予測画像を生成する。
【００８９】
次に、予測画像の生成が終了したら、生成された予測画像を用いて、映像信号復号部２０９は、映像信号に対する符号データから復号対象領域ｂｌｋに対する映像信号を復号し（ステップＳ２０７）、復号画像を生成する（ステップＳ２０８）。復号画像は映像復号装置２００の出力となるとともに、参照フレームメモリ２１０に記憶する。復号処理は符号化時に用いた手法に対応する手法を用いる。例えば、ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化が用いられている場合は、符号データに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴなどの周波数逆変換を順に施し、得られた２次元信号に対して予測画像を加え、最後に画素値の値域でクリッピングを行うことで映像信号を復号する。
【００９０】
前述した説明においては、符号化対象領域全体および復号対象領域全体（以下、符号化および復号を区別せず処理と呼ぶ）に対して１つの予測方向を設定しているが、処理対象領域を分割し、その分割ごとに参照情報を設定しても構わない。この場合、処理対象領域の分割方法も予測方向を示すための情報の一部分となる。すなわち、予測方向を示す情報は分割方法を示す情報Ｐｂｌｋ、分割ごとの予測方向の集合｛Ｖｂｌｋ，ｉ｜ｉ＝１，…，Ｍｂｌｋ｝で構成される。なお、Ｍｂｌｋは分割方法Ｐｂｌｋで処理対象領域を分割した際の分割数を表す。このようにすることで、処理対象領域内において、部分ごとに写っている被写体が異なる場合、すなわち映像信号の空間相関の向きが大きく異なる場合においても、それを考慮した予測画像の生成を行うことができる。この場合においても、デプスマップを用いた参照画素の決定を行うことで、細かい領域分割を設定することなく、各画素に写っている被写体を反映した予測画像を生成することが可能である。
【００９１】
また、処理領域内の画素ごとに参照画素を決定しているが、符号化対象領域からの距離すなわち参照ライン（ｒｅｆｌｉｎｅ＿ｘおよびｒｅｆｌｉｎｅ＿ｙ）を決定することで参照画素を決定する場合、処理領域の画素ごとではなく、処理領域内の行（水平ライン）や列（鉛直ライン）、Ｎ×Ｎ画素のブロックなどの画素群ごとに参照画素を決定しても構わない。すなわち、予めまたは別途定められた画素群ごとに１つの参照ライン（または参照ラインの組、以下では両者を区別せず参照ラインと記す）を決定しても構わない。この場合、ステップＳ１０４及びステップＳ２０５の参照画素を決定する処理は、上記説明した（６）式ではなく、（１２）式に従って行う。
【数１２】
0005759357.tif 000013
【００９２】
ここで、ｓｕｂｂｌｋは、１つの参照ラインを決定する対象の画素群の集合を表す。ｒｅｆｌｉｎｅは、処理領域左または処理領域上の参照ラインのいずれか一方を決定する場合はｒｅｆｌｉｎｅ＿ｘまたはｒｅｆｌｉｎｅ＿ｙのいずれか一方を表し、参照ラインの組を決定する場合は参照ラインの組（ｒｅｆｌｉｎｅ＿ｘ，ｒｅｆｌｉｎｅ＿ｙ）を表す。また、ｒｅｆｐ（ｐ，ｖ，ｒｌ）は、画素ｐに対して、予測方向ｖ、参照ラインｒｌでフレーム内予測を行う際の参照画素を示す。なお、ｐ１≠ｐ２のとき、ｒｅｆｐ（ｐ１，ｖ，ｒｌ）＝ｒｅｆｐ（ｐ２，ｖ，ｒｌ）であるとは限らない。ｐ１とｐ２の位置関係が予測方向ｖと並行であれば、ｒｅｆｐ（ｐ１，ｖ，ｒｌ）＝ｒｅｆｐ（ｐ２，ｖ，ｒｌ）となる。これは、参照ラインが処理対処領域からの距離で定義されているためである。
【００９３】
また、前述した（１０）式を用いた参照画素の決定処理のように、処理領域内の参照ラインの変化を考慮して、定められた画素群ごとに１つの参照ラインを設定することで、参照画素を決定することも可能である。その場合の数式は（１３）式で与えられる。
【数１３】
0005759357.tif 000014
【００９４】
ここで、集合ＲＬは参照ラインの集合であり、ｒｌｓｂはＲＬの第ｓｂ元、すなわち参照ラインを設定する単位の画素集合ｓｂに対する参照ラインを示す。Ｅ‘は処理対象領域内の参照ラインを設定する単位の画素集合の隣接関係を表す集合であり、（ｓ，ｔ）∈Ｅ’のとき画素集合ｓと画素集合ｔは隣接していると考える。また、ｈｓｔは画素集合毎に決定される参照ラインのばらつきを抑えるための平滑化項で、ここでは参照ライン間の距離に対する増加関数であれば、どのようなものを用いても構わない。例えば、参照ラインの差分絶対値和を予め定められた係数でスケールした値を使っても構わない。参照ラインの差分絶対値和とは、各参照ラインにおけるｒｅｆｌｉｎｅ＿ｘの値の差分の絶対値とｒｅｆｌｉｎｅ＿ｙの値の差分の絶対値の和である。
【００９５】
また、前述した説明においては、予測方向を指定して行うフレーム内予測のみを対象としたが、予測方向を指定せずに処理対象領域に隣接する処理済み画素群から予測値を生成するフレーム内予測にも適用することができる。具体的には参照画素を決定する処理を、参照ライン（ｒｅｆｌｉｎｅ＿ｘおよびｒｅｆｌｉｎｅ＿ｙ）を決定する処理と考えることで本発明を適用することが可能である。この場合、ステップＳ１０４及びステップＳ２０５の参照画素を決定する処理は、ｓｕｂｂｌｋ＝ｂｌｋとして（１２）式を用いても参照ラインを決定しても構わない。
【００９６】
また、別の方法として、処理対象領域に対するデプスマップの値の代表値と、参照ラインによって指定される予測値を生成するために使用される参照画素群の各画素に対するデプスマップの値との乖離度の合計値が最小になるように、参照ラインを決定しても構わない。その場合の数式は（１４）式で与えられる。
【数１４】
0005759357.tif 000015
【００９７】
ここで、ｒｅｐＤは処理対象領域に対するデプスマップの値の代表値を示し、当該領域に対するデプスマップの値の平均値、中央値、最も多く存在する値などを用いることが可能である。ｒｅｆ（ｒｌ）は参照ラインをｒｌとした際の参照画素群を示す。なお、乖離度として差分絶対値を用いたが、差分二乗値などデプスマップの値の違いに対する増加関数であれば任意のものを用いることが可能である。また、参照画素毎に乖離度を算出してその合計値で評価するのではなく、参照画素群に対するデプスマップの値の代表値を求め、その代表値と処理対象領域に対するデプスマップの値の代表値との乖離度で評価する方法もある。
【００９８】
また、前述した説明においては、図７に例示されるように、処理領域の画素に対して予測方向の元となる方向へ辿っていくことで見つかる既に処理済みの画素の集合を参照画素の候補としているが、図９に示すように一定の角度幅をもつ予測方向を用いることで、より多くの画素を参照画素の候補とすることが可能である。また、角度幅ではなく、図１０に示すように予測方向の元となる方向へ辿っていくことで見つかる既に処理済みの画素及びその周辺の画素群を参照画素の候補とする方法もある。このように予測方向と直交する方向にも参照画素の候補を増やすことで、より広い範囲に存在で予測に用いる参照画素を設定可能になることで予測性能を向上させることが可能となる。また、一つの方向で多数の方向をカバーできることにもなるため、設定可能な予測方向の数を減らし、予測方向を示す情報を符号化するのに必要な符号量を削減することも可能となる。
【００９９】
また、前述した説明においては、複数存在する参照画素の候補から１つを選択しているが、複数の参照画素を設定しても構わない。複数の参照画素を設定する方法としては、参照画素の候補中で符号化対象領域の画素との相違度を基準として、相違度が小さいものから順に一定数のものを参照画素として設定する方法や、相違度が一定値以下のものを参照画素として設定する方法や、相違度が一定値以下で小さいものから順に一定数のものを参照画素として設定する方法がある。また、複数の参照画素から予測画像の画素値（予測値）を生成する方法としては、複数の参照画素の平均値や中央値を予測値とする方法や、相違度によって参照画素毎に重み係数を設定した重み付け平均値や重み付け中央値を予測値とする方法がある。なお、複数の参照画素の設定方法と複数の参照画素からの予測値の生成方法には上記を含め任意の方法を用いることができるが、符号化と復号で一致させる必要がある。
【０１００】
また、前述した説明においては、入力したデプスマップをそのまま用いているが、符号化されたデプスマップを用いる場合などは、デプスマップにノイズが生じているため、そのノイズを低減させるためにデプスマップにローパスフィルタをかけても構わない。また、被写体の違いが分かる程度のビット深度があれば、被写体を考慮した予測画像の生成が行えるため、入力されたデプスマップに対してビット深度変換を施して、デプスマップのビット深度を小さくする処理を施しても構わない。なお、単純なビット深度変換を行っても構わないが、デプスマップから被写体数を判定するなどして、その結果に応じて、被写体を区別するだけの情報に変換しても構わない。
【０１０１】
また、前述した説明においては、フレーム全体を符号化／復号する処理するものとして説明したが、画像の一部分のみに適用することも可能である。この場合、処理を適用するか否かを判断して、それを示すフラグを符号化／復号しても構わないし、なんらか別の手段でそれを指定しても構わない。
【０１０２】
また、別途情報を与えて指定するのではなく、デプスマップから前述した参照画素の決定を行うか否かを判定しても構わない。例えば、処理対象領域の各画素に対するデプスマップの値がほぼ等しい場合（デプスマップの値の分散値が小さい場合）、１つの被写体しか含まれていないことになるため、常に処理対象領域に隣接する処理済みの画素を参照画素とするとして、デプスマップの値を用いた参照画素の決定を行わないようにする方法がある。なお、処理対象領域内の画素だけでなく、設定された予測方向に従って、従来の方法（Ｈ．２６４／ＡＶＣなど）を用いて予測を行う際に、参照画素として設定される画素群を含めた画素集合に対して、対応するデプスマップの値がほぼ等しいか否かを判定しても構わない。このようにすることで、参照画素群を含めた領域に１つの被写体しか含まれていないか否かを判定基準とできるため、より正確な切り替えを行うことが可能となる。
【０１０３】
また、前述した説明においては、符号化／復号対象映像に対するデプスマップを用いているが、法線マップや温度画像などの被写体に依存した値を持つ画像情報を代わりに用いることも可能である。ただし、符号化側で使用されたものが復号側でも同様に入手できる必要がある。
【０１０４】
以上説明した映像符号化および映像復号の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
【０１０５】
図５に、画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは、プログラムを実行するＣＰＵ５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、カメラ等からの符号化対象の映像信号を入力する符号化対象映像入力部５２（ディスク装置等による映像信号を記憶する記憶部でもよい）と、例えばネットワークを介して符号化対象映像に対するデプスマップを入力するデプスマップ入力部５３（ディスク装置等によるデプスマップを記憶する記憶部でもよい）と、図２に示す処理をＣＰＵ５０に実行させるソフトウェアプログラムである映像符号化プログラム５４１が格納されたプログラム記憶装置５４と、ＣＰＵ５０がメモリ５１にロードされた映像符号化プログラム５４１を実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部５５（ディスク装置等による多重化符号データを記憶する記憶部でもよい）とが、バスで接続された構成になっている。
【０１０６】
図示を省略するが、他に、符号データ記憶部、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測方向符号データ記憶部などが用いられることもある。
【０１０７】
図６に、映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と、映像符号化装置が本手法により符号化した符号データを入力する符号データ入力部６２（ディスク装置等による多重化符号データを記憶する記憶部でもよい）と、例えばネットワークを介して復号対象の映像に対するデプスマップを入力するデプスマップ入力部６３（ディスク装置等によるデプスマップを記憶する記憶部でもよい）と、図４に示す処理をＣＰＵ６０に実行させるソフトウェアプログラムである映像復号プログラム６４１が格納されたプログラム記憶装置６４と、ＣＰＵ６０がメモリ６１にロードされた映像復号プログラム６４１を実行することにより、符号データを復号して得られた復号映像を、再生装置などに出力する復号映像出力部６５とが、バスで接続された構成になっている。
【０１０８】
図示省略するが、他に、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測方向符号データ記憶部が用いられることもある。
【０１０９】
以上説明したように、前述した映像符号化装置及び映像復号装置によれば、映像信号の予測精度の向上に伴う、予測残差の符号化に必要な符号量を削減することができる。フレーム内予測において予測対象領域に隣接する画素だけではなく、そこから一定距離内かつフレーム内予測の予測方向に沿った位置に存在する画素からの予測が可能になったことにより、領域端にオクルージョンや雑音を含む場合や、予測方向に対して複数の被写体が存在する領域に対しても、同じ被写体からの画素値の予測が可能になるため、高精度な予測が実現できる。従来手法（例えば、特許文献１）では、予測対象領域からの距離を指定し、予測対象領域に隣接する画素以外を用いたフレーム内予測を実現していた。この場合、距離を指定する情報を符号化する必要が生じるため、画素ごとに距離を指定することができず、全ての画素に対して精度の高い予測を行えなかった。本発明では、別途伝送されているデプスマップの情報を用いて、参照画素の候補の中から、予測する対象の画素と同じ被写体が写っている画素を選択し、その選択された参照画素を用いて予測画像を生成する。このようにすることで、距離を指定する情報を符号化する必要がなくなる。その結果、画素ごとに距離を決定することが可能となり、全ての画素に対して精度の高い予測を実現できる。ここで、デプスマップの値は被写体に大きく依存した値であるため、デプスマップを用いた被写体の判定によって、高精度に同じ被写体が写っているか否かを判定することが可能である。なお、画素群ごとに距離を指定する場合においても、特許文献１では必要だった距離を指定する情報を符号化する必要がなくなることによって、その分の符号量を削減することが可能である。
【０１１０】
また、予測対象の画素に対してより相関の高い画素から予測を行うことによる予測精度の向上に伴う、予測残差の符号化に必要な符号量を削減することができる。デプスマップではテクスチャ情報が失われているため、同じ被写体内のテクスチャまで考慮に入れて参照画素を決定することができない。一般に、画像内での空間的な距離が近いほど画素値の相関が高いため、デプスマップの値に加えて、参照画素と予測対象画素との間の距離の基準に参照画素を決定することで、参照画像の候補に同じ被写体が写った画素が複数存在する場合に、より相関の高い画素を用いた予測が可能になる。
【０１１１】
また、予測画像に不自然な高周波成分が発生するのを抑制することによる周波数領域での予測精度の向上に伴う、予測残差の符号化に必要な符号量を削減することができる。予測対象領域の画素ごとに参照画素を設定する場合、本来は連続していなかった画素を寄せ集めて予測画像が生成されることになる。その結果、予測画像における画素間の連続性が低下し、自然画像ではありえない高周波成分が発生することがある。そこで、予測対象領域の隣接画素間での参照画素までの距離の変化を抑制しつつ、できる限り同じ被写体が撮影されている画素を参照画素として設定することで、予測画像に不自然な高周波成分が発生するのを抑制することが可能となる。なお、一般的な符号化では予測残差は周波数領域で符号化されるため、このようにすることで予測残差における無駄な高周波成分の発生を防ぎ、より効率的な符号化を実現することが可能となる。
【０１１２】
また、参照画素やデプスマップにおけるノイズに対する頑健性を向上することができる。デプスマップにノイズが含まれる場合、複数の参照画素の候補から１つの参照画素を選択する際に誤りが生じることがある。その場合、複数の参照画素を選択し、その参照画素群に対する画素値の平均値や中央値を用いて予測画像を生成することで、誤って異なる被写体が撮影されている参照画素が幾つか選択されていても、その影響を低減して予測画像を生成することができる。また、参照画素にノイズが含まれる場合においても、複数の参照画素を用いて平均値をとることでノイズ成分を低減し、より高精度な予測を実現することが可能となる。
【０１１３】
また、複数の参照画素を用いて予測を行う際の予測精度向上に伴う、予測残差の符号化に必要な符号量を削減することができる。複数の参照画素を用いて予測を行う場合、予測対象画素と参照画素との相違度に基づいた重み係数を用いた重み付き平均値や重み付き中央値によって予測を行うことで、予想対象画素との類似度が高いとされる画素を重視した予測となるため、ノイズへの頑健性を維持したまま予測精度を向上することが可能となる。
【０１１４】
なお、図１、図３における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化処理及び映像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１１５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１１６】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【０１１７】
映像とデプスマップとを構成要素に持つ自由視点映像データの符号化において、フレーム内予測の符号化効率を向上することが不可欠な用途に適用できる。
【符号の説明】
【０１１８】
１００・・・映像符号化装置・・・、１０１・・・符号化対象映像入力部、１０２・・・入力フレームメモリ、１０３・・・デプスマップ入力部、１０４・・・デプスマップメモリ、１０５・・・予測方向設定部、１０６・・・参照画素決定部、１０７・・・予測画像生成部、１０８・・・予測方向符号化部、１０９・・・映像信号符号化部、１１０・・・映像信号復号部、１１１・・・参照フレームメモリ、１１２・・・多重化部、２００・・・映像復号装置、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・デプスマップ入力部、２０４・・・デプスマップメモリ、２０５・・・分離部、２０６・・・予測方向復号部、２０７・・・参照画素決定部、２０８・・・予測画像生成部、２０９・・・映像信号復号部、２１０・・・参照フレームメモリ
【図１】
0005759357.tif 000016
【図２】
0005759357.tif 000017
【図３】
0005759357.tif 000018
【図４】
0005759357.tif 000019
【図５】
0005759357.tif 000020
【図６】
0005759357.tif 000021
【図７】
0005759357.tif 000022
【図８】
0005759357.tif 000023
【図９】
0005759357.tif 000024
【図１０】
0005759357.tif 000025