"映像を構成する各フレームを予め定められた大きさの処理領域に分割し,前記映像に対応するデプスマップを使用しながら,処理領域ごとに予測画像を生成して予測符号化を行う映像符号化方法であって,既に符号化済みの領域の中から,処理領域に対して複数の参照領域を設定する参照領域設定ステップと,前記処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて,前記参照領域の前記処理領域に対する類似度を,前記参照領域における画素または所定数の隣接する画素群ごとに算出し,算出された類似度を用いて,前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定ステップと,前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成ステップとを有することを特徴とする映像符号化方法。前記参照領域設定ステップは,前記処理領域周辺の既に符号化済み領域を補助領域として設定する補助領域設定ステップと,前記補助領域に対する前記補助領域を符号化する際に設定された参照領域の位置を示す情報を補助予測情報とし,前記処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定ステップとを含み,前記参照領域設定ステップにおいて設定される参照領域の少なくとも一つは,前記補助参照領域であることを特徴とする請求項1に記載の映像符号化方法。映像を構成する各フレームを予め定められた大きさの処理領域に分割し,前記映像に対応するデプスマップを使用しながら,処理領域ごとに予測画像を生成して予測符号化を行う映像符号化方法であって,処理領域を複数の部分処理領域に分割する処理領域分割ステップと,既に符号化済みの領域の中から,前記部分処理領域に対して複数の参照領域を設定する参照領域設定ステップと,前記部分処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて,前記参照領域の前記部分処理領域に対する類似度を,前記参照領域における画素または所定数の隣接する画素群ごとに算出し,算出された類似度を用いて,前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定ステップと,前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成ステップとを有し,前記参照領域設定ステップは,前記部分処理領域ごとに,他の部分処理領域に対して設定された参照領域の位置を示す情報を補助予測情報とし,当該部分処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定ステップを含み,前記参照領域設定ステップにおいて設定される参照領域の少なくとも一つは,前記補助参照領域であることを特徴とする映像符号化方法。前記重み係数設定ステップでは,前記補助参照領域以外の参照領域における画素または画素群ごとに設定した重み係数または類似度に対して設定するスケール係数よりも,前記補助参照領域における画素または画素群ごとに設定した重み係数または類似度に対して小さなスケール係数を設定し,前記類似度または前記重み係数をスケールすることを特徴とする請求項2または請求項3に記載の映像符号化方法。前記重み係数設定ステップでは,前記参照領域が前記補助参照領域である場合に,前記処理領域もしくは前記部分処理領域と前記補助参照領域との位置関係に従って,デプスマップを用いて設定した類似度または重み係数をスケールするか,または,前記処理領域もしくは前記部分処理領域の各画素または画素群と前記補助参照領域との距離に従って,デプスマップを用いて設定した類似度または重み係数を画素または画素群ごとにスケールすることを特徴とする請求項2または請求項3に記載の映像符号化方法。前記重み係数設定ステップでは,前記デプスマップとして,入力したデプスマップにローパスフィルタを適用したデブスマップまたは入力したデプスマップにビット深度変換を施し,ビット深度を小さくしたデプスマップを用いることを特徴とする請求項1から請求項5までのいずれか1項に記載の映像符号化方法。映像の符号データを復号するに際し,映像を構成する各フレームを予め定められた大きさの処理領域に分割し,前記映像に対するデプスマップを使用しながら,処理領域ごとに映像信号を予測して復号を行う映像復号方法であって,既に復号済みの領域の中から,処理領域に対して複数の参照領域を設定する参照領域設定ステップと,前記処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて,前記参照領域の前記処理領域に対する類似度を,前記参照領域における画素または所定数の隣接する画素群ごとに算出し,算出された類似度を用いて,前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定ステップと,前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成ステップとを有することを特徴とする映像復号方法。前記参照領域設定ステップは,前記処理領域周辺の既に復号済み領域を補助領域として設定する補助領域設定ステップと,前記補助領域に対する前記補助領域を復号する際に設定された参照領域の位置を示す情報を補助予測情報とし,前記処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定ステップとを含み,前記参照領域設定ステップにおいて設定される参照領域の少なくとも一つは,前記補助参照領域であることを特徴とする請求項7に記載の映像復号方法。映像の符号データを復号するに際し,映像を構成する各フレームを予め定められた大きさの処理領域に分割し,前記映像に対するデプスマップを使用しながら,処理領域ごとに映像信号を予測しながら復号を行う映像復号方法であって,処理領域を複数の部分処理領域に分割する処理領域分割ステップと,既に復号済みの領域の中から,前記部分処理領域に対して複数の参照領域を設定する参照領域設定ステップと,前記部分処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて,前記参照領域の前記部分処理領域に対する類似度を,前記参照領域における画素または所定数の隣接する画素群ごとに算出し,算出された類似度を用いて,前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定ステップと,前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成ステップとを有し,前記参照領域設定ステップは,前記部分処理領域ごとに,他の部分処理領域に対して設定された参照領域の位置を示す情報を補助予測情報とし,当該部分処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定ステップを含み,前記参照領域設定ステップにおいて設定される参照領域の少なくとも一つは,前記補助参照領域であることを特徴とする映像復号方法。前記重み係数設定ステップでは,前記補助参照領域以外の参照領域における画素または画素群ごとに設定した重み係数または類似度に対して設定するスケール係数よりも,前記補助参照領域における画素または画素群ごとに設定した重み係数または類似度に対して小さなスケール係数を設定し,前記類似度または前記重み係数をスケールすることを特徴とする請求項8または請求項9に記載の映像復号方法。前記重み係数設定ステップでは,前記参照領域が前記補助参照領域である場合に,前記処理領域もしくは前記部分処理領域と前記補助参照領域との位置関係に従って,デプスマップを用いて設定した類似度または重み係数をスケールするか,または,前記処理領域もしくは前記部分処理領域の各画素または画素群と前記補助参照領域との距離に従って,デプスマップを用いて設定した類似度または重み係数を画素または画素群ごとにスケールすることを特徴とする請求項8または請求項9に記載の映像復号方法。前記重み係数設定ステップでは,前記デプスマップとして,入力したデプスマップにローパスフィルタを適用したデブスマップまたは入力したデプスマップにビット深度変換を施し,ビット深度を小さくしたデプスマップを用いることを特徴とする請求項7から請求項11までのいずれか1項に記載の映像復号方法。映像を構成する各フレームを予め定められた大きさの処理領域に分割し,前記映像に対応するデプスマップを使用しながら,処理領域ごとに予測画像を生成して予測符号化を行う映像符号化装置あって,既に符号化済みの領域の中から,処理領域に対して複数の参照領域を設定する参照領域設定手段と,前記処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて,前記参照領域の前記処理領域に対する類似度を,前記参照領域における画素または所定数の隣接する画素群ごとに算出し,算出された類似度を用いて,前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定手段と,前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成手段とを備えることを特徴とする映像符号化装置。前記参照領域設定手段は,前記処理領域周辺の既に符号化済み領域を補助領域として設定する補助領域設定手段と,前記補助領域に対する前記補助領域を符号化する際に設定された参照領域の位置を示す情報を補助予測情報とし,前記処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定手段とを含み,前記参照領域設定手段において設定される参照領域の少なくとも一つは,前記補助参照領域であることを特徴とする請求項13に記載の映像符号化装置。映像を構成する各フレームを予め定められた大きさの処理領域に分割し,前記映像に対応するデプスマップを使用しながら,処理領域ごとに予測画像を生成して予測符号化を行う映像符号化装置であって,処理領域を複数の部分処理領域に分割する処理領域分割手段と,既に符号化済みの領域の中から,前記部分処理領域に対して複数の参照領域を設定する参照領域設定手段と,前記部分処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて,前記参照領域の前記部分処理領域に対する類似度を,前記参照領域における画素または所定数の隣接する画素群ごとに算出し,算出された類似度を用いて,前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定手段と,前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成手段とを備え,前記参照領域設定手段は,前記部分処理領域ごとに,他の部分処理領域に対して設定された参照領域の位置を示す情報を補助予測情報とし,当該部分処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定手段を含み,前記参照領域設定手段において設定される参照領域の少なくとも一つは,前記補助参照領域であることを特徴とする映像符号化装置。映像の符号データを復号するに際し,映像を構成する各フレームを予め定められた大きさの処理領域に分割し,前記映像に対するデプスマップを使用しながら,処理領域ごとに映像信号を予測しながら復号を行う映像復号装置であって,既に復号済みの領域の中から,処理領域に対して複数の参照領域を設定する参照領域設定手段と,前記処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて,前記参照領域の前記処理領域に対する類似度を,前記参照領域における画素または所定数の隣接する画素群ごとに算出し,算出された類似度を用いて,前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定手段と,前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成手段とを備えることを特徴とする映像復号装置。前記参照領域設定手段は,前記処理領域周辺の既に復号済み領域を補助領域として設定する補助領域設定手段と,前記補助領域に対する前記補助領域を復号する際に設定された参照領域の位置を示す情報を補助予測情報とし,前記処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定手段とを含み,前記参照領域設定手段において設定される参照領域の少なくとも一つは,前記補助参照領域であることを特徴とする請求項16に記載の映像復号装置。映像の符号データを復号するに際し,映像を構成する各フレームを予め定められた大きさの処理領域に分割し,前記映像に対するデプスマップを使用しながら,処理領域ごとに映像信号を予測しながら復号を行う映像復号装置であって,処理領域を複数の部分処理領域に分割する処理領域分割手段と,既に復号済みの領域の中から,前記部分処理領域に対して複数の参照領域を設定する参照領域設定手段と,前記部分処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて,前記参照領域の前記部分処理領域に対する類似度を,前記参照領域における画素または所定数の隣接する画素群ごとに算出し,算出された類似度を用いて,前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定手段と,前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成手段とを備え,前記参照領域設定手段は,前記部分処理領域ごとに,他の部分処理領域に対して設定された参照領域の位置を示す情報を補助予測情報とし,当該部分処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定手段を含み,前記参照領域設定手段において設定される参照領域の少なくとも一つは,前記補助参照領域であることを特徴とする映像復号装置。請求項1から請求項6までのいずれか1項に記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラム。請求項7から請求項12までのいずれか1項に記載の映像復号方法をコンピュータに実行させるための映像復号プログラム。上述した可変ブロックサイズを用いた動き補償予測を用いることで,被写体によって異なる動きに対処し,映像とデプスマップとで構成される自由視点映像を効率良く圧縮符号化することができる。しかしながら,被写体の形状は様々であり,その形状に沿ったブロック分割を行う場合,映像信号の予測精度が向上したとしても,ブロック分割を表現するために非常に膨大な符号量が必要となってしまい,トータルとして符号化効率を悪化させてしまう。つまり,効率的な圧縮符号化を行う場合には,被写体の形状に合わせたブロック分割はできない。非特許文献3では,映像とデプスマップとで,ブロック分割や動きベクトルなどの予測情報を共有することで,符号化しなくてはならない予測情報の総量を減らし,効率的な符号化を実現している。この方法を用いることで,映像とデプスマップのそれぞれで予測信号を符号化する場合に比べて,符号量を削減することができる。しかしながら,細かいブロック分割を表現するためには,大量の符号量が必要となる点は変わらないため,効率的な圧縮符号化を行う場合には,被写体の形状に合わせたブロック分割はできない。被写体に合わせてブロック分割を行わない場合,ブロック内の一部の画素群において,誤った動き情報を用いることになり,予測精度が低下してしまう。そのような画素に対しては,双予測を用いることで,もう一つの動き情報で精度の高い予測画像を提供し,予測精度の低下を抑えることは可能である。しかし,このとき与えたもう一つの動き情報は,最初の動き情報が正しかった画素群に対しては,誤った動き情報となり,双予測によって予測画像を平均化することで,予測精度が低下してしまう。つまり,双予測では予測誤差をブロック内で平滑化するだけであって,全体的な予測精度を向上させることは不可能である。本発明は係る事情に鑑みてなされたものであって,映像とデプスマップとを構成要素に持つ自由視点映像データの符号化において,対応するデプスマップの復号値を用いることで,被写体に合わせてブロック分割を行わない場合でも,動き補償予測による予測精度を向上させることで,予測残差の符号化に必要な符号量を削減し,効率的な映像符号化を実現することを目的とする。本発明は,符号化対象の映像に対するデプスマップが復号側でも得られる場合に,映像を予測符号化する際の予測効率を向上させて予測残差の符号化に必要な符号量を削減するという課題を解決するため,映像信号の参照領域と処理領域に対するデプスマップとを比較することで,参照領域で撮影されている被写体と処理領域で撮影されている被写体との類似度一致度を画素または所定数の隣接する画素群ごとに算出し,得られた類似度に応じて参照領域に対する映像信号を重み付けして予測画像を生成する。これによって被写体を考慮して予測画像の生成を行うことが可能となり,映像信号の予測精度が向上し,予測残差の符号量を削減することが可能となる。詳しくは,以下のとおりである。本発明は,映像を構成する各フレームを予め定められた大きさの処理領域に分割し,映像に対応するデプスマップを使用しながら,処理領域ごとに予測画像を生成して予測符号化または予測復号を行う映像符号化/復号において,以下の手段を用いる。1第1の発明の主要な特徴既に符号化済みの領域の中から,処理領域に対して複数の参照領域を設定する。処理領域に対するデプスマップと参照領域に対するデプスマップとを用いて,参照領域の処理領域に対する類似度を,参照領域における画素または所定数の隣接する画素群ごとに算出し,算出された類似度を用いて,参照領域における画素または画素群ごとに重み係数を設定する。重み係数に従って参照領域に対する映像信号を線形結合することで予測画像を生成する。これによって,映像信号の予測精度の向上に伴う,予測残差の符号化に必要な符号量の削減が実現される。その理由は,以下のとおりである。対応するデプスマップの情報を用いて,予測に用いる画素と予測する対象の画素において同じ被写体が写っているかどうかを判定し,その結果に応じて予測に用いる画素または画素群,以下同様の映像信号に重みを付けて予測画像を生成する。このようにすることで,同じ被写体が写っている画素からは大きな影響を,異なる被写体が写っている画素からは小さな影響を受けるようにして予測画像を生成することができ,高精度な予測が実現できる。従来手法では,写っている被写体によらず全て同じ重みで予測画像を生成するため,異なる被写体からの影響を受けてしまっていた。また,従来の重み付き予測WeightedPredictionでは,参照領域ごとに重みを付けるため,画素ごとの予測精度の向上を実現できなかった。従来の重み付き予測を拡張して,画素ごとに重みを付けることも可能であるが,その場合は画素ごとに重み係数を符号化する必要が生じるため,符号量が増加してしまう。また,領域を細かく分割して,領域ごとに同じ被写体の写っている領域を参照領域として設定する方法もあるが,その場合は分割の領域を示す情報や,その領域ごとに参照領域を示す情報を符号化する必要が生じるため,符号量が増加してしまう。これらの従来手法の問題に対して,本発明では,別途伝送されているデプスマップから被写体の判定を行って重み係数を設定することで,画素ごとに重み係数を決定することが可能となる。また,デプスマップの値は被写体に大きく依存した値であるため,デプスマップを用いて決定された重み係数は,被写体を考慮した映像信号の予測を実現する。また,本発明は,少ない付加情報で被写体を考慮した予測を実現できる他,通常の映像符号化方法と同じ符号データビットストリームのシンタックスを使用することが可能であるという利点もある。2第2の発明の主要な特徴第2の発明は,第1の発明においてさらに次の特徴を有する。参照領域として,以下の方法により設定される一つ以上の補助参照領域を用いる。処理領域周辺の既に符号化済み領域を補助領域として設定する。補助領域に対する補助領域を符号化する際に設定された参照領域の位置を示す情報を補助予測情報とし,処理領域に対して補助予測情報を用いて表される領域を補助参照領域として設定する。これによって,処理対象領域に対して本来の参照領域が一つしか指定されない場合においても,補助参照領域を参照領域に加えることで,複数の参照領域を設定することができ,映像信号の予測精度を向上させることで,予測残差の符号化に必要な符号量の削減が可能になる。その理由は,以下のとおりである。映像は空間的に相関を持っているため,処理対象領域の隣接領域においても同じ動きや同じ空間的な相関を持った被写体が写っていると考えられる。そこで,隣接領域において使用された参照領域を指定する情報動きベクトルやイントラ予測の方向を,処理対象領域でもそれを使用して予測画像を生成するのに参照する領域を補助参照領域として追加することで,処理対象領域では一つしか参照領域を指定する情報を符号化しない場合においても,複数の参照領域を指定した場合と同様に画素ごとに被写体を考慮した重み付け予測を行うことが可能となる。なお,隣接領域との相関が低い場合には,隣接で用いられた参照領域を指定する情報動きベクトルやイントラ予測の方向を用いて参照する領域を設定した場合,誤った参照領域が得られることになる。しかし,そのような場合であっても,デプスマップを用いて被写体判定を行い,その結果で重み付けを行うため,誤った参照領域からの影響を受けて予測精度が低下してしまうことはない。3第3の発明の主要な特徴処理領域を複数の部分処理領域に分割する。既に符号化済みの領域の中から,部分処理領域に対して複数の参照領域を設定する。部分処理領域に対するデプスマップと参照領域に対するデプスマップとを用いて,参照領域の部分処理領域に対する類似度を,参照領域における画素または所定数の隣接する画素群ごとに算出し,算出された類似度を用いて,参照領域における画素または画素群ごとに重み係数を設定する。重み係数に従って参照領域に対する映像信号を線形結合することで予測画像を生成する。前記参照領域の設定では,部分処理領域ごとに,他の部分処理領域に対して設定された参照領域の位置を示す情報を補助予測情報とし,当該部分処理領域に対して補助予測情報を用いて表される領域を補助参照領域として設定する。参照領域として,一つ以上の補助参照領域を用いる。これによって,処理対象領域に対して本来の参照領域が一つしか指定されない場合においても,映像信号の予測精度を向上させ,予測残差の符号化に必要な符号量の削減を実現することができる。その理由は,以下のとおりである。映像は空間的に相関を持っているため,周辺領域においても同じ動きや同じ空間的な相関を持った被写体が写っていると考えられる。そこで,処理領域を分割し,それぞれの小領域ごとに支配的な被写体に対する参照領域を設定し,その参照領域を指定する情報動きベクトルやイントラ予測の方向を,他の小領域でもそれを使用して予測画像を生成するのに参照する領域を追加することで,小領域では一つしか参照領域を指定する情報を符号化しない場合においても,複数符号化した場合と同様に画素ごとに被写体を考慮した重み付け予測を行うことが可能となる。また,このようにすることで小領域ごとに支配的な被写体が異なる場合であっても,それを考慮した予測画像の生成が可能になる。4第4の発明の主要な特徴第4の発明は,第2または第3の発明においてさらに次の特徴を有する。補助参照領域以外の参照領域における画素または画素群ごとに設定した重み係数または類似度に対して設定するスケール係数よりも,補助参照領域における画素または画素群ごとに設定した重み係数または類似度に対して小さなスケール係数を設定し,類似度または重み係数をスケールする。これによって,補助参照領域を用いる場合における映像信号の予測精度を向上させることができる。その理由は,以下のとおりである。処理対象領域とは異なる領域に対して設定された参照情報を用いる場合,その参照情報は別の領域に対して最適化されているため,処理対象領域の映像信号を予測する精度はそれほど高くないと考えられる。そこで予測情報と補助予測情報とを区別し,補助予測情報における類似度は,予測情報における類似度よりも低く見積もることで,重み係数を相対的に小さくし,より多くの映像信号を処理対象領域に対して設定された参照領域から予測するようにすることで,映像信号の予測精度を向上させることが可能となる。5第5の発明の主要な特徴第5の発明は,第2または第3の発明においてさらに次の特徴を有する。参照領域が補助参照領域である場合に,処理領域もしくは部分処理領域と補助参照領域との位置関係に従って,デプスマップを用いて設定した類似度または重み係数をスケールするか,または,処理領域もしくは部分処理領域の各画素または画素群と補助参照領域との距離に従って,デプスマップを用いて設定した類似度または重み係数を画素または画素群ごとにスケールする。これによって,補助参照領域を用いる場合における映像信号の予測精度を向上させることができる。その理由は,以下のとおりである。処理対象領域とは異なる領域に対して設定された参照情報を用いる場合,その参照情報は別の領域に対して最適化されているため,処理対象領域の映像信号を予測する精度はそれほど高くないと考えられる。そこで予測情報と補助予測情報とを区別し,補助予測情報における類似度は,処理対象領域との相関性を考慮して予測情報における類似度よりも低く見積もることで,重み係数を相対的に小さくし,より多くの映像信号を処理対象領域に対して設定された参照領域から予測するようにすることで,映像信号の予測精度を向上させることが可能となる。特に,第5の発明は,処理対象領域との相関性が高い領域に対して設定された参照領域から生成した補助予測情報を重視するように,必要に応じて画素ごとに制御することで,さらに細かな予測精度の向上を可能とする。6第6の発明の主要な特徴第6の発明は,第1ないし第5の発明においてさらに次の特徴を有する。重み係数を設定する際の類似度の算出に用いるデプスマップとして,入力したデプスマップにローパスフィルタを適用したデブスマップまたは入力したデプスマップにビット深度変換を施し,ビット深度を小さくしたデプスマップを用いる。これにより,類似度の算出を精度よく効率的に行うことができる。その理由は,以下のとおりである。入力したデプスマップが符号化されたデプスマップである場合などには,デプスマップにノイズが生じていることがある。そこで,入力したデプスマップをそのまま用いるのではなく,入力したデプスマップにローパスフィルタを適用したデブスマップを類似度の算出に用いることにより,ノイズを低減させて,類似度を精度よく算出することができる。また,入力したデプスマップにビット深度変換を施してビット深度を小さくしても,被写体の違いが分かる程度のビット深度があれば,重み係数の設定に十分な類似度の算出が可能であり,効率のよい処理が可能である。本発明によれば,映像がその映像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合に,予測される画素における被写体に依存するデータの値と,予測に用いる画素における被写体に依存するデータの値とを比較し,その結果に基づいて予測画像を生成することで,細かいブロック分割を行うことなく,被写体を考慮した予測を実現することが可能となる。これによって,映像信号の予測精度が向上し,予測残差の符号化に必要な符号量を削減することが可能となる。以下,本発明の実施形態を,図面を参照して説明する。以下では,参照領域における各画素に対して重み係数を設定する例について説明するが,例えば2×2画素,3×3画素,...というような,所定数の隣接する画素群ごとに重み係数を設定して,本発明を実施することもできる。この場合,以下での実施形態の説明における画素を画素群に読み替え,例えばn×n画素の画素群の平均値もしくは中間値などの値を,以下の説明における1画素の画素値とみなして,画素群ごとに重み係数を設定すればよい。第1実施形態:映像符号化装置まず,第1実施形態について説明する。図1は,本発明の第1実施形態による映像符号化装置の構成を示すブロック図である。映像符号化装置100は,図1に示すように,符号化対象映像入力部101,入力フレームメモリ102,デプスマップ入力部103,デプスマップメモリ104,参照領域設定部105,重み計算部106,予測画像生成部107,予測情報符号化部108,映像信号符号化部109,映像信号復号部110,参照フレームメモリ111,および多重化部112を備えている。符号化対象映像入力部101は,符号化対象となる映像を入力する。以下では,この符号化対象となる映像のことを符号化対象映像と呼び,特に処理を行うフレームを符号化対象フレームまたは符号化対象画像と呼ぶ。入力フレームメモリ102は,入力された符号化対象映像を蓄積する。デプスマップ入力部103は,符号化対象映像に対応するデプスマップを入力する。このデプスマップは符号化対象映像の各フレームの各画素に写っている被写体のデプスを表すものである。デプスマップメモリ104は,入力されたデプスマップを蓄積する。参照領域設定部105は,予測画像を生成するにあたって,既に符号化済みフレーム上で参照する領域を設定する。重み計算部106は,処理領域と参照領域に対するデプスマップを用いて,予測画像を生成する際の重み係数を画素ごとに計算する。予測画像生成部107は,与えられた参照領域と重み係数に基づいて予測画像を生成する。予測情報符号化部108は,参照領域設定部105で決定した参照領域を示す情報予測情報を符号化する。映像信号符号化部109は,生成された予測画像を用いて,符号化対象フレームの映像信号を予測符号化する。映像信号復号部110は,生成された予測画像を用いて,生成された符号データを復号して復号フレームを生成する。参照フレームメモリ111は,生成された復号フレームを蓄積する。多重化部112は,予測情報の符号データと映像信号の符号データとを多重化して出力する。図2は,第1実施形態による映像符号化装置100の動作を説明するためのフローチャートである。このフローチャートに従って,映像符号化装置100の実行する処理について詳細に説明する。ここでは符号化対象映像中のある1フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで,映像の符号化が実現できる。まず,符号化対象映像入力部101から符号化対象フレームが入力され,入力フレームメモリ102に格納され,デプスマップ入力部103から符号化対象映像に対するデプスマップが入力され,デプスマップメモリ104に蓄積されるステップS101。なお,符号化対象映像中のいくつかのフレームは既に符号化されているものとし,その復号フレームが参照フレームメモリ111に,その復号フレームすなわち符号化対象映像中の符号化済みのフレームに対応するデプスマップがデプスマップメモリ104に蓄積されているものとする。また,本第1実施形態では入力された符号化対象フレームが順次符号化されるものとしているが,入力順と符号化順は必ずしも一致している必要はない。入力順と符号化順が異なる場合は,次に符号化するフレームが入力されるまで,入力されたフレームは入力フレームメモリ102に蓄積される。入力フレームメモリ102に蓄積された符号化対象フレームは,以下で説明する符号化処理によって符号化されたなら,入力フレームメモリ102から削除してもかまわない。しかし,デプスマップメモリ104に蓄積されたデプスマップは,対応する符号化対象フレームの復号フレームが参照フレームメモリ111から削除されるまで蓄積される。なお,参照フレームメモリ111から復号フレームが削除されるタイミングは,フレーム間の参照構造によって決定し,それ以降の符号化対象フレームを符号化する際に,参照フレームとして使用されないことが決定したときか,それより後となる。なお,ステップS101で入力されるデプスマップは,既に符号化済みのデプスマップを復号したものなど,復号側で得られるデプスマップとする。これは,復号装置で得られる情報と全く同じ情報を用いることで,ドリフト等の符号化ノイズの発生を抑えるためである。ただし,そのような符号化ノイズの発生を許容する場合には,符号化前のオリジナルのものが入力されてもかまわない。その他の復号側で得られるデプスマップの例としては,別の視点の符号化済みデプスマップを復号したものを用いて合成されたデプスマップや,別の視点の符号化済み画像群を復号したものからステレオマッチング等によって推定したデプスマップなどがある。符号化対象フレームとデプスマップの格納が終了したならば,符号化対象フレームを予め定められた大きさの領域に分割し,分割した領域ごとに,符号化対象フレームの映像信号を符号化するステップS102~S111。つまり,符号化対象領域インデックスをblk,1フレーム中の総符号化対象領域数をnumBlksで表すとすると,blkを0で初期化しステップS102,その後,blkに1を加算しながらステップS110,blkがnumBlksになるまでステップS111,以下の処理ステップS103~ステップS109を繰り返す。一般的な符号化では16画素×16画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが,復号側と同じであればその他の大きさのブロックに分割してもかまわない。符号化対象領域ごとに繰り返される処理では,まず,参照領域設定部105で複数の参照領域を設定するステップS103。参照領域とは符号化対象領域blkの映像信号を予測する際に使用する既に符号化済みフレーム上の領域のことを示す。ここで,参照領域が設定されたフレームのことを参照フレームと呼ぶ。参照フレームは別途指定されたフレーム間参照構造に基づいて,参照フレームメモリ111に蓄積されているフレームの中から選択される。ここで設定する参照領域の数や位置以下,まとめて予測情報と呼ぶは,どのように決定してもかまわない。ただし,符号化効率を最大にする場合は,設定した参照領域によって生成される予測画像による予測効率を評価し,その予測効率が最大になるものに決定したほうがよい。つまり,ある参照領域の数nと参照領域を示す情報以下,参照情報と呼ぶの集合r={ri|i=0,...,n-1}とするとき,次の式で与えられる参照領域の数Nblkと,参照情報の集合Rblk={Rblki|i=0,...,Nblk-1}とを,符号化対象領域blkに対する予測情報に決定する。なお,参照情報はどう表現してもかまわない。以下では,参照情報は参照フレームと,参照フレーム上でのblkからの変位ベクトルとの組で表現する。なお,Eblkn,rの値は小さいほど符号化効率が高いことを示しており,argminは与えられた関数を最小化するパラメータを返す関数を示す。最小化対象のパラメータはargminの下部で与えられる。予測情報の候補には任意のものを使用してもかまわない。例えば,参照領域の個数の候補としてはH.264/AVCのインター予測のように,1および2としてもかまわない。また,常に1または2である必要もなく,ピクチャタイプによっては,1のみを候補とするように切り替えてもかまわないし,3以上の数を候補としてもかまわない。参照情報の集合としては,使用可能な参照フレーム群に対して,任意の領域を示す情報の任意の組み合わせを全て候補としてもかまわないし,それらのうちから予め別の方法で絞り込んだものを候補としてもかまわない。予測効率の評価値En,rには,どのようなものを用いてもかまわない。例えば,次の式で表される符号化対象画像と予測画像の差分絶対値和SADや差分二乗和SSDを用いてもかまわない。ここで,Orgは符号化対象フレームを示し,Prednrは予測情報n,rを使って後述する方法で生成された予測画像を示す。これら以外に符号化対象画像と予測画像の差分値をDCTやアダマール変換などを用いて変換した値を用いる方法がある。その変換を行列Aで表すと,次の式で表すことができる。なお,∥X∥はXのノルムを表す。En,r=∥AOrg[blk]-Prednr[blk]∥式また,上記のように符号化対象フレームと予測画像との乖離度のみを評価する方法ではなく,発生する符号量と歪み量を鑑みたRDコストを用いてもかまわない。ここで用いるRDコストは,Prednrを予測画像としてOrgを符号化した際の符号量Rn,rと歪み量Dn,rとを用いて,次の式で表すことができる。なお,λはラグランジュの未定乗数であり,予め定められた値を用いる。En,r=Dn,rλRn,r式正確なRDコストを算出するためには,予測残差の符号化および復号を行う必要がある。これには非常に多くの演算を必要とするため,予測情報の符号量R′n,rと,予測画像における符号化対象フレームからの歪み量D′n,rとを用いて算出したRDコストを用いて参照領域の数nと参照情報の集合rを決定してもかまわない。このとき,ラグランジュの未定乗数はλとは異なる値を用いることが多い。また,符号量R′も実際に符号化して求めず,簡易な方法で符号量R′の推定量を求めて,それを使用することで更なる高速化を図ることも可能である。参照領域の設定ができたら,重み計算部106で,符号化対象領域blkと参照領域に対するデプスマップを用いて,参照領域の画素ごとに,予測画像を生成する際の重み係数を求めるステップS104。ここで計算される重み係数は,符号化対象領域に対するデプスマップの値と参照領域に対するデプスマップの値との類似度,すなわち近い値かどうかの一致の度合いに依存した値とする。例えば,類似度ddi[k]は,次の式で表される符号化対象領域に対するデプスマップの値と,参照領域に対するデプスマップの値との差の絶対値に依存した値とする。ddi[k]=|Depthcur[blkk]-Depthidi[blkvecik]|......式ここで,iは参照情報のインデックスを示し,参照情報Rblkiの参照フレームのインデックスをidi,参照領域を示す符号化対象領域blkからの変位ベクトルをveciで示す。また,Depthはデプスマップを示し,下付き文字はどのフレームに対するデプスマップかを示す。つまり,curは符号化対象フレームに対応するデプスマップであることを示し,idiは参照フレームidiに対応するデプスマップであることを示す。また,kは領域内の画素位置を示し,16画素×16画素のブロックの場合は0,0~15,15の256箇所のいずれかを示す。同じ画素位置の重み係数はddの値が小さいほど大きいものとする。つまり,参照領域iの画素位置kにおける重み係数をwi[k]と表すとすると,ddi[k]≦ddj[k]であれば,wj[k]≦wi[k]が成り立つ。上述した条件を満たせば,どのような定義の重み係数を用いてもかまわない。ただし,復号側と同じ定義のものを用いる必要がある。例えば,各画素位置に対して,ddの値が最も小さい参照画素のみを1とし,それ以外を0とする重み係数の定義を用いてもかまわない。また,指数関数を用いて次の数式のような定義を用いてもかまわない。σはパラメータであり,予め一定の値を定めておくか,何らかの方法で復号側へ通知するなどして,復号側と同じ値を用いる必要がある。さらに複雑な例としては,ddの値が別途定められた閾値より大きい参照画素の重み係数を0とする方法もある。例えば,ddの値が閾値thより小さい参照画素には全て等しい重み係数をつける場合は次の数式で表される。また,ddの値が閾値より小さい参照画素に対してのみ,ddの値が小さくなるほど大きな重み係数を付けてもかまわない。その場合の例として式と式を組み合わせた次の数式で表される重み係数がある。なお,デプスマップがNビットで表される場合,ddの値域は0~2N-1の2N通りしか存在しないため,上記のような指数関数などの多数の演算を必要とする重み係数を用いる場合には,ddの値ごとに予め重み係数を求めたテーブルを用意し,テーブルを参照して重み係数を決定することで,演算量の削減を行うことが可能である。さらにddの値を計算する際の絶対値演算のコストも削減するために,1-2N~2N-1の値に対してテーブルを作成して用いることも可能である。重み係数の設定が終了したならば,予測画像生成部107で,予測情報重み係数参照フレームを用いて予測画像を生成するステップS105。予測画像は重み係数に基づいて,画素ごとに,参照画素の画素値の重み付け平均を計算することで求める。つまり,予測画像は次の数式に基づいて生成される。Decは参照フレームを示し,下付き文字はその参照フレームインデックスを表す。なお,実数演算の演算コストが高いプラットフォーム上では,重み係数を0以上C0以下の整数となるように設定し,重み係数の計算が終わった後に,画素ごとの重み係数wの和がC1となるように正規化を行った正規化済み重み係数w′を計算し,重み係数wの代わりに正規化済み重み係数w′を用いて予測画像を生成することで整数演算だけを用いて処理を行えるように実装してもかまわない。つまり,上述の式~式を用いる場合は,右辺をC0で乗算して得られた値を整数に丸めたものを重み係数wとして設定し,次の式で正規化済み重み係数w′を計算し,式を用いて予測画像を生成する。なお,C1を2のべき乗とすることで,式の除算はシフト演算として実現することが可能となるため,さらに高速な演算が可能となる。また,重み係数wは実数で表現し,正規化済み重み係数w′を整数で表現するようにしてもかまわない。予測画像の生成が終了したならば,予測情報符号化部108で予測情報の符号化を行うステップS106。予測情報の符号化にはどのような方法を用いてもかまわない。ただし,正しく復号可能にするためには,復号側で復号可能な方式を用いる必要がある。例えば,予測情報の成分ごとに予め定められた方法を用いて2値化を行った後に,周辺の符号化済み領域の予測情報を考慮した2値算術符号化によって符号化してもかまわない。また,周辺の符号化済み領域の予測情報から予測情報の予測を行った後に,その予測誤差を符号化してもかまわない。例えば,参照領域の数や参照フレーム上での位置を示すベクトルは,周辺の符号化済み領域において使用されたものから平均値や中央値を利用して予測し,その予測差分として符号化する方法がある。また,参照フレームを示す値については,周辺の符号化済み領域において高頻度で使用されたものを予測値として,その予測値が正しいか否か示すフラグを符号化し,さらに誤っている場合にのみ正しい値を符号化するようにする方法がある。次に,生成された予測画像を用いて,映像信号符号化部109で符号化対象フレームOrgの符号化対象領域blkにおける映像信号を符号化するステップS107。復号側で正しく復号可能であるならば,符号化にはどのような方法を用いてもかまわない。MPEG-2やH.264/AVCなどの一般的な符号化では,符号化対象領域blkの映像信号と予測画像との差分信号に対して,DCTなどの周波数変換,量子化,2値化,エントロピー符号化を順に施すことで符号化を行う。次に,映像信号復号部110で,映像信号の符号データと予測画像とを用いて,ブロックblkに対する映像信号を復号し,復号結果であるところの復号フレームDec[blk]を参照フレームメモリ111に蓄積するステップS108。ここでは,符号化時に用いた手法に対応する手法を用いる。例えば,MPEG-2やH.264/AVCなどの一般的な符号化であれば,符号データに対して,エントロピー復号,逆2値化,逆量子化,IDCTなどの周波数逆変換を順に施し,得られた2次元信号に対して予測画像を加え,最後に画素値の値域でクリッピングを行うことで映像信号を復号する。なお,符号化側での処理がロスレスになる直前のデータと予測画像を受け取り,簡略化した復号処理によって復号してもかまわない。つまり,前述の例であれば,符号化時に量子化処理を加えた後の値と予測画像を受け取り,その量子化後の値に逆量子化,周波数逆変換を順に施して得られた2次元信号に対して予測画像を加え,画素値の値域でクリッピングを行うことで映像信号を復号してもかまわない。次に,多重化部112で,予測情報の符号データと,映像信号の符号データとを多重化して出力するステップS109。なお,ここではブロックごとに多重化しているが,フレーム単位で多重化してもかまわない。ただし,その場合には,復号時に1フレーム分の符号データをバッファリングしてから復号する必要が生じる。なお,本第1実施形態における一部の処理は,その順序が前後してもかまわない。具体的には,ステップS106の予測情報の符号化処理は,ステップS103の参照領域の設定処理よりも後ろであればいつ行ってもかまわないし,ステップS109の符号データの多重化処理は,ステップS106の予測情報の符号化処理とステップS107の映像信号の符号化処理より後ろであればどのタイミングで行ってもかまわない。第2実施形態:映像復号装置次に,第2実施形態について説明する。図3は,本発明の第2実施形態による映像復号装置の構成を示すブロック図である。映像復号装置200は,図3に示すように,符号データ入力部201,符号データメモリ202,デプスマップ入力部203,デプスマップメモリ204,分離部205,予測情報復号部206,重み計算部207,予測画像生成部208,映像信号復号部209,および参照フレームメモリ210を備えている。符号データ入力部201は,復号対象となる映像の符号データを入力する。以下では,この復号対象となる映像のことを復号対象映像と呼び,特に処理を行うフレームを復号対象フレームまたは復号対象画像と呼ぶ。符号データメモリ202は,入力された符号データを蓄積する。デプスマップ入力部203は,復号対象映像に対応するデプスマップを入力する。このデプスマップは復号対象映像の各フレームの各画素に写っている被写体のデプスを表すものである。デプスマップメモリ204は,入力されたデプスマップを蓄積する。分離部205は,入力された符号データで多重化されている予測情報の符号データと映像信号の符号データとを分離する。予測情報復号部206は,予測画像を生成する際の参照領域を示す情報予測情報を符号データから復号する。重み計算部207は,処理領域と参照領域に対するデプスマップを用いて,予測画像を生成する際の重み係数を画素ごとに計算する。予測画像生成部208は,与えられた参照領域と重み係数に基づいて予測画像を生成する。映像信号復号部209は,生成された予測画像を用いて,符号データを復号して復号フレームを生成する。参照フレームメモリ210は,生成された復号フレームを蓄積する。図4は,第2実施形態による映像復号装置200の動作を説明するためのフローチャートである。このフローチャートに従って,映像復号装置200の実行する処理について詳細に説明する。ここでは復号対象映像中のある1フレームを復号する処理について説明する。以下で説明する処理をフレームごとに繰り返すことで,映像の復号を実現できる。まず,符号データ入力部201から復号対象映像の符号データが入力され,符号データメモリ202に格納され,デプスマップ入力部203から復号対象映像に対するデプスマップが入力され,デプスマップメモリ204に蓄積されるステップS201。なお,復号対象映像中のいくつかのフレームは既に復号されているものとし,その復号フレームが参照フレームメモリ210に,その復号フレームに対応するデプスマップがデプスマップメモリ204に蓄積されているものとする。また,本第2実施形態では,入力された符号データから復号対象フレームが順次復号して出力するとしているが,入力順と出力順は必ずしも一致している必要はない。入力順と出力順が異なる場合には,次に出力するフレームが復号されるまで,復号されたフレームは参照フレームメモリ210に蓄積される。参照フレームメモリ210に蓄積された復号フレームは,別途規定された出力順になったら映像復号装置210から出力される。なお,参照フレームメモリ210から復号フレームが削除されるタイミングは,フレーム間の参照構造によって決定し,それ以降の復号対象フレームを復号する際に,参照フレームとして使用されないことが決定したときか,それより後となる。なお,ステップS201で入力されるデプスマップは,符号化時に使用したデプスマップと同じものとする。これは符号化装置で使用した情報と全く同じ情報を用いることで,ドリフト等の符号化ノイズの発生を抑えるためである。ただし,そのような符号化ノイズの発生を許容する場合には,符号化に使用されたものとは異なるものが入力されてもかまわない。入力されるデプスマップとしては,例えば,別途復号されたデプスマップや,別の視点に対して復号されたデプスマップを用いて合成されたデプスマップや,別の視点に対して復号された画像群からステレオマッチング等によって推定したデプスマップなどがある。符号データとデプスマップの格納が終了したならば,復号対象フレームを予め定められた大きさに分割した領域ごとに,復号対象フレームの映像信号を復号するステップS202~S210。つまり,復号対象領域インデックスをblk,1フレーム中の総復号対象領域数をnumBlksで表すとすると,blkを0で初期化しステップS202,その後,blkに1を加算しながらステップS209,blkがnumBlksになるまでステップS210,以下の処理ステップS203~ステップS208を繰り返す。処理領域のサイズは符号化側で使用されたものと同じ大きさとなる。一般的な符号化では16画素×16画素のマクロブロックと呼ばれる処理単位ブロックが使用されるが,符号化側と同じであればその他の大きさのブロックごとに処理を行ってもかまわない。復号対象領域ごとに繰り返される処理では,まず,分離部205で符号データから,復号対象領域blkの予測情報の符号データと映像信号の符号データとを分離するステップS203。なお,ここでは復号対象領域ごとに分離しているが,フレーム単位など他の単位で分離してもかまわない。ただしフレーム単位で分離する場合には,入力された符号データではなく,分離された符号データを蓄積する必要が生じる。次に,予測情報復号部206で,分離された予測情報に対する符号データを復号し,復号対象領域blkに対する予測情報を設定するステップS204。ここでは,予測情報は参照領域の数Nblkとその位置を表す情報参照情報と呼ぶの集合Rblkとするが,復号対象領域blkに対する予測画像の生成方法を示す情報であれば,どのような情報でもかまわない。例えば,上記の他に復号対象領域の分割方法や,画面内予測で用いる予測方向に関する情報がある。なお,参照領域とは復号対象領域blkの映像信号を予測する際に使用する既に復号済みフレーム上の領域のことを示す。ここで,参照領域が設定されたフレームのことを参照フレームと呼ぶ。参照フレームは別途指定されたフレーム間参照構造に基づいて,参照フレームメモリ210に蓄積されているフレームであるとする。また,参照情報はどのように表現してもかまわないが,以下では,参照情報は参照フレームと,参照フレーム上でのblkからの変位ベクトルとの組で表現する。参照領域の設定ができたら,重み計算部207で,復号対象領域blkと参照領域に対するデプスマップを用いて,参照領域の画素ごとに,予測画像を生成する際の重み係数を求めるステップS205。ここでの処理は,第1実施形態のステップS104と同じである。どのような規則で重み係数を決定してもかまわないが,符号化側と同じ規則に従って決定する必要がある。重み係数の設定が終了したならば,予測画像生成部208で,予測情報重み係数参照フレームを用いて予測画像を生成するステップS206。ここでの処理は,第1実施形態のステップS105と同じであり,重み係数に基づいて,画素ごとに参照画素の画素値の重み付け平均を計算することで予測画像を生成する。予測画像の生成が終了したならば,生成された予測画像を用いて,映像信号復号部209で,映像信号に対する符号データから復号対象領域blkに対する映像信号を復号するステップS207。復号結果は映像復号装置200の出力となるとともに,参照フレームメモリ210に蓄積される。復号処理は符号化時に用いた手法に対応する手法を用いる。例えば,MPEG-2やH.264/AVCなどの一般的な符号化が用いられている場合には,符号データに対して,エントロピー復号,逆2値化,逆量子化,IDCTなどの周波数逆変換を順に施し,得られた2次元信号に対して予測画像を加え,最後に画素値の値域でクリッピングを行うことで映像信号を復号する。上記説明した第1実施形態および第2実施形態では,一つの参照領域しか設定しなかった符号化対象領域および復号対象領域以下,符号化対象領域および復号対象領域を区別せず処理対象領域と呼び,符号化および復号を区別せず処理と呼ぶでは,重み係数は全て1となり,従来と同等の予測性能の予測画像しか生成することができない。そこで,処理対象領域に設定した予測情報のみを用いて重み係数設定と予測画像生成とを行うのではなく,処理対象領域周辺の既に処理済みの領域で使用された予測情報を補助予測情報として設定し,予測情報と補助予測情報とを用いて重み係数設定と予測画像生成とを生成してもかまわない。このようにすることで,処理対象領域では一つの参照領域しか設定しない場合においても,デプスマップの値を用いて被写体を考慮した予測画像の生成を行うことが可能となる。ただし,補助予測情報を用いるかどうかや,各処理対象領域に対してどの周辺の領域から補助予測情報を設定するかは符号化時と復号時とで一致させる必要がある。この場合,図示省略するが,図1に示す映像符号化装置100の参照領域設定部105は,処理対象領域周辺の既に符号化済み領域を補助領域として設定する補助領域設定手段と,補助領域に対する補助領域を符号化する際に設定された参照領域の位置を示す情報を補助予測情報とし,処理領域に対して補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定手段とを持つ。また,図2に示す映像復号装置200の予測情報復号部206は,参照領域設定手段を有しており,その参照領域設定手段は,映像符号化装置100における補助領域設定手段および補助参照領域設定手段と同様な手段を持つ。なお,符号化時において補助予測情報を設定する場合,補助予測情報を考慮せずに予測情報を設定してもかまわないし,予測情報を設定する前に補助予測情報を設定することで補助予測情報を考慮しながら予測情報を設定してもかまわない。補助予測情報を考慮して予測情報を決めることで演算量は増加するが,予測画像の品質を向上することが可能である。ここで補助予測情報を用いるとは,既に処理済みの領域で使用された参照領域を,処理対象領域においても参照領域の一つとして用いるのではなく,処理対象領域と参照領域との間の位置関係や性質が,その処理済み領域とそこで使用された参照領域との間の関係や性質と等しくなるような参照領域を用いることを示す。ある領域に対する参照情報が,その領域に対する相対的な情報相対的な位置などを用いて表現されている場合,補助予測情報を用いるとは,既に処理済みの領域で使用された参照情報参照領域を示す情報を,処理対象領域においても参照情報の一つとして用いることである。例えば,対象領域からの変位ベクトルを用いて参照領域を示す場合,処理対象領域を始点として,既に処理済みの領域で用いられた変位ベクトルを用いて示される領域を処理対象領域の参照領域とする。つまり,処理対象領域の位置をb,その周辺の既に処理済みの領域の位置をb′,その処理済み領域において参照情報の一つとして使用された変位ベクトルをvとすると,その既に処理済み領域で使用された参照領域はb′vとなるが,この参照情報を処理対象領域における補助予測情報とすると,処理対象領域で使用する参照領域はbvとなる。また,重み係数設定と予測画像生成とを行う際に予測情報と補助予測情報を同等に扱ってもかまわないし,両者を区別して扱ってもかまわない。予測情報を{N1blk,R1blk},補助予測情報を{N2blk,R2blk}とし,R1blkを{Rblki|i=0,...,N1blk-1},R2blkを{Rblki|i=N1blk,...,N1blkN2blk-1}であるとする。このとき,予測情報と補助予測情報とを区別しない場合の重み係数設定と予測画像生成とを行う処理は,予測情報と補助予測情報とを合わせた総予測情報{Nblk,Rblk}を用いて,重み係数設定と予測画像生成とを行う処理に等しい。なお,総予測情報を生成する際に,同じ参照情報の重複を許してもかまわないし,許さなくてもかまわない。重複を許す場合には,予測情報と補助予測情報の両方に含まれる参照情報を重視して予測画像を生成することになる。重複を許す場合の総予測情報は以下の数式を満たす。Nblk=N1blkN2blkRblk={Rblki|i=0,...,Nblk-1}式予測情報と補助予測情報とを区別する場合には,上記の総予測情報に対して,前述の方法でデプスマップを用いて計算される重み係数w′′と,予測情報と補助予測情報とを考慮した係数αを設定し,次の数式に示すように両者を乗算することで,予測画像を生成する際に使用する重み係数wを設定する。wi[k]=αiwi′′[k]式係数αはどのように決定してもかまわないが復号でも同様の設定法が可能な方法で設定する必要がある。通常,補助予測情報に対する値より予測情報に対する値が大きくなるように設定する。なお,式のように重み係数をスケールする代わりに,式で求められるような重み係数の設定に用いる類似度をスケールしてもよい。デプスマップを用いて計算される重み係数w′′をスケールして重み係数wを求める場合,同じ画素位置の重み係数はddの値が小さいほど大きくなるとは限らない。つまり,参照領域iの画素位置kにおける重み係数をwi[k]と表すとすると,ddi[k]≦ddj[k]であれば,wj[k]≦wi[k]が成り立つとは限らない。ただし,その場合であっても,前述のとおりデプスマップを用いて計算される重み係数w′′については,ddi[k]≦ddj[k]であれば,w′′j[k]≦w′′i[k]が成り立つ。また,係数αは,全ての補助予測情報に対して固定の値を与えてもかまわないし,補助予測情報が元々使用された領域ごとに異なる値を与えてもかまわない。全ての補助予測情報に対して固定の値を与える例としては,例えば,予測情報に対する係数は1,補助予測情報に対する係数は0.5とする方法がある。補助予測情報ごとに異なる値を与える例としては,符号化対象領域と補助予測情報が使われた領域との距離が小さいほど大きな値となるように設定する方法がある。また,係数αは処理対象領域の画素ごとに異なる値を設定することもできる。つまり,この場合には予測画像を生成する際に使用する重み係数wは次の数式で表現される。wi[k]=αi[k]wi′′[k]式例えば,補助予測情報が使用された領域とその画素との距離が小さいほど大きな値となるように設定する方法がある。なお,距離は補助予測情報が使用された領域の中心からの距離を用いて設定する方法と,その画素から最も近い補助予測情報内の画素までの距離を用いて設定する方法がある。予測情報に対するαの値も画素ごとに異なる値を設定することも可能である。例えば,処理対象領域の中心から各画素までの距離に応じて異なる値を設定する方法がある。予測情報と補助予測情報とを区別するか否かと,補助予測情報を区別する際に重み係数をどのように決定するかは,符号化時と復号時で一致させる必要がある。ただし,異なるルールに従うことで予期せぬ符号化ノイズの発生を許容する場合には一致させなくてもかまわない。復号側で処理対象領域の画像信号を復号する前に,処理対象領域の周辺の未処理領域に対する予測情報を取得することが可能であれば,処理対象領域の周辺の未処理領域に対しても予測情報を設定し,それらを補助予測情報に加えてもかまわない。ただし,未処理領域に対する予測情報を補助予測情報として使用するか否かと,どの範囲の未処理領域の予測情報を補助予測情報として設定するかは符号化側と復号側で一致させる必要がある。上述した第1実施形態および第2実施形態では,処理対象領域全体に対して使用する参照情報を設定しているが,処理対象領域を分割し,その分割ごとに参照情報を設定してもかまわない。この場合,処理対象領域の分割方法も予測情報の一部となる。つまり,予測情報は分割方法を示す情報Pblk,分割ごとの参照領域の個数の集合{Nblkj|j=0,...,Mblk-1},参照情報の集合{Rblkji|i=0,...,Nblkj-1,j=0,...,Mblk-1}で構成される。なお,Mblkは分割方法Pblkで処理対象領域を分割した際の分割数を表す。このようにすることで,処理対象領域内において,部分ごとに写っている被写体が異なる場合においても,それを考慮した予測画像の生成を行うことができる。この場合においても,デプスマップを用いて求めた重み係数を用いることで,細かい領域分割を設定することなく,各画素に写っている被写体を反映した予測画像を生成することが可能である。また,同じ処理対象領域内の他の部分に設定された予測情報を,前述のような補助予測情報として用いることで,分割ごとに最も支配的な被写体に対する一つの参照領域だけしか設定しない場合でも,被写体に応じた参照領域を用いた予測画像を生成することが可能となる。前述のように既に処理済みの領域の予測情報を補助予測情報として使用する場合と異なり,処理対象領域内に設定された予測情報が互いに影響を及ぼすだけで,他の領域における予測画像の品質には影響を及ぼさないため,最適な予測情報の集合を設定することが容易となるほか,伝送エラー等によって情報が欠損してしまった場合にもその影響が及ぶ範囲を限定できるという利点を持つ。なお,処理領域内の部分ごとに設定された予測情報を補助予測情報として設定するか否かは,符号化側と復号側で一致させる必要がある。上述した第1実施形態および第2実施形態では,入力したデプスマップをそのまま用いているが,符号化されたデプスマップを用いる場合などは,デプスマップにノイズが生じているため,そのノイズを低減させるためにデプスマップにローパスフィルタをかけてもかまわない。また,被写体の違いが分かる程度のビット深度があれば,被写体を考慮した予測画像の生成が行えるため,入力されたデプスマップに対してビット深度変換を施して,デプスマップのビット深度を小さくする処理を施してもかまわない。なお,単純なビット深度変換を行ってもかまわないが,デプスマップから被写体数を判定するなどして,その結果に応じて,被写体を区別するだけの情報に変換してもかまわない。上述した第1実施形態および第2実施形態では,参照フレームを用いたフレーム間予測のみを対象としているが,参照フレームとして同一フレームの既に処理済み領域の復号映像信号を用いた予測も組み合わせてもかまわない。例えば,H.264などで用いられる画面内予測と組み合わせてもかまわない。画面内予測では,予測方向を指定して処理対象領域に隣接する処理済みの画素の映像信号をコピーすることで予測を行う。この場合,予測方向に従って得られるコピー元の画素に対するデプスマップの値を参照領域のデプス値として用いることで上記ddの値を計算し,ddの値に従って被写体を考慮した重み付けを行いながら予測画像を生成することが可能となる。つまり,予測方向を指定することが参照領域を指定することと同じ意味を持つ。上述した第1実施形態および第2実施形態では,一つの視点に対する映像を符号化/復号する処理を説明しているが,複数のカメラで撮影された多視点画像や多視点映像を符号化/復号する処理にも適用可能なことも容易に類推可能である。その場合,参照フレームに他の視点の符号化/復号済みフレームを蓄積し,それに対するデプスマップをデプスマップメモリに蓄積することで,視差補償予測など視点間の予測でも被写体を考慮した予測画像の生成が可能になる。なお,視点間で異なる規則に従ったデプスマップを用いる場合,同じ位置を示す画素のデプス値が同じ値となるように,事前にデプスマップの表現を統一する処理を行う必要がある。ただし,前述のddの計算において三次元的な位置が近いほどddの値が小さくなるような計算をすることで,明示的にはデプスマップの表現を統一しなくてもかまわない。上述した第1実施形態および第2実施形態では,フレーム全体を符号化/復号する処理として書かれているが,画像の一部分のみに適用することも可能である。この場合,処理を適用するか否かを判断して,それを示すフラグを符号化/復号してもかまわないし,何らかの別の手段でそれを指定してもかまわない。また,別途指示するのではなく,デプスマップから重み付けを行うか否かを判定してもかまわない。例えば,処理対象領域の各画素に対するデプスマップの値がほぼ等しい場合デプスマップの値の分散値が小さい場合,一つの被写体しか含まれていないことになるため,重み係数を計算せずに全て1として,デプスマップの値による重み付けを行わないようにする方法がある。上述した第1実施形態および第2実施形態では,符号化/復号対象映像に対するデプスマップを用いているが,法線マップや温度画像などの被写体に依存した値を持つ画像情報を代わりに用いることも可能である。ただし,符号化側で使用されたものが復号側でも同様に入手できる必要がある。以上説明した映像符号化および映像復号の処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。図5に,映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは,プログラムを実行するCPU50と,CPU50がアクセスするプログラムやデータが格納されるRAM等のメモリ51と,カメラ等からの符号化対象の映像信号を入力する符号化対象映像入力部52ディスク装置等による映像信号を記憶する記憶部でもよいと,例えばネットワークを介して符号化対象映像に対するデプスマップを入力するデプスマップ入力部53ディスク装置等によるデプスマップを記憶する記憶部でもよいと,図2などで説明した処理をCPU50に実行させるソフトウェアプログラムである映像符号化プログラム541が格納されたプログラム記憶装置54と,CPU50がメモリ51にロードされた映像符号化プログラム541を実行することにより生成された符号データを,例えばネットワークを介して出力する符号データ出力部55ディスク装置等による多重化符号データを記憶する記憶部でもよいとが,バスで接続された構成になっている。図示省略するが,他に,符号データ記憶部,参照フレーム記憶部などのハードウェアが設けられ,本手法の実施に利用される。また,映像信号符号データ記憶部,予測情報符号データ記憶部などが用いられることもある。図6に,映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは,プログラムを実行するCPU60と,CPU60がアクセスするプログラムやデータが格納されるRAM等のメモリ61と,映像符号化装置が本手法により符号化した符号データを入力する符号データ入力部62ディスク装置等による多重化符号データを記憶する記憶部でもよいと,例えばネットワークを介して復号対象の映像に対するデプスマップを入力するデプスマップ入力部63ディスク装置等によるデプスマップを記憶する記憶部でもよいと,図4などで説明した処理をCPU60に実行させるソフトウェアプログラムである映像復号プログラム641が格納されたプログラム記憶装置64と,CPU60がメモリ61にロードされた映像復号プログラム641を実行することにより,符号データを復号して得られた復号映像を,再生装置などに出力する復号映像出力部65とが,バスで接続された構成になっている。図示省略するが,他に,参照フレーム記憶部などのハードウェアが設けられ,本手法の実施に利用される。また,映像信号符号データ記憶部,予測情報符号データ記憶部が用いられることもある。以上,図面を参照して本発明の実施の形態を説明してきたが,上記実施の形態は本発明の例示に過ぎず,本発明が上記実施の形態に限定されるものではないことは明らかである。したがって,本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加,省略,置換,その他の変更を行ってもよい。"