"映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさに分割した処理領域に対して、フレーム内予測を用いて予測符号化を行う映像符号化方法であって、前記フレーム内予測における予測方向を設定するフレーム内予測方向設定ステップと、前記設定した予測方向に従って、前記処理領域内の画素または所定数の画素群ごとに、前記処理領域から所定の距離範囲内にある画素を参照画素の候補として設定する参照画素候補設定ステップと、前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出ステップと、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定ステップと、前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成ステップとを有することを特徴とする映像符号化方法。前記参照画素相違度算出ステップは、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする請求項1に記載の映像符号化方法。前記参照画素決定ステップは、各参照画素に対する前記相違度の合計値と、前記処理領域と各参照画素との距離のばらつきを表す値との重み付き和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする請求項1または2に記載の映像符号化方法。前記参照画素決定ステップは、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、前記予測画像生成ステップは、前記予測方法に従って、複数の前記参照画素を用いて予測画像を生成することを特徴とする請求項1から3のいずれか1項に記載の映像符号化方法。前記予測画像生成ステップは、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定ステップを含み、前記予測方法に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする請求項4に記載の映像符号化方法。映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさの分割した処理領域に対して、フレーム内予測を用いて映像信号の復号を行う映像復号方法であって、前記フレーム内予測における予測方向を設定するフレーム内予測方向設定ステップと、前記設定した予測方向に従って、前記処理領域内の画素または所定数の画素群ごとに、前記処理領域から所定の距離範囲内にある画素を参照画素の候補として設定する参照画素候補設定ステップと、前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出ステップと、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定ステップと、前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成ステップとを有することを特徴とする映像復号方法。前記参照画素相違度算出ステップは、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする請求項6に記載の映像復号方法。前記参照画素決定ステップは、各参照画素に対する前記相違度の合計値と、前記処理領域と各参照画素との距離のばらつきを表す値との重み付き和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする請求項6または請求項7に記載の映像復号方法。前記参照画素決定ステップは、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、前記予測画像生成ステップは、前記予測方向に従って、複数の前記参照画素を用いて予測画像を生成することを特徴とする請求項6から8のいずれか1項に記載の映像復号方法。前記予測画像生成ステップは、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定ステップを含み、前記予測方向に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする請求項9に記載の映像復号方法。映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさに分割した処理領域に対して、フレーム内予測を用いて予測符号化を行う映像符号化装置であって、前記フレーム内予測における予測方向を設定するフレーム内予測方向設定手段と、前記設定した予測方向に従って、前記処理領域内の画素または所定数の画素群ごとに、前記処理領域から所定の距離範囲内にある画素を参照画素の候補として設定する参照画素候補設定手段と、前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出手段と、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定手段と、前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成手段とを有することを特徴とする映像符号化装置。前記参照画素相違度算出手段は、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする請求項11に記載の映像符号化装置。前記参照画素決定手段は、各参照画素に対する前記相違度の合計値と、前記処理領域と各参照画素との距離のばらつきを表す値との重み付き和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする請求項11または12に記載の映像符号化装置。前記参照画素決定手段は、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、前記予測画像生成手段は、前記予測方法に従って、複数の前記参照画素を用いて予測画像を生成することを特徴とする請求項11から13のいずれか1項に記載の映像符号化装置。前記予測画像生成手段は、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定手段を含み、前記予測方法に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする請求項14に記載の映像符号化装置。映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさの分割した処理領域に対して、フレーム内予測を用いて映像信号の復号を行う映像復号装置であって、前記フレーム内予測における予測方向を設定するフレーム内予測方向設定手段と、前記設定した予測方向に従って、前記処理領域内の画素または所定数の画素群ごとに、前記処理領域から所定の距離範囲内にある画素を参照画素の候補として設定する参照画素候補設定手段と、前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出手段と、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定手段と、前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成手段とを有することを特徴とする映像復号装置。前記参照画素相違度算出手段は、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする請求項16に記載の映像復号装置。前記参照画素決定手段は、各参照画素に対する前記相違度の合計値と、前記処理領域と各参照画素との距離のばらつきを表す値との重み付き和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする請求項16または請求項17に記載の映像復号装置。前記参照画素決定手段は、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、前記予測画像生成手段は、前記予測方向に従って、複数の前記参照画素を用いて予測画像を生成することを特徴とする請求項16から18のいずれか1項に記載の映像復号装置。前記予測画像生成手段は、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定手段を含み、前記予測方向に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする請求項19に記載の映像復号装置。請求項1から請求項5までのいずれか1項に記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラム。請求項6から請求項10までのいずれか1項に記載の映像復号方法をコンピュータに実行させるための映像復号プログラム。しかしながら、特許文献1の方法では、予測方向に加えて、ブロックごとにどの画素を参照画素として予測を行うかを示す情報を符号化する必要が生じてしまう。その結果、フレーム内予測を行うブロックにおける付加情報の符号量が増大してしまうため、効率的な符号化を実現することができないという問題がある。また、特許文献1の方法は、予測対象ブロック毎に、1つの予測対象ブロックからの距離を定義し、予測対象ブロック内の全ての画素に対して同じ距離を用いて参照画素を指定するため、被写体形状がブロック境界に対して並行でない場合や、予測方向に対して複数の被写体が存在する場合において、精度の高い予測を行うことができないという問題がある。また、ブロック内の各画素に対して参照画素を示すための距離を指定するという方法を用いることも可能であるが、この方法では、画素ごとにどの画素を参照画素として予測を行うかを示す情報を符号化しなくてはならなくなり、付加情報の符号量の更なる増大を招き、効率的な符号化を実現できないという問題がある。本発明は、このような事情に鑑みてなされたもので、映像とデプスマップとを構成要素に持つ自由視点映像データの符号化において、フレーム内予測の符号化効率を向上することができる映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラムを提供することを目的とする。本発明は、映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさに分割した処理領域に対して、フレーム内予測を用いて予測符号化を行う映像符号化方法であって、前記フレーム内予測における予測方向を設定するフレーム内予測方向設定ステップと、前記設定した予測方向に従って、前記処理領域内の画素または所定数の画素群ごとに、前記処理領域から所定の距離範囲内にある画素を参照画素の候補として設定する参照画素候補設定ステップと、前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出ステップと、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定ステップと、前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成ステップとを有することを特徴とする。本発明によれば、映像信号の予測精度の向上に伴う、予測残差の符号化に必要な符号量を削減することができる。フレーム内予測において予測対象領域に隣接する画素だけではなく、そこから一定距離内かつフレーム内予測の予測方向に沿った位置に存在する画素からの予測が可能になったことにより、領域端にオクルージョンや雑音を含む場合や、予測方向に対して複数の被写体が存在する領域に対しても、同じ被写体からの画素値の予測が可能になるため、高精度な予測が実現できる。従来手法例えば、特許文献1では、予測対象領域からの距離を指定し、予測対象領域に隣接する画素以外を用いたフレーム内予測を実現していた。この場合、距離を指定する情報を符号化する必要が生じるため、画素ごとに距離を指定することができず、全ての画素に対して精度の高い予測を行えなかった。本発明では、別途伝送されているデプスマップの情報を用いて、参照画素の候補の中から、予測する対象の画素と同じ被写体が写っている画素を選択し、その選択された参照画素を用いて予測画像を生成する。このようにすることで、距離を指定する情報を符号化する必要がなくなる。その結果、画素ごとに距離を決定することが可能となり、全ての画素に対して精度の高い予測を実現できる。ここで、デプスマップの値は被写体に大きく依存した値であるため、デプスマップを用いた被写体の判定によって、高精度に同じ被写体が写っているか否かを判定することが可能である。なお、画素群ごとに距離を指定する場合においても、特許文献1では必要だった距離を指定する情報を符号化する必要がなくなることによって、その分の符号量を削減することが可能である。本発明は、前記参照画素相違度算出ステップは、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする。本発明によれば、予測対象の画素に対してより相関の高い画素から予測を行うことによる予測精度の向上に伴う、予測残差の符号化に必要な符号量の削減を達成することができる。デプスマップではテクスチャ情報が失われているため、同じ被写体内のテクスチャまで考慮に入れて参照画素を決定することができない。一般に、画像内での空間的な距離が近いほど画素値の相関が高いため、デプスマップの値に加えて、参照画素と予測対象画素との間の距離の基準に参照画素を決定することで、参照画像の候補に同じ被写体が写った画素が複数存在する場合に、より相関の高い画素を用いた予測が可能になる。本発明は、前記参照画素決定ステップは、各参照画素に対する前記相違度の合計値と、前記処理領域と各参照画素との距離のばらつきを表す値との重み付き和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする。本発明によれば、予測画像に不自然な高周波成分が発生するのを抑制することによる周波数領域での予測精度の向上に伴う、予測残差の符号化に必要な符号量を削減することができる。予測対象領域の画素ごとに参照画素を設定する場合、本来は連続していなかった画素を寄せ集めて予測画像が生成されることになる。その結果、予測画像における画素間の連続性が低下し、自然画像ではありえない高周波成分が発生することがある。そこで、予測対象領域の隣接画素間での参照画素までの距離の変化を抑制しつつ、できる限り同じ被写体が撮影されている画素を参照画素として設定することで、予測画像に不自然な高周波成分が発生するのを抑制することが可能となる。なお、一般的な符号化では予測残差は周波数領域で符号化されるため、このようにすることで予測残差における無駄な高周波成分の発生を防ぎ、より効率的な符号化を実現することが可能となる。本発明は、前記参照画素決定ステップは、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、前記予測画像生成ステップは、前記予測方法に従って、複数の前記参照画素を用いて予測画像を生成することを特徴とする。本発明によれば、参照画素やデプスマップにおけるノイズに対する頑健性を向上することができる。デプスマップにノイズが含まれる場合、複数の参照画素の候補から1つの参照画素を選択する際に誤りが生じることがある。その場合、複数の参照画素を選択し、その参照画素群に対する画素値の平均値や中央値を用いて予測画像を生成することで、誤って異なる被写体が撮影されている参照画素が幾つか選択されていても、その影響を低減して予測画像を生成することができる。また、参照画素にノイズが含まれる場合においても、複数の参照画素を用いて平均値をとることでノイズ成分を低減し、より高精度な予測を実現することが可能となる。本発明は、前記予測画像生成ステップは、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定ステップを含み、前記予測方法に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする。本発明によれば、複数の参照画素を用いて予測を行う際の予測精度向上に伴う、予測残差の符号化に必要な符号量を削減することができる。複数の参照画素を用いて予測を行う場合、予測対象画素と参照画素との相違度に基づいた重み係数を用いた重み付き平均値や重み付き中央値によって予測を行うことで、予想対象画素との類似度が高いとされる画素を重視した予測となるため、ノイズへの頑健性を維持したまま予測精度を向上することが可能となる。本発明は、映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさの分割した処理領域に対して、フレーム内予測を用いて映像信号の復号を行う映像復号方法であって、前記フレーム内予測における予測方向を設定するフレーム内予測方向設定ステップと、前記設定した予測方向に従って、前記処理領域内の画素または所定数の画素群ごとに、前記処理領域から所定の距離範囲内にある画素を参照画素の候補として設定する参照画素候補設定ステップと、前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出ステップと、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定ステップと、前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成ステップとを有することを特徴とする。本発明は、前記参照画素相違度算出ステップは、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする。本発明は、前記参照画素決定ステップは、各参照画素に対する前記相違度の合計値と、前記処理領域と各参照画素との距離のばらつきを表す値との重み付き和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする。本発明は、前記参照画素決定ステップは、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、前記予測画像生成ステップは、前記予測方向に従って、複数の前記参照画素を用いて予測画像を生成することを特徴とする。本発明は、前記予測画像生成ステップは、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定ステップを含み、前記予測方向に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする。本発明は、映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさに分割した処理領域に対して、フレーム内予測を用いて予測符号化を行う映像符号化装置であって、前記フレーム内予測における予測方向を設定するフレーム内予測方向設定手段と、前記設定した予測方向に従って、前記処理領域内の画素または所定数の画素群ごとに、前記処理領域から所定の距離範囲内にある画素を参照画素の候補として設定する参照画素候補設定手段と、前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出手段と、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定手段と、前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成手段とを有することを特徴とする。本発明は、前記参照画素相違度算出手段は、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする。本発明は、前記参照画素決定手段は、各参照画素に対する前記相違度の合計値と、前記処理領域と各参照画素との距離のばらつきを表す値との重み付き和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする。本発明は、前記参照画素決定手段は、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、前記予測画像生成手段は、前記予測方法に従って、複数の前記参照画素を用いて予測画像を生成することを特徴とする。本発明は、前記予測画像生成手段は、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定手段を含み、前記予測方法に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする。本発明は、映像に対応するデプスマップを使用しながら、前記映像を構成する各フレームを予め定められた大きさの分割した処理領域に対して、フレーム内予測を用いて映像信号の復号を行う映像復号装置であって、前記フレーム内予測における予測方向を設定するフレーム内予測方向設定手段と、前記設定した予測方向に従って、前記処理領域内の画素または所定数の画素群ごとに、前記処理領域から所定の距離範囲内にある画素を参照画素の候補として設定する参照画素候補設定手段と、前記処理領域に対応するデプスマップと前記参照画素の候補に対応するデプスマップとを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出する参照画素相違度算出手段と、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定する参照画素決定手段と、前記設定した予測方向に従って、前記参照画素から前記処理領域に対する予測画像を生成する予測画像生成手段とを有することを特徴とする。本発明は、前記参照画素相違度算出手段は、前記処理領域内の画素または所定数の画素群に対応する前記デプスマップの値と前記参照画素の候補に対応するデプスマップの値との差分値と、前記処理領域と前記参照画素との距離とを用いて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の各候補に対する相違度を算出することを特徴とする。本発明は、前記参照画素決定手段は、各参照画素に対する前記相違度の合計値と、前記処理領域と各参照画素との距離のばらつきを表す値との重み付き和が最小になるように、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から参照画素を決定することを特徴とする。本発明は、前記参照画素決定手段は、前記相違度に基づいて、前記処理領域内の画素または所定数の画素群ごとに、前記参照画素の候補の中から複数の参照画素を決定し、前記予測画像生成手段は、前記予測方向に従って、複数の前記参照画素を用いて予測画像を生成することを特徴とする。本発明は、前記予測画像生成手段は、前記処理領域内の画素または所定数の画素群ごとに決定された複数の前記参照画素の各々に対して、前記相違度に従って重み係数を設定する重み係数設定手段を含み、前記予測方向に従って、前記重み係数を用いた複数の前記参照画素の重み付き平均値または重み付き中央値を用いて予測画像を生成することを特徴とする。本発明は、前記映像符号化方法をコンピュータに実行させるための映像符号化プログラムである。本発明は、前記映像復号方法をコンピュータに実行させるための映像復号プログラムである。本発明によれば、映像がその映像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合、ブロック端にオクルージョンや雑音を含むブロックや、予測方向に対して複数の被写体が存在するブロックに対して、効率的なフレーム内予測を実行することが可能となり、符号量を削減することが可能になるという効果が得られる。以下、図面を参照して、本発明の一実施形態による映像符号化装置および映像復号装置を説明する。<映像符号化装置>図1は同実施形態における映像符号化装置の構成を示すブロック図である。映像符号化装置100は、符号化対象映像入力部101、入力フレームメモリ102、デプスマップ入力部103、デプスマップメモリ104、予測方向設定部105、参照画素決定部106、予測画像生成部107、予測方向符号化部108、映像信号符号化部109、映像信号復号部110、参照フレームメモリ111および多重化部112を備えている。符号化対象映像入力部101は、外部から符号化対象となる映像を入力する。以下の説明において、この符号化対象となる映像のことを符号化対象映像と呼び、特に処理を行うフレームを符号化対象フレームまたは符号化対象画像と呼ぶ。入力フレームメモリ102は、入力された符号化対象映像を記憶する。デプスマップ入力部103は、符号化対象映像に対応するデプスマップを入力する。このデプスマップは符号化対象映像の各フレームの各画素に写っている被写体のデプスを表すものである。デプスマップメモリ104は、入力されたデプスマップを記憶する。予測方向設定部105は、予測画像を生成するにあたって、フレーム内予測を行う方向を設定する。参照画素決定部106は、設定された予測方向に存在する符号化済み画素群と処理領域に対するデプスマップを用いて、処理領域の画素ごとに、予測画像を生成する際の参照画素を決定する。予測画像生成部107は、決定された参照画素に基づいて予測画像を生成する。予測方向符号化部108は、予測方向設定部105において設定した予測方向を示す情報予測情報を符号化する。映像信号符号化部109は、生成された予測画像を用いて、符号化対象フレームの映像信号を予測符号化する。映像信号復号部110は、生成された予測画像を用いて、生成された符号データを復号して復号フレームを生成する。参照フレームメモリ111は、生成された復号フレームを記憶する。多重化部112は、予測情報の符号データと映像信号の符号データとを多重化して外部へ出力する。次に、図2を参照して、図1に示す映像符号化装置100の動作を説明する。図2は、図1に示す映像符号化装置100の動作を示すフローチャートである。ここでは符号化対象映像中のある1フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の符号化が実現できる。まず、符号化対象映像入力部101は、符号化対象フレームを入力し、入力した符号化対象フレームを入力フレームメモリ102に記憶する。一方、デプスマップ入力部103は、符号化対象フレームに対するデプスマップを入力し、入力したデプスマップをデプスマップメモリ104に記憶するステップS101。なお、ここでは入力された符号化対象フレームが順次符号化されるものとしているが、入力順と符号化順は必ずしも一致している必要はない。入力順と符号化順が異なる場合は、次に符号化するフレームが入力されるまで、入力されたフレーム及びデプスマップは入力フレームメモリ102及びデプスマップメモリ104に記憶する。記憶された符号化対象フレーム及びデプスマップは、以下で説明する符号化処理によって符号化されたら、各メモリから削除しても構わない。なお、ステップS101において入力するデプスマップは、既に符号化済みのデプスマップを復号したものなど、復号側で得られるデプスマップとする。これは、映像復号装置で得られる情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されても構わない。その他の復号側で得られるデプスマップの例としては、別の視点の符号化済みデプスマップを復号したものを用いて合成されたデプスマップや、別の視点の符号化済み画像群を復号したものからステレオマッチング等によって推定したデプスマップなどがある。符号化対象フレームとデプスマップの記憶が終了したら、符号化対象フレームを予め定められた大きさの領域に分割し、分割した領域ごとに、符号化対象フレームの映像信号を符号化するステップS102~S111。すなわち、符号化対象領域インデックスをblk、1フレーム中の総符号化対象領域数をnumBlksで表すとすると、blkを0で初期化しステップS102、その後、blkに1を加算しながらステップS110、blkがnumBlksになるまでステップS111、以下の処理ステップS103~ステップS109を繰り返す。一般的な符号化では16画素x16画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、復号側と同じであればその他の大きさのブロックに分割しても構わない。符号化対象領域ごとに繰り返される処理において、予測方向設定部105は、フレーム内予測で用いる予測方向を設定するステップS103。予測方向とは、符号化対象領域blkの映像信号を予測する際に参照する既に符号化済み画素が存在する方向のことである。符号化対象領域blk内の各画素について、この予測方向で示される元に存在する既に符号化済み画素群の復号画素値を用いて予測画像が生成される。ここで設定する予測方向はどのように決定しても構わない。ただし、符号化効率を最大にする場合は、設定した予測方向によって生成される予測画像による予測効率を評価し、その予測効率が最大になるものに決定したほうがよい。すなわち、予測方向をvとするとき、1式で与えられる予測方向Vblkを、符号化対象領域blkに対する予測方向に決定する。なお、予測方向はどのように表現しても構わない。ここでは、設定可能な予測方向の候補をNumVとし、0からNumV-1までの整数で表されるインデックス値で予測方向を示すものとする。各インデックス値はそれぞれ異なる向き2次元ベクトルに対応している。なお、Eblkvの値は小さいほど符号化効率が高いことを示しており、argminは与えられた関数を最小化するパラメータを返す関数を示す。最小化対象のパラメータはargminの下部で与えられる。予測方向の候補には任意のものを使用しても構わない。例えば、H.264/AVCの4×4ブロックにおけるイントラ予測と同様に8種類の予測方向を候補としても構わないし、文献KMcCannWJHanandIKimSamsungsResponsetotheCallforProposalsonVideoCompressionTechnologyInputdocumenttoJointCollaborativeTeamonVideoCodingofITUTSG16WP3andISOIECJTC1SC29WG11JCTVCA124April2010のようにさらに多数の予測方向を候補としても構わない。また、常に固定である必要もなく、ピクチャタイプやブロックサイズなどに応じて、候補を変更しても構わない。例えば、H.264/AVCでは、4×4ブロックでは前述の通り8通りの予測方向を使用可能としているが、16×16ブロックでは3種類の予測方向のみを使用可能としている。予測効率の評価値Eblkvには、どのようなものを用いても構わない。例えば、2式、3式で表される符号化対象画像と予測画像の差分絶対値和SADや差分二乗和SSDを用いても構わない。ここで、Orgは符号化対象フレームを示し、PredVは予測方向をvとした際に後述する方法で生成された予測画像を示す。これら以外に符号化対象画像と予測画像の差分値をDCTやアダマール変換などを用いて変換した値を用いた方法がある。その変換を行列Aで表すと、4式で表すことができる。なお、∥X∥はXのノルムを表す。また、上記のように符号化対象フレームと予測画像との乖離度のみを評価する方法ではなく、発生する符号量と歪み量を鑑みたRDコストを用いても構わない。ここで用いるRDコストは、PredVを予測画像としてOrgを符号化した際の符号量Rblkvと歪み量Dblkvとを用いて、5式で表すことができる。なお、λはラグランジュの未定乗数であり、予め定められた値を用いる。正確なRDコストを算出するためには、予測残差の符号化および復号を行う必要がある。これには非常に多くの演算を必要とするため、予測情報の符号量Rblk’vと、予測画像における符号化対象フレームからの歪み量Dblk’vとを用いて算出したRDコストを用いて予測方向vを決定しても構わない。このとき、ラグランジュの未定乗数はλとは異なる値を用いることが多い。また、符号量Rblk’も実際に符号化して求めず、簡易な方法で符号量Rblk’の推定量を求めて、それを使用することで更なる高速化を図ることも可能である。予測方向の設定ができたら、参照画素決定部106は、符号化対象領域blkと参照画素の候補に対するデプスマップを用いて、符号化対象領域の画素ごとに、予測画像を生成する際の参照画素を決定するステップS104。参照画素の候補は符号化対象領域の画素ごとに設定され、符号化対象領域の画素に対して予測方向の元となる方向へ辿っていくことで見つかる既に符号化済みの画素の集合である。すなわち、上のブロックから予測を行う垂直予測の場合、予測方向の元となる方向は上であり、図7に示すように符号化対象画素から上に辿ることで見つかる既に符号化済みの画素の集合である。参照画素を決定するに当たって、符号化対象領域またはその画素からの距離を選択基準の一つとして使用しても構わない。本実施形態では、予測方向がvの際のある画素pの参照画素の候補集合を{rpp,v,i|i=1,2,...Np,v}で表す。Npは参照画素の候補数であり、iの値が小さいほど符号化対象画素に近い画素であることを示すものとする。なお、参照画素の候補数は固定であっても可変であっても構わない。例えば、候補数を予め指定しておいても構わないし、遡る距離を予め設定しておいても構わないし、それらの組み合わせで指定しても構わない。指定された条件や数は、ブロックスライスフレームGOPGroupOfPicturesなどの単位で決定し、その値をブロックヘッダスライスヘッダピクチャヘッダGOPヘッダなどの位置で符号化しても構わない。遡る距離は符号化対象ブロック端からの距離として定義しても構わないし、符号化対象の画素からの距離として定義しても構わない。なお、常に固定の条件を用いる場合は、その情報を符号化する必要はない。また、符号化対象領域の画素ごとに、図8に示すrefline_x及びrefline_yを決定することで、参照画素を決定しても構わない。図中、Mx及びMyは符号化対象領域または符号化対象画素から参照画素までの最大距離によって定義される値である。この場合、refline_x及びrefline_yの組み合わせが参照画素の候補となる。ただし、予測方向によってはrefline_xまたはrefline_yのどちらか一方のみを決定するだけで良い場合もある。例えば、垂直下向きに予測を行う場合はrefline_xが不要であり、水平右向きに予測を行う場合はrefline_yが不要である。参照画素は、6式で表される通り、設定した参照画素の候補中で、符号化対象領域の画素との相違度が最小となる画素として決定する。Dissimilarityは与えられた2つの画素の相違度を示すものであり、例えば7式、8式で表されるデプスマップの値の差分絶対値や差分二乗値を用いることが可能である。また、デプス値の違いだけでなく、符号化対象領域または符号化対象領域の画素から参照画素までの距離を考慮した尺度を用いることも可能である。例えば、9式を用いても構わない。αは別途定められた重み係数であり、Distanceは与えられた2つの画素の距離を示すものである。前述の定義を用いる場合は参照画素の候補がrpp,v,iの場合は、iを距離として用いることができる。また、refline_xとrefline_yの合計値を距離として用いることも可能である。距離を考慮することで、デプスマップの値による相違度が一緒の場合に、より符号化対象領域に近い画素を参照画素として使用することになる。一般に、空間的な距離が近いほど相関が高いと考えられるため、このような距離を考慮した尺度を用いることで、より適切な参照画素を選択することが可能となる。更に、符号化対象領域または符号化対象領域内の画素から参照画素までの距離を考慮する際に、その距離の符号化対象領域内の画素毎の変化を考慮しても構わない。その場合、符号化対象領域の各画素に対する参照画素は、1式で与えられる。ここで、集合Xは符号化対象領域内の画素に対する参照画素の集合であり、xpはXの第p元、すなわち画素pに対する参照画素を示す。画素pに対する参照画素は前述と同様に候補{rpp,v,i|i=1,2,...Np,v}の中から選択される。Eは符号化対象領域内の画素間の隣接関係を表す集合であり、p,q∈Eのとき画素pと画素qは隣接していると考える。また、hpqは画素毎に選択される参照画素のばらつきを抑えるための平滑化項で、ここでは参照画素間の距離に対する増加関数であれば、どのようなものを用いても構わない。なお、参照画素間の距離としては、画素間の距離を計算して用いても構わないし、それぞれの参照画素に対する参照画素と符号化対象画素との距離を求め、その差を用いても構わない。それぞれの参照画素に対する参照画素と符号化対象画素との距離の差は、xpがrpp,v,iで、xqがrpq,v,jの時、参照画素間の距離は|i-j|で得られる。10式の最小化はグラフカット等のマルコフ確率場の最小化問題を解くアルゴリズムを用いて解くことができる。ただし、厳密な意味で右辺を最小化する解を求めるのが困難な場合があるため、近似解を用いたとしても構わない。なお、近似解を用いる場合は、復号側でも同様の解が得られる必要があるため、予め定められた条件を用いて最小化をやめるか、最小化の停止条件を符号化して伝送する必要がある。また、10式では符号化対象領域の全ての画素を対象に最小化を行っているが、演算量を考慮して、符号化対象領域内の行毎又は列毎など、部分集合毎に最小化を行って、その結果を近似解として用いることも可能である。特に隣接関係が1次元に限定された場合、動的計画法を用いることで、その部分集合に対する最小解を高速に見つけることが可能となる。次に、参照画素が決定したら、予測画像生成部107は、予測画像を生成するステップS105。予測画像は一般的なフレーム内予測と同様に、画素毎に、参照画素の画素値を割り当てることで生成する。すなわち、予測画像は11式に基づいて生成される。Decは参照フレームメモリ111に記憶されている符号化対象画像の既に符号化済み領域に対する復号画像を示す。次に、予測画像の生成が終了したら、予測方向符号化部108は予測方向の符号化を行うステップS106。予測方向の符号化にはどのような方法を用いても構わない。ただし、正しく復号可能にするためには、復号側で復号可能な方式を用いる必要がある。例えば、予測方向のインデックス値を予め定められた方法を用いて2値化して2値算術符号化によって符号化しても構わない。また、隣接ブロックを符号化する際に使用されたフレーム内予測の予測方向から、予測方向の予測値を生成し、その予測が正しいか否かに加え、予測が誤っている場合にのみ予測方向を符号化する方法もある。次に、生成された予測画像を用いて、映像信号符号化部109は符号化対象フレームOrgの符号化対象領域blkにおける映像信号を符号化するステップS107。復号側で正しく復号可能であるならば、符号化にはどのような方法を用いても構わない。MPEG-2やH.264/AVCなどの一般的な符号化では、ブロックblkの映像信号と予測画像との差分信号に対して、DCTなどの周波数変換、量子化、2値化、エントロピー符号化を順に施すことで符号化を行う。次に、映像信号復号部110は、映像信号の符号データと予測画像とを用いて、ブロックblkに対する映像信号を復号し、復号結果であるところの復号フレームDec[blk]を参照フレームメモリ111に記憶するステップS108。ここでは、符号化時に用いた手法に対応する手法を用いる。例えば、MPEG-2やH.264/AVCなどの一般的な符号化であれば、符号データに対して、エントロピー復号、逆2値化、逆量子化、IDCTなどの周波数逆変換を順に施し、得られた2次元信号に対して予測画像を加え、最後に画素値の値域でクリッピングを行うことで映像信号を復号する。なお、符号化側での処理がロスレスになる直前のデータと予測画像を受け取り、簡略化した復号処理によって復号処理を行っても構わない。すなわち、前述の例であれば符号化時に量子化処理を加えた後の値と予測画像を受け取り、その量子化後の値に逆量子化、周波数逆変換を順に施して得られた2次元信号に対して予測画像を加え、画素値の値域でクリッピングを行うことで映像信号を復号しても構わない。次に、多重化部112は、予測方向の符号データと、映像信号の符号データとを多重化して出力するステップS109。なお、ここではブロックごとに多重化しているが、フレーム単位で多重化しても構わない。ただし、その場合には、復号時に1フレーム分の符号データをバッファリングしてから復号する必要が生じる。なお、図2に示す一部の処理は、その順序が前後しても構わない。具体的には、ステップS106の予測方向の符号化処理は、ステップS103の予測方向の決定処理よりも後ろであればいつ行っても構わないし、ステップS109の符号データの多重化処理は、ステップS106の予測方向の符号化処理とステップS107の映像信号の符号化処理より後ろであればどのタイミングで行っても構わない。<映像復号装置>次に、映像復号装置について説明する。図3は、本発明の一実施形態による映像復号装置の構成を示すブロック図である。映像復号装置200は、符号データ入力部201、符号データメモリ202、デプスマップ入力部203、デプスマップメモリ204、分離部205、予測方向復号部206、参照画素決定部207、予測画像生成部208、映像信号復号部209および参照フレームメモリ210を備えている。符号データ入力部201は、外部から復号対象となる映像の符号データ例えば、図1に示す映像符号化装置100から出力された符号化データを入力する。以下の説明においては、この復号対象となる映像のことを復号対象映像と呼び、特に処理を行うフレームを復号対象フレームまたは復号対象画像と呼ぶ。符号データメモリ202は入力された符号データを記憶する。デプスマップ入力部203は、復号対象映像に対応するデプスマップを入力する。このデプスマップは復号対象映像の各フレームの各画素に写っている被写体のデプスを表すものである。デプスマップメモリ204は、入力されたデプスマップを記憶する。分離部205は、入力された符号データで多重化されている予測情報の符号データと映像信号の符号データとを分離する。予測方向復号部206は、予測画像を生成する際に行うフレーム内予測を行う方向予測方向を示す情報を符号データから復号する。参照画素決定部207は、復号された予測方向に存在する符号化済み画素群と処理領域に対するデプスマップを用いて、処理領域の画素ごとに、予測画像を生成する際の参照画素を決定する。予測画像生成部208は、決定された参照画素に基づいて予測画像を生成する。映像信号復号部209は、生成された予測画像を用いて、符号データを復号して復号フレームを生成する。参照フレームメモリ210は、生成された復号フレームを記憶する。次に、図4を参照して、図2に示す映像復号装置200の動作を説明する。図4は、図3に示す映像復号装置200の動作を示すフローチャートである。ここでは復号対象映像中のある1フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の復号が実現できる。まず、符号データ入力部201は、復号対象映像の符号データを入力し、入力した符号データを符号データメモリ202に記憶する。一方、デプスマップ入力部203は、復号対象映像に対するデプスマップを入力し、入力したデプスマップをデプスマップメモリ204に記憶するステップS201。なお、ここでは入力された符号データから復号対象フレームが順次復号して出力するとしているが、入力順と出力順は必ずしも一致している必要はない。入力順と出力順が異なる場合は、次に出力するフレームが復号されるまで、復号されたフレームは参照フレームメモリ210に記憶する。記憶されたデプスマップは、以下で説明する復号処理によって対応するフレームが復号されたら、各メモリから削除しても構わない。なお、ステップS201で入力するデプスマップは、符号化時に使用したデプスマップと同じものとする。これは映像符号化装置100で使用した情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化に使用されたものとは異なるものが入力されても構わない。入力されるデプスマップとしては、例えば、別途復号されたデプスマップや、別の視点に対して復号されたデプスマップを用いて合成されたデプスマップや、別の視点に対して復号された画像群からステレオマッチング等によって推定したデプスマップなどがある。次に、符号データとデプスマップの記憶が終了したら、復号対象フレームを予め定められた大きさに分割した領域ごとに、復号対象フレームの映像信号を復号するステップS202~S210。すなわち、復号対象領域インデックスをblk、1フレーム中の総復号対象領域数をnumBlksで表すとすると、blkを0で初期化しステップS202、その後、blkに1を加算しながらステップS209、blkがnumBlksになるまでステップS210、以下の処理ステップS203~ステップS208を繰り返す。処理領域のサイズは符号化側で使用されたものと同じ大きさとなる。一般的な符号化では16×16画素のマクロブロックと呼ばれる処理単位ブロックが使用されるが、符号化側と同じであればその他の大きさのブロックごとに処理を行う。復号対象領域ごとに繰り返される処理において、まず、分離部205は符号データから、復号対象領域blkの予測方向の符号データと映像信号の符号データとを分離するステップS203。なお、ここでは復号対象領域ごとに分離しているが、フレーム単位など他の単位で分離しても構わない。ただしフレーム単位で分離する場合は、入力された符号データではなく、分離された符号データを記憶する必要が生じる。次に、予測方向復号部206で、分離された予測方向に対する符号データを復号し、復号対象領域blkに対するフレーム内予測の予測方向を設定するステップS204。予測方向の復号が終了したら、参照画素決定部207は、復号対象領域blkと参照画素の候補に対するデプスマップを用いて、復号対象領域の画素ごとに、予測画像を生成する際の参照画素を決定するステップS205。ここでの処理は図2に示すステップS104と同じである。どのような規則で参照画素を決定しても構わないが、符号化側と同じ規則に従って決定する必要がある。なお、符号化側で使用した規則についての情報が符号化されている場合は、適切なタイミングシーケンスフレームブロック群ブロックなどの先頭で、その情報を復号し、復号した規則に従って参照画素を決定する必要がある。次に、復号対象領域の各画素に対する参照画素の決定が終了したら、予測画像生成部208は予測画像を生成するステップS206。ここでの処理は図2に示すステップS105と同じであり、一般的なフレーム内予測と同様に、画素毎に参照画素の画素値を割り当てることで予測画像を生成する。次に、予測画像の生成が終了したら、生成された予測画像を用いて、映像信号復号部209は、映像信号に対する符号データから復号対象領域blkに対する映像信号を復号しステップS207、復号画像を生成するステップS208。復号画像は映像復号装置200の出力となるとともに、参照フレームメモリ210に記憶する。復号処理は符号化時に用いた手法に対応する手法を用いる。例えば、MPEG-2やH.264/AVCなどの一般的な符号化が用いられている場合は、符号データに対して、エントロピー復号、逆2値化、逆量子化、IDCTなどの周波数逆変換を順に施し、得られた2次元信号に対して予測画像を加え、最後に画素値の値域でクリッピングを行うことで映像信号を復号する。前述した説明においては、符号化対象領域全体および復号対象領域全体以下、符号化および復号を区別せず処理と呼ぶに対して1つの予測方向を設定しているが、処理対象領域を分割し、その分割ごとに参照情報を設定しても構わない。この場合、処理対象領域の分割方法も予測方向を示すための情報の一部分となる。すなわち、予測方向を示す情報は分割方法を示す情報Pblk、分割ごとの予測方向の集合{Vblk,i|i=1,...,Mblk}で構成される。なお、Mblkは分割方法Pblkで処理対象領域を分割した際の分割数を表す。このようにすることで、処理対象領域内において、部分ごとに写っている被写体が異なる場合、すなわち映像信号の空間相関の向きが大きく異なる場合においても、それを考慮した予測画像の生成を行うことができる。この場合においても、デプスマップを用いた参照画素の決定を行うことで、細かい領域分割を設定することなく、各画素に写っている被写体を反映した予測画像を生成することが可能である。また、処理領域内の画素ごとに参照画素を決定しているが、符号化対象領域からの距離すなわち参照ラインrefline_xおよびrefline_yを決定することで参照画素を決定する場合、処理領域の画素ごとではなく、処理領域内の行水平ラインや列鉛直ライン、N×N画素のブロックなどの画素群ごとに参照画素を決定しても構わない。すなわち、予めまたは別途定められた画素群ごとに1つの参照ラインまたは参照ラインの組、以下では両者を区別せず参照ラインと記すを決定しても構わない。この場合、ステップS104及びステップS205の参照画素を決定する処理は、上記説明した6式ではなく、12式に従って行う。ここで、subblkは、1つの参照ラインを決定する対象の画素群の集合を表す。reflineは、処理領域左または処理領域上の参照ラインのいずれか一方を決定する場合はrefline_xまたはrefline_yのいずれか一方を表し、参照ラインの組を決定する場合は参照ラインの組refline_x,refline_yを表す。また、refpp,v,rlは、画素pに対して、予測方向v、参照ラインrlでフレーム内予測を行う際の参照画素を示す。なお、p1≠p2のとき、refpp1,v,rl=refpp2,v,rlであるとは限らない。p1とp2の位置関係が予測方向vと並行であれば、refpp1,v,rl=refpp2,v,rlとなる。これは、参照ラインが処理対処領域からの距離で定義されているためである。また、前述した10式を用いた参照画素の決定処理のように、処理領域内の参照ラインの変化を考慮して、定められた画素群ごとに1つの参照ラインを設定することで、参照画素を決定することも可能である。その場合の数式は13式で与えられる。ここで、集合RLは参照ラインの集合であり、rlsbはRLの第sb元、すなわち参照ラインを設定する単位の画素集合sbに対する参照ラインを示す。E‘は処理対象領域内の参照ラインを設定する単位の画素集合の隣接関係を表す集合であり、s,t∈E’のとき画素集合sと画素集合tは隣接していると考える。また、hstは画素集合毎に決定される参照ラインのばらつきを抑えるための平滑化項で、ここでは参照ライン間の距離に対する増加関数であれば、どのようなものを用いても構わない。例えば、参照ラインの差分絶対値和を予め定められた係数でスケールした値を使っても構わない。参照ラインの差分絶対値和とは、各参照ラインにおけるrefline_xの値の差分の絶対値とrefline_yの値の差分の絶対値の和である。また、前述した説明においては、予測方向を指定して行うフレーム内予測のみを対象としたが、予測方向を指定せずに処理対象領域に隣接する処理済み画素群から予測値を生成するフレーム内予測にも適用することができる。具体的には参照画素を決定する処理を、参照ラインrefline_xおよびrefline_yを決定する処理と考えることで本発明を適用することが可能である。この場合、ステップS104及びステップS205の参照画素を決定する処理は、subblk=blkとして12式を用いても参照ラインを決定しても構わない。また、別の方法として、処理対象領域に対するデプスマップの値の代表値と、参照ラインによって指定される予測値を生成するために使用される参照画素群の各画素に対するデプスマップの値との乖離度の合計値が最小になるように、参照ラインを決定しても構わない。その場合の数式は14式で与えられる。ここで、repDは処理対象領域に対するデプスマップの値の代表値を示し、当該領域に対するデプスマップの値の平均値、中央値、最も多く存在する値などを用いることが可能である。refrlは参照ラインをrlとした際の参照画素群を示す。なお、乖離度として差分絶対値を用いたが、差分二乗値などデプスマップの値の違いに対する増加関数であれば任意のものを用いることが可能である。また、参照画素毎に乖離度を算出してその合計値で評価するのではなく、参照画素群に対するデプスマップの値の代表値を求め、その代表値と処理対象領域に対するデプスマップの値の代表値との乖離度で評価する方法もある。また、前述した説明においては、図7に例示されるように、処理領域の画素に対して予測方向の元となる方向へ辿っていくことで見つかる既に処理済みの画素の集合を参照画素の候補としているが、図9に示すように一定の角度幅をもつ予測方向を用いることで、より多くの画素を参照画素の候補とすることが可能である。また、角度幅ではなく、図10に示すように予測方向の元となる方向へ辿っていくことで見つかる既に処理済みの画素及びその周辺の画素群を参照画素の候補とする方法もある。このように予測方向と直交する方向にも参照画素の候補を増やすことで、より広い範囲に存在で予測に用いる参照画素を設定可能になることで予測性能を向上させることが可能となる。また、一つの方向で多数の方向をカバーできることにもなるため、設定可能な予測方向の数を減らし、予測方向を示す情報を符号化するのに必要な符号量を削減することも可能となる。また、前述した説明においては、複数存在する参照画素の候補から1つを選択しているが、複数の参照画素を設定しても構わない。複数の参照画素を設定する方法としては、参照画素の候補中で符号化対象領域の画素との相違度を基準として、相違度が小さいものから順に一定数のものを参照画素として設定する方法や、相違度が一定値以下のものを参照画素として設定する方法や、相違度が一定値以下で小さいものから順に一定数のものを参照画素として設定する方法がある。また、複数の参照画素から予測画像の画素値予測値を生成する方法としては、複数の参照画素の平均値や中央値を予測値とする方法や、相違度によって参照画素毎に重み係数を設定した重み付け平均値や重み付け中央値を予測値とする方法がある。なお、複数の参照画素の設定方法と複数の参照画素からの予測値の生成方法には上記を含め任意の方法を用いることができるが、符号化と復号で一致させる必要がある。また、前述した説明においては、入力したデプスマップをそのまま用いているが、符号化されたデプスマップを用いる場合などは、デプスマップにノイズが生じているため、そのノイズを低減させるためにデプスマップにローパスフィルタをかけても構わない。また、被写体の違いが分かる程度のビット深度があれば、被写体を考慮した予測画像の生成が行えるため、入力されたデプスマップに対してビット深度変換を施して、デプスマップのビット深度を小さくする処理を施しても構わない。なお、単純なビット深度変換を行っても構わないが、デプスマップから被写体数を判定するなどして、その結果に応じて、被写体を区別するだけの情報に変換しても構わない。また、前述した説明においては、フレーム全体を符号化/復号する処理するものとして説明したが、画像の一部分のみに適用することも可能である。この場合、処理を適用するか否かを判断して、それを示すフラグを符号化/復号しても構わないし、なんらか別の手段でそれを指定しても構わない。また、別途情報を与えて指定するのではなく、デプスマップから前述した参照画素の決定を行うか否かを判定しても構わない。例えば、処理対象領域の各画素に対するデプスマップの値がほぼ等しい場合デプスマップの値の分散値が小さい場合、1つの被写体しか含まれていないことになるため、常に処理対象領域に隣接する処理済みの画素を参照画素とするとして、デプスマップの値を用いた参照画素の決定を行わないようにする方法がある。なお、処理対象領域内の画素だけでなく、設定された予測方向に従って、従来の方法H.264/AVCなどを用いて予測を行う際に、参照画素として設定される画素群を含めた画素集合に対して、対応するデプスマップの値がほぼ等しいか否かを判定しても構わない。このようにすることで、参照画素群を含めた領域に1つの被写体しか含まれていないか否かを判定基準とできるため、より正確な切り替えを行うことが可能となる。また、前述した説明においては、符号化/復号対象映像に対するデプスマップを用いているが、法線マップや温度画像などの被写体に依存した値を持つ画像情報を代わりに用いることも可能である。ただし、符号化側で使用されたものが復号側でも同様に入手できる必要がある。以上説明した映像符号化および映像復号の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。図5に、画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは、プログラムを実行するCPU50と、CPU50がアクセスするプログラムやデータが格納されるRAM等のメモリ51と、カメラ等からの符号化対象の映像信号を入力する符号化対象映像入力部52ディスク装置等による映像信号を記憶する記憶部でもよいと、例えばネットワークを介して符号化対象映像に対するデプスマップを入力するデプスマップ入力部53ディスク装置等によるデプスマップを記憶する記憶部でもよいと、図2に示す処理をCPU50に実行させるソフトウェアプログラムである映像符号化プログラム541が格納されたプログラム記憶装置54と、CPU50がメモリ51にロードされた映像符号化プログラム541を実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部55ディスク装置等による多重化符号データを記憶する記憶部でもよいとが、バスで接続された構成になっている。図示を省略するが、他に、符号データ記憶部、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測方向符号データ記憶部などが用いられることもある。図14に、映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは、プログラムを実行するCPU60と、CPU60がアクセスするプログラムやデータが格納されるRAM等のメモリ61と、映像符号化装置が本手法により符号化した符号データを入力する符号データ入力部62ディスク装置等による多重化符号データを記憶する記憶部でもよいと、例えばネットワークを介して復号対象の映像に対するデプスマップを入力するデプスマップ入力部63ディスク装置等によるデプスマップを記憶する記憶部でもよいと、図4に示す処理をCPU60に実行させるソフトウェアプログラムである映像復号プログラム641が格納されたプログラム記憶装置64と、CPU60がメモリ61にロードされた映像復号プログラム641を実行することにより、符号データを復号して得られた復号映像を、再生装置などに出力する復号映像出力部65とが、バスで接続された構成になっている。図示省略するが、他に、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測方向符号データ記憶部が用いられることもある。以上説明したように、前述した映像符号化装置及び映像復号装置によれば、映像信号の予測精度の向上に伴う、予測残差の符号化に必要な符号量を削減することができる。フレーム内予測において予測対象領域に隣接する画素だけではなく、そこから一定距離内かつフレーム内予測の予測方向に沿った位置に存在する画素からの予測が可能になったことにより、領域端にオクルージョンや雑音を含む場合や、予測方向に対して複数の被写体が存在する領域に対しても、同じ被写体からの画素値の予測が可能になるため、高精度な予測が実現できる。従来手法例えば、特許文献1では、予測対象領域からの距離を指定し、予測対象領域に隣接する画素以外を用いたフレーム内予測を実現していた。この場合、距離を指定する情報を符号化する必要が生じるため、画素ごとに距離を指定することができず、全ての画素に対して精度の高い予測を行えなかった。本発明では、別途伝送されているデプスマップの情報を用いて、参照画素の候補の中から、予測する対象の画素と同じ被写体が写っている画素を選択し、その選択された参照画素を用いて予測画像を生成する。このようにすることで、距離を指定する情報を符号化する必要がなくなる。その結果、画素ごとに距離を決定することが可能となり、全ての画素に対して精度の高い予測を実現できる。ここで、デプスマップの値は被写体に大きく依存した値であるため、デプスマップを用いた被写体の判定によって、高精度に同じ被写体が写っているか否かを判定することが可能である。なお、画素群ごとに距離を指定する場合においても、特許文献1では必要だった距離を指定する情報を符号化する必要がなくなることによって、その分の符号量を削減することが可能である。また、予測対象の画素に対してより相関の高い画素から予測を行うことによる予測精度の向上に伴う、予測残差の符号化に必要な符号量を削減することができる。デプスマップではテクスチャ情報が失われているため、同じ被写体内のテクスチャまで考慮に入れて参照画素を決定することができない。一般に、画像内での空間的な距離が近いほど画素値の相関が高いため、デプスマップの値に加えて、参照画素と予測対象画素との間の距離の基準に参照画素を決定することで、参照画像の候補に同じ被写体が写った画素が複数存在する場合に、より相関の高い画素を用いた予測が可能になる。また、予測画像に不自然な高周波成分が発生するのを抑制することによる周波数領域での予測精度の向上に伴う、予測残差の符号化に必要な符号量を削減することができる。予測対象領域の画素ごとに参照画素を設定する場合、本来は連続していなかった画素を寄せ集めて予測画像が生成されることになる。その結果、予測画像における画素間の連続性が低下し、自然画像ではありえない高周波成分が発生することがある。そこで、予測対象領域の隣接画素間での参照画素までの距離の変化を抑制しつつ、できる限り同じ被写体が撮影されている画素を参照画素として設定することで、予測画像に不自然な高周波成分が発生するのを抑制することが可能となる。なお、一般的な符号化では予測残差は周波数領域で符号化されるため、このようにすることで予測残差における無駄な高周波成分の発生を防ぎ、より効率的な符号化を実現することが可能となる。また、参照画素やデプスマップにおけるノイズに対する頑健性を向上することができる。デプスマップにノイズが含まれる場合、複数の参照画素の候補から1つの参照画素を選択する際に誤りが生じることがある。その場合、複数の参照画素を選択し、その参照画素群に対する画素値の平均値や中央値を用いて予測画像を生成することで、誤って異なる被写体が撮影されている参照画素が幾つか選択されていても、その影響を低減して予測画像を生成することができる。また、参照画素にノイズが含まれる場合においても、複数の参照画素を用いて平均値をとることでノイズ成分を低減し、より高精度な予測を実現することが可能となる。また、複数の参照画素を用いて予測を行う際の予測精度向上に伴う、予測残差の符号化に必要な符号量を削減することができる。複数の参照画素を用いて予測を行う場合、予測対象画素と参照画素との相違度に基づいた重み係数を用いた重み付き平均値や重み付き中央値によって予測を行うことで、予想対象画素との類似度が高いとされる画素を重視した予測となるため、ノイズへの頑健性を維持したまま予測精度を向上することが可能となる。なお、図1、図3における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化処理及び映像復号処理を行ってもよい。なお、ここでいうコンピュータシステムとは、OSや周辺機器等のハードウェアを含むものとする。また、コンピュータシステムは、ホームページ提供環境あるいは表示環境を備えたWWWシステムも含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリRAMのように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する伝送媒体は、インターネット等のネットワーク通信網や電話回線等の通信回線通信線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラムであってもよい。以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。"