"画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割ステップと、前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成ステップと、前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成ステップと、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測方法設定ステップで設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップで設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化ステップとを有することを特徴とする画像符号化方法。前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定ステップをさらに有し、前記予測方法設定ステップは、前記予測候補集合設定ステップで設定された候補集合の中から、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の前記画像を予測する方法を選択し、前記予測情報符号化ステップは、前記予測候補集合設定ステップで設定された候補集合を用いて、前記予測方法設定ステップで選択された予測方法を示す情報を符号化することを特徴とする請求項1に記載の画像符号化方法。前記予測候補集合設定ステップは、前記境界予測ユニットに対して、前記予測ユニットの境界線に沿って、隣接する既に符号化済みの画素から予測を行う方法を含む候補集合を生成することを特徴とする請求項2に記載の画像符号化方法。前記予測候補集合設定ステップは、前記境界予測ユニットに対して、隣接する前記被写体内予測ユニットの予測画像または復号画像を用いて予測を行う方法を含む候補集合を生成することを特徴とする請求項2に記載の画像符号化方法。前記予測情報符号化ステップは、前記予測候補集合設定ステップで設定された候補集合に2つ以上の予測方法の候補が存在する前記被写体内予測ユニットまたは前記境界予測ユニットに対してのみ、前記予測方法設定ステップで選択された予測方法を示す情報を符号化することを特徴とする請求項2から4にいずれかに記載の画像符号化方法。画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割ステップと、前記予測ユニットごとに、当該予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、前記予測ユニットごとに、当該予測ユニットに対して前記予測候補集合設定ステップで設定された候補集合の中から、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測候補集合設定ステップで設定された候補集合を用いて、前記予測方法設定ステップで設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップで設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化ステップとを有することを特徴とする画像符号化方法。画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割ステップと、前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成ステップと、前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成ステップと、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測方法復号ステップで復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号ステップとを有することを特徴とする画像復号方法。前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定ステップをさらに有し、予測方法復号ステップは、前記予測候補集合設定ステップで設定された前記候補集合を用いて、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法を復号することを特徴とする請求項7に記載の画像復号方法。前記予測候補集合設定ステップは、前記境界予測ユニットに対して、前記予測ユニットの境界線に沿って、隣接する既に復号済みの画素から予測を行う方法を含む候補集合を生成することを特徴とする請求項8に記載の画像復号方法。前記予測候補集合設定ステップは、前記境界予測ユニットに対して、隣接する前記被写体内予測ユニットの予測画像または復号画像を用いて予測を行う方法を含む前記候補集合を生成することを特徴とする請求項8または請求項9に記載の画像復号方法。前記予測情報復号ステップは、前記予測候補集合設定ステップにおいて設定された前記候補集合に2つ以上の予測方法の候補が存在する前記被写体内予測ユニットまたは前記境界予測ユニットに対してのみ、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号し、前記予測画像生成ステップは、前記予測候補集合設定ステップにおいて設定された前記候補集合に2つ以上の予測方法の候補が存在する前記被写体内予測ユニットまたは前記境界予測ユニットに含まれる画素では、前記予測情報復号ステップで復号された予測方法に従って予測画像を生成し、前記予測候補集合設定ステップで設定された前記候補集合に1つの予測方法の候補のみ存在する前記被写体内予測ユニットまたは前記境界予測ユニットに含まれる画素では、前記候補集合に含まれる予測方法に従って予測画像を生成することを特徴とする請求項8から10のいずれかに記載の画像復号方法。画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割ステップと、前記予測ユニットごとに、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、前記予測ユニットごとに、前記予測候補集合設定ステップで当該予測ユニットに対して設定された前記候補集合を用いて、前記符号データから、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測方法復号ステップで復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号ステップとを有することを特徴とする画像復号方法。画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割手段と、前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成手段と、前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成手段と、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、前記予測方法設定手段において設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化手段とを備えたことを特徴とする画像符号化装置。前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定手段をさらに備え、前記予測方法設定手段は、前記予測候補集合設定手段において設定された候補集合の中から、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の前記画像を予測する方法を選択し、前記予測情報符号化手段は、前記予測候補集合設定手段において設定された候補集合を用いて、前記予測方法設定手段において選択された予測方法を示す情報を符号化することを特徴とする請求項13に記載の画像符号化装置。画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割ステップと、前記予測ユニットごとに、当該予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、前記予測ユニットごとに、当該予測ユニットに対して前記予測候補集合設定ステップで設定された候補集合の中から、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測候補集合設定ステップで設定された候補集合を用いて、前記予測方法設定ステップで設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップで設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化ステップとを有することを特徴とする画像符号化方法。画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号装置であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割手段と、前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成手段と、前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成手段と、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、前記予測方法復号手段において復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号手段とを有することを特徴とする画像復号装置。前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定手段をさらに有し、予測方法復号手段は、前記予測候補集合設定手段において設定された前記候補集合を用いて、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法を復号することを特徴とする請求項16に記載の画像復号装置。画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割ステップと、前記予測ユニットごとに、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、前記予測ユニットごとに、前記予測候補集合設定ステップで当該予測ユニットに対して設定された前記候補集合を用いて、前記符号データから、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測方法復号ステップで復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号ステップとを有することを特徴とする画像復号方法。請求項1から6のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。請求項7から12のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。上述した可変ブロックサイズによる画像信号の予測によって、被写体の形状に応じて単一の方法で予測画像を生成するブロックの大きさを変化させることでより精度の高い予測を実現し、画像信号とデプスとで構成される自由視点画像を高効率に圧縮符号化することができる。しかしながら、被写体の形状は様々であり、規則的な分割ルールに従ったブロック分割を行う従来方式では、被写体に応じた正確なブロック分割を行う場合には、細かいブロック分割が必要となってしまう。細かいブロック分割を用いることで、画像信号やデプスの予測精度を向上することが可能だが、ブロックの分割方法を示す情報やブロックごとの予測方法を示す情報の量が膨大になり、トータルとして符号化効率を悪化させてしまう。そのため、上述したH.264/AVCでは、4画素x4画素のブロックが最小ブロックサイズとされている。非特許文献3では、画像信号やデプスの予測値を決定するのに必要なブロック分割や動きベクトルなどの予測情報を、画像とデプスマップとで共有することで、符号化しなくてはならない予測情報の総量を減らし、効率的な符号化を実現しようとしている。この方法を用いることで、画像とデプスマップのそれぞれで予測信号を符号化する場合に比べて、符号量を削減することができている。しかしながら、規則的な分割ルールに従ったブロック分割を使うため、被写体に応じた正確なブロック分割を行うことは不可能であるか、可能であっても大量の符号量を必要とし、効率的な符号化を実現することができない。また、両方に適したブロック分割を求めるということは、それぞれに対して最適なブロック分割を足し合わせて作られるブロック分割を使用することになる。すなわち、単独で符号化する場合に比べて過度に分割したブロックを用いることになるため、画像とデプスマップとで予測方法も含めて完全に共有できない場合は、無駄な符号量が生じることになる。一方、非特許文献4では、画像に対する予測情報からデプスマップに対する予測情報を予測することで、画像とデプスマップ間の予測情報についての冗長性を取り除き、効率的な符号化を実現しようとしている。この方法では、画像とデプスマップとで異なるブロック分割を用いることができるようになるため、過度なブロック分割が生じてしまう懸念を回避している。しかしながら、この方式でも、規則的な分割ルールに従ったブロック分割を使うため、被写体に応じた正確なブロック分割を行うことは不可能であるか、可能であっても大量の符号量を必要とし、効率的な符号化を実現することができない。本発明は、このような事情に鑑みてなされたもので、画像とデプスマップとを構成要素に持つ自由視点画像データの符号化において、効率的な画像符号化を実現する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムを提供することを目的とする。本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割ステップと、前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成ステップと、前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成ステップと、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測方法設定ステップで設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップで設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化ステップとを有することを特徴とする。本発明は、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定ステップをさらに有し、前記予測方法設定ステップは、前記予測候補集合設定ステップで設定された候補集合の中から、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の前記画像を予測する方法を選択し、前記予測情報符号化ステップは、前記予測候補集合設定ステップで設定された候補集合を用いて、前記予測方法設定ステップで選択された予測方法を示す情報を符号化することを特徴とする。本発明は、前記予測候補集合設定ステップは、前記境界予測ユニットに対して、前記予測ユニットの境界線に沿って、隣接する既に符号化済みの画素から予測を行う方法を含む候補集合を生成することを特徴とする。本発明は、前記予測候補集合設定ステップは、前記境界予測ユニットに対して、隣接する前記被写体内予測ユニットの予測画像または復号画像を用いて予測を行う方法を含む候補集合を生成することを特徴とする。本発明は、前記予測情報符号化ステップは、前記予測候補集合設定ステップで設定された候補集合に2つ以上の予測方法の候補が存在する前記被写体内予測ユニットまたは前記境界予測ユニットに対してのみ、前記予測方法設定ステップで選択された予測方法を示す情報を符号化することを特徴とする。本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割ステップと、前記予測ユニットごとに、当該予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、前記予測ユニットごとに、当該予測ユニットに対して前記予測候補集合設定ステップで設定された候補集合の中から、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測候補集合設定ステップで設定された候補集合を用いて、前記予測方法設定ステップで設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップで設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化ステップとを有することを特徴とする。本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割ステップと、前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成ステップと、前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成ステップと、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測方法復号ステップで復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号ステップとを有することを特徴とする。本発明は、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定ステップをさらに有し、予測方法復号ステップは、前記予測候補集合設定ステップで設定された前記候補集合を用いて、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法を復号することを特徴とする。本発明は、前記予測候補集合設定ステップは、前記境界予測ユニットに対して、前記予測ユニットの境界線に沿って、隣接する既に復号済みの画素から予測を行う方法を含む候補集合を生成することを特徴とする。本発明は、前記予測候補集合設定ステップは、前記境界予測ユニットに対して、隣接する前記被写体内予測ユニットの予測画像または復号画像を用いて予測を行う方法を含む前記候補集合を生成することを特徴とする。本発明は、前記予測情報復号ステップは、前記予測候補集合設定ステップにおいて設定された前記候補集合に2つ以上の予測方法の候補が存在する前記被写体内予測ユニットまたは前記境界予測ユニットに対してのみ、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号し、前記予測画像生成ステップは、前記予測候補集合設定ステップにおいて設定された前記候補集合に2つ以上の予測方法の候補が存在する前記被写体内予測ユニットまたは前記境界予測ユニットに含まれる画素では、前記予測情報復号ステップで復号された予測方法に従って予測画像を生成し、前記予測候補集合設定ステップで設定された前記候補集合に1つの予測方法の候補のみ存在する前記被写体内予測ユニットまたは前記境界予測ユニットに含まれる画素では、前記候補集合に含まれる予測方法に従って予測画像を生成することを特徴とする。本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割ステップと、前記予測ユニットごとに、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、前記予測ユニットごとに、前記予測候補集合設定ステップで当該予測ユニットに対して設定された前記候補集合を用いて、前記符号データから、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測方法復号ステップで復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号ステップとを有することを特徴とする。本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割手段と、前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成手段と、前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成手段と、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、前記予測方法設定手段において設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化手段とを備えたことを特徴とする。本発明は、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定手段をさらに備え、前記予測方法設定手段は、前記予測候補集合設定手段において設定された候補集合の中から、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の前記画像を予測する方法を選択し、前記予測情報符号化手段は、前記予測候補集合設定手段において設定された候補集合を用いて、前記予測方法設定手段において選択された予測方法を示す情報を符号化することを特徴とする。本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割ステップと、前記予測ユニットごとに、当該予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、前記予測ユニットごとに、当該予測ユニットに対して前記予測候補集合設定ステップで設定された候補集合の中から、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測候補集合設定ステップで設定された候補集合を用いて、前記予測方法設定ステップで設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップで設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化ステップとを有することを特徴とする。本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号装置であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割手段と、前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成手段と、前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成手段と、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、前記予測方法復号手段において復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号手段とを有することを特徴とする。本発明は、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定手段をさらに有し、予測方法復号手段は、前記予測候補集合設定手段において設定された前記候補集合を用いて、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法を復号することを特徴とする。本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割ステップと、前記予測ユニットごとに、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、前記予測ユニットごとに、前記予測候補集合設定ステップで当該予測ユニットに対して設定された前記候補集合を用いて、前記符号データから、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測方法復号ステップで復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号ステップとを有することを特徴とする。本発明は、前記画像符号化方法をコンピュータに実行させるための画像符号化プログラムである。本発明は、前記画像復号方法をコンピュータに実行させるための画像復号プログラムである。本発明によれば、画像信号がその画像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合に、被写体依存のデータを用いて対応する領域の画像信号を符号化する際のブロック分割を決定することで、被写体に応じた任意形状のブロック分割を表現するための符号量を削減することが可能となる。更に、ブロックごとに異なる画像信号の予測方法の候補集合を準備することで、被写体に依存する相関を利用し、画像信号の予測精度の向上に伴う予測残差の符号量や、予測方法を示す情報の符号量を削減することが可能となる。これらの結果、効率的な画像符号化を実現することができるようになるという効果が得られる。以下、本発明の一実施形態を、図面を参照して説明する。第1実施形態:画像符号化装置まず、本発明の第1実施形態による画像符号化装置を説明する。図1は、本発明の第1実施形態による画像符号化装置の構成を示すブロック図である。図1に示すように、画像符号化装置100は、符号化対象画像入力部101、符号化対象画像メモリ102、デプスマップ入力部103、デプスマップメモリ104、被写体数決定部105、被写体マップ生成部106、拡張被写体マップ生成部107、予測画像生成部108、予測情報符号化部109、画像信号符号化部110、画像信号復号部111、復号画像メモリ112、および多重化部113を備えている。符号化対象画像入力部101は、符号化対象となる画像を入力する。以下は、この符号化対象となる画像のことを符号化対象画像と呼ぶ。符号化対象画像メモリ102は、入力された符号化対象画像を記憶する。デプスマップ入力部103は、符号化対象画像に対応するデプスマップを入力する。このデプスマップは符号化対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ104は、入力されたデプスマップを記憶する。被写体数設定部105は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部106は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。拡張被写体マップ生成部107は、画像信号の予測を行う単位領域予測ユニットを決定する。予測画像生成部108は、予測画像候補を生成する機能と、予測画像を評価する機能を有し、符号化対象画像を用いて、予測ユニットごとに画像信号の予測方法を決定し、予測画像を生成する。予測情報符号化部109は、予測画像生成部で決定した画像信号の予測方法を示す情報を符号化する。画像信号符号化部110は、生成された予測画像を用いて、符号化対象画像を予測符号化する。画像信号復号部111は、生成された予測画像を用いて、生成された符号データを復号して復号画像を生成する。復号画像メモリ112は、生成された復号画像を記憶する。多重化部113は、予測情報の符号データと、画像信号の符号データを多重化して出力する。次に、図2を参照して、図1に示す装置の動作を説明する。図2は、図1に示す画像符号化装置100の動作を示すフローチャートである。まず、符号化対象画像入力部101は符号化対象画像Orgを入力し、符号化対象画像メモリ102に記憶する。一方、デプスマップ入力部103は、符号化対象画像Orgに対応するデプスマップDを入力し、デプスマップメモリ104に記憶するステップS101。ここで入力するデプスマップは、既に符号化済みのデプスマップを復号したものなど、復号側で得られるデプスマップとする。これは、復号装置で得られる情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されてもよい。その他の復号側で得られるデプスマップの例としては、別の視点の符号化済みデプスマップを復号したものを用いて合成されたデプスマップや、別の視点の符号化済み画像群を復号したものからステレオマッチング等によって推定したデプスマップなどがある。なお、符号化対象画像の各画素に対するデプス情報が得られれば、デプスマップの解像度は符号化対象画像と異なっていても構わない。符号化対象画像とデプスマップとで解像度が異なる場合は、デプスマップに対してアップサンプリングやダウンサンプリングといった解像度変換処理を行うことで、符号化対象画像の各画素に対するデプス情報が得られるようにしても構わないし、符号化対象画像の各画素に対する対応関係を内部的に保持し、解像度変換処理を行わずに処理を行っても構わない。次に、符号化対象画像とデプスマップの入力が終了したら、符号化対象画像を予め定められた大きさの領域に分割し、分割した領域ごとに、符号化対象画像の画像信号を符号化するステップS102~S115。すなわち、符号化対象領域インデックスをblk、総符号化対象領域数をnumBlksで表すとすると、blkを0で初期化しステップS102、その後、blkに1を加算しながらステップS114、blkがnumBlksになるまでステップS115、以下の処理ステップS103~ステップS113を繰り返す。なお、一般的な符号化では16画素×16画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、復号側と同じであればその他の大きさのブロックに分割してもよい。符号化対象領域ごとに繰り返される処理において、まず、被写体数設定部105は、符号化対象領域blkに含まれる被写体の数被写体数numObjsを決定するステップS103。被写体数は復号側が同じ値を得られる処理であれば、どのような処理を用いて設定してもよい。例えば、常に予め定められた数を設定すればよい。また、符号化対象領域ごとに異なる値を被写体数として設定してもよい。符号化対象領域ごとに異なる値を設定する方法としては、符号化後の画質を決定するパラメータに基づいて設定する方法がある。H.264/AVCなどでは量子化パラメータQPと呼ばれるものが画質を決定するパラメータである。このパラメータに基づいて、高品質に符号化する量子化パラメータQPが小さい場合は大きな数の被写体数を設定し、低品質に符号化する量子化パラメータQPが大きい場合は小さな数の被写体数を設定する。さらに、画質を決定するパラメータのほかに、そのブロックにおけるデプスマップの値の分布も使用して決定してもよい。例えば、高品質に符号化する量子化パラメータQPが小さい場合でも、デプスマップの値の分布範囲が狭い場合は被写体数に小さな数を設定し、低品質に符号化する量子化パラメータQPが大きい場合でも、デプスマップの値の分布範囲が広い場合は被写体数に大きな数を設定してもよい。また、デプスマップの値が主に背景に分布している場合は被写体数を小さくし、前景に分布している場合は被写体数を大きくしてもよい。符号化対象領域ごとに異なる値を被写体数として設定する別の方法としては、符号化対象領域に対するデプスマップに従って被写体数を設定する方法がある。具体的には、符号化対象領域に対するデプスマップの各画素をk-means法やAffinityPropagationなどのクラスタリング手法を用いて、各クラスタ内のデプス値分散が予め定められた値以下になるクラスタリング結果のうち、最小のクラスタ数を被写体数にする方法がある。クラスタリングに用いる尺度としては、デプス値のみを用いてもよいし、デプス値と画素位置とからなる値を用いてもよい。なお、クラスタリング結果を評価する際に、各クラスタ内のデプス値の分散ではなく、各クラスタ内のデプスを定数または平面で近似した際の誤差量を用いる方法もある。このような評価をすることで、カメラの向きに対して鉛直に存在する被写体だけでなく、斜めになっている被写体を正しく識別することが可能になる。符号化対象領域ごとに異なる被写体数を推定して設定する場合、被写体数が大きくなると符号化効率が低下する場合があるため、被写体数の最大値を予め定めておき、被写体数が一定値以上になるのを防いでもよい。更に別の方法として、被写体数を導出する際に符号化対象画像等の復号側では得られない情報を用いて設定し、設定した被写体数を符号化して伝送してもよい。例えば、複数の被写体数の候補値に対して、発生符号量と符号化によって生じる歪み量の重み付き和で表されるレート歪みコストなどの符号化効率を評価する尺度を計算し、最も符号化効率が高いと判断された被写体数を選ぶ方法がある。この場合は、画像符号化装置は被写体数を符号化する被写体数符号化部を有し、被写体数を設定した後に被写体数を符号化するステップを有し、後述する多重化ステップステップS112では被写体数を示す符号データを一緒に多重化する。このとき、被写体数に対する符号語をコンパクトに設計するために、被写体数として取りえる数を制限してもよい。なお、被写体数を符号化する際には、デプスマップや隣接する符号化済みブロックの画像情報を用いて被写体数を予測して、予測誤差のみを符号化してもよい。被写体数を予測する方法としては、復号側で同じ処理を行うことが可能であれば、どのような処理を用いてもよい。例えば、前述のように符号化対象ブロックやその周辺のデプスマップに対してクラスタリングを適用することで得られる値を予測値とする方法や、それらデプスマップの値に加えて符号化対象ブロック周辺の既に符号化済みのブロックに対する復号画像信号を用いてクラスタリングを適用することで得られる値を予測値とする方法や、符号化対象ブロック周辺の既に符号化済みのブロックにおける被写体数や領域分割数に対して、平均値や中央値などの数値計算を適用することで得られる値を予測値とする方法がある。次に、被写体数の設定が終了したら、符号化対象領域blkに対して拡張被写体マップを生成するステップS104。ここで、被写体マップとは、ブロック内の各画素にどの被写体が存在しているかを示したものであり、符号化対象領域blkの各画素に対して、0からnumObjs-1までの値で表される被写体識別子番号を割り当てたものである。どのように表現をしてもよいが、最も単純な表現を用いる場合は、図3に示す2次元情報として表現できる。また、拡張被写体マップとは、被写体マップを拡張したものであり、被写体だけでなく、被写体の境界領域に別の被写体識別子を割り当てたものである。例えば、図3に対しては、図4が拡張被写体マップの一例となる。なお、図4の拡張被写体マップでは、被写体0と被写体1の境界部分と、被写体1と被写体2の境界部分とに対して、異なる被写体識別子を付与したが、同じ被写体識別子を割り当ててもよい。拡張被写体マップを直接生成してもよいが、被写体マップを生成した後に境界部分を見つけて拡張被写体マップを生成してもよい。ただし、図1で示した画像符号化装置100は、デプスマップから被写体マップ生成部106が被写体マップを生成した後に、この被写体マップから拡張被写体マップ生成部107が拡張被写体マップを生成する場合の構成図であり、デプスマップから拡張被写体マップを直接生成する場合は、被写体マップ生成部106は不要であり、デプスマップメモリ104と被写体数決定部105の出力が拡張被写体マップ生成部107に入力されることになる。なお、被写体マップを生成する方法や、そこから境界領域を見つける方法にも任意の手法を用いることができる。ただし、ここでの処理は復号側でも同じ処理が行える必要がある。例えば、被写体マップは、符号化対象領域に対するデプスマップの各画素をk-means法やAffinityPropagationなどのクラスタリング手法を用いて、numObjs個のクラスタに分類し、同じクラスタ内の画素が全て同じ被写体識別子を持ち、別のクラスタ内の画素とは必ず異なる被写体識別子を持つように、被写体識別子を割り振ることで生成される。クラスタリングに用いる尺度としては、デプス値のみを用いてもよいし、デプス値と画素位置とからなる値を用いてもよい。ただし、使用するクラスタリング手法や尺度は復号側と同じものを用いる必要がある。クラスタリングが終了し、各クラスタへの被写体識別子を割り振る際も、復号側と同じで、与えられたクラスタリング結果に対して単一の割り振りができるのであれば、どのような方法を用いてもよい。例えば、より上の行の画素を含むクラスタほど小さな値の被写体識別子を持ち、クラスタに含まれる画素の最も上の行が同じクラスタ間では、より左の列の画素を含むクラスタほど小さな値の被写体識別子を持つように、値を割り振ることで曖昧性のない被写体識別子の割り振りを行うことができる。なお、被写体数を決定する際にクラスタリングを行っている場合には、ここで再度クラスタリングを行わず、その結果を利用から被写体マップを生成することが可能である。被写体マップの境界領域を別の領域として設定する方法としては、被写体マップのエッジを抽出し、エッジから一定の距離の画素を境界領域として設定する方法がある。なお、基準となる距離は予め固定の値を割り当ててもよいし、ブロックごとに可変の値を設定してもよい。復号側で得られない値を用いる場合は、設定した値を符号化して伝送する。別の方法としては、各画素に対して自身と近傍画素を調べ、その状態に応じて境界領域の情報を設定する方法もある。図4の拡張被写体マップは、図3の被写体マップに対して、隣接4近傍と自身からなる5画素の集合において、単一の被写体識別子しかない場合は、その被写体識別子を割り当て、0と1が存在する場合には3を、0と2が存在する場合には4を、1と2が存在する場合には5を、0と1と2が存在する場合には6を割り当てて生成したものである。なお、調べる近傍画素の数等は固定のものを用いてもよいし、可変のものを用いてもよい。可変にする場合で、復号側でそのパラメータを別の情報から導出できない場合は、パラメータを符号化して伝送する。なお、被写体マップを符号化対象領域blkだけでなく、その周辺も含めて作成し、そこから符号化対象領域blkの拡張被写体マップを作成してもよい。この場合、符号化処理領域の境界部分が被写体境界と一致している場合でも、境界領域を設定可能である。ただし、その場合は被写体数も被写体マップを作成する範囲と同じ範囲で作成する必要がある。また、被写体数が1の場合は境界領域が存在しないため、被写体マップを拡張被写体マップとして生成することになる。また、本実施形態では、この後の処理で拡張被写体マップにおける被写体識別子の値が小さい順に予測処理を行うものとしている。そのため、拡張被写体マップを生成した後に、予め定められた規則に従って、被写体識別子の値を予測順に変更してもよい。ただし、同様の順序付けが復号側でも行える必要がある。拡張被写体マップが得られたら、その結果から予測ユニット数numPUsを計算する。予測ユニット数とは、単一の予測方法で画像信号を予測する画素集合予測ユニットの数であり、被写体マップと拡張被写体マップが同じ場合は、予測ユニット数は被写体数と等しい。予測ユニット数が得られたら、予測ユニットごとに画像信号の予測を行うステップS105~S110。すなわち、予測ユニットのインデックスをpuで表すとすると、puを0で初期化しステップS106、その後、puに1を加算しながらステップS109、puがnumPUsになるまでステップS110、予測ユニットpuすなわち、拡張被写体マップ上の対応する位置の被写体識別子がpuである画素群に対する符号化対象画像の画像信号の予測画像を生成する方法を決定して予測画像を生成する処理ステップS107と、予測画像を生成する方法を示すための情報を符号化する処理ステップS108とを交互に繰り返す。予測画像生成法の決定と予測画像の生成は、予測画像生成部108が行う。予測画像を生成する方法を決定する方法には、どのようなものを用いてもよい。ただし、符号化効率を最大化する場合は、各予測画像生成法による画像信号の予測効率を評価し、その予測効率が最大になるものを探し出したほうがよい。すなわち、ある予測画像生成法mでの予測効率の評価値をEmとするとき、次の式で与えられるMblk,puを、予測ユニットpuに対する符号化対象画像の予測画像を生成する方法に決定する。なお、Emの値は大きいほど予測効率が高いことを示しており、argmaxは与えられた関数を最大化するパラメータを求める処理を示す。導出するパラメータはargmaxの下部で与えられる。Modeは使用可能な予測方法の集合であり、復号側で同じ方法が使用可能であれば、どのような方法が含まれていてもよいし、その集合の大きさがいくつであってもよい。例えば、H.264/AVCのイントラ予測のように、8つ異なる予測方向に従ったイントラ予測、隣接画素の復号画像の平均値で予測画像を生成するDC予測、グラデーションを想定して隣接画素を線形補間することで予測画像を生成するPlane予測からなる集合を用いてもよい。また、文献:KMcCannWJHanandIKimSamsungsResponsetotheCallforProposalsonVideoCompressionTechnologyInputdocumenttoJointCollaborativeTeamonVideoCodingofITUTSG16WP3andISOIECJTC1SC29WG11JCTVCA124April2010のようにさらに多数の予測方向を集合に加えてもよい。また、文献:KUgurKRAnderssonandAFuldsethDescriptionofvideocodingtechnologyproposalbyTandbergNokiaEricssonInputdocumenttoJointCollaborativeTeamonVideoCodingofITUTSG16WP3andISOIECJTC1SC29WG11JCTVCA119April2010のように先に一部分を符号化し、その情報を用いて双方向予測を行う方法を集合に加えてもよい。更に、画面内予測方法だけでなく、時間的に連続する複数枚の画像動画像や異なる位置に置いたカメラで同一シーンを撮影した複数枚の画像多視点画像やその動画像多視点動画像を符号化する場合は、符号化済みの画像から予測画像を生成する画面間予測方法を使用してもよい。画面間予測では、参照する画像を示す情報と、その参照する画像上の領域を指定するベクトル情報との組で1つの予測画像生成法となる。予測効率の評価値Emとしては、任意のものを使用することが可能であるが、たとえば、次の式で表される符号化対象画像と予測画像とのSAD差分絶対値和やSSD差分二乗和を用いてもよい。Em=-Σp|Org[p]-Predm[p]|2Em=-ΣpOrg[p]-Predm[p]23ここで、Predmは予測画像生成法mに従って生成された予測画像を示す。Σpは領域blkの内部で被写体マップによって示される被写体識別子がobjである画素全てについての和を表している。これら以外に符号化対象画像と予測画像の差分値をDCTやアダマール変換などを用いて変換した値を用いた方法がある。その変換を行列Aで表すと、4式で表すことができる。なお、∥X∥はXのノルムを表す。Em=-∥AOrg[blk]-Predm[blk]∥4ただし、この場合変換に用いる全ての画素上記の式の場合は領域blk全体についての予測画像が必要となるため、全ての被写体識別子に対して予測画像生成方法を仮定して評価する必要がある。また、上記のように符号化対象画像と予測画像との乖離度のみを評価する方法ではなく、発生する符号量と歪み量を鑑みたRDコストを用いてもよい。ここで用いるRDコストは、Predmを予測画像として、Orgを符号化した際の符号量Rmと歪み量Dmとを用いて、次の式で表すことができる。なお、λはラグランジュの未定乗数であり、予め定められた値を用いる。Em=-Dm-λRm5予測画像の生成法を示す情報の符号化は予測情報符号化部109が行う。符号化する方法には、どのような方法を使用してもよい。ただし、正しく復号するためには、復号側で行う処理に対応させる必要がある。例えば、Mblk,puを予め定められたテーブルを用いて符号化してもよいし、Mblk,puを予め定められたテーブルを用いて2値化した後に、周辺の符号化結果を考慮した2値算術符号化によって符号化してもよい。なお、本実施形態1では被写体識別子puごとに符号化しているが、符号化対象領域blkごとにまとめて符号化してもよいし、画像全体でまとめて符号化してもよい。その場合、Mblk,puを記憶しておくことで、予測情報の符号化処理を符号化対象領域blkごとの1度だけ行われる処理や、画像全体で1度だけ行われる処理とすることができる。次に、符号化対象領域blkに対する予測画像の生成が終わったら、画像信号符号化部110は、得られた予測画像を用いて符号化対象画像Orgの符号化対象領域blkにおける画像信号を符号化するステップS111。符号化にはどのような方法を用いてもよい。MPEG-2やH.264/AVCなどの一般的な符号化では、ブロックblkの画像信号と予測画像との差分信号Org[blk]-Pred[blk]に対して、DCTなどの周波数変換、量子化、2値化、エントロピー符号化を順に施すことで符号化を行う。次に、画像信号復号部111は、符号化結果として得られた符号データと予測画像とを用いて、ブロックblkに対する画像信号を復号し、復号結果であるところの復号画像Dec[blk]を復号画像メモリ112に記憶するステップS112。ここでは、符号化時に用いた手法に対応する手法を用いる。例えば、MPEG-2やH.264/AVCなどの一般的な符号化であれば、符号データに対して、エントロピー復号、逆2値化、逆量子化、IDCTなどの周波数逆変換を順に施し、得られた2次元信号に対して予測信号を加え、最後に画素値の値域でクリッピングを行うことで画像信号を復号する。なお、符号化側での処理がロスレスになる直前のデータと予測画像を受け取り、簡略化した復号処理によって復号処理を行っても構わない。つまり、前述の例であれば符号化時に量子化処理を加えた後の値と予測画像を受け取り、その量子化後の値に逆量子化、周波数逆変換を順に施して得られた2次元信号に対して予測画像を加え、画素値の値域でクリッピングを行うことで映像信号を復号しても構わない。復号して得られた画像信号は、他のブロックを符号化する際の予測画像を生成するために用いられる。次に、多重化部113は、予測画像生成法を示す情報の符号データと、画像信号の符号データとを多重化して出力するステップS113。なお、ここではブロックごとに多重化しているが、フレーム単位で多重化してもよい。ただし、その場合には、復号時に1フレーム分の符号データをバッファリングしてから復号する必要が生じる。また、復号画像を生成した後に多重化しているが、画像信号の符号化が終了した直後に多重化してもよい。第2実施形態:画像符号化装置次に、本発明の第2実施形態による画像符号化装置を説明する。図5は、本発明の第2実施形態による画像符号化装置の構成を示すブロック図である。図5に示すように、画像符号化装置200は、符号化対象画像入力部201、符号化対象画像メモリ202、デプスマップ入力部203、デプスマップメモリ204、被写体数決定部205、被写体マップ生成部206、拡張被写体マップ生成部207、予測方法集合生成部208、予測画像生成部209、予測情報符号化部210、画像信号符号化部211、画像信号復号部212、復号画像メモリ213、および多重化部214を備えている。符号化対象画像入力部201は、符号化対象画像を入力する。符号化対象画像メモリ202は、入力された符号化対象画像を記憶する。デプスマップ入力部203は、符号化対象画像に対応するデプスマップを入力する。このデプスマップは符号化対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ204は、入力されたデプスマップを記憶する。被写体数設定部205は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部206は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。拡張被写体マップ生成部207は、画像信号の予測を行う単位領域予測ユニットを決定する。予測方法集合生成部208は、予測ユニットごとに使用可能な予測画像の生成方法の集合を設定する。予測画像生成部209は、予測画像候補生成機能、予測画像評価機能を有し、符号化対象画像を用いて、予測ユニットごとに画像信号の予測方法を決定し、予測画像を生成する。予測情報符号化部210は、予測画像生成部で決定した画像信号の予測方法を示す情報を符号化する。画像信号符号化部211は、生成された予測画像を用いて、符号化対象画像を予測符号化する。画像信号復号部212は、生成された予測画像を用いて、生成された符号データを復号して復号画像を生成する。復号画像メモリ213は、生成された復号画像を記憶する。多重化部214は、予測情報の符号データと、画像信号の符号データを多重化して出力する。次に、図6を参照して、図5に示す画像符号化装置200の動作を説明する。図6は、図5に示す画像符号化装置200の動作を示すフローチャートである。図6示す動作が図2に示す動作と異なる点は、予測ユニットpuごとの処理だけであり、その他の処理は全て同じである。すなわち、図6に示すステップS201~S206、および、ステップS210~S216は、図2に示すステップS101~S106、および、ステップS109~S115とそれぞれ同じである。以下、予測ユニットpuごとに行われる処理のみを説明する。予測ユニットpuごとに行われる処理では、まず予測ユニットpuに対して、予測方法集合生成部208は、画像信号の予測方法の候補集合を設定するステップS207。どのような方法を用いて候補集合を設定してもよいが、復号側でも同じ処理が行える必要がある。すなわち、ここでは拡張被写体マップやデプスマップと既に符号化済み領域の復号画像とが使用できる情報となる。この処理で被写体によって異なる相関や性質を反映させた候補集合を設定することで、予測精度を向上させることが可能となる。また相関や性質を鑑みて候補の絞込みが可能であれば、予測方法を示すための情報を少ない符号量で符号化できるようになる。例えば、符号化対象領域blk内の位置によって予測方法の候補を制限する方法がある。具体的には、符号化対象領域の最左列に接していない予測ユニットでは、水平方向のイントラ予測は被写体間の予測になるため効率的ではないと考えられるため、予測方法の候補には含めないことにしたり、符号化対象領域の最上行に接していない予測ユニットでは、鉛直方向のイントラ予測を予測方法の候補から外したりしてもよい。別の方法としては、デプスマップから既に符号化済み領域との被写体の連続性を求め、連続性が認められる向きのイントラ予測の方向を細かく選択可能にする候補を用意してもよい。更に別の方法としては、被写体識別子がnumObjs未満の予測ユニット以下、被写体内予測ユニットと称するは被写体の内部になるが、被写体識別子がnumObjs以上の予測ユニット以下、境界予測ユニットと称するは複数の被写体の境界領域になるため、境界予測ユニットに対してのみ、その予測ユニットに接する被写体内予測ユニットの画素値に対して、距離に応じた重み付け平均を求めることによって、予測値を生成する方法を使用可能にしてもよい。通常、境界部分にある画素では複数の被写体からの光線が混ざったものがサンプリングされているため、このような予測方法を使用可能にすることで予測精度を向上することができる。また、このような特定の条件を満たす予測ユニットに特化した予測方法を追加しても、常に予測方法の候補に入れるわけではないので、被写体の内部など、この予測方法が有効でない予測ユニットでは、予測方法を示す情報モード情報の符号化に必要な符号量の増加を防ぐことができる。なお、このような予測方法を可能とするためには、被写体内予測ユニットを先に予測符号化し、その復号画像を利用して境界予測ユニットを予測するように、処理の順序を変更しなくてはならない。ただし、予測残差の符号化が予め定められた単位以下、変換ユニットと称するごとに行われ、その単位に被写体内予測ユニットと境界予測ユニットが混在する場合は、境界予測ユニットの予測画像を生成する前に被写体内予測ユニットの符号化処理を終了できない。そのため、境界予測ユニットに対する予測として被写体内予測ユニットの画素から重み付け平均を取る際に、同じ変換ユニット内の画素は使用しないことにしたり、復号画像を使う代わりに予測画像や被写体ごとの予測画像の平均値を使ったりする必要がある。また、繰り返し処理によって実現する方法もある。繰り返し処理では、まず、被写体内予測ユニットについて予測画像を生成するステップS1。次に、境界予測ユニットについて予め定められた方法で暫定的な予測画像を生成するステップS2。例えば、画素値の値域の中間値灰色や、隣接する被写体内予測ユニットの平均値、隣接する被写体内予測ユニットの予測画像を復号画像とみなして生成した予測画像などを用いてもよい。次に、得られた予測画像に従って変換ユニットに対する予測残差を生成するステップS3。次に、予測残差の符号化および復号を行い予測残差の符号データおよび復号予測残差を得るステップS4。次に、復号予測残差と予測画像とを用いて被写体内予測ユニットに対する復号画像を生成するステップS5。次に、ステップS5で得られた被写体内予測ユニットに対する復号画像を用いて、再度、境界予測ユニットについて予測画像を生成するステップS6。そして、予め定められた条件に従って、ステップS3~ステップS6を繰り返す。繰り返しが終了したら、最後に行ったステップS6で得られた予測画像と、ステップS4で得られた復号予測残差とを用いて、境界予測ユニットに対する復号画像を生成するステップS7。なお、予め定められた繰り返し条件としては、繰り返し回数や、符号化効率の改善度、繰り返し回数と符号化効率の改善度との複合条件などを用いてもよい。繰り返し回数が多い場合は、符号化にかかる演算コストが増加するが、被写体内予測ユニットの情報をより多く利用して境界予測ユニットを予測することが可能となるため、効率のよい符号化を実現することができる。なお、上記ステップS1~ステップS7は図6に示すステップS206~ステップS213を置き換える形で実行されることになる。更に別の特殊な予測画像の生成方法として、予測ユニットの形に沿って隣接する復号画像の画素値をコピーして予測画像を生成する方法を、境界予測ユニットに対してのみ使用可能にしてもよい。境界予測ユニットは、被写体間の画素となるため、一般に細長く曲がった形状の領域となる。従って、H.264/AVC等の従来の画面内予測のように、一つの向きに従って予測を行った場合、別の被写体等から予測を行うことになってしまい、予測精度が悪い。そこで、境界予測ユニットについては、その形状に沿って予測を行うことで、常に同じ境界領域からの予測値の生成が可能になる。例えば、図7のような拡張被写体マップ灰色の画素は符号化済み画素、2および2’が境界予測ユニットの場合、各行の境界予測ユニットに対して、2,2’の画素の予測値として、隣接するb,cの画素の画素値を用いてもよいし、境界予測ユニットの端での向きから、c,dの画素の画素値を用いてもよいし、別途向きの情報を符号化するとして、その向きに従ってa~dの画素の画素値の線形結合を用いてもよい。また,向きの情報を符号化せずに、隣接する符号化済み領域に対して拡張被写体マップを生成し、その情報を元に向きを決定してもよい。なお、境界予測ユニットにおける2と2’はどちらも0と1の境界に属する画素であるが、被写体マップ上で0だった画素を2とし、被写体マップ上で1だった画素を2’としている。別の例としては、図8の拡張被写体マップのように、2箇所で符号化済み領域と接点を持っている場合は、向きの情報を指定してもよいし、2の画素についてはeとgの画素の画素値の線形結合で、2’の画素についてはfとhの画素の画素値の線形結合で予測値を生成してもよい。線形結合の重みについては全画素で固定のもの例えば、どちらも1/2を用いてもよいし、それぞれの符号化済み画素からの距離に基づいたものを用いてもよい。なお、距離としては画素間の距離を用いてもよいし、境界予測ユニット内を通ってeとg、及び、fとhを結ぶ経路上の距離を用いてもよい。予測ユニットpuに対して、予測方法の候補集合が生成できたら、予測画像生成部209で、その候補集合の中から、予測ユニットpuに属する画素を予測する予測方法を1つ選択し、予測画像を生成するステップS208。ここでの処理は、予測方法の候補集合が別途与えられるだけで、図2に示すステップS107と同じである。すなわち、符号化効率を最大化する場合は、前述の数式1において、Modeとして、ステップS207で生成された予測方法の候補集合を使用して、1つの予測方法を決定し、予測画像を生成する。予測方法が決定し、予測画像の生成ができたら、予測情報符号化部210は、選択された予測方法を示すための情報を符号化するステップS209。この際、ステップS207で生成された予測方法の候補集合の情報を利用して設計した符号語を使用してもよい。例えば、予測方法の候補集合が2つの予測方法しか含まない場合は、1ビットの信号を符号化し、予測方法の候補集合が4つの予測方法を含む場合は、2ビットの信号を符号化し、予測方法の候補集合がH.264/AVCと同じ予測方法を全て含む場合は、H.264/AVCと同様の方法で符号化するようにしてもよい。特に境界予測ユニットにおいて、1種類の予測方法しか設定しない場合は、境界予測ユニットにおいては予測方法を符号化する必要がない空ビットを符号化する。これによって、予測方法を示す情報を符号化するのに必要な符号量を減らすことが可能となる。第3実施形態:画像復号装置次に、本発明の第3実施形態による画像復号装置を説明する。図9は、本発明の第3実施形態による画像復号装置の構成を示すブロック図である。図9に示すように、画像復号装置300は、符号データ入力部301、符号データメモリ302、デプスマップ入力部303、デプスマップメモリ304、被写体数決定部305、被写体マップ生成部306、拡張被写体マップ生成部307、分離部308、予測情報復号部309、予測画像生成部310、画像信号復号部311、および復号画像メモリ312を備えている。符号データ入力部301は、復号対象となる画像の符号データを入力する。以下では、この復号対象となる画像のことを復号対象画像と呼ぶ。符号データメモリ302は、入力された符号データを記憶する。デプスマップ入力部303は、復号対象画像に対応するデプスマップを入力する。このデプスマップは復号対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ304は、入力されたデプスマップを記憶する。被写体数設定部305は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部306は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。拡張被写体マップ生成部307は、画像信号の予測を行う単位領域予測ユニットを決定する。分離部308は、入力された符号データでは多重化されている予測情報の符号データと画像信号の符号データとを分離する。予測情報復号部309は、画像信号の予測方法を示す情報を符号データから復号する。予測画像生成部310は、与えられた予測情報に従って、処理領域内の予測ユニットごとに予測画像を生成する。画像信号復号部311は、生成された予測画像を用いて、符号データを復号して復号画像を生成する。復号画像メモリ312は、生成された復号画像を記憶する。次に、図10を参照して、図9に示す画像復号装置300の動作を説明する。図10は、図9に示す画像復号装置300の動作を示すフローチャートである。まず、符号データ入力部301は復号対象画像の符号データを入力し、符号データメモリ302に記憶する。一方、デプスマップ入力部303は、復号対象画像に対するデプスマップを入力し、デプスマップメモリ304に記憶するステップS301。ここで入力されるデプスマップは、符号化時に使用したデプスマップと同じものである。これは符号化装置で使用した情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化に使用されたものとは異なるものが入力されてもよい。入力されるデプスマップとしては、例えば、別途復号されたデプスマップや、別の視点に対して復号されたデプスマップを用いて合成されたデプスマップや、別の視点に対して復号された画像群からステレオマッチング等によって推定したデプスマップなどがある。次に、符号データとデプスマップの格納が終了したら、復号対象画像を予め定められた大きさの領域に分割し、分割した領域ごとに、復号対象画像の画像信号を符号データから復号するステップS302~S314。すなわち、復号対象領域インデックスをblk、総復号対象領域数をnumBlksで表すとすると、blkを0で初期化しステップS302、その後、blkに1を加算しながらステップS313、blkがnumBlksになるまでステップS314、以下の処理ステップS303~ステップS312を繰り返す。なお、一般的な符号化方式が用いられている場合の復号処理では16画素×16画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、符号化側と同じであればその他の大きさのブロックに分割してもよい。復号対象領域ごとに繰り返される処理では、まず、分離部308は符号データから、ブロックblkの予測情報の符号データと画像信号の符号データとを分離するステップS303。なお、ここではブロックごとに分離しているが、フレーム単位など他の単位で分離してもよい。ただしフレーム単位で分離する場合は、入力された符号データではなく、分離された符号データを記憶する必要が生じる。また、ブロックごとの処理の最初に行っているが、被写体ごとに予測画像を生成する前であれば、いつ分離してもよい。次に、被写体数設定部305は、復号対象領域blkに含まれる被写体の数被写体数numObjsを決定するステップS304。被写体数は符号化側と同じ処理であれば、どのような処理を用いて設定してもよい。すなわち、ここでの処理は図2に示すステップS103と同じである。なお、被写体数が符号化されて符号データに含まれている場合は、符号データを分離する際に、被写体数に対する符号データも分離し、その符号データを復号することで被写体数を設定する。また、隣接する復号済みブロックの情報を用いて被写体数が予測符号化されている場合は、予め定められた符号化側と同じ処理によって被写体数の予測値を生成し、その予測値を用いて符号データから被写体数を復号する。ただし、被写体数を予測する方法は、符号化側で行われた処理と同じである必要がある。次に、被写体数の設定が終了したら、復号対象領域blkに対して拡張被写体マップを生成するステップS305。ここで、被写体マップとは、ブロック内の各画素にどの被写体が存在しているかを示したものであり、復号対象領域blkの各画素に対して、0からnumObjs-1までの値で表される被写体識別子番号を割り当てたものである。どのように表現をしてもよいが、最も単純な表現を用いる場合は、図3に示す2次元情報として表現できる。また、拡張被写体マップとは、被写体マップを拡張したものであり、被写体だけでなく、被写体の境界領域に別の被写体識別子を割り当てたものである。例えば、図3に対しては、図4が拡張被写体マップの一例となる。なお、図4の拡張被写体マップでは、被写体0と被写体1の境界部分と、被写体1と被写体2の境界部分とに対して、異なる被写体識別子を付与したが、同じ被写体識別子を割り当ててもよい。ここでの処理は図2に示すステップS104と同じであり、拡張被写体マップはデプスマップから直接生成してもよいが、デプスマップから被写体マップを生成した後に境界部分を見つけて拡張被写体マップを生成してもよい。また、被写体マップを生成する方法や、そこから境界領域を見つける方法にも任意の手法を用いることができる。ただし、符号化側と同じ拡張被写体マップが得られる必要がある.符号化側と同じ拡張被写体マップを得るもっとも簡単な方法は、符号化側で用いた処理と同じ処理を用いることである。なお、図9で示した画像復号装置300は、デプスマップから被写体マップ生成部306が被写体マップを生成した後に、被写体マップから拡張被写体マップ生成部307が拡張被写体マップを生成する場合の構成図であり、デプスマップから拡張被写体マップを直接生成する場合は、被写体マップ生成部306は不要であり、デプスマップメモリ304と被写体数決定部305の出力が拡張被写体マップ生成部307に入力されることになる。また、本実施形態では、この後の処理で拡張被写体マップにおける被写体識別子の値が小さい順に予測処理を行うものとしている。そのため、拡張被写体マップを生成した後に、予め定められた規則に従って、被写体識別子の値を予測順に変更してもよい。ただし、ここでの順序付けの有無や方法は符号化側と同じである必要がある。次に、拡張被写体マップが得られたら、その結果から予測ユニット数numPUsを計算するステップS306。予測ユニット数とは、単一の予測方法で画像信号を予測する画素集合予測ユニットの数であり、被写体マップと拡張被写体マップが同じ場合は、予測ユニット数は被写体数と等しい。ここでの処理は図2に示すステップS105と同じである。次に、予測ユニット数が得られたら、予測ユニットごとに、復号対象画像の画像信号の予測を行うステップS307~S311。すなわち、予測ユニットのインデックスをpuで表すとすると、puを0で初期化しステップS307、その後、puに1を加算しながらステップS310、puがnumPUsになるまでステップS311、予測ユニットpuすなわち、拡張被写体マップ上の対応する位置の被写体識別子がpuである画素群の予測画像を生成する方法を示す情報を、予測情報復号部309が、予測情報の符号データから復号する処理ステップS308と、復号して得られた予測情報に従って、予測画像生成部310が、予測ユニットpuに対する予測画像を生成する処理ステップS309とを交互に繰り返す。なお、予測情報を復号する処理は符号化時に用いた方式に対応する方式を用いる。また、予測画像を生成する方法にはどのようなものを用いてもよいが、復号した予測情報によって符号化時に生成した予測情報と同じものが生成できる必要がある。更に、本実施形態では、予測ユニットpuごとに予測情報を復号しているが、復号対象領域blkごとにまとめて復号してもよいし、画像全体でまとめて復号してもよい。その場合、復号した予測情報を記憶しておき、予測情報の復号処理を、復号対象領域blkごとに1度だけ行われる処理や、画像全体で1度だけ行われる処理とすることができる。次に、復号対象領域blkに対する予測画像の生成が終わったら、画像信号復号部311は、生成した予測画像を用いて復号対象領域blkにおける復号対象画像の画像信号を復号するステップS312。復号にはどのような方法を用いてもよいが、符号化時に用いた方法に対応する方法を用いる必要がある。MPEG-2やH.264/AVCなどの一般的な符号化が使用されている場合は、符号データに対して、エントロピー復号、逆2値化、逆量子化、IDCTなどの周波数逆変換を順に施し、得られた2次元信号に対して予測信号予測画像を加え、最後に画素値の値域でクリッピングを行うことで画像信号を復号する。復号して得られた画像信号は、画像復号装置300の出力となると共に、他のブロックを符号化する際の予測画像を生成するために復号画像メモリ312に記憶する。なお、復号画像をフレーム単位で出力する必要がある場合は、画像信号復号部311からは直接出力せずに、1フレーム分の処理が終わったところで、復号画像メモリ312から出力する。第4実施形態:画像復号装置次に、本発明の第4実施形態による画像復号装置を説明する。図11は、本発明の第4実施形態による画像復号装置の構成を示すブロック図である。図11に示すように、画像復号装置400は、符号データ入力部401、符号データメモリ402、デプスマップ入力部403、デプスマップメモリ404、被写体数決定部405、被写体マップ生成部406、拡張被写体マップ生成部407、分離部408、予測方法集合生成部409、予測情報復号部410、予測画像生成部411、画像信号復号部412、および復号画像メモリ413を備えている。符号データ入力部401は、復号対象となる画像の符号データを入力する。符号データメモリ402は、入力された符号データを記憶する。デプスマップ入力部403は、復号対象画像に対応するデプスマップを入力する。このデプスマップは復号対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ404は、入力されたデプスマップを記憶する。被写体数設定部405は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部406は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。拡張被写体マップ生成部407は、画像信号の予測を行う単位領域予測ユニットを決定する。分離部408は、入力された符号データでは多重化されている予測情報の符号データと画像信号の符号データとを分離する。予測方法集合生成部409は、予測ユニットごとに使用される可能性のある予測画像の生成方法の集合を設定する。予測情報復号部410は、画像信号の予測方法を示す情報を符号データから復号する。予測画像生成部411は、与えられた予測情報に従って、処理領域内の予測ユニットごとに予測画像を生成する。画像信号復号部412は、生成された予測画像を用いて、符号データを復号して復号画像を生成する。復号画像メモリ413は、生成された復号画像を記憶する。次に、図12を参照して、図11に示す画像復号装置400の動作を説明する。図12は、第4実施形態による画像復号装置400の動作を示すフローチャートである。図12に示す動作が、図10に示す動作と異なる点は、予測ユニットpuごとの処理だけであり、その他の処理は全て同じである。すなわち、図12に示すステップS401~S407、および、ステップS411~S415は、図10に示すステップS301~S307、および、ステップS310~S314とそれぞれ同じである。以下、予測ユニットpuごとに行われる処理のみを説明する。予測ユニットpuごとに行われる処理では、まず予測ユニットpuに対して、予測方法集合生成部409は、画像信号の予測方法の候補集合を設定するステップS408。どのような方法を用いて候補集合を設定してもよいが、符号化側と同じ処理で設定する必要がある。なお、ここで使用可能な情報は、拡張被写体マップやデプスマップと既に符号化済み領域の復号画像である。また、ここでの処理は第2実施形態の予測方法集合生成部208で行われるステップS207と同じである。次に、予測ユニットpuに対して、予測方法の候補集合が生成できたら、予測情報復号部410は、予測情報の符号データから、予測ユニットpuに対する予測画像を生成する方法を示す情報を復号するステップS409。ここでの処理は符号化側の処理と対応した方式を用いる。すなわち、ここでの復号処理は図10に示すステップS308と異なり、ステップS408で生成された予測方法の候補集合の情報を利用して復号する。具体的には、予測方法の候補集合によって使用される符号語が異なっていたり、復号ビットの生起確率が異なっていたりする。例えば、予測方法の候補集合が2つの予測方法しか含まない場合は1ビットの信号を復号し、予測方法の候補集合が4つの予測方法しか含まない場合は2ビットの信号を復号することにしてもよい。特殊な例としては、境界予測ユニットにおいて、1種類の予測方法しか設定しない場合は、境界予測ユニットにおいてはビット列を復号して予測方法を得る必要はなく、唯一の方法を復号結果として予測情報復号部410の出力とする。次に、予測画像を生成する方法が分かったら、その方法に従って、予測画像生成部411は予測ユニットpuに対する予測画像を生成するステップS410。第2実施形態では、境界予測ユニットを予測する際に、隣接する被写体内予測ユニットの復号画像を使用する方法の例を説明した。そこでは、繰り返し処理を行う方法を説明したが、その場合であっても復号側は繰り返し処理を必要としない。ただし、その場合は、境界予測ユニットの予測画像を生成する前に、被写体内予測ユニットの予測画像を生成し、変換ユニットに対する予測残差の復号を行い、その結果から被写体内予測ユニットの復号画像を生成する処理を行う必要がある。復号対象ブロックごとの具体的な処理順の例としては、まず全変換ユニットの予測残差を画像信号の符号データから復号する。次に、被写体数の決定、拡張被写体マップの生成、予測ユニット数の計算を行う。そして、全ての被写体内予測ユニットの予測画像を生成し、対応する予測残差の復号値を使って、被写体内予測ユニットの復号画像を生成する。その後、境界予測ユニットの予測画像を生成し、対応する予測残差の復号値を使って、境界予測ユニットの復号画像を生成する。第1実施形態~第4実施形態では、デプスマップの各画素の値をそのまま用いて被写体マップを生成するため、デプスマップの取得誤差や符号化ノイズの影響を受けて、非常に小さな孤立した領域が1つの被写体と決定されることがある。また、ブロック端にほんの少しだけ被写体が残っている場合なども、同様に非常に小さな領域に対して1つの被写体識別子が対応付けられることになる。この場合、拡張被写体マップにおいて予測ユニットの数が多くなってしまい、多くの予測情報を符号化しなくてはならなくなるため、符号化効率が低下してしまうことがある。そこで生成された被写体マップにおいて、微小な被写体画素集合を隣接する被写体と統合してもよい。また、拡張被写体マップにおいて微小な予測ユニットを隣接する予測ユニットと統合してもよい。被写体マップ拡張被写体マップを修正する場合は、一度、被写体マップ拡張被写体マップを生成した後に、予め定めた規則にしたがって微小な被写体予測ユニットがなくなるように被写体マップ拡張被写体マップを修正する。なお、被写体マップ拡張被写体マップを修正した場合は、それに伴って被写体数numObjs予測ユニット数numPUsも更新される。修正処理は符号化側と復号側との処理が一致していればどのような処理を用いてもよい。例えば、被写体マップ拡張被写体マップのある被写体に含まれる数ある予測ユニットに含まれる画素の数が予め定められた閾値以下の場合に、その被写体予測ユニットを隣接する被写体予測ユニットに統合する方法がある。複数の被写体予測ユニットと隣接している場合は、予め定めた規則に従って統合を行う。どのような規則を用いてもよいが、例えば、微小な被写体予測ユニットに接する画素の多い被写体予測ユニットと統合する、被写体予測ユニット内の画素に対する平均デプス値が近い被写体予測ユニットと統合する、被写体予測ユニット内の画素に対する平均デプス値が小さい/大きい被写体予測ユニットと統合するなどの統合規則がある。なお、複数の統合規則の組み合わせを用いてもよい。統合対象を判定する閾値や、統合規則の選択をシーケンス、フレーム、スライス、ブロックなどの単位で指定してもよい。その場合、画像符号化においては、それらを指定する情報を、シーケンスヘッダ、フレームヘッダ、スライスヘッダ、ブロックヘッダなどの適切な位置で必要に応じて符号化する必要があり、画像復号においては、それらを指定する情報を適切な位置で必要に応じて復号して切り替える必要がある。また、既に符号化済み/復号済みの隣接ブロック内の被写体予測ユニットとの統合を許可してもよい。その場合、既に符号化済み/復号済みの隣接ブロック内の被写体予測ユニットと統合された被写体予測ユニットに対しては、予測画像の生成方法の決定予測画像の生成方法の候補集合の作成予測画像の生成方法の符号化予測画像の生成方法の復号の4つの処理をスキップし、統合先で使用された予測画像の生成方法を用いて予測画像を生成する。なお、この場合は符号化/復号された予測情報を記憶しておく必要がある。小さな領域が1つの被写体予測ユニットとして生成されるのを防ぐために、被写体マップ拡張被写体マップを生成する前に、入力されたデプスマップにフィルタをかけてもよい。その場合、デプスマップを入力した後に、デプスマップにフィルタをかけるステップが追加される。どのようなフィルタを用いてもよいが、小さな領域が1つの被写体予測ユニットとして判定されるのを防ぐことが目的であるため、一般的には、デプスマップの空間相関を高めるようなフィルタを用いる。例えば、2次元のメディアンフィルタやバイラテラルフィルタ、Non-localmeansNLMフィルタを用いてもよい。メディアンフィルタとは、注目画素の値を一定距離内の画素の値の中央値で置き換えるフィルタである。バイラテラルフィルタとは、エッジを保持しながら平滑化を書けるフィルタである詳しくは文献:CTomasiRManduchiBilateralFilteringforGrayandColorImagesiccvpp839SixthInternationalConferenceonComputerVision1998参照。NLMフィルタとは、画素ごとにマッチング度合いを考慮した係数を計算して畳み込むフィルタである詳しくは、文献:ABuadesBCollJMMorelANonLocalAlgorithmforImageDenoisingcvprvol2pp60652005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognitionVolume22005参照。なお、同じフィルタを繰り返しかけてもよいし、複数種類のフィルタを組み合わせて使ってもよい。ただし、符号化側と復号側とで行うフィルタ処理と一致させる必要がある。一致させるためには、予め使用するフィルタの種類や回数を固定しておいてもよいし、使用するフィルタの種類や回数に関する情報を符号化して、復号側に伝えてもよい。また、小さな領域が1つの被写体として生成されるのを防ぐために、上述した2つの方法を組み合わせ、被写体マップ拡張被写体マップ生成前にデプスマップにフィルタ処理を施し、被写体マップ拡張被写体マップの生成後に微小な被写体予測ユニットを隣接する被写体予測ユニットと統合する処理を行う方法もある。第1実施形態~第4実施形態では、予測画像の生成法を指定する単位を、デプスマップの値の類似性から生成する任意形状の領域分割に従って決定しているが、画像信号の空間相関や時間相関は同じ被写体であっても異なることがあるため、拡張被写体マップによって決定した領域を更に分割し、得られた小領域ごとに異なる予測画像生成法を指定してもよい。その場合、予測ユニットごとに、当該予測ユニット更に分割するための方法を示す情報を符号化/復号する必要がある。予測ユニットpuに対する画素の集合を分割する方法は、どのような方法を用いてもよい。例えば、被写体pu毎に、1分割を行わない、2ブロックblkを2等分する水平のラインで分割する、3ブロックblkを2等分する鉛直のラインで分割する、4ブロックblkを4等分する十字のラインで分割する、のいずれかを予測効率や符号化効率を基準にして選択してもよい。なお、被写体puの形状や大きさを考慮して分割を決定する方法もある。例えば、被写体puの重心を通る水平ラインや鉛直ラインを用いる方法や、被写体puを含む傾きのない最小の長方形を見つけ、その長方形を等分するラインを用いる方法がある。分割方法を示す情報を符号化する方法および復号する方法は、お互いに解釈できる方法であれば、どのような方法を用いてもよい。例えば、上記の例のように4通りの中から1つを選ぶのであれば、それぞれに00、01、10、11の符号を割り当ててもよいし、これらバイナリ列を隣接ブロック等の情報を用いて算術符号化してもよい。その場合、復号時は算術復号をして得られたバイナリ列を解釈することで正しく情報が得られる。なお、分割方法を示す情報と予測画像の生成方法を示す情報を一緒に符号化/復号してもよい。第1実施形態~第4実施形態では、各ブロックに対して被写体数を決定し、それに基づいてブロック内の画素をクラスタリングすることで被写体マップを決定しているが、被写体数の代わりに分割規則を与えて、その規則に従って被写体マップを決定する方法もある。分割規則によって被写体マップを生成する場合は、ブロックごとに、分割規則に従ってブロック内のデプスをグルーピングして被写体マップを生成し、その結果から被写体数を計算する。そして拡張被写体マップはこの被写体マップに基づいて生成する。分割規則は符号化側と復号側とで同じ規則が利用できるのであれば、どのようなものを用いてもよい。例えば、Sobelフィルタ等を用いてデプスマップのエッジを抽出し、そのエッジまたはその内側や外側を領域の境界とする規則でもよい。また、デプスの値域を幾つかの区間に分割し、同じ区間に属するデプス値を持つ画素ごとに領域を設定する規則でもよい。この場合、デプス値区間の分割は固定のものでもよいし、量子化パラメータ等の符号化品質をコントロールするパラメータに依存して可変にしてもよいし、別途分割情報を符号化して伝送してもよい。また、被写体数を明示的に伝送する方法と組み合わせて、分割規則に従って被写体マップを生成した後に、指定された被写体数となるように、被写体を統合する処理を行ってもよい。上述した第1実施形態~第4実施形態では、1枚の画像を符号化/復号する処理を説明したが、連続する複数枚の画像を処理することで動画像を符号化/復号する処理にも拡張できることは容易に考えられる。また、複数のカメラで撮影された多視点画像や多視点動画像を符号化/復号する処理にも適用可能なことも容易に類推可能である。これらの場合、予測モードは動き/視差ベクトルや参照フレームを含む1つの予測画像を生成する方法と解釈する。上述した第1実施形態~第4実施形態では、画像全体を符号化/復号する処理として書かれているが、画像の一部分のみに適用することも可能である。また、上述の説明では、予め定められたブロックごとに処理を行う場合を説明したが、画像全体や複数のブロックの集合を1つのブロックとみなして処理をしてもよい。上述した第1実施形態~第4実施形態では、符号化/復号対象画像に対するデプスマップを用いているが、法線マップや温度画像などの被写体に依存した値を持つ画像情報を代わりに用いることも可能である。ただし、符号化側で使用されたものが復号側でも同様に入手できる必要がある。なお、被写体とは、撮影されている個々の物体や人物そのものを意味するのではなく、対応するデプスマップの値が類似する画素の集合である。すなわち、単一の実物体であっても、対応するデプスマップの値が大きく異なる場合などは、複数の被写体とみなされることもある。また、複数の実物体であっても、対応するデプスマップの値が類似する場合は、単一の被写体とみなされることもある。また、被写体数は、ブロック内に存在する被写体の数である。被写体数は、ブロック内のデプスマップの値を解析することで生成することができる。例えば、ブロック内の画素をデプスマップの値や位置などの情報を用いてクラスタリングし、各クラスタの評価値例えば、デプスマップ値の分散が一定値以下となるクラスタ数の最大値を被写体数とすることが可能である。また、経験などに基づいて外部から与えたり、符号化結果の画質や符号量をコントロールするために指定されるパラメータ例えば、H.264などにおける量子化パラメータに基づいて決定したり、予め定められた値を用いたりすることも可能である。以上説明した多画像符号化および画像復号の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。図13に、画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。図13に示すシステムは、プログラムを実行するCPU50と、CPU50がアクセスするプログラムやデータが格納されるRAM等のメモリ51と、カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部52ディスク装置等による画像信号を記憶する記憶部でもよいと、例えばネットワークを介して符号化対象画像に対するデプスマップを入力するデプスマップ入力部53ディスク装置等による画像信号を記憶する記憶部でもよいと、図2、図6を参照して説明した処理をCPU50に実行させるソフトウェアプログラムである画像符号化プログラム541が格納されたプログラム記憶装置54と、CPU50がメモリ51にロードされた画像符号化プログラム541を実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部55ディスク装置等による多重化符号データを記憶する記憶部でもよいとが、バスで接続された構成になっている。図示を省略するが、他に、符号データ記憶部、復号画像記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、画像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。図14に、画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは、プログラムを実行するCPU60と、CPU60がアクセスするプログラムやデータが格納されるRAM等のメモリ61と、画像符号化装置が本手法により符号化した符号データを入力する符号データ入力部62ディスク装置等による多重化符号データを記憶する記憶部でもよいと、例えばネットワークを介して復号対象の画像に対するデプスマップを入力する参照視点画像入力部63ディスク装置等による画像信号を記憶する記憶部でもよいと、図10、図12を参照して説明した処理をCPU60に実行させるソフトウェアプログラムである画像復号プログラム641が格納されたプログラム記憶装置64と、CPU60がメモリ61にロードされた画像復号プログラム641を実行することにより、符号データを復号して得られた復号画像を、再生装置などに出力する復号画像出力部65とが、バスで接続された構成になっている。図示省略するが、他に、復号画像記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、画像信号符号データ記憶部、予測情報符号データ記憶部が用いられることもある。なお、複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成し、予測ユニットごとに、境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成し、被写体内予測ユニットまたは境界予測ユニットに含まれる画素群に対する画像を予測する方法を設定し、この設定された予測方法を示す情報を符号化する手順に代えて、予測ユニットごとに、予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定し、予測ユニットに対して設定された候補集合の中から、予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定し、この設定された予測方法を示す情報を符号化するようにしてもよい。また、複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成し、予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成し、符号データから、被写体内予測ユニットまたは境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する手順に代えて、予測ユニットごとに、予測ユニットに含まれる画素群に対する画像を予測する方法の候補集合を設定し、予測ユニットごとに、設定された候補集合を用いて、符号データから、予測ユニットに含まれる画素群に対する画像を予測する方法を復号するようにしてもよい。以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加、省略、置換、その他の変更を行ってもよい。以上説明したように、画像信号がその画像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合に、被写体依存のデータを用いて対応する領域の画像信号を符号化する際のブロック分割を決定することで、被写体に応じた任意形状のブロック分割を表現するための符号量を削減することができる。さらに、ブロックごとに異なる画像信号の予測方法の候補集合を準備することで、被写体に依存する相関を利用し、画像信号の予測精度の向上に伴う予測残差の符号量や、予測方法を示す情報の符号量を削減することができる。これらは結果的に、効率的な画像符号化を実現することができるようになる。"