"符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定ステップと、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割ステップと、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測方法設定ステップにおいて設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップにおいて設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化ステップとを有することを特徴とする画像符号化方法。前記被写体数設定ステップにおいて設定された前記被写体数を符号化する被写体数符号化ステップをさらに有することを特徴とする請求項1に記載の画像符号化方法。符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記デプスマップの距離情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定ステップと、前記領域分割規則設定ステップにおいて設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割ステップと、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測方法設定ステップにおいて設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップにおいて設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化ステップとを有することを特徴とする画像符号化方法。前記領域分割規則設定ステップにおいて設定された前記規則を示す情報を符号化する領域分割規則符号化ステップをさらに有することを特徴とする請求項3に記載の画像符号化方法。前記分割領域の統合を行い、前記分割領域を更新する領域統合ステップをさらに有することを特徴とする請求項1から4のいずれかに記載の画像符号化方法。前記分割領域と前記処理領域に隣接する既に符号化済み領域において設定された分割領域との統合判定を行い、統合対象と判定された前記分割領域に対して、統合先として判定された前記処理領域に隣接する既に符号化済み処理領域において設定された分割領域に含まれる画素群を符号化する際に使用した予測画像生成方法を、前記統合対象と判定された前記分割領域に含まれる画素群に対する前記画像を予測する方法として設定する予測情報複製ステップをさらに有し、前記予測方法設定ステップは、前記予測情報複製ステップで統合対象と判断されなかった前記分割領域のみに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定し、前記予測画像生成ステップは、前記分割領域に含まれる画素群に対しては、前記予測方法設定ステップで設定された予測方法に従い、前記統合対象と判定された前記分割領域に含まれる画素群に対しては、前記予測情報複製ステップで設定された予測方法に従って予測画像を生成することを特徴とする請求項1から4のいずれかに記載の画像符号化方法。前記予測方法設定ステップは、前記分割領域ごとに、当該分割領域に含まれる画素群を小領域に分割する方法を設定し、前記小領域ごとに、当該小領域に含まれる画素群に対する前記画像を予測する方法を設定し、前記予測情報符号化ステップは、前記予測情報設定ステップで設定された小領域に分割する方法を示す情報と、前記小領域ごとに設定された予測方法を示す情報とを符号化することを特徴とする請求項1から6のいずれかに記載の画像符号化方法。符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号方法であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定ステップと、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割ステップと、前記符号データから、前記分割領域ごとに、当該分割に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測方法復号ステップにおいて復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号ステップとを有することを特徴とする画像復号方法。前記被写体数設定ステップは、前記符号データから前記被写体数を復号して設定することを特徴とする請求項8に記載の画像復号方法。符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号方法であって、前記デプスマップの情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定ステップと、前記領域分割規則設定ステップにおいて設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割ステップと、前記符号データから、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号する予測方法復号ステップと、前記予測方法復号ステップで復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号ステップとを有することを特徴とする画像復号方法。前記領域分割規則設定ステップは、前記符号データから前記領域分割規則設定ステップにおいて設定する前記規則を復号して設定することを特徴とする請求項10に記載の画像復号方法。前記分割領域の統合を行い、前記分割領域を更新する領域統合ステップをさらに有することを特徴とする請求項8から11のいずれかに記載の画像復号方法。前記分割領域と前記処理領域に隣接する既に復号済み領域において設定された予測ユニットとの統合判定を行い、統合対象と判定された前記分割領域に対して、統合先として判定された前記処理領域に隣接する既に復号済み領域において設定された分割領域に含まれる画素群を復号する際に使用した予測画像の生成方法を、統合対象と判定された前記分割領域に含まれる画素群に対する前記画像を予測する方法として設定する予測情報複製ステップをさらに有し、前記予測方法復号ステップは、前記予測情報複製ステップで統合対象と判断されなかった前記分割領域のみについて、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号し、前記予測画像生成ステップは、前記分割領域に含まれる画素群に対しては、前記予測方法復号ステップで復号された予測方法に従い、前記統合対象と判定された前記分割領域に含まれる画素群に対しては、前記予測情報複製ステップで設定された予測方法に従って予測画像を生成することを特徴とする請求項8から11のいずれかに記載の画像復号方法。前記予測情報復号ステップは、前記分割領域ごとに、前記符号データから当該分割領域に含まれる画素群を小領域に分割する方法を復号し、前記小領域ごとに、当該小領域に含まれる画素群に対する前記画像を予測する方法を復号することを特徴とする請求項8から13のいずれかに記載の画像復号方法。符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化装置であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定手段と、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割手段と、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、前記予測方法設定手段において設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化手段とを備えることを特徴とする画像符号化装置。符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化装置であって、前記デプスマップの距離情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定手段と、前記領域分割規則設定手段において設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割手段と、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、前記予測方法設定手段において設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化手段とを備えることを特徴とする画像符号化装置。符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号装置であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定手段と、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割手段と、前記符号データから、前記分割領域ごとに、当該分割に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、前記予測方法復号手段において復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号手段とを備えることを特徴とする画像復号装置。符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号装置であって、前記デプスマップの情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定手段と、前記領域分割規則設定手段において設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割手段と、前記符号データから、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号する予測方法復号手段と、前記予測方法復号手段において復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号手段とを備えることを特徴とする画像復号装置。請求項1から7のいずれかに記載の画像符号化方法をコンピュータに実行させることを特徴とする画像符号化プログラム。請求項8から14のいずれかに記載の画像復号方法をコンピュータに実行させることを特徴とする画像復号プログラム。上述した可変ブロックサイズによる画像信号の予測によって、被写体の形状に応じて単一の方法で予測画像を生成するブロックの大きさを変化させることでより精度の高い予測を実現し、画像信号とデプスとで構成される自由視点画像を高効率に圧縮符号化することができる。しかしながら、被写体の形状は様々であり、規則的な分割ルールに従ったブロック分割を行う従来方式では、被写体に応じた正確なブロック分割を行う場合には、細かいブロック分割が必要となってしまう。細かいブロック分割を用いることで、画像信号やデプスの予測精度を向上することが可能だが、ブロックの分割方法を示す情報やブロックごとの予測方法を示す情報の量が膨大になり、トータルとして符号化効率を悪化させてしまう。そのため、上述したH.264/AVCでは、4画素x4画素のブロックが最小ブロックサイズとされている。非特許文献3では、画像信号やデプスの予測値を決定するのに必要なブロック分割や動きベクトルなどの予測情報を、画像とデプスマップとで共有することで、符号化しなくてはならない予測情報の総量を減らし、効率的な符号化を実現しようとしている。この方法を用いることで、画像とデプスマップのそれぞれで予測信号を符号化する場合に比べて、符号量を削減することができている。しかしながら、規則的な分割ルールに従ったブロック分割を使うため、被写体に応じた正確なブロック分割を行うことは不可能であるか、可能であっても大量の符号量を必要とし、効率的な符号化を実現することができない。また、両方に適したブロック分割を求めるということは、それぞれに対して最適なブロック分割を足し合わせて作られるブロック分割を使用することになる。すなわち、単独で符号化する場合に比べて過度に分割したブロックを用いることになるため、画像とデプスマップとで予測方法も含めて完全に共有できない場合は、無駄な符号量が生じることになる。一方、非特許文献4では、画像に対する予測情報からデプスマップに対する予測情報を予測することで、画像とデプスマップ間の予測情報についての冗長性を取り除き、効率的な符号化を実現しようとしている。この方法では、画像とデプスマップとで異なるブロック分割を用いることができるようになるため、過度なブロック分割が生じてしまう懸念を回避している。しかしながら、この方式でも、規則的な分割ルールに従ったブロック分割を使うため、被写体に応じた正確なブロック分割を行うことは不可能であるか、可能であっても大量の符号量を必要とし、効率的な符号化を実現することができない。本発明は、このような事情に鑑みてなされたもので、画像とデプスマップとを構成要素に持つ自由視点画像データの符号化において、効率的な画像符号化を実現する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムを提供することを目的とする。本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定ステップと、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割ステップと、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測方法設定ステップにおいて設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップにおいて設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化ステップとを有することを特徴とする。本発明は、前記被写体数設定ステップにおいて設定された前記被写体数を符号化する被写体数符号化ステップをさらに有することを特徴とする。本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記デプスマップの距離情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定ステップと、前記領域分割規則設定ステップにおいて設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割ステップと、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測方法設定ステップにおいて設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップにおいて設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化ステップとを有することを特徴とする。本発明は、前記領域分割規則設定ステップにおいて設定された前記規則を示す情報を符号化する領域分割規則符号化ステップをさらに有することを特徴とする。本発明は、前記分割領域の統合を行い、前記分割領域を更新する領域統合ステップをさらに有することを特徴とする。本発明は、前記分割領域と前記処理領域に隣接する既に符号化済み領域において設定された分割領域との統合判定を行い、統合対象と判定された前記分割領域に対して、統合先として判定された前記処理領域に隣接する既に符号化済み処理領域において設定された分割領域に含まれる画素群を符号化する際に使用した予測画像生成方法を、前記統合対象と判定された前記分割領域に含まれる画素群に対する前記画像を予測する方法として設定する予測情報複製ステップをさらに有し、前記予測方法設定ステップは、前記予測情報複製ステップで統合対象と判断されなかった前記分割領域のみに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定し、前記予測画像生成ステップは、前記分割領域に含まれる画素群に対しては、前記予測方法設定ステップで設定された予測方法に従い、前記統合対象と判定された前記分割領域に含まれる画素群に対しては、前記予測情報複製ステップで設定された予測方法に従って予測画像を生成することを特徴とする。本発明は、前記予測方法設定ステップは、前記分割領域ごとに、当該分割領域に含まれる画素群を小領域に分割する方法を設定し、前記小領域ごとに、当該小領域に含まれる画素群に対する前記画像を予測する方法を設定し、前記予測情報符号化ステップは、前記予測情報設定ステップで設定された小領域に分割する方法を示す情報と、前記小領域ごとに設定された予測方法を示す情報とを符号化することを特徴とする。本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号方法であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定ステップと、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割ステップと、前記符号データから、前記分割領域ごとに、当該分割に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測方法復号ステップにおいて復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号ステップとを有することを特徴とする。本発明は、前記被写体数設定ステップは、前記符号データから前記被写体数を復号して設定することを特徴とする。本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号方法であって、前記デプスマップの情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定ステップと、前記領域分割規則設定ステップにおいて設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割ステップと、前記符号データから、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号する予測方法復号ステップと、前記予測方法復号ステップで復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号ステップとを有することを特徴とする。本発明は、前記領域分割規則設定ステップは、前記符号データから前記領域分割規則設定ステップにおいて設定する前記規則を復号して設定することを特徴とする。本発明は、前記分割領域の統合を行い、前記分割領域を更新する領域統合ステップをさらに有することを特徴とする。本発明は、前記分割領域と前記処理領域に隣接する既に復号済み領域において設定された予測ユニットとの統合判定を行い、統合対象と判定された前記分割領域に対して、統合先として判定された前記処理領域に隣接する既に復号済み領域において設定された分割領域に含まれる画素群を復号する際に使用した予測画像の生成方法を、統合対象と判定された前記分割領域に含まれる画素群に対する前記画像を予測する方法として設定する予測情報複製ステップをさらに有し、前記予測方法復号ステップは、前記予測情報複製ステップで統合対象と判断されなかった前記分割領域のみについて、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号し、前記予測画像生成ステップは、前記分割領域に含まれる画素群に対しては、前記予測方法復号ステップで復号された予測方法に従い、前記統合対象と判定された前記分割領域に含まれる画素群に対しては、前記予測情報複製ステップで設定された予測方法に従って予測画像を生成することを特徴とする。本発明は、前記予測情報復号ステップは、前記分割領域ごとに、前記符号データから当該分割領域に含まれる画素群を小領域に分割する方法を復号し、前記小領域ごとに、当該小領域に含まれる画素群に対する前記画像を予測する方法を復号することを特徴とする。本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化装置であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定手段と、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割手段と、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、前記予測方法設定手段において設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化手段とを備えることを特徴とする。本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化装置であって、前記デプスマップの距離情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定手段と、前記領域分割規則設定手段において設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割手段と、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、前記予測方法設定手段において設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化手段とを備えることを特徴とする。本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号装置であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定手段と、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割手段と、前記符号データから、前記分割領域ごとに、当該分割に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、前記予測方法復号手段において復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号手段とを備えることを特徴とする。本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号装置であって、前記デプスマップの情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定手段と、前記領域分割規則設定手段において設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割手段と、前記符号データから、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号する予測方法復号手段と、前記予測方法復号手段において復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号手段とを備えることを特徴とする。本発明は、前記画像符号化方法をコンピュータに実行させるための画像符号化プログラムである。本発明は、前記画像復号方法をコンピュータに実行させる実行させるための画像復号プログラムである。。本発明によれば、画像信号がその画像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合に、被写体依存のデータを用いて対応する領域の画像信号を符号化する際のブロック分割を決定することで、被写体に応じた任意形状のブロック分割を表現するための符号量を削減することが可能となる。さらに、被写体に応じたブロック分割により、被写体に依存する相関を利用することによって画像信号の予測精度が向上し、予測残差の符号化に必要な符号量も削減することが可能となる。これらの結果、効率的な画像符号化を実現することができるようになるという効果が得られる。以下、本発明の一実施形態を、図面を参照して説明する。<第1実施形態>まず、第1実施形態における画像符号化装置について説明する。図1は、本発明の第1実施形態による画像符号化装置の構成を示すブロック図である。図1に示すように、画像符号化装置100は、符号化対象画像入力部101、符号化対象画像メモリ102、デプスマップ入力部103、デプスマップメモリ104、被写体数決定部105、被写体マップ生成部106、予測画像生成部107、予測情報符号化部108、画像信号符号化部109、画像信号復号部110、復号画像メモリ111、および多重化部112を備えている。符号化対象画像入力部101は、符号化対象となる画像を入力する。以下の説明においては、この符号化対象となる画像のことを符号化対象画像と呼ぶ。符号化対象画像メモリ102は、入力された符号化対象画像を記憶する。デプスマップ入力部103は、符号化対象画像に対応するデプスマップを入力する。このデプスマップは符号化対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ104は、入力されたデプスマップを記憶する。被写体数設定部105は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部106は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。予測画像生成部107は、予測画像候補生成機能、予測画像評価機能を有し、復号画像を用いて、処理領域内の被写体ごとに画像信号の予測方法を決定し、予測画像を生成する。予測情報符号化部108は、予測画像生成部107で決定した画像信号の予測方法を示す情報を符号化する。画像信号符号化部109は、生成された予測画像を用いて、符号化対象画像を予測符号化する。画像信号復号部110は、生成された予測画像を用いて、生成された符号データを復号して復号画像を生成する。復号画像メモリ111は、生成された復号画像を蓄積する。多重化部112は、予測情報の符号データと、画像信号の符号データを多重化して出力する。次に、図2を参照して、図1に示す画像符号化装置100の動作を説明する。図2は、図1に示す画像符号化装置100の動作を示すフローチャートである。まず、符号化対象画像入力部101は、符号化対象画像Orgを入力し、符号化対象画像メモリ102に記憶する。一方、デプスマップ入力部103は、符号化対象画像Orgに対するデプスマップDを入力し、デプスマップメモリ104に記憶するステップS101。ここで入力されるデプスマップは、既に符号化済みのデプスマップを復号したものなど、復号側で得られるデプスマップとする。これは、復号装置で得られる情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されてもよい。その他の復号側で得られるデプスマップの例としては、別の視点の符号化済みデプスマップを復号したものを用いて合成されたデプスマップや、別の視点の符号化済み画像群を復号したものからステレオマッチング等によって推定したデプスマップなどがある。なお、符号化対象画像の各画素に対するデプス情報が得られれば、デプスマップの解像度は符号化対象画像と異なっていても構わない。符号化対象画像とデプスマップとで解像度が異なる場合は、デプスマップに対してアップサンプリングやダウンサンプリングといった解像度変換処理を行うことで、符号化対象画像の各画素に対するデプス情報が得られるようにしても構わないし、符号化対象画像の各画素に対する対応関係を内部的に保持し、解像度変換処理を行わずに処理を行っても構わない。次に、符号化対象画像とデプスマップの格納が終了したら、符号化対象画像を予め定められた大きさの領域に分割し、分割した領域ごとに、符号化対象画像の画像信号を符号化するステップS102~S114。すなわち、符号化対象領域インデックスをblk、総符号化対象領域数をnumBlksで表すとすると、blkを0で初期化しステップS102、その後、blkに1を加算しながらステップS113、blkがnumBlksになるまでステップS114、以下の処理ステップS103~ステップS112を繰り返す。なお、一般的な符号化では16画素×16画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、復号側と同じであればその他の大きさのブロックに分割してもよい。符号化対象領域ごとに繰り返される処理は、まず、被写体数設定部105が、符号化対象領域blkに含まれる被写体の数被写体数numObjsを決定するステップS103。被写体数は復号側が同じ値を得られる処理であれば、どのような処理を用いて設定してもよい。例えば、常に予め定められた数を設定してもよい。また、符号化対象領域ごとに異なる値を被写体数として設定してもよい。符号化対象領域ごとに異なる値を設定する方法としては、符号化後の画質を決定するパラメータに基づいて設定する方法がある。H.264/AVCなどでは量子化パラメータQPと呼ばれるものが画質を決定するパラメータである。このパラメータに基づいて、高品質に符号化する量子化パラメータQPが小さい場合は大きな数の被写体数を設定し、低品質に符号化する量子化パラメータQPが大きい場合は小さな数の被写体数を設定する。さらに、画質を決定するパラメータのほかに、そのブロックにおけるデプスマップの値の分布も使用して決定してもよい。例えば、高品質に符号化する量子化パラメータQPが小さい場合でも、デプスマップの値の分布範囲が狭い場合は被写体数に小さな数を設定し、低品質に符号化する量子化パラメータQPが大きい場合でも、デプスマップの値の分布範囲が広い場合は被写体数に大きな数を設定してもよい。また、デプスマップの値が主に背景に分布している場合は被写体数を小さくし、前景に分布している場合は被写体数を大きくしてもよい。符号化対象領域ごとに異なる値を被写体数として設定する別の方法としては、符号化対象領域に対するデプスマップに従って被写体数を設定する方法がある。具体的には、符号化対象領域に対するデプスマップの各画素をk-means法やAffinityPropagationなどのクラスタリング手法を用いて、各クラスタ内のデプス値分散が予め定められた値以下になるクラスタリング結果のうち、最小のクラスタ数を被写体数にする方法がある。クラスタリングに用いる尺度としては、デプス値のみを用いてもよいし、デプス値と画素位置とからなる値を用いてもよい。なお、クラスタリング結果を評価する際に、各クラスタ内のデプス値の分散ではなく、各クラスタ内のデプスを定数または平面で近似した際の誤差量を用いる方法もある。このような評価をすることで、カメラの向きに対して鉛直に存在する被写体だけでなく、斜めになっている被写体を正しく識別することが可能になる。符号化対象領域ごとに異なる被写体数を推定して設定する場合、被写体数が大きくなると符号化効率が低下する場合があるため、被写体数の最大値を予め定めておき、被写体数が一定値以上になるのを防いでもよい。さらに別の方法として、被写体数を導出する際に符号化対象画像等の復号側では得られない情報を用いて設定し、設定した被写体数を符号化して伝送してもよい。例えば、複数の被写体数の候補値に対して、発生符号量と符号化によって生じる歪み量の重み付き和で表されるレート歪みコストなどの符号化効率を評価する尺度を計算し、最も符号化効率が高いと判断された被写体数を選ぶ方法がある。この場合は、画像符号化装置は被写体数を符号化する被写体数符号化部を有し、被写体数を設定した後に被写体数を符号化するステップを有し、後述する多重化ステップS112では被写体数を示す符号データを一緒に多重化する。このとき、被写体数に対する符号語をコンパクトに設計するために、被写体数として取りえる数を制限してもよい。なお、被写体数を符号化する際には、デプスマップや隣接する符号化済みブロックの画像情報を用いて被写体数を予測して、予測誤差のみを符号化してもよい。被写体数を予測する方法としては、復号側で同じ処理を行うことが可能であれば、どのような処理を用いてもよい。例えば、前述のように符号化対象ブロックやその周辺のデプスマップに対してクラスタリングを適用することで得られる値を予測値とする方法や、それらデプスマップの値に加えて符号化対象ブロック周辺の既に符号化済みのブロックに対する復号画像信号を用いてクラスタリングを適用することで得られる値を予測値とする方法や、符号化対象ブロック周辺の既に符号化済みのブロックにおける被写体数や領域分割数に対して、平均値や中央値などの数値計算を適用することで得られる値を予測値とする方法がある。次に、被写体数の設定が終了したら、被写体マップ生成部106は、符号化対象領域blkに対して被写体マップSを生成するステップS104。ここでいう被写体マップとは、ブロック内の各画素にどの被写体が存在しているかを示したものでり、符号化対象領域blkの各画素に対して、0からnumObjs-1までの値で表される被写体識別子番号を割り当てたものである。どのように表現をしてもよいが、最も単純な表現では2次元情報として表現できる。すなわち、被写体マップは例えば図3のような2次元情報になる。被写体マップは、符号化対象領域に対するデプスマップの各画素をk-means法やAffinityPropagationなどのクラスタリング手法を用いて、numObjs個のクラスタに分類し、同じクラスタ内の画素が全て同じ被写体識別子を持ち、別のクラスタ内の画素とは必ず異なる被写体識別子を持つように、被写体識別子を割り振ることで生成する。クラスタリングに用いる尺度としては、デプス値のみを用いてもよいし、デプス値と画素位置とからなる値を用いてもよい。ただし、使用するクラスタリング手法や尺度は復号側と同じものを用いる必要がある。また、各クラスタへの被写体識別子を割り振る方法も、復号側と同じで、与えられたクラスタリング結果に対して単一の割り振りができるのであれば、どのような方法を用いてもよい。例えば、より上の行の画素を含むクラスタほど小さな値の被写体識別子を持ち、クラスタに含まれる画素の最も上の行が同じクラスタ間では、より左の列の画素を含むクラスタほど小さな値の被写体識別子を持つように、値を割り振ることで曖昧性のない被写体識別子の割り振りを行うことができる。なお、被写体数を決定する際にクラスタリングを行っている場合には、その結果を利用し、ここで再度クラスタリングを行う必要はない。次に、被写体マップが得られたら、同じ被写体識別子を持つ画素群ごとに、画像信号の予測を行うステップS105~S109。すなわち、予測対象の被写体識別子をobjで表すとすると、objを0で初期化しステップS105、その後、objに1を加算しながらステップS108、objがnumObjsになるまでステップS109、被写体マップ上の対応する位置の被写体識別子がobjである符号化対象画像の画像信号に対する予測画像を生成する方法を決定して予測画像を生成する処理ステップS106と、予測画像を生成する方法を示すための情報を符号化する処理ステップS107とを交互に繰り返す。予測画像生成法の決定と予測画像の生成は、予測画像生成部107が行う。予測画像を生成する方法を決定する方法には、どのようなものを用いてもよい。ただし、符号化効率を最大化する場合は、各予測画像生成法による画像信号の予測効率を評価し、その予測効率が最大になるものを探し出したほうがよい。すなわち、ある予測画像生成法mでの予測効率の評価値をEmとするとき、1式で与えられるMblk,objを、被写体マップ上の対応する位置の被写体識別子がobjである画素群に対する符号化対象画像の予測画像を生成する方法に決定する。なお、Emの値は大きいほど予測効率が高いことを示しており、argmaxは与えられた関数を最大化するパラメータを求める処理を示す。導出するパラメータはargmaxの下部で与えられる。Modeは使用可能な予測方法の集合であり、復号側で同じ方法が使用可能であれば、どのような方法が含まれていてもよいし、その集合の大きさがいくつであってもよい。例えば、H.264/AVCのイントラ予測のように、8つ異なる予測方向に従ったイントラ予測、隣接画素の復号画像の平均値で予測画像を生成するDC予測、グラデーションを想定して隣接画素を線形補間することで予測画像を生成するPlane予測からなる集合を用いてもよい。また、文献KMcCannWJHanandIKimSamsungsResponsetotheCallforProposalsonVideoCompressionTechnologyInputdocumenttoJointCollaborativeTeamonVideoCodingofITUTSG16WP3andISOIECJTC1SC29WG11JCTVCA124April2010のようにさらに多数の予測方向を集合に加えてもよいし、文献KUgurKRAnderssonandAFuldsethDescriptionofvideocodingtechnologyproposalbyTandbergNokiaEricssonInputdocumenttoJointCollaborativeTeamonVideoCodingofITUTSG16WP3andISOIECJTC1SC29WG11JCTVCA119April2010のように先に一部分を符号化し、その情報を用いて双方向予測を行う方法を集合に加えてもよい。さらに、画面内予測方法だけでなく、時間的に連続する複数枚の画像動画像や異なる位置に置いたカメラで同一シーンを撮影した複数枚の画像多視点画像やその動画像多視点動画像を符号化する場合は、符号化済みの画像から予測画像を生成する画面間予測方法を使用してもよい。画面間予測では、参照する画像を示す情報と、その参照する画像上の領域を指定するベクトル情報との組で1つの予測画像生成法となる。予測効率の評価値Emとしては、任意のものを使用することが可能であるが、例えば、2、3式で表される符号化対象画像と予測画像とのSAD差分絶対値和やSSD差分二乗和を用いてもよい。Em=-Σp|Org[p]-Predm[p]|2Em=-ΣpOrg[p]-Predm[p]23ここで、Predmは予測画像生成法mに従って生成された予測画像を示す。Σpは領域blkの内部で被写体マップによって示される被写体識別子がobjである画素全てについての和を表している。これら以外に符号化対象画像と予測画像の差分値をDCTやアダマール変換などを用いて変換した値を用いた方法がある。その変換を行列Aで表すと、4式で表すことができる。なお、∥X∥はXのノルムを表す。Em=-∥AOrg[blk]-Predm[blk]∥4ただし、この場合変換に用いる全ての画素上記の式の場合は領域blk全体についての予測画像が必要となるため、全ての被写体識別子に対して予測画像生成方法を仮定して評価する必要がある。また、上記のように符号化対象画像と予測画像との乖離度のみを評価する方法ではなく、発生する符号量と歪み量を鑑みたRDコストを用いてもよい。ここで用いるRDコストは、Predmを予測画像として、Orgを符号化した際の符号量Rmと歪み量Dmとを用いて、5式で表すことができる。なお、λはラグランジュの未定乗数であり、予め定められた値を用いる。Em=-Dm-λRm5予測画像の生成法を示す情報の符号化は予測情報符号化部108が行う。符号化する方法には、どのような方法を使用してもよい。ただし、正しく復号するためには、復号側で行う処理に対応させる必要がある。例えば、Mblk,objを予め定められたテーブルを用いて符号化してもよいし、Mblk,objを予め定められたテーブルを用いて2値化した後に、周辺の符号化結果を考慮した2値算術符号化によって符号化してもよい。なお、本実施形態では被写体識別子objごとに符号化しているが、符号化対象領域blkごとにまとめて符号化してもよいし、画像全体でまとめて符号化してもよい。その場合、Mblk,objを蓄積しておくことで、予測情報の符号化処理を符号化対象領域blkごとの1度だけ行われる処理や、画像全体で1度だけ行われる処理とすることができる。次に、符号化対象領域blkに対する予測画像の生成が終わったら、画像信号符号化部109は、その予測画像を用いて符号化対象画像Orgの符号化対象領域blkにおける画像信号を符号化するステップS110。符号化にはどのような方法を用いてもよい。MPEG-2やH.264/AVCなどの一般的な符号化では、ブロックblkの画像信号と予測画像との差分信号Org[blk]-Pred[blk]に対して、DCTなどの周波数変換、量子化、2値化、エントロピー符号化を順に施すことで符号化を行う。次に、画像信号復号部110は、符号化結果として得られた符号データと予測画像とを用いて、ブロックblkに対する画像信号を復号し、復号結果であるところの復号画像Dec[blk]を復号画像メモリ111に記憶するステップS111。ここでは、符号化時に用いた手法に対応する手法を用いる。例えば、MPEG-2やH.264/AVCなどの一般的な符号化であれば、符号データに対して、エントロピー復号、逆2値化、逆量子化、IDCTなどの周波数逆変換を順に施し、得られた2次元信号に対して予測信号を加え、最後に画素値の値域でクリッピングを行うことで画像信号を復号する。なお、符号化側での処理がロスレスになる直前のデータと予測画像を受け取り、簡略化した復号処理によって復号処理を行っても構わない。つまり、前述の例であれば符号化時に量子化処理を加えた後の値と予測画像を受け取り、その量子化後の値に逆量子化、周波数逆変換を順に施して得られた2次元信号に対して予測画像を加え、画素値の値域でクリッピングを行うことで映像信号を復号しても構わない。復号して得られた画像信号は、他のブロックを符号化する際の予測画像を生成するために用いられる。次に、多重化部111は、予測画像生成法を示す情報の符号データと、画像信号の符号データとを多重化して出力するステップS112。なお、ここではブロックごとに多重化しているが、フレーム単位で多重化してもよい。ただし、その場合には、復号時に1フレーム分の符号データをバッファリングしてから復号する必要が生じる。また、復号画像を生成した後に多重化しているが、画像信号の符号化が終了した直後に多重化してもよい。次に、図4を参照して、第1実施形態における画像復号装置について説明する。図4は、本発明の第1実施形態による画像復号装置の構成を示すブロック図である。図4に示すように、画像復号装置200は、符号データ入力部201、符号データメモリ202、デプスマップ入力部203、デプスマップメモリ204、被写体数決定部205、被写体マップ生成部206、分離部207、予測情報復号部208、予測画像生成部209、画像信号復号部210、および復号画像メモリ211を備えている。符号データ入力部201は、復号対象となる画像の符号データを入力する。以下の説明においては、この復号対象となる画像のことを復号対象画像と呼ぶ。符号データメモリ202は、入力された符号データを記憶する。デプスマップ入力部203は、復号対象画像に対応するデプスマップを入力する。このデプスマップは復号対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ204は、入力されたデプスマップを記憶する。被写体数設定部205は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部206は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。分離部207は、入力された符号データでは多重化されている予測情報の符号データと画像信号の符号データとを分離する。予測情報復号部208は、画像信号の予測方法を示す情報を符号データから復号する。予測画像生成部209は、与えられた予測情報に従って、処理領域内の被写体ごとに予測画像を生成する。画像信号復号部210は、生成された予測画像を用いて、符号データを復号して復号画像を生成する。復号画像メモリ211は、生成された復号画像を記憶する。次に、図5を参照して、図4に示す画像復号装置200の動作を説明する。図9は、図4に示す画像復号装置200の動作を示すフローチャートである。まず、符号データ入力部201は復号対象画像の符号データを入力し、符号データメモリ202に記憶する。一方、デプスマップ入力部203は、復号対象画像に対するデプスマップDを入力し、デプスマップメモリ204に記憶するステップS201。ここで入力されるデプスマップは、符号化時に使用したデプスマップと同じものとする。これは符号化装置で使用した情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化に使用されたものとは異なるものが入力されてもよい。入力されるデプスマップとしては、例えば、別途復号されたデプスマップや、別の視点に対して復号されたデプスマップを用いて合成されたデプスマップや、別の視点に対して復号された画像群からステレオマッチング等によって推定したデプスマップなどがある。次に、符号データとデプスマップの格納が終了したら、復号対象画像を予め定められた大きさの領域に分割し、分割した領域ごとに、復号対象画像の画像信号を復号するステップS202~S213。すなわち、復号対象領域インデックスをblk、総復号対象領域数をnumBlksで表すとすると、blkを0で初期化しステップS202、その後、blkに1を加算しながらステップS212、blkがnumBlksになるまでステップS213、以下の処理ステップS203~ステップS211を繰り返す。なお、一般的な符号化方式では16画素×16画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、符号化側と同じであればその他の大きさのブロックに分割してもよい。復号対象領域ごとに繰り返される処理は、まず、分離部207が符号データから、ブロックblkの予測情報の符号データと画像信号の符号データとを分離するステップS203。なお、ここではブロックごとに分離しているが、フレーム単位など他の単位で分離してもよい。ただしフレーム単位で分離する場合は、入力された符号データではなく、分離された符号データを蓄積する必要が生じる。また、ブロックごとの処理の最初に行っているが、被写体ごとに予測画像を生成する前であれば、いつ分離してもよい。次に、被写体数設定部205は、復号対象領域blkに含まれる被写体の数被写体数numObjsを決定するステップS204。被写体数は符号化側と同じ処理であれば、どのような処理を用いて設定してもよい。すなわち、ここでの処理は図2に示すステップS103と同じである。なお、被写体数が符号化されて符号データに含まれている場合は、符号データを分離する際に、被写体数に対する符号データも分離し、その符号データを復号することで被写体数を設定する。また、隣接する復号済みブロックの情報を用いて被写体数が予測符号化されている場合は、予め定められた符号化側と同じ処理によって被写体数の予測値を生成し、その予測値を用いて符号データから被写体数を復号する。ただし、被写体数を予測する方法は、符号化側で行われた処理と同じである必要がある。次に、被写体数の設定が終了したら、被写体マップ生成部206は、復号対象領域blkに対して被写体マップSを生成するステップS205。被写体マップとは、ブロック内の各画素にどの被写体が存在しているかを示したものであり、符号化対象領域blkの各画素に対して、0からnumObjs-1までの値で表される被写体識別子番号を割り当てたものである。どのように表現をしてもよいが、最も単純な表現では2次元情報として表現できる。すなわち、被写体マップは例えば図3のような2次元情報になる。ここでの処理は図2に示すステップS104と同じである。次に、被写体マップが得られたら、同じ被写体識別子を持つ画素群ごとに、復号対象画像の画像信号の予測を行うステップS206~S210。すなわち、予測対象の被写体識別子をobjで表すとすると、objを0で初期化しステップS206その後、objに1を加算しながらステップS208、objがnumObjsになるまでステップS210、予測情報復号部208で被写体マップ上の対応する位置の被写体識別子がobjである符号化対象画像の画像信号に対する予測画像を生成する方法を予測情報の符号データから復号する処理ステップS207と、予測画像生成部209で得られた予測情報に従って予測画像を生成する処理ステップS208とを繰り返す。なお、予測画像を生成する方法にはどのような方法を用いても構わないが、復号した予測情報を用いることで、符号化時に使用した予測画像と同じものを生成できる必要がある。また、本実施形態では被写体識別子objごとに予測情報を復号しているが、復号対象領域blkごとにまとめて復号してもよいし、画像全体でまとめて復号してもよい。その場合、復号した予測情報を蓄積しておき、予測情報の復号処理を、符号化対象領域blkごとに1度だけ行われる処理や、画像全体で1度だけ行われる処理とすることができる。次に、復号対象領域blkに対する予測画像の生成が終わったら、画像信号復号部210は、生成した予測画像を用いて復号対象領域blkにおける復号対象画像の画像信号を復号するステップS211。復号にはどのような方法を用いてもよいが、符号化時に用いた方法に対応する方法を用いる必要がある。MPEG-2やH.264/AVCなどの一般的な符号化が使用されている場合は、符号データに対して、エントロピー復号、逆2値化、逆量子化、IDCTなどの周波数逆変換を順に施し、得られた2次元信号に対して予測信号予測画像を加え、最後に画素値の値域でクリッピングを行うことで画像信号を復号する。復号して得られた画像信号は、画像復号装置200の出力となると共に、他のブロックを符号化する際の予測画像を生成するために復号画像メモリ211に記憶する。なお、復号画像をフレーム単位で出力する必要がある場合は、画像信号復号部210からは直接出力せずに、1フレーム分の処理が終わったところで、復号画像メモリ211から出力する。<第2実施形態>次に、第2実施形態における画像符号化装置及び画像復号装置について説明する。第1実施形態では、デプスマップの各画素の値をそのまま用いて被写体マップを生成するため、デプスマップの取得誤差や符号化ノイズの影響を受けて、非常に小さな孤立した領域が1つの被写体と決定されることがある。また、ブロック端にほんの少しだけ被写体が残っている場合なども、同様に非常に小さな領域に対して1つの被写体識別子が対応付けられることになる。そのように生成される小さな領域に対して1つの予測画像生成方法を割り当てる場合、予測効率の改善による符号量削減よりも、予測画像生成方法を符号化するために必要になる符号量増加のほうが多くなるため効率的な符号化を実現することができない。そこで生成された被写体マップSにおいて、微小な被写体画素集合を隣接する被写体と統合してもよい。図6、図7を参照して、第2実施形態における画像符号化装置及び画像復号装置が微小な被写体画素集合を隣接する被写体と統合して画像符号化及び画像復号を行う動作を説明する。図6は、第2実施形態における画像符号化装置の動作を示すフローチャートである。図6において、図2に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図6に示す動作が図2に示す動作と異なる点は、被写体マップを生成した後に、被写体マップを修正するステップステップS115が追加されている点である。図7は、第2実施形態における画像復号装置の動作を示すフローチャートである。図7において、図5に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図7に示す動作が図5に示す動作と異なる点は、被写体マップを生成した後に、被写体マップを修正するステップステップS214が追加されている点である。ここでは被写体マップを修正するだけでなく、それに伴って被写体数numObjsも更新する。ここでの処理は符号化側と復号側との処理が一致していればどのような処理を用いてもよい。例えば、被写体マップを生成した際に生成したクラスタのサイズが予め定められた閾値以下の場合に、そのクラスタを隣接するクラスタに統合する方法がある。複数のクラスタと隣接している場合は、予め定めた規則に従って統合を行う。どのような規則を用いてもよいが、例えば、微小クラスタに接する画素の多いクラスタと統合する、クラスタ内の画素に対する平均デプス値が近いクラスタと統合する、クラスタ内の画素に対する平均デプス値が小さいまたは大きいクラスタと統合するなどの統合規則がある。なお、複数の統合規則の組み合わせを用いてもよい。統合対象を判定する閾値や、統合規則の選択をシーケンス、フレーム、スライス、ブロックなどの単位で指定してもよい。その場合、画像符号化においては、それらを指定する情報を、シーケンスヘッダ、フレームヘッダ、スライスヘッダ、ブロックヘッダなどの適切な位置で必要に応じて符号化する必要があり、画像復号においては、それらを指定する情報を適切な位置で必要に応じて復号して切り替える必要がある。また、既に符号化済みまたは復号済みの隣接ブロック内のクラスタとの統合を許可してもよい。その場合、既に符号化済みまたは復号済みの隣接ブロック内のクラスタと統合された画素に対しては、画像符号化時には、ステップS106において、統合先で使用された予測画像生成方法を用いて予測画像を生成し、ステップS107をスキップする。画像復号時には、ステップS207において予測情報を符号データから復号せずに、統合先で使用された予測情報を用いて予測画像を生成する。なお、この場合は符号化または復号された予測情報を蓄積しておく必要がある。<第3実施形態>次に、第3実施形態における画像符号化装置及び画像復号装置について説明する。第3実施形態においては、小さな領域が1つの被写体として生成されるのを防ぐために、被写体マップを生成する前に、入力されたデプスマップにフィルタをかける。図8、図9を参照して、第3実施形態における画像符号化装置及び画像復号装置がデプスマップにフィルタ処理を加えて画像符号化及び画像復号を行う動作を説明する。図8は、第3実施形態における画像符号化装置の動作を示すフローチャートである。図8において、図2に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図8に示す動作が図2に示す動作と異なる点は、デプスマップを入力した後に、デプスマップにフィルタをかけるステップステップS116が追加されている点である。図9は、第3実施形態における画像復号装置の動作を示すフローチャートである。図9において、図5に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図9に示す動作が図5に示す動作と異なる点は、デプスマップを入力した後に、デプスマップにフィルタをかけるステップステップS215が追加されている点である。ここで用いるフィルタは、どのようなフィルタを用いてもよいが、クラスタリングによって小さな領域が1つの被写体として判定されるのを防ぐことが目的であるため、一般的には、デプスマップの空間相関を高めるようなフィルタを用いる。例えば、2次元のメディアンフィルタやバイラテラルフィルタ、Non-localmeansNLMフィルタを用いればよい。メディアンフィルタとは、注目画素の値を一定距離内の画素の値の中央値で置き換えるフィルタである。バイラテラルフィルタとは、エッジを保持しながら平滑化するフィルタである詳しくは文献CTomasiRManduchiBilateralFilteringforGrayandColorImagesiccvpp839SixthInternationalConferenceonComputerVision1998参照。NLMフィルタとは、画素ごとにマッチング度合いを考慮した係数を計算して畳み込むフィルタである詳しくは文献ABuadesBCollJMMorelANonLocalAlgorithmforImageDenoisingcvprvol2pp60652005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognitionVolume22005参照。なお、同じフィルタを繰り返しかけてもよいし、複数種類のフィルタを組み合わせて使ってもよい。ただし、符号化側と復号側とで行うフィルタ処理と一致させる必要がある。一致させるためには、予め使用するフィルタの種類や回数を固定しておいてもよいし、使用するフィルタの種類や回数に関する情報を符号化して、復号側に伝えてもよい。また、小さな領域が1つの被写体として生成されるのを防ぐために、上述した第2の実施形態の方法を組み合わせ、被写体マップ生成前にデプスマップにフィルタ処理を施し、被写体マップの生成後に微小なクラスタを隣接するクラスタと統合する処理を行う方法もある。<第4実施形態>次に、第4実施形態における画像符号化装置及び画像復号装置について説明する。第1実施形態では、予測画像の生成法を指定する単位を、デプスマップの値の類似性から生成する任意形状の領域分割に従って決定しているが、画像信号の空間相関や時間相関は同じ被写体であっても異なることがあるため、被写体マップによって決定した領域をさらに分割し、得られた小領域ごとに異なる予測画像生成法を指定してもよい。図10、図11を参照して、第4実施形態における画像符号化装置及び画像復号装置が被写体マップで決定した領域をさらに分割して画像符号化及び画像復号を行う動作を説明する。図10は、第4実施形態における画像符号化装置の動作を示すフローチャートである。図10において、図2に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図10に示す動作が図2に示す動作と異なる点は、被写体ごとにその画素の集合の分割方法を決定しステップS117、その分割された小領域ごとに予測画像生成法を決定して予測画像を生成しステップS106’、領域分割方法と各小領域の予測方法を示す情報を符号化するステップS107’という点である。図11は、第4実施形態における画像復号装置の動作を示すフローチャートである。図11において、図5に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図11に示す動作が図5に示す動作と異なる点は、被写体ごとにその画素集合の分割方法を示す情報を符号データから復号しステップS216、その分割された小領域ごとに予測画像の生成方法を示す情報を符号データから復号しステップS207’、それら得られた分割方法と予測画像生成方法に従って被写体objの画素群に対する予測画像を生成するステップS208’という点である。被写体objに対する画素の集合を分割する方法は、どのような方法を用いてもよい。例えば、被写体obj毎に、1分割を行わない、2ブロックblkを2等分する水平のラインで分割する、3ブロックblkを2等分する鉛直のラインで分割する、4ブロックblkを4等分する十字のラインで分割するうち、いずれかを予測効率や符号化効率を基準にして選択してもよい。なお、被写体objの形状や大きさを考慮して分割を決定する方法もある。例えば、被写体objの重心を通る水平ラインや鉛直ラインを用いる方法や、被写体objを含む傾きのない最小の長方形を見つけ、その長方形を等分するラインを用いる方法がある。分割方法を示す情報を符号化する方法および復号する方法は、お互いに解釈できる方法であれば、どのような方法を用いてもよい。例えば、上記の例のように4通りの中から1つを選ぶのであれば、それぞれに00、01、10、11の符号を割り当ててもよいし、これらバイナリ列を隣接ブロック等の情報を用いて算術符号化してもよい。その場合、復号時は算術復号をして得られたバイナリ列を解釈することで正しく情報が得られる。なお、分割方法を示す情報と予測画像の生成方法を示す情報を一緒に符号化または復号してもよい。<第5実施形態>次に、第5実施形態における画像符号化装置及び画像復号装置について説明する。第1実施形態では、各ブロックに対して被写体数を決定し、それに基づいてブロック内の画素をクラスタリングすることで分割方法を決定しているが、被写体数の代わりに分割規則を与えて、その規則に従ってブロック分割を決定する方法もある。図12、図13を参照して、第5実施形態における画像符号化装置及び画像復号装置が分割規則を与えてブロック分割を設定して画像符号化及び画像復号を行う動作を説明する。図12は、第5実施形態における画像符号化装置の動作を示すフローチャートである。図12において、図2に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図12に示す動作が図2に示す動作と異なる点は、ブロックごとに、分割規則に従ってブロック内のデプスをグルーピングして被写体マップSを生成しステップS119、その結果から被写体数を計算するステップS120という点である。図13は、第5実施形態における画像復号装置の動作を示すフローチャートである。図13において、図5に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図13に示す動作が図5に示す動作と異なる点は、ブロックごとに、分割規則に従ってブロック内のデプスをグルーピングして被写体マップSを生成しステップS217、その結果から被写体数を計算するステップS218という点である。分割規則は符号化側と復号側とで同じ規則が利用できるのであれば、どのようなものを用いてもよい。例えば、Sobelフィルタ等を用いてデプスマップのエッジを抽出し、そのエッジまたはその内側や外側を領域の境界とする規則でもよい。また、デプスの値域を幾つかの区間に分割し、同じ区間に属するデプス値を持つ画素ごとに領域を設定する規則でもよい。この場合、デプス値区間の分割は固定のものでもよいし、量子化パラメータ等の符号化品質をコントロールするパラメータに依存して可変にしてもよいし、別途分割情報を符号化して伝送してもよい。また、被写体数を明示的に伝送する方法と組み合わせて、被写体マップSを生成した後に、指定された被写体数となるように、被写体を統合する処理を行ってもよい。前述した説明においては、1枚の画像を符号化または復号する処理を説明したが、連続する複数枚の画像を処理することで動画像を符号化または復号する処理にも拡張できることは容易に考えられる。また、複数のカメラで撮影された多視点画像や多視点動画像を符号化または復号する処理にも適用可能なことも容易に類推可能である。これらの場合、予測モードは動きまたは視差ベクトルや参照フレームを含む1つの予測画像を生成する方法と解釈する。また、画像全体を符号化または復号する処理として説明したが、画像の一部分のみに適用することも可能である。また、上述の説明では、予め定められたブロックごとに処理を行う場合を説明したが、画像全体や複数のブロックの集合に対して、デプスマップを用いた被写体判別によって領域分割を行ってもよい。また、符号化または復号対象画像に対するデプスマップを用いているが、法線マップや温度画像などの被写体に依存した値を持つ画像情報を代わりに用いることも可能である。ただし、符号化側で使用されたものが復号側でも同様に入手できる必要がある。なお、ここでいう被写体とは、撮影されている個々の物体や人物そのものを意味するのではなく、対応するデプスマップの値が類似する画素の集合であり、本発明ではその画素の集合に対して単一の方法で予測画像が生成される。すなわち、単一の実物体であっても、対応するデプスマップの値が大きく異なる場合など、単一の方法で予測画像が生成できないと判断された場合は、複数の被写体とみなされることもある。また、複数の実物体であっても、対応するデプスマップの値が類似し、単一の方法で予測画像が生成される場合は、単一の被写体とみなされることもある。また、被写体数は、ブロック内に存在する被写体の数であり、予測画像の生成方法に関する情報を付与する対象の個数である。被写体数は、ブロック内のデプスマップの値を解析することで生成することができる。例えば、ブロック内の画素をデプスマップの値や位置などの情報を用いてクラスタリングし、各クラスタの評価値例えば、デプスマップ値の分散が一定値以下となるクラスタ数の最大値を被写体数とすることが可能である。また、経験などに基づいて外部から与えたり、符号化結果の画質や符号量をコントロールするために指定されるパラメータ例えば、H.264などにおける量子化パラメータに基づいて決定したり、予め定められた値を用いたりすることも可能である。以上説明した画像符号化装置及び画像復号装置の機能は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。図14は、画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示す図である。図14に示すシステムは、プログラムを実行するCPU50と、CPU50がアクセスするプログラムやデータが格納されるRAM等のメモリ51と、カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部52ディスク装置等による画像信号を記憶する記憶部でもよいと、例えばネットワークを介して符号化対象画像に対するデプスマップを入力するデプスマップ入力部53ディスク装置等による画像信号を記憶する記憶部でもよいと、図2等で説明した処理をCPU50に実行させるソフトウェアプログラムである画像符号化プログラム541が格納されたプログラム記憶装置54と、CPU50がメモリ51にロードされた画像符号化プログラム541を実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部55ディスク装置等による多重化符号データを記憶する記憶部でもよいとが、バスで接続された構成になっている。図示は省略するが、他に、符号データ記憶部、復号画像記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、画像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。図15は、画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示す図である。図15に示すシステムは、プログラムを実行するCPU60と、CPU60がアクセスするプログラムやデータが格納されるRAM等のメモリ61と、画像符号化装置が本手法により符号化した符号データを入力する符号データ入力部62ディスク装置等による多重化符号データを記憶する記憶部でもよいと、例えばネットワークを介して復号対象の画像に対するデプスマップを入力する参照視点画像入力部63ディスク装置等による画像信号を記憶する記憶部でもよいと、図9等で説明した処理をCPU60に実行させるソフトウェアプログラムである画像復号プログラム641が格納されたプログラム記憶装置64と、CPU60がメモリ61にロードされた画像復号プログラム641を実行することにより、符号データを復号して得られた復号画像を、再生装置などに出力する復号画像出力部65とが、バスで接続された構成になっている。図示省略するが、他に、復号画像記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、画像信号符号データ記憶部、予測情報符号データ記憶部が用いられることもある。以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加、省略、置換、その他の変更を行ってもよい。以上説明したように、画像信号がその画像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合に、被写体依存のデータを用いて対応する領域の画像信号を符号化する際のブロック分割を決定することで、被写体に応じた任意形状のブロック分割を表現するための符号量を削減することができる。さらに、被写体に応じたブロック分割により、被写体に依存する相関を利用することによって画像信号の予測精度が向上し、予測残差の符号化に必要な符号量も削減することができる。これらは結果的に、効率的な画像符号化を実現することができるようになる。"