"同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像の画像伝送方法であって、前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定ステップと、前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリングステップと、前記ダウンサンプリングステップで得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化ステップと、前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化ステップと、前記画像符号化ステップにより得られた低解像度多視点画像符号データを復号する画像復号ステップと、前記デプスマップ符号化ステップにより得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号ステップと、前記デプスマップ復号ステップで得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定ステップと、前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号ステップで得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリングステップと、前記アップサンプリングステップで得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成ステップとを有することを特徴とする画像伝送方法。ダウンサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第1のフィルタ選択ステップと、アップサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第2のフィルタ選択ステップとをさらに有し、前記ダウンサンプリングステップは、前記第1のフィルタ選択ステップで選択されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、前記アップサンプリングステップは、前記第2のフィルタ選択ステップで選択されたフィルタを用いて前記低解像度多視点画像をアップサンプリングすることを特徴とする請求項1に記載の画像伝送方法。前記第1のフィルタ選択ステップで選択したフィルタを識別する情報を符号化し付加情報符号データとして出力する付加情報符号化ステップと、前記付加情報符号データを復号して前記フィルタを識別する情報を出力する付加情報復号ステップとをさらに有し、前記第2のフィルタ選択ステップは、前記フィルタを識別する情報に基づいてアップサンプリングに用いるフィルタを選択することを特徴とする請求項2に記載の画像伝送方法。画像の復元効率が最も高くなるフィルタを設定する第1のフィルタ設定ステップと、画像の復元効率が最も高くなるフィルタを設定する第2のフィルタ設定ステップとをさらに有し、前記ダウンサンプリングステップは、前記第1のフィルタ設定ステップで設定されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、前記アップサンプリングステップは、前記第2のフィルタ設定ステップで設定されたフィルタを用いて前記低解像度多視点画像をアップサンプリングすることを特徴とする請求項1に記載の画像伝送方法。前記第1のフィルタ設定ステップで設定したフィルタの識別情報を符号化して付加情報符号データを出力する付加情報符号化ステップと、前記付加情報符号データを復号してフィルタの識別情報を出力する付加情報復号ステップとをさらに有し、前記第2のフィルタ設定ステップは、前記フィルタの識別情報に基づき前記アップサンプリングに用いるフィルタを設定することを特徴とする請求項4に記載の画像伝送方法。同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像の画像伝送装置であって、前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定手段と、前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリング手段と、前記ダウンサンプリング手段で得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化手段と、前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化手段と、前記画像符号化手段により得られた低解像度多視点画像符号データを復号する画像復号手段と、前記デプスマップ符号化手段により得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号手段と、前記デプスマップ復号手段で得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定手段と、前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号手段で得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリング手段と、前記アップサンプリング手段で得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成手段とを備えることを特徴とする画像伝送装置。ダウンサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第1のフィルタ選択手段と、アップサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第2のフィルタ選択手段とをさらに備え、前記ダウンサンプリング手段は、前記第1のフィルタ選択手段で選択されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、前記アップサンプリング手段は、前記第2のフィルタ選択手段で選択されたフィルタを用いて前記低解像度多視点画像をアップサンプリングすることを特徴とする請求項6に記載の画像伝送装置。画像の復元効率が最も高くなるフィルタを設定する第1のフィルタ設定手段と、画像の復元効率が最も高くなるフィルタを設定する第2のフィルタ設定手段とをさらに備え、前記ダウンサンプリング手段は、前記第1のフィルタ設定手段で設定されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、前記アップサンプリング手段は、前記第2のフィルタ設定手段で設定されたフィルタを用いて前記低解像度多視点画像をアップサンプリングすることを特徴とする請求項6に記載の画像伝送装置。同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像を送信する画像送信装置であって、前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定手段と、前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリング手段と、前記ダウンサンプリング手段で得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化手段と、前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化手段とを備えることを特徴とする画像送信装置。同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像を送信する画像送信装置から送信された自由視点画像符号データを受信する画像受信装置であって、前記画像符号化手段により得られた低解像度多視点画像符号データを復号する画像復号手段と、前記デプスマップ符号化手段により得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号手段と、前記デプスマップ復号手段で得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定手段と、前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号手段で得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリング手段と、前記アップサンプリング手段で得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成手段とを備えることを特徴とする画像受信装置。同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像を送信する画像送信装置上のコンピュータに画像送信処理を行わせる画像送信プログラムであって、前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定ステップと、前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリングステップと、前記ダウンサンプリングステップで得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化ステップと、前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化ステップとを行わせることを特徴とする画像送信プログラム。同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像を送信する画像送信装置から送信された自由視点画像符号データを受信する画像受信装置上のコンピュータに画像受信処理を行わせる画像受信プログラムであって、前記画像符号化ステップにより得られた低解像度多視点画像符号データを復号する画像復号ステップと、前記デプスマップ符号化ステップにより得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号ステップと、前記デプスマップ復号ステップで得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定ステップと、前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号ステップで得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリングステップと、前記アップサンプリングステップで得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成ステップとを行わせることを特徴とする画像受信プログラム。しかしながら、多視点デプスマップをダウンサンプリングする方法では、デプスマップのダウンサンプリングによって三次元情報が欠損し視点間画素対応の正確性が損なわれることで、仮想視点における画像を合成した時に画像品質が著しく低下するという問題がある。逆にデプスマップの解像度を維持し多視点画像をダウンサンプリングした場合、三次元情報が正確に保持されるため上記の問題は発生しないが、合成前の画像自体の品質が低下することにより合成画像の品質も同様に低下すると容易に類推できる。本発明は、このような事情に鑑みてなされたもので、合成画像の品質を維持しながら伝送データの総画素数の削減を行うことができる自由視点の画像伝送方法、画像伝送装置、画像送信装置、画像受信装置、画像送信プログラム及び画像受信プログラムを提供することを目的とする。本発明は、同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像の画像伝送方法であって、前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定ステップと、前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリングステップと、前記ダウンサンプリングステップで得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化ステップと、前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化ステップと、前記画像符号化ステップにより得られた低解像度多視点画像符号データを復号する画像復号ステップと、前記デプスマップ符号化ステップにより得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号ステップと、前記デプスマップ復号ステップで得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定ステップと、前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号ステップで得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリングステップと、前記アップサンプリングステップで得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成ステップとを有することを特徴とする。本発明は、ダウンサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第1のフィルタ選択ステップと、アップサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第2のフィルタ選択ステップとをさらに有し、前記ダウンサンプリングステップは、前記第1のフィルタ選択ステップで選択されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、前記アップサンプリングステップは、前記第2のフィルタ選択ステップで選択されたフィルタを用いて前記低解像度多視点画像をアップサンプリングすることを特徴とする。本発明は、前記第1のフィルタ選択ステップで選択したフィルタを識別する情報を符号化し付加情報符号データとして出力する付加情報符号化ステップと、前記付加情報符号データを復号して前記フィルタを識別する情報を出力する付加情報復号ステップとをさらに有し、前記第2のフィルタ選択ステップは、前記フィルタを識別する情報に基づいてアップサンプリングに用いるフィルタを選択することを特徴とする。本発明は、画像の復元効率が最も高くなるフィルタを設定する第1のフィルタ設定ステップと、画像の復元効率が最も高くなるフィルタを設定する第2のフィルタ設定ステップとをさらに有し、前記ダウンサンプリングステップは、前記第1のフィルタ設定ステップで設定されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、前記アップサンプリングステップは、前記第2のフィルタ設定ステップで設定されたフィルタを用いて前記低解像度多視点画像をアップサンプリングすることを特徴とする。本発明は、前記第1のフィルタ設定ステップで設定したフィルタの識別情報を符号化して付加情報符号データを出力する付加情報符号化ステップと、前記付加情報符号データを復号してフィルタの識別情報を出力する付加情報復号ステップとをさらに有し、前記第2のフィルタ設定ステップは、前記フィルタの識別情報に基づき前記アップサンプリングに用いるフィルタを設定することを特徴とする。本発明は、同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像の画像伝送装置であって、前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定手段と、前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリング手段と、前記ダウンサンプリング手段で得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化手段と、前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化手段と、前記画像符号化手段により得られた低解像度多視点画像符号データを復号する画像復号手段と、前記デプスマップ符号化手段により得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号手段と、前記デプスマップ復号手段で得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定手段と、前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号手段で得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリング手段と、前記アップサンプリング手段で得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成手段とを備えることを特徴とする。本発明は、ダウンサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第1のフィルタ選択手段と、アップサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第2のフィルタ選択手段とをさらに備え、前記ダウンサンプリング手段は、前記第1のフィルタ選択手段で選択されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、前記アップサンプリング手段は、前記第2のフィルタ選択手段で選択されたフィルタを用いて前記低解像度多視点画像をアップサンプリングすることを特徴とする。本発明は、画像の復元効率が最も高くなるフィルタを設定する第1のフィルタ設定手段と、画像の復元効率が最も高くなるフィルタを設定する第2のフィルタ設定手段とをさらに備え、前記ダウンサンプリング手段は、前記第1のフィルタ設定手段で設定されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、前記アップサンプリング手段は、前記第2のフィルタ設定手段で設定されたフィルタを用いて前記低解像度多視点画像をアップサンプリングすることを特徴とする。本発明は、同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像を送信する画像送信装置であって、前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定手段と、前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリング手段と、前記ダウンサンプリング手段で得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化手段と、前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化手段とを備えることを特徴とする。本発明は、同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像を送信する画像送信装置から送信された自由視点画像符号データを受信する画像受信装置であって、前記画像符号化手段により得られた低解像度多視点画像符号データを復号する画像復号手段と、前記デプスマップ符号化手段により得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号手段と、前記デプスマップ復号手段で得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定手段と、前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号手段で得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリング手段と、前記アップサンプリング手段で得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成手段とを備えることを特徴とする。本発明は、同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像を送信する画像送信装置上のコンピュータに画像送信処理を行わせる画像送信プログラムであって、前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定ステップと、前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリングステップと、前記ダウンサンプリングステップで得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化ステップと、前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化ステップとを行わせることを特徴とする。本発明は、同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像を送信する画像送信装置から送信された自由視点画像符号データを受信する画像受信装置上のコンピュータに画像受信処理を行わせる画像受信プログラムであって、前記画像符号化ステップにより得られた低解像度多視点画像符号データを復号する画像復号ステップと、前記デプスマップ符号化ステップにより得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号ステップと、前記デプスマップ復号ステップで得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定ステップと、前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号ステップで得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリングステップと、前記アップサンプリングステップで得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成ステップとを行わせることを特徴とする。本発明によれば、高解像度多視点画像をダウンサンプリングして低解像度多視点画像として高解像度デプスマップと共に送信し、受信後に高解像度デプスマップから得られる三次元情報を用いて視点間で画素情報を参照し合うことにより、低解像度多視点画像をアップサンプリングして自由視点画像合成に用いることができ、結果として合成画像の品質を維持しながら伝送データの総画素数の削減を行うことができるという効果が得られる。<第1の実施形態>以下、図面を参照して、本発明の第1の実施形態による画像伝送装置を説明する。図1は同実施形態の構成を示すブロック図である。画像伝送装置100は、画像送信装置200と、画像受信装置300から構成する。画像送信装置200は、多視点画像入力部201、多視点デプスマップ入力部202、縮小率設定部203、ダウンサンプリング部204、デプスマップ符号化部205、画像符号化部206、多重化部207を備える。多視点画像入力部201は、自由視点画像を生成するためのシーンを多視点から撮影した高解像度多視点画像を入力する。多視点デプスマップ入力部202は、高解像度多視点デプスマップを入力する。縮小率設定部203は、多視点画像の縮小率を決定する。ダウンサンプリング部204は、入力された高解像度多視点画像を設定された縮小率で縮小し低解像度多視点画像を生成する。デプスマップ符号化部205は、入力された高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを生成する。画像符号化部206は、低解像度多視点画像を符号化し低解像度多視点画像符号データを生成する。多重化部207は、低解像度多視点画像符号データと高解像度多視点デプスマップ符号データとを多重化し自由視点画像符号データを生成する。また、画像受信装置300は、符号データ入力部301、逆多重化部302、画像復号部303、デプスマップ復号部304、三次元投影点設定部305、視点間対応関係設定部306、アップサンプリング部307、仮想視点設定部308、自由視点画像合成部309を備える。符号データ入力部301は、自由視点画像符号データを入力する。逆多重化部302は、入力された符号データを低解像度多視点画像符号データと高解像度多視点デプスマップ符号データとに逆多重化する。画像復号部303は、低解像度多視点画像符号データを復号し低解像度多視点画像とする。デプスマップ復号部304は、高解像度多視点デプスマップ符号データを復号し高解像度多視点デプスマップとする。三次元投影点設定部305は、高解像度多視点画像における各画素の三次元上への投影点を計算する。視点間対応点設定部306は、各視点各画素の三次元投影点を用いて、高解像度多視点画像の視点間画素対応関係を小数画素精度で求める。アップサンプリング部307は、求めた視点間画素対応関係を用いて低解像度多視点画像をアップサンプリングし、高解像度多視点画像とする。仮想視点設定部308は、自由視点画像を生成するための仮想的な視点を設定する。自由視点画像合成部309は、高解像度多視点画像と高解像度デプスマップを用いて、設定した仮想視点からシーンを観測した画像を自由視点画像として合成する。次に、図2を参照して、図1に示す画像送信装置200の処理動作を説明する。図2は、図1に示す画像送信装置200の処理動作を示すフローチャートである。図2は、図1に示す画像送信装置200によって、自由視点画像合成に必要となる、同じシーンを複数の視点から撮影した多視点画像と、それぞれの視点におけるシーンの深度情報を記録した多視点デプスマップとを伝送する際の処理動作を示したものである。まず、多視点画像入力部201は高解像度多視点画像を入力し、多視点デプスマップ入力部202は高解像度多視点デプスマップを入力するステップS1。次に、縮小率設定部203は多視点画像の縮小率を設定するステップS2。この縮小率は縦横同率の縮小率としても構わないし、縦横それぞれに独立の縮小率を設定しても構わない。また、縮小率の値そのものは、固定値を用いても構わないし、多視点画像の解像度や視点数等から適切な値を計算する方法をとっても構わない。画像受信装置300側でその値を得ることができない場合は送信側で値を符号化して伝送しても構わない。次に、ダウンサンプリング部204は、設定された縮小率で高解像度多視点画像を縮小し、低解像度多視点画像を生成するステップS3。続いて、デプスマップ符号化部205は高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データとし、画像符号化部206により低解像度多視点画像を符号化し低解像度多視点画像符号データとするステップS4。符号化には任意の手法を用いて構わない。次に、多重化部207は、低解像度多視点画像符号データと高解像度多視点デプスマップ符号データとを自由視点画像符号データとして多重化しステップS5、多重化した符号データを出力するステップS6。この出力方法としては、ネットワークにて伝送しても構わないし、何らかの記録媒体に記録する方法をとっても構わない。次に、図3を参照して、図1に示す画像受信装置300の処理動作を説明する。図3は、図1に示す画像受信装置300の処理動作を示すフローチャートである。図3は、画像受信装置300によって、画像送信装置200により伝送された低解像度多視点画像と高解像度多視点デプスマップを受信し、高解像度多視点デプスマップを用いて多視点画像の解像度をアップサンプリングした上で、それらを用いて自由視点画像を合成する際の処理動作を示したものである。まず、符号データ入力部301は、自由視点画像符号データを入力するステップS11。このときの入力はネットワークによる伝送でも構わないし、何らかの記録媒体からの入力でも構わない。入力された自由視点画像符号データは逆多重化部302に受け渡され、逆多重化部302は、低解像度多視点画像符号データと高解像度多視点デプスマップ符号データとに逆多重化するステップS12。画像復号部303は、低解像度多視点画像符号データを復号し低解像度多視点画像を出力し、デプスマップ復号部304は高解像度多視点デプスマップ符号データを復号し高解像度多視点デプスマップを出力するステップS13。このときの復号方法は送信装置側で符号化に用いたものと同一の方法が使われる。次に、三次元投影点設定部305は、高解像度多視点デプスマップより得られる奥行情報と各視点のカメラパラメータに基づき、高解像度多視点画像における各画素の三次元上への投影点を計算するステップS14。各視点のカメラパラメータは、送信側と同一の値を得られればよいとし、画像から推定を行っても構わないし、送信側で符号化して伝送しても構わない。次に、視点間対応点設定部306は、高解像度多視点画像の視点間画素対応関係を小数画素精度で求めるステップS15。これは各画素の三次元投影点が他の視点カメラによって撮影される際の投影面での小数画素精度の位置をその視点における対応点の位置とするものである。次に、アップサンプリング部307は、ステップS15で得られた視点間画素対応関係を用いて低解像度多視点画像をアップサンプリングし高解像度多視点画像を出力するステップS16。このアップサンプル処理は次の関数Uvで表される。ここで、HRvは視点vにおける高解像度画像、LRkは視点kにおける低解像度画像、fk,lはステップS15で得られる視点kにおける高解像度画像の各画素に対する視点lの低解像度画像上の小数画素精度の対応位置を示す関数を表す。具体的には、ステップS15で得られた視点間画素対応関係に基づいて得られる他視点の小数画素位置の画素値を参照することによってアップサンプル処理を行う。このときのアップサンプル処理uvは次の数式で表される。ここで、多視点画像の視点数をn、視点kの高解像画像の画素pkに対する視点lの低解像度画像LRlでの対応点をClpkとした。また、小数画素位置の画素値LRl[Clpv]は周辺の整数画素の値から任意の補間法を使って求める。例えば4近傍画素から一次補間で求める方法等が適用できる。あるいは、その視点における高解像度デプスマップの値を参照し、オブジェクト境界部分などの近傍画素同士で奥行き値が大きく異なる場合には、最近傍画素の奥行き値を基準として、奥行き値が一定範囲内の近傍画素群を用いて補間を行うなどの方法も考えられる。なお、最近傍画素の奥行き値の代わりに、アップサンプル対象視点の画素に対する奥行き値を用いても構わない。ただし、同じ三次元位置を示す奥行き値が視点間で異なる場合には、アップサンプル対象視点の画素に対する奥行き値を、補間処理を行う視点における奥行き値へ変換する必要がある。このとき関数uvとしては任意の関数を用いることができる。例えば、次の数式で表される重み付け平均を用いても構わない。このとき、重みwkpvを全て1とすると単純平均による処理となる。また、重みwkpvとして、アップサンプリング対象視点vと視点kとの距離が近いほど大きな値となる重みを用いても構わないし、Ckpvの最近傍の整数画素位置からの距離が近いほど大きな値となる重みを用いても構わないし、この2つの重みの組み合わせによる重みを用いても構わない。また、高解像度画像が得られた際の低解像度画像における誤差を最小化するように重みを求めても構わない。なお、argminは与えられた関数の最小値を与える、下部で与えられたパラメータを返す関数である。DvはステップS3のダウンサンプリング処理、pv’はpvに対応する低解像度画像上の整数画素位置を表す。ここでは、誤差として差分の二乗を用いたが、差分の絶対値など他の誤差尺度を用いても構わない。また、上記の式では視点vにおける誤差のみを考慮したが、高解像度画像が得られた際の全視点の低解像度画像における誤差の合計値や最大値,分散値を考慮しても構わない。さらに、誤差だけでなく、高解像度画像における画像らしさの評価値も誤差尺度に加えても構わない。画像らしさの評価値にはTotalVariationノルムなどを用いることができる。また、高解像度画像における画像らしさを考慮しながら全視点の低解像度画像における誤差を最小化することで、アップサンプリングを行う手法として、超解像を用いるようにしてもよい。超解像の手法の詳細は、文献:FarsiuSRobinsonMDEladMMilanfarFastandrobustmultiframesuperresolutionIEEETRANSACTIONSONIMAGEPROCESSINGVol13No10に記載されている。次に、仮想視点設定部308は、自由視点画像を生成する仮想的な視点を設定するステップS17。これはユーザによる設定等の外部入力でも構わないし、固定値でも構わない。そして、自由視点画像合成部309は、高解像度多視点画像と高解像度デプスマップを用いて、設定した仮想視点からシーンを観測した画像を自由視点画像として合成するステップS18。詳しい手法は、文献:MoriYFukushimaNFujiiTTanimotoMViewgenerationwith3DwarpingusingdepthinformationforFTVImageCommunicationVol24No12に記載されている。このときにステップS14で求めた各視点の三次元投影点の情報を使って演算量の削減をすることが可能となる。最後に、自由視点画像合成部309は、合成された画像を出力するステップS19。<第2の実施形態>次に、本発明の第2の実施形態による画像伝送装置を説明する。図4は、本発明の第2の実施形態による画像伝送装置の構成を示すブロック図である。図4において、図1に示す画像伝送装置と同一の部分には同一の符号を付し、その説明を省略する。図4に示す画像伝送装置が図1に示す画像伝送装置と異なる点は、縮小率設定部203に代えて、ダウンサンプリングに用いるフィルタを選択するフィルタ選択部208が設けられている点と、アップサンプリング部307の前にアップサンプリングに用いるフィルタを選択するフィルタ選択部310が設けられている点である。次に、図5を参照して、図4に示す画像送信装置200の処理動作を説明する。図5は、図4に示す画像送信装置200の処理動作を示すフローチャートである。図5において、図2に示す処理動作と同様の部分には同一の符号を付してある。図5に示す処理動作が図2に示す処理動作と異なる点は、ダウンサンプリング部204において使用するフィルタを選択する処理を行う点である。まず、多視点画像入力部201は高解像度多視点画像を入力し、多視点デプスマップ入力部202は高解像度多視点デプスマップを入力するステップS1。次に、フィルタ選択部208は、多視点画像のダウンサンプリングに用いるフィルタを一般的にダウンサンプリングに用いられるフィルタから選択するステップS2a。これは受信側での復元効率ができるだけ高くなるように画像内容や視点数によって適切なものを選択してもいいし、ユーザ入力などの外部からの入力によって選択しても構わない。選択方法は、例えば、予め設計しておいたフィルタそれぞれを用いてダウンサンプリングとアップサンプリングを行い、元画像と比較して最も復元率の高いものを選択するといった方法が考えられる。また、どのフィルタを選択したかの情報を符号化し付加情報として送信しても構わない。その後、ダウンサンプリング部204は、選択されたダウンサンプリングフィルタを用いて高解像度多視点画像を縮小し、低解像度多視点画像を生成するステップS3。次に、デプスマップ符号化部205は高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データとし、画像符号化部206により低解像度多視点画像を符号化し低解像度多視点画像符号データとするステップS4。続いて、多重化部207は、低解像度多視点画像符号データと高解像度多視点デプスマップ符号データとを自由視点画像符号データとして多重化しステップS5、多重化した符号データを出力するステップS6。次に、図6を参照して、図4に示す画像受信装置300の処理動作を説明する。図6は、図4に示す画像受信装置300の処理動作を示すフローチャートである。図6において、図3に示す処理動作と同様の部分には同一の符号を付してある。図6に示す処理動作が図3に示す処理動作と異なる点は、アップサンプリング部307において使用するフィルタを選択する処理を行う点である。まず、符号データ入力部301は、自由視点画像符号データを入力するステップS11。入力された自由視点画像符号データは逆多重化部302に受け渡され、逆多重化部302は、低解像度多視点画像符号データと高解像度多視点デプスマップ符号データとに逆多重化するステップS12。画像復号部303は、低解像度多視点画像符号データを復号し低解像度多視点画像を出力し、デプスマップ復号部304は高解像度多視点デプスマップ符号データを復号し高解像度多視点デプスマップを出力するステップS13。次に、三次元投影点設定部305は、高解像度多視点デプスマップより得られる奥行情報と各視点のカメラパラメータに基づき、高解像度多視点画像における各画素の三次元上への投影点を計算するステップS14。続いて、視点間対応点設定部306は、高解像度多視点画像の視点間画素対応関係を小数画素精度で求めるステップS15。次に、フィルタ選択部310は、多視点画像のアップサンプリングに用いるフィルタを選択するステップS15a。これは送信側で用いたダウンサンプリングフィルタと対になっている必要があるが、選択方法自体は画像内容や視点数によって適切なものを選択してもいいし、ユーザ入力などの外部からの入力によって選択しても構わない。また、送信側でどのフィルタを用いたかの情報を符号化し付加情報として送信しても構わない。次に、アップサンプリング部307は、低解像度多視点画像を視点間画素対応関係に基づき他視点の画素値を参照することによってアップサンプリングし高解像度他視点画像とするステップS16。アップサンプリングフィルタは選択されたフィルタを用いる。次に、仮想視点設定部308は、自由視点画像を生成する仮想的な視点を設定するステップS17。そして、自由視点画像合成部309は、高解像度多視点画像と高解像度デプスマップを用いて、設定した仮想視点からシーンを観測した画像を自由視点画像として合成するステップS18。最後に、自由視点画像合成部309は、合成された画像を出力するステップS19。<第3の実施形態>次に、本発明の第3の実施形態による画像伝送装置を説明する。図7は、本発明の第3の実施形態による画像伝送装置の構成を示すブロック図である。図7において、図4に示す画像伝送装置と同一の部分には同一の符号を付し、その説明を省略する。図7に示す画像伝送装置が図4に示す画像伝送装置と異なる点は、画像送信装置200において、フィルタ選択部208に代えて、ダウンサンプリングに用いるフィルタを設定するフィルタ設定部209と、フィルタを符号化する付加情報符号化部210が設けられている点である。また、画像受信装置300において、フィルタ選択部310に代えて、付加情報復号部311とフィルタ設定部312設けられている点である。次に、図8を参照して、図7に示す画像送信装置200の処理動作を説明する。図8は、図7に示す画像送信装置200の処理動作を示すフローチャートである。図8において、図5に示す処理動作と同様の部分には同一の符号を付してある。図8に示す処理動作が図5に示す処理動作と異なる点は、ダウンサンプリング部204において使用するフィルタを選択する代わりに、任意のフィルタを設定し符号化し伝送する点である。まず、多視点画像入力部201は高解像度多視点画像を入力し、多視点デプスマップ入力部202は高解像度多視点デプスマップを入力するステップS1。次に、フィルタ設定部209は、多視点画像の送信側でのダウンサンプリングと受信側でのアップサンプリングに用いるフィルタを設定するステップS2b。これは視点数や各視点画像デプスマップの特性によって、受信側での復元効率が最も高くなるようなものを設定すればよい。例えば、横N×縦1のカメラアレイによって撮影された多視点画像には横1/N×縦1に縮小するダウンサンプリングフィルタを用いて、全視点合わせてのサンプリング効率が高くなるようにするといった方法が考えられる。もしくは、デプスマップから得られる三次元情報に基づいて、画像中の部分領域について、その領域を観測可能である視点数に応じてダウンサンプリング率を決定するといった方法も考えられる。例えば1視点からしか観測されない領域はダウンサンプリングされず、全視点から観測可能な領域は1/Nにダウンサンプリングされるといったフィルタになる。アップサンプリングフィルタはダウンサンプリングフィルタと同一の補間法に基づいて設定しても構わないし、別の基準に基づいて設定しても構わない。例えば、あるダウンサンプリングフィルタでダウンサンプリングした画像に対して平均二乗誤差最小化法を用いてアップサンプリングフィルタを決定するといった方法も考えられる。また、このフィルタは全視点で同一のものを設定しても構わないし、視点毎に設定しても構わない。その後、ダウンサンプリング部204により、設定したダウンサンプリングフィルタを用いて高解像度多視点画像を縮小し、低解像度多視点画像を生成するステップS3。次に、付加情報符号化部210は、設定されたアップサンプリングフィルタを符号化し、フィルタ符号データを生成するステップS3a。次に、デプスマップ符号化部205は高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データとし、画像符号化部206により低解像度多視点画像を符号化し低解像度多視点画像符号データとするステップS4。そして、多重化部207は、低解像度多視点画像符号データ、高解像度多視点デプスマップ符号データ及びフィルタ符号データを多重化し自由視点画像符号データを生成しステップS5、多重化した符号データを出力するステップS6。次に、図9を参照して、図7に示す画像受信装置300の処理動作を説明する。図9は、図7に示す画像受信装置300の処理動作を示すフローチャートである。図9において、図6に示す処理動作と同様の部分には同一の符号を付してある。図9に示す処理動作が図6に示す処理動作と異なる点は、アップサンプリング部307において使用するフィルタを選択する代わりに、画像データと共に受信したフィルタ符号データを復号してアップサンプリングに用いる処理を行う点である。まず、符号データ入力部301は、自由視点画像符号データを入力するステップS11。入力された自由視点画像符号データは逆多重化部302に受け渡され、逆多重化部302は、低解像度多視点画像符号データと高解像度多視点デプスマップ符号データ及びフィルタ符号データとに逆多重化するステップS12。画像復号部303は、低解像度多視点画像符号データを復号し低解像度多視点画像を出力し、デプスマップ復号部304は高解像度多視点デプスマップ符号データを復号し高解像度多視点デプスマップを出力するステップS13。次に、三次元投影点設定部305は、高解像度多視点デプスマップより得られる奥行情報と各視点のカメラパラメータに基づき、高解像度多視点画像における各画素の三次元上への投影点を計算するステップS14。続いて、視点間対応点設定部306は、高解像度多視点画像の視点間画素対応関係を小数画素精度で求めるステップS15。次に、付加情報復号部311は、フィルタ符号データを復号しアップサンプリングフィルタを生成するステップS15b。フィルタ設定部312は、復号されたアップサンプリングフィルタを設定する。続いて、アップサンプリング部307は、低解像度多視点画像を視点間画素対応関係に基づき他視点の画素値を参照することによってアップサンプリングし高解像度他視点画像とするステップS16。次に、仮想視点設定部308は、自由視点画像を生成する仮想的な視点を設定するステップS17。そして、自由視点画像合成部309は、高解像度多視点画像と高解像度デプスマップを用いて、設定した仮想視点からシーンを観測した画像を自由視点画像として合成するステップS18。最後に、自由視点画像合成部309は、合成された画像を出力するステップS19。前述した説明においては、出力を自由視点画像である例を説明したが、自由視点画像合成を行わずアップサンプリングした多視点画像を出力とすることで多視点画像伝送装置として利用するようにしてもよい。また、動画の各フレームに対して適用することで自由視点映像伝送装置として利用するようにしてもよい。前述した説明においては、アップサンプリングフィルタを符号化し伝送し受信側でそれを用いてアップサンプリングを行うという例を説明したが、代わりにダウンサンプリングフィルタを符号化し伝送し、受信側でそれを用いて数式4のようなアップサンプリング処理を行っても構わないし、超解像処理を行っても構わない。超解像処理においてアップサンプリングフィルタを内部的に利用する場合はダウンサンプリングフィルタのフィルタ係数から求めても構わないし、ダウンサンプリングフィルタとアップサンプリングフィルタを両方符号化し伝送しても構わない。また、多視点画像のアップサンプリングは画像受信装置300で独立に行う例を説明したが、画像送信装置200でアップサンプリングに用いるパラメータを指定し符号化して伝送するようにしてもよい。画像送信装置200はダウンサンプリング前の高解像度多視点画像を参照することが可能なため、ダウンサンプリングした多視点画像に対して試験的にアップサンプリングを施しながら画質比較を行い、適切なアップサンプリングパラメータを設定することができる。また、前述した説明においては、高解像度デプスマップから三次元投影点を計算して、これを用いて視点間対応点を求める例を説明したが、別の方法として予めホモグラフィ行列を求めておくようにしてもよい。平面上に存在する点vωを、第1のカメラ、第2のカメラそれぞれの座標系でv1、v2とするとき、平面の法線ベクトルをn、平面から第2のカメラまでの距離をdとして、それぞれの投影変換行列A1、A2を用いて、画像上の座標m1とm2に関して、sm1=Hm25H=A1-1RtnT/dA26が成立する。この変換は同一平面上にあるすべての点に対して適用でき、この3×3行列Hをホモグラフィ行列と呼ぶ。多視点デプスマップが8bit=256階調のグレースケール画像である場合、奥行きレベルも256階調であることから、ひとつの視点から別の視点へのホモグラフィ変換行列を奥行きレベル別に256通り計算しておくことで、特に解像度の高い画像を扱う場合には演算量の大幅な削減が期待できる。以上説明したように、合成画像の品質を維持した多視点画像と多視点デプスマップからなる自由視点画像データの総画素数削減を実現するために、多視点画像のダウンサンプリングによって総画素数削減を達成し、画像受信装置で多視点デプスマップを利用したアップサンプリングを行うことで画像品質を回復するようにした。多視点デプスマップを高解像度で精度良く持つことにより、多視点画像の視点間画素対応関係が小数画素精度で求まり、その対応関係を用いて他視点の画素を参照しながら精度の良いアップサンプリングを行うことが可能となる。なお、図1、図4、図7における画像送信装置200及び画像受信装置300の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより自由視点画像の伝送処理を行ってもよい。なお、ここでいうコンピュータシステムとは、OSや周辺機器等のハードウェアを含むものとする。また、コンピュータシステムは、ホームページ提供環境あるいは表示環境を備えたWWWシステムも含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリRAMのように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する伝送媒体は、インターネット等のネットワーク通信網や電話回線等の通信回線通信線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラムであってもよい。以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は、本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。"