"複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する仮想視点画像合成方法であって、複数の視点に設置した複数の画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、前記複数の画像取得手段と同じ視点における画像の深度を取得する画像深度取得手段によって、前記複数の画像取得手段と同じ視点における画像の深度マップを生成する深度マップ生成工程と、前記深度マップ生成工程において生成した深度マップをアップサンプリングするアップサンプリング工程と、画像を合成する際の視点となる仮想視点の位置情報と該仮想視点から前記合成画像を観たときの方向である仮想視点方向の情報を取得する仮想視点情報取得手段から前記仮想視点の位置情報及び方向情報を取得する仮想視点情報取得工程と、前記基準画像取得工程において取得した前記基準画像、前記アップサンプリング工程においてアップサンプリングした前記深度マップ及び前記仮想視点情報取得工程において取得した前記仮想視点の位置情報及び方向情報に基づいて、前記仮想視点の位置情報及び方向情報情報に対応する仮想視点画像を合成する仮想視点画像合成工程と、により、仮想視点画像を合成することを特徴とする仮想視点画像合成方法。請求項1に記載の仮想視点画像合成方法において、前記画像深度取得手段は、画像の深度を検出する深度カメラであり、前記アップサンプリング工程は、前記深度カメラから入力された深度マップを入力し、前記深度マップ生成工程において生成された深度マップにおける一組の隣接するピクセルと、前記基準画像における互いに隣接していないピクセルとを対応させ、前記深度マップにおける一組の隣接するピクセルにおける各ピクセルに重みを割り当て、前記一組の隣接するピクセルに割り当てた各ピクセルの重みを最適化し、最小重みを算出し、前記算出した最小重みを得たときの前記一組の隣接するピクセルにおける最適な深度値を選択することを特徴とする仮想視点画像合成方法。請求項2に記載の仮想視点画像合成方法において、前記重みは、前記基準画像のピクセルと前記深度マップにおける前記一組の隣接するピクセルとの色又は強度差及び距離に基づいて割り当てられることを特徴とする仮想視点画像合成方法。請求項2に記載の仮想視点画像合成方法において、前記重みは、前記深度カメラから入力された深度マップ及び/又は前記基準画像のピクセルと、前記深度カメラから入力された深度マップ及び/又は前記基準画像における一組の隣接するピクセルとの色又は強度差及び距離の組合せに基づき割り当てられることを特徴とする仮想視点画像合成方法。請求項2~請求項4のいずれか1項に記載の仮想視点画像合成方法において、前記重みの最適化は、権利独占選択によることを特徴とする仮想視点画像合成方法。請求項2~請求項5のいずれか1項に記載の仮想視点画像合成方法において、前記最適深度値の選択は、出力深度値として最小重みを有するピクセルの深度を選択することによることを特徴とする仮想視点画像合成方法。複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する仮想視点画像合成システムであって、複数の視点に配置した画像取得手段と、前記複数の画像取得手段から画像構成の基準となる基準画像を取得する基準画像取得手段と、前記複数の画像取得手段と同じ視点における画像の深度を取得する画像深度取得手段と、前記画像深度取得手段により取得した、前記複数の画像取得手段と同じ視点における画像の深度マップを生成する深度マップ生成手段と、前記深度マップ生成手段において生成した深度マップをアップサンプリングするアップサンプリング手段と、画像を合成する際の視点となる仮想視点の位置情報と該仮想視点から前記合成画像を観たときの方向である仮想視点方向の情報を取得する仮想視点情報取得手段と、前記基準画像取得手段において取得した前記基準画像、前記アップサンプリング手段においてアップサンプリングした前記深度マップ及び前記仮想視点情報取得手段において取得した前記仮想視点の位置情報及び方向情報に基づいて、前記仮想視点の位置情報及び方向情報に対応する仮想視点画像を合成する仮想視点画像合成手段と、を備えたことを特徴とする仮想視点画像合成システム。請求項7に記載の仮想視点画像合成システムにおいて、前記画像深度取得手段は、画像の深度を検出する深度カメラであり、前記アップサンプリング手段は、前記深度カメラから入力された深度マップを入力する深度マップ入力手段と、前記深度マップ入力手段で入力した前記深度マップにおける一組の隣接するピクセルと、前記基準画像における互いに隣接していないピクセルとを対応させる対応手段と、前記深度マップにおける一組の隣接するピクセルにおける各ピクセルに重みを割り当てる重み割当手段と、前記重み割当手段で前記一組の隣接するピクセルに割り当てた各ピクセルの重みを最適化し、最小重みを算出する最小重み算出手段と、前記最小重み算出手段で算出した最小重みを得たときの前記一組の隣接するピクセルにおける最適な深度値を選択する最適深度値選択手段と、を備えたことを特徴とする仮想視点画像合成システム。請求項8に記載の仮想視点画像合成システムにおいて、前記重み割当手段は、前記基準画像のピクセルと、前記深度マップ入力手段で入力した前記深度マップにおける前記一組の隣接するピクセルと、の色又は強度差及び距離に基づいて前記重みを割り当てることを特徴とする仮想視点画像合成システム。請求項8に記載の仮想視点画像合成システムにおいて、前記重み割当手段は、前記深度マップ入力手段で入力した深度マップ及び/又は前記基準画像のピクセルと、前記深度マップ入力手段で入力した深度マップ及び/又は前記基準画像における一組の隣接するピクセルとの色又は強度差及び距離の組合せに基づき、前記重みを割り当てることを特徴とする仮想視点画像合成システム。請求項8~請求項10のいずれか1項に記載の仮想視点画像合成システムにおいて、前記最小重み算出手段は、権利独占選択により、前記重みの最適化を行うことを特徴とする仮想視点画像合成システム。請求項8~請求項11のいずれか1項に記載の仮想視点画像合成システムにおいて、前記最適深度値選択手段は、前記出力深度値として最小重みを有するピクセルの深度を選択することを特徴とする仮想視点画像合成システム。ところが、従来のアップサンプリング方法を適用すると、アップサンプリングされた深度マップに強力な遮断作用又は平滑作用を及ぼす。これは、合成されたビューにアーチファクトをもたらすので望ましくないという問題がある。本発明は、こうした問題に鑑みなされたもので、アップサンプリングされた深度マップに遮断作用又は平滑作用を及ぼさないアップサンプリング方法を低いビットレートで実現する仮想画像合成技術を提供することを目的とする。上記発明が解決しようとする課題において述べた問題を解決するためになされた請求項1に記載の発明は、複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する仮想視点画像合成方法であって、複数の視点に設置した複数の画像取得手段10から、仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、複数の画像取得手段10と同じ視点における画像の深度を取得する画像深度取得手段402.409,412によって、複数の画像取得手段10と同じ視点における画像の深度マップを生成する深度マップ生成工程と、深度マップ生成工程において生成した深度マップをアップサンプリングするアップサンプリング工程と、画像を合成する際の視点となる仮想視点の位置情報と仮想視点から合成画像を観たときの方向である仮想視点方向の情報を取得する仮想視点情報取得手段から仮想視点の位置情報及び方向情報を取得する仮想視点情報取得工程と、基準画像取得工程において取得した基準画像、アップサンプリング工程においてアップサンプリングした深度マップ及び仮想視点情報取得工程において取得した仮想視点の位置情報及び方向情報に基づいて、仮想視点の位置情報及び方向情報情報に対応する仮想視点画像を合成する仮想視点画像合成工程と、により、仮想視点画像を合成することを特徴とする仮想視点画像合成方法である。このような仮想視点画像合成方法によれば、アップサンプリングされた深度マップに強力な遮断作用又は平滑作用を及ぼさず、合成されたビューにアーチファクトをもたらさないものとなる。したがって、符号化効率の改善及びビュー合成品質の向上に寄与する。つまり、従来型のアップサンプリングとは対照的に、本発明のアップサンプリング方法では、高解像度ビューを使用することによって再構成される深度マップにおける明確な対象境界を再構成する。これによって、対象のエッジがより良く維持されるので、比較的低いビットレートにおける符号化効率が改善されるとともにレンダリング品質が向上する。したがって、アップサンプリングされた深度マップに遮断作用又は平滑作用を及ぼさないアップサンプリング方法を低いビットレートで実現することができる。基準画像取得工程において取得した基準画像、アップサンプリング工程においてアップサンプリングした深度マップ及び仮想視点情報取得工程において取得した仮想視点の位置情報と方向情報に基づいて、仮想視点の位置情報及び方向情報情報に対応する仮想視点画像を合成する仮想視点画像合成工程と、により、仮想視点画像を合成することを特徴とする仮想視点画像合成方法。請求項2に記載の発明は、請求項1に記載の仮想視点画像合成方法において、画像深度取得手段402.409,412は、画像の深度を検出する深度カメラ402であり、アップサンプリング工程は、深度カメラ402から入力された深度マップを入力し、深度マップ生成工程において生成された深度マップにおける一組の隣接するピクセルと、基準画像における互いに隣接していないピクセルとを対応させ、深度マップにおける一組の隣接するピクセルにおける各ピクセルに重みを割り当て、一組の隣接するピクセルに割り当てた各ピクセルの重みを最適化し、最小重みを算出し、算出した最小重みを得たときの一組の隣接するピクセルにおける最適な深度値を選択することを特徴とする仮想視点画像合成方法である。請求項3に記載の発明は、請求項2に記載の仮想視点画像合成方法において、重みは、基準画像のピクセルと深度マップにおける一組の隣接するピクセルとの色又は強度差及び距離に基づいて割り当てられることを特徴とする仮想視点画像合成方法である。請求項4に記載の発明は、請求項2に記載の仮想視点画像合成方法において、重みは、深度カメラ402から入力された深度マップ及び/又は基準画像のピクセルと、深度カメラ402から入力された深度マップ及び/又は基準画像における一組の隣接するピクセルとの色又は強度差及び距離の組合せに基づき割り当てられることを特徴とする仮想視点画像合成方法である。請求項5に記載の発明は、請求項2~請求項4のいずれか1項に記載の仮想視点画像合成方法において、重みの最適化は、権利独占選択によることを特徴とする仮想視点画像合成方法である。請求項6に記載の発明は、請求項2~請求項5のいずれか1項に記載の仮想視点画像合成方法において、最適深度値の選択は、出力深度値として最小重みを有するピクセルの深度を選択することによることを特徴とする仮想視点画像合成方法である。請求項7に記載の発明は、複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する仮想視点画像合成システム100であって、複数の視点に配置した画像取得手段10と、複数の画像取得手段10から画像構成の基準となる基準画像を取得する基準画像取得手段102と、複数の画像取得手段10と同じ視点における画像の深度を取得する画像深度取得手段402.409,412と、画像深度取得手段402,409,412により取得した深度に基づき、複数の画像取得手段10と同じ視点における画像の深度マップを生成する深度マップ生成手段102と、深度マップ生成手段102において生成した深度マップをアップサンプリングするアップサンプリング手段401と、画像を合成する際の視点となる仮想視点の位置情報と仮想視点から合成画像を観たときの方向である仮想視点方向の情報を取得する仮想視点情報取得手段と、基準画像取得手段102において取得した基準画像、アップサンプリング手段401においてアップサンプリングした深度マップ及び仮想視点情報取得手段において取得した仮想視点の位置情報及び方向情報に基づいて、仮想視点の位置情報及び方向情報に対応する仮想視点画像を合成する仮想視点画像合成手段104と、を備えたことを特徴とする仮想視点画像合成システム100である。このような仮想視点画像合成システム100によれば、請求項1に記載の仮想視点画像合成方法と同様な効果を得ることができる仮想視点画像合成システム100とすることができる。請求項8に記載の発明は、請求項7に記載の仮想視点画像合成システム100において、画像深度取得手段402.409,412は、画像の深度を検出する深度カメラ402であり、アップサンプリング手段401は、深度カメラ402から入力された深度マップを入力する深度マップ入力手段601と、深度マップ入力手段601で入力した深度マップにおける一組の隣接するピクセルと、基準画像における互いに隣接していないピクセルとを対応させる対応手段と、深度マップにおける一組の隣接するピクセルにおける各ピクセルに重みを割り当てる重み割当手段と、重み割当手段で一組の隣接するピクセルに割り当てた各ピクセルの重みを最適化し、最小重みを算出する最小重み算出手段と、最小重み算出手段で算出した最小重みを得たときの一組の隣接するピクセルにおける最適な深度値を選択する最適深度値選択手段と、を備えたことを特徴とする仮想視点画像合成システム100である。請求項9に記載の発明は、請求項8に記載の仮想視点画像合成システム100において、重み割当手段は、基準画像のピクセルと、深度マップ入力手段601で入力した深度マップにおける一組の隣接するピクセルと、の色又は強度差及び距離に基づいて重みを割り当てることを特徴とする仮想視点画像合成システム100である。請求項10に記載の発明は、請求項8に記載の仮想視点画像合成システム100において、重み割当手段は、深度マップ入力手段601で入力した深度マップ及び/又は基準画像のピクセルと、深度マップ入力手段601で入力した深度マップにおける一組の隣接するピクセル及び/又は基準画像との色又は強度差及び距離の組合せに基づき、重みを割り当てることを特徴とする仮想視点画像合成システム100である。請求項11に記載の発明は、請求項8~請求項10のいずれか1項に記載の仮想視点画像合成システム100において、最小重み算出手段は、権利独占選択により、重みの最適化を行うことを特徴とする仮想視点画像合成システム100である。請求項12に記載の発明は、請求項8~請求項11のいずれか1項に記載の仮想視点画像合成システム100において、最適深度値選択手段は、出力深度値として最小重みを有するピクセルの深度を選択することを特徴とする仮想視点画像合成システム100である。以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。図1は、仮想視点画像合成システム100の概略の構成を示すシステム図である。仮想視点画像合成システム100は、図1に示すように、多視点撮影サブシステム101、形状生成サブシステム102、送信/記憶サブシステム103及び仮想ビュー合成サブシステム104を備えている。なお、本実施形態における、形状生成サブシステム102及びアップサンプリングサブシステム401では、単に一つの処理経路を有するのではなく、アプリケーションの違いによって、種々の経路以下、アプリケーション経路とも呼ぶを採ることができるようになっている。つまり、スイッチ407及びスイッチ408を切り替えることにより、4つのアプリケーションが経路a~dを選択し、アプリケーションの違いによって、アップサンプリングサブシステム401における処理内容を異なるものとすることができるようになっている。なお、スイッチ407,408は、常に同じ経路を選択し、例えば、両方を経路aに設定するかあるいは両方を経路bに設定するといった具合である。多視点撮影サブシステム101は、図示しない複数のカメラにより静的又は動的のいずれかの画像を取得するマルチカメラ撮像システム10を含んでいる。マルチカメラ撮像システム10で撮影されたビデオ画像は、較正又は修正によって前処理され、多視点ビデオ画像105として、形状生成サブシステム102及び送信/記憶サブシステム103に出力される。多視点撮影サブシステム101における較正又は修正の方法は、従来の技術によればよいため、説明を省略する。形状生成サブシステム102は、深度マップ413を生成し、送信/記憶サブシステム103へ出力する。深度マップ413の生成は、4つの方法4つのアプリケーション経路a]~[d]に対応によって行われる。アプリケーション経路[a]では、深度カメラ402で取得した深度画像をその深度マップ413として出力する。アプリケーション経路bでは、深度カメラ402で取得した深度画像をアップサンプル部403でアップサンプリングして出力する。このアップサンプリングについては、詳細を後述する。ここで、アプリケーション経路a、bで用いられる深度カメラ402は、画像をその深度とともに取得することができるカメラであり、マルチカメラ撮像システム10で撮影する多視点ビデオ画像105と同じ画像の深度を取得する。通常、深度カメラ402からの深度マップは、撮影された多視点ビデオ画像105よりも解像度が低い。アプリケーション経路cでは、多視点撮影サブシステム101から入力される多視点ビデオ画像105から、深度推定部409において多視点ビデオ画像105の深度が推定された深度マップが生成され、生成された深度マップがダウンサンプル部410でダウンサンプルされて出力される。アプリケーション経路cでは、このように、深度推定部409からの高解像度の深度マップがダウンサンプル部410においてダウンサンプルされることによって符号化効率を向上させることができる。深度推定部409における深度推定は複雑であるので、深度を比較的低い解像度で推定し、この後に本発明の低複雑度のアップサンプリング方式が続くようにする方がはるかに速い。これには深度マップの品質が僅かに低下するという犠牲を伴うが、このアプリケーションは実時間深度推定が要求される場合に有用である。アプリケーション経路cにおけるダウンサンプル部410では、ダウンサンプリング中に深度境界を維持するために、下記式1で定義されるピクセルドロッピングによってダウンサンプリングを適用する。ここで、stepは受信機側に送信されるパラメータであるダウンサンプリング係数である。図2は、このダウンサンプリングの概略図を示す。このダウンサンプリングでは、規則的な格子上のすべてのサンプルは低解像度の深度マップに記憶され、格子から外れたピクセルは捨てられる。図2では、文字A~Kで示されたピクセルの深度値のみがダウンサンプリングされた深度マップに記憶され、他の深度値は捨てられる。例えば、ピクセル501は、ピクセル503にマップするが、ピクセル502は捨てられる。アプリケーション経路dでは、多視点撮影サブシステム101から入力される多視点ビデオ画像105がダウンサンプル部411においてダウンサンプリングされ、深度推定部412において、ダウンサンプリングされた多視点ビデオ画像の深度が推定されて、深度マップが生成され、出力される。仮想視点画像合成システム100においては、3Dシーンの情報は多くの方法で表現され得る。よく使用される3Dシーン表現は、Nビュー及びN深度マップ画像に基づくものであるため、図3に、形状生成サブシステム102において得られる、N=3の場合のNビュー及びN深度マップ画像の例を示す。図3は、3つの深度ビュー201~203及び対応する深度マップ204~206を示す。3つの深度ビュー201~203は、並べた3台の深度カメラ402で撮影されている。深度マップ204~206は、所定の深度範囲内の深度カメラ402に対するパーピクセル深度を表すグレースケール画像である。8ビットスケールでは、グレースケール値0黒は最大距離を表し、255白は最小距離を表す。深度マップ204~206は、対象内で滑らかに変化する強度と対象エッジにおける急峻な変化を含む傾向がある例えば、図3参照。したがって、深度マップ204~206は、深度のダウンサンプリング及びアップサンプリングによって利用され得るテクスチャビデオに比べてより大きな空間的冗長性を有する傾向がある。深度マップ204~206は、対象境界付近の重要なエッジ情報を伝達する。最近隣法nearestneigbor、線形補間、又は多項式補間など、従来型のアップサンプリング方法は、この重要な情報を平滑化するか又は除去する。これは合成されたビューのアーチファクトにつながる。送信/記憶サブシステム103は、多視点ビデオ画像105及び深度マップ413を記憶又は送信する。送信/記憶サブシステム103では、多視点ビデオ画像105及び深度マップ413を圧縮する場合も圧縮しない場合もあり、チャネルは単にワイヤーであってよい。したがって、送信/記憶サブシステム103から出力される復号化ビュー414及び復号化深度マップ416は、それぞれ多視点ビデオ画像105及び深度マップ413と全く同じであってよい。また、多視点ビデオ画像105及び深度マップ413を圧縮するには、標準的な最新式のビデオエンコーダ、例えば、AVC/H.264、MVC、MPEG2、MJPEGなどを使用してもよい。アップサンプリングサブシステム401は、スイッチ407、アップサンプル部404~406及びワイヤーを備えている。スイッチ407は、前述のようにアプリケーション経路を選択するスイッチであり、ワイヤーは、送信/記憶サブシステム103からの入力を、スイッチ407を介して、直接仮想ビュー合成サブシステム104へ出力するためのものである。また、アップサンプル部406は、経路dで示されるように、実時間深度推定が要求されるアプリケーションに使用され得る。多視点ビデオ画像105は、ダウンサンプル部411によってダウンサンプリングされ、深度は、深度推定部412によって比較的低い解像度で推定され、この後にアップサンプル部406が用いられている。ここで、アップサンプリングサブシステム401のアップサンプル部404~406及び形状生成サブシステム102におけるアップサンプル部403について、図4~図8に基づいて説明する。図4は、アップサンプル部403~406の概略の内部構成を示す図である。アップサンプル部403~406の各々は、図4に示すように、画像入力ユニット601、重み計算ユニット602、最小値最適化ユニット603、深度選択ユニット604及び後処置ユニット605を備えている。そして、多視点ビデオ画像105及び深度マップ413の集合から、画像入力ユニット601が入力ビュー606及び対応する深度マップ607を選択する。アップサンプリングを必要とする各ピクセルuに対して、重み計算ユニット602が、ピクセルuと一組の隣接するピクセルとの色差又は輝度差及びこれらの間の距離に基づいて一組の重み608を計算する。最小値最適化ユニット603が最小重み609のピクセルを選択し、対応する出力深度マップ610が深度選択ユニット604によって選択される。オプションとして、後処理ユニット605が出力深度611を生成するためにフィルタリング例えば、メジアンフィルタリングなどの後処理動作を適用してもよい。図5は、アップサンプル部403~406におけるアップサンプリングの概略図を示す。入力画像は、最高解像度の入力ビュー606アップサンプル部403では、多視点ビデオ画像105に該当と対応する低解像度の深度マップ607アップサンプル部403では、深度マップ413に該当とからなる。入力ビュー606のサンプル格子と深度マップ607のサンプル格子の間の倍率は、パラメータステップ709によって定義される。深度マップ607内のピクセル701Aは、入力ビュー606のピクセル705Aに対応し、ピクセル701の深度値は出力深度マップ610のピクセル703にコピーされる。深度マップ607で定義される値を持たない出力深度マップ610のピクセル、例えば、出力深度マップ610のピクセル708uの場合、深度は隣接するピクセルから推定される。隣接するピクセルの集合Nは予め定義される。例として、Nは入力ビュー606において図5でA、B、C、Dと標記される4つの隣接するピクセルからなり、下記式2で定義される。このとき、集合Nの各隣接するピクセルに対して、重みが、集合N内のピクセルuと隣接するピクセルとの間の色差と、ピクセル距離とに基づいて、下記式3、式4及び式5により計算される。式3~5中、関数fはピクセル距離であり、関数gは集合N内のピクセルuと隣接するピクセルとの色差である。Cuはピクセルuの色を示し、CNは集合N内のピクセルの色を示す。ここでは、||.||は任意のノルム例えば、L1又はL2ノルムであり得るし、色空間Cは任意の空間例えば、RGB、YUV、HSI、グレースケールなどであり得る。さらに、境界付近のノイズを抑制するために、例えば、下記式6及び式7などのように平滑項が式3に追加され得る。式6,7中、λ1及びλ2は平滑項の強度を制御するパラメータであり、dNは集合Nにおけるピクセルの深度であり、dleft及びdupは、それぞれ、ピクセルuの左及びピクセルuの上のピクセルの深度値である。ピクセル98uの出力深度の深度値は、下記式8のように、獲得深度winningdepthを選択するために式3又は式6のWNuを最適化することによって決定される。アップサンプリング処理次に、アップサンプル部403~406の各ユニット601~605の処理をCPUで実行する場合のアップサンプリング処理について説明する。図6は、アップサンプリング処理の流れを示すフローチャートであり、図7は、アップサンプリング処理中のサブルーチンであるアップサンプル深度処理の流れを示すフローチャートである。図6に示すように、アップサンプリング処理では、ステップS800において、入力ビュー606及び深度マップ607が入力される。続くステップS805において、入力ビュー606のうち、図5において左上隅に位置するピクセル705が選択される。以下、ピクセルの選択は、左上隅で始まり、右下隅で終わる従来のスキャニング順ラスタースキャンに処理される。続くステップS810において、入力ビュー606におけるピクセルuの位置が、ピクセル701の深度の比較的低い解像度格子にマップされる。続くS815では、ピクセル701の深度の値がその位置で定義されるか否かが判断される。ピクセル701の深度の値がその位置で定義される場合S815:Yes、処理がステップS820へ移行され、定義されない場合S815:Noには、処理がアップサンプル深度処理ステップS900へ移行される。ステップS820では、深度マップからピクセル701の深度の値がコピーされる。深度値が定義されない場合S815:No、深度値は、後述するアップサンプル深度処理によって決定される。その後、ステップS825において、入力ビュー606内の次のピクセルuを選択し、続くステップS830において、入力ビュー606のすべてのピクセルについて、ステップS810~S825処理が終了したか否かが判定される。全ピクセルに対してステップS810~S825が終了していないと判定された場合S830:No、処理がステップS810に戻され、全ピクセルに対してステップS810~S825の処理が実行される。また、全ピクセルに対してステップS810~S825が終了していると判定された場合はS830:Yes、本処理が終了となる。この処理の出力はアップサンプリングされた出力深度マップ610である。次に、アップサンプル深度処理ステップS900について図7に基づき説明する。アップサンプル深度処理は、図7に示すように、ステップS905において、隣接するピクセルNの集合及び深度マップ607における対応する深度値が決定される。この後、ステップS910~S925において、すべてのピクセルi=0~Nについて、重みが前述した式3~式7を用いて計算される。そして、ステップS930において、集合Nにおける最小重みが決定される。隣接する獲得ピクセルwinningneighboringpixelの深度値がステップS935において決定される。このような、アップサンプル部403~406における入力ビュー606に基づくアップアンプリング方法は、急峻な対象境界を維持し再構成することができる。これは、低解像度深度マップをアップサンプリングするとき対応する高解像度カラービュー画像が使用されるからである。図8は、アップサンプリングの結果を示す。図8aは最初の深度マップを示す。この後、最初の深度は、ダウンサンプリングされ、さらに、2つの従来の方法及び本発明の方法でアップサンプリングされる。図8bは、従来型の最近隣アップサンプリングの結果である。図8cは、従来型の双線形アップサンプリングの結果である。図8dは、アップサンプル部403~406の出力画像であり、これは平滑作用も遮断作用もさほどなくかつより良く再構成された対象エッジを鮮明に示す。仮想ビュー合成サブシステム104では、形状生成サブシステム102において取得した基準画像、アップサンプリングサブシステム401においてアップサンプリングした深度マップ及びマルチカメラ撮像システム10を構成する各カメラの位置情報と方向情報に基づいて、仮想視点情報に対応する仮想視点画像を合成し、仮想ビュー109として出力する。ここで、すべてのアプリケーション経路a~dにおいて、アップサンプル部403~406への入力は、ビュー画像、及びビュー画像よりも低い解像度の対応深度マップである。再構成された深度マップ417及び復号化ビュー414は、新規なビューをレンダーするために、仮想ビュー合成サブシステム104で使用される。仮想視点画像合成システム100の特徴以上に説明した仮想視点画像合成システム100によれば、アップサンプリングされた深度マップに強力な遮断作用又は平滑作用を及ぼさず、合成されたビューにアーチファクトをもたらさないものとなる。したがって、符号化効率の改善及びビュー合成品質の向上に寄与する。つまり、従来型のアップサンプリングとは対照的に、仮想視点画像合成システム100のアップサンプリング方法では、高解像度ビューを使用することによって再構成される深度マップにおける明確な対象境界を再構成する。これによって、対象のエッジがより良く維持されるので、比較的低いビットレートにおける符号化効率が改善されるとともにレンダリング品質が向上する。したがって、アップサンプリングされた深度マップに遮断作用又は平滑作用を及ぼさないアップサンプリング方法を低いビットレートで実現することができる。ここで、本発明の方法の長所の証拠として、ビデオシーケンスChampagne_towerに関するPSNR比較を図9示す。その他の実施形態以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。例えば、本実施形態では、アップサンプリングサブシステム401は、送信/記憶サブシステム103の後段で用いたが、アプリケーションに応じて送信/記憶サブシステム103の前に使用してもよい。"