(57)【要約】  本開示は、より圧縮効率を高めることができるようにする画像処理装置、画像処理方法、プログラム、および画像伝送システムに関する。Ｎ台のカメラのうちの、基準となる基準カメラにより撮像された画像と、基準カメラ以外の非基準カメラにより撮像された画像とで、重複している重複領域に対する圧縮率が非重複領域に対する圧縮率よりも高く設定され、それぞれの圧縮率に従って画像が圧縮される。本技術は、例えば、三次元的な空間を表現可能なディスプレイに表示される画像を伝送する画像伝送システムに適用できる。
2019198501.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置によって複数視点から被写体が撮像された複数の画像のうちの、基準となる基準撮像装置により撮像された前記画像と、前記基準撮像装置以外の非基準撮像装置により撮像された前記画像とで、重複している重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定する設定部と、
前記圧縮率に従って前記画像を圧縮する圧縮部と
を備える画像処理装置。
【請求項２】
前記重複領域を、前記被写体の三次元形状を表す情報に基づいて検出する検出部
をさらに備える請求項１に記載の画像処理装置。
【請求項３】
前記画像を取得して、前記圧縮部に供給する取得部
をさらに備える請求項１に記載の画像処理装置。
【請求項４】
前記設定部は、前記基準撮像装置から前記被写体の表面の所定点に進む光線ベクトルと、その所定点での法線ベクトルとがなす角度を示す角度情報を用いて、前記重複領域の圧縮率を設定する
請求項１に記載の画像処理装置。
【請求項５】
前記被写体の三次元形状を表す情報を、複数の前記撮像装置によって複数視点から前記被写体が撮像された複数の前記画像から算出する３Ｄ形状計算部
をさらに備える請求項１に記載の画像処理装置。
【請求項６】
前記被写体までのデプスからなるデプス画像を取得するデプス画像取得部と、
前記被写体の三次元形状を表す情報として、前記デプス画像に基づいて前記被写体の点群情報を算出する点群計算部と
をさらに備える請求項１に記載の画像処理装置。
【請求項７】
複数の前記撮像装置の中から、前記基準撮像装置を決定する基準撮像装置決定部
をさらに備える請求項１に記載の画像処理装置。
【請求項８】
前記基準撮像装置決定部は、複数の前記撮像装置から前記被写体までの距離に基づいて、前記基準撮像装置を決定する
請求項７に記載の画像処理装置。
【請求項９】
前記基準撮像装置決定部は、任意の視点からの前記被写体の仮想視点映像を生成する際の仮想視点を示す情報に基づいて、前記基準撮像装置を決定する
請求項７に記載の画像処理装置。
【請求項１０】
複数の前記撮像装置の中から、２つ以上の前記基準撮像装置が用いられる
請求項１に記載の画像処理装置。
【請求項１１】
前記設定部は、任意の視点からの前記被写体の仮想視点映像を生成する際の仮想視点を示す情報に基づいて、前記圧縮率を設定する
請求項１に記載の画像処理装置。
【請求項１２】
画像を圧縮する画像処理装置が、
複数の撮像装置によって複数視点から被写体が撮像された複数の画像のうちの、基準となる基準撮像装置により撮像された前記画像と、前記基準撮像装置以外の非基準撮像装置により撮像された前記画像とで、重複している重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定することと、
前記圧縮率に従って前記画像を圧縮することと
を含む画像処理方法。
【請求項１３】
画像を圧縮する画像処理装置のコンピュータに、
複数の撮像装置によって複数視点から被写体が撮像された複数の前記画像のうちの、基準となる基準撮像装置により撮像された前記画像と、前記基準撮像装置以外の非基準撮像装置により撮像された前記画像とで、重複している重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定することと、
前記圧縮率に従って前記画像を圧縮することと
を含む画像処理を実行させるためのプログラム。
【請求項１４】
複数視点から被写体が撮像された複数の画像ごとに、前記被写体の三次元形状を表す情報に基づいて、任意の視点からの前記被写体の仮想視点映像上の所定の位置が、複数の前記撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかを判定する判定部と、
複数の前記画像において、前記可視領域と判定された前記画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、前記画像上で前記所定の位置に対応する位置における色を示す色情報を用いた重み付け平均を行って、前記仮想視点映像の前記所定の位置における色を決定する決定部と、
前記決定部により決定された色に基づいて、前記仮想視点映像を生成する生成部と
を備える画像処理装置。
【請求項１５】
画像を生成する画像処理装置が、
複数視点から被写体が撮像された複数の画像ごとに、前記被写体の三次元形状を表す情報に基づいて、任意の視点からの前記被写体の仮想視点映像上の所定の位置が、複数の前記撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかを判定することと、
複数の前記画像において、前記可視領域と判定された前記画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、前記画像上で前記所定の位置に対応する位置における色を示す色情報を用いた重み付け平均を行って、前記仮想視点映像の前記所定の位置における色を決定することと、
その決定された色に基づいて、前記仮想視点映像を生成することと
を含む画像処理方法。
【請求項１６】
画像を生成する画像処理装置のコンピュータに、
複数視点から被写体が撮像された複数の画像ごとに、前記被写体の三次元形状を表す情報に基づいて、任意の視点からの前記被写体の仮想視点映像上の所定の位置が、複数の前記撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかを判定することと、
複数の前記画像において、前記可視領域と判定された前記画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、前記画像上で前記所定の位置に対応する位置における色を示す色情報を用いた重み付け平均を行って、前記仮想視点映像の前記所定の位置における色を決定することと、
その決定された色に基づいて、前記仮想視点映像を生成することと
を含む画像処理を実行させるためのプログラム。
【請求項１７】
複数の撮像装置によって複数視点から被写体が撮像された複数の画像のうちの、基準となる基準撮像装置により撮像された前記画像と、前記基準撮像装置以外の非基準撮像装置により撮像された前記画像とで、重複している重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定する設定部と、
前記圧縮率に従って前記画像を圧縮する圧縮部と
を有する第１の画像処理装置と、
前記第１の画像処理装置から伝送されてくる複数の画像ごとに、前記被写体の三次元形状を表す情報に基づいて、任意の視点からの前記被写体の仮想視点映像上の所定の位置が、複数の前記撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかを判定する判定部と、
複数の前記画像において、前記可視領域と判定された前記画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、前記画像上で前記所定の位置に対応する位置における色を示す色情報を用いた重み付け平均を行って、前記仮想視点映像の前記所定の位置における色を決定する決定部と、
前記決定部により決定された色に基づいて、前記仮想視点映像を生成する生成部と
を有する第２の画像処理装置と
を備える画像伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、プログラム、および画像伝送システムに関し、特に、より圧縮効率を高めることができるようにした画像処理装置、画像処理方法、プログラム、および画像伝送システムに関する。
【背景技術】
【０００２】
近年、AR（Augmented Reality）、VR（Virtual Reality）、およびMR（Mixed Reality）に関する技術や、映像を三次元的に表示する立体ディスプレイに関する技術が発展している。このような技術の発展により、二次元的な表示を行う従来のディスプレイでは表現できなかった立体感や実在感などを視聴者に提示することが可能なディスプレイが開発されている。【０００３】
例えば、三次元的な空間を表現可能なディスプレイに実世界の様子を表示する手段として、撮影対象とするシーンに複数台のカメラを配置して同期撮影することにより得られる多視点映像を利用する方法がある。一方、多視点映像を用いる場合、映像データ量が非常に増加することになり、効果的に圧縮する技術が必要とされている。【０００４】
このため、多視点映像の圧縮方法として、H.264/MVC（Multi View Coding）では、各視点の映像どうしが互いに類似しているという特徴を利用して圧縮率を向上させる方法を規格化している。この方式は、カメラ間の映像が互いに類似していることを期待しているため、カメラ間のベースラインが短い場合には効果は高いものの、広い空間を対象としカメラ間のベースラインが長い場合には圧縮効率が低くなることが予想される。【０００５】
そこで、特許文献１に開示されているように、映像内における前景および背景を分離して前景および背景で異なる圧縮率で圧縮することで、システム全体におけるデータ量を削減する画像処理システムが提案されている。この画像処理システムでは、例えば、撮影対象とするシーンがスタジアムのように広く、人物のような前景領域に対して、背景領域が圧倒的に多い場合においては効果が高い。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−２１１８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述の特許文献１で提案されている画像処理システムでは、例えば、撮影画像における前景領域に該当する被写体が画枠内において支配的であるようなシーンでは圧縮効率は低くなることが予想される。【０００８】
本開示は、このような状況に鑑みてなされたものであり、より圧縮効率を高めることができるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の第１の側面の画像処理装置は、複数の撮像装置によって複数視点から被写体が撮像された複数の画像のうちの、基準となる基準撮像装置により撮像された前記画像と、前記基準撮像装置以外の非基準撮像装置により撮像された前記画像とで、重複している重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定する設定部と、前記圧縮率に従って前記画像を圧縮する圧縮部とを備える。【００１０】
本開示の第１の側面の画像処理方法は、画像を圧縮する画像処理装置が、複数の撮像装置によって複数視点から被写体が撮像された複数の画像のうちの、基準となる基準撮像装置により撮像された前記画像と、前記基準撮像装置以外の非基準撮像装置により撮像された前記画像とで、重複している重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定することと、前記圧縮率に従って前記画像を圧縮することとを含む。【００１１】
本開示の第１の側面のプログラムは、画像を圧縮する画像処理装置のコンピュータに、複数の撮像装置によって複数視点から被写体が撮像された複数の前記画像のうちの、基準となる基準撮像装置により撮像された前記画像と、前記基準撮像装置以外の非基準撮像装置により撮像された前記画像とで、重複している重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定することと、前記圧縮率に従って前記画像を圧縮することとを含む画像処理を実行させる。【００１２】
本開示の第１の側面においては、複数の撮像装置によって複数視点から被写体が撮像された複数の画像のうちの、基準となる基準撮像装置により撮像された画像と、基準撮像装置以外の非基準撮像装置により撮像された画像とで、重複している重複領域に対する圧縮率が非重複領域に対する圧縮率よりも高く設定され、それらの圧縮率に従って画像が圧縮される。【００１３】
本開示の第２の側面の画像処理装置は、複数視点から被写体が撮像された複数の画像ごとに、前記被写体の三次元形状を表す情報に基づいて、任意の視点からの前記被写体の仮想視点映像上の所定の位置が、複数の前記撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかを判定する判定部と、複数の前記画像において、前記可視領域と判定された前記画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、前記画像上で前記所定の位置に対応する位置における色を示す色情報を用いた重み付け平均を行って、前記仮想視点映像の前記所定の位置における色を決定する決定部と、前記決定部により決定された色に基づいて、前記仮想視点映像を生成する生成部とを備える。【００１４】
本開示の第２の側面の画像処理方法は、画像を生成する画像処理装置が、複数視点から被写体が撮像された複数の画像ごとに、前記被写体の三次元形状を表す情報に基づいて、任意の視点からの前記被写体の仮想視点映像上の所定の位置が、複数の前記撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかを判定することと、複数の前記画像において、前記可視領域と判定された前記画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、前記画像上で前記所定の位置に対応する位置における色を示す色情報を用いた重み付け平均を行って、前記仮想視点映像の前記所定の位置における色を決定することと、その決定された色に基づいて、前記仮想視点映像を生成することとを含む。【００１５】
本開示の第２の側面のプログラムは、画像を生成する画像処理装置のコンピュータに、複数視点から被写体が撮像された複数の画像ごとに、前記被写体の三次元形状を表す情報に基づいて、任意の視点からの前記被写体の仮想視点映像上の所定の位置が、複数の前記撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかを判定することと、複数の前記画像において、前記可視領域と判定された前記画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、前記画像上で前記所定の位置に対応する位置における色を示す色情報を用いた重み付け平均を行って、前記仮想視点映像の前記所定の位置における色を決定することと、その決定された色に基づいて、前記仮想視点映像を生成することとを含む画像処理を実行させる。【００１６】
本開示の第２の側面においては、複数視点から被写体が撮像された複数の画像ごとに、被写体の三次元形状を表す情報に基づいて、任意の視点からの被写体の仮想視点映像上の所定の位置が、複数の撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかが判定され、複数の画像において、可視領域と判定された画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、画像上で所定の位置に対応する位置における色を示す色情報を用いた重み付け平均が行われて、仮想視点映像の所定の位置における色が決定され、その決定された色に基づいて、仮想視点映像が生成される。【００１７】
本開示の第３の側面の画像伝送システムは、複数の撮像装置によって複数視点から被写体が撮像された複数の画像のうちの、基準となる基準撮像装置により撮像された前記画像と、前記基準撮像装置以外の非基準撮像装置により撮像された前記画像とで、重複している重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定する設定部と、前記圧縮率に従って前記画像を圧縮する圧縮部とを有する第１の画像処理装置と、前記第１の画像処理装置から伝送されてくる複数の画像ごとに、前記被写体の三次元形状を表す情報に基づいて、任意の視点からの前記被写体の仮想視点映像上の所定の位置が、複数の前記撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかを判定する判定部と、複数の前記画像において、前記可視領域と判定された前記画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、前記画像上で前記所定の位置に対応する位置における色を示す色情報を用いた重み付け平均を行って、前記仮想視点映像の前記所定の位置における色を決定する決定部と、前記決定部により決定された色に基づいて、前記仮想視点映像を生成する生成部とを有する第２の画像処理装置とを備える。【００１８】
本開示の第３の側面においては、第１の画像処理装置において、複数の撮像装置によって複数視点から被写体が撮像された複数の画像のうちの、基準となる基準撮像装置により撮像された画像と、基準撮像装置以外の非基準撮像装置により撮像された画像とで、重複している重複領域に対する圧縮率が非重複領域に対する圧縮率よりも高く設定され、それらの圧縮率に従って画像が圧縮される。そして、第２の画像処理装置において、第１の画像処理装置から伝送されてくる複数の画像ごとに、被写体の三次元形状を表す情報に基づいて、任意の視点からの被写体の仮想視点映像上の所定の位置が、複数の撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかが判定され、複数の画像において、可視領域と判定された画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、画像上で所定の位置に対応する位置における色を示す色情報を用いた重み付け平均が行われて、仮想視点映像の所定の位置における色が決定され、その決定された色に基づいて、仮想視点映像が生成される。
【発明の効果】
【００１９】
本開示の第１乃至第３の側面によれば、より圧縮効率を高めることができる。【００２０】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２１】
【図１】本技術を適用した画像伝送システムの第１の実施の形態の構成例を示すブロック図である。
【図２】複数台のカメラの配備例を示す図である。
【図３】映像圧縮部の構成例を示すブロック図である。
【図４】仮想視点映像生成部の構成例を示すブロック図である。
【図５】重複領域および非重複領域の一例を示す図である。
【図６】重複の判定方法について説明する図である。
【図７】圧縮映像生成処理を説明するフローチャートである。
【図８】仮想視点映像生成処理を説明するフローチャートである。
【図９】色情報および重み情報取得処理を説明するフローチャートである。
【図１０】画像伝送システムの第２の実施の形態の構成例を示すブロック図である。
【図１１】画像伝送システムの第３の実施の形態の構成例を示すブロック図である。
【図１２】画像伝送システムの第４の実施の形態の構成例を示すブロック図である。
【図１３】画像伝送システムの第５の実施の形態の構成例を示すブロック図である。
【図１４】被写体を囲うように複数台のカメラを配置する配備例を示す図である。
【図１５】２台の基準カメラを利用したときの重複領域について説明する図である。
【図１６】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２３】
＜画像伝送システムの第１の構成例＞
図１は、本技術を適用した画像伝送システムの第１の実施の形態の構成例を示すブロック図である。
【００２４】
図１に示すように、画像伝送システム１１は、被写体を多視点で撮影した多視点映像を送信する多視点映像送信部１２、および、任意の視点から被写体を仮想的に見た映像である仮想視点映像を生成して視聴者に提示する任意視点映像生成部１３により構成される。また、画像伝送システム１１では、Ｎ台のカメラ１４−１乃至１４−Ｎが多視点映像送信部１２に接続されており、例えば、図２に示すように、被写体の周囲の複数地点に複数台のカメラ１４（図２の例では、５台のカメラ１４−１乃至１４−５）が配置される。
【００２５】
例えば、画像伝送システム１１では、Ｎ台のカメラ１４−１乃至１４−ＮによってＮ個の視点から被写体が撮影されたＮ枚の画像からなる多視点映像を圧縮した圧縮映像データと、被写体の３Ｄ形状データとが多視点映像送信部１２から任意視点映像生成部１３へ伝送される。そして、画像伝送システム１１では、圧縮映像データおよび３Ｄ形状データから高品質な仮想視点映像が任意視点映像生成部１３により生成され、例えば、ヘッドマウントディスプレイなどの表示装置（図示せず）に表示される。
【００２６】
多視点映像送信部１２は、Ｎ個の画像取得部２１−１乃至２１−Ｎ、基準カメラ決定部２２、３Ｄ形状計算部２３、Ｎ個の映像圧縮部２４−１乃至２４−Ｎ、映像データ送信部２５、および３Ｄ形状データ送信部２６を備えて構成される。
【００２７】
画像取得部２１−１乃至２１−Ｎは、それぞれ対応するカメラ１４−１乃至１４−ＮがＮ個の視点から被写体を撮影した画像を取得する。そして、画像取得部２１−１乃至２１−Ｎは、それぞれ取得した画像を、３Ｄ形状計算部２３および映像圧縮部２４−１乃至２４−Ｎに供給する。
【００２８】
基準カメラ決定部２２は、Ｎ台のカメラ１４−１乃至１４−Ｎの中から、任意の１台を、その１台により撮影された画像と、それ以外の画像とで重複している重複領域を判定する際の基準となる基準カメラ１４ａ（後述する図５に示す基準カメラ１４ａ参照）を決定する。そして、基準カメラ決定部２２は、カメラ１４−１乃至１４−Ｎのうちの、基準カメラ１４ａを指定する基準カメラ情報を映像圧縮部２４−１乃至２４−Ｎに供給する。なお、カメラ１４−１乃至１４−Ｎのうちの、基準カメラ１４ａ以外のカメラを、以下適宜、非基準カメラ１４ｂ（後述する図５に示す非基準カメラ１４ｂ参照）と称する。
【００２９】
３Ｄ形状計算部２３は、画像取得部２１−１乃至２１−Ｎから供給されるＮ個の視点における画像に基づいた計算を行い、被写体を三次元的な形状で表現する３Ｄ形状を取得して、映像圧縮部２４−１乃至２４−Ｎおよび３Ｄ形状データ送信部２６に供給する。
【００３０】
例えば、３Ｄ形状計算部２３は、各視点における被写体のシルエットを３Ｄ空間へ投影し、そのシルエットの交差領域を３Ｄ形状とするVisual Hullや、視点間のテクスチャ情報の一致性を利用するMulti view stereoなどにより、被写体の３Ｄ形状を取得する。なお、Visual HullやMulti view stereoなどの処理を実現するためには、３Ｄ形状計算部２３は、カメラ１４−１乃至１４−Ｎそれぞれの内部パラメータおよび外部パラメータが必要であり、それらの情報は事前キャリブレーションにより既知とされている。例えば、内部パラメータには、焦点距離や、画像中心座標、アスペクト比などのようにカメラ固有の値が用いられ、外部パラメータには、ワールド座標系におけるカメラの向きおよび位置を示すベクトルが用いられる。
【００３１】
映像圧縮部２４−１乃至２４−Ｎには、それぞれ対応するカメラ１４−１乃至１４−Ｎにより撮影された画像が画像取得部２１−１乃至２１−Ｎから供給される。また、映像圧縮部２４−１乃至２４−Ｎには、基準カメラ決定部２２から基準カメラ情報が供給され、３Ｄ形状計算部２３から被写体の３Ｄ形状が供給される。そして、映像圧縮部２４−１乃至２４−Ｎは、基準カメラ情報および被写体の３Ｄ形状に基づいて、それぞれ対応するカメラ１４−１乃至１４−Ｎにより撮影された画像を圧縮し、その圧縮の結果として取得される圧縮映像を映像データ送信部２５に供給する。
【００３２】
ここで、図３に示すように、映像圧縮部２４それぞれは、重複領域検出部４１、圧縮率設定部４２、および圧縮処理部４３を有している。
【００３３】
まず、重複領域検出部４１は、基準カメラ１４ａにより撮影された画像と、非基準カメラ１４ｂにより撮影された画像との重複領域を、被写体の３Ｄ形状に基づいて検出する。そして、圧縮率設定部４２は、非基準カメラ１４ｂにより撮影された画像を圧縮する際に、重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定する。例えば、図２に示すようにカメラ１４−１乃至１４−５が配置されているとき、カメラ１４−１乃至１４−５それぞれにより撮影される画像は、被写体に対して相互に多くの重複領域を含むことが予想される。このような状況において、非基準カメラ１４ｂにより撮影された画像を圧縮する際に、重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定することで、画像伝送システム１１全体における圧縮効率を向上させることができる。
【００３４】
このように、圧縮率設定部４２により重複領域および非重複領域に対する圧縮率が設定されると、圧縮処理部４３は、それぞれの圧縮率に従って画像を圧縮する圧縮処理を行い、圧縮映像を取得する。このとき、圧縮処理部４３は、重複領域および非重複領域における圧縮率を表す圧縮情報を、圧縮映像に付与する。なお、映像圧縮部２４が、圧縮映像を生成する圧縮映像生成処理については、図７のフローチャートを参照して後述する。
【００３５】
なお、映像圧縮部２４−１乃至２４−Ｎにより用いられる圧縮技術は、H.264/AVC（Advanced Video Coding）やH.265/HEVC（High Efficiency Video Coding）などの一般的な映像圧縮コーデックの利用を想定するが、それらに限定されることはない。
【００３６】
映像データ送信部２５は、映像圧縮部２４−１乃至２４−Ｎから供給されるＮ個の圧縮映像を結合して送信用の圧縮映像データに変換し、任意視点映像生成部１３へ送信する。
【００３７】
３Ｄ形状データ送信部２６は、３Ｄ形状計算部２３から供給される３Ｄ形状を送信用の３Ｄ形状データに変換し、任意視点映像生成部１３へ送信する。
【００３８】
任意視点映像生成部１３は、映像データ受信部３１、３Ｄ形状データ受信部３２、仮想視点情報取得部３３、Ｎ個の映像伸張部３４−１乃至４３−Ｎ、および仮想視点映像生成部３５を備えて構成される。
【００３９】
映像データ受信部３１は、映像データ送信部２５から送信されてくる圧縮映像データを受信し、それぞれＮ個の圧縮映像に分割して、映像伸張部３４−１乃至４３−Ｎに供給する。
【００４０】
３Ｄ形状データ受信部３２は、３Ｄ形状データ送信部２６から送信されてくる３Ｄ形状データを受信し、その３Ｄ形状データに基づいた被写体の３Ｄ形状を仮想視点映像生成部３５に供給する。
【００４１】
仮想視点情報取得部３３は、視聴者の動きや操作などに従って、例えば、ヘッドマウントディスプレイの姿勢に従って、視聴者が仮想視点映像において被写体を仮想的に見る視点を示す仮想視点情報を取得し、仮想視点映像生成部３５に供給する。
【００４２】
映像伸張部３４−１乃至４３−Ｎには、それぞれ対応するカメラ１４−１乃至１４−ＮによりＮ個の視点から被写体を撮影した画像を圧縮した圧縮映像が映像データ受信部３１から供給される。そして、映像伸張部３４−１乃至４３−Ｎは、それぞれ対応する圧縮映像を、映像圧縮部２４−１乃至２４−Ｎが利用した映像圧縮コーデックに従って伸張することによってＮ枚の画像を取得して、仮想視点映像生成部３５に供給する。また、映像伸張部３４−１乃至４３−Ｎは、圧縮映像に付与されている圧縮情報を取得して、仮想視点映像生成部３５に供給する。
【００４３】
ここで、個々の圧縮映像は、映像圧縮部２４−１乃至２４−Ｎにおいて個別に圧縮処理が施されており、映像伸張部３４−１乃至４３−Ｎは、互いにデータを通信し合うことなく、個別に圧縮映像を伸張することができる。つまり、映像伸張部３４−１乃至４３−Ｎは、並列的に伸張処理を行うことができ、画像伝送システム１１全体での処理時間の短縮を図ることができる。
【００４４】
仮想視点映像生成部３５は、３Ｄ形状データ受信部３２から供給される被写体の３Ｄ形状、仮想視点情報取得部３３から供給される仮想視点情報に基づいて、Ｎ枚の画像それぞれに対応する圧縮情報を参照して仮想視点映像を生成する。
【００４５】
ここで、図４に示すように、仮想視点映像生成部３５は、可視領域判定部５１、色決定部５２、および生成処理部５３を有している。
【００４６】
例えば、可視領域判定部５１は、被写体の３Ｄ形状に基づいて、Ｎ枚の画像ごとに、仮想視点映像上の所定の位置が、カメラ１４−１乃至１４−Ｎそれぞれにおいて可視領域および不可視領域のいずれであるかを判定する。また、色決定部５２は、Ｎ枚の画像において、可視領域と判定された画像上で所定の位置に対応する位置を圧縮した際の圧縮率を圧縮情報から取得し、それぞれの圧縮率に基づいた重み情報を取得する。さらに、色決定部５２は、可視領域と判定された画像上で所定の位置に対応する位置における色を示す色情報を取得する。
【００４７】
そして、生成処理部５３は、Ｎ枚の画像それぞれの重み情報および色情報を用いた重み付け平均を行って、仮想視点映像の所定の位置における色を決定することにより、仮想視点映像を生成する。なお、仮想視点映像生成部３５が、仮想視点映像を生成する仮想視点映像生成処理については、図８および図９のフローチャートを参照して後述する。
【００４８】
以上のように画像伝送システム１１は構成されており、多視点映像送信部１２が、重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定することによって、圧縮映像データの圧縮効率を高めることができる。また、任意視点映像生成部１３が、Ｎ枚の画像それぞれの重み情報および色情報を用いた重み付け平均を行って仮想視点映像を生成することで、高品質化を図ることができる。
【００４９】
＜重複領域の検出＞
図５および図６を参照して、重複領域を検出する方法について説明する。
【００５０】
図５には、基準カメラ１４ａにより撮影される範囲と、非基準カメラ１４ｂにより撮影される範囲とが模式的に示されている。
【００５１】
図５に示すように、被写体と、その被写体の背後に別の被写体となる物体（背後物体と称する）とが配置されている場合、基準カメラ１４ａおよび非基準カメラ１４ｂの両方により観測される被写体の領域（領域ｄ）は、重複領域となる。また、基準カメラ１４ａおよび非基準カメラ１４ｂの両方により観測される背後物体の領域（領域ｂ）も重複領域となる。
【００５２】
一方、非基準カメラ１４ｂにより観測される領域のうち、基準カメラ１４ａから見て被写体に隠れて観測することができない背後物体の領域（領域ｃ）は、非重複領域となる。また、非基準カメラ１４ｂにより観測される領域のうち、基準カメラ１４ａの方向を向いていない背後物体の側面の領域（領域ａ）も非重複領域となる。
【００５３】
そして、映像圧縮部２４−１乃至２４−Ｎは、それぞれ対応するカメラ１４−１乃至１４−Ｎが非基準カメラ１４ｂである場合、上述したように、重複領域の圧縮率を非重複領域の圧縮率よりも高く設定して、画像を圧縮する圧縮処理を行う。ここで、映像圧縮部２４−１乃至２４−Ｎは、重複領域を検出するために、例えば、画像を構成するピクセルごとに重複しているか否かを判定する。
【００５４】
図６を参照して、画像を構成するピクセルごとの重複の判定方法について説明する。
【００５５】
まず、非基準カメラ１４ｂに対応する映像圧縮部２４は、基準カメラ１４ａの内部パラメータおよび外部パラメータを用いて、被写体および背後物体の３Ｄ形状をレンダリングする。これにより、映像圧縮部２４は、基準カメラ１４ａから観察される被写体および背後物体が写された画像のピクセルごとに、基準カメラ１４ａから被写体および背後物体の表面までの距離を示すデプス値を求め、それらの表面の全体について基準カメラ１４ａの視点におけるデプスバッファを取得する。
【００５６】
次に、映像圧縮部２４は、基準カメラ１４ａのデプスバッファを参照しながら、非基準カメラ１４ｂの内部パラメータおよび外部パラメータを用いて、被写体および背後物体の３Ｄ形状をレンダリングする。そして、映像圧縮部２４は、非基準カメラ１４ｂにより撮影された画像を構成するピクセルを順次、重複領域の判定を行う対象として注目する注目ピクセルとし、その注目ピクセルの三次元的な位置を表す３Ｄ位置を取得する。
【００５７】
さらに、映像圧縮部２４は、注目ピクセルの３Ｄ位置を、基準カメラ１４ａの内部パラメータおよび外部パラメータを用いて、Model View変換およびProjection変換することにより、基準カメラ１４ａから注目ピクセルの３Ｄ位置までの奥行を表す奥行値に変換する。また、映像圧縮部２４は、注目ピクセルの３Ｄ位置を基準カメラ１４ａに投影することにより、基準カメラ１４ａから注目ピクセルの３Ｄ位置を通る光線上にあるピクセルを特定し、基準カメラ１４ａのデプスバッファの中から、そのピクセルのピクセル位置にあるデプス値を取得する。
【００５８】
そして、映像圧縮部２４は、注目ピクセルの奥行値と、ピクセル位置のデプス値とを比較し、注目ピクセルの奥行値の方が大きい場合、その注目ピクセルに非重複マークを設定する。一方、映像圧縮部２４は、注目ピクセルの奥行値の方が小さい（または同じ）場合、その注目ピクセルに重複マークを設定する。
【００５９】
例えば、図６に示すような注目ピクセルの３Ｄ位置について、注目ピクセルの奥行値の方が、ピクセル位置のデプス値よりも大きいため、映像圧縮部２４は、この注目ピクセルについて非重複マークを設定する。つまり、図６に示す注目ピクセルは、図５に示したように非重複領域となる。
【００６０】
このような判定を、非基準カメラ１４ｂにより撮影された画像を構成する全てのピクセルを対象として行うことで、映像圧縮部２４は、重複マークが設定された画素からなる領域を重複領域として検出することができる。
【００６１】
なお、実際に取得される基準カメラ１４ａのデプスバッファには数値計算誤差が含まれることより、映像圧縮部２４は、注目ピクセルについて重複の判定を行う際に、ある程度の幅を持たせて判定を行うことが好ましい。また、ここで説明した重複の判定方法によって、映像圧縮部２４−１乃至２４−Ｎは、それぞれに対応する画像、被写体および背後物体の３Ｄ形状、並びに、カメラ１４−１乃至１４−Ｎの内部パラメータおよび外部パラメータに基づいて、重複領域を検出することができる。即ち、映像圧縮部２４−１乃至２４−Ｎは、それぞれに対応する画像（例えば、映像圧縮部２４−１であればカメラ１４−１により撮影された画像）以外の画像を用いずに画像を圧縮することができる点で、効率良く圧縮処理を行うことができる。
【００６２】
＜圧縮映像の生成＞
図７は、画像取得部２１−１乃至２１−Ｎそれぞれが圧縮映像を生成する圧縮映像生成処理を説明するフローチャートである。
【００６３】
ここで、画像取得部２１−１乃至２１−Ｎそれぞれにおいて行われる圧縮映像生成処理として、Ｎ個の画像取得部２１−１乃至２１−Ｎのうちの、ｎ番目の映像圧縮部２４−ｎにおいて行われる圧縮映像生成処理について説明する。そして、映像圧縮部２４−ｎには、ｎ番目のカメラ１４−ｎにより撮影された画像が、ｎ番目の画像取得部２１−ｎから供給される。また、カメラ１４−ｎは、基準カメラ１４ａとして用いられていない非基準カメラ１４ｂとする。
【００６４】
例えば、カメラ１４−ｎにより撮影された画像が映像圧縮部２４−ｎに供給されるとともに、その画像も用いて取得された３Ｄ形状が３Ｄ形状計算部２３から映像圧縮部２４−ｎに供給されると処理が開始される。ステップＳ１１において、映像圧縮部２４−ｎは、基準カメラ１４ａの内部パラメータおよび外部パラメータを用いて、３Ｄ形状計算部２３から供給された３Ｄ形状をレンダリングし、基準カメラ１４ａにおけるデプスバッファを取得する。
【００６５】
ステップＳ１２において、映像圧縮部２４−ｎは、非基準カメラ１４ｂであるカメラ１４−ｎの内部パラメータおよび外部パラメータを用いて、３Ｄ形状計算部２３から供給された３Ｄ形状をレンダリングする。
【００６６】
ステップＳ１３において、映像圧縮部２４−ｎは、カメラ１４−ｎにより撮影された画像を構成するピクセルの中から、注目ピクセルを設定する。例えば、映像圧縮部２４−ｎは、ラスタ順に従って、注目ピクセルを設定することができる。
【００６７】
ステップＳ１４において、映像圧縮部２４−ｎは、ステップＳ１２でレンダリングして得られたデプス情報と、非基準カメラ１４ｂであるカメラ１４−ｎの内部パラメータおよび外部パラメータとに基づいて、注目ピクセルのワールド座標系における３Ｄ位置を取得する。
【００６８】
ステップＳ１５において、映像圧縮部２４−ｎは、ステップＳ１４で取得した注目ピクセルの３Ｄ位置を、基準カメラ１４ａの内部パラメータおよび外部パラメータを用いて、Model View変換およびProjection変換する。これにより、映像圧縮部２４−ｎは、基準カメラ１４ａから注目ピクセルの３Ｄ位置までの奥行値を取得する。
【００６９】
ステップＳ１６において、映像圧縮部２４−ｎは、注目ピクセルの３Ｄ位置を基準カメラ１４ａに投影し、ステップＳ１１で取得した基準カメラ１４ａのデプスバッファの中から、基準カメラ１４ａから注目ピクセルの３Ｄ位置を通る光線上にあるピクセル位置のデプス値を取得する。
【００７０】
ステップＳ１７において、映像圧縮部２４−ｎは、ステップＳ１５で取得した注目ピクセルの奥行値と、ステップＳ１６で取得したピクセル位置のデプス値とを比較する。
【００７１】
ステップＳ１８において、映像圧縮部２４−ｎは、ステップＳ１７における比較結果に基づいて、注目ピクセルの３Ｄ位置の奥行値の方が、注目ピクセルの位置に対応するデプス値よりも大きいか否かを判定する。
【００７２】
ステップＳ１８において、映像圧縮部２４−ｎが、注目ピクセルの３Ｄ位置の奥行値の方が、注目ピクセルの位置に対応するデプス値よりも大きくない（以下である）と判定した場合、処理はステップＳ１９に進む。ステップＳ１９において、映像圧縮部２４−ｎは、注目ピクセルに対して重複マークを設定する。
【００７３】
一方、ステップＳ１８において、映像圧縮部２４−ｎが、注目ピクセルの３Ｄ位置の奥行値の方が、注目ピクセルの位置に対応するデプス値よりも大きいと判定した場合、処理はステップＳ２０に進む。即ち、この場合、図６の例に示したように注目ピクセルは非重複領域にあり、ステップＳ２０において、映像圧縮部２４−ｎは、注目ピクセルに対して非重複マークを設定する。
【００７４】
ステップＳ１９またはＳ２０の処理後、処理はステップＳ２１に進み、映像圧縮部２４−ｎは、カメラ１４−ｎにより撮影された画像を構成するピクセルのうち、注目ピクセルとして設定されていない未処理のピクセルがあるか否を判定する。
【００７５】
ステップＳ２１において、映像圧縮部２４−ｎが、未処理のピクセルがあると判定した場合、処理はステップＳ１３に戻る。そして、ステップＳ１３において次のピクセルを注目ピクセルとして設定し、以下、同様の処理が繰り返される。
【００７６】
一方、ステップＳ２１において、映像圧縮部２４−ｎが、未処理のピクセルがないと判定した場合、処理はステップＳ２２に進む。即ち、この場合、カメラ１４−ｎにより撮影された画像を構成する全てのピクセルに対して重複マークおよび非重複マークの一方が設定されている。従って、この場合、映像圧縮部２４−ｎは、カメラ１４−ｎにより撮影された画像を構成するピクセルのうち、重複マークが設定されているピクセルからなる領域を重複領域として検出したことになる。
【００７７】
ステップＳ２２において、映像圧縮部２４−ｎは、重複マークが設定されている重複領域に対する圧縮率が、非重複マークが設定されている非重複領域に対する圧縮率よりも高くなるように、それぞれの領域に圧縮率を設定する。
【００７８】
ステップＳ２３において、映像圧縮部２４−ｎは、ステップＳ２２で設定した重複領域および非重複領域それぞれの圧縮率に従って画像を圧縮して、圧縮映像を取得した後、処理は終了される。
【００７９】
以上のように、画像取得部２１−１乃至２１−Ｎは、それぞれ対応する画像において重複領域を検出することができる。そして、画像取得部２１−１乃至２１−Ｎは、その後の圧縮処理において、重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定することで、より圧縮効率を高めることができる。
【００８０】
＜仮想視点映像の生成＞
図８および図９を参照して、仮想視点映像を生成する方法について説明する。
【００８１】
図８は、仮想視点映像生成部３５が仮想視点映像を生成する仮想視点映像生成処理を説明するフローチャートである。
【００８２】
例えば、映像伸張部３４−１乃至４３−Ｎから画像および圧縮情報が仮想視点映像生成部３５に供給され、３Ｄ形状データ受信部３２から３Ｄ形状が仮想視点映像生成部３５に供給されると処理が開始される。ステップＳ３１において、仮想視点映像生成部３５は、カメラ１４−１乃至１４−Ｎそれぞれの内部パラメータおよび外部パラメータを用いて、３Ｄ形状データ受信部３２から供給された３Ｄ形状をレンダリングし、全てのカメラ１４−１乃至１４−Ｎにおけるデプスバッファを取得する。
【００８３】
ここで、一般的に、仮想視点映像を生成する際のフレームレートと、カメラ１４−１乃至１４−Ｎが画像を取得する際のフレームレートは一致しないことが多い。そのため、ステップＳ１１においてデプスバッファを得るためのレンダリング処理は、仮想視点映像を生成するたびに実施するのではなく、新しいフレームが受信されたタイミングで行うことが望ましい。
【００８４】
ステップＳ３２において、仮想視点映像生成部３５は、３Ｄ形状データ受信部３２から供給された３Ｄ形状を、仮想視点情報取得部３３から供給される仮想視点情報に従った仮想視点に基づいてModel View変換およびProjection変換する。これにより、仮想視点映像生成部３５は、３Ｄ形状の座標を、仮想視点を基準として３Ｄ位置を示す座標に変換する。
【００８５】
ステップＳ３３において、仮想視点映像生成部３５は、生成する仮想視点映像を構成するピクセルの中から、注目ピクセルを設定する。例えば、仮想視点映像生成部３５は、ラスタ順に従って、注目ピクセルを設定することができる。
【００８６】
ステップＳ３４において、仮想視点映像生成部３５は、ステップＳ３２で座標変換された３Ｄ形状の３Ｄ位置に基づいて、注目ピクセルの３Ｄ位置を取得する。
【００８７】
ステップＳ３５において、仮想視点映像生成部３５は、Ｎ台のカメラ１４−１乃至１４−Ｎのうちの１台を特定するカメラ番号ｎに、初期値としての１を設定する。
【００８８】
ステップＳ３６において、仮想視点映像生成部３５は、カメラ１４−ｎにより撮影された画像を対象として、注目ピクセルの色と、その色に対する重みとを取得する色情報および重み情報取得処理（後述する図９のフローチャート参照）を行う。
【００８９】
ステップＳ３７において、仮想視点映像生成部３５は、Ｎ台のカメラ１４−１乃至１４−Ｎの全てを対象として、色情報および重み情報取得処理を行ったか否かを判定する。例えば、仮想視点映像生成部３５は、カメラ番号ｎがＮ以上である場合（ｎ≧Ｎ）、Ｎ台のカメラ１４−１乃至１４−Ｎ全てを対象として、色情報および重み情報取得処理を行ったと判定する。
【００９０】
ステップＳ３７において、仮想視点映像生成部３５が、Ｎ台のカメラ１４−１乃至１４−Ｎの全てを対象として、色情報および重み情報取得処理を行っていないと判定した場合（ｎ＜Ｎ）、処理はステップＳ３８に進む。そして、ステップＳ３８において、カメラ番号ｎをインクリメントした後、処理はステップＳ３６に戻り、次のカメラ１４−ｎにより撮影された画像を対象として、以下、同様の処理が繰り返される。
【００９１】
一方、ステップＳ３７において、仮想視点映像生成部３５が、Ｎ台のカメラ１４−１乃至１４−Ｎの全てを対象として、色情報および重み情報取得処理を行ったと判定した場合（ｎ≧Ｎ）、処理はステップＳ３９に進む。
【００９２】
ステップＳ３９において、仮想視点映像生成部３５は、ステップＳ３６の色情報および重み情報取得処理で取得した色情報および重み情報を使用した重み付け平均を演算することにより、注目ピクセルの色を決定する。
【００９３】
ステップＳ４０において、仮想視点映像生成部３５は、生成する仮想視点映像を構成するピクセルのうち、注目ピクセルとして設定されていない未処理のピクセルがあるか否を判定する。
【００９４】
ステップＳ４０において、仮想視点映像生成部３５が、未処理のピクセルがあると判定した場合、処理はステップＳ３３に戻る。そして、ステップＳ３３において次のピクセルを注目ピクセルとして設定し、以下、同様の処理が繰り返される。
【００９５】
一方、ステップＳ４０において、仮想視点映像生成部３５が、未処理のピクセルがないと判定した場合、処理はステップＳ４１に進む。即ち、この場合、仮想視点映像を構成する全てのピクセルの色が決定されている。
【００９６】
ステップＳ４１において、仮想視点映像生成部３５は、仮想視点映像を構成する全ての画素についてステップＳ３９で決定された色となるように仮想視点映像を生成し、その仮想視点映像を出力した後、処理は終了される。
【００９７】
図９は、図８のステップＳ３６で実行される色情報および重み情報取得処理を説明するフローチャートである。
【００９８】
ステップＳ５１において、仮想視点映像生成部３５は、注目ピクセルの３Ｄ位置を、カメラ１４−ｎの内部パラメータおよび外部パラメータを用いてModel View変換およびProjection変換する。これにより、仮想視点映像生成部３５は、カメラ１４−ｎから注目ピクセルの３Ｄ位置までの奥行を表す奥行値を求める。
【００９９】
ステップＳ５２において、仮想視点映像生成部３５は、注目ピクセルの３Ｄ位置をカメラ１４−ｎに投影し、カメラ１４−ｎにより撮影された画像において注目ピクセルの３Ｄ位置を通る光線上にあるピクセル位置を求める。そして、仮想視点映像生成部３５は、図８のステップＳ３１で取得したデプスバッファの中から、カメラ１４−ｎにより撮影された画像上のピクセル位置におけるデプス値を取得する。
【０１００】
ステップＳ５３において、仮想視点映像生成部３５は、ステップＳ５１で求めた注目ピクセルの３Ｄ位置の奥行値と、ステップＳ５２で取得したピクセル位置のデプス値とを比較する。
【０１０１】
ステップＳ５４において、仮想視点映像生成部３５は、ステップＳ５３における比較結果に基づいて、注目ピクセルの奥行値の方が、ピクセル位置のデプス値よりも大きいか否か、即ち、３Ｄ位置がカメラ１４−ｎから可視および不可視のどちらであるかを判定する。ここで、実際に取得されるカメラ１４−ｎのデプスバッファには数値計算誤差が含まれることより、仮想視点映像生成部３５は、注目ピクセルについて可視または不可視の判定を行う際に、ある程度の幅を持たせて判定を行うことが好ましい。
【０１０２】
ステップＳ５４において、仮想視点映像生成部３５が、注目ピクセルの３Ｄ位置の奥行値の方が、ピクセル位置のデプス値よりも大きいと判定した場合、処理はステップＳ５５に進む。
【０１０３】
ステップＳ５５において、仮想視点映像生成部３５は、重みを０に設定した重み情報を取得し、処理は終了される。即ち、注目ピクセルの３Ｄ位置の奥行値の方が、ピクセル位置のデプス値よりも大きい場合、カメラ１４−ｎからは注目ピクセルの３Ｄ位置が見えていないこと（不可視領域）になる。従って、重みを０に設定することで、そのピクセル位置の色が仮想視点映像に反映されることが回避される。
【０１０４】
一方、ステップＳ５４において、仮想視点映像生成部３５が、注目ピクセルの３Ｄ位置の奥行値の方が、注目ピクセルに対応するピクセル位置のデプス値よりも大きくない（以下である）と判定した場合、処理はステップＳ５６に進む。即ち、この場合、カメラ１４−ｎからは注目ピクセルの３Ｄ位置が見えていること（可視領域）になる。
【０１０５】
ステップＳ５６において、仮想視点映像生成部３５は、映像伸張部３４−ｎから供給される圧縮情報から、注目ピクセルに対応するピクセル位置における圧縮率を示す圧縮パラメータを取得する。
【０１０６】
ステップＳ５７において、仮想視点映像生成部３５は、ステップＳ５６で取得した圧縮パラメータに基づいて、圧縮率の大きさに従った重みを計算し、その重みを示す重み情報を取得する。例えば、仮想視点映像生成部３５は、圧縮率そのものを重みとして用いたり、圧縮率の大きさに応じて大きな値となるように重みを求めたりしてもよい。また、例えば、H.264/AVCやH.265/HEVCの場合、注目ピクセルのQP値（量子化パラメータ）を重みとして利用することができ、QP値が高いほど映像劣化が高いため、注目ピクセルのQP値が高いほど重みの値を下げるような方法を採用ことが望ましい。
【０１０７】
ステップＳ５８において、仮想視点映像生成部３５は、カメラ１４−ｎにより撮影された画像において注目ピクセルに対応するピクセル位置の色を示す色情報を取得する。これにより、カメラ１４−ｎの注目ピクセルにおける色情報および重み情報が取得され、処理は終了される。
【０１０８】
以上のように、仮想視点映像生成部３５は、色情報および重み情報取得処理において色情報および重み情報を取得して仮想視点の各ピクセルの色を決定して、仮想視点映像を生成することができる。これにより、より高品質な仮想視点映像を視聴者に提示することができる。
【０１０９】
ところで、撮影画像をテクスチャとして仮想視点映像を生成する際に、その画像を撮影したカメラ１４に対して被写体の表面の角度が急峻な場合、その急峻な領域の撮影画像における面積がモデル面積に対して小さくなるため、テクスチャ解像度が低下してしまう。
【０１１０】
そこで、図１に示す画像伝送システム１１では、例えば、被写体の表面の角度が急峻な領域は、カメラ１４を原点として、モデルの当該３次元点に進む光線ベクトルの方向と、モデルの当該３次元点の法線ベクトルとの角度を計算することにより取得する。そして、光線ベクトルおよび法線ベクトルをそれぞれ単位ベクトルとし内積を求めると、その内積の値は、それぞれのベクトル間のcos(θ)となる。
【０１１１】
従って、光線ベクトルおよび法線ベクトルの内積は、−１〜１の間の値となる。なお、光線ベクトルおよび法線ベクトルの内積が０以下の場合には、モデルの裏面を指すことになる。従って、光線ベクトルおよび法線ベクトルの内積について、０〜１の値域に着目して、０に近づくほどカメラ１４から見たオブジェクトの角度が急峻になる。また、この内積は、カメラ１４の内部パラメータおよび外部パラメータ、並びに、３Ｄ形状を用いて求めることができ、カメラ１４により撮影された画像を用いる必要はない。
【０１１２】
このような特性に基づいて、画像伝送システム１１は、重複領域を検出する処理において、非基準カメラ１４ｂにおける光線ベクトルおよび法線ベクトルの内積（角度情報）を参考値として用いて併用することができる。この場合、注目ピクセルが重複領域であっても、基準カメラ１４ａにおける光線ベクトルおよび法線ベクトルの内積が小さい場合、上述したように圧縮率を高く設定する処理を停止（即ち、圧縮率を高くしない）ことによって、仮想視点映像の品質劣化をさらに抑制することが可能となる。
【０１１３】
＜画像伝送システムの第２の構成例＞
図１０は、本技術を適用した画像伝送システムの第２の実施の形態の構成例を示すブロック図である。なお、図１０に示す画像伝送システム１１Ａにおいて、図１の画像伝送システム１１と共通する構成については、同一の符号を付し、その詳細な説明を省略する。
【０１１４】
図１０に示すように、画像伝送システム１１Ａは、多視点映像送信部１２Ａおよび任意視点映像生成部１３により構成され、任意視点映像生成部１３は、図１に示した構成と同様である。また、多視点映像送信部１２Ａは、Ｎ個の画像取得部２１−１乃至２１−Ｎ、基準カメラ決定部２２、Ｎ個の映像圧縮部２４−１乃至２４−Ｎ、映像データ送信部２５、および３Ｄ形状データ送信部２６を備える点で、図１の多視点映像送信部１２と共通する。
【０１１５】
そして、画像伝送システム１１Ａでは、デプスカメラ１５が多視点映像送信部１２Ａに接続されるとともに、多視点映像送信部１２Ａが、デプス画像取得部２７、点群計算部２８、および３Ｄ形状計算部２３Ａを備える点で、図１に示した構成と異なっている。
【０１１６】
デプスカメラ１５は、被写体までのデプスからなるデプス画像を多視点映像送信部１２Ａに供給する。
【０１１７】
デプス画像取得部２７は、デプスカメラ１５から供給されるデプス画像を取得し、そのデプス画像に基づいて被写体のデプスマップを作成して、点群計算部２８に供給する。
【０１１８】
点群計算部２８は、デプス画像取得部２７から供給される被写体のデプスマップを、３Ｄ空間に投影する計算を行うことにより被写体の点群情報を取得して、映像圧縮部２４−１乃至２４−Ｎおよび３Ｄ形状計算部２３Ａに供給する。
【０１１９】
従って、３Ｄ形状計算部２３Ａは、点群計算部２８から供給される被写体の点群情報に基づいた計算を行うことで、被写体の３Ｄ形状を取得する。同様に、映像圧縮部２４−１乃至２４−Ｎは、被写体の３Ｄ形状に代替えして、被写体の点群情報を用いることができる。
【０１２０】
一般的に、図１の３Ｄ形状計算部２３のように、画像から被写体の３Ｄ形状を復元する処理は処理負荷が高い。これに対し、３Ｄ形状計算部２３Ａのように、被写体の点群情報から３Ｄ形状を生成する処理は、デプスカメラ１５の内部パラメータおよび外部パラメータから一意に変換することが可能であり処理負荷が低い。
【０１２１】
従って、画像伝送システム１１Ａは、図１の画像伝送システム１１と比較して、処理負荷を抑制することができるというメリットがある。
【０１２２】
なお、画像伝送システム１１Ａにおいて、図７の圧縮映像生成処理や図８の仮想視点映像生成処理などは、上述した処理と同様に行われる。また、画像伝送システム１１Ａでは、複数台のデプスカメラ１５を用いた構成としてもよく、このような構成の場合、単一視点のデプスカメラ１５ではオクルージョンになる領域に対しても３Ｄ情報を得ることが可能であるため、より正確な判定が可能となる。
【０１２３】
また、点群計算部２８により求められる被写体の点群情報は、図１の３Ｄ形状計算部２３により得られる３Ｄ形状と比較して疎な情報である。このため、被写体の点群情報から３Ｄメッシュを生成し、その３Ｄメッシュを用いて重複判定を行ってもよい。さらに、より正確な３Ｄ形状を得るために、例えば、デプスカメラ１５により得られるデプス画像だけでなく、カメラ１４−１乃至１４−Ｎにより得られる画像を併用してもよい。
【０１２４】
＜画像伝送システムの第３の構成例＞
図１１は、本技術を適用した画像伝送システムの第３の実施の形態の構成例を示すブロック図である。なお、図１１に示す画像伝送システム１１Ｂにおいて、図１の画像伝送システム１１と共通する構成については、同一の符号を付し、その詳細な説明を省略する。
【０１２５】
図１１に示すように、画像伝送システム１１Ｂは、多視点映像送信部１２Ｂおよび任意視点映像生成部１３により構成され、任意視点映像生成部１３は、図１に示した構成と同様である。また、多視点映像送信部１２Ｂは、Ｎ個の画像取得部２１−１乃至２１−Ｎ、３Ｄ形状計算部２３、Ｎ個の映像圧縮部２４−１乃至２４−Ｎ、映像データ送信部２５、および３Ｄ形状データ送信部２６を備える点で、図１の多視点映像送信部１２と共通する。
【０１２６】
そして、多視点映像送信部１２Ｂは、基準カメラ決定部２２Ｂを備えて構成されており、３Ｄ形状計算部２３Ｂから出力される被写体の３Ｄ形状が基準カメラ決定部２２Ｂに供給される点で、図１に示した構成と異なっている。
【０１２７】
基準カメラ決定部２２Ｂは、３Ｄ形状計算部２３から供給される被写体の３Ｄ形状に基づいて、基準カメラ１４ａを決定する。
【０１２８】
ここで、視聴者に提示する任意視点映像のテクスチャの解像度は、カメラ１４と被写体との間の距離に依存し、カメラ１４から被写体までの距離が近いほど解像度は高くなる。上述したように、映像圧縮部２４−１乃至２４−Ｎは、非基準カメラ１４ｂにより撮影された画像を圧縮する際に、基準カメラ１４ａにより撮影された画像との重複領域における圧縮率を高く設定する。このため、視聴者に提示する任意視点映像の映像品質は基準カメラ１４ａにより撮影された画像の品質に大きく依存することになる。
【０１２９】
そこで、基準カメラ決定部２２Ｂは、３Ｄ形状計算部２３から供給される被写体の３Ｄ形状に基づいて、カメラ１４−１乃至１４−Ｎから被写体までの距離を求め、被写体に最も近いカメラ１４を基準カメラ１４ａとして決定する。例えば、基準カメラ決定部２２Ｂは、カメラ１４−１乃至１４−Ｎから被写体までの距離を、被写体の３Ｄ形状、および、カメラ１４−１乃至１４−Ｎの外部パラメータを用いて求めることができる。
【０１３０】
従って、画像伝送システム１１Ｂでは、被写体に最も近い基準カメラ１４ａを利用することにより、仮想視点映像の高品質化を図ることができる。
【０１３１】
＜画像伝送システムの第４の構成例＞
図１２は、本技術を適用した画像伝送システムの第４の実施の形態の構成例を示すブロック図である。なお、図１２に示す画像伝送システム１１Ｃにおいて、図１の画像伝送システム１１と共通する構成については、同一の符号を付し、その詳細な説明を省略する。
【０１３２】
図１２に示すように、画像伝送システム１１Ｃは、多視点映像送信部１２Ｃおよび任意視点映像生成部１３により構成され、任意視点映像生成部１３は、図１に示した構成と同様である。また、多視点映像送信部１２Ｃは、Ｎ個の画像取得部２１−１乃至２１−Ｎ、Ｎ個の映像圧縮部２４−１乃至２４−Ｎ、映像データ送信部２５、および３Ｄ形状データ送信部２６を備える点で、図１の多視点映像送信部１２と共通する。
【０１３３】
そして、画像伝送システム１１Ｃでは、デプスカメラ１５が多視点映像送信部１２Ｃに接続されるとともに、多視点映像送信部１２Ｃが、基準カメラ決定部２２Ｃ、デプス画像取得部２７、点群計算部２８、および３Ｄ形状計算部２３Ｃを備える点で、図１に示した構成と異なっている。即ち、画像伝送システム１１Ｃは、図１０の画像伝送システム１１Ａと同様に、デプスカメラ１５により取得されるデプス画像を利用する構成となっている。
【０１３４】
さらに、画像伝送システム１１Ｃでは、点群計算部２８から出力される被写体の点群情報が、基準カメラ決定部２２Ｃに供給されるように構成されており、図１１の画像伝送システム１１Ｂと同様に、被写体の点群情報に基づいて、基準カメラ１４ａが決定される。
【０１３５】
このように、画像伝送システム１１Ｃは、図１０の画像伝送システム１１Ａおよび図１１の画像伝送システム１１Ｂが組み合わされた構成となっている。
【０１３６】
なお、基準カメラ１４ａの決定方法としては、被写体の３Ｄ形状または点群情報に基づく決定方法に限定されることなく、さらに他の決定方法を採用してもよい。
【０１３７】
＜画像伝送システムの第５の構成例＞
図１３は、本技術を適用した画像伝送システムの第５の実施の形態の構成例を示すブロック図である。なお、図１３に示す画像伝送システム１１Ｄにおいて、図１の画像伝送システム１１と共通する構成については、同一の符号を付し、その詳細な説明を省略する。
【０１３８】
図１３に示すように、画像伝送システム１１Ｄは、多視点映像送信部１２Ｄおよび任意視点映像生成部１３Ｄにより構成される。
【０１３９】
多視点映像送信部１２Ｄは、Ｎ個の画像取得部２１−１乃至２１−Ｎ、３Ｄ形状計算部２３、Ｎ個の映像圧縮部２４−１乃至２４−Ｎ、映像データ送信部２５、および３Ｄ形状データ送信部２６を備える点で、図１の多視点映像送信部１２と共通する。但し、多視点映像送信部１２Ｄは、基準カメラ決定部２２Ｄを備える点で、図１の多視点映像送信部１２と異なる構成となっている。
【０１４０】
任意視点映像生成部１３Ｄは、映像データ受信部３１、３Ｄ形状データ受信部３２、仮想視点情報取得部３３、Ｎ個の映像伸張部３４−１乃至４３−Ｎ、および仮想視点映像生成部３５を備える点で、図１の任意視点映像生成部１３と共通する。但し、任意視点映像生成部１３Ｄでは、仮想視点情報取得部３３から出力される仮想視点情報が多視点映像送信部１２Ｄへ伝送されるように構成されている点で、図１の任意視点映像生成部１３と異なる構成となっている。
【０１４１】
即ち、画像伝送システム１１Ｄでは、任意視点映像生成部１３Ｄから多視点映像送信部１２Ｄへ仮想視点情報が伝送され、基準カメラ決定部２２Ｄが仮想視点情報を利用して基準カメラ１４ａを決定するように構成される。例えば、基準カメラ決定部２２Ｄは、カメラ１４−１乃至１４−Ｎのうちの、視聴者が被写体を見る仮想視点に対して距離および角度が最も近いカメラ１４を基準カメラ１４ａとして選択する。
【０１４２】
例えば、ライブ配信などの利用形態において、基準カメラ決定部２２Ｄが、カメラ１４−１乃至１４−Ｎの位置および姿勢と、仮想視点の位置および姿勢とを照合して基準カメラ１４ａを決定することで、視聴者に提供する仮想視点映像の品質をより向上させることができる。
【０１４３】
なお、基準カメラ１４ａの決定方法としては、距離および角度が最も近いカメラ１４を選択する方法に限定されることはない。例えば、基準カメラ決定部２２Ｄは、過去の仮想視点情報から現在の視聴位置を予測し、その予測に基づいて基準カメラ１４ａを選択する方法を採用してもよい。
【０１４４】
＜複数台の基準カメラを用いる例＞
図１４および図１５を参照して、複数台の基準カメラ１４ａを用いる例について説明する。
【０１４５】
例えば、被写体の周囲を取り囲むように複数台のカメラ１４を配置することができる。図１４に示す例では、８台のカメラ１４−１乃至１４−８が、被写体の周囲を取り囲むように配置されている。
【０１４６】
このように複数台のカメラ１４を用いる場合、基準カメラ１４ａに対して被写体を挟んで反対側に非基準カメラ１４ｂが配置されることがある。従って、基準カメラ１４ａに対して被写体を挟んで反対側の非基準カメラ１４ｂで撮影された画像では、基準カメラ１４ａにより撮影された画像との重複領域が非常に少なくなることが想定される。
【０１４７】
従って、この場合、複数台の基準カメラ１４ａを用いることにより、重複領域が少なくなることを回避することができる。例えば、１つ目の基準カメラ１４ａに対して、被写体を挟んで反対側に配置されるカメラ１４を、２つ目の基準カメラ１４ａとして決定する。また、３つ以上の基準カメラ１４ａを用いてもよい。なお、このように基準カメラ１４ａを決定する方法以外の方法で、基準カメラ１４ａを決定してもよい。
【０１４８】
ここで、複数台の基準カメラ１４ａが設定された場合、非基準カメラ１４ｂにより撮影された画像との重複領域を検出する処理は、それぞれの基準カメラ１４ａと重複を判定することになる。
【０１４９】
例えば、図１５に示すように、２台の基準カメラ１４ａ−１および１４ａ−２により撮影される画像と、非基準カメラ１４ｂにより撮影される画像とで重複領域を検出する例について、上述の図５の例と同様に説明する。
【０１５０】
例えば、図１５に示すように、背後物体の領域ａは、非基準カメラ１４ｂだけにより観測される非重複領域である。また、背後物体の領域ｂは、基準カメラ１４ａ−１および非基準カメラ１４ｂにより観測される重複領域である。また、背後物体の領域ｃは、基準カメラ１４ａ−１からは被写体に隠れて観測できないが、基準カメラ１４ａ−２および非基準カメラ１４ｂにより観測される重複領域である。また、被写体の領域ｄは、基準カメラ１４ａ−１および非基準カメラ１４ｂにより観測される重複領域である。そして、被写体の領域ｅは、基準カメラ１４ａ−１および１４ａ−２により観測される重複領域である。
【０１５１】
このように、複数台の基準カメラ１４ａを用いたときの圧縮映像生成処理では、それぞれの基準カメラ１４ａにおけるデプスバッファを先に取得する。そして、各ピクセルの重複判定を行う際に、それぞれの基準カメラ１４ａにおけるデプスバッファとの比較を行って、一つでも可視となる基準カメラ１４ａが存在した場合、そのピクセルに対して重複マークが設定される。
【０１５２】
このように、複数台の基準カメラ１４ａを用いることで、非基準カメラ１４ｂにおいて重複マークが設定されたピクセルを増加させることができる。従って、非基準カメラ１４ｂにより撮影された画像における重複領域を増加させることができる結果、その画像のデータ量のさらなる削減を図ることができる。
【０１５３】
ここで、図１５に示す領域ｅのように、複数台の基準カメラ１４ａどうしで重複している領域については、さらに高い圧縮率を適用してもよい。これにより、より効果的にデータ量を削減することができる。
【０１５４】
＜映像圧縮に視聴者視点を利用する例＞
上述した図１３に示す画像伝送システム１１Ｄのように、任意視点映像生成部１３Ｄから多視点映像送信部１２Ｄへ仮想視点情報が伝送される構成では、映像圧縮の付加情報として視聴者へ提供される仮想視点情報を利用することができる。
【０１５５】
例えば、視聴者へ提供される仮想視点映像は３Ｄモデルを仮想視点に投影することにより生成されたものであり、仮想視点から不可視になる領域は視聴者からは見えない不要な情報となる。従って、仮想視点情報に基づいて、仮想視点からの可視または不可視を示す情報を利用して不可視となる領域に対しては、さらに圧縮率を高めることができる。これにより、例えば、ライブ配信などの利用形態では、より遅延なく圧縮映像データを伝送することができる。
【０１５６】
また、仮想視点から不可視である領域は、仮想視点の画角外の領域およびオクルージョン領域である。これらの情報は、３Ｄ形状を仮想視点から一度レンダリングし、デプスバッファを取得することにより得ることができる。
【０１５７】
つまり、仮想視点情報および３Ｄ形状情報から３Ｄ形状のどの領域が仮想視点から見て可視か不可視かを認識することができる。この情報を利用し、仮想視点から不可視である領域は特定の色で塗りつぶすなどの処理を入れることで、視聴者に提示する仮想視点映像の品質を下げることなく、さらに圧縮効率を高めることが可能である。なお、実際の運用には多視点映像送信部１２Ｄと任意視点映像生成部１３Ｄとの間の通信には遅延が存在するため、視聴者の可動域にバッファを持たせるなどの工夫を施すことが好適である。
【０１５８】
以上のように、各実施の形態の画像伝送システム１１は、複数台のカメラ１４により撮影された多視点の画像を用いて、視聴者に提示する任意の視点の仮想視点映像の映像劣化を抑制しつつ、効果的に圧縮効率を向上させることができる。
【０１５９】
なお、重複の判定や、可視および不可視の判定、重み付け平均などにおいて、上述したようにピクセルごとに処理を行う他、例えば、圧縮技術で利用されるブロックごとに処理を行ってもよい。
【０１６０】
＜コンピュータの構成例＞
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１６１】
また、上述した一連の処理（画像処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【０１６２】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１６３】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１６４】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１６５】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１６６】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１６７】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１６８】
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
複数の撮像装置によって複数視点から被写体が撮像された複数の画像のうちの、基準となる基準撮像装置により撮像された前記画像と、前記基準撮像装置以外の非基準撮像装置により撮像された前記画像とで、重複している重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定する設定部と、
前記圧縮率に従って前記画像を圧縮する圧縮部と
を備える画像処理装置。
（２）
前記重複領域を、前記被写体の三次元形状を表す情報に基づいて検出する検出部
をさらに備える上記（１）に記載の画像処理装置。
（３）
前記画像を取得して、前記圧縮部に供給する取得部
をさらに備える上記（１）に記載の画像処理装置。
（４）
前記設定部は、前記基準撮像装置から前記被写体の表面の所定点に進む光線ベクトルと、その所定点での法線ベクトルとがなす角度を示す角度情報を用いて、前記重複領域の圧縮率を設定する
上記（１）に記載の画像処理装置。
（５）
前記被写体の三次元形状を表す情報を、複数の前記撮像装置によって複数視点から前記被写体が撮像された複数の前記画像から算出する３Ｄ形状計算部
をさらに備える上記（１）または（２）に記載の画像処理装置。
（６）
前記被写体までのデプスからなるデプス画像を取得するデプス画像取得部と、
前記被写体の三次元形状を表す情報として、前記デプス画像に基づいて前記被写体の点群情報を算出する点群計算部と
をさらに備える上記（１）から（３）までのいずれかに記載の画像処理装置。
（７）
複数の前記撮像装置の中から、前記基準撮像装置を決定する基準撮像装置決定部
をさらに備える上記（１）から（４）までのいずれかに記載の画像処理装置。
（８）
前記基準撮像装置決定部は、複数の前記撮像装置から前記被写体までの距離に基づいて、前記基準撮像装置を決定する
上記（５）に記載の画像処理装置。
（９）
前記基準撮像装置決定部は、任意の視点からの前記被写体の仮想視点映像を生成する際の仮想視点を示す情報に基づいて、前記基準撮像装置を決定する
上記（５）または（６）に記載の画像処理装置。
（１０）
複数の前記撮像装置の中から、２つ以上の前記基準撮像装置が用いられる
上記（１）から（９）までのいずれかに記載の画像処理装置。
（１１）
前記設定部は、任意の視点からの前記被写体の仮想視点映像を生成する際の仮想視点を示す情報に基づいて、前記圧縮率を設定する
上記（１）から（１０）までのいずれかに記載の画像処理装置。
（１２）
画像を圧縮する画像処理装置が、
複数の撮像装置によって複数視点から被写体が撮像された複数の画像のうちの、基準となる基準撮像装置により撮像された前記画像と、前記基準撮像装置以外の非基準撮像装置により撮像された前記画像とで、重複している重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定することと、
前記圧縮率に従って前記画像を圧縮することと
を含む画像処理方法。
（１３）
画像を圧縮する画像処理装置のコンピュータに、
複数の撮像装置によって複数視点から被写体が撮像された複数の前記画像のうちの、基準となる基準撮像装置により撮像された前記画像と、前記基準撮像装置以外の非基準撮像装置により撮像された前記画像とで、重複している重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定することと、
前記圧縮率に従って前記画像を圧縮することと
を含む画像処理を実行させるためのプログラム。
（１４）
複数視点から被写体が撮像された複数の画像ごとに、前記被写体の三次元形状を表す情報に基づいて、任意の視点からの前記被写体の仮想視点映像上の所定の位置が、複数の前記撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかを判定する判定部と、
複数の前記画像において、前記可視領域と判定された前記画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、前記画像上で前記所定の位置に対応する位置における色を示す色情報を用いた重み付け平均を行って、前記仮想視点映像の前記所定の位置における色を決定する決定部と、
前記決定部により決定された色に基づいて、前記仮想視点映像を生成する生成部と
を備える画像処理装置。
（１５）
画像を生成する画像処理装置が、
複数視点から被写体が撮像された複数の画像ごとに、前記被写体の三次元形状を表す情報に基づいて、任意の視点からの前記被写体の仮想視点映像上の所定の位置が、複数の前記撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかを判定することと、
複数の前記画像において、前記可視領域と判定された前記画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、前記画像上で前記所定の位置に対応する位置における色を示す色情報を用いた重み付け平均を行って、前記仮想視点映像の前記所定の位置における色を決定することと、
その決定された色に基づいて、前記仮想視点映像を生成することと
を含む画像処理方法。
（１６）
画像を生成する画像処理装置のコンピュータに、
複数視点から被写体が撮像された複数の画像ごとに、前記被写体の三次元形状を表す情報に基づいて、任意の視点からの前記被写体の仮想視点映像上の所定の位置が、複数の前記撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかを判定することと、
複数の前記画像において、前記可視領域と判定された前記画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、前記画像上で前記所定の位置に対応する位置における色を示す色情報を用いた重み付け平均を行って、前記仮想視点映像の前記所定の位置における色を決定することと、
その決定された色に基づいて、前記仮想視点映像を生成することと
を含む画像処理を実行させるためのプログラム。
（１７）
複数の撮像装置によって複数視点から被写体が撮像された複数の画像のうちの、基準となる基準撮像装置により撮像された前記画像と、前記基準撮像装置以外の非基準撮像装置により撮像された前記画像とで、重複している重複領域に対する圧縮率を非重複領域に対する圧縮率よりも高く設定する設定部と、
前記圧縮率に従って前記画像を圧縮する圧縮部と
を有する第１の画像処理装置と、
前記第１の画像処理装置から伝送されてくる複数の画像ごとに、前記被写体の三次元形状を表す情報に基づいて、任意の視点からの前記被写体の仮想視点映像上の所定の位置が、複数の前記撮像装置それぞれにおいて可視領域および不可視領域のいずれであるかを判定する判定部と、
複数の前記画像において、前記可視領域と判定された前記画像上で前記所定の位置に対応する位置を圧縮した際の圧縮率に基づいた重み情報、および、前記画像上で前記所定の位置に対応する位置における色を示す色情報を用いた重み付け平均を行って、前記仮想視点映像の前記所定の位置における色を決定する決定部と、
前記決定部により決定された色に基づいて、前記仮想視点映像を生成する生成部と
を有する第２の画像処理装置と
を備える画像伝送システム。
【０１６９】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【０１７０】
１１  画像伝送システム，  １２  多視点映像送信部，  １３  任意視点映像生成部，  １４  カメラ，  １４ａ  基準カメラ，  １４ｂ  非基準カメラ，  １５  デプスカメラ，  ２１  画像取得部，  ２２  基準カメラ決定部，  ２３  ３Ｄ形状計算部，  ２４  映像圧縮部，  ２５  映像データ送信部，  ２６  ３Ｄ形状データ送信部，  ２７  デプス画像取得部，  ２８  点群計算部，  ３１  映像データ受信部，  ３２  ３Ｄ形状データ受信部，  ３３  仮想視点情報取得部，  ３４  映像伸張部，  ３５  仮想視点映像生成部
【図１】
2019198501.tif 000003
【図２】
2019198501.tif 000004
【図３】
2019198501.tif 000005
【図４】
2019198501.tif 000006
【図５】
2019198501.tif 000007
【図６】
2019198501.tif 000008
【図７】
2019198501.tif 000009
【図８】
2019198501.tif 000010
【図９】
2019198501.tif 000011
【図１０】
2019198501.tif 000012
【図１１】
2019198501.tif 000013
【図１２】
2019198501.tif 000014
【図１３】
2019198501.tif 000015
【図１４】
2019198501.tif 000016
【図１５】
2019198501.tif 000017
【図１６】
2019198501.tif 000018
【国際調査報告】
2019198501.tif 000019
2019198501.tif 000020
2019198501.tif 000021