(57)【要約】  本開示は、より高精度な３次元モデルを生成することができるようにする符号化装置、符号化方法、復号装置、および復号方法に関する。３次元モデル生成部は、複数の撮像画像、および、アクティブデプス情報に基づいて、被写体の３次元モデルを表す３次元モデル情報を生成し、変換処理部は、３次元モデル情報により表される３次元モデルを、複数の方向から投影することにより複数枚の２次元画像に変換し、複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成する。そして、複数の２次元画像、デプス情報、および、アクティブデプス情報を含む伝送データが復号装置へ伝送される。本技術は、例えば、自由視点映像伝送システム適用できる。
2019107180.tif 000002
【特許請求の範囲】
【請求項１】
複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報を生成する３次元モデル生成部と、
前記３次元モデル情報により表される前記３次元モデルを、複数の方向から投影することにより複数の２次元画像に変換し、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成する変換処理部と、
前記複数の２次元画像および前記デプス情報を含む伝送データを復号装置へ伝送する伝送部と
を備える符号化装置。
【請求項２】
前記伝送部は、前記アクティブデプス情報を前記伝送データにさらに含めて伝送する
請求項１に記載の符号化装置。
【請求項３】
前記３次元モデル生成部は、
前記複数の撮像画像から背景差分を求めて、それぞれの前記撮像画像に前記被写体が映されている範囲を示すシルエットを２値化により表したシルエット画像を生成する背景差分生成部と、
前記複数のシルエット画像に対して前記アクティブデプス情報を投影して、前記シルエット画像上の前記被写体のシルエットに生じている破綻に対する加工を施すシルエット加工部と
を有する
請求項１に記載の符号化装置。
【請求項４】
前記シルエット加工部は、前記シルエット画像上の前記被写体のシルエットに対して加工を施した領域を示す加工領域情報を出力し、
前記伝送部は、前記加工領域情報を前記伝送データにさらに含めて伝送する
請求項３に記載の符号化装置。
【請求項５】
前記シルエット加工部は、前記シルエット画像上の前記被写体のシルエットに生じている穴を埋める加工を施す
請求項３に記載の符号化装置。
【請求項６】
前記シルエット加工部は、前記シルエット画像にシルエットとして表れている前記被写体の影を除去する加工を施す
請求項３に記載の符号化装置。
【請求項７】
前記複数の撮像画像において、所定の輝度値以下となるような暗所領域、および、所定の輝度値以上となるような白飛び領域を検出する暗所・白飛び領域検出部をさらに備え、
前記シルエット加工部は、前記シルエット画像上の前記暗所領域または前記白飛び領域における前記被写体のシルエットに対する加工を施す
請求項３に記載の符号化装置。
【請求項８】
前記複数の撮像画像、および、前記アクティブデプス情報に基づいて、前記被写体の物体または物質を検出する物体・物質検出部と、
前記被写体の物体または物質に応じて前記アクティブデプス情報を補正するための補正値を算出する補正値算出部と
をさらに備え、
前記被写体の前記３次元モデルを表す３次元モデル情報を生成するのに、前記補正値に基づいて補正された前記アクティブデプス情報が用いられる
請求項１に記載の符号化装置。
【請求項９】
前記伝送部は、前記補正値、および、前記補正値に対する信頼度を前記伝送データにさらに含めて伝送する
請求項８に記載の符号化装置。
【請求項１０】
前記物体・物質検出部は、前記撮像画像に写されている被写体ごとのセグメントに前記撮像画像を分割して、それらのセグメント単位で、前記被写体の物体または物質を検出する
請求項８に記載の符号化装置。
【請求項１１】
複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報を生成することと、
前記３次元モデル情報により表される前記３次元モデルを、複数の方向から投影することにより複数の２次元画像に変換し、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成することと、
前記複数の２次元画像および前記デプス情報を含む伝送データを復号装置へ伝送することと
を含む符号化方法。
【請求項１２】
複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報が生成され、前記３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより複数の２次元画像に変換され、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される前記複数の２次元画像および前記デプス情報を含む伝送データを受信する受信部と、
前記複数の２次元画像および前記デプス情報から前記被写体の前記３次元モデルを表す３次元モデル情報へ変換する３次元データ変換処理部と
を備える復号装置。
【請求項１３】
前記受信部は、前記複数の２次元画像、前記デプス情報、および前記アクティブデプス情報を含む伝送データを受信し、
前記３次元データ変換処理部は、前記アクティブデプス情報を参照して、前記複数の２次元画像および前記デプス情報から前記被写体の３次元モデルを表す３次元モデル情報へ変換する
請求項１２に記載の復号装置。
【請求項１４】
前記受信部は、前記複数の撮像画像から背景差分が求められて、それぞれの前記撮像画像に前記被写体が映されている範囲を示すシルエットを２値化により表したシルエット画像が生成され、前記複数のシルエット画像に対して前記アクティブデプス情報が投影されて、前記シルエット画像上の前記被写体のシルエットに生じている破綻に対する加工が施された領域を示す加工領域情報をさらに含む伝送データを受信し、
前記３次元データ変換処理部は、前記加工領域情報により示される領域に対して前記アクティブデプス情報を投影する
請求項１２に記載の復号装置。
【請求項１５】
前記受信部は、前記複数の撮像画像、および、前記アクティブデプス情報に基づいて、前記被写体の物体または物質が検出され、前記被写体の物体または物質に応じて前記アクティブデプス情報を補正するための補正値と、前記補正値に対する信頼度を含む前記伝送データを受信し、
前記３次元データ変換処理部は、前記補正値および前記信頼度に基づいて補正された前記アクティブデプス情報を参照する
請求項１２に記載の復号装置。
【請求項１６】
複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報が生成され、前記３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより複数の２次元画像に変換され、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される前記複数の２次元画像および前記デプス情報を含む伝送データを受信することと、
前記複数の２次元画像および前記デプス情報から前記被写体の前記３次元モデルを表す３次元モデル情報へ変換することと
を含む復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、符号化装置、符号化方法、復号装置、および復号方法に関し、特に、より高精度な３次元モデルを生成することができるようにした符号化装置、符号化方法、復号装置、および復号方法に関する。
【背景技術】
【０００２】
従来、前景画像と背景画像との差分を利用してシルエット画像を生成し、多視点のシルエット画像に視体積交差法を適用してVisual Hull（交差領域）を復元することによって、３次元モデルを生成する手法が用いられている。【０００３】
例えば、特許文献１には、多視点の被写体シルエット画像から視体積交差法により復元されるVisual Hullの整形が収束するまで、Visual Hullの整形を繰り返す３次元モデルの復元方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２０８７５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述したように、前景画像と背景画像との差分を利用してシルエット画像を生成する際に、前景色と背景色とが似ている場合には色の差分が小さくなることより、正確なシルエット画像の生成が困難となることがあった。そのため、そのようなシルエット画像に視体積交差法を適用しても、精度の低い３次元モデルが生成されることになっていた。【０００６】
本開示は、このような状況に鑑みてなされたものであり、より高精度な３次元モデルを生成することができるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の第１の側面の符号化装置は、複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報を生成する３次元モデル生成部と、前記３次元モデル情報により表される前記３次元モデルを、複数の方向から投影することにより複数の２次元画像に変換し、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成する変換処理部と、前記複数の２次元画像および前記デプス情報を含む伝送データを復号装置へ伝送する伝送部とを備える。【０００８】
本開示の第１の側面の符号化方法は、複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報を生成することと、前記３次元モデル情報により表される前記３次元モデルを、複数の方向から投影することにより複数の２次元画像に変換し、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成することと、前記複数の２次元画像および前記デプス情報を含む伝送データを復号装置へ伝送することとを含む。【０００９】
本開示の第１の側面においては、複数視点から被写体が撮像された複数の撮像画像、および、複数の撮像画像とは異なる視点から被写体までの距離を示す複数個のアクティブデプス情報に基づいて、被写体の３次元モデルを表す３次元モデル情報が生成され、３次元モデル情報により表される３次元モデルが、複数の方向から投影されることにより複数枚の２次元画像に変換され、複数の２次元画像を用いて任意の視点から３次元モデルまでの奥行きを表すデプス情報が生成され、複数の２次元画像およびデプス情報を含む伝送データが復号装置へ伝送される。【００１０】
本開示の第２の側面の復号装置は、複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報が生成され、前記３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより複数の２次元画像に変換され、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される前記複数の２次元画像および前記デプス情報を含む伝送データを受信する受信部と、前記複数の２次元画像および前記デプス情報から前記被写体の３次元モデルを表す３次元モデル情報へ変換する３次元データ変換処理部とを備える。【００１１】
本開示の第２の側面の復号方法は、複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報が生成され、前記３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより複数の２次元画像に変換され、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される前記複数の２次元画像および前記デプス情報を含む伝送データを受信することと、前記複数の２次元画像および前記デプス情報から前記被写体の３次元モデルを表す３次元モデル情報へ変換することとを含む。【００１２】
本開示の第２の側面においては、複数視点から被写体が撮像された複数の撮像画像、および、複数の撮像画像とは異なる視点から被写体までの距離を示す複数個のアクティブデプス情報に基づいて、被写体の３次元モデルを表す３次元モデル情報が生成され、３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより変換され、複数の２次元画像を用いて任意の視点から３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される複数枚の２次元画像およびデプス情報を含む伝送データが受信され、複数枚の２次元画像およびデプス情報から被写体の３次元モデルを表す３次元モデル情報へ変換される。
【発明の効果】
【００１３】
本開示の第１および第２の側面によれば、より高精度な３次元モデルを生成することができる。【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術を適用した自由視点映像伝送システムの一実施の形態の構成例を示すブロック図である。
【図２】ＲＧＢカメラおよびアクティブセンサの配置例を示す図である。
【図３】３次元モデル生成部の構成例を示すブロック図である。
【図４】２次元画像変換処理部の構成例を示すブロック図である。
【図５】３次元データ変換処理部の構成例を示すブロック図である。
【図６】アクティブデプス情報を投影することによる改善例を示す図である。
【図７】アクティブデプス情報を投影することによる改善例を示す図である。
【図８】被写体の影の除去について説明する図である。
【図９】グリーンバックのマスク情報として利用する例について説明する図である。
【図１０】符号化処理を説明するフローチャートである。
【図１１】３次元データ取得処理および２次元画像変換処理を説明するフローチャートである。
【図１２】復号処理を説明するフローチャートである。
【図１３】３次元モデル生成部の第１の変形例について説明する図である。
【図１４】３次元モデル生成部の第２の変形例について説明する図である。
【図１５】３次元モデル生成部の第３の変形例について説明する図である。
【図１６】補正量テーブルの第１のデータフォーマット例を示す図である。
【図１７】補正量を利用して生成されるシルエット画像について説明する図である。
【図１８】補正量テーブルの第２のデータフォーマット例を示す図である。
【図１９】セグメント情報の例について説明する図である。
【図２０】補正量テーブルの第３のデータフォーマット例を示す図である。
【図２１】補正量カーブについて説明する図である。
【図２２】第１の変形例の伝送データの伝送側を示す図である。
【図２３】第１の変形例の伝送データの受信側を示す図である。
【図２４】第２の変形例の伝送データの伝送側を示す図である。
【図２５】第２の変形例の伝送データの受信側を示す図である。
【図２６】第３の変形例の伝送データの受信側を示す図である。
【図２７】第４の変形例の伝送データの受信側を示す図である。
【図２８】シルエット画像に被写体の影が現れないようにする手法について説明する図である。
【図２９】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１７】
＜自由視点映像伝送システムの第１の構成例＞
図１は、本技術を適用した自由視点映像伝送システムの一実施の形態の構成例を示すブロック図である。
【００１８】
図１に示すように、自由視点映像伝送システム１１は、符号化システム１２および復号システム１３が、ネットワークを介して接続されて構成され、符号化システム１２から復号システム１３へ符号化された伝送データが伝送される。また、符号化システム１２は、３次元データ取得部２１、２次元画像変換処理部２２、符号化部２３、および伝送部２４を備えて構成され、復号システム１３は、受信部３１、復号部３２、３次元データ変換処理部３３、および３次元データ表示部３４を備えて構成される。
【００１９】
３次元データ取得部２１は、画像取得部４４および３次元モデル生成部４３を有して構成される。画像取得部４４は、ある複数箇所の視点から被写体が撮像された複数枚のカメラ画像を取得するとともに、他の複数箇所の視点から被写体までの距離を示す複数個のアクティブデプス情報を取得する。そして、３次元モデル生成部４３は、複数枚のカメラ画像と複数個のアクティブデプス情報とに基づいて、被写体の３次元モデルを表す３次元モデル情報を生成し、２次元画像変換処理部２２に供給する。なお、３次元データ取得部２１は、少なくとも１ヵ所の視点から被写体までの距離を示す１つのアクティブデプス情報を取得し、そのアクティブデプス情報に基づいて３次元モデル情報を生成するようにしてもよい。
【００２０】
２次元画像変換処理部２２は、例えば、３次元データ取得部２１から供給される３次元モデル情報により表される３次元モデルを複数の方向から透視投影することにより複数枚の２次元画像に変換する２次元画像変換処理を行う。また、２次元画像変換処理部２２は、２枚の視差のある２次元画像から特徴点をマッチングさせることで、三角測量によって奥行を推定することにより生成されるデプス情報（Image Based Depth）を、複数枚の２次元画像それぞれに付加することができる。例えば、デプス情報は、任意の視点から３次元モデルまでの奥行きを表し、例えば、２次元画像と同一の視点から被写体の奥行き方向の位置を画素ごとに示すものであってもよいし、２次元画像とは異なる視点から被写体の奥行き方向の位置を画素ごとに示すものであってもよい。また、２次元画像の視点の数と、デプス情報の視点の数とは、同一であってもよいし、異なっていてもよい。なお、２次元画像変換処理部２２の構成例については、図４を参照して後述する。
【００２１】
符号化部２３は、符号化システム１２から復号システム１３へ伝送する伝送データを符号化する。例えば、伝送データには、３次元データ取得部２１により取得された複数個のアクティブデプス情報や、２次元画像変換処理部２２により変換された複数枚の２次元画像およびデプス情報などが含まれる。符号化部２３は、伝送データに含まれている２次元画像を、例えば、3D MVC(Multiview Video Coding) / MVC / AVC(Advanced Video Coding)などの２次元圧縮技術を用いて符号化することができる。
【００２２】
伝送部２４は、符号化部２３から供給される伝送データを、ネットワークを介して復号システム１３へ伝送する。
【００２３】
受信部３１は、伝送部２４によりネットワークを介して伝送されてくる伝送データ、例えば、複数枚の２次元画像や複数個のアクティブデプス情報などが含まれる伝送データを受信して、復号部３２に供給する。
【００２４】
復号部３２は、受信部３１から供給される伝送データを復号して、複数枚の２次元画像およびデプス情報や複数個のアクティブデプス情報などを３次元データ変換処理部３３に供給する。例えば、復号部３２は、伝送データに含まれている２次元画像を、符号化部２３による符号化と同じ２次元圧縮技術を用いることにより復号することができる。
【００２５】
３次元データ変換処理部３３は、復号部３２から供給される複数枚の２次元画像を、被写体の３次元モデルを表す３次元モデル情報へ変換する変換処理を行って、その３次元モデル情報を３次元データ表示部３４に供給する。例えば、３次元データ変換処理部３３は、複数枚の２次元画像を用いて３次元モデルを復元する際に、２次元画像に付加されているデプス情報や、複数個のアクティブデプス情報などを利用することで、３次元モデルを高精度に復元することができる。なお、３次元データ変換処理部３３の構成例については、図５を参照して後述する。
【００２６】
３次元データ表示部３４には、例えば、ヘッドマウントディスプレイや２次元モニタ、３次元モニタなどを利用することができ、それらの表示デバイスに、３次元データ変換処理部３３から供給される３次元モデル情報により表される３次元モデルが表示される。なお、受信部３１から３次元データ表示部３４までの機能を１台のヘッドマウントディスプレイが備えるような構成や、受信部３１から３次元データ変換処理部３３までの機能を備えた情報処理端末に、ヘッドマウントディスプレイからなる３次元データ表示部３４が接続されるような構成としてもよい。
【００２７】
このように構成される自由視点映像伝送システム１１では、３次元データ取得部２１が、複数枚のカメラ画像から３次元モデル情報を生成する際に、複数個のアクティブデプス情報を利用することで、３次元モデルを高精度に生成することができる。これにより、符号化システム１２は、高精度な３次元モデルを生成するのに用いられる伝送データを符号化して伝送することができる。そして、自由視点映像伝送システム１１では、３次元データ変換処理部３３が、複数枚の２次元画像とともに伝送されてくる複数個のアクティブデプス情報を利用することで、複数枚の２次元画像から３次元モデルを高精度に生成することができる。
【００２８】
図２を参照して、３次元データ取得部２１にカメラ画像およびアクティブデプス情報を供給するＲＧＢカメラ４１およびアクティブセンサ４２について説明する。
【００２９】
図２に示すように、３次元データ取得部２１には、Ｎ台のＲＧＢカメラ４１−１乃至４１−Ｎ、および、Ｍ台のアクティブセンサ４２−１乃至４２−Ｍが接続される。
【００３０】
ＲＧＢカメラ４１−１乃至４１−Ｎおよびアクティブセンサ４２−１乃至４２−Ｍは、被写体Ａの周囲を取り囲むような位置に配置され、それぞれの位置から被写体Ａに向かうように設置される。また、ＲＧＢカメラ４１−１乃至４１−Ｎおよびアクティブセンサ４２−１乃至４２−Ｍに対してカメラキャリブレーションが予め実施されており、それらの位置関係がカメラパラメータとして用いられる。
【００３１】
ＲＧＢカメラ４１−１乃至４１−Ｎは、それぞれの位置から被写体Ａを撮像し、Ｎ枚のカメラ画像（ＲＧＢ画像）を取得して３次元データ取得部２１に供給する。なお、以下適宜、ＲＧＢカメラ４１−１乃至４１−Ｎそれぞれを区別する必要がない場合、単に、ＲＧＢカメラ４１と称する。
【００３２】
アクティブセンサ４２−１乃至４２−Ｍは、それぞれの位置から被写体Ａまでの距離を求め、それぞれの距離を示すＭ個のアクティブデプス情報を３次元データ取得部２１に供給する。例えば、アクティブセンサ４２−１乃至４２−Ｍには、被写体Ａに向かって光が照射されてから、その光が被写体Ａで反射した反射光を受光するまでの飛行時間を計測することで距離画像を取得するTOFセンサを利用することがでる。さらに、TOFセンサの他、LIDAR（Light Detection and Ranging）やStructured Lightなどの測距センサをアクティブセンサ４２−１乃至４２−Ｍに利用してもよい。なお、以下適宜、アクティブセンサ４２−１乃至４２−Ｍそれぞれを区別する必要がない場合、単に、アクティブセンサ４２と称する。なお、アクティブセンサ４２は、少なくとも１台以上備えていればよい。
【００３３】
３次元データ取得部２１の３次元モデル生成部４３は、Ｎ枚のカメラ画像およびＭ個のアクティブデプス情報に基づいて、被写体Ａの３次元モデルを表す３次元モデル情報を生成する。
【００３４】
図３を参照して、３次元モデル生成部４３の詳細な構成例について説明する。
【００３５】
図３に示すように、３次元モデル生成部４３は、キャリブレーション部５１、フレーム同期部５２、背景差分生成部５３、シルエット加工部５４、ＶＨ（Visual Hull）処理部５５、メッシュ作成部５６、およびテクスチャマッピング部５７を備えて構成される。また、上述したように、３次元モデル生成部４３には、画像取得部４４を介して、複数台のＲＧＢカメラ４１から複数枚のカメラ画像が供給されるとともに、複数台のアクティブセンサ４２から複数個のアクティブデプス情報が供給される。
【００３６】
キャリブレーション部５１は、内部パラメータを用いて補正した、キャリブレーション後のカメラ画像と、各ＲＧＢカメラ４１間の関係性を表す外部パラメータとをフレーム同期部５２に供給する。同様に、キャリブレーション部５１は、アクティブセンサ４２から供給されるアクティブデプス情報に対してもキャリブレーションを行うことができる。
【００３７】
例えば、キャリブレーションの手法としては、チェスボードを用いるZhangの手法、３次元物体を撮像して、パラメータを求める手法、プロジェクタで投影画像を使ってパラメータを求める手法などがある。カメラパラメータは、例えば、内部パラメータと外部パラメータで構成される。内部パラメータは、カメラ固有のパラメータであり、カメラレンズの歪みやイメージセンサとレンズの傾き（歪収差係数）、画像中心、画像（画素）サイズである。外部パラメータは、複数台のカメラがあったときに、複数台のカメラの位置関係を示したり、また、世界座標系におけるレンズの中心座標(Translation)とレンズ光軸の方向(Rotation)を示すものである。
【００３８】
フレーム同期部５２は、複数台のＲＧＢカメラ４１のうちの１つを基準カメラとし、残りを参照カメラとする。そして、フレーム同期部５２は、参照カメラのカメラ画像のフレームを、基準カメラのカメラ画像のフレームに同期させる。フレーム同期部５２は、フレーム同期後のカメラ画像を背景差分生成部５３に供給する。
【００３９】
背景差分生成部５３は、複数枚のカメラ画像に対して背景差分処理を行って、被写体（前景）を抽出するためのマスクである複数枚のシルエット画像を生成し、シルエット加工部５４に供給する。例えば、シルエット画像は、カメラ画像に被写体が映されている範囲を示すシルエットを２値化することにより表される。
【００４０】
シルエット加工部５４は、背景差分生成部５３から供給される複数枚のシルエット画像に対して、複数個のアクティブデプス情報を投影することによって、それぞれのシルエット画像のシルエットに生じている破綻に対する加工を施す。例えば、シルエット加工部５４は、シルエット画像のシルエットに生じた穴に対する穴埋め（後述する図６参照）や、シルエット画像にシルエットとして表れている被写体の影の除去（後述する図７参照）などの加工を行う。そして、シルエット加工部５４は、加工が施された複数枚のシルエット画像をＶＨ処理部５５に供給する。また、シルエット加工部５４は、穴埋めや影の除去などのようにシルエットに対して加工を施した領域を示すシルエット加工領域情報を出力する。なお、シルエット加工部５４は、シルエット画像にシルエットとして表れている床や壁などを除去する加工を施すことができる。
【００４１】
ＶＨ処理部５５は、シルエット加工部５４による加工後の複数枚のシルエット画像、および、カメラパラメータを用いて、Visual Hull等によるモデリングを行う。ＶＨ処理部５５は、各シルエット画像を、もとの３次元空間に逆投影して、それぞれの視体積の交差部分（Visual Hull）を求める。
【００４２】
メッシュ作成部５６は、ＶＨ処理部５５により求められたVisual Hullに対して、メッシュを作成する。
【００４３】
テクスチャマッピング部５７は、メッシュ作成部５６により作成されたメッシュを構成する各点（Vertex）の３次元位置と各点のつながり（Polygon）を示す幾何情報（Geometry）と、そのメッシュのカメラ画像とを被写体のテクスチャマッピング後の３次元モデルとして生成する。そして、テクスチャマッピング部５７は、生成した３次元モデルを表す３次元モデル情報を２次元画像変換処理部２２に供給する。
【００４４】
以上のように３次元モデル生成部４３は構成されており、アクティブデプス情報を利用して、シルエットの破綻を改善することによって、より高精度な３次元モデルを生成することができる。また、アクティブデプス情報を利用することで、例えば、手作業による処理でシルエットの破綻を改善したり、尤度を用いた処理でシルエットの破綻を改善したりする手法と比較して、それらの処理を行う必要がなく、シルエットの改善を自動化することができる。
【００４５】
さらに、３次元モデル生成部４３は、シルエットに対して加工を行った領域を示すシルエット加工領域情報を出力することができる。例えば、シルエットに対して加工を行った領域は、複数枚のカメラ画像から求められるデプス情報の信頼性が低い可能性があり、シルエット加工領域情報を伝送することで、受信側で、３次元モデルを生成する際に有効に使用することができる。
【００４６】
図４は、２次元画像変換処理部２２の構成例を示すブロック図である。
【００４７】
図４に示すように、２次元画像変換処理部２２は、カメラ位置決定部７１および透視投影部７２を備えて構成される。また、上述したように、２次元画像変換処理部２２には、３次元データ取得部２１から３次元モデル情報が供給される。
【００４８】
カメラ位置決定部７１は、所定の表示画像生成方式に対応する複数の視点のカメラ位置と、そのカメラ位置のカメラパラメータを決定し、カメラ位置とカメラパラメータを表す情報を透視投影部７２に供給する。
【００４９】
透視投影部７２は、カメラ位置決定部７１から供給される複数の視点のカメラパラメータに基づいて、視点ごとに、３次元モデル情報により表される３次元モデルの透視投影を行う。これにより、透視投影部７２は、それぞれの視点から３次元モデルが透視投影された複数枚の２次元画像を取得する。また、透視投影部７２は、それらの２次元画像から生成されるデプス情報を、それぞれの２次元画像に付加して出力する。
【００５０】
そして、符号化システム１２から復号システム１３へ、アクティブデプス情報、シルエット加工領域情報、複数枚の２次元画像およびデプス情報、並びに、カメラパラメータを含む伝送データが伝送される。なお、オプションとして、３次元モデル情報そのものを伝送してもよい。
【００５１】
図５は、３次元データ変換処理部３３の構成例を示すブロック図である。
【００５２】
３次元データ変換処理部３３は、ＶＨ処理部８１を備えて構成される。３次元データ変換処理部３３には、符号化システム１２から伝送されてくる伝送データに含まれている複数個のアクティブデプス情報、複数個のシルエット加工領域情報、複数枚の２次元画像およびデプス情報、並びに、カメラパラメータが供給される。
【００５３】
ＶＨ処理部８１は、図３のＶＨ処理部５５と同様に、複数個のアクティブデプス情報、複数個のシルエット加工領域情報、複数枚の２次元画像およびデプス情報、並びに、カメラパラメータを用いて、Visual Hull等によるモデリングを行う。このとき、ＶＨ処理部８１は、アクティブデプス情報およびシルエット加工領域情報を参照することで、高精度なモデリングを行うことができる。即ち、シルエットに対して加工（穴埋めや、影の除去など）を行った領域は、２次元画像から求められるデプス情報の信頼度の低い領域である可能性が高い。従って、ＶＨ処理部８１は、アクティブデプス情報およびシルエット加工領域情報を使用して３次元モデルを再構成することで、より高精度な３次元モデルを生成することができる。
【００５４】
図６および図７を参照して、アクティブデプス情報を投影することによる改善例について説明する。
【００５５】
例えば、図６の上側に示すように、背景差分を用いて生成されるシルエット画像は、前景色と背景色との差分が小さい領域では、被写体に穴が開いているような領域が設けられてしまう。そのため、このようなシルエット画像を用いて復元される３次元モデルでは、被写体の形状に破綻が生じてしまう。
【００５６】
これに対し、図６の下側に示すように、背景差分を用いて生成されるシルエット画像に、アクティブデプス情報を投影することによって、被写体に穴が開いているような領域を穴埋めることができる。つまり、被写体のシルエットを正確に再現したシルエット画像を生成することができ、このようなシルエット画像を用いることで、破綻のない被写体の形状を高精度に復元した３次元モデルを生成することができる。
【００５７】
また、図７の上側に示すように、背景差分を用いて生成されるシルエット画像は、被写体の影で前景色と背景色との差分が大きい領域が生じるため、その影の領域がシルエット画像に表れてしまう。即ち、被写体の影の領域もシルエットとして表れるようなシルエット画像が生成されてしまうため、このようなシルエット画像を用いて復元される３次元モデルでは、被写体の影の領域に、実際には存在しない形状が形成されてしまうことになる。
【００５８】
これに対し、図７の下側に示すように、背景差分を用いて生成されるシルエット画像に、アクティブデプス情報を投影することによって、シルエット画像から被写体の影を除去することができる。これにより、被写体のシルエットを正確に再現したシルエット画像を生成することができ、このようなシルエット画像を用いることで、影の領域に実際には存在しない形状が形成されることがなく、被写体の形状を高精度に復元した３次元モデルを生成することができる。
【００５９】
また、シルエット画像から被写体の影を除去することで、複数の被写体を分離させる精度の向上を図ることができる。
【００６０】
即ち、図８に示すように、被写体Ｂおよび被写体Ｃが近くに配置されていて、カメラ画像では被写体Ｂが被写体Ｃの影に重なっている場合、背景差分を用いて生成されるシルエット画像は、被写体Ｂおよび被写体Ｃが一体となるようなシルエットとなってしまう。このように、複数の被写体で影が重なっていると、１つの被写体と誤認識されてしまう。
【００６１】
これに対し、背景差分を用いて生成されるシルエット画像に、アクティブデプス情報を投影することによって、シルエット画像から被写体Ｂおよび被写体Ｃの影を除去することができる。従って、被写体Ｂが被写体Ｃの影に重なっていても、被写体Ｂおよび被写体Ｃそれぞれを正確に分離したシルエット画像を生成することができる。これによって、被写体Ｂおよび被写体Ｃの３次元モデルを高精度に生成することができる。
【００６２】
また、例えば、クロマキー合成で使用されるグリーンバックのマスク情報として、アクティブデプス情報を活用することができる。
【００６３】
即ち、図９に示すように、緑色の被写体Ｄが、グリーンバックに重なっている場合、カメラ画像からシルエット画像を生成しても、被写体Ｄを正確にマスクするマスク情報を生成することができなかった。
【００６４】
これに対し、アクティブデプス情報は、被写体Ｄを立体的に認識することができるので、前景色と背景色とが同一であっても、被写体Ｄを正確にマスクするマスク情報を生成することができる。このように、アクティブデプス情報を用いることで、背景色と同色の被写体Ｄを高精度のモデリングすることができる。
【００６５】
＜符号化処理および復号処理の処理例＞
図１０乃至図１２を参照して、自由視点映像伝送システム１１において行われる符号化処理および復号処理の処理例について説明する。
【００６６】
図１０は、符号化システム１２において行われる符号化処理を説明するフローチャートである。
【００６７】
ステップＳ１１において、３次元データ取得部２１は、図２に示したように、複数台のＲＧＢカメラ４１により被写体を撮像して複数枚のカメラ画像を取得し、複数台のアクティブセンサ４２により被写体までの距離を示す複数個のアクティブデプス情報を取得する。そして、３次元モデル生成部４３は、被写体の３次元モデルを表す３次元モデル情報を生成する３次元データ取得処理（図１１参照）を行う。
【００６８】
ステップＳ１２において、２次元画像変換処理部２２は、ステップＳ１１で３次元データ取得部２１により生成された３次元モデル情報から複数枚の２次元画像へ変換する２次元画像変換処理（図１１参照）を行う。
【００６９】
ステップＳ１３において、符号化部２３は、ステップＳ１２で２次元画像変換処理部２２から供給される複数枚の２次元画像を含む伝送データを符号化して、伝送部２４に供給する。また、伝送データには、上述したように、アクティブデプス情報、シルエット加工領域情報、複数枚の２次元画像およびデプス情報、並びに、カメラパラメータが含まれる。
【００７０】
ステップＳ１４において、伝送部２４は、ステップＳ１３で符号化部２３から供給される伝送データを、ネットワークを介して復号システム１３へ伝送した後、符号化処理は終了される。
【００７１】
図１１は、図１０のステップＳ１１の３次元データ取得処理、および、ステップＳ１２の２次元画像変換処理を説明するフローチャートである。
【００７２】
ステップＳ２１において、キャリブレーション部５１は、内部パラメータを用いて補正した、キャリブレーション後のカメラ画像と、各ＲＧＢカメラ４１間の関係性を表す外部パラメータとをフレーム同期部５２に供給する。
【００７３】
ステップＳ２２において、フレーム同期部５２は、ステップＳ２１でキャリブレーション部５１から供給される複数枚のカメラ画像のフレームを同期させて、背景差分生成部５３に供給する。
【００７４】
ステップＳ２３において、背景差分生成部５３は、ステップＳ２２でフレーム同期部５２から供給される複数枚のカメラ画像から、背景差分を求めることによって複数枚のシルエット画像を生成して、シルエット加工部５４に供給する。
【００７５】
ステップＳ２４において、シルエット加工部５４は、ステップＳ２３で背景差分生成部５３から供給される複数枚のシルエット画像に対して、適切にアクティブデプス情報を投影し、複数枚のシルエット画像のシルエットを加工する。例えば、シルエット加工部５４は、シルエット画像のシルエットに生じた穴に対する穴埋めや、シルエット画像にシルエットとして表れている被写体の影の除去などの加工を行って、ＶＨ処理部５５に供給する。このとき、シルエット加工部５４は、穴埋めや影の除去などのようにシルエットに対して加工を行った領域を示すシルエット加工領域情報を出力する。
【００７６】
ステップＳ２５において、ＶＨ処理部５５は、ステップＳ２４でシルエット加工部５４による加工後の複数枚のシルエット画像、および、カメラパラメータを用いて、Visual Hullを復元するＶＨ処理を行って、Visual Hullをメッシュ作成部５６に供給する。
【００７７】
ステップＳ２６において、メッシュ作成部５６は、ステップＳ２５でＶＨ処理部５５から供給されるVisual Hullに対してメッシュを作成し、テクスチャマッピング部５７に供給する。
【００７８】
ステップＳ２７において、テクスチャマッピング部５７は、ステップＳ２６でメッシュ作成部５６から供給されるメッシュに対して、カメラ画像に基づいてテクスチャマッピングを行うことで、３次元モデルを生成する。そして、テクスチャマッピング部５７は、生成した３次元モデルを表す３次元モデル情報を、２次元画像変換処理部２２のカメラ位置決定部７１に供給する。
【００７９】
ステップＳ２８において、カメラ位置決定部７１は、ステップＳ２７でテクスチャマッピング部５７から供給される３次元モデル情報で表される３次元モデルに対して透視投影を行う視点となる複数のカメラ位置を決定する。そして、カメラ位置決定部７１は、３次元モデル情報と、複数のカメラ位置を示すカメラパラメータを透視投影部７２に供給する。
【００８０】
ステップＳ２９において、透視投影部７２は、ステップＳ２８でカメラ位置決定部７１から供給される３次元モデル情報で表される３次元モデルを、複数のカメラ位置を視点として透視投影する。これにより、透視投影部７２は、それぞれの視点から３次元モデルが透視投影された複数枚の２次元画像を取得し、それらの２次元画像を用いて任意の視点から３次元モデルまでの奥行きを表すデプス情報を生成し、２次元画像およびデプス情報を符号化部２３に供給して処理は終了される。
【００８１】
図１２は、復号システム１３において行われる復号処理を説明するフローチャートである。
【００８２】
ステップＳ３１において、受信部３１は、図１０のステップＳ１４で伝送されてくる伝送データを受信して、復号部３２に供給する。
【００８３】
ステップＳ３２において、復号部３２は、ステップＳ３１で受信部３１から供給される伝送データを復号して、アクティブデプス情報、シルエット加工領域情報、複数枚の２次元画像およびデプス情報、並びに、カメラパラメータを３次元データ変換処理部３３に供給する。
【００８４】
ステップＳ３３において、３次元データ変換処理部３３は、アクティブデプス情報、シルエット加工領域情報、デプス情報、並びに、カメラパラメータを利用して、複数枚の２次元画像から３次元モデル情報へ変換する変換処理を行う。そして、３次元データ変換処理部３３は、３次元モデル情報を３次元データ表示部３４に供給する。
【００８５】
ステップＳ３４において、３次元データ表示部３４は、ヘッドマウントディスプレイや２次元モニタ、３次元モニタなどの表示部に、ステップＳ３３で３次元データ変換処理部３３から供給される３次元モデル情報により表される３次元モデルを表示する。その後、復号処理は終了される。
【００８６】
＜３次元モデル生成部の変形例＞
図１３乃至図１５を参照して、３次元モデル生成部４３の変形例について説明する。なお、以下で説明する各変形例において、図３の３次元モデル生成部４３と共通するブロックについては、同一の符号を付し、その詳細な説明は省略する。
【００８７】
図１３には、第１の変形例である３次元モデル生成部４３Ａのブロック図が示されている。
【００８８】
図１３に示すように、３次元モデル生成部４３Ａは、キャリブレーション部５１、フレーム同期部５２、背景差分生成部５３、シルエット加工部５４、ＶＨ処理部５５、メッシュ作成部５６、およびテクスチャマッピング部５７を備える点で、図３の３次元モデル生成部４３と共通の構成となっている。さらに、３次元モデル生成部４３Ａは、暗所・白飛び領域検出部５８を備えて構成される。
【００８９】
暗所・白飛び領域検出部５８は、フレーム同期部５２から供給されるカメラ画像において、所定の輝度値以下となるような暗所領域、および、所定の輝度値以上となるような白飛び領域を検出する。そして、暗所・白飛び領域検出部５８は、暗所領域または白飛び領域を示す暗所・白飛び領域情報をシルエット加工部５４に供給する。
【００９０】
従って、３次元モデル生成部４３Ａでは、シルエット加工部５４は、暗所・白飛び領域情報を参照して、暗所領域または白飛び領域に対してアクティブデプス情報を投影してシルエット画像を加工することができる。
【００９１】
例えば、図２のＲＧＢカメラ４１により撮像されるカメラ画像を用いてシルエット画像を生成するとき、暗所領域または白飛び領域では、シルエットが破綻したり、ノイズの多いシルエットとなってしまう。これに対し、図２のアクティブセンサ４２は、赤外線の波長領域の光を利用してアクティブデプス情報を取得するため、所定の輝度値以下または以上となるような環境であってもアクティブデプス情報を取得することができる。
【００９２】
従って、３次元モデル生成部４３Ａでは、暗所領域または白飛び領域に対してアクティブデプス情報を投影してシルエット画像を加工することで、シルエットが破綻している領域に対する穴埋めを行ったり、ノイズによって不要な領域が発生してしまうことを回避したりすることができる。これにより、３次元モデル生成部４３Ａは、より高精度な３次元モデルとなる３次元モデル情報を生成することができる。
【００９３】
図１４には、第２の変形例である３次元モデル生成部４３Ｂが示されている。
【００９４】
図１４に示すように、３次元モデル生成部４３Ｂは、キャリブレーション部５１、フレーム同期部５２、背景差分生成部５３、シルエット加工部５４、ＶＨ処理部５５、メッシュ作成部５６、およびテクスチャマッピング部５７を備える点で、図３の３次元モデル生成部４３と共通の構成となっている。
【００９５】
即ち、３次元モデル生成部４３Ｂは、図３の３次元モデル生成部４３と同じブロックを有して構成されているが、シルエット加工部５４が、シルエット加工領域情報を出力しないような構成となっている。即ち、シルエット加工領域情報は、補助的な情報であるため、復号システム１３へ伝送する伝送データに含めなくてもよい。
【００９６】
このように構成される３次元モデル生成部４３Ｂでも、図３の３次元モデル生成部４３と同様に、シルエット加工部５４が、シルエット画像を生成する際に、アクティブデプス情報を投影してシルエット画像を加工することができる。従って、３次元モデル生成部４３Ｂは、より高精度な３次元モデルとなる３次元モデル情報を生成することができる。
【００９７】
図１５には、第３の変形例である３次元モデル生成部４３Ｃが示されている。
【００９８】
図１５に示すように、３次元モデル生成部４３Ｃは、キャリブレーション部５１、フレーム同期部５２、背景差分生成部５３、シルエット加工部５４、ＶＨ処理部５５、メッシュ作成部５６、およびテクスチャマッピング部５７を備える点で、図３の３次元モデル生成部４３と共通の構成となっている。さらに、３次元モデル生成部４３Ａは、物質・物体検出部５９およびデプス補正値算出部６０を備えて構成される。
【００９９】
物質・物体検出部５９は、ＲＧＢカメラ４１が被写体を撮像して得られるカメラ画像、および、アクティブセンサ４２が被写体までの距離を求めて得られるアクティブデプス情報に基づいて、被写体の物質または物体を検出する。そして、物質・物体検出部５９は、被写体の物質または物体を示す物質・物体情報をデプス補正値算出部６０に供給する。
【０１００】
例えば、物質・物体検出部５９は、カメラ画像の画素単位で、被写体の物質または物体を認識することができる。また、物質・物体検出部５９は、カメラ画像に対してセグメンテーション処理を施すことにより、カメラ画像に写されている被写体ごとのセグメントにカメラ画像を分割して、それらのセグメント単位で、被写体の物質または物体を認識することができる。なお、物質・物体検出部５９は、光の反射率とその信頼度から、その物質を推定してもよい。
【０１０１】
例えば、セグメンテーション処理には、いわゆるディープラーニングを用いた物体認識を用いてもよいし、SLIC（Simple Linear Iterative Clustering）などのSuper Pixel分割や、顔認識・肌色識別などのように、画像ベースで求めてもよい。さらに、温度センサなどの他のセンサを追加して、そのセンサの出力を利用してもよい。
【０１０２】
デプス補正値算出部６０は、物質・物体検出部５９から供給される物質・物体情報に応じて、カメラ画像の画素単位、または、カメラ画像を分割したセグメント単位で、アクティブデプス情報を補正するデプス補正量を算出する。
【０１０３】
例えば、アクティブセンサ４２のように赤外線を利用してアクティブデプス情報を取得する場合、被写体の物質または物体の特性（例えば、表面の光の反射特性）によって、アクティブデプス情報の精度に違いが生じることになる。例えば、髪の毛や、皮、黒い物体、肌などは、アクティブデプス情報を正確に取得することが困難である。従って、デプス補正値算出部６０が、物質・物体情報で示される物質または物体ごとに、アクティブデプス情報を補正することで、形状の破綻することのない３次元モデルを生成することができる。
【０１０４】
このように、符号化システム１２側でアクティブデプス情報を補正することで、３次元モデルの形状を改善することができる。そして、補正したアクティブデプス情報を、例えば、２次元画像およびデプス情報とともに、復号システム１３側へ伝送してもよい。
【０１０５】
なお、デプス補正値算出部６０は、補正したアクティブデプス情報からデプスマップを生成してもよいし、補正値をＶＨ処理部５５に入力し、ＶＨ処理部５５が３次元モデルを復元する際に補正値を参照して、削り度合いを調整するようにしてもよい。
【０１０６】
図１６乃至図２１を参照して、物質・物体に応じて別々のデプス補正量を伝送する際の補正量テーブルのデータフォーマットについて説明する。
【０１０７】
図１６には、画素単位で、デプスマスクの存在する領域のみ補正量を伝送するような補正量テーブルの第１のデータフォーマット例が示されている。図１６に示すように、補正量テーブルには、画素位置情報ごとに、物質情報、色情報、補正量、信頼度、および、時間方向の信頼度が対応付けられて登録される。
【０１０８】
このような補正量を利用することで、図１７に示すように、画素単位でアクティブデプス情報を補正して、より高精度なシルエット画像を生成することができる。
【０１０９】
図１８には、セグメント単位で、固定の補正量を伝送するような補正量テーブルの第２のデータフォーマット例が示されている。図１８に示すように、補正量テーブルには、セグメント情報ごとに、物質情報、色情報、補正量、信頼度、および、時間方向の信頼度が対応付けられて登録される。
【０１１０】
このような補正量を利用することで、図１９に示すように、セグメント単位でアクティブデプス情報を補正して、より高精度なシルエット画像を生成することができる。
【０１１１】
図２０には、アクティブデプス情報を補正する補正カーブを伝送するような補正量テーブルの第３のデータフォーマット例が示されている。図２０に示すように、補正量テーブルには、画素位置情報ごとに、物質情報、色情報、補正カーブ、信頼度、および、時間方向の信頼度が対応付けられて登録される。
【０１１２】
即ち、図２１に示すように、アクティブデプス情報は、距離に応じて約１％の誤差が生じることが実験より求められており、使用しているアクティブセンサ４２の特性に応じて補正（１％や２％など）するような補正カーブを伝送する。例えば、アクティブセンサ４２の特性がOver estimationであれば、デプス検出距離から２％手前となるように補正する補正カーブを伝送する。また、補正カーブは、物質によって振幅（補正量）を調整したものを伝送する。
【０１１３】
そして、図１６、図１８、および図１９に示したようなデータフォーマットで補正値および信頼度が伝送され、３次元データ変換処理部３３において、補正値および信頼度に基づいて補正されたアクティブデプス情報を参照して３次元モデルを復元する処理が行われる。
【０１１４】
＜伝送データの変形例＞
図２２乃至図２７を参照して、伝送データの変形例について説明する。
【０１１５】
図２２には、第１の変形例の伝送データの伝送側となる２次元画像変換処理部２２Ａの構成例を示すブロック図が示されており、図２３には、第１の変形例の伝送データの受信側となる３次元データ変換処理部３３Ａの構成例を示すブロック図が示されている。
【０１１６】
例えば、図１５を参照して上述したように、物質・物体検出部５９およびデプス補正値算出部６０を備える３次元モデル生成部４３Ｃが用いられ、アクティブデプス情報が正しく補正できない場合に、第１の変形例の伝送データが伝送される。図２２に示すように、第１の変形例の伝送データには、アクティブデプス補正値および補正領域情報（即ち、上述した補正量テーブル）が含まれる。
【０１１７】
そして、図２３に示すように、３次元データ変換処理部３３Ａでは、ＶＨ処理部８１が、アクティブデプス情報を参照して、２次元画像から３次元モデルへ変換する変換処理を行う。
【０１１８】
例えば、アクティブデプス補正値および補正領域情報を含む伝送データは、図１５の物質・物体検出部５９が物体・物質検出を行って、アクティブデプス情報を補正しても、送信側では完全に補正できない場合に使用されることが想定される。例えば、受信側では、アクティブデプス補正値および補正領域情報を、信頼度として使用することができる。これにより、ＶＨ処理部８１は、信頼度に応じて、アクティブデプス情報とデプス情報（Stereo Depth）とを適応的に領域ごとに切り替えながら、３次元モデルを削る手段を選択することができる。
【０１１９】
図２４には、第２の変形例の伝送データの伝送側となる２次元画像変換処理部２２Ｂのブロック図が示されており、図２５には、第２の変形例の伝送データの受信側となる３次元データ変換処理部３３Ｂのブロック図が示されている。
【０１２０】
例えば、図１５を参照して上述したように、物質・物体検出部５９およびデプス補正値算出部６０を備える３次元モデル生成部４３Ｃが用いられ、アクティブデプス情報が正しく補正できる場合に、第２の変形例の伝送データが伝送される。図２４に示すように、第１の変形例の伝送データには、補正したアクティブデプス情報が含まれる。
【０１２１】
そして、図２５に示すように、３次元データ変換処理部３３Ｂでは、ＶＨ処理部８１が、補正したアクティブデプス情報を参照して、２次元画像から３次元モデルへ変換する変換処理を行う。
【０１２２】
図２６には、第３の変形例の伝送データの受信側となる２次元画像変換処理部３３Ｃのブロック図が示されており、図２７には、第４の変形例の伝送データの受信側となる３次元データ変換処理部３３Ｄのブロック図が示されている。
【０１２３】
図２６に示すように、第３の変形例の伝送データには、アクティブデプス情報、アクティブデプス補正値および補正領域情報、２次元画像、並びにカメラパラメータが含まれている。また、図２７に示すように、第３の変形例の伝送データには、補正したアクティブデプス情報、２次元画像、およびカメラパラメータが含まれている。
【０１２４】
即ち、第３および第４の変形例の伝送データでは、デプス情報が伝送されず、これにより伝送データを圧縮することができる。例えば、デプス情報は、２次元画像と同じ画像サイズとなっており、ビット数が大きい。そこで、デプス情報が伝送できない環境で、デプス情報よりもデータサイズが小さなアクティブデプス情報（約1/10サイズ）のみを伝送することで、伝送コストの削減を図ることができる。なお、この場合、受信側でモデリングする必要がある。
【０１２５】
＜シルエット画像に影が現れないようにする手法＞
図２８を参照して、シルエット画像に影が現れないようにする手法について説明する。
【０１２６】
例えば、従来、Visual Hullを生成する際にはカメラ画像（カラー画像）しか使用していなかったのに対し、ＶＨ処理部５５は、アクティブデプス情報のシルエット画像を使用してVisual Hullを生成することができる。なお、アクティブデプス情報のシルエット画像は、不安定なため、床のみを検出したシルエット画像として生成する。
【０１２７】
そして、ＶＨ処理部５５は、シルエットの白（On, 1）の領域を残し、黒（Off, 0）の領域を削る。従って、図２８に示すマスクの例では、黒い部分である床を削ることになり、影を除去することができる。
【０１２８】
＜コンピュータの構成例＞
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUまたはGPU（Graphics Processing Unit）によって分散処理されるものであっても良い。
【０１２９】
また、上述した一連の処理（符号化方法および復号方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【０１３０】
図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１３１】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１３２】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１３３】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１３４】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１３５】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１３６】
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報を生成する３次元モデル生成部と、
前記３次元モデル情報により表される前記３次元モデルを、複数の方向から投影することにより複数の２次元画像に変換し、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成する変換処理部と、
前記複数の２次元画像および前記デプス情報を含む伝送データを復号装置へ伝送する伝送部と
を備える符号化装置。
（２）
前記伝送部は、前記アクティブデプス情報を前記伝送データにさらに含めて伝送する
上記（１）に記載の符号化装置。
（３）
前記３次元モデル生成部は、
前記複数の撮像画像から背景差分を求めて、それぞれの前記撮像画像に前記被写体が映されている範囲を示すシルエットを２値化により表したシルエット画像を生成する背景差分生成部と、
前記複数のシルエット画像に対して前記アクティブデプス情報を投影して、前記シルエット画像上の前記被写体のシルエットに生じている破綻に対する加工を施すシルエット加工部と
を有する
上記（１）または（２）に記載の符号化装置。
（４）
前記シルエット加工部は、前記シルエット画像上の前記被写体のシルエットに対して加工を施した領域を示す加工領域情報を出力し、
前記伝送部は、前記加工領域情報を前記伝送データにさらに含めて伝送する
上記（３）に記載の符号化装置。
（５）
前記シルエット加工部は、前記シルエット画像上の前記被写体のシルエットに生じている穴を埋める加工を施す
上記（３）または（４）に記載の符号化装置。
（６）
前記シルエット加工部は、前記シルエット画像にシルエットとして表れている前記被写体の影を除去する加工を施す
上記（３）または（４）に記載の符号化装置。
（７）
前記複数の撮像画像において、所定の輝度値以下となるような暗所領域、および、所定の輝度値以上となるような白飛び領域を検出する暗所・白飛び領域検出部をさらに備え、
前記シルエット加工部は、前記シルエット画像上の前記暗所領域または前記白飛び領域における前記被写体のシルエットに対する加工を施す
上記（１）から（６）までのいずれかに記載の符号化装置。
（８）
前記複数の撮像画像、および、前記アクティブデプス情報に基づいて、前記被写体の物体または物質を検出する物体・物質検出部と、
前記被写体の物体または物質に応じて前記アクティブデプス情報を補正するための補正値を算出する補正値算出部と
をさらに備え、
前記被写体の３次元モデルを表す３次元モデル情報を生成するのに、前記補正値に基づいて補正された前記アクティブデプス情報が用いられる
上記（１）から（６）までのいずれかに記載の符号化装置。
（９）
前記伝送部は、前記補正値、および、前記補正値に対する信頼度を前記伝送データにさらに含めて伝送する
上記（８）に記載の符号化装置。
（１０）
前記物体・物質検出部は、前記撮像画像に写されている被写体ごとのセグメントに前記撮像画像を分割して、それらのセグメント単位で、前記被写体の物体または物質を検出する
上記（８）または（９）に記載の符号化装置。
（１１）
複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報を生成することと、
前記３次元モデル情報により表される前記３次元モデルを、複数の方向から投影することにより複数の２次元画像に変換し、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成することと、
前記複数の２次元画像および前記デプス情報を含む伝送データを復号装置へ伝送することと
を含む符号化方法。
（１２）
複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報が生成され、前記３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより複数の２次元画像に変換され、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される前記複数の２次元画像および前記デプス情報を含む伝送データを受信する受信部と、
前記複数の２次元画像および前記デプス情報から前記被写体の３次元モデルを表す３次元モデル情報へ変換する３次元データ変換処理部と
を備える復号装置。
（１３）
前記受信部は、前記複数の２次元画像、前記デプス情報、および前記アクティブデプス情報を含む伝送データを受信し、
前記３次元データ変換処理部は、前記アクティブデプス情報を参照して、前記複数の２次元画像および前記デプス情報から前記被写体の３次元モデルを表す３次元モデル情報へ変換する
上記（１２）に記載の復号装置。
（１４）
前記受信部は、前記複数の撮像画像から背景差分を求めて、それぞれの前記撮像画像に前記被写体が映されている範囲を示すシルエットを２値化により表したシルエット画像を生成し、前記複数のシルエット画像に対して前記アクティブデプス情報を投影して、前記シルエット画像上の前記被写体のシルエットに生じている破綻に対する加工が施された領域を示す加工領域情報をさらに含む伝送データを受信し、
前記３次元データ変換処理部は、前記加工領域情報により示される領域に対して前記アクティブデプス情報を投影する
上記（１２）または（１３）に記載の復号装置。
（１５）
前記受信部は、前記複数の撮像画像、および、前記アクティブデプス情報に基づいて、前記被写体の物体または物質が検出され、前記被写体の物体または物質に応じて前記アクティブデプス情報を補正するための補正値と、前記補正値に対する信頼度を含む前記伝送データを受信し、
前記３次元データ変換処理部は、前記補正値および前記信頼度に基づいて補正された前記アクティブデプス情報を参照する
上記（１２）から（１４）までのいずれかに記載の復号装置。
（１６）
複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報が生成され、前記３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより複数の２次元画像に変換され、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される前記複数の２次元画像および前記デプス情報を含む伝送データを受信することと、
前記複数の２次元画像および前記デプス情報から前記被写体の３次元モデルを表す３次元モデル情報へ変換することと
を含む復号方法。
【０１３７】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【０１３８】
１１  自由視点映像伝送システム，  １２  符号化システム，  １３  復号システム，  ２１  ３次元データ取得部，  ２２  ２次元画像変換処理部，  ２３  符号化部，  ２４  伝送部，  ３１  受信部，  ３２  復号部，  ３３  ３次元データ変換処理部，  ３４  ３次元データ表示部，  ４１  ＲＧＢカメラ，  ４２  アクティブセンサ，  ４３  ３次元モデル生成部，  ４４  画像取得部，  ５１  キャリブレーション部，  ５２  フレーム同期部，  ５３  背景差分生成部，  ５４  シルエット加工部，  ５５  ＶＨ処理部，  ５６  メッシュ作成部，  ５７  テクスチャマッピング部，  ５８  暗所・白飛び領域検出部，  ５９  物質・物体検出部，  ６０  デプス補正値算出部，  ７１  カメラ位置決定部，  ７２  透視投影部，  ８１  ＶＨ処理部
【図１】
2019107180.tif 000003
【図２】
2019107180.tif 000004
【図３】
2019107180.tif 000005
【図４】
2019107180.tif 000006
【図５】
2019107180.tif 000007
【図６】
2019107180.tif 000008
【図７】
2019107180.tif 000009
【図８】
2019107180.tif 000010
【図９】
2019107180.tif 000011
【図１０】
2019107180.tif 000012
【図１１】
2019107180.tif 000013
【図１２】
2019107180.tif 000014
【図１３】
2019107180.tif 000015
【図１４】
2019107180.tif 000016
【図１５】
2019107180.tif 000017
【図１６】
2019107180.tif 000018
【図１７】
2019107180.tif 000019
【図１８】
2019107180.tif 000020
【図１９】
2019107180.tif 000021
【図２０】
2019107180.tif 000022
【図２１】
2019107180.tif 000023
【図２２】
2019107180.tif 000024
【図２３】
2019107180.tif 000025
【図２４】
2019107180.tif 000026
【図２５】
2019107180.tif 000027
【図２６】
2019107180.tif 000028
【図２７】
2019107180.tif 000029
【図２８】
2019107180.tif 000030
【図２９】
2019107180.tif 000031
【国際調査報告】
2019107180.tif 000032
2019107180.tif 000033
2019107180.tif 000034
2019107180.tif 000035