(57)【要約】【課題】少ないデータ通信量でありながら、受信装置の側で目標視点における映像を正確に生成することが可能な技術を提供する。【解決手段】本明細書は、目標視点における映像を生成するためのデータを通信するシステムを開示する。そのシステムは、送信装置と受信装置を備えている。送信装置は、基準視点における映像を出力する基準映像出力手段と、基準視点における深度マップを出力する基準深度マップ出力手段と、代表視点における残差映像を出力する残差映像出力手段と、代表視点における残差深度マップを出力する残差深度マップ出力手段を備えている。受信装置は、基準視点における映像および深度マップと、代表視点における残差映像および残差深度マップに基づいて、目標視点における映像を生成する映像合成手段を備えている。【選択図】図２
2014165836.tif 000002
【特許請求の範囲】
【請求項１】
目標視点における映像を生成するためのデータを通信するシステムであって、
送信装置と受信装置を備えており、
送信装置が、
基準視点における映像を出力する基準映像出力手段と、
基準視点における深度マップを出力する基準深度マップ出力手段と、
代表視点における残差映像を出力する残差映像出力手段と、
代表視点における残差深度マップを出力する残差深度マップ出力手段を備えており、
受信装置が、
基準視点における映像および深度マップと、代表視点における残差映像および残差深度マップに基づいて、目標視点における映像を生成する映像合成手段を備えている、データ通信システム。
【請求項２】
残差映像出力手段が、基準視点における深度マップを代表視点にシフトした際の穴領域に基づくホールマスクを利用して、代表視点における残差映像を生成し、
残差深度マップ出力手段が、基準視点における深度マップを代表視点にシフトした際の穴領域に基づくホールマスクを利用して、代表視点における残差深度マップを生成し、
映像合成手段が、基準視点における深度マップを代表視点にシフトした際の穴領域に基づくホールマスクを利用して、目標視点における映像を生成する、請求項１のデータ通信システム。
【請求項３】
映像合成手段が、基準視点における深度マップおよび代表視点における残差深度マップに基づいて、目標視点における深度マップを生成し、目標視点における深度マップと、基準視点における映像と、代表視点における残差映像に基づいて、目標視点における映像を生成する、請求項１または２のデータ通信システム。
【請求項４】
目標視点における映像を生成するためのデータを通信する方法であって、
送信装置において、基準視点における映像を出力するステップと、
送信装置において、基準視点における深度マップを出力するステップと、
送信装置において、代表視点における残差映像を出力するステップと、
送信装置において、代表視点における残差深度マップを出力するステップと、
受信装置において、基準視点における映像および深度マップと、代表視点における残差映像および残差深度マップに基づいて、目標視点における映像を生成するステップを備えている、データ通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書は、目標視点における映像を生成するためのデータを通信するシステムおよび方法に関する。
【背景技術】
【０００２】
特定の視点において実際に取得された映像と深度マップに基づいて、仮想的に設定された目標視点における映像を生成する技術が開発されている。
【０００３】
特許文献１に、目標視点における映像を生成するためのデータを通信するシステムが開示されている。この技術では、送信装置から受信装置へ、複数の視点における映像と深度マップを送信する。受信装置では、複数の視点における映像と深度マップに基づいて、任意の目標視点における映像を生成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１２３７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
目標視点における映像を生成するためのデータを通信する場合、複数の視点における映像と深度マップを全て通信すると、データ量が膨大なものとなってしまう。しかしながら、不用意にデータを間引いてしまうと、受信装置の側において、目標視点における正確な映像を生成することができなくなってしまう。
【０００６】
本明細書では、上記の課題を解決する技術を提供する。本明細書では、少ないデータ通信量でありながら、受信装置の側で目標視点における映像を正確に生成することが可能な技術を提供する。
【課題を解決するための手段】
【０００７】
本明細書は、目標視点における映像を生成するためのデータを通信するシステムを開示する。そのシステムは、送信装置と受信装置を備えている。送信装置は、基準視点における映像を出力する基準映像出力手段と、基準視点における深度マップを出力する基準深度マップ出力手段と、代表視点における残差映像を出力する残差映像出力手段と、代表視点における残差深度マップを出力する残差深度マップ出力手段を備えている。受信装置は、基準視点における映像および深度マップと、代表視点における残差映像および残差深度マップに基づいて、目標視点における映像を生成する映像合成手段を備えている。
【０００８】
上記のデータ通信システムでは、送信装置と受信装置の間で、基準視点における映像および深度マップに加えて、代表視点における残差映像および残差深度マップを送受信する。基準視点における映像および深度マップと、代表視点における映像と深度マップを送受信する場合に比べて、送受信するデータ量を少なくすることができる。また、基準視点における映像および深度マップと、代表視点における映像のみを送受信する場合に比べて、受信装置側で、より正確な映像を生成することが可能となる。
【０００９】
上記のデータ通信システムは、残差映像出力手段が、基準視点における深度マップを代表視点にシフトした際の穴領域に基づくホールマスクを利用して、代表視点における残差映像を生成し、残差深度マップ出力手段が、基準視点における深度マップを代表視点にシフトした際の穴領域に基づくホールマスクを利用して、代表視点における残差深度マップを生成し、映像合成手段が、基準視点における深度マップを代表視点にシフトした際の穴領域に基づくホールマスクを利用して、目標視点における映像を生成するように構成することができる。
【００１０】
上記のデータ通信システムでは、残差映像および残差深度マップの生成と、目標視点における映像の生成において、共通のホールマスクを利用しているため、受信装置側で、より正確な映像を生成することができる。また、上記のデータ通信システムでは、送信装置と受信装置の両者において、互いの間で送受信される基準深度マップからホールマスクを形成している。送信装置と受信装置の間で、ホールマスクそのものをやり取りする必要がないので、送受信するデータ量を少なくすることができる。
【００１１】
上記のデータ通信システムは、映像合成手段が、基準視点における深度マップおよび代表視点における残差深度マップに基づいて目標視点における深度マップを生成し、目標視点における深度マップと、基準視点における映像および深度マップと、代表視点における残差映像および残差深度マップに基づいて、目標視点における映像を生成するように構成することができる。
【００１２】
上記のデータ通信システムによれば、受信装置において、目標視点における深度マップに基づいて目標視点における映像を生成するため、目標視点における映像をより正確に生成することができる。
【００１３】
本明細書は、目標視点における映像を生成するためのデータを通信する方法も開示する。その方法は、送信装置において、基準視点における映像を出力するステップと、送信装置において、基準視点における深度マップを出力するステップと、送信装置において、代表視点における残差映像を出力するステップと、送信装置において、代表視点における残差深度マップを出力するステップと、受信装置において、基準視点における映像および深度マップと、代表視点における残差映像および残差深度マップに基づいて、目標視点における映像を生成するステップを備えている。
【発明の効果】
【００１４】
本明細書が開示する技術によれば、少ないデータ通信量でありながら、受信装置の側で目標視点における映像を正確に生成することができる。
【図面の簡単な説明】
【００１５】
【図１】実施例に係るデータ通信装置の送信装置２と受信装置４を模式的に示す図である。
【図２】ＭＶＤデータとＧＶＤデータについて説明する図である。
【図３】視点の位置関係について説明する図である。
【図４】実施例に係る送信装置２の構成を模式的に示す図である。
【図５】残差深度マップを生成する処理を説明するフローチャートである。
【図６】残差映像を生成する処理を説明するフローチャートである。
【図７】図５および図６の処理によって残差映像および残差深度マップを生成する様子を説明する図である。
【図８】実施例に係る受信装置４の構成を模式的に示す図である。
【図９】目標視点における映像を生成する処理を説明するフローチャートである。
【図１０】図９の処理によって目標視点における映像を生成する様子を説明する図である。
【図１１】残差映像を生成する別の処理を説明するフローチャートである。
【図１２】目標視点における映像を生成する別の処理を説明するフローチャートである。
【図１３】図１２の処理によって目標視点における映像を生成する様子を説明する図である。
【発明を実施するための形態】
【００１６】
（実施例）
図１に示すように、本実施例のデータ通信システムは、送信装置２と受信装置４を備えている。図２に示すように、本実施例の送信装置２は、視点１、視点２、視点３の３つの視点において取得された映像および深度マップを、基準視点における映像および深度マップと、２つの代表視点における残差映像および残差深度マップに変換して出力する。本実施例では、図３に示すように、視点１、視点２、視点３の位置関係として、視点１が中央に配置され、視点１の左側に視点２が配置され、視点１の右側に視点３が配置されているものとする。また、基準視点は視点１と同じ位置にあり、代表視点１は視点２と同じ位置にあり、代表視点２は視点３と同じ位置にあるものとする。本明細書でいう映像とは、フレームのピクセル毎の被写体の輝度や色彩の値を示すデータを意味し、深度マップとは、フレームのピクセル毎の被写体との間の距離の値を示すデータを意味する。以下では、複数の視点において取得された映像および深度マップをＭＶＤ（Multi View plus Depth）データともいい、基準視点における映像および深度マップと、代表視点における残差映像および残差深度マップをＧＶＤ（Global View and Depth）データともいう。送信装置２から出力されるＧＶＤデータは、直接的に受信装置４へ送信することもできるし、記憶媒体（図示せず）へ送信して一旦記憶しておき、その後に記憶媒体から受信装置４へ送信することもできる。受信装置４は、受信したＧＶＤデータに基づいて、任意の視点における映像を合成する。本実施例の受信装置４では、図３に示すように、視点１、視点２、視点３に加えて、視点１と視点２の間に配置された視点４、視点５、視点６、および視点１と視点３の間に配置された視点７、視点８、視点９における映像をそれぞれ合成可能である。
【００１７】
図４に示すように、送信装置２は、多視点映像取得手段１０と、ＧＶＤ変換手段１２と、符号化手段１４と、送信手段１６を備えている。ＧＶＤ変換手段１２は、基準映像生成手段１８、基準深度マップ生成手段２０、残差深度マップ生成手段２２、残差映像生成手段２４を備えている。符号化手段１４は、サブサンプラ２６，２８，３０，３２，３４、ＣＯＤＥＣ３６，３８，４０，４２，４４、アップサンプラ４６等を備えている。符号化手段１４のＣＯＤＥＣ３６，３８，４０，４２，４４としては、例えば３Ｄ−ＡＶＣまたはＨＥＶＣ等の、当該技術分野において公知のものを用いることができる。
【００１８】
多視点映像取得手段１０は、視点１、視点２、視点３における映像と深度マップをそれぞれ取得する。視点１、視点２、視点３における映像は、カメラを用いて取得することができる。視点１、視点２、視点３における深度マップは、深度マップを取得可能な専用のカメラを用いて取得することもできるし、視点１、視点２、視点３における映像と、カメラ同士の位置関係と、カメラパラメータを用いて、計算によって取得することもできる。図４では、視点１における映像と深度マップを映像１および深度マップ１と表記し、視点２における映像と深度マップを映像２および深度マップ２と表記し、視点３における映像と深度マップを映像３および深度マップ３と表記している。
【００１９】
基準映像生成手段１８は、視点１、視点２、視点３のそれぞれの映像に基づいて、基準映像を生成する。基準映像は、基準視点に、視点１、視点２、視点３のそれぞれの映像を投影して、投影した映像の平均値を計算することによって取得することができる。あるいは、基準視点が視点１、視点２、視点３のうち何れかに一致する場合には、その視点からの映像をそのまま基準映像とすることもできる。本実施例では、視点１を基準視点としているから、基準映像生成手段１８は、視点１の映像をそのまま基準映像として出力する。基準映像生成手段１８から出力される基準映像は、符号化手段１４のＣＯＤＥＣ３６によってエンコードされて、送信手段１６へ出力される。
【００２０】
基準深度マップ生成手段２０は、視点１、視点２、視点３のそれぞれの深度マップに基づいて、基準深度マップを生成する。基準深度マップは、基準視点に、視点１、視点２、視点３のそれぞれの深度マップを投影して、投影した深度マップの平均値を計算することによって取得することができる。あるいは、基準視点が視点１、視点２、視点３のうち何れかに一致する場合には、その視点からの深度マップをそのまま基準深度マップとしてもよい。本実施例では、視点１を基準視点としているから、基準深度マップ生成手段２０は、視点１の深度マップをそのまま基準深度マップとして出力する。基準深度マップ生成手段２０から出力される基準深度マップは、符号化手段１４のサブサンプラ３４によって１／４のサイズにサブサンプリングされて、ＣＯＤＥＣ４２によってエンコードされた後、送信手段１６へ出力される。また、ＣＯＤＥＣ４２によってエンコードされた基準深度マップは、ＣＯＤＥＣ４４でデコードされて、アップサンプラ４６によってもとのサイズにアップサンプリングされた後、ＧＶＤ変換手段１２の残差深度マップ生成手段２２と残差映像生成手段２４へ送信される。
【００２１】
残差深度マップ生成手段２２は、視点１、視点２、視点３のそれぞれの深度マップと、アップサンプラ４６から入力される基準深度マップに基づいて、代表視点１および代表視点２における残差深度マップをそれぞれ生成する。図４では、代表視点１における残差深度マップを残差深度マップ１と表記し、代表視点２における残差深度マップを残差深度マップ２と表記している。本実施例の残差深度マップ生成手段２２は、図５のフォワードワーピング処理によって、代表視点１および代表視点２における残差深度マップを生成する。以下では代表視点１における残差深度マップを生成する場合を例として説明する。
【００２２】
図５のステップＳ１０２では、基準深度マップを取得する。上述したように、本実施例では、送信手段１６に出力される基準深度マップと同じデータについて、ＣＯＤＥＣ４４によってデコードし、アップサンプラ４６でアップサンプリングしたものを、基準深度マップとして用いる。
【００２３】
ステップＳ１０４では、ステップＳ１０２で取得された基準深度マップを、代表視点１にシフトし、メディアンフィルタをかけて平滑化する。
【００２４】
ステップＳ１０６では、ステップＳ１０４で取得されたシフト後の深度マップから、ホールマスクを形成する。シフト後の深度マップには、基準視点においてフレームの外に存在していた領域や、基準視点からはオクルージョンによって撮影できない領域が、穴領域として存在する。ステップＳ１０６では、この穴領域を検出し、検出された穴領域を４ピクセル膨張させることで、ホールマスクを形成する。
【００２５】
ステップＳ１０８では、ステップＳ１０６で形成されたホールマスクの穴領域のピクセルそれぞれについて、視点２（すなわち代表視点１）の深度マップにおいて対応するピクセルを特定し、そのピクセルにおける値を割り当てる。また、ステップＳ１０６で形成されたホールマスクの穴領域となっていないピクセルそれぞれについて、ステップＳ１０２で取得された基準深度マップのすべてのピクセルの平均値を割り当てる。なお、基準深度マップのすべてのピクセルの平均値の代わりに、代表視点の深度マップのホールマスクの穴領域に対応するピクセルの平均値や、代表視点の深度マップのすべてのピクセルの平均値などを割り当ててもよい。これによって、代表視点１における残差深度マップが生成される。
【００２６】
残差深度マップ生成手段２２で生成された代表視点１および代表視点２の残差深度マップは、それぞれサブサンプラ３０，３２によって１／４のサイズにサブサンプリングされて、同一フレーム内にパッキングされた後、ＣＯＤＥＣ４０によってエンコードされて、送信手段１６へ出力される。
【００２７】
残差映像生成手段２４は、視点１、視点２、視点３のそれぞれの映像および深度マップと、アップサンプラ４６から入力される基準深度マップに基づいて、代表視点１および代表視点２における残差映像をそれぞれ生成する。図４では、代表視点１における残差映像を残差映像１と表記し、代表視点２における残差映像を残差映像２と表記している。本実施例の残差映像生成手段２４は、図６のフォワードワーピング処理によって、代表視点１および代表視点２における残差映像を生成する。以下では代表視点１における残差映像の生成を例として説明する。
【００２８】
ステップＳ２０２では、基準深度マップを取得する。上述したように、本実施例では、送信手段１６に出力される基準深度マップと同じデータについて、ＣＯＤＥＣ４４によってデコードし、アップサンプラ４６でアップサンプリングしたものを、基準深度マップとして用いる。
【００２９】
ステップＳ２０４では、ステップＳ２０２で取得された基準深度マップを、代表視点１にシフトし、メディアンフィルタをかけて平滑化する。
【００３０】
ステップＳ２０６では、ステップＳ２０４で取得されたシフト後の深度マップから、ホールマスクを形成する。シフト後の深度マップには、基準視点においてフレームの外に存在していた領域や、基準視点からはオクルージョンによって撮影できない領域が、穴領域として存在する。ステップＳ２０６では、この穴領域を検出し、検出された穴領域を４ピクセル膨張させることで、ホールマスクを形成する。
【００３１】
ステップＳ２０８では、ステップＳ２０６で形成されたホールマスクの穴領域のピクセルそれぞれについて、視点２（すなわち代表視点１）の映像において対応するピクセルを特定し、そのピクセルにおける値を割り当てる。また、ステップＳ２０６で形成されたホールマスクの穴領域となっていないピクセルそれぞれについて、基準映像のすべてのピクセルの平均値を割り当てる。なお、基準映像のすべてのピクセルの平均値の代わりに、代表視点の映像のホールマスクの穴領域に対応するピクセルの平均値や、代表視点の映像のすべてのピクセルの平均値などを割り当ててもよい。これによって、代表視点１における残差映像が生成される。
【００３２】
なお、図６のステップＳ２０２からステップＳ２０６までの処理は、図５のステップＳ１０２からステップＳ１０６までの処理と同様である。従って、残差深度マップ生成手段２２がステップＳ１０６で形成したホールマスクを、残差映像生成手段２４に流用して、残差映像生成手段２４ではステップＳ２０８のみを行う構成としてもよい。
【００３３】
残差映像生成手段２４で生成された代表視点１および代表視点２の残差映像は、それぞれサブサンプラ２６，２８によって１／４のサイズにサブサンプリングされて、同一フレーム内にパッキングされた後、ＣＯＤＥＣ３８によってエンコードされて、送信手段１６へ出力される。
【００３４】
図７は図５および図６の処理によって残差深度マップと残差映像を生成する様子を模式的に示している。基準深度マップ５０を、代表視点１（または代表視点２）へシフトし、平滑化して、シフトされた深度マップ５２が取得される。そして、シフトされた深度マップ５２の穴領域５４を検出して、穴領域５４を膨張させることで、ホールマスク５６が形成される。ホールマスク５６と代表視点１（または代表視点２）の映像５８から、残差映像６０が生成される。ホールマスク５６と代表視点１（または代表視点２）の深度マップ６２から、残差深度マップ６４が生成される。
【００３５】
送信手段１６は、ＣＯＤＥＣ３６，３８，４０，４２からの、エンコードされた基準映像、基準深度マップ、残差映像、残差深度マップを、受信装置４へ送信する。
【００３６】
図８に示すように、受信装置４は、受信手段７０と、復号化手段７２と、映像合成手段７４と、多視点映像表示手段７６を備えている。復号化手段７２は、ＣＯＤＥＣ７８，８０，８２，８４、アップサンプラ８６，８８，９０，９２，９４等を備えている。
【００３７】
受信手段７０は、送信手段１６から送信された、エンコードされた基準映像、基準深度マップ、残差映像、残差深度マップをそれぞれ受信する。
【００３８】
復号化手段７２では、受信手段７０からのデータをデコードする。エンコードされた基準映像は、ＣＯＤＥＣ７８によってデコードされて、映像合成手段７４へ出力される。エンコードされた基準深度マップは、ＣＯＤＥＣ８４によってデコードされ、アップサンプラ９４によってもとのサイズへアップサンプリングされた後、映像合成手段７４へ出力される。エンコードされた残差映像は、ＣＯＤＥＣ８０によってデコードされ、代表視点１の残差映像と代表視点２の残差映像に展開された後、それぞれアップサンプラ８６，８８によってもとのサイズにアップサンプリングされて、映像合成手段７４へ出力される。エンコードされた残差深度マップは、ＣＯＤＥＣ８２によってデコードされ、代表視点１の残差深度マップと代表視点２の残差深度マップに展開された後、それぞれアップサンプラ９０，９２によってもとのサイズにアップサンプリングされて、映像合成手段７４へ出力される。
【００３９】
映像合成手段７４は、基準映像および基準深度マップと、代表視点１と代表視点２における残差映像および残差深度マップを用いて、任意の視点における映像を生成する。本実施例では、映像合成手段７４によって、視点１（基準視点に相当する）、視点２（代表視点１に相当する）、視点３（代表視点２に相当する）と、視点４−視点９（図３参照）における映像をそれぞれ生成する。本実施例では、視点１を基準視点としているから、映像合成手段７４は、基準映像をそのまま視点１の映像として出力する。本実施例の映像合成手段７４は、図９のフォワードワーピング処理によって、視点２−視点９に各映像を生成する。以下では、基準映像および基準深度マップと、代表視点１における残差映像および残差深度マップを用いて、視点２，視点４，視点５，視点６の何れかの映像を生成する場合を例として説明する。
【００４０】
図９のステップＳ３０２では、基準深度マップを取得する。
【００４１】
ステップＳ３０４では、ステップＳ３０２で取得された基準深度マップを、代表視点１にシフトし、メディアンフィルタをかけて平滑化する。
【００４２】
ステップＳ３０６では、ステップＳ３０４で取得された代表視点１にシフト後の深度マップから、穴領域を検出して、検出された穴領域を２ピクセル膨張させることで、ホールマスクを形成する。
【００４３】
ステップＳ３０８では、ステップＳ３０２で取得された基準深度マップを、目標視点（視点２，視点４，視点５，視点６の何れか）にシフトし、メディアンフィルタをかけて平滑化する。
【００４４】
ステップＳ３１０では、ステップＳ３０８で取得された目標視点にシフト後の深度マップから、穴領域となっていないピクセルそれぞれについて、基準映像において対応するピクセルを特定し、そのピクセルにおける値を割り当てる。
【００４５】
ステップＳ３１２では、ステップＳ３０６で形成されたホールマスクの穴領域のピクセルそれぞれについて、代表視点１の残差深度マップに基づいて代表視点１の残差映像における値を特定し、その値をステップＳ３１０で得られた目標視点の映像の対応するピクセルに上書きする。
【００４６】
ステップＳ３１４では、ステップＳ３１２の後に、目標視点の映像に穴が残っている場合には、周囲のピクセルの値をコピーするインペインティング処理によって、その穴を埋める。
【００４７】
以上の処理をそれぞれの目標視点について行うことで、視点２，視点４，視点５，視点６の映像を生成することができる。また、上記と同様の処理を行うことで、基準映像および基準深度マップと、代表視点２における残差映像および残差深度マップを用いて、視点３，視点７，視点８，視点９のそれぞれの映像を生成することができる。
【００４８】
図１０は図９の処理によって目標視点における映像を生成する様子を模式的に示している。基準深度マップ１００を、代表視点１（または代表視点２）へシフトし、平滑化して、代表視点へシフトされた深度マップ１０２が取得される。そして、代表視点へシフトされた深度マップの穴領域１０４を検出して、穴領域１０４を膨張させることで、ホールマスク１０６が形成される。そして、基準深度マップ１００を、目標視点へシフトし、平滑化して、目標視点へシフトされた深度マップ１０８が取得される。目標視点へシフトされた深度マップ１０８に基づいて、基準映像１１０を投影した映像１１２が取得され、さらにホールマスク１０６と代表視点の残差深度マップ１１３に基づいて、代表視点の残差映像１１４を投影した映像を上書きすることにより、目標視点における映像１１６が取得される。
【００４９】
多視点映像表示手段７６は、映像合成手段７４から出力される視点１−視点９の映像に基づいて、利用者に多視点での映像を表示する。
【００５０】
以上のように、本実施例の送信装置２と受信装置４では、基準視点における映像および深度マップに加えて、代表視点における残差映像および残差深度マップを送受信する。基準視点における映像および深度マップと、代表視点における映像と深度マップを送受信する場合に比べて、送受信するデータ量を少なくすることができる。また、基準視点における映像および深度マップと、代表視点における映像のみを送受信する場合に比べて、受信装置４側で、より正確な映像を生成することが可能となる。
【００５１】
本実施例では、送信装置２と受信装置４の両者において、互いの間で送受信される基準深度マップからホールマスクを形成している。このため、送信装置２と受信装置４の間で、ホールマスクそのものをやり取りする必要がない。送受信するデータ量を少なくすることができる。
【００５２】
本実施例では、送信装置２において、基準深度マップ生成手段２０で生成される基準深度マップを直接利用してホールマスクを形成するのではなく、送信手段１６から受信手段７０に送信される基準深度マップ（すなわち、サブサンプラ３４によるサブサンプリングとＣＯＤＥＣ４２によるエンコードを経たもの）を、ＣＯＤＥＣ４４によりデコードし、アップサンプラ４６によりアップサンプリングしてから、ホールマスクを形成している。一般に、ＣＯＤＥＣによるエンコードとデコードを経ると、ごく僅かではあるが、元のデータとの間に相違が生じる。アップサンプリングとサブサンプリングについても同様である。このため、送信装置２において基準深度マップ生成手段２０で生成される基準深度マップを直接利用してホールマスクを形成すると、送信装置２で使用するホールマスクと、受信装置４で使用するホールマスクが異なるものとなってしまう。本実施例のように、送信装置２において、送信手段１６から受信手段７０に送信される基準深度マップを、ＣＯＤＥＣ４４によりデコードし、アップサンプラ４６によりアップサンプリングしてから、ホールマスクを形成することで、送信装置２で使用するホールマスクと受信装置４で使用するホールマスクを一致させることができる。これにより、受信装置４側で、より正確な映像を生成することが可能となる。
【００５３】
送信装置２の残差映像生成手段２４は、図６に示すフォワードワーピング処理によって残差映像を生成する代わりに、図１１に示すバックワードワーピング処理によって残差映像を生成することもできる。以下では、代表視点１における残差映像の生成を例として、図１１のバックワードワーピング処理について説明する。
【００５４】
ステップＳ４０２では、基準深度マップと代表視点１における残差深度マップをそれぞれ取得する。代表視点１における残差深度マップとしては、残差深度マップ生成手段２２が生成したものをそのまま用いることができる。あるいは、代表視点１における残差深度マップとしては、残差深度マップ生成手段２２が生成したものを、サブサンプラ３０でサブサンプリングし、ＣＯＤＥＣ４０でエンコードした後、さらにＣＯＤＥＣ（図示せず）でデコードし、アップサンプラ（図示せず）でアップサンプリングしたものを、用いることもできる。
【００５５】
ステップＳ４０４では、ステップＳ４０２で取得された基準深度マップを、目標視点（視点２、視点４、視点５、視点６）にシフトし、メディアンフィルタをかけて平滑化する。
【００５６】
ステップＳ４０６では、ステップＳ４０４で取得されたシフト後の深度マップから、目標視点におけるホールマスクを形成する。ステップＳ４０６では、シフト後の深度マップから穴領域を検出し、検出された穴領域を２ピクセル膨張させることで、ホールマスクを形成する。
【００５７】
ステップＳ４０８では、ステップＳ４０２で取得された残差深度マップを目標視点へシフトし、メディアンフィルタをかけて平滑化する。
【００５８】
ステップＳ４１０では、ステップＳ４０４で得られた深度マップの穴領域に、ステップＳ４０８で得られた深度マップの値を上書きし、残った穴領域をインペインティング処理によって埋めて、目標視点における深度マップを生成する。
【００５９】
ステップＳ４１２では、ステップＳ４０６で形成したホールマスクの穴領域に該当するピクセルについて、ステップＳ４１０で得られた深度マップを代表視点１に投影し、メディアンフィルタによる平滑化の後、穴領域を４ピクセル膨張させて、代表視点１におけるホールマスクを形成する。
【００６０】
ステップＳ４１４では、それぞれの目標視点（視点２、視点４、視点５、視点６）に関してステップＳ４１２で得られた代表視点１におけるホールマスクをマージして、代表視点１におけるホールマスクを形成する。
【００６１】
ステップＳ４１６では、ステップＳ４１４で得られたホールマスクの穴領域のピクセルそれぞれについて、代表視点１の映像において対応するピクセルを特定し、そのピクセルにおける値を割り当てる。これによって、代表視点１における残差映像が生成される。
【００６２】
また、受信装置４の映像合成手段７４は、図９に示すフォワードワーピング処理によって視点２−視点９の映像を生成する代わりに、図１２に示すバックワードワーピング処理によって視点２−視点９の映像を生成することもできる。以下では、基準映像および基準深度マップと、代表視点１における残差映像および残差深度マップを用いて、視点２，視点４，視点５，視点６の何れかの映像を生成する場合を例として説明する。
【００６３】
図１２のステップＳ５０２では、基準深度マップを取得する。
【００６４】
ステップＳ５０４では、ステップＳ５０２で取得された基準深度マップを、代表視点１にシフトし、メディアンフィルタをかけて平滑化する。
【００６５】
ステップＳ５０６では、ステップＳ５０４で取得された代表視点１にシフト後の深度マップから、穴領域を検出して、検出された穴領域を２ピクセル膨張させることで、ホールマスクを形成する。
【００６６】
ステップＳ５０８では、ステップＳ５０２で取得された基準深度マップを、目標視点（視点２，視点４，視点５，視点６の何れか）にシフトし、メディアンフィルタをかけて平滑化する。
【００６７】
ステップＳ５１０では、ステップＳ５０８で取得された目標視点にシフト後の深度マップから、穴領域を検出して、検出された穴領域を２ピクセル膨張させることで、ホールマスクを形成する。
【００６８】
ステップＳ５１２では、ステップＳ５０６で形成されたホールマスクを利用して、代表視点１における残差深度マップを目標視点にシフトし、メディアンフィルタにより平滑化する。
【００６９】
ステップＳ５１４では、ステップＳ５０８で得られた深度マップの穴領域に、ステップＳ５１２で得られた深度マップの値を上書きし、残った穴領域をインペインティング処理によって埋めて、目標視点における深度マップを生成する。
【００７０】
ステップＳ５１６では、ステップＳ５１４で得られた深度マップに基づいて、基準映像を目標視点に投影する。
【００７１】
ステップＳ５１８では、ステップＳ５１０で得られたホールマスクを利用して、代表視点１における残差映像を目標視点に投影する。
【００７２】
ステップＳ５２０では、ステップＳ５１６で目標視点に投影された映像と、ステップＳ５１８で目標視点に投影された映像を組み合わせて、目標視点における映像を生成する。
【００７３】
図１３は図１２の処理によって目標視点における映像を生成する様子を模式的に示している。基準深度マップ２００を、代表視点１（または代表視点２）へシフトし、平滑化して、代表視点へシフトされた深度マップ２０２が取得される。そして、代表視点へシフトされた深度マップ２０２の穴領域２０４を検出して、穴領域２０４を膨張させることで、代表視点におけるホールマスク２０６が形成される。次いで、基準深度マップ２００を、目標視点へシフトし、平滑化して、目標視点へシフトされた深度マップ２０８が取得される。そして、目標視点へシフトされた深度マップ２０８の穴領域２１０を検出して、穴領域２１０を膨張させることで、目標視点におけるホールマスク２１２が形成される。次いで、目標視点へシフトされた深度マップ２０８に、代表視点におけるホールマスク２０６を利用して残差深度マップ２１４を上書きし、残った穴領域２１０をインペインティングすることで、目標視点における深度マップ２１６が取得される。目標視点における深度マップ２１６に基づいて、基準映像２１８を投影し、さらにホールマスク２１２を用いて残差映像２２０を投影することで、目標視点における映像２２２が取得される。
【００７４】
以上のようなバックワードワーピング処理を行うことによって、フォワードワーピング処理を行う場合に比べて、より正確な映像を生成することができる。
【００７５】
以上、本発明の実施例について詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
【００７６】
上記の実施例では、送信装置２と受信装置４の間で送受信されるＧＶＤデータとして、１つの基準視点と２つの代表視点を規定し、基準視点における映像および深度マップと、それぞれの代表視点における残差映像および残差深度マップを扱う場合について説明した。これとは異なり、１つの基準視点に対して、代表視点を１つのみ規定してもよいし、代表視点を３つ以上規定してもよい。あるいは、基準視点を２つ以上規定し、それぞれの基準視点に対して代表視点を１つまたはそれ以上規定してもよい。
【００７７】
上記の実施例では、ＧＶＤデータについて、送信装置２でサブサンプリングを行い、これに対応して受信装置４でアップサンプリングを行う構成について説明したが、このようなサブサンプリングおよびアップサンプリングを行わない構成とすることもできる。
【００７８】
送信装置２におけるホールマスクの形成の仕方と、受信装置４におけるホールマスクの形成の仕方は、同じであってもよいし、異なっていてもよい。例えば、送信装置２におけるホールマスクの穴領域の膨張のさせ方と、受信装置４におけるホールマスクの穴領域の膨張のさせ方は、同じであってもよいし、異なっていてもよい。
【００７９】
本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時の請求項に記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【符号の説明】
【００８０】
２  送信装置
４  受信装置
１０  多視点映像取得手段
１２  ＧＶＤ変換手段
１４  符号化手段
１６  送信手段
１８  基準映像生成手段
２０  基準深度マップ生成手段
２２  残差深度マップ生成手段
２４  残差映像生成手段
２６，２８，３０，３２，３４  サブサンプラ
３６，３８，４０，４２，４４  ＣＯＤＥＣ
４６  アップサンプラ
５０  基準深度マップ
５２  シフトされた深度マップ
５４  穴領域
５６  ホールマスク
５８  代表視点の映像
６０  代表視点の残差映像
６２  代表視点の深度マップ
６４  代表視点の残差深度マップ
７０  受信手段
７２  復号化手段
７４  映像合成手段
７６  多視点映像表示手段
８６，８８，９０，９２，９４  アップサンプラ
１００  基準深度マップ
１０２  シフトされた深度マップ
１０４  穴領域
１０６  ホールマスク
１０８  シフトされた深度マップ
１１０  基準映像
１１２  映像
１１３  残差深度マップ
１１４  残差映像
１１６  目標視点の映像
２００  基準深度マップ
２０２  シフトされた深度マップ
２０４  穴領域
２０６  ホールマスク
２０８  シフトされた深度マップ
２１０  穴領域
２１２  ホールマスク
２１４  残差深度マップ
２１６  目標視点の深度マップ
２１８  基準映像
２２０  残差映像
２２２  目標視点の映像
【図１】
2014165836.tif 000003
【図３】
2014165836.tif 000004
【図４】
2014165836.tif 000005
【図５】
2014165836.tif 000006
【図６】
2014165836.tif 000007
【図７】
2014165836.tif 000008
【図８】
2014165836.tif 000009
【図９】
2014165836.tif 000010
【図１０】
2014165836.tif 000011
【図１１】
2014165836.tif 000012
【図１２】
2014165836.tif 000013
【図１３】
2014165836.tif 000014
【図２】
2014165836.tif 000015