(57)【要約】【課題】高画質な視点合成画像を生成する。【解決手段】多視点映像復号装置１０５は、Ｎ視点の２Ｄ画像１１とＮ視点の奥行き画像１２とを用いて生成された視点合成画像と、その視点合成画像の視点合成位置の（Ｍ−Ｎ）視点の２Ｄ画像１０１との差分である残差情報、Ｎ視点の２Ｄ画像１１、および奥行き画像１２を符号化した結果得られる符号化ストリームを受け取り、復号する。視点合成装置１５は、多視点映像復号装置１０５により復号されたＮ視点の２Ｄ画像１１と奥行き画像１２とを用いて、視点合成画像を生成する。残差情報補償装置１０６は、残差情報を、生成された視点合成画像に足し込む。本発明は、例えば、視点合成を行うシステムに適用することができる。【選択図】図５
2011244025.tif 000002
【特許請求の範囲】
【請求項１】
基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報を受け取る受け取り手段と、
前記基準２Ｄ画像を符号化して符号化ストリームを生成する符号化手段と、
前記受け取り手段により受け取られた前記残差情報、前記奥行き情報、および前記符号化手段により生成された前記符号化ストリームを伝送する伝送手段と
を備える画像処理装置。
【請求項２】
前記符号化手段は、前記受け取り手段により受け取られた前記残差情報を符号化して残差ストリームを生成し、
前記伝送手段は、前記符号化手段により生成された前記残差ストリーム、前記奥行き情報、および前記符号化ストリームを伝送する
請求項１に記載の画像処理装置。
【請求項３】
前記符号化手段は、前記奥行き情報を符号化して奥行きストリームを生成し、
前記伝送手段は、前記残差情報、前記符号化手段により生成された奥行きストリーム、および前記符号化ストリームを伝送する
請求項１に記載の画像処理装置。
【請求項４】
前記視点合成画像と前記視点合成画像の視点合成位置における２Ｄ画像との差分を計算して、前記残差情報を算出する算出手段
をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
前記基準２Ｄ画像の視点数はＮであり、
前記視点合成画像の視点数は、Ｎより大きいＭからＮを減算した値である
請求項１に記載の画像処理装置。
【請求項６】
前記基準２Ｄ画像の視点数は２であり、
前記視点合成画像の視点数は６である
請求項５に記載の画像処理装置。
【請求項７】
前記受け取り手段は、前記視点合成画像に対する残差情報が存在するか否かを示す残差存在情報も受け取り、
前記伝送手段は、前記受け取り手段により受け取られた残差存在情報も伝送する
請求項１に記載の画像処理装置。
【請求項８】
前記残差情報は、前記基準２Ｄ画像の視点より外側の視点合成位置の視点合成画像である外側視点合成画像と、前記外側視点画像の視点合成位置における２Ｄ画像との差分である
請求項１に記載の画像処理装置。
【請求項９】
前記受け取り手段は、前記外側視点合成画像と前記外側視点画像の視点合成位置における２Ｄ画像との差分が存在するか否かを示す外側残差存在情報を受け取り、
前記伝送手段は、前記受け取り手段により受け取られた前記外側残差存在情報も伝送する
請求項８に記載の画像処理装置。
【請求項１０】
前記残差情報は、前記基準２Ｄ画像の視点より内側の視点合成位置の視点合成画像である内側視点合成画像と、前記内側視点画像の視点合成位置における２Ｄ画像との差分である
請求項１に記載の画像処理装置。
【請求項１１】
画像処理装置が、
基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報を受け取る受け取りステップと、
前記基準２Ｄ画像を符号化して符号化ストリームを生成する符号化ステップと、
前記受け取りステップの処理により受け取られた前記残差情報、前記奥行き情報、および前記符号化ステップの処理により生成された前記符号化ストリームを伝送する伝送ステップと
を含む画像処理方法。
【請求項１２】
基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報と、前記奥行き情報とを受け取る受け取り手段と、
前記基準２Ｄ画像を符号化した結果得られる符号化ストリームを復号する復号手段と、
前記復号手段により復号された前記基準２Ｄ画像と前記受け取り手段により受け取られた前記奥行き情報とを用いて、前記視点合成画像を生成する生成手段と、
前記受け取り手段により受け取られた前記残差情報を、前記生成手段により生成された前記視点合成画像に足し込む残差情報補償手段と
を備える画像処理装置。
【請求項１３】
画像処理装置が、
基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報と、前記奥行き情報とを受け取る受け取りステップと、
前記基準２Ｄ画像を符号化した結果得られる符号化ストリームを復号する復号ステップと、
前記復号ステップの処理により復号された前記基準２Ｄ画像と前記受け取りステップの処理により受け取られた前記奥行き情報とを用いて、前記視点合成画像を生成する生成ステップと、
前記受け取りステップの処理により受け取られた前記残差情報を、前記生成ステップの処理により生成された前記視点合成画像に足し込む残差情報補償ステップと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、高画質な視点合成画像を生成することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
任意視点の画像を生成する視点合成技術がある。この視点合成技術は、Ｎ視点の２Ｄ画像と奥行き画像（奥行き情報）からＭ（＞Ｎ）視点の２Ｄ画像を生成する技術である。
【０００３】
図１を参照して、視点合成技術の概要について説明する。
【０００４】
図１に示すように、視点合成技術では、２Ｄ画像と奥行き画像からなる入力画像１が入力される。そして、その入力画像１を用いて視点合成が行われ、入力画像１のカメラ位置の内側および外側の視点の２Ｄ画像である視点合成画像２が生成される。
【０００５】
図１の例では、２視点の入力画像１から６視点の視点合成画像２が生成され、２視点の入力画像１と６視点の視点合成画像２の計８視点の画像が得られている。
【０００６】
実際の用途では，視点合成技術は圧縮技術と組み合わせて使用される。視点合成技術と圧縮技術を組み合わせたシステムの構成例を図２に示す。
【０００７】
図２のシステムでは、Ｎ視点の２Ｄ画像１１とＮ視点の奥行き画像１２が多視点映像符号化装置１３に入力される。
【０００８】
多視点映像符号化装置１３は、Ｎ視点の２Ｄ画像１１とＮ視点の奥行き画像１２をAVC（Advanced Video Coding）方式やMVC（Multiview Video Coding）方式で符号化し、多視点映像復号装置１４に供給する。
【０００９】
多視点映像復号装置１４は、多視点映像符号化装置１３から供給される、符号化されたＮ視点の２Ｄ画像１１とＮ視点の奥行き画像１２を、AVC方式やMVC方式に対応する方式で復号し、視点合成装置１５に供給する。
【００１０】
視点合成装置１５は、多視点映像復号装置１４による復号の結果得られるＮ視点の２Ｄ画像１１と奥行き画像１２を用いて、（Ｍ−Ｎ）視点の視点合成画像を生成する。視点合成装置１５は、Ｎ視点の２Ｄ画像１１と（Ｍ−Ｎ）視点の視点合成画像からなるＭ視点の２Ｄ画像を、Ｍ視点の再構成２Ｄ画像１６として出力する。
【００１１】
ところで、複数の視点の画像データの符号化と復号の方法については、例えば、特許文献１に記載されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2008-182669号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
図２のシステムでは，少数の視点の画像から多数の視点の画像を生成するため、視点合成画像には多数の欠落情報が発生する。特に、入力画像のカメラ位置の外側の視点の画像が生成される場合、オクルージョン領域の情報は完全に欠落してしまう。従来技術では、このようなオクルージョン領域を周辺の画面内情報を用いて補間している。しかしながら、画面内補間の性能には限界があり、視点合成画像の画質は十分ではない。
【００１４】
本発明は、このような状況に鑑みてなされたものであり、高画質な視点合成画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の第１の側面の画像処理装置は、基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報を受け取る受け取り手段と、前記基準２Ｄ画像を符号化して符号化ストリームを生成する符号化手段と、前記受け取り手段により受け取られた前記残差情報、前記奥行き情報、および前記符号化手段により生成された前記符号化ストリームを伝送する伝送手段とを備える画像処理装置である。
【００１６】
本発明の第１の側面の画像処理方法は、本発明の第１の側面の画像処理装置に対応する。
【００１７】
本発明の第１の側面においては、基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報が受け取られ、前記基準２Ｄ画像が符号化されて符号化ストリームが生成され、前記残差情報、前記奥行き情報、および前記符号化ストリームが伝送される。
【００１８】
本発明の第２の側面の画像処理装置は、基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報と、前記奥行き情報とを受け取る受け取り手段と、前記基準２Ｄ画像を符号化した結果得られる符号化ストリームを復号する復号手段と、前記復号手段により復号された前記基準２Ｄ画像と前記受け取り手段により受け取られた前記奥行き情報とを用いて、前記視点合成画像を生成する生成手段と、前記受け取り手段により受け取られた前記残差情報を、前記生成手段により生成された前記視点合成画像に足し込む残差情報補償手段とを備える画像処理装置である。
【００１９】
本発明の第２の側面の画像処理方法は、本発明の第２の側面の画像処理方法に対応する。
【００２０】
本発明の第２の側面においては、基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報と、前記奥行き情報とが受け取られ、前記基準２Ｄ画像を符号化した結果得られる符号化ストリームが復号され、復号された前記基準２Ｄ画像と受け取られた前記奥行き情報とを用いて、前記視点合成画像が生成され、受け取られた残差情報が、生成された視点合成画像に足し込まれる。
【発明の効果】
【００２１】
本発明の第１の側面によれば、高画質な視点合成画像を生成するための情報を伝送することができる。
【００２２】
本発明の第２の側面によれば、高画質な視点合成画像を生成することができる。
【図面の簡単な説明】
【００２３】
【図１】視点合成技術の概要について説明する図である。
【図２】従来のシステムの構成例を示すブロック図である。
【図３】本発明の概要を説明する図である。
【図４】本発明の概要を説明する図である。
【図５】本発明を適用したシステムの一実施の形態の構成例を示すブロック図である。
【図６】図５のシステムの処理を説明するフローチャートである。
【発明を実施するための形態】
【００２４】
[本発明の概要]
図３および図４は、本発明の概要を説明する図である。
【００２５】
なお、図３および図４は、２視点の画像から８視点の画像が生成される場合について説明する図である。
【００２６】
図３に示すように、本発明では、入力画像１だけでなく、視点合成画像２の視点合成位置でカメラにより取得された２Ｄ画像３１と視点合成画像２の差分情報である残差情報が符号化される。この残差情報は、合成画像の欠落情報を含んでおり、有用な情報である。
【００２７】
そして、視点合成を行う際、図４に示すように、入力画像１を用いて視点合成画像２を生成し、その視点合成画像２を残差情報で補償して、最終的な視点合成画像４１を生成する。
【００２８】
このように、本発明では、視点合成画像２へ残差情報を足しこむので、欠落情報が補償され、高画質な視点合成画像４１を生成することができる。
【００２９】
[システムの一実施の形態の構成例]
図５は、本発明を適用したシステムの一実施の形態の構成例を示すブロック図である。
【００３０】
なお、図５において、図２と同一のものには、同一の符号を付してあり、説明は繰り返しになるので適宜省略する。
【００３１】
図５のシステムには、Ｎ視点の２Ｄ画像１１（基準２Ｄ画像）、Ｎ視点の奥行き画像１２、および視点合成位置の（Ｍ−Ｎ）視点の２Ｄ画像１０１が入力される。この（Ｍ−Ｎ）視点の２Ｄ画像１０１は、視点合成位置のカメラにより撮像され、残差情報を取得するために用いられる。
【００３２】
視点合成装置１０２は、残差情報取得装置１０３で残差情報を取得するために、図１の視点合成装置１５と同様に、Ｎ視点の２Ｄ画像１１とＮ視点の奥行き画像１２を用いて（Ｍ−Ｎ）視点の視点合成画像を生成し、残差情報取得装置１０３に供給する。
【００３３】
残差情報取得装置１０３は、視点合成装置１０２から供給される（Ｍ−Ｎ）視点の視点合成画像と、視点合成位置の（Ｍ−Ｎ）視点の２Ｄ画像１０１の差分を計算し、残差情報とする。残差情報取得部１０３は、その残差情報を多視点映像符号化装置１０４に供給する。
【００３４】
多視点映像符号化装置１０４は、Ｎ視点の２Ｄ画像１１、Ｎ視点の奥行き画像１２、および残差情報取得装置１０３から供給される残差情報を、AVC方式やMVC方式で符号化する。そして、多視点映像符号化装置１０４は、符号化の結果得られる符号化ストリームを多視点映像復号装置１０５に供給する。
【００３５】
多視点映像復号装置１０５は、多視点映像符号化装置１０４から供給される符号化ストリームを、AVC方式やMVC方式に対応する方式で復号し、Ｎ視点の２Ｄ画像１１、Ｎ視点の奥行き画像１２、および残差情報を得る。多視点映像復号装置１０５は、そのＮ視点の２Ｄ画像１１とＮ視点の奥行き画像１２を視点合成装置１５に供給し、残差情報を残差情報補償装置１０６に供給する。
【００３６】
残差情報補償装置１０６は、視点合成装置１５により生成された（Ｍ−Ｎ）視点の視点合成画像に、多視点映像復号装置１０５から供給される残差情報を足しこみ、（Ｍ−Ｎ）視点の視点合成画像の欠落情報を補償する。残差情報補償装置１０６は、補償後の（Ｍ−Ｎ）視点の視点合成画像と、視点合成装置１５から供給されるＮ視点の２Ｄ画像１１を、Ｍ視点の再構成２Ｄ画像１０７として出力する。このＭ視点再構成２Ｄ画像１０７は、例えば、立体画像の表示に用いられ、ユーザは、この立体画像を、眼鏡を用いずに見ることができる。
【００３７】
[システムの処理の説明]
図６は、図５のシステムの処理を説明するフローチャートである。
【００３８】
図６のステップＳ１１において、視点合成装置１０２は、Ｎ視点の２Ｄ画像１１とＮ視点の奥行き画像１２を用いて、（Ｍ−Ｎ）視点の視点合成を行い、（Ｍ−Ｎ）視点の視点合成画像を生成する。そして、視点合成装置１０２は、その（Ｍ−Ｎ）視点の視点合成画像を残差情報取得装置１０３に供給する。
【００３９】
ステップＳ１２において、残差情報取得装置１０３は、視点合成装置１０２から供給される（Ｍ−Ｎ）視点の視点合成画像と、視点合成位置の（Ｍ−Ｎ）視点の２Ｄ画像１０１の残差情報を計算する。残差情報取得部１０３は、その残差情報を多視点映像符号化装置１０４に供給する。
【００４０】
ステップＳ１３において、多視点映像符号化装置１０４は、Ｎ視点の２Ｄ画像１１およびＮ視点の奥行き画像１２、並びに残差情報取得装置１０３から供給される残差情報を、AVC方式やMVC方式で符号化する。そして、多視点映像符号化装置１０４は、その結果得られる符号化ストリームを多視点映像復号装置１０５に供給する。
【００４１】
ステップＳ１４において、多視点映像復号装置１０５は、多視点映像符号化装置１０４から供給される符号化されたＮ視点の２Ｄ画像１１およびＮ視点の奥行き画像１２、並びに残差情報である符号化ストリームを、AVC方式やMVC方式に対応する方式で復号する。そして、多視点映像復号装置１０５は、その結果得られるＮ視点の２Ｄ画像１１、Ｎ視点の奥行き画像１２、および残差情報を視点合成装置１５に供給し、残差情報を残差情報補償装置１０６に供給する。
【００４２】
ステップＳ１５において、視点合成装置１５は、多視点映像復号装置１０５から供給されるＮ視点の２Ｄ画像１１とＮ視点の奥行き画像を用いて、（Ｍ−Ｎ）視点の視点合成を行い、（Ｍ−Ｎ）視点の視点合成画像を生成する。そして、視点合成装置１０２は、その（Ｍ−Ｎ）視点の視点合成画像とＮ視点の２Ｄ画像１１を残差情報取得装置１０３に供給する。
【００４３】
ステップＳ１６において、残差情報補償装置１０６は、視点合成装置１５により生成された（Ｍ−Ｎ）視点の視点合成画像へ、多視点映像復号装置１０５から供給される残差情報を足しこみ、（Ｍ−Ｎ）視点の視点合成画像の欠落情報を補償する。
【００４４】
ステップＳ１６において、残差情報補償装置１０６は、補償後の（Ｍ−Ｎ）視点の視点合成画像と、視点合成装置１０５から供給されるＮ視点の２Ｄ画像１１を、Ｍ視点の再構成２Ｄ画像１０７として出力する。そして、処理は終了する。
【００４５】
なお、上述した説明では、Ｎ視点の２Ｄ画像１１、Ｎ視点の奥行き画像１２、および残差情報が全て符号化されたが、Ｎ視点の２Ｄ画像１１以外は符号化されなくてもよい。
【００４６】
また、多視点映像符号化装置１０４は、Ｎ視点の２Ｄ画像１１、Ｎ視点の奥行き画像１２、および残差情報とともに、各視点合成画像に対する残差情報が存在するか否かを示す残差存在情報も含めて、多視点映像復号装置１０５に伝送するようにしてもよい。
【００４７】
さらに、Ｎ視点の２Ｄ画像１１およびＮ視点の奥行き画像１２とともに多視点映像復号装置１０５に伝送される残差情報は、Ｎ視点の２Ｄ画像１１の視点より外側の視点合成位置の視点合成画像（図３の例では、左側の視点の入力画像１より左側の２視点の視点合成画像２と、右側の視点の入力画像１より右側の２視点の視点合成画像２）に対する残差情報のみであってもよい。同様に、伝送される残差情報は、Ｎ視点の２Ｄ画像１１の視点より内側の視点合成位置の視点合成画像（図３の例では、２視点の入力画像１の各視点の間の２視点の視点合成画像２）に対する残差情報のみであってもよい。
【００４８】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００４９】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００５０】
１５  視点合成装置，  １０４  多視点映像符号化装置，  １０５  多視点映像復号装置，  １０６  残差情報補償装置
【図１】
2011244025.tif 000003
【図２】
2011244025.tif 000004
【図３】
2011244025.tif 000005
【図４】
2011244025.tif 000006
【図５】
2011244025.tif 000007
【図６】
2011244025.tif 000008