(57)【要約】【課題】周辺視点の画像の画質を保ちつつ、高効率な符号化を行うことができるようにする。【解決手段】オクルージョン領域符号化部は、基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の周辺視点の予測画像と周辺視点の画像の差分を第１の符号化方式で符号化する。オクルージョン領域符号化部は、周辺視点の画像のオクルージョン領域を、第１の符号化方式とは異なる第２の符号化方式で符号化する。本開示は、例えば、符号化装置等に適用することができる。【選択図】図３
2015019326.tif 000002
【特許請求の範囲】
【請求項１】
基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を、前記第１の符号化方式で符号化する非オクルージョン領域符号化部と、
前記周辺視点の画像のオクルージョン領域を、第１の符号化方式とは異なる第２の符号化方式で符号化するオクルージョン領域符号化部と
を備える符号化装置。
【請求項２】
前記第１の符号化方式は、前記第２の符号化方式に比べて高品質の符号化方式である
請求項１に記載の符号化装置。
【請求項３】
前記第１の符号化方式は、可逆符号化であり、前記第２の符号化方式は、非可逆符号化である
請求項２に記載の符号化装置。
【請求項４】
前記第１の符号化方式は、第１の品質の非可逆符号化であり、前記第２の符号化方式は、第１の品質より低い第２の品質の非可逆符号化である
請求項２に記載の符号化装置。
【請求項５】
前記非オクルージョン領域符号化部は、前記差分のうちの閾値より小さい差分を前記第１の符号化方式で符号化し、
前記オクルージョン領域符号化部は、前記オクルージョン領域と前記差分のうちの前記閾値以上である差分を前記第２の符号化方式で符号化する
請求項１に記載の符号化装置。
【請求項６】
前記基準視点の画像を符号化する基準画像符号化部と、
前記基準視点の画像と前記周辺視点の画像を用いて生成される被写体の奥行き方向の位置を表すデプスマップを符号化するデプスマップ符号化部と
をさらに備える
請求項１に記載の符号化装置。
【請求項７】
前記第１の符号化方式と前記第２の符号化方式は、前記周辺視点の画像の用途に応じて設定される
請求項１に記載の符号化装置。
【請求項８】
前記第１の符号化方式と前記第２の符号化方式を表す情報を伝送する伝送部
をさらに備える
請求項１に記載の符号化装置。
【請求項９】
符号化装置が、
基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を、前記第１の符号化方式で符号化する非オクルージョン領域符号化ステップと
前記周辺視点の画像のオクルージョン領域を、第１の符号化方式とは異なる第２の符号化方式で符号化するオクルージョン領域符号化ステップと
を含む符号化方法。
【請求項１０】
基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を第１の符号化方式で符号化した符号化データを、前記第１の符号化方式に対応する第１の復号方式で復号する非オクルージョン領域復号部と、
前記周辺視点の画像のオクルージョン領域を第１の符号化方式とは異なる第２の符号化方式で符号化した符号化データを、前記第２の符号化方式に対応する第２の復号方式で復号するオクルージョン領域復号部と
を備える復号装置。
【請求項１１】
前記第１の復号方式は、前記第２の復号方式に比べて高品質の復号方式である
請求項１０に記載の復号装置。
【請求項１２】
前記第１の復号方式は、可逆復号であり、前記第２の復号方式は、非可逆復号である
請求項１１に記載の復号装置。
【請求項１３】
前記第１の復号方式は、第１の品質の非可逆復号であり、前記第２の復号方式は、第１の品質より低い第２の品質の非可逆復号である
請求項１１に記載の復号装置。
【請求項１４】
前記非オクルージョン領域復号部は、前記差分のうちの閾値より小さい差分を前記第１の符号化方式で符号化した符号化データを前記第１の復号方式で復号し、
前記オクルージョン領域復号部は、前記オクルージョン領域と前記差分のうちの前記閾値以上である差分を前記第２の符号化方式で符号化した符号化データを前記第２の復号方式で復号する
請求項１０に記載の復号装置。
【請求項１５】
前記基準視点の画像の符号化データを復号する基準画像復号部と、
前記基準視点の画像と前記周辺視点の画像を用いて生成される被写体の奥行き方向の位置を表すデプスマップの符号化データを復号するデプスマップ復号部と
をさらに備える
請求項１０に記載の復号装置。
【請求項１６】
前記第１の符号化方式と前記第２の符号化方式は、前記周辺視点の画像の用途に応じて設定される
請求項１０に記載の復号装置。
【請求項１７】
前記第１の符号化方式と前記第２の符号化方式を表す情報を受け取る受け取り部
をさらに備え、
前記非オクルージョン領域復号部は、前記受け取り部により受け取られた情報が表す前記第１の符号化方式に対応する第１の復号方式で復号を行い、
前記オクルージョン領域復号部は、前記受け取り部により受け取られた情報が表す前記第２の符号化方式に対応する第２の復号方式で復号を行う
請求項１０に記載の復号装置。
【請求項１８】
復号装置が、
基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を第１の符号化方式で符号化した符号化データを、前記第１の符号化方式に対応する第１の復号方式で復号する非オクルージョン領域復号ステップと、
前記周辺視点の画像のオクルージョン領域を第１の符号化方式とは異なる第２の符号化方式で符号化した符号化データを、前記第２の符号化方式に対応する第２の復号方式で復号するオクルージョン領域復号ステップと
復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、符号化装置および符号化方法、並びに、復号装置および復号方法に関し、特に、周辺視点の画像の画質を保ちつつ、高効率な符号化を行うことができるようにした符号化装置および符号化方法、並びに、復号装置および復号方法に関する。
【背景技術】
【０００２】
複数の視点の画像である多視点画像の符号化方式としては、例えば、視点間にもフレーム間と同様に動き補償予測を適用して符号化するMVC(Multiview Video Coding)方式がある（例えば、非特許文献１参照）。また、必要な視点より少ない視点の多視点画像から生成される被写体の奥行き方向の位置を表すデプスマップを多視点画像とともに符号化し、復号時にデプスマップと多視点画像を用いて必要な視点の画像を生成する3DV/FTV(3D video/Free-viewpoint Television）方式もある。
【０００３】
MVC方式では、ブロックマッチングにより時間方向の動き補償と空間方向の視差補償が行われる。3DV/FTV方式では、多視点画像とデプスマップの符号化方式を総称してMVD(Multi View Depth）方式と呼び、MVD方式には従来のAVC（Advanced Video Coding）方式、MVC方式などが使用される。
【０００４】
また、各視点の画像やデプスマップは、オクルージョン領域（詳細は後述する）を除いて、１つの基準となる視点である基準視点の画像やデプスマップからの射影により生成することができる。従って、多視点画像の符号化方式として、基準視点の画像およびデプスマップ、並びに、基準視点以外の視点である周辺視点のオクルージョン領域の画像およびデプスマップを符号化することにより効率的な符号化を実現するLDV（Layered Depth Video）方式もある。
【０００５】
なお、オクルージョン領域とは、周辺視点の画像には存在するが、基準視点の画像には存在しない被写体の領域である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】”H.264-Advanced video coding for generic audiovisual services”,ITU-T,2009.3
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した多視点画像の符号化方式は、いずれも、高効率な符号化を目的としているため、非可逆符号化である。そのため、画質を保つことができない。
【０００８】
本開示は、このような状況に鑑みてなされたものであり、周辺視点の画像の画質を保ちつつ、高効率な符号化を行うことができるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の第１の側面の符号化装置は、基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を、前記第１の符号化方式で符号化する非オクルージョン領域符号化部と、前記周辺視点の画像のオクルージョン領域を、第１の符号化方式とは異なる第２の符号化方式で符号化するオクルージョン領域符号化部とを備える符号化装置である。
【００１０】
本開示の第１の側面の符号化方法は、本開示の第１の側面の符号化装置に対応する。
【００１１】
本開示の第１の側面においては、基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分が、前記第１の符号化方式で符号化され、前記周辺視点の画像のオクルージョン領域が、第１の符号化方式とは異なる第２の符号化方式で符号化される。
【００１２】
本開示の第２の側面の復号装置は、基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を第１の符号化方式で符号化した符号化データを、前記第１の符号化方式に対応する第１の復号方式で復号する非オクルージョン領域復号部と、前記周辺視点の画像のオクルージョン領域を第１の符号化方式とは異なる第２の符号化方式で符号化した符号化データを、前記第２の符号化方式に対応する第２の復号方式で復号するオクルージョン領域復号部とを備える復号装置である。
【００１３】
本開示の第２の側面の復号方法は、本開示の第２の側面の復号装置に対応する。
【００１４】
本開示の第２の側面においては、基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を第１の符号化方式で符号化した符号化データが、前記第１の符号化方式に対応する第１の復号方式で復号され、前記周辺視点の画像のオクルージョン領域を第１の符号化方式とは異なる第２の符号化方式で符号化した符号化データが、前記第２の符号化方式に対応する第２の復号方式で復号される。
【００１５】
なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。
【００１６】
また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１７】
本開示の第１の側面によれば、周辺視点の画像の画質を保ちつつ、高効率な符号化を行うことができる。
【００１８】
また、本開示の第２の側面によれば、周辺視点の画像の画質を保ちつつ、高効率な符号化を行った符号化データを復号することができる。
【図面の簡単な説明】
【００１９】
【図１】本開示を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１の画像処理システムの処理の流れを説明する図である。
【図３】図１の符号化装置の構成例を示すブロック図である。
【図４】予測画像の生成を説明する図である。
【図５】図３の符号化装置の符号化処理を説明するフローチャートである。
【図６】図１の復号装置の構成例を示すブロック図である。
【図７】図６の復号装置の復号処理を説明するフローチャートである。
【図８】本開示を適用した画像処理システムの第２実施の形態における符号化装置の構成例を示す図である。
【図９】非オクルージョン領域の差分の分離を説明する図である。
【図１０】図８の符号化装置の符号化処理を説明するフローチャートである。
【図１１】本開示を適用した画像処理システムの第２実施の形態における復号装置の構成例を示すブロック図である。
【図１２】図１１の復号装置の復号処理を説明するフローチャートである。
【図１３】用途と符号化方式の関係の第１の例を示す図である。
【図１４】用途と符号化方式の関係の第２の例を示す図である。
【図１５】コンピュータのハードウエアの構成例を示すブロック図である。
【図１６】視差と奥行きについて説明する図である。
【発明を実施するための形態】
【００２０】
＜第１実施の形態＞
（画像処理システムの第１実施の形態の構成例）
図１は、本開示を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。
【００２１】
図１の画像処理システム１０は、Ｎ個（Ｎは２以上の整数）のカメラ１１−１乃至１１−Ｎ、生成装置１２、符号化装置１３、および復号装置１４により構成される。画像処理システム１０は、撮像されたＮ視点の画像と基準視点のデプスマップを符号化し、復号する。
【００２２】
具体的には、画像処理システム１０のカメラ１１−１乃至１１−Ｎは、それぞれ、互いに異なるＮ視点で被写体を撮像する。カメラ１１−１乃至１１−Ｎにより撮像されたＮ視点の画像は、生成装置１２に供給される。以下では、カメラ１１−１乃至１１−Ｎを特に区別する必要がない場合、それらをまとめてカメラ１１という。
【００２３】
生成装置１２は、カメラ１１−１乃至１１−Ｎから供給されるＮ視点の画像から、ステレオマッチングなどにより、基準視点のデプスマップを生成する。生成装置１２は、Ｎ視点の画像のうちの基準視点の画像、残りの周辺視点の画像、およびデプスマップを符号化装置１３に供給する。
【００２４】
符号化装置１３は、生成装置１２から供給される基準視点の画像の各画素をデプスマップに基づいて移動させることにより、周辺視点の予測画像を生成する。このようにして生成された周辺視点の予測画像のオクルージョン領域には画素値は存在しない。
【００２５】
符号化装置１３は、非オクルージョン領域について、周辺視点の予測画像と、生成装置１２から供給される周辺視点の画像の差分を求める。符号化装置１３は、その差分に対して、非可逆符号化より高品質なエントロピー符号化などの可逆符号化（Lossless符号化）を行い、符号化データを生成する。一方、符号化装置１３は、オクルージョン領域について、生成装置１２から供給される周辺視点の画像を非可逆符号化して符号化データを生成する。
【００２６】
また、符号化装置１３は、基準視点の画像とデプスマップを可逆符号化して符号化データを生成する。符号化装置１３は、オクルージョン領域の周辺視点の画像、非オクルージョン領域の差分、基準視点の画像、およびデプスマップの符号化データを多重化して符号化ストリームを生成する。符号化装置１３は、符号化ストリームを復号装置１４に伝送する。
【００２７】
復号装置１４は、符号化装置１３から伝送されてくる符号化ストリームを、オクルージョン領域の周辺視点の画像、非オクルージョン領域の差分、基準視点の画像、およびデプスマップの符号化データに分離する。
【００２８】
復号装置１４は、オクルージョン領域の周辺視点の画像、非オクルージョン領域の差分、基準視点の画像、およびデプスマップの符号化データを、符号化装置１３の符号化方式に対応する復号方式で復号する。
【００２９】
具体的には、復号装置１４は、非オクルージョン領域の差分、基準視点の画像、およびデプスマップの符号化データに対して非可逆復号より高品質な可逆復号を行い、オクルージョン領域の周辺視点の画像の符号化データに対して非可逆復号を行う。復号装置１４は、復号の結果得られるオクルージョン領域の周辺視点の画像と非オクルージョン領域の差分を合成し、残差画像を生成する。
【００３０】
復号装置１４は、符号化装置１３と同様に、復号の結果得られる基準視点の画像の各画素をデプスマップに基づいて移動させることにより、周辺視点の予測画像を生成する。そして、復号装置１４は、周辺視点の予測画像と残差画像を加算することにより、周辺視点の画像を生成する。このとき、オクルージョン領域については、周辺視点の予測画像の画素値が存在しないため、残差画像の画素値がそのまま周辺視点の画像の画素値となる。復号装置１４は、周辺視点の画像、並びに、復号の結果得られる基準視点の画像およびデプスマップを出力する。
【００３１】
以上のように、画像処理システム１０では、非オクルージョン領域の差分が可逆符号化されるので、非可逆符号化される場合に比べて、復号の結果得られる非オクルージョン領域の差分の画質は向上する。従って、その差分を用いて生成される非オクルージョン領域の周辺視点の画像の画質も向上する。
【００３２】
（画像処理システムの処理の流れの説明）
図２は、図１の画像処理システム１０の処理の流れを説明する図である。
【００３３】
図２に示すように、画像処理システム１０では、基準視点の画像３１は、符号化装置１３により可逆符号化され、復号装置１４により可逆復号され、復元される。同様に、生成装置１２により生成された基準視点のデプスマップ３２は、符号化装置１３により可逆符号化され、復号装置１４により可逆復号され、復元される。
【００３４】
一方、周辺視点の画像３３の非オクルージョン領域については、画像３３と、デプスマップ３２に基づいて画像３１を移動させることにより生成される予測画像との差分３４が符号化装置１３により可逆符号化され、復号装置１４により可逆復号される。
【００３５】
また、周辺視点の画像３３のオクルージョン領域については、画像３３がそのまま画像３５として符号化装置１３により非可逆符号化され、復号装置１４により非可逆復号され、復元される。
【００３６】
そして、復号装置１４により、差分３４と画像３５が合成され、残差画像３６が生成される。残差画像３６は、復号装置１４により、デプスマップ３２に基づいて画像３１の各画素を移動させることにより生成される予測画像と加算される。これにより、画像３３が復元される。
【００３７】
（符号化装置の構成例）
図３は、図１の符号化装置１３の構成例を示すブロック図である。
【００３８】
図３の符号化装置１３は、デプスマップ取得部５１、デプスマップ符号化部５２、基準画像取得部５３、基準画像符号化部５４、周辺画像取得部５５、残差画像生成部５６、および分離部５７を備える。また、符号化装置１３は、オクルージョン領域符号化部５８、非オクルージョン領域符号化部５９、および多重化部６０を備える。
【００３９】
符号化装置１３のデプスマップ取得部５１は、生成装置１２から供給されるデプスマップを取得し、デプスマップ符号化部５２と残差画像生成部５６に供給する。デプスマップ符号化部５２は、デプスマップ取得部５１から供給されるデプスマップを可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
【００４０】
基準画像取得部５３は、生成装置１２から供給される基準視点の画像を取得し、基準画像符号化部５４と残差画像生成部５６に供給する。基準画像符号化部５４は、基準画像取得部５３から供給される基準視点の画像を可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
【００４１】
周辺画像取得部５５は、生成装置１２から供給される周辺視点の画像を取得し、残差画像生成部５６に供給する。
【００４２】
残差画像生成部５６は、基準画像取得部５３から供給される基準視点の画像の各画素を、デプスマップ取得部５１から供給されるデプスマップに基づいて移動させることにより、周辺視点の予測画像を生成する。
【００４３】
残差画像生成部５６は、周辺視点の画像の非オクルージョン領域について、周辺画像取得部５５から供給される周辺視点の画像と周辺視点の予測画像の差分を生成し、分離部５７に供給する。また、残差画像生成部５６は、オクルージョン領域の周辺視点の画像をそのまま分離部５７に供給する。
【００４４】
分離部５７は、残差画像生成部５６から供給されるオクルージョン領域の周辺視点の画像をオクルージョン領域符号化部５８に供給する。また、分離部５７は、残差画像生成部５６から供給される非オクルージョン領域の差分を非オクルージョン領域符号化部５９に供給する。
【００４５】
オクルージョン領域符号化部５８は、分離部５７から供給されるオクルージョン領域の周辺視点の画像を非可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
【００４６】
非オクルージョン領域符号化部５９は、分離部５７から供給される非オクルージョン領域の差分を可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
【００４７】
多重化部６０は、デプスマップ、基準視点の画像、オクルージョン領域の周辺視点の画像、および非オクルージョン領域の差分の符号化データを多重化して符号化ストリームを生成する。多重化部６０は、伝送部として機能し、符号化ストリームを復号装置１４に伝送する。
【００４８】
（予測画像の生成の説明）
図４は、残差画像生成部５６による予測画像の生成を説明する図である。
【００４９】
図４において、図２と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
【００５０】
基準視点のデプスマップ３２の値は、基準視点の画像３１と周辺視点の画像３３の視差量に対応する値である。位置(x,y)の水平方向の視差量Δx(x,y)と垂直方向の視差量Δy(x,y)は、それぞれ、デプスマップ３２の位置(x,y)の値d(x,y)に基づいて、以下の式（１）で表される。
【００５１】
【数１】
2015019326.tif 000003
【００５２】
なお、式（１）において、C1,C2は、カメラ１１のアライメント（基線長、方向など）とデプスマップの値の定義により求まる、デプスマップの値を視差量に変換するための係数である。
【００５３】
周辺視点の画像３３の位置(x,y)の画素が非オクルージョン領域の画素である場合、その画素に対応する基準視点の画像３１の画素の位置は、視差量Δx,Δyを用いて位置(x+Δx(x,y),y+Δy(x,y))と表すことができる。従って、基準視点の画像３１の位置(x+Δx,y+Δy(x,y))の画素が移動され、周辺視点の予測画像の位置(x,y)の画素とされる。
【００５４】
このようにして生成された周辺視点の予測画像の位置(x,y)の画素の画素値である画像３１の位置(x+Δx(x,y),y+Δy(x,y))の画素の画素値a(x+Δx(x,y),y+Δy(x,y))と、画像３３の位置(x,y)の画素の画素値b(x,y)との差分r（x,y）は、以下の式（２）により表される。
【００５５】
【数２】
2015019326.tif 000004
【００５６】
非オクルージョン領域については、この差分r（x,y）が可逆符号化される。
【００５７】
これに対して、周辺視点の画像３３の位置(x,y)の画素がオクルージョン領域の画素である場合、その画素に対応する基準視点の画像３１の画素は存在しない。従って、周辺視点の予測画像のオクルージョン領域の画素値は生成されない。よって、基準視点の画像３３の位置(x,y)の画素が非可逆符号化される。
【００５８】
（符号化装置の処理の説明）
図５は、図３の符号化装置１３の符号化処理を説明するフローチャートである。この符号化処理は、図１の生成装置１２から基準視点の画像、デプスマップ、および周辺視点の画像が供給されたとき、開始される。
【００５９】
図５のステップＳ１１において、符号化装置１３の基準画像取得部５３は、生成装置１２から供給される基準視点の画像を取得し、基準画像符号化部５４と残差画像生成部５６に供給する。また、デプスマップ取得部５１は、生成装置１２から供給されるデプスマップを取得し、デプスマップ符号化部５２と残差画像生成部５６に供給する。さらに、周辺画像取得部５５は、生成装置１２から供給される周辺視点の画像を取得し、残差画像生成部５６に供給する。
【００６０】
ステップＳ１２において、残差画像生成部５６は、基準画像取得部５３から供給される基準視点の画像の各画素を、デプスマップ取得部５１から供給されるデプスマップに基づいて移動させることにより、周辺視点の予測画像を生成する。
【００６１】
ステップＳ１３において、残差画像生成部５６は、非オクルージョン領域について、周辺画像取得部５５から供給される周辺視点の画像と周辺視点の予測画像の差分を生成し、分離部５７に供給する。分離部５７は、残差画像生成部５６から供給される非オクルージョン領域の差分を非オクルージョン領域符号化部５９に供給する。
【００６２】
ステップＳ１４において、残差画像生成部５６は、オクルージョン領域の周辺視点の画像をそのまま分離部５７を介してオクルージョン領域符号化部５８に出力する。
【００６３】
ステップＳ１５において、オクルージョン領域符号化部５８は、分離部５７から供給されるオクルージョン領域の周辺視点の画像を非可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
【００６４】
ステップＳ１６において、非オクルージョン領域符号化部５９は、分離部５７から供給される非オクルージョン領域の差分を可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
【００６５】
ステップＳ１７において、デプスマップ符号化部５２は、デプスマップ取得部５１から供給されるデプスマップを可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
【００６６】
ステップＳ１８において、基準画像符号化部５４は、基準画像取得部５３から供給される基準視点の画像を可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
【００６７】
ステップＳ１９において、多重化部６０は、デプスマップ、基準視点の画像、オクルージョン領域の周辺視点の画像、および非オクルージョン領域の差分の符号化データを多重化して符号化ストリームを生成する。多重化部６０は、符号化ストリームを復号装置１４に伝送し、処理を終了する。
【００６８】
（復号装置の構成例）
図６は、図１の復号装置１４の構成例を示すブロック図である。
【００６９】
図６の復号装置１４は、取得部１０１、分離部１０２、デプスマップ復号部１０３、基準画像復号部１０４、オクルージョン領域復号部１０５、および、非オクルージョン領域復号部１０６を備える。また、復号装置１４は、残差画像生成部１０７と復号画像生成部１０８を備える。
【００７０】
復号装置１４の取得部１０１は、受け取り部として機能し、符号化装置１３から伝送されてくる符号化ストリームを取得し、分離部１０２に供給する。
【００７１】
分離部１０２は、取得部１０１から供給される符号化ストリームを、オクルージョン領域の周辺視点の画像、非オクルージョン領域の差分、基準視点の画像、およびデプスマップの符号化データに分離する。分離部１０２は、デプスマップの符号化データをデプスマップ復号部１０３に供給し、基準視点の画像の符号化データを基準画像復号部１０４に供給する。
【００７２】
また、分離部１０２は、オクルージョン領域の周辺視点の画像の符号化データをオクルージョン領域復号部１０５に供給する。分離部１０２は、非オクルージョン領域の差分の符号化データを非オクルージョン領域復号部１０６に供給する。
【００７３】
デプスマップ復号部１０３は、分離部１０２から供給されるデプスマップの符号化データを可逆復号する。デプスマップ復号部１０３は、可逆復号の結果得られるデプスマップを復号画像生成部１０８に供給する。
【００７４】
基準画像復号部１０４は、分離部１０２から供給される基準視点の画像の符号化データを可逆復号する。基準画像復号部１０４は、可逆復号の結果得られる基準視点の画像を復号画像生成部１０８に供給する。
【００７５】
オクルージョン領域復号部１０５は、分離部１０２から供給されるオクルージョン領域の周辺視点の画像の符号化データを非可逆復号する。オクルージョン領域復号部１０５は、非可逆復号の結果得られるオクルージョン領域の周辺視点の画像を残差画像生成部１０７に供給する。
【００７６】
非オクルージョン領域復号部１０６は、分離部１０２から供給される非オクルージョン領域の差分の符号化データに対して、非可逆復号に比べて高品質な可逆復号を行う。非オクルージョン領域復号部１０６は、可逆復号の結果得られる非オクルージョン領域の差分を残差画像生成部１０７に供給する。
【００７７】
残差画像生成部１０７は、オクルージョン領域復号部１０５から供給されるオクルージョン領域の周辺視点の画像と、非オクルージョン領域復号部１０６から供給される非オクルージョン領域の差分とを合成し、残差画像を生成する。残差画像生成部１０７は、残差画像を復号画像生成部１０８に供給する。
【００７８】
復号画像生成部１０８は、デプスマップ復号部１０３から供給されるデプスマップを出力する。復号画像生成部１０８は、基準画像復号部１０４から供給される基準視点の画像を出力する。復号画像生成部１０８は、図３の残差画像生成部５６と同様に、基準視点の画像の各画素をデプスマップに基づいて移動することにより、予測画像を生成する。復号画像生成部１０８は、予測画像と残差画像を加算し、周辺視点の画像を生成する。復号画像生成部１０８は、周辺視点の画像を出力する。
【００７９】
（復号装置の処理の説明）
図７は、図６の復号装置１４の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置１３から符号化ストリームが伝送されてきたとき、開始される。
【００８０】
図７のステップＳ３１において、復号装置１４の取得部１０１は、符号化装置１３から伝送されてくる符号化ストリームを取得し、分離部１０２に供給する。
【００８１】
ステップＳ３２において、分離部１０２は、取得部１０１から供給される符号化ストリームを、オクルージョン領域の周辺視点の画像、非オクルージョン領域の差分、基準視点の画像、およびデプスマップの符号化データに分離する。
【００８２】
分離部１０２は、デプスマップの符号化データをデプスマップ復号部１０３に供給し、基準視点の画像の符号化データを基準画像復号部１０４に供給する。また、分離部１０２は、オクルージョン領域の周辺視点の画像の符号化データをオクルージョン領域復号部１０５に供給する。さらに、分離部１０２は、非オクルージョン領域の差分の符号化データを非オクルージョン領域復号部１０６に供給する。
【００８３】
ステップＳ３３において、オクルージョン領域復号部１０５は、分離部１０２から供給されるオクルージョン領域の周辺視点の画像の符号化データを非可逆復号する。オクルージョン領域復号部１０５は、非可逆復号の結果得られるオクルージョン領域の周辺視点の画像を残差画像生成部１０７に供給する。
【００８４】
ステップＳ３４において、非オクルージョン領域復号部１０６は、分離部１０２から供給される非オクルージョン領域の差分の符号化データを可逆復号する。非オクルージョン領域復号部１０６は、可逆復号の結果得られる非オクルージョン領域の差分を残差画像生成部１０７に供給する。
【００８５】
ステップＳ３５において、残差画像生成部１０７は、オクルージョン領域復号部１０５から供給されるオクルージョン領域の周辺視点の画像と、非オクルージョン領域復号部から供給される非オクルージョン領域の差分とを合成し、残差画像を生成する。残差画像生成部１０７は、残差画像を復号画像生成部１０８に供給する。
【００８６】
ステップＳ３６において、デプスマップ復号部１０３は、分離部１０２から供給されるデプスマップの符号化データを可逆復号する。デプスマップ復号部１０３は、可逆復号の結果得られるデプスマップを復号画像生成部１０８に供給する。
【００８７】
ステップＳ３７において、基準画像復号部１０４は、分離部１０２から供給される基準視点の画像の符号化データを可逆復号する。基準画像復号部１０４は、可逆復号の結果得られる基準視点の画像を復号画像生成部１０８に供給する。
【００８８】
ステップＳ３８において、復号画像生成部１０８は、図３の残差画像生成部５６と同様に、基準視点の画像の各画素をデプスマップに基づいて移動することにより、予測画像を生成する。ステップＳ３９において、復号画像生成部１０８は、予測画像と残差画像を加算し、周辺視点の画像を生成する。
【００８９】
ステップＳ４０において、復号画像生成部１０８は、デプスマップ、基準視点の画像、および周辺視点の画像を出力する。そして、処理は終了する。
【００９０】
以上のように、画像処理システム１０では、符号化装置１３が、周辺視点の画像の非オクルージョン領域の差分を可逆符号化し、オクルージョン領域を非可逆符号化する。従って、周辺視点の画像の画質を保ちつつ、高効率な符号化を行うことができる。
【００９１】
また、復号装置１４は、周辺視点の画像の非オクルージョン領域の差分を可逆復号し、オクルージョン領域を非可逆復号する。従って、符号化装置１３により周辺視点の画像の画質を保ちつつ、高効率な符号化が行われた符号化ストリームを復号することができる。
【００９２】
＜第２実施の形態＞
（画像処理システムの第２実施の形態の構成例）
本開示を適用した画像処理システムの第２実施の形態の構成は、符号化装置１３と復号装置１４を除いて、図１の画像処理システム１０と同様である。従って、以下では、符号化装置１３と復号装置１４についてのみ説明する。
【００９３】
（符号化装置の構成例）
図８は、本開示を適用した画像処理システムの第２実施の形態における符号化装置の構成例を示す図である。
【００９４】
図８に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９５】
図８の符号化装置１２０の構成は、分離部５７、オクルージョン領域符号化部５８、非オクルージョン領域符号化部５９、多重化部６０の代わりに、分離部１２１、オクルージョン領域符号化部１２２、非オクルージョン領域符号化部１２３、多重化部１２４が設けられる点が図３の符号化装置１３の構成と異なる。符号化装置１２０は、非オクルージョン領域の差分のうちの比較的大きい差分を、オクルージョン領域とともに非可逆符号化する。
【００９６】
具体的には、符号化装置１２０の分離部１２１は、残差画像生成部５６から供給されるオクルージョン領域の周辺視点の画像をオクルージョン領域符号化部１２２に供給する。分離部１２１はまた、残差画像生成部５６から供給される非オクルージョン領域の差分のうちの閾値以上の差分を、大差分としてオクルージョン領域符号化部１２２に供給する。分離部１２１は、非オクルージョン領域の差分のうちの閾値より小さい差分を小差分として非オクルージョン領域符号化部１２３に供給する。
【００９７】
オクルージョン領域符号化部１２２は、分離部１２１から供給されるオクルージョン領域の周辺視点の画像と大差分を非可逆符号化する。オクルージョン領域符号化部１２２は、その結果得られるオクルージョン領域の周辺視点の画像と大差分の符号化データを多重化部１２４に供給する。
【００９８】
非オクルージョン領域符号化部１２３は、分離部１２１から供給される小差分を可逆符号化し、その結果得られる符号化データを多重化部１２４に供給する。
【００９９】
多重化部１２４は、非可逆符号化の結果得られるオクルージョン領域の周辺視点の画像、および大差分の符号化データ、並びに、可逆符号化の結果得られるデプスマップ、基準視点の画像、および小差分の符号化データを多重化する。多重化部１２４は、伝送部として機能し、多重化の結果得られる符号化ストリームを後述する復号装置１６０に伝送する。
【０１００】
（非オクルージョン領域の差分の分離の説明）
図９は、図８の分離部１２１による非オクルージョン領域の差分の分離を説明する図である。
【０１０１】
図９において、図４と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
【０１０２】
図９の例では、カメラ１１により撮像された画像中のノイズや生成装置１２によるデプスマップの生成エラーなどの原因により、基準視点のデプスマップ１４０の前景である人と背景との右側の境界領域１４０Ａが、背景の奥行き方向の位置を表さない値となっている。
【０１０３】
従って、デプスマップ１４０に基づいて図４で説明したように生成される周辺視点の予測画像は、境界領域１４０Ａにおいて周辺視点の画像３３と大きく異なる。その結果、非オクルージョン領域の差分１４１のうちの、境界領域１４０Ａに対応する領域１４２の差分が大きくなる。よって、この場合、例えば、差分１４１のうちの領域１４２の差分が大差分とされ、差分１４１のうちの領域１４２以外の領域の差分が小差分とされる。
【０１０４】
（符号化装置の処理の説明）
図１０は、図８の符号化装置１２０の符号化処理を説明するフローチャートである。この符号化処理は、生成装置１２から基準視点の画像、デプスマップ、および周辺視点の画像が供給されたとき、開始される。
【０１０５】
図１０のステップＳ５１乃至Ｓ５３の処理は、図５のステップＳ１１乃至Ｓ１３の処理と同様であるので、説明は省略する。
【０１０６】
ステップＳ５４において、符号化装置１２０の分離部１２１は、残差画像生成部５６から供給される非オクルージョン領域の差分のうちの閾値以上の差分を大差分として分離し、閾値より小さい差分を小差分として分離する。分離部１２１は、大差分をオクルージョン領域符号化部１２２に供給し、小差分を非オクルージョン領域符号化部１２３に供給する。
【０１０７】
ステップＳ５５において、オクルージョン領域符号化部１２２は、分離部１２１から供給されるオクルージョン領域の周辺視点の画像と大差分を非可逆符号化する。オクルージョン領域符号化部１２２は、その結果得られる符号化データを多重化部１２４に供給する。
【０１０８】
ステップＳ５６において、非オクルージョン領域符号化部１２３は、分離部１２１から供給される小差分を可逆符号化し、その結果得られる符号化データを多重化部１２４に供給する。
【０１０９】
ステップＳ５７およびＳ５８の処理は、図１０のステップＳ１７およびＳ１８の処理と同様であるので、説明は省略する。
【０１１０】
ステップＳ５９において、多重化部１２４は、非可逆符号化の結果得られるオクルージョン領域の周辺視点の画像および大差分の符号化データ、並びに、可逆符号化の結果得られるデプスマップ、基準視点の画像、および小差分の符号化データを多重化する。多重化部１２４は、多重化の結果得られる符号化ストリームを後述する復号装置１６０に伝送し、処理を終了する。
【０１１１】
（復号装置の構成例）
図１１は、本開示を適用した画像処理システムの第２実施の形態における復号装置の構成例を示すブロック図である。
【０１１２】
図１１に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１３】
図１１の復号装置１６０の構成は、分離部１０２、オクルージョン領域復号部１０５、非オクルージョン領域復号部１０６、残差画像合成部１０７の代わりに、分離部１６１、オクルージョン領域復号部１６２、非オクルージョン領域復号部１６３、残差画像合成部１６４が設けられる点が図６の復号装置１４の構成と異なる。
【０１１４】
復号装置１６０の分離部１６１は、取得部１０１から供給される符号化ストリームを、オクルージョン領域の周辺視点の画像と大差分、小差分、基準視点の画像、およびデプスマップの符号化データに分離する。分離部１６１は、デプスマップの符号化データをデプスマップ復号部１０３に供給し、基準視点の画像の符号化データを基準画像復号部１０４に供給する。
【０１１５】
また、分離部１６１は、オクルージョン領域の周辺視点の画像と大差分の符号化データをオクルージョン領域復号部１６２に供給する。分離部１６１は、小差分の符号化データを非オクルージョン領域復号部１６３に供給する。
【０１１６】
オクルージョン領域復号部１６２は、分離部１６１から供給されるオクルージョン領域の周辺視点の画像と大差分の符号化データを非可逆復号する。オクルージョン領域復号部１６２は、非可逆復号の結果得られるオクルージョン領域の周辺視点の画像と大差分を残差画像生成部１６４に供給する。
【０１１７】
非オクルージョン領域復号部１６３は、分離部１６１から供給される小差分の符号化データを可逆復号する。非オクルージョン領域復号部１６３は、可逆復号の結果得られる小差分を残差画像生成部１６４に供給する。
【０１１８】
残差画像生成部１６４は、オクルージョン領域復号部１６２から供給されるオクルージョン領域の周辺視点の画像および大差分、並びに、非オクルージョン領域復号部１６３から供給される小差分を合成し、残差画像を生成する。残差画像生成部１６４は、残差画像を復号画像生成部１０８に供給する。
【０１１９】
（復号装置の処理の説明）
図１２は、図１１の復号装置１６０の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置１２０から符号化ストリームが伝送されてきたとき、開始される。
【０１２０】
図１２のステップＳ７１において、復号装置１６０の取得部１０１は、符号化装置１２０から伝送されてくる符号化ストリームを取得し、分離部１６１に供給する。
【０１２１】
ステップＳ７２において、分離部１６１は、取得部１０１から供給される符号化ストリームを、オクルージョン領域の周辺視点の画像と大差分、小差分、基準視点の画像、およびデプスマップの符号化データに分離する。分離部１６１は、デプスマップの符号化データをデプスマップ復号部１０３に供給し、基準視点の画像の符号化データを基準画像復号部１０４に供給する。
【０１２２】
また、分離部１６１は、オクルージョン領域の周辺視点の画像と大差分の符号化データをオクルージョン領域復号部１６２に供給する。分離部１６１は、小差分の符号化データを非オクルージョン領域復号部１６３に供給する。
【０１２３】
ステップＳ７３において、オクルージョン領域復号部１６２は、分離部１６１から供給されるオクルージョン領域の周辺視点の画像と大差分の符号化データを非可逆復号する。オクルージョン領域復号部１６２は、非可逆復号の結果得られるオクルージョン領域の周辺視点の画像と大差分を残差画像生成部１６４に供給する。
【０１２４】
ステップＳ７４において、非オクルージョン領域復号部１６３は、分離部１６１から供給される小差分の符号化データを可逆復号する。非オクルージョン領域復号部１６３は、可逆復号の結果得られる小差分を残差画像生成部１６４に供給する。
【０１２５】
ステップＳ７５において、残差画像生成部１６４は、オクルージョン領域復号部１６２から供給されるオクルージョン領域の周辺視点の画像および大差分、並びに、非オクルージョン領域復号部１６３から供給される小差分を合成し、残差画像を生成する。残差画像生成部１６４は、残差画像を復号画像生成部１０８に供給する。
【０１２６】
ステップＳ７６乃至Ｓ８０の処理は、図７のステップＳ３６乃至Ｓ４０の処理と同様であるので、説明は省略する。
【０１２７】
以上のように、符号化装置１２０が、小差分を可逆符号化し、オクルージョン領域および大差分を非可逆符号化する。従って、周辺視点の画像の画質を保ちつつ、高効率な符号化を行うことができる。また、非オクルージョン領域の差分のうちの大差分が非可逆符号化されるので、符号化装置１３に比べて、より符号化効率が向上する。
【０１２８】
また、復号装置１６０は、小差分を可逆復号し、オクルージョン領域および大差分を非可逆復号する。従って、符号化装置１２０により周辺視点の画像の画質を保ちつつ、高効率の符号化が行われた符号化ストリームを復号することができる。
【０１２９】
＜符号化方式の例＞
（符号化方式の第１の例）
上述した説明では、オクルージョン領域が非可逆符号化され、非オクルージョン領域が可逆符号化されたが、符号化方式は、これに限定されない。
【０１３０】
図１３は、復号装置１４（１６０）から出力されるデプスマップおよびＮ視点の画像の用途と、オクルージョン領域および非オクルージョン領域の符号化方式との関係の第１の例を示す図である。
【０１３１】
図１３に示すように、用途が、Ｎ視点の画像を用いてカメラ１１の焦点距離を変更した画像を生成するリフォーカス処理である場合、Ｎ視点の画像として取得された光線空間（ライトフィールド）の全ての情報を用いて画像が再構成される。従って、オクルージョン領域と非オクルージョン領域の両方が重要である。
【０１３２】
よって、この場合、オクルージョン領域の符号化方式としては、Visually Lossless方式が用いられる。Visually Lossless方式とは、非可逆符号化方式であるが、画質の劣化が知覚できない程度である高品質な符号化方式である。また、非オクルージョン領域の符号化方式としてはLossless方式が用いられる。
【０１３３】
即ち、非オクルージョン領域については基準視点の画像を移動させることで同等の画像を生成することができるため、従来の符号化装置では、符号化効率を高めるために非オクルージョン領域の視点間の小さな差分は伝送されない。
【０１３４】
しかしながら、用途がリフォーカス処理である場合、非オクルージョン領域の視点間の差分は、各視点の質感や光沢などの特徴を表す情報であるため、重要である。従って、本開示では、非オクルージョン領域の視点間の差分がLossless方式で符号化される。その結果、視点間の微妙な見え方の違いが復号画像に劣化なく保持され、高精度にリフォーカス処理を行うことができる。
【０１３５】
また、用途が、デプスマップを用いて各視点の画像の画素値をサブピクセル単位で対応付けることにより行う超解像処理である場合、基準視点の画角で超解像画像が再構成される。従って、非オクルージョン領域は重要であるが、オクルージョン領域は不要である。
【０１３６】
従って、この場合、オクルージョン領域の符号化方式としてはLossy方式が用いられるか、または、オクルージョン領域は符号化されない（Discard）。Lossy方式とは、Visually Lossless方式に比べて低品質な非可逆符号化方式であり、画質の劣化が知覚できる程度である符号化方式である。Lossy方式としては、JPEG（Joint Photographic Experts Group）方式などがある。非オクルージョン領域の符号化方式としてはLossless方式が用いられる。
【０１３７】
用途が、Ｎ視点の画像から被写体の３Ｄモデリング画像を生成する３Ｄモデリング処理である場合、オクルージョン領域も含めた全領域から被写体の立体形状が認識される。従って、非オクルージョン領域とオクルージョン領域の両方が重要である。よって、この場合、オクルージョン領域および非オクルージョン領域の符号化方式としてVisually Lossless方式が用いられる。
【０１３８】
用途が、必要に応じて視点補間を行い、出力画像の視点を移動させる視点移動処理である場合、周辺視点の画像が必要である。従って、この場合、オクルージョン領域の符号化方式としてLossy方式が用いられ、非オクルージョン領域の符号化方式としてVisually Lossless方式が用いられる。
【０１３９】
用途が、デプスマップを用いてカメラ１１から被写体までの奥行き方向の距離を検出する測位処理である場合、デプスマップの精度が重要であり、各視点の画像は重要ではない。従って、この場合、オクルージョン領域と非オクルージョン領域の両方の符号化方式としてLossy方式が用いられる。
【０１４０】
（符号化方式の第２の例）
図１４は、復号装置１４（１６０）から出力されるデプスマップおよびＮ視点の画像の用途と、オクルージョン領域および非オクルージョン領域の符号化方式との関係の第２の例を示す図である。
【０１４１】
図１４に示すように、用途が、新たに開発されるアプリケーション向けの多目的用途である場合、用途を制限しないようにすることが必要である。従って、オクルージョン領域と非オクルージョン領域の両方の画質を劣化させないようにする必要がある。よって、この場合、オクルージョン領域と非オクルージョン領域の両方の符号化方式としてLossless方式が用いられる。
【０１４２】
また、用途が、本格的なリフォーカス処理またはボケ補正のための超解像処理である場合、再構成された画像の画質を向上させる必要がある。従って、リフォーカス処理およびボケ補正のための超解像度処理において重要な非オクルージョン領域とオクルージョン領域の両方の画質が比較的重要となる。よって、非オクルージョン領域の符号化方式としてLossless方式が用いられ、オクルージョン領域の符号化方式として高品質（High Quality）のVisually Losslessが用いられる。
【０１４３】
用途が視点移動処理である場合、視点移動時に周辺視点の画像が必要であるため、オクルージョン領域と非オクルージョン領域の両方が重要である。また、Ｎ視点の画像が静止画像である場合、動画像である場合に比べて周辺視点の画像のデータ量は少ない。よって、用途が視点移動処理であり、Ｎ視点の画像が静止画像である場合、非オクルージョン領域とオクルージョン領域の両方の符号化方式として高品質のVisually Losslessが用いられる。
【０１４４】
用途が簡易的なリフォーカス処理である場合、非オクルージョン領域とオクルージョン領域の両方が重要であり、最低限の画質とボケ味の質感を維持する必要がある。従って、非オクルージョン領域の符号化方式として高品質のVisually Losslessが用いられ、オクルージョン領域の符号化方式として高品質のLossy方式が用いられる。
【０１４５】
用途が、パンフォーカス画像を生成するための超解像度処理である場合、基準視点の画角で超解像画像が再構成されるため、オクルージョン領域は不要である。従って、非オクルージョン領域の符号化方式としては高品質のVisually Losslessが用いられるが、オクルージョン領域の符号化方式としては低品質（Low Quality）のLossy方式が用いられるか、または、オクルージョン領域が符号化されない（Discard）。
【０１４６】
用途が、３Ｄモデリング処理または被写体のジェスチャを認識するジェスチャ認識処理である場合、オクルージョン領域も含めた全領域から被写体の立体形状が認識される。従って、非オクルージョン領域だけでなくオクルージョン領域の画質も維持する必要がある。よって、非オクルージョン領域とオクルージョン領域の符号化方式としては高品質のLossy方式が用いられる。
【０１４７】
用途が視点移動処理である場合、上述したように、視点移動時に周辺視点の画像が必要であるため、オクルージョン領域と非オクルージョン領域の両方が重要である。一方、Ｎ視点の画像が動画像である場合、静止画像である場合に比べて周辺視点の画像のデータ量は多い。従って、用途が視点移動処理であり、Ｎ視点の画像が動画像である場合、非オクルージョン領域の符号化方式としては高品質のLossy方式が用いられ、オクルージョン領域の符号化方式としては低品質のLossy方式が用いられる。
【０１４８】
用途が測位処理である場合、デプスマップの精度が重要であり、各視点の画像は重要ではない。従って、この場合、オクルージョン領域と非オクルージョン領域の両方の符号化方式として低品質のLossy方式が用いられる。
【０１４９】
なお、オクルージョン領域と非オクルージョン領域の符号化方式は、ユーザが用途に応じて設定するようにしてもよいし、符号化装置１３（１２０）が用途を判断し、自動的に設定するようにしてもよい。
【０１５０】
また、オクルージョン領域と非オクルージョン領域の符号化方式を表すフラグ（情報）が、符号化装置１３（１２０）から復号装置１４（１６０）に伝送されるようにしてもよい。この場合、多重化部６０（１２４）により、フラグが、例えば、SPS（Sequence Parameter Set）やシステムレイヤ、ファイルフォーマットのヘッダなどに設定され、伝送される。そして、取得部１０１により、フラグが受け取られ、そのフラグが表す符号化方式に対応する復号方式でオクルージョン領域と非オクルージョン領域の差分の符号化データが復号される。  
【０１５１】
＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１５２】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１５３】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１５４】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１５５】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１５６】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１５７】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１５８】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１５９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６０】
＜本明細書におけるデプスマップの説明＞
図１６は、視差と奥行きについて説明する図である。
【０１６１】
図１６に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。
【０１６２】
2015019326.tif 000005
【０１６３】
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
【０１６４】
式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、上述したデプスマップは、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像に代えることができる。以下では、視差ｄを表す画像とデプスマップとを総称して、デプス画像とする。
【０１６５】
デプス画像は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
【０１６６】
視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【０１６７】
【数３】
2015019326.tif 000006
【０１６８】
なお、式（ｂ）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【０１６９】
また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【０１７０】
【数４】
2015019326.tif 000007
【０１７１】
式（ｃ）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【０１７２】
また、デプス画像のカラーフォーマットとしては、YUV420又はYUV400などを採用することができる。勿論、他のカラーフォーマットを採用するにようにしてもよい。
【０１７３】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１７４】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７５】
例えば、第１実施の形態において、残差画像生成部５６は、非オクルージョン領域の差分とオクルージョン領域の周辺視点の画像を合成して残差画像を生成するようにしてもよい。この場合、残差画像生成部５６は、非オクルージョン領域またはオクルージョン領域のマスクを生成する。そして、分離部５７は、そのマスクを用いて残差画像から非オクルージョン領域の差分とオクルージョン領域の周辺視点の画像を分離する。
【０１７６】
また、同様に、第２実施の形態においても、残差画像生成部５６は、非オクルージョン領域の差分とオクルージョン領域の周辺視点の画像を合成して残差画像を生成するようにしてもよい。この場合、残差画像生成部５６は、小差分の領域、または、大差分の領域とオクルージョン領域を合成した領域のマスクを生成する。そして、分離部１２１は、そのマスクを用いて残差画像から小差分と、大差分およびオクルージョン領域の周辺視点の画像とを分離する。
【０１７７】
さらに、第２実施の形態において、小差分と大差分の分離は、閾値判定によって行われるのではなく、所定の評価関数に基づいて行われるようにしてもよい。
【０１７８】
本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１７９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８０】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８１】
なお、本開示は、以下のような構成もとることができる。
【０１８２】
（１）
基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を、前記第１の符号化方式で符号化する非オクルージョン領域符号化部と、
前記周辺視点の画像のオクルージョン領域を、第１の符号化方式とは異なる第２の符号化方式で符号化するオクルージョン領域符号化部と
を備える符号化装置。
（２）
前記第１の符号化方式は、前記第２の符号化方式に比べて高品質の符号化方式である
前記（１）に記載の符号化装置。
（３）
前記第１の符号化方式は、可逆符号化であり、前記第２の符号化方式は、非可逆符号化である
前記（２）に記載の符号化装置。
（４）
前記第１の符号化方式は、第１の品質の非可逆符号化であり、前記第２の符号化方式は、第１の品質より低い第２の品質の非可逆符号化である
前記（２）に記載の符号化装置。
（５）
前記非オクルージョン領域符号化部は、前記差分のうちの閾値より小さい差分を前記第１の符号化方式で符号化し、
前記オクルージョン領域符号化部は、前記オクルージョン領域と前記差分のうちの前記閾値以上である差分を前記第２の符号化方式で符号化する
前記（１）乃至（４）のいずれかに記載の符号化装置。
（６）
前記基準視点の画像を符号化する基準画像符号化部と、
前記基準視点の画像と前記周辺視点の画像を用いて生成される被写体の奥行き方向の位置を表すデプスマップを符号化するデプスマップ符号化部と
をさらに備える
前記（１）乃至（５）のいずれかに記載の符号化装置。
（７）
前記第１の符号化方式と前記第２の符号化方式は、前記周辺視点の画像の用途に応じて設定される
前記（１）乃至（６）のいずれかに記載の符号化装置。
（８）
前記第１の符号化方式と前記第２の符号化方式を表す情報を伝送する伝送部
をさらに備える
前記（１）乃至（７）のいずれかに記載の符号化装置。
（９）
符号化装置が、
基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を、前記第１の符号化方式で符号化する非オクルージョン領域符号化ステップと
前記周辺視点の画像のオクルージョン領域を、第１の符号化方式とは異なる第２の符号化方式で符号化するオクルージョン領域符号化ステップと
を含む符号化方法。
（１０）
基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を第１の符号化方式で符号化した符号化データを、前記第１の符号化方式に対応する第１の復号方式で復号する非オクルージョン領域復号部と、
前記周辺視点の画像のオクルージョン領域を第１の符号化方式とは異なる第２の符号化方式で符号化した符号化データを、前記第２の符号化方式に対応する第２の復号方式で復号するオクルージョン領域復号部と
を備える復号装置。
（１１）
前記第１の復号方式は、前記第２の復号方式に比べて高品質の復号方式である
前記（１０）に記載の復号装置。
（１２）
前記第１の復号方式は、可逆復号であり、前記第２の復号方式は、非可逆復号である
前記（１１）に記載の復号装置。
（１３）
前記第１の復号方式は、第１の品質の非可逆復号であり、前記第２の復号方式は、第１の品質より低い第２の品質の非可逆復号である
前記（１１）に記載の復号装置。
（１４）
前記非オクルージョン領域復号部は、前記差分のうちの閾値より小さい差分を前記第１の符号化方式で符号化した符号化データを前記第１の復号方式で復号し、
前記オクルージョン領域復号部は、前記オクルージョン領域と前記差分のうちの前記閾値以上である差分を前記第２の符号化方式で符号化した符号化データを前記第２の復号方式で復号する
前記（１０）乃至（１３）のいずれかに記載の復号装置。
（１５）
前記基準視点の画像の符号化データを復号する基準画像復号部と、
前記基準視点の画像と前記周辺視点の画像を用いて生成される被写体の奥行き方向の位置を表すデプスマップの符号化データを復号するデプスマップ復号部と
をさらに備える
前記（１０）乃至（１４）のいずれかに記載の復号装置。
（１６）
前記第１の符号化方式と前記第２の符号化方式は、前記周辺視点の画像の用途に応じて設定される
前記（１０）乃至（１５）のいずれかに記載の復号装置。
（１７）
前記第１の符号化方式と前記第２の符号化方式を表す情報を受け取る受け取り部
をさらに備え、
前記非オクルージョン領域復号部は、前記受け取り部により受け取られた情報が表す前記第１の符号化方式に対応する第１の復号方式で復号を行い、
前記オクルージョン領域復号部は、前記受け取り部により受け取られた情報が表す前記第２の符号化方式に対応する第２の復号方式で復号を行う
前記（１０）乃至（１６）のいずれかに記載の復号装置。
（１８）
復号装置が、
基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を第１の符号化方式で符号化した符号化データを、前記第１の符号化方式に対応する第１の復号方式で復号する非オクルージョン領域復号ステップと、
前記周辺視点の画像のオクルージョン領域を第１の符号化方式とは異なる第２の符号化方式で符号化した符号化データを、前記第２の符号化方式に対応する第２の復号方式で復号するオクルージョン領域復号ステップと
復号方法。
【符号の説明】
【０１８３】
１３  符号化装置，  １４  復号装置，  ５２  デプスマップ符号化部，  ５４  基準画像符号化部，  ５８  オクルージョン領域符号化部，  ５９  非オクルージョン領域符号化部，  １０３  デプスマップ復号部，  １０４  基準画像復号部，  １０５  オクルージョン領域復号部，  １０６  非オクルージョン領域復号部，  １２０  符号化装置，  １２２  オクルージョン領域符号化部，  １２３  非オクルージョン領域符号化部，  １６０  復号装置，  １６２  オクルージョン領域復号部，  １６３  非オクルージョン領域復号部
【図１】
2015019326.tif 000008
【図２】
2015019326.tif 000009
【図３】
2015019326.tif 000010
【図４】
2015019326.tif 000011
【図５】
2015019326.tif 000012
【図６】
2015019326.tif 000013
【図７】
2015019326.tif 000014
【図８】
2015019326.tif 000015
【図９】
2015019326.tif 000016
【図１０】
2015019326.tif 000017
【図１１】
2015019326.tif 000018
【図１２】
2015019326.tif 000019
【図１３】
2015019326.tif 000020
【図１４】
2015019326.tif 000021
【図１５】
2015019326.tif 000022
【図１６】
2015019326.tif 000023