(57)【要約】本技術は、解像度の異なるカラー画像とデプス画像をまとめて符号化することができるようにする画像処理装置および画像処理方法に関する。画枠変換部は、デプス画像の解像度をカラー画像と同一の解像度に解像度変換する。付加情報生成部は、カラー画像を特定する情報、または、デプス画像を特定する情報と、解像度変換されたデプス画像に含まれる黒画の領域を表す画枠変換情報と、カラー画像とデプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を生成する。本技術は、例えば、多視点の画像の画像処理装置に適用することができる。
2012128069.tif 000002
【特許請求の範囲】
【請求項１】
デプス画像の解像度をカラー画像と同一の解像度に解像度変換する解像度変換部と、
前記カラー画像または前記デプス画像を特定する情報と、前記解像度変換部により解像度変換された前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を生成する生成部と、
前記カラー画像と、前記デプス画像と、前記生成部により生成された前記付加情報とを伝送する伝送部と
を備える画像処理装置。
【請求項２】
前記カラー画像と前記デプス画像とを符号化してビットストリームを生成する符号化部
をさらに備え、
前記伝送部は、前記符号化部により符号化された前記ビットストリームと、前記生成部により生成された前記付加情報とを伝送する
請求項１に記載の画像処理装置。
【請求項３】
前記符号化部は、前記カラー画像と前記デプス画像とをMVC（Multiview Video Coding）方式で符号化し、前記付加情報を、前記ビットストリームの補助情報であるSEI（Supplemental Enhancement Information）として生成する
請求項２に記載の画像処理装置。
【請求項４】
前記符号化部は、前記カラー画像と前記デプス画像とをMVC（Multiview Video Coding）方式で符号化し、前記カラー画像または前記デプス画像を特定する情報を、前記ビットストリームの補助情報であるSEI（Supplemental Enhancement Information）として生成し、前記変換情報と前記解像度情報とを、前記ビットストリームのSubset SPS（Sequence Parameter Set）として生成する
請求項２に記載の画像処理装置。
【請求項５】
前記解像度変換部は、前記カラー画像に比べて解像度の低い前記デプス画像に対して前記画像を付加することにより、前記デプス画像の解像度を前記カラー画像の解像度と同一の解像度に解像度変換する
請求項１に記載の画像処理装置。
【請求項６】
画像処理装置が、
デプス画像の解像度をカラー画像と同一の解像度に解像度変換する解像度変換ステップと、
前記カラー画像または前記デプス画像を特定する情報と、前記解像度変換ステップの処理により解像度変換された前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を生成する生成ステップと、
前記カラー画像と、前記デプス画像と、前記生成ステップの処理により生成された前記付加情報とを伝送する伝送ステップと
を含む画像処理方法。
【請求項７】
カラー画像、前記カラー画像と同一の解像度に変換されたデプス画像、並びに、前記カラー画像または前記デプス画像を特定する情報と、前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記付加情報に基づいて、前記デプス画像から、解像度変換前のデプス画像を抽出する抽出部と、
前記カラー画像と、前記抽出部により抽出された前記デプス画像とを用いて、新たなカラー画像を生成する生成部と
を備える画像処理装置。
【請求項８】
前記カラー画像と前記デプス画像が符号化されたビットストリームを復号する復号部
をさらに備え、
前記受け取り部は、前記ビットストリームと前記付加情報とを受け取り、
前記復号部は、前記受け取り部により受け取られた前記ビットストリームを復号して前記カラー画像と前記デプス画像を生成し、
前記抽出部は、前記付加情報に基づいて、前記復号部により生成された前記デプス画像から、前記解像度変換前のデプス画像を抽出する
請求項７に記載の画像処理装置。
【請求項９】
前記受け取り部は、前記カラー画像と前記デプス画像がMVC（Multiview Video Coding）方式で符号化された前記ビットストリームと、前記ビットストリームの補助情報であるSEI（Supplemental Enhancement Information）として生成された前記付加情報とを受け取る
請求項８に記載の画像処理装置。
【請求項１０】
前記受け取り部は、前記カラー画像と前記デプス画像がMVC（Multiview Video Coding）方式で符号化された前記ビットストリームと、前記ビットストリームの補助情報であるSEI（Supplemental Enhancement Information）として生成された前記カラー画像または前記デプス画像を特定する情報と、前記ビットストリームのSubset SPS（Sequence Parameter Set）として生成された前記変換情報と前記解像度情報とを受け取る
請求項８に記載の画像処理装置。
【請求項１１】
前記デプス画像の解像度は、前記カラー画像に比べて解像度の低い前記デプス画像に対して前記画像が付加されることにより、前記カラー画像の解像度と同一の解像度に変換される
請求項７に記載の画像処理装置。
【請求項１２】
画像処理装置が、
カラー画像、前記カラー画像と同一の解像度に変換されたデプス画像、並びに、前記カラー画像または前記デプス画像を特定する情報と、前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記付加情報に基づいて、前記デプス画像から、解像度変換前のデプス画像を抽出する抽出ステップと、
前記カラー画像と、前記抽出ステップの処理により抽出された前記デプス画像とを用いて、新たなカラー画像を生成する生成ステップと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関し、特に、解像度の異なるカラー画像とデプス画像をまとめて符号化または復号することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、３Ｄ画像が注目されている。この３Ｄ画像の視聴方式としては、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下、メガネ有り方式という）が一般的である。【０００３】
しかしながら、このようなメガネ有り方式では、視聴者は、３Ｄ画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに３Ｄ画像を視聴可能な視聴方式（以下、メガネ無し方式という）の需要が高まっている。【０００４】
メガネ無し方式では、３視点以上の視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。【０００５】
メガネ無し方式の３Ｄ画像の表示方法としては、所定の視点のカラー画像とデプス画像を取得し、そのカラー画像とデプス画像を用いて所定の視点以外の視点を含む多視点のカラー画像を生成し、表示する方法が考案されている。なお、多視点とは、３視点以上の視点である。【０００６】
また、多視点のカラー画像とデプス画像を符号化する方法として、カラー画像とデプス画像を別々に符号化する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO,Guangzhou,China,October 2010
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、従来のMVC（Multiview Video Coding）規格では、符号化対象の画像の解像度が同一であることが前提になっている。従って、MVC規格に準拠した符号化装置が、図１のＡに示すように、同一の解像度のカラー画像(color)とデプス画像（depth）に対して符号化を行う場合、符号化装置は、カラー画像およびデプス画像をまとめて符号化することができる。【０００９】
しかしながら、MVC規格に準拠した符号化装置が、図１のＢに示すように、解像度の異なるカラー画像(color)とデプス画像（depth）に対して符号化を行う場合、カラー画像およびデプス画像をまとめて符号化することができない。従って、カラー画像を符号化するエンコーダと、デプス画像を符号化するエンコーダを設ける必要がある。同様に、復号装置においても、カラー画像を復号するデコーダと、デプス画像を復号するデコーダを設ける必要がある。【００１０】
従って、符号化装置において、解像度の異なるカラー画像とデプス画像をまとめて符号化し、復号装置において、その符号化結果を復号することが望まれている。【００１１】
本技術は、このような状況に鑑みてなされたものであり、解像度の異なるカラー画像とデプス画像をまとめて符号化または復号することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の第１の側面の画像処理装置は、デプス画像の解像度をカラー画像と同一の解像度に解像度変換する解像度変換部と、前記カラー画像または前記デプス画像を特定する情報と、前記解像度変換部により解像度変換された前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を生成する生成部と、前記カラー画像と、前記デプス画像と、前記生成部により生成された前記付加情報とを伝送する伝送部とを備える画像処理装置である。【００１３】
本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理装置に対応する。【００１４】
本技術の第１の側面においては、デプス画像の解像度がカラー画像と同一の解像度に解像度変換され、前記カラー画像または前記デプス画像を特定する情報と、解像度変換された前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報が生成され、前記カラー画像と、前記デプス画像と、前記付加情報とが伝送される。【００１５】
本技術の第２の側面の画像処理装置は、カラー画像、前記カラー画像と同一の解像度に変換されたデプス画像、並びに、前記カラー画像または前記デプス画像を特定する情報と、前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を受け取る受け取り部と、前記受け取り部により受け取られた前記付加情報に基づいて、前記デプス画像から、解像度変換前のデプス画像を抽出する抽出部と、前記カラー画像と、前記抽出部により抽出された前記デプス画像とを用いて、新たなカラー画像を生成する生成部とを備える画像処理装置である。【００１６】
本技術の第２の側面の画像処理方法は、本技術の第２の側面の画像処理装置に対応する。【００１７】
本技術の第２の側面においては、カラー画像、前記カラー画像と同一の解像度に変換されたデプス画像、並びに、前記カラー画像または前記デプス画像を特定する情報と、前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報が受け取られ、受け取られた前記付加情報に基づいて、前記デプス画像から、解像度変換前のデプス画像が抽出され、前記カラー画像と、抽出された前記デプス画像とを用いて、新たなカラー画像が生成される。【００１８】
なお、第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１９】
また、第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００２０】
本技術の第１の側面によれば、解像度の異なるカラー画像とデプス画像をまとめて符号化することができる。【００２１】
また、本技術の第２の側面によれば、まとめて符号化された解像度の異なるカラー画像とデプス画像を復号することができる。
【図面の簡単な説明】
【００２２】
【図１】MVC規格における符号化を説明する図である。
【図２】本技術を適用した画像処理装置としての符号化装置の第１実施の形態の構成例を示すブロック図である。
【図３】図２の画枠変換部による画枠変換処理を説明する図である。
【図４】画枠変換情報の構成例を示す図である。
【図５】符号化ビットストリームのアクセスユニットの構成例を示す図である。
【図６】図５のSEIの一部の記述例を示す図である。
【図７】図２の符号化装置の符号化処理を説明するフローチャートである。
【図８】図７の付加情報生成処理の詳細を説明するフローチャートである。
【図９】図７の多視点符号化処理の詳細を説明するフローチャートである。
【図１０】本技術を適用した画像処理装置としての復号装置の第１実施の形態の構成例を示すブロック図である。
【図１１】図１０の復号装置の復号処理を説明するフローチャートである。
【図１２】図１１の多視点復号処理の詳細を説明するフローチャートである。
【図１３】図１１の抽出処理の詳細を説明するフローチャートである。
【図１４】本技術を適用した画像処理装置としての符号化装置の第２実施の形態の構成例を示すブロック図である。
【図１５】符号化ビットストリームのアクセスユニットの他の構成例を示す図である。
【図１６】図１５のSPSの一部の記述例を示す図である。
【図１７】図１４の符号化装置により生成されるSPSの一部の記述例を示す図である。
【図１８】図１５のSubset SPSの一部の記述例を示す図である。
【図１９】図１４の符号化装置により生成されるSubset SPSの一部の記述例を示す図である。
【図２０】図１５のSEIの一部の記述例を示す図である。
【図２１】図１４の符号化装置の多視点符号化処理の詳細を説明するフローチャートである。
【図２２】本技術を適用した画像処理装置としての復号装置の第２実施の形態の構成例を示すブロック図である。
【図２３】図２２の復号装置の多視点復号処理の詳細を説明するフローチャートである。
【図２４】視差と奥行きについて説明する図である。
【図２５】コンピュータの一実施の形態の構成例を示す図である。
【図２６】本技術を適用したテレビジョン装置の概略構成例を示す図である。
【図２７】本技術を適用した携帯電話機の概略構成例を示す図である。
【図２８】本技術を適用した記録再生装置の概略構成例を示す図である。
【図２９】本技術を適用した撮像装置の概略構成例を示す図である。
【発明を実施するための形態】
【００２３】
＜本明細書におけるデプス画像の説明＞
図２４は、視差と奥行きについて説明する図である。
【００２４】
図２４に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。
【００２５】
2012128069.tif 000003
・・・（ａ）
【００２６】
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影された撮影画像上の被写体Ｍの位置の、撮影画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影された撮影画像上の被写体Ｍの位置の、撮影画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
【００２７】
式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像とする。
【００２８】
なお、デプス画像は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
【００２９】
視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【００３０】
【数３】
2012128069.tif 000004
【００３１】
なお、式（ｂ）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【００３２】
また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【００３３】
【数４】
2012128069.tif 000005
【００３４】
なお、式（ｃ）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【００３５】
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像とする。ここでは、デプス画像のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
【００３６】
なお、デプス画像の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報とする。更に、値I又は値yをマッピングしたものをデプスマップとする。
【００３７】
＜第１実施の形態＞
［符号化装置の第１実施の形態の構成例］
図２は、本技術を適用した画像処理装置としての符号化装置の第１実施の形態の構成例を示すブロック図である。
【００３８】
図２の符号化装置１０は、多視点カラー画像撮像部１１、多視点カラー画像補正部１２、多視点デプス画像生成部１３、画枠変換部１４、付加情報生成部１５、および多視点画像符号化部１６により構成される。
【００３９】
符号化装置１０は、多視点のカラー画像とデプス画像とをまとめて符号化し、所定の情報を付加して伝送する。
【００４０】
具体的には、符号化装置１０の多視点カラー画像撮像部１１は、多視点のカラー画像を撮像し、多視点カラー画像として多視点カラー画像補正部１２に供給する。
【００４１】
多視点カラー画像補正部１２は、多視点カラー画像撮像部１１から供給される多視点カラー画像に対して、色補正、輝度補正、歪み補正等を行う。多視点カラー画像補正部１２は、補正後の多視点カラー画像を多視点補正カラー画像として多視点デプス画像生成部１３と多視点画像符号化部１６に供給する。また、多視点カラー画像補正部１２は、多視点補正カラー画像の視点数、各視点の解像度などの多視点補正カラー画像に関する情報を、カラー画像情報として生成し、付加情報生成部１５に供給する。
【００４２】
多視点デプス画像生成部１３は、多視点カラー画像補正部１２から供給される多視点補正カラー画像から、所定の解像度の多視点のデプス画像を生成する。そして、多視点デプス画像生成部１３は、生成された多視点のデプス画像を多視点デプス画像として画枠変換部１４に供給する。
【００４３】
また、多視点デプス画像生成部１３は、多視点デプス画像の視点数、各視点の解像度などの多視点デプス画像に関する情報を、デプス画像情報として生成する。そして、多視点デプス画像生成部１３は、デプス画像情報を付加情報生成部１５に供給する。
【００４４】
画枠変換部１４は、解像度変換部として機能し、多視点デプス画像生成部１３から供給される多視点デプス画像に対して、黒画を付加することにより高解像度化を行う画枠変換処理を行い、多視点デプス画像の解像度を多視点カラー画像の解像度と同一にする。画枠変換部１４は、画枠変換処理後の多視点デプス画像を多視点画像符号化部１６に供給する。また、画枠変換部１４は、画枠変換処理後の多視点デプス画像内の黒画の領域を表す画枠変換情報を生成し、付加情報生成部１５に供給する。
【００４５】
付加情報生成部１５は、多視点カラー画像補正部１２から供給されるカラー画像情報と、多視点デプス画像生成部１３から供給されるデプス画像情報とに基づいて、カラー画像特定情報とデプス画像特定情報を生成する。なお、カラー画像特定情報とは、カラー画像を特定する情報であり、デプス画像特定情報とは、デプス画像を特定する情報である。
【００４６】
また、付加情報生成部１５は、カラー画像情報に含まれる多視点補正カラー画像の各視点の解像度と、デプス画像情報に含まれる多視点デプス画像の各視点の解像度に基づいて、多視点デプス画像に対応する各視点ごとに、解像度フラグを生成する。
【００４７】
なお、解像度フラグとは、対応する視点のカラー画像とデプス画像の解像度が異なるかどうかを表すフラグである。解像度フラグは、例えば、対応する視点のカラー画像とデプス画像の解像度が同一である場合0であり、異なる場合1である。
【００４８】
付加情報生成部１５は、生成部として機能し、多視点補正カラー画像の視点数、多視点デプス画像の視点数、カラー画像特定情報、デプス画像特定情報、解像度フラグ、および、画枠変換部１４からの画枠変換情報を付加情報として、多視点画像符号化部１６に供給する。
【００４９】
多視点画像符号化部１６は、符号化部として機能し、多視点カラー画像補正部１２からの多視点補正カラー画像のうちの所定の視点のカラー画像をベースビューとし、他の視点のカラー画像および画枠変換部１４からの多視点デプス画像をノンベースビューとして、MVC方式の符号化を行う。そして、多視点画像符号化部１６は、符号化結果に付加情報等を付加してビットストリームを生成する。そして、多視点画像符号化部１６は、伝送部として機能し、そのビットストリームを符号化ビットストリームとして伝送する。
【００５０】
［画枠変換処理の説明］
図３は、図２の画枠変換部１４による画枠変換処理を説明する図である。
【００５１】
図３の例では、多視点補正カラー画像が、1920×1080画素の視点Ａ乃至視点Ｃの補正後のカラー画像からなり、多視点デプス画像が、1280×720画素の視点Ａ乃至視点Ｃのデプス画像からなる。
【００５２】
この場合、例えば、図３に示すように、画枠変換部１４は、画枠変換処理として、視点Ａ乃至視点Ｃのデプス画像の右側および下側に黒画を付加し、1920×1080画素の視点Ａ乃至視点Ｃのデプス画像を生成する処理を行う。
【００５３】
［画枠変換情報の構成例］
図４は、画枠変換情報の構成例を示す図である。
【００５４】
図４に示すように、画枠変換情報は、左オフセット情報(frame_crop_left_offset)、右オフセット情報(frame_crop_right_offset)、上オフセット情報(frame_crop_top_offset)、および下オフセット情報(frame_crop_bottom_offset)からなる。
【００５５】
左オフセット情報は、画枠変換処理後の多視点デプス画像の左側から、付加された黒画の領域ではない領域の左側までの画素数の1/2である。右オフセット情報は、画枠変換処理後の多視点デプス画像の右側から、付加された黒画の領域ではない領域の右側までの画素数の1/2である。上オフセット情報は、画枠変換処理後の多視点デプス画像の上側から、付加された黒画の領域ではない領域の上側までの画素数の1/2である。下オフセット情報は、画枠変換処理後の多視点デプス画像の下側から、付加された黒画の領域ではない領域の下側までの画素数の1/2である。
【００５６】
従って、画枠変換部１４が、図３で説明した画枠変換処理を行った場合、左オフセット情報、右オフセット情報、上オフセット情報、下オフセット情報は、それぞれ、図４に示すように、0,320,0,180となる。
【００５７】
［符号化ビットストリームの構成例］
図５は、図２の符号化装置１０により生成される符号化ビットストリームのアクセスユニットの構成例を示す図である。
【００５８】
図５に示すように、符号化ビットストリームのアクセスユニットは、SPS（Sequence Parameter Set），Subset SPS，PPS（Picture Parameter Set），SEI(Supplemental Enhancement Information)、およびスライス（Slice）により構成される。
【００５９】
なお、図５の例では、多視点補正カラー画像および多視点デプス画像の視点数が２である。そして、２視点の多視点補正カラー画像のうちの一方の視点の補正後のカラー画像Ａがベースビューとして符号化される。また、他方の視点の補正後のカラー画像Ｂ、カラー画像Ａに対応する画枠変換処理後のデプス画像Ａ、および、カラー画像Ｂに対応する画枠変換処理後のデプス画像Ｂがノンベースビューとして符号化される。
【００６０】
その結果、スライスの配置順は、例えば、先頭から、ベースビューとして符号化されたカラー画像Ａのスライス、ノンベースビューとして符号化されたデプス画像Ａのスライス、カラー画像Ｂのスライス、デプス画像Ｂのスライスの順になる。なお、各スライスのヘッダ部には、PPSを特定するための情報が記述されている。
【００６１】
SPSは、ベースビューの符号化に関する情報を含むヘッダである。Subset SPSは、ベースビューおよびノンベースビューの符号化に関する情報を含む拡張ヘッダである。PPSは、ピクチャ全体の符号化モードを示す情報、SPSおよびSubset SPSを特定するための情報等を含むヘッダである。SEIは、符号化ビットストリームの補助情報であり、付加情報生成部１５により生成される付加情報等の復号に必須ではない付加的な情報を含む。
【００６２】
ベースビューとして符号化されたカラー画像Ａの復号時には、そのカラー画像Ａのヘッダ部に記述されるPPSを特定するための情報に基づいてPPSが参照され、そのPPSに記述されているSPSを特定するための情報に基づいてSPSが参照される。
【００６３】
一方、ノンベースビューとして符号化されたデプス画像Ａの復号時には、そのデプス画像Ａのヘッダに記述されるPPSを特定するための情報に基づいてPPSが参照される。また、そのPPSに記述されているSub SPSを特定するための情報に基づいてSub SPSが参照される。ノンベースビューとして符号化されたカラー画像Ｂおよびデプス画像Ｂの復号時にも、デプス画像Ａの復号時と同様に、PPSが参照され、Sub SPSが参照される。
【００６４】
[SEIの一部の記述例]
図６は、図５のSEIの一部の記述例を示す図である。
【００６５】
図６のSEIの上から2行目には、カラー画像の視点数（num_color_views_minus_1）が記述され、3行目には、デプス画像の視点数（num_depth_views_minus_1）が記述される。
【００６６】
また、図６の上から5行目には、各視点のカラー画像のカラー画像特定情報としてカラー画像のビューID（color_view_id）が記述され、7行目には、各視点のデプス画像のデプス画像特定情報としてデプス画像のビューID（depth_view_id）が記述される。図６の上から8行目には、解像度フラグ(resolution_differencial_flag)が、多視点デプス画像に対応する各視点ごとに記述される。さらに、図６の上から10乃至13行目には、解像度フラグが、解像度が異なることを表す場合に、画枠変換情報が記述される。
【００６７】
［符号化装置の処理の説明］
図７は、図２の符号化装置１０の符号化処理を説明するフローチャートである。
【００６８】
図７のステップＳ１１において、符号化装置１０の多視点カラー画像撮像部１１は、多視点のカラー画像を撮像し、多視点カラー画像として多視点カラー画像補正部１２に供給する。
【００６９】
ステップＳ１２において、多視点カラー画像補正部１２は、多視点カラー画像撮像部１１から供給される多視点カラー画像に対して、色補正、輝度補正、歪み補正等を行う。多視点カラー画像補正部１２は、補正後の多視点カラー画像を多視点補正カラー画像として多視点デプス画像生成部１３と多視点画像符号化部１６に供給する。
【００７０】
ステップＳ１３において、多視点カラー画像補正部１２は、カラー画像情報を生成し、付加情報生成部１５に供給する。
【００７１】
ステップＳ１４において、多視点デプス画像生成部１３は、多視点カラー画像補正部１２から供給される多視点補正カラー画像から、所定の解像度の多視点のデプス画像を生成する。そして、多視点デプス画像生成部１３は、生成された多視点のデプス画像を多視点デプス画像として画枠変換部１４に供給する。
【００７２】
ステップＳ１５において、多視点デプス画像生成部１３は、デプス画像情報を生成し、付加情報生成部１５に供給する。
【００７３】
ステップＳ１６において、画枠変換部１４は、多視点デプス画像生成部１３から供給される多視点デプス画像に対して画枠変換処理を行い、画枠変換処理後の多視点デプス画像を多視点画像符号化部１６に供給する。
【００７４】
ステップＳ１７において、画枠変換部１４は、画枠変換情報を生成し、付加情報生成部１５に供給する。
【００７５】
ステップＳ１８において、付加情報生成部１５は、多視点カラー画像補正部１２からのカラー画像情報と、多視点デプス画像生成部１３からのデプス画像情報に基づいて、カラー画像特定情報、デプス画像特定情報、および解像度フラグを生成する。
【００７６】
ステップＳ１９において、付加情報生成部１５は、付加情報を生成する付加情報生成処理を行う。この付加情報生成処理の詳細は、後述する図８を参照して説明する。
【００７７】
ステップＳ２０において、多視点画像符号化部１６は、多視点補正カラー画像および画枠変換処理後の多視点デプス画像をまとめて符号化し、付加情報等を付加する多視点符号化処理を行う。この多視点符号化処理の詳細は、後述する図９を参照して説明する。
【００７８】
ステップＳ２１において、多視点画像符号化部１６は、ステップＳ２０の結果生成される符号化ビットストリームを伝送し、処理を終了する。
【００７９】
図８は、図７のステップＳ１９の付加情報生成処理の詳細を説明するフローチャートである。
【００８０】
図８のステップＳ３１において、付加情報生成部１５は、多視点カラー画像補正部１２から供給されるカラー画像情報に含まれる多視点カラー画像の視点数を付加情報に配置する。
【００８１】
ステップＳ３２において、付加情報生成部１５は、多視点デプス画像生成部１３から供給されるデプス画像情報に含まれる多視点デプス画像の視点数を付加情報に配置する。
【００８２】
ステップＳ３３において、付加情報生成部１５は、図７のステップＳ１８で生成されたカラー画像特定情報を付加情報に配置する。
【００８３】
ステップＳ３４において、付加情報生成部１５は、図７のステップＳ１９で生成されたデプス画像特定情報を付加情報に配置する。
【００８４】
ステップＳ３５において、付加情報生成部１５は、デプス画像特定情報で特定される画像のうちの、まだ処理対象とされていない画像を処理対象とする。
【００８５】
ステップＳ３６において、付加情報生成部１５は、図７のステップＳ１８で生成された、処理対象の画像に対応する視点の解像度フラグを、付加情報に配置する。
【００８６】
ステップＳ３７において、付加情報生成部１５は、処理対象の画像に対応する視点の解像度フラグに基づいて、その視点のカラー画像とデプス画像の解像度が異なるかどうかを判定する。ステップＳ３７でカラー画像とデプス画像の解像度が異なると判定された場合、処理はステップＳ３８に進む。
【００８７】
ステップＳ３８において、付加情報生成部１５は、画枠変換部１４から供給される画枠変換情報を、付加情報に配置し、処理をステップＳ３９に進む。
【００８８】
一方、ステップＳ３７でカラー画像とデプス画像の解像度が異なると判定された場合、処理はステップＳ３９に進む。
【００８９】
ステップＳ３９において、付加情報生成部１５は、デプス画像特定情報で特定される全ての画像を処理対象としたかどうかを判定する。ステップＳ３９でまだ全ての画像を処理対象としていないと判定された場合、処理はステップＳ３５に戻り、全ての画像を処理対象とするまで、以降の処理が繰り返される。
【００９０】
一方、ステップＳ３９で全ての画像を処理対象としたと判定された場合、付加情報生成部１５は、付加情報を多視点画像符号化部１６に供給する。そして、処理は図７のステップＳ１９に戻り、処理はステップＳ２０に進む。
【００９１】
図９は、図７のステップＳ２０の多視点符号化処理の詳細を説明するフローチャートである。この多視点符号化処理は、例えば、スライス単位で行われる。また、図９の多視点符号化処理では、符号化対象の画像が、カラー画像Ａ、カラー画像Ｂ、デプス画像Ａ、およびデプス画像Ｂであるものとする。
【００９２】
図９のステップＳ５１において、多視点画像符号化部１６は、処理対象のスライスである対象スライスのSPSを生成し、そのSPSに固有のIDを付与する。ステップＳ５２において、多視点画像符号化部１６は、対象スライスのSubset SPSを生成し、そのSubset SPSに固有のIDを付与する。
【００９３】
ステップＳ５３において、多視点画像符号化部１６は、ステップＳ５１およびＳ５２で付与されたIDを含む対象スライスのPPSを生成し、そのPPSに固有のIDを付与する。ステップＳ５４において、多視点画像符号化部１６は、対象スライスの付加情報を含むSEIを生成する。
【００９４】
ステップＳ５５において、多視点画像符号化部１６は、カラー画像Ａの対象スライスをベースビューとして符号化し、ステップＳ５３で付与されたIDを含むヘッダ部を付加する。ステップＳ５６において、多視点画像符号化部１６は、デプス画像Ａの対象スライスをノンベースビューとして符号化し、ステップＳ５３で付与されたIDを含むヘッダ部を付加する。
【００９５】
ステップＳ５７において、多視点画像符号化部１６は、カラー画像Ｂの対象スライスをノンベースビューとして符号化し、ステップＳ５３で付与されたIDを含むヘッダ部を付加する。ステップＳ５８において、多視点画像符号化部１６は、デプス画像Ｂの対象スライスをノンベースビューとして符号化し、ステップＳ５３で付与されたIDを含むヘッダ部を付加する。
【００９６】
そして、多視点画像符号化部１６は、生成されたSPS,Subset SPS,PPS,SEI、符号化されたカラー画像Ａの対象スライス、デプス画像Ａの対象スライス、カラー画像Ｂの対象スライス、デプス画像Ｂの対象スライスを順に配置して符号化ビットストリームを生成する。そして、処理は図７のステップＳ２０に戻り、ステップＳ２１に進む。
【００９７】
なお、図９の多視点符号化処理では、説明の便宜上、SPSがスライス単位で生成されるようにしたが、現在の対象スライスのSPSが、以前の対象スライスのSPSと同一である場合、そのSPSは生成されない。このことは、Subset SPS,PPS,SEIについても同様である。
【００９８】
以上のように、符号化装置１０は、多視点デプス画像に対して画枠変換処理を行うので、多視点カラー画像と多視点デプス画像の解像度が異なる場合であっても、多視点カラー画像と多視点デプス画像をまとめて符号化することができる。
【００９９】
これに対して、補間により多視点デプス画像の解像度を多視点カラー画像と同一の解像度に高解像度化し、まとめて符号化する方法では、符号化する多視点デプス画像に補間画像が含まれるため、符号化装置１０の場合に比べてデータ量が多くなる。また、符号化効率が低下する。
【０１００】
符号化装置１０はまた、付加情報を伝送するので、後述する復号装置において、多視点カラー画像と多視点デプス画像を識別し、多視点カラー画像に比べて解像度の低い多視点デプス画像を抽出（クロップ）することができる。
【０１０１】
[復号装置の第１実施の形態の構成例]
図１０は、図２の符号化装置１０から伝送される符号化ビットストリームを復号する、本技術を適用した画像処理装置としての復号装置の第１実施の形態の構成例を示すブロック図である。
【０１０２】
図１０の復号装置３０は、多視点画像復号部３１、抽出部３２、視点合成部３３、および多視点画像表示部３４により構成される。
【０１０３】
復号装置３０の多視点画像復号部３１は、受け取り部として機能し、図２の符号化装置１０から伝送されてくる符号化ビットストリームを受け取る。多視点画像復号部３１は、受け取られた符号化ビットストリームのSEIから付加情報を抽出し、抽出部３２に供給する。また、多視点画像復号部３１は、復号部として機能し、符号化ビットストリームを、MVC方式に対応する方式で復号して、多視点補正カラー画像および画枠変換処理後の多視点デプス画像を生成し、抽出部３２に供給する。
【０１０４】
抽出部３２は、多視点画像復号部３１からの付加情報に含まれるカラー画像特定情報に基づいて、多視点画像復号部３１から供給される多視点補正カラー画像および画枠変換処理後の多視点デプス画像のうちの、多視点カラー画像の視点数分の多視点補正カラー画像を特定する。そして、抽出部３２は、多視点補正カラー画像を視点合成部３３に供給する。
【０１０５】
また、抽出部３２は、付加情報に含まれるデプス画像特定情報に基づいて、多視点画像復号部３１から供給される多視点補正カラー画像および画枠変換処理後の多視点デプス画像のうちの、多視点デプス画像の視点数分の画枠変換処理後の多視点デプス画像を特定する。そして、抽出部３２は、付加情報に含まれる解像度フラグに基づいて、解像度が同一であることを表す解像度フラグに対応するデプス画像を、そのまま画枠変換処理前のデプス画像とする。また、抽出部３２は、付加情報に含まれる解像度フラグと画枠変換情報に基づいて、解像度が異なることを表す解像度フラグに対応するデプス画像から、画枠変換処理前のデプス画像を抽出する。そして、抽出部３２は、画枠変換処理前のデプス画像からなる多視点デプス画像を視点合成部３３に供給する。
【０１０６】
視点合成部３３は、抽出部３２からの多視点デプス画像に対して、多視点画像表示部３４に対応する視点数の視点（以下、表示視点という）へのワーピング処理を行う。
【０１０７】
なお、ワーピング処理とは、ある視点の画像から別の視点の画像へ幾何変換する処理である。また、表示視点には、多視点カラー画像に対応する視点以外の視点が含まれる。
【０１０８】
また、視点合成部３３は、ワーピング処理の結果得られる表示視点のデプス画像を用いて、抽出部３２から供給される多視点補正カラー画像に対して、表示視点へのワーピング処理を行う。視点合成部３３は、その結果得られる表示視点のカラー画像を、多視点合成カラー画像として多視点画像表示部３４に供給する。
【０１０９】
多視点画像表示部３４は、視点合成部３３から供給される多視点合成カラー画像を、視点ごとに視認可能な角度が異なるように表示する。視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに複数の視点から３Ｄ画像を見ることができる。
【０１１０】
[復号装置の処理の説明]
図１１は、図１０の復号装置３０の復号処理を説明するフローチャートである。この復号処理は、例えば、図２の符号化装置１０から符号化ビットストリームが伝送されてきたとき、開始される。
【０１１１】
図１１のステップＳ６１において、復号装置３０の多視点画像復号部３１は、図２の符号化装置１０から伝送されてくる符号化ビットストリームを受け取る。
【０１１２】
ステップＳ６２において、多視点画像復号部３１は、受け取られた符号化ビットストリームを復号し、付加情報を抽出する多視点復号処理を行う。この多視点復号処理の詳細は、後述する図１２を参照して説明する。
【０１１３】
ステップＳ６３において、抽出部３２は、ステップＳ６２の処理により多視点画像復号部３１から供給される付加情報に含まれるカラー画像特定情報に基づいて、多視点画像復号部３１から供給される多視点補正カラー画像を視点合成部３３に出力する。具体的には、抽出部３２は、カラー画像特定情報に基づいて、多視点画像復号部３１から供給される多視点補正カラー画像および画枠変換処理後の多視点デプス画像のうちの、多視点カラー画像の視点数分の多視点補正カラー画像を特定する。そして、抽出部３２は、多視点補正カラー画像を視点合成部３３に供給する。
【０１１４】
ステップＳ６４において、抽出部３２は、ステップＳ６２の処理により多視点画像復号部３１から供給される画枠変換処理後の多視点デプス画像から、画枠変換処理前の多視点デプス画像を抽出する抽出処理を行う。この抽出処理の詳細は、後述する図１３を参照して説明する。
【０１１５】
ステップＳ６５において、視点合成部３３は、生成部として機能し、抽出部３２から供給される多視点補正カラー画像および多視点デプス画像を用いて、多視点合成カラー画像を生成し、多視点画像表示部３４に供給する。
【０１１６】
ステップＳ６６において、多視点画像表示部３４は、視点合成部３３から供給される多視点合成カラー画像を、視点ごとに視認可能な角度が異なるように表示し、処理を終了する。
【０１１７】
図１２は、図１１のステップＳ６２の多視点復号処理の詳細を説明するフローチャートである。この多視点復号処理は、例えば、スライス単位で行われる。また、図１２の多視点復号処理では、復号対象の画像が、カラー画像Ａ、カラー画像Ｂ、デプス画像Ａ、およびデプス画像Ｂであるものとする。
【０１１８】
図１２のステップＳ７１において、多視点画像復号部３１は、受け取られた符号化ビットストリームからSPSを抽出する。ステップＳ７２において、多視点画像復号部３１は、符号化ビットストリームからSubset SPSを抽出する。ステップＳ７３において、多視点画像復号部３１は、符号化ビットストリームからPPSを抽出する。
【０１１９】
ステップＳ７４において、多視点画像復号部３１は、符号化ビットストリームからSEIを抽出し、そのSEIに含まれる付加情報を抽出部３２に出力する。
【０１２０】
ステップＳ７５において、多視点画像復号部３１は、カラー画像Ａの対象スライスのヘッダに含まれるPPSのIDに基づいて、そのIDが付与されたPPSをアクティブにする。ステップＳ７６において、多視点画像復号部３１は、ステップＳ７５でアクティブにされたPPSに含まれるSPSのIDに基づいて、そのIDが付与されたSPSをアクティブにする。
【０１２１】
ステップＳ７７において、多視点画像復号部３１は、アクティブにされているPPSとSPSを参照して、カラー画像Ａの対象スライスをベースビューとして復号し、抽出部３２に供給する。
【０１２２】
ステップＳ７８において、多視点画像復号部３１は、アクティブにされているPPSに含まれるSubset SPSのIDに基づいて、そのIDが付与されたSubset SPSをアクティブにする。ステップＳ７９において、多視点画像復号部３１は、アクティブにされているPPSとSubset SPSを参照して、デプス画像Ａの対象スライスをノンベースビューとして復号し、抽出部３２に供給する。
【０１２３】
ステップＳ８０において、多視点画像復号部３１は、アクティブにされているPPSとSubset SPSを参照して、カラー画像Ｂの対象スライスをノンベースビューとして復号し、抽出部３２に供給する。ステップＳ８１において、多視点画像復号部３１は、アクティブにされているPPSとSubset SPSを参照して、デプス画像Ｂの対象スライスをノンベースビューとして復号し、抽出部３２に供給する。そして、処理は図１１のステップＳ６２に戻り、ステップＳ６３に進む。
【０１２４】
なお、図１２の多視点復号処理では、説明の便宜上、SPS, Subset SPS,PPS、およびSEIが、全スライスに対して生成されているものとし、スライスごとに常に抽出されるようにしたが、SPS,Subset SPS,PPS,SEIが生成されないスライスが存在する場合には、そのSPS,Subset SPS,PPS,SEIを抽出する処理はスキップされる。
【０１２５】
図１３は、図１１のステップＳ６４の抽出処理の詳細を説明するフローチャートである。
【０１２６】
図１３のステップＳ９１において、抽出部３２は、付加情報に含まれるデプス画像特定情報に基づいて、多視点画像復号部３１から供給される画枠変換処理後の多視点デプス画像を抽出する。具体的には、抽出部３２は、デプス画像特定情報に基づいて、多視点画像復号部３１から供給される多視点補正カラー画像および画枠変換処理後の多視点デプス画像のうちの、多視点デプス画像の視点数分の画枠変換処理後の多視点デプス画像を特定する。
【０１２７】
ステップＳ９２において、抽出部３２は、画枠変換処理後の多視点デプス画像のうちの、まだ処理対象とされていない所定のデプス画像を処理対象とする。
【０１２８】
ステップＳ９３において、抽出部３２は、付加情報に含まれる処理対象のデプス画像に対応する解像度フラグが、解像度が異なることを表しているかどうかを判定する。
【０１２９】
ステップＳ９３で解像度フラグが、解像度が異なることを表していると判定された場合、ステップＳ９４において、抽出部３２は、付加情報に含まれる画枠変換情報に基づいて、処理対象のデプス画像から、画枠変換処理前のデプス画像を抽出する。例えば、処理対象の画枠変換情報が、図４に示した画枠変換情報である場合、処理対象のデプス画像のうちの、左側の640（=320×2）×1080画素の領域と、下側の1280(=1920-640)×360（=180×2）画素の領域を削除する。そして、処理はステップＳ９５に進む。  
【０１３０】
一方、ステップＳ９３で解像度フラグが、解像度が異なることを表していないと判定された場合、抽出部３２は、処理対象のデプス画像を、そのまま画枠変換処理前のデプス画像とし、処理をステップＳ９５に進める。
【０１３１】
ステップＳ９５において、抽出部３２は、画枠変換処理後の多視点デプス画像のうちの、全てのデプス画像を処理対象としたかどうかを判定する。ステップＳ９５でまだ全てのデプス画像を処理対象としていないと判定された場合、処理はステップＳ９２に戻り、全てのデプス画像を処理対象とするまで、ステップＳ９２乃至Ｓ９５の処理が繰り返される。
【０１３２】
一方、ステップＳ９５で全てのデプス画像を処理対象としたと判定された場合、抽出部３２は、全ての画枠変換処理後のデプス画像に対応する画枠変換処理前のデプス画像からなる多視点デプス画像を、視点合成部３３に供給する。そして、処理は、図１１のステップＳ６４に戻り、ステップＳ６５に進む。
【０１３３】
以上のように、復号装置３０は、符号化装置１０から送信されてくる符号化ビットストリームを復号し、その結果得られる画枠変換処理後の多視点デプス画像から、付加情報に基づいて、画枠変換処理前の多視点デプス画像を抽出する。従って、多視点カラー画像と多視点デプス画像の解像度が異なる場合であっても、まとめて符号化された多視点カラー画像と多視点デプス画像を復号し、多視点カラー画像と多視点デプス画像を取得することができる。
【０１３４】
また、付加情報には、カラー画像特定情報とデプス画像特定情報が含まれるので、復号の結果得られる多視点カラー画像と多視点デプス画像を識別し、表示視点のカラー画像を生成することができる。
【０１３５】
これに対して、従来のMVC規格では、カラー画像特定情報とデプス画像特定情報が付加情報に含まれないので、復号装置では、多視点カラー画像と多視点デプス画像を識別することができない。
【０１３６】
＜第２実施の形態＞
[符号化装置の一実施の形態の構成例]
図１４は、本技術を適用した画像処理装置としての符号化装置の第２実施の形態の構成例を示すブロック図である。
【０１３７】
図１４に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３８】
図１４の符号化装置５０の構成は、主に、多視点画像符号化部１６の代わりに多視点画像符号化部５１が設けられている点が図２の構成と異なる。図１４の符号化装置５０は、付加情報のうちの解像度フラグと画枠変換情報をSubset SPSに含め、解像度フラグと画枠変換情報以外の情報をSEIに含めて伝送する。
【０１３９】
具体的には、符号化装置５０の多視点画像符号化部５１は、図２の多視点画像符号化部１６と同様に、多視点カラー画像補正部１２からの多視点補正カラー画像と画枠変換部１４からの多視点デプス画像をMVC方式で符号化する。そして、多視点画像符号化部５１は、SPS、付加情報生成部１５から供給される付加情報のうちの解像度フラグおよび画枠変換情報を含むSubset SPS、PPS、付加情報のうちの解像度フラグおよび画枠変換情報以外の情報を含むSEI等を符号化結果に付加する。多視点画像符号化部５１は、その結果生成されるビットストリームを、符号化ビットストリームとして伝送する。
【０１４０】
[符号化ビットストリームの構成例]
図１５は、図１４の符号化装置５０により生成される符号化ビットストリームのアクセスユニットの構成例を示す図である。
【０１４１】
図１５のアクセスユニットの構成は、ノンベースビューとして符号化される補正後のカラー画像と画枠変換処理後のデプス画像のSubset SPSとPPSが別々に生成される点が図５の構成と異なる。
【０１４２】
具体的には、図１５のアクセスユニットは、カラー画像Ａ用のSPS、カラー画像Ｂ用のSubset SPS、デプス画像ＡおよびＢ用のSubset SPS、カラー画像ＡおよびＢ用のPPS、デプス画像ＡおよびＢ用のPPS、およびスライスにより構成される。
【０１４３】
カラー画像Ａ用のSPSは、ベースビューの符号化に関する情報を含むヘッダである。また、カラー画像Ｂ用のSubset SPSは、ベースビューおよびノンベースビューのうちのカラー画像Ｂの符号化に関する情報を含むヘッダである。さらに、デプス画像ＡおよびＢ用のSPSは、ベースビューおよびノンベースビューのうちのデプス画像ＡおよびＢの符号化に関する情報を含むヘッダである。デプス画像ＡおよびＢ用のSPSには、デプス画像ＡおよびＢの画枠変換情報および解像度フラグが配置される。
【０１４４】
カラー画像ＡおよびＢ用のPPSは、カラー画像ＡおよびＢのピクチャ全体の符号化モードを示す情報、カラー画像Ａ用のSPSおよびカラー画像Ｂ用のSubset SPSを特定するための情報等を含むヘッダである。図１５の例では、カラー画像ＡおよびＢ用のPPSに含まれるカラー画像Ａ用のSPSおよびカラー画像Ｂ用のSubset SPSを特定するための情報は、カラー画像Ａ用のSPSおよびカラー画像Ｂ用のSubset SPSに付与される固有のＩＤ「0」である。
【０１４５】
また、デプス画像ＡおよびＢ用のPPSは、デプス画像ＡおよびＢのピクチャ全体の符号化モードを示す情報、デプス画像ＡおよびＢ用のSubset SPSを特定するための情報等を含むヘッダである。図１５の例では、デプス画像ＡおよびＢ用のPPSに含まれるSubset SPSを特定するための情報は、デプス画像ＡおよびＢ用のSubset SPSに付与される固有のＩＤ「1」である。
【０１４６】
SEIは、付加情報生成部１５により生成される付加情報のうちの多視点カラー画像の視点数、多視点デプス画像の視点数、カラー画像特定情報、およびデプス画像特定情報等の復号に必須ではない付加的な情報を含む。
【０１４７】
スライスの配置順は、図５に示した場合と同様であり、また、各スライスのヘッダ部には、そのスライスのPPSを特定するための情報が記述される。図１５の例では、カラー画像ＡおよびＢのスライスのPPSを特定するための情報は、カラー画像ＡおよびＢ用のPPSに付与される固有のＩＤ「0」である。また、デプス画像ＡおよびＢのスライスのPPSを特定するための情報は、デプス画像ＡおよびＢ用のPPSに付与される固有のＩＤ「1」である。
【０１４８】
[SPSの一部の記述例]
図１６は、図１５のSPSの一部の記述例を示す図である。
【０１４９】
図１６のSPSの上から3行目には、そのSPSに付与される固有のＩＤ(seq_parameter_set_id)が記述され、5行目には、ベースビューにおいてクロッピングが必要であるかどうかを表すクロッピングフラグ（frame_cropping_flag）が記述される。図１６のSPSの上から7乃至10行目には、ベースビューのクロッピングフラグが、クロッピングが必要であることを表す場合、画枠変換情報が記述される。
【０１５０】
符号化装置５０では、ベースビューに対して画枠変換処理が行われない。従って、図１７に示すように、符号化装置５０により生成される符号化ビットストリーム内のSPSには、クロッピングフラグとして0が記述され、画枠変換情報は記述されない。
【０１５１】
[Subset SPSの一部の記述例]
図１８は、図１５のSubset SPSの一部の記述例を示す図である。
【０１５２】
図１８のSubset SPSの上から2行目には、図１６に示したSPSの記述が配置され、9行目には、Subset SPSに付与される固有のＩＤ(seq_parameter_set_id)が記述される。また、図１８のSubset SPSの上から11行目には、ノンベースビューのクロッピングフラグが記述される。また、13乃至16行目には、ノンベースビューのクロッピングフラグが、クロッピングが必要であることを表す場合、画枠変換情報が記述される。
【０１５３】
符号化装置５０では、ノンベースビューとして符号化されるカラー画像に対して画枠変換処理が行われない。従って、符号化装置５０により生成される符号化ビットストリーム内のカラー画像用のSubset SPSには、図１７に示したように、クロッピングフラグとして0が記述され、画枠変換情報は記述されない。
【０１５４】
一方、符号化装置５０では、ノンベースビューとして符号化されるデプス画像に対して画枠変換処理が行われる。従って、解像度フラグがクロッピングフラグとして記述され、解像度フラグが、解像度が異なることを表す場合、画枠変換情報が記述される。例えば、所定の視点のカラー画像とデプス画像の解像度が異なる場合、そのデプス画像用のSubset SPSには、図１９に示すように、クロッピングフラグとして解像度フラグの値である1が記述され、画枠変換情報が記述される。図１９の例では、画枠変換情報のうちの左オフセット情報、右オフセット情報、上オフセット情報、下オフセット情報が、それぞれ、0,320,0,180となっている。
【０１５５】
[SEIの一部の構成例]
図２０は、図１５のSEIの一部の記述例を示す図である。
【０１５６】
図２０のSEIの上から1乃至7行目は、図６のSEIの上から1乃至7行目と同一である。即ち、図２０のSEIでは、多視点カラー画像の視点数、多視点デプス画像の視点数、カラー画像特定情報、およびデプス画像特定情報が記述され、解像度フラグと画枠変換情報は記述されない。
【０１５７】
[符号化装置の処理の説明]
図１４の符号化装置５０の符号化処理は、多視点符号化処理を除いて、図７の符号化処理と同様であるので、多視点符号化処理についてのみ説明する。
【０１５８】
図２１は、図１４の符号化装置５０の多視点符号化処理の詳細を説明するフローチャートである。この多視点符号化処理は、例えば、スライス単位で行われる。また、図２１の多視点符号化処理では、符号化対象の画像が、カラー画像Ａ、カラー画像Ｂ、デプス画像Ａ、およびデプス画像Ｂであるものとする。
【０１５９】
図２１のステップＳ１１１において、多視点画像符号化部５１は、対象スライスのSPSに固有のID（例えば、0）を付与し、そのIDおよびクロッピングフラグとしての1を含むSPSを生成する。
【０１６０】
ステップＳ１１２において、多視点画像符号化部５１は、対象スライスのカラー画像Ｂ用のSubset SPSに固有のID（例えば、0）を付与し、そのIDおよびクロッピングフラグとしての1を含むカラー画像Ａ用のSubset SPSを生成する。
【０１６１】
ステップＳ１１３において、多視点画像符号化部５１は、対象スライスのデプス画像ＡおよびＢ用のSubset SPSに固有のID（例えば、1）を付与し、そのID、並びに、付加情報のうちの解像度フラグと画枠変換情報を含むデプス画像ＡおよびＢ用のSubset SPSを生成する。
【０１６２】
ステップＳ１１４において、多視点画像符号化部５１は、ステップＳ１１１およびＳ１１２で付与されたID（例えば、0）を含む対象スライスのカラー画像ＡおよびＢ用のPPSを生成し、そのPPSに固有のID（例えば、0）を付与する。
【０１６３】
ステップＳ１１５において、多視点画像符号化部５１は、ステップＳ１１３で付与されたID（例えば、1）を含む対象スライスのデプス画像ＡおよびＢ用のPPSを生成し、そのPPSに固有のID（例えば、1）を付与する。
【０１６４】
ステップＳ１１６において、多視点画像符号化部５１は、対象スライスの付加情報のうちの、多視点カラー画像の視点数、多視点デプス画像の視点数、カラー画像特定情報、およびデプス画像特定情報を含むSEIを生成する。
【０１６５】
ステップＳ１１７において、多視点画像符号化部５１は、カラー画像Ａの対象スライスをベースビューとして符号化し、ステップＳ１１４で付与されたID（例えば、0）を含むヘッダ部を付加する。ステップＳ１１８において、多視点画像符号化部５１は、デプス画像Ａの対象スライスをノンベースビューとして符号化し、ステップＳ１１５で付与されたID（例えば、1）を含むヘッダ部を付加する。
【０１６６】
ステップＳ１１９において、多視点画像符号化部５１は、カラー画像Ｂの対象スライスをノンベースビューとして符号化し、ステップＳ１１４で付与されたID（例えば、0）を含むヘッダ部を付加する。ステップＳ１２０において、多視点画像符号化部５１は、デプス画像Ｂの対象スライスをノンベースビューとして符号化し、ステップＳ１１５で付与されたID（例えば、1）を含むヘッダ部を付加する。
【０１６７】
そして、多視点画像符号化部５１は、生成されたSPS、カラー画像Ｂ用のSubset SPS、デプス画像ＡおよびＢのSubset SPS、カラー画像ＡおよびＢ用のPPS,デプス画像ＡおよびＢ用のPPS,SEI、符号化されたカラー画像Ａの対象スライス、デプス画像Ａの対象スライス、カラー画像Ｂの対象スライス、デプス画像Ｂの対象スライスを順に配置して符号化ビットストリームを生成する。そして、多視点符号化処理は終了する。
【０１６８】
なお、図２１の多視点符号化処理では、説明の便宜上、SPSがスライス単位で生成されるようにしたが、現在の対象スライスのSPSが、以前の対象スライスのSPSと同一である場合、そのSPSは生成されない。このことは、Subset SPS,PPS,SEIについても同様である。
【０１６９】
[復号装置の第２実施の形態の構成例]
図２２は、図１４の符号化装置５０から伝送される符号化ビットストリームを復号する、本技術を適用した画像処理装置としての復号装置の第２実施の形態の構成例を示すブロック図である。
【０１７０】
図２２に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７１】
図２２の復号装置８０の構成は、主に、多視点画像復号部３１の代わりに多視点画像復号部８１が設けられている点が図１０の構成と異なる。図２２の復号装置８０は、符号化装置５０から伝送されてくる符号化ビットストリームのSubset SPSに含まれる解像度フラグと画枠変換情報を抽出し、SEIに含まれる解像度フラグと画枠変換情報以外の付加情報を抽出する。
【０１７２】
具体的には、復号装置８０の多視点画像復号部８１は、図１４の符号化装置５０から伝送されてくる符号化ビットストリームを受け取る。多視点画像復号部８１は、受け取られた符号化ビットストリームのSubset SPSに含まれる解像度フラグと画枠変換情報を抽出する。また、多視点画像復号部８１は、SEIに含まれる多視点カラー画像の視点数、多視点デプス画像の視点数、カラー画像特定情報、およびデプス画像特定情報を抽出する。そして、多視点画像復号部８１は、抽出された解像度フラグ、画枠変換情報、多視点カラー画像の視点数、多視点デプス画像の視点数、カラー画像特定情報、およびデプス画像特定情報からなる付加情報を、抽出部３２に供給する。また、多視点画像復号部８１は、図１０の多視点画像復号部３１と同様に、符号化ビットストリームを、MVC方式に対応する方式で復号して、多視点補正カラー画像および画枠変換処理後の多視点デプス画像を生成し、抽出部３２に供給する。
【０１７３】
[復号装置の処理の説明]
図２２の復号装置８０の復号処理は、多視点復号処理を除いて、図１１の復号処理と同様であるので、多視点復号処理についてのみ説明する。
【０１７４】
図２３は、図２２の復号装置８０の多視点復号処理の詳細を説明するフローチャートである。この多視点復号処理は、例えば、スライス単位で行われる。また、図２３の多視点復号処理では、復号対象の画像が、カラー画像Ａ、カラー画像Ｂ、デプス画像Ａ、およびデプス画像Ｂであるものとする。
【０１７５】
図２３のステップＳ１３１において、多視点画像復号部８１は、受け取られた符号化ビットストリームからSPSを抽出する。ステップＳ１３２において、多視点画像復号部８１は、符号化ビットストリームからカラー画像Ｂ用のSubset SPSを抽出する。
【０１７６】
ステップＳ１３３において、多視点画像復号部８１は、符号化ビットストリームからデプス画像ＡおよびＢ用のSubset SPSを抽出し、そのSubset SPSに含まれる解像度フラグと画枠変換情報を抽出部３２に出力する。ステップＳ１３４において、多視点画像復号部８１は、符号化ビットストリームからカラー画像ＡおよびＢ用のPPSを抽出する。
【０１７７】
ステップＳ１３５において、多視点画像復号部８１は、符号化ビットストリームからデプス画像ＡおよびＢ用のPPSを抽出する。
【０１７８】
ステップＳ１３６において、多視点画像復号部８１は、符号化ビットストリームからSEIを抽出し、そのSEIに含まれる多視点カラー画像の視点数、多視点デプス画像の視点数、カラー画像特定情報、およびデプス画像特定情報を抽出部３２に出力する。
【０１７９】
ステップＳ１３７において、多視点画像復号部８１は、カラー画像Ａの対象スライスのヘッダに含まれるカラー画像ＡおよびＢ用のPPSのID（例えば、0）に基づいて、そのIDが付与されたカラー画像ＡおよびＢ用のPPSをアクティブにする。ステップＳ１３８において、多視点画像復号部８１は、ステップＳ１３７でアクティブにされたカラー画像ＡおよびＢ用のPPSに含まれるSPSのID（例えば、0）に基づいて、そのIDが付与されたSPSをアクティブにする。
【０１８０】
ステップＳ１３９において、多視点画像復号部８１は、アクティブにされているカラー画像ＡおよびＢ用のPPSとSPSを参照して、カラー画像Ａの対象スライスをベースビューとして復号し、抽出部３２に供給する。
【０１８１】
ステップＳ１４０において、多視点画像復号部８１は、デプス画像Ａの対象スライスのヘッダに含まれるデプス画像ＡおよびＢ用のPPSのID（例えば、1）に基づいて、そのIDが付与されたデプス画像ＡおよびＢ用のPPSをアクティブにする。
【０１８２】
ステップＳ１４１において、多視点画像復号部８１は、ステップＳ１４０でアクティブにされたデプス画像ＡおよびＢ用のPPSに含まれるデプス画像ＡおよびＢ用のSubset SPSのID（例えば、1）に基づいて、そのIDが付与されたデプス画像ＡおよびＢ用のSubset SPSをアクティブにする。
【０１８３】
ステップＳ１４２において、多視点画像復号部８１は、アクティブにされているデプス画像ＡおよびＢ用のPPSとSubset SPSを参照して、デプス画像Ａの対象スライスをノンベースビューとして復号し、抽出部３２に供給する。
【０１８４】
ステップＳ１４３において、多視点画像復号部８１は、カラー画像Ａの対象スライスのヘッダに含まれるカラー画像ＡおよびＢ用のPPSのID（例えば、0）に基づいて、そのIDが付与されたカラー画像ＡおよびＢ用のPPSをアクティブにする。
【０１８５】
ステップＳ１４４において、多視点画像復号部８１は、ステップＳ１４３でアクティブにされたカラー画像ＡおよびＢ用のPPSに含まれるカラー画像Ｂ用のSubset SPSのID（例えば、0）に基づいて、そのIDが付与されたカラー画像Ｂ用のSubset SPSをアクティブにする。
【０１８６】
ステップＳ１４５において、多視点画像復号部８１は、アクティブにされているカラー画像ＡおよびＢ用のPPSとカラー画像Ｂ用のSubset SPSを参照して、カラー画像Ｂの対象スライスをノンベースビューとして復号し、抽出部３２に供給する。
【０１８７】
ステップＳ１４６において、多視点画像復号部８１は、デプス画像Ｂの対象スライスのヘッダに含まれるデプス画像ＡおよびＢ用のPPSのID（例えば、1）に基づいて、そのIDが付与されたデプス画像ＡおよびＢ用のPPSをアクティブにする。
【０１８８】
ステップＳ１４７において、多視点画像復号部８１は、ステップＳ１４６でアクティブにされたデプス画像ＡおよびＢ用のPPSに含まれるデプス画像ＡおよびＢ用のSubset SPSのID（例えば、1）に基づいて、そのIDが付与されたデプス画像ＡおよびＢ用のSubset SPSをアクティブにする。
【０１８９】
ステップＳ１４８において、多視点画像復号部８１は、アクティブにされているデプス画像ＡおよびＢ用のPPSとSubset SPSを参照して、デプス画像Ｂの対象スライスをノンベースビューとして復号し、抽出部３２に供給する。そして、多視点復号処理は終了する。
【０１９０】
なお、図２３の多視点復号処理では、説明の便宜上、SPS, Subset SPS,PPS、およびSEIが、全スライスに対して生成されているものとし、スライスごとに常に抽出されるようにしたが、SPS,Subset SPS,PPS,SEIが生成されないスライスが存在する場合には、そのSPS,Subset SPS,PPS,SEIを抽出する処理はスキップされる。
【０１９１】
本実施の形態では、多視点デプス画像が、多視点補正カラー画像から生成されたが、多視点カラー画像の撮像時に、視差値やデプス値(デプス情報)を検出するセンサにより生成されてもよい。
【０１９２】
また、付加情報には、カラー画像特定情報とデプス画像特定情報のうちのいずれか一方のみが含まれるようにしてもよい。この場合、復号装置３０（８０）は、多視点カラー画像および多視点デプス画像のうちの特定されない方の画像を、特定されない方の画像として特定する。例えば、付加情報にカラー画像特定情報のみが含まれる場合、復号装置３０は、カラー画像特定情報に基づいて、多視点カラー画像を特定し、それ以外の画像を多視点デプス画像と特定する。
【０１９３】
また、付加情報の伝送方法は、上述した例に限らず、付加情報は、VCL（Video Coding Layer），NAL(Network Abstraction Layer)のSPSやPPS等に含まれて伝送されるようにすることもできる。
【０１９４】
＜第３実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１９５】
そこで、図２５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１９６】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部８０８やROM（Read Only Memory）８０２に予め記録しておくことができる。
【０１９７】
あるいはまた、プログラムは、リムーバブルメディア８１１に格納（記録）しておくことができる。このようなリムーバブルメディア８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１９８】
なお、プログラムは、上述したようなリムーバブルメディア８１１からドライブ８１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部８０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１９９】
コンピュータは、CPU(Central Processing Unit)８０１を内蔵しており、CPU８０１には、バス８０４を介して、入出力インタフェース８０５が接続されている。
【０２００】
CPU８０１は、入出力インタフェース８０５を介して、ユーザによって、入力部８０６が操作等されることにより指令が入力されると、それに従って、ROM８０２に格納されているプログラムを実行する。あるいは、CPU８０１は、記憶部８０８に格納されたプログラムを、RAM(Random Access Memory)８０３にロードして実行する。
【０２０１】
これにより、CPU８０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース８０５を介して、出力部８０７から出力、あるいは、通信部８０９から送信、さらには、記憶部８０８に記録等させる。
【０２０２】
なお、入力部８０６は、キーボードや、マウス、マイク等で構成される。また、出力部８０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２０３】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２０４】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２０５】
本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して通信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像処理装置に適用することができる。
【０２０６】
また、上述した画像処理装置は、任意の電子機器に適用することができる。以下にその例について説明する。
【０２０７】
＜第４実施の形態＞
［テレビジョン装置の構成例］
図２６は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０２０８】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０２０９】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０２１０】
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０２１１】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０２１２】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０２１３】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
【０２１４】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０２１５】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０２１６】
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
【０２１７】
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０２１８】
このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、まとめて符号化された解像度の異なるカラー画像とデプス画像を復号することができる。
【０２１９】
＜第５実施の形態＞
［携帯電話機の構成例］
図２７は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
【０２２０】
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０２２１】
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０２２２】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０２２３】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０２２４】
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０２２５】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０２２６】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０２２７】
このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、解像度の異なるカラー画像とデプス画像をまとめて符号化することができる。また、まとめて符号化された解像度の異なるカラー画像とデプス画像を復号することができる。
【０２２８】
＜第６実施の形態＞
［記録再生装置の構成例］
図２８は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０２２９】
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０２３０】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０２３１】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０２３２】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０２３３】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０２３４】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
【０２３５】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０２３６】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
【０２３７】
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０２３８】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０２３９】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
【０２４０】
このように構成された記録再生装置では、デコーダ９４７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、まとめて符号化された解像度の異なるカラー画像とデプス画像を復号することができる。
【０２４１】
＜第７実施の形態＞
［撮像装置の構成例］
図２９は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０２４２】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０２４３】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０２４４】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０２４５】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
【０２４６】
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０２４７】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０２４８】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０２４９】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０２５０】
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
【０２５１】
このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、解像度の異なるカラー画像とデプス画像をまとめて符号化することができる。また、まとめて符号化された解像度の異なるカラー画像とデプス画像を復号することができる。
【０２５２】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２５３】
なお、本技術は、以下のような構成もとることができる。
（１）
デプス画像の解像度をカラー画像と同一の解像度に解像度変換する解像度変換部と、
前記カラー画像または前記デプス画像を特定する情報と、前記解像度変換部により解像度変換された前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を生成する生成部と、
前記カラー画像と、前記デプス画像と、前記生成部により生成された前記付加情報とを伝送する伝送部と
を備える画像処理装置。
（２）
前記カラー画像と前記デプス画像とを符号化してビットストリームを生成する符号化部
をさらに備え、
前記伝送部は、前記符号化部により符号化された前記ビットストリームと、前記生成部により生成された前記付加情報とを伝送する
前記（１）に記載の画像処理装置。
（３）
前記符号化部は、前記カラー画像と前記デプス画像とをMVC（Multiview Video Coding）方式で符号化し、前記付加情報を、前記ビットストリームの補助情報であるSEI（Supplemental Enhancement Information）として生成する
前記（２）に記載の画像処理装置。
（４）
前記符号化部は、前記カラー画像と前記デプス画像とをMVC（Multiview Video Coding）方式で符号化し、前記カラー画像または前記デプス画像を特定する情報を、前記ビットストリームの補助情報であるSEI（Supplemental Enhancement Information）として生成し、前記変換情報と前記解像度情報とを、前記ビットストリームのSubset SPS（Sequence Parameter Set）として生成する
前記（２）に記載の画像処理装置。
（５）
前記解像度変換部は、前記カラー画像に比べて解像度の低い前記デプス画像に対して前記画像を付加することにより、前記デプス画像の解像度を前記カラー画像の解像度と同一の解像度に解像度変換する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
画像処理装置が、
デプス画像の解像度をカラー画像と同一の解像度に解像度変換する解像度変換ステップと、
前記カラー画像または前記デプス画像を特定する情報と、前記解像度変換ステップの処理により解像度変換された前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を生成する生成ステップと、
前記カラー画像と、前記デプス画像と、前記生成ステップの処理により生成された前記付加情報とを伝送する伝送ステップと
を含む画像処理方法。
（７）
カラー画像、前記カラー画像と同一の解像度に変換されたデプス画像、並びに、前記カラー画像または前記デプス画像を特定する情報と、前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記付加情報に基づいて、前記デプス画像から、解像度変換前のデプス画像を抽出する抽出部と、
前記カラー画像と、前記抽出部により抽出された前記デプス画像とを用いて、新たなカラー画像を生成する生成部と
を備える画像処理装置。
（８）
前記カラー画像と前記デプス画像が符号化されたビットストリームを復号する復号部
をさらに備え、
前記受け取り部は、前記ビットストリームと前記付加情報とを受け取り、
前記復号部は、前記受け取り部により受け取られた前記ビットストリームを復号して前記カラー画像と前記デプス画像を生成し、
前記抽出部は、前記付加情報に基づいて、前記復号部により生成された前記デプス画像から、前記解像度変換前のデプス画像を抽出する
前記（７）に記載の画像処理装置。
（９）
前記受け取り部は、前記カラー画像と前記デプス画像がMVC（Multiview Video Coding）方式で符号化された前記ビットストリームと、前記ビットストリームの補助情報であるSEI（Supplemental Enhancement Information）として生成された前記付加情報とを受け取る
前記（８）に記載の画像処理装置。
（１０）
前記受け取り部は、前記カラー画像と前記デプス画像がMVC（Multiview Video Coding）方式で符号化された前記ビットストリームと、前記ビットストリームの補助情報であるSEI（Supplemental Enhancement Information）として生成された前記カラー画像または前記デプス画像を特定する情報と、前記ビットストリームのSubset SPS（Sequence Parameter Set）として生成された前記変換情報と前記解像度情報とを受け取る
前記（８）に記載の画像処理装置。
（１１）
前記デプス画像の解像度は、前記カラー画像に比べて解像度の低い前記デプス画像に対して前記画像が付加されることにより、前記カラー画像の解像度と同一の解像度に変換される
前記（７）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
画像処理装置が、
カラー画像、前記カラー画像と同一の解像度に変換されたデプス画像、並びに、前記カラー画像または前記デプス画像を特定する情報と、前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記付加情報に基づいて、前記デプス画像から、解像度変換前のデプス画像を抽出する抽出ステップと、
前記カラー画像と、前記抽出ステップの処理により抽出された前記デプス画像とを用いて、新たなカラー画像を生成する生成ステップと
を含む画像処理方法。
【符号の説明】
【０２５４】
１０  符号化装置，  １４  画枠変換部，  １５  付加情報生成部，  １６  多視点画像符号化部，  ３０  復号装置，  ３１  多視点画像復号部，  ３２  抽出部，  ３３  視点合成部，  ５０  符号化装置，  ５１  多視点画像符号化部，  ８０  復号装置，  ８１  多視点画像復号部
【図１】
2012128069.tif 000006
【図２】
2012128069.tif 000007
【図３】
2012128069.tif 000008
【図４】
2012128069.tif 000009
【図５】
2012128069.tif 000010
【図６】
2012128069.tif 000011
【図７】
2012128069.tif 000012
【図８】
2012128069.tif 000013
【図９】
2012128069.tif 000014
【図１０】
2012128069.tif 000015
【図１１】
2012128069.tif 000016
【図１２】
2012128069.tif 000017
【図１３】
2012128069.tif 000018
【図１４】
2012128069.tif 000019
【図１５】
2012128069.tif 000020
【図１６】
2012128069.tif 000021
【図１７】
2012128069.tif 000022
【図１８】
2012128069.tif 000023
【図１９】
2012128069.tif 000024
【図２０】
2012128069.tif 000025
【図２１】
2012128069.tif 000026
【図２２】
2012128069.tif 000027
【図２３】
2012128069.tif 000028
【図２４】
2012128069.tif 000029
【図２５】
2012128069.tif 000030
【図２６】
2012128069.tif 000031
【図２７】
2012128069.tif 000032
【図２８】
2012128069.tif 000033
【図２９】
2012128069.tif 000034
【手続補正書】
【提出日】平成24年7月18日(2012.7.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カラー画像またはデプス画像を特定する情報と、前記カラー画像と同一の解像度に解像度変換された前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を生成する生成部と、
前記カラー画像と、前記デプス画像と、前記生成部により生成された前記付加情報とを伝送する伝送部と
を備える画像処理装置。
【請求項２】
前記カラー画像と前記デプス画像とを符号化してビットストリームを生成する符号化部
をさらに備え、
前記伝送部は、前記符号化部により符号化された前記ビットストリームと、前記生成部により生成された前記付加情報とを伝送する
請求項１に記載の画像処理装置。
【請求項３】
前記符号化部は、前記カラー画像と前記デプス画像とをＭＶＣ（Ｍｕｌｔｉ  ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）方式で符号化し、前記付加情報を、前記ビットストリームの補助情報であるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）として生成する
請求項２に記載の画像処理装置。
【請求項４】
前記符号化部は、前記カラー画像と前記デプス画像とをＭＶＣ（Ｍｕｌｔｉ  ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）方式で符号化し、前記カラー画像または前記デプス画像を特定する情報を、前記ビットストリームの補助情報であるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）として生成し、前記変換情報と前記解像度情報とを、前記ビットストリームのＳｕｂｓｅｔ  ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）として生成する
請求項２に記載の画像処理装置。
【請求項５】
前記デプス画像の解像度を前記カラー画像と同一の解像度に解像度変換する解像度変換部
をさらに備える
請求項１に記載の画像処理装置。
【請求項６】
前記解像度変換部は、前記カラー画像に比べて解像度の低い前記デプス画像に対して前記画像を付加することにより、前記デプス画像の解像度を前記カラー画像の解像度と同一の解像度に解像度変換する
請求項５に記載の画像処理装置。
【請求項７】
画像処理装置が、
カラー画像またはデプス画像を特定する情報と、前記カラー画像と同一の解像度に解像度変換された前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を生成する生成ステップと、
前記カラー画像と、前記デプス画像と、前記生成ステップの処理により生成された前記付加情報とを伝送する伝送ステップと
を含む画像処理方法。
【請求項８】
カラー画像、前記カラー画像と同一の解像度に変換されたデプス画像、並びに、前記カラー画像または前記デプス画像を特定する情報と、前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記付加情報に基づいて、前記デプス画像から、解像度変換前のデプス画像を抽出する抽出部と、
前記カラー画像と、前記抽出部により抽出された前記デプス画像とを用いて、新たなカラー画像を生成する生成部と
を備える画像処理装置。
【請求項９】
前記カラー画像と前記デプス画像が符号化されたビットストリームを復号する復号部
をさらに備え、
前記受け取り部は、前記ビットストリームと前記付加情報とを受け取り、
前記復号部は、前記受け取り部により受け取られた前記ビットストリームを復号して前記カラー画像と前記デプス画像を生成し、
前記抽出部は、前記付加情報に基づいて、前記復号部により生成された前記デプス画像から、前記解像度変換前のデプス画像を抽出する
請求項８に記載の画像処理装置。
【請求項１０】
前記受け取り部は、前記カラー画像と前記デプス画像がＭＶＣ（Ｍｕｌｔｉ  ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）方式で符号化された前記ビットストリームと、前記ビットストリームの補助情報であるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）として生成された前記付加情報とを受け取る
請求項９に記載の画像処理装置。
【請求項１１】
前記受け取り部は、前記カラー画像と前記デプス画像がＭＶＣ（Ｍｕｌｔｉ  ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）方式で符号化された前記ビットストリームと、前記ビットストリームの補助情報であるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）として生成された前記カラー画像または前記デプス画像を特定する情報と、前記ビットストリームのＳｕｂｓｅｔ  ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）として生成された前記変換情報と前記解像度情報とを受け取る
請求項９に記載の画像処理装置。
【請求項１２】
前記デプス画像の解像度は、前記カラー画像に比べて解像度の低い前記デプス画像に対して前記画像が付加されることにより、前記カラー画像の解像度と同一の解像度に変換される
請求項８に記載の画像処理装置。
【請求項１３】
画像処理装置が、
カラー画像、前記カラー画像と同一の解像度に変換されたデプス画像、並びに、前記カラー画像または前記デプス画像を特定する情報と、前記デプス画像に含まれる画像の領域を表す変換情報と、前記カラー画像と前記デプス画像の解像度が異なるかを識別する解像度情報とを含む付加情報を受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記付加情報に基づいて、前記デプス画像から、解像度変換前のデプス画像を抽出する抽出ステップと、
前記カラー画像と、前記抽出ステップの処理により抽出された前記デプス画像とを用いて、新たなカラー画像を生成する生成ステップと
を含む画像処理方法。
【国際調査報告】
2012128069.tif 000035
2012128069.tif 000036