(57)【要約】本技術は、低解像度化されたデプス画像が送信される場合において、受信側で、そのデプス画像を用いて所定の視点の画像を高精度に生成することができるようにする画像処理装置および画像処理方法に関する。視差画像高解像度化部は、互換画像の解像度の1/2の解像度の補助画像の視差画像をそれぞれ高解像度化する。視差画像ワーピング処理部は、仮想視点の位置に基づいて、高解像度化された補助画像の視差画像に対してワーピング処理を行うことにより、仮想視点の視差画像を生成する。スムージング処理部は、仮想視点の視差画像を対象として、オクルージョン領域の視差値を補正する。本技術は、例えば、メガネ無し方式の３Ｄ画像を復号する復号装置に適用することができる。
2012111756.tif 000002
【特許請求の範囲】
【請求項１】
低解像度化されたデプス画像を受け取る受け取り部と、
前記受け取り部により受け取られた前記デプス画像を高解像度化する高解像度化部と、
仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記デプス画像に対してワーピング処理を行うことにより、前記仮想視点のデプス画像を生成するデプス画像ワーピング処理部と、
前記デプス画像ワーピング処理部により生成された前記仮想視点のデプス画像を対象として、前記仮想視点の視点画像には存在するが、その仮想視点のデプス画像の生成に用いられた前記デプス画像に対応する視点画像には存在しない領域であるオクルージョン領域の画素値を補正する補正部と
を備える画像処理装置。
【請求項２】
前記補正部は、前記仮想視点のデプス画像内の前記オクルージョン領域の前記所定値以外の画素値に対応する画素を検出し、検出した画素の画素値を前記所定値に補正する
請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、前記仮想視点のデプス画像内の前記所定値以外の画素値に対応する画素のうち、周辺画素の画素値が前記所定値である画素を、前記オクルージョン領域の前記所定値以外の画素値に対応する画素として検出する
請求項２に記載の画像処理装置。
【請求項４】
前記受け取り部は、前記デプス画像の画素値が変化する位置である境界位置に隣接する画素を示す境界情報を受け取り、
前記補正部は、前記仮想視点のデプス画像内の前記所定値以外の画素値に対応する画素のうち、周辺画素の画素値が前記所定値であり、前記境界情報に示される画素を、前記オクルージョン領域の前記所定値以外の画素値に対応する画素として検出する
請求項２に記載の画像処理装置。
【請求項５】
低解像度化され、符号化された前記デプス画像である符号化デプス画像を復号する復号部
をさらに備え、
前記受け取り部は、前記符号化デプス画像を受け取り、
前記復号部は、前記受け取り部により受け取られた前記符号化デプス画像を復号し、
前記高解像度化部は、前記復号部により復号された前記符号化デプス画像を高解像度化する
請求項１に記載の画像処理装置。
【請求項６】
前記補正部により補正された前記仮想視点のデプス画像に基づいて、視点画像に対してワーピング処理を行うことにより、前記仮想視点の視点画像を生成する視点画像ワーピング処理部
をさらに備える
請求項１に記載の画像処理装置。
【請求項７】
前記視点画像ワーピング処理部により生成された前記視点画像の前記オクルージョン領域を補間する補間部
をさらに備える
請求項６に記載の画像処理装置。
【請求項８】
前記受け取り部は、第１の視点の前記視点画像および第２の視点の前記視点画像と、前記第１の視点の前記低解像度化されたデプス画像および前記第２の視点の前記低解像度化されたデプス画像とを受け取り、
前記デプス画像ワーピング処理部は、前記仮想視点の位置に基づいて、高解像度化された前記第１の視点のデプス画像に対してワーピング処理を行うことにより、前記仮想視点の第１のデプス画像を生成するとともに、前記仮想視点の位置に基づいて、高解像度化された前記第２の視点のデプス画像に対してワーピング処理を行うことにより、前記仮想視点の第２のデプス画像を生成し、
前記視点画像ワーピング処理部は、前記補正部により補正された前記仮想視点の前記第１のデプス画像に基づいて、前記第１の視点の視点画像に対してワーピング処理を行うことにより、前記仮想視点の第１の視点画像を生成するとともに、前記第２のデプス画像に基づいて、前記第２の視点の視点画像に対してワーピング処理を行うことにより、前記仮想視点の第２の視点画像を生成し、
前記補間部は、前記視点画像ワーピング処理部により生成された前記仮想視点の前記第１の視点画像および前記第２の視点画像のうちの一方の前記オクルージョン領域を、他方で補間する
請求項７に記載の画像処理装置。
【請求項９】
画像処理装置が、
低解像度化されたデプス画像を受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記デプス画像を高解像度化する高解像度化ステップと、
仮想視点の位置に基づいて、前記高解像度化ステップの処理により高解像度化された前記デプス画像に対してワーピング処理を行うことにより、前記仮想視点のデプス画像を生成するデプス画像ワーピング処理ステップと、
前記デプス画像ワーピング処理ステップの処理により生成された前記仮想視点のデプス画像を対象として、前記仮想視点の視点画像には存在するが、その仮想視点のデプス画像の生成に用いられた前記デプス画像に対応する視点画像には存在しない領域であるオクルージョン領域の画素値を補正する補正ステップと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関し、特に、低解像度化されたデプス画像が送信される場合において、受信側で、そのデプス画像を用いて所定の視点の画像を高精度に生成することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
現在、３Ｄ画像の視聴方式としては、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下、メガネ有り方式という）が一般的である。【０００３】
しかしながら、このようなメガネ有り方式では、視聴者は、３Ｄ画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに３Ｄ画像を視聴可能な視聴方式（以下、メガネ無し方式という）の需要が高まっている。【０００４】
メガネ無し方式では、３視点以上の視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。【０００５】
メガネ無し方式の視聴を提供する復号装置は、例えば、２視点の画像から３視点以上の視点（以下では、３視点以上の視点を多視点という）の画像を生成し、表示する。具体的には、符号化装置が、２視点の画像の視差(depth)値を求め、その視差値を輝度値等で表す視差画像（デプス画像）を復号装置に伝送する。そして、復号装置は、受信された２視点の画像の視差画像のワーピング処理を行うことにより多視点の視差画像を生成し、その多視点の視差画像を用いて２視点の画像のワーピング処理を行うことにより多視点の画像を生成し、合成して表示する。【０００６】
なお、ワーピング処理とは、所定の視点の視差画像（または画像）の各画素の視差値（または画素値）を、その画素に対応する、仮想視点の視差画像（または画像）上の画素の視差値（または画素値）とする処理である。【０００７】
また、既存の画像の符号化方式としては、AVC（Advanced Video Coding）やMVC（Multiview Video Coding）方式がある。さらに、多視点の画像を符号化する方式も考案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−１８２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、メガネ無し方式の視聴を提供する復号装置に対応する符号化装置が、視差画像を低解像度化することにより、視差画像のデータ量を削減する場合、復号装置は、受信された視差画像を高解像度化し、低解像度化前の視差画像を生成する必要がある。【００１０】
しかしながら、低解像度化された視差画像を高解像度化し、低解像度化前の視差画像を生成することは困難である。特に、視差値が大きく変化する境界位置では、低解像度化前の視差値と高解像度化後の視差値の誤差が大きくなる。その結果、復号装置において、視差画像のワーピング処理が正確に行われず、ワーピング処理後の視差画像を用いて生成される所定の視点の画像が破綻する場合があった。【００１１】
本技術は、このような状況に鑑みてなされたものであり、低解像度化された視差画像が送信される場合において、受信側で、その視差画像を用いて所定の視点の画像を高精度に生成することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の一側面の画像処理装置は、低解像度化されたデプス画像を受け取る受け取り部と、前記受け取り部により受け取られた前記デプス画像を高解像度化する高解像度化部と、仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記デプス画像に対してワーピング処理を行うことにより、前記仮想視点のデプス画像を生成するデプス画像ワーピング処理部と、前記デプス画像ワーピング処理部により生成された前記仮想視点のデプス画像を対象として、前記仮想視点の視点画像には存在するが、その仮想視点のデプス画像の生成に用いられた前記デプス画像に対応する視点画像には存在しない領域であるオクルージョン領域の画素値を補正する補正部とを備える画像処理装置である。【００１３】
本技術の一側面の画像処理方法は、本技術の一側面の画像処理装置に対応する。【００１４】
本技術の一側面においては、低解像度化されたデプス画像が受け取られ、受け取られた前記デプス画像が高解像度化され、仮想視点の位置に基づいて、高解像度化された前記デプス画像に対してワーピング処理が行われることにより、前記仮想視点のデプス画像が生成され、前記仮想視点のデプス画像を対象として、前記仮想視点の視点画像には存在するが、その仮想視点のデプス画像の生成に用いられた前記デプス画像に対応する視点画像には存在しない領域であるオクルージョン領域の画素値が補正される。【００１５】
なお、本技術の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１６】
また、本技術の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１７】
本技術の一側面によれば、低解像度化されたデプス画像が送信されてくる場合において、そのデプス画像を用いて所定の視点の画像を高精度に生成することができる。
【図面の簡単な説明】
【００１８】
【図１】符号化装置の第１実施の形態の構成例を示すブロック図である。
【図２】図１の符号化装置による符号化処理を説明するフローチャートである。
【図３】図１の符号化装置による符号化処理を説明するフローチャートである。
【図４】本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。
【図５】図４の３Ｄ画像生成部の詳細構成例を示すブロック図である。
【図６】仮想視点の画像の生成を説明する図である。
【図７】視差画像のワーピング処理を説明する図である。
【図８】低解像度化される前の視差画像と、その視差画像のワーピング処理結果を示す図である。
【図９】低解像度化された視差画像、高解像度化された視差画像、および、その視差画像のワーピング処理結果を示す図である。
【図１０】スムージング処理を説明する図である。
【図１１】図４の復号装置による復号処理を説明するフローチャートである。
【図１２】図１１の多視点画像生成処理の詳細を説明するフローチャートである。
【図１３】符号化装置の第２実施の形態の構成例を示すブロック図である。
【図１４】境界情報の例を示す図である。
【図１５】図１３の符号化装置による符号化処理を説明するフローチャートである。
【図１６】図１３の符号化装置による符号化処理を説明するフローチャートである。
【図１７】図１６の境界情報生成処理を説明するフローチャートである。
【図１８】本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。
【図１９】図１８の３Ｄ画像生成部の詳細構成例を示すブロック図である。
【図２０】境界情報に基づくスムージング処理を説明する図である。
【図２１】図１８の復号装置による復号処理を説明するフローチャートである。
【図２２】図２１の多視点画像生成処理を説明するフローチャートである。
【図２３】視差と奥行きについて説明する図である。
【図２４】コンピュータの一実施の形態の構成例を示す図である。
【図２５】本技術を適用したテレビジョン装置の概略構成を示す図である。
【図２６】本技術を適用した携帯電話機の概略構成を示す図である。
【図２７】本技術を適用した記録再生装置の概略構成を示す図である。
【図２８】本技術を適用した撮像装置の概略構成を示す図である。
【発明を実施するための形態】
【００１９】
＜本明細書におけるデプス画像（視差画像）の説明＞
図２３は、視差と奥行きについて説明する図である。
【００２０】
図２３に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。
【００２１】
2012111756.tif 000003
・・・（ａ）
【００２２】
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影された撮影画像上の被写体Ｍの位置の、撮影画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影された撮影画像上の被写体Ｍの位置の、撮影画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
【００２３】
式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（視差画像）とする。
【００２４】
なお、デプス画像（視差画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
【００２５】
視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【００２６】
【数３】
2012111756.tif 000004
【００２７】
なお、式（ｂ）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【００２８】
また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【００２９】
【数４】
2012111756.tif 000005
【００３０】
なお、式（ｃ）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【００３１】
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像（視差画像）とする。ここでは、デプス画像（視差画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
【００３２】
なお、デプス画像（視差画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報）とする。更に、値I又は値yをマッピングしたものをデプスマップ（視差マップ）とする。
【００３３】
＜第１実施の形態＞
［符号化装置の第１実施の形態の構成例］
図１は、本技術を適用した画像処理装置に対応する符号化装置の第１実施の形態の構成例を示すブロック図である。
【００３４】
図１の符号化装置５０は、撮影部５１Ａ乃至５１Ｃ、画像変換部５２、視差画像生成部５３、画像情報生成部５４、互換情報生成部５５、撮影情報生成部５６、視差画像多重化情報生成部５７、エンコーダ５８、および多重化部５９により構成される。
【００３５】
符号化装置５０は、視差画像を低解像度化して符号化し、伝送する。
【００３６】
具体的には、符号化装置５０において、撮影部５１Ａは、所定の視点のHD（High Definition）画像を視点画像Ａ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５６に供給する。撮影部５１Ｂは、撮影部５１Ａから距離Δｄ１ＡＢだけ水平方向に離れた位置で、視点画像Ａ１とは異なる視点のHD画像を視点画像Ｂ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５６に供給する。撮影部５１Ｃは、撮影部５１Ａから距離Δｄ１ＡＣだけ撮影部５１Ａとは反対の水平方向に離れた位置で、視点画像Ａ１および視点画像Ｂ１とは異なる視点のHD画像を視点画像Ｃ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５６に供給する。
【００３７】
なお、視点画像Ｂ１と視点画像Ｃ１に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置５０に対応する復号装置は、視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ｂ１および視点画像Ｃ１の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ１ＡＢと距離Δｄ１ＡＣは、固定であってもよいし、時間ごとに変化するようにしてもよい。
【００３８】
画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される視点画像Ａ１を互換画像に決定する。なお、互換画像とは、多視点の画像のうちの、既存の符号化装置との互換性を確保するために既存の符号化方式で符号化される画像である。画像変換部５２は、互換画像として視点画像Ａ１を指定する情報を互換情報生成部５５に供給し、互換画像である視点画像Ａ１をそのままエンコーダ５８に供給する。
【００３９】
また、画像変換部５２は、視点画像Ａ１以外の視点画像Ｂ１および視点画像Ｃ１を補助画像とする。なお、補助画像とは、互換画像を用いて互換画像の視点数より多い視点の画像を生成するための画像である。画像変換部５２は、所定の多重化方式に基づいて、補助画像である視点画像Ｂ１および視点画像Ｃ１を低解像度化して多重化する。具体的には、例えば多重化方式がサイドバイサイド方式である場合、画像変換部５２は、視点画像Ｂ１および視点画像Ｃ１の解像度を半分にする。そして、画像変換部５２は、解像度が半分にされた視点画像Ｂ１（以下、1/2解像度視点画像Ｂ１という）が画面の左半分の画像となり、解像度が半分にされた視点画像Ｃ１（以下、1/2解像度視点画像Ｃ１という）が画面の右半分の画像となるように、1/2解像度視点画像Ｂ１および1/2解像度視点画像Ｃ１を多重化する。画像変換部５２は、多重化の結果得られる多重化画像をエンコーダ５８に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。
【００４０】
視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１の各画素の視差値を検出する。視差画像生成部５３は、互換画像である視点画像Ａ１の各画素の視差値を表す視差画像Ａ１’を生成し、エンコーダ５８に供給する。
【００４１】
また、視差画像生成部５３は、所定の多重化方式に基づいて、視差画像Ｂ１’と視差画像Ｃ１’を低解像度化して多重化し、その結果得られる多重化画像をエンコーダ５８に供給する。視差画像生成部５３は、補助画像の視差画像の多重化方式を示す情報を視差画像多重化情報生成部５７に供給する。
【００４２】
画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを、互換画像および補助画像に関する情報である画像情報として生成し、エンコーダ５８に供給する。
【００４３】
互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像を指定する情報、互換モードなどを、互換に関する情報である互換情報として生成し、エンコーダ５８に供給する。
【００４４】
なお、互換モードとは、互換画像の符号化方法を表すモードである。互換モードとしては、例えば、１視点の互換画像をAVC方式で符号化する符号化方法を表すモノモード(mono)、２視点の互換画像を多重化し、AVC方式で符号化する符号化方法を表すフレームパッキングモード(frame packing)、２視点の互換画像をMVC方式で符号化する符号化方法を表すステレオモード(stereo)などがある。
【００４５】
撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１のうちの２枚の視点画像の視点間の距離（以下、視点間距離という）を検出する。具体的には、撮影情報生成部５６は、撮影部５１Ａと撮影部５１Ｂの間の水平方向の距離Δｄ１ＡＢ、および、撮影部５１Ａと撮影部５１Ｃの間の水平方向の距離Δｄ１ＡＣを視点間距離として検出する。
【００４６】
また、撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから、撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータとワーピング処理用の回転行列を取得する。なお、内部パラメータとしては、焦点距離、画像中心である主点(レンズの光学的な中心)の位置、半径方向の歪み係数などがある。撮影情報生成部５６は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ５８に供給する。
【００４７】
視差画像多重化情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などの視差画像の多重化に関する情報を、視差画像多重化情報として生成し、エンコーダ５８に供給する。
【００４８】
エンコーダ５８は、互換用エンコーダ６１と補助用エンコーダ６２により構成される。互換用エンコーダ６１は、画像変換部５２から供給される互換画像の多重化画像を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
【００４９】
補助用エンコーダ６２は、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ６２における符号化方式としては、AVC方式、MVC方式、MPEG2（Moving Picture Experts Group phase 2）方式などを用いることができる。
【００５０】
また、補助用エンコーダ６２は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【００５１】
多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳ（Transport Stream）を生成し、多重化する。多重化部５９は、多重化の結果得られる多重化ストリームを伝送する。
【００５２】
［符号化装置の処理の説明］
図２および図３は、図１の符号化装置５０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから視点画像Ａ１乃至視点画像Ｃ１が出力されたとき開始される。
【００５３】
図２のステップＳ１０において、撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから、撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータとワーピング処理用の回転行列を取得する。
【００５４】
ステップＳ１１において、撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１のうちの２枚の視点画像の視点間距離を検出する。
【００５５】
ステップＳ１２において、撮影情報生成部５６は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ５８に供給する。
【００５６】
ステップＳ１３において、画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される視点画像Ａ１を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部５２は、互換画像として視点画像Ａ１を指定する情報を互換情報生成部５５に供給し、補助画像の多重化方式を画像情報生成部５４に供給する。
【００５７】
ステップＳ１４において、互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像として視点画像Ａ１を指定する情報、互換モードとしてのモノモードなどを互換情報として生成し、エンコーダ５８に入力する。
【００５８】
ステップＳ１５において、画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを画像情報として生成し、エンコーダ５８に入力する。
【００５９】
ステップＳ１６において、画像変換部５２は、視点画像Ａ１以外の視点画像Ｂ１および視点画像Ｃ１を補助画像とし、ステップＳ１３で決定された補助画像の多重化方式に基づいて補助画像を低解像度化して多重化し、補助画像の多重化画像を得る。
【００６０】
ステップＳ１７において、画像変換部５２は、互換画像である視点画像Ａ１と補助画像の多重化画像をエンコーダ５８に入力する。
【００６１】
図３のステップＳ１８において、視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて視点画像Ａ１乃至視点画像Ｃ１の各画素の視差値を検出し、視差画像Ａ１’乃至視差画像Ｃ１’を生成する。
【００６２】
ステップＳ１９において、視差画像生成部５３は、補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像多重化情報生成部５７に供給する。
【００６３】
ステップＳ２０において、視差画像多重化情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像多重化情報として生成し、エンコーダ５８に入力する。
【００６４】
ステップＳ２１において、視差画像生成部５３は、ステップＳ２１で決定された補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像Ｂ１’と視差画像Ｃ１’を低解像度化して多重化し、補助画像の視差画像の多重化画像を得る。
【００６５】
ステップＳ２２において、視差画像生成部５３は、互換画像の視差画像Ａ１'と補助画像の視差画像の多重化画像をエンコーダ５８に入力する。
【００６６】
ステップＳ２３において、エンコーダ５８の互換用エンコーダ６１は、画像変換部５２から供給される互換画像である視点画像Ａ１を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部５９に供給する。
【００６７】
ステップＳ２４において、補助用エンコーダ６２は、画像変換部５２からの補助画像の多重化画像、並びに、視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。
【００６８】
ステップＳ２５において、補助用エンコーダ６２は、ステップＳ２４の処理による符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、および視差画像多重化情報生成部５７からの視差画像多重化情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【００６９】
ステップＳ２６において、多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと、補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳを生成し、多重化して送信する。そして、処理は終了する。
【００７０】
以上のように、符号化装置５０は、補助画像および補助画像の視差画像の解像度を低解像度化して符号化するので、低解像度化せずに符号化する場合に比べて、符号化対象の情報量を削減し、符号化処理および復号処理の処理コストを軽減することができる。その結果、復号装置における復号処理の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
【００７１】
また、符号化装置５０は、多視点の画像のうちの１視点の画像を互換画像とし、既存の符号化方式で符号化するので、既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。
【００７２】
さらに、符号化装置５０は、視差画像を生成し、符号化ストリームに含めて送信するので、符号化装置５０に対応する復号装置は、多視点の画像を生成するために視差画像を生成する必要がなく、復号装置の処理の負荷を軽減することができる。その結果、復号装置のコストを低減することができる。また、復号装置の視差検出の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
【００７３】
［復号装置の構成例］
図４は、図１の符号化装置５０から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。
【００７４】
図４の復号装置１２０は、分離部１２１、デコーダ１２２、画像情報取得部１２３、撮影情報取得部１２４、視差画像多重化情報取得部１２５、互換情報取得部１２６、および画像生成部１２７により構成される。復号装置１２０は、符号化装置５０から送信される多重化ストリームを復号し、視差画像のワーピング処理を行って多視点の画像を生成し、図示せぬ表示装置に表示させる。
【００７５】
具体的には、復号装置１２０の分離部１２１は、受け取り部として機能し、符号化装置５０から送信されてくる多重化ストリームを受け取り、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。
【００７６】
デコーダ１２２は、互換用デコーダ１３１と補助用デコーダ１３２により構成される。デコーダ１２２の互換用デコーダ１３１は、補助用デコーダ１３２から供給される互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。互換用デコーダ１３１は、互換情報に基づいて、互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号する。互換用デコーダ１３１は、復号の結果得られる視点画像Ａ１を画像生成部１２７に供給する。
【００７７】
補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ１３２は、復号部として機能し、分離部１２１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図１の補助用エンコーダ６２に対応する方式で復号する。
【００７８】
補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
【００７９】
画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２７に供給する。撮影情報取得部１２４は、補助用デコーダ１３２から供給される撮影情報を取得し、画像生成部１２７に供給する。
【００８０】
視差画像多重化情報取得部１２５は、補助用デコーダ１３２から供給される視差画像多重化情報を取得し、画像生成部１２７に供給する。互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２７に供給する。
【００８１】
画像生成部１２７は、２Ｄ画像生成部１４１と３Ｄ画像生成部１４２により構成される。画像生成部１２７の２Ｄ画像生成部１４１は、視聴者からの２Ｄ画像表示指令に応じて、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。
【００８２】
また、３Ｄ画像生成部１４２は、デコーダ１２２から供給される視点画像Ａ１、補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、互換情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、３Ｄ画像生成部１４２は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【００８３】
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【００８４】
［３Ｄ画像生成部の詳細構成例］
図５は、図４の３Ｄ画像生成部１４２の詳細構成例を示すブロック図である。
【００８５】
図５に示すように、３Ｄ画像生成部１４２は、仮想視点位置決定部１６０、視差画像分離部１６１、視差画像高解像度化部１６２、視差画像ワーピング処理部１６３、視差画像ワーピング処理部１６４、スムージング処理部１６５、スムージング処理部１６６、視点画像ワーピング処理部１６７、視点画像ワーピング処理部１６８、視点画像分離部１６９、視点画像高解像度化部１７０、多視点画像生成部１７１、および多視点画像合成処理部１７２により構成される。
【００８６】
３Ｄ画像生成部１４２の仮想視点位置決定部１６０は、撮影情報取得部１２４から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の視点の位置を仮想視点の位置として決定する。そして、仮想視点位置決定部１６０は、各仮想視点の位置に基づいて、視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４のそれぞれに対して、その仮想視点の画像の生成に用いる、その仮想視点より外側の視点の視差画像を特定する情報である視差画像特定情報を生成する。なお、各仮想視点に対して、視差画像ワーピング処理部１６３に供給される視差画像特定情報と、視差画像ワーピング処理部１６４に供給される視差画像特定情報は異なるように生成される。
【００８７】
また、仮想視点位置決定部１６０は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。
【００８８】
視差画像分離部１６１は、互換情報取得部１２６から供給される互換情報に基づいて、デコーダ１２２から供給される互換画像の視差画像Ａ１’をそのまま視差画像高解像度化部１６２に供給する。また、視差画像分離部１６１は、デコーダ１２２から供給される補助画像の視差画像の多重化画像を、視差画像多重化情報取得部１２５から供給される視差画像多重化情報に基づいて分離する。そして、視差画像分離部１６１は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像を視差画像高解像度化部１６２に供給する。
【００８９】
視差画像高解像度化部１６２は、高解像度化部として機能し、視差画像分離部１６１から供給される互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像をそれぞれ高解像度化する。これにより、視差画像高解像度化部１６２は、互換画像と同一の解像度の視点画像Ｂ１と視点画像Ｃ１の視差画像を得る。そして、視差画像高解像度化部１６２は、得られた視点画像Ｂ１と視点画像Ｃ１の視差画像、並びに、視差画像分離部１６１から供給される視差画像Ａ１’を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。
【００９０】
視差画像ワーピング処理部１６３は、視差画像ワーピング処理部として機能する。具体的には、視差画像ワーピング処理部１６３は、仮想視点ごとに、仮想視点位置決定部１６０から供給される視差画像特定情報に基づいて、視差画像高解像度化部１６２から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像並びに視差画像Ａ１’のうちの１つを選択する。視差画像ワーピング処理部１６３は、仮想視点ごとに、撮影情報取得部１２４からの撮影情報、および、仮想視点位置決定部１６０からの仮想視点の位置に基づいて、選択された視差画像のワーピング処理を行う。視差画像ワーピング処理部１６３は、ワーピング処理により生成される各仮想視点の視差画像をスムージング処理部１６５に供給する。
【００９１】
視差画像ワーピング処理部１６４は、視差画像ワーピング処理部として機能し、視差画像ワーピング処理部１６３と同様の処理を行い、その結果生成された各仮想視点の視差画像を、スムージング処理部１６６に供給する。
【００９２】
スムージング処理部１６５は、補正部として機能し、視差画像ワーピング処理部１６３から供給される各仮想視点の視差画像に対して、オクルージョン領域（詳細は後述する）内の0以外の視差値を取り除くスムージング処理を行う。具体的には、スムージング処理部１６５は、各仮想視点の視差画像からオクルージョン領域内の0以外の視差値を検出し、その視差値を0に補正する。スムージング処理部１６５は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部１６７に供給する。
【００９３】
なお、オクルージョン領域とは、仮想視点と、実際に撮影された視点画像の視点が異なることによって生じる、仮想視点の画像には存在するが、その仮想視点の視差画像の生成に用いられた視差画像に対応する視点画像には存在しない領域である。また、ワーピング処理後の視差画像のうち、ワーピング処理前の視差画像の画素と対応しない画素の視差値は0とされる。従って、本来、オクルージョン領域の視差値は0であり、オクルージョン領域は黒画で表される。
【００９４】
スムージング処理部１６６は、補正部として機能し、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に対して、スムージング処理部１６５と同様にスムージング処理を行う。そして、スムージング処理部１６６は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部１６８に供給する。
【００９５】
視点画像ワーピング処理部１６７は、視点画像ワーピング処理部として機能する。具体的には、視点画像ワーピング処理部１６７は、スムージング処理部１６５から供給される各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部１７０から供給される視点画像のワーピング処理を行う。視点画像ワーピング処理部１６７は、ワーピング処理の結果得られるオクルージョン領域を有する各仮想視点の画像を多視点画像生成部１７１に供給する。
【００９６】
視点画像ワーピング処理部１６８は、視点画像ワーピング処理部として機能し、スムージング処理部１６６から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部１６７と同様の処理を行う。
【００９７】
視点画像分離部１６９は、互換情報取得部１２６から供給される互換情報に基づいて、デコーダ１２２から供給される互換画像である視点画像Ａ１を、そのまま視点画像高解像度化部１７０に供給する。また、視点画像分離部１６９は、画像情報取得部１２３から供給される画像情報に基づいて、デコーダ１２２から供給される補助画像の多重化画像を分離する。視点画像分離部１６９は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１を視点画像高解像度化部１７０に供給する。
【００９８】
視点画像高解像度化部１７０は、視点画像分離部１６９から供給される互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１それぞれに対して補間処理を行うことにより、高解像度化を行う。これにより、視点画像高解像度化部１７０は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１を得る。そして、視点画像高解像度化部１７０は、得られた視点画像Ｂ１および視点画像Ｃ１の視差画像、並びに、視点画像分離部１６９から供給される視点画像Ａ１を、視点画像ワーピング処理部１６７および視点画像ワーピング処理部１６８に供給する。
【００９９】
多視点画像生成部１７１は、補間部として機能し、仮想視点ごとに、視点画像ワーピング処理部１６７および視点画像ワーピング処理部１６８のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部１７１は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部１７２に供給する。
【０１００】
多視点画像合成処理部１７２は、多視点画像生成部１７１から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の１の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【０１０１】
［仮想視点の画像の生成の説明］  図６は、図５の３Ｄ画像生成部１４２による仮想視点の画像の生成を説明する図である。
【０１０２】
図６に示すように、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４は、視差画像特定情報に基づいて、それぞれ、異なる視差画像を選択する。図６の例では、視差画像ワーピング処理部１６３は、画面上の左側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像（以下、視差画像＃１という）を選択している。また、視差画像ワーピング処理部１６４は、画面上の右側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像（以下、視差画像＃２という）を選択している。
【０１０３】
視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４は、それぞれ、仮想視点の位置と撮影情報に基づいて、選択された視差画像のワーピング処理を行い、仮想視点の視差画像を生成する。そして、スムージング処理部１６５とスムージング処理部１６６は、それぞれ、生成された仮想視点の視差画像に対してスムージング処理を行う。
【０１０４】
これにより、図６に示すように、仮想視点の視差画像＃１は、例えば、視差画像＃１内の円形の領域が右側に移動し、その円形の領域の左側に発生している、図中黒く塗りつぶされているオクルージョン領域の全ての視差値が0である視差画像となる。また、仮想視点の視差画像＃２は、例えば、視差画像＃２内の円形の領域が左側に移動し、その円形の領域の右側に発生している、図中黒く塗りつぶされているオクルージョン領域の全ての視差値が0である視差画像となる。なお、仮想視点の視差画像＃１内の円形の領域の位置と仮想視点の視差画像＃２内の円形の領域の位置は、同一である。
【０１０５】
視点画像ワーピング処理部１６７は、仮想視点の視差画像＃１に基づいて、視差画像＃１に対応する視点画像＃１のワーピング処理を行う。図６の例では、視点画像＃１は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像＃１は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像＃１に比べて右側に移動し、その領域の左側にオクルージョン領域が存在する画像となる。
【０１０６】
一方、視点画像ワーピング処理部１６８は、仮想視点の視差画像＃２に基づいて、視差画像＃２に対応する視点画像＃２のワーピング処理を行う。図６の例では、視点画像＃２は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像＃２は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像＃２に比べて左側に移動し、その領域の右側にオクルージョン領域が存在する画像となる。
【０１０７】
多視点画像生成部１７１は、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方の視点画像のオクルージョン領域を、他方の視点画像で補間する。具体的には、視差画像特定情報は、仮想視点より外側の視点の視差画像を特定する情報であるので、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方に存在するオクルージョン領域の画像は、他方の視点画像内に存在する。従って、多視点画像生成部１７１は、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方に存在するオクルージョン領域の画像を、他方の視点画像内に存在する、そのオクルージョン領域の画像で補間する。これにより、図６に示すように、オクルージョン領域が存在しない仮想視点の画像が生成される。
【０１０８】
［視差画像のワーピング処理の説明］
図７は、視差画像のワーピング処理を説明する図である。
【０１０９】
視差画像のワーピング処理では、まず、図７に示すように、選択された位置t（tｘ,tｙ,tｚ）の視点の視差画像の各画素の位置m（x,y,z）と、位置t'（t'ｘ,t'ｙ,t'ｚ）の仮想視点の視差画像の位置m'（x',y',z'）を、３次元空間を介して対応付ける。
【０１１０】
具体的には、以下の式（１）により、位置t（tｘ,tｙ,tｚ）の視点の視差画像の視差値Zの画素の位置m（x,y,z）に対応する３次元空間の位置M(X,Y,Z)が求められ、その位置M(X,Y,Z)に対応する、位置t'（t'ｘ,t'ｙ,t'ｚ）の仮想視点の視差画像の位置m'（x',y',z'）が求められる。
【０１１１】
(X,Y,Z)Ｔ=RA−１（x,y,1）ＴZ+（tｘ,tｙ,tｚ）Ｔ
s（x',y',1）Ｔ=A’R'−１[（X,Y,Z）Ｔ-（t'ｘ,t'ｙ,t'ｚ）Ｔ]
・・・（１）
【０１１２】
なお、式（１）において、Rは、視差画像を撮影する撮影部５１Ａ乃至撮影部５１Ｃのワーピング処理用の回転行列であり、以下の式（２）で表される。
【０１１３】
【数１】
2012111756.tif 000006
【０１１４】
なお、式（２）において、r_11乃至r_13，r_21乃至r_23、およびr_31乃至r_33は、所定値である。
【０１１５】
また、式（１）において、Aは、視差画像を撮影する撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータを含む行列であり、以下の式（３）で表される。
【０１１６】
【数２】
2012111756.tif 000007
【０１１７】
なお、式（３）において、focal_length_x,focal_length_yは、それぞれ、内部パラメータに含まれるx方向、y方向の焦点距離を表す。principal_point_x,principal_point_yは、それぞれ、内部パラメータに含まれる主点のx方向、y方向の位置を表す。radial_distortionは、内部パラメータに含まれる半径方向の歪み係数を表す。
【０１１８】
さらに、式（１）において、R’は、Rと同様に表される仮想視点の視差画像を撮影する仮想の撮影部のワーピング処理用の回転行列であり、A’は、Aと同様に表される仮想視点の視差画像を撮影する仮想の撮影部の内部パラメータを含む行列である。また、式（１）においてsは、スケーリングファクタ（scaling factor）である。
【０１１９】
以上のようにして対応付けが行われた後、各画素の位置m（x,y,z）に対応する位置m'（x',y',z'）に基づいて、選択された視差画像の各画素に対応する仮想視点の視差画像の各画素が決定される。なお、仮想視点の視差画像の所定の画素に、複数の画素が対応付けられる場合、その複数の画素のうちの視差値が最も大きい画素、即ち手前側の被写体に対応する画素が、仮想視点の視差画像の所定の画素に対応する画素とされる。そして、選択された視差画像の各画素の視差値が、その画素に対応する仮想視点の視差画像の画素の視差値とされ、その結果、仮想視点の視差画像が生成される。
【０１２０】
図８は、符号化装置５０の視差画像生成部５３により低解像度化される前の視差画像と、その視差画像のワーピング処理結果を示す図である。なお、図８において、小さい丸は画素を表し、丸の柄は視差値を表す。このことは、後述する図９および図１０においても同様である。
【０１２１】
図８の例では、低解像度化される前の視差画像が、図８のＡに示すように、画面中央に位置する円形の領域の視差値が0とは大きく異なる所定値であり、その領域以外の領域の視差値が0である視差画像である。この場合、低解像度化される前の視差画像のワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図８のＢに示すように、円形の領域が10画素だけ左側に移動する。
【０１２２】
図９は、符号化装置５０の視差画像生成部５３により低解像度化された視差画像、視差画像高解像度化部１６２により高解像度化された視差画像、および、高解像度化された視差画像のワーピング処理結果を示す図である。
【０１２３】
視差画像生成部５３が、図８のＡの低解像度化される前の視差画像の水平方向に隣接する2つの画素の視差値の平均値を、その画素に対応する低解像度化後の視差画像の画素の視差値とすることにより低解像度化する場合、低解像度化された視差画像は、図９のＡに示すようになる。
【０１２４】
なお、図９において、縦線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と、灰色が付された丸で表される画素の視差値の平均値である。また、図９のＡでは、説明の便宜上、低解像度化前の画素を丸で表しており、低解像度化により間引かれる画素は、柄が付されない丸で表している。
【０１２５】
図９のＡの低解像度化された視差画像が供給される場合、視差画像高解像度化部１６２は、例えば、高解像度化後の視差画像の各画素の視差値を、その画素に対応する、図９のＡの低解像度化された視差画像の水平方向に隣接する2つの画素の視差値を用いて線形補間することにより高解像度化を行う。これにより、図９のＢの高解像度化された視差画像が生成される。なお、図９において、横線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と縦線が付された丸で表される画素の視差値の範囲内の値である。
【０１２６】
図９のＢの高解像度化された視差画像に対してワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図９のＣに示すように、図中斜線で示すオクルージョン領域に0以外の視差値が対応付けられる。具体的には、例えば、本来、横線が付された丸で表される画素は、図８のＢに示したように、10画素だけ左側に移動する必要があるが、図９のＣに示すように、5画素だけしか左側に移動しない。即ち、正確にワーピング処理が行われない。その結果、仮想視点の画像内の、本来画素値が対応付けられないオクルージョン領域に画素値が存在し、その画素値が多視点画像生成部１７１による補間時に他の仮想視点の画像により補間されないため、仮想視点の画像が破綻する。
【０１２７】
そこで、３Ｄ画像生成部１４２では、スムージング処理部１６５およびスムージング処理部１６６が、スムージング処理を行い、オクルージョン領域内の0以外の視差値を0に補正する。
【０１２８】
［スムージング処理の説明］
図１０は、図５のスムージング処理部１６５（１６６）によるスムージング処理を説明する図である。
【０１２９】
図１０の左側に示すように、図５の視差画像ワーピング処理部１６３（１６４）が、図９のＣの仮想視点の視差画像を生成する場合、スムージング処理部１６５（１６６）は、その視差画像のオクルージョン領域内の視差値が0以外である画素を検出する。そして、図１０の右側に示すように、スムージング処理部１６５（１６６）は、オクルージョン領域内の視差値が0以外である画素の視差値を0に補正する。
【０１３０】
このように、スムージング処理部１６５（１６６）は、オクルージョン領域内の0以外の視差値に対応する画素を検出し、その画素の視差値を0に補正するので、仮想視点の画像のオクルージョン領域内に誤って画素値が配置されることを防止することができる。その結果、仮想視点の画像の破綻を防止することができる。
【０１３１】
［復号装置の処理の説明］
図１１は、図４の復号装置１２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１の符号化装置５０から送信される多重化ストリームが復号装置１２０に入力されたとき、開始される。
【０１３２】
図１１のステップＳ６１において、復号装置１２０の分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。デコーダ１２２の補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。
【０１３３】
ステップＳ６２において、互換用デコーダ１３１は、補助用デコーダ１３２から供給される互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。
【０１３４】
ステップＳ６３において、互換用デコーダ１３１は、互換情報に基づいて、互換ストリームに含まれる互換画像をAVC方式に対応する方式で復号し、その結果得られる視点画像Ａ１を画像生成部１２７に供給する。
【０１３５】
ステップＳ６４において、画像生成部１２７は、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ６４で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者からメガネ無し方式の３Ｄ画像の表示が指令された場合、補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうちの補助ストリームを識別する。
【０１３６】
そして、ステップＳ６５において、補助用デコーダ１３２は、補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を、図１の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を画像生成部１２７に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。
【０１３７】
ステップＳ６６において、画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２７に入力する。ステップＳ６７において、撮影情報取得部１２４は、補助用デコーダ１３２から供給される撮影情報を取得し、画像生成部１２７に入力する。
【０１３８】
ステップＳ６８において、視差画像多重化情報取得部１２５は、補助用デコーダ１３２から供給される視差画像多重化情報を取得し、画像生成部１２７に入力する。ステップＳ６９において、互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２７に入力する。
【０１３９】
ステップＳ７０において、画像生成部１２７の３Ｄ画像生成部１４２は、多視点の画像の合成画像を生成する多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図１２を参照して説明する。
【０１４０】
ステップＳ７１において、画像生成部１２７は、ステップＳ７０の処理により生成される多視点の画像の合成画像を図示せぬ表示装置に出力し、視点ごとに視認可能な角度が異なるように表示させる。そして、処理は終了する。
【０１４１】
一方、ステップＳ６４で視聴者から２Ｄ画像の表示が指令されたと判定された場合、ステップＳ７２において、画像生成部１２７の２Ｄ画像生成部１４１は、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
【０１４２】
図１２は、図１１のステップＳ７０の多視点画像生成処理の詳細を説明するフローチャートである。
【０１４３】
図１２のステップＳ９０において、３Ｄ画像生成部１４２の仮想視点位置決定部１６０（図５）は、撮影情報取得部１２４から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、各仮想視点の位置を決定する。そして、仮想視点位置決定部１６０は、各仮想視点の位置に基づいて、視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４のそれぞれに対して、視差画像特定情報を生成する。また、仮想視点位置決定部１６０は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。
【０１４４】
ステップＳ９１において、視差画像分離部１６１は、補助用デコーダ１３２から供給される互換画像の視差画像Ａ１’と補助画像の視差画像の多重化画像を取得する。
【０１４５】
ステップＳ９２において、視差画像分離部１６１は、視差画像多重化情報取得部１２５から供給される視差画像多重化情報に基づいて、補助画像の視差画像の多重化画像を分離する。視差画像分離部１６１は、その結果得られる互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂおよび視点画像Ｃの視差画像を、視差画像高解像度化部１６２に供給する。また、視差画像分離部１６１は、互換情報取得部１２６から供給される互換情報に基づいて、視差画像Ａ１’をそのまま視差画像高解像度化部１６２に供給する。
【０１４６】
ステップＳ９３において、視差画像高解像度化部１６２は、視差画像分離部１６１から供給される互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂおよび視点画像Ｃの視差画像を、それぞれ高解像度化する。これにより、視差画像高解像度化部１６２は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像を得る。そして、視差画像高解像度化部１６２は、得られた視点画像Ｂ１および視点画像Ｃ１の視差画像、並びに、視差画像分離部１６１から供給される視差画像Ａ１’を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。
【０１４７】
ステップＳ９４において、視差画像ワーピング処理部１６３は、仮想視点ごとに、仮想視点位置決定部１６０からの視差画像特定情報に基づいて、視差画像高解像度化部１６２から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像並びに視差画像Ａ１’のうちの１つを選択する。また、視差画像ワーピング処理部１６４は、視差画像ワーピング処理部１６３と同様の処理を行う。
【０１４８】
そして、ステップＳ９５およびＳ９６において、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４は、選択された視差画像のワーピング処理を行う。  
【０１４９】
具体的には、まず、ステップＳ９５において、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、その仮想視点の位置、撮影情報、および選択された視差画像に基づいて、上述した式（１）により、その視差画像の各画素に対応する仮想視点の視差画像上の画素を決定する。
【０１５０】
そして、ステップＳ９６において、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、ステップＳ９７で決定された画素に基づいて、選択された視差画像から仮想視点の視差画像を生成する。具体的には、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、選択された視差画像の各画素の視差値を、仮想視点の視差画像のステップＳ９５で決定された画素の視差値とする。視差画像ワーピング処理部１６３（１６４）は、その結果生成された各仮想視点の視差画像をスムージング処理部１６５（１６６）に供給する。
【０１５１】
ステップＳ９６の処理後、ステップＳ９７およびＳ９８において、スムージング処理部１６５およびスムージング処理部１６６は、ステップＳ９６で生成された各仮想視点の視差画像に対してスムージング処理を行う。
【０１５２】
具体的には、ステップＳ９７において、スムージング処理部１６５（１６６）は、各仮想視点の視差画像内の0以外の視差値に対応する画素のうち、周辺画素の視差値が0である画素を、オクルージョン領域内の0以外の視差値に対応する画素として検出する。
【０１５３】
ステップＳ９８において、スムージング処理部１６５（１６６）は、各仮想視点の視差画像のステップＳ９７で検出された画素の視差値を0に補正し、補正後の各仮想視点の視差画像を視点画像ワーピング処理部１６７（１６８）に供給する。
【０１５４】
ステップＳ９９において、視点画像分離部１６９は、画像情報取得部１２３から供給される画像情報に基づいて、補助用デコーダ１３２から供給される補助画像の多重化画像を分離する。そして、視点画像分離部１６９は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１を視差画像高解像度化部１６２に供給する。また、視点画像分離部１６９は、互換情報取得部１２６から供給される互換情報に基づいて、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を、そのまま視点画像高解像度化部１７０に供給する。
【０１５５】
ステップＳ１００において、視点画像高解像度化部１７０は、視点画像分離部１６９から供給される互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂ１および視点画像Ｃ１をそれぞれ高解像度化する。これにより、視点画像高解像度化部１７０は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１を得る。そして、視点画像高解像度化部１７０は、得られた視点画像Ｂ１および視点画像Ｃ１、並びに、視点画像分離部１６９から供給される視点画像Ａ１を、視点画像ワーピング処理部１６７および視点画像ワーピング処理部１６８に供給する。
【０１５６】
ステップＳ１０１において、視点画像ワーピング処理部１６７は、スムージング処理部１６５から供給されるスムージング処理後の各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部１７０から供給される視点画像のワーピング処理を行う。これにより、オクルージョン領域を有する各仮想視点の画像が生成される。視点画像ワーピング処理部１６７は、オクルージョン領域を有する各仮想視点の画像を多視点画像生成部１７１に供給する。また、視点画像ワーピング処理部１６８は、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部１６７と同様の処理を行う。
【０１５７】
ステップＳ１０２において、多視点画像生成部１７１は、仮想視点ごとに、視点画像ワーピング処理部１６７および視点画像ワーピング処理部１６８のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部１７１は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部１７２に供給する。
【０１５８】
ステップＳ１０３において、多視点画像合成処理部１７２は、多視点画像生成部１７１から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の１の解像度に変換して合成し、多視点の画像の合成画像を生成する。そして、処理は、図１１のステップＳ７０に戻り、処理はステップＳ７１に進む。  
【０１５９】
以上のように、復号装置１２０は、ワーピング処理の結果得られる仮想視点の視差画像に対してスムージング処理を行うので、仮想視点の画像のオクルージョン領域内に画素値が存在することを防止することができる。その結果、仮想視点の2つの画像のうち、一方の画像のオクルージョン領域の画像を、他方の画像で補間することができ、破綻のない、高精度な仮想視点の画像を生成することができる。
【０１６０】
＜第２実施の形態＞
［符号化装置の第２実施の形態の構成例］
図１３は、本技術を適用した画像処理装置に対応する符号化装置の第２実施の形態の構成例を示すブロック図である。
【０１６１】
図１３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１６２】
図１３の符号化装置２００の構成は、主に、境界情報生成部２０１が新たに設けられている点、および、エンコーダ５８の代わりにエンコーダ２０２が設けられている点が図１の構成と異なる。
【０１６３】
符号化装置２００は、低解像度化され、符号化された視差画像に、視差画像の視差値が大きく変化する位置である境界位置に隣接する画素であるかどうかを示す情報である境界情報（is_depth_edge）を付加して伝送する。
【０１６４】
具体的には、符号化装置２００の境界情報生成部２０１は、視差画像生成部５３により生成された視差画像Ｂ１’および視差画像Ｃ１’から、それぞれ、境界位置を検出する。そして、境界情報生成部２０１は、検出された境界位置に基づいて、画素単位またはマクロブロック単位で境界情報を生成し、エンコーダ２０２に供給する。なお、マクロブロックとは、符号化の単位である。
【０１６５】
エンコーダ２０２は、互換用エンコーダ６１と補助用エンコーダ２１１により構成される。
【０１６６】
エンコーダ２０２の補助用エンコーダ２１１は、図１の補助用エンコーダ６２と同様に、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。
【０１６７】
また、補助用エンコーダ２１１は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報、境界情報生成部２０１からの境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ２１１は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【０１６８】
［境界情報の例］
図１４は、境界情報の例を示す図である。
【０１６９】
なお、図１４において、小さい丸は画素を表し、丸の柄は視差値を表す。
【０１７０】
図１４の例の視差画像では、図１４の左側に示すように、画面中央に位置する円形の領域の視差値と、その領域以外の領域の視差値が大きく異なっている。従って、画面中央に存在する円形の領域と、その領域以外の領域の境界に、境界位置が存在する。
【０１７１】
画素単位で境界情報が生成される場合、例えば、図１４の右上に示すように、境界位置に隣接する2つの画素の境界情報は、境界位置に隣接する画素であることを示す1となる。また、それ以外の画素の境界情報は、境界位置に隣接する画素ではないことを示す0となる。
【０１７２】
一方、マクロブロック単位で境界情報が生成される場合、例えば、図１４の右下に示すように、境界位置に隣接する2つの画素を含むマクロブロック（MB）の境界情報が、境界位置に隣接する画素であることを示す1となる。また、それ以外のマクロブロックの境界情報は、境界位置に隣接する画素ではないことを示す0となる。
【０１７３】
［符号化装置の処理の説明］
図１５および図１６は、図１３の符号化装置２００による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから視点画像Ａ１乃至視点画像Ｃ１が出力されたとき開始される。
【０１７４】
図１５のステップＳ１２０乃至図１６のステップＳ１２８の処理は、図２のステップＳ１０乃至図３のステップＳ１８の処理と同様であるので、説明は省略する。
【０１７５】
図１６のステップＳ１２９において、境界情報生成部２０１は、視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’の境界情報を生成する境界情報生成処理を行う。この境界情報生成処理の詳細は、後述する図１７を参照して説明する。
【０１７６】
ステップＳ１３０において、境界情報生成部２０１は、ステップＳ１２９で生成された境界情報を、エンコーダ５８に入力する。
【０１７７】
ステップＳ１３１乃至Ｓ１３６の処理は、図３のステップＳ１９乃至Ｓ２４の処理と同様であるので、説明は省略する。
【０１７８】
ステップＳ１３７において、補助用エンコーダ２１１は、ステップＳ１３６の処理による符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報、および境界情報生成部２０１からの境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ２１１は、その符号化ストリームを補助ストリームとして多重化部５９に供給する。
【０１７９】
ステップＳ１３８において、多重化部５９は、互換用エンコーダ６１から供給される互換ストリームと、補助用エンコーダ２１１から供給される補助ストリームから、それぞれＴＳを生成し、多重化して送信する。そして、処理は終了する。
【０１８０】
図１７は、図１６のステップＳ１２９の境界情報生成処理の詳細を説明するフローチャートである。なお、図１７では、画素単位で境界情報が生成される場合の境界情報生成処理について説明する。また、図１７の境界情報生成処理は、視差画像ごとに行われる。
【０１８１】
図１７のステップＳ１４１において、境界情報生成部２０１は、視差画像生成部５３から供給される視差画像を取得する。
【０１８２】
ステップＳ１４２において、境界情報生成部２０１は、視差画像の水平方向に隣接する画素どうしのうちの、まだステップＳ１４２の処理の対象となっていないものの視差値の差分を求める。
【０１８３】
ステップＳ１４３において、境界情報生成部２０１は、ステップＳ１４２で求められた視差値の差分が所定の閾値より大きいかどうかを判定する。
【０１８４】
ステップＳ１４３で視差値の差分が所定の閾値より大きいと判定された場合、ステップＳ１４４において、境界情報生成部２０１は、ステップＳ１４２の処理の対象である隣接する2つの画素の間を境界位置として検出し、その２つの画素の境界情報を1に設定する。
【０１８５】
一方、ステップＳ１４３で視差値の差分が所定の閾値より大きくはないと判定された場合、ステップＳ１４５において、境界情報生成部２０１は、ステップＳ１４２の処理の対象である隣接する2つの画素の境界情報のうちの、1が設定されていない境界情報を0に設定する。
【０１８６】
ステップＳ１４４またはステップＳ１４５の処理後、ステップＳ１４６において、境界情報生成部２０１は、視差画像の全ての水平方向に隣接する2つの画素どうしの視差値の差分を求めたかどうかを判定する。
【０１８７】
ステップＳ１４６で視差画像の全ての水平方向に隣接する画素どうしの視差値の差分をまだ求めていないと判定された場合、処理はステップＳ１４２に戻り、視差画像の全ての水平方向に隣接する画素どうしの視差値の差分が求められるまで、ステップＳ１４２乃至Ｓ１４６の処理が繰り返される。
【０１８８】
一方、ステップＳ１４６で視差画像の全ての水平方向に隣接する画素どうしの視差値の差分を求めたと判定された場合、処理は図１６のステップＳ１２９に戻り、処理はステップＳ１３０に進む。
【０１８９】
なお、境界情報生成部２０１は、境界情報をマクロブロック単位で生成する場合、図１７の境界情報生成処理において、ステップＳ１４２乃至Ｓ１４６の処理をマクロブロック単位で行う。
【０１９０】
具体的には、境界情報生成部２０１は、ステップＳ１４２で視差画像の所定のマクロブロック内の水平方向に隣接する画素どうしの視差値の差分を求め、ステップＳ１４３で少なくとも1つの視差値の差分が所定の閾値より大きいかどうかを判定する。そして、少なくとも1つの視差値の差分が所定の閾値より大きいと判定された場合、ステップＳ１４４で、境界情報生成部２０１は、その差分に対応するマクロブロックの境界情報を1に設定する。一方、全ての視差値の差分が所定の閾値以下である判定された場合、ステップＳ１４５で、境界情報生成部２０１は、その差分に対応するマクロブロックの境界情報のうちの1が設定されていない境界情報を0に設定する。
【０１９１】
以上のように、符号化装置２００は、視差画像を低解像度化し、低解像度化された視差画像と境界情報を送信するので、後述する復号装置において、境界情報に基づいて仮想視点の視差画像のスムージング処理を行うことができる。その結果、復号装置において、後述するように、仮想視点の視点画像を高精度に生成することができる。
【０１９２】
［復号装置の構成例］
図１８は、図１３の符号化装置２００から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。
【０１９３】
図１８に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９４】
図１８の復号装置２２０の構成は、主に、境界情報取得部２２２が新たに設けられている点、および、デコーダ１２２、画像生成部１２７の代わりに、デコーダ２２１、画像生成部２２３が設けられている点が図４の構成と異なる。復号装置２２０は、符号化装置２００から送信される多重化ストリームを復号し、境界情報に基づいてワーピング処理後の視差画像をスムージング処理して多視点の画像を生成し、図示せぬ表示装置に表示させる。
【０１９５】
具体的には、復号装置２２０のデコーダ２２１は、互換用デコーダ１３１と補助用デコーダ２３１により構成される。デコーダ２２１の補助用デコーダ２３１は、図４の補助用デコーダ１３２と同様に、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。補助用デコーダ２３１は、補助用デコーダ１３２と同様に、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ２３１は、復号部として機能し、分離部１２１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図１３の補助用エンコーダ２１１に対応する方式で復号する。
【０１９６】
補助用デコーダ２３１は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部２２３に供給する。また、補助用デコーダ２３１は、補助用デコーダ１３２と同様に、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ２３１は、補助用デコーダ１３２と同様に、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、補助用デコーダ２３１は、補助ストリームに含まれる境界情報を境界情報取得部２２２に供給する。
【０１９７】
境界情報取得部２２２は、補助用デコーダ２３１から供給される境界情報を取得し、画像生成部２２３に供給する。
【０１９８】
画像生成部２２３は、２Ｄ画像生成部１４１と３Ｄ画像生成部２４１により構成される。画像生成部２２３の３Ｄ画像生成部２４１は、デコーダ２２１から供給される視点画像Ａ１、補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、３Ｄ画像生成部２４１は、図４の３Ｄ画像生成部１４２と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
【０１９９】
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
【０２００】
［３Ｄ画像生成部の詳細構成例］
図１９は、図１８の３Ｄ画像生成部２４１の詳細構成例を示すブロック図である。
【０２０１】
図１９に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２０２】
図１９の３Ｄ画像生成部２４１の構成は、スムージング処理部１６５およびスムージング処理部１６６の代わりに、スムージング処理部２５１およびスムージング処理部２５２が設けられている点が図５の構成と異なる。
【０２０３】
３Ｄ画像生成部２４１のスムージング処理部２５１は、補正部として機能し、境界情報取得部２２２から供給される境界情報に基づいて、視差画像ワーピング処理部１６３から供給される各仮想視点の視差画像に対してスムージング処理を行う。具体的には、スムージング処理部２５１は、各仮想視点の視差画像からオクルージョン領域内の0以外の視差値を検出する。スムージング処理部２５１は、検出された視差値のうち、境界位置であることを表す境界情報に対応する画素の視差値を0に補正する。スムージング処理部２５１は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部１６７に供給する。
【０２０４】
スムージング処理部２５２は、補正部として機能し、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に対して、スムージング処理部２５１と同様にスムージング処理を行う。そして、スムージング処理部２５２は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部１６８に供給する。
【０２０５】
［境界情報に基づくスムージング処理の説明］
図２０は、図１９のスムージング処理部２５１（２５２）による境界情報に基づくスムージング処理を説明する図である。なお、図２０において、小さい丸は画素を表し、丸の柄は視差値を表す。
【０２０６】
図２０の左側に示すように、図１９の視差画像ワーピング処理部１６３（１６４）が、図９のＣの仮想視点の視差画像を生成する場合、スムージング処理部２５１（２５２）は、その視差画像内のオクルージョン領域内の視差値が0以外である画素を検出する。そして、スムージング処理部２５１（２５２）は、その画素に対応する境界情報が1である場合、図２０の右側に示すように、その画素の視差値を0に補正する。
【０２０７】
このように、スムージング処理部２５１（２５２）は、オクルージョン領域内の視差値が0以外である画素として検出された画素の視差値のうち、高解像度化により誤ってオクルージョン領域内に配置される可能性のある境界位置に隣接する画素の視差値だけを0に補正する。これにより、オクルージョン領域外の画素が、オクルージョン領域内の0以外の視差値に対応する画素として検出され、その画素の視差値が0に補正されることを防止することができる。その結果、より高精度に仮想視点の画像を生成することができる。
【０２０８】
［復号装置の処理の説明］
図２１は、図１８の復号装置２２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１３の符号化装置２００から送信される多重化ストリームが復号装置２２０に入力されたとき、開始される。
【０２０９】
図２１のステップＳ２０１乃至Ｓ２０９の処理は、図１１のステップＳ６１乃至Ｓ６９の処理と同様であるので、説明は省略する。
【０２１０】
ステップＳ２１０において、境界情報取得部２２２は、補助用デコーダ２３１から供給される境界情報を取得し、画像生成部２２３に入力する。
【０２１１】
ステップＳ２１１において、画像生成部２２３の３Ｄ画像生成部２４１は、多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図２２を参照して説明する。
【０２１２】
ステップＳ２１２およびＳ２１３の処理は、図１１のステップＳ７１およびＳ７２の処理と同様であるので、説明は省略する。
【０２１３】
図２２は、図２１のステップＳ２１１の多視点画像生成処理の詳細を説明するフローチャートである。
【０２１４】
図２２のステップＳ２３０乃至Ｓ２３６の処理は、図１４のステップＳ９０乃至Ｓ９６の処理と同様であるので、説明は省略する。
【０２１５】
ステップＳ２３７およびＳ２３８において、スムージング処理部２５１およびスムージング処理部２５２は、ステップＳ２３６で生成された各仮想視点の視差画像に対してスムージング処理を行う。
【０２１６】
具体的には、ステップＳ２３７において、スムージング処理部２５１（２５２）は、各仮想視点の視差画像内の0以外の視差値に対応する画素のうち、境界情報が1であり、かつ、周辺画素の視差値が0である画素を、オクルージョン領域内の0以外の視差値に対応する画素として検出する。
【０２１７】
ステップＳ２３８において、スムージング処理部２５１（２５２）は、各仮想視点の視差画像のステップＳ２３７で検出された画素の視差値を0に補正し、補正後の各仮想視点の視差画像を視点画像ワーピング処理部１６７（１６８）に供給する。
【０２１８】
ステップＳ２３９乃至Ｓ２４３の処理は、図１２のステップＳ９９乃至Ｓ１０３と同様であるので、説明は省略する。
【０２１９】
以上のように、復号装置２２０は、符号化装置２００から送信されてくる境界情報に基づいて、ワーピング処理の結果得られる仮想視点の視差画像に対して、より正確にスムージング処理を行う。従って、オクルージョン領域外の画素が、オクルージョン領域内の0以外の視差値に対応する画素として検出され、その画素の視差値が0に補正されることを防止することができる。その結果、より高精度に仮想視点の画像を生成することができる。
【０２２０】
なお、本技術の画像処理装置は、例えば、テレビジョン受像機などの表示装置や再生装置に適用することができる。また、本技術において、境界位置に隣接する画素の数は、2つに限定されず、境界位置に隣接する画素は、境界位置の左に隣接する複数の画素および右に隣接する複数の画素であってもよい。
【０２２１】
また、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されずに、符号化ストリームとは別系統で伝送されるようにしてもよい。また、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されて、符号化ストリームとは別系統で伝送されるようにしてもよい。
【０２２２】
さらに、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されずに、符号化ストリームの所定の領域に記述されることもできるし、符号化されて符号化ストリームの所定の領域に記述されることもできる。
【０２２３】
＜第３実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２２４】
そこで、図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２２５】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部８０８やROM（Read Only Memory）８０２に予め記録しておくことができる。
【０２２６】
あるいはまた、プログラムは、リムーバブルメディア８１１に格納（記録）しておくことができる。このようなリムーバブルメディア８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２２７】
なお、プログラムは、上述したようなリムーバブルメディア８１１からドライブ８１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部８０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２２８】
コンピュータは、CPU(Central Processing Unit)８０１を内蔵しており、CPU８０１には、バス８０４を介して、入出力インタフェース８０５が接続されている。
【０２２９】
CPU８０１は、入出力インタフェース８０５を介して、ユーザによって、入力部８０６が操作等されることにより指令が入力されると、それに従って、ROM８０２に格納されているプログラムを実行する。あるいは、CPU８０１は、記憶部８０８に格納されたプログラムを、RAM(Random Access Memory)８０３にロードして実行する。
【０２３０】
これにより、CPU８０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース８０５を介して、出力部８０７から出力、あるいは、通信部８０９から送信、さらには、記憶部８０８に記録等させる。
【０２３１】
なお、入力部８０６は、キーボードや、マウス、マイク等で構成される。また、出力部８０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２３２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２３３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２３４】
本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。
【０２３５】
また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
【０２３６】
＜第４実施の形態＞
［テレビジョン装置の構成例］
図２５は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０２３７】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０２３８】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０２３９】
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０２４０】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０２４１】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０２４２】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
【０２４３】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０２４４】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０２４５】
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
【０２４６】
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０２４７】
このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、低解像度化された視差画像を含む符号化ビットストリームを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
【０２４８】
＜第５実施の形態＞
［携帯電話機の構成例］
図２６は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
【０２４９】
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０２５０】
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０２５１】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０２５２】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０２５３】
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０２５４】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０２５５】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０２５６】
このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、画像データの通信において、低解像度化された視差画像を含む符号化データを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
【０２５７】
＜第６実施の形態＞
［記録再生装置の構成例］
図２７は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０２５８】
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０２５９】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０２６０】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０２６１】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０２６２】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０２６３】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
【０２６４】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０２６５】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
【０２６６】
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０２６７】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０２６８】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
【０２６９】
＜第７実施の形態＞
［撮像装置の構成例］
図２８は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０２７０】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０２７１】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０２７２】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０２７３】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
【０２７４】
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０２７５】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０２７６】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０２７７】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０２７８】
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
【０２７９】
このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、メモリ部９６７や記録メディア等に記録された低解像度化された視差画像を含む符号化データを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
【０２８０】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２８１】
１２０  復号装置，  １２１  分離部，  １３２  補助用デコーダ，  １６２  視差画像高解像度化部，  １６３，１６４  視差画像ワーピング処理部，  １６５，１６６  スムージング処理部，  １６７，１６８  視点画像ワーピング処理部，  １７1  多視点画像生成部，  ２２０  復号装置，  ２３１  補助用デコーダ，  ２５１，２５２  スムージング処理部
【図１】
2012111756.tif 000008
【図２】
2012111756.tif 000009
【図３】
2012111756.tif 000010
【図４】
2012111756.tif 000011
【図５】
2012111756.tif 000012
【図６】
2012111756.tif 000013
【図７】
2012111756.tif 000014
【図８】
2012111756.tif 000015
【図９】
2012111756.tif 000016
【図１０】
2012111756.tif 000017
【図１１】
2012111756.tif 000018
【図１２】
2012111756.tif 000019
【図１３】
2012111756.tif 000020
【図１４】
2012111756.tif 000021
【図１５】
2012111756.tif 000022
【図１６】
2012111756.tif 000023
【図１７】
2012111756.tif 000024
【図１８】
2012111756.tif 000025
【図１９】
2012111756.tif 000026
【図２０】
2012111756.tif 000027
【図２１】
2012111756.tif 000028
【図２２】
2012111756.tif 000029
【図２３】
2012111756.tif 000030
【図２４】
2012111756.tif 000031
【図２５】
2012111756.tif 000032
【図２６】
2012111756.tif 000033
【図２７】
2012111756.tif 000034
【図２８】
2012111756.tif 000035
【国際調査報告】
2012111756.tif 000036
2012111756.tif 000037
2012111756.tif 000038