"低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受け取る受け取り部と、前記受け取り部により受け取られた前記低解像度化された視差画像を高解像度化する高解像度化部と、仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理部と、前記視差画像ワーピング処理部により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正部とを備える画像処理装置。前記補正部は、前記仮想視点の視差画像内の前記オクルージョン領域の前記所定値以外の視差値に対応する画素を検出し、その画素の視差値を前記所定値に補正する請求項1に記載の画像処理装置。前記補正部は、前記仮想視点の視差画像内の前記所定値以外の視差値に対応する画素のうち、周辺画素の視差値が前記所定値である画素を、前記オクルージョン領域の前記所定値以外の視差値に対応する画素として検出する請求項2に記載の画像処理装置。前記受け取り部はまた、前記視差画像の視差値が変化する位置である境界位置に隣接する画素であるかどうかを示す情報である境界情報を受け取り、前記補正部は、前記仮想視点の視差画像内の前記所定値以外の視差値に対応する画素のうち、周辺画素の視差値が前記所定値であり、前記境界位置に隣接する画素であることを示す境界情報に対応する画素を、前記オクルージョン領域の前記所定値以外の視差値に対応する画素として検出する請求項2に記載の画像処理装置。前記低解像度化された視差画像を復号する復号部をさらに備え、前記受け取り部は、符号化された前記低解像度化された視差画像を受け取り、前記復号部は、前記受け取り部により受け取られた前記符号化された前記低解像度化された視差画像を復号し、前記高解像度化部は、前記復号部による復号の結果得られる前記低解像化された視差画像を高解像度化する請求項1に記載の画像処理装置。前記補正部により補正された前記仮想視点の視差画像に基づいて、前記視点画像のワーピング処理を行うことにより、前記仮想視点の視点画像を生成する視点画像ワーピング処理部をさらに備え、前記受け取り部は、前記視点画像、および、前記低解像度化された視差画像を受け取る請求項1に記載の画像処理装置。前記視点画像ワーピング処理部により生成された前記仮想視点の2つの視点画像のうちの一方の前記オクルージョン領域を、他方で補間する補間部をさらに備え、前記受け取り部は、第1および第2の視点の前記視点画像、および、前記第1および第2の視点の前記低解像度化された視差画像を受け取り、前記視差画像ワーピング処理部は、前記仮想視点の位置に基づいて、高解像度化された前記第1の視点の視差画像のワーピング処理を行うことにより、前記仮想視点の第1の視差画像を生成するとともに、前記仮想視点の位置に基づいて、高解像度化された前記第2の視点の視差画像のワーピング処理を行うことにより、前記仮想視点の第2の視差画像を生成し、前記視点画像ワーピング処理部は、前記補正部により補正された前記仮想視点の前記第1の視差画像に基づいて、前記第1の視点の視点画像のワーピング処理を行うことにより、前記仮想視点の第1の視点画像を生成するとともに、前記第2の視差画像に基づいて、前記第2の視点の視点画像のワーピング処理を行うことにより、前記仮想視点の第2の視点画像を生成し、前記補間部は、前記視点画像ワーピング処理部により生成された前記仮想視点の前記第1および第2の視点画像のうちの一方の前記オクルージョン領域を、他方で補間する請求項6に記載の画像処理装置。前記受け取り部は、前記補正部による補正を行うかどうかを表すフラグを受け取り、前記補正部は、前記フラグが前記補正部による補正を行うことを表す場合、前記オクルージョン領域の所定値以外の視差値を前記所定値に補正する請求項1に記載の画像処理装置。画像処理装置が、低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受信する受信ステップと、前記受信ステップの処理により受信された前記低解像度化された視差画像を高解像度化する高解像度化ステップと、仮想視点の位置に基づいて、前記高解像度化ステップの処理により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理ステップと、前記視差画像ワーピング処理ステップの処理により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正ステップとを含む画像処理方法。所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類部と、前記画像関連情報の伝送方法を選択する選択部と、前記分類部による前記分類と前記選択部により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送部とを備える画像処理装置。画像処理装置が、所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類ステップと、前記画像関連情報の伝送方法を選択する選択ステップと、前記分類ステップの処理による前記分類と前記選択ステップの処理により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送ステップとを含む画像処理方法。ところで、メガネ無し方式の視聴を提供する復号装置に対応する符号化装置が、視差画像を低解像度化することにより、視差画像のデータ量を削減する場合、復号装置は、受信された視差画像を高解像度化し、低解像度化前の視差画像を生成する必要がある。しかしながら、低解像度化された視差画像を高解像度化し、低解像度化前の視差画像を生成することは困難である。特に、視差値が大きく変化する境界位置では、低解像度化前の視差値と高解像度化後の視差値の誤差が大きくなる。その結果、復号装置において、視差画像のワーピング処理が正確に行われず、ワーピング処理後の視差画像を用いて生成される所定の視点の画像が破綻する場合があった。本技術は、このような状況に鑑みてなされたものであり、低解像度化された視差画像が送信される場合において、受信側で、その視差画像を用いて所定の視点の画像を高精度に生成することができるようにするものである。本技術の第1の側面の画像処理装置は、低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受け取る受け取り部と、前記受け取り部により受け取られた前記低解像度化された視差画像を高解像度化する高解像度化部と、仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理部と、前記視差画像ワーピング処理部により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正部とを備える画像処理装置である。本技術の第1の側面の画像処理方法は、本技術の一側面の画像処理装置に対応する。本技術の第1の側面においては、低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像が受信され、受信された前記低解像度化された視差画像が高解像度化され、仮想視点の位置に基づいて、高解像度化された前記視差画像のワーピング処理が行われることにより、前記仮想視点の視差画像が生成され、生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値が、前記所定値に補正される。本技術の第2の側面の画像処理装置は、所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類部と、前記画像関連情報の伝送方法を選択する選択部と、前記分類部による分類と前記選択部により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送部とを備える画像処理装置である。本技術の第2の側面においては、所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報が、符号化する情報または符号化しない情報に分類され、前記画像関連情報の伝送方法が選択され、前記分類と選択された前記伝送方法に基づいて、前記画像関連情報が伝送される。なお、本技術の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。また、本技術の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。本技術の一側面によれば、低解像度化された視差画像が送信されてくる場合において、その視差画像を用いて所定の視点の画像を高精度に生成することができる。<第1実施の形態>[符号化装置の第1実施の形態の構成例]図1は、本技術を適用した画像処理装置に対応する符号化装置の第1実施の形態の構成例を示すブロック図である。図1の符号化装置50は、撮影部51A乃至51C、画像変換部52、視差画像生成部53、画像情報生成部54、互換情報生成部55、撮影情報生成部56、視差画像多重化情報生成部57、エンコーダ58、および多重化部59により構成される。符号化装置50は、視差画像を低解像度化して符号化し、伝送する。具体的には、符号化装置50において、撮影部51Aは、所定の視点のHDHighDefinition画像を視点画像A1として撮影し、画像変換部52、視差画像生成部53、および撮影情報生成部56に供給する。撮影部51Bは、撮影部51Aから距離Δd1ABだけ水平方向に離れた位置で、視点画像A1とは異なる視点のHD画像を視点画像B1として撮影し、画像変換部52、視差画像生成部53、および撮影情報生成部56に供給する。撮影部51Cは、撮影部51Aから距離Δd1ACだけ撮影部51Aとは反対の水平方向に離れた位置で、視点画像A1および視点画像B1とは異なる視点のHD画像を視点画像C1として撮影し、画像変換部52、視差画像生成部53、および撮影情報生成部56に供給する。なお、視点画像B1と視点画像C1に対応する視点は、3D画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置50に対応する復号装置は、視点画像A1乃至視点画像C1を用いて、視点画像B1および視点画像C1の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δd1ABと距離Δd1ACは、固定であってもよいし、時間ごとに変化するようにしてもよい。画像変換部52は、撮影部51A乃至撮影部51Cのうちの水平方向の位置が内側にある撮影部51Aから供給される視点画像A1を互換画像に決定する。なお、互換画像とは、多視点の画像のうちの、既存の符号化装置との互換性を確保するために既存の符号化方式で符号化される画像である。画像変換部52は、互換画像として視点画像A1を指定する情報を互換情報生成部55に供給し、互換画像である視点画像A1をそのままエンコーダ58に供給する。また、画像変換部52は、視点画像A1以外の視点画像B1および視点画像C1を補助画像とする。なお、補助画像とは、互換画像を用いて互換画像の視点数より多い視点の画像を生成するための画像である。画像変換部52は、所定の多重化方式に基づいて、補助画像である視点画像B1および視点画像C1を低解像度化して多重化する。具体的には、例えば多重化方式がサイドバイサイド方式である場合、画像変換部52は、視点画像B1および視点画像C1の解像度を半分にする。そして、画像変換部52は、解像度が半分にされた視点画像B1以下、12解像度視点画像B1というが画面の左半分の画像となり、解像度が半分にされた視点画像C1以下、12解像度視点画像C1というが画面の右半分の画像となるように、12解像度視点画像B1および12解像度視点画像C1を多重化する。画像変換部52は、多重化の結果得られる多重化画像をエンコーダ58に供給し、補助画像の多重化方式を示す情報を画像情報生成部54に供給する。視差画像生成部53は、撮影部51A乃至撮影部51Cから供給される視点画像A1乃至視点画像C1を用いて、視点画像A1乃至視点画像C1の各画素の視差値を検出する。視差画像生成部53は、互換画像である視点画像A1の各画素の視差値を表す視差画像A1’を生成し、エンコーダ58に供給する。また、視差画像生成部53は、所定の多重化方式に基づいて、視差画像B1’と視差画像C1’を低解像度化して多重化し、その結果得られる多重化画像をエンコーダ58に供給する。視差画像生成部53は、補助画像の視差画像の多重化方式を示す情報を視差画像多重化情報生成部57に供給する。画像情報生成部54は、画像変換部52から供給される情報に基づいて、補助画像の多重化方式を示す情報などを、互換画像および補助画像に関する情報である画像情報として生成し、エンコーダ58に供給する。互換情報生成部55は、画像変換部52から供給される情報に基づいて、互換画像を指定する情報、互換モードなどを、互換に関する情報である互換情報として生成し、エンコーダ58に供給する。なお、互換モードとは、互換画像の符号化方法を表すモードである。互換モードとしては、例えば、1視点の互換画像をAVC方式で符号化する符号化方法を表すモノモード、2視点の互換画像を多重化し、AVC方式で符号化する符号化方法を表すフレームパッキングモード、2視点の互換画像をMVC方式で符号化する符号化方法を表すステレオモードなどがある。撮影情報生成部56は、撮影部51A乃至撮影部51Cから供給される視点画像A1乃至視点画像C1を用いて、視点画像A1乃至視点画像C1のうちの2枚の視点画像の視点間の距離以下、視点間距離というを検出する。具体的には、撮影情報生成部56は、撮影部51Aと撮影部51Bの間の水平方向の距離Δd1AB、および、撮影部51Aと撮影部51Cの間の水平方向の距離Δd1ACを視点間距離として検出する。また、撮影情報生成部56は、撮影部51A乃至撮影部51Cから、撮影部51A乃至撮影部51Cの内部パラメータとワーピング処理用の回転行列を取得する。なお、内部パラメータとしては、焦点距離、画像中心である主点の位置、半径方向の歪み係数などがある。撮影情報生成部56は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ58に供給する。視差画像多重化情報生成部57は、視差画像生成部53から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などの視差画像に関する情報を、視差画像多重化情報として生成し、エンコーダ58に供給する。エンコーダ58は、互換用エンコーダ61と補助用エンコーダ62により構成される。互換用エンコーダ61は、画像変換部52から供給される互換画像の多重化画像を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部59に供給する。補助用エンコーダ62は、画像変換部52からの補助画像の多重化画像、並びに視差画像生成部53からの互換画像の視差画像A1’および補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ62における符号化方式としては、AVC方式、MVC方式、MPEG2MovingPictureExpertsGroupphase2方式などを用いることができる。また、補助用エンコーダ62は、符号化の結果得られる符号化画像に、画像情報生成部54からの画像情報、互換情報生成部55からの互換情報、撮影情報生成部56からの撮影情報、視差画像多重化情報生成部57からの視差画像多重化情報などを付加して、符号化ストリームを生成する。補助用エンコーダ62は、その符号化ストリームを補助ストリームとして多重化部59に供給する。多重化部59は、互換用エンコーダ61から供給される互換ストリームと補助用エンコーダ62から供給される補助ストリームから、それぞれTSTransportStreamを生成し、多重化する。多重化部59は、多重化の結果得られる多重化ストリームを伝送する。[符号化装置の処理の説明]図2および図3は、図1の符号化装置50による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部51A乃至撮影部51Cから視点画像A1乃至視点画像C1が出力されたとき開始される。図2のステップS10において、撮影情報生成部56は、撮影部51A乃至撮影部51Cから、撮影部51A乃至撮影部51Cの内部パラメータとワーピング処理用の回転行列を取得する。ステップS11において、撮影情報生成部56は、撮影部51A乃至撮影部51Cから供給される視点画像A1乃至視点画像C1を用いて、視点画像A1乃至視点画像C1のうちの2枚の視点画像の視点間距離を検出する。ステップS12において、撮影情報生成部56は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ58に供給する。ステップS13において、画像変換部52は、撮影部51A乃至撮影部51Cのうちの水平方向の位置が内側にある撮影部51Aから供給される視点画像A1を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部52は、互換画像として視点画像A1を指定する情報を互換情報生成部55に供給し、補助画像の多重化方式を画像情報生成部54に供給する。ステップS14において、互換情報生成部55は、画像変換部52から供給される情報に基づいて、互換画像として視点画像A1を指定する情報、互換モードとしてのモノモードなどを互換情報として生成し、エンコーダ58に入力する。ステップS15において、画像情報生成部54は、画像変換部52から供給される情報に基づいて、補助画像の多重化方式を示す情報などを画像情報として生成し、エンコーダ58に入力する。ステップS16において、画像変換部52は、視点画像A1以外の視点画像B1および視点画像C1を補助画像とし、ステップS13で決定された補助画像の多重化方式に基づいて補助画像を低解像度化して多重化し、補助画像の多重化画像を得る。ステップS17において、画像変換部52は、互換画像である視点画像A1と補助画像の多重化画像をエンコーダ58に入力する。図3のステップS18において、視差画像生成部53は、撮影部51A乃至撮影部51Cから供給される視点画像A1乃至視点画像C1を用いて視点画像A1乃至視点画像C1の各画素の視差値を検出し、視差画像A1’乃至視差画像C1’を生成する。ステップS19において、視差画像生成部53は、補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像多重化情報生成部57に供給する。ステップS20において、視差画像多重化情報生成部57は、視差画像生成部53から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像多重化情報として生成し、エンコーダ58に入力する。ステップS21において、視差画像生成部53は、ステップS21で決定された補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像B1’と視差画像C1’を低解像度化して多重化し、補助画像の視差画像の多重化画像を得る。ステップS22において、視差画像生成部53は、互換画像の視差画像A1と補助画像の視差画像の多重化画像をエンコーダ58に入力する。ステップS23において、エンコーダ58の互換用エンコーダ61は、画像変換部52から供給される互換画像である視点画像A1を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部59に供給する。ステップS24において、補助用エンコーダ62は、画像変換部52からの補助画像の多重化画像、並びに、視差画像生成部53からの互換画像の視差画像A1’および補助画像の視差画像の多重化画像を所定の方式で符号化する。ステップS25において、補助用エンコーダ62は、ステップS24の処理による符号化の結果得られる符号化画像に、画像情報生成部54からの画像情報、互換情報生成部55からの互換情報、撮影情報生成部56からの撮影情報、および視差画像多重化情報生成部57からの視差画像多重化情報などを付加して、符号化ストリームを生成する。補助用エンコーダ62は、その符号化ストリームを補助ストリームとして多重化部59に供給する。ステップS26において、多重化部59は、互換用エンコーダ61から供給される互換ストリームと、補助用エンコーダ62から供給される補助ストリームから、それぞれTSを生成し、多重化して送信する。そして、処理は終了する。以上のように、符号化装置50は、補助画像および補助画像の視差画像の解像度を低解像度化して符号化するので、低解像度化せずに符号化する場合に比べて、符号化対象の情報量を削減し、符号化処理および復号処理の処理コストを軽減することができる。その結果、復号装置における復号処理の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。また、符号化装置50は、多視点の画像のうちの1視点の画像を互換画像とし、既存の符号化方式で符号化するので、既存の2D画像を符号化する符号化装置との互換性を確保することができる。さらに、符号化装置50は、視差画像を生成し、符号化ストリームに含めて送信するので、符号化装置50に対応する復号装置は、多視点の画像を生成するために視差画像を生成する必要がなく、復号装置の処理の負荷を軽減することができる。その結果、復号装置のコストを低減することができる。また、復号装置の視差検出の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。[復号装置の構成例]図4は、図1の符号化装置50から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。図4の復号装置120は、分離部121、デコーダ122、画像情報取得部123、撮影情報取得部124、視差画像多重化情報取得部125、互換情報取得部126、および画像生成部127により構成される。復号装置120は、符号化装置50から送信される多重化ストリームを復号し、視差画像のワーピング処理を行って多視点の画像を生成し、図示せぬ表示装置に表示させる。具体的には、復号装置120の分離部121は、受け取り部として機能し、符号化装置50から送信されてくる多重化ストリームを受け取り、TSごとに分離する。分離部121は、分離されたTSから互換ストリームと補助ストリームを抽出し、デコーダ122に供給する。デコーダ122は、互換用デコーダ131と補助用デコーダ132により構成される。デコーダ122の互換用デコーダ131は、補助用デコーダ132から供給される互換情報に基づいて、分離部121から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。互換用デコーダ131は、互換情報に基づいて、互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号する。互換用デコーダ131は、復号の結果得られる視点画像A1を画像生成部127に供給する。補助用デコーダ132は、分離部121から供給される補助ストリームに含まれる互換情報を互換用デコーダ131に供給する。補助用デコーダ132は、互換情報に基づいて、分離部121から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ132は、復号部として機能し、分離部121から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図1の補助用エンコーダ62に対応する方式で復号する。補助用デコーダ132は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部127に供給する。また、補助用デコーダ132は、補助ストリームに含まれる画像情報を画像情報取得部123に供給し、撮影情報を撮影情報取得部124に供給する。さらに、補助用デコーダ132は、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部125に供給し、互換情報を互換情報取得部126に供給する。画像情報取得部123は、補助用デコーダ132から供給される画像情報を取得し、画像生成部127に供給する。撮影情報取得部124は、補助用デコーダ132から供給される撮影情報を取得し、画像生成部127に供給する。視差画像多重化情報取得部125は、補助用デコーダ132から供給される視差画像多重化情報を取得し、画像生成部127に供給する。互換情報取得部126は、補助用デコーダ132から供給される互換情報を取得し、画像生成部127に供給する。画像生成部127は、2D画像生成部141と3D画像生成部142により構成される。画像生成部127の2D画像生成部141は、視聴者からの2D画像表示指令に応じて、互換用デコーダ131から供給される互換画像である視点画像A1を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、2D画像を見ることができる。また、3D画像生成部142は、デコーダ122から供給される視点画像A1、補助画像の多重化画像、互換画像の視差画像A1’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、互換情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、3D画像生成部142は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに3D画像を見ることができる。[3D画像生成部の詳細構成例]図5は、図4の3D画像生成部142の詳細構成例を示すブロック図である。図5に示すように、3D画像生成部142は、仮想視点位置決定部160、視差画像分離部161、視差画像高解像度化部162、視差画像ワーピング処理部163、視差画像ワーピング処理部164、スムージング処理部165、スムージング処理部166、視点画像ワーピング処理部167、視点画像ワーピング処理部168、視点画像分離部169、視点画像高解像度化部170、多視点画像生成部171、および多視点画像合成処理部172により構成される。3D画像生成部142の仮想視点位置決定部160は、撮影情報取得部124から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の視点の位置を仮想視点の位置として決定する。そして、仮想視点位置決定部160は、各仮想視点の位置に基づいて、視差画像ワーピング処理部163と視差画像ワーピング処理部164のそれぞれに対して、その仮想視点の画像の生成に用いる、その仮想視点より外側の視点の視差画像を特定する情報である視差画像特定情報を生成する。なお、各仮想視点に対して、視差画像ワーピング処理部163に供給される視差画像特定情報と、視差画像ワーピング処理部164に供給される視差画像特定情報は異なるように生成される。また、仮想視点位置決定部160は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部163と視差画像ワーピング処理部164に供給する。視差画像分離部161は、互換情報取得部126から供給される互換情報に基づいて、デコーダ122から供給される互換画像の視差画像A1’をそのまま視差画像高解像度化部162に供給する。また、視差画像分離部161は、デコーダ122から供給される補助画像の視差画像の多重化画像を、視差画像多重化情報取得部125から供給される視差画像多重化情報に基づいて分離する。そして、視差画像分離部161は、その結果得られる互換画像の解像度の12の解像度の視点画像B1および視点画像C1の視差画像を視差画像高解像度化部162に供給する。視差画像高解像度化部162は、高解像度化部として機能し、視差画像分離部161から供給される互換画像の解像度の12の解像度の視点画像B1および視点画像C1の視差画像をそれぞれ高解像度化する。これにより、視差画像高解像度化部162は、互換画像と同一の解像度の視点画像B1と視点画像C1の視差画像を得る。そして、視差画像高解像度化部162は、得られた視点画像B1と視点画像C1の視差画像、並びに、視差画像分離部161から供給される視差画像A1’を、視差画像ワーピング処理部163および視差画像ワーピング処理部164に供給する。視差画像ワーピング処理部163は、視差画像ワーピング処理部として機能する。具体的には、視差画像ワーピング処理部163は、仮想視点ごとに、仮想視点位置決定部160から供給される視差画像特定情報に基づいて、視差画像高解像度化部162から供給される視点画像B1および視点画像C1の視差画像並びに視差画像A1’のうちの1つを選択する。視差画像ワーピング処理部163は、仮想視点ごとに、撮影情報取得部124からの撮影情報、および、仮想視点位置決定部160からの仮想視点の位置に基づいて、選択された視差画像のワーピング処理を行う。視差画像ワーピング処理部163は、ワーピング処理により生成される各仮想視点の視差画像をスムージング処理部165に供給する。視差画像ワーピング処理部164は、視差画像ワーピング処理部として機能し、視差画像ワーピング処理部163と同様の処理を行い、その結果生成された各仮想視点の視差画像を、スムージング処理部166に供給する。スムージング処理部165は、補正部として機能し、視差画像ワーピング処理部163から供給される各仮想視点の視差画像に対して、オクルージョン領域詳細は後述する内の0以外の視差値を取り除くスムージング処理を行う。具体的には、スムージング処理部165は、各仮想視点の視差画像からオクルージョン領域内の0以外の視差値を検出し、その視差値を0に補正する。スムージング処理部165は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部167に供給する。なお、オクルージョン領域とは、仮想視点と、実際に撮影された視点画像の視点が異なることによって生じる、仮想視点の画像には存在するが、その仮想視点の視差画像の生成に用いられた視差画像に対応する視点画像には存在しない領域である。また、ワーピング処理後の視差画像のうち、ワーピング処理前の視差画像の画素と対応しない画素の視差値は0とされる。従って、本来、オクルージョン領域の視差値は0であり、オクルージョン領域は黒画で表される。スムージング処理部166は、補正部として機能し、視差画像ワーピング処理部164から供給される各仮想視点の視差画像に対して、スムージング処理部165と同様にスムージング処理を行う。そして、スムージング処理部166は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部168に供給する。視点画像ワーピング処理部167は、視点画像ワーピング処理部として機能する。具体的には、視点画像ワーピング処理部167は、スムージング処理部165から供給される各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部170から供給される視点画像のワーピング処理を行う。視点画像ワーピング処理部167は、ワーピング処理の結果得られるオクルージョン領域を有する各仮想視点の画像を多視点画像生成部171に供給する。視点画像ワーピング処理部168は、視点画像ワーピング処理部として機能し、スムージング処理部166から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部167と同様の処理を行う。視点画像分離部169は、互換情報取得部126から供給される互換情報に基づいて、デコーダ122から供給される互換画像である視点画像A1を、そのまま視点画像高解像度化部170に供給する。また、視点画像分離部169は、画像情報取得部123から供給される画像情報に基づいて、デコーダ122から供給される補助画像の多重化画像を分離する。視点画像分離部169は、その結果得られる互換画像の解像度の12の解像度の視点画像B1および視点画像C1を視点画像高解像度化部170に供給する。視点画像高解像度化部170は、視点画像分離部169から供給される互換画像の解像度の12の解像度の視点画像B1および視点画像C1それぞれに対して補間処理を行うことにより、高解像度化を行う。これにより、視点画像高解像度化部170は、互換画像と同一の解像度の視点画像B1および視点画像C1を得る。そして、視点画像高解像度化部170は、得られた視点画像B1および視点画像C1の視差画像、並びに、視点画像分離部169から供給される視点画像A1を、視点画像ワーピング処理部167および視点画像ワーピング処理部168に供給する。多視点画像生成部171は、補間部として機能し、仮想視点ごとに、視点画像ワーピング処理部167および視点画像ワーピング処理部168のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部171は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部172に供給する。多視点画像合成処理部172は、多視点画像生成部171から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の1の解像度に変換して合成し、図示せぬ表示装置に表示させる。[仮想視点の画像の生成の説明]図6は、図5の3D画像生成部142による仮想視点の画像の生成を説明する図である。図6に示すように、視差画像ワーピング処理部163および視差画像ワーピング処理部164は、視差画像特定情報に基づいて、それぞれ、異なる視差画像を選択する。図6の例では、視差画像ワーピング処理部163は、画面上の左側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像以下、視差画像1というを選択している。また、視差画像ワーピング処理部164は、画面上の右側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像以下、視差画像2というを選択している。視差画像ワーピング処理部163と視差画像ワーピング処理部164は、それぞれ、仮想視点の位置と撮影情報に基づいて、選択された視差画像のワーピング処理を行い、仮想視点の視差画像を生成する。そして、スムージング処理部165とスムージング処理部166は、それぞれ、生成された仮想視点の視差画像に対してスムージング処理を行う。これにより、図6に示すように、仮想視点の視差画像1は、例えば、視差画像1内の円形の領域が右側に移動し、その円形の領域の左側に発生している、図中黒く塗りつぶされているオクルージョン領域の全ての視差値が0である視差画像となる。また、仮想視点の視差画像2は、例えば、視差画像2内の円形の領域が左側に移動し、その円形の領域の右側に発生している、図中黒く塗りつぶされているオクルージョン領域の全ての視差値が0である視差画像となる。なお、仮想視点の視差画像1内の円形の領域の位置と仮想視点の視差画像2内の円形の領域の位置は、同一である。視点画像ワーピング処理部167は、仮想視点の視差画像1に基づいて、視差画像1に対応する視点画像1のワーピング処理を行う。図6の例では、視点画像1は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像1は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像1に比べて右側に移動し、その領域の左側にオクルージョン領域が存在する画像となる。一方、視点画像ワーピング処理部168は、仮想視点の視差画像2に基づいて、視差画像2に対応する視点画像2のワーピング処理を行う。図6の例では、視点画像2は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像2は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像2に比べて左側に移動し、その領域の右側にオクルージョン領域が存在する画像となる。多視点画像生成部171は、ワーピング処理後の視点画像1および視点画像2のいずれか一方の視点画像のオクルージョン領域を、他方の視点画像で補間する。具体的には、視差画像特定情報は、仮想視点より外側の視点の視差画像を特定する情報であるので、ワーピング処理後の視点画像1および視点画像2のいずれか一方に存在するオクルージョン領域の画像は、他方の視点画像内に存在する。従って、多視点画像生成部171は、ワーピング処理後の視点画像1および視点画像2のいずれか一方に存在するオクルージョン領域の画像を、他方の視点画像内に存在する、そのオクルージョン領域の画像で補間する。これにより、図6に示すように、オクルージョン領域が存在しない仮想視点の画像が生成される。[視差画像のワーピング処理の説明]図7は、視差画像のワーピング処理を説明する図である。視差画像のワーピング処理では、まず、図7に示すように、選択された位置ttxtytzの視点の視差画像の各画素の位置mxyzと、位置ttxtytzの仮想視点の視差画像の位置mxyzを、3次元空間を介して対応付ける。具体的には、以下の式1により、位置ttxtytzの視点の視差画像の視差値Zの画素の位置mxyzに対応する3次元空間の位置Mが求められ、その位置Mに対応する、位置ttxtytzの仮想視点の視差画像の位置mxyzが求められる。TRA-1xy1TZtxtytzTsxy1TA’R-1XYZTtxtytzT1なお、式1において、Rは、視差画像を撮影する撮影部51A乃至撮影部51Cのワーピング処理用の回転行列であり、以下の式2で表される。なお、式2において、r11乃至r13,r21乃至r23、およびr31乃至r33は、所定値である。また、式1において、Aは、視差画像を撮影する撮影部51A乃至撮影部51Cの内部パラメータを含む行列であり、以下の式3で表される。なお、式3において、focallengthxfocallengthyは、それぞれ、内部パラメータに含まれるx方向、y方向の焦点距離を表す。principalpointxprincipalpointyは、それぞれ、内部パラメータに含まれる主点のx方向、y方向の位置を表す。radialdistortionは、内部パラメータに含まれる半径方向の歪み係数を表す。さらに、式1において、R’は、Rと同様に表される仮想視点の視差画像を撮影する仮想の撮影部のワーピング処理用の回転行列であり、A’は、Aと同様に表される仮想視点の視差画像を撮影する仮想の撮影部の内部パラメータを含む行列である。また、式1においてsは、スケーリングファクタscalingfactorである。以上のようにして対応付けが行われた後、各画素の位置mxyzに対応する位置mxyzに基づいて、選択された視差画像の各画素に対応する仮想視点の視差画像の各画素が決定される。なお、仮想視点の視差画像の所定の画素に、複数の画素が対応付けられる場合、その複数の画素のうちの視差値が最も大きい画素、即ち手前側の被写体に対応する画素が、仮想視点の視差画像の所定の画素に対応する画素とされる。そして、選択された視差画像の各画素の視差値が、その画素に対応する仮想視点の視差画像の画素の視差値とされ、その結果、仮想視点の視差画像が生成される。図8は、符号化装置50の視差画像生成部53により低解像度化される前の視差画像と、その視差画像のワーピング処理結果を示す図である。なお、図8において、小さい丸は画素を表し、丸の柄は視差値を表す。このことは、後述する図9および図10においても同様である。図8の例では、低解像度化される前の視差画像が、図8Aに示すように、画面中央に位置する円形の領域の視差値が0とは大きく異なる所定値であり、その領域以外の領域の視差値が0である視差画像である。この場合、低解像度化される前の視差画像のワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図8Bに示すように、円形の領域が10画素だけ左側に移動する。図9は、符号化装置50の視差画像生成部53により低解像度化された視差画像、視差画像高解像度化部162により高解像度化された視差画像、および、高解像度化された視差画像のワーピング処理結果を示す図である。視差画像生成部53が、図8Aの低解像度化される前の視差画像の水平方向に隣接する2つの画素の視差値の平均値を、その画素に対応する低解像度化後の視差画像の画素の視差値とすることにより低解像度化する場合、低解像度化された視差画像は、図9Aに示すようになる。なお、図9において、縦線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と、灰色が付された丸で表される画素の視差値の平均値である。また、図9Aでは、説明の便宜上、低解像度化前の画素を丸で表しており、低解像度化により間引かれる画素は、柄が付されない丸で表している。図9Aの低解像度化された視差画像が供給される場合、視差画像高解像度化部162は、例えば、高解像度化後の視差画像の各画素の視差値を、その画素に対応する、図9Aの低解像度化された視差画像の水平方向に隣接する2つの画素の視差値を用いて線形補間することにより高解像度化を行う。これにより、図9Bの高解像度化された視差画像が生成される。なお、図9において、横線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と縦線が付された丸で表される画素の視差値の範囲内の値である。図9Bの高解像度化された視差画像に対してワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図9Cに示すように、図中斜線で示すオクルージョン領域に0以外の視差値が対応付けられる。具体的には、例えば、本来、横線が付された丸で表される画素は、図8Bに示したように、10画素だけ左側に移動する必要があるが、図9Cに示すように、5画素だけしか左側に移動しない。即ち、正確にワーピング処理が行われない。その結果、仮想視点の画像内の、本来画素値が対応付けられないオクルージョン領域に画素値が存在し、その画素値が多視点画像生成部171による補間時に他の仮想視点の画像により補間されないため、仮想視点の画像が破綻する。そこで、3D画像生成部142では、スムージング処理部165およびスムージング処理部166が、スムージング処理を行い、オクルージョン領域内の0以外の視差値を0に補正する。[スムージング処理の説明]図10は、図5のスムージング処理部165166によるスムージング処理を説明する図である。図10の左側に示すように、図5の視差画像ワーピング処理部163164が、図9Cの仮想視点の視差画像を生成する場合、スムージング処理部165166は、その視差画像のオクルージョン領域内の視差値が0以外である画素を検出する。そして、図10の右側に示すように、スムージング処理部165166は、オクルージョン領域内の視差値が0以外である画素の視差値を0に補正する。このように、スムージング処理部165166は、オクルージョン領域内の0以外の視差値に対応する画素を検出し、その画素の視差値を0に補正するので、仮想視点の画像のオクルージョン領域内に誤って画素値が配置されることを防止することができる。その結果、仮想視点の画像の破綻を防止することができる。[復号装置の処理の説明]図11は、図4の復号装置120による復号処理を説明するフローチャートである。この復号処理は、例えば、図1の符号化装置50から送信される多重化ストリームが復号装置120に入力されたとき、開始される。図11のステップS61において、復号装置120の分離部121は、符号化装置50から送信されてくる多重化ストリームを受信し、TSごとに分離する。分離部121は、分離されたTSから互換ストリームと補助ストリームを抽出し、デコーダ122に供給する。デコーダ122の補助用デコーダ132は、分離部121から供給される補助ストリームに含まれる互換情報を互換用デコーダ131に供給する。ステップS62において、互換用デコーダ131は、補助用デコーダ132から供給される互換情報に基づいて、分離部121から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。ステップS63において、互換用デコーダ131は、互換情報に基づいて、互換ストリームに含まれる互換画像をAVC方式に対応する方式で復号し、その結果得られる視点画像A1を画像生成部127に供給する。ステップS64において、画像生成部127は、視聴者から2D画像の表示が指令されたかどうかを判定する。ステップS64で視聴者から2D画像の表示が指令されていないと判定された場合、即ち視聴者からメガネ無し方式の3D画像の表示が指令された場合、補助用デコーダ132は、互換情報に基づいて、分離部121から供給される互換ストリームと補助ストリームのうちの補助ストリームを識別する。そして、ステップS65において、補助用デコーダ132は、補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像A1’、および補助画像の視差画像の多重化画像を、図1の補助用エンコーダ62に対応する方式で復号する。補助用デコーダ132は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像A1’、および補助画像の視差画像の多重化画像を画像生成部127に供給する。また、補助用デコーダ132は、補助ストリームに含まれる画像情報を画像情報取得部123に供給し、撮影情報を撮影情報取得部124に供給する。さらに、補助用デコーダ132は、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部125に供給し、互換情報を互換情報取得部126に供給する。ステップS66において、画像情報取得部123は、補助用デコーダ132から供給される画像情報を取得し、画像生成部127に入力する。ステップS67において、撮影情報取得部124は、補助用デコーダ132から供給される撮影情報を取得し、画像生成部127に入力する。ステップS68において、視差画像多重化情報取得部125は、補助用デコーダ132から供給される視差画像多重化情報を取得し、画像生成部127に入力する。ステップS69において、互換情報取得部126は、補助用デコーダ132から供給される互換情報を取得し、画像生成部127に入力する。ステップS70において、画像生成部127の3D画像生成部142は、多視点の画像の合成画像を生成する多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図12を参照して説明する。ステップS71において、画像生成部127は、ステップS70の処理により生成される多視点の画像の合成画像を図示せぬ表示装置に出力し、視点ごとに視認可能な角度が異なるように表示させる。そして、処理は終了する。一方、ステップS64で視聴者から2D画像の表示が指令されたと判定された場合、ステップS72において、画像生成部127の2D画像生成部141は、互換用デコーダ131から供給される互換画像である視点画像A1を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。図12は、図11のステップS70の多視点画像生成処理の詳細を説明するフローチャートである。図12のステップS90において、3D画像生成部142の仮想視点位置決定部160図5は、撮影情報取得部124から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、各仮想視点の位置を決定する。そして、仮想視点位置決定部160は、各仮想視点の位置に基づいて、視差画像ワーピング処理部163と視差画像ワーピング処理部164のそれぞれに対して、視差画像特定情報を生成する。また、仮想視点位置決定部160は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部163と視差画像ワーピング処理部164に供給する。ステップS91において、視差画像分離部161は、補助用デコーダ132から供給される互換画像の視差画像A1’と補助画像の視差画像の多重化画像を取得する。ステップS92において、視差画像分離部161は、視差画像多重化情報取得部125から供給される視差画像多重化情報に基づいて、補助画像の視差画像の多重化画像を分離する。視差画像分離部161は、その結果得られる互換画像の解像度の12の解像度の、補助画像である視点画像Bおよび視点画像Cの視差画像を、視差画像高解像度化部162に供給する。また、視差画像分離部161は、互換情報取得部126から供給される互換情報に基づいて、視差画像A1’をそのまま視差画像高解像度化部162に供給する。ステップS93において、視差画像高解像度化部162は、視差画像分離部161から供給される互換画像の解像度の12の解像度の、補助画像である視点画像Bおよび視点画像Cの視差画像を、それぞれ高解像度化する。これにより、視差画像高解像度化部162は、互換画像と同一の解像度の視点画像B1および視点画像C1の視差画像を得る。そして、視差画像高解像度化部162は、得られた視点画像B1および視点画像C1の視差画像、並びに、視差画像分離部161から供給される視差画像A1’を、視差画像ワーピング処理部163および視差画像ワーピング処理部164に供給する。ステップS94において、視差画像ワーピング処理部163は、仮想視点ごとに、仮想視点位置決定部160からの視差画像特定情報に基づいて、視差画像高解像度化部162から供給される視点画像B1および視点画像C1の視差画像並びに視差画像A1’のうちの1つを選択する。また、視差画像ワーピング処理部164は、視差画像ワーピング処理部163と同様の処理を行う。そして、ステップS95およびS96において、視差画像ワーピング処理部163および視差画像ワーピング処理部164は、選択された視差画像のワーピング処理を行う。具体的には、まず、ステップS95において、視差画像ワーピング処理部163164は、仮想視点ごとに、その仮想視点の位置、撮影情報、および選択された視差画像に基づいて、上述した式1により、その視差画像の各画素に対応する仮想視点の視差画像上の画素を決定する。そして、ステップS96において、視差画像ワーピング処理部163164は、仮想視点ごとに、ステップS97で決定された画素に基づいて、選択された視差画像から仮想視点の視差画像を生成する。具体的には、視差画像ワーピング処理部163164は、仮想視点ごとに、選択された視差画像の各画素の視差値を、仮想視点の視差画像のステップS95で決定された画素の視差値とする。視差画像ワーピング処理部163164は、その結果生成された各仮想視点の視差画像をスムージング処理部165166に供給する。ステップS96の処理後、ステップS97およびS98において、スムージング処理部165およびスムージング処理部166は、ステップS96で生成された各仮想視点の視差画像に対してスムージング処理を行う。具体的には、ステップS97において、スムージング処理部165166は、各仮想視点の視差画像内の0以外の視差値に対応する画素のうち、周辺画素の視差値が0である画素を、オクルージョン領域内の0以外の視差値に対応する画素として検出する。ステップS98において、スムージング処理部165166は、各仮想視点の視差画像のステップS97で検出された画素の視差値を0に補正し、補正後の各仮想視点の視差画像を視点画像ワーピング処理部167168に供給する。ステップS99において、視点画像分離部169は、画像情報取得部123から供給される画像情報に基づいて、補助用デコーダ132から供給される補助画像の多重化画像を分離する。そして、視点画像分離部169は、その結果得られる互換画像の解像度の12の解像度の視点画像B1および視点画像C1を視差画像高解像度化部162に供給する。また、視点画像分離部169は、互換情報取得部126から供給される互換情報に基づいて、互換用デコーダ131から供給される互換画像である視点画像A1を、そのまま視点画像高解像度化部170に供給する。ステップS100において、視点画像高解像度化部170は、視点画像分離部169から供給される互換画像の解像度の12の解像度の、補助画像である視点画像B1および視点画像C1をそれぞれ高解像度化する。これにより、視点画像高解像度化部170は、互換画像と同一の解像度の視点画像B1および視点画像C1を得る。そして、視点画像高解像度化部170は、得られた視点画像B1および視点画像C1、並びに、視点画像分離部169から供給される視点画像A1を、視点画像ワーピング処理部167および視点画像ワーピング処理部168に供給する。ステップS101において、視点画像ワーピング処理部167は、スムージング処理部165から供給されるスムージング処理後の各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部170から供給される視点画像のワーピング処理を行う。これにより、オクルージョン領域を有する各仮想視点の画像が生成される。視点画像ワーピング処理部167は、オクルージョン領域を有する各仮想視点の画像を多視点画像生成部171に供給する。また、視点画像ワーピング処理部168は、視差画像ワーピング処理部164から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部167と同様の処理を行う。ステップS102において、多視点画像生成部171は、仮想視点ごとに、視点画像ワーピング処理部167および視点画像ワーピング処理部168のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部171は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部172に供給する。ステップS103において、多視点画像合成処理部172は、多視点画像生成部171から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の1の解像度に変換して合成し、多視点の画像の合成画像を生成する。そして、処理は、図11のステップS70に戻り、処理はステップS71に進む。以上のように、復号装置120は、ワーピング処理の結果得られる仮想視点の視差画像に対してスムージング処理を行うので、仮想視点の画像のオクルージョン領域内に画素値が存在することを防止することができる。その結果、仮想視点の2つの画像のうち、一方の画像のオクルージョン領域の画像を、他方の画像で補間することができ、破綻のない、高精度な仮想視点の画像を生成することができる。<第2実施の形態>[符号化装置の第2実施の形態の構成例]図13は、本技術を適用した画像処理装置に対応する符号化装置の第2実施の形態の構成例を示すブロック図である。図13に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図13の符号化装置200の構成は、主に、境界情報生成部201が新たに設けられている点、および、エンコーダ58の代わりにエンコーダ202が設けられている点が図1の構成と異なる。符号化装置200は、低解像度化され、符号化された視差画像に、視差画像の視差値が大きく変化する位置である境界位置に隣接する画素であるかどうかを示す情報である境界情報isdepthedgeを付加して伝送する。具体的には、符号化装置200の境界情報生成部201は、視差画像生成部53により生成された視差画像B1’および視差画像C1’から、それぞれ、境界位置を検出する。そして、境界情報生成部201は、検出された境界位置に基づいて、画素単位またはマクロブロック単位で境界情報を生成し、エンコーダ202に供給する。なお、マクロブロックとは、符号化の単位である。エンコーダ202は、互換用エンコーダ61と補助用エンコーダ211により構成される。エンコーダ202の補助用エンコーダ211は、図1の補助用エンコーダ62と同様に、画像変換部52からの補助画像の多重化画像、並びに視差画像生成部53からの互換画像の視差画像A1’および補助画像の視差画像の多重化画像を所定の方式で符号化する。また、補助用エンコーダ211は、符号化の結果得られる符号化画像に、画像情報生成部54からの画像情報、互換情報生成部55からの互換情報、撮影情報生成部56からの撮影情報、視差画像多重化情報生成部57からの視差画像多重化情報、境界情報生成部201からの境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ211は、その符号化ストリームを補助ストリームとして多重化部59に供給する。[境界情報の例]図14は、境界情報の例を示す図である。なお、図14において、小さい丸は画素を表し、丸の柄は視差値を表す。図14の例の視差画像では、図14の左側に示すように、画面中央に位置する円形の領域の視差値と、その領域以外の領域の視差値が大きく異なっている。従って、画面中央に存在する円形の領域と、その領域以外の領域の境界に、境界位置が存在する。画素単位で境界情報が生成される場合、例えば、図14の右上に示すように、境界位置に隣接する2つの画素の境界情報は、境界位置に隣接する画素であることを示す1となる。また、それ以外の画素の境界情報は、境界位置に隣接する画素ではないことを示す0となる。一方、マクロブロック単位で境界情報が生成される場合、例えば、図14の右下に示すように、境界位置に隣接する2つの画素を含むマクロブロックMBの境界情報が、境界位置に隣接する画素であることを示す1となる。また、それ以外のマクロブロックの境界情報は、境界位置に隣接する画素ではないことを示す0となる。[符号化装置の処理の説明]図15および図16は、図13の符号化装置200による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部51A乃至撮影部51Cから視点画像A1乃至視点画像C1が出力されたとき開始される。図15のステップS120乃至図16のステップS128の処理は、図2のステップS10乃至図3のステップS18の処理と同様であるので、説明は省略する。図16のステップS129において、境界情報生成部201は、視差画像生成部53から供給される視差画像B1’および視差画像C1’の境界情報を生成する境界情報生成処理を行う。この境界情報生成処理の詳細は、後述する図17を参照して説明する。ステップS130において、境界情報生成部201は、ステップS129で生成された境界情報を、エンコーダ58に入力する。ステップS131乃至S136の処理は、図3のステップS19乃至S24の処理と同様であるので、説明は省略する。ステップS137において、補助用エンコーダ211は、ステップS136の処理による符号化の結果得られる符号化画像に、画像情報生成部54からの画像情報、互換情報生成部55からの互換情報、撮影情報生成部56からの撮影情報、視差画像多重化情報生成部57からの視差画像多重化情報、および境界情報生成部201からの境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ211は、その符号化ストリームを補助ストリームとして多重化部59に供給する。ステップS138において、多重化部59は、互換用エンコーダ61から供給される互換ストリームと、補助用エンコーダ211から供給される補助ストリームから、それぞれTSを生成し、多重化して送信する。そして、処理は終了する。図17は、図16のステップS129の境界情報生成処理の詳細を説明するフローチャートである。なお、図17では、画素単位で境界情報が生成される場合の境界情報生成処理について説明する。また、図17の境界情報生成処理は、視差画像ごとに行われる。図17のステップS141において、境界情報生成部201は、視差画像生成部53から供給される視差画像を取得する。ステップS142において、境界情報生成部201は、視差画像の水平方向に隣接する画素どうしのうちの、まだステップS142の処理の対象となっていないものの視差値の差分を求める。ステップS143において、境界情報生成部201は、ステップS142で求められた視差値の差分が所定の閾値より大きいかどうかを判定する。ステップS143で視差値の差分が所定の閾値より大きいと判定された場合、ステップS144において、境界情報生成部201は、ステップS142の処理の対象である隣接する2つの画素の間を境界位置として検出し、その2つの画素の境界情報を1に設定する。一方、ステップS143で視差値の差分が所定の閾値より大きくはないと判定された場合、ステップS145において、境界情報生成部201は、ステップS142の処理の対象である隣接する2つの画素の境界情報のうちの、1が設定されていない境界情報を0に設定する。ステップS144またはステップS145の処理後、ステップS146において、境界情報生成部201は、視差画像の全ての水平方向に隣接する2つの画素どうしの視差値の差分を求めたかどうかを判定する。ステップS146で視差画像の全ての水平方向に隣接する画素どうしの視差値の差分をまだ求めていないと判定された場合、処理はステップS142に戻り、視差画像の全ての水平方向に隣接する画素どうしの視差値の差分が求められるまで、ステップS142乃至S146の処理が繰り返される。一方、ステップS146で視差画像の全ての水平方向に隣接する画素どうしの視差値の差分を求めたと判定された場合、処理は図16のステップS129に戻り、処理はステップS130に進む。なお、境界情報生成部201は、境界情報をマクロブロック単位で生成する場合、図17の境界情報生成処理において、ステップS142乃至S146の処理をマクロブロック単位で行う。具体的には、境界情報生成部201は、ステップS142で視差画像の所定のマクロブロック内の水平方向に隣接する画素どうしの視差値の差分を求め、ステップS143で少なくとも1つの視差値の差分が所定の閾値より大きいかどうかを判定する。そして、少なくとも1つの視差値の差分が所定の閾値より大きいと判定された場合、ステップS144で、境界情報生成部201は、その差分に対応するマクロブロックの境界情報を1に設定する。一方、全ての視差値の差分が所定の閾値以下である判定された場合、ステップS145で、境界情報生成部201は、その差分に対応するマクロブロックの境界情報のうちの1が設定されていない境界情報を0に設定する。以上のように、符号化装置200は、視差画像を低解像度化し、低解像度化された視差画像と境界情報を送信するので、後述する復号装置において、境界情報に基づいて仮想視点の視差画像のスムージング処理を行うことができる。その結果、復号装置において、後述するように、仮想視点の視点画像を高精度に生成することができる。[復号装置の構成例]図18は、図13の符号化装置200から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。図18に示す構成のうち、図4の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図18の復号装置220の構成は、主に、境界情報取得部222が新たに設けられている点、および、デコーダ122、画像生成部127の代わりに、デコーダ221、画像生成部223が設けられている点が図4の構成と異なる。復号装置220は、符号化装置200から送信される多重化ストリームを復号し、境界情報に基づいてワーピング処理後の視差画像をスムージング処理して多視点の画像を生成し、図示せぬ表示装置に表示させる。具体的には、復号装置220のデコーダ221は、互換用デコーダ131と補助用デコーダ231により構成される。デコーダ221の補助用デコーダ231は、図4の補助用デコーダ132と同様に、分離部121から供給される補助ストリームに含まれる互換情報を互換用デコーダ131に供給する。補助用デコーダ231は、補助用デコーダ132と同様に、互換情報に基づいて、分離部121から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ231は、復号部として機能し、分離部121から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図13の補助用エンコーダ211に対応する方式で復号する。補助用デコーダ231は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部223に供給する。また、補助用デコーダ231は、補助用デコーダ132と同様に、補助ストリームに含まれる画像情報を画像情報取得部123に供給し、撮影情報を撮影情報取得部124に供給する。さらに、補助用デコーダ231は、補助用デコーダ132と同様に、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部125に供給し、互換情報を互換情報取得部126に供給する。また、補助用デコーダ231は、補助ストリームに含まれる境界情報を境界情報取得部222に供給する。境界情報取得部222は、補助用デコーダ231から供給される境界情報を取得し、画像生成部223に供給する。画像生成部223は、2D画像生成部141と3D画像生成部241により構成される。画像生成部223の3D画像生成部241は、デコーダ221から供給される視点画像A1、補助画像の多重化画像、互換画像の視差画像A1’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、3D画像生成部241は、図4の3D画像生成部142と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに3D画像を見ることができる。[3D画像生成部の詳細構成例]図19は、図18の3D画像生成部241の詳細構成例を示すブロック図である。図19に示す構成のうち、図5の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図19の3D画像生成部241の構成は、スムージング処理部165およびスムージング処理部166の代わりに、スムージング処理部251およびスムージング処理部252が設けられている点が図5の構成と異なる。3D画像生成部241のスムージング処理部251は、補正部として機能し、境界情報取得部222から供給される境界情報に基づいて、視差画像ワーピング処理部163から供給される各仮想視点の視差画像に対してスムージング処理を行う。具体的には、スムージング処理部251は、各仮想視点の視差画像からオクルージョン領域内の0以外の視差値を検出する。スムージング処理部251は、検出された視差値のうち、境界位置であることを表す境界情報に対応する画素の視差値を0に補正する。スムージング処理部251は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部167に供給する。スムージング処理部252は、補正部として機能し、視差画像ワーピング処理部164から供給される各仮想視点の視差画像に対して、スムージング処理部251と同様にスムージング処理を行う。そして、スムージング処理部252は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部168に供給する。[境界情報に基づくスムージング処理の説明]図20は、図19のスムージング処理部251252による境界情報に基づくスムージング処理を説明する図である。なお、図20において、小さい丸は画素を表し、丸の柄は視差値を表す。図20の左側に示すように、図19の視差画像ワーピング処理部163164が、図9Cの仮想視点の視差画像を生成する場合、スムージング処理部251252は、その視差画像内のオクルージョン領域内の視差値が0以外である画素を検出する。そして、スムージング処理部251252は、その画素に対応する境界情報が1である場合、図20の右側に示すように、その画素の視差値を0に補正する。このように、スムージング処理部251252は、オクルージョン領域内の視差値が0以外である画素として検出された画素の視差値のうち、高解像度化により誤ってオクルージョン領域内に配置される可能性のある境界位置に隣接する画素の視差値だけを0に補正する。これにより、オクルージョン領域外の画素が、オクルージョン領域内の0以外の視差値に対応する画素として検出され、その画素の視差値が0に補正されることを防止することができる。その結果、より高精度に仮想視点の画像を生成することができる。[復号装置の処理の説明]図21は、図18の復号装置220による復号処理を説明するフローチャートである。この復号処理は、例えば、図13の符号化装置200から送信される多重化ストリームが復号装置220に入力されたとき、開始される。図21のステップS201乃至S209の処理は、図11のステップS61乃至S69の処理と同様であるので、説明は省略する。ステップS210において、境界情報取得部222は、補助用デコーダ231から供給される境界情報を取得し、画像生成部223に入力する。ステップS211において、画像生成部223の3D画像生成部241は、多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図22を参照して説明する。ステップS212およびS213の処理は、図11のステップS71およびS72の処理と同様であるので、説明は省略する。図22は、図21のステップS211の多視点画像生成処理の詳細を説明するフローチャートである。図22のステップS230乃至S236の処理は、図14のステップS90乃至S96の処理と同様であるので、説明は省略する。ステップS237およびS238において、スムージング処理部251およびスムージング処理部252は、ステップS236で生成された各仮想視点の視差画像に対してスムージング処理を行う。具体的には、ステップS237において、スムージング処理部251252は、各仮想視点の視差画像内の0以外の視差値に対応する画素のうち、境界情報が1であり、かつ、周辺画素の視差値が0である画素を、オクルージョン領域内の0以外の視差値に対応する画素として検出する。ステップS238において、スムージング処理部251252は、各仮想視点の視差画像のステップS237で検出された画素の視差値を0に補正し、補正後の各仮想視点の視差画像を視点画像ワーピング処理部167168に供給する。ステップS239乃至S243の処理は、図12のステップS99乃至S103と同様であるので、説明は省略する。以上のように、復号装置220は、符号化装置200から送信されてくる境界情報に基づいて、ワーピング処理の結果得られる仮想視点の視差画像に対して、より正確にスムージング処理を行う。従って、オクルージョン領域外の画素が、オクルージョン領域内の0以外の視差値に対応する画素として検出され、その画素の視差値が0に補正されることを防止することができる。その結果、より高精度に仮想視点の画像を生成することができる。なお、本技術の画像処理装置は、例えば、テレビジョン受像機などの表示装置や再生装置に適用することができる。また、本技術において、境界位置に隣接する画素の数は、2つに限定されず、境界位置に隣接する画素は、境界位置の左に隣接する複数の画素および右に隣接する複数の画素であってもよい。また、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されずに、符号化ストリームとは別系統で伝送されるようにしてもよい。また、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されて、符号化ストリームとは別系統で伝送されるようにしてもよい。さらに、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されずに、符号化ストリームの所定の領域に記述されることもできるし、符号化されて符号化ストリームの所定の領域に記述されることもできる。また、符号化装置50200は、復号装置120220においてスムージング処理を行うかどうかを表すスムージングフラグFillDepthHoleを伝送するようにしてもよい。この場合、復号装置120220は、スムージングフラグがスムージング処理を行うことを表す場合にのみスムージング処理を行う。<各種の情報の伝送方法の説明>図23は、スムージングフラグ、画像情報、撮影情報、視差画像多重化情報、および互換情報の伝送方法を説明する図である。図23に示すように、スムージングフラグFillDepthHoleは、運用等に応じて、符号化されてSEISupplementalEnhancementInformationとして伝送されたり、符号化されずに伝送されたりする。視差画像多重化情報としてのDepthTypeLeftCameraNameRightCameraName、およびPrecisionは、符号化されてSEIとして伝送される。即ち、多視点の画像の生成に必要なDepthTypeやPrecision等は、符号化されて伝送される。また、視差画像多重化情報としてのLeftNearestDepthValueLeftFarthestDepthValueRightNearestDepthValue、およびRightFarthestDepthValueは、符号化されてSEIpresentflag、またはParameterSetとして伝送される。また、画像情報としてのFilterBoundaryNoiseRemovalSynthesisModeViewBlending、およびSplattingOptionは、運用等に応じて、符号化されてSEIとして伝送されたり、符号化されずに伝送されたりする。画像情報としてのSourceWidthSourceHeightStartFrameTotalNumberOfFramesVirtualCameraNameLeftViewImageNameRightViewImageNameVirtualViewImageNameLeftDepthMapNameRightDepthMapNameOutputVirtualViewImageName、およびColorSpaceは、符号化されずに伝送される。撮影情報としてのt10t20、およびt30は、符号化されてSEIとして伝送される。また、撮影情報としてのfocallengthx0radialdistortion0principalpointx0focallenghy0principalpointy0r110r120r130r210r220r230r310r320r330は、符号化されてpresentflagまたはParameterSetとして伝送される。以上のように、スムージングフラグ、画像情報、撮影情報、視差画像多重化情報、および互換情報は、運用等を考慮して、符号化する情報と符号化しない情報に分類される。また、これらの情報の伝送方法としては、SEIとして伝送する方法、もしくは、presentflagまたはParameterSetとして伝送する方法が選択される。そして、これらの情報は、分類と選択された伝送方法に基づいて、符号化されて伝送されたり、符号化されずに伝送されたりする。なお、図23に示したスムージングフラグ以外の情報は、VSRS35で定義されている情報である。また、図23において、符号化されて伝送されてもよいし、符号化されずに伝送されてもよいスムージングフラグ、FilterBoundaryNoiseRemovalSynthesisModeViewBlending、およびSplattingOptionに対しては、符号化されたかどうかを示すフラグが設定され、伝送されるようにしてもよい。図24は、DepthTypePrecisionLeftNearestDepthValueLeftFarthestDepthValueRightNearestDepthValue、およびRightFarthestDepthValueのシンタックスの例を示す図である。図24に示すように、DepthTypePrecisionLeftNearestDepthValueLeftFarthestDepthValueRightNearestDepthValue、およびRightFarthestDepthValueの情報は、例えば、DepthInformationSEImessageとして伝送される。具体的には、DepthTypeは、depthtype[i]として視点タイプ詳細は後述するごとに記述され、Precisionは、precisioniとして視点タイプごとに記述される。また、LeftNearestDepthValueLeftFarthestDepthValueRightNearestDepthValue、およびRightFarthestDepthValueには、それぞれ、視点タイプごとに全フレームにおいて同一であるかどうかを表すallframesinviewcomponentsflagiが設定される。allframesinviewcomponentsflagiが全フレームにおいて同一であることを表す場合、全フレームに共通のLeftNearestDepthValueRightNearestDepthValue、LeftFarthestDepthValueRightFarthestDepthValueが、それぞれ、maxDi、minDiとして記述される。一方、allframesinviewcomponentsflagiが全フレームにおいて同一ではないことを表す場合、LeftNearestDepthValueRightNearestDepthValue、LeftFarthestDepthValueRightFarthestDepthValueは、それぞれ、maxDij、minDijとしてフレームごとに記述される。なお、maxDijとminDijは、PTSPresentationTimeStamp順に符号化される。視点タイプとは、視差画像の各視点を、DepthTypePrecisionLeftNearestDepthValueLeftFarthestDepthValueRightNearestDepthValue、RightFarthestDepthValue等が同一であるごとに分類するタイプである。この視点タイプの数は、numdepthinfominus1として記述される。このように、DepthTypePrecisionLeftNearestDepthValueLeftFarthestDepthValueRightNearestDepthValue、RightFarthestDepthValue等の情報は視点タイプごとに記述され、視点タイプごとに共有される。従って、視点ごとに情報が記述される場合に比べて情報量を削減することができる。図25は、DepthTypePrecisionLeftNearestDepthValueLeftFarthestDepthValueRightNearestDepthValue、およびRightFarthestDepthValueのシンタックスの他の例を示す図である。図25のシンタックスでは、allframesinviewcomponentsflagiが全フレームにおいて同一ではないことを表す場合に、LeftNearestDepthValueRightNearestDepthValueとLeftFarthestDepthValueRightFarthestDepthValueが差分符号化されて記述される点が、図24のシンタックスと異なる。即ち、図25のシンタックスでは、各フレームのLeftNearestDepthValueRightNearestDepthValueから、そのフレームよりPTSが前のフレームのLeftNearestDepthValueRightNearestDepthValueを減算した値が、deltamaxDijとして記述され、その値の符号がsigndeltamaxDijとして記述される。同様に、各フレームのLeftFarthestDepthValueRightFarthestDepthValueから、そのフレームよりPTSが前のフレームのLeftFarthestDepthValueRightFarthestDepthValueを減算した値が、deltaminDijとして記述され、その値の符号がsigndeltaminDijとして記述される。図26は、スムージングフラグ、FilterBoundaryNoiseRemovalSynthesisModeViewBlending、およびSplattingOptionのシンタックスの例を示す図である。図26に示すように、スムージングフラグ、FilterBoundaryNoiseRemovalSynthesisModeViewBlending、およびSplattingOptionの情報は、例えば、ViewSynthesisInformationSEImessageとして伝送される。具体的には、Filterは、filtertypeとして記述され、BoundaryNoiseRemovalは、boundarynoiseremovalとして記述され、SynthesisModeは、synthesismodeとして記述される。また、SynthesisModeがGeneralmodeである場合、ViewBlendingがviewblendingとして記述され、SynthesisModeが1Dmodeである場合、SplattingOptionがsplattingoptionとして記述される。また、スムージングフラグが、filldepthholeとして記述される。なお、スムージングフラグ、FilterBoundaryNoiseRemovalSynthesisModeViewBlending、およびSplattingOptionは、運用タイプによっては符号化されずに伝送される。例えば、スムージングフラグは、常にスムージング処理を行うモードで運用される場合には符号化されず、SynthesisModeは、固定モードで運用される場合には符号化されない。Filterは、固定タイプで運用される場合には符号化されず、ViewBlendingは、SynthesisModeがGeneralmodeである場合にだけ設定されるような運用が行われる場合には、符号化されない。さらに、SplattingOptionは、デフォルト値である場合とデフォルト値以外である場合に有意な差がないような運用が行われる場合には符号化されない。運用タイプは、typeindicatorとして記述される。<第3実施の形態>本技術を適用したコンピュータの説明次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。そこで、図27は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。プログラムは、コンピュータに内蔵されている記録媒体としての記憶部808やROMReadOnlyMemory802に予め記録しておくことができる。あるいはまた、プログラムは、リムーバブルメディア811に格納記録しておくことができる。このようなリムーバブルメディア811は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア811としては、例えば、フレキシブルディスク、CDROM,MOディスク,DVD、磁気ディスク、半導体メモリ等がある。なお、プログラムは、上述したようなリムーバブルメディア811からドライブ810を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部808にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。コンピュータは、CPU801を内蔵しており、CPU801には、バス804を介して、入出力インタフェース805が接続されている。CPU801は、入出力インタフェース805を介して、ユーザによって、入力部806が操作等されることにより指令が入力されると、それに従って、ROM802に格納されているプログラムを実行する。あるいは、CPU801は、記憶部808に格納されたプログラムを、RAM803にロードして実行する。これにより、CPU801は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU801は、その処理結果を、必要に応じて、例えば、入出力インタフェース805を介して、出力部807から出力、あるいは、通信部809から送信、さらには、記憶部808に記録等させる。なお、入力部806は、キーボードや、マウス、マイク等で構成される。また、出力部807は、LCDやスピーカ等で構成される。ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理例えば、並列処理あるいはオブジェクトによる処理も含む。また、プログラムは、1のコンピュータプロセッサにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。本技術は、衛星放送、ケーブルTVテレビジョン、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。<第4実施の形態>[テレビジョン装置の構成例]図28は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース部909を有している。さらに、テレビジョン装置900は、制御部910、ユーザインタフェース部911等を有している。チューナ902は、アンテナ901で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ903に出力する。デマルチプレクサ903は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ904に出力する。また、デマルチプレクサ903は、EPGElectronicProgramGuide等のデータのパケットを制御部910に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。デコーダ904は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部905、音声データを音声信号処理部907に出力する。映像信号処理部905は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部905は、表示部906に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部905は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部905は、このようにして生成した映像データに基づいて駆動信号を生成して表示部906を駆動する。表示部906は、映像信号処理部905からの駆動信号に基づき表示デバイス例えば液晶表示素子等を駆動して、番組の映像などを表示させる。音声信号処理部907は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのD/A変換処理や増幅処理を行いスピーカ908に供給することで音声出力を行う。外部インタフェース部909は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。制御部910にはユーザインタフェース部911が接続されている。ユーザインタフェース部911は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部910に供給する。制御部910は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ、EPGデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置900の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、テレビジョン装置900がユーザ操作に応じた動作となるように各部を制御する。なお、テレビジョン装置900では、チューナ902、デマルチプレクサ903、映像信号処理部905、音声信号処理部907、外部インタフェース部909等と制御部910を接続するためバス912が設けられている。このように構成されたテレビジョン装置では、デコーダ904に本願の画像処理装置画像処理方法の機能が設けられる。このため、低解像度化された視差画像を含む符号化ビットストリームを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。<第5実施の形態>[携帯電話機の構成例]図29は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機920は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931を有している。これらは、バス933を介して互いに接続されている。また、通信部922にはアンテナ921が接続されており、音声コーデック923には、スピーカ924とマイクロホン925が接続されている。さらに制御部931には、操作部932が接続されている。携帯電話機920は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。音声通話モードにおいて、マイクロホン925で生成された音声信号は、音声コーデック923で音声データへの変換やデータ圧縮が行われて通信部922に供給される。通信部922は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部922は、送信信号をアンテナ921に供給して図示しない基地局へ送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック923に供給する。音声コーデック923は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ924に出力する。また、データ通信モードにおいて、メール送信を行う場合、制御部931は、操作部932の操作によって入力された文字データを受け付けて、入力された文字を表示部930に表示する。また、制御部931は、操作部932におけるユーザ指示等に基づいてメールデータを生成して通信部922に供給する。通信部922は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部930に供給して、メール内容の表示を行う。なお、携帯電話機920は、受信したメールデータを、記録再生部929で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、RAMや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアである。データ通信モードにおいて画像データを送信する場合、カメラ部926で生成された画像データを、画像処理部927に供給する。画像処理部927は、画像データの符号化処理を行い、符号化データを生成する。多重分離部928は、画像処理部927で生成された符号化データと、音声コーデック923から供給された音声データを所定の方式で多重化して通信部922に供給する。通信部922は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部928に供給する。多重分離部928は、多重化データの分離を行い、符号化データを画像処理部927、音声データを音声コーデック923に供給する。画像処理部927は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部930に供給して、受信した画像の表示を行う。音声コーデック923は、音声データをアナログ音声信号に変換してスピーカ924に供給して、受信した音声を出力する。このように構成された携帯電話装置では、画像処理部927に本願の画像処理装置画像処理方法の機能が設けられる。このため、画像データの通信において、低解像度化された視差画像を含む符号化データを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。<第6実施の形態>[記録再生装置の構成例]図30は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置940は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置940は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置940は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。記録再生装置940は、チューナ941、外部インタフェース部942、エンコーダ943、HDDHardDiskDrive部944、ディスクドライブ945、セレクタ946、デコーダ947、OSDOnScreenDisplay部948、制御部949、ユーザインタフェース部950を有している。チューナ941は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ941は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ946に出力する。外部インタフェース部942は、IEEE1394インタフェース、ネットワークインタフェース部、USBインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部942は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。エンコーダ943は、外部インタフェース部942から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ946に出力する。HDD部944は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。ディスクドライブ945は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばDVDディスクDVD-Video、DVD-RAM、DVD-R、DVD-RW、DVDR、DVDRW等やBlu-rayディスク等である。セレクタ946は、映像や音声の記録時には、チューナ941またはエンコーダ943からのいずれかの符号化ビットストリームを選択して、HDD部944やディスクドライブ945のいずれかに供給する。また、セレクタ946は、映像や音声の再生時に、HDD部944またはディスクドライブ945から出力された符号化ビットストリームをデコーダ947に供給する。デコーダ947は、符号化ビットストリームの復号化処理を行う。デコーダ947は、復号処理化を行うことにより生成された映像データをOSD部948に供給する。また、デコーダ947は、復号処理化を行うことにより生成された音声データを出力する。OSD部948は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ947から出力された映像データに重畳して出力する。制御部949には、ユーザインタフェース部950が接続されている。ユーザインタフェース部950は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部949に供給する。制御部949は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置940の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、記録再生装置940がユーザ操作に応じた動作となるように各部を制御する。<第7実施の形態>[撮像装置の構成例]図31は、本技術を適用した撮像装置の概略構成を例示している。撮像装置960は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。撮像装置960は、光学ブロック961、撮像部962、カメラ信号処理部963、画像データ処理部964、表示部965、外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970を有している。また、制御部970には、ユーザインタフェース部971が接続されている。さらに、画像データ処理部964や外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970等は、バス972を介して接続されている。光学ブロック961は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCDまたはCMOSイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部963に供給する。カメラ信号処理部963は、撮像部962から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部963は、カメラ信号処理後の画像データを画像データ処理部964に供給する。画像データ処理部964は、カメラ信号処理部963から供給された画像データの符号化処理を行う。画像データ処理部964は、符号化処理を行うことにより生成された符号化データを外部インタフェース部966やメディアドライブ968に供給する。また、画像データ処理部964は、外部インタフェース部966やメディアドライブ968から供給された符号化データの復号化処理を行う。画像データ処理部964は、復号化処理を行うことにより生成された画像データを表示部965に供給する。また、画像データ処理部964は、カメラ信号処理部963から供給された画像データを表示部965に供給する処理や、OSD部969から取得した表示用データを、画像データに重畳させて表示部965に供給する。OSD部969は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部964に出力する。外部インタフェース部966は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部966には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部966は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部970は、例えば、ユーザインタフェース部971からの指示にしたがって、メモリ部967から符号化データを読み出し、それを外部インタフェース部966から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部970は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部966を介して取得し、それを画像データ処理部964に供給したりすることができる。メディアドライブ968で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であってもよい。また、メディアドライブ968と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやSSDSolidStateDrive等のように、非可搬性の記憶媒体により構成されるようにしてもよい。制御部970は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置960の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、撮像装置960がユーザ操作に応じた動作となるように各部を制御する。このように構成された撮像装置では、画像データ処理部964に本願の画像処理装置画像処理方法の機能が設けられる。このため、メモリ部967や記録メディア等に記録された低解像度化された視差画像を含む符号化データを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。また、本技術は、以下のような構成もとることができる。1低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受け取る受け取り部と、前記受け取り部により受け取られた前記低解像度化された視差画像を高解像度化する高解像度化部と、仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理部と、前記視差画像ワーピング処理部により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正部とを備える画像処理装置。2前記補正部は、前記仮想視点の視差画像内の前記オクルージョン領域の前記所定値以外の視差値に対応する画素を検出し、その画素の視差値を前記所定値に補正する前記1に記載の画像処理装置。3前記補正部は、前記仮想視点の視差画像内の前記所定値以外の視差値に対応する画素のうち、周辺画素の視差値が前記所定値である画素を、前記オクルージョン領域の前記所定値以外の視差値に対応する画素として検出する前記2に記載の画像処理装置。4前記受け取り部はまた、前記視差画像の視差値が変化する位置である境界位置に隣接する画素であるかどうかを示す情報である境界情報を受け取り、前記補正部は、前記仮想視点の視差画像内の前記所定値以外の視差値に対応する画素のうち、周辺画素の視差値が前記所定値であり、前記境界位置に隣接する画素であることを示す境界情報に対応する画素を、前記オクルージョン領域の前記所定値以外の視差値に対応する画素として検出する前記2に記載の画像処理装置。5前記低解像度化された視差画像を復号する復号部をさらに備え、前記受け取り部は、符号化された前記低解像度化された視差画像を受け取り、前記復号部は、前記受け取り部により受け取られた前記符号化された前記低解像度化された視差画像を復号し、前記高解像度化部は、前記復号部による復号の結果得られる前記低解像化された視差画像を高解像度化する前記1乃至4のいずれかに記載の画像処理装置。6前記補正部により補正された前記仮想視点の視差画像に基づいて、前記視点画像のワーピング処理を行うことにより、前記仮想視点の視点画像を生成する視点画像ワーピング処理部をさらに備え、前記受け取り部は、前記視点画像、および、前記低解像度化された視差画像を受け取る前記1乃至5のいずれかに記載の画像処理装置。7前記視点画像ワーピング処理部により生成された前記仮想視点の2つの視点画像のうちの一方の前記オクルージョン領域を、他方で補間する補間部をさらに備え、前記受け取り部は、第1および第2の視点の前記視点画像、および、前記第1および第2の視点の前記低解像度化された視差画像を受け取り、前記視差画像ワーピング処理部は、前記仮想視点の位置に基づいて、高解像度化された前記第1の視点の視差画像のワーピング処理を行うことにより、前記仮想視点の第1の視差画像を生成するとともに、前記仮想視点の位置に基づいて、高解像度化された前記第2の視点の視差画像のワーピング処理を行うことにより、前記仮想視点の第2の視差画像を生成し、前記視点画像ワーピング処理部は、前記補正部により補正された前記仮想視点の前記第1の視差画像に基づいて、前記第1の視点の視点画像のワーピング処理を行うことにより、前記仮想視点の第1の視点画像を生成するとともに、前記第2の視差画像に基づいて、前記第2の視点の視点画像のワーピング処理を行うことにより、前記仮想視点の第2の視点画像を生成し、前記補間部は、前記視点画像ワーピング処理部により生成された前記仮想視点の前記第1および第2の視点画像のうちの一方の前記オクルージョン領域を、他方で補間する前記6に記載の画像処理装置。8前記受け取り部は、前記補正部による補正を行うかどうかを表すフラグを受け取り、前記補正部は、前記フラグが前記補正部による補正を行うことを表す場合、前記オクルージョン領域の所定値以外の視差値を前記所定値に補正する前記1乃至7のいずれかに記載の画像処理装置。9画像処理装置が、低解像度化された、所定の視点の画像である視点画像の各画素の視差値を表す視差画像を受信する受信ステップと、前記受信ステップの処理により受信された前記低解像度化された視差画像を高解像度化する高解像度化ステップと、仮想視点の位置に基づいて、前記高解像度化ステップの処理により高解像度化された前記視差画像のワーピング処理を行うことにより、前記仮想視点の視差画像を生成する視差画像ワーピング処理ステップと、前記視差画像ワーピング処理ステップの処理により生成された前記仮想視点の視差画像内の、前記仮想視点の視点画像には存在するが、その仮想視点の視差画像の生成に用いられた前記視差画像に対応する視点画像には存在しない領域であるオクルージョン領域の所定値以外の視差値を、前記所定値に補正する補正ステップとを含む画像処理方法。10所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類部と、前記画像関連情報の伝送方法を選択する選択部と、前記分類部による前記分類と前記選択部により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送部とを備える画像処理装置。11画像処理装置が、所定の視点の画像である視点画像と前記視点画像の各画素の視差値を表す視差画像とに関する画像関連情報を、符号化する情報または符号化しない情報に分類する分類ステップと、前記画像関連情報の伝送方法を選択する選択ステップと、前記分類ステップの処理による前記分類と前記選択ステップの処理により選択された前記伝送方法に基づいて、前記画像関連情報を伝送する伝送ステップとを含む画像処理方法。"