"3次元画像表示に適用する左眼用の画像信号である左視点画像L画像を入力する左視点画像入力部と、3次元画像表示に適用する右眼用の画像信号である右視点画像R画像を入力する右視点画像入力部と、前記左視点画像L画像と右視点画像R画像から視差情報を生成する視差推定部と、前記視差推定部の生成した視差情報の信頼度を算出する信頼度算出部と、前記左視点画像L画像と、前記右視点画像R画像と、前記視差情報と、前記信頼度を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、前記仮想視点画像生成部は、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置。前記信頼度算出部は、複数の異なる信頼度算出処理によって複数の信頼度情報を算出し、算出した複数の信頼度情報に対する重み付き加算によって最終的な信頼度を算出する請求項1に記載の画像処理装置。前記信頼度算出部は、前記視差推定部の推定した視差情報に応じた視差補償により生成した視差補償画像と入力画像との差分算出によって得られる残差成分量に応じた信頼度算出を実行する請求項1に記載の画像処理装置。前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像L画像または前記右視点画像R画像の画素領域単位の空間アクティビティに応じて信頼度算出態様を変更する請求項3に記載の画像処理装置。前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像L画像または前記右視点画像R画像の画素領域単位のダイナミックレンジに応じて信頼度算出態様を変更する請求項3に記載の画像処理装置。前記信頼度算出部は、前記視差推定部の推定した視差情報の水平隣接画素の視差差分に応じた信頼度算出を実行する請求項1に記載の画像処理装置。前記信頼度算出部は、前記視差推定部の推定した視差情報の垂直隣接画素の視差差分に応じた信頼度算出を実行する請求項1に記載の画像処理装置。前記信頼度算出部は、前記視差推定部の推定した視差情報が、既定の上限値または下限値に達しているか否かに応じた信頼度算出を実行する請求項1に記載の画像処理装置。前記信頼度算出部は、前記左視点画像L画像入力部から入力した左視点画像L画像に基づいて前記視差推定部の推定した視差情報と、前記右視点画像R画像入力部から入力した右視点画像R画像に基づいて前記視差推定部の推定した視差情報と、の整合性に応じた信頼度算出を実行する請求項1に記載の画像処理装置。前記仮想視点画像生成部は、前記信頼度算出部の算出した信頼度に応じて、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像の視点位置を決定する視差調整部と、前記視差調整部の決定した視点位置に応じた仮想視点画像を生成する画像合成部を有する請求項1に記載の画像処理装置。前記仮想視点画像生成部は、前記信頼度と最適視差量との関係情報を格納した信頼度データベースを有し、前記視差調整部は、前記信頼度データベースに格納された前記信頼度と最適視差量との関係情報を適用して、信頼度算出部から入力する信頼度に応じた最適視差量を取得し、取得した視差量に応じた仮想視点画像位置を決定する請求項10に記載の画像処理装置。前記仮想視点画像生成部は、a前記視差推定部の推定した視差情報、b前記視差情報を画像表現した視差マップに対するローパスフィルタLPF適用結果であるLPF適用視差情報、上記のa,b2つの視差情報について、前記信頼度の高い画素については、前記視差情報、前記信頼度の低い画素については、前記LPF適用視差情報を選択する視差情報選択部と、前記視差情報選択部の選択した視差情報に基づいて仮想視点画像の生成を行う画像合成部を有する請求項1に記載の画像処理装置。前記仮想視点画像生成部は、さらに、a前記画像合成部の生成した仮想視点画像、b前記画像合成部の生成した仮想視点画像に対するローパスフィルタLPF適用結果であるLPF適用仮想視点画像、上記のa,b2つの仮想視点画像について、前記信頼度の高い画素については、前記仮想視点画像、前記信頼度の低い画素については、前記LPF適用仮想視点画像を選択する仮想視点画像選択部を有する請求項1に記載の画像処理装置。3次元画像表示に適用する左眼用の画像信号である左視点画像L画像を入力する左視点画像入力部と、3次元画像表示に適用する右眼用の画像信号である右視点画像R画像を入力する右視点画像入力部と、前記左視点画像L画像と右視点画像R画像から視差情報を生成する第1視差推定部と、前記第1視差推定部の生成した視差情報の第1信頼度を算出する第1信頼度算出部と、前記左視点画像L画像と、前記右視点画像R画像の解像度変換を行う解像度変換部と、前記解像度変換部から出力される低解像度の左視点画像L画像と右視点画像R画像に基づく視差情報推定を行う第2視差推定部と、前記第2視差推定部の生成した第2視差情報の第2信頼度を算出する第2信頼度算出部と、前記解像度変換の逆変換を行う解像度逆変換部と、前記第1信頼度と、前記第2信頼度とを比較して高い信頼度を最終信頼度として選択出力する信頼度選択部と、前記左視点画像L画像と、前記右視点画像R画像と、前記視差情報と、前記最終信頼度を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、前記仮想視点画像生成部は、生成する仮想視点画像の視差間隔を前記最終信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置。画像処理装置において実行する画像処理方法であり、画像入力部を介して、3次元画像表示に適用する左眼用の画像信号である左視点画像L画像と、右眼用の画像信号である右視点画像R画像を入力し、視差推定部が、前記左視点画像L画像と右視点画像R画像から視差情報を生成し、信頼度算出部が、前記視差推定部の生成した視差情報の信頼度を算出し、仮想視点画像生成部が、前記左視点画像L画像と、前記右視点画像R画像と、前記視差情報と、前記信頼度を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行し、前記仮想視点画像生成部は、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理方法。画像処理装置において画像処理を実行させるプログラムであり、画像入力部を介して、3次元画像表示に適用する左眼用の画像信号である左視点画像L画像と、右眼用の画像信号である右視点画像R画像を入力する処理と、視差推定部において、前記左視点画像L画像と右視点画像R画像から視差情報を生成する処理と、信頼度算出部において、前記視差推定部の生成した視差情報の信頼度を算出する処理と、仮想視点画像生成部において、前記左視点画像L画像と、前記右視点画像R画像と、前記視差情報と、前記信頼度を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行させ、前記仮想視点画像生成処理においては、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する処理を実行させるプログラム。本開示は、例えば上記の問題点を解決するものであり、3D画像用の左視点画像L画像と右視点画像R画像に基づく品質の高い多視点画像の生成処理を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。また、本開示は、3D画像用の左視点画像L画像と右視点画像R画像に基づく多視点画像の生成処理を行う構成において、例えば、視差の推定処理とその推定処理結果の信頼度算出を実行して、算出した信頼度に応じて視差調整を実行することで、高品質な多視点画像の生成を可能とする画像処理装置、および画像処理方法、並びにプログラムを提供するものである。本開示の第1の側面は、3次元画像表示に適用する左眼用の画像信号である左視点画像L画像を入力する左視点画像入力部と、3次元画像表示に適用する右眼用の画像信号である右視点画像R画像を入力する右視点画像入力部と、前記左視点画像L画像と右視点画像R画像から視差情報を生成する視差推定部と、前記視差推定部の生成した視差情報の信頼度を算出する信頼度算出部と、前記左視点画像L画像と、前記右視点画像R画像と、前記視差情報と、前記信頼度を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、前記仮想視点画像生成部は、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置にある。さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、複数の異なる信頼度算出処理によって複数の信頼度情報を算出し、算出した複数の信頼度情報に対する重み付き加算によって最終的な信頼度を算出する。さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記視差推定部の推定した視差情報に応じた視差補償により生成した視差補償画像と入力画像との差分算出によって得られる残差成分量に応じた信頼度算出を実行する。さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像L画像または前記右視点画像R画像の画素領域単位の空間アクティビティに応じて信頼度算出態様を変更する。さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像L画像または前記右視点画像R画像の画素領域単位のダイナミックレンジに応じて信頼度算出態様を変更する。さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記視差推定部の推定した視差情報の水平隣接画素の視差差分に応じた信頼度算出を実行する。さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記視差推定部の推定した視差情報の垂直隣接画素の視差差分に応じた信頼度算出を実行する。さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記視差推定部の推定した視差情報が、既定の上限値または下限値に達しているか否かに応じた信頼度算出を実行する。さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記左視点画像L画像入力部から入力した左視点画像L画像に基づいて前記視差推定部の推定した視差情報と、前記右視点画像R画像入力部から入力した右視点画像R画像に基づいて前記視差推定部の推定した視差情報と、の整合性に応じた信頼度算出を実行する。さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、前記信頼度算出部の算出した信頼度に応じて、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像の視点位置を決定する視差調整部と、前記視差調整部の決定した視点位置に応じた仮想視点画像を生成する画像合成部を有する。さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、前記信頼度と最適視差量との関係情報を格納した信頼度データベースを有し、前記視差調整部は、前記信頼度データベースに格納された前記信頼度と最適視差量との関係情報を適用して、信頼度算出部から入力する信頼度に応じた最適視差量を取得し、取得した視差量に応じた仮想視点画像位置を決定する。さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、a前記視差推定部の推定した視差情報、b前記視差情報を画像表現した視差マップに対するローパスフィルタLPF適用結果であるLPF適用視差情報、上記のa,b2つの視差情報について、前記信頼度の高い画素については、前記視差情報、前記信頼度の低い画素については、前記LPF適用視差情報を選択する視差情報選択部と、前記視差情報選択部の選択した視差情報に基づいて仮想視点画像の生成を行う画像合成部を有する。さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、さらに、a前記画像合成部の生成した仮想視点画像、b前記画像合成部の生成した仮想視点画像に対するローパスフィルタLPF適用結果であるLPF適用仮想視点画像、上記のa,b2つの仮想視点画像について、前記信頼度の高い画素については、前記仮想視点画像、前記信頼度の低い画素については、前記LPF適用仮想視点画像を選択する仮想視点画像選択部を有する。さらに、本開示の第2の側面は、3次元画像表示に適用する左眼用の画像信号である左視点画像L画像を入力する左視点画像入力部と、3次元画像表示に適用する右眼用の画像信号である右視点画像R画像を入力する右視点画像入力部と、前記左視点画像L画像と右視点画像R画像から視差情報を生成する第1視差推定部と、前記第1視差推定部の生成した視差情報の第1信頼度を算出する第1信頼度算出部と、前記左視点画像L画像と、前記右視点画像R画像の解像度変換を行う解像度変換部と、前記解像度変換部から出力される低解像度の左視点画像L画像と右視点画像R画像に基づく視差情報推定を行う第2視差推定部と、前記第2視差推定部の生成した第2視差情報の第2信頼度を算出する第2信頼度算出部と、前記解像度変換の逆変換を行う解像度逆変換部と、前記第1信頼度と、前記第2信頼度とを比較して高い信頼度を最終信頼度として選択出力する信頼度選択部と、前記左視点画像L画像と、前記右視点画像R画像と、前記視差情報と、前記最終信頼度を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、前記仮想視点画像生成部は、生成する仮想視点画像の視差間隔を前記最終信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置にある。さらに、本開示の第3の側面は、画像処理装置において実行する画像処理方法であり、画像入力部を介して、3次元画像表示に適用する左眼用の画像信号である左視点画像L画像と、右眼用の画像信号である右視点画像R画像を入力し、視差推定部が、前記左視点画像L画像と右視点画像R画像から視差情報を生成し、信頼度算出部が、前記視差推定部の生成した視差情報の信頼度を算出し、仮想視点画像生成部が、前記左視点画像L画像と、前記右視点画像R画像と、前記視差情報と、前記信頼度を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行し、前記仮想視点画像生成部は、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理方法にある。さらに、本開示の第4の側面は、画像処理装置において画像処理を実行させるプログラムであり、画像入力部を介して、3次元画像表示に適用する左眼用の画像信号である左視点画像L画像と、右眼用の画像信号である右視点画像R画像を入力する処理と、視差推定部において、前記左視点画像L画像と右視点画像R画像から視差情報を生成する処理と、信頼度算出部において、前記視差推定部の生成した視差情報の信頼度を算出する処理と、仮想視点画像生成部において、前記左視点画像L画像と、前記右視点画像R画像と、前記視差情報と、前記信頼度を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行させ、前記仮想視点画像生成処理においては、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する処理を実行させるプログラムにある。なお、本開示のプログラムは、例えば、様々なプログラムコードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。本開示の一実施例構成によれば、3次元画像としてのLR画像に基づく推定視差の信頼度に応じた最適な多視点画像を生成する構成が実現される。具体的には、3次元画像表示に適用する左視点画像L画像と右視点画像R画像を入力し、左視点画像L画像と、右視点画像R画像とに基づいて視差情報を生成し、生成した視差情報の信頼度を算出する。例えば複数の異なる解析処理によって複数の異なる信頼度を算出し、算出した複数の信頼度の重み付き加算によって最終的な信頼度を算出する。算出した信頼度に応じて仮想視点画像の生成態様を変更する。例えば、信頼度が高い場合には、仮想視点画像の視差間隔を広く設定し、低い場合には狭く設定する処理を行う。この処理により、推定視差の信頼度に応じた最適な多視点画像を生成することができる。以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。1.画像処理装置の全体構成と処理の概要について2.視差推定部の処理について3.仮想視点画像生成部の実行する入力LR画像に基づく基本的な仮想視点画像の生成処理について4.信頼度算出部の処理について4-1.第1信頼度算出部の実行する信頼度算出処理について4-1-1.残差成分に基づく信頼度R0算出処理例14-1-2.残差成分に基づく信頼度R0算出処理例24-2.第2信頼度算出部の実行する信頼度算出処理について4-3.第3信頼度算出部の実行する信頼度算出処理について4-4.第4信頼度算出部の実行する信頼度算出処理について4-5.第5信頼度算出部の実行する信頼度算出処理について4-6.信頼度算出部における最終的な信頼度算出処理について5.仮想視点画像生成部の処理について5-1.信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する構成例5-2.信頼度と最適視差量との対応関係情報と信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する構成例5-3.LPFを適用した視差情報変換と仮想視点画像の変換処理を含む実施例について6.解像度変換を実行し、解像度変換画像を適用した視差推定を実行する実施例について7.本開示の構成のまとめ[1.画像処理装置の全体構成と処理の概要について]まず、本開示の画像処理装置の全体構成と処理の概要について図1を参照して説明する。その後、各構成部の処理の詳細について説明する。図1に示すように、画像処理装置100は、左視点画像L画像入力部101、右視点画像R画像入力部102、視差推定部103、信頼度算出部104、仮想視点画像生成部105、表示制御部106を有し、画像処理装置100において生成した画像が表示部110に出力される。なお、図1に示す構成では、表示部110を画像処理装置100の外部構成として示しているが、画像処理装置100内に表示部110を有する構成としてもよい。なお、図1は、画像処理装置の主要構成を示すものであり、画像処理装置100には、図に示す構成の他、データ処理制御を実行するCPU等のプログラム実行機能を備えた制御部、制御部において実行するプログラムや、各種パラメータを格納した記憶部、パラメータや画像データなどを入力する入力部を有する。例えば制御部は、以下に説明する処理を予め記憶部に格納したプログラムに従って実行する。左視点画像L画像入力部101と、右視点画像R画像入力部102は、予め生成された3次元3D画像表示用の左視点画像L画像と、右視点画像R画像を入力する。左視点画像L画像は、左眼から観察される画像に相当し、右視点画像R画像は、右眼から観察される画像に相当する。ただし、これらの2つの画像は、標準的な2つのLR画像である。すなわち、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア視差バリアを備えた裸眼3D表示装置において、規定位置、例えばディスプレイを正面中心位置から観察した際に正しい3D画像として観察されるLR画像である。ユーザの観察位置が規定位置と異なる位置にある場合は、左眼に右眼用の画像右視点画像が、右眼に左眼用の画像左視点画像が入ってしまう逆視や、左視点画像と右視点画像が混ざるクロストークが発生する。画像処理装置100は、この問題を解決するために、正規の1つの観察位置に対応する入力LR画像、すなわち標準の左視点画像L画像と右視点画像R画像に基づいて、様々な観察位置で観察した場合にクロストークの発生しない新たな視点仮想視点からの画像を生成する。視差推定部103は、左視点画像L画像と、右視点画像R画像を入力し、これらの画像に基づいて視差情報を生成する。視差情報とは、入力LR画像に含まれる同一被写体の画像間のずれ左右方向の画素ずれに相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位や画素領域単位の視差情報被写体距離情報を持つデータを生成する。信頼度算出部104は、視差推定部103が入力LR画像に基づいて推定した各画素単位あるいは画素領域単位の視差情報の信頼度を算出する。仮想視点画像生成部105は、左視点画像L画像入力部101からL画像、右視点画像R画像入力部102からR画像、視差推定部103から視差情報、信頼度算出部104から信頼度情報、これらの各情報を入力して、仮想視点画像を生成する。仮想視点画像生成部105は、例えば信頼度算出部104から入力する信頼度情報に従って、仮想視点位置の決定処理等を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。仮想視点画像生成部105は、信頼度算出部104から入力する信頼度情報を参照した仮想視点画像の生成処理を実行する。すなわち入力LR画像の2視点の画像に加え、さらにその他の視点の画像を加えた計N視点の画像を生成して出力する。仮想視点画像生成部105は、例えば、生成する仮想視点画像の視差間隔を、信頼度算出部104の算出した信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する。この処理の詳細については後述する。仮想視点画像生成部105の生成した仮想視点画像は、表示制御部106を介して表示部110に出力表示される。本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼3D表示装置における表示画像である。表示部110は、裸眼3D表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア視差バリアを備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。表示制御部106は、仮想視点画像生成部105の生成したN視点の画像を表示部110に出力する。なお、表示制御部106は、表示部110の表示構成に応じた表示情報を生成する。なお、画像処理装置100は、例えば撮像部を備えたカメラ等の撮像装置、PC、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。例えばカメラの場合、異なる視点からの画像としてのLR画像を撮影する撮像部を有し、撮像部から入力するLR画像を利用して多視点画像を生成する構成とする。[2.視差推定部の処理について]次に、視差推定部103の処理について説明する。視差推定部103は、左視点画像L画像と、右視点画像R画像を入力し、これらの画像に基づいて視差情報を生成する。視差情報とは、標準LR画像に含まれる同一被写体の画像間のずれ左右方向の画素ずれに相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報被写体距離情報を持つデータを生成する。この視差情報の取得は、例えば、以下のような既存の手法によって実行される。aブロックマッチングベースの視差情報取得処理bDPダイナミックプログラミングマッチングベースの視差情報取得処理cセグメンテーションベースの視差情報取得処理d学習ベースの視差情報取得処理e上記各手法の組み合わせによる視差情報取得処理例えば、上記a~eのいずれかの手法で視差情報を取得する。図2を参照してブロックマッチングベースの視差情報取得処理について簡単に説明する。図2に示すように、入力したオリジナルの標準画像である、a左視点画像L画像と、b右視点画像R画像、これらの入力LR画像を利用し、例えばL画像の画素領域ブロック121を選択し、その選択ブロックと類似するブロックをR画像中から検出する。すなわち、同一被写体の撮影領域であると判断されるブロックマッチングブロックをLR画像から選択する。さらに、LR画像間におけるマッチングブロックの位置ずれ水平方向の画素数等を測定する。図2において、例えばL画像の画素領域ブロック121の注目画素LP=5,3の、R画像における対応画素は、RP=7,3である。この場合、L画像の画素位置x,y=5,3のLR画像間の視差d5,3は以下のように算出される。視差d5,3=7,3-5,3=2,0、すなわち、L画像の画素位置x,y=5,3の視差dは2画素[pixel]となる。ブロックの位置ずれは、そのブロックに撮影されている被写体の距離に応じて変動する。すなわち、ブロックの位置ずれが被写体距離に対応し、この位置ずれ情報を視差情報として取得する。なお、この視差情報の表現形式として例えばデプスマップ距離画像あるいは視差マップがある。デプスマップ視差マップは、例えばL画像、R画像の各画素単位の視差被写体距離を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近いカメラに近い被写体、低輝度領域は、遠いカメラから遠い被写体を示す。すなわち被写体距離が輝度によって示された画像である。[3.仮想視点画像生成部の実行する入力LR画像に基づく基本的な仮想視点画像の生成処理について]次に、仮想視点画像生成部105の実行する入力LR画像に基づく基本的な仮想視点画像の生成処理について説明する。仮想視点画像生成部105は、左視点画像L画像入力部101からL画像、右視点画像R画像入力部102からR画像、視差推定部103から視差情報、信頼度算出部104から信頼度情報、これらの各情報を入力して、仮想視点画像を生成する。例えば予め設定した数例えば10の仮想視点を決定し、これらの各仮想視点に対応する仮想視点画像を生成する。仮想視点画像は、入力した標準LR画像を利用して生成する。すなわち、入力画像である左視点画像L画像と右視点画像R画像を利用して生成する。具体的な仮想視点画像の生成処理例について、図3以下を参照して説明する。図3には、画像処理装置に入力するオリジナルの左視点画像L画像131と右視点画像R画像132、さらに、これらのLR画像に基づいて生成する仮想視点画像133を示している。左視点画像L画像131は標準位置における左眼視点位置から観察した画像であり、右視点画像R画像132は標準位置における右眼視点位置から観察した画像である。左視点画像L画像131の視点位置を0.0、右視点画像R画像132の視点位置を1.0とする。図3は、例えばこの視点位置0.0~1.0の間の視点位置=0.3からの観察画像を仮想視点画像133として生成する場合の処理例を示している。左視点画像L画像131と右視点画像R画像132にはそれぞれ異なる位置に同一被写体リンゴが撮影されている。L画像と、R画像において、この同一被写体の位置は、視点位置が異なるために、異なる位置となっている。視点位置=0.0と視点位置1.0の間の視点位置=0.3の仮想視点画像103を生成する場合、この被写体リンゴの位置を線型補間によって設定する。図3に示す直線L1に沿って被写体位置を変更することによって、各仮想視点における仮想視点画像の被写体位置を決定して仮想視点画像を生成することができる。このように入力LR画像に基づく線形補間処理によって各仮想視点位置の仮想視点画像を生成する。なお、仮想視点画像を生成する場合、入力LR画像の双方を利用して2つの画像をブレンドする処理によって生成することができる。あるいは、L画像のみ、あるいはR画像のみを利用して仮想視点位置に応じて被写体位置をずらす処理によって、1つの画像のみを利用して生成することもできる。あるいは、L画像側に近い仮想視点位置ではL画像のみを利用して仮想視点画像を生成し、R画像に近い位置ではR画像のみを利用して仮想視点画像を生成するといった処理を行ってもよい。入力LR画像のブレンド処理に基づく仮想視点画像131の画素値の決定処理例について図4を参照して説明する。図4には、視点位置=0である入力左視点画像L画像の画素Px,y141、視点位置=1である入力右視点画像R画像におけるL画像の画素Pの対応画素142、視点位置=Φである仮想視点画像におけるL画像の画素Pの対応画素143、これらを示している。なお、Φ=0~1である。左視点画像L画像の画素Px,y141の視差がdx,y[pixel]である場合、仮想視点画像におけるL画像の画素Px,yの対応画素143の画素位置は、画素QxΦdx,y,yとする。すなわち、仮想視点画像における画素QxΦdx,y,yの画素値を、左視点画像L画像の画素Px,y141の画素値に設定する。仮想視点画像の各画素の画素値は、このように、左視点画像L画像の画素の視差情報に基づいて設定する。なお、この処理によって、仮想視点画像の埋まらなかった画素は、右視点画像R画像を適用した処理や隣接画素の画素値による補間処理、左視点画像の同一座標の画素で補間する処理などによって画素値を決定する。図5には、左視点画像L画像の水平ライン151、右視点画像R画像の水平ライン152仮想視点画像の水平ライン153、を示している。図に示す矢印は、仮想視点画像の水平ライン153の画素値を決定するために適用可能な左視点画像L画像の画素位置と、右視点画像R画像の画素位置を結ぶラインである。図5に示す仮想視点画像の水平ライン153において、1=左視点画像L画像の水平ライン151の構成画素値によって画素値の設定された領域2=右視点画像R画像の水平ライン153の構成画素値によって画素値の設定された領域3=その他の領域である。このように、仮想視点画像の画素値の設定は、例えば、以下の3つの処理によって実行される。1.左視点画像L画像の各画素に対して、出力視点位置で対応する画素位置を求め、その画素位置に左視点画像L画像の画素値を補間する。2.右視点画像R画像の各画素に対して、出力視点位置で対応する画素位置を求め、その画素位置に右視点画像R画像の画素値を補間する。3.上記1,2の処理でも補間されない出力視点画像の画素は、隣接画素に基づく補間処理を行う。なお、図4、図5を参照して説明した処理は入力LR画像に基づいてこれらのLR画像と異なる仮想視点からの画像を生成する基本的な処理である。本開示の画像処理装置の仮想視点画像生成部105は、この基本的な処理をベースとして、さらに、信頼度算出部104から入力する信頼度情報を適用して、信頼度情報に基づいて生成する仮想視点位置等を決定して最終的な仮想視点画像を生成する。この処理については後段で詳細に説明する。[4.信頼度算出部の処理について]次に、信頼度算出部104の実行する処理について説明する。信頼度算出部104は、視差推定部103が入力LR画像に基づいて推定した各画素単位あるいは画素領域単位の視差情報の信頼度を算出する。信頼度算出部104は、図6に示すように、左視点画像L画像入力部101から、左視点画像L画像、右視点画像R画像入力部102から、右視点画像R画像、視差推定部103から推定視差情報を入力する。信頼度算出部104は、これらの入力情報に基づいて、第1~第5信頼度算出部171~175において、複数の異なる処理によって複数の信頼度R0~R4を算出し、演算部181において、これら複数の信頼度R0~R4を適用して、最終的な推定視差情報の信頼度情報を算出して仮想視点画像生成部105に出力する。演算部181は、第1~第5信頼度算出部171~175において算出した信頼度R0,R1,R2,R3,R4について、予め設定された重み係数α0,α1,α2,α3,α4を適用した以下の式に従って重み付き和Rを算出し、この算出値を最終的な信頼度情報として仮想視点画像生成部105に出力する。R=α0R0α1R1α2R2α3R3α4R4なお、図6には第1~第5信頼度算出部171~175、これら5種類の信頼度算出部を示しているが、これら5つの全てではなく1つ以上の信頼度算出部を用いる構成としてもよい。あるいはさらに、他の信頼度を適用した構成とすることも可能である。以下、図6に示す第1~第5信頼度算出部171~175の実行する信頼度算出処理の詳細について、説明する。4-1.第1信頼度算出部の実行する信頼度算出処理について第1信頼度算出部171は、視差補償の残差成分に基づく信頼度R0を算出する。すなわち、視差推定部103から入力する画素単位の推定視差情報を適用して視差補償画像を生成し、この視差補償画像に含まれる画素値に基づいて、視差推定部103の生成した推定視差情報の信頼度を判定する。視差補償の残差成分に基づく信頼度R0算出処理例に関する複数の処理例について説明する。4-1-1.残差成分に基づく信頼度R0算出処理例1図7は、第1信頼度算出部171の実行する残差成分に基づく信頼度R0算出処理例1について説明する図である。第1信頼度算出部171は、まず、左視点画像L画像入力部101から入力するL画像201に対して、視差推定部103から入力する画素単位の推定視差情報202を適用して視差補償画像203を生成する。推定視差情報202は、例えば視差マップとも呼ばれ、視差推定部103の生成した視差情報を輝度で表現した画像データである。視差マップは、視差被写体距離を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近いカメラに近い被写体、低輝度領域は、遠いカメラから遠い被写体を示す。すなわち被写体距離が輝度によって示された画像である。視差補償画像203は、L画像201に対して、視差推定部103から入力する画素単位の推定視差情報202を適用して生成される仮想視点画像である。ただし、この仮想視点は、右視点画像R画像入力部102から入力するR画像の視点位置位相=1に相当する視点位置である。推定視差情報202を適用して生成した視差補償画像203は、視差推定部103の生成した画素単位の推定視差情報202が正しければ、右視点画像R画像入力部102から入力するR画像に一致することになる。しかし、実際には、視差推定部103の生成した推定視差情報202には、推定エラー等が含まれ、L画像201に基づいて生成した視差補償画像203と、右視点画像R画像入力部102から入力する入力R画像204とには差分が発生する。この視差補償画像203と、入力R画像204との対応画素単位の画素値差分を画像単位で算出したマップ、すなわち、図に示す残差マップ205を生成する。図に示す残差マップ205は、視差補償画像203と、入力R画像204との対応画素単位の画素値差分を濃淡情報で表現したマップである。例えば黒い部分がより差分が大きいことを示す。この残差マップ205から、画素単位の差分である残差と予め設定した閾値Thを比較し、閾値Thより大きい残差を持つ画素数をカウントする。このカウント値をNとして、Nの値に応じて、視差推定部103の生成した推定視差情報の信頼度R0を決定する。すなわち、閾値Thより大きい残差を持つ画素数Nが多い場合は、視差推定部103の生成した推定視差情報の信頼度R0は低い。一方、閾値Thより大きい残差を持つ画素数Nが少ない場合は、視差推定部103の生成した推定視差情報の信頼度R0は高いと判定する。閾値Thより大きい残差を持つ画素数Nと、視差推定部103の生成した推定視差情報の信頼度R0との対応関係は、具体的には、例えば図8に示すような対応関係として規定される。すなわち、第1信頼度算出部171は、視差推定部103の生成した推定視差情報の信頼度R0の値を、閾値Thより大きい残差を持つ画素数Nの値に応じて、以下のように算出する。0≦N≦Nmin:信頼度R0=R0maxNmin≦N≦Nmax:信頼度R0=R0max~R0minNmax≦N:信頼度R0=R0minなお、Nmin、Nmax、R0min、R0max、これらの値は予め既定した値を用いる。また、Nmin≦N≦Nmaxの範囲では、信頼度R0は、R0max~R0min間を直線的に変化させる。なお、上記処理例では、L画像を基準として、L画像に基づいて視差補償画像を生成する処理例について説明したが、上述した処理におけるL画像をR画像に置き換えた処理を行ってもよい。すなわち、R画像を基準としてR画像に基づいて視差補償画像を生成して処理を行う構成としてもよい。なお、以下の処理例においてもすべてL画像を基準として実行する処理について説明するが、これらの処理においてもLR画像を入れ替えた処理として実行する構成としてもよい。4-1-2.残差成分に基づく信頼度R0算出処理例2次に、図9、図10を参照して、第1信頼度算出部171の実行する残差成分に基づく信頼度R0算出処理例2について説明する。本処理例2では、入力画像であるL画像に対して、視差推定部103から入力する画素単位の推定視差情報を適用して、視差に対応する距離をシフトさせた入力R画像の画素位置を、対応画素位置として求める。L画像の各画素と、上記の処理で求めたR画像の対応画素位置の画素値の差分を残差Dとして算出する。画像全体の残差Dの加算値に基づいて、視差推定部103の生成した推定視差情報の信頼度を判定する。図9は、第1信頼度算出部171の実行する残差成分に基づく信頼度R0算出処理例2について説明する図である。第1信頼度算出部171は、まず、左視点画像L画像入力部101から入力するL画像211の各画素に対応する視差情報を、視差推定部103の生成した推定視差情報212に基づいて取得する。ここでは、水平方向X方向のみに視差が存在すると仮定する。例えばL画像211の画素x,yに対する視差をdxとする。dxは例えば2pixel2画素等の視差に相当する画素数として表現される。第1信頼度算出部171は、L画像211の画素x,yに対する視差dxに基づいて、右視点画像R画像入力部102から入力するR画像213の対応画素位置を決定する。すなわち、L画像211の画素x,yと同じR画像213の画素位置x,yから視差dxに相当する距離、水平方向に移動した位置を対応画素位置として設定する。視差推定部103の推定視差情報が正確な値であれば、このR画像213における対応画素位置の画素値は、L画像211の画素x,yと同じ画素値を持つ。しかし、視差推定部103の推定視差情報が不正確な値であれば、このR画像213における対応画素位置の画素値は、L画像211の画素x,yと異なる画素値となる可能性が高い。このL画像211とR画像213の対応画素の画素値差分を残差成分Dとして算出する。例えば、画像全体の残差成分を濃淡情報で表現した残差マップ214を生成する。図に示す残差マップ214は、L画像211とR画像213の対応画素の画素値差分残差を濃淡情報で表現したマップである。例えば黒い部分がより差分が大きいことを示す。この残差マップ214に示される画素単位の差分残差を画像全体で加算した値を残差成分量Dとして算出する。この残差成分量Dの値に応じて、視差推定部103の生成した推定視差情報の信頼度R0を決定する。すなわち、残差成分量Dが大きい場合は、視差推定部103の生成した推定視差情報の信頼度R0は低い。一方、残差成分量Dが小さい場合は、視差推定部103の生成した推定視差情報の信頼度R0は高いと判定する。残差成分量Dと、視差推定部103の生成した推定視差情報の信頼度R0との対応関係は、具体的には、例えば図10に示すような対応関係として規定される。すなわち、第1信頼度算出部171は、視差推定部103の生成した推定視差情報の信頼度R0の値を、残差成分量Dの値に応じて、以下のように算出する。0≦D≦Dmin:信頼度R0=R0maxDmin≦D≦Dmax:信頼度R0=R0max~R0minDmax≦D:信頼度R0=R0minなお、Dmin、Dmax、R0min、R0max、これらの値は予め既定した値を用いる。また、Dmin≦D≦Dmaxの範囲では、信頼度R0は、R0max~R0min間を直線的に変化させる。なお、図7~図10を参照して説明した処理は、視差推定部103から入力する画素単位の推定視差情報を適用した残差成分に基づく推定視差の信頼度算出処理を行うものであるが、例えば推定視差の誤り、すなわち残差成分の残る仮想視点画像を生成した場合でも、残差成分は、画像の各領域の特徴素性によって目立つ場合と影響の少ない場合があるため、残差成分に基づく信頼度判定に際しては、画像の各領域の特徴によって異なる処理を行う設定としてもよい。具体的には、例えば、残差成分の残る仮想視点画像を生成した場合、テクスチャ領域では、残差成分、すなわち推定視差のずれによる画像に対する影響が大きくなり、画像を観察した場合にエラーが目立つことになる。一方、平坦領域では、残差成分、すなわち推定視差のずれによる画像に対する影響が小さくなり、画像を観察した場合でもエラーが目立つことは少ない。このような事情を考慮して、画像の領域の特徴素性を検出し、検出した画像領域単位の特徴に応じて、残差成分の導出方法を適応的に変更する設定としてもよい。例えば画像領域の特徴量として、以下のような特徴量を検出する。空間アクティビティダイナミックレンジまた、上記の画像領域単位の特徴量に応じて、残差成分に応じて算出する信頼度を適応的に変化させる。具体的には、例えば、先に図8、図10を参照して説明した信頼度算出処理に用いる各種のパラメータ、すなわち、図8のグラフに示す以下のパラメータ、Nmin、Nmax、R0min、R0max、図10のグラフに示す以下のパラメータ、Dmin、Dmax、R0min、R0max、あるいは、図7に示す閾値Th、これらのパラメータを画像領域単位の特徴量に応じて変更するといた処理を行う。具体例について、図11を参照して説明する。図11は、画像、例えば入力L画像に対して画素単位の特徴量として空間アクティビティを検出し、空間アクティビティの値に応じて図7に示す閾値Thを変更して、残差成分の指標としてのカウント値Nを変更する設定とした例を示す図である。なお、空間アクティビティは、例えば図11空間アクテイビティ算出処理例に示すように、注目画素を中心とする画素領域例えば3×3画素における隣接画素間の画素値差分の絶対値の総和として算出する。画素値差分の絶対値総和の値が大きい領域はテクスチャ領域エッジ領域であり、小さい領域は平坦領域であると判定することができる。図11に示すグラフは、横軸が空間アクティビティ、縦軸が残差成分であり、各点は、各画素の空間アクティビティと残差成分の値に対応する。ここで、図7を参照して説明した閾値Th、すなわち残差ありと判定するカウント数Nのカウント値として参入するか否かを規定する閾値Thを図に示すように、画像領域の空間アクティビティに応じて変化させる。このような設定とすることで、画像の各領域の特徴に応じた信頼度算出が行われることになる。図12は、図11と異なる処理例を示している。図11と同様、画像、例えば入力L画像に対して画素単位の特徴量として空間アクティビティを検出する。図12に示す例は、空間アクティビティの値に応じて図8、図10に示すパラメータ、Nmin、Nmax、Dmin、Dmax、これらのパラメータを変更して、残差成分に基づく信頼度算出処理を変更する。図12に示すグラフは、図11と同様、横軸が空間アクティビティ、縦軸が残差成分であり、各点は、各画素の空間アクティビティと残差成分の値に対応する。ここで、図8、図10に示すパラメータ、Nmin、Nmax、Dmin、Dmax、これらのパラメータを図に示すように、画像領域の空間アクティビティに応じて変化させる。このような設定とすることで、画像の各領域の特徴に応じた信頼度算出が行われることになる。図11、図12を参照して説明した処理例は、画像領域の特徴量として空間アクティビティを適用した処理例である。画像領域の特徴量としては、この他、ダイナミックレンジを適用してもよい。画像領域の特徴量としてダイナミックレンジを取得し、ダイナミックレンジの値に基づいて処理態様を変更する例について図13を参照して説明する。図13には、左視点画像L画像入力部101と、右視点画像R画像入力部102から入力した2つの画像領域、すなわち、a入力L画像の注目画素を中心とした3×3画素の画像領域b入力R画像の注目画素を中心とした3×3画素の画像領域これらを示している。これらの画像領域は、視差推定部103における視差推定処理によって対応する画素ブロックとして抽出された対応ブロックである。すなわち、視差推定が正しければ、この2つの画素ブロックには同一被写体の画像が撮影されている。a入力L画像の注目画素を中心とした3×3画素の画像領域に含まれる9画素から、最大の画素値輝度値を持つ画素の画素値maxL、最小の画素値輝度値を持つ画素の画素値minL、これらの画素値を取得する。同様に、b入力R画像の注目画素を中心とした3×3画素の画像領域に含まれる9画素から、最大の画素値輝度値を持つ画素の画素値maxR、最小の画素値輝度値を持つ画素の画素値minR、これらの画素値を取得する。さらに、注目画素に対応する残差成分を、L画像の画素ブロックの画素値の中間値とダイナミックレンジを用いた算出値LxLx=maxLminL/2αmaxL-minL~maxLminL/2-αmaxL-minLと、R画像の画素ブロックの画素値の中間値とダイナミックレンジを用いた算出値RxRx=maxRminR/2αmaxR-minR~maxRminR/2-αmaxR-minRこれらを算出する。なお、maxLminL/2は、L画像の画素ブロックの画素値の中間値maxL-minLは、L画像の画素ブロックの画素値のダイナミックレンジに対応する。maxRminR/2は、R画像の画素ブロックの画素値の中間値maxR-minRは、R画像の画素ブロックの画素値のダイナミックレンジに対応する。αは係数である。さらに、LxとRxの差分の最小値を算出して、この差分を注目画素の残差成分とする。このとき、LxとRxの差分の最小値は、各画素ブロックのダイナミックレンジに応じて変化することになる。結果として、画素ブロック単位のダイナミックレンジに応じて算出される残差成分が適応的に調整される。このようなダイナミックレンジを画像領域の特徴量として用いて、画像の各領域のダイナミックレンジの値に応じた信頼度算出が可能となる。4-2.第2信頼度算出部の実行する信頼度算出処理について次に、図6に示す第2信頼度算出部172の実行する信頼度R1算出処理例について説明する。図6に示す第2信頼度算出部172は、視差マップの水平隣接画素差分に基づいて信頼度R1を算出する。視差マップは、視差推定部103の生成した視差情報を輝度表現した画像データである。図14は、仮想視点画像の生成処理例を示している。例えば、入力L画像の画素値を利用して、視差推定部103の生成した視差情報を利用して仮想視点画像の画素値を設定する場合を想定する。図14に示すL画像はL画像の1つの水平方向ラインを示し、矢印は、視差推定部103の生成した視差情報に対応する。L画像の画素領域aと画素領域bにおいて、異なる距離を持つ異なる被写体が設定されているような場合、L画像の領域aに対応する視差情報に従って、仮想視点画像の領域axにL画像の領域aと同様の画素値が設定される。同様に、L画像の領域bに対応する視差情報に従って、仮想視点画像の領域bxにL画像の領域bと同様の画素値が設定される。しかし、この場合、仮想視点画像の領域231には、L画像のどの領域も対応する画素値が存在せず、画素値の設定ができない領域、すなわち、画素値設定不可領域231となってしまう。このような画素領域に対しては、他の画像、あるいは生成した仮想視点画像の近傍画素の画素値を利用した補間処理が必要になる。しかし、結果としては不自然な画像になる可能性が高い。図6に示す第2信頼度算出部172の実行する信頼度R1算出処理では、このような画素値設定不可領域の発生可能性を画素単位で算出し、この可能性に応じて推定視差情報の信頼度R1を算出する。具体的な信頼度算出処理例について図15を参照して説明する。図6に示す第2信頼度算出部172は、図1に示す視差推定部103から推定視差情報232を入力する。図15に示す推定視差情報232は、各画素単位で、推定視差を画素の濃淡輝度で表現したものである。この視差推定情報に対して、注目画素を中心とした水平方向の3画素を順次選択する。さらに、注目画素の視差を示す画素値輝度値と左隣接画素の視差を示す画素値輝度値差分絶対値、注目画素の視差を示す画素値輝度値と右隣接画素の視差を示す画素値輝度値差分絶対値、これらを算出し、これらの2つの差分絶対値を加算して差分絶対値和Dを算出する。この差分絶対値和Dに基づいて、視差推定部103の生成した推定視差情報の信頼度R1を決定する。すなわち、差分絶対値和Dが大きい場合は、視差推定部103の生成した推定視差情報の信頼度R1は低い。一方、差分絶対値和Dが小さい場合は、視差推定部103の生成した推定視差情報の信頼度R1は高いと判定する。差分絶対値和Dと、視差推定部103の生成した推定視差情報の信頼度R1との対応関係は、具体的には、例えば図16に示すような対応関係として規定される。すなわち、第2信頼度算出部172は、視差推定部103の生成した推定視差情報の信頼度R1の値を、差分絶対値和Dの値に応じて、以下のように算出する。0≦D≦Dmin:信頼度R1=R1maxDmin≦D≦Dmax:信頼度R1=R1max~R1minDmax≦D:信頼度R1=R1minなお、Dmin、Dmax、R1min、R1max、これらの値は予め既定した値を用いる。また、Dmin≦D≦Dmaxの範囲では、信頼度R1は、R1max~R1min間を直線的に変化させる。4-3.第3信頼度算出部の実行する信頼度算出処理について次に、図6に示す第3信頼度算出部173の実行する信頼度R2算出処理例について説明する。図6に示す第3信頼度算出部173は、縦エッジ部の視差の垂直隣接画素差分に基づいて信頼度R2を算出する。縦エッジ部、すなわち垂直方向である縦方向のエッジが存在する画像領域では、水平方向に画素値や輝度が大きく変化する領域であり、このような縦エッジ部において、視差推定の誤りが発生すると、観察した3D画像の不自然さがより目立ってしまう。従って、画像の縦エッジ部においては、視差推定部103の生成する推定視差情報を利用した仮想視点画像を生成する場合、その推定視差情報は、横エッジ部よりさらに正確であることが求められる。第3信頼度算出部173は、上記事情を考慮して、画像領域単位で縦エッジの強度に応じた信頼度R2を算出する。なお、縦エッジ部であるか否かを判定するためには、例えば図17に示す方法が適用可能である。図17に示すようにL画像から、注目画素241を含む入力L画像の2×3画素領域を抽出し、これらの各隣接画素間の画素値輝度値でも可の差分絶対値を算出し、横水平方向の隣接画素間の複数の差分絶対値を加算した横方向差分絶対値和、縦垂直方向の隣接画素間の複数の差分絶対値を加算した縦方向差分絶対値和、これらを算出する。さらに、予め設定したしきい値:Th_H、Th_Vと比較する。すなわち、1横方向の差分絶対値和>Th_H2縦方向の差分絶対値和<Th_Vこの1,2の双方を満たすか否かを判定する。上記1,2の双方を満たす場合、注目画素241は縦エッジ部であると判定する。一方、上記1,2のいずれか一方でも満たさない場合、注目画素241は縦エッジ部であると判定することができる。第3信頼度算出部173は、このような縦エッジの強度に応じた信頼度R2を算出する。なお、縦エッジの領域では、例えばブロックマッチング等の処理によって行われる視差推定部103の生成する推定視差情報の信頼度は高くなる。第3信頼度算出部173において実行する縦エッジの強度に応じた信頼度R2算出処理について図18を参照して説明する。図18に示すように、第3信頼度算出部173は、図1に示す視差推定部103から推定視差情報232を入力する。図18に示す推定視差情報232は、各画素単位で、推定視差を画素の濃淡輝度で表現したものである。この視差推定情報に対して、注目画素を中心とした垂直方向の3画素を順次選択する。さらに、注目画素の視差を示す画素値輝度値と上隣接画素の視差を示す画素値輝度値差分絶対値、注目画素の視差を示す画素値輝度値と下隣接画素の視差を示す画素値輝度値差分絶対値、これらを算出し、これらの2つの差分絶対値を加算して差分絶対値和Dを算出する。この差分絶対値和Dに基づいて、視差推定部103の生成した推定視差情報の信頼度R2を決定する。差分絶対値和Dが大きい場合は、縦方向にも画素値輝度の大きな差が存在しており、縦エッジの傾向が低く、この場合は、視差推定部103の生成した推定視差情報の信頼度R2を低い値として設定する。一方、差分絶対値和Dが小さい場合は、縦方向の画素値輝度の差が少なく、縦エッジの傾向が高く、この場合は、視差推定部103の生成した推定視差情報の信頼度R2は高いと判定する。差分絶対値和Dと、視差推定部103の生成した推定視差情報の信頼度R2との対応関係は、具体的には、例えば図19に示すような対応関係として規定される。すなわち、第3信頼度算出部173は、視差推定部103の生成した推定視差情報の信頼度R2の値を、差分絶対値和Dの値に応じて、以下のように算出する。0≦D≦Dmin:信頼度R2=R2maxDmin≦D≦Dmax:信頼度R2=R2max~R2minDmax≦D:信頼度R2=R2minなお、Dmin、Dmax、R2min、R2max、これらの値は予め既定した値を用いる。また、Dmin≦D≦Dmaxの範囲では、信頼度R2は、R2max~R2min間を直線的に変化させる。4-4.第4信頼度算出部の実行する信頼度算出処理について次に、図6に示す第4信頼度算出部174の実行する信頼度R3の算出処理例について説明する。図6に示す第4信頼度算出部174は、視差推定部103の生成する推定視差情報と、予め設定した推定視差の上限値や下限値との比較に基づいて信頼度R3を算出する。図1に示す画像処理装置100の視差推定部103は、先に例えば図2を参照して説明したブロックマッチング処理などを適用して入力LR画像間の視差を推定する。この視差推定処理では、処理の効率化のために、例えばブロックマッチングを行う場合にL画像に設定した1つのブロックに対してR画像に設定するブロックの設定範囲、すなわち探索範囲を予め設定して行われる。従って、実際の正しい視差が探索範囲を超えてしまう場合には、視差推定部103の生成する推定視差情報は所定の探索範囲に応じた上限値または下限値をとなる。推定視差情報として上限値または下限値が出力されている場合、実際の視差は、その上限値より大きい、または下限値より小さい可能性が高い。図6に示す第4信頼度算出部174は、このような上限値または下限値の視差が算出された画素領域を抽出して推定視差情報の信頼度R3を算出する。図20を参照して、図6に示す第4信頼度算出部174の実行する処理について説明する。図6に示す第4信頼度算出部174は、図20aに示すように左視点画像L画像入力部101から入力するL画像から、注目画素241を含む画素領域、例えば、注目画素241を中心画素とした3×3画素領域を抽出し、まず、注目画素241に対して、視差推定部103の生成した推定視差情報が上限値または下限値に達しているか否かを判定する。注目画素241に対応する推定視差情報が上限値または下限値に達していない場合は、その注目画素の信頼度R3は最大値R3maxとする。注目画素241に対応する推定視差情報が上限値または下限値に達している場合は、注目画素241含む画素領域、例えば図20aに示す3×3画素領域の9個の画素について推定視差情報が上限値または下限値に達している画素の数Nをカウントする。第4信頼度算出部174は、このカウント数Nに応じて信頼度R3を算出する。推定視差情報が上限値または下限値に達している注目画素を含む画素領域3×3画素に含まれる画素において、推定視差情報が上限値または下限値に達している画素数Nが多い場合は、その注目画素の実際の視差は、上限値より大きいまたは下限値より小さい可能性が高いと判定し、視差推定部103の生成した推定視差情報の信頼度R3を低い値として設定する。一方、推定視差情報が上限値または下限値に達している注目画素を含む画素領域3×3画素に含まれる画素において、推定視差情報が上限値または下限値に達している画素数Nが少ない場合は、その注目画素の実際の視差は、上限値より大きいまたは下限値より小さい可能性がさほど高くないと判定し、視差推定部103の生成した推定視差情報の信頼度R3を高い値として設定する。画素カウント数Nと、視差推定部103の生成した推定視差情報の信頼度R3との対応関係は、具体的には、例えば図20bに示すような対応関係として規定される。すなわち、第4信頼度算出部174は、視差推定部103の生成した推定視差情報の信頼度R3の値を、推定視差が上限値または下限値に達している注目画素を含む画素領域3×3画素に含まれる推定視差が上限値または下限値に達している画素数Nの値に応じて、以下のように算出する。0≦N≦Nmin:信頼度R3=R3maxNmin≦N≦Nmax:信頼度R3=R3max~R3minNmax≦N:信頼度R3=R3minなお、Nmin、Nmax、R3min、R3max、これらの値は予め既定した値を用いる。また、Nmin≦N≦Nmaxの範囲では、信頼度R3は、R3max~R3min間を直線的に変化させる。4-5.第5信頼度算出部の実行する信頼度算出処理について次に、図6に示す第5信頼度算出部175の実行する信頼度R4の算出処理例について説明する。図6に示す第5信頼度算出部175は、図211に示すように、視差推定部103の生成した推定視差情報に基づいてL画像の各画素aに対応するR画像の対応画素位置bを算出する。さらに、そのR画像における算出画素位置bに対応するL画像間の視差を推定して、L画像の対応画素位置cを算出する。推定された視差が正しければ、a=cとなる。すなわち、図に示す、移動量X=0となる。しかし、推定視差情報が誤りである場合は、移動量X≠0となる。図6に示す第5信頼度算出部175は、このような処理によって、信頼度R4を算出する。なお、この処理の前提として、視差推定部103は、左視点画像L画像入力部101から入力するL画像に対応するR画像の対応画素位置の検出情報に基づくL画像ベースの推定視差情報、右視点画像R画像入力部102から入力するR画像に対応するL画像の対応画素位置の検出情報に基づくR画像ベースの推定視差情報、これらの2つの推定視差情報を生成して第5信頼度算出部175に提供しているものとする。図6に示す第5信頼度算出部175は、具体的には以下の処理を順次実行する。処理1左視点画像L画像入力部101から入力するL画像の注目画素aについて、視差推定部103の生成したL画像ベースの推定視差情報に基づいて右視点画像R画像入力部102から入力するR画像における対応画素位置bを取得する。処理2右視点画像R画像入力部102から入力するR画像の画素bに対して、視差推定部103の生成したR画像ベースの推定視差情報に基づいてL画像における対応画素位置cを取得する。処理3L画像における画素aと画素cの距離移動量Xを取得して、規定しきい値TH_Xと比較処理4左視点画像L画像入力部101から入力するL画像の全画素について上記処理1~3を実行し、以下の判定式を満足する画素数Cをカウント移動量X≧TH_X図6に示す第5信頼度算出部175は、この上記判定式を満足する画素数Cに応じて推定視差情報の信頼度R4を算出する。上記判定式を満足する画素数Cが多い場合は、視差推定部103の生成した推定視差情報の信頼度R4を低い値として設定する。一方、上記判定式を満足する画素数Cが少ない場合は、視差推定部103の生成した推定視差情報の信頼度R4を高い値として設定する。画素数Cと、視差推定部103の生成した推定視差情報の信頼度R4との対応関係は、具体的には、例えば図21bに示すような対応関係として規定される。すなわち、第5信頼度算出部175は、視差推定部103の生成した推定視差情報の信頼度R4の値を、左視点画像L画像入力部101から入力するL画像の全画素について以下の判定式、移動量X≧TH_Xを満足する画素数Cの値に応じて、以下のように算出する。0≦C≦Cmin:信頼度R4=R4maxCmin≦C≦Cmax:信頼度R4=R4max~R4minCmax≦C:信頼度R4=R4minなお、Cmin、Cmax、R4min、R4max、これらの値は予め既定した値を用いる。また、Cmin≦C≦Cmaxの範囲では、信頼度R4は、R4max~R4min間を直線的に変化させる。4-6.信頼度算出部における最終的な信頼度算出処理について図6を参照して説明したように、信頼度算出部104は、図6に示すように、左視点画像L画像入力部101から、左視点画像L画像、右視点画像R画像入力部102から、右視点画像R画像、視差推定部103から推定視差情報を入力し、これらの入力情報に基づいて、上述したように、第1~第5信頼度算出部171~175において、複数の異なる処理によって複数の信頼度R0~R4を算出する。図6に示す演算部181は、これら複数の信頼度R0~R4を適用して、最終的な信頼度情報を算出して仮想視点画像生成部105に出力する。演算部181は、第1~第5信頼度算出部171~175において算出した信頼度R0,R1,R2,R3,R4について、予め設定された重み係数α0,α1,α2,α3,α4を適用した以下の式に従って重み付き和Rを算出し、この算出値を最終的な信頼度情報として仮想視点画像生成部105に出力する。R=α0R0α1R1α2R2α3R3α4R4なお、図6には、第1~第5信頼度算出部171~175、これら5種類の信頼度算出部を示しているが、これら5つの全てではなく1つ以上の信頼度算出部を用いる構成としてもよい。あるいはさらに、他の信頼度を適用した構成とすることも可能である。[5.仮想視点画像生成部の処理について]次に、図1に示す仮想視点画像生成部105の具体的処理例について説明する。仮想視点画像生成部105は、左視点画像L画像入力部101からL画像、右視点画像R画像入力部102からR画像、視差推定部103から視差情報、信頼度算出部104から信頼度情報、これらの各情報を入力して、仮想視点画像を生成する。仮想視点画像生成部105は、信頼度算出部104から入力する信頼度情報に従って、仮想視点位置の決定処理等を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。仮想視点画像生成部105は、信頼度算出部104から入力する信頼度情報に応じて、視差量を調整、すなわち生成する仮想視点位置位相を決定して、決定した仮想視点位置位相に対応する仮想視点画像を生成する。具体的には、仮想視点画像生成部105は、例えば、生成する仮想視点画像の視差間隔を信頼度算出部104から入力する信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する。以下、仮想視点画像生成部105の複数の具体的構成例について、順次、説明する。5-1.信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する構成例仮想視点画像生成部105の1つの実施例を、図22を参照して説明する。図22に示すように、本実施例の仮想視点画像生成部105は、視差調整部311と、画像合成部312を有する。視差調整部311は、信頼度算出部104の算出した信頼度情報、すなわち視差推定部103の生成した推定視差情報の信頼度を入力する。この信頼度は、前述したように、たとえば、複数の異なる信頼度情報R0~R4の重み付け加算値である。具体的には、信頼度R=α0R0α1R1α2R2α3R3α4R4ただし、α0,α1,α2は予め設定した重み係数、上記式に従って、算出した信頼度Rを入力する。信頼度Rは、0~1の値を持ち、最も高い信頼度の場合、R=1、最も低い信頼度の場合、R=0となる。視差調整部311は、入力した信頼度Rに応じて、生成すべき仮想視点画像の視差、すなわち、生成する仮想視点画像の位置位相を決定する。具体的には、0~1の値を持つ信頼度Rの値に応じて、図23に示すような仮想視点位置の決定処理を行う。図23は、信頼度R=0~1の場合における仮想視点画像位置の設定例を示した図である。視点位置=0は、入力L画像に対応する視点位置、視点位置=1は、入力R画像に対応する視点位置、である。すなわち、信頼度=1のライン上の、画像b321は、左視点画像L画像入力部101から入力する入力L画像、画像h322は、右視点画像R画像入力部102から入力する入力R画像、に対応する。信頼度=1のライン上のその他の縦ラインは、信頼度算出部104の算出した信頼度情報Rが、R=1、最も信頼できる値である場合、仮想視点画像生成部105において生成する仮想視点画像の位置位相を示す。この例では、入力LR画像を含めて、a~iまで合計9個の異なる視点の画像を生成して出力するものとする。信頼度算出部104の算出した信頼度情報Rが、R=1の場合は、視差調整部311は、図23の上段にあるa~iの画像を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図22に示す画像合成部312に出力する。図22に示す画像合成部312は、視差調整部311から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力L画像と入力R画像を適用して生成する。なお、仮想視点画像の生成処理は、先に、図3、図4を参照して説明した処理に従って行われる。また、信頼度算出部104の算出した信頼度情報Rが、R=0.5、すなわち中程度の信頼度である場合は、視差調整部311は、図23の中段にあるa2~i2の画像を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図22に示す画像合成部312に出力する。図22に示す画像合成部312は、視差調整部311から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力L画像と入力R画像を適用して生成する。この中低度の信頼度=0.5の場合、図から理解されるように、仮想視点画像a2~i2の視差範囲は、信頼度R=1の高信頼度の場合の仮想視点画像a~iの視差範囲より狭くなる。また、信頼度算出部104の算出した信頼度情報Rが、R=0の場合、すなわち全く信用できない場合は、視差調整部311は、図23の下段にある画像333を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図22に示す画像合成部312に出力する。図22に示す画像合成部312は、視差調整部311から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力L画像と入力R画像を適用して生成する。なお、図23の下段にある画像333の画像位置は、入力R画像の画像位置に対応する。すなわち、この場合、新たな仮想視点画像を生成することなく、入力R画像をそのまま出力する。なお、この場合、仮想視点画像生成部105は、入力L画像についてもそのまま出力し、表示部には入力LR画像のみが出力されることになる。視差調整部311は、仮想視点画像の設定位置位相の算出処理を以下のアルゴリズムに従って実行する。なお、信頼度R=1の場合に生成する仮想視点画像については予め決定しておく。図23に示すa~iの位置である。信頼度算出部104から入力する信頼度情報をRとする。ただし、R=0~1である。信頼度R=1の場合の仮想視点画像位置位相をV0とする。このとき、信頼度Rに応じて設定する仮想視点画像位置位相Vは以下の式に従って算出する。V=V0-1R1図23に示す仮想視点画像331の位置位相は、信頼度:R=1の場合に出力予定の仮想視点画像位置である。この仮想視点画像位置位相:V=0.3とする。このVの値を利用して、各信頼度R=0~1の場合の仮想視点画像位置位相を上記式に従って算出する。例えば、信頼度R=0.5の場合、仮想視点画像331の位置位相V=0.3を用いて、図23に示す仮想視点画像位置332d2の位置Vを、上記式に従って算出できる。すなわち、V=V0-1R1=0.3-10.51=0.85となる。例えば、信頼度R=0の場合、仮想視点画像331の位置位相V=0.3を用いて、図23に示す仮想視点画像位置333d3の位置Vを、上記式に従って算出できる。すなわち、V=V0-1R1=0.3-101=1となる。このように視差調整部311は、信頼度算出部104の算出した信頼度情報Rを入力し、入力した信頼度情報Rの値に応じて仮想視点画像の設定位置を決定し、この仮想視点位置情報を図22に示す画像合成部312に出力する。図22に示す画像合成部312は、視差調整部311から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力L画像と入力R画像を適用して生成する。5-2.信頼度と最適視差量との対応関係情報と信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する構成例次に、信頼度と最適視差量との対応関係情報と信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する仮想視点画像生成部105の実施例を、図24を参照して説明する。図24に示すように、本実施例の仮想視点画像生成部105は、図22を参照して説明したと同様の視差調整部311と、画像合成部312、さらに、信頼度と最適視差量との対応関係情報を格納した信頼度データベース313を有する。視差調整部311は、信頼度算出部104の算出した信頼度情報、すなわち視差推定部103の生成した推定視差情報の信頼度を入力する。この信頼度は、前述したように、たとえば、複数の異なる信頼度情報R0~R4の重み付け加算値である。具体的には、信頼度R=α0R0α1R1α2R2α3R3α4R4ただし、α0,α1,α2は予め設定した重み係数、上記式に従って、算出した信頼度Rを入力する。信頼度Rは、0~1の値を持ち、最も高い信頼度の場合、R=1、最も低い信頼度の場合、R=0となる。視差調整部311は、信頼度算出部104の算出した信頼度R、さらに、信頼度データベース313から、信頼度と最適視差量との対応関係情報、これらを入力する。視差調整部311は、これらの情報に基づいて、調整信頼度を算出し、調整信頼度に基づいて、生成すべき仮想視点画像の視差、すなわち、生成する仮想視点画像の位置位相を決定する。信頼度データベース313には、最適視差量との対応関係情報の関係データが格納されている。例えば図25に示すデータである。このデータは、予め準備した学習データ、例えば、様々な信頼度の視差を持つ学習データを観察させて、観察者が快適に3D画像を観察できた視差を最適視差量として決定したデータである。視差調整部311は、信頼度データベース313に格納された最適視差量との対応関係情報の関係データを取得して、信頼度算出部104の算出した信頼度Rに対応する係数pを算出する。係数pは、信頼度Rに対応する乗数であり、最適視差量を設定するための調整信頼度pRを算出するための係数である。係数pは、例えば最小二乗法などの回帰分析処理を適用して求める。視差調整部311は、算出した係数pを信頼度算出部104の算出した信頼度Rに乗算して調整信頼度pRを算出する。この調整信頼度pRに応じて、図26に示すような仮想視点位置の決定処理を行う。図26は、調整信頼度pR=0~1の場合における仮想視点画像位置の設定例を示した図である。視点位置=0は、入力L画像に対応する視点位置、視点位置=1は、入力R画像に対応する視点位置、である。すなわち、調整信頼度=1のライン上の、画像b321は、左視点画像L画像入力部101から入力する入力L画像、画像h322は、右視点画像R画像入力部102から入力する入力R画像、に対応する。調整信頼度=1のライン上のその他の縦ラインは、調整信頼度情報pRが、pR=1、最も信頼できる値である場合、仮想視点画像生成部105において生成する仮想視点画像の位置位相を示す。この例では、入力LR画像を含めて、a~iまで合計9個の異なる視点の画像を生成して出力するものとする。調整信頼度情報pRが、pR=1の場合は、視差調整部311は、図23の上段にあるa~iの画像を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図24に示す画像合成部312に出力する。図24に示す画像合成部312は、視差調整部311から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力L画像と入力R画像を適用して生成する。なお、仮想視点画像の生成処理は、先に、図3、図4を参照して説明した処理に従って行われる。また、調整信頼度情報pRが、pR=0.5、すなわち中程度の信頼度である場合は、視差調整部311は、図26の中段にあるa2~i2の画像を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図24に示す画像合成部312に出力する。図24に示す画像合成部312は、視差調整部311から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力L画像と入力R画像を適用して生成する。この中低度の調整信頼度=0.5の場合、図から理解されるように、仮想視点画像a2~i2の視差範囲は、調整信頼度R=1の高信頼度の場合の仮想視点画像a~iの視差範囲より狭くなる。また、調整信頼度情報pRが、pR=0の場合、すなわち全く信用できない場合は、視差調整部311は、図26の下段にある画像333を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図24に示す画像合成部312に出力する。図24に示す画像合成部312は、視差調整部311から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力L画像と入力R画像を適用して生成する。なお、図26の下段にある画像333の画像位置は、入力R画像の画像位置に対応する。すなわち、この場合、新たな仮想視点画像を生成することなく、入力R画像をそのまま出力する。なお、この場合、仮想視点画像生成部105は、入力L画像についてもそのまま出力し、表示部には入力LR画像のみが出力されることになる。このように、本実施例においては、視差調整部311は、信頼度算出部104の算出した信頼度R、さらに、信頼度データベース313から、信頼度と最適視差量との対応関係情報、これらを入力する。視差調整部311は、これらの情報に基づいて、調整信頼度を算出し、調整信頼度に基づいて、生成すべき仮想視点画像の視差、すなわち、生成する仮想視点画像の位置位相を決定する。5-3.LPFを適用した視差情報変換と仮想視点画像の変換処理を含む実施例について次に、LPFローパスフィルタを適用した視差情報変換と仮想視点画像の変換処理を含む仮想視点画像生成部の実施例について図27を参照して説明する。図27に示す仮想視点画像生成部105は、第1LPFローパスフィルタ331、視差情報選択部332、画像合成部333、第2LPFローパスフィルタ334、仮想視点画像選択部335を有する。第1LPFローパスフィルタ331は、視差推定部103の生成する推定視差情報視差マップを入力してLPFを適用する。LPFの適用により、視差情報の急激な変化部分はなだらかに変化するように変換される。第1LPFローパスフィルタ331の生成したLPF適用推定視差情報は、視差情報選択部332に入力される。視差情報選択部332は、以下の情報を入力する。a視差推定部103の生成した推定視差情報視差マップb第1LPFローパスフィルタ331の生成したLPF適用推定視差情報c信頼度算出部104の算出した信頼度情報R視差情報選択部332は、これらの情報を入力して以下の処理を実行する。c信頼度算出部104の算出した信頼度情報Rが予め設定したしきい値以上の信頼度の高い画素については、a視差推定部103の生成した推定視差情報視差マップに含まれる画素対応の視差情報を画像合成部333に選択出力する。一方、c信頼度算出部104の算出した信頼度情報Rが予め設定したしきい値未満の信頼度の低い画素については、b第1LPFローパスフィルタ331の生成したLPF適用推定視差情報に含まれる画素対応の視差情報を画像合成部333に選択出力する。これらの出力情報は、画像合成部333に入力される。画像合成部333は、これらの視差情報に基づいて仮想視点画像を生成する。仮想視点画像の生成処理は、先に、図3、図4を参照して説明した処理に従って入力LR画像を利用して実行される。画像合成部333の生成した仮想視点画像は第2LPF334と、仮想視点画像選択部335に入力される。第2LPF334は、画像合成部333の生成した仮想視点画像に対してLPFを適用する。このLPF適用処理によって、仮想視点画像内の急激な画素値変化部分はなだらかな変化に変換される。この第2LPF334の生成したLPF適用仮想視点画像は仮想視点画像選択部335に入力される。仮想視点画像選択部335は、以下の情報を入力する。d画像合成部333の生成した仮想視点画像e第2LPF334の生成したLPF適用仮想視点画像f信頼度算出部104の算出した信頼度情報R仮想視点画像選択部335は、これらの情報を入力して以下の処理を実行する。f信頼度算出部104の算出した信頼度情報Rが予め設定したしきい値以上の信頼度の高い画素については、d画像合成部333の生成した仮想視点画像の画素情報を出力する仮想視点画像の構成画素として選択出力する。一方、f信頼度算出部104の算出した信頼度情報Rが予め設定したしきい値未満の信頼度の低い画素については、e第2LPF334の生成したLPF適用仮想視点画像の画素情報を出力する仮想視点画像の構成画素として選択出力する。図27に示す仮想視点画像生成部105は、このようにLPFを適用して視差情報の変換と、仮想視点画像の変換を実行して仮想視点画像を生成する。[6.解像度変換を実行し、解像度変換画像を適用した視差推定を実行する実施例について]次に、図28を参照して、解像度変換を実行し、解像度変換画像を適用した視差推定を実行する実施例について説明する。図28に示す画像処理装置400は、点線で示す領域401は、信頼度選択部415を除いて、図1に示す画像処理装置100と同様の構成である。本実施例の画像処理装置400は、図1に示す画像処理装置の構成に、解像度変換部411、第2視差推定部412、第2信頼度算出部413、解像度逆変換部414、信頼度選択部415を追加した構成を持つ。解像度変換部411は、左視点画像L画像入力部101から入力するL画像と、右視点画像R画像入力部102から入力するR画像の解像度変換を実行する。具体的には、入力LR画像より低解像度の画像を生成する。第2視差推定部412は、解像度変換部411の生成した低解像度のLR画像を用いて視差を推定する。低解像度画像に基づく推定視差情報を生成する。この推定視差情報は、第2信頼度算出部413に入力される。第2信頼度算出部413は、第2視差推定部412の生成した推定視差情報の信頼度を算出する。この信頼度算出処理は、先に図6~図21を参照して説明した処理と同様の処理として実行される。すなわち複数の異なる信頼度R0~R5を算出して、予め設定した重みα0~α5を利用して重み付け加算を実行して信頼度を算出する。この信頼度は低解像度画像の各画素単位で設定される。この信頼度情報は、解像度逆変換部414に入力される。解像度逆変換部414は各画素対応の信頼度情報を解像度変換部411の解像度変換の逆の解像度変換処理を実行し、元の入力画像の画素数に戻す処理を行う。この解像度逆変換処理によって生成した第2信頼度情報は信頼度選択部415に入力される。図に示す第1視差推定部103は、前述の図1以下を参照して説明したと同様の処理を実行し、入力LR画像に基づく推定視差情報を生成する。第1信頼度算出部104も前述の図1以下を参照して説明したと同様の処理を実行し、第1視差推定部103の生成した画素単位の推定視差情報に対応する信頼度を算出する。先に図6~図21を参照して説明した処理と同様の処理として実行される。すなわち複数の異なる信頼度R0~R5を算出して、予め設定した重みα0~α5を利用して重み付け加算を実行して信頼度を算出する。この第1信頼度算出部104の算出した第1信頼度は、信頼度選択部415に入力される。信頼度選択部415は、以下の情報を入力する。a第1信頼度算出部104の算出した入力LR画像ベースの推定視差情報に対応する第1信頼度情報、b第2信頼度算出部413の算出した低解像度のLR画像ベースの推定視差情報に対応する第2信頼度情報、すなわち、信頼度選択部415は、各画素に対応する2つの信頼度情報を入力する。信頼度選択部415は、これら2つの信頼度情報を画素単位で比較して、高い方の信頼度情報を選択し、高い信頼度情報をその画素の信頼度情報として出力する。画素単位で選択された信頼度情報は、仮想視点画像生成部105に入力される。仮想視点画像生成部105は、先に図22~図27を参照して説明した処理を実行して、信頼度情報を参照した仮想視点画像の生成処理を実行する。仮想視点画像生成部105の生成した仮想視点画像は、表示制御部106を介して表示部110に出力表示される。このように、本実施例の構成では、解像度変換前の画像に基づく視差の推定と信頼度情報算出処理、さらに、低解像度に変換した低解像度画像に基づく視差の推定と信頼度情報算出処理、これらの2つの処理を実行して、それぞれの画像に応じた2つの信頼度情報を生成する。さらに、これら2つの信頼度情報について、画素単位で高い信頼度情報が得られた方を最終的な信頼度情報として利用する。この処理により、例えば局所的な画像エラー等によって発生する視差推定の誤り等の影響を削減することが可能となる。なお、前述したように、本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼3D表示装置における表示画像である。表示部110は、裸眼3D表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア視差バリアを備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。表示制御部106は、仮想視点画像生成部105の生成したN視点の画像を表示部110に出力する。なお、表示制御部106は、表示部110の表示構成に応じた表示情報を生成する。なお、画像処理装置は、例えば撮像部を備えたカメラ等の撮像装置、PC、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。例えばカメラの場合、異なる視点からの画像としてのLR画像を撮影する撮像部を有し、撮像部から入力するLR画像を利用して多視点画像を生成する構成とする。[7.本開示の構成のまとめ]以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。なお、本明細書において開示した技術は、以下のような構成をとることができる。13次元画像表示に適用する左眼用の画像信号である左視点画像L画像を入力する左視点画像入力部と、3次元画像表示に適用する右眼用の画像信号である右視点画像R画像を入力する右視点画像入力部と、前記左視点画像L画像と右視点画像R画像から視差情報を生成する視差推定部と、前記視差推定部の生成した視差情報の信頼度を算出する信頼度算出部と、前記左視点画像L画像と、前記右視点画像R画像と、前記視差情報と、前記信頼度を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、前記仮想視点画像生成部は、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置。2前記信頼度算出部は、複数の異なる信頼度算出処理によって複数の信頼度情報を算出し、算出した複数の信頼度情報に対する重み付き加算によって最終的な信頼度を算出する前記1に記載の画像処理装置。3前記信頼度算出部は、前記視差推定部の推定した視差情報に応じた視差補償により生成した視差補償画像と入力画像との差分算出によって得られる残差成分量に応じた信頼度算出を実行する前記1または2に記載の画像処理装置。4前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像L画像または前記右視点画像R画像の画素領域単位の空間アクティビティに応じて信頼度算出態様を変更する前記3に記載の画像処理装置。5前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像L画像または前記右視点画像R画像の画素領域単位のダイナミックレンジに応じて信頼度算出態様を変更する前記3に記載の画像処理装置。6前記信頼度算出部は、前記視差推定部の推定した視差情報の水平隣接画素の視差差分に応じた信頼度算出を実行する前記1~5いずれかに記載の画像処理装置。7前記信頼度算出部は、前記視差推定部の推定した視差情報の垂直隣接画素の視差差分に応じた信頼度算出を実行する前記1~6いずれかに記載の画像処理装置。8前記信頼度算出部は、前記視差推定部の推定した視差情報が、既定の上限値または下限値に達しているか否かに応じた信頼度算出を実行する前記1~7いずれかに記載の画像処理装置。9前記信頼度算出部は、前記左視点画像L画像入力部から入力した左視点画像L画像に基づいて前記視差推定部の推定した視差情報と、前記右視点画像R画像入力部から入力した右視点画像R画像に基づいて前記視差推定部の推定した視差情報と、の整合性に応じた信頼度算出を実行する前記1~8いずれかに記載の画像処理装置。10前記仮想視点画像生成部は、前記信頼度算出部の算出した信頼度に応じて、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像の視点位置を決定する視差調整部と、前記視差調整部の決定した視点位置に応じた仮想視点画像を生成する画像合成部を有する前記1~9いずれかに記載の画像処理装置。11前記仮想視点画像生成部は、前記信頼度と最適視差量との関係情報を格納した信頼度データベースを有し、前記視差調整部は、記信頼度データベースに格納された前記信頼度と最適視差量との関係情報を適用して、信頼度算出部から入力する信頼度に応じた最適視差量を取得し、取得した視差量に応じた仮想視点画像位置を決定する前記10に記載の画像処理装置。12前記仮想視点画像生成部は、a前記視差推定部の推定した視差情報、b前記視差情報を画像表現した視差マップに対するローパスフィルタLPF適用結果であるLPF適用視差情報、上記のa,b2つの視差情報について、前記信頼度の高い画素については、前記視差情報、前記信頼度の低い画素については、前記LPF適用視差情報を選択する視差情報選択部と、前記視差情報選択部の選択した視差情報に基づいて仮想視点画像の生成を行う画像合成部を有する前記1~11いずれかに記載の画像処理装置。13前記仮想視点画像生成部は、さらに、a前記画像合成部の生成した仮想視点画像、b前記画像合成部の生成した仮想視点画像に対するローパスフィルタLPF適用結果であるLPF適用仮想視点画像、上記のa,b2つの仮想視点画像について、前記信頼度の高い画素については、前記仮想視点画像、前記信頼度の低い画素については、前記LPF適用仮想視点画像を選択する仮想視点画像選択部を有する前記1~12いずれかに記載の画像処理装置。143次元画像表示に適用する左眼用の画像信号である左視点画像L画像を入力する左視点画像入力部と、3次元画像表示に適用する右眼用の画像信号である右視点画像R画像を入力する右視点画像入力部と、前記左視点画像L画像と右視点画像R画像から視差情報を生成する第1視差推定部と、前記第1視差推定部の生成した視差情報の第1信頼度を算出する第1信頼度算出部と、前記左視点画像L画像と、前記右視点画像R画像の解像度変換を行う解像度変換部と、前記解像度変換部から出力される低解像度の左視点画像L画像と右視点画像R画像に基づく視差情報推定を行う第2視差推定部と、前記第2視差推定部の生成した第2視差情報の第2信頼度を算出する第2信頼度算出部と、前記解像度変換の逆変換を行う解像度逆変換部と、前記第1信頼度と、前記第2信頼度とを比較して高い信頼度を最終信頼度として選択出力する信頼度選択部と、前記左視点画像L画像と、前記右視点画像R画像と、前記視差情報と、前記最終信頼度を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、前記仮想視点画像生成部は、生成する仮想視点画像の視差間隔を前記最終信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置。さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LANLocalAreaNetwork、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。"