"3次元画像表示に適用する左眼用の画像信号である左眼用画像L画像を入力する左眼用画像入力部と、3次元画像表示に適用する右眼用の画像信号である右眼用画像R画像を入力する右眼用画像入力部と、前記左眼用画像L画像と右眼用画像R画像から視差情報を生成する視差情報生成部と、前記左眼用画像L画像と、前記右眼用画像R画像と、前記視差情報を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する画像処理装置。前記仮想視点画像生成部は、仮想視点画像の画像品質を示す画像品質評価値Qを算出し、算出した画像品質評価値Qを適用して仮想視点間隔Gを算出して、算出した仮想視点間隔Gに基づいて仮想視点位置を決定する請求項1に記載の画像処理装置。前記仮想視点画像生成部は、前記視差情報の信頼度情報、または、生成した仮想視点画像情報、上記の少なくともいずれかの情報を適用して前記画像品質評価値Qを算出する請求項2に記載の画像処理装置。前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Gを算出し、算出した仮想視点間隔Gに基づいて仮想視点位置を決定する請求項1に記載の画像処理装置。前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Gを算出し、算出した仮想視点間隔Gに基づいて仮想視点位置を決定する請求項1に記載の画像処理装置。前記画像処理装置は、画像領域に応じた画像重み情報を算出する重み情報生成部を有し、前記仮想視点画像生成部は、前記画像重み情報を適用して前記視差情報を補正した重み付き視差分布を算出し、算出した重み付き視差分布から算出する視差最大値と、前記適切視差量を適用して仮想視点間隔Gを算出し、算出した仮想視点間隔Gに基づいて仮想視点位置を決定する請求項1に記載の画像処理装置。前記重み情報生成部は、画像の位置に応じた画像領域単位の重みを設定した画像重み情報、または画像に含まれる被写体に応じた画像重み情報を生成する請求項6に記載の画像処理装置。前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって第1の仮想視点位置を決定し、決定した第1の仮想視点位置に対する非線形マッピング処理によって、非等間隔の第2の仮想視点位置を決定し、決定した非等間隔の第2の仮想視点位置に対応する仮想視点画像を生成する請求項1に記載の画像処理装置。前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、前記視差情報から算出される視差分布データに基づいて平行移動量を算出し、算出した平行移動量に基づいて、各仮想視点位置の仮想視点画像間の視差分布の移動処理を実行して、視差分布データの移動処理結果を反映した仮想視点画像を生成する請求項1に記載の画像処理装置。3次元画像表示に適用する左眼用の画像信号である左眼用画像L画像と右眼用の画像信号である右眼用画像R画像を撮影する撮像部と、前記撮像部から、3次元画像表示に適用する左眼用の画像信号である左眼用画像L画像を入力する左眼用画像入力部と、前記撮像部から、3次元画像表示に適用する右眼用の画像信号である右眼用画像R画像を入力する右眼用画像入力部と、前記左眼用画像L画像と右眼用画像R画像から視差情報を生成する視差情報生成部と、前記左眼用画像L画像と、前記右眼用画像R画像と、前記視差情報を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する撮像装置。画像処理装置において、多視点画像を生成する画像処理方法であり、左眼用画像入力部が、3次元画像表示に適用する左眼用の画像信号である左眼用画像L画像を入力する左眼用画像入力ステップと、右眼用画像入力部が、3次元画像表示に適用する右眼用の画像信号である右眼用画像R画像を入力する右眼用画像入力ステップと、視差情報生成部が、前記左眼用画像L画像と右眼用画像R画像から視差情報を生成する視差情報生成ステップと、仮想視点画像生成部が、前記左眼用画像L画像と、前記右眼用画像R画像と、前記視差情報を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成ステップを実行し、前記仮想視点画像生成ステップは、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成するステップである画像処理方法。画像処理装置において、多視点画像を生成させるプログラムであり、左眼用画像入力部に、3次元画像表示に適用する左眼用の画像信号である左眼用画像L画像を入力させる左眼用画像入力ステップと、右眼用画像入力部に、3次元画像表示に適用する右眼用の画像信号である右眼用画像R画像を入力させる右眼用画像入力ステップと、視差情報生成部に、前記左眼用画像L画像と右眼用画像R画像から視差情報を生成させる視差情報生成ステップと、仮想視点画像生成部に、前記左眼用画像L画像と、前記右眼用画像R画像と、前記視差情報を入力させて、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成させる仮想視点画像生成ステップを実行させ、前記仮想視点画像生成ステップは、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成させるステップであるプログラム。本開示は、例えば上記の問題点を解決するものであり、3D画像用の左眼用画像L画像と右眼用画像R画像に基づく多視点画像の生成処理を行う構成において、例えば、画像品質や適切な視差量、あるいは画像の注目し易い領域等を考慮して仮想視点位置を決定して多視点画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供する。本開示の第1の側面は、3次元画像表示に適用する左眼用の画像信号である左眼用画像L画像を入力する左眼用画像入力部と、3次元画像表示に適用する右眼用の画像信号である右眼用画像R画像を入力する右眼用画像入力部と、前記左眼用画像L画像と右眼用画像R画像から視差情報を生成する視差情報生成部と、前記左眼用画像L画像と、前記右眼用画像R画像と、前記視差情報を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する画像処理装置にある。さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、仮想視点画像の画像品質を示す画像品質評価値Qを算出し、算出した画像品質評価値Qを適用して仮想視点間隔Gを算出して、算出した仮想視点間隔Gに基づいて仮想視点位置を決定する。さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、前記視差情報の信頼度情報、または、生成した仮想視点画像情報、上記の少なくともいずれかの情報を適用して前記画像品質評価値Qを算出する。さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Gを算出し、算出した仮想視点間隔Gに基づいて仮想視点位置を決定する。さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Gを算出し、算出した仮想視点間隔Gに基づいて仮想視点位置を決定する。さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、画像領域に応じた画像重み情報を算出する重み情報生成部を有し、前記仮想視点画像生成部は、前記画像重み情報を適用して前記視差情報を補正した重み付き視差分布を算出し、算出した重み付き視差分布から算出する視差最大値と、前記適切視差量を適用して仮想視点間隔Gを算出し、算出した仮想視点間隔Gに基づいて仮想視点位置を決定する。さらに、本開示の画像処理装置の一実施態様において、前記重み情報生成部は、画像の位置に応じた画像領域単位の重みを設定した画像重み情報、または画像に含まれる被写体に応じた画像重み情報を生成する。さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって第1の仮想視点位置を決定し、決定した第1の仮想視点位置に対する非線形マッピング処理によって、非等間隔の第2の仮想視点位置を決定し、決定した非等間隔の第2の仮想視点位置に対応する仮想視点画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、前記視差情報から算出される視差分布データに基づいて平行移動量を算出し、算出した平行移動量に基づいて、各仮想視点位置の仮想視点画像間の視差分布の移動処理を実行して、視差分布データの移動処理結果を反映した仮想視点画像を生成する。さらに、本開示の第2の側面は、3次元画像表示に適用する左眼用の画像信号である左眼用画像L画像と右眼用の画像信号である右眼用画像R画像を撮影する撮像部と、前記撮像部から、3次元画像表示に適用する左眼用の画像信号である左眼用画像L画像を入力する左眼用画像入力部と、前記撮像部から、3次元画像表示に適用する右眼用の画像信号である右眼用画像R画像を入力する右眼用画像入力部と、前記左眼用画像L画像と右眼用画像R画像から視差情報を生成する視差情報生成部と、前記左眼用画像L画像と、前記右眼用画像R画像と、前記視差情報を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する撮像装置にある。さらに、本開示の第3の側面は、画像処理装置において、多視点画像を生成する画像処理方法であり、左眼用画像入力部が、3次元画像表示に適用する左眼用の画像信号である左眼用画像L画像を入力する左眼用画像入力ステップと、右眼用画像入力部が、3次元画像表示に適用する右眼用の画像信号である右眼用画像R画像を入力する右眼用画像入力ステップと、視差情報生成部が、前記左眼用画像L画像と右眼用画像R画像から視差情報を生成する視差情報生成ステップと、仮想視点画像生成部が、前記左眼用画像L画像と、前記右眼用画像R画像と、前記視差情報を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成ステップを実行し、前記仮想視点画像生成ステップは、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成するステップである画像処理方法にある。さらに、本開示の第4側面は、画像処理装置において、多視点画像を生成させるプログラムであり、左眼用画像入力部に、3次元画像表示に適用する左眼用の画像信号である左眼用画像L画像を入力させる左眼用画像入力ステップと、右眼用画像入力部に、3次元画像表示に適用する右眼用の画像信号である右眼用画像R画像を入力させる右眼用画像入力ステップと、視差情報生成部に、前記左眼用画像L画像と右眼用画像R画像から視差情報を生成させる視差情報生成ステップと、仮想視点画像生成部に、前記左眼用画像L画像と、前記右眼用画像R画像と、前記視差情報を入力させて、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成させる仮想視点画像生成ステップを実行させ、前記仮想視点画像生成ステップは、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成させるステップであるプログラムにある。なお、本開示のプログラムは、例えば、様々なプログラムコードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。本開示の一実施例構成によれば、3次元画像としてのLR画像に基づいて多視点画像を生成する構成が実現される。具体的には、例えば、3次元画像表示に適用する左眼用画像L画像と右眼用画像R画像を入力し、左眼用画像L画像と、右眼用画像R画像とに基づいて視差情報を生成し、LR画像と視差情報を利用して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。仮想視点画像生成部は、仮想視点画像の画像品質、または融像視差量やクロストーク許容量を考慮した適切視差量、または画像の位置や被写体等の画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する。これらの処理によって、各観察位置に応じた最適な仮想視点画像、すなわち、快適な視差範囲の高品質な仮想視点画像を生成することができる。以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。1.実施例1画像品質を考慮した仮想視点位置の決定処理を実行する実施例1-1.画像処理装置の実行する処理の全体処理シーケンスについて1-2.実施例1における仮想視点位置の決定処理について2.実施例2適切視差量と画像重みに基づく仮想視点位置の決定処理を実行する実施例3.実施例3画像品質と適切視差量と画像重みに基づく仮想視点位置の決定処理を実行する実施例4.実施例4非等間隔な仮想視点位置を決定する処理例5.実施例5シフト処理を用いて仮想視点画像を生成する処理例6.画像処理装置の構成例について7.本開示の構成のまとめ[1.実施例1画像品質を考慮した仮想視点位置の決定処理を実行する実施例]まず、本開示の画像処理装置の第1実施例として、画像品質を考慮した仮想視点位置の決定処理を実行する実施例について説明する。[1-1.画像処理装置の実行する処理の全体処理シーケンスについて]図1は、本実施例の画像処理装置の実行する処理の全体処理シーケンスを説明するフローチャートである。まず、図1のフローに従って、本実施例の画像処理装置の実行する処理の全体処理シーケンスについて説明し、その後、各ステップの処理の詳細について順次説明する。画像処理装置は、ステップS101において、3次元画像表示用のオリジナルの左眼用画像L画像と右眼用画像R画像を入力して、これらの入力LR画像を利用して、視差情報を取得する。すなわち、3次元3D画像を表示するディスプレイに対して標準的な視覚位置で観察した場合に最適な3次元画像が観察される標準LR画像を利用して、視差情報を取得する。視差情報とは、標準LR画像に含まれる同一被写体の画像間のずれ左右方向の画素ずれに相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報被写体距離情報を持つデータを生成する。ステップS102では、ステップS101において取得した視差情報に基づいて、生成すべき多視点画像の仮想視点位置を決定する。標準LR画像には、大きな視差から小さな視差まで、ある範囲の視差を持つ。ステップS102では、この視差分布情報等に基づいて、生成すべき多視点画像の仮想視点位置を決定する。ステップS103では、ステップS102において決定した仮想視点位置に対応する仮想視点画像を含む多視点画像を生成する。仮想視点画像は、入力した標準LR画像を利用して生成する。最後に、ステップS104において、ステップS103で生成した仮想視点画像を利用した画像表示処理を実行する。前述したように、入力LR画像は、1つの標準的な観察位置において観察した場合に最適な3次元画像として観察できるが、観察位置がこの標準位置からずれた場合に、この標準LR画像を観察すると逆視やクロストークが発生する。しかし、本処理に従って生成した多視点画像から、観察位置に応じて選択された2つのLR画像をそれぞれ観察者の左眼と右眼に観察させることで、逆視やクロストークを抑制することが可能となる。ステップS104ではこのような画像表示を実行する。次に、図1に示すフローチャートの各ステップの処理の詳細について説明する。ステップS101:視差情報の取得まず、ステップS101における視差情報の取得処理について説明する。ステップS101では、3次元画像表示用のオリジナルの左眼用画像L画像と右眼用画像R画像を入力して、これらの入力LR画像を利用して、視差情報を取得する。前述したように、視差情報とは、標準LR画像に含まれる同一被写体の画像間のずれ左右方向の画素ずれに相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報被写体距離情報を持つデータを生成する。この視差情報の取得は、例えば、以下のような既存の手法によって実行される。aブロックマッチングベースの視差情報取得処理bDPダイナミックプログラミングマッチングベースの視差情報取得処理cセグメンテーションベースの視差情報取得処理d学習ベースの視差情報取得処理e上記各手法の組み合わせによる視差情報取得処理例えば、上記a~eのいずれかの手法で視差情報を取得する。ブロックマッチングベースの視差情報取得処理について簡単に説明する。入力したオリジナルの左眼用画像L画像と右眼用画像R画像について、例えばL画像の画素領域ブロックを選択し、その選択ブロックと類似するブロックをR画像中から検出する。すなわち、同一被写体の撮影領域であると判断されるブロックマッチングブロックをLR画像から選択する。さらに、LR画像間におけるマッチングブロックの位置ずれ水平方向の画素数等を測定する。ブロックの位置ずれは、そのブロックに撮影されている被写体の距離に応じて変動する。すなわち、ブロックの位置ずれが被写体距離に対応し、この位置ずれ情報を視差情報として取得する。なお、この視差情報の表現形式として例えばデプスマップ距離画像がある。デプスマップは、例えばL画像、R画像の各画素単位の視差被写体距離を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近いカメラに近い被写体、低輝度領域は、遠いカメラから遠い被写体を示す。すなわち被写体距離が輝度によって示された画像である。ステップS101では、例えば視差情報として、このようなデプスマップを生成する。ステップS102:仮想視点位置の決定ステップS102の仮想視点位置の決定処理については、後段で詳細に説明する。ステップS103:仮想視点画像の生成次に、ステップS103における仮想視点画像の生成処理について説明する。ステップS103では、ステップS102において決定した仮想視点位置から観察した画像に相当する画像、すなわち仮想視点画像を生成する。なお、ステップS102では、例えば予め設定した数例えば10の仮想視点を決定し、ステップS103では、これらの各仮想視点に対応する仮想視点画像を生成する。仮想視点画像は、入力した標準LR画像を利用して生成する。すなわち、3次元画像表示用のオリジナルの左眼用画像L画像と右眼用画像R画像を利用して生成する。具体的な仮想視点画像の生成処理例について、図2を参照して説明する。図2には、画像処理装置に入力するオリジナルの左眼用画像L画像101と右眼用画像R画像102、さらに、これらのLR画像に基づいて生成する仮想視点画像103を示している。左眼用画像L画像101は標準位置における左眼視点位置から観察した画像であり、右眼用画像R画像102は標準位置における右眼視点位置から観察した画像である。左眼用画像L画像101の視点位置を0.0、右眼用画像R画像102の視点位置を1.0とする。図2は、例えばこの視点位置0.0~1.0の間の視点位置=0.3からの観察画像を仮想視点画像103として生成する場合の処理例を示している。左眼用画像L画像101と右眼用画像R画像102にはそれぞれ異なる位置に同一被写体リンゴが撮影されている。L画像と、R画像において、この同一被写体の位置は、視点位置が異なるために、異なる位置となっている。視点位置=0.0と視点位置1.0の間の視点位置=0.3の仮想視点画像103を生成する場合、この被写体リンゴの位置を線型補間によって設定する。図2に示す直線L1に沿って被写体位置を変更することによって、各仮想視点における仮想視点画像の被写体位置を決定して仮想視点画像を生成することができる。このように入力LR画像に基づく線形補間処理によって各仮想視点位置の仮想視点画像を生成する。なお、仮想視点画像を生成する場合、入力LR画像の双方を利用して2つの画像をブレンドする処理によって生成することができる。あるいは、L画像のみ、あるいはR画像のみを利用して仮想視点位置に応じて被写体位置をずらす処理によって、1つの画像のみを利用して生成することもできる。あるいは、L画像側に近い仮想視点位置ではL画像のみを利用して仮想視点画像を生成し、R画像に近い位置ではR画像のみを利用して仮想視点画像を生成するといった処理を行ってもよい。S104:画像表示処理次に、ステップS104の処理、すなわちステップS103において生成した仮想視点画像を利用した画像表示処理の詳細について図3を参照して説明する。本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼3D表示装置における表示画像である。裸眼3D表示装置は、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア視差バリアを備え、視聴位置によって左眼と右眼に入る画像を制御している。すなわち、左眼用画像と右眼用画像を生成して左眼用画像は左眼でのみ観察させ、右眼用画像は右眼でのみ観察させる構成としている。このような技術を用いることで、左眼と右眼に入る画像が混ざるクロストークを抑制し、メガネを装着しなくても立体視が可能となる。ステップS103における仮想視点画像の生成によって、入力LR画像を含めた複数例えばN個の視点からなる多視点画像が生成される。これらN個の画像が裸眼3D表示装置に表示され、観察者の観察位置に応じて、異なる組み合わせの視点画像をそれぞれ観察者の左眼と右眼に知覚させることで、観察位置に応じた最適な3D画像表示を実行させる。図3は、入力LR画像を含めた多視点画像の数N=4として、第1視点~第4視点画像を利用した表示処理例を説明している。図3a多視点画像が、入力LR画像を含めた多視点画像を示している。まず、この4つの視点画像をインターリーブした画像を生成する。すなわち、図3bインターリーブ画像である。例えば、第1視点画像~第4視点画像を水平方向に順番に並べて、インターリーブ画像を生成する。このインターリーブ画像に対して、観察方向に応じたバリアを設定し、ある方向から観察した場合に、特定の視点画像のみが観察される設定とする。図3c観察画像例は、ある観察位置において、観察者の左眼あるいは右眼のいずれかにおいて観察される画像の例を示している。この例では、第2視点画像が観察されるようなバリア設定となっている。3次元画像として知覚させるためには、観察者の左眼と右眼に異なる視点位置からの観察画像が知覚されることが必要である。具体的には、例えば図4に示すように、c1左眼用視点画像として第2視点画像、c2右眼用視点画像として第4視点画像、このような設定である。このように観察者の観察位置に応じてバリアと観察画像が異なる設定となるような表示処理を行うのがバリア方式を用いた裸眼3D表示装置である。レンチキュラー方式においても観察位置に応じて、それざれ観察者の左眼と右眼に異なる視点画像のペアが観察される。ステップS104における画像表示処理は、このように観察者の観察位置に応じた異なる視点画像のペアを観察させるような3D画像表示処理を実行する。[1-2.実施例1における仮想視点位置の決定処理について]次に、図1に示すフローチャートにおけるステップS102において実行する仮想視点位置の決定処理の詳細について説明する。図5は、図1に示すフローチャートにおけるステップS102において実行する仮想視点位置の決定処理の詳細シーケンスを説明するフローチャートである。まず、このフローチャートに従って仮想視点位置の決定処理の一連の処理について説明する。まず、ステップS121において、仮想視点画像の品質を推定する。具体的には、画像品質評価値Qを算出する。次に、ステップS122において、ステップS121で取得した仮想視点画像の画像品質画像品質評価値Qに応じて仮想視点間隔Gを決定する。最後に、ステップS123において、ステップS122で決定した仮想視点間隔Gに応じて仮想視点位置を決定する。以下、これらの各処理の詳細について図面を参照して説明する。S121:画像品質の推定処理まず、ステップS121において実行する仮想視点画像の品質画像品質評価値Qの算出処理について図6他を参照して説明する。仮想視点画像は、先に図2を参照して説明したように、入力LR画像を利用した線形補間処理等によって実行される。すなわち、利用できる画像は入力した左眼用画像L画像と、右眼用画像R画像の2つの画像のみである。このような設定で、仮想視点画像を生成する場合、生成する仮想視点画像の画像品質は、以下の傾向を持つ。a視差検出に失敗した場合や、視差検出の精度が低い場合は、生成される仮想視点映像の品質は低くなる。b複雑な画像やオクルージョン発生が多い画像の場合は、生成される仮想視点映像の品質は低くなる。図6は、先に説明した図2と同様、画像処理装置に入力するオリジナルの左眼用画像L画像121と右眼用画像R画像122、さらに、これらのLR画像に基づいて生成する仮想視点画像123を示している。左眼用画像L画像121の視点位置を0.0、右眼用画像R画像122の視点位置を1.0とする。図6は、例えばこの視点位置0.0~1.0の間の視点位置=0.3からの観察画像を仮想視点画像123として生成する場合の処理例を示している。図6aは複雑でない画像に対する処理例、図6bは複雑な画像に対する処理例、を示している。一般的に画像の複雑さが増加すると仮想視点画像の品質は低下する。仮想視点画像の品質の推定方法としては、例えば以下のような手法を適用する。A視差情報の信頼度に応じた仮想視点画像品質の推定処理B入力画像に基づいて生成した仮想視点画像と入力画像との比較結果に基づく仮想視点画像品質の推定処理C実際に用いる仮想視点画像を生成し、生成した画像に基づく品質推定処理例えば上記のA~Cのいずれかの処理、または、上記処理A~Cの組み合わせによって仮想視点画像の品質評価値Qを算出する。これらの処理の具体例について説明する。A視差情報の信頼度に応じた仮想視点画像品質の推定処理まず、視差情報の信頼度に応じた仮想視点画像品質の推定処理について説明する。この処理は、図1のフローに示すステップS101で取得した視差情報例えばデプスマップの信頼度を計算し、この視差情報信頼度を画像品質と定義する処理である。前述したように、視差情報は、入力LR画像に基づいて生成され、例えばブロックマッチング等の処理によって生成されるデータである。この処理においてエラーが発生する場合があり、この視差情報が間違っている場合には、生成される仮想視点画像の品質は低下する。このように、仮想視点画像の画像品質は、視差情報の精度に密接に関連する。したがって視差情報の精度を算出しこれを仮想視点画像の画像品質と定義することができる。具体的な計算手法の一例について、図7を参照して説明する。図7には、入力LR画像から取得した視差値の2次微分を積分して、この積分値を視差情報の信頼度と定義し、積分値が小さいほど、視差情報の信頼度が高いと判定する処理例を示している。入力LR画像から求められる視差は、被写体距離に応じた分布を示すが、例えばある距離の被写体が存在している場合、この1つの被写体に対応する視差の値は、視差情報が正しく算出されている場合は一定となる。しかし正しく算出されていない場合は、様々な値、すなわち視差値に暴れが発生する。具体的には、視差が正しく求まっている場合は,図7Aに示すように、ノイズなどの影響が少なく、視差値が滑らかになる傾向があり、視差値の2次微分の積分値が小さくなる。このような場合、視差情報信頼度が高いと判定し、この結果として、仮想視点画像の画像品質も高い=仮想視点画像の品質評価値Qは高いと判定する。一方、視差が正しく求まっていない場合は,図7Bに示すように、ノイズなどの影響等により、視差値が様々な値に分散して暴れる傾向があり、視差値の2次微分の積分値が大きくなる。このような場合、視差情報信頼度が低いと判定し、この結果として、仮想視点画像の画像品質も低い=仮想視点画像の品質評価値Qは低いと判定する。なお、視差情報の信頼度判定処理としてはこのような処理に限らず、その他の方法、例えば、視差情報からなる距離画像デプスマップと原画像との相関を算出してその相関値を信頼度として算出する手法などがあり、これらの手法を適用してもよい。B入力画像に基づいて生成した仮想視点画像と入力画像との比較結果に基づく仮想視点画像品質の推定処理次に、力画像に基づいて生成した仮想視点画像と入力画像との比較結果に基づく仮想視点画像品質の推定処理の具体例について、図8を参照して説明する。Bの処理は、例えば、視点位置=0.0の入力左眼画像L画像を利用して、視点位置=1.0のR画像に対応する仮想視点画像Rを作成し、作成した仮想視点画像Rと、入力画像である入力右眼画像R画像を比較して、その差分に応じて、仮想視点画像の品質を決定する処理である。すなわち、差分が大きい場合、仮想視点画像の品質が低く、差分が小さい場合は、仮想視点画像の品質が高いと判定する。なお、同様に、視点位置=1.0の入力右眼画像R画像を利用して、視点位置=0.0のL画像に対応する仮想視点画像Lを作成し、作成した仮想視点画像Lと、入力画像である入力左眼画像L画像を比較して、その差分に応じて、仮想視点画像の品質を決定する。図8には、以下の処理例を示している。ステップ1:視点位置=0.0の入力左眼画像L画像と、視差情報デプスマップを利用して、視点位置=1.0のR画像に対応する仮想視点画像Rを作成する処理。ステップ2:作成した仮想視点画像Rと、入力画像である入力右眼画像R画像を比較する処理。このステップ2の比較処理は、例えば、2つの画像の差分総和を算出し、差分が小さいほど、仮想視点画像Rは正しい画像であり、信頼度が高く=仮想視点画像の品質評価値Qは高い、差分が大きいほど、仮想視点画像Rは誤った画像であり、信頼度が低い=仮想視点画像の品質評価値Qは低いと判定する。このような画像比較に応じて、仮想視点画像の品質評価値Qを算出することができる。ステップS122:仮想視点間隔の決定処理次に、ステップS122の処理、すなわち、ステップS121で取得した仮想視点画像の画像品質画像品質評価値Qに応じて仮想視点間隔Gを決定する処理の具体例について説明する。この処理では、以下のパラメータを適用して、仮想視点間隔Gを決定する。Q:仮想視点画像品質評価値ステップS121において算出された値Q:仮想視点間隔計算パラメータユーザ入力これらのパラメータを適用して、仮想視点間隔Gを決定する。これらのパラメータQ,Qに基づいて、仮想視点間隔Gは、以下の式によって算出される。G=Q/Qなお、N:仮想視点の総数Qmax:画像の品質評価値の最大値、とし、Q=QmaxNとすると、仮想視点画像品質評価値Qが最大値Qmaxである場合、G=Q/Q=1/Nとなり、例えば入力LR画像の視点位置を、L画像視点位置=0.0、R画像視点位置=1.0、とした場合、各仮想視点位置は、視点位置0.0~1.0の間をN等分した位置となる。なお、仮想視点の総数Nは、例えば表示装置ディスプレイに応じて予め設定された値、あるいはユーザ入力値を適用する。ステップS123:仮想視点位置の決定処理次に、ステップS123の処理、すなわち、ステップS122で決定した仮想視点間隔Gに応じて仮想視点位置を決定する処理の具体例について説明する。まず、仮想視点位置の決定に適用するパラメータについて説明する。仮想視点位置の決定に適用するパラメータには以下のパラメータがある。N:仮想視点の総数Pi:i番目の仮想視点位置[i=0,1,2,N-2,N-1]G:仮想視点間隔Nfix:基準位置として設定する仮想視点位置=基準仮想視点位置の番号Pfix:基準位置として設定する仮想視点位置=基準仮想視点位置なお、上記の各パラメータの関係式として以下の関係式が成立する。Pi=Pfix1-Nfix×G上記パラメータ中、仮想視点総数Nは、表示装置ディスプレイに応じて予め設定された値、あるいはユーザ入力値を適用する。仮想視点位置Piは、このステップS123の処理によって決定される仮想視点位置情報である。仮想視点間隔Gは、前述のステップS122の処理において決定した値である。基準仮想視点位置Pfixとその番号Nfixは、任意に設定することが可能な値であり、例えばユーザ入力値である。なお、基準仮想視点位置番号Nfixは、例えば、複数の仮想視点位置の左端の仮想視点位置番号を0として、右方向に、1,2,3として設定する。以下、仮想視点総数N=9とした設定において、基準仮想視点位置Pfixとその番号Nfixを様々な設定とした場合の仮想視点位置の設定例について図9~図13を参照して説明する。仮想視点位置決定処理例1図9を参照して仮想視点位置決定処理例1について説明する。この処理例1は、仮想視点総数:N=9基準仮想視点位置番号:Nfix=8基準仮想視点位置:Pfix=1.0入力右眼画像R画像視点位置仮想視点間隔:G=4/32,3/32,1.32.5/32上記の設定に従った仮想視点位置の決定処理例である。図9には、以下の4パターンの仮想視点位置決定処理例を示している。1aN=9,Nfix=8,Pfix=1.0,G=4/321bN=9,Nfix=8,Pfix=1.0,G=3/321cN=9,Nfix=8,Pfix=1.0,G=1/321dN=9,Nfix=8,Pfix=1.0,G=5/321a~4aに示す9本の太線が仮想視点位置であり、左端の仮想視点位置P0から右端の仮想視点位置P8まで、N=9個の仮想視点位置が、それぞれ間隔G[1aG=4/32,1bG=3/32,1cG=1/32.1dG=5/32]の等間隔で設定した例を示している。1aは、N=9,Nfix=8,Pfix=1.0,G=4/32の例である。まず、基準仮想視点位置:Pfix=1.0入力右眼画像R画像視点位置、基準仮想視点位置番号:Nfix=8、これらの設定条件に従って、基準仮想視点位置:Pfix=1.0に、基準仮想視点位置番号:Nfix=8の仮想視点P8を設定する。次に、仮想視点P8を設定した基準位置から、仮想視点間隔:G=4/32ずつ離間させて、残りの仮想視点:P0~P7を設定する。この処理によって、1aに示す9個の仮想視点位置P0~P8が設定される。1bは、N=9,Nfix=8,Pfix=1.0,G=3/32の例である。まず、基準仮想視点位置:Pfix=1.0入力右眼画像R画像視点位置、基準仮想視点位置番号:Nfix=8、これらの設定条件に従って、基準仮想視点位置:Pfix=1.0に、基準仮想視点位置番号:Nfix=8の仮想視点P8を設定する。次に、仮想視点P8を設定した基準位置から、仮想視点間隔:G=3/32ずつ離間させて、残りの仮想視点:P0~P7を設定する。この処理によって、1bに示す9個の仮想視点位置P0~P8が設定される。1cは、N=9,Nfix=8,Pfix=1.0,G=1/32の例である。まず、基準仮想視点位置:Pfix=1.0入力右眼画像R画像視点位置、基準仮想視点位置番号:Nfix=8、これらの設定条件に従って、基準仮想視点位置:Pfix=1.0に、基準仮想視点位置番号:Nfix=8の仮想視点P8を設定する。次に、仮想視点P8を設定した基準位置から、仮想視点間隔:G=1/32ずつ離間させて、残りの仮想視点:P0~P7を設定する。この処理によって、1cに示す9個の仮想視点位置P0~P8が設定される。1dは、N=9,Nfix=8,Pfix=1.0,G=5/32の例である。まず、基準仮想視点位置:Pfix=1.0入力右眼画像R画像視点位置、基準仮想視点位置番号:Nfix=8、これらの設定条件に従って、基準仮想視点位置:Pfix=1.0に、基準仮想視点位置番号:Nfix=8の仮想視点P8を設定する。次に、仮想視点P8を設定した基準位置から、仮想視点間隔:G=5/32ずつ離間させて、残りの仮想視点:P0~P7を設定する。この処理によって、1dに示す9個の仮想視点位置P0~P8が設定される。仮想視点位置決定処理例2次に図10を参照して仮想視点位置決定処理例2について説明する。この処理例2は、仮想視点総数:N=9基準仮想視点位置番号:Nfix=0基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置仮想視点間隔:G=4/32,3/32,1.32.5/32上記の設定に従った仮想視点位置の決定処理例である。図10には、以下の4パターンの仮想視点位置決定処理例を示している。2aN=9,Nfix=0,Pfix=0.0,G=4/322bN=9,Nfix=0,Pfix=0.0,G=3/322cN=9,Nfix=0,Pfix=0.0,G=1/322dN=9,Nfix=0,Pfix=0.0,G=5/322a~2aに示す9本の太線が仮想視点位置であり、左端の仮想視点位置P0から右端の仮想視点位置P8まで、N=9個の仮想視点位置が、それぞれ間隔G[2aG=4/32,2bG=3/32,2cG=1/32.2dG=5/32]の等間隔で設定した例を示している。2aは、N=9,Nfix=0,Pfix=0.0,G=4/32の例である。まず、基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置、基準仮想視点位置番号:Nfix=0、これらの設定条件に従って、基準仮想視点位置:Pfix=0.0に、基準仮想視点位置番号:Nfix=0の仮想視点P0を設定する。次に、仮想視点P0を設定した基準位置から、仮想視点間隔:G=4/32ずつ離間させて、残りの仮想視点:P1~P8を設定する。この処理によって、2aに示す9個の仮想視点位置P0~P8が設定される。2bは、N=9,Nfix=0,Pfix=0.0,G=3/32の例である。まず、基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置、基準仮想視点位置番号:Nfix=0、これらの設定条件に従って、基準仮想視点位置:Pfix=0.0に、基準仮想視点位置番号:Nfix=0の仮想視点P0を設定する。次に、仮想視点P0を設定した基準位置から、仮想視点間隔:G=3/32ずつ離間させて、残りの仮想視点:P1~P8を設定する。この処理によって、2bに示す9個の仮想視点位置P0~P8が設定される。2cは、N=9,Nfix=0,Pfix=0.0,G=1/32の例である。まず、基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置、基準仮想視点位置番号:Nfix=0、これらの設定条件に従って、基準仮想視点位置:Pfix=0.0に、基準仮想視点位置番号:Nfix=0の仮想視点P0を設定する。次に、仮想視点P0を設定した基準位置から、仮想視点間隔:G=1/32ずつ離間させて、残りの仮想視点:P1~P8を設定する。この処理によって、2cに示す9個の仮想視点位置P0~P8が設定される。2dは、N=9,Nfix=0,Pfix=0.0,G=5/32の例である。まず、基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置、基準仮想視点位置番号:Nfix=0、これらの設定条件に従って、基準仮想視点位置:Pfix=0.0に、基準仮想視点位置番号:Nfix=0の仮想視点P0を設定する。次に、仮想視点P0を設定した基準位置から、仮想視点間隔:G=5/32ずつ離間させて、残りの仮想視点:P1~P8を設定する。この処理によって、2dに示す9個の仮想視点位置P0~P8が設定される。仮想視点位置決定処理例3次に図11を参照して仮想視点位置決定処理例3について説明する。この処理例3は、仮想視点総数:N=9基準仮想視点位置番号:Nfix=4基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置仮想視点間隔:G=4/32,3/32,1.32.5/32上記の設定に従った仮想視点位置の決定処理例である。図11には、以下の4パターンの仮想視点位置決定処理例を示している。3aN=9,Nfix=4,Pfix=0.0,G=4/323bN=9,Nfix=4,Pfix=0.0,G=3/323cN=9,Nfix=4,Pfix=0.0,G=1/323dN=9,Nfix=4,Pfix=0.0,G=5/323a~3aに示す9本の太線が仮想視点位置であり、左端の仮想視点位置P0から右端の仮想視点位置P8まで、N=9個の仮想視点位置が、それぞれ間隔G[3aG=4/32,3bG=3/32,3cG=1/32.3dG=5/32]の等間隔で設定した例を示している。3aは、N=9,Nfix=4,Pfix=0.0,G=4/32の例である。まず、基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置、基準仮想視点位置番号:Nfix=4、これらの設定条件に従って、基準仮想視点位置:Pfix=0.0に、基準仮想視点位置番号:Nfix=4の仮想視点P4を設定する。次に、仮想視点P4を設定した基準位置から、仮想視点間隔:G=4/32ずつ離間させて、残りの仮想視点:P0~P3と、P5~P8を設定する。この処理によって、3aに示す9個の仮想視点位置P0~P8が設定される。3bは、N=9,Nfix=4,Pfix=0.0,G=3/32の例である。まず、基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置、基準仮想視点位置番号:Nfix=4、これらの設定条件に従って、基準仮想視点位置:Pfix=0.0に、基準仮想視点位置番号:Nfix=4の仮想視点P4を設定する。次に、仮想視点P4を設定した基準位置から、仮想視点間隔:G=3/32ずつ離間させて、残りの仮想視点:P0~P3と、P5~P8を設定する。この処理によって、3bに示す9個の仮想視点位置P0~P8が設定される。3cは、N=9,Nfix=4,Pfix=0.0,G=1/32の例である。まず、基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置、基準仮想視点位置番号:Nfix=4、これらの設定条件に従って、基準仮想視点位置:Pfix=0.0に、基準仮想視点位置番号:Nfix=4の仮想視点P4を設定する。次に、仮想視点P4を設定した基準位置から、仮想視点間隔:G=1/32ずつ離間させて、残りの仮想視点:P0~P3と、P5~P8を設定する。この処理によって、3cに示す9個の仮想視点位置P0~P8が設定される。3dは、N=9,Nfix=4,Pfix=0.0,G=5/32の例である。まず、基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置、基準仮想視点位置番号:Nfix=4、これらの設定条件に従って、基準仮想視点位置:Pfix=0.0に、基準仮想視点位置番号:Nfix=4の仮想視点P4を設定する。次に、仮想視点P4を設定した基準位置から、仮想視点間隔:G=5/32ずつ離間させて、残りの仮想視点:P0~P3と、P5~P8を設定する。この処理によって、3dに示す9個の仮想視点位置P0~P8が設定される。仮想視点位置決定処理例4次に図12を参照して仮想視点位置決定処理例4について説明する。この処理例4は、仮想視点総数:N=9基準仮想視点位置番号:Nfix=2基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置仮想視点間隔:G=4/32,3/32,1.32.5/32上記の設定に従った仮想視点位置の決定処理例である。図12には、以下の4パターンの仮想視点位置決定処理例を示している。4aN=9,Nfix=2,Pfix=0.0,G=4/324bN=9,Nfix=2,Pfix=0.0,G=3/324cN=9,Nfix=2,Pfix=0.0,G=1/324dN=9,Nfix=2,Pfix=0.0,G=5/324a~4dに示す9本の太線が仮想視点位置であり、左端の仮想視点位置P0から右端の仮想視点位置P8まで、N=9個の仮想視点位置が、それぞれ間隔G[4aG=4/32,4bG=3/32,4cG=1/32.4dG=5/32]の等間隔で設定した例を示している。4aは、N=9,Nfix=2,Pfix=0.0,G=4/32の例である。まず、基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置、基準仮想視点位置番号:Nfix=2、これらの設定条件に従って、基準仮想視点位置:Pfix=0.0に、基準仮想視点位置番号:Nfix=2の仮想視点P2を設定する。次に、仮想視点P2を設定した基準位置から、仮想視点間隔:G=4/32ずつ離間させて、残りの仮想視点:P0~P1と、P3~P8を設定する。この処理によって、4aに示す9個の仮想視点位置P0~P8が設定される。4bは、N=9,Nfix=2,Pfix=0.0,G=3/32の例である。まず、基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置、基準仮想視点位置番号:Nfix=2、これらの設定条件に従って、基準仮想視点位置:Pfix=0.0に、基準仮想視点位置番号:Nfix=2の仮想視点P2を設定する。次に、仮想視点P2を設定した基準位置から、仮想視点間隔:G=3/32ずつ離間させて、残りの仮想視点:P0~P1と、P3~P8を設定する。この処理によって、4bに示す9個の仮想視点位置P0~P8が設定される。4cは、N=9,Nfix=2,Pfix=0.0,G=1/32の例である。まず、基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置、基準仮想視点位置番号:Nfix=2、これらの設定条件に従って、基準仮想視点位置:Pfix=0.0に、基準仮想視点位置番号:Nfix=2の仮想視点P2を設定する。次に、仮想視点P2を設定した基準位置から、仮想視点間隔:G=1/32ずつ離間させて、残りの仮想視点:P0~P1と、P3~P8を設定する。この処理によって、4cに示す9個の仮想視点位置P0~P8が設定される。4dは、N=9,Nfix=2,Pfix=0.0,G=5/32の例である。まず、基準仮想視点位置:Pfix=0.0入力左眼画像L画像視点位置、基準仮想視点位置番号:Nfix=2、これらの設定条件に従って、基準仮想視点位置:Pfix=0.0に、基準仮想視点位置番号:Nfix=2の仮想視点P2を設定する。次に、仮想視点P2を設定した基準位置から、仮想視点間隔:G=5/32ずつ離間させて、残りの仮想視点:P0~P1と、P3~P8を設定する。この処理によって、4dに示す9個の仮想視点位置P0~P8が設定される。仮想視点位置決定処理例5次に図13を参照して仮想視点位置決定処理例5について説明する。この処理例5は、仮想視点総数:N=9基準仮想視点位置番号:Nfix=4基準仮想視点位置:Pfix=0.5入力左眼画像L画像と入力右眼画像R画像の中間の視点位置仮想視点間隔:G=4/32,3/32,1.32.5/32上記の設定に従った仮想視点位置の決定処理例である。図13には、以下の4パターンの仮想視点位置決定処理例を示している。5aN=9,Nfix=4,Pfix=0.5,G=4/325bN=9,Nfix=4,Pfix=0.5,G=3/325cN=9,Nfix=4,Pfix=0.5,G=1/325dN=9,Nfix=4,Pfix=0.5,G=5/325a~5dに示す9本の太線が仮想視点位置であり、左端の仮想視点位置P0から右端の仮想視点位置P8まで、N=9個の仮想視点位置が、それぞれ間隔G[5aG=4/32,5bG=3/32,5cG=1/32.5dG=5/32]の等間隔で設定した例を示している。5aは、N=9,Nfix=4,Pfix=0.5,G=4/32の例である。まず、基準仮想視点位置:Pfix=0.5入力左眼画像L画像と入力右眼画像R画像の中間の視点位置、基準仮想視点位置番号:Nfix=4、これらの設定条件に従って、基準仮想視点位置:Pfix=0.5に、基準仮想視点位置番号:Nfix=4の仮想視点P4を設定する。次に、仮想視点P4を設定した基準位置から、仮想視点間隔:G=4/32ずつ離間させて、残りの仮想視点:P0~P3と、P5~P8を設定する。この処理によって、5aに示す9個の仮想視点位置P0~P8が設定される。5bは、N=9,Nfix=4,Pfix=0.5,G=3/32の例である。まず、基準仮想視点位置:Pfix=0.5入力左眼画像L画像と入力右眼画像R画像の中間の視点位置、基準仮想視点位置番号:Nfix=4、これらの設定条件に従って、基準仮想視点位置:Pfix=0.5に、基準仮想視点位置番号:Nfix=4の仮想視点P4を設定する。次に、仮想視点P4を設定した基準位置から、仮想視点間隔:G=3/32ずつ離間させて、残りの仮想視点:P0~P3と、P5~P8を設定する。この処理によって、5bに示す9個の仮想視点位置P0~P8が設定される。5cは、N=9,Nfix=4,Pfix=0.5,G=1/32の例である。まず、基準仮想視点位置:Pfix=0.5入力左眼画像L画像と入力右眼画像R画像の中間の視点位置、基準仮想視点位置番号:Nfix=4、これらの設定条件に従って、基準仮想視点位置:Pfix=0.5に、基準仮想視点位置番号:Nfix=4の仮想視点P4を設定する。次に、仮想視点P4を設定した基準位置から、仮想視点間隔:G=1/32ずつ離間させて、残りの仮想視点:P0~P3と、P5~P8を設定する。この処理によって、5cに示す9個の仮想視点位置P0~P8が設定される。5dは、N=9,Nfix=4,Pfix=0.5,G=5/32の例である。まず、基準仮想視点位置:Pfix=0.5入力左眼画像L画像と入力右眼画像R画像の中間の視点位置、基準仮想視点位置番号:Nfix=4、これらの設定条件に従って、基準仮想視点位置:Pfix=0.5に、基準仮想視点位置番号:Nfix=4の仮想視点P4を設定する。次に、仮想視点P4を設定した基準位置から、仮想視点間隔:G=5/32ずつ離間させて、残りの仮想視点:P0~P3と、P5~P8を設定する。この処理によって、5dに示す9個の仮想視点位置P0~P8が設定される。[2.実施例2適切視差量と画像重みに基づく仮想視点位置の決定処理を実行する実施例]次に、本開示の画像処理装置の実行する処理の第2実施例として、適切視差量と画像重みを考慮した仮想視点位置の決定処理を実行する実施例について説明する。なお、この実施例2においても、全体処理シーケンスは、先に実施例1で説明した図1に示すフローに従って実行される。図1に示すフローチャートにおけるステップS102において実行する仮想視点位置の決定処理が前述の実施例1とは異なる処理となる。図14は、本実施例2における仮想視点位置決定処理の詳細シーケンスを説明するフローチャートである。まず、図14のフローに従って、本実施例の仮想視点位置決定処理シーケンスについて説明し、その後、各ステップの処理の詳細について順次説明する。画像処理装置は、まず、ステップ141において、適切視差量を決定する。具体的な処理については後述するが、例えば融像視差量、クロストーク許容量等を考慮して適切視差量を決定する。次に、ステップS142において、入力した左眼用画像L画像と右眼用画像R画像から算出される視差情報と重み情報とに基づいて重み付き視差分布を算出する。重み情報とは、画像に含まれる画像領域単位の画像重みを示す情報であり、例えば観察者の注目しやすい画像領域、具体的には画像の中央部分や人の顔画像領域等に大きな重みを設定した情報である。詳細については後述する。これらの情報に基づいて、重み付き視差分布情報を算出する。次に、ステップS143において、ステップS142で算出した重み付き視差分布情報を適用して、視差最大値を算出する。これは、仮想視点画像に設定する視差の最大値に対応する値である。算出処理の詳細については後述する。次に、ステップS144において、ステップS143で算出した視差最大値と、ステップS141で決定した適切視差量を用いて、仮想視点間隔Gを算出する。最後に、ステップS145において、ステップS144で求めた仮想視点間隔Gを適用して、仮想視点位置を決定する。以下、これらの各処理の詳細について図面を参照して説明する。S141:適切視差量の決定処理まず、ステップS141において実行する適切視差量の決定処理の一例について説明する。適切視差量は、例えば融像視差量やクロストーク許容量を考慮して決定する。融像視差量は、視差の設定されたLR画像を観察した場合に立体画像として観察可能な限界の視差量に対応し、適切視差量は、この融像視差量の例えば半分の視差量として設定できる。融像視差量は、ディスプレイのサイズや観察者とディスプレイ間の距離、両眼の間隔等によって算出される値である。一例として例えば表示装置に固有の値として設定し、この設定された融像視差量を利用して、この半分の値を適切視差量として決定することができる。例えば、観察者から表示装置ディスプレイ間の視距離を標準視距離=ディスプレイ高さの3倍とし、ディスプレイの横方向の画サイズを1920ピクセル画素とし、観察者の両眼間隔を65mm大人の両眼間隔の平均とした場合、融像視差量=114ピクセル画素、適切視差量=57ピクセル画素、として算出することができる。また、適切視差量は、例えばクロストーク許容量を考慮して決定することもできる。クロストークは、左眼用画像が右眼に観察され、右眼用画像が左眼に観察されるといったエラーである。あるクロストーク許容量を設定し、クロストークがクロストーク許容量以下になるような視差量を適切視差量として設定する。このように、適切視差量は、融像視差量、クロストーク許容量のいずれか、あるいはこれら両者を考慮して決定する。S142:重み付き視差分布の算出次に、ステップS142において実行する重み付き視差分布の算出処理の詳細について説明する。すなわち、入力した左眼用画像L画像と右眼用画像R画像から算出される視差情報と重み情報とに基づいて重み付き視差分布を算出する。重み情報とは、観察者の注目しやすい画像領域、具体的には画像の中央部分や人の顔画像領域等に大きな重みを設定した情報である。重み情報を利用して重み付き視差分布を算出する以下の複数の処理例1~3について図15~図17を参照して説明する。1画像領域に応じた重みを設定した処理例中心領域に大きな重みを設定2被写体に応じた重みを設定した処理例人物領域にに大きな重みを設定3上記1,2の両処理を合成した処理例まず、図15を参照して、1画像領域に応じた重みを設定した処理例中心領域に大きな重みを設定この重み付き視差分布を算出する処理例について説明する。図15に示す入力画像151は、オリジナルの左眼用画像L画像または右眼用画像R画像である。視差情報152は、オリジナルの左眼用画像L画像と右眼用画像R画像を用いて取得する視差情報である。図15Aに示す視差ヒストグラムは、視差情報152の視差情報のヒストグラムであり、横軸に視差の値、縦軸に頻度を設定したヒストグラムである。図15Aのヒストグラムは簡略化して示してあるが、画像に含まれる被写体として、木、人、背景があり、これらの視差被写体距離に相当に対応するデータが反映されたヒストグラムとなっている。カメラに最も近い被写体が木、その次に人、その次に背景、このような視差被写体距離が設定されていることが分かる。本実施例では、この視差情報に対して、所定の重み情報を利用した補正を行う。図15に示す例は、画像領域に応じた重み、具体的には画像の中心領域を高い重みとして設定した重み情報に基づく補正を実行して図15Bに示す分布を持つ重み付き視差分布視差ヒストグラムを生成する。画像領域応じた重みを設定した重み情報としては、例えば図15に示す重み情報A153が利用される。重み情報A153は、図に示すように、画像領域に応じた重みを輝度によって示した画像である。輝度の高い中心領域が重みが高く、輝度の低い周辺領域が重みが低いことを示している。視差情報152と、この重み情報A153を対応画素単位で乗算することで、図15Bに示す重み付き視差分布としての視差ヒストグラムを算出する。図15Bに示すように、人や木は画像の中心領域に存在するため、頻度の値がアップし、背景は周囲領域に多く存在するため、頻度の値が低下している。このように画像処理装置は、例えば画像領域に応じた重みを設定した重み付き視差情報を生成する。次に、図16を参照して、2被写体に応じた重みを設定した処理例人物領域にに大きな重みを設定この重み付き視差分布を算出する処理例について説明する。図16に示す入力画像151は、オリジナルの左眼用画像L画像または右眼用画像R画像である。視差情報152は、オリジナルの左眼用画像L画像と右眼用画像R画像を用いて取得する視差情報である。図16Aに示す視差ヒストグラムは、図15と同様の視差情報152の視差情報のヒストグラムであり、横軸に視差の値、縦軸に頻度を設定したヒストグラムである。本実施例では、この視差情報に対して被写体に応じた重み、具体的には例えば人領域を高い重みとして設定した重み情報に基づく補正を実行して図16Bに示す分布を持つ重み付き視差分布視差ヒストグラムを生成する。被写体領域応じた重みを設定した重み情報としては、例えば図16に示す重み情報B154が利用される。重み情報B154は、図に示すように、被写体領域に応じた重みを輝度によって示した画像である。本例では、被写体=人の領域の重みが高く、被写体≠人の領域の重みが低いことを示している。視差情報152と、この重み情報B154を対応画素単位で乗算することで、図16Bに示す重み付き視差分布としての視差ヒストグラムを算出する。図16Bに示すように、人の頻度の値がアップし、木、背景は頻度の値が低下している。画像処理装置は、このように被写体に応じた重みを設定した重み付き視差情報を生成する。図17は、図15を参照して説明した画像領域対応の重み情報と、被写体対応の重み情報の両者を用いた処理例である。まず、画像領域対応の重み情報からなる重み情報A153と、被写体対応の重み情報B154とを乗算して、2つの重み上方を合成した重み画像を生成した後、視差情報152との乗算対応画素の乗算を実行する。この処理によって、図17Bに示す重み付き視差分布としての視差ヒストグラムを算出する。図17Bに示すように、人の頻度の値がアップし、木、背景は頻度の値が低下している。画像処理装置は、このように被写体に応じた重みを設定した重み付き視差情報を生成する。図15~図17を参照して複数の重み付き視差分布の算出処理例について説明した。この重み付き視差分布の算出処理について説明する。視差情報、重み情報、重み付き視差分布を以下のように示す。Dx,y:視差情報Wx,y:重み情報Hd:重み付き視差分布ただし、Dx,y、Wx,yは画像の画素位置x,yにおける視差と、重みの値を示している。Hdのdは視差の値、Hdはその視差dを持つ画素数を意味する。この条件設定の下で、重み付き視差分布:Hdは、以下の算出式で求めることができる。Hd=Σx,y{Wx,yδd-Dx,y}ただし、δxは、x=0のとき1、それ以外は0を返す関数である。本実施例において、画像処理装置は、図14に示すフローチャートのステップS142において、上記式に従った算出処理により、重み付き視差分布を算出する。ステップS143:視差最大値の算出次に、ステップS143において実行する視差最大値の算出処理の詳細について説明する。この処理は、ステップS142で算出した重み付き視差分布情報を適用して、視差最大値を算出する処理であり、仮想視点画像に設定する視差の最大値を算出する処理である。視差最大値Dabsmaxの算出処理の詳細について説明する。以下のように各パラメータを定義する。Hd:重み付き視差分布ステップS142での算出値Od:視差累積分布Hdから算出S:重み付き視差分布の総和Hdから算出th:最大視差算出処理に適用するしきい値ユーザ入力値または既定値Dmax:視差最大値thから算出Dmin:視差最小値thから算出Dabsmax:視差最大値絶対値出力値なお、Od=Σi=minD~d{Hi}となり、Dmin=O-1thDmax=O-1S-thである。図18aは、視差dと重み付き視差分布Hdの関係を示すデータの一例を示した図である。図18bは、視差dと、視差累積分布Odとの関係データの中に、以下の各データの値の一例を示した図である。重み付き視差分布の総和:Sしきい値:th視差最大値:Dmax視差最小値:Dminさらに、S-th、これらのデータ例を示している。出力する視差最大値Dabsmaxは、以下の式で算出する。Dabsmax=maxabsDmax,absDminステップS143では、上記式に従って、視差最大値Dabsmaxを算出する。ステップS144:仮想視点間隔を算出次に、ステップS144において実行する仮想視点間隔Gの算出処理について説明する。すなわち、ステップS143で算出した視差最大値と、ステップS141で決定した適切視差量を用いて、仮想視点間隔Gを算出する処理である。仮想視点間隔Gの算出処理について説明する。各パラータを以下のように定義する。E:左眼に入力する仮想視点画像の番号と、右眼に入力する仮想視点画像番号の差ディスプレイ方式によって決定される値DF:融像視差量表示装置に応じた値既定値DE:隣接仮想視点間融像視差量DE=DF/EDC:隣接仮想視点間クロストーク許容量表示装置に応じた値既定値DA:適切視差量ステップS141の算出値Dabsmax:視差最大値絶対値ステップS143の算出値G:仮想視点間隔出力値なお、DE=DF/EDA=minDC,DEである。このとき、仮想視点間隔Gは以下の式によって算出する。G=Dabsmax/DAステップS144では、上記式に従って、仮想視点間隔Gを算出する。ステップS145:仮想視点位置の決定次に、ステップS145において実行する仮想視点位置の決定処理について説明する。この仮想視点位置の決定処理は、先に説明した実施例1の図5のフローのステップS123の処理と同様の処理である。具体的には、図9~図13を参照して説明した処理と同様の処理となる。ステップS144において算出した仮想視点間隔Gの他、表示装置ディスプレイに応じて決定される仮想視点総数N、例えばユーザ入力によって決定される基準仮想視点位置Pfix、基準仮想視点位置番号Nfix、これらの各値に応じて、図9~図13を参照して説明したように、様々な設定がなされる。[3.実施例3画像品質と適切視差量と画像重みに基づく仮想視点位置の決定処理を実行する実施例]次に、本開示の画像処理装置の実行する処理の第3実施例として、上述した実施例1で説明した画像品質を考慮した仮想視点位置の決定処理と、実施例2として説明した適切視差量と画像重みを考慮した仮想視点位置の決定処理、これらを併せた処理例について説明する。すなわち、仮想視点画像の画像品質、適切視差量、画像重み、これらをすべて考慮して仮想視点位置を決定する処理である。なお、この実施例3においても、全体処理シーケンスは、先に実施例1で説明した図1に示すフローに従って実行される。図1に示すフローチャートにおけるステップS102において実行する仮想視点位置の決定処理が前述の実施例1とは異なる処理となる。図19は、本実施例3における仮想視点位置決定処理の詳細シーケンスを説明するフローチャートである。図19のフローに従って、本実施例の仮想視点位置決定処理シーケンスについて説明する。図19に示すフローにおけるステップS161~S163の処理は、実施例2において説明した図14に示すフローのステップS141~S143の処理と同じ処理である。すなわち、ステップS161において、適切視差量を決定する。具体的には、例えば融像視差量、クロストーク許容量等を考慮して適切視差量を決定する。次に、ステップS162において、入力した左眼用画像L画像と右眼用画像R画像から算出される視差情報と重み情報とに基づいて重み付き視差分布を算出する。この処理は、先に図15~図17を参照して説明した処理である。次に、ステップS163において、ステップS162で算出した重み付き視差分布情報を適用して、視差最大値を算出する。これらの処理は、実施例2において説明した図14に示すフローのステップS141~S143の処理と同じ処理である。次のステップS164の処理は、実施例1において説明した図5のフローのステップS121の処理と同じ処理である。すなわち、仮想視点画像の画像品質の算出を実行する。この処理は、先に図6~図8を参照して説明した処理に対応する。次のステップS165では、ステップS161で求めた適切視差量、ステップS163で求めた視差最大値、ステップS164で求めた画像品質、これらすべてを適用して仮想視点間隔を算出する。この仮想視点間隔の算出処理について説明する。パラメータを以下のように定義する。E:左眼に入力する仮想視点画像の番号と、右眼に入力する仮想視点画像番号の差ディスプレイ方式によって決定される値DF:融像視差量表示装置に応じた値既定値DE:隣接仮想視点間融像視差量DE=DF/EDC:隣接仮想視点間クロストーク許容量表示装置に応じた値既定値DA:適切視差量ステップS161の算出値Dabsmax:視差最大値絶対値ステップS163の算出値G:仮想視点間隔出力値Q:仮想視点画像品質評価値ステップS164において算出された値Q:仮想視点間隔計算パラメータユーザ入力なお、DE=DF/EDA=minDC,DEである。このとき、仮想視点間隔Gは以下の式によって算出する。G={Dmax/DA}{Q/Q}ステップS165では、上記式に従って、仮想視点間隔Gを算出する。最後のステップS166では、ステップS165において算出した仮想視点間隔Gを適用して仮想視点位置を決定する。この仮想視点位置の決定処理は、先に説明した実施例1の図5のフローのステップS123の処理と同様の処理である。具体的には、図9~図13を参照して説明した処理と同様の処理となる。ステップS165において算出した仮想視点間隔Gの他、表示装置ディスプレイに応じて決定される仮想視点総数N、例えばユーザ入力によって決定される基準仮想視点位置Pfix、基準仮想視点位置番号Nfix、これらの各値に応じて、図9~図13を参照して説明したように、様々な設定がなされる。[4.実施例4非等間隔な仮想視点位置を決定する処理例]次に、本開示の画像処理装置の実行する処理の第4実施例として、非等間隔な仮想視点位置を決定する処理例について説明する。なお、この実施例4においても、全体処理シーケンスは、先に実施例1で説明した図1に示すフローに従って実行される。図1に示すフローチャートにおけるステップS102において実行する仮想視点位置の決定処理が前述の実施例1とは異なる処理となる。図20は、本実施例4における仮想視点位置決定処理の詳細シーケンスを説明するフローチャートである。図20のフローに従って、本実施例の仮想視点位置決定処理シーケンスについて説明する。ステップS181~S185の処理は、前述の実施例3において説明した図19に示すフローのステップS161~165の処理と同様の処理である。すなわち、ステップS185では、ステップS181で求めた適切視差量、ステップS183で求めた視差最大値、ステップS184で求めた画像品質、これらすべてを適用して仮想視点間隔を算出する。次に、ステップS186において、ステップS185で求めた仮想視点間隔Gを非線形にマッピングする。この処理の具体例具について説明する。パラメータを以下のように定義する。i:視点番号G:仮想視点間隔Gi:マッピング後の仮想視点間隔視点番号iに応じて仮想視点間隔を非線形にマッピングする関数は、例えば図21aに示すような関数であり、予め画像処理装置内のメモリに格納し、これを適用する。次に、ステップS187において、ステップS186で決定した仮想視点間隔Giを利用して仮想視点位置を決定する。この仮想視点位置の決定処理は、先に説明した実施例1の図5のフローのステップS123の処理と同様の処理である。具体的には、図9~図13を参照して説明した処理と同様の処理となる。ステップS186において算出した仮想視点間隔Giの他、表示装置ディスプレイに応じて決定される仮想視点総数N、例えばユーザ入力によって決定される基準仮想視点位置Pfix、基準仮想視点位置番号Nfix、これらの各値に応じて、様々な設定がなされる。ただし、図9~図13を参照して説明した処理では、すべての仮想視点間隔は同じであるが、本例では、例えば図21bに示すように、各仮想視点間隔は異なる設定となる。すなわち、Giによって決定された間隔に設定される。図21bに示す例は、N=9、Bfix=4、Pfix=0.0の場合の例を示している。このように、本実施例の画像処理装置の仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって第1の仮想視点位置を決定し、決定した第1の仮想視点位置に対する非線形マッピング処理によって、非等間隔の第2の仮想視点位置を決定し、決定した非等間隔の第2の仮想視点位置に対応する仮想視点画像を生成する。[5.実施例5シフト処理を用いて仮想視点画像を生成する処理例]次に、本開示の画像処理装置の第5実施例として、シフト処理を用いて仮想視点画像を生成する処理例について説明する。本実施例における画像処理装置の処理シーケンスを図22に示すフローチャートを参照して説明する。画像処理装置は、ステップS201において、3次元画像表示用のオリジナルの左眼用画像L画像と右眼用画像R画像を入力して、これらの入力LR画像を利用して、視差情報を取得する。すなわち、3次元3D画像を表示するディスプレイに対して標準的な視覚位置で観察した場合に最適な3次元画像が観察される標準LR画像を利用して、視差情報を取得する。次に、ステップS202において、適切視差量を決定する。この処理は、先に実施例2として説明した図14に示すフローチャートのステップS141の処理と同様の処理である。例えば融像視差量やクロストーク許容量を考慮して決定する。次にステップS203において、入力した左眼用画像L画像と右眼用画像R画像から算出される視差情報と重み情報とに基づいて重み付き視差分布を算出する。この処理は、先に実施例2として説明した図14に示すフローチャートのステップS142の処理と同様の処理である。重み情報とは、画像に含まれる画像領域単位の画像重みを示す情報であり、例えば観察者の注目しやすい画像領域、具体的には画像の中央部分や人の顔画像領域等に大きな重みを設定した情報である。先に図15~図17を参照して説明した処理と同様の処理によって重み付き視差分布を算出する。次にステップS204において、平行移動量シフト量の決定処理を実行する。この平行移動量は視差分布を視差が大きくなる方向、あるいは視差が小さくなる方向に移動するための視差分布の平行移動量である。この視差分布の平行移動量の算出処理について説明する。パラメータを以下のように定義する。Hd:重み付き視差分布ステップS203の取得値Od:視差累積分布Hdから算出S:視差分布総和Hdから算出Davg:視差平均値Dcenter:視差中央値Dmax:視差最大値Dmin:視差最小値Shiftなお、Od=Σi=minD~d{Hi}となり、Dmin=O-1thDmax=O-1S-thDcenter=Dmax-Dmin/2Davg=averageHdである。図23aは、視差dと重み付き視差分布Hdの関係を示すデータの一例を示した図である。図23bは、視差dと、視差累積分布Odとの関係データの中に、以下の各データの値の一例を示した図である。重み付き視差分布の総和:Sしきい値:th視差最大値:Dmax視差最小値:Dminさらに、S-th、これらのデータ例を示している。出力する平行移動量Shiftは、以下の式で算出する。Shift=-Davgまたは、Shift=-DcenterステップS204では、上記式に従って、重み付き視差分布の平行移動量Shiftを算出する。次のステップS205では、仮想視点位置の決定処理を行う。この処理の詳細シーケンスを図24のフローチャートを参照して説明する。まず、ステップS221において、ステップS204で求めた平行移動量に基づいて重み付き視差分布の補正、すなわち、平行移動を行う。具体的には、図25に示すように、a重み付き視差分布データをステップS203で求めた平行移動量に基づいて平行移動して、b補正重み付き視差分布データを生成する。この視差分布補正処理を式で示すと以下のようになる。以下のパラメータを定義する。Shift:平行移動量ステップS204で算出Hd:視差分布重み付き視差分布Hd:補正視差分布補正重み付き視差分布この時、補正重み付き視差分布[Hd]は以下の式に従って算出される。Hd=Hd-Shift次のステップS222では、ステップS203で算出した重み付き視差分布情報を適用して、視差最大値を算出する。この処理は、実施例2において説明した図14に示すフローのステップS143の処理と同じ処理である。次のステップS223の処理は、実施例1において説明した図5のフローのステップS121の処理と同じ処理である。すなわち、仮想視点画像の画像品質の算出を実行する。この処理は、先に図6~図8を参照して説明した処理に対応する。次のステップS224では、ステップS202で求めた適切視差量、ステップS222で求めた視差最大値、ステップS223で求めた画像品質、これらすべてを適用して仮想視点間隔を算出する。この処理は、先に実施例3として説明した図19に示すフローのステップS165の処理と同様の処理である。最後のステップS225では、ステップS224において算出した仮想視点間隔Gを適用して仮想視点位置を決定する。この仮想視点位置の決定処理は、先に説明した実施例1の図5のフローのステップS123の処理と同様の処理である。具体的には、図9~図13を参照して説明した処理と同様の処理となる。この図24に示すフローのステップS221~S225に従って、図22のフローのステップS205の仮想視点位置の決定処理が行われる。次に、図24のフローに示すステップS205において、仮想視点画像の生成処理を実行する。この処理は、先に実施例1として説明した図1に示すフローのステップS103の処理と同様の処理である。ステップS205では、ステップS204において決定した仮想視点位置から観察した画像に相当する画像、すなわち仮想視点画像を生成する。なお、ステップS204では、例えば予め設定した数例えば10の仮想視点を決定し、ステップS105では、これらの各仮想視点に対応する仮想視点画像を生成する。仮想視点画像は、先に図2を参照して説明したように、入力した標準LR画像を利用して生成する。すなわち、3次元画像表示用のオリジナルの左眼用画像L画像と右眼用画像R画像を利用して生成する。次に、ステップS207において、仮想視点間隔Gに応じて平行移動量を補正する。この処理について、図26を参照して説明する。パラメータを以下のように定義する。Shift:平行移動量ステップS204で決定した値Shift:補正後の平行移動量G:仮想視点間隔ステップS205ステップS224で決定したG上記のパラメータの設定の下、補正後の平行移動量Shiftは以下の式に従って算出する。-Shift=ShiftG図26には、a入力LR画像間の視差分布b隣接仮想視点間の視差分布実線c補正後の平行移動量を加えた後の視差分布これらを示している。bに示す隣接仮想視点間の視差分布は、仮想視点間隔Gに依存して変化する。すなわち、HEd=HdGであり、cに示す補正後の視差分布HEdは以下の式によって表現される。HEd=HdGShift次に、ステップS208において、仮想視点画像の平行移動画像を生成する。この処理について、図27を参照して説明する。パラメータを以下のように定義する。Shift:補正後の平行移動量ステップS207で決定した値Li,x,y:平行移動前のi番目の仮想視点画像Li,x,y:平行移動後のi番目の仮想視点画像Nfixshift:平行移動しない基準の仮想視点画像の番号ユーザ入力Shifti:i番目の仮想視点画像に加える平行移動量なお、Li,x,y、Li,x,yのx,yは画像を構成する画素位置を示し、各画像の画素値を意味する。上記パラメータに基づいて、i番目の仮想視点画像に加える平行移動量[Shifti]は、以下の式によって算出する。Shifti=Shifti-Nfixshiftさらに、平行移動後のi番目の仮想視点画像[Li,x,y]は以下の式によって算出する。Li,x,y=Li,xShifti,yなお、上記式は、画像の画素位置がx方向に移動水平シフトさせて平行移動後の仮想視点画像が生成されることを意味する。図27に示す例は、N=9Nfixshift=4Shift=1.5上記設定において、各仮想視点画像に対する平行移動シフト処理の実行例を示した図である。このように、本実施例の画像処理装置の仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、視差情報から算出される視差分布データに基づいて平行移動量を算出し、算出した平行移動量に基づいて、各仮想視点位置の仮想視点画像間の視差分布の移動処理を実行して、視差分布データの移動処理結果を反映した仮想視点画像を生成する。なお、上述した本実施例の説明において、入力LR画像から得られる視差分布に基づいて、重み付き視差分布を生成し、生成した重み付き視差分布データに対して処理を行う構成例として説明したが、重み付き視差分布を生成することなく、入力LR画像から得られる視差分布データをそのまま適用して処理を行う構成としてもよい。[6.画像処理装置の構成例について]次に、上述した実施例に従った処理を実行する画像処理装置の構成例について図28を参照して説明する。図28に示す画像処理装置300は、左眼用画像L画像入力部301、右眼用画像R画像入力部302、視差情報生成部303、重み情報生成部304、仮想視点画像生成部305、表示制御部306を有し、画像処理装置300において生成した画像が表示部310に出力される。なお、図28に示す構成では、表示部310を画像処理装置300の外部構成として示しているが、画像処理装置300内に表示部310を有する構成としてもよい。なお、図28に示す構成は、画像処理装置300の主要構成を示すものであり、画像処理装置300には、図に示す構成の他、データ処理制御を実行するCPU等のプログラム実行機能を備えた制御部、制御部において実行するプログラムや、各種パラメータを格納した記憶部、パラメータや画像データなどを入力する入力部を有する。左眼用画像L画像入力部301と、右眼用画像R画像入力部302は、予め生成された3次元3D画像表示用の左眼用画像L画像と、右眼用画像R画像を入力する。視差情報生成部303は、左眼用画像L画像と、右眼用画像R画像を入力し、これらの画像に基づいて視差情報を生成する。前述したように、視差情報とは、標準LR画像に含まれる同一被写体の画像間のずれ左右方向の画素ずれに相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報被写体距離情報を持つデータを生成する。前述したように、視差情報の取得は、例えば、以下のような既存の手法によって実行される。aブロックマッチングベースの視差情報取得処理bDPダイナミックプログラミングマッチングベースの視差情報取得処理cセグメンテーションベースの視差情報取得処理d学習ベースの視差情報取得処理e上記各手法の組み合わせによる視差情報取得処理例えば、上記a~eのいずれかの手法で視差情報を取得する。重み情報生成部304は、L画像またはR画像のいずれかを利用して、画像領域単位の画像重みを示す重み情報を生成する。例えば観察者の注目しやすい画像領域、具体的には画像の中央部分や人の顔画像領域等に大きな重みを設定した情報である。具体的には、先に図15~図17を参照して説明したように、1画像領域に応じた重みを設定した重み情報中心領域に大きな重みを設定2被写体に応じた重みを設定した重み情報人物領域にに大きな重みを設定3上記1,2の両処理を合成した重み情報例えば、このような重み情報である。仮想視点画像生成部305は、左眼用画像L画像入力部301からL画像、右眼用画像R画像入力部302からR画像、視差情報生成部303から視差情報、重み情報生成部304から重み情報、これらの各情報を入力して、仮想視点画像を生成する。仮想視点画像生成部305は、前述の実施例1~5のいずれかの手法に従って、仮想視点間隔の決定処理や、仮想視点位置の決定処理を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。具体的には、例えば以下のいずれかの処理に従った仮想視点画像の生成処理を実行する。1画像品質を考慮して決定した仮想視点位置に対応する仮想視点画像の生成処理実施例12適切視差量と画像重みに基づいて決定した仮想視点位置に対応する仮想視点画像の生成処理実施例23画像品質と適切視差量と画像重みに基づいて決定した仮想視点位置に対応する仮想視点画像の生成処理実施例34非等間隔な仮想視点位置に対応する仮想視点画像の生成処理実施例45シフト処理を用いた仮想視点画像の生成処理実施例5仮想視点画像生成部305は、これらの処理に基づいて、例えば異なるN視点の多視点画像を生成して、表示制御部306に出力する。表示制御部306は、仮想視点画像生成部305の生成した多視点画像に基づいて、表示部310に応じた表示情報を生成して表示部310に出力する。前述したように、本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼3D表示装置における表示画像である。表示部310は、裸眼3D表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア視差バリアを備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。表示制御部306は、例えば先に図3を参照して説明したように、仮想視点画像生成部305の生成したN視点の画像をインターリーブした画像を生成して表示部310に出力する。なお、表示制御部306は、表示部310の表示構成に応じた表示情報を生成する。なお、画像処理装置は、例えば撮像部を備えたカメラ等の撮像装置、PC、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。例えばカメラの場合、異なる視点からの画像としてのLR画像を撮影する撮像部を有し、撮像部から入力するLR画像を利用して多視点画像を生成する構成とする。[7.本開示の構成のまとめ]以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。なお、本明細書において開示した技術は、以下のような構成をとることができる。13次元画像表示に適用する左眼用の画像信号である左眼用画像L画像を入力する左眼用画像入力部と、3次元画像表示に適用する右眼用の画像信号である右眼用画像R画像を入力する右眼用画像入力部と、前記左眼用画像L画像と右眼用画像R画像から視差情報を生成する視差情報生成部と、前記左眼用画像L画像と、前記右眼用画像R画像と、前記視差情報を入力して、入力LR画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する画像処理装置。2前記仮想視点画像生成部は、仮想視点画像の画像品質を示す画像品質評価値Qを算出し、算出した画像品質評価値Qを適用して仮想視点間隔Gを算出して、算出した仮想視点間隔Gに基づいて仮想視点位置を決定する前記1に記載の画像処理装置。3前記仮想視点画像生成部は、前記視差情報の信頼度情報、または、生成した仮想視点画像情報、上記の少なくともいずれかの情報を適用して前記画像品質評価値Qを算出する前記2に記載の画像処理装置。4前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Gを算出し、算出した仮想視点間隔Gに基づいて仮想視点位置を決定する前記1~3いずれかに記載の画像処理装置。5前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Gを算出し、算出した仮想視点間隔Gに基づいて仮想視点位置を決定する前記1~4いずれかに記載の画像処理装置。6前記画像処理装置は、画像領域に応じた画像重み情報を算出する重み情報生成部を有し、前記仮想視点画像生成部は、前記画像重み情報を適用して前記視差情報を補正した重み付き視差分布を算出し、算出した重み付き視差分布から算出する視差最大値と、前記適切視差量を適用して仮想視点間隔Gを算出し、算出した仮想視点間隔Gに基づいて仮想視点位置を決定する前記1~5いずれかに記載の画像処理装置。7前記重み情報生成部は、画像の位置に応じた画像領域単位の重みを設定した画像重み情報、または画像に含まれる被写体に応じた画像重み情報を生成する前記1~6いずれかに記載の画像処理装置。8前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって第1の仮想視点位置を決定し、決定した第1の仮想視点位置に対する非線形マッピング処理によって、非等間隔の第2の仮想視点位置を決定し、決定した非等間隔の第2の仮想視点位置に対応する仮想視点画像を生成する前記1~7いずれかに記載の画像処理装置。9前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、前記視差情報から算出される視差分布データに基づいて平行移動量を算出し、算出した平行移動量に基づいて、各仮想視点位置の仮想視点画像間の視差分布の移動処理を実行して、視差分布データの移動処理結果を反映した仮想視点画像を生成する前記1~8いずれかに記載の画像処理装置。さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LANLocalAreaNetwork、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。"