"3次元画像表示に適用する右眼用の画像信号を入力する右画像入力部と、3次元画像表示に適用する左眼用の画像信号を入力する左画像入力部と、前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する右画像変換部と、前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する左画像変換部と、前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力する画像出力部を有する画像処理装置。前記右眼用の入力画像信号と、前記左眼用の入力画像信号からそれぞれの画像信号に対応した被写体距離情報を持つ画像奥行情報を生成する奥行き検出部を有し、前記左画像変換部、および右画像変換部は、前記画像奥行情報を補助情報として前記画像信号を左方向、または右方向に位相変化を施した変換画像を生成する請求項1に記載の画像処理装置。前記右眼用の入力画像信号と、前記左眼用の入力画像信号からそれぞれの画像信号に対応した被写体距離推定情報を生成する奥行き推定部を有し、前記左画像変換部、および右画像変換部は、前記奥行き推定情報を補助情報として画像信号を左方向、または右方向に位相変化を施した変換画像を生成する請求項1に記載の画像処理装置。前記左画像変換部、および右画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を特徴量として設定し、入力画像信号に対して、輝度微分信号あるいは輝度微分信号の非線形変換信号を加算または減算することで前記変換画像を生成する請求項1に記載の画像処理装置。前記左画像変換部、または右画像変換部は多段接続構成を有し、前段の画像変換部が生成した変換画像を後段の画像変換部に入力し、入力画像信号に対する位相変化を施す処理を各画像変換部において繰り返し実行し、各画像変換部において、順次新たな変換画像を生成する請求項1に記載の画像処理装置。前記左画像変換部、および右画像変換部は、前記右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、該画像間距離差に従って、新たな視点画像と他画像から得られる最大距離および最少距離の被写体間の画像間距離差を制御した新たな視点画像を生成する請求項1に記載の画像処理装置。前記左画像変換部、および右画像変換部は、前記右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、最終的に出力する視点画像数に応じて各視点画像間の画像間距離差をほぼ均等に配分した新たな視点画像の生成を行う請求項1に記載の画像処理装置。画像処理装置において実行する画像処理方法であり、右画像入力部が、3次元画像表示に適用する右眼用の画像信号を入力する右画像入力ステップと、左画像入力部が、3次元画像表示に適用する左眼用の画像信号を入力する左画像入力ステップと、右画像変換部が、前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する右画像変換ステップと、左画像変換部が、前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する左画像変換ステップと、画像出力部が、前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力する画像出力ステップを実行する画像処理方法。画像処理装置において画像処理を実行させるプログラムであり、右画像入力部に、3次元画像表示に適用する右眼用の画像信号を入力させる右画像入力ステップと、左画像入力部に、3次元画像表示に適用する左眼用の画像信号を入力させる左画像入力ステップと、右画像変換部に、前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成させる右画像変換ステップと、左画像変換部に、前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成させる左画像変換ステップと、画像出力部に、前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力させる画像出力ステップを実行させるプログラム。上述したように、撮影画像に基づいて異なる視点からの擬似的な撮影画像を生成するためには、高精度な奥行き情報を取得するための奥行き検出処理回路や、オクルージョン領域の画像補間処理回路が必要となり、装置の大型化やコスト高を招く要因となっている。本開示は、例えば上記の問題を解決し、奥行検出処理やオクルージョン領域に対する処理を不要または簡易化して構成で撮影画像に基づく異なる視点からの画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供するもである。本開示の第1の側面は、3次元画像表示に適用する右眼用の画像信号を入力する右画像入力部と、3次元画像表示に適用する左眼用の画像信号を入力する左画像入力部と、前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する右画像変換部と、前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する左画像変換部と、前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力する画像出力部を有する画像処理装置にある。さらに、本開示の画像処理装置の一実施態様において、前記右眼用の入力画像信号と、前記左眼用の入力画像信号からそれぞれの画像信号に対応した被写体距離情報を持つ画像奥行情報を生成する奥行き検出部を有し、前記左画像変換部、および右画像変換部は、前記画像奥行情報を補助情報として前記画像信号を左方向、または右方向に位相変化を施した変換画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記右眼用の入力画像信号と、前記左眼用の入力画像信号からそれぞれの画像信号に対応した被写体距離推定情報を生成する奥行き推定部を有し、前記左画像変換部、および右画像変換部は、前記奥行き推定情報を補助情報として画像信号を左方向、または右方向に位相変化を施した変換画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記左画像変換部、および右画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を特徴量として設定し、入力画像信号に対して、輝度微分信号あるいは輝度微分信号の非線形変換信号を加算または減算することで前記変換画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記左画像変換部、または右画像変換部は多段接続構成を有し、前段の画像変換部が生成した変換画像を後段の画像変換部に入力し、入力画像信号に対する位相変化を施す処理を各画像変換部において繰り返し実行し、各画像変換部において、順次新たな変換画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記左画像変換部、および右画像変換部は、前記右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、該画像間距離差に従って、新たな視点画像と他画像から得られる最大距離および最少距離の被写体間の画像間距離差を制御した新たな視点画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記左画像変換部、および右画像変換部は、前記右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、最終的に出力する視点画像数に応じて各視点画像間の画像間距離差をほぼ均等に配分した新たな視点画像の生成を行う。さらに、本開示の第2の側面は、画像処理装置において実行する画像処理方法であり、右画像入力部が、3次元画像表示に適用する右眼用の画像信号を入力する右画像入力ステップと、左画像入力部が、3次元画像表示に適用する左眼用の画像信号を入力する左画像入力ステップと、右画像変換部が、前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する右画像変換ステップと、左画像変換部が、前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する左画像変換ステップと、画像出力部が、前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力する画像出力ステップを実行する画像処理方法にある。さらに、本開示の第3の側面は、画像処理装置において画像処理を実行させるプログラムであり、右画像入力部に、3次元画像表示に適用する右眼用の画像信号を入力させる右画像入力ステップと、左画像入力部に、3次元画像表示に適用する左眼用の画像信号を入力させる左画像入力ステップと、右画像変換部に、前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成させる右画像変換ステップと、左画像変換部に、前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成させる左画像変換ステップと、画像出力部に、前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力させる画像出力ステップを実行させるプログラムにある。なお、本開示のプログラムは、例えば、様々なプログラムコードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。本開示の一実施例構成によれば、簡易な信号処理により新たな視点からの画像を生成する画像処理装置が実現される。具体的には、例えば、画像表示に適用する右眼用の画像信号と左眼用の画像信号を入力し、右画像変換部が右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する。同様に、左画像変換部左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する。これら右画像変換部の生成画像、および左画像変換部の生成画像を複数の新たな視点画像として出力する。変換画像は、例えば入力画像の輝度微分信号、あるいは輝度微分信号の非線形変換信号を入力画像信号に対して加算/減算する処理によって生成する。これらの処理により、高精度の被写体距離情報を利用することなく様々な視点からの画像の生成が可能となる。以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。1.本開示の画像処理装置の実行する処理の概要について2.画像処理装置の第1実施例について3.画像処理装置の第2実施例について4.画像処理装置の第3実施例について5.画像処理装置の第4実施例について6.画像処理装置の第5実施例について7.画像処理装置の第6実施例について8.画像処理装置の第7実施例について9.画像処理装置の第8実施例について10.画像処理装置の第9実施例について11.本開示の構成のまとめ[1.本開示の画像処理装置の実行する処理の概要について]まず、本開示の画像処理装置の実行する処理の概要について説明する。本開示の画像処理装置は、例えば3D画像表示に適用する左眼用の左画像と、右眼用の右画像の2画像を含む2以上の異なる視点から撮影した画像を入力し、これらの入力画像を利用して、入力画像の視点と異なる視点からの撮影画像に相当する画像を生成して出力する。本開示の画像処理装置においては、1枚の2次元画像2D画像から、その2次元画像と異なる視点からの撮影画像に相当する画像を生成する処理を行う。なお、この処理には、例えば、本出願人による先の特許出願である特開2010-63083号に記載された処理の適用が可能である。なお、2次元画像に基づいて、異なる視点の画像を生成する処理を本明細書では2D3D変換処理と呼ぶ。なお、特開2010-63083号に記載した2D3D変換処理は、1枚の2次元画像に基づいてステレオ視立体視に対応した両眼視差画像、すなわち左眼用画像と右眼用画像を生成する処理である。2次元画像に含まれる空間的な特徴量、例えば輝度情報を抽出し、抽出した特徴量を用いて入力画像の変換処理を実行して左眼用画像や右眼用画像を生成する。本開示の画像処理装置は、例えばこの2D3D変換処理を適用して、入力画像に基づいて、その入力画像とは異なる視点の画像を生成する。具体的には、例えば入力画像である3D画像表示用の左眼用の左画像に基づいて、さらに左側の視点から撮影した画像に相当する画像を生成する。同様に、入力画像である3D画像表示用の右眼用の右画像に基づいて、さらに右側の視点からの画像に相当する画像を生成する。このような処理により、入力画像と異なる様々な視点からの撮影画像に相当する画像を生成し、入力画像の視点以外の多視点画像を生成する。図3は、本開示の方法により生成する多視点画像生成処理の一例を示す図である。先に図1を参照して説明したと同様、3D画像表示用に撮影された2枚の画像、すなわち、1左カメラ101によって撮影された左画像111、2右カメラ102によって撮影された右画像112、これらの画像を本開示の画像処理装置に入力する。本開示の画像処理装置は、これらの撮影画像を利用して、例えば、左画像111を利用した2D3D変換処理によって左カメラ101よりさらに左側の視点1,103からの撮影画像に相当する視点1画像113を生成する。また、右画像112を利用した2D3D変換処理によって右カメラ102よりさらに右側の視点4,104からの撮影画像に相当する視点4画像114を生成する。なお、図3に示す例は、本開示の画像処理装置の実行する処理の一例である。本開示の画像処理装置は、1枚の2次元画像に基づいて、その画像とは異なる視様々な点からの画像を上記の2D3D変換処理により生成することを可能としている。[2.画像処理装置の第1実施例について]図4に本開示の画像処理装置の第1実施例の構成図を示す。第1の実施例は、左右の視点の異なる2枚の画像左画像、右画像を入力とし、第1~第4の4視点の画像を出力する多視点画像生成を行う装置である。入力画像は、3D画像表示に適用する左眼用画像左画像と、右眼用画像右画像の組み合わせである。例えば、図3に示す例における左カメラ101において撮影された左画像111第2視点画像と、右カメラ102において撮影された右画像112である。図4に示す画像処理装置200は、入力左画像をそのまま第2視点画像として出力する。入力左画像第2視点画像に基づく2D3D変換処理により、左画像よりさらに左側の視点からの撮影画像である第1視点画像を生成する。さらに、入力右画像をそのまま第3視点画像として出力する。入力右画像第3視点画像に基づく2D3D変換処理により、右画像よりさらに右側の視点からの撮影画像である第4視点画像を生成する。図4に示す画像処理装置200の構成に従って、この画像処理装置において実行する処理について説明する。左画像入力部201は、左画像第2視点画像を入力する。入力された左画像第2視点画像は、奥行き検出部203、および左画像2D3D変換部204に入力される。同様に、右画像入力部202は、右画像第3視点画像を入力する。入力された右画像第3視点画像は、奥行き検出部203、および右画像2D3D変換部205に入力される。奥行き検出部203は、左画像の各画素、または各ブロックが、右画像のどの画素またはブロックに対応するかを検出し、その位置の差を左画像の当該画素に相当する位置に保存した左画像奥行情報と、右画像の各画素、または各ブロックが、左画像のどの画素またはブロックに対応するかを検出し、その位置の差を右画像の当該画素に相当する位置に保存した右画像奥行情報を生成する。すなわち、従来から知られる例えばブロックマッチング等に基づく対応画素の位置ずれに基づいて、ブロック単位あるいは画素単位の奥行き情報カメラからの距離情報を算出し、画素やブロック対応の距離データを持つ奥行情報例えば距離画像を生成する。奥行検出部203は、左画像に対応する左画像奥行情報例えば距離画像を生成して左画像2D3D変換部204に提供する。さらに、右画像に対応する右画像奥行情報例えば距離画像を生成して右画像2D3D変換部205に提供する。左画像2D3D変換部204は、左画像入力部201から入力する左画像第2視点画像と、奥行き検出部203で生成された左画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力左画像第2視点画像よりさらに左側の視点からの撮影画像に相当する第1視点画像を生成する。同様に、右画像2D3D変換部205は、右画像入力部202から入力する右画像第3視点画像と、奥行き検出部203で生成された右画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力右画像第3視点画像よりさらに右側の視点からの撮影画像に相当する第4視点画像を生成する。左画像2D3D変換部204の生成した第1視点画像は第1視点画像出力部206を介して出力する。左画像入力部201の入力した左画像、すなわち第2視点画像は第2視点画像出力部207を介して出力する。右画像入力部202の入力した右画像、すなわち第3視点画像は第3視点画像出力部208を介して出力する。右画像2D3D変換部205の生成した第4視点画像は第4視点画像出力部209を介して出力する。なお、画像の出力先は、例えば3D画像表示の表示処理を実行する装置、あるいは3D画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。例えば表示装置において3D画像表示を実行する際、これらの4つの異なる視点画像から、ユーザの観察位置に応じて適宜2つの画像を選択して左眼用画像と右眼用画像として出力する。例えば、ユーザの観察位置が、表示部の正面の標準的な位置である場合は、第2視点画像を左眼用画像、第3視点画像を右眼用画像として出力する。また、ユーザの観察位置が、表示部の正面より左側にいる場合には、第1視点画像を左眼用画像、第2視点画像を右眼用画像として出力する。また、ユーザの観察位置が、表示部の正面より右側にいる場合には、第3視点画像を左眼用画像、第4視点画像を右眼用画像として出力する。このような切り替えを行うことで、ユーザの観察位置に応じた最適な左眼用画像と右眼用画像の出力が可能となる。この処理により、裸眼対応の3D表示装置、例えば、ディスプレイ面にレンチキュラシートや、パララックスバリア視差バリアを備え、視聴位置によって左眼と右眼に入る画像を制御する構成を持つ表示装置において、左眼用画像を左眼でのみ観察させ、右眼用画像を右眼でのみ観察させることが可能となる。すなわち、左眼に右眼用画像が観察され、また右眼に左眼用画像が観察されるような逆視やクロストークの発生を抑制した3D画像の提示が可能となる。この図4に示す画像処理装置200において、左画像2D3D変換部204は、左画像入力部201から入力する左画像第2視点画像と、奥行き検出部203で生成された左画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力左画像第2視点画像よりさらに左側の視点からの撮影画像に相当する第1視点画像を生成する。また、右画像2D3D変換部205は、右画像入力部202から入力する右画像第3視点画像と、奥行き検出部203で生成された右画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力右画像第3視点画像よりさらに右側の視点からの撮影画像に相当する第4視点画像を生成する。左画像2D3D変換部204と右画像2D3D変換部205は、1枚の2次元画像と奥行き情報を用いて異なる視点の画像を生成する。具体的には、奥行き情報に応じたシフト量を設定して画像を左右方向にシフトする処理、すなわち位相変化を施す処理により、擬似的な異なる視点からの撮影画像を生成する。各画素あるいはブロック単位で取得された奥行き情報カメラからの距離に応じて、位相変化量シフト量や位相変化方向シフト方向を調整して位相変化処理シフト処理を実行することで擬似的な異なる視点の画像を生成する。従って、2D3D変換部で利用する画像奥行情報の空間的な解像度は必ずしも高くする必要がなく、奥行き検出部203から出力する左画像奥行情報、および右画像奥行情報は入力画像の画素数よりも少ない情報量のデータとすることが可能であり、奥行き検出部の回路規模を小さくすることが可能である。なお、2D3D変換処理には、例えば先に説明した本出願人の先の特許出願である特開2010-63083号に記載された処理の適用が可能である。なお、特開2010-63083号に記載した2D3D変換処理は、1枚の2次元画像に含まれる空間的な特徴量、例えば輝度情報を抽出し、抽出した特徴量を用いて入力画像の変換処理を実行して異なる視点からの撮影画像に相当する変換画像を生成する処理である。具体的には、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を特徴量として設定し、入力画像信号に対して特徴量である輝度微分信号、あるいは輝度微分信号の非線形変換信号を加算または減算することで変換画像を生成する。例えば、この処理を適用することができる。なお、この特許文献に記載の方法に限らず、2次元画像から異なる視点からの画像を擬似的に生成する処理については様々な提案があり、左画像2D3D変換部204と右画像2D3D変換部205では、例えばこれらの既存の方法のいずれかを適用して入力画像と異なる視点からの画像を生成する。奥行き検出部203の生成する奥行き情報に基づいて、左画像2D3D変換部204と、右画像2D3D変換部205の実行する新たな視点画像生成処理の具体的処理例について、図5を参照して説明する。図5は、図4に示す実施例における入力左右画像、および生成される新たな視点画像間の奥行き情報を示している。図5の右下に示すグラフaは、左画像入力部201を介して入力される左画像第2視点画像に相当と、右画像入力部202を介して入力する右画像第3視点画像に相当の間で検出された奥行き情報のヒストグラムを表わしている。すなわち、奥行き検出部203が検出した奥行き情報である。ここで、奥行き情報は、2つの画像の対応する位置の間の距離dとして示している。すなわちブロックマッチング等の処理によって検出された左画像と右画像の対応画素の画像上における画素間距離である。図5aに示すヒストグラムは、横軸が被写体までの距離に応じて変化する距離情報d、縦軸が各距離を持つ画素面積を示している。距離d=0の場合は、左画像と右画像の対応画素が各画像の同一位置に出力された状態であり、いわゆる視差のない画像状態となる。このような画素位置の画像は、表示画面の画面位置に観察できる。一方、距離dが0より小さい左画像よりも右画像の方が左側に存在場合には画面手前に被写体像が観察される。また、dが0より大きい左画像よりも右画像の方が右側に存在場合には画面奥に被写体像が観察される。左画像2D3D変換部204と、右画像2D3D変換部205では、奥行き検出部203の生成情報から得られる図5aに示す奥行き情報のヒストグラムから、まず、距離dの最小値dminと最大値dmaxを求める。なお、これらの最小値dminと最大値dmaxの値はノイズの影響を考慮し、ヒストグラムの実際の最大値、最小値から数パーセント内側の値として設定することも出来る。図5aでは実際の測定値より、数内側に最小値dminと最大値dmaxのラインを示している。このようにして求められた最小値dminは、入力画像において最も手前に位置する被写体の奥行きに対応する値であり、最大値dmaxは、入力画像において最も奥に位置する被写体の奥行きに対応する値である。図4に示す実施例において、左画像2D3D変換部204は、入力左画像第2視点画像から2D3D変換処理によって、入力左画像第2視点画像より、さらに左側の第1視点画像を生成する。この新たな視点画像の生成処理に際しては、図5aに示す左右画像から得られた奥行き情報を用いた処理を行う。すなわち、図5aに示す左右画像から得られた奥行きヒストグラムは、入力左画像第2視点画像と入力右画像第3視点画像の奥行きヒストグラムである。左画像2D3D変換部204は、新たに生成する第1視点画像と入力左画像第2視点画像との奥行きヒストグラムが図5aに示す奥行きヒストグラムとなるような第1視点画像を生成する。図5bに示すグラフは、新たに生成する第1視点画像と入力左画像第2視点画像との奥行きヒストグラムである。このヒストグラムに対応するように第1視点画像を生成する。左画像2D3D変換部204と右画像2D3D変換部205は、奥行き情報に応じたシフト量を設定して画像を左右方向にシフトする処理、すなわち位相変化を施す処理により、擬似的な異なる視点からの撮影画像を生成する。各画素あるいはブロック単位で取得された奥行き情報カメラからの距離に応じて、位相変化量シフト量や位相変化方向シフト方向を調整して位相変化処理シフト処理を実行することで擬似的な異なる視点の画像を生成する。この2D3D変換処理では、奥行き情報に基づいて、シフト量を制御する。具体的には、図4における実施例において、左画像2D3D変換部204は、図5aに示す奥行き情報に基づいてシフト量を調整することで、入力左右画像から得られる奥行き感と同等の奥行き感が、新たに生成する第1視点画像と入力左画像第2視点画像の組み合わせで得られる第1視点画像を生成する。具体的なシフト処理については後述する。右画像2D3D変換部205も、同様にして、図5aに示す奥行き情報に基づいてシフト量を調整することで、入力左右画像から得られる奥行き感と同等の奥行き感が、新たに生成する第4視点画像と入力右画像第3視点画像の組み合わせで得られる第4視点画像を生成する。図5bは、左画像2D3D変換部204が新たに生成する第1視点画像と入力左画像第2視点画像との奥行きヒストグラムである。新たに生成された第1視点画像と、第2視点画像=入力左画像間の奥行きは、入力左右画像の間の奥行きと同等であることが好ましいが、2D3D変換処理では、必ずしも入力される奥行き情報と同等の視差を生成できるとは限らない。2D3D変換処理によって生成される視差量は、例えばシフト量を制御するゲインの設定や変換フィルタの特性により決定されるため、奥行き情報に基づいてゲイン制御や変換フィルタ特性を制御することにより最大の視差が入力画像間の視差を超えないように制御する。したがって、2D3D変換処理によって生成される視点1の画像は、入力左画像に対して、入力右画像との間のシフト量と同等以下のシフト量で、より左側の視点からの画像として生成された画像になる。右画像2D3D変換部205も、新たに生成する第4視点画像について、同様にして、入力右画像に対して、入力左画像との間のシフト量と同等以下のシフト量で、より右側の視点からの画像を生成する。このように、各2D3D画像変換部は、右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、該画像間距離差に従って、新たな視点画像と他画像から得られる最大距離および最少距離の被写体間の画像間距離差を制御した新たな視点画像を生成する。次に、距離情報に応じたシフト量の制御による2D3D変換処理の具体例について説明する。図6は、左画像2D3D変換部204の一実施例の構成を示すブロック図である。なお、左画像2D3D変換部204と右画像2D3D変換部205は、新たに生成する画像に応じてシフト方向が変化するのみである。以下では、距離情報に応じたシフト量の制御による2D3D変換処理の具体例について左画像2D3D変換部204の処理例を代表例として説明する。左画像2D3D変換部204は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで新たな視点の画像を生成する処理を行う。左画像2D3D変換部204は、微分器211、ゲイン制御部212、非線形変換部213、および画像合成部214から構成される。微分器211は、左画像2D3D変換部204に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号Hを生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向3タップの線形1次微分フィルタなどを用いる。なお、実施例では輝度信号を処理データとした例について説明するが、輝度信号ではなく色信号RGB等を処理対象データとして利用してもよい。ゲイン制御部212は、微分器211から出力される微分信号Hに、予め設定した規則に則った係数ゲイン係数を乗じることで、微分信号の振幅値を制御するし、微分信号の補正信号である補正微分信号Hを生成する。非線形変換部213は、ゲイン制御部212から出力される補正微分信号Hを非線形的に変換し、視差強調信号Eとして画像合成部214に出力する。画像合成部214は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の補正微分信号H、または、この補正微分信号を非線形変換して生成した視差強調信号Eを適用して新たな視点の画像を生成する処理を行う。なお、図6に点線で示すように、非線形変換部213の変換処理を省略し、ゲイン制御部212で補正処理した補正微分信号Hを画像合成部214に直接入力して、画像合成部214が、補正微分信号を適用して新たな視点の画像を生成する構成としてもよい。次に、ゲイン制御部212の実行する処理について説明する。図7は、ゲイン制御部212の一実施例の構成を示すブロック図である。ゲイン制御部212では、入力された微分信号の振幅値を、同じく入力した奥行き情報を基に、その振幅値を制御する。なお、以下に説明する実施例では、奥行き情報は入力微分信号の1画素ごとに、1つの深さの値を有する、所謂デプスマップの形状で入力されるものとして説明していく。ゲイン係数算出部221は、入力された各画素に対する奥行き情報を利用して、対応する画素に対するゲイン係数を出力する。乗算処理部222は、入力された微分信号の各画素について、ゲイン係数算出部221から出力された各画素に対するゲイン係数を、微分信号Hの振幅値に乗じる乗算処理を行い、結果として振幅値がゲイン制御された補正微分信号Hを出力する。図8は、ゲイン係数算出部221において実行する、ゲイン係数の決定方法の一例を示すものである。横軸が、入力信号であり奥行き情報である。縦軸が、ゲイン係数算出部221におけるゲイン係数の出力を示している。ゲイン係数算出部221は、入力された奥行き情報Inを、予め設定した関数fxにより変換して、ゲイン係数Outを出力する。このとき、関数fxは、様々な設定が利用可能である。関数fxの一例としては、例えば、fx=A×xただしAは定数上記式に示されるような線形一次関数を用いる。Aは予め設定した定数であり、様々な値に設定可能である。また、ゲイン係数算出部221における変換関数は、線形一次関数に限定するものではなく、また非線形的な変換を施しても構わない。奥行き情報は、微分信号の各画素に応じた値を入力し、各画素に応じたゲイン係数を出力するものとする。図8は、ゲイン係数算出部の入力値奥行き情報と、出力値ゲイン係数の対応例を示す図である。図8には3つの入力値奥行き情報とそれに対応する3つの出力値ゲイン係数の例を示している。入力値奥行き情報の例は、D1、D2、D3であり、ある3つの画素に対応した奥行きの値を想定する。なお、奥行きとは観察者ユーザあるいはカメラから被写体までの距離に対応する値である。奥行き=被写体距離はD1<D2<D3の順に、手前から奥へと深くユーザまたはカメラから遠くなっていくものとする。ここで、図8中、奥行き情報In=0の位置は生成した画像を3次元表示装置に表示した場合に表示画面上に知覚される点である。このとき出力値ゲイン係数の例は、G1、G2、G3であり、各々は図8中の関数fxに、D1、D2、D3の値を入力することで得られる値である。この例のように、ゲイン係数算出部221は、微分信号の各画素に応じたゲイン係数を出力する。図9は、ゲイン制御部212における微分信号の振幅値を制御する処理の一例を示している。図9には、a入力信号b微分信号c奥行き情報d補正後の微分信号これらの例を示している。図9aは、入力画像信号の一例である。図9bは、図9aの入力画像信号を微分処理した画像である。図9cは、図9aの入力画像信号に対応した奥行き情報であり、画像を3分割した各領域に奥行きの値を与えた簡易なものである。ここで、図9cの奥行き情報を示す画像信号には、上部から順に図8において定義した奥行き情報:D3、D2、D1D1<D2<D3の値が与えられているものとしている。このとき、図8において説明した奥行きとゲイン値の関係の通り、図9bの微分信号の各画素に乗じるゲイン値は、画像の上部から順に、G3、G2、G1G1<G2<G3となる。図9d補正後の微分信号は、図9cの奥行き情報に基づいたゲイン値を、図9bの微分信号の各画素に乗じた処理結果の一例である。図9d補正後の微分信号においては、画面上部ほど遠い領域ほど、大きなゲイン値が乗じられ、画面下部ほど近い領域ほど小さなゲイン値が乗じられる。この結果、画面上部ほど遠い領域ほど微分信号の振幅値が大きくなり、画面下部ほど近い領域ほど微分信号の振幅は小さくなる。2D3D変換部は、このように距離に応じた振幅の異なる微分信号を用いて新たな視点画像を生成して出力する。この結果、距離に応じた異なる視差を持つ画像を生成して出力する。次に、非線形変換部213の実行する処理について説明する。非線形変換部213は、ゲイン制御部212から出力される距離に応じてゲイン制御のなされた補正微分信号Hを非線形的に変換した視差強調信号Eを生成して画像合成部214に出力する。図10は、非線形変換部213において実行する非線形変換処理の一例を示している。横軸が、ゲイン制御部212から出力される距離に応じてゲイン制御補正のなされた微分信号であり輝度補正微分信号である。縦軸が、非線形変換部213における非線形変換処理後の出力を示している。非線形変換部213は、入力された補正微分信号Inを、予め規定した関数fxにより変換して、視差強調信号Outを出力する。すなわちOut=fInとする。このとき、関数fxは、様々な設定が利用可能である。関数fxの一例としては、例えば、fx=xγ上記式に示されるような指数関数を用いる。γは予め設定した係数であり、様々な値に設定可能である。また、非線形変換部213における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。画像合成部214は、非線形変換部213から出力される視差強調信号と、左画像2D3D変換部204に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、新たな視点画像を生成する処理を行う。なお、図5に点線で示すように、非線形変換部213の変換処理を省略し、微分器211の生成した微分信号に対してゲイン制御部212が距離に応じたゲイン制御を行った補正微分信号Hを画像合成部214に直接入力する構成としてもよい。この場合は、画像合成部214は、奥行き被写体距離に応じてゲイン制御の施された補正微分信号Hを適用して新たな視点の画像を生成する処理を行う。次に画像合成部214の処理について説明する。画像合成部214は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号を適用して新たな視点の画像を生成する処理を行う。図11と図12は、画像合成部214において実行する画像合成処理の概念を示している。図11は、距離が大の画像領域奥行きが大きい画像領域図12は、距離が小の画像領域奥行きが小さい画像領域これらの各画像領域について、上から順に、a入力信号Sb微分信号Hc補正ゲイン制御後の補正微分信号Hd右シフト画像信号e左シフト画像信号これらの各信号を示している。図9のc奥行き情報に対応付けて説明すると、例えば、図11は図9cの画像上部の距離が大=D3の画像領域奥行きが大きい画像領域に対応する処理例である。一方、図12は図9cの画像下部の距離が小=D1の画像領域奥行きが小さい画像領域に対する処理例である。まず、図11に示す距離が大の画像領域奥行きが大きい画像領域における処理例について説明する。a入力信号Sは、ビデオデータの任意のフレームの任意の水平1ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する1つのラインを例示している。ライン位置x1からライン位置x2までの領域Aにおいて、輝度が次第に高くなる変化を示し、ライン位置x2~x3において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置x3からライン位置x4までの領域Bにおいて、輝度が次第に低くなる変化を示している。b微分信号Hは、a入力信号の微分結果である。この微分信号は、図5に示す左画像2D3D変換部204の微分器211において生成される信号である。微分器211の生成する微分信号Hは、図11に示すとおり、a入力信号Sの輝度変化が正になる領域Aにおいて正の値をとり、a入力信号の輝度変化が負になる領域Bにおいて負の値をとる。c補正ゲイン制御後の微分信号Hは、図5に示す左画像2D3D変換部204のゲイン制御部212において生成する信号であり、図11b微分信号を、奥行き情報に基づいて補正ゲイン制御した信号である。なお、図11に示す例は、距離が大例えば図8、図9cのD3の画像領域奥行きが大きい画像領域における処理例であり、図8、図9を参照して説明したようにより大きなゲインG3による補正処理が施され、微分信号の振幅はより大きな振幅に補正される。図11cに示す点線が補正前の信号=b微分信号Hであり、図11cに示す実線が距離に応じた補正後の補正微分信号Hである。このように、補正微分信号Hは距離に応じたゲイン制御により、振幅がより大きく補正される。d右シフト画像信号、e左シフト画像信号は、図4に示す左画像2D3D変換部204や、右画像2D3D変換部205に構成される図5に示す画像合成部214が生成する信号である。例えば、図4に示す左画像2D3D変換部204は、入力左画像を図11aに示す入力画像であるとした場合、さらに左シフトしたe左シフト画像信号を第1視点画像として生成する。また、図4に示す右画像2D3D変換部205は、入力右画像を図11aに示す入力画像であるとした場合、さらに右シフトしたd右シフト画像信号を第4視点画像として生成する。具体的には、a入力信号Sと、c補正ゲイン制御後の補正微分信号Hを非線形変換部213において非線形変換した結果非線形変換部213の出力である視差強調信号Eとを合成することで、d右シフト画像信号、または、e左シフト画像信号を生成する。図11dに示す通り、大きなゲインG3によって補正が行われた補正微分信号Hを合成する場合、補正前の微分信号Hを合成する場合に比較して、右シフトが大きい画像信号が生成される。同様に、図11dでは、左シフト量が大きい画像信号が生成される。次に、図12に示す距離が小の画像領域奥行きが小さい画像領域における処理例について説明する。図12は図9cの画像下部の距離が小=D1の画像領域奥行きが小さい画像領域に対する処理例である。a入力信号と、b微分信号は、図11に示すa入力信号と、b微分信号と同様の信号である。b微分信号Hは、a入力信号Sの微分結果である。この微分信号は、図5に示す微分器211において生成される信号である。微分器211の生成する微分信号は、図12に示すとおり、a入力信号の輝度変化が正になる領域Aにおいて正の値をとり、a入力信号の輝度変化が負になる領域Bにおいて負の値をとる。c補正ゲイン制御後の補正微分信号Hは、図5に示すゲイン制御部212において生成する信号であり、図12b微分信号を、奥行き情報に基づいて補正ゲイン制御した信号である。図12に示す例は、距離が小例えば図8、図9cのD1の画像領域奥行きが大きい画像領域における処理例であり、図8、図9を参照して説明したように小さなゲインG1により微分信号の振幅は小さな振幅に補正される。図12cに示す点線が補正前の信号=b微分信号であり、図12cに示す実線が距離に応じた補正後の信号である。このように、距離に応じたゲイン制御により、振幅がより小さく補正される。d右シフト画像信号、e左シフト画像信号は、図5に示す画像合成部214において生成する信号である。画像合成部214は、a入力信号Sと、c補正ゲイン制御後の補正微分信号Hを非線形変換部213において非線形変換した結果非線形変換部213の出力である視差強調信号Eとを合成してd右シフト画像信号、またはe左シフト画像信号を生成する。例えば、図4に示す左画像2D3D変換部204は、入力左画像を図11aに示す入力画像であるとした場合、さらに左シフトしたe左シフト画像信号を第1視点画像として生成する。また、図4に示す右画像2D3D変換部205は、入力右画像を図11aに示す入力画像であるとした場合、さらに右シフトしたd右シフト画像信号を第4視点画像として生成する。図12dに示す通り、小さなゲインG1によって補正が行われた補正微分信号Hを合成する場合、補正前の微分信号Hを合成する場合に比較して、右シフト量が小さい画像信号が生成される。同様に、図11dでは、左シフト量が小さい画像信号が生成される。このように、画像処理装置は、表示画面よりも奥の方向に知覚されるような画像を生成する場合は、距離=大の場合は、振幅の大きい補正微分信号距離=小の場合は、振幅の小さい補正微分信号、これらの補正微分信号図11、図12のcを生成し、これらの補正微分信号またはその非線形変換結果である視差強調信号とa入力信号との合成処理により、入力画像と異なる視点からの観察画像に相当するd右シフト画像信号、またはe左シフト画像信号を生成する。このようなd右シフト画像信号と、e左シフト画像信号の生成処理の生成処理について、数式を用いて説明する。図11、図12のa入力信号に相当するビデオデータの輝度レベルをSとし、図11、図12のbに示す微分信号の信号レベルをHとする。また、ゲイン制御部212において行われる微分信号の補正結果としての補正微分信号の信号レベルをHてとする。なお、補正微分信号Hの生成の際、b微分信号Hに乗じるゲイン値Gは、奥行き情報Dをもとに予め設定された関数などから決定される。図11に示す距離が大の場合のゲイン値をG3、図12に示す距離が小の場合のゲイン値をG1、とする。図11、図12に示す例は、G3>1>G1の関係を想定している。図11、図12のc補正後の微分信号の信号レベルをHで表現すると、Hは上記ゲイン値G3、G1を用いて補正された信号として、以下の式によって示すことができる。図11に示す距離が大の場合の補正後微分信号Hは、H=G3×H図12に示す距離が小の場合の補正後微分信号Hは、H=G1×Hこれらの式によって算出された信号が、図11、図12のc補正後の微分信号の信号レベルHとなる。図11cに示す距離が大の場合において、実線で示す補正後微分信号Hと、点線で示す補正前微分信号=bを比較すると、実線で示す補正後微分信号Hは、点線で示す補正前微分信号よりも振幅が大きくなっている。一方、図12cに示す距離が小の場合において、実線で示す補正後微分信号Hと、点線で示す補正前微分信号=bを比較すると、実線で示す補正後微分信号Hは、点線で示す補正前微分信号よりも振幅が小さくなっている。これは、図11c、図12cに示す補正後微分信号が異なるゲイン値を乗じて生成されるためである。すなわち、奥行き検出部203の出力する奥行き情報が大カメラからの距離が遠い画素については、b微分信号に対して大きなゲイン値を乗じて補正されて図11cに示す補正後微分信号が生成される。一方、奥行き検出部203の出力する奥行き情報が小カメラからの距離が近い画素については、b微分信号に対して小さなゲイン値を乗じて補正されて図12cに示す補正後微分信号が生成される。図11c、図12cに示す補正後の微分信号は、非線形変換部213において、例えば先に図10を参照して説明した設定で非線形変換処理が施され、視差強調信号Eが生成される。画像合成部133は、a入力信号に相当するビデオデータSと、c補正後の微分信号Hを非線形変換した視差強調信号Eを入力して、例えば以下の式により右シフト画像信号Right、または左シフト画像信号Leftを生成する。Right=S-ELeft=SEこれにより得られる信号が、図11d、図12dに実線で示す右シフト画像信号、および、図11e、図12eに示す左シフト画像信号である。一方、図11d,eと図12d,eに点線で示す信号は、c補正後の微分信号ではなく、補正前の微分信号、すなわちb微分信号Hを適用して非線形変換した視差強調信号Eを利用して生成した右シフト画像信号、および左シフト画像信号に相当する。すなわち、Right=S-ELeft=SEである。図11、図12のd右シフト画像信号、および、e左シフト画像信号に示す実線と点線を比較すると、図11に示す距離が大の場合は、d右シフト画像信号、e左シフト画像信号の両者とも、実線補正後微分信号が、点線補正前微分信号よりエッジ部信号の変化部が急峻になっており、a入力信号に比較して信号のシフトが大きくなっている。一方、図12に示す距離が小の場合は、d右シフト画像信号、e左シフト画像信号の両者とも、実線補正後微分信号が、点線補正前微分信号よりエッジ部が滑らかになっており、a入力信号に比較して信号のシフトが小さくなっている。つまり、距離が大の場合は、d右シフト画像信号、e左シフト画像信号の差分が拡大され、距離が小の場合は、d右シフト画像信号、e左シフト画像信号の差分が縮小される。このようなd右シフト画像信号、e左シフト画像信号を表示することで、距離が大の場合は、d右シフト画像信号とe左シフト画像信号の網膜視差が大きくなり、より遠くに感じられ、距離が小の場合は、d右シフト画像信号とe左シフト画像信号の網膜視差が小さくなり近くに感じられることになる。本実施例では、表示画面よりも奥に視差を生成する方法を参考にして説明を行ったが、表示画面よりも前に視差を生成する場合には、画像合成部133は以下の式に従って右シフト画像信号Right、または左シフト画像信号Leftを生成する。Right=SELeft=S-Eこのようにすることにより、右シフト画像信号と左シフト画像信号のシフトが逆方向に発生し、右シフト画像信号は入力画像より左にシフトし、左画像信号は入力画像より右にシフトする。この結果、生成された右シフト画像信号と左シフト画像信号は表示画面よりも前に知覚されるようになる。[3.画像処理装置の第2実施例について]図13に本開示の画像処理装置の第2実施例の構成図を示す。第2実施例は、第1実施例と同様、左右の視点の異なる2枚の画像左画像、右画像を入力とし、第1~第4の4視点の画像を出力する多視点画像生成を行う装置である。ただし、第2実施例は、第1実施例と異なり、入力画像を第1視点画像と第4視点画像として出力し、2D3D変換部において生成する画像を第2視点画像と第3視点画像としている点が異なる。なお、第1~第4視点画像は図3に示す第1~第4視点画像に対応し、順次、左側の視点から右側の視点の撮影画像に対応する。入力画像は、3D画像表示に適用する左眼用画像左画像と、右眼用画像右画像の組み合わせである。本実施例では、図3に示す例における視点1,103において撮影された第1視点画像113と、視点4において撮影された第4視点画像114が入力画像となる。図13に示す画像処理装置250は、入力左画像をそのまま第1視点画像として出力する。入力左画像第1視点画像に基づく2D3D変換処理により、左画像より右側の視点からの撮影画像である第2視点画像を生成する。さらに、入力右画像第4視点画像に基づく2D3D変換処理により、右画像より左側の視点からの撮影画像である第3視点画像を生成する。入力右画像をそのまま第4視点画像として出力する。図13に示す画像処理装置250の構成に従って、この画像処理装置において実行する処理について説明する。左画像入力部251は、左画像第1視点画像を入力する。入力された左画像第1視点画像は、奥行き検出部253、および左画像2D3D変換部254に入力される。同様に、右画像入力部252は、右画像第4視点画像を入力する。入力された右画像第4視点画像は、奥行き検出部253、および右画像2D3D変換部255に入力される。奥行き検出部253は、左画像の各画素、または各ブロックが、右画像のどの画素またはブロックに対応するかを検出し、その位置の差を左画像の当該画素に相当する位置に保存した左画像奥行情報と、右画像の各画素、または各ブロックが、左画像のどの画素またはブロックに対応するかを検出し、その位置の差を右画像の当該画素に相当する位置に保存した右画像奥行情報を生成する。これらの処理は、図4を参照して説明した実施例1における処理と同様である。奥行検出部253は、左画像に対応する左画像奥行情報例えば距離画像を生成して左画像2D3D変換部254に提供する。さらに、右画像に対応する右画像奥行情報例えば距離画像を生成して右画像2D3D変換部255に提供する。左画像2D3D変換部254は、左画像入力部251から入力する左画像第1視点画像と、奥行き検出部253で生成された左画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力左画像第2視点画像より右側の視点からの撮影画像に相当する第2視点画像を生成する。同様に、右画像2D3D変換部255は、右画像入力部252から入力する右画像第4視点画像と、奥行き検出部253で生成された右画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力右画像第4視点画像より左側の視点からの撮影画像に相当する第3視点画像を生成する。左画像入力部251の入力した左画像、すなわち第1視点画像は第1視点画像出力部256を介して出力する。左画像2D3D変換部254の生成した第2視点画像は第2視点画像出力部257を介して出力する。右画像2D3D変換部255の生成した第3視点画像は第3視点画像出力部258を介して出力する。右画像入力部252の入力した右画像、すなわち第4視点画像は第4視点画像出力部259を介して出力する。なお、画像の出力先は、例えば3D画像表示の表示処理を実行する装置、あるいは3D画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。これらの4つの異なる視点画像は、先に説明した実施例1と同様、例えば表示装置において3D画像表示を実行する際、ユーザの観察位置に応じて適宜2つの画像を選択して左眼用画像と右眼用画像として出力する処理に適用される。すなわち、裸眼対応の3D表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した3D画像の提示が可能となる。この図13に示す画像処理装置250においても、左画像2D3D変換部254と、右画像2D3D変換部255は、画像入力部から入力する画像と、奥行き検出部253で生成された画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力右画像と異なる視点からの撮影画像に相当する画像を生成する。この処理は、例えば奥行情報を用いて位相変化量シフト量を決定し画像をシフトする処理等によって新たな視点の画像を生成する処理として実行される。利用する距離画像等の奥行き情報の空間的な解像度は必ずしも高くなくても構わず、奥行き検出部253から出力する左画像奥行情報、および右画像奥行情報は入力画像の画素数よりも少なくすることが可能であり、奥行き検出部の回路規模を小さくすることが可能である。図13に示す画像処理装置250においても、左画像2D3D変換部254と、右画像2D3D変換部255において実行する距離情報に応じた新たな視点の画像生成処理例について図14を参照して説明する。図14は、図13に示す実施例における入力左右画像、および生成される新たな視点画像間の奥行き情報を示している。図14の右下のaに示すグラフは、左画像入力部251を介して入力される左画像第1視点画像に相当と、右画像入力部252を介して入力する右画像第4視点画像に相当の間で検出された奥行き情報のヒストグラムを表わしている。すなわち、奥行き検出部253が検出した奥行き情報である。ここで、奥行き情報は、2つの画像の対応する位置の間の距離dとして示している。すなわちブロックマッチング等の処理によって検出された左画像と右画像の対応画素の画像上における画素間距離である。図14aに示すヒストグラムは、横軸が被写体までの距離に応じて変化する距離情報d、縦軸が各距離を持つ画素面積を示している。距離d=0の場合は、左画像と右画像の対応画素が各画像の同一位置に出力された状態であり、いわゆる視差のない画像状態となる。このような画素位置の画像は、表示画面の画面位置に観察できる。一方、距離dが0より小さい左画像よりも右画像の方が左側に存在場合には画面手前に被写体像が観察される。また、dが0より大きい左画像よりも右画像の方が右側に存在場合には画面奥に被写体像が観察される。左画像2D3D変換部254と、右画像2D3D変換部255では、奥行き検出部253の生成情報から得られる図14aに示す奥行き情報のヒストグラムから、まず、距離dの最小値dminと最大値dmaxを求める。なお、これらの最小値dminと最大値dmaxの値はノイズの影響を考慮し、ヒストグラムの実際の最大値、最小値から数パーセント内側の値として設定することも出来る。図14aでは実際の測定値より、数内側に最小値dminと最大値dmaxのラインを示している。このようにして求められた最小値dminは、入力画像において最も手前に位置する被写体の奥行きに対応する値であり、最大値dmaxは、入力画像において最も奥に位置する被写体の奥行きに対応する値である。図13に示す実施例において、左画像2D3D変換部254は、入力左画像第1視点画像から2D3D変換処理によって、入力左画像第1視点画像より右側の視点から観察される第2視点画像を生成する。このとき、新たに生成する第2視点画像は、入力左右画像の間の奥行きを3等分し、入力左画像に近い視点から見た画像として生成される。一方、視点3の画像は、入力左右画像の奥行きを3等分し、入力右画像に近い視点から見た画像として生成する。このため、図14aに示す左右画像から得られた奥行き情報を用いて、奥行きを1/3に圧縮した情報奥行き最小値をdmin/3、奥行き最大値をdmax/3とする、すなわち、図14bに示すヒストグラムを設定する。この図14bに示す奥行きヒストグラムが、入力左画像第1視点画像と新たに生成する第2視点画像間の奥行きヒストグラムとして得られるよう第2視点画像を生成する。このような設定として、入力画像である視点1、視点4の間を3等分する視点2および視点3の画像を、左画像2D3D変換部254と右画像2D3D変換部255において生成する。このように、各2D3D画像変換部では、右眼用の入力画像信号と、左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、最終的に出力する視点画像数に応じて各視点画像間の画像間距離差をほぼ均等に配分した新たな視点画像の生成を行う。左画像2D3D変換部254と右画像2D3D変換部255における2D3D変換処理は、例えば先に図6~図12を参照して説明したと同様の処理、すなわち、被写体距離に応じて入力画像のシフト量を制御したシフト処理によって実行可能である。図13の構成を持つ実施例においては、図14bに示すように、入力画像に基づいて得られる奥行き情報図14aのdmin~dmaxを1/3に圧縮した奥行き情報をベースとした処理を行うことになる。図15は、左画像2D3D変換部254の一実施例の構成を示すブロック図である。なお、左画像2D3D変換部254と右画像2D3D変換部255は、新たに生成する画像に応じてシフト方向が変化するのみであるので左画像2D3D変換部254を代表例として説明する。本実施例の左画像2D3D変換部254は、先に図6を参照して説明した第1実施例における左画像2D3D変換部204の構成に奥行き情報調整部261を追加した構成となる。その他の構成は、先に図6を参照して説明した第1実施例における左画像2D3D変換部204の構成と同様である。奥行き情報調整部261は、入力画像に基づいて奥行き検出部53の生成情報に基づいて得られる奥行き情報図14aのdmin~dmaxを1/3に圧縮した奥行き情報を生成する。この圧縮奥行き情報をゲイン制御部212に入力する。その後の処理は、先に説明した第1実施例における2D3D変換処理と同様の処理となる。図14bは、第1視点画像入力左画像と新たに生成される第2視点画像入力左画像から2D3D変換により生成の間の奥行き情報のヒストグラムを表わしている。なお、第1視点画像入力左画像と新たに生成される第2視点画像間の奥行きは、入力左右画像の間の奥行きの1/3に相当することが好ましいが、2D3D変換処理では、必ずしも入力される奥行き情報と同等の視差を生成できるとは限らない。2D3D変換処理によって生成される視差量は、ゲイン量の調整や変換フィルタの特性により決定されるため、奥行き情報に基づく制御により最大の視差が入力画像間の視差を超えないように制御する。左画像2D3D変換部254は、この制御により、2D3D変換処理によって生成する第2視点画像を、入力左画像第1視点画像に対して、入力右画像第4視点画像との間のシフト量の1/3と同等以下のシフト量で、より右側の視点からの画像として生成する。右画像2D3D変換部255も、新たに生成する第3視点の画像について、同様に入力右画像第4視点画像に対して、入力左画像第1視点画像との間のシフト量の1/3と同等以下のシフト量で、より左側の視点からの画像として生成する。[4.画像処理装置の第3実施例について]図16に本開示の画像処理装置の第3実施例の構成図を示す。第3実施例は、第1実施例と同様、左右の視点の異なる2枚の画像左画像、右画像を入力とし、第1~第4の4視点の画像を出力する多視点画像生成を行う装置である。入力画像は第2視点画像と第3視点画像として出力し、2D3D変換部において第1視点画像と、第4視点画像を生成して出力する。この構成は図4を参照して説明した第1実施例と同様である。第1実施例との違いは、図4に示す奥行検出部253を持たず、左画像奥行推定部303と右画像奥行推定部304を有する点である。図16に示す画像処理装置300の構成に従って、この画像処理装置において実行する処理について説明する。左画像入力部301は、左画像第2視点画像を入力する。入力された左画像第2視点画像は、左画像奥行き推定部303、および左画像2D3D変換部305に入力される。同様に、右画像入力部302は、右画像第3視点画像を入力する。入力された右画像第3視点画像は、右画像奥行き推定部304、および右画像2D3D変換部306に入力される。左画像奥行き推定部303は、入力される左画像の画像特徴量輝度分布、エッジ分布などを計算し、その特徴量から入力画像の各位置画素単位あるいはブロック単位における奥行きを推定し、位置対応の奥行推定情報を生成して左画像2D3D変換部305に提供する。右画像奥行き推定部304は、入力される右画像の画像特徴量輝度分布、エッジ分布などを計算し、その特徴量から入力画像の各位置画素単位あるいはブロック単位における奥行きを推定し、位置対応の奥行推定情報を生成して右画像2D3D変換部306に提供する。なお、画像の画像特徴量輝度分布、エッジ分布などから画像の各位置画素単位あるいはブロック単位における奥行きを推定する処理としては、既存の様々な奥行き推定処理が適用可能である。具体的には、例えば、[Make3DLearning3DSceneStructurefromaSingleStillImageAshutoshSaxenaMinSunAndrewYNgInIEEETransactionsonPatternAnalysisandMachineIntelligence2008][AutomaticPhotoPopupDHoiemAAEfrosandMHebertACMSIGGRAPH2005]上記文献に記載の処理を適用することができる。左画像2D3D変換部305は、左画像入力部301から入力する左画像第2視点画像と、左画像奥行き推定部303で生成された左画像奥行き推定情報を入力して、これらの情報を利用して、入力左画像第2視点画像よりさらに左側の視点からの撮影画像に相当する第1視点画像を生成する。同様に、右画像2D3D変換部306は、右画像入力部302から入力する右画像第3視点画像と、右画像奥行き推定部304で生成された右画像奥行き推定情報を入力して、これらの情報を利用して、入力右画像第3視点画像よりさらに右側の視点からの撮影画像に相当する第4視点画像を生成する。これらの2D3D変換部における新たな視点画像の生成処理は、先に第1実施例および実施例2において図5~図12、図14~図15を参照して説明した処理と同様の処理として実行することができる。左画像2D3D変換部305の生成した第1視点画像は第1視点画像出力部307を介して出力する。左画像入力部301の入力した左画像、すなわち第2視点画像は第2視点画像出力部308を介して出力する。右画像入力部302の入力した右画像、すなわち第3視点画像は第3視点画像出力部309を介して出力する。右画像2D3D変換部306の生成した第4視点画像は第4視点画像出力部310を介して出力する。出力先は、表示装置や記憶装置あるいはネットワークを介した通信データとして出力される。これらの4つの異なる視点画像は、先に説明した実施例と同様、裸眼対応の3D表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した3D画像の提示が可能となる。[5.画像処理装置の第4実施例について]図17に本開示の画像処理装置の第4実施例の構成図を示す。第4実施例は、第1実施例と同様、左右の視点の異なる2枚の画像左画像、右画像を入力とし、第1~第4の4視点の画像を出力する多視点画像生成を行う装置である。入力画像は第2視点画像と第3視点画像として出力し、2D3D変換部において第1視点画像と、第4視点画像を生成して出力する。この構成は図4を参照して説明した第1実施例と同様である。第4実施例の構成は、図4に示す奥行検出部253を持たず、さらに、図16を参照して説明した実施例3で利用した奥行推定部も持たない。図17に示す画像処理装置350の構成に従って、この画像処理装置において実行する処理について説明する。左画像入力部351は、左画像第2視点画像を入力する。入力された左画像第2視点画像は、左画像2D3D変換部352に入力される。同様に、右画像入力部355は、右画像第3視点画像を入力する。入力された右画像第3視点画像は、右画像2D3D変換部356に入力される。左画像2D3D変換部352は、左画像入力部351から入力する左画像第2視点画像の画像特徴量などから奥行きを推定せずに、入力左画像第2視点画像より、さらに左側の視点に相当する視差を与えた画像第1視点画像を生成する。右画像2D3D変換部356は、右画像入力部355から入力する右画像第3視点画像の画像特徴量などから奥行きを推定せずに、入力右画像第3視点画像より、さらに右側の視点に相当する視差を与えた画像第4視点画像を生成する。これらの2D3D変換部における新たな視点画像の生成処理は、先に第1実施例および実施例2において図5~図12、図14~図15を参照して説明した処理と同様の処理として実行することができる。左画像2D3D変換部352の生成した第1視点画像は第1視点画像出力部353を介して出力する。左画像入力部351の入力した左画像、すなわち第2視点画像は第2視点画像出力部354を介して出力する。右画像入力部355の入力した右画像、すなわち第3視点画像は第3視点画像出力部357を介して出力する。右画像2D3D変換部356の生成した第4視点画像は第4視点画像出力部358を介して出力する。出力先は、表示装置や記憶装置あるいはネットワークを介した通信データとして出力される。これらの4つの異なる視点画像は、先に説明した実施例と同様、裸眼対応の3D表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、クロストークの発生を抑制した3D画像の提示が可能となる。本実施例では、奥行きを検出、または推定する回路を削減することが可能である。[6.画像処理装置の第5実施例について]図18に本開示の画像処理装置の第5実施例の構成図を示す。第5実施例は、第1実施例と同様、左右の視点の異なる2枚の画像左画像、右画像を入力とし、第1~第4の4視点の画像を出力する多視点画像生成を行う装置である。第5実施例では、先に説明した第1~第4実施例とは異なり、入力画像事態を出力画像として用いず、入力画像に基づいて、新たな全ての出力画像である第1~4視点画像を生成する。本例は、例えば、図3の構成において、視点1,103と左カメラ101の中間位置からの撮影画像を左画像として入力し、右カメラ102と、視点4,104の中間位置からの撮影画像を右画像として入力する。これらの入力画像に基づいて、図3に示す第1~第4視点画像を新たな視点画像として生成する。このような処理を行う構成に相当する。図18に示す画像処理装置400の構成に従って、この画像処理装置において実行する処理について説明する。左画像入力部401は、左画像を入力する。入力された左画像は、奥行き検出部403、および左画像2D3D変換部405に入力される。同様に、右画像入力部402は、右画像を入力する。入力された右画像は、奥行き検出部403、および右画像2D3D変換部405に入力される。奥行き検出部403は、左画像の各画素、または各ブロックが、右画像のどの画素またはブロックに対応するかを検出し、その位置の差を左画像の当該画素に相当する位置に保存した左画像奥行情報と、右画像の各画素、または各ブロックが、左画像のどの画素またはブロックに対応するかを検出し、その位置の差を右画像の当該画素に相当する位置に保存した右画像奥行情報を生成する。左画像2D3D変換部404は、左画像入力部401から入力する左画像と、奥行き検出部403で生成された左画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力左画像よりさらに左側の視点からの画像第1視点画像と、入力左画像の右側の視点からの撮影画像に相当する画像第2視点画像の2つの画像を生成する。同様に、右画像2D3D変換部405は、右画像入力部402から入力する右画像と、奥行き検出部403で生成された右画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力右画像の左側の視点からの画像第3視点画像と、入力右画像よりさらに右側の視点からの撮影画像に相当する画像第4視点画像の2つの画像を生成する。これらの2D3D変換部における新たな視点画像の生成処理は、先に第1実施例および実施例2において図5~図12、図14~図15を参照して説明した処理と同様の処理として実行することができる。左画像2D3D変換部404の生成した第1視点画像は第1視点画像出力部406を介して出力する。左画像2D3D変換部404の生成した第2視点画像は第2視点画像出力部407を介して出力する。右画像2D3D変換部405の生成した第3視点画像は第3視点画像出力部408を介して出力する。右画像2D3D変換部405の生成した第4視点画像は第4視点画像出力部409を介して出力する。なお、画像の出力先は、例えば3D画像表示の表示処理を実行する装置、あるいは3D画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。これらの4つの異なる視点画像は、先に説明した実施例1と同様、例えば表示装置において3D画像表示を実行する際、ユーザの観察位置に応じて適宜2つの画像を選択して左眼用画像と右眼用画像として出力する処理に適用される。すなわち、裸眼対応の3D表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した3D画像の提示が可能となる。[7.画像処理装置の第6実施例について]図19に本開示の画像処理装置の第6実施例の構成図を示す。第6実施例は、第1実施例と同様、左右の視点の異なる2枚の画像左画像、右画像を入力とし、第1~第4の4視点の画像を出力する多視点画像生成を行う装置である。第6実施例は、図16を参照して説明した第3実施例と同様の奥行推定部を有する。また、図18を参照して説明した第5実施例と同様、入力画像自体を出力画像として用いず、入力画像に基づいて全ての出力画像である新たな第1~4視点画像を生成する。例えば、図3の構成において、視点1,103と左カメラ101の中間位置からの撮影画像を左画像として入力し、右カメラ102と、視点4,104の中間位置からの撮影画像を右画像として入力する。これらの入力画像に基づいて、新たな第1~第4視点画像を生成する。このような処理を行う構成に相当する。図19に示す画像処理装置450の構成に従って、この画像処理装置において実行する処理について説明する。左画像入力部451は、左画像を入力する。入力された左画像は、左画像奥行き推定部453、および左画像2D3D変換部455に入力される。同様に、右画像入力部452は、右画像を入力する。入力された右画像は、右画像奥行き推定部454、および右画像2D3D変換部456に入力される。左画像2D3D変換部455は、左画像入力部451から入力する左画像と、左画像奥行き推定部453で生成された左画像奥行き推定情報を入力して、これらの情報を利用して、入力左画像よりさらに左側の視点からの画像第1視点画像と、入力左画像の右側の視点からの撮影画像に相当する画像第2視点画像の2つの画像を生成する。右画像2D3D変換部456は、右画像入力部452から入力する右画像と、右画像奥行き推定部454で生成された右画像奥行き推定情報を入力して、これらの情報を利用して、入力右画像より左側の視点からの画像第3視点画像と、入力右画像よりさらに右側の視点からの撮影画像に相当する画像第4視点画像の2つの画像を生成する。これらの2D3D変換部における新たな視点画像の生成処理は、先に第1実施例および実施例2において図5~図12、図14~図15を参照して説明した処理と同様の処理として実行することができる。左画像2D3D変換部455の生成した第1視点画像は第1視点画像出力部457を介して出力する。左画像2D3D変換部455の生成した第2視点画像は第2視点画像出力部458を介して出力する。右画像2D3D変換部456の生成した第3視点画像は第3視点画像出力部459を介して出力する。右画像2D3D変換部456の生成した第4視点画像は第4視点画像出力部460を介して出力する。なお、画像の出力先は、例えば3D画像表示の表示処理を実行する装置、あるいは3D画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。これらの4つの異なる視点画像は、先に説明した実施例1と同様、例えば表示装置において3D画像表示を実行する際、ユーザの観察位置に応じて適宜2つの画像を選択して左眼用画像と右眼用画像として出力する処理に適用される。すなわち、裸眼対応の3D表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した3D画像の提示が可能となる。[8.画像処理装置の第7実施例について]図20に本開示の画像処理装置の第7実施例の構成図を示す。第7実施例は、第1実施例と同様、左右の視点の異なる2枚の画像左画像、右画像を入力とし、第1~第4の4視点の画像を出力する多視点画像生成を行う装置である。第7実施例は、図17を参照して説明した第4実施例と同様、奥行検出部も奥行推定部も持たない構成である。また、図18を参照して説明した第5実施例と同様、入力画像自体を出力画像として用いず、入力画像に基づいて全ての出力画像である第1~4視点画像を生成する。例えば、図3の構成において、視点1,103と左カメラ101の中間位置からの撮影画像を左画像として入力し、右カメラ102と、視点4,104の中間位置からの撮影画像を右画像として入力する。これらの入力画像に基づいて、新たな第1~第4視点画像を生成する。このような処理を行う構成に相当する。図20に示す画像処理装置500の構成に従って、この画像処理装置において実行する処理について説明する。左画像入力部501は、左画像を入力する。入力された左画像は、左画像2D3D変換部502に入力される。同様に、右画像入力部502は、右画像を入力する。入力された右画像は、右画像2D3D変換部506に入力される。左画像2D3D変換部502は、左画像入力部501から入力する左画像の画像特徴量などから奥行きを推定せずに、入力左画像よりさらに左側の視点からの画像第1視点画像と、入力左画像の右側の視点からの撮影画像に相当する画像第2視点画像の2つの画像を生成する。右画像2D3D変換部506は、右画像入力部502から入力する右画像の画像特徴量などから奥行きを推定せずに、入力右画像の左側の視点からの画像第3視点画像と、入力右画像よりさらに右側の視点からの撮影画像に相当する画像第4視点画像の2つの画像を生成する。これらの2D3D変換部における新たな視点画像の生成処理は、先に第1実施例および実施例2において図5~図12、図14~図15を参照して説明した処理と同様の処理として実行することができる。左画像2D3D変換部502の生成した第1視点画像は第1視点画像出力部503を介して出力する。左画像2D3D変換部502の生成した第2視点画像は第2視点画像出力部504を介して出力する。右画像2D3D変換部506の生成した第3視点画像は第3視点画像出力部507を介して出力する。右画像2D3D変換部506の生成した第4視点画像は第4視点画像出力部508を介して出力する。なお、画像の出力先は、例えば3D画像表示の表示処理を実行する装置、あるいは3D画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。これらの4つの異なる視点画像は、先に説明した実施例1と同様、例えば表示装置において3D画像表示を実行する際、ユーザの観察位置に応じて適宜2つの画像を選択して左眼用画像と右眼用画像として出力する処理に適用される。すなわち、裸眼対応の3D表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した3D画像の提示が可能となる。[9.画像処理装置の第8実施例について]図21に本開示の画像処理装置の第8実施例の構成図を示す。これまで説明した実施例では、左右の視点の異なる2枚の画像左画像、右画像を入力とし、第1~第4の4視点の画像を出力する多視点画像生成を行う処理例について説明した。図21に示す第8実施例の画像処理装置550は、左右の視点の異なる2枚の画像左画像、右画像を入力とし、さらに多くの第1~第6の6視点の画像を出力する多視点画像生成を行う。なお、生成する第1~第6の6視点の画像の各々は、最も左側の視点の画像を第1視点画像とし、第2、第3と順次、右側へ移動した視点の画像であり、最も右側の視点の画像が第6視点画像とする。図21に示す第8実施例の画像処理装置550は、入力画像の左画像をそのまま第3視点画像として出力し、入力左画像第3視点画像に基づいて、入力左画像の左側の視点の第2視点画像と、さらに左側の第1視点画像を生成して出力する。また、入力画像の右画像をそのまま第4視点画像として出力し、入力右画像第4視点画像に基づいて、入力右画像の右側の視点の第5視点画像と、さらに右側の第6視点画像を生成して出力する。図21に示す画像処理装置550の構成に従って、この画像処理装置において実行する処理について説明する。左画像入力部551は、左画像を入力する。入力された左画像は、奥行き検出部553、および左画像第1-2D3D変換部554に入力される。同様に、右画像入力部552は、右画像を入力する。入力された右画像は、奥行き検出部553、および右画像第1-2D3D変換部556に入力される。奥行き検出部553は、左画像の各画素、または各ブロックが、右画像のどの画素またはブロックに対応するかを検出し、その位置の差を左画像の当該画素に相当する位置に保存した左画像奥行情報と、右画像の各画素、または各ブロックが、左画像のどの画素またはブロックに対応するかを検出し、その位置の差を右画像の当該画素に相当する位置に保存した右画像奥行情報を生成する。左画像第1-2D3D変換部554は、左画像入力部551から入力する左画像第3視点画像と、奥行き検出部553で生成された左画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力左画像よりさらに左側の視点からの画像第2視点画像を生成する。生成した第2視点画像は、第2視点画像出力部559を介して出力されるとともに、左画像第2-2D3D変換部555に提供される。左画像第2-2D3D変換部555は、左画像第1-2D3D変換部554から入力する第2視点画像と、奥行き検出部553で生成された左画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力した第2視点画像よりさらに左側の視点からの画像第1視点画像を生成する。生成した第1視点画像は、第1視点画像出力部558を介して出力される。また、右画像第1-2D3D変換部556は、右画像入力部552から入力する右画像第4視点画像と、奥行き検出部553で生成された右画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力右画像よりさらに漕ぎ側の視点からの画像第5視点画像を生成する。生成した第5視点画像は、第5視点画像出力部562を介して出力されるとともに、右画像第2-2D3D変換部557に提供される。右画像第2-2D3D変換部557は、右画像第1-2D3D変換部556から入力する第5視点画像と、奥行き検出部553で生成された右画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力した第5視点画像よりさらに右側の視点からの画像第6視点画像を生成する。生成した第6視点画像は、第6視点画像出力部563を介して出力される。これらの2D3D変換部における新たな視点画像の生成処理は、先に第1実施例および実施例2において図5~図12、図14~図15を参照して説明した処理と同様の処理として実行することができる。左画像第2-2D3D変換部555の生成した第1視点画像は、第1視点画像出力部558を介して出力する。左画像第1-2D3D変換部554の生成した第2視点画像は、第2視点画像出力部559を介して出力する。左画像入力部551を介して入力した画像第3視点画像は、第3視点画像出力部560を介して出力する。右画像入力部552を介して入力した画像第4視点画像は、第4視点画像出力部561を介して出力する。右画像第1-2D3D変換部556の生成した第5視点画像は、第5視点画像出力部562を介して出力する。右画像第2-2D3D変換部557の生成した第6視点画像は、第6視点画像出力部563を介して出力する。なお、画像の出力先は、例えば3D画像表示の表示処理を実行する装置、あるいは3D画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。これらの6つの異なる視点画像は、先に説明した実施例1と同様、例えば表示装置において3D画像表示を実行する際、ユーザの観察位置に応じて適宜2つの画像を選択して左眼用画像と右眼用画像として出力する処理に適用される。すなわち、裸眼対応の3D表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した3D画像の提示が可能となる。本実施例においては、第1~第7の実施例で説明した4つの視点画像より、さらに多くの異なる多視点画像の生成が可能である。図21に示すように2D3D変換処理部を直列的に接続することにより、生成する視点数を増やすことが出来る。なお、2D3D変換処理は、2段に限らずより多段に接続することも可能である。[10.画像処理装置の第9実施例について]図22に本開示の画像処理装置の第9実施例の構成図を示す。図22に示す第9実施例の画像処理装置600は、視点の異なる4枚の画像第1画像~第4画像を入力とし、第1~第8の8視点の画像を出力する多視点画像生成を行う。なお、生成する第1~第8の8視点の画像の各々は、最も左側の視点の画像を第1視点画像とし、第2、第3と順次、右側へ移動した視点の画像であり、最も右側の視点の画像が第8視点画像とする。図22に示す第9実施例の画像処理装置600は、入力画像の第1画像は、そのまま第2視点画像として出力し、入力第1画像第2視点画像に基づいて、入力第1画像第2視点画像の左側の視点の第1視点画像を生成して出力する。また、入力画像の第2画像は、そのまま第4視点画像として出力し、入力第2画像第4視点画像に基づいて、入力第2画像第4視点画像の左側の視点の第3視点画像を生成して出力する。さらに、入力画像の第3画像は、そのまま第5視点画像として出力し、入力第3画像第5視点画像に基づいて、入力第3画像第5視点画像の右側の視点の第6視点画像を生成して出力する。また、入力画像の第4画像は、そのまま第7視点画像として出力し、入力第4画像第7視点画像に基づいて、入力第4画像第7視点画像の右側の視点の第8視点画像を生成して出力する。図22に示す画像処理装置600の構成に従って、この画像処理装置において実行する処理について説明する。第1画像入力部601は、第1画像を入力する。入力された第1画像は、第1奥行き検出部611、および第1-2D3D変換部621に入力される。第2画像入力部602は、第2画像を入力する。入力された第2画像は、第1奥行き検出部611、および第2奥行き検出部612、さらに第2-2D3D変換部622に入力される。第3画像入力部603は、第3画像を入力する。入力された第3画像は、第2奥行き検出部612、および第3奥行き検出部613、さらに第3-2D3D変換部623に入力される。第4画像入力部604は、第4画像を入力する。入力された第4画像は、第3奥行き検出部613、および第4奥行き検出部614、さらに第4-2D3D変換部624に入力される。第1奥行き検出部611は、第1画像の各画素、または各ブロックが、第2画像のどの画素またはブロックに対応するかを検出し、その位置の差を第1画像の当該画素に相当する位置に保存した第1画像奥行情報を生成する。第2奥行き検出部612は、第2画像の各画素、または各ブロックが、第3画像のどの画素またはブロックに対応するかを検出し、その位置の差を第2画像の当該画素に相当する位置に保存した第2画像奥行情報を生成する。さらに、第3画像の各画素、または各ブロックが、第2画像のどの画素またはブロックに対応するかを検出し、その位置の差を第3画像の当該画素に相当する位置に保存した第3画像奥行情報を生成する。第3奥行き検出部613は、第4画像の各画素、または各ブロックが、第3画像のどの画素またはブロックに対応するかを検出し、その位置の差を第4画像の当該画素に相当する位置に保存した第4画像奥行情報を生成する。第1-2D3D変換部621は、第1画像入力部601から入力する第1画像第2視点画像と、第1奥行き検出部611で生成された第1画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力第1画像第2視点画像よりさらに左側の視点からの画像第1視点画像を生成する。第2-2D3D変換部622は、第2画像入力部602から入力する第2画像第4視点画像と、第2奥行き検出部612で生成された第2画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力第2画像第4視点画像よりさらに左側の視点からの画像第3視点画像を生成する。第3-2D3D変換部623は、第3画像入力部603から入力する第3画像第5視点画像と、第2奥行き検出部612で生成された第3画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力第3画像第5視点画像よりさらに右側の視点からの画像第6視点画像を生成する。第4-2D3D変換部624は、第4画像入力部604から入力する第4画像第7視点画像と、第3奥行き検出部613で生成された第4画像奥行情報例えば距離画像を入力して、これらの情報を利用して、入力第4画像第7視点画像よりさらに右側の視点からの画像第8視点画像を生成する。これらの2D3D変換部における新たな視点画像の生成処理は、先に第1実施例および実施例2において図5~図12、図14~図15を参照して説明した処理と同様の処理として実行することができる。第1-2D3D変換部621の生成した第1視点画像は、第1視点画像出力部631を介して出力する。第1画像入力部601を介して入力した画像第2視点画像は、第2視点画像出力部632を介して出力する。第2-2D3D変換部622の生成した第2視点画像は、第2視点画像出力部633を介して出力する。第2画像入力部602を介して入力した画像第4視点画像は、第4視点画像出力部634を介して出力する。第3画像入力部603を介して入力した画像第5視点画像は、第5視点画像出力部635を介して出力する。第3-2D3D変換部623の生成した第6視点画像は、第6視点画像出力部636を介して出力する。第4画像入力部604を介して入力した画像第7視点画像は、第7視点画像出力部637を介して出力する。第4-2D3D変換部624の生成した第8視点画像は、第8視点画像出力部638を介して出力する。なお、画像の出力先は、例えば3D画像表示の表示処理を実行する装置、あるいは3D画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。これらの8つの異なる視点画像は、先に説明した実施例1と同様、例えば表示装置において3D画像表示を実行する際、ユーザの観察位置に応じて適宜2つの画像を選択して左眼用画像と右眼用画像として出力する処理に適用される。すなわち、裸眼対応の3D表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した3D画像の提示が可能となる。本実施例の構成では3以上の視点の異なる3枚以上の画像を入力とし、4以上の視点画像を生成する構成が実現される。[11.本開示の構成のまとめ]以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。なお、本明細書において開示した技術は、以下のような構成をとることができる。13次元画像表示に適用する右眼用の画像信号を入力する右画像入力部と、3次元画像表示に適用する左眼用の画像信号を入力する左画像入力部と、前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する右画像変換部と、前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する左画像変換部と、前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力する画像出力部を有する画像処理装置。2前記右眼用の入力画像信号と、前記左眼用の入力画像信号からそれぞれの画像信号に対応した被写体距離情報を持つ画像奥行情報を生成する奥行き検出部を有し、前記左画像変換部、および右画像変換部は、前記画像奥行情報を補助情報として前記画像信号を左方向、または右方向に位相変化を施した変換画像を生成する前記1に記載の画像処理装置。3前記右眼用の入力画像信号と、前記左眼用の入力画像信号からそれぞれの画像信号に対応した被写体距離推定情報を生成する奥行き推定部を有し、前記左画像変換部、および右画像変換部は、前記奥行き推定情報を補助情報として画像信号を左方向、または右方向に位相変化を施した変換画像を生成する1または2に記載の画像処理装置。4前記左画像変換部、および右画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を特徴量として設定し、入力画像信号に対して、輝度微分信号あるいは輝度微分信号の非線形変換信号を加算または減算することで前記変換画像を生成する1~3いずれかに記載の画像処理装置。5前記左画像変換部、または右画像変換部は多段接続構成を有し、前段の画像変換部が生成した変換画像を後段の画像変換部に入力し、入力画像信号に対する位相変化を施す処理を各画像変換部において繰り返し実行し、各画像変換部において、順次新たな変換画像を生成する1~4いずれかに記載の画像処理装置。6前記左画像変換部、および右画像変換部は、前記右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、該画像間距離差に従って、新たな視点画像と他画像から得られる最大距離および最少距離の被写体間の画像間距離差を制御した新たな視点画像を生成する1~5いずれかに記載の画像処理装置。7前記左画像変換部、および右画像変換部は、前記右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、最終的に出力する視点画像数に応じて各視点画像間の画像間距離差をほぼ均等に配分した新たな視点画像の生成を行う1~6いずれかに記載の画像処理装置。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LANLocalAreaNetwork、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。"