"同一シーンを複数の視点から撮像した複数の画像データを取得する画像データ取得手段と、仮想撮像系が合焦する面の情報を取得する合焦面配置情報取得手段と、前記複数の視点の配置の情報を取得する視点配置情報取得手段と、前記合焦する面の情報と前記複数の視点の配置の情報とから、前記複数の画像データの画素が前記仮想撮像系の画像上のどの位置に配置されるかを表す画素配置パラメータを算出する画素配置パラメータ算出手段と、前記画素配置パラメータから前記複数の画像データ間の前記仮想撮像系の画像上での画素値の整合度を算出する整合度算出手段と、前記整合度から前記仮想撮像系の画像上での画素位置の近傍にある画素の画素補間パラメータを算出する画素補間パラメータ算出手段と前記配置パラメータと前記画素補間パラメータとを用いて、前記複数の画像から画像合成を行う画像合成手段とを備えることを特徴とする画像処理装置。前記画素補間パラメータ算出手段は、前記画素補間パラメータとして、前記画像合成手段が前記仮想撮像系の画像データの画素値を決定する際に参照する前記複数の視点の画像データの夫々の画素の寄与度を算出することを特徴とする請求項1に記載の画像処理装置。前記画素補間パラメータ算出手段は、前記整合度が高い仮想撮像系の画像上の領域ほど、前記仮想撮像系の画像の画素の近くにある前記複数の視点の画像の画素の寄与度が高くなるよう前記画素補間パラメータを算出することを特徴とする請求項2記載の画像処理装置。前記整合度算出手段は、前記整合度として、前記複数の視点の画像データの画素を前記仮想撮像系の画像上に配置し補間して得られた複数の画像データ間の画素毎の画素値のばらつきを算出することを特徴とする請求項1から3のいずれかに記載の画像処理装置。前記同一シーンを複数の視点から撮像した複数の画像データは、1つの撮像装置の配置を変えながら撮像した画像群または、複数の撮像部を備える多視点撮像装置で撮像した画像群のいずれかであることを特徴とする請求項1から4のいずれかに記載の画像処理装置。同一シーンを複数の視点から撮像した複数の画像データを取得する画像データ取得ステップと、仮想撮像系が合焦する面の情報を取得する合焦面配置情報取得ステップと、前記複数の視点の配置の情報を取得する視点配置情報取得ステップと、前記合焦する面の情報と前記複数の視点の配置の情報とから、前記複数の画像データの画素が前記仮想撮像系の画像上のどの位置に配置されるかを表す画素配置パラメータを算出する画素配置パラメータ算出ステップと、前記画素配置パラメータから前記複数の画像データ間の前記仮想撮像系の画像上での画素値の整合度を算出する整合度算出ステップと、前記整合度から前記仮想撮像系の画像上での画素位置の近傍にある画素の画素補間パラメータを算出する画素補間パラメータ算出ステップと前記配置パラメータと前記画素補間パラメータとを用いて、前記複数の画像から画像合成を行う画像合成ステップとを備えることを特徴とする画像処理方法。コンピュータを請求項1から5のいずれか1項に記載の画像処理装置として機能させるためのプログラム。多視点からの画像データを用いて、リフォーカス処理と高解像度化処理とを同時に行う場合、どの視点から見ても被写体上の同一の点は同じ輝度色に見えている必要がある。また、被写体が仮想的なピントを合わせる面上に存在する必要がある。そのため、上記条件から逸脱している場合、画質劣化が生じるという課題があった。本発明に係る画像処理装置は、同一シーンを複数の視点から撮像した複数の画像データを取得する画像データ取得手段と、仮想撮像系が合焦する面の情報を取得する合焦面配置情報取得手段と、前記複数の視点の配置の情報を取得する視点配置情報取得手段と、前記合焦する面の情報と前記複数の視点の配置の情報とから、前記複数の画像データの画素が前記仮想撮像系の画像上のどの位置に配置されるかを表す画素配置パラメータを算出する画素配置パラメータ算出手段と、前記画素配置パラメータから前記複数の画像データ間の前記仮想撮像系の画像上での画素値の整合度を算出する整合度算出手段と、前記整合度から前記仮想撮像系の画像上での画素位置の近傍にある画素の画素補間パラメータを算出する画素補間パラメータ算出手段と前記配置パラメータと前記画素補間パラメータとを用いて、前記複数の画像から画像合成を行う画像合成手段とを備えることを特徴とする。多視点からの画像を用いて、リフォーカス処理と高解像度化処理とを同時に行う場合に、視点による被写体上の同一の点の輝度の違いや、被写体が仮想的なピントを合わせる面上に存在しない事によって生じる画質劣化を抑制できる。<<実施形態1>><撮像装置の全体構成>図1は、本発明の実施形態に係る多視点撮像装置の一例を示した模式図である。多視点撮像装置は、筺体101を有する。図1aが多視点撮像装置の前面の図であり図1bが多視点撮像装置の背面の図である。撮像部105~113は、多視点撮像装置の前面に複数に配置されており、これにより多視点撮像装置は複数の視点の画像データを取得する。多視点撮像装置は、撮影ボタン102、ディスプレイ103、操作ボタン104をさらに有する。操作ボタン104とディスプレイ103とを用いて設定を行い、撮影ボタン102を押下することで、撮像部105~113による撮像が行われる。取得した画像データが示す画像および合成した画像データが示す画像はディスプレイ103に表示される。図2は、本発明の実施形態1に係る多視点撮像装置の構成の一例を示すブロック図である。多視点撮像部213は、詳細は後述するが、複数の撮像部によって構成され、複数の視点から同一シーンの画像データの取得を行う。多視点撮像部213を構成する各撮像部は、光学系によって結像した像を、イメージセンサにより画像データへと変換する。画像処理部214は、詳細は後述するが、多視点撮像部213により取得した多視点画像データからリフォーカス処理を行い、合成画像を生成する。画像処理部214は、多視点撮像部を構成する複数の視点の配置の情報及び特性の情報を必要とする。これらの情報はあらかじめ算出されてROM202ないしはRAM203に格納されているものとする。画像処理部214による画像処理が行われるので、多視点撮像装置は画像処理装置と見なすことができる。CPU201は、各構成の処理全般に関わり、ROM202やRAM203に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ROM202とRAM203は、その処理に必要なプログラム、データ、作業領域などをCPU201に提供する。バス210は各構成間で、データや処理の指示をやり取りするための経路として機能する。操作部204は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。キャラクタージェネレーション209は、文字やグラフィックなどを生成する。表示部206は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション209や表示制御部205から受け取った撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザー指示を操作部204の入力として扱うことも可能である。デジタル信号処理部212は多視点撮像部213により取得された多視点画像データのγ調整や欠陥画素の補間などを行う。これらの処理は画像処理部214による処理の前に行われる。エンコーダ部211は出力される多視点画像データのエンコード処理を行う。メディアインターフェース207は、PCその他メディア例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ208につなぐためのインターフェースである。メディアインターフェース207を介して合成画像及び多視点画像の出力が行われる。なお、装置の構成要素は上記以外にも存在するが、本実施形態の主眼ではないので、説明を省略する。<多視点撮像部の構成>図3のブロック図により多視点撮像部213の構成例を説明する。撮像部301~309はそれぞれ単一の視点から画像データを取得する機能を有する。これらを空間的に異なる位置に配置することで、多視点画像データを取得する。撮像部301~309は図1の撮像部105~113に対応する。図4のブロック図により撮像部301~309の構成例を説明する。レンズ401及びレンズ402は結像光学系を構成する。被写体から発せられた光線は該結像光学系により、絞り403、IRカットフィルタ404、ローパスフィルタ405、カラーフィルタ406を通過した後に、撮像素子407上に結像される。光学系制御部410はレンズ401及びレンズ402を制御して、その結像光学系としての合焦距離や焦点距離を変化させる。また、絞り403を開閉して、F値の調整を行う。撮像部301~309それぞれに属する光学系制御部410は、撮像制御部310により一括して制御値が設定される。設定される合焦距離や焦点距離、F値は、操作部204でユーザーにより入力された設定値か、別途設けられた自動露出装置、オートフォーカス装置などにより算出された値に基づいて決められる。なお、ここで示した光学系の構成は、説明のために単純化した例であり、撮像素子上に被写体の像を結像させる機能を有すればどのような構成でもかまわない。また、カラー画像を取得する構成について説明したが、取得する画像は白黒や4色以上の画素を持つ画像、画素毎に露出の異なる画像でもかまわない。撮像素子407及びA/D変換部408はCMOSイメージセンサなどのイメージセンサに相当する。撮像素子407は2次元の格子状に配列され、結像された像を電気信号に変換する。A/D変換部408は電気信号に変換された像の情報をデジタル信号に変換する。デジタル信号に変換された像の情報はバッファ409内に格納され、画像データとなる。撮像素子制御部411は撮像素子407及びA/D変換部408に対して、露光の開始と信号の読み出しの制御を行う。制御のタイミングなどの制御値は撮像制御部310により一括して設定される。以上、撮像部301~309を図4のみで説明したが、撮像部301~309の詳細な設計や構成は同一でなくてもよく、それぞれが被写体の像を結像し、画像データを取得する機能を有すれば、どのような構成でもかまわない。図5を用いて撮像部301~309の配置例を説明する。各撮像部はその結像光学系の光軸方向を軸に持つ円筒形の筺体に格納され、多視点撮像装置の筺体501上に格子状に配置されている。筺体501は図1の筺体101に対応する。各撮像部の結像光学系の光軸は同じ向きになるよう配置されている。図5aは多視点撮像装置を正面から見た図である。図5bは図5aにおける左方から多視点撮像装置を見た図である。図5cは図5aにおける上方から多視点撮像装置を見た図である。各図の関係を明らかにするため、図の中に右手系の座標軸を記した。なお、本実施形態では撮像部が9つの場合について説明を行ったが、複数視点からの撮像が可能であれば、撮像部の数はいくつであっても構わない。また、図5の配置は一例に過ぎず、各視点の配置が設計ないしは計測結果から知ることができるならば、どのような配置でもかまわない。図6を用いて、以降の説明で用いる視点の配置情報の記述方法について説明する。ここでは各視点の画像を取得する撮像部を、単純な透視投影カメラとして考える。座標系として、撮像部座標系、多視点撮像部座標系を考え、それらの関係から視点の配置を表現する。各座標軸の関係は右手系とする。多視点撮像部座標系は多視点撮像部に対応する座標系であり、各撮像部の視点の位置と向きの基準となる。撮像部座標系は各撮像部に対応する座標系であり、そのz軸方向は各撮像部の光軸方向を、その原点は光学中心を表している。n番目の撮像部の撮像部座標系の原点は、多視点撮像部座標系を用いてtnと表す。また、n番目の撮像部の撮像部座標系のx軸、y軸、z軸は、それぞれ多視点撮像部座標系の単位ベクトルを用いてvxn、vyn、vznと表す。本実施形態では、各撮像部は多視点撮像部座標系でz成分が0となるような平面に近い位置配置されており、各撮像部の光軸はほぼ多視点撮像部座標系のz軸方向を向いているものとする。なお、この例は説明を簡便にするためのものであり、z成分が必ずしも0でなくても本実施形態を適用することは可能である。以上の撮像部配置情報は設計値ないしはキャリブレーションによって算出され、あらかじめROM202またはRAM203に格納されているものとする。多視点撮像部座標系はリフォーカス処理によって再現する仮想的な撮像系の配置の基準ともなる。仮想的な撮像系は、仮想的な光学系に対して仮想的なイメージセンサと共役の関係になるような面、すなわち像側のピントが合っている面を用いて表現される。このような面を以降、仮想合焦面と呼ぶ。本実施形態では仮想合焦面は多視点撮像部座標系のz軸に垂直であるものとし、仮想合焦面の位置は多視点撮像部座標系の原点からの距離dを用いて表す。仮想合焦面を表す情報は、ユーザーインターフェースを介してユーザーが入力するなどしたパラメータから算出されあらかじめRAM203に格納されているものとする。なお、以上説明した撮像部の配置と仮想的な撮像系の表現は一例であり、各撮像部と多視点撮像装置、仮想的な撮像系の配置についての情報を与えるならば、どのような表現でも構わない。<画像処理部の構成>図7のブロック図により画像処理部214の構成例を説明する。多視点画像取得部701は、多視点撮像部213によって撮像された多視点画像データを、バス210を介して取得する。バッファ705は、多視点画像取得部701で取得した多視点画像データを保持する。視点配置情報取得部702は、あらかじめ既知となっている多視点撮像部213を構成する各視点の配置や特性についての情報をバス210を介して取得する。仮想合焦面配置情報取得部703はあらかじめユーザーによって設定されている、仮想合焦面の配置についての情報をバス210を介して取得する。画素配置パラメータ算出部704は、詳細は後述するが、各視点の画像の画素が、画像合成部708で生成する画像上の、どの位置に配置されるかを表すパラメータを、視点配置情報と仮想合焦面配置情報とから算出する。整合度算出部706は、詳細は後述するが、画像合成部708で生成する画像上に画素を配置した際の、各視点の画像データ間の局所的な画素値の整合性を、バッファ705に保持されている多視点画像データと、画素配置パラメータとから算出する。画素補間パラメータ算出部707は、詳細は後述するが、画像合成部708で各視点の画像の配置された画素を補間して合成画像を生成する際のパラメータを、整合度算出部706で算出した整合度に基づいて算出する。画像合成部708は、詳細は後述するが、バッファ705に保持されている多視点画像データと、画素補間パラメータ算出部707で算出された補間パラメータ、画素配置パラメータ算出部704で算出された画素配置パラメータから画像の合成を行う。画像出力部709は画像合成部708で合成された画像をバス210へと出力する。図8を用いて、画像処理部の処理の流れの一例を説明する。ステップS801では多視点画像取得部701が多視点画像データとして複数の画像データを取得する画像データ取得処理。ステップS802では視点配置情報取得部702が、多視点画像データを取得した各視点の配置についての情報を取得する。ステップS803では仮想合焦面配置情報取得部703が、ユーザーによって設定された仮想合焦面の配置についての情報を取得する。ステップS804では画素配置パラメータ算出部704が、ステップS702で取得した視点配置情報と、ステップS703で取得した仮想合焦面配置情報から、各視点の画像の画素が、合成画像上のどの位置に配置されるかを表すパラメータを算出する。ステップS805では整合度算出部706が、ステップS801で取得した画像をステップS804で算出した画素配置パラメータを用いて、合成画像上に配置した際の、画像間の整合度を算出する。ステップS806では画素補間パラメータ算出部707が、ステップS805で算出した整合度を用いて、画像合成時に行う補間処理のパラメータを算出する。ステップS807では画像合成部708が、ステップS801で取得した画像を、ステップS804で算出した画素配置パラメータを用いて合成画像上に配置し、ステップS806で算出した画素補間パラメータに基づいて補間を行うことで合成画像を生成する。ステップS808では画像出力部709が、ステップS807で生成した合成画像を出力する。ステップS804、S805、S806、S807における処理方法の詳細は後述する。<画素配置パラメータ算出方法>画像処理部214では多視点撮像部213で撮像した多視点画像データを用いて、仮想的な撮像系で撮像したかのような画像を生成するリフォーカス処理を行う。多視点画像データはシーンのLFの情報を持つので、これを仮想的な光学系で結像し、仮想的なイメージセンサで画像化する過程を再現すれば、仮想的な撮像系で撮像したかのような画像が得られる。結像光学系の性質から、像側のある点を通る光線は、物体側の共役点を必ず通る。従って、仮想光学系に対する仮想イメージセンサの物体側の共役面を考え、この面上の各点を通る光線を足し合わせることで、仮想的な撮像系で撮像したかのような画像が得られる。この共役面は、仮想的な撮像系の物体側のピントが合っている面であり、ここでは仮想合焦面と呼んでいる。仮想合焦面上で足し合わせられた光線をサンプリングして得られるものが合成画像である。画素配置パラメータは多視点画像の各画像上の座標を、合成画像上の座標に変換するためのパラメータを意味する。画素配置パラメータ算出方法の一例を示す。まず、n番目の撮像部の横画角をθxn、縦画角をθyn、横画素数をsxn、縦画素数をsyn、画像上の光学中心位置をcxn,cynとし、内部パラメータ行列Anを式1のように表す。同様にリフォーカス処理によって合成する仮想撮像系の内部パラメータ行列Avを定義する。横画角をθxv、縦画角をθyv、横画素数をsxv、縦画素数をsyv、画像上の光学中心位置をcxv,cyvとすると、内部パラメータ行列Avは式2のように表される。また、図6の記法を用いて、各撮像部座標系から多視点撮像部座標系への4行4列の座標変換行列Mnは式3のように表す。また、3行3列の回転行列Rnを式4のように表す。あるカメラにおけるある画素の座標をとしたとき、式5のようなの斉次座標xhを用いると、対応する光線rは式6のように表される。ここで、kは光線の軌跡を表すパラメータである。光線と仮想合焦面の交点に対応するkと、多視点撮像部座標系の原点から仮想合焦面までの距離d、仮想合焦面の法線単位ベクトルであるz軸方向単位ベクトルをezの関係は式7のようになる。これを、1kについて解いたものは、式8に示すBnを用いて、式9のようになる。式6、式7、式9を用いると、光線と仮想合焦面の交点を合成画像上の座標に変換して得られる斉次座標x’hは式10のようになる。λは不定性を表す係数であり、あるスカラーである。式10は画像の射影変換に相当する。本実施形態では式11のような射影変換行列Hnを全撮像部について計算して得た、行列の集まりを画素配置パラメータとして扱う。なお、本実施形態の画素配置パラメータとその算出方法は一例であり、多視点撮像部によって得た画像上の座標と、合成画像上の座標の対応関係を規定するものならばどのようなものでもよい。<整合度算出方法>整合度算出部706では多視点撮像部213で撮像した多視点画像データの画素を合成画像上に配置した際の、異なる視点間の整合度を、合成画像上の領域毎に算出する。ここでは、整合度算出方法の一例を説明する。本実施形態では多視点撮像部は複数の撮像部からなり、各撮像部により異なる複数の視点の画像データを取得する。各撮像部の画像上の座標から合成画像上の座標への座標変換は式11で表される射影変換行列で記述される。各視点の画像データInを合成画像に合わせて射影変換し、補間して得られる画像データをI’nとする。補間はどのような方法を用いても良いが、一例としてはバイリニアやバイキュービックなどの線形補間があげられる。このとき、N個の撮像部の画像の整合度Eは画素毎に式12のような演算を行うことで算出される。なお、ここでは整合度を算出するために、全視点の画素値の平均と個々の視点の画素値との差分二乗和を整合度として用いたが、視点間の画素値のばらつきの指標となればどのような算出方法でもよく、差分絶対値和などでもよい。また、微小な撮像位置のずれによる画素値の変換に対して耐性を持たせるため、整合度Eの算出の前に画像I’nにローパスフィルタを作用させるなどしてもよい。<画素補間方法>画像合成部708は多視点撮像部213で撮像した多視点画像データの画素を、画素配置パラメータに基づいて合成画像上に配置し、画素補間パラメータに基づいて補間して画像データを生成する。画素補間パラメータは画素補間パラメータ算出部707で整合度に基づき算出される。画素補間パラメータは、画像合成部708が仮想撮像系の画像データの画素値を決定する際に参照する複数の視点の画像データの夫々の画素の寄与度を示す。ここでは、画像合成時の補間の方法と画素補間パラメータの算出方法の一例を説明する。図9は画素補間を説明するための図である。図9a、bはそれぞれ合成画像に対応する2次元の空間を表しており、丸印は多視点画像の画素位置を×印は合成画像の画素位置を表している。ここでは簡単のため、視点はn番目の撮像部とm番目の撮像部の2種類とする。図9aは画像合成時に高解像度化を行わない場合の画素配置を表した図である。この場合、視点毎に線形補間などによる補間を行って、合成画像の画素位置に対応する画素値を算出し、その後全視点を平均することで、合成画像を得ることができる。図9bは高解像度化を行う場合の画素配置を表した図であり、本実施形態が適用可能なケースである。この場合は、それぞれの合成画像の画素位置の近傍にある多視点画像の画素だけを用いて補間を行うことで、高解像度の合成画像を得ることができる。高解像度化を行う際に適用できる補間方法の一例を示す。n番目の撮像部の画像上の座標x,yにある画素の合成画像上での座標を{x’nx,y,y’nx,y}とおき、合成画像のある画素の座標をx’,y’とおく。n番目の撮像部の画像上の座標から合成画像上の座標への変換は、式11に相当する画素配置パラメータによって求められる。合成画像上で補間を行う際は、合成画像の画素の近傍にある多視点画像の画素の寄与を大きくすることで、高解像度化を行う。例えば、式13に示すような式に基づいて寄与の係数wnを決め、多視点画像の画素の画素値を合成画像の画素に分配していく。ここでgx’,y’は近傍の画素の寄与度を制御するための係数である。係数gが大きければ近傍の画素の寄与は大きくなり、小さければ近傍の画素の寄与は小さくなる。n番目の撮像部の画像上の座標x,yにある画素の画素値をInx,yとし、合成画像上の座標x’,y’にある合成画像の画素の画素値をIvx’,y’とするならば、補間による画素値の分配は式14のようになる。以上、補間方法の一例を示したが、効果的に高解像度化が可能となるのは、仮想合焦面上に被写体が存在し、かつ視点による見え方の変化が無い場合に限られる。これを図10で説明する。図10は白黒2色からなる被写体を2つの撮像部A,Bで撮像し、取得した画像に対応する光線を仮想合焦面上で足し合わせている様子を示している。図10aは被写体の非拡散反射成分などにより、撮像部Aと撮像部Bとで見え方が異なっている。このような場合に高解像度な画像を得るための補間を行うと、図中に示されているように、仮想合焦面上で足しあわされた光線はまだらになってしまう。また、図10bは被写体が仮想合焦面上にないため撮像部Aと撮像部Bとで見えが異なっている。このような場合も高解像度な画像を得るための補間を行うと、図中に示されているように、仮想合焦面上で足しあわされた光線はまだらになってしまう。上述の問題を解決するため、本実施形態では、まだらになりそうな場合は、補間時の近傍の画素の寄与を相対的に小さくすることで、異なる視点の画素値を平均化する。このような補間時のコントロールは、式13、式14で示したような補間方法においては、gx’,y’を変化させることで実現できる。すなわち、このパラメータが画素補間パラメータである。図10で説明したような問題が起こるか起こらないかの指標としては、整合度Eを用いることができる。画素補間パラメータ算出部707は整合度Eが低ければ、gx’,y’として小さい値を設定し、整合度Eが高ければ、gx’,y’として大きい値を設定する。以上が、画像合成部708で行う画像合成時の補間の方法と、画素補間パラメータ算出部707で算出する画素補間パラメータの算出方法の例である。なお、本実施形態で示した処理方法は一例にすぎず、異なる画像の視点間の整合度に基づいて、画像合成時に行う補間での画素値の分配方法を設定するならば、どのような方法でも構わない。以上、本実施形態によれば、多視点からの画像を用いてリフォーカス処理と高解像度化処理を同時に行う際に、視点による被写体上の同一の点の目の違いや、被写体が仮想的なピントを合わせる面上に存在しない事によって生じる画質劣化を抑制できる。<<実施形態2>>実施形態1においては、単一の視点を持つ撮像部を複数用いて多視点撮像部を構成し、このような多視点撮像部によって撮像された画像群を使用する場合について説明した。しかしながら、撮像部が図4に示す単一の撮像素子407を複数の領域に分割し、その分割した領域に対応する光学系を設ける構成を採用してもよい。また、そのような撮像部を複数用いてもよい。<<その他の実施形態>>また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。"