"少なくとも一部の撮像部の画素の開口特性が他の撮像部の画素の開口特性と異なる複数の撮像部によって同じ被写体をほぼ同時に撮影して得た複数のデジタル画像を入力する入力手段と、前記複数の撮像部の前記画素の開口特性を含む設計パラメータと、前記複数の撮像部の撮像時の撮像パラメータとを取得する取得手段と、前記取得した設計パラメータと、撮像パラメータとを用いて前記入力手段に入力された複数のデジタル画像を合成して、前記撮像部によって得られたデジタル画像よりも画素数が多い画像である現像後画像を生成する生成手段とを備えることを特徴とする画像処理装置。前記画素の開口特性は、画素の開口のサイズ、形状、または被写体の像倍率の少なくとも一つを示すことを特徴とする請求項1に記載の画像処理装置。前記撮像部毎の画素の開口特性は、合成後の画像における信号の消失度合いが一定以下となるように決められることを特徴とする請求項2に記載の画像処理装置。前記画素の開口の形状に応じて、前記信号の消失度合いが一定以下となる開口の形状の種類が決められることを特徴とする請求項3に記載の画像処理装置。前記生成手段によって生成された現像後画像の画素数は前記撮像部によって得られたデジタル画像の画素数よりも4倍より多いことを特徴とする請求項1から4のいずれかに記載の画像処理装置。少なくとも一部の撮像部の画素の開口特性が他の撮像部の画素の開口特性と異なる複数の撮像部によって同じ被写体をほぼ同時に撮影して得た複数のデジタル画像を入力する入力ステップと、前記複数の撮像部の前記画素の開口特性を含む設計パラメータと、前記複数の撮像部の撮像時の撮像パラメータとを取得する取得ステップと、前記取得した設計パラメータと、撮像パラメータとを用いて前記入力ステップにおいて入力された複数のデジタル画像を合成して、前記撮像部によって得られたデジタル画像よりも画素数が多い画像である現像後画像を生成する生成ステップとを備えることを特徴とする画像処理方法。コンピュータを、請求項1から5のいずれかに記載の画像処理装置として機能させるためのプログラム。撮像センサー上に形成された高周波成分を含む被写体の像を、それよりも低い周波数でサンプリングすると、高周波成分が低周波成分に混入し、いわゆる折り返し雑音またはエイリアシングが生じる。画素ずれのある複数の画像を利用した超解像処理は、この混入した高周波成分を分離して復元する処理である。ただし、ここで復元される信号は、一般には前記撮像センサー上に形成された像よりも劣化している。これは、撮像センサー上の各画素が、多くの光を集めるために有限なサイズの開口を持つためである。画素の開口以下、単に開口と呼ぶが有限サイズである事による劣化は、アパーチャー効果と呼ばれる。詳細は後述するが、このアパーチャー効果は周波数によっては非常に強く働き、元々の信号を減衰させてノイズに埋もれさせてしまう。例えば開口サイズが画素と同程度の典型的な場合では、ナイキスト周波数の2倍程度の周波数はアパーチャー効果により強く減衰し、その他の周波数でも同様に強く減衰するものがある。この時、そのような高周波成分を超解像処理によって復元しようとしても、減衰した信号は撮像時のノイズに埋もれて事実上消失しているため、高画質な高解像度画像が得られない。本発明にかかる画像処理装置は、少なくとも一部の撮像部の画素の開口特性が他の撮像部の画素の開口特性と異なる複数の撮像部によって同じ被写体をほぼ同時に撮影して得た複数のデジタル画像を入力する入力手段と、前記複数の撮像部の前記画素の開口特性を含む設計パラメータと、前記複数の撮像部の撮像時の撮像パラメータとを取得する取得手段と、前記取得した設計パラメータと、撮像パラメータとを用いて前記入力手段に入力された複数のデジタル画像を合成して、前記撮像部によって得られたデジタル画像よりも画素数が多い画像である現像後画像を生成する生成手段とを備えることを特徴とする。本発明では、アパーチャー効果により信号が消失する事を抑制し、従来よりも画質の良い高解像度画像を生成する。<画像処理装置の全体構成>図1により、実施形態にかかる撮像装置画像処理装置100の概観を示す。撮像装置100は前面被写体側に25個の撮像部101-125を有する所謂多眼カメラである。撮像装置100はフラッシュ126と撮影ボタン127を備える。また、図1には示さないが、撮像装置100は、その背面に操作部や表示部などを有する。なお、撮像部の数は25個に限られるわけではなく、二つ以上であればよい。また、複数の撮像部を同一面に配置する必要はなく、同じ被写体またはほぼ同じ領域をほぼ同時に撮影可能に配置されていればよい。ここで、ほぼ同じ領域とは、例えば後述する超解像処理によって再現することが可能な範囲の領域を意味し、ほぼ同時にとは、例えば後述する超解像処理によって被写体を再現することが可能な程度の時間差を意味する。図2のブロック図により撮像装置100の構成例を説明する。システムバス200は、データ転送の経路である。撮像部101~125は、被写体の光情報を撮像センサーで受光しA/D変換を施した後、システムバス200にデジタルデータ以下、RAWデータとするを出力する。撮像部101~125の詳細は後述する。フラッシュ126は、被写体に光を照射する。デジタル信号処理部201は、撮像部101~125から出力された複数のRAWデータに各種処理を施し、デジタル画像を生成する。この処理は具体的には、複数のRAWデータの合成超解像処理、デモザイキング処理、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などである。さらに、デジタル信号処理部201は、ズーム、フォーカス、絞り、露光時間などの、撮像時の撮像部101~125の設定値以後、撮像パラメータとするをデジタル画像に付加する。加えて、デジタル信号処理部201は、撮像部101~125の相対的な位置関係、後述する各撮像部の内部にある撮像センサーの画素ピッチ、画素の開口形状などの設定値以後、カメラ設計パラメータとするを付加する。さらには、リフォーカス処理のためのフォーカス距離や、被写界深度など、画像の生成のためにユーザーが調節するパラメータ以後、画像生成パラメータとするをデジタル画像に付加する。圧縮伸長部202は、上記デジタル画像をJPEGやMPEGなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部203は、撮像装置を外部メディア204につなぐためのインターフェースである。外部メディア204は、例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリである。CG生成部205は、文字やグラフィックスからなるGUIを生成し、デジタル信号処理部201で生成されたデジタル画像と合成して、新たなデジタル画像を生成する。表示部206は、ユーザーに撮像装置の設定や撮影画像などの各種情報を示す。表示制御部207は、CG生成部205やデジタル信号処理部201から受け取ったデジタル画像を表示部206に表示する。操作部208は、ボタンやモードダイヤルなどが該当し、一般に複数のボタンやモードダイヤルからなる。さらには、表示部206がタッチパネルなどであり、操作部を兼ねていてもよい。操作部208を介してユーザーの指示が入力される。撮像光学系制御部209は、フォーカスを合わせる、シャッターの開閉を行う、絞りを調節するなどの撮像光学系の制御を行う。また、撮像光学系制御部209は、光学系の制御の結果によるフォーカス距離設定、ズーム設定などの、撮像部101~125の状態、すなわち撮像パラメータを表す信号を出力する。CPU210は、命令に従って各種処理を実行する。記憶部211は、CPU210で実行する命令や、撮像光学系制御部209が出力した撮像パラメータ、さらにはカメラ設計パラメータなどを記憶する。画像生成パラメータ取得部212は、デジタル信号処理部201における画像の生成に必要な画像生成パラメータを取得する。ここで、撮像部101~125の詳細を、図3を参照して説明する。301はフォーカスレンズ群であり、光軸上を前後に移動することで撮影画面のピント位置を調整する。302はズームレンズ群であり、光軸上を前後に移動することで撮像部101~125の焦点距離を変更する。303は絞りであり、被写体からの光量を調整する。304は固定レンズ群であり、テレセントリック性等のレンズ性能を向上させるためのレンズである。305はシャッターである。306はIRカットフィルターであり、被写体からの赤外線を吸収する。307はカラーフィルターであり、特定の波長領域にある光のみを透過させる。308はCMOSやCCDなどの撮像センサーであり、被写体からの光量をアナログ信号に変換する。A/D変換部309は、撮像センサー308にて生成されたアナログ信号をデジタル信号RAWデータに変換する。バッファ310は、A/D変換部309が出力するRAWデータを一時的に格納し、CPU210の要求に応じて、RAWデータをシステムバス200を介して記憶部211に転送する。なお、図3に示したフォーカスレンズ群301、ズームレンズ群302、絞り303、固定レンズ群304の配置は例であり、異なる配置でもよく、本実施形態を限定するものではない。以上が撮像部101~125の詳細である。ただし、ここでは撮像部101~125をまとめて説明したが、本実施形態では、アパーチャー効果を制御するために、全ての撮像部が全く同一の構成をとってはいない。具体的には、各撮像部毎に、画素の開口の形状が異なっている。あるいは、開口形状は同じであるが、焦点距離が異なり、像倍率が異なっている。あるいは、開口形状と被写体の像倍率とが共に異なっており、かつ、被写体の像と開口形状の相対的な大きさが、各撮像部間で一致しないように構成されている。なお、後述するように、上述した開口形状や被写体の像倍率については、各撮像部の全てがそれぞれ異なっていなくてもよい。すなわち、一部の撮像部については、共通する開口形状又は被写体の像倍率を有する構成を採用してもよい。換言すれば、各撮像部の少なくとも一部の撮像部が、他の撮像部と異なる開口形状又は被写体の像倍率を有する構成を採用することができる。また、このように画素の開口形状または被写体の像倍率のことを画素の開口特性と総称する。なお、装置の構成要素は上記以外にも存在するが、本実施形態の主眼ではないので、説明を省略する。<撮影のフロー>図4のフローチャートにより、本実施形態にかかる撮像装置の撮像動作の一例を説明する。なお、図4に示す処理は、CPU210が記憶部211に記憶されているプログラムを読み出し、解釈することによって実行される。ユーザーが操作部208を操作すると、撮像動作が開始される。CPU210は、操作部208を介してユーザー指示を受け取り、ユーザーの操作を判定するS101。ユーザーがズームやフォーカス、絞りなど撮像光学系の設定を変更した場合、CPU210は撮像光学系制御部209を制御して撮像部101-125の各レンズ群や絞りの状態を変更するS102。さらに撮像光学系制御部209は、撮像部101-125の各レンズ群や絞りの状態を示す撮像パラメータをCPU210に返す。CPU210はこの受信した撮像パラメータを記憶部211の所定領域に格納するS103。ユーザーが撮影ボタン127を押すと、CPU210は、撮像光学系制御部209を制御して、撮像部101-125のシャッター305を予め設定した時間だけ開口させて撮像センサー308を露光するS104。その後、CPU210は、撮像部101-125のバッファ310を制御してRAWデータ群を記憶部211の所定領域に格納するS105。次にCPU210は、記憶部211に記録されていた撮像パラメータ、カメラ設計パラメータを読み出し、画像生成パラメータ取得部212に供給するS106。画像生成パラメータ取得部212では、供給された撮像パラメータ、および、カメラ設計パラメータから画像生成パラメータが算出される。なお、前述のように、画像生成パラメータは、リフォーカス処理のためのフォーカス距離や被写界深度などのユーザーが調節可能なパラメータである。撮影直後の画像生成パラメータ算出においては、例えばフォーカス距離は撮像パラメータに含まれるフォーカス情報に合わせ、被写界深度は調節できる範囲で最も浅い値に設定しておけばよい。CPU210は、画像生成パラメータ取得部212によって算出された画像生成パラメータを受け取る。その後CPU210は、画像生成パラメータ、撮像パラメータ、カメラ設計パラメータ、そしてRAWデータ群をデジタル信号処理部201に供給するS107。そしてCPU210は、デジタル信号処理部201を制御してRAWデータ群の現像処理を実行させるS108。デジタル信号処理部201は、供給された画像生成パラメータ、撮像パラメータ、カメラ設計パラメータ、およびRAWデータ群を元に画像生成処理を行い、デジタル画像を生成する。このようにデジタル信号処理部201において生成されたデジタル画像のことを現像後画像と称する。また、S108において生成された最初の現像後画像のことを初回現像後画像と称する。画像生成処理のうち、複数のRAWデータを合成する処理の詳細については後述する。画像生成処理のうち、デモザイキング処理、ホワイトバランス処理、ガンマ処理、ノイズ低減処理なども既存の技術でよく、本実施形態の主眼ではないので省略する。デジタル信号処理部201はさらに、撮像パラメータ、カメラ設計パラメータを初回現像後画像とRAWデータにそれぞれ付加し、また、画像生成パラメータを初回現像後画像に付加する。CPU210はデジタル信号処理部201が出力した初回現像後画像を受け取り、記憶部211の所定の領域に格納するS109。次にCPU210は、圧縮伸長部202を制御して、初回現像後画像をエンコード処理するS110。エンコード処理は既知の技術でよく、本実施形態の主眼ではないため説明を省く。そして、CPU210は外部メモリ制御部203を制御して、圧縮伸長部202で処理されたデータおよびRAWデータ群を、外部メディア204に書き込むS111。以上が撮影のフローである。<撮影後の画像再現像のフロー>本実施形態では、ユーザーがリフォーカスや被写界深度制御を目的として撮影後の画像生成パラメータを変更して画像を再現像する事ができる。本実施形態の主眼ではないため、このフローは簡単に説明する。このフローは、操作部208を介したユーザーの入力により開始する事が好ましいが、撮影後に自動的にフローを開始してもよい。まず操作部208からの信号を受けたCPU210は、外部メディア204などに記録されているエンコード処理されたデータを読み出す。そしてCPU210は、圧縮伸長部202を制御してデコード処理を行い、初回現像後画像を生成させ、これを受け取る。次にCPU210は、初回現像後画像に付加された撮像パラメータ、カメラ設計パラメータ、画像生成パラメータを読み込む。その後、CPU210はCG生成部205を制御し、画像生成パラメータを変更するためのGUIを生成させる。GUIの生成は、CG生成部205がCPU210から送られた初回現像後画像と、各種パラメータを基に行う。そしてCPU210は、表示制御部207を制御して、表示部206にGUIを表示させる。ユーザーは表示部206に表示された初回現像後画像を確認し、ユーザーが画像の変更を希望する場合には、ユーザーが操作部208を通じて画像生成パラメータを変更する。以降、ユーザーが選択した画像生成パラメータに基づいて、デジタル信号処理部201にて画像生成処理が行われる。生成された現像後画像は、すでに取得している各種パラメータとともにCG生成部205に送られる。CG生成部205においてGUIが生成され、表示部206を経て再現像結果がユーザーに表示される。以後、画像生成パラメータの変更の指示が続く間は、上記処理が繰り返される。変更が確定されれば、現像後の画像は初回現像時と同様、エンコード処理など経て、外部メディア204に書きこまれる。以上が再現像の簡単なフローである。<アパーチャー効果制御の原理>複数のRAWデータを合成する処理の詳細を説明する前に、本実施形態における、アパーチャー効果による画質の劣化を抑制するための原理について説明する。まず、図5に撮像センサーの模式図を示す。401は撮像センサーを表し、その表面に被写体の像が形成されている。402は、撮像センサー401を構成する画素である。図5の例では、16個分の画素を拡大して表示している。403は開口であり、画素の中で被写体からの光を受ける事が可能な部分である。撮像センサー上の被写体の像は、開口403のサイズで積分された上、画素402の間隔以下、画素ピッチでサンプリングされる。よって、撮像センサーを通して得られる被写体の像のスペクトルは、元々の撮像センサー上の被写体の像のスペクトルに、開口特性具体的には開口の伝達関数がかけられ、さらに高周波成分が折り返されたものになる。この開口特性は開口の透過率を表す開口関数のフーリエ変換である。この様子を図6に示す。図6a~cの縦軸はスペクトルの絶対値である。横軸は周波数であり、ナイキスト周波数kNQと、その偶数倍の位置を点線で示している。図6aは元々の撮像センサー上に形成された被写体の像のスペクトルの絶対値である。なお、撮像センサー上に像を形成するための光学系には一般的に解像限界が存在し、ある周波数以上の成分は残っていない。図6bは開口特性が図6aにかけられた後のスペクトルの絶対値である。開口特性により、一部の周波数では減衰が強く、スペクトルの絶対値がほぼ0になっている。サンプリングを行うと、図6cの破線で示したように、図6bに示したスペクトルがナイキスト周波数の2倍毎に繰り返される。これらの繰り返されたスペクトルの和を取ったものが、個々の撮像部で得られる画像のスペクトルになる。この個々の撮像部で得られるスペクトルは、図6cの実線のようになる。超解像処理により折り返し雑音を解消して得られる画像のスペクトルは、図6aではなく、図6bである点に留意されたい。折り返し雑音は解消されているものの、一部減衰が非常に強い周波数領域がある。この折り返し雑音を解消して得られる画像は、撮像センサー上に形成された被写体の像と比較するとかなり画質が劣った状態の画像である。この減衰を解消するために、折り返し雑音を解消するだけでなく、開口の逆特性をかけて、図6aに示したような元々の被写体の像を得ようと試みる従来技術も存在する例えば特許第3844718号。しかし開口の逆特性をかける場合には必ずノイズの増幅を伴う。ノイズの増幅は、信号の減衰がさほど強くない場合には特に問題を生じない。しかしながら、元々の信号が開口の特性によって大幅に減衰し、ノイズよりも小さくなるような状況においては、ノイズの増幅が極めて強くなる。この場合は、被写体の良好な高解像度画像を得る事はできない。典型的な撮像センサーは、可能な限り多くの光をあつめるために、開口サイズが画素ピッチと同程度のサイズとなっている。この場合、ナイキスト周波数の2倍程度の周波数において、図6bに示したような強い減衰が生じてしまい、信号がノイズに埋もれ消失する。従って、開口の逆特性をかける方法では、特に画素数を4倍程度以上とする場合において、良好な高解像度画像は得にくい。単一の開口特性を用いている限り、ある周波数の信号はノイズに埋もれ、事実上消失してしまうため、超解像処理を行っても良好な画像は得られない。例えば、従来画素ずらしとして知られている、撮像センサーをわずかにずらして複数枚の画像を撮像する方法では、画素開口の特性は変わらない。このため、全ての画像で同じ周波数の信号が消失しているため、いくら画像の枚数を増やしても、消失した信号は復元できない。開口特性による信号の消失を回避する方法としては、二通り考えられる。一つは、開口特性自体を向上させる方法である。開口特性を向上する簡単な方法は、生成したい高解像度画像に対応する画素ピッチ程度まで開口サイズを小さくする事である。しかしこの場合は画素ピッチも小さくする事ができ、そもそも超解像処理を行う必要がない。もう一つは、各撮像部で撮像される画像毎に開口の特性を変化させ、ある画像においては消失する信号が別の画像においては消失しないように、開口特性を制御する方法である。開口特性を制御する簡単な方法は、開口サイズを2,3割程度変化させる事である。前述の通り、開口特性は開口関数のフーリエ変換であるから、開口サイズを2割縮小すると、開口特性は2割拡大される。これにより、信号が消失する周波数を変更する事ができる。以下、例を挙げる。本実施形態においては撮像センサーが25個存在する。まず、撮像センサー以外の構成は全て同一とする。さらに、撮像センサーの画素ピッチは全て同一とする。また、画素の形は正方形とする。そして、画素開口は2種類用意する。具体的には、25個中9個の撮像センサーは画素ピッチと同じ大きさの直径を持つ円形開口を備え、残りの16個の撮像センサーは、それよりも25小さい直径を持つ円径開口を備えているとする。この場合に、平らなスペクトルを持つ被写体を撮影した場合のSN比を図7aに示す。点線と波線は、それぞれ開口の大きな9個の撮像部と開口の小さな16個の撮像部から得られるSN比である。それぞれ、一部、SN比がほぼ0にまで落ち込んで、信号が消失しているところがあるが、その周波数は大開口と小開口で互いに異なっている。実線はこれらを合成して得られる画像のSN比であり、ナイキスト周波数kNQの6倍程度までは信号が消失せずに残っている。すなわち、合成後の画像における信号の消失度合いが一定以下となっている。図7bに、この構成と、25台の開口が全て同一である場合のSN比の比較を示す。2種類の開口特性を用いた構成でのSN比が、全て同一の開口特性を用いた構成でのSN比よりも低くなる周波数帯もあるが、信号の消失がないため前者の方が良好な画像を得られる。このように、複数の開口特性を組み合わせて信号の消失を防ぐことができれば、超解像処理によって、より良好な高解像度画像が得られる。この信号の消失を防ぐ事が、本実施形態の主眼である。被写体の像に対する開口特性を画像毎に変化させる方法は、上に例として挙げた以外にも存在する。一般に、被写体の像に対して、開口のサイズや形状を変化させる事で、開口の特性を変える事ができる。例えば、図8aの様に、全ての撮像部で画素ピッチと開口形状が同一でも、撮像部毎に結像倍率を2,3割程度変化させる事で、開口特性を画像毎に変化させる事が可能である。ただしこの場合は、スペクトルのサンプリングピッチや折り返しノイズが画像毎に異なる事などにより、超解像処理がやや複雑である。その他、図8bの様に、結像倍率と開口形状の両方を撮像部毎に変化させても、開口特性を変化させる事ができる。なお、図8cの様に、開口形状と結像倍率を変えずに、画素ピッチのみ変化させても開口特性を変える事はできない。縦方向と横方向の画素ピッチが異なる長方形の画素の場合でも同様であり、画素形状が異なっていても、開口形状が同一であれば、そのフーリエ変換である開口特性は変わらない。なお、信号の消失を防ぐための開口特性を設計する際、画像は2次元である事に注意する。図6では簡単のため、ある1次元方向のSN比を図示し、2種類の開口特性を組み合わせる事で信号が消失しなくなる例を示している。良好な画像を得るためには、2次元平面上のあらゆる点で、被写体の信号が消失しないように開口特性の組み合わせを設計する方が好ましい。図9aのように円形開口の場合は、2種類の開口特性を組み合わせる事で信号の消失を防げる。しかし図9bの正方形の開口、図9cの長方形の開口、図9dの楕円開口などは、消失領域が重なるために2種類の開口特性では足りず、3種類以上の開口特性を組み合わせる方が好ましい。図10a-eに、消失を防ぐ事が可能な開口形状の組み合わせ例を示す。被写体の像倍率は全て同一であるとする。なお、ここに示した以外にも、消失を防ぐ事が可能な組み合わせは無数に存在し、図10は本発明を限定するものではない。また、開口は必ずしも開いているか閉じているかの2値である必要はなく、光の一部のみを透過するようなものでもよい。開口の組み合わせは、無数にあるため、遺伝的アルゴリズムなど最適化処理によって決める事が好ましい。まず、撮像部の台数をNとする。そして、j番目の撮像部の開口関数をajxとする。xは撮像センサー上の位置であるが、撮像部毎に被写体の像倍率が異なる時は、その像倍率で割ってスケールした値とする。そして、以下の評価値Gがあらかじめ定められた目標値よりも小さくなる開口の組み合わせを最適化処理により探し出す。G=ΣkWkHkHk={Σj|Ajk|2}1Ajk=Fajxここで、記号FXはXのフーリエ変換を表す。kは周波数である。Hkは周波数kにおける、合成後画像の信号の消失度合いを評価する関数である。周波数kで信号が消失する場合、Hkは非常に大きな値となる。Wkは周波数に対する重みづけである。この重みWkは自由に設定してよい。例えば、高周波における信号の消失よりも、低周波の信号の消失を抑えたい場合は、周波数kに対して単調に減少するようなWkを設定する。逆に、低周波よりも高周波の信号の消失を抑えたい場合は、周波数kに対して単調に増加するWkを設定すればよい。なお、周波数kについての和におけるkの上限は、高解像度画像のナイキスト周波数である。<複数RAWデータ合成処理>ここで、デジタル信号処理部201で実行される画像生成処理のうち、複数のRAWデータを合成する処理の詳細を説明する。この合成処理は、被写界深度を制御しつつ、解像度を超解像処理により高める事を行う。まず、合成処理の概要を述べる。各撮像部101~125は、図1に示すようにそれぞれ異なる位置にあるため、そこ出力されるRAWデータ群は、所謂複数視点画像である。この複数視点画像から被写界深度を制御しつつ、画像を生成する既存の手法として、合成開口法がある。合成開口法にはいくつか手法があるが、基本的にはフォーカスを合わせたい距離に位置合わせをした複数視点画像にフィルタリング処理を行うことで、個々の画像よりも被写界深度の浅い合成画像を生成する。被写界深度を調節する手段の例としては、フィルタリング処理に使用するフィルタを変更するか、合成に用いる画像の枚数を変更する方法があげられる。また、超解像処理も幾つか手法の違いがあるが、基本的に複数枚の画像の位置合わせを行って重ね、フィルタリングやベイズ推定などの処理を行うものである。このように、合成開口法と超解像処理のどちらも、画像の位置合わせを行った上で後処理を行う。デジタル信号処理部201は、上述した合成開口法と超解像処理を組み合わせることで、被写界深度を制御しつつ、解像度を高める処理を行う。通常、撮影した画像内にある被写体は様々な距離に存在する。フォーカスを合わせた距離とは異なる距離に存在する被写体が写っている画像領域では、視差のために位置が合わない。合成処理では、位置が比較的合っている画像領域とそうではない画像領域を判定し、比較的合っている画像領域では超解像処理を行い、そうではない画像領域では、合成開口法を用いてぼかす処理を行う。この画像領域の判定は、位置合わせされた画像において、異なる撮像部から出力された、その領域の色信号の分散を調べ、その大小で判断すればよい。十分位置が合っていれば、異なる撮像部は被写体のほぼ同じ部分を撮影しているため、分散は小さい。逆に、位置が合っていなければ、分散は大きくなる。次に、本実施形態において適用しうる超解像処理について例を挙げる。超解像処理の一つとして、MaximumAPosteriori法以下、MAP法と呼ばれる手法が知られている。MAP法はベイズ推定の一種であり、統計的にもっともらしい高解像度画像を得る事ができる。MAP法では、次のような評価関数Eを定義し、これが最小となる画像を、高解像度の画像とする。EI=ΣjΣp{Ijp-DjpAjI2/σIj2}ここで、Iは生成したい高解像度画像と同じ画素数を持つ画像である。Ijpはj番目の撮像部で得られた低解像度の撮影画像以下、画像jの、画素位置pにおける画素値である。σIjは前記画素値の持つノイズである。Ajはj番目の撮像部が持つ、画素の開口特性をかける作用素である。具体的には、開口の透過率を表すフィルタを、画像Iに畳みこむ操作である。さらにDjpはダウンサンプリングを表す作用素である。具体的には、撮影により得られた低解像度画像の各画素の位置に対応する、高解像度画像の画素値を参照して画素値を取得する操作である。低解像度画像と高解像度画像の画素位置の対応関係は、よく知られた透視投影変換とその逆変換を用いて算出すればよい。つまり、まず透視投影の逆変換によって、画像jのある画素位置xj,yjと、フォーカス距離zとから、所謂世界座標系における被写体の位置X,Y,Zを算出する。この世界座標系は、j=1である撮像部1のカメラ座標系と共通にするとよい。次に、世界座標系における被写体の位置X,Y,Zを、撮像部1における透視投影変換により、画像1上の画素位置{x1xj,yj,y1xj,yj}に変換する。透視投影変換に必要なパラメータは、カメラ設計パラメータと撮像パラメータが保持している。なお、個々の画像に歪曲収差がある場合は、それぞれの画素位置に対して既存の歪曲補正を行い、その後に逆投影変換と投影変換を行って画素位置の対応関係を決める。なお評価値Eの算出における画素位置pについての和は、位置が合っている領域に対して行う。以上により、高解像度化された画像が得られるが、この画像は実効的な開口特性の逆特性をかけた画像となっている。つまり、開口特性がかかる前の、撮像センサー上の被写体の像に対応したものとなっている。本実施形態においては、前述のとおり信号が消失していないため、実効的な開口特性には0落ちは無い。このため、実効的な開口特性の逆特性をかけても、大幅な画像の劣化は起こり難いものの、多少のノイズ増幅は不可避である。このため、上記処理で得た高解像度画像に対して、弱いローパスフィルタをかけて、ノイズの増幅を抑える方が好ましい。また、先に例として挙げた、9台の大開口を持つ撮像部と16台の小開口を持つ撮像部からなるような、開口特性の種類が少ない構成などでは、上記とは異なる超解像処理を行う事もできる。まず、9台の撮像部から得られた画像と、16台の撮像部から得られた画像それぞれに対して既知の超解像処理例えば、特許第3773563号を行い、折り返しノイズを除去した2種類の高解像度画像I9とI16を得る。この高解像度画像は、画素数は多いものの、開口特性によりある周波数の信号が消失している。この2枚の画像を、以下の式に従って合成し、高解像度画像Iを得る。Sj=FIjAj=FajSR=[Σj{2ReAjSj/|σj|2}]/[Σj{|Aj|2/|σj|2}]SI=[Σj{2ImAjSj/|σj|2}]/[Σj{|Aj|2/|σj|2}]S=SRiSII=F1Sここで、F1XはXのフーリエ逆変換を表すものとする。また、jは開口特性の種類を指定するインデックスである。σjはスペクトルSjが持つノイズである。ajはj番目の開口関数である。また、は複素共役を表す。なお、この高解像度画像Iも、実効的な開口特性の逆特性を掛けたものとなるので、弱いローパスフィルタをかけて、ノイズの増幅を抑える方が好ましい。以上のとおり、本実施形態では、複数の画素開口の特性を持つことにより、ナイキスト周波数よりも高い周波数の信号が消失する事を抑制し、より良好な高解像度画像を取得する事が可能となる。<その他の実施形態>以上の説明は、撮像装置において行われる形態を説明した。しかしながら、例えば上述した各処理は、PCPersonalComputerなどの画像処理装置で行われても良い。この場合、たとえば図2のデジタル信号処理部201、画像生成パラメータ取得部212、CG生成部205などの構成をPCに設け、外部メディアを通じてRAWデータ群や、各種のパラメータを入力することで上述した処理を実現することができる。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。"