"予め決められた画素配列を有する複数枚の画像を撮像する撮影手段と、前記撮影された複数枚の画像から1枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする画像選択手段と、前記基準画像に対する前記非基準画像の位置合わせを行い、該位置合わせ結果を記憶手段に記憶する位置合わせ手段と、前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段と、前記拡大基準画像が有する画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されている画素を非欠落画素、該画素配列上に配置されていない画素を欠落画素として決定する欠落画素決定手段と、前記基準画像の拡大倍率と、前記記憶手段に記憶された位置合わせ結果と、前記画素配列とに基づいて、前記拡大基準画像が有する欠落画素に対応する前記非基準画像が有する画素であって、対応する欠落画素に挿入された場合に前記拡大基準画像の画素配列が前記基準画像が有する画素配列と同じになる画素を、参照画素として決定する参照画素決定手段と、前記決定された前記非基準画像が有する参照画素を、該参照画素が対応する欠落画素に挿入する画素挿入手段とを備えることを特徴とする画像処理装置。前記参照画素が欠落画素に挿入された拡大基準画像に対して色同時化処理を行う色同時化手段を備えることを特徴とする請求項1に記載の画像処理装置。前記色同時化処理結果を予め決められた縮小倍率で縮小する画像縮小手段を備えることを特徴とする請求項1または請求項2に記載の画像処理装置。前記画像拡大手段は、前記基準画像が有する画素配列が維持されるように該基準画像を拡大することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。前記画素配列がベイヤー配列であることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。前記位置合わせ手段は、前記基準画像が有する画素の座標を前記非基準画像が有する画素の座標に変換する座標変換係数を算出し、該算出した座標変換係数を前記位置合わせ結果とし、前記参照画素決定手段は、前記基準画像の拡大倍率と前記座標変換係数とを用いて、前記拡大基準画像が有する欠落画素の座標を変換して参照座標とし、各々の非基準画像が有する画素のうち、前記参照座標との距離が最も近い画素を近傍画素として決定し、前記画素配列と前記欠落画素の座標とに基づいて、該欠落画素の色を判別し、判別した該欠落画素の色が前記近傍画素の色と同じであるかを判断し、前記欠落画素の色と同じであると判断した近傍画素のうち、対応する前記参照座標との距離が最も近い近傍画素を前記参照画素として決定することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。予め決められた画素配列を有する複数枚の画像を撮像する工程と、前記撮影された複数枚の画像から1枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする工程と、前記基準画像に対する前記非基準画像の位置合わせを行い、該位置合わせ結果を記憶手段に記憶する工程と、前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする工程と、前記拡大基準画像が有する画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されている画素を非欠落画素、該画素配列上に配置されていない画素を欠落画素として決定する工程と、前記基準画像の拡大倍率と、前記記憶手段に記憶された位置合わせ結果と、前記画素配列とに基づいて、前記拡大基準画像が有する欠落画素に対応する前記非基準画像が有する画素であって、対応する欠落画素に挿入された場合に前記拡大基準画像の画素配列が前記基準画像が有する画素配列と同じになる画素を、参照画素として決定する工程と、前記決定された前記非基準画像が有する参照画素を、該参照画素が対応する欠落画素に挿入する工程とを有することを特徴とする画像処理方法。請求項7に記載の画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。出力と同じ解像度を有する画像を色成分毎に作成し複数枚超解像の処理を行う従来技術では、メモリを大量に使用してしまうという問題がある。また、この従来技術では、色成分毎の画像を出力と同じ解像度で必要とするので、欠落画素の補間に必要な低解像度画像の枚数が多くなるという問題がある。また、特許文献1が開示する画像処理システムでは、色成分毎に高解像度化の効果が大きく異なるという問題がある。本発明は、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行う画像処理装置の提供を目的とする。本発明の一実施形態の画像処理装置は、予め決められた画素配列を有する複数枚の画像を撮像する撮影手段と、前記撮影された複数枚の画像から1枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする画像選択手段と、前記基準画像に対する前記非基準画像の位置合わせを行い、該位置合わせ結果を記憶手段に記憶する位置合わせ手段と、前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段と、前記拡大基準画像が有する画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されている画素を非欠落画素、該画素配列上に配置されていない画素を欠落画素として決定する欠落画素決定手段と、前記基準画像の拡大倍率と、前記記憶手段に記憶された位置合わせ結果と、前記画素配列とに基づいて、前記拡大基準画像が有する欠落画素に対応する前記非基準画像が有する画素であって、対応する欠落画素に挿入された場合に前記拡大基準画像の画素配列が前記基準画像が有する画素配列と同じになる画素を、参照画素として決定する参照画素決定手段と、前記決定された前記非基準画像が有する参照画素を、該参照画素が対応する欠落画素に挿入する画素挿入手段とを備える。本発明の画像処理装置によれば、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度の画像で高解像化を行うことができる。図1は、本実施形態の画像処理装置の構成例を示す図である。この画像処理装置は、複数枚の低解像度の画像から1枚の高解像度の画像を生成する。この画像処理装置は、光学系101、撮像素子102、A変換部103、画像処理部104、システム制御部105、操作部106、表示部107、記録部108を備える。光学系101は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備える。光学系101は、撮像素子102に到達する被写体像の倍率やピント位置、あるいは、光量を調整する。撮像素子102は、光学系101を通過した被写体の光束を光電変換し、電気信号に変換するCCDやCMOSセンサ等の光電変換素子である。CCDは、ChargeCoupledDeiceの略称である。また、CMOSは、ComplementaryMetalOxideSemiconcuctorの略称である。本実施形態では、撮像素子102は、ベイヤー配列の色フィルタを備えた単板式の撮像素子である。すなわち、撮像素子102は、予め決められた画素配列ベイヤー配列を有する複数枚の画像を撮影する撮影手段として機能する。A/D変換部103は、入力された映像信号をデジタルの画像に変換する。画像処理部104は、通常の信号処理の他に、入力された複数枚の画像を用いて超解像処理を行う。画像処理部104はA/D変換部103から出力された画像のみでなく、記録部108から読み出した画像に対しても同様の画像処理を行うことができる。システム制御部105は、画像処理装置全体の動作を制御、統括する制御機能部である。画像処理部104で処理された画像から得られる輝度値や操作部106から送信された指示に基づいて、光学系101や撮像素子102の駆動制御も行う。表示部107は、液晶ディスプレイや有機ELElectroLuminescenceディスプレイを有する。表示部107は、撮像素子102が生成した画像や、記録部108から読み出した画像を表示する。記録部108は、画像を記録する機能を有する。記録部108は、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を備える。記録部108に、この情報記録媒体が着脱可能であってもよい。バス109は、画像処理部104、システム制御部105、表示部107、および、記録部108の間で画像をやり取りするために用いられる。図2は、画像処理部の一部の構成を示す図である。図2に、画像処理部104が実行する超解像処理に関わる処理部を示す。画像処理部104は、基準画像選択部201、メモリ部202、座標変換係数算出部203、基準画像拡大部204、欠落画素判定部205、画素間距離算出部206、画素挿入部207、RGB同時化部208、YUV変換部209を備える。本実施形態の画像処理方法は、画像処理部104が備える処理部の機能によって実現される。また、本実施形態のコンピュータプログラムは、この画像処理方法をコンピュータに実行させることを特徴とする。基準画像選択部201は、画像処理部104に入力された複数枚の画像から1枚の画像を基準画像を選択するとともに、複数枚の画像のうち基準画像以外の画像を非基準画像とする画像選択手段として機能する。メモリ部202は、基準画像選択部201乃至RGB同時化部208が実行する処理に関する画像データを記憶する記憶手段として機能する。座標変換係数算出部203は、基準画像に対する非基準画像の位置合わせを行い、該位置合わせ結果をメモリ部202に記憶する位置合わせ手段として機能する。具体的には、座標変換係数算出部203は、基準画像が有する画素の座標を非基準画像が有する画素の座標に変換する座標変換式を算出し、該算出した座標変換式を位置合わせ結果とする。基準画像拡大部204は、基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段として機能する。また、基準画像拡大部204は、拡大基準画像が有する画素のうち、基準画像が有する画素配列と同じ画素配列上に配置されている画素を非欠落画素、該画素配列上に配置されていない画素を欠落画素として決定する欠落画素決定手段として機能する。基準画像拡大部204は、拡大基準画像をメモリ部202に記憶する。欠落画素判定部205は、メモリ部202から拡大基準画像を読み出し、読み出した拡大基準画像の着目画素すなわち処理対象の画素が欠落画素であるかを判断する。画素間距離算出部206は、欠落画素判定部205が、着目画素が欠落画素であると判断した場合に、参照画素と参照座標との距離dを算出する。参照座標は、拡大基準画像が有する欠落画素に対応する、非基準画像上の座標である。参照画素は、非基準画像が有する画素のうち、参照座標との距離が最も近い画素近傍画素である。具体的には、画素間距離算出部206は、基準画像の拡大倍率とメモリ部202内の座標変換式とを用いて、拡大基準画像が有する欠落画素の座標を変換して参照座標とする。そして、画素間距離算出部206は、各々の非基準画像について参照画素を決定し、決定した参照画素と参照座標との距離dを算出する。また、画素間距離算出部206は、ベイヤー配列と着目画素の座標とに基づいて、着目画素の色を判別する。そして、画素挿入部207は、判別した着目画素の色が参照画素近傍画素の色と同じであるかを判断する。画素挿入部207は、着目画素の色と同じであると判断した参照画素を、距離dとともにメモリ部202に記憶する。画素挿入部207は、メモリ部202から参照画素と距離dとを読み出す。そして、画素挿入部207は、非基準画像の参照画素のうち、対応する距離dが最も近い参照画素を挿入対象の参照画素として決定する。そして、画素挿入部207は、挿入対象の参照画素を、該参照画素が対応する拡大基準画像の欠落画素着目画素に挿入する画素挿入手段として機能する。すなわち、画素間距離算出部206および画素挿入部207は、基準画像の拡大倍率と、位置合わせ結果と、画素配列とに基づいて、以下の処理を実行する参照画素決定手段として機能する。この参照画素決定手段は、拡大基準画像が有する欠落画素に対応する非基準画像が有する画素であって、対応する欠落画素に挿入された場合に拡大基準画像の画素配列が基準画像が有する画素配列と同じになる画素を、挿入対象の参照画素として決定する。RGB同時化部208は、参照画素が欠落画素に挿入された拡大基準画像をメモリ部202から読み出す。そして、RGB同時化部208は、読み出した拡大基準画像に対して色同時化処理を行う色同時化手段として機能する。YUV変換部209は、色同時化処理後の画像が有する画素のRGB信号をYUV信号に変換して出力画像として出力する。実施例1図3は、実施例1の画像処理を説明するフローチャートである。実施例1では、画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ3倍に画素数を拡大したベイヤー配列の高解像度画像を生成し、高解像度化を実現する。まず、A/D変換部103が、画像処理部104に対して、n枚の低解像度の画像を入力するステップS301。ここで、n枚の画像は、手持ち状態で連続撮像された画像とする。なお、入力する低解像度の画像は、手持ち状態で撮像された画像に限らず、撮像者の意図した動きパンニングまたはズーミング、あるいはカメラの光学装置や撮像素子に機械的に動きを与える構成から得てもよい。次に、基準画像選択部201が、超解像処理により高解像度画像とする対象となる画像を基準画像として選択するステップS302。そして、残りの画像を非基準画像としてメモリ部202に保存する。ここでは、基準画像選択部201は、はじめに入力された画像を基準画像とし、残りのn-1枚の画像を非基準画像とする。なお、基準画像の選択基準はこの方法に限らず、基準画像選択部201が、はじめに入力された画像以外から選択するようにしてもよい。次に、座標変換係数算出部203が、基準画像と非基準画像間の位置合わせに必要な座標変換式の係数を算出するステップS303。本実施例では、座標変換式として射影変換の式を用いる。画像の予め決められた位置例えば中心の位置の座標を0,0とすると、基準画像の着目画素の座標x、yに対応する非基準画像の座標x’,y’を表す射影変換の式は、下記の式1である。基準画像の着目画素の座標x、yに対応する非基準画像の座標x’,y’を参照座標と呼称する。式1の射影変換係数の算出方法については、基準画像と非基準画像間でパターンマッチングによって求めた動きベクトルから連立方程式を用いて解くのが一般的である。しかし、座標変換係数算出部203が、撮影時のジャイロデータを用いて、射影変換の式の係数を求めるようにしてもよい。次に、座標変換係数算出部203が、算出した座標変換式の係数座標変換係数を、非基準画像の枚数分、メモリ部202に保存するステップS304。保存した座標変換係数は、ステップS307において用いられる。次に、基準画像拡大部204が、基準画像を水平方向、垂直方向それぞれ3倍に拡大するステップS305。本実施例では、基準画像拡大部204は、ベイヤー配列を維持したまま、基準画像を拡大する。なお、ステップS305の処理は、ステップS303の処理の前に行ってもよい。図4は、ステップS305における基準画像の拡大方法を説明する図である。図4Aは、拡大前の基準画像である。この基準画像は、水平画素数W、垂直画素数Hのベイヤー配列を有する。基準画像拡大部204は、図4Aに示す基準画像を水平方向、垂直方向それぞれ3倍に拡大して、拡大基準画像を生成する。図4Bは、拡大基準画像である。基準画像拡大部204は、拡大基準画像が含む画素のうち、基準画像が有する画素すなわちベイヤー配列上に配置されている画素を非欠落画素とする。基準画像拡大部204は、拡大基準画像が含む画素のうち、基準画像が有する画素以外の画素、すなわちベイヤー配列上に配置されてない画素を欠落画素とする。基準画像拡大部204は、欠落画素に、値として0を挿入する。図3に戻って、ステップS306からステップS309において、画像処理装置は、n-1枚の非基準画像を用いて、拡大基準画像の欠落画素を非基準画像の画素で置き換える処理を画素毎に実行する。まず、欠落画素判定部205が、着目画素が欠落画素であるかを判断するステップS306。具体的には、欠落画素判定部205は、着目画素の値が0である場合は着目画素が欠落画素であると判断する。欠落画素判定部205は、着目画素の値が0でない場合は、着目画素が非欠落画像であると判断する。着目画素が欠落画素である場合は、ステップS307に進む。着目画素が非欠落画素である場合は、ステップS309に進む。ステップS307において、画像処理装置が、n-1枚の非基準画像から挿入対象の参照画素の候補pixを選択する挿入画素選択処理を実行する。図5は、図3のステップS307における挿入画素選択処理を説明するフローチャートの例である。まず、画素間距離算出部206が、変数iを初期化するステップS501。変数iは、n-1枚の非基準画像を一意に識別する識別情報である。本実施例では、i1枚目の非基準画像を非基準画像[i]、非基準画像[i]に対応する座標変換係数を座標変換係数[i]とする。なお、ステップS505以降で使用するd[i]、pix[i]は、それぞれ、非基準画像[i]に対応するd,pixを示す。次に、画素間距離算出部206が、非基準画像[i]をメモリ部202から読み込むステップS502。続いて、画素間距離算出部206が、非基準画像[i]に対応する座標変換係数[i]をメモリ部202から読み込むステップS503。次に、画素間距離算出部206が、ステップS503で読み込んだ座標変換係数[i]を用いて、基準画像の着目画素の座標x、yに対応する非基準画像[i]の参照座標x’,y’を算出するステップS504。具体的には、画素間距離算出部206は、上述した式1で示す射影変換の式を用いて、参照座標を算出する。次に、画素間距離算出部206が、ステップS504で算出した非基準画像[i]の参照座標x’,y’に対し、最近傍にある非基準画像[i]の画素nx,nyを参照画素近傍画素とする。そして、画素間距離算出部206が、参照画素と参照座標との距離d[i]を算出するステップS505。図6は、図5のステップS505における距離d[i]の算出処理を説明する図である。図6Aは拡大画像を示す。図6Bは、非基準画像を示す。図6Aの拡大基準画像上の着目画素601の座標x、yに対し、対応する非基準画像図6Bの参照座標602は、x’,y’である。画素間距離算出部206は、参照座標602を包含し、かつ参照座標602の最近傍に位置する画素である画素603を当該参照座標602に対応する参照画素として決定する。参照画素603の座標は、nx,nyであるものとすると、画素間距離算出部206は、参照画素と参照座標との距離dを、以下の式2を用いて算出する。上記のようにして、画素間距離算出部206は、非基準画像[i]の参照座標x’,y’に対応する非基準画像[i]の参照画素nx,nyを決定する。また、画素間距離算出部206は、非基準画像[i]の参照座標x’,y’に対応する距離d[i]を算出する。図5に戻って、画素間距離算出部206が、非基準画像[i]の参照画素と拡大基準画像の着目画素と同色であるかを判断色判断処理を実行するステップS506。着目画素が参照画素と同色である場合は、ステップS507に進む。着目画素が参照画素と同色でない場合は、ステップS508に進む。図7は、色判断処理を説明する図である。図7中には、水平画素数W×3、垂直画素数H×3の拡大基準画像の各画素の色を示す。すなわち、この拡大基準画像はベイヤー配列を有する。欠落画素を非欠落画素に置き換えるためには、欠落画素の位置に記載されている色の画素で置き換えなければならない。拡大基準画像の最も左上の画素の座標を0,0、最も右下の画素の座標を3W-1,3H-1とする。画素間距離算出部206は、着目画素x、yの色を、下記の式3で判別する。x1=0かつy1=0ならRx1=1かつy1=0、またはx1=0かつy1=1ならGx1=1かつy1=1ならB式3上記の式x1,y1は、x座標、y座標がそれぞれ偶数であるか、奇数であるかを判別する式である。x1,y1の値が0である時は、x,y座標が偶数、値が1である時は、x,y座標が奇数であることを示す。なお、画素間距離算出部206は、非基準画像[i]の参照画素nx、nyの色についても、最も左上の画素の座標を0,0、最も右下の画素の座標をW-1,H-1として、式3を用いて判別する。そして、画素間距離算出部206は、判別した着目画素x,yの色が参照画素nx,nyの色と同色であるかを判断色判断処理を実行する。つまり、画素間距離算出部206は、ベイヤー配列を用いて色判断処理を実行する。図5に戻って、画素間距離算出部206が、基準画像の着目画素と同色であると判断された非基準画像[i]の参照画素をpix[i]として、ステップS505で算出したd[i]と共に、メモリ部202に保存するステップS507。次に、画素間距離算出部206が、n-1枚全ての非基準画像についてステップS502からステップS507までの処理を行ったかを判断するステップS508。当該処理を完了していない非基準画像がある場合、画素間距離算出部206が、iをインクリメントしてステップS509、ステップS502に戻る。全ての非基準画像について当該処理を完了している場合は、ステップS510に進む。次に、画素挿入部207が、メモリ部202からd[i]を読み出す。そして、画素挿入部207が、読み出したd[i]のうち、最小の値を持つd[i]をd_minとして選択するステップS510。メモリ部202内にd[i]が1つもない場合、画素挿入部207は、d_minとして、設定可能な最大値例えば1を設定する。次に、画素挿入部207が、ステップS510で選択されたd[i]に対応する参照画素pix[i]をメモリ部202から読み出し、読み出したpix[i]を非欠落画素の候補pixとして選択するステップS511。なお、メモリ部202内に、pixに対応するd[i]が1つもない場合、画素挿入部207は、pixの値として0を設定する。次に、画素挿入部207が、ステップS510で選択されたd_minと、ステップS511で選択された非欠落画素の候補pixとを出力してステップS512、処理を終了する。図3に戻って、画素挿入部207が、画素挿入処理を実行するステップS308。具体的には、画素挿入部207が、拡大基準画像の欠落画素の値を非欠落画素の候補の値に置き換える処理を行う。図8は、画素挿入処理の一例を説明するフローチャートを示す図である。画素挿入部207が、図5のステップS512で出力したd_min、pixに基づいて、以下の処理を実行する。まず、画素挿入部207が、d_minの値が閾値TH未満であるかを判断するステップS801。閾値THは、予め決められる。閾値THが、経験則または実験によって決定されるものであってもよい。d_minの値が閾値TH未満でない場合は、ステップS803に進む。そして、画素挿入部207は、基準画像の着目画素の値をpixの値に置換せずステップS803、処理を終了する。d_minの値が閾値TH未満である場合は、ステップS802に進む。そして、画素挿入部207は、基準画像の着目画素の値をpixの値に置換してステップS802、処理を終了する。図3に戻って、画素挿入部207が、基準画像における全ての画素を処理したかを判断するステップS309。基準画像における全ての画素を処理した場合は、ステップS310に進む。基準画像において未処理の画素がある場合は、ステップS306に戻る。次に、RGB同時化部208が、画素挿入処理後の拡大基準画像に基づいて、R,G,B同時化処理色同時化処理を実行するステップS310。ここで、画素挿入処理によって参照画素pixに置換されなかった着目画素は、欠落画素のままである。従って、RGB同時化部208は、R,G,B同時化処理の際に補間処理を行って、欠落画素の値を補う。図9は、R,G,B同時化処理の例を説明する図である。図9Aは、画素挿入処理後の拡大基準画像である。この例では、当該拡大基準画像は、水平画素数W×3、垂直画素数H×3のベイヤー配列の画像である。RGB同時化部208は、図9Aに示す拡大基準画像に対して、R,G,Bの同時化処理を行って、図9B乃至Dに示す画像を得る。具体的には、RGB同時化部208は、水平画素数W×3、垂直画素数H×3の画像をR,G,B毎に作成する。拡大基準画像において欠落画像のままとなっている画素については、拡大基準画像で存在する画素の線形補間で作成している。図9B乃至Dにおける、ハッチングを施した画素が、補完画素である。本実施例では、線形補間を使用するが、適応補間によって同時化処理を行ってもよい。図3に戻って、YUV変換部209が、R,G,B同時化処理後の画像に基づいて、YUV画像を生成するステップS311。ステップS311においては、YUV変換部209は、R,G,B同時化処理によって得られるR,G,Bの画像を用いて、画素毎にRGB信号からYUV信号への変換を行う。これにより、水平画素数W×3、垂直画素数H×3のYUV画像が作成される。YUV変換部209は、下記の式4を用いて、RGB信号からYUV信号に変換する。Y=0.299R0.587G0.114BU=-0.169R-0.331G0.500BV=0.500R-0.419G-0.081B式4YUV変換部209は、ステップS311で生成したYUV画像を出力信号として超解像処理を終了とする。本実施例の画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ3倍に画素数を拡大したベイヤー配列の高解像度画像を生成し、高解像度化を実現する超解像処理を行う。すなわち、本実施例の画像処理装置は、1枚の拡大基準画像の欠落画素を、ベイヤー配列を有する非基準画像を用いて、当該拡大基準画像においてベイヤー配列が維持されるように埋めていく。従って、本実施例の画像処理装置によれば、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行うことができる。なお、本実施例の画像処理装置は、基準画像の拡大率を3倍にする場合のみならず、5倍、7倍など奇数倍に水平垂直方向に基準画像を拡大する場合に適用することができる。以下に、従来の超解像処理と比較した場合における本実施例の画像処理装置を用いた画像処理方法超解像処理の効果について説明する。比較する項目は、メモリの使用量と低解像度画像の必要枚数である。図13は、従来と本実施例の超解像処理における高解像度画像生成時のメモリの使用状況を示す図である。図13に示すメモリは、メモリ部202が備えるメモリである。なお、座標変換式の係数のデータについては画像保存に使うメモリの使用量より十分少ないので省略している。従来の超解像処理は、同じ解像度を有した色成分毎の高解像度画像を生成するので、図13Aに示すように、色成分毎の基準画像をメモリに保存する。一方、本実施例の超解像処理では、図13Bに示すように、ベイヤー配列の高解像度画像を生成するので、1枚の基準画像を保存しておけばよい。高解像度画像の生成に必要な低解像度画像の枚数が、従来の超解像処理と本実施例の超解像処理とで異なる。従って、図中、従来の超解像処理において必要な低解像度画像の枚数をm枚、本実施例において必要な低解像度画像の枚数をn枚としている。図14は、高解像度画像の生成に最低限必要な低解像度画像の枚数を説明する図である。最低限必要な低解像度画像の枚数とは、理想的に無駄なく欠落画素が埋まる様なシフト量で撮像素子を駆動させ、撮像した低解像画像で高解像度画像を生成できる最短の枚数を示す。図14に示す表の横の項目が高解像度化の手法を示す。縦の項目が低解像度画像に対する高解像度画像の拡大率を示す。高解像度画像の拡大率が3倍の場合、低解像度画像の最低限必要な枚数は、従来の超解像処理で36枚なのに対し、本実施例の超解像処理では9枚である。このように、本実施例の超解像処理は、従来よりも少ない枚数の低解像度画像で高解像化を実現することができる。図13に戻って、最低限必要な枚数の低解像度画像で、拡大率が3倍の高解像度画像を生成する際のメモリの使用量を式で表すと、従来の超解像処理におけるメモリの使用量は、以下の式5、本実施例の超解像処理におけるメモリの使用量は式6で示される。m=36,n=9であり、Wは低解像度画像の水平画素数、Hは低解像度画像の垂直画素数である。また、1画素につき、2バイトのデータ量とする。W×H×363W×3H×3×2=126×W×Hバイト式5W×H×93W×3H×1×2=36×W×Hバイト式6上記の式5、式6を参照すると、従来の超解像処理に対し、本実施例の超解像処理は、メモリの使用量を90×W×Hバイト削減することができる。例えば、低解像度画像の水平画素数Wを3648画素、垂直画素数Hを2736画素とすると、約898Mバイトの使用量を削減することができる。実施例2次に、実施例2について説明する。実施例2の画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ3倍に画素数を拡大したベイヤー配列の高解像度画像を生成する。そして、画像処理装置は、上記高解像度画像を2/3倍に縮小して、低解像度画像に対する2倍の高解像度画像を生成する。図12は、基準画像を水平、垂直方向それぞれ2倍に画素数を拡大して拡大基準画像を生成する処理を説明する図である。実施例1の画像処理方法で、画像処理装置が、水平画素数W、垂直画素数Hのベイヤー配列の基準画像図12Aを2倍に拡大した場合、図12Bに示す拡大基準画像が得られる。図12Bに示す拡大基準画像を参照すると、ベイヤー配列に従うと、拡大前の基準画像の画素のうち、Gのみ非欠落画素となり、R,Bはそれぞれ拡大後の基準画像12bのGの箇所に位置するので、欠落画素となる。画像処理装置が、奇数倍である3倍のベイヤー配列の高解像度画像を生成した方が、拡大前の基準画像のR,G,B全てを非欠落画素として残すことができる。また、実施例1の超解像処理を行う時に最低限必要な低解像度画像の枚数は、図14に示す表を参照すると、2倍の拡大率では12枚必要なのに対し、3倍の拡大率では9枚である。上述したことから、偶数倍である2倍の拡大率よりも、奇数倍である3倍の拡大率で超解像処理を行ったう方が、最低限必要な低解像画像の枚数が少ないことがわかる。従って、実施例2では、画像処理装置は、3倍のベイヤー配列の高解像度画像を生成して色同時化処理を行った後、この高解像度画像を2/3倍に縮小して、低解像度画像に対して2倍の高解像度画像を生成する。以下、本実施例について、実施例1との差分の説明を行う。図10は、実施例2の画像処理装置が備える画像処理部の一部の構成例を示す図である。実施例2における画像処理部104は、実施例1における画像処理部104が備える機能処理部に加えて、画像縮小部1001を備える。画像縮小部1001は、RGB同時化部208による色同時化処理結果を予め決められた縮小倍率で縮小する画像縮小手段として機能する。図11は、実施例2の画像処理を説明するフローチャートである。ステップS1101乃至S1110の処理は、図3のステップS301乃至S310の処理と同様である。ステップS1110の処理によって、水平画素数W×3、垂直画素数H×3のR,G,Bの画像R,G,B同時化画像が色同時化処理結果として得られるものとする。ステップS1111において、画像縮小部1001が、ステップS1110の処理によって得られる色同時化処理結果を、水平画素数W×2、垂直画素数H×2のR,G,B同時化画像に縮小する。縮小方法としては、公知の技術であるバイリニア法を用いる。そして、ステップS1112において、YUV変換部209が、ステップS1111で縮小した水平画素数W×2、垂直画素数H×2のR,G,B同時化画像を用いて、画素毎にRGB信号からYUV信号への変換を行う。これにより、水平画素数W×2、垂直画素数H×2のYUV画像が作成される。YUV変換部209が、作成したYUV画像を出力信号として超解像処理を終了する。実施例2の画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ3倍に画素数を拡大したベイヤー配列の高解像度画像を生成する。そして、この画像処理装置は、高解像度画像に基づいて生成されるR,G,B同時化画像を縮小して、低解像度画像に対して2倍の高解像度画像を生成する。これにより、最低限必要な低解像画像の枚数を実施例1の画像処理装置よりも少なくすることができる。なお、実施例2において適用するR,G,B同時化画像の縮小率を任意に設定することによって、低解像度画像に対する2倍の高解像度画像だけでなく、4倍、8倍など偶数倍の高解像度画像を生成することもできる。その他の実施例また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。"