多視点で撮影された複数枚の画像データを所定のピント位置で合成するために、前記複数枚の画像データの周波数特性に含まれるエイリアシング成分が小さくなるように、前記合成の重みを決定する重み決定手段を備えることを特徴とする画像処理装置。前記重み決定手段は、前記複数枚の画像データの画素ズレ量を用いて、前記画像データの周波数特性に含まれるエイリアシング成分を導出することを特徴とする請求項1に記載の画像処理装置。前記重み決定手段は、前記複数枚の画像データの画素ズレ量に応じて決まる抑制可能なエイリアシング数を用いて、前記合成の重みを決定することを特徴とする請求項1又は2に記載の画像処理装置。画素ズレ量に応じて決まる抑制可能なエイリアシング以外のエイリアシングを抑制するように、前記合成のための補間関数を決定する手段を備えることを特徴とする請求項1から3のいずれか1つに記載の画像処理装置。前記決定した合成の重み及び前記決定した補間関数を用いて、前記複数枚の画像データの合成を行う合成手段を備えることを特徴とする請求項4に記載の画像処理装置。被写体を選択する選択手段を備え、前記所定のピント位置は、前記選択手段による選択に基づいていることを特徴とする請求項1から5のいずれか1つに記載の画像処理装置。前記選択手段は、ユーザの選択に基づいて又は自動的に、被写体を選択することを特徴とする請求項6に記載の画像処理装置。視差がついた複数枚の画像データを撮像する撮像手段と、前記複数枚の画像データを所定のピント位置で合成するために、前記複数枚の画像データの周波数特性に含まれるエイリアシング成分が小さくなるように、前記合成の重みを決定する重み決定手段とを備えることを特徴とする撮像装置。多視点で撮影された複数枚の画像データを所定のピント位置で合成するために、前記複数枚の画像データの周波数特性に含まれるエイリアシング成分が小さくなるように、前記合成の重みを決定する重み決定ステップを備えることを特徴とする画像処理方法。コンピュータに、多視点で撮影された複数枚の画像データを所定のピント位置で合成するために、前記複数枚の画像データの周波数特性に含まれるエイリアシング成分が小さくなるように、前記合成の重みを決定する重み決定ステップを実行させるためのプログラム。しかしながら、特許文献1の方法では画撮像素子のサンプリングに起因するエイリアシングが再構成後の画像に発生する。特許文献1の方法では解像度を高めるためにサンプリング間隔を任意に細かくしているが、エイリアシングによって実質的な出力解像度はになってしまうという問題がある。出力解像度を上げるためには、エイリアシングを打ち消すことが必要である。また非特許文献2の方法では取得した複数枚の画像に対して、エイリアシングを打ち消した1枚の画像を生成する方法が示されている。しかし、この手法では撮影後に任意の被写体にピントを合わせたい場合には対応できない。本発明は、ピントを合わせたい被写体に応じてエイリアシングを打ち消し、出力画像を高解像化することを目的とする。本発明に係る画像処理装置は、多視点で撮影された複数枚の画像データを所定のピント位置で合成するために、前記複数枚の画像データの周波数特性に含まれるエイリアシング成分が小さくなるように、前記合成の重みを決定する重み決定手段を備えることを特徴とする。本発明によれば、ピントを合わせたい被写体に応じてエイリアシングを打ち消し、出力画像データを高解像度化することができる。以下に、図面を参照して、本発明の好適な実施形態を詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。図13は、一実施形態において、本発明を適用できる撮像装置の構成例を示すブロック図である。図13において、撮像部1301は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、IRカットフィルタ、カラーフィルタ、及び、CMOSやCCDなどの撮像素子などから構成され、被写体の光量を検知する。AD変換部500は、被写体の光量をデジタル値に変換する。ユーザが被写体選択部600を通してピントを合わせる被写体を選択する。高解像度化処理部100は、その選択情報と、AD変換部500及び撮像部1301から入力される情報とに基づいて、再構成画像を出力する。再構成された画像は表示部1302に表示される。図1に、高解像度化処理部100の構成を示す。AD変換部500から視差がついた画像データが複数枚画像データ入力端子101を通して入力される。被写体選択部600から被写体の選択情報がピント位置入力端子102を通して入力される。撮像部1301の特性を表すパラメータがカメラパラメータ入力端子103を通して入力される。被写体選択部600で選ばれた被写体が撮像部1301内部で結像する位置を、仮想センサ位置算出部104が算出する。重み決定部200は仮想センサの位置とカメラパラメータから各画像に乗算する重みを決定する。補間関数決定部300は重みの情報を元に、画像を補間する際の補間関数を決定する。画像合成部400は補間関数決定部300が決定した補間関数を元に画像を補間し、重み決定部200が決定した重みを各画像に乗算して加算する。再構成された画像データは再構成画像データ出力端子105より出力される。重み決定部200、補間関数決定部300、画像合成部400の詳細については後述する。図2に高解像度化処理部100の動作の概要を表すフローチャートを示す。この動作は、一例として、高解像度化処理部100に備える図示しないCPUが、記憶部からプログラムを読み出し、当該プログラムに従って各部の処理を制御することによって行われる。各部で実行される処理の詳細は後述する。最初に撮像装置から、視差がついた画像が複数枚画像データ入力端子101を通して入力されるS201。次にユーザが被写体選択部600を通してピントを合わせる被写体を決定しS202、その情報がピント位置入力端子102より入力される。その情報を元に、被写体が結像する位置を仮想センサ位置算出部104が算出するS203。撮像部1301の特性を示すパラメータがカメラパラメータ入力端子103より入力され、重み決定部200が仮想センサ位置とカメラパラメータから各画像の画素ズレ量を算出し、重みを決定するS204。補間関数決定部300が重み決定部200で算出した画素ズレ量を元に、補間関数を決定するS205。画像合成部400が各画像を補間関数に基づいて補間し、重みを乗算して加算するS206。画像合成部400が生成した画像を再構成画像データ出力端子105より出力し、高解像度化処理部100の動作を終了するS207。重み決定部200、補間関数決定部300、画像合成部400の詳細な動作については後述する。[撮像部1301の概念図]図5に撮像部1301の概念図を示す。図5は撮像部1301を正面から見た図である。符号507は小型カメラを表す。小型カメラ507には左上から右下に向かって、と番号が付いているものとする。ここでは小型カメラ507を2台あるものとしているが、実際は縦横任意の台数を並べて構わない。符号508は小型カメラ507が並んでいる平面である。図5は図5において、平面508で切断した断面図である。符号501は被写体を表す。符号503は小型カメラ507のレンズを1つのレンズで模式的に表したものである。符号504は小型カメラの撮像素子を表す。符号505は仮想センサを表す。仮想センサとは、仮想的にその位置に撮像素子を考えることで、その位置に撮像素子があった場合にどのような画像が得られるかを撮影後に計算で導出するための概念である。符号502はレンズ503の光軸中心と、被写体501を結ぶ光線である。符号506は光線502と、仮想センサ505の交点である。被写体501が仮想センサ505上でピントが合う被写体である場合は、被写体501が仮想センサ上に存在し、交点506と被写体501は一致する。図5において、撮像素子504とレンズ503の距離をσreal、仮想センサ505とレンズ503の距離をσvirtualとする。m番目の小型カメラ507のレンズ503の光軸中心の座標を、撮像素子504の座標をとする。交点506の座標をとする。ここで、σvirtualは正の値を取るものとする。m番目の小型カメラ507下の撮像素子504の座標が取得する光の強度をLと表すことにする。引数はumとxmを結ぶ光線であることを意味している。umxmXは平面508上の2次元ベクトルを表すものとする。小型カメラが各々ズーム機能を備えている場合はσrealは可変パラメータになる。[画像合成部400の動作]図4から図8を参照して画像合成部400による画像の補間、重み付け、再構成加算の動作について説明する。画像合成部400は画像処理装置として機能する。まず、図4に画像合成部400のブロック図を示す。補間関数決定部300によって決定された補間関数は、補間関数入力端子401より入力される。重み決定部200によって決定された各画像に乗算する重みは重み入力端子402より入力される。画像補間部403は複数視差画像データ入力端子101より入力された画像データを補間関数入力端子401より入力された補間関数により補間する。補間の仕方は後述する。補間済み画像バッファ404には補間済みの複数枚の画像データが格納される。重み乗算部405は補間済み画像バッファ404から画像を1枚読み込み、対応する重みを画像全体に乗算する。再構成後の画像データは再構成画像バッファ406に格納されている。加算器407は重みづけされた画像データと再構成画像バッファ406から読みこんだ画像データを加算する。画像合成部400の動作について図6のフローチャートを用いて説明する。小型カメラの番号mは図5の左上から右下に向かって更新するものとする。画像合成部400は小型カメラの番号mをに設定し、再構成画像バッファ406の画像データIの値をすべてのに対して、I0に初期化するS601。複数の視差画像データが複数視差画像データ入力端子101から入力されるS602。補間関数が補間関数入力端子401から入力されるS603。画像補間部403が2枚の画像データを補間し、補間済み画像バッファ404に格納するS604。m番目の重みcmが重み入力端子402より入力されるS605。重み乗算部405が補間済み画像バッファ404からm番目の小型カメラに対応する画像を読み込み、重みcmを画像全体に乗算するS606。重みを乗算した結果画像を、Iに画素ごとに加算してIを更新するS607。mを更新しS608、mかどうかを判定しS609、そうでない場合はS605に戻る。mの場合は動作を終了する。以下に画像合成部400の動作原理を示す。まず、S604において行われる補間処理について説明する。m番目の小型カメラ507下にある撮像素子が取得した光情報は、m番目のレンズ503のどこを通った光情報か特定することができない。そこで、本実施例では光線はレンズ503の光軸中心を通ったと仮定する。仮想センサ505上の点506の光の強度を求める場合は仮想センサ上の点506と、レンズ503の光軸中心を結んだ直線上にある撮像素子504の座標xmを特定する。図5より、xmは以下の関係式を満たす。ここで、と定義した。m番目の小型カメラ507のセンサが取得した情報を、仮想センサ505上に投影すると、投影される情報は、撮像素子の画素ピッチをΔreal、補間関数をφとして、となる。ここで、nはm番目の小型カメラ507の撮像素子の1つ1つの画素についての和である。再構成後の画像の画素ピッチをΔvirtualとすると、i≡を整数値のベクトルとして、XiΔvirtualと書くことができる。この関係と式、式を用いると、m番目の小型カメラ507の取得情報を仮想センサ上に投影した画像Imはとなる。ここで、画素が開いている部分に渡って光が積分されることによるローパスの影響は無視した。式は撮像素子504の画像を仮想センサ505上にα倍に拡大してΔvirtualでサンプリングしているとみることもできるし、撮像素子504上で、Δvirtualαでサンプリングしているとみることもできる。これがS604で行われる補間処理である。S606、S607ではImに重みcmをつけて加算する。即ちにより得られた画像を再構成画像として出力する。mの和は小型カメラ507の番号に渡る。図7と図8を参照して画像合成部400による画像の合成の概念について説明する。図7は異なる距離にある被写体501を小型カメラ701~703で撮影した様子を表している。図7において、符号701~703は小型カメラ507の中で代表的な3つの小型カメラを図示したものである。符号704~706は仮想センサ505の中で代表的な3枚の仮想センサを図示したものである。符号707~709はそれぞれ距離の異なる位置に置かれた被写体501である。図7は、小型カメラ701で取得した画像を表す。符号710は小型カメラ701で撮影した画像である。小型カメラ702、703で取得する画像は、画像710において、各被写体704~706の距離に応じた視差分だけ被写体がずれた画像になる。図8は画像合成部400によって再構成された画像の概念図である。符号801は仮想センサ位置を706にしたときの再構成後の画像である。画像801では被写体707にピントが合っており、被写体708、709にはボケが発生している。符号802は仮想センサ位置を705にしたとき、符号803は仮想センサ位置を704にしたときの再構成後の画像である。画像802、803はそれぞれピントが合った被写体は708、709である。このように仮想センサ位置を動かすことで、好きな被写体にピントを合わせた画像を得ることができる。またこのときピントが合った被写体を高解像度化することが本実施例の効果である。[重み決定部200の動作]図3を参照して、重み決定部200による重み算出の動作について説明する。重み決定部200のブロック図を図3に示す。図3において、仮想センサ位置は仮想センサ位置入力端子301より入力される。カメラパラメータと仮想センサ位置から、理論的な画素ズレ量を画素ズレ量算出部302が算出する。実際の画素ズレ量はカメラのパラメータから理論的に導かれる画素ズレ量とは少し異なる可能性がある。そこで、画素ズレ量算出部302は理論的な画素ズレ量で画像をおおまかに位置合わせしたあと、ブロックマッチングやオプティカルフローなどを用いて、実際の画素ズレ量を算出してもよい。画素ズレ量が求められると、画素ズレ量に応じて抑制することのできるエイリアシングの数が決まる算出方法については後述する。超解像倍率決定部303はこのエイリアシングの数を、抑制するエイリアシングの数として決定する。重み算出部304が画素ズレ量と、抑制するエイリアシングの数の情報を元に重みを算出する算出方法については後述する。算出された重みは重みデータ出力端子305より出力され、抑制するエイリアシングの個数は超解像倍率出力端子306より出力される。以下に重み決定部200の動作原理を示す。m番目の小型カメラ507のレンズ中心からのズレ座標は、xmumで表される。仮想センサの同一点Xに対する、各画像のズレ量は式より画素ズレ量は、この画像のズレ量が撮像素子の画素ピッチの何倍になっているかで表される。よって、が画素ズレ量を表している。これが画素ズレ量算出部302が理論的に算出する画素ズレ量である。理論的な画素ズレ量の算出には小型カメラ507の位置座標と、小型カメラ507のレンズとセンサの間隔を用いている。よって小型カメラ507がズーム機構を備えている場合は、ズーム時のレンズとセンサの間隔がカメラパラメータとして使用される。撮像素子504のサンプリングは仮想センサ上ではαΔrealのサンプリングに該当し、画素ズレは式で表される。仮想センサ上に投影された画像にはサンプリングによって2πの間隔でエイリアシングが発生し、画素ズレによって位相ズレが発生するので、m番目の小型カメラ507の画像を仮想センサ上に投影した周波数特性は、となる。ここで、Fはフーリエ変換を表し、と定義した。nは全ての整数値ベクトルについて和を取るものとする。または仮想センサ上に投影された光情報の周波数特性を表す。これは撮像素子によるサンプリングの影響を受けていない本来取得したい光情報である。式は2παΔrealの周波数の間隔で画像にエイリアシングが発生することを意味しており、nはエイリアシングの番号を表している。画像合成部400が再構成した後の画像の周波数特性は、重みを考慮してとなる。本来得たい情報は仮想センサ上に投影された光情報であり、その周波数特性は式より、FLであらわすことができるので、抑制可能なエイリアシングの個数がN算出方法は後述する。であるとき、重み算出部304は、をn0に対しては、B01とし、n≦Nかつn≠0のnに対してはできるだけBnの値が小さくなるように重みを決定する。ここで、Bnは、n番目のエイリアシング成分が、取得した画像の周波数特性にどれだけ含まれるかを表す量である。Bnが0に等しいとエイリアシング成分は含まれず、Bnが大きくなると、n番目のエイリアシング成分が多く含まれることになる。また、重みは補間関数の周波数特性をなるべく高周波側まで持たせるように決定する。このとき、抑制することが可能なエイリアシングの数は式のZnumの小数部分で決まる。ここで、Znumは各小型カメラで撮影した画像間における画素ズレの画素数を表す値である。各小型カメラの撮影画像が仮に等間隔で、1a画素ずつズレている場合、a倍まで画像を超解像できることが一般に知られている。このとき、打ち消すことが抑制できるエイリアシング画素ズレ量に応じて発生するエイリアシングの数は1a1になる。たとえば、Znumの小数部分が05の時は打ち消すことが可能なエイリアシングの数は10511であり、Znumの小数部分が02の時は打ち消すことが可能なエイリアシングの数は10214となる。この数を超解像可能倍率決定部303が算出する。抑制が可能なエイリアシングの番号がN~Nであるとき、重み算出部304はたとえばという連立方程式を解いて重みcmを決める。nはNN×NNの格子点の間を動くものとする。但しこれだけでは重みの絶対値が非常に大きくなる場合があるため、以下の量Bnを最小化するように重みを決めてもよい。ここで、第2項は重みの絶対値を抑えるために導入した正則化項であり、λはその度合いを決める実数値の係数である。重みの決め方はこれに限らず、n0に対しBn1、1≦n≦Nに対し、Bnの値が小さくなるようにするものであれば何でもよい。重みの絶対値が1より大きくなったり、負の値になると仮想センサ位置が少しずれただけで再構成画像の画質は大きく損なわれる。そこで、重みの絶対値が1より大きくなったり、負の値になった場合は仮想センサ位置の変動にロバストな重みとして、を採用してもよい。ここで、重みの和は1であるとする。Znは仮想センサの位置に依存する値なので、ピントを合わせる被写体に応じて重みを切り替えることになる。以上のように本実施例によれば、多視点で撮影された複数枚の画像データを所定のピント位置で合成するために、当該複数枚の画像データの周波数特性に含まれるエイリアシング成分が小さくなるように、画像データの合成のための重みを決定する。画像データの周波数特性に含まれるエイリアシング成分は、画素ズレ量を用いて導出される。また、合成のための重みは、画素ズレ量に応じて発生するエイリアシング数を用いて決定される。このように重みを決定することで、エイリアシングを打ち消して画像データの再構成を行うことができる。その結果、ピントを合わせたい被写体に応じてエイリアシングを打ち消し、超解像を行うことができる。以上が重み決定部200の動作原理である。[補間関数決定部300の動作]次に、補間関数決定部300による補間関数の決定方法について説明する。前述のように、重み決定部200は、画素ズレ量に応じて発生するエイリアシングであるN番目~N番目までのエイリアシングを抑制するように重みの決定を行う。エイリアシングをN番目~N番目まで抑制できるとき、補間関数決定部300は、補間関数の周波数特性がN1番目のエイリアシング周波数2πで十分値が小さくなり、なるべく高周波側まで値を持つような補間関数を決定する。すなわち、補間関数決定部300は、画素ズレ量に応じて発生するエイリアシング以外のエイリアシングを抑制するように、画像データの合成のための補間関数を決定する。例としては、がその特徴を有する。ただし、Fφの値がkπ程度まではOであり、k≧2πで十分小さくなるような補間関数であれば式で挙げたものに限らない。以上が補間決定部300の動作である。最後に図9と図10に本実施例による効果の一例を表した図を示す。被写体は平面被写体であるとした。図9は重みをすべて均等にして、補間関数としてはニアレストネイバーの補間関数を採用した合成画像である。図9はN5として、上述した本実施例による方法により重みを決定し、補間関数として式を採用した合成画像である。図10は図9の画像の断面のパワースペクトルを示したものである。図10は図9の画像の断面のパワースペクトルを表している。図10は図9の画像の断面のパワースペクトルを表している。図10において、2πはエイリアシングが発生する周波数である。図10とを比較すると、図10で発生しているエイリアシングが図10では抑制されていることが分かる。図9、図10より、本実施例によってエイリアシングを打ち消し、高解像度化が行われていることが分かる。以上説明したよう本実施例によれば、図5に示したようなカメラアレイにおいて、ピントを合わせる被写体に応じて重みを変えて再構成することで、再構成時のエイリアシングを打ち消して高解像度化することができる。本実施例では実施例1とは異なる撮像系でLFを取得する場合について説明する。図11に撮像部1301の別の概念図を示す。図5との差異のみ示すと、符号1101はメインレンズである。符号1102は被写体から出た光線である。本実施例ではレンズ503をメインレンズと区別するため特にマイクロレンズと呼称することにする。符号502はメインレンズ1101によって曲げられた光線1102の中で、マイクロレンズ503の光軸中心を通る光線を表す。光線502が仮想センサ505と交わる座標をとする。ここで、σvirtualは正の値を取るものとする。図5と異なり、ピントが合った被写体であっても、被写体501と交点506は一致しない。高解像度化処理部100のブロック図とフローチャートは重み決定部200と画像合成部400を除いて、実施例1と同一である。ここでは実施例1との差異を説明する。画像合成部400においては画像補間部403の動作のみ実施例1と異なる。m番目のマイクロレンズ503下のセンサが取得した情報を、仮想センサ505上に投影すると、補間関数をφとして、となる。ここで、記号の定義は実施例1と同様である。再構成後の画像の画素ピッチをΔvirtualとし、式を式に代入すると、となる。式に基づいて画像を補間するのが、本実施例における画像補間部403の動作である。次に重み決定部200において、実施例1と異なる動作について説明する。仮想センサの同一点Xに対する、各画像のズレ量は式よりこれが撮像素子の画素ピッチの何倍になっているかが画素ズレ量である。よって、が画素ズレ量を表している。これが画素ズレ量算出部302が理論的に算出する画素ズレ量である。撮像素子504のサンプリングは仮想センサ上ではαΔrealのサンプリングに該当し、画素ズレは式で表されるので、実施例1の式を導いたのとと同様にして合成部400の合成後の画像の周波数特性は、となる。ここでと定義した。あとの記号の定義は実施例1と同様である。超解像倍率決定部303と重み算出部304は式の代わりに式をZnとして用い、あとの動作は実施例1と同様である。以上説明したように実施例によれば、メインレンズとマイクロレンズアレイを組み合わせた、別の形態のLFを取得する撮像装置においても高解像度化することができる。なお、実施例1、実施例2以外のLFを取得する撮像装置においても、同様の方法で高解像度化することが可能である。本実施例では図1の被写体選択部600のUIにおいて、ピントを合わせる被写体の選び方について説明する。図12はピントを合わせる被写体の選び方の例を示したものである。図12において、符号1201はピント位置調整用の画面である。符号1202はユーザがピント位置を選択したい時に選ぶボタンである。符号1203は自動でピントを合わせるときに選ぶボタンである。ボタン1202を押すと、被写体選択部600の画面は図12に切り替わる。図12において、符号1204はボタン1202選択時に被写体選択部600の画面上に表示されるUI画面の概念図である。符号1205はカーソルである。ユーザはピントを合わせたい被写体にカーソル1205を合わせてクリックすることで、ピントを合わせる被写体が決定される。すなわち、被写体選択部600は、被写体の選択手段として機能し、ユーザの指示に応じてピントを合わせる被写体を決定する。ボタン1203を押すと、画面は図12に切り替わる。図12において、符号1206はボタン1203選択時に被写体選択部600の画面上に表示されるUI画面の概念図である。符号1207は自動でピントを合わせる処理の進行状況が表示されるプログレスバーである。このとき自動でピントを合わせる方法としては、例えば顔認識技術を用いて被写体708にピントを合わせる方法が挙げられる。なおユーザのニーズを反映させた自動ピント合わせであれば、上記の方法に限らない。すなわち、被写体選択部600は、被写体の選択手段として機能し、自動的にピントを合わせる被写体を決定する。図12、では小型カメラ507が取得した中で代表的な画像を1枚表示しているだけであるが、ある適当な仮想センサ位置で、適当な重みをつけて再構成した画像を表示しても良い。以上説明したように実施例3によれば、ユーザが被写体選択部600のUI画面で指示を出すことで、ピントを合わせる被写体を決定することができる。[その他の実施例]また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。