"複数の視点から撮像した撮像画像データを入力する入力手段と、前記複数の視点から撮像した撮像画像データに基づいて、前記複数の視点以外の視点から撮像した場合に得られる補間画像データを生成する画像補間手段と、領域ごとの合焦の状態を示す合焦状態情報に基づいて、前記撮像画像データと前記補間画像データとに対する重み係数を該領域ごとに設定する設定手段と、前記重み係数に基づいて、前記撮像画像データと前記補間画像データとを合成して合成画像データを生成する合成手段とを有し、合焦する領域における補間画像データに対する重み係数は、該合焦する領域以外の領域の中の少なくとも一部の領域における補間画像データに対する重み係数よりも小さいことを特徴とする画像処理装置。前記領域は画素であることを特徴とする請求項1に記載の画像処理装置。焦点距離を示す焦点距離情報を入力する焦点距離入力手段と、前記領域ごとの被写体までの距離を取得する取得手段とを更に有し、前記領域ごとの合焦の状態を示す合焦状態情報は、前記焦点距離情報と前記被写体までの距離とに基づいて決定されることを特徴とする請求項1又は2に記載の画像処理装置。前記取得手段は、前記撮像画像データに基づいて被写体までの距離を取得することを特徴とする請求項3に記載の画像処理装置。被写界深度を示す被写界深度情報を入力する被写界深度入力手段を更に有し、前記領域ごとの合焦の状態を示す合焦状態情報は、前記焦点距離情報と前記被写界深度情報と前記被写体までの距離とに基づいて決定されることを特徴とする請求項3又は4に記載の画像処理装置。前記合焦する領域の補間画像データに対する重み係数は、ゼロであることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。前記合焦する領域と、該合焦する領域以外の領域との間に中間領域を設定する中間領域設定手段を更に有し、前記合成手段は、前記中間領域に対して、合焦する領域の補間画像データに対する重み係数と合焦する領域以外の領域の補間画像データに対する重み係数との間の重み係数を用いて合成することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。複数の視点から撮像した撮像画像データを入力する入力工程と、前記複数の視点から撮像した撮像画像データに基づいて、前記複数の視点以外の視点から撮像した場合に得られる補間画像データを生成する画像補間工程と、領域ごとの合焦の状態を示す合焦状態情報に基づいて、前記撮像画像データと前記補間画像データとに対する重み係数を該領域ごとに設定する設定工程と、前記重み係数に基づいて、前記撮像画像データと前記補間画像データとを合成して合成画像データを生成する合成工程とを有し、合焦する領域における補間画像データに対する重み係数は、該合焦する領域以外の領域の中の少なくとも一部の領域における補間画像データに対する重み係数よりも小さいことを特徴とする画像処理方法。コンピュータを請求項1乃至7のいずれか1項に記載の画像処理装置として機能させるためのプログラム。しかしながら、特許文献1では背景を大きくぼかした場合に、被写体と背景の境界にアーティファクトが発生するなどの課題があった。特許文献2では背景を大きくぼかし被写界深度の浅い画像を生成できるものの、被写界深度外のぼけた領域合焦する領域外のぼけた領域の画質に課題があった。非特許文献1では、撮像画像間の中間視点画像を推定処理によって生成することで被写界深度外のぼけた領域の画質を向上させているが、一方で被写界深度内の領域合焦する領域までぼけてしまうという課題があった。これは、中間視点画像の生成の際に生じる誤差や中間視点画像の合成前の位置合わせの際の誤差等が原因である。そこで本発明では、複数の視点から撮像した撮像画像データに基づいて合成画像を生成する際に、合焦する領域がぼけてしまうのを抑制し、該合焦する領域外のぼけた領域の画質を向上させることを目的とする。上記の目的を達成するために、本発明の画像処理装置は、複数の視点から撮像した撮像画像データを入力する画像入力手段と、前記複数の視点から撮像した撮像画像データに基づいて、前記複数の視点以外の視点から撮像した場合に得られる補間画像データを生成する補間画像生成手段と、領域ごとの合焦の状態を示す合焦状態情報に基づいて、前記撮像画像データと前記補間画像データとに対する重み係数を該領域ごとに設定する設定手段と、前記重み係数に基づいて、前記撮像画像データと前記補間画像データとを合成して合成画像データを生成する合成手段とを有し、合焦する領域における補間画像データに対する重み係数は、該合焦する領域以外の領域の中の少なくとも一部の領域における補間画像データに対する重み係数よりも小さいことを特徴とする。本発明によれば、複数の視点から撮像した撮像画像データに基づいて合成画像を生成する際に、合焦する領域がぼけてしまうのを抑制し、該合焦する領域外のぼけた領域の画質を向上させる。[実施形態1]本実施形態では、図2に示すような複数のカメラユニット201~209からなる撮像装置107で撮像した複数のパンフォーカス画像を基に、撮像位置を内挿するように補間画像を生成し、それらを合成することにより被写界深度の浅い合成画像を生成する。この際、画像中のピントを合わせたい領域合焦する領域においては、ぼかしたい領域合焦していない領域と比べ補間画像の寄与が小さくなるように合成処理を行う。なお、本実施形態においてカメラユニット201~209は格子状に等間隔になるよう配置されており、各カメラユニットの上下軸、左右軸、光軸は全て同じ方向又は略同じ方向であるとする。また、本実施形態で生成する合成画像は、カメラユニット205により撮像された画像の被写界深度を浅くした画像である。まず、本実施形態における画像処理装置のシステム構成例について、図1を用いて説明する。同図において、CPU101は、RAM102をワークメモリとして、ROM103及びハードディスクドライブHDD105に格納されたプログラムを実行し、システムバス112を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。HDDインタフェイスI/F104は、HDD105や光ディスクドライブ、などの二次記憶装置を接続する。例えばシリアルATASATA等のインタフェイスである。CPU101は、HDDI/F104を介して、HDD105からのデータ読み出し、およびHDD105へのデータ書き込みが可能である。さらにCPU101は、HDD105に格納されたデータをRAM102に展開し、同様に、RAM102に展開されたデータをHDD105に保存することが可能である。そしてCPU101は、RAM102に展開したデータをプログラムとみなし、実行することができる。撮像インタフェイスI/F106は、図2に示すような複数の同一なカメラユニット201~209からなる撮像装置107などを接続する、例えばUSBやIEEE1394などのシリアルバスインタフェイスである。CPU101は、撮像I/F106を介して撮像装置107を制御し、撮像を行うことが可能である。さらに、CPU101は、撮像I/Fを介して撮像装置107から撮像したデータを読み込むことが可能である。入力インタフェイスI/F108は、キーボードやマウスなどの入力デバイス109を接続する、例えばUSBやIEEE1394等のシリアルバスインタフェイスである。CPU101は、入力I/F108を介して入力デバイス109からデータを読み込むことが可能である。出力インタフェイスI/F110は、画像表示装置等の出力デバイス111を接続する。例えばDVIやHDMI等の映像出力インタフェイスである。CPU101は、出力I/F110を介して出力デバイス111にデータを送り、表示を実行させることができる。次に、本実施形態に係る一連の処理を行う際の機能構成について、図3を用いて説明する。CPU101の機能部としての撮像データ入力部301は、撮像画像データ308および撮像装置情報309を撮像装置107あるいはROM103、HDD105等の記憶装置から取得する。撮像画像データ308は、撮像装置107によって撮像された異なる視点位置撮像位置から撮像された複数の画像データを含む。また、撮像装置情報309は、撮像画像データを撮像する際の撮像装置107の画角や撮像位置を含む。また、CPU101の機能部としてのパラメータ入力部302は、仮想的なピント面までの距離焦点距離の情報を含む仮想ピントパラメータ仮想焦点距離情報310を、入力デバイス109あるいはROM103、HDD105等の記憶装置から取得する。また、パラメータ入力部302は、仮想的な絞り量の情報を含む仮想絞りパラメータ仮想絞り量情報311を、入力デバイス109等から取得する。このように、パラメータ入力部は、仮想的な焦点距離を示す焦点距離情報を入力する焦点距離入力という機能と、仮想的な絞り量を示す絞り量情報を入力する絞り量入力という機能を有している。そして、CPU101の機能部としての画像補間処理部303は、まず撮像画像データ308および撮像装置情報309に基づき、撮像画像データ308の撮像位置を内挿するように仮想視点位置情報313を設定する。そして、画像補間処理部303は、撮像画像データ308を基に各仮想視点位置情報313が示す仮想視点位置から撮像した場合に得られる補間画像データ312を生成する。CPU101の機能部としての距離推定処理部304は、撮像画像データ308および撮像装置情報309に基づき、ステレオマッチングにより撮像シーンのデプス値を領域ごとの推定し、デプス画像データ314を生成する。デプス画像データ314は、各領域ごと又は各画素ごとの被写体までの距離情報を有する画像データである。CPU101の機能部としての領域分割処理部305は、仮想ピントパラメータ310及びデプス画像データ314に基づき、撮像シーンにおけるピントを合わせたい領域、ぼかしたい領域に分割し、領域分割画像データ315を生成する。CPU101の機能部としての画像合成部306は、撮像装置情報309、仮想視点位置情報313、仮想ピントパラメータ310、仮想絞りパラメータ311、領域分割画像データ315を取得する。そして、画像合成部306はこれらの情報に基づいて、撮像画像データ308と補間画像データ312を合成し、合成画像データ316を生成する。最後に、CPU101の機能部としての画像出力部307は、合成画像データ316を出力デバイス111へ出力したり、HDD105へ保存したりする。図4は、本実施形態の画像処理装置における一連の処理の動作手順を示すフローチャートである。詳細には、図4のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムをROM103あるいはHDD105からRAM102上に読み込んだ後に、CPU101によって該プログラムを実行することによって当該処理が実行される。以下、図4に示す各処理について説明する。まずステップS401において、撮像データ入力部301は、撮像装置107を用いて撮像画像データ308を撮像し、撮像画像データ308および撮像装置107の各カメラユニットの画角や撮像位置を含む撮像装置情報309を取得する。あるいは、予めROM103やHDD105などの記録装置に撮像画像データ308および撮像装置107の各カメラユニットの画角や撮像位置などの撮像装置情報309を保持しておき、これを撮像データ入力部301が取得するようにしてもよい。次にステップS402において、パラメータ入力部302は入力デバイス109から仮想ピント距離焦点距離を含む仮想ピントパラメータ310および画像合成時に使用する各画像の重み係数を含む仮想絞りパラメータ311を取得する。あるいは、予めROM103やHDD105などの記録装置に仮想ピントパラメータ310および仮想絞りパラメータ311を保持しておき、これをパラメータ入力部302が取得するようにしてもよい。次にステップS403において、画像補間処理部303はS401で取得した撮像画像データ308および撮像装置情報309を基に、撮像画像データ308の撮像位置を内挿するように撮像位置視点位置以外の位置を示す仮想視点位置情報313を設定する。そして、撮像画像データ308を基に各仮想視点位置情報313が示す視点位置以外の視点から得られる補間画像データ312を補間処理によって生成する。S403で行う画像補間処理については後に詳述する。次にステップS404において、距離推定処理部304はS401で取得した撮像画像データ308および撮像装置情報309を基に、距離推定処理を用いて撮像したシーンの奥行きを推定しシーンのデプス画像データ314を生成する。S404で行う距離推定処理については後に詳述する。次にステップS405において、S402で取得した仮想ピントパラメータ310およびS403で取得したデプス画像データ314を基に、2領域にシーンを分割し領域分割画像データ315を生成する。ここで、2領域とはピントを合わせたい領域ピント内領域、合焦する領域とぼかしたい領域ピント外領域である。S405で行う領域分割処理については後に詳述する。次にステップS406において、撮像装置情報309、仮想絞りパラメータ311、仮想視点位置情報313、領域分割画像データ315を基に、撮像画像データ308および補間画像データ312を合成し、合成画像データ316を生成する。S406で行う画像合成処理については後に詳述する。次にステップS407において、画像出力部307は合成画像データ316を出力デバイス111に表示したり、HDD105などの記録装置に記録したりする。<画像補間処理>ここでは、ステップS403で行う画像補間処理について説明する。画像補間処理では、撮像画像データ308の撮像位置を内挿するように撮像位置視点位置以外の位置を示す仮想視点位置情報313を設定する。そして、視差補間処理を用いて撮像画像データ308を基に各仮想視点位置情報313が示す位置視点以外の位置に対応する補間画像データ312を生成する。以下、図5に示すフローチャートを用い画像補間処理の詳細を説明する。まずステップS501において、補間画像データを生成する際の仮想視点位置を示す仮想視点位置情報313の設定を行う。撮像位置と仮想視点位置との関係を図6aに示す。x軸601、y軸602、z軸603はそれぞれ各カメラユニットの水平方向、垂直方向、光軸方向に対応し、カメラユニット205の撮像位置を原点として直交しているものとする。仮想視点位置は各撮像位置を内挿するように設定する。本実施形態では、図6に示すように撮像位置を等間隔に内挿するよう格子状に仮想視点位置を配置する。次にステップS502において、撮像画像データ308の中から撮像位置が横方向に隣接する2画像を順に選択し、視差補間処理を用いて2画像間の仮想視点位置情報313が示す仮想視点位置に対応する補間画像データ312を生成する。図6bにS502で補間画像データを生成する仮想視点位置を示す。視差補間処理には既存の方法を利用する。例えば、2画像を用いてブロックマッチングを行いて算出した各画素の視差量を基に、仮想視点位置情報313が示す仮想視点位置に対応する補間画像データ312を生成してもよい。あるいは2画像から抽出した特徴点を対応付け、各特徴点の対応関係を基にモーフィング処理を行うことで仮想視点位置に対応する補間画像データ312を生成することもできる。次にステップS503において、撮像画像データ308およびS502で生成した補間画像データ312の中から撮像位置が縦方向に隣接する画像のペアを順に選択し、視差補間処理を用いて二画像間の仮想視点位置情報313に対応する補間画像データを生成する。図6cにS503で補間画像データを生成する仮想視点位置情報313を示す。視差補間処理はS502と同様の手法を適用可能である。最後にステップS504においてS502およびS503で生成した補間画像データ312を出力する。<距離推定処理>ここでは、ステップS404で行う距離推定処理について説明する。距離推定処理では、位置の異なる複数の撮像画像データ308を基に、撮像したシーンの距離を推定することでデプス画像データ314を生成する。例えば、ステレオ法、マルチベースラインステレオ法などの距離推定法が適用可能である。本実施形態では、ステレオ法によって距離推定を行う。以下、図7に示すフローチャートを用い、距離推定処理の詳細を説明する。まずステップS701において、撮像画像データ308から処理に使用する2画像を選択する。本実施形態では撮像装置107の中央のカメラユニット205で撮像された画像と、それと横方向に隣接するカメラユニット206で撮像された画像を選択するものとする。以下、前者を基準画像、後者を対象画像とする。次にステップS702において、以降の処理を行う注目画像を初期化する。次にステップS703において、全画素で距離値が求められているかを判定する。全画素で距離値が求められている場合はステップS707へ進み、距離値の求められていない画素がある場合はステップS704へ進む。次にステップS704では、まず基準画像の注目画素i,jとその周囲の画素からなる領域を選択する。そして選択したブロックを用いて対象画像とパターンマッチングを行い、対象画像中から注目画素に対応する画素対応画素を求める。次にステップS705において、撮像装置情報309と注目画素i,jとS704で求めた対応画素を基に注目画素に対応する被写体までの距離値Di,jを求める。距離値Dは、図8に示すα、β、sを基に以下の式1で表される。ここで、αはカメラユニット205の水平画角、基準画像の撮像位置、注目画素の座標から算出される。βはカメラユニット206の水平画角、対象画像の撮像位置、対象画素の座標から算出される。sはカメラユニット間の距離であり、基準画像および対象画像の撮像位置より算出される。次にステップS706において、注目画素を更新しS703へ戻る。最後にステップS707において、各画素値を基準画像の距離値とするデプス画像データ314を出力する。なお、本実施形態ではステップS701において、カメラユニット205、206を選択し距離推定を行ったが、距離推定可能なカメラの組み合わせはこれに限るものではない。例えば、対象画像として他のカメラユニットを選択しても構わない。より正確な距離推定処理のためにはカメラ間の距離sが大きければ大きいほどよい。また、本実施形態のデプス画像データ314は、各画素ごとの被写体までの距離情報を有する画像データであるとしたが、複数の画素から構成される領域ごとの距離情報を有する画像データであっても良い。<領域分割処理>ここでは、ステップS405で行う領域分割処理について説明する。領域分割処理では、S402で取得した仮想ピントパラメータ310およびS405で取得したデプス画像データ314を基に、ピントを合わせたい領域とそれ以外の領域にシーンを分割し領域分割画像データ315を生成する。以下、図9に示すフローチャートを用い、領域分割処理の詳細を説明する。まずステップS901において、ピント内領域の設定を行う。仮想ピントパラメータ310より得られる仮想ピント距離をd、デプス画像データ314の画素値をDi,jとする。このとき、Di,j=dとなる画素i,jの集合をピント内領域とする。次にステップS902において、ピント外領域の設定を行う。デプス画像データ314においてピント内領域を以外の画素の集合をピント外領域とする。すなわち、ピント内領域は、被写体に合焦する領域に対応している。ピント外領域は、被写体に合焦する領域以外の領域に対応している。最後にステップS904において、ピント内領域、ピント外領域にそれぞれ異なるラベル値を割り当てた画像を領域分割画像データ315として出力する。この領域分割画像データ315は、画素ごとのピント合焦の状態を示す合焦状態情報を有する。以上の処理によって得られる領域分割画像データ315の例を図10に示す。デプス画像データ314を距離値d0、d1、d2からなる画像、仮想ピントパラメータ310から得られる仮想ピント距離がd2とする。この場合では、デプス画像データ314において距離値がd2となる画素の集合をピント内領域、それ以外の距離値がd0、d1となる画素の集合をピント外領域となる。本実施形態の領域分割画像データ315は、各画素ごとのピント合焦の状態を示す合焦状態情報を有するとしたが、複数の画素から構成される領域ごとのピント合焦の状態を示す合焦状態情報を有するとしても良い。なお、本実施形態ではステップS901において、デプス画像データ314における画素値Di,jが仮想ピント距離dと等しい領域をピント内領域としたが、ピント内領域の設定方法はこれに限るものではない。例えば、d-α1≦Di,j≦dα2を満たす画素Di,jをピント内領域としてもよい。α1、α2の値は合成画像データ316における仮想的な被写界深度情報を基に決めてもよい。例えば、合成画像データ316の被写界深度が深い場合はα1、α2の値を大きくし、深度が浅い場合はα1、α2の値を小さくするなどしてもかまわない。α1、α2は入力デバイス109を介してユーザーが入力しても良いし、ROM103やHDD105が保持しておき領域分割処理の際にCPU101に入力されても良い。この場合、不図示の被写界深度入力部が、これらの入力を制御する。なお、合成画像データ316の仮想的な被写界深度は仮想絞りパラメータ311から判断できる。仮想絞りパラメータ311の係数をガウス関数に従って決めている場合、ガウス関数を決定する標準偏差の値によって深度が判断できる。このとき、標準偏差が小さいほど深度は深くなり、標準偏差が大きいほど深度は浅くなる。<画像合成処理>ここでは、ステップS406で行う画像合成処理について説明する。画像合成処理では、まず仮想絞りパラメータ311を基に、各画像に対する重み係数をピント内領域とピント外領域でそれぞれ設定する。そして、撮像装置情報309および仮想視点位置情報313を基に、各画像をシフトし領域毎に異なる重み係数を用いて重み付け加算を行い、合成画像データ316を生成する。以下、図11に示すフローチャートを用い、画像合成処理の詳細を説明する。まずステップS1101において、ステップS402で取得した仮想絞りパラメータ311を基に、画像を合成する際に用いる2つの重み係数を設定する。まず図12を用いて仮想絞りパラメータとピント内領域およびピント外領域に対応する重み係数について説明する。仮想絞りパラメータ311は撮像画像データ308および補間画像データ312に対する係数のセットである。各撮像位置および仮想視点位置情報313をそれぞれPmと表し、Pmに対応する撮像画像データ308あるいは補間画像データ312を画像Imとする。このとき、Imに対応する仮想絞りパラメータ311の値をAm、ピント内領域、ピント外領域における重み係数の値をそれぞれWinm,Woutmとする。本実施形態におけるPmとAm、Winm,Woutmの関係を図12に示す。ここでAmはP12を中心としたガウス関数に従い、総和が1になるよう正規化された値を設定している。Amをガウス関数に従うように設定することにより、合成時にピント外領域を滑らかにぼかすことができる。また、Winm,WoutmはAmを基に以下の式23を用いて設定される。なお、kはAmにおける撮像画像に対応する係数の和であり、これによりWinの和が1になるよう正規化を行っている。本実施形態ではピント内領域において補間画像データ312が寄与しないよう、対応する重み係数を0としている。また、ピント外領域では、仮想絞りパラメータ311の値をそのまま利用する。次にステップS1102において、撮像装置情報309および仮想視点位置情報313を基に各画像のシフト量を算出する。ピント距離をdとした際の画像Imの水平方向のシフト量△im、dおよび垂直方向のシフト量△jm、dは以下の式45で表される。ここで、W、Hはそれぞれ画像の水平方向、垂直方向の画像サイズ、θwはカメラユニットの水平視野角、θhはカメラユニットの垂直視野角である。また、sm,tmはxy平面上におけるPmの座標、s‘,t’はxy平面上におけるカメラユニット205の撮像位置P12の座標である。次にステップS1103において、ステップS1102で求めたシフト量、ステップS1101で求めた重み係数および領域分割画像データ315を用いて、撮像画像データ308および補間画像データ312に対して重み付け加算処理を行う。これにより、合成画像データ316を生成する。重み付け加算処理のフローチャートを図13に示す。まずステップS1301において、注目画素i,jの初期化を行う。次にステップS1302において、全ての画素について合成処理が行われたかを判定する。未処理の画素がある場合はステップS1303へ進み、全画素が処理済みなら重み付け加算処理を終了する。ステップS1303では、領域分割画像データ315を参照し注目画素がピント内領域に含まれるか否かを判定する。注目画素がピント内領域に含まれる場合はステップS1304、ピント外領域に含まれる場合はステップS1305に進む。ステップS1304では重み係数Winを用いて重み付け加算を行う。合成画像データ316をHとしたとき、合成処理は以下の式6で表される。式6は、撮像画像データまたは補間画像データImのそれぞれについて設定されている重み係数WinをImに乗じ、かつシフト量△i及び△jに基づいて画像データImをシフトさせ、それらを足し合わせることで合成画像データを取得することを意味している。ステップS1305では重み係数Woutを用いて重み付け加算を行う。合成画像データ316をHとしたとき、合成処理は以下の式7で表される。式7は撮像画像データまたは補間画像データImのそれぞれについて設定されている重み係数WoutをImに乗じ、かつシフト量△i及び△jに基づいて画像データImをシフトさせ、それらを足し合わせることで合成画像データを取得することを意味している。ステップS1306では注目画素を更新しステップ1302に戻る。最後にステップS1104において、生成いた合成画像データ316を出力する。なお、本実施形態ではステップS1101において、ピント内領域においては補間画像データ312が寄与しないように重み係数Winの値をゼロと設定したが、ピント内領域における重み係数Winの設定方法はこれに限るものではない。例えば、補間画像データ312の寄与が十分小さくなるよう重み係数をゼロに近い値としてもよい。あるいは、ピント外領域における補間画像データの重み係数の和が、ピント内領域における補間画像データの重み係数の和よりも小さくなるようにピント外領域における重み係数を決定してもよい。具体的な重み係数の例を図14aに示す。このように本実施形態では、ピント内領域において補間画像データの寄与を少なくすることにより、ピント内領域被写界深度内の領域における合成に起因するぼけを抑制することができる。以上の通り、本実施例によれば、複数の視点から撮像した撮像画像データに基づいて合成画像を生成する際に、ピント内領域被写界深度内の領域がぼけてしまうことを抑制し、かつ、被写界深度外のぼけた領域の画質を向上させることができる。また、本実施形態では領域分割画像データ315はピント内領域とピント外領域を示すラベル値を割り当てた画像データであるとしたが、本実施形態の目的を逸脱しない範囲内でこれに限らない。即ち、ピント内領域における補間画像データに対する重み係数が、ピント外領域の少なくとも一部の領域における重み係数よりも小さければよい。これにより、ピント内領域が合成によりぼけてしまうことを抑制すると同時に、ピント外領域の少なくとも一部の領域においては画質の高いぼけを生成することができる。<変形例>本実施形態ではステップS404の距離推定処理によりデプス画像データ314を生成していたが、デプス画像データの生成方法はこれに限るものではない。例えば、シーンの奥行きを外部のセンサを利用して測定し、それを基にデプス画像データを生成してもかまわない。あるいは、新たに撮像装置107に測距センサを設け、それを基にデプス画像データを生成してもかまわない。本実施形態では、ピント内領域においては、例えば図12、図14aの重み係数Winに基づいて複数の画像データの合成処理を行うとした。しかし、ピント内領域においては合成処理を行わず、例えばI15の画像データのみを利用しても良い。この場合の重み係数Winは図14bのようになる。この場合であっても、ピント外領域においては、例えば、図12の重み係数Woutに基づいて合成処理を行うことになる。重み係数Woutは図12にのみ図示されているので図14は削除しました。また、図14bの例1は、図14aの例1と同様のため、添付ファイルC411012_図面_追加分.pptxでは削除しました。本実施形態では撮像装置107で撮像する画像はパンフォーカス画像としたが、それに限らない。例えば、被写界深度の浅い画像に対して合成処理を行っても良い。本実施形態では、ピント内領域において撮像位置P12に近い撮像位置の撮像画像ほど重みが大きくなるように重み係数Winを設定した。しかし、撮像位置によらず各撮像画像に対する重みが等しくなるよう重み係数Winを設定してもよい。この場合の重み係数は図14cのようになる。この場合であっても、ピント外領域においては、例えば図12の重み係数Woutに基づいて合成処理を行うことになる。こうすることで、他の重み係数よりもピント内領域のS/Nが向上する。[実施形態2]実施形態1ではシーンをピント内領域とピント外領域の2領域に分割した。実施形態2では、これらの境界に中間領域を設定することでシーンを3領域に分割し、ピント内領域とピント外領域の境界を滑らかに接続にする。実施形態2では実施形態1と比較し、ステップS405で行う領域分割処理とステップS406で行う画像合成処理が異なる。以下、領域分割処理および画像合成処理の詳細を説明する。その他、実施形態1と共通する説明は省略する。<領域分割処理>図15に示すフローチャートを用い、領域分割処理の詳細を説明する。まず、ステップS1501において、ピント内領域の設定を行う。処理はステップS901と同様の処理を行えばよい。次にステップS1502において、中間領域設定を実行する。ステップS1501で得られたピント内領域を基に、その周辺を中間領域とする。本実施形態では、ピント内領域からの距離がr以内となる画素の集合を中間領域とする。次にステップS1503において、ピント外領域の設定を行う。デプス画像データ314から、ピント内領域および中間領域を除いた画素の集合をピント外領域とする。最後にステップS1504において、ピント内領域、ピント外領域、中間領域にそれぞれ異なるラベルを割り当てた画像を分割画像315として出力する。以上の処理によって得られる領域分割画像データ315の例を図16に示す。デプス画像データ314を距離値d0、d1、d2からなる画像、仮想ピントパラメータ310から得られる仮想ピント距離がd2とする。この場合では、デプス画像データ314において距離値がd2となる画素の集合をピント内領域、ピント内領域からの距離がr以内である画素の集合を中間領域、それ以外の画素の集合がピント外領域となる。また、本実施形態ではステップS1502において、中間領域をピント内領域からの距離がr以内の画素と集合としたが、中間領域の設定方法はこれに限るものではない。例えば、rの値常に固定するのではなく、ピント内領域周辺の距離値を基にデプス画像データ314に応じて動的に決めてもよい。例えば、ピント内領域周辺の距離値の変化が小さい場合はrを大きくし、変化が大きい場合はrを小さくするなどしてもかまわない。あるいは、合成画像データ316における仮想的な被写界深度を基にrの値を決めてもよい。例えば、合成画像データ316の深度が深い場合はrを大きくし、深度が浅い場合はrを小さくするなどしてもかまわない。なお、合成画像データ316の深度は仮想絞りパラメータ311から判断できる。仮想絞りパラメータ311の係数をガウス関数に従って決めている場合、ガウス関数を決定する標準偏差の値によって深度が判断できる。このとき、標準偏差が小さいほど深度は深くなり、標準偏差が大きいほど深度は浅くなる。<画像合成処理>ここでは、ステップS406で行う画像合成処理について説明する。実施形態1とは、ステップS1103で行う重み付け加算処理のみが異なる。以下、本実施形態における重み付け加算処理について説明する。図17に示すフローチャートを用い、重み付け加算処理の詳細を説明する。まずステップS1701において、注目画素i,jの初期化を行う。次にステップS1702において、全ての画素について合成処理が行われたかを判定する。未処理の画素がある場合はステップS1703へ進み、全画素が処理済みなら重み付け加算処理を終了する。ステップS1703では、領域分割画像データ315を参照し注目画素がピント内領域、ピント外領域、中間領域の内どの領域に含まれるか判定する。注目画素がピント内領域に含まれる場合はステップS1704、ピント外領域に含まれる場合はステップS1705、中間領域に含まれる場合はステップS1706に進む。ステップS1704では重み係数Winを用いて重み付け加算を行う。合成画像データ316をHとしたとき、合成処理は以下の式8で表される。式8は、撮像画像データまたは補間画像データImのそれぞれについて設定されている重み係数WinをImに乗じ、かつシフト量△i及び△jに基づいて画像データImをシフトさせ、それらを足し合わせることで合成画像データを取得することを意味している。ステップS1705では重み係数Woutを用いて重み付け加算を行う。合成画像データ316をHとしたとき、合成処理は以下の式9で表される。式9は撮像画像データまたは補間画像データImのそれぞれについて設定されている重み係数WoutをImに乗じ、かつシフト量△i及び△jに基づいて画像データImをシフトさせ、それらを足し合わせることで合成画像データを取得することを意味している。ステップS1706では重み係数WinおよびWoutを基に重み係数Wmidを生成し、Wmidを用いて重み付け加算を行う。Wmidは以下10の式のように補間処理によって算出する。ここで、αは中間領域の範囲を決める距離rと、ピント内領域から注目画素までの距離によって定まる0以上1以下の係数である。αの値は注目画素がピント内画素に近いほど1に近づき、ピント外領域に近づくほど0に近い値となる。合成画像データ316をHとしたとき、合成処理はwmidを用いて以下の式11で表される。式11は撮像画像データまたは補間画像データImのそれぞれについて設定されている重み係数WmidをImに乗じ、かつシフト量△i及び△jに基づいて画像データImをシフトさせそれらを足し合わせることで合成画像データを取得することを意味している。ステップS1707では注目画素を更新しステップ1702に戻る。以上説明した処理を行うことで、複数の画像からより被写界深度の浅い画像を生成する際に、被写界深度内の領域と被写界深度外の領域との境界を滑らかに接続しつつ、被写界深度内の領域をぼかさずに被写界深度外の領域をきれいにぼかすことができる。[その他の実施形態]また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。"