"複数の撮影画像を合成する画像処理方法であって、絞りおよび露出を変えて撮影した撮影画像を取得する撮影画像取得ステップと、前記取得した複数の撮影画像を、前記複数の撮影画像の各々の画像上において前記絞りに応じて生じるボケの差異が減少するように補正する画像補正ステップと、前記補正された露出の異なる画像を合成して前記複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成ステップとを備えたことを特徴とする画像処理方法。前記画像補正ステップは、前記複数の撮影画像のうち最も開いた絞りに対応する被写界深度に基づき、各撮影画像をリフォーカスすることにより補正することを特徴とする請求項1に記載の画像処理方法。前記画像補正ステップは、前記複数の撮影画像の各々の視点位置が同一となるよう補正することを特徴とする請求項1または2に記載の画像処理方法。前記複数の撮影画像は、前記撮影の際の絞りが閉じているほど多いことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理方法。前記画像補正ステップは、被写界深度の最も浅い撮影画像における空間周波数のスペクトルに基づき、各撮影画像を平滑化することにより補正することを特徴とする請求項1に記載の画像処理方法。複数の撮像手段を有する撮像装置により撮影した複数の画像を合成して画像を出力する撮像方法であって、前記複数の撮像手段によって、絞りおよび露出を変えて撮影することにより複数の撮影画像を取得する撮影画像取得ステップと、前記取得した複数の撮影画像を、前記複数の撮影画像の各々の画像上において前記絞りに応じて生じるボケの差異が減少するように補正する画像補正ステップと、前記補正された露出の異なる画像を合成して前記複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成ステップとを備えたことを特徴とする撮像方法。絞りおよび露出を変えて撮影した撮影画像を取得する撮影画像取得手段と、前記取得した複数の撮影画像を、前記複数の撮影画像の各々の画像上において前記絞りに応じて生じるボケの差異が減少するように補正する画像補正手段と、前記補正された露出の異なる画像を合成して前記複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成手段とを備えたことを特徴とする画像処理装置。絞りおよび露出を変えて撮影することにより複数の撮影画像を取得する複数の撮像手段と、前記複数の撮像手段によって取得した複数の撮影画像を、前記複数の撮影画像の各々の画像上において前記絞りに応じて生じるボケの差異が減少するように補正する画像補正手段と、前記補正された露出の異なる画像を合成して前記複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成手段とを備えたことを特徴とする撮像装置。コンピュータを請求項7に記載の画像処理装置として機能させるためのプログラム。コンピュータを請求項8に記載の撮像装置として機能させるためのプログラム。しかし、上述した露光時間を変えて複数回撮影する方法では、撮影シーンに動きがある場合、撮影画像間において露出ごとに被写体の位置が微妙に異なって写り、ブレが生じる。また、絞りを変えて撮影する方法では、絞りの量に応じて被写界深度も変化するため、奥行きのあるシーンを撮影した場合に露出ごとに合焦範囲が変化して、異なるボケが生じる。そのため従来技術は、動きや奥行きのあるシーンを撮影した場合に、撮影画像を合成して得られるHDR画像が不自然な画像となるという課題があった。そこで本発明では、絞りを変えて撮影した露出の異なる複数枚の画像について、被写界深度が互いに同等となるように補正を実行してから合成することにより、より自然なHDR画像を生成することを目的とする。本発明の画像処理方法は、複数の撮影画像を合成する画像処理方法であって、絞りおよび露出を変えて撮影した撮影画像を取得する撮影画像取得ステップと、取得した複数の撮影画像を、複数の撮影画像の各々の画像上において絞りに応じて生じるボケの差異が減少するように補正する画像補正ステップと、補正された露出の異なる画像を合成して複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成ステップとを備えたことを特徴とする。本発明の撮像方法は、複数の撮像手段を有する撮像装置により撮影した複数の画像を合成して画像を出力する撮像方法であって、複数の撮像手段によって、絞りおよび露出を変えて撮影することにより複数の撮影画像を取得する撮影画像取得ステップと、取得した複数の撮影画像を、複数の撮影画像の各々の画像上において絞りに応じて生じるボケの差異が減少するように補正する画像補正ステップと、補正された露出の異なる画像を合成して複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成ステップとを備えたことを特徴とする。本発明の画像処理装置は、絞りおよび露出を変えて撮影した撮影画像を取得する撮影画像取得手段と、取得した複数の撮影画像を、複数の撮影画像の各々の画像上において絞りに応じて生じるボケの差異が減少するように補正する画像補正手段と、補正された露出の異なる画像を合成して複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成手段とを備えたことを特徴とする。本発明の撮像装置は、絞りおよび露出を変えて撮影することにより複数の撮影画像を取得する複数の撮像手段と、複数の撮像手段によって取得した複数の撮影画像を、複数の撮影画像の各々の画像上において絞りに応じて生じるボケの差異が減少するように補正する画像補正手段と、補正された露出の異なる画像を合成して複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成手段とを備えたことを特徴とする。本発明は、被写体に動きがあり、かつ奥行きのあるシーンにおいても、被写体ブレの少ない、ボケ味の自然なHDR画像の生成を可能とする。[実施例1]本実施例では、絞りの異なる複数の撮像部を用いて複数の視点位置から同一シーンを撮影し、露出の異なる複数枚の撮影画像を取得する。取得した複数枚の画像を用いて、撮影時の被写界深度が最も浅い画像を撮影した撮像部の撮影パラメータに基づき、各撮影画像をリフォーカスすることにより、被写体のボケが互いに同程度でボケの差異を減少させた露出の異なる複数の補正画像を生成する。最後に、これらの補正画像を合成してHDR画像を生成する。これにより、撮影画像間でのボケ方の差を補正した自然なHDR画像の生成を可能とする。まず、本実施例における画像処理装置のシステム構成例について、図1ないし図3を用いて説明する。図1は、複数の撮像部を備えた多眼方式による撮像装置の一例を示す図である。同図において、撮像装置100の筐体は、画像を取得する9個の撮像部101~109からなるカメラアレイと、撮影ボタン110を備えている。撮影ボタン110が押下されると、撮像部101~109が被写体の光情報をセンサ撮像素子で受光し、受光した信号がA/D変換されて、複数の撮影画像デジタルデータが同時に取得される。このような多眼方式の撮像装置により、同一の被写体を複数の位置から撮影した画像群を得ることができる。なお、ここでは撮像部の数を9個としたが撮像部の数は9個に限定されず、例えば図2に示すように3個とすることもできる。したがって、複数の撮像部を有するいずれの撮像装置にも本発明を適用することができる。また、複数の撮像部の配置は任意であり、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。図3は、撮像装置100の内部構成を示すブロック図である。中央処理装置CPU201は、以下に述べる各部を統括的に制御する。RAM202は、CPU201の主メモリ、ワークエリア等として機能する。ROM203は、CPU201で実行される制御プラグラム等を格納している。バス213は、各種データの転送経路となる。例えば、撮像部101~109によって取得されたデジタルデータは、このバス213を介して所定の処理部に送られる。ユーザの指示を受け取る操作部204は、ボタンやモードダイヤルなどが含まれるが、これに限られない。表示部206は、撮影画像や文字の表示を行い、例えば液晶ディスプレイが用いられる。また、表示部206は、タッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部204の入力として扱うことも可能である。表示制御部205は、表示部206に表示される撮影画像や文字の表示制御を行う。撮像部制御部207は、フォーカスを合わせる、シャッターを開く及び閉じる並びに絞りを調節するなどの、CPU201からの指示に基づいた撮像系の制御を行う。デジタル信号処理部208は、バス213を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。エンコーダ部209は、デジタルデータをJPEGやMPEGなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部210は、PCやその他のメディア211例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリに接続するためのインターフェースである。画像処理部212は、撮像部101~109で取得されたカラー画像群或いは、デジタル信号処理部208から出力されるカラー画像群から出力されるデジタル画像群を用いて画像処理を行う。次に、本実施例の画像処理装置における一連の処理の動作手順を、図4に示すフローチャートを参照して説明する。まずステップS301において、撮像部101~109の絞りを異なる設定にして被写体を撮影することにより、露出の異なる複数の撮影画像を取得する撮影画像取得処理。ステップS302において、撮影時の被写界深度が最も浅い撮像部の撮影パラメータに基づき、各撮影画像をリフォーカスして複数の補正画像を生成する画像補正処理。ステップS303において、補正画像の画素値を合成して1枚のHDR画像を生成する画像合成処理。以下、各処理の詳細について説明する。なお本処理は、図4のフローチャートに示す手順を実行するよう記述されたコンピュータ実行可能なプログラムを、ROM203からRAM202上に読み込んだ後、CPU201によって、読み込んだプログラムを実行することにより行われる。<撮影画像取得の詳細処理>通常のデジタルカメラにおいては、撮影準備状態においてレンズの種類、焦点距離、ピント距離、露光時間、絞り値などからなる撮影パラメータセットを1セット設定する。これに対し、本実施例で用いるような多眼方式の撮像装置では各撮像部が1セットずつ撮影パラメータを設定されるが、ここでは露出が異なるように絞り値を変えた撮影パラメータセットを複数作成する。作成された撮影パラメータセットは複数の撮像部101~109に各々割り当てられ、割り当てられたパラメータセットに応じて露光を行うことで、露出の異なる複数の撮影画像を得る。以下、図5に示すフローチャートを用いて詳細な処理について説明する。まず、撮影ボタン110が半押しされると本実施例の撮像装置100は撮影準備状態となり、ステップS401で通常のデジタルカメラと同様にして、例えば撮像部105における適正露出EV=±0の撮影パラメータセットP0を1セット決定する。以後、この撮影パラメータセットを基準撮影パラメータセットと呼ぶ。また、撮像部105の位置を基準視点位置Oと呼ぶ。次にステップS402で、基準撮影パラメータセットと、ROM203上のレンズ特性値データベースに格納されている情報を取得する。この取得した情報に基づき、絞り値を変化させて露出が-1段EV1および1段EV1となる撮影パラメータセットP1およびP1を作成する。以後、P1、P1を変動撮影パラメータセットと呼ぶ。ここで、レンズ特性値データベースには、予め撮影パラメータセットと、露出、被写界深度および後述する画像補正処理で用いる仮想絞りフィルタとの対応関係が格納されているものとする。撮影ボタン110が全押しされると、ステップS403で各撮影パラメータセットP0、P1、P1が撮像部101~109に割り当てられ、撮像部が各々撮影パラメータセットに従って撮影動作を開始し、複数枚の撮影画像を得る。撮影パラメータセットの割り当ては、例えば、被写界深度が深いつまり、絞りを閉じた撮影パラメータセットほど、距離の離れた多くの撮像部に割り当たるように行うのが望ましい。例えば、図1に示す白丸、網掛け、黒丸で示した撮像部に、それぞれ撮影パラメータセットP1、P0、P1を割り当てる。すなわち、撮像部101、103、107及び109には撮影パラメータセットP1が割り当てられる。同様に、撮像部102、104、106及び108には撮影パラメータセットP0が、撮像部105には撮影パラメータセットP1が割り当てられる。このような割り当てにより、後の画像補正処理においてより高品質なリフォーカス画像を生成することが可能となるが、これに限られず撮像部とパラメータとはいずれの組合せとしても本実施例の効果を奏することはできる。以上の処理により得られる撮影画像の例を図8に示す。図8において、画像a~iはそれぞれ撮像部101~109から得られる撮像画像である。また、この際撮影されるシーンの状態を図9に示す。図9に示す被写体701は、被写体703の撮像装置100から遠ざかる方向に所定の距離をおいて配置され、焦点は被写体703に合っているものとする。ここで、撮像装置100から被写体703までの距離はL0とし、撮影パラメータセットP0、P1およびP1の被写界深度をそれぞれD0、D1およびD1とする。このように設定すると、図8に示すように、被写体701は、撮影パラメータセットP0、P1が割り当てられた撮像部では被写界深度D0、D1内にあるので合焦する。しかし、撮影パラメータセットP1の撮像部の被写界深度D1内にははいらない。そのため、EV=-1およびEV=±0の撮影画像、すなわち撮像部105以外の撮像部で撮影し得られた画像上では被写体701にピントが合って見えるが、EV=1の画像、すなわち撮像部105で撮影し得られた画像上では被写体701にボケが生じる。<画像補正処理の詳細>本実施例における画像補正処理について説明する。本実施例においては、同一の撮影パラメータセットを用いて得られた複数の撮影画像を変換して重みづけ加算することにより撮影画像のリフォーカスを行い、撮影位置ピント距離被写界深度が同一で、露出の異なる複数の補正画像を生成する。また、撮影画像を重みづけ加算する際の重み係数は、撮影時の被写界深度が最も浅い撮像部の撮影パラメータセットに基づいて決定する。以下、図6に示すフローチャートを用いて詳細な処理について説明する。まずステップS501で、基準撮影パラメータセットP0および変動撮影パラメータセットP1、P1に基づき、後述するステップS502で用いる目標絞りフィルタを取得する。具体的には、まず撮影パラメータセットP0、P1、P1を用いてレンズ特性値データベースから対応する被写界深度D0、D1、D1を取得する。得られた被写界深度のうち最も浅い被写界深度Dmin本例では、D1を求め、これに対応する仮想絞りフィルタを目標絞りフィルタとしてレンズ特性値データベースから取得する。なお、仮想絞りフィルタは、絞りに応じて定まるボケの大きさや形状を表すものであり、後述するステップS502の重みづけ加算に用いる重み係数が記述されたフィルタである。次にステップS502で、基準撮影パラメータセットP0中のピント距離L0、およびステップS501で取得した目標絞りフィルタを用いてリフォーカス処理を行い、EV=±0,-1,1の撮影画像に対応する補正画像を生成する。以下、EV=±0の撮影画像を例にしてリフォーカス処理を具体的に説明する。ただし、リフォーカス処理については様々な手法が知られており、ピント位置および被写界深度を露出の異なる画像間で統一できるものであれば、実現方法を本実施例で説明する処理に限定するものではない。まず、基準撮影パラメータセットP0を用いて得られた複数の撮影画像それぞれに関し、ピント面上の被写体について画像上での位置を一致させるシフト変形量を算出する。カメラアレイ平面上において基準視点位置Oに対する相対位置座標がである撮像部から得られた撮影画像をI0とする。そうすると、ピント距離がL0である場合の撮影画像I0の水平シフト量Shiftuおよび垂直シフト量Shiftvは以下の式で求められる。ここで、W、Hはそれぞれ撮影画像の水平方向および垂直方向の画像サイズ、θw、θhはそれぞれ撮像部の水平視野角および垂直視野角である。次に、算出したシフト量Shiftu、Shiftvと、ステップS501で取得した目標絞りフィルタの重み係数αを用い、次式に従い撮影画像I0の画素値を重みづけ加算して補正画像H0を生成する。ただし、は画像平面上における水平、垂直座標であり、I0、H0はそれぞれ撮影画像I0および補正画像H0の座標における画素値である。以上で説明した処理により、EV=±0に対して撮影位置がO、ピント距離がL0、被写界深度がDminである補正画像H0が得られる。同様にして、撮影時に用いた変動撮影パラメータセットごとに、ステップS301で得た複数の撮影画像に対してリフォーカス処理を適用することにより、EV11に対する補正画像H1、H1も生成する。以上の処理により得られる補正画像の例を図10ないし12に示す。これらの補正画像は、露出は異なるが被写体のボケが同程度である画像となる。なお、ステップS403において、被写界深度が最も浅い撮影パラメータセットを基準視点位置に存在する撮像部に割り当てた場合、その撮像部から得られる撮影画像についてはリフォーカス処理を省略してもよい。例えば、最も浅い被写界深度Dminが変動撮影パラメータセットP1に対応する被写界深度D1であり、撮像部105の撮影パラメータセットがP1である場合がある。この場合には、撮像部105から得られるEV1の撮影画像I1をそのまま補正画像H1としてもよい。その場合、処理時間を短縮できるという効果を奏する。一般にリフォーカス処理は、ボケた被写体像からピントの合った被写体像を生成するよりも、ピントの合った被写体像からボケた被写体像を生成する方が比較的簡単な処理で品質の良い画像を生成することができる。また、撮影画像上の被写体像に対して生成したいボケの程度が大きい場合、より多様な視点位置から撮影した画像を用いるほど、生成されるボケた被写体像の品質が向上する。したがって本実施例では、撮影画像のうち最も浅い被写界深度に他の撮影画像の被写界深度を揃え、さらに、ステップS403で説明したように撮影パラメータセットを割り当てる。これによって、より高品質な補正画像を生成することが可能となる。<画像合成の詳細処理>補正画像からHDR画像を合成する際には、既知のHDR画像生成技術が利用可能である。例えば、次式に従い各補正画像H1、H0、H1の画素値に合成ゲインを乗じて足し合わせることで、1枚のHDR画像Gを生成する。なお、合成ゲインの値は各補正画像の露出に応じた値例えば、γ-1=2.0、γ0=1.0、γ1=0.5とすればよい。得られるHDR画像Gの例を図13に示す。また、撮像部105で撮影パラメータセットP0、P1、P1を用いて撮影した画像から補正せずに合成して得られるHDR画像の例を図14に示す。図14のHDR画像では、被写体702とその周辺の間でボケの不整合が生じる。これに対し、本実施例においてHDR合成に用いる補正画像は撮影画像間でのボケ方の差を補正した画像であるため、合成して得られるHDR画像はボケの不整合が生じない自然な画像となる。以上説明したように、多眼カメラを用い同時に複数の露出の異なる画像を取得するとともに、深度の調整も行うことで、被写体に動きがあり、かつ奥行きのあるシーンにおいても、被写体ブレおよびボケ味の自然なHDR画像を得ることが可能となる。なお、本実施例では露出をEV=-1,±0,1の3段階に変えて撮影する例について説明したが、露出の段階数が複数であれば、他の露出設定で撮影を行っても同様の効果を得ることができる。実施例2実施例1では、露出ごとに撮影画像をリフォーカスすることによりボケ具合を整合させて補正画像を生成する例について説明した。本実施例においては、被写界深度の最も浅い撮影画像における空間周波数のスペクトルに基づき、他の撮影画像を平滑化することにより補正画像を生成する例について説明する。なお、撮影画像取得処理および画像合成処理については、実施例1と同一であるため説明を省略する。ただし、本実施例においては、図2に示す撮像装置を用いて露出ごとに各撮像部で3つの画像を取得し、これを合成して1枚の撮影画像を得るものとする。本実施例では、図2に示すような撮像装置を例に説明するが、撮像部の数や形態などについては、本技術分野で知られたいずれの撮像装置も使用することができ、その場合は以下の処理は適宜具体的な装置特性に合わせて変更することができる。さらに、撮像部間の距離はピント距離に対して十分短く、何れの撮像部で撮影した画像も基準視点位置Oから撮影した画像として見なせるものとする。以下、図7に示すフローチャートを用いて詳細な処理を説明する。まずステップS601において、基準撮影パラメータセットP0並びに変動撮影パラメータセットP1及びP1に基づき、撮影画像の中から基準深度画像を選択する。具体的には、撮影パラメータセットP0、P1、P1を用いてレンズ特性値データベースから対応する被写界深度D0、D1、D1を取得する。そして、得られた被写界深度が最も浅い撮影パラメータセットを特定し、それを用いて撮影した撮影画像を基準深度画像IDとして選択する。次にステップS602で、基準深度画像IDおよび他の撮影画像以後、補正対象画像をN×N画素のブロック領域に分割する。そしてステップS603で、各補正対象画像の領域ごとに空間周波数スペクトルが基準深度画像IDと同等となるよう平滑化を行い、補正画像を得る。以下、ある1枚の補正対象画像Inの領域Rを平滑化する場合を例に、図15に示すフローチャートを用いて詳細を説明する。まず、ステップS1001で基準深度画像ID上の領域Rについて、フーリエ変換等を用いて空間周波数スペクトルを算出する。さらに、求めたスペクトルをそれぞれの直流成分で正規化し、正規化スペクトルfDkxkyは空間周波数を表すインデックスを得る。次にステップS1002で、補正対象画像In上の領域Rについて、ステップS1001と同様に空間周波数の正規化スペクトルfnを得る。次にステップS1003で、正規化スペクトルfD、fnを用いて、領域Rにおける基準深度画像IDと補正対象画像Inの相違度Snを求める。ここで、相違度Snは2つの正規化空間周波数スペクトル間における違いの程度を表す評価値であり、例えば次式に従い算出する。このとき、相違度Snは基準深度画像と補正対象画像との間でボケの程度が異なるほど大きな値となる。次にステップS1004で、相違度Snが予め定めた閾値Thより小さいか否かを判定する。Sn≦Thの場合には領域Rに関して基準深度画像と補正対象画像とはボケの程度が同等であると判断し、補正対象画像における領域Rの画素値を補正画像における領域Rの画素値として記憶した後、処理を終了する。また、SnThの場合にはボケの程度が異なっていると判断し、ステップS1005へ進む。ステップS1005では、補正対象画像Inの領域Rに対してガウスフィルタ等を用いて平滑化処理を実行し、平滑化した補正対象画像を新たな補正対象画像としてステップS1002に戻る。以上のステップS1002~S1005の処理を繰り返し行うことにより、補正画像における領域Rの画素値を得る。なお、上述の例ではステップS1004において相違度が閾値以下となるまで処理を繰り返し行うが、相違度が極小値に収束した場合に処理を終了するようにしてもよい。以上の処理により、撮像部の個数が少ない場合においても、撮影画像間でのボケ方の差を補正した補正画像を生成することが可能となる。なお、本実施例ではステップS602において基準深度画像を含む撮影画像をブロック領域に分割したが、分割方法はこれに限るものではない。例えば、基準深度画像のエッジに基づいて領域分割を行ってもよい。その場合、被写体の輪郭線が過剰に平滑化されたり、ブロック領域間の平滑化程度の差により補正画像にブロックノイズが生じたりすることを回避する効果を奏する。[その他の実施形態]また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。"