"複数の撮像部を有する撮像装置により取得された、前記複数の撮像部それぞれに対応する多視点画像データを入力する第一の入力手段と、前記撮像装置により前記多視点画像データを撮影する際の撮影モードを入力する第二の入力手段と、前記第二の入力手段により入力された撮影モードに基づいて、前記多視点画像データから中間視点画像データを生成する第一の生成手段と、前記多視点画像データと前記中間視点画像データとに基づいて、合成画像データを生成する第二の生成手段とを有することを特徴とする画像処理装置。前記第一の生成手段により生成される前記中間視点画像データの数は、前記第二の入力手段により入力された撮影モードに応じて異なることを特徴とする請求項1に記載の画像処理装置。前記第一の画像データは、前記複数の撮像部の間の中間視点位置において撮像された場合の画像データであることを特徴とする請求項1又は2に記載の画像処理装置。前記撮影モードは、少なくとも通常モードと風景モードとを有し、通常モードの中間視点画像データの数は、風景モードの中間視点画像データの数よりも多いことを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。前記撮影モードは、少なくとも通常モードとマクロモードとを有し、通常モードの中間視点画像データの数は、マクロモードの中間視点画像データの数よりも少ないことを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。前記第一の生成手段により生成される前記中間視点画像データの粗密は、前記第二の入力手段により入力された撮影モードに応じて異なることを特徴とする請求項1乃至5のいずれか一項に記載の画像処理装置。合成の後のピント位置を示すデータと合成の後のボケの大きさを示すデータとを入力する第三の入力手段と、前記第三の入力手段により入力されたピント位置を示すデータとボケの大きさを示すデータとに基づいて、前記多視点画像データそれぞれ、及び前記中間視点画像データそれぞれに対する重み係数を決定する決定手段とを更に有し、前記第二の生成手段は、前記重み係数を前記多視点画像データと前記中間視点画像データとに乗ずることにより前記合成画像データを生成することを特徴とする請求項1乃至6のいずれか一項に記載の画像処理装置。前記合成の後のボケを設定する設定手段を更に有し、前記設定手段は、前記撮影モードに応じて設定できるボケの大きさが制限されていることを特徴とする請求項7に記載の画像処理装置。請求項1乃至8のいずれか一項の画像処理装置を有する撮像装置。コンピュータを請求項1乃至8のいずれか一項に記載の画像処理装置として機能させるためのプログラム。複数の撮像部を有する撮像装置により取得された、前記複数の撮像部それぞれに対応する多視点画像データを入力する第一の入力工程と、前記撮像装置により前記多視点画像データを撮影する際の撮影モードを入力する第二の入力工程と、前記第二の入力工程により入力された撮影モードに基づいて、前記多視点画像データから中間視点画像データを生成する第一の生成工程と、前記多視点画像データと前記中間視点画像データとに基づいて、合成画像データを生成する第二の生成工程とを有することを特徴とする画像処理方法。しかしながら、特許文献1の方法の場合には、被写体に奥行きがある場合に滑らかなボケを再現できないという問題がある。一方、非特許文献1の方法は、中間視点画像を推定するため、被写体に奥行きがあったとしても、滑らかなボケを再現することができる。しかしながら、すべてのカメラ間において中間視点画像データを生成するため、計算コストが膨大なものとなってしまう。以上の課題を解決するために、本発明の画像処理装置は、複数の撮像部を有する撮像装置により取得された、前記複数の撮像部それぞれに対応する多視点画像データを入力する多視点画像データ入力手段と、前記撮像装置により前記多視点画像データを撮影する際の撮影モードを入力する撮影モード入力手段と、前記撮影モード入力手段により入力された撮影モードに基づいて、前記多視点画像データから中間視点画像データを生成する中間画像データ生成手段と、前記多視点画像データと前記中間視点画像データとに基づいて、合成画像データを生成する合成画像データ生成手段とを有することを特徴とする。本発明によれば、撮影モードに基づいた中間視点画像データを生成することにより計算コストを抑制することが可能となる。[実施例1]図1は、本実施例における撮像装置の一例を示した図である。101は撮像装置の筺体であり、多眼撮像部102~110を備える。また、撮像装置101の動作を開始するためのシャッターボタン111、及び、撮像装置101を操作するための操作ボタン112、さらに、画像やグラフィックユーザーインタフェースを表示するための表示部113を備える。図2は、本実施例における撮像装置101の内部構成を示すブロック図である。多眼撮像部102~110は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッター、光学ローパスフィルタ、iRカットフィルタ、カラーフィルタ、及び、CMOSやCCDの撮像センサなどから構成され、被写体の光量を検知する。A/D変換部207は、多眼撮像部102~110にて検知した被写体の光量をデジタル信号値に変換する。画像処理部208は上記のデジタル信号値に対して、画像処理を行う部分で詳細については後述する。D/A変換部210は、上記デジタル信号値をアナログ信号に変換する。エンコーダ部209は上記デジタル信号値をJpegなどのファイルフォーマットに変換処理を行う。メディアI/F211は、PC/メディア212例えば、ハードディスク、メモリカード、CFカード、SDカード、USBメモリなどにつなぐためのインタフェースである。CPU201は、各構成の処理に関わり、ROM202やRAM203に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、撮像系制御部204は多眼撮像部102~110に対して、フォーカスを合わせる、シャッターを開く、絞りを調整するなどのCPU201から指示された制御を行う。制御部205はシャッターボタン111や操作ボタン112からのユーザ指示によって、全体処理の開始及び終了の制御を行う。キャラクタージェネレーション部206は文字やグラフィックなどを生成し、表示部113に表示する。表示部113は、一般的には液晶ディスプレイなどが用いられており、キャラクタージェネレーション部206やD/A変換部210から受け取った画像データ、文字、グラフィックインタフェースなどを表示する。また、タッチスクリーン機能を有していてもよく、その場合は、表示部113上におけるユーザ指示を制御部205の入力として扱うことも可能である。尚、本実施例では、多眼撮像装部として9個を例として挙げたが、2つ以上の撮像部をもつものであればこれに限定されない。図3は本実施例の画像処理部208の内部ブロック図である。画像入力部301は複数の撮像部多視点撮像部102~110にて撮像し、A/D変換部207にてデジタル信号値となった多視点画像データを入力する。現像処理部302は、画像入力部301にて入力した多視点画像データに対して、デモザイク、ホワイトバランス、ノイズリダクション、ガンマ、シャープネスなどの処理を行う。中間視点パラメータ設定部303は、ユーザによって操作ボタン112を用いて指示された撮影モードに応じた中間視点パラメータを設定する。中間視点パラメータについては後述する。リフォーカスパラメータ入力部304は、ユーザによって操作ボタン112を用いて指示されたピント位置やボケの大きさを入力する。中間視点画像生成部305は、現像処理された多視点画像データと中間視点パラメータを用いて中間視点画像データを生成する。画像合成部306は多視点画像データ、中間視点画像データ、ピント位置及びボケの大きさを用いて画像合成処理を行い、合成画像データを生成する。画像出力部307は、合成画像データをD/A変換部210にてアナログ信号に変換し表示部113、もしくは、エンコーダ部209にてエンコードされ、PC/メディアに出力する。図4は本実施例の撮像装置の処理の流れを示すフローチャートである。ステップS401では、ユーザによって撮影モードの設定を行う。図5は撮影モードの設定のユーザインタフェースの一例である。図5に示すように、ノーマル通常風景マクロポートレート集合写真スポーツの撮影モードの選択肢を表示部113に表示し、操作ボタン112を操作することで撮影モードを選択する。ステップS402では、中間視点パラメータ設定部303にて、中間視点画像データを生成するための中間視点パラメータをセットする。尚、詳細については後述する。ステップS403では、ユーザがシャッターボタン111を操作することで、撮影を行う。ステップS404では、ステップS403にて撮影した画像を画像入力部301にて入力し、現像処理部302にて現像処理を行うことで多視点画像データを生成する。ステップS405では、ステップS403にて生成した多視点画像データとステップS402にて、セットした中間視点画像データを生成するための中間視点パラメータを用いて、中間視点画像データを生成する。尚、詳細については後述する。ステップS406では、リフォーカスパラメータを設定するための画像を表示部113に表示する。ここで、表示する画像は対象被写体全体を撮影した画像であることが望ましく、例えば、多眼撮像装置106によって撮影した画像データが示す画像を表示する。ステップS407では、リフォーカスに必要なパラメータであるピント位置とボケの大きさの設定を行う。図6はリフォーカスに必要なパラメータを設定のユーザインタフェースの一例である。図6に示すようにステップS406にて、表示したパラメータ設定用の画像に加え、ボケの大きさを指定するためのバーやピント位置を設定するためのポインタを同時に表示する。そして、これらに対して、操作ボタン112や、表示部113のタッチパネル方式によって、バーやポインタを操作することで、リフォーカスに必要なパラメータであるピント位置やボケの大きさを設定する。ステップS408では画像合成部306にて、ステップS404において生成した多視点画像データ、ステップS405において作成した中間視点画像データ、ステップS407において設定したリフォーカスパラメータを用いて画像合成処理を行う。尚、詳細については後述する。最後に、ステップS409では、ステップS408において合成した合成画像データを画像出力部307にて表示部113やPC/メディアに出力する。<中間視点画像の中間視点パラメータ>図4のステップS402の中間視点画像の中間視点パラメータについて説明する。本実施例における中間視点画像の中間視点パラメータは、多視点画像を撮影した際の多眼カメラ位置、仮想的な中間視点位置カメラ位置、及び、その時のボケの大きさの制御可能範囲を含むパラメータである。多眼カメラ位置については、撮像装置101に固有のものであり、予め、ROM202に記憶されているものとする。図7に各撮影モードにおける中間視点位置の一例を示す。例えば、図7a風景撮影の場合、比較的遠い距離にある被写体全体に対して撮影を行う。そのため、各多視点画像データにはそれほど視差が発生しない。従って、作成する中間視点位置としては、均一であって、それほど密である必要はない。よって、風景モードの中間視点画像データの数は、通常モードの中間視点画像データの数よりも少なくてよい。一方、図7bマクロ撮影の場合、相対的に被写体の奥行範囲が広く多視点画像データの視差が大きい。加えて、中央の画像よりも外側に行くほど視差が大きくなる傾向にある。従って、外側に行くほど中間視点位置を密に作成する必要がある。よって、マクロモードの中間視点画像データの数は、通常モードの中間視点画像データの数よりも多いことが望ましい。また、図9cポートレート撮影の場合、主要被写体にはピントを合わせ、その周囲については、ぼかす傾向が強いため、外側の多視点画像領域において、比較的密に中間視点位置を生成する必要がある。また、ボケの大きさの制御可能範囲は中間視点画像の密度によって変化するため、各撮影モードによって、ボケの大きさの制御可能な範囲が変化する。そこで、図8に各撮影モードにおけるボケの大きさ範囲の一例を示す。本実施例では、ボケの制御範囲を10段階に分割し、制御値が小さい程ぼかし量を小さく、逆に、制御値が大きい程ぼかし量を大きくする。図8に示すように、風景撮影の場合の場合は、それほど中間視点画像データを生成しないため、ぼかしの大きさの範囲は、比較的狭い範囲でかつ、ぼかし量も大きくない。また、マクロ撮影モードの場合は、密に中間視点画像データを生成するため、ぼかし制御範囲は広く、ぼかし量も大きく設定できる。さらに、ポートレート撮影モードの場合は、風景撮影モードとマクロ撮影モードの中間程度のぼかし量と制御範囲となる。このように撮影モードに応じたボケの大きさの制御範囲に制限を設けることにより、撮影モードに最適なリフォーカス処理を実現することが可能となる。<中間視点画像データの生成>図4のステップS405の中間視点画像データの生成について説明する。一般的に、中間視点画像データの生成の計算コストは非常に膨大なものである。よって、中間視点画像データの生成は、最終的な合成画像データの見栄えを考慮しながら、なるべく抑制した方が良い。図9は中間視点画像データの生成の処理の流れを示すフローチャートである。また、図10は中間視点画像生成を説明するための画像である。まず、ステップS901では、多視点画像データを入力する。次に、ステップS902では、ステップS901にて入力した多視点画像データに対して、対応点を探索する。尚、対応点の探索方法としては、多視点画像を任意のサイズのブロック領域に分けブロック単位で対応領域を探索する方法や、特徴点を抽出し、特徴点単位で対応点を探索する方法がある。しかしながら、これらに限定されるものではなく、多視点画像について対応点を探索する方法であれば何でもよい。次に、ステップS903では、ステップS902において、探索した対応点を用いて、仮想カメラ位置における中間視点画像を生成する。仮想カメラ位置における中間視点画像の生成方法は、対応点から仮想カメラ位置における視点画像を生成する方法であれば何でもよい。例えば、対応するカメラ位置が既知であることから、まず、各カメラ間で対応点を抽出し、三角測量法により対応点までの奥行を算出する。次に、仮想カメラ位置における任意の画像位置については、算出した周囲の対応点の奥行情報を用いて補間することで算出する。<画像合成>図4のステップS408の画像合成について詳細に説明する。図11は合成処理の流れを示すフローチャートである。また、図12はピント位置及びシフト量の概要を示す図である。さらに、図13は重み係数の概要を示す図である。まず、ステップS1101では、ステップS404において作成した多視点画像データと、ステップS405において成した中間視点画像データとを入力する。ステップS1102では、ステップS407において設定したピント位置に基づいて、図12aに示すように各多視点画像データ及び中間視点画像データのピント位置を算出する。ステップS1103では、ステップS1102にて算出したピント位置に基づいて、各多視点画像及び中間視点画像間のピント位置間のシフト量Δxi、Δyiを算出する。ステップS1104では、ステップS407にて設定したボケの大きさの制御値に基づいて、重み係数を決定する。図13は、ボケの大きさの制御値に対応する重み係数の一例である。一般的に、多視点カメラにおいて撮影した画像は、中央のカメラから離れるほど視差を持つ。そのため、あるピント位置において、ぴったりと合わせたとしても、奥行きが異なる場合には、ずれてしまう。その結果、ずれた画像を重ね合わせた場合、ボケとなる。そこで、中央のカメラで取得したから離れたカメラで取得した画像をどの程度合成するかによって、ボケを制御することができる。すなわち、ボケの制御値に応じて、中央から離れたカメラで取得した画像の使用率を重みとすることで、ボケの大きさの制御が可能となる。また、撮影モードに応じて、中間視点画像の粗密が異なるため、重み係数wkは、中間視点画像の粗密によって正規化する必要がある。最後に、ステップS1105では、ステップS1103にて、算出した各多視点画像及び中間画像間のピント位置のシフト量Δxi、Δyiと撮影モードとボケの大きさの制御値に応じた重み係数wkを用いて、合成画像Ix,yは次式によって合成する。ここで、Jiは、多視点画像データ及び中間視点画像データ、Diは、多視点画像及び中間視点画像の中央画像からの距離、mは多視点画像データ及び中間視点画像データの総数である。式1の通り、合成画像データを生成する計算コストは、多視点画像データ及び中間視点画像データの総数mに比例する。よって、計算コスト抑制の観点から、中間視点画像データの数は少ないほど良い。以上の通り、本実施例では、撮影モードに基づいて中間視点画像データの生成方法を変更することにより、中間視点画像データの生成と合成画像データの生成とに要する計算コストを抑制することが可能となる。本実施例によれば、多くの中間視点画像データが必要ない場合例えば、背景モードは、中間視点画像データの生成を抑制し図7a、計算コストを抑えることができる。一方で、中間視点画像データの生成を抑制しすぎると観察者が知覚できる画像の不均一を生じてしまう場合例えば、マクロモードは、適当な中間視点画像データを生成することにより画質の劣化を抑制する図7b。このように本実施例よれば、画質の面と計算コストの面との適切なトレードオフを実現することが可能となる。[実施例2]実施例1では、撮像装置としての動作について説明した。本実施例では、すでに撮影した多視点画像データを用いた画像処理装置として動作する場合について説明する。本実施例2における画像処理部は実施例1と同様のため省略する。図14は、本実施例2における画像処理装置1401のシステムブロック図である。各構成のうち図2と等しいものについては省略する。UI部1402は、画像処理装置1602を操作するためのユーザインタフェースであり、画像の入出力やパラメータの設定及び処理画像の動作開始をユーザに操作させる。ディスプレイ1403は、液晶ディスプレイなどで、ユーザインタフェース等を表示する。図15は、本実施例2におけるユーザインタフェースの一例である。画像表示領域1501は基準画像の表示や画像処理後の画像を表示する。撮影モードリスト1503は撮影モードの選択を行う。ボケの大きさ設定バー1504はボケの大きさを設定する。ピント位置1502はピントを合わせたい位置である。読み込みボタン1505は、画像処理装置1401に多視点画像データを読み込むためのボタンである。実行ボタン1506は、画像処理を実行するためのボタンである。書き込みボタン1507は、画像処理結果の画像データを書き込むためのボタンである。図16は、本実施例2における処理の流れを示すフローチャートである。まず、ステップS1601では、読み込みボタン1504がユーザによって押されたかどうかを判定する。押された場合にはステップS1602に進み、押されていない場合には、待機する。ステップS1602では、PC/メディア211に記憶している多視点画像を画像処理装置1401に読み込む。ステップS1603では、パラメータを設定するための画像を画像表示領域1501に表示する。ステップS1604では、撮影モードリスト1503の中からユーザが選択した撮影モードをセットする。ステップS1605では、ボケの大きさ設定バー1504及びピント位置1502について、ユーザの設定結果をセットする。ステップS1606では、実行ボタン1506が押されたかどうかを判定する。押された場合にはステップS1607に進み、押されていない場合には、ステップS1604に戻る。ステップS1607は、ステップS1603において、設定した撮影モードに基づいて、中間視点画像を生成する。ステップS1608では、ステップS1605にて設定したリフォーカスパラメータ及びステップS1607にて生成した中間視点画像を用いて画像合成を行う。さらに画像合成の結果を画像表示領域1501に表示する。ステップS1609では書き込みボタン1507が押されたかどうかを判定する。押された場合にはステップS1610に進み、押されていない場合には待機する。最後にステップS1610では、ステップS1608において合成した画像をPC/メディア211に出力する。以上の通り、本実施例では、撮影モードに基づいて中間視点画像データの生成方法を変更することにより、中間視点画像データの生成と合成画像データの生成とに要する計算コストを抑制することが可能となる。その他の実施例また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。"