(57)【要約】【課題】撮影時、或いは画像の編集時に、被写体の合焦状態を直観的に把握することができるようにする。【解決手段】画像処理装置であって、撮像画像データにおける被写体の領域を、撮像装置からの距離に応じて再配置した再配置画像を生成する手段と、前記再配置画像を含む、前記撮像画像データを用いて画像合成処理を行う際の合焦状態に関する情報を反映した画像を生成する手段とを備えたことを特徴とする。【選択図】図９
2015188251.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像データにおける被写体の領域を、撮像装置からの距離に応じて再配置した再配置画像を生成する手段と、
前記再配置画像を含む、前記撮像画像データを用いて画像合成処理を行う際の合焦状態に関する情報を反映した画像を生成する手段と
を備えたことを特徴とする画像処理装置。 
【請求項２】
前記合焦状態に関する情報は、ピント位置、被写界深度、ピント制御範囲のうち少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像装置から被写体までの距離を示す距離情報を導出する距離導出手段をさらに備え、  前記再配置画像を生成する手段は、前記距離導出手段で導出された前記距離情報に基づいて、各被写体が奥行き方向に並ぶように再配置することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記撮像画像データは、複数の視点からの撮像によって得られる視差画像データであって、当該複数の視点のそれぞれに対応する複数の単視点画像から構成され、
前記距離導出手段は、前記複数の単視点画像の間でステレオマッチングを行うことにより前記距離情報を導出する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記撮像画像データは、複数の視点からの撮像によって得られる視差画像データであって、当該複数の視点のそれぞれに対応する複数の単視点画像から構成され、
前記合焦状態に関する情報を反映した画像を生成する手段は、前記複数の単視点画像のうちの１の単視点画像をベースにした画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記撮像画像データは、複数の視点からの撮像によって得られる視差画像データであって、当該複数の視点のそれぞれに対応する複数の単視点画像から構成され、
前記合焦状態に関する情報を反映した画像を生成する手段は、前記複数の単視点画像を合成して得られた合成画像をベースにした画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮像画像データは、単視点画像であり、
前記画像合成処理は、前記単視点画像に対するフィルタリング処理であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項８】
前記距離導出手段で導出された前記距離情報に基づいて、前記撮像画像データにおける被写体の領域を抽出する被写体領域抽出手段をさらに備えたことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項９】
前記被写体領域抽出手段は、被写体の輪郭に沿った領域又は被写体に包含する任意の形状の領域を、前記被写体の領域として抽出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の画像処理装置を有する撮像装置であって、前記合焦状態に関する情報を反映した画像を表示する表示手段と、
前記合焦状態に関する情報を反映した画像に基づくユーザ操作に応じて、ピント位置、被写界深度、ピント制御範囲を調整する手段と
を備えたことを特徴とする撮像装置。
【請求項１１】
前記表示手段はライブビュー機能を有し、前記合焦状態に関する情報を反映した画像を、ライブビューにおいて表示することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
撮像画像データから、被写体領域を撮像装置からの距離に応じて配置し直した再配置画像を生成するステップと、
前記再配置画像に対して、前記撮像画像データを用いて画像合成処理を行う際の合焦状態に関する情報を反映した画像を生成するステップと
を含むことを特徴とする画像処理方法。
【請求項１３】
コンピュータを請求項１乃至９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体のピント制御に関する情報を得るための画像処理装置、撮像装置、画像処理方法、プログラムに関するものである。
【背景技術】
【０００２】
ライトフィールドフォトグラフィでは、複数視点の撮像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド）を計算する。そして、得られたライトフィールドの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、前述したリフォーカスも可能となる。ライトフィールドを取得するための撮像装置としてはメインレンズの後ろにマイクロレンズアレイを置いたＰｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ（例えば、特許文献１）や、小型のカメラを並べたカメラアレイが知られている。いずれも被写体を異なる方向から撮像した複数視点の画像データを一回の撮像で得る事ができる。すなわち、ライトフィールドフォトグラフィとは、複数視点の画像データから仮想の光学条件下での仮想センサの取得する画像を計算することと言い換えることもできる。なお、以下では、この仮想のセンサが取得する画像を計算する処理を「リフォーカス処理」と呼ぶこととする。リフォーカス処理としては、取得した複数視点の画像データを仮想センサ上に射影変換し加算して平均化する方法が知られている（例えば、特許文献２）。
【０００３】
ピント位置を変更しながらリフォーカス処理された画像（以下、リフォーカス画像）を表示する方法としては、例えば、特許文献３に開示された方法がある。特許文献３の方法では、ピント位置を調整するユーザインターフェィス（ＵＩ）を、リフォーカス画像が表示される画面上に用意し、該ＵＩを介して、ピント位置を変更している。更に、特許文献３には、リフォーカス画像が表示される画面において、ピント位置を合わせたい被写体を、該画面を通じてユーザが指示し、同被写体にピント位置が調整されたリフォーカス画像を表示する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１２４２１３号公報
【特許文献２】ＷＯ２００８０５０９０４
【特許文献３】ＵＳ特許２００８／０１３１０１９号公報
【非特許文献】
【０００５】
【非特許文献１】Ｒｅｎ  Ｎｇ著、「Ｆｏｕｒｉｅｒ  Ｓｌｉｃｅ  Ｐｈｏｔｏｇｒａｐｈｙ」、２００５  ＡＣＭ  Ｔｒａｎｓ．  Ｇｒａｐｈ．２４、ｐ７３５−７４４
【発明の概要】
【発明が解決しようとする課題】
【０００６】
つまり、上述した特許文献等に開示される従来手法では、撮影時、或いは画像の編集時に、どの範囲の被写体がリフォーカス可能であるのかが明示されず、そのためユーザは意図した撮影や画像編集を行うことが困難であるという課題がある。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、撮像画像データにおける被写体の領域を、撮像装置からの距離に応じて再配置した再配置画像を生成する手段と、前記再配置画像を含む、前記撮像画像データを用いて画像合成処理を行う際の合焦状態に関する情報を反映した画像を生成する手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザは、撮影時、或いは画像の編集時に、被写体の合焦状態を直観的に把握することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１に係る多眼方式の撮像装置の内部構成を示すブロック図である。
【図２】結像光学系の像側にレンズアレイを配置した構成の一例である。
【図３】結像光学系の像側にレンズアレイを配置した構成の一例である。
【図４】結像光学系の像側にレンズアレイを配置した構成の一例である。
【図５】複数の結像光学系を配列した構成（カメラアレイ）の一例である。
【図６】レンズアレイと撮像素子の関係を表した図である。
【図７】実施例１におけるリフォーカスの係数α±を表す式の関係を図で表したものである。
【図８】実施例１に係る画像処理部の内部構成を示したブロック図である。
【図９】実施例１に係る画像処理部における処理の流れを示すフローチャートである。
【図１０】（ａ）は単視点画像の一例を示す図であり、（ｂ）は単視点画像について導出された距離情報としての距離マップを示す図である。
【図１１】距離マップから被写体領域を抽出した結果の一例を示す図である。
【図１２】単視点画像に係るシーンを真上から俯瞰した場合における再配置画像の一例を示す図である。
【図１３】図２で示す撮像部の構成における光学配置を示した図である。
【図１４】合焦情報表示画像の一例を示す図である。
【図１５】合焦情報表示画像のバリエーションを示す図である。
【図１６】合焦情報表示画像に、単視点画像及び／又は合成画像を併せて表示する場合の一例を示す図である。
【図１７】図３で示す撮像部の構成におけるレンズアレイと撮像素子部分を中心に拡大した図である。
【図１８】実施例２におけるリフォーカスの係数α±を表す式の関係を図で表したものである。
【図１９】カメラアレイの構成を有する撮像部を正面（物体側）から見た図である。
【図２０】実施例３に係る、結像光学系と撮像素子を側面から見た図（断面図）である。
【図２１】実施例３におけるリフォーカスの係数α±を表す式の関係を図で表したものである。
【発明を実施するための形態】
【００１０】
＜実施例１＞
本実施例では、被写体領域ごとの距離に応じて、各被写体領域の座標（配置）を変更した画像を用いて、リフォーカス可能な範囲を直感的に把握できるようにする態様を説明する。
【００１１】
図１は、本実施例に係る多眼方式の撮像装置の内部構成を示すブロック図である。撮像部１５００は、被写体の光情報を撮像素子で受光し、受光した信号をＡ／Ｄ変換して、画像データ（デジタルデータ）を取得する。この画像データは、ユーザからの撮像指示を受けて撮像データとしてＳＤカード等の記録媒体に保存される。本実施例に係る撮像部１５００で取得される画像データは、被写体空間を複数の視点から捉えた視差のある画像データ（以下、「視差画像データ」と呼ぶ。）である。また、撮像部１５００で取得された画像データは、撮像装置の背面に設けられた表示部１５０６にリアルタイムに順次表示するいわゆるライブビュー機能にも利用される。以下では、ユーザからの撮像指示に応じて記録媒体に保存された画像を記録画像と呼び、ライブビュー表示においてリアルタイムに表示される画像をライブビュー画像と呼ぶこととする。
【００１２】
中央処理装置（ＣＰＵ）１５０１は、以下に述べる各部を統括的に制御する。ＲＡＭ１５０２は、ＣＰＵ１５０１の主メモリ、ワークエリア等として機能する。ＲＯＭ１５０３は、ＣＰＵ１５０１で実行される制御プログラム等を格納している。バス１５０４は、各種データの転送経路であり、例えば、撮像部１５００によって取得されたデジタルデータはこのバス１５０４を介して所定の処理部に送られる。ユーザの指示を受け取る操作部１５０５には、ボタンやモードダイアルなどが含まれる。画像や文字の表示を行う表示部１５０６には、例えば、液晶ディスプレイが用いられる。表示部１５０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部１５０５の入力として扱うことも可能である。本実施例では、リフォーカス可能な範囲を表示し、リフォーカス時の合焦位置を指定する場合は、このようなタッチスクリーンを介したユーザ入力によって指定される。
【００１３】
表示制御部１５０７は、表示部１５０６に表示される画像や文字の表示制御を行う。撮像部制御部１５０８は、フォーカスを合わせる、シャッターを開く・閉じる、開口絞りを調節するなどの、ＣＰＵ１５０１からの指示に基づいた撮像系の制御を行う。デジタル信号処理部１５０９は、バス１５０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。エンコーダ部１５１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部１１１は、ＰＣやその他のメディア（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインタフェースである。画像処理部１５１２は、撮像部１５００で取得された画像データ或いは、デジタル信号処理部１５０９から出力される画像データから、後述するリフォーカス処理などの画像処理を行う。画像処理部１５１２の詳細については後述する。露出状態予測部１５１３は、撮像時における撮像部１５００の露出状態の予測を行う。なお、撮像装置の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。
【００１４】
まず、撮像部１５００の構成に関して詳しく説明する。
【００１５】
上述のとおり撮像部１５００は、視差画像データ、つまりライトフィールドデータを取得する。撮像部１５００の構成例を、図２〜図５に示す。このうち図２〜図４は結像光学系の像側にレンズアレイを配置した構成であり、図５は複数の結像光学系を配列した構成（カメラアレイ）である。撮像部の構成としては、図２〜図５に示したような、複数視点の画像を同時に得られる多眼方式の構成が望ましい。単眼方式の撮像装置を用いて位置を変化させながら複数回撮像を行う方法では、異なる時間における被写体空間を撮像した視差画像データとなり、被写体空間に移動物体が存在する場合には、正しい視差情報を得ることができないからである。
【００１６】
図２〜図５で示す構成の撮像部１５００で取得された視差画像データは、画素の抽出や並び換え、合成等の処理を行うことで、リフォーカスや被写界深度制御、視点の変更等を行うことができる。以下では、これらの処理を画像合成処理と呼び、画像合成処理によって生成された画像を合成画像と呼ぶ。合成画像は、ノイズリダクション等の処理や、被写界深度制御等の処理が施されていてもよい。また、被写体空間でリフォーカスが可能な範囲を「ピント制御範囲」と呼ぶこととする。
【００１７】
ここでは、図２に示した撮像部１５００の内部構成について詳しく説明する。
【００１８】
レンズアレイ１６０３は、結像光学系１６０２の被写体面１６０１に対する像側共役面上に配置されている。さらに、レンズアレイ１６０３は、結像光学系１６０２の射出瞳と撮像素子１６０４が、概ね共役関係となるように構成されている。被写体面１６０１からの光線は、結像光学系１６０２及びレンズアレイ１６０３を介することで、該光線の被写体面１６０１上における位置と角度に応じて、撮像素子１６０４の異なる画素へ入射する。これにより視差画像データ（ライトフィールドデータ）が取得される。ここでレンズアレイ１６０３は、被写体面１６０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐ役割を持つ。その結果、撮像素子１６０４では、被写体面１６０１上の同一の領域を複数の視点から捉えた画素群が並んだ画像が取得されることになる。
【００１９】
なお、図２〜図５における被写体面１６０１上に、人物や建物などの物体が必ずしも存在している必要はない。これはリフォーカスによって、被写体面１６０１より奥或いは手前に存在する人物や建物等に、撮像後にピント位置を合わせることができるためである。
【００２０】
＜リフォーカスの原理＞
ここからはリフォーカス処理に関して説明する。リフォーカスに関しては、非特許文献１で詳しく説明されているので、ここでは簡単に述べる。リフォーカスの基本的な原理は、図２〜図５のいずれの構成でも共通である。ここでは図２の構成を例に説明する。図２では、結像光学系の瞳が２次元で９つ（１次元で３つ）に分割されているため、９視点の画像が取得されていることとなる。ここで、ある分割された瞳に対応する画像を単視点画像と呼ぶこととする。９つの単視点画像は互いに視差があるため、被写体距離に応じて画像上の被写体の相対的な位置関係が変化する。ある被写体が重なるように単視点画像を合成すると、異なる被写体距離に位置する被写体は、ずれて合成されることとなる。このずれによって異なる被写体距離に位置する被写体はボケる。この時のボケは、合成に使用した単視点画像に対応した瞳で決まり、９枚全ての単視点画像を合成すると結像光学系１６０２で取得した画像のボケを再現することができる。単視点画像の合成で重ね合わせる被写体は任意なので、これにより結像光学系１６０２で任意の被写体に合焦した画像を再現することができる。これが撮像後のピント制御、つまりリフォーカスの原理である。
【００２１】
ここで、本実施例における単視点画像の生成方法を説明しておく。図６は、図２のレンズアレイ１６０３と撮像素子１６０４の関係を表した図である。破線の円２００１は、レンズアレイ１６０３を構成する１つのレンズ（マイクロレンズ）を通過した光線が入射する画素の領域を表している。図６は複数のマイクロレンズが格子状に配置された場合に対応しているが、マイクロレンズの配置はこれに限定されない。例えば、六回対称性（ハニカム構造）を持った配置にしてもよいし、規則的な配置から各マイクロレンズを微小にずらしてもよい。図６の斜線領域２００２は、結像光学系１６０２の同じ瞳領域を通過した光線が入射する画素を表している。よって、斜線領域１６０２の画素を抽出することで、結像光学系１６０２の瞳の下部から被写体空間を見た単視点画像が生成できる。同様に、破線の各円２００１に対する相対位置が同じ画素を抽出することで、他の単視点画像も生成できる。
【００２２】
＜ピント制御範囲＞
次に、リフォーカスが可能な範囲であるピント制御範囲に関して説明する。
【００２３】
リフォーカスは単視点画像を重ね合わせて行うため、各単視点画像内でボケている被写体にピントを合わせ直すことはできない。これはボケた画像を重ね合わせても、高周波成分は得られず、ボケたままだからである。
【００２４】
ここで、瞳を小さく分割するほど、各単視点画像における被写界深度が深くなるため、ピント制御範囲は広がる。つまり、ピント制御範囲は結像光学系１６０２の分割された瞳に依存するわけである。ただし、単視点画像における被写界深度とピント制御範囲は必ずしも一致しない。これは単視点画像とそれらを合成した合成画像の解像度比によって、ピント制御範囲が変化するためである。例えば、合成画像の解像度が各視点の単視点画像の解像度より低い場合、合成画像における空間成分のサンプリングピッチは単視点画像に対して大きくなる。そのため、単視点画像よりも合成画像は被写界深度が深くなり、それに伴ってそのピント制御範囲も広がる。逆に、合成画像の解像度が単視点画像よりも高い場合、ピント制御範囲は単視点画像の被写界深度よりも狭くなる。
【００２５】
合成画像の解像度を単視点画像より高くする方法として、画素ずらし超解像の使用などが考えられる。前述した通り、リフォーカスは単視点画像を互いにずらして合成する。この時のずれ量が単視点画像の画素ピッチの非整数倍になっていれば、画素ずらし超解像を行うことができ、合成画像の解像度を上げることができる。
【００２６】
ここまでの議論から、合成画像における正確なピント制御範囲を取得するためには、単視点画像を合成する時の条件を加味する必要があることが分かる。
【００２７】
次に、合成画像のピント制御範囲がどのようにして導出されるのかについて説明する。合成画像の被写界深度に対応する焦点深度を考える。焦点深度の許容錯乱円の大きさをε、光線の角度成分のサンプリングピッチをΔｕとする。この時、リフォーカスの係数α±は以下の式（４）のように与えられる。
【００２８】
【数１】
2015188251.tif 000003
【００２９】
式（４）を用いて表される像側のリフォーカス可能な範囲α+ｓ2〜α-ｓ2と共役な範囲（結像光学系１６０２に対して共役な範囲）が、物体側のリフォーカス可能な範囲であるピント制御範囲となる。この式（４）の関係を図で表したものが図７であり、リフォーカス可能な範囲の中心位置は結像光学系１６０２のピント位置となる。（この場合、レンズアレイ１６０３の位置がリフォーカス可能な範囲の中心位置となる）。ここで、ｓ2は、結像光学系１６０２の像側主平面と被写体面１６０１に対する結像光学系１６０２の像側共役面との間隔である。図７において、像側ピント制御範囲とは、結像光学系１６０２を介してピント制御範囲と共役な範囲を指す。また、Δｙは光の２次元強度分布のサンプリングピッチであり、図２の構成ではレンズアレイ１６０３のピッチΔLAに等しい。なお、式（４）の関係は、図２〜図５のいずれの構成でも成り立つものである。 
【００３０】
そして、式（４）は、撮像素子１６０４の画素ピッチΔが、結像光学系１６０２の射出瞳距離Ｐに対して十分小さいことから、次の式（５）のように近似できる。
【００３１】
【数２】
2015188251.tif 000004
【００３２】
ここで、結像光学系１６０２の射出瞳距離Ｐとは、結像光学系１６０２の射出瞳面と被写体面１６０１に対する結像光学系１６０２の像側共役面との間隔である。また、Ｎは結像光学系１６０２の瞳の１次元分割数、Ｆは結像光学系１６０２のＦ値である。なお、Ｆ値は、結像光学系１６０２の焦点距離ｆとレンズ有効径Ｄから、以下の式（６）によって導出することができる。
【００３３】
【数３】
2015188251.tif 000005
【００３４】
すなわち、リフォーカス可能な範囲（ピント制御範囲）は、結像光学系の瞳の１次分割数と結像光学系の焦点距離とレンズ有効径で規定される画角範囲に応じて決定される。更には、後述する合成画像データの解像度に応じて、リフォーカス可能な範囲が決定される。
【００３５】
＜画像処理部＞
次に、画像処理部の構成について詳しく説明する。
【００３６】
図８は、本実施例に係る画像処理部１５１２の内部構成を示したブロック図である。 
【００３７】
視差画像データ取得部２２０１は、撮像部１５００等から供給される視差画像データを取得する。
【００３８】
光学パラメータ取得部２２０２は、距離導出部２２０３とピント制御範囲導出部２２０７で必要となる撮像部１５００の光学パラメータを取得する。ここで、光学パラメータとは、撮像部１５００の構成や、絞りなどの露出状態、フォーカス位置、ズームレンズにおける焦点距離などである。
【００３９】
距離導出部２２０３は、シーン中の被写体までの距離情報を導出する。被写体までの距離は、視差画像データ取得部２２０１から供給される視差画像データ及び光学パラメータ取得部２２０２から供給される光学パラメータを用いて導出される。距離導出の詳細については後述する。
【００４０】
被写体領域抽出部２２０４は、シーン中にある被写体と距離導出部２２０３から供給される距離情報とに基づき、再配置画像生成部２２０５での処理の対象となる被写体領域を抽出する処理を行う。この被写体領域抽出処理は、一定の距離ごとに被写体の領域を分離する処理と言い換えることもできる。
【００４１】
再配置画像生成部２２０５は、距離導出部２２０３から供給される距離情報に応じて、被写体領域抽出部２２０４で抽出された各被写体領域の位置（座標）を変更する処理を行う。この処理によって、各被写体領域を撮像装置からの距離に応じて再配置した、被写体領域ごとの距離感を把握し易くした画像（以下、「再配置画像」と呼ぶ。）を生成する。
【００４２】
画像合成パラメータ取得部２２０６は、画像合成に必要となるパラメータ（合成後の解像度、視点、ピント位置、被写界深度など）を取得する。
【００４３】
ピント制御範囲導出部２２０７は、光学パラメータ取得部２２０２から供給される光学パラメータと、画像合成パラメータ取得部２２０６から供給される画像合成パラメータとを用いて、ピント制御範囲を導出する。
【００４４】
ピント位置取得部２２０８は、操作部１５０５を介したユーザ入力に基づいて、画像合成の際におけるピント位置を取得する。本実施例の場合、再配置画像生成部２２０５が生成する再配置画像に基づいて、操作部１５０５としてのタッチスクリーンを介して、ユーザが指定した距離がピント位置（合焦位置）として指定されることになる。指定されたピント位置に関する情報は、表示画像生成部２２０９に送られる。
【００４５】
表示画像生成部２２０９は、再配置画像生成部２２０５で生成した再配置画像に対して合焦状態に関する情報（ピント位置、ピント制御範囲、被写界深度など）を反映した画像（以下、「合焦情報表示画像」と呼ぶ。）を生成する。生成の際、上述した各部から供給される光学パラメータ、画像合成パラメータ、ピント制御範囲、ピント位置を用いる。この合焦情報表示画像の生成は、撮像前のライブビュー画像を対象に行ってもよいし、撮像後の記録画像を対象に行ってもよい。また、合焦情報表示画像は、視差画像に含まれる任意の単視点画像をベースにしたものでもよいし、複数の単視点画像を合成して得られた合成画像をベースにしたものであってもよい。生成された合焦情報表示画像のデータは、表示部１５０６に出力される。さらに、本実施例に係る表示画像生成部２２０９は、視差画像データを用いて、画像合成パラメータに従った画像合成処理も行うものとするが、画像合成処理を行う処理部を表示画像生成部２２０９とは別個に設けてもよい。
【００４６】
図９は、本実施例に係る画像処理部１５１２における処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１５０３からＲＡＭ１５０２上に読み込んだ後、ＣＰＵ１５０１によって該プログラムを実行することによって実施される。
【００４７】
ステップ２３０１において、視差画像データ取得部２２０１は、撮像部１５００で取得された視差画像データを取得する。ここで取得される視差画像データは、上述のとおり、ライブビュー画像としての視差画像データであってもよいし、記録画像としての視差画像データであってもよい。
【００４８】
ステップ２３０２において、光学パラメータ取得部２２０２及び画像合成パラメータ取得部２２０６は、それぞれ光学パラメータ及び画像合成パラメータを取得する。
【００４９】
ステップ２３０３において、距離導出部２２０３は、シーン全体における距離情報を導出する。具体的には、視差画像に含まれる単視点画像相互の間でステレオマッチングを行う等の方法により、シーンの距離を導出する。例えば、ステレオマッチング法では、まず基準となる単視点画像（例えば、瞳の中央付近を通過する光線に対応する単視点画像）を複数のブロックに分割し、その他の単視点画像の中から、対象となるブロックに一番近いブロック位置を検出する。そして、２つのブロックの位置関係、対応する瞳の位置関係、各瞳の画角を用いて、三角測量によって、対象ブロックの距離が導出される。なお、基準となる単視点画像は、視点位置が中心以外の単視点画像を選択してもよい。また、距離情報を取得する方法としては、上述のステレオマッチング法の他、ＤＦＤ（Depth From Defocus）などの手法や、赤外線などを利用した測距部を用いて計測する方法もある。
【００５０】
図１０の（ａ）は単視点画像の一例を示す図であり、同（ｂ）は（ａ）の単視点画像について導出された距離情報としての距離マップを示している。図１０の（ａ）に示される単視点画像で得られるシーンには、３種類の被写体（人物、建物、山）が撮像装置を基準としてそれぞれ異なる距離に存在している。図１０の（ｂ）に示す距離マップは、撮像装置からの距離に応じて濃淡で表示されており、撮像装置の近傍にある被写体「人物」を最も暗い色で、撮像装置から遠方にある被写体「山」を最も明るい色で、人物と山との間にある被写体「建物」を中間の明るさの色で表示している。このように、本ステップでは、シーン中にある被写体の距離情報が導出される。
【００５１】
図９のフローチャートの説明に戻る。
【００５２】
ステップ２３０４において、被写体領域抽出部２２０４は、ステップ２３０３において導出されたシーン全体についての距離マップに基づき、被写体領域を抽出する処理を行う。この被写体領域抽出処理は、一定の距離ごとに被写体の領域を分離する処理と言い換えることもできる。略同一の距離を持つ画像領域をグループ化し、グループ化された画像領域を被写体領域として抽出する。被写体領域抽出方法としては、被写体の距離情報を用いる以外に、例えば、以下のような方法が挙げられる。  
１）視差画像データに対して顔認識等の技術を適用し、人物、動物、植物などが存在する領域を識別して、識別された人物等を被写体領域として抽出。
２）人物、動物、植物といった代表的な注目物体の画像データをテンプレートとして予め用意しておき、それらテンプレートとのパターンマッチングによって被写体領域を抽出。
３）ニューラルネットワークのように事前学習を行い、その学習結果を用いて主要な物体を認識して、被写体領域を抽出。
【００５３】
本実施例における被写体領域の抽出は、被写体の距離情報を用いる手法以外に、上記１）〜３）に挙げたような公知の様々な手法を適用して実現することが可能である。
【００５４】
図１１の（ａ）及び（ｂ）は、図１０の（ｂ）に示した距離マップから被写体領域を抽出した結果の一例を示す図であり、（ａ）は各被写体の輪郭に沿って被写体領域を抽出した場合、（ｂ）は各被写体に外接する矩形領域を被写体領域として抽出した場合である。図１１の（ａ）及び（ｂ）において、点線で囲まれる各領域が、「人物」、「建物」、「山」のそれぞれに対応する被写体領域である。被写体領域の抽出方法としては、主要な被写体を包含するように領域を設定する限りにおいて、その他の手法でも適用可能である。例えば、円形、楕円形、三角形、多角形など任意の形状で被写体領域を定義してもよい。
【００５５】
図９のフローチャートの説明に戻る。
【００５６】
ステップ２３０５において、再配置画像生成部２２０５は、ステップ２３０３で導出したシーン全体における距離情報とステップ２３０４で抽出したシーン中における被写体領域とを用いて、シーンの再配置画像を生成する。
【００５７】
図１２の（ａ）〜（ｄ）は、図１０の（ａ）に示した単視点画像に係るシーンを真上から俯瞰した場合における再配置画像の例を示す図である。  
【００５８】
図１２の（ａ）〜（ｄ）のいずれにおいても、撮像装置に近い位置を下側、撮像装置から遠い位置を上側としており、「人物」が撮像装置に最も近い位置に配置され、「山」が撮像装置から最も遠い位置に配置されている。図１２の（ａ）は、ステップ２３０４で抽出された被写体領域（上述の図１１の（ａ）を参照）に沿って上記単視点画像から切り出した画像領域を、各被写体距離に対応する位置に配置し直した再配置画像である。この再配置画像の場合、単視点画像の一部分が被写体距離に対応付けて配置されるので、最も実際の画像に近い再配置画像となる。図１２の（ｂ）は、ステップ２３０３で導出された距離マップ（図１０の（ｂ）を参照）から上記被写体領域に沿って抽出された画像領域を、各被写体距離に対応する位置に配置し直した再配置画像である。この再配置画像の場合、被写体距離を強調した再配置画像となる。図１２の（ｃ）及び（ｄ）は、ステップ２３０４で抽出された被写体領域の枠（上述の図１１の（ａ）及び（ｂ）を参照）を、各被写体距離に対応する位置に配置し直した再配置画像である。これら再配置画像の場合、より簡略化された再配置画像となる。
【００５９】
図９のフローチャートの説明に戻る。
【００６０】
ステップ２３０６において、ピント制御範囲導出部２２０７は、ステップ２３０１で取得した視差画像について画像合成を行う場合におけるピント制御範囲を、ステップ２３０２で取得した光学パラメータ及び画像合成パラメータを用いて導出する。以下、詳しく説明する。
【００６１】
前述したようにピント制御範囲は、各単視点画像と合成画像との解像度比によって変化するが、ここでは説明を簡単にするため、解像度比が１の場合を考える。像側ピント制御範囲が上述の式（５）の範囲内に収まっていれば、ピント制御可能な領域を取得できていることとなる。よって、被写体面１６０１に対する結像光学系１６０２の像側共役面と像側ピント制御範囲ｄrefocusとが、以下の式（７）を満たせばよい。
【００６２】
【数４】
2015188251.tif 000006
【００６３】
図１３は、図２で示す撮像部１５００の構成における光学配置を示した図であり、σはレンズアレイ１６０３の像側主平面と撮像素子１６０４の間隔である。図１３において、中央のマイクロレンズの両端から伸びる２本の平行な破線は、当該マイクロレンズに対応する撮像素子１６０４の領域を表し、撮像素子１６０４内の斜線の画素は光線の入射しない不感帯を表す。本実施例では不感帯が発生しないようにレンズアレイ１６０３が構成されており、この場合はΔLA＝ＮΔとなる。ただし、構成はこれに限らず、不感帯が存在していてもよい。図１３から、幾何学的にＮＦ＝σ／Δだと分かる。ここで、焦点深度を決める許容錯乱円の大きさを、空間成分のサンプリングピッチΔｙ＝ΔLAで特徴付けると、式（７）は以下の式（８）のように書き換えられる。
【００６４】
【数５】
2015188251.tif 000007
【００６５】
次に、単視点画像と合成画像との解像度比が１以外の一般的な場合について考える。合成画像と合成に使用する単視点画像の画角は等しいから、解像度比が１以外の場合、両者のΔｙが異なることとなる。許容錯乱円は一般にΔｙが小さいほど小さく、大きいほど大きくなる。よって、上記式（８）は、単視点画像と合成画像のΔｙとの比をとって、以下の式（９）のように拡張できる。
【００６６】
【数６】
2015188251.tif 000008
【００６７】
ここで、Ｒmonoは合成に使用する単視点画像の解像度、Ｒcombは合成画像の解像度を表す。ＲmonoとＲcombとの比の平方根をとることで、Δｙの比となる。単視点画像の解像度Ｒmonoは、図１３から以下の式（１０）で表されることが分かる。
【００６８】
【数７】
2015188251.tif 000009
【００６９】
ここで、Ｒtotalは、撮像素子１６０４の有効画素数である。式（９）及び式（１０）から、像側ピント制御範囲が満たすべき以下の条件式（１１）が求まる。
【００７０】
【数８】
2015188251.tif 000010
【００７１】
上記条件式（１１）では±10.0の範囲としているが、これを±6.0の範囲とすることで、より鮮鋭な合成画像を得ることができる。さらに望ましくは、±3.0の範囲とすることで、更に鮮鋭な合成画像を得ることができる。
【００７２】
以下に、各値の具体例を示す。
・撮像素子１６０４の有効画素数Ｒtotal：４６．７×１０6（pix）
・レンズアレイ１６０３の像側主平面と撮像素子１６０４の間隔σ：０．０３７４（mm）
・撮像素子１６０４の画素ピッチΔ：０．００４３（mm）
・レンズアレイ１６０３のピッチΔLA：０．０１２９（mm）
・結像光学系１６０２の焦点距離ｆ：１４．０（mm）
・Ｆ値：２．９
・１次元瞳分割数Ｎ：３
・単視点画像１枚当たりの解像度Rmono：５．２×１０6（pix）
・条件式（１１）の範囲、条件式（１１）の各範囲に対応する合成画像の解像度Ｒcomb、合成画像の各解像度に対応するｄrefocusは、例えば以下の表（１）のとおり。 
【００７３】
【表１】
2015188251.tif 000011
【００７４】
操作部１５０５を介したユーザ入力によって、合成画像の解像度Ｒcombが例えば上記３種類の中から選択される。
【００７５】
上記の例において、例えば８．０×１０6ｐｉｘの合成画像を生成するためには、単視点画像１枚当たりの解像度Rmonoが５．２×１０6pixであるため、画素ずらし超解像などによる高解像度化が必要となることが分かる。なお、上述の合成画像の各解像度Ｒcombの値は一例であり、種類も３種類に限られない。上記条件式（１１）を満たすようなRcombとｄrefocusを適宜決定すればよい。
【００７６】
ピント制御範囲は、像側ピント制御範囲と結像光学系１６０２の焦点距離やフォーカス位置などを用いれば、結像公式から算出できる。このようにして取得したピント制御範囲の情報は、視差画像データや合成画像データにタグ情報として添付し、ＲＯＭ１５０３に保存してもよい。或いは、予め様々な条件に対応するピント制御範囲のテーブルを作成してＲＯＭ１５０３に記憶しておき、ピント制御範囲を導出する上述の演算を行う代わりに、入力された条件に対応するデータを読み込むようにしてもよい。
【００７７】
なお、ピント制御範囲を取得する他の方法として、リフォーカスした合成画像を実際に生成して、ピント位置に存在する被写体のコントラスト等を評価する方法が考えられる。しかし、この手法では、ピント位置を動かしながら合成画像を生成し、逐次リフォーカスができているかどうかを判断しなければならないため、処理に時間がかかってしまう。また、リフォーカスしたピント位置に被写体が存在していない場合、評価を行うことができないため、正確なピント制御範囲が取得できない。よって、ピント制御範囲の取得には、先に述べた手法を用いることが望ましい。
【００７８】
図９のフローチャートの説明に戻る。
【００７９】
ステップ２３０７において、表示画像生成部８０９は、ステップ２３０５で生成された再配置画像に対して合焦状態に関する情報（ピント位置、ピント制御範囲、被写界深度など）を反映した合焦情報表示画像を生成する。生成の際には、ステップ２３０２で取得された光学パラメータ及び画像合成パラメータ、及びステップ２３０６で導出されたピント制御範囲が用いられる。
【００８０】
図１４の（ａ）及び（ｂ）は、図１２の（ａ）に示した再配置画像をベースに生成された合焦情報表示画像の一例であって、ピント位置２８０１、ピント制御範囲２８０２、被写界深度２８０３の各情報が表示されている。スライダバー上に黒四角のマークで示されたピント位置２８０１は、光学パラメータに含まれる撮像時のレンズのピント位置、或いは後述のユーザ入力によって指定されたピント位置を示している。（ａ）の合焦情報表示画像では被写体距離ｄ0の位置（人物の位置）に、（ｂ）の合焦情報表示画像では被写体距離ｄ0’の位置（建物の位置）に、それぞれピント位置２８０１が設定されている。スライダバー上に斜線で示されたピント制御範囲２８０２は、被写体距離ｄ1（ｄ1’）から被写体距離ｄ2（ｄ2’）までの範囲を示しており、本実施例では「人物」と「建物」がこのピント制御範囲内の距離に位置していることが分かる。以下、単に「ピント制御範囲」という場合にはこの物体側ピント制御範囲を指すものとする。再配置画像上に斜線で示された被写界深度２８０３は、被写体距離ｄ3（ｄ3’）から被写体距離ｄ4（ｄ4’）までの範囲であって、（ａ）の合焦情報表示画像では人物にピントが合ったピント位置ｄ0における被写界深度、（ｂ）の合焦情報表示画像では建物にピントが合ったピント位置ｄ0’における被写界深度が示されている。
【００８１】
上述したような合焦情報表示画像を表示することで、ユーザはシーン中における被写体と合焦状態に関する情報の両方を、直観的に把握することが可能となる。なお、図１４の（ａ）及び（ｂ）には、説明の便宜上、撮像装置の模式図と撮像装置で撮像可能な視野範囲（画角）２８０４も表示しているが、本ステップで生成する合焦情報表示画像に、これらの情報を含めることは必ずしも要しない。
【００８２】
図９のフローチャートの説明に戻る。
【００８３】
ステップ２３０８において、表示画像生成部２２０９は、ステップ２３０７で生成した合焦情報表示画像のデータを表示部１５０６に出力する。
【００８４】
ステップ２３０９において、ＣＰＵ１５０１は、リフォーカス処理時におけるピント位置に関するユーザ入力が、新たになされたかどうかを判定する。この場合のユーザ入力は、タッチスクリーンや撮像装置の操作部１５０５などを介して行う。例えば、新たにピントを合わせたい被写体を再配置画像上で直接指定したり、新たなピント位置までの被写体距離を直接指定したり、スライドバー上のピント位置２８０１を表すマークを操作して指定したりする方法が考えられる。新たなピント位置の入力がなされた場合には、ステップ２３０７に戻り、ステップ２３０７〜ステップ２３０９の一連の処理を繰り返す。例えば、「人物」をピント位置とする合焦情報表示画像（図１４の（ａ））が表示されている状態において、「建物」を新たなピント位置とするユーザ入力がなされたとする。この場合、前述の図１４の（ｂ）に示した合焦情報表示画像が新たに表示されることになる。前述のとおり、図１４の（ｂ）では、新たに設定されたピント位置（被写体距離ｄ0’）に合わせて、被写界深度２８０３も変化している。つまり、リフォーカス処理時における新たなピント位置が入力された場合は、ピント制御範囲２８０２に変化はなく、ピント位置２８０１と該ピント位置における被写界深度２８０３が主に変化することになる。
【００８５】
なお、新たに入力されたピント位置がピント制御範囲外であることも考えられる。この場合、警告を通知するなどして、ピント制御範囲内のピント位置を入力するようユーザに促すようにしてもよい。或いは、ピント制御範囲外のピント位置は受け付けないよう、ユーザ入力可能な範囲を制限するようにしてもよい。
【００８６】
一方、新たなピント位置の入力がなければ、本処理を終える。
【００８７】
なお、上述の例では、シーンを真上から俯瞰している再配置画像をベースとした合焦情報表示画像について説明した。しかし、合焦情報表示画像は上述の例に限定されるものではなく、様々な態様が考えられる。図１５の（ａ）〜（ｃ）は、合焦情報表示画像のバリエーションの一例を示している。図１５の（ａ）は、シーンを横方向から俯瞰した再配置画像をベースとした合焦情報表示画像である。同（ｂ）は、シーンを斜め上方向から俯瞰した再配置画像をベースとした合焦情報表示画像である。同（ｃ）は、斜め横方向から俯瞰した再配置画像をベースとした合焦情報表示画像である。このように合焦情報表示画像のベースとなる再配置画像は、距離情報に基づいて被写体が奥行き方向に順次並んだものであれば、どのようなものでも構わない。
【００８８】
また、ステップ２３０８において合焦情報表示画像が表示されるが、その際、撮像部１５００で取得された単視点画像及び／又は表示画像生成部２２０９で合成された合成画像を併せて表示するようにしてもよい。図１６の（ａ）〜（ｃ）は、合焦情報表示画像に、単視点画像及び／又は合成画像を併せて表示する場合の一例を示している。
【００８９】
図１６の（ａ）は、シーンを横方向から俯瞰した再配置画像をベースとした合焦情報表示画像（前述の図１５の（ａ）を参照）に加え、単視点画像と２種類の合成画像を表示するケースを示している。図中の合成画像１は、「人物」を注目被写体としてピント位置を設定した状態（注目被写体以外の被写体である「建物」と「山」については被写界深度の範囲外でボケている状態）の合成画像である。図中の合成画像２は、「建物」を注目被写体としてピント位置を設定した状態（注目被写体以外の被写体である「人物」と「山」については被写界深度の範囲外でボケている状態）の合成画像である。このようなリフォーカス後の合成画像を併せて表示する場合は、注目被写体のみにピントが合っている合成画像によって、ユーザは特定された注目被写体の確認をより直感的に行うことが可能となる。なお、図１６の（ａ）では、シーンを横方向から俯瞰した再配置画像をベースとしているが、ベースとなる再配置画像はどのようなタイプでもよいことはいうまでもない。また、図１６の（ａ）の例では、２種類の合成画像を表示しているが、表示する合成画像は１種類だけでもよいし或いは３種類以上でも構わない。
【００９０】
図１６の（ｂ）は、シーンを真上から俯瞰した再配置画像をベースとした合焦情報表示画像（前述の図１４の（ａ）及び（ｂ）を参照）に加え、「人物」を注目被写体としてピント位置を設定した場合における合成画像を表示するケースを示している。このように表示することで、限られた表示画面内に、再配置画像と合焦状態に関する情報と合成画像を効率的に表示することが可能となる。なお、図１６の（ｂ）における合焦情報表示画像は、図１２の（ａ）で示されるシーンを真上から俯瞰した再配置画像に対して横方向の情報を省略し、奥行き方向の情報のみとしたものがベースとなっている。また、図１６の（ｃ）は、シーンを真上から俯瞰した再配置画像をベースとした合焦情報表示画像に加え、単視点画像を表示するケースを示している。このように単視点画像を併せて表示することで、撮像時の画像を確認しながら合焦状態を直観的に把握することが可能である。なお、図１６の（ｃ）における合焦情報表示画像は、図１２の（ｄ）で示されるシーンを真上から俯瞰した再配置画像であって被写体領域を矩形で囲んだ再配置画像に対して、横方向の情報を省略し、奥行き方向の情報のみとしたものがベースとなっている。
【００９１】
以上のように、合焦情報表示画像に単視点画像や合成画像を併せて表示するようにしてもよい。
【００９２】
なお、図１４〜図１６で示した合焦情報表示画像においては、合焦状態に関する情報として、ピント位置、ピント制御範囲、被写界深度の各情報が同時に分かるようになっている。しかしながら、これらの情報のすべてを同時に示す必要はなく、別個に表示しても構わない。例えば、ピント位置と被写界深度のみを初めに表示しておき、ユーザの指示に応じてピント制御範囲の情報を表示するようにしてもよい。
【００９３】
以上説明したように、本実施例によれば、撮像時や撮像した画像の編集時において、被写体を奥行き方向に並べた再配置画像をベースに、画像合成時のピント位置、ピント制御範囲、被写界深度といった合焦状態に関する情報が表示される。これによりユーザは、撮像時及び／又は撮像した画像の編集時に、被写体の合焦状態を直観的に把握することが可能となる。
【００９４】
［実施例２］
実施例１では、図１６に示す構成の撮像部を有する撮像装置を前提として説明を行った。次に、図３及び図４に示す構成の撮像部を有する撮像装置を前提とする様態について、実施例２として説明する。なお、以下では本実施例に特有な点を中心に説明することとする。
【００９５】
図３及び図４に示された構成では、撮像視点及び撮像範囲が異なる複数の小画像が並んだ視差画像データが、撮像素子１６０４で取得される。図３の構成では、レンズアレイ１６０３が、結像光学系と像側共役面の間（像側共役面の左側）に配置されている。これに対し、図４の構成では、レンズアレイ１６０３が、結像光学系と像側共役面の間ではなく外（像側共役面の右側）に配置されている。そのため、図４の構成の場合は、レンズアレイ１６０３が結像光学系１６０２の形成した像を実物体として見て撮像素子１６０４へ再結像させることになる。しかし、どちらも結像光学系１６０２の結んだ像をレンズアレイ１６０３が物体として見て、その像を撮像素子１６０４へ結像しているため、両者は本質的には同じである。以下では、図３の構成を例に説明するが、その内容は、図４の構成に関しても同様に成立するものである。
【００９６】
まず、本実施例での画像合成（リフォーカス）処理に関して説明する。
【００９７】
定性的には実施例１と同様で、結像光学系１６０２の分割された瞳の画像を、合焦したい被写体距離に対応したずれ量で重ね合わせればよい。
【００９８】
図１７は、図３の構成において、レンズアレイ１６０３と撮像素子１６０４の部分を中心に拡大した図である。本実施例においてレンズアレイ１６０３は、物体側の面が平面で、像側の面が凸形状のマイクロレンズによって構成されている。もちろん、レンズアレイ１６０３の形状はこれに限らない。図１７において一点鎖線は、各マイクロレンズの画角を表している。撮像素子１６０４で得られた画素値を、その画素に対応するマイクロレンズを介して仮想結像面へ投影して合成することで、仮想結像面にピントの合った合成画像を生成することができる。ここで仮想結像面とは、画像合成により合焦したい物体側の面と共役な面（結像光学系１６０２を介して共役な面）のことを指す。例えば、図３において、被写体面１６０１にピントの合った画像を生成するためには、像側共役面１７０１に仮想結像面を設定すればよい。図１７においては、合成画像生成の際に投影した画素を、分かりやすくするために各マイクロレンズの画角単位でずらして、破線で表している。合成画像の生成は、上述した方法（撮像素子１６０４で得られた画素値をその画素に対応するマイクロレンズを介して仮想結像面へ投影して合成する方法）と同様の画素の重なりになるならば、各画素を平行移動させて合成する方法でもよい。この時、画素に入射した光束が通過したレンズアレイ１６０３の領域が同じである場合、それらの画素の平行移動量は同じになる。つまり、図３及び図４における合成画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ１６０３の領域に応じて決まる。
【００９９】
次に、本実施例におけるピント制御範囲に関して説明する。
【０１００】
本実施例におけるピント制御範囲も、実施例１と同様に式（４）で記述される。すなわち、前述の式（４）を用いて表される像側のリフォーカス範囲α+ｓ2〜α-ｓ2と共役な範囲（結像光学系１６０２に対して共役な範囲）が、物体側のリフォーカス範囲であるピント制御範囲となる。図１８は、実施例１に係る図７に対応する図である。図１８中のΔｙは、光の２次元強度分布のサンプリングピッチを表し、Δｙ＝Δσ1／σ2（σ1：像側共役面１７０１とレンズアレイ１６０３の物体側主平面との間隔、σ2：レンズアレイ１６０３の像側主平面と撮像素子１６０４との間隔）である。これは、結像光学系１６０２が形成した像を、レンズアレイ１６０３が虚物体として見ることで、撮像素子１６０４へσ2／σ1倍で縮小結像するためである。そして、本実施例においても、Δ≪Ｐ（Ｐ：結像光学系１６０２の射出瞳距離）から、式（４）は式（５）に近似できる。
【０１０１】
本実施例に係る画像処理部１５１２おける処理の流れは、実施例１に係る図９のフローチャートと同じであるが、撮像部１５００の構成の違いから、以下のようにしてピント制御範囲が導出される（ステップ２３０６）。
【０１０２】
図１８から明らかなように、幾何学的にＮＦ＝σ1／ΔLAであり、また、Δｙ＝Δσ1／σ2であるから、以下の式（１２）が成り立つ。
【０１０３】
【数９】
2015188251.tif 000012
【０１０４】
この式（１２）等から、本実施例における像側ピント制御範囲ｄrefocusが満たすべき条件式（１３）が求められる。
【０１０５】
【数１０】
2015188251.tif 000013
【０１０６】
実施例１と同様、上記条件式（１３）において±10.0となっている範囲を、±6.0或いは±3.0とすることで、より鮮鋭な合成画像を得ることができる。
【０１０７】
以下に、具体例を示す。
・撮像素子１６０４の有効画素数Ｒtotal：１５０．０×１０6（pix）
・σ1：０．３７１２（mm）
・σ2：０．０７４０（mm）
・撮像素子１６０４の画素ピッチΔ：０．００２４（ｍｍ）
・レンズアレイ１６０３のピッチはΔLA：０．０２５６（ｍｍ）
・結像光学系１６０２の広角端における焦点距離ｆW：７２．２（ｍｍ）
・結像光学系１６０２の望遠端における焦点距離ｆT：１９４．０（ｍｍ）
・Ｆ値（広角端から望遠端まで）：２．９
・１次元瞳分割数Ｎ：５
・単視点画像１枚当たりの解像度Rmono：６．０×１０6pix
・条件式（１３）の範囲、条件式（１３）の各範囲に対応する合成画像の解像度Ｒcomb、合成画像の各解像度に対応するｄrefocusは、例えば以下の表（２）のようになる。 
【０１０８】
【表２】
2015188251.tif 000014
【０１０９】
実施例１と同様、操作部１５０５を介したユーザ入力によって、合成画像の解像度Ｒcombが例えば上記３種類の中から選択される。
【０１１０】
上記の例において、例えば１０．０×１０6pixの合成画像を生成するためには、単視点画像１枚当たりの解像度Rmono：６．０×１０6pixであるため、画素ずらし超解像などによる高解像度化が必要となることが分かる。
【０１１１】
［実施例３］
次に、図５に示す構成（カメラアレイ）の撮像部を有する撮像装置を前提とする様態について、実施例３として説明する。なお、以下では本実施例に特有な点を中心に説明することとする。
【０１１２】
図１９は、本実施例に係る図５のカメラアレイの構成を有する撮像部１５００を正面（物体側）から見た図であり、７つの各個眼カメラにおける結像光学系１６０２ａ〜１６０２ｇと撮像素子１６０４ａ〜１６０４ｇの配置が示されている。この撮像部１５００の場合、結像光学系１６０２ｂの光軸を回転軸として、六回対称性を有したカメラアレイとなっている。しかし、カメラアレイの構成はこれに限定されるものではなく、結像光学系の個数や配列は任意である。また、各撮像素子１６０４ａ〜１６０４ｇが各結像光学系１６０２ａ〜１６０２ｇに対応してそれぞれ配列されているが、各結像光学系１６０２ａ〜１６０２ｇによって形成される像を取得できるならば撮像素子は１つでもよい。
【０１１３】
図１９に示す構成の撮像部１５００において、各結像光学系１６０２ａ〜１６０２ｇで屈折された光線は、それぞれに対応した撮像素子１６０４ａ乃至１６０４ｇで受光される。撮像素子１６０４ａ〜１６０４ｇで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の視差画像を用いて画像合成を行うことで、被写体空間のライトフィールドを得ることができる。
【０１１４】
図２０は、結像光学系１６０２ａと撮像素子１６０４ａを側面から見た図（断面図）である。他の結像光学系１６０２ｂ乃至１６０２ｇ及び、撮像素子１６０４ｂ乃至１６０４ｇも同様であるが、各結像光学系の構成はそれぞれ異なっていてもよい。結像光学系１６０２ａは、単焦点レンズであり、結像光学系１６０２ａと撮像素子１６０４ａとの間隔を変化させることで、リフォーカスを行う。
【０１１５】
本実施例における画像合成処理も、実施例１と同様、ピントを合わせたい被写体距離に対応したずれ量で各視点の画像を重ね合わせればよい。また、ピント制御範囲に関しても、前述の式（４）で記述されるとおりである。図２１は、実施例１の図７に対応する図であり、本実施例の場合、Δｙ＝Δ、Δｕ＝Ｐmono／Ｆmonoとなる。ここで、Ｆmonoは、各結像光学系１６０２ａ乃至１６０２ｇにおけるＦ値、Ｐmonoは、各結像光学系に対応する射出瞳距離を表している。そして、本実施例においては、Δ≪Ｐmonoから、式（４）は以下の式（１４）に近似できる。
【０１１６】
【数１１】
2015188251.tif 000015
【０１１７】
本実施例に係る画像処理部１５１２における処理の流れは、実施例１に係る図９のフローチャートと同じであるが、撮像部１５００の構成の違いから、以下のようにしてピント制御範囲が導出される（ステップ２３０２及びステップ２３０６）。
【０１１８】
本実施例の場合、撮像部１５００を構成する各結像光学系１６０２ａ乃至１６０２ｇは、絞り値が可変の開口絞りをそれぞれ有している。そのため、ステップ２３０２では、撮像時の各結像光学系の絞り値が、光学パラメータとして取得される。
【０１１９】
そして、ステップ２３０６では、実施例１と同様の考え方に基づき、ステップ２３０２で得られた撮像時の各結像光学系１６０２ａ乃至１６０２ｇのＦ値を、Ｆmonoに代入し、ピント制御範囲を導出する。ここで、ＦmonoのＦ値を持つ結像光学系で結像される画像の解像度をＲmonoとした時、ｄrefocusが満たすべき条件式（１５）が求められる。 
【０１２０】
【数１２】
2015188251.tif 000016
【０１２１】
実施例１と同様、上記条件式（１５）において±10.0となっている範囲を、±6.0或いは±3.0とすることで、より鮮鋭な合成画像を得ることができる。
【０１２２】
以下に、具体例を示す。
・各撮像素子１６０４ａ乃至１６０４ｇの有効画素数Ｒmono：１９．３×１０6（pix）
・画素ピッチΔ：０．００１２（mm）
・各結像光学系１６０２ａ乃至１６０２ｇの焦点距離ｆ：５０．０（mm）
・Ｆ値（Ｆmono）：１．８
・条件式（１５）の範囲、条件式（１５）の各範囲に対応する合成画像の解像度Ｒcomb、合成画像の各解像度に対応するｄrefocusは、例えば以下の表（３）のようになる。 
【０１２３】
【表３】
2015188251.tif 000017
【０１２４】
そして、実施例１と同様、操作部１５０５を介したユーザ入力によって、合成画像の解像度Ｒcombが例えば上記３種類の中から選択される。
【０１２５】
なお、撮像時のF値が異なるＦ値だった場合は、条件式（１５）を満たすようにｄrefocusが決定される。
【０１２６】
［実施例４］
実施例１乃至３で説明した画像合成処理は、図２〜図５で示す撮像部を有する撮像装置によって取得された、複数の異なる視点から撮像されて得た視差画像を用いて実現していた。画像合成処理は、視差画像を用いた画像合成処理に限定されない。単視点の撮像データに対し、ピント位置、被写界深度を、後から画像処理により調整するものでもよい。
【０１２７】
例えば、ピント位置を画像処理によって変更する方法としては、ピント位置からの相対的な距離に応じて、撮像データにフィルタ処理を施す方法が知られている。この場合、最初に被写界深度の深い撮像データとシーンの距離情報を取得する。距離情報は、撮像装置とは別に距離センサを設けて取得したり、撮像装置の撮像データを解析して取得する。次に、フォーカスを合わせたい被写体（或いは、被写体距離）に対してはフィルタ処理を行わずオリジナルの撮像データを用い、フォーカスを合わせたい被写体以外の領域については該被写体からの相対的な距離を距離情報から求める。そして、フォーカスを合わせたい被写体からの相対距離が近い領域については、ボケ量が小さくなるフィルタ処理を実施（例えば、フィルタサイズを相対的に小さく設定）する。一方、フォーカスを合わせたい被写体からの相対距離が遠い領域については、ボケ量が大きくなるフィルタ処理を実施（例えば、フィルタサイズを相対的に大きく設定）する。このような方法で、ピント位置を変更してもよい。
【０１２８】
このように、単視点画像に対し、ピント位置からの相対的な距離に応じて、撮像データにフィルタ処理を施す方法では、ピント制御範囲は、単視点画像を得た際の被写界深度がピント制御範囲となる。
【０１２９】
被写界深度の度合いの調整も、上記と類似の手法で画像処理によって調整可能である。すなわち、撮像データに対するフィルタリング処理において、フィルタサイズをより大きく設定することでボケ量が増大し、被写界深度の狭い画像データを生成することができる。反対に、被写界深度の深い画像データを生成するためには、フィルタサイズを小さくしてやればよい。
【０１３０】
［実施例５］
実施例１乃至４では、複数視点の画像或いは単視点の画像に対して画像合成処理を実施して、ピント位置等を変化させた画像を生成していた。しかし、ピント位置等を変化させた画像は、画像合成処理を行わずとも得ることができる。
【０１３１】
例えば、撮像パラメータを少しずつ変更しながら複数枚の画像を取得するブラケット撮像により、複数の撮像データを取得する方法が知られている。具体的には、撮像装置に具備されるフォーカス調整リング、絞り調整リングを段階的に変化させた撮像データを取得する。ブラケット撮像による撮像データには、撮像時のパラメータが撮像画像と一体となって保持されるものとする。つまり、実施例１乃至４では、複数視点の画像を含む１の撮像データから、ピント位置等を変更した合成画像を演算によって生成していたが、本実施例では、ブラケット撮像によって得られた複数の撮像データから、所望の撮像画像を選択し表示する。
【０１３２】
ピント位置を段階的に変更したブラケット撮像（フォーカスブラケット撮像）では、撮像装置に具備されるフォーカス調整を行う操作部を使用しながらピント位置を段階的に変化させて、複数回の撮像を行う。前述の図１２の（ａ）では、撮像装置からそれぞれ異なる距離に３種類の被写体（人物、建物、山）が存在し、「人物」は撮像装置から最も近い位置、「建物」は中程度の位置、「山」最も離れた位置にそれぞれ位置している。本実施例では、近傍の被写体から遠方の被写体までが含まれるようにピント位置を連続的に変化させ、各ピント位置での撮像データを取得する。これにより、「人物」、「建物」、「山」の各被写体にピントが合っている撮像画像を得ることができる。なお、実際のフォーカスブラケット撮像では、主要な被写体が存在しない部分（例えば、人物と建物の間）にピントを合わせた撮像も行われる。そして、得られた撮像データにおいては、撮像時のピント位置の情報を距離情報として、撮像画像に関連付けられて記録される。なお、実施例６と同様に、シーンの距離情報は、撮像装置とは別に距離センサを設けて取得したり、撮像装置の撮像データを解析して取得してもよい。
【０１３３】
このように、画像合成処理を実施せず、ブラケット撮像により、ピント位置を段階的に変化させた撮像データを表示する。この場合、ブラケット撮像の際に変化させたピント位置のうち、撮像装置に最も近いピント位置から最も遠いピント位置が、ピント制御範囲となる。また、被写界深度は、ブラケット撮像時における撮像装置の絞り調整リングによって定まる被写界深度と略同一として扱うことができる。
【０１３４】
また、前述の図１６の（ａ）及び（ｂ）のように、合焦情報表示画像に加えて、ピント位置を変化させた画像を表示する場合には、ピント位置取得部２２０８から供給されるピント位置に応じて、所望の撮像画像を選択し表示する。
【０１３５】
以上説明したように、ブラケット撮像で得られた複数の撮像データを用いて、ピント位置を変化させた画像データを得てもよい。
【０１３６】
［その他の実施形態］
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【図１】
2015188251.tif 000018
【図２】
2015188251.tif 000019
【図３】
2015188251.tif 000020
【図４】
2015188251.tif 000021
【図５】
2015188251.tif 000022
【図６】
2015188251.tif 000023
【図７】
2015188251.tif 000024
【図８】
2015188251.tif 000025
【図９】
2015188251.tif 000026
【図１１】
2015188251.tif 000027
【図１３】
2015188251.tif 000028
【図１４】
2015188251.tif 000029
【図１５】
2015188251.tif 000030
【図１７】
2015188251.tif 000031
【図１８】
2015188251.tif 000032
【図１９】
2015188251.tif 000033
【図２０】
2015188251.tif 000034
【図２１】
2015188251.tif 000035
【図１０】
2015188251.tif 000036
【図１２】
2015188251.tif 000037
【図１６】
2015188251.tif 000038