(57)【要約】      （修正有）【課題】撮影時、或いは画像の編集時に、どの範囲の被写体がリフォーカス可能であるのかをユーザが認識可能とする。【解決手段】２次元画像から検出された被写体と当該被写体までの距離情報とに基づき、前記２次元画像から距離ごとに前記被写体の領域を抽出する被写体領域抽出手段と、抽出された被写体領域の各距離に応じて前記被写体領域の位置がずれた画像を生成するずれ画像生成手段と、を有する。【選択図】図８
2014197824.tif 000002
【特許請求の範囲】
【請求項１】
２次元画像から検出された被写体と当該被写体までの距離情報とに基づき、前記２次元画像から距離ごとに前記被写体の領域を抽出する被写体領域抽出手段と、
抽出された被写体領域の各距離に応じて前記被写体領域の位置がずれた画像を生成するずれ画像生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記ずれ画像生成手段は、前記２次元画像のうち背景となる領域を基準として、前記被写体領域の位置がずれた画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記背景となる領域は、所定の距離より遠くにあるすべての被写体を含む１の領域であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ずれ画像生成手段は、水平方向におけるずれ量と垂直方向におけるずれ量との比率が一定となるように、前記被写体領域の位置がずれた画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
生成される前記被写体領域の位置がずれた画像において、被写体領域どうしの重なり合う領域のうち背後に表示されることとなる被写体領域の覆い隠される部分の面積の割合が、閾値より小さくなるようなずれ量を決定する、ずれ量決定手段をさらに備え、
前記ずれ画像生成手段は、決定されたずれ量に基づいて、前記被写体領域の位置がずれた画像を生成する
ることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記ずれ画像生成手段は、第１の被写体領域の位置が、当該第１の被写体領域よりも遠くの距離に対応する第２の被写体領域の位置よりも下方になるように、前記被写体領域の位置がずれた画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記ずれ画像生成手段で生成された、前記被写体領域の位置がずれた画像における各被写体領域に対し、水平方向を傾けるシアー処理を行うシアー処理手段をさらに備えたことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記ずれ画像生成手段で生成された画像に対し、当該画像におけるずらし方向に基づく格子パターンを合成する手段をさらに備えたことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記格子パターンを合成する手段は、前記背景となる領域に対しては、前記格子パターンを合成しないことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
合焦している被写体までの距離を示す指標及び被写界深度を示す指標の少なくとも一方を、前記被写体領域の位置がずれた画像に合成する手段をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置を有する撮像装置であって、
前記指標が合成された画像を表示する表示手段と、
前記指標が合成された画像内の当該指標に対するユーザ操作に応じて、フォーカス及び被写界深度を調整する手段と
を備えたことを特徴とする撮像装置。
【請求項１２】
請求項１０に記載の画像処理装置を有する装置であって、
ライトフィールドデータから前記２次元画像を生成する手段と、
前記指標が合成された画像を表示する表示手段と、
前記指標が合成された画像内の当該指標に対するユーザ操作に応じて、前記指標が合成された画像における合焦距離及び被写界深度を、前記ライトフィールドデータを用いて変更する手段と
を備えたことを特徴とする装置。
【請求項１３】
２次元画像から検出された被写体と当該被写体までの距離情報とに基づき、前記２次元画像から距離ごとに前記被写体の領域を抽出する被写体領域抽出ステップと、
抽出された被写体領域の各距離に応じて前記被写体領域の位置がずれた画像を生成するずれ画像生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項１５】
撮像画像データにおける被写体の領域を、撮像装置からの距離に応じて再配置した再配置画像を生成する手段と、
前記再配置画像を含む、前記撮像画像データを用いて画像合成処理を行う際の合焦状態に関する情報を反映した画像を生成する手段と
を備えたことを特徴とする画像処理装置。 
【請求項１６】
前記再配置画像を生成する手段は、撮像装置から被写体までの実際の距離の逆数比または対数比による画素分を基準となる座標より移動させることにより、前記再配置を行う
ことを特徴とする請求項１５に記載の画像処理装置。 
【請求項１７】
前記合焦状態に関する情報は、ピント位置、被写界深度、ピント制御範囲のうち少なくとも１つを含むことを特徴とする請求項１５又は１６に記載の画像処理装置。
【請求項１８】
撮像装置から被写体までの距離を示す距離情報を導出する距離導出手段をさらに備え、
前記再配置画像を生成する手段は、前記距離導出手段で導出された前記距離情報に基づいて、各被写体が奥行き方向に並ぶように再配置することを特徴とする請求項１５乃至１７のいずれか１項に記載の画像処理装置。
【請求項１９】
前記撮像画像データは、複数の視点からの撮像によって得られる視差画像データであって、当該複数の視点のそれぞれに対応する複数の単視点画像から構成され、
前記距離導出手段は、前記複数の単視点画像の間でステレオマッチングを行うことにより前記距離情報を導出する
ことを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
前記撮像画像データは、複数の視点からの撮像によって得られる視差画像データであって、当該複数の視点のそれぞれに対応する複数の単視点画像から構成され、
前記合焦状態に関する情報を反映した画像を生成する手段は、前記複数の単視点画像のうちの１の単視点画像をベースにした画像を生成することを特徴とする請求項１５乃至１８のいずれか１項に記載の画像処理装置。
【請求項２１】
前記撮像画像データは、複数の視点からの撮像によって得られる視差画像データであって、当該複数の視点のそれぞれに対応する複数の単視点画像から構成され、
前記合焦状態に関する情報を反映した画像を生成する手段は、前記複数の単視点画像を合成して得られた合成画像をベースにした画像を生成することを特徴とする請求項１５乃至１８のいずれか１項に記載の画像処理装置。
【請求項２２】
前記撮像画像データは、単視点画像であり、
前記画像合成処理は、前記単視点画像に対するフィルタリング処理であることを特徴とする請求項１５乃至１８のいずれか１項に記載の画像処理装置。
【請求項２３】
前記距離導出手段で導出された前記距離情報に基づいて、前記撮像画像データにおける被写体の領域を抽出する被写体領域抽出手段をさらに備えたことを請求項１５乃至２２のいずれか１項に記載の画像処理装置。
【請求項２４】
前記被写体領域抽出手段は、被写体の輪郭に沿った領域又は被写体に包含する任意の形状の領域を、前記被写体の領域として抽出することを特徴とする請求項２３に記載の画像処理装置。
【請求項２５】
請求項１５乃至２４のいずれか１項に記載の画像処理装置を有する撮像装置であって、
前記合焦状態に関する情報を反映した画像を表示する表示手段と、
前記合焦状態に関する情報を反映した画像に基づくユーザ操作に応じて、ピント位置、被写界深度、ピント制御範囲を調整する手段と
を備えたことを特徴とする撮像装置。
【請求項２６】
前記表示手段はライブビュー機能を有し、前記合焦状態に関する情報を反映した画像を、ライブビューにおいて表示することを特徴とする請求項２５に記載の撮像装置。
【請求項２７】
撮像画像データから、被写体領域を撮像装置からの距離に応じて配置し直した再配置画像を生成するステップと、
前記再配置画像に対して、前記撮像画像データを用いて画像合成処理を行う際の合焦状態に関する情報を反映した画像を生成するステップと
を含むことを特徴とする画像処理方法。 
【請求項２８】
コンピュータを請求項１５乃至２４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体のピント制御に関する情報を得るための画像処理装置、撮像装置、画像処理方法、プログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置では、撮像画像に含まれる被写体をユーザがタッチパネル操作等で指示することにより、その被写体への合焦（ピント、或いはフォーカス）調整を行うものが知られている（例えば、特許文献１）。
【０００３】
また、撮像対象物（被写体）の奥行き方向での位置を表す奥行き位置と、フォーカスの位置を表すフォーカス位置とを示すためのマップ画像を表示することにより、ユーザが合焦している撮像対象物を容易に把握することが可能な技術も提案されている（例えば、特許文献２）。
【０００４】
また、近年、光線の向きと強度の情報（ライトフィールドデータ）を取得し、後で画像処理によってフォーカス位置の調節（リフォーカス）や被写界深度の調節を行うライトフィールドフォトグラフィ技術が知られている（たとえば、特許文献３参照）。
【０００５】
この技術を用いれば、撮像後にピント調整を行えるため、撮像時のピント調整の失敗を画像処理で補うことができるという利点がある。さらに、画像処理方法を変えることで画像中の任意の被写体にピントを合わせた複数の画像を一枚の撮像画像から得る事ができ、撮像回数を減らす事ができるという利点もある。
【０００６】
ライトフィールドフォトグラフィでは、複数視点の撮像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド）を計算する。そして、得られたライトフィールドの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、前述したリフォーカスも可能となる。ライトフィールドを取得するための撮像装置としてはメインレンズの後ろにマイクロレンズアレイを置いたＰｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ（例えば、特許文献６）や、小型のカメラを並べたカメラアレイが知られている。いずれも被写体を異なる方向から撮像した複数視点の画像データを一回の撮像で得る事ができる。すなわち、ライトフィールドフォトグラフィとは、複数視点の画像データから仮想の光学条件下での仮想センサの取得する画像を計算することと言い換えることもできる。なお、以下では、この仮想のセンサが取得する画像を計算する処理を「リフォーカス処理」と呼ぶこととする。リフォーカス処理としては、取得した複数視点の画像データを仮想センサ上に射影変換し加算して平均化する方法が知られている（例えば、特許文献７）。
【０００７】
ピント位置を変更しながらリフォーカス処理された画像（以下、リフォーカス画像）を表示する方法としては、例えば、特許文献８に開示された方法がある。特許文献８の方法では、ピント位置を調整するユーザインターフェィス（ＵＩ）を、リフォーカス画像が表示される画面上に用意し、該ＵＩを介して、ピント位置を変更している。更に、特許文献８には、リフォーカス画像が表示される画面において、ピント位置を合わせたい被写体を、該画面を通じてユーザが指示し、同被写体にピント位置が調整されたリフォーカス画像を表示する方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−３９４５７号公報
【特許文献２】特開２０１０−１７７７４１号公報
【特許文献３】特表２００８−５１５１１０号公報
【特許文献４】特開平９−１８６９３１号公報
【特許文献５】特開２００１−１６９３０８号公報
【特許文献６】特開２００９−１２４２１３号公報
【特許文献７】ＷＯ２００８０５０９０４
【特許文献８】ＵＳ特許２００８／０１３１０１９号公報
【非特許文献】
【０００９】
【非特許文献１】Ｒｅｎ  Ｎｇ著、「Ｆｏｕｒｉｅｒ  Ｓｌｉｃｅ  Ｐｈｏｔｏｇｒａｐｈｙ」、２００５  ＡＣＭ  Ｔｒａｎｓ．  Ｇｒａｐｈ．２４、ｐ７３５−７４４
【発明の概要】
【発明が解決しようとする課題】
【００１０】
撮像画像データまたはライトフィールドデータの表示において、合焦する対象物は、撮像位置から一定距離の面上に存在することになる。しかしながら、特定の被写体を指示することにより合焦を行う場合には、ユーザはその特定被写体以外のどの被写体に合焦するかを把握することができない。
【００１１】
また、特許文献２の技術では、撮像対象物を表すマークが奥行き方向に並んだマップ画像によって、どの被写体に合焦するかを把握可能であるものの、係るマップ画像は撮像画像（実際の画像）とは大きく乖離するため、直感的に把握することが難しい。
【００１２】
つまり、上述した特許文献等に開示される従来手法では、撮影時、或いは画像の編集時に、どの範囲の被写体がリフォーカス可能であるのかが明示されず、そのためユーザは意図した撮影や画像編集を行うことが困難であるという課題がある。
【課題を解決するための手段】
【００１３】
本発明に係る画像処理装置は、２次元画像から検出された被写体と当該被写体までの距離情報とに基づき、前記２次元画像から距離ごとに前記被写体の領域を抽出する被写体領域抽出手段と、抽出された被写体領域の各距離に応じて前記被写体領域の位置がずれた画像を生成するずれ画像生成手段と、を有することを特徴とする。
【００１４】
或いは、画像処理装置であって、撮像画像データにおける被写体の領域を、撮像装置からの距離に応じて再配置した再配置画像を生成する手段と、前記再配置画像を含む、前記撮像画像データを用いて画像合成処理を行う際の合焦状態に関する情報を反映した画像を生成する手段とを備えたことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、ユーザは、撮影時、或いは画像の編集時に、被写体の合焦状態を直観的に把握することができる。
【図面の簡単な説明】
【００１６】
【図１】デジタルカメラの外観の一例を示す図である。
【図２】デジタルカメラの内部構成を示すブロック図である。
【図３】実施例１に係るデジタルカメラにおいて実行される画像処理の流れを示すフローチャートである。
【図４】デジタルカメラの表示部に表示される２次元画像の一例を示す図である。
【図５】２次元画像から被写体が検出された状態を示す図である。
【図６】距離画像の一例を示す図である。
【図７】被写体領域を抽出した状態を示す図である。
【図８】水平・垂直方向のずれ量の比率を決定する処理の流れを示すフローチャートである。
【図９】被写体領域が抽出された画像についてずれ画像生成処理を行った結果を示す図である。
【図１０】ずれ画像における各被写体領域に対し、シアー処理を行った結果を示す図である。
【図１１】シアー処理が施された画像に、地面格子パターンを重畳した結果を示す図である。
【図１２】地面格子パターンが合成された画像に、合焦距離の指標及び被写界深度の指標を重畳した結果を示す図である。
【図１３】ライトフィールドデータを扱う装置の内部構成の一例を示す図である。
【図１４】実施例２に係る装置において実行される画像処理の流れを示すフローチャートである。
【図１５】実施例３に係る多眼方式の撮像装置の内部構成を示すブロック図である。
【図１６】結像光学系の像側にレンズアレイを配置した構成の一例である。
【図１７】結像光学系の像側にレンズアレイを配置した構成の一例である。
【図１８】結像光学系の像側にレンズアレイを配置した構成の一例である。
【図１９】複数の結像光学系を配列した構成（カメラアレイ）の一例である。
【図２０】レンズアレイと撮像素子の関係を表した図である。
【図２１】実施例３におけるリフォーカスの係数α±を表す式の関係を図で表したものである。
【図２２】実施例３に係る画像処理部の内部構成を示したブロック図である。
【図２３】実施例３に係る画像処理部における処理の流れを示すフローチャートである。
【図２４】（ａ）は単視点画像の一例を示す図であり、（ｂ）は単視点画像について導出された距離情報としての距離マップを示す図である。
【図２５】距離マップから被写体領域を抽出した結果の一例を示す図である。
【図２６】単視点画像に係るシーンを真上から俯瞰した場合における再配置画像の一例を示す図である。
【図２７】図１６で示す撮像部の構成における光学配置を示した図である。
【図２８】合焦情報表示画像の一例を示す図である。
【図２９】合焦情報表示画像のバリエーションを示す図である。
【図３０】合焦情報表示画像に、単視点画像及び／又は合成画像を併せて表示する場合の一例を示す図である。
【図３１】図１７で示す撮像部の構成におけるレンズアレイと撮像素子部分を中心に拡大した図である。
【図３２】実施例４におけるリフォーカスの係数α±を表す式の関係を図で表したものである。
【図３３】カメラアレイの構成を有する撮像部を正面（物体側）から見た図である。
【図３４】実施例５に係る、結像光学系と撮像素子を側面から見た図（断面図）である。
【図３５】実施例５におけるリフォーカスの係数α±を表す式の関係を図で表したものである。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００１８】
［実施例１］
ここでは、本発明に係る画像処理装置を、デジタルカメラに適用した態様について、実施例１として説明する。
【００１９】
図１は、デジタルカメラの外観の一例を示す図である。
【００２０】
表示部１０１は、例えば液晶ディスプレイが用いられ、画像や各種情報を表示する。表示部１０１はタッチスクリーン機能を有し、表示部１０１に対する接触を検知できる。例えば、タッチパネルを光の透過率が表示部１０１の表示を妨げないように構成し、表示部１０１の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部１０１上の表示座標とを対応付ける。これにより、あたかもユーザが表示部１０１上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。
【００２１】
シャッターボタン１０２は、撮像指示を行うための操作部である。
【００２２】
モードダイアル１０３は、各種モードを切り替えるための操作部である。
【００２３】
コネクタ１０４は、接続ケーブル１１１とデジタルカメラ１００とのコネクタである。
【００２４】
操作部１０５は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン等である。
【００２５】
コントローラーホイール１０６は、操作部１０５に含まれる回転操作可能な操作部材である。
【００２６】
電源スイッチ１０７は、デジタルカメラ１００の電源のオンとオフを切り替える。
【００２７】
記録媒体１０８は、撮像画像データやライトフィールドデータを記録するための、メモリカードやハードディスクといった情報記録媒体である。
【００２８】
記録媒体スロット１０９は、記録媒体１０８を格納するためのスロットである。記録媒体スロット１０９に格納された記録媒体１０８は、デジタルカメラ１００との通信が可能となる。
【００２９】
蓋１１０は、記録媒体スロット１０９の蓋である。
【００３０】
図２は、デジタルカメラ１００の内部構成を示すブロック図である。
【００３１】
撮像レンズ２０１にはフォーカスレンズを含む。
【００３２】
シャッター２０２は、絞り機能を備え、シャッターボタン１０２に連動して露光を制御する。
【００３３】
撮像部２０３は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される。
【００３４】
Ａ／Ｄ変換器２０４は、撮像部２０３から出力されるアナログ信号をデジタル信号に変換する。
【００３５】
バリア２０５は、撮像レンズ２０１やシャッター２０２を含む撮像部２０３を覆うことにより、撮像系の汚れや破損を防止する。
【００３６】
画像処理部２０６は、Ａ／Ｄ変換器２０４からの画像データ、又は、メモリ制御部２０７からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２０６では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部２０８が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２０６では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。Ａ／Ｄ変換器２０４からの画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介してメモリ２０９に直接書き込まれる。
【００３７】
メモリ２０９は、撮像部２０３によって得られＡ／Ｄ変換器２０４によりデジタルデータに変換された画像データや、表示部１０１に表示するための画像データを格納する。メモリ２０９は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。撮像した画像データを、表示部１０１を用いて逐次表示すれば、電子ファインダー機能（スルー画像表示）を実現することが可能である。また、メモリ２０９は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器２１０は、メモリ２０９に格納されている画像表示用のデータをアナログ信号に変換して表示部１０１に供給する。こうして、メモリ２０９に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１０を介して表示部１０１に表示される。
【００３８】
表示部１０１は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器２１０からのアナログ信号に応じた表示を行う。
【００３９】
不揮発性メモリ２１１は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２１１には、システム制御部２０８の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。
【００４０】
システム制御部２０８は、デジタルカメラ１００の全体を制御する。前述した不揮発性メモリ２１１に記録されたプログラムを実行することで、後述する各処理を実現する。システムメモリ２１２には、ＲＡＭが用いられ、システム制御部２０８の動作用の定数、変数、不揮発性メモリ２１１から読み出したプログラム等を展開する。また、システム制御部２０８は、メモリ２０９、Ｄ／Ａ変換器２１０、表示部１０１等を制御することにより表示制御も行う。また、システム制御部２０８は、タッチパネルへの以下の操作を検出できる。
・タッチパネルを指やペンで触れたこと（以下、タッチダウンと称する。）
・タッチパネルを指やペンで触れている状態であること（以下、タッチオンと称する。）
・タッチパネルを指やペンで触れたまま移動していること（以下、ムーブと称する。）
・タッチパネルを２本の指で触れて、その間隔を狭めるように動かすこと（以下、ピンチインと称する。）
・タッチパネルを２本の指で触れて、その間隔を広げるように動かすこと（以下、ピンチアウトと称する。）
・タッチパネルに触れていた指やペンを離したこと（以下、タッチアップと称する。）
・タッチパネルに何も触れていない状態（以下、タッチオフと称する。）
【００４１】
上記各種操作や、タッチパネル上に指やペンが触れている位置座標は、システム制御部２０８に通知され、システム制御部２０８は通知された情報に基づいてタッチパネル上でどのような操作が行なわれたかを判定する。ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
【００４２】
モードダイアル１０３は、システム制御部２０８の動作モードを、静止画および動画を記録可能な撮像モード、再生モード等のいずれかに切り替える。シャッターボタン１０２は、不図示の第１シャッタースイッチと第２シャッタースイッチとを含む。第１シャッタースイッチは、シャッターボタン１０２の操作途中、いわゆる半押し（撮像準備動作指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作（以下、これらのうち少なくとも一つを撮像準備動作と称する）を開始する。これらの処理はシステム制御部２０８の制御によって行われる。第２シャッタースイッチは、シャッターボタン１０２の操作完了、いわゆる全押し（撮像指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２０８は、第２シャッタースイッチ信号ＳＷ２により、撮像部２０３からの信号読み出しから記録媒体１０８に画像データを書き込むまでの一連の撮像処理の動作を開始する。
【００４３】
操作部１０５の各操作部材は、表示部１０１に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。コントローラーホイール１０６は、操作部１０５に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。
【００４４】
電源制御部２１３は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２１３は、その検出結果及びシステム制御部２０８の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０８を含む各部へ供給する。
【００４５】
電源部２１４は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。
【００４６】
インタフェース２１５は、メモリカードやハードディスク等の記録媒体１０８とのインタフェースである。
【００４７】
図３は、本実施例に係るデジタルカメラにおいて実行される画像処理の流れを示すフローチャートである。なお、この一連の処理は、システム制御部２０８が不揮発性メモリ２１１に記録されたプログラムをシステムメモリ２１２に展開して実行することで実現される。
【００４８】
ユーザにより電源が投入されると、ステップ３０１において、システム制御部２０８は、所定の撮像条件（フォーカス、露出、ホワイトバランス等）で撮像を開始する。この撮像条件は、たとえば電源切断前の値を回復して用いる等、装置の仕様による。
【００４９】
ステップ３０２において、システム制御部２０８は、撮像部２０３で取得された２次元画像を表示部１０１に表示する。図４は、表示部１０１に表示される２次元画像の一例を示す図である。図４の２次元画像は、屋外での撮像画像であり、空が写っているため、最も遠い被写体までの距離は無限遠となる。この場合において、最も遠い被写体である「空」に合焦したとき（合焦距離が無限遠のとき）、その前方被写界深度はいわゆる「過焦点距離」の１／２と等しくなる。過焦点距離の値は、以下の式（１）で求められる。
（ｆ＾２）／（δ・Ｆ）                            ・・・式（１）
ここで、ｆはレンズの焦点距離（ｍｍ）、Ｆはレンズの絞り値、δは許容錯乱円径（ｍｍ）である。
【００５０】
たとえば、レンズの焦点距離を５０ｍｍ、開放時のレンズの絞り値を２．８、許容錯乱円径を０．０３３２８ｍｍとするとき、過焦点距離は約２６．８ｍとなり、その前方被写界深度は約１３．４ｍとなる。この場合、約１３．４ｍより距離が大きくなる領域が、「背景領域」となる。なお、最も遠い被写体に絞りを開放にして合焦した場合において前方被写界深度にある被写体のいずれかに合焦するとき、この範囲にある被写体すべてに合焦することとなる。そこで、これらの被写体の領域を一体として「背景領域」として表示することで、この領域内の被写体については合焦するものと合焦しないものとを分けることができないことをユーザに対して明確にすることができる。
【００５１】
ステップ３０３において、システム制御部２０８は、フラッシュ強制発光／フラッシュ禁止／自動の選択といった各種設定について所定のユーザ操作があったときは、その設定を行う。
【００５２】
ステップ３０４において、システム制御部２０８は、ユーザにより表示モードを変更する指示があるかどうかを判定する。表示モードを変更する指示があれば、ステップ３０５に進む。一方、表示モードを変更する指示がなければ、ステップ３０２に戻る。
【００５３】
ステップ３０５において、システム制御部２０８は、撮像している画像に含まれる被写体を検出する。撮像画像内の被写体を検出する方法としては、たとえば、特許文献４が開示するものなど種々の方法を適用すればよい。図５は、図４に示した２次元画像から、被写体として人物、横向きの自動車、道路標識、建物がそれぞれ検出された状態を示す図である。図５において、画像中の木立、郵便ポスト、正面向きの自動車の各被写体は、絞り開放時の過焦点距離の１／２以遠にあるものとして、最遠の被写体である「空」と一体で上述の「背景領域」に含めている。
【００５４】
ステップ３０６において、システム制御部２０８は、撮像している２次元画像の距離情報（２次元画像から検出された各被写体までの距離の情報）を取得する。ここで、距離情報とは、２次元画像中の各被写体までの距離をその２次元画像の座標と対応させて記録したものであり、たとえば、座標に対してグレーの濃淡によりその座標の奥行の大小（遠近）を表わした「距離画像（距離マップ）」などが相当する。撮像している画像に対して距離情報を得る方法としては、たとえば、特許文献５が開示するものなど種々の方法を適用すればよい。図６は、図４に示した２次元画像について生成された距離画像の一例を示している。図６の距離画像においては、人物、横向きの自動車、道路標識、建物の４つの被写体の領域が、各距離に応じて濃度の異なるグレースケールの画像（一番距離が近い人物が最も濃く、建物が最も淡い）によって表現されている。なお、建物よりも遠くにある木立等は上述のとおり背景の一部に含まれることになるため、ここでの“被写体”としては扱われない。
【００５５】
ステップ３０７において、システム制御部２０８は、ステップ３０５で検出した被写体とステップ３０６で取得した距離情報とに基づき、次のステップ３０８におけるずらし処理の対象となる被写体領域を抽出する処理を行う。この被写体領域抽出処理は、一定の距離ごとに被写体の領域を分離する処理と言い換えることもできる。例えば、ステップ３０５で検出された被写体であって背景領域には含まれない被写体のうち、所定の距離の範囲内（例えば、１ｍ±５０ｃｍ）にある部分が、１の被写体領域の単位として抽出される。図７は、図４に示した２次元画像から被写体領域を抽出した状態を示す図であり、破線で示す部分（人物、横向きの自動車、道路標識、建物の各領域）が抽出された各被写体領域を示している。
【００５６】
ステップ３０８において、システム制御部２０８は、ステップ３０７で抽出した被写体領域ごとに、ステップ３０６で取得した距離情報に応じてその位置（座標）を変更する（ずらす）処理を行って、各被写体領域が一定の方向にずれた「ずれ画像」を生成する。たとえば、図７に示した４つの被写体領域までの距離が夫々、１ｍ、３ｍ、５ｍ、８ｍのように対応するとき、各被写体領域の座標を水平方向及び垂直方向に夫々所定量（例えば、１００画素、３３画素、２０画素、１３画素ずつ）ずれた画像が生成される。この「ずれ画像生成」におけるずれ量は、必ずしも距離に逆比例させる必要はなく、例えば、対数比としてもよいし、距離とずれ量との対応テーブルを予め用意しこれを適用して決定するようにしてもよい。この際、各領域のずらし方向を同じにするため、水平方向のずれ量と垂直方向のずれ量との比率が一定となるようにする。あるいは、以下に示すような処理によって、水平・垂直方向のずれ量の比率を決定することとしてもよい。
【００５７】
図８は、水平・垂直方向のずれ量の比率を決定する処理の流れを示すフローチャートである。
【００５８】
ステップ８０１において、システム制御部２０８は、所定の比率でずれを生じさせた画像を生成する。処理開始直後の段階では、予め定めた初期値（例えば、１対１の比率）でずれを生じさせたずれ画像が生成される。
【００５９】
ステップ８０２において、システム制御部２０８は、ステップ８０１で得られたずれ画像内に、被写体領域どうしの重なりがあるかどうかを判定する。被写体領域どうしの重なりがある場合には、ステップ８０３へ進む。一方、被写体領域どうしの重なりがない場合にはステップ８０５へ進む。
【００６０】
ステップ８０３において、システム制御部２０８は、被写体領域どうしが重なり合う領域のうち背後に表示されることとなる被写体領域の覆い隠される部分の面積の割合が所定の閾値（例えば５０％）を超えるかどうかを判定する。この場合において、背後に表示されることとなる領域の覆い隠される面積の割合が少ないほどユーザは適切に被写体を把握することが可能となる。所定の閾値は、この点を考慮して予め決定される。覆い隠される部分の面積の割合が閾値を超えるときは、ステップ８０４へ進む。一方、覆い隠される部分の面積の割合が閾値を越えないときは、ステップ８０５へ進む。
【００６１】
ステップ８０４において、システム制御部２０８は、水平・垂直方向にずらす比率を変更し、ステップ８０１に戻る。すなわち、重なり合う領域のうち背後に表示されることとなる領域の覆い隠される部分の面積の割合がより小さくなるように比率を変更し、当該変更後の比率に従ってずれを生じさせたずれ画像を生成する。
【００６２】
ステップ８０５において、システム制御部２０８は、背後に表示されることとなる領域の覆い隠される面積の割合が閾値を下回ったときの比率を、表示のための正式な比率として決定する。こうして決定された比率に応じたずれ量が、ずれ画像生成におけるずれ量として決定される。
【００６３】
なお、ずれ画像生成処理においては、近距離の被写体に対応する被写体領域（第１の被写体領域）が遠距離の被写体に対応する被写体領域（第２の被写体領域）よりも下方になるような方向にずらすことが望ましい。これにより、ユーザが前方から俯瞰しているように表示でき、ユーザの感覚に適したような表示となるためである。また、上述の背景領域（２次元画像の中の最も距離の遠い被写体にシャッターの絞りを開放にして合焦したとき、その前方被写界深度に含まれる領域）を、位置（座標）をずらす際の基準とする。このように「背景領域」を基準にずらすのは、以下の理由による。すなわち、本発明の目的は、どの被写体に合焦するのかをユーザが把握しやすくすることにあるところ、最も距離の遠い被写体に合焦しているときの、絞り開放での被写界深度に含まれる領域は、絞り値を変更したときも合焦していると認識されるからである。図９は、４つの被写体領域が抽出された画像（図７参照）について、ずれ画像生成処理を行った結果を示す図であり、被写体領域ごとに、その距離に応じて位置（座標）がずれているのが分かる。図９の例では、各被写体領域のずらし方向を同じにするため、水平方向と垂直方向のずらし量が一定の比率となっている。
【００６４】
図３のフローチャートの説明に戻る。
【００６５】
ステップ３０９において、システム制御部２０８は、ステップ３０８のずれ画像生成処理で生成された「ずれ画像」における各被写体領域に対し、水平方向が傾くようにシアー処理（斜変形処理）を行う。このシアー処理を行うことにより、ユーザが斜め前方から見ているという感覚により適するように表示することが可能となる。どの程度、斜めに変形させるかは予め定められたシアー角度によって決まる。図１０は、ずれ画像における各被写体領域（図９参照）に対し、シアー処理を行った結果を示す図である。このシアー処理により、ユーザは、被写体どうしの距離間隔をより把握しやすくなる。なお、シアー角度は、予め定められた所与の角度としてもよいし、ユーザが任意に指定できるようにしてもよい。
【００６６】
ステップ３１０において、システム制御部２０８は、ずらし方向及びシアー角度に基づいて、格子パターンを重畳（合成）する処理を行う。例えば、ずらし方向と同方向の線分と、シアー（斜変形）方向と同方向の線分から成る地面格子パターンを生成して、画像に重畳する。図１１は、シアー処理が施された図１０の画像に、格子パターンを重畳した結果を示す図である。これにより、ユーザは、被写体どうしの距離間隔をさらに分かりやすく把握することが可能となる。なお、図１１の例では、地面格子パターン１１０１と壁面格子パターン１１０２の計２種類の格子パターンが重畳表示されている。これにより、ユーザが斜め前方から見ているという感覚に更に適するように表示することが可能となる。なお、「背景領域」については「壁」のように表示し、それよりも遠くの距離に対応する格子パターンを表示しないようにしてもよい。これにより、ユーザは、被写界深度等の変更の限界（すなわち、当該「壁」のように表示された部分については合焦距離や被写界深度を変更できないこと）を直感的に把握できるようになる。
【００６７】
ステップ３１１において、システム制御部２０８は、撮像画像の撮像条件（フォーカス、露出、ホワイトバランス等）より、前方被写界深度と後方被写界深度を導出する。例えば、以下の式（２）及び式（３）を用いた演算によって、前方被写界深度と後方被写界深度とがそれぞれ導出される。
前方被写界深度（ｍｍ）＝（Ｒ＾２・δ・Ｆ）／（ｆ＾２＋Ｒ・δ・Ｆ）  ・・・式（２）
後方被写界深度（ｍｍ）＝（Ｒ＾２・δ・Ｆ）／（ｆ＾２−Ｒ・δ・Ｆ）  ・・・式（３）
上記式（２）及び式（３）において、Ｒは合焦している被写体（ただし無限遠ではない）までの距離（ｍｍ）、ｆはレンズの焦点距離（ｍｍ）、Ｆはレンズの絞り値、δは許容錯乱円径（ｍｍ）を表す。
【００６８】
なお、許容錯乱円径は、撮像素子の対角線長から導かれる固有値であり、たとえば、幅３６ｍｍ、高さ２４ｍｍ、対角線長４３．２７ｍｍの撮像素子については０．０３３２８ｍｍの値が使用される。
【００６９】
ステップ３１２において、システム制御部２０８は、合焦している被写体までの距離（以下、「合焦距離」という）と、ステップ３１１で導出された前方被写界深度及び後方被写界深度を表す指標とを、撮像画像に重畳（合成）する処理を行う。すなわち、これらの距離に対応する、ステップ３１０で重畳した地面格子パターン上の位置に、指標となる画像を重畳する。図１２は、格子パターンが合成された図１１の画像に、合焦距離の指標及び被写界深度の指標（前方被写界深度の指標と後方被写界深度の指標）を重畳した結果を示す図である。図１２において、指標１２０１は、地面格子パターンに沿って、人物（被写体Ｐ）のある位置の奥行き方向の距離（合焦距離）を示しており、人物（被写体Ｐ）に合焦していることを表している。また、指標１２０２及び１２０３は、地面格子パターンに沿って、それぞれ前方被写界深度と後方被写界深度を示しており、横向きの自動車（被写体Ｃ）が被写界深度にあること（撮像画像において合焦していると認識できること）を表している。
【００７０】
ステップ３１３において、システム制御部２０８は、ステップ３１２で各指標が合成された撮像画像を、表示部１０１上に表示する。そして、後述するように、合成された指標に対してユーザが指示・操作をすることにより、撮像レンズ２０１やシャッター２０２の絞り等を制御して、合焦距離や被写界深度を変更することができる。その際、指標を移動させるユーザ操作に応じて、その位置に対応する格子線を強調表示したり、その位置に対応する被写体の領域を他の被写体の領域と異ならせて表示するようにしてもよい。これにより、ユーザは、どの被写体に合焦するか、どの被写体が被写界深度にあるかといったことをより明確に把握することができる。
【００７１】
ステップ３１４において、システム制御部２０８は、ユーザにより表示部１０１へのタッチ操作があったかどうかを判定する。ユーザによるタッチ操作があれば、ステップ３１５へ進む。一方、ユーザによるタッチ操作がなければ、ステップ３０５に戻る。
【００７２】
ステップ３１５において、システム制御部２０８は、ユーザによるタッチ操作が「合焦距離の指標近傍へタッチダウンしてムーブ」する操作であるかどうかを判定する。ユーザによるタッチ操作が「合焦距離の指標近傍へタッチダウンしてムーブ」する操作であれば、ステップ３１６へ進む。一方、ユーザによるタッチ操作が「合焦距離の指標近傍へタッチダウンしてムーブ」以外の操作であれば、ステップ３１８へ進む。
【００７３】
ステップ３１６において、システム制御部２０８は、ユーザがタッチしている位置に対応する距離の被写体に合焦するように撮像レンズ２０１を制御し、フォーカスを調整する。
【００７４】
ステップ３１７において、システム制御部２０８は、合焦距離を表す指標の表示位置をユーザがタッチしている位置に移動する。
【００７５】
ステップ３１８において、システム制御部２０８は、ユーザによるタッチ操作が「被写界深度の指標近傍へタッチダウンしてピンチインまたはピンチアウト」する操作であるかどうかを判定する。ユーザによるタッチ操作が「被写界深度の指標近傍へタッチダウンしてピンチインまたはピンチアウト」する操作であればステップ３１９へ進む。一方、ユーザによるタッチ操作が「被写界深度の指標近傍へタッチダウンしてピンチインまたはピンチアウト」以外の操作であれば、ステップ３２１へ進む。
【００７６】
ステップ３１９において、システム制御部２０８は、ユーザの２本の指（タッチしている指）にそれぞれ対応する距離の間にある被写体が合焦するように撮像レンズ２０１やシャッター２０２を制御して、被写界深度を調整する。焦点距離、許容錯乱円径といった条件が一定であるとき、絞りを絞ることにより被写界深度が増すことが知られている。なお、絞り値の変更による光量の増減に対しては、ＮＤ（Neutral Density）フィルタの使用や撮像素子の増感または減感等により調整可能である。
【００７７】
ステップ３２０において、システム制御部２０８は、被写界深度を表す２つの指標の表示位置をユーザのタッチしている２本の指の位置にそれぞれ移動する。
【００７８】
ステップ３２１において、システム制御部２０８は、ユーザのタッチ操作の内容に対応した処理を行う。たとえば、ユーザにより撮像画像から抽出された領域のいずれかがタッチされたときは、その領域に対応する距離に合焦するように撮像レンズ２０１を制御し、合焦距離を表す指標の表示位置を対応する位置に移動する。
【００７９】
ステップ３１４において、システム制御部２０８は、ユーザによる電源断など所定の終了操作に応じて本処理を終了する。
【００８０】
以上のとおり、本実施例に係る画像処理装置を適用したデジタルカメラでは、ユーザは、そのＵＩ上でどの被写体に合焦するかを、実際の画像に近い状態で直感的に把握することが可能となる。
【００８１】
［実施例２］
次に、本発明に係る画像処理装置を、ライトフィールドデータを扱う情報処理装置に適用した態様について、実施例２として説明する。なお、実施例１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
【００８２】
まず、ライトフィールドデータについて説明する。
【００８３】
ライトフィールドデータ（光線情報）とは、光線経路に対する光量を記録したデータである。具体的には、２つの平行平面上の座標（第１の平面上の座標（ｕ，ｖ）と第２の平面上の座標（ｘ、ｙ））を通過する光線について、その光量Ｌを、ｕ、ｖ、ｘ、ｙの関数としてＬ（ｕ，ｖ，ｘ，ｙ）で表わしたものである。これに対して、２次元画像は単一の平面上の座標（ｘ、ｙ）における光線光量で表わされる。たとえば、撮像素子の座標（ｘ、ｙ）における光量を記録したものが、撮像画像の２次元画像である。言い換えれば、２次元画像を、第１の平面上の座標の個数分だけ束ねたものがライトフィールドデータとなる。
【００８４】
撮像装置によりライトフィールドデータを取得する方法としては、撮像素子の前にマイクロレンズアレイを配置する方法や絞りの開口位置を制御する方法等がある。要するに、撮像素子の座標の光量を、これと平行な平面上の座標（例えば、一つ一つのマイクロレンズの位置の座標）に対応させて記録することにより、ライトフィールドデータを得ることができる。
【００８５】
ライトフィールドデータＬ（ｕ，ｖ，ｘ，ｙ）を、上記の第１の平面上の座標（ｕ，ｖ）の一部または全部について積分する（総和をとる）ことにより、２次元のディスプレイに表示可能な２次元画像が得られる。つまり、ライトフィールドデータを構成する、上記第１の平面上の一定範囲の座標に対する複数の２次元画像を重畳して、２次元のディスプレイに表示することが可能となる。
【００８６】
ライトフィールドデータを構成する２次元画像を重畳する際に、特定の距離の被写体の位置が一致するように重畳してゆくと、その距離の被写体に合焦した２次元画像を得ることができる。反対に、ライトフィールドデータを構成する２次元画像は、それぞれ上記の第１の平面上の座標の離間距離分の視差を有しているため、前記特定の距離以外の距離の被写体は位置がずれて重畳され、得られた２次元画像上では像がボケることになる。
【００８７】
ライトフィールドデータを構成する２次元画像を、上記の第１の平面上の小さな範囲内の座標分だけ重畳することとすると、それぞれの２次元画像の視差が限定されるため、被写界深度の大きい２次元画像を得ることができる。つまり、重畳する２次元画像について対応する上記第１の平面上の範囲を変更することにより、重畳して得られる２次元画像の被写界深度を変更することが可能となる。
【００８８】
また、「画像相関法」を適用して、以下のようにライトフィールドデータから距離画像を得ることができる。すなわち、上記の第１の平面から２つの座標を選び、これらに対応する２つの２次元画像を比較する。一方の２次元画像中の任意の画素を中心とした小領域について、他方の２次元画像中でよく似たパターンの小領域を特定し、これら対応する２つの小領域の、２つの２次元画像の間での移動量を計算する。この移動量がいわゆる「視差」であり、その座標に表示されている被写体までの距離に逆比例する。したがって、座標ごとの視差から被写体までの距離を求め、当該座標の画素の色（たとえば、グレーの濃淡）に反映させれば距離画像が得られる。
【００８９】
図１３は、ライトフィールドデータを扱う、例えば、一般的なパーソナルコンピュータ（以下、ＰＣ）やタブレット端末といった情報処理を行う装置の内部構成の一例を示す図である。
【００９０】
図１３において、装置１３００は、ＣＰＵ１３０１、ハードディスク（ＨＤ）１３０２、メモリ１３０３、表示制御部１３０４、入力部１３０５、ドライブ装置１３０６および通信Ｉ／Ｆ１３０７で構成され、内部バス１３０８によって相互に接続される。内部バス１３０８に接続される各部は、内部バス１３０８を介して互いにデータのやりとりを行うことができる。
【００９１】
ハードディスク１３０２は、画像データやその他のデータ、ＣＰＵ１３０１が動作するための各種プログラムなどが格納される。メモリ１３０３は、例えばＲＡＭからなる。表示制御手段、変更手段および算出手段としてのＣＰＵ１３０１は、例えばハードディスク１３０２に格納されるプログラムに従い、メモリ１３０３をワークメモリとして用いて、この装置１３００の各部を制御する。なお、ＣＰＵ１３０１が動作するためのプログラムは、ハードディスク１３０２に格納されるものに限られず、例えば図示されないＲＯＭにあらかじめ記憶しておいてもよい。
【００９２】
入力部１３０５は、ユーザ操作を受け付け、操作に応じた制御信号を生成し、ＣＰＵ１３０１に供給する。例えば、入力部１３０５は、ユーザ操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイスなどを有する。なお、タッチパネルは、例えば平面的に構成された入力部１３０５に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。ＣＰＵ１３０１は、入力デバイスに対してなされたユーザ操作に応じて入力部１３０５で生成され供給される制御信号に基づき、プログラムに従って装置１３００の各部を制御する。これにより、装置１３００に対し、ユーザ操作に応じた動作を行わせることができる。
【００９３】
表示制御部１３０４は、ディスプレイ１３１０に対して画像を表示させるための表示信号を出力する。例えば、表示制御部１３０４に対して、ＣＰＵ１３０１がプログラムに従い生成した表示制御信号が供給される。表示制御部１３０４は、この表示制御信号に基づき表示信号を生成してディスプレイ１３１０に対して出力する。例えば、表示制御部１３０４は、ＣＰＵ１３０１が生成する表示制御信号に基づき、ＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面をディスプレイ１３１０に対して表示させる。
【００９４】
なお、入力部１３０５としてタッチパネルを用いる場合、入力部１３０５とディスプレイ１３１０とを一体的に構成してもよい。
【００９５】
ドライブ装置１３０６は、ＣＤやＤＶＤといった外部記憶媒体１３２０が装着可能とされ、ＣＰＵ１３０１の制御に基づき、装着された外部記憶媒体１３２０からのデータの読み出しや、当該外部記憶媒体１３２０に対するデータの書き込みを行う。なお、ドライブ装置１３０６が装着可能な外部記憶媒体１３２０は、ＣＤやＤＶＤといったディスク記録媒体に限られず、例えばメモリカードなどの不揮発性の半導体メモリをドライブ装置１３０６に装着するものとしてもよい。通信インタフェース（Ｉ／Ｆ）１３０７は、ＣＰＵ１３０１の制御に基づき、ＬＡＮやインターネットといったネットワーク１３３０に対する通信を行う。
【００９６】
図１４は、本実施例に係るライトフィールドデータを扱う装置において実行される画像処理の流れを示すフローチャートである。なお、この一連の処理は、ＣＰＵ１３０１がハードディスク１３０２または図示されないＲＯＭに記録されたプログラムをメモリ１３０３に展開して実行することにより実現される。
【００９７】
まず、撮像装置で得られたライトフィールドデータから２次元画像が生成され（ステップ１４０１）、表示制御部１３０４によって、生成された２次元画像がディスプレイ１３１０に表示される（ステップ１４０２）。
【００９８】
そして、ユーザにより表示モードを変更するが指示があるかどうかが判定され、表示モードを変更する指示があればステップ１４０４に進み、表示モードを変更する指示がなければステップ１４０２に戻る（ステップ１４０３）。
【００９９】
その後に続く、ステップ１４０４〜ステップ１４１２までの各処理は、実施例１におけるステップ３０５〜ステップ３１３に相当する。すなわち、以下の各処理が実行される。
・２次元画像に含まれる被写体を検出（ステップ１４０４）
・２次元画像の距離情報（距離画像）を取得（ステップ１４０５）
・ステップ１４０４で検出された被写体とステップ１４０５で取得された距離情報とに基づき、被写体領域を抽出（ステップ１４０６）
・抽出された被写体領域ごとに、距離情報に応じたずれ画像を生成（ステップ１４０７）
・生成されたずれ画像に対し、水平方向が傾くようにシアー処理を実行（ステップ１４０８）
・ずらし方向及びシアー角度に基づいて、格子パターンを重畳（ステップ１４０９）
・２次元画像の前方被写界深度と後方被写界深度を導出（ステップ１４１０）
・合焦している被写体までの距離（合焦距離）及び前方被写界深度及び後方被写界深度を表す各指標を２次元画像に合成（ステップ１４１１）
・指標が合成された２次元画像を、ディスプレイ１３１０上に表示（ステップ１４１２）
【０１００】
上記の各処理の後、ステップ１４１３において、ユーザによりディスプレイ１３１０上に表示された画像内の各指標に対し、ユーザ指示・操作があったかどうかが判定される。この場合において、指標に対するユーザ指示・操作は、一般的なＰＣであればマウスを用いて入力され、タッチパネルを有するタブレット端末であれば実施例１と同様のタッチ操作によって入力されることになる。指標に対するユーザ指示・操作があれば、ステップ１４１４へ進み、指標に対するユーザ指示・操作がなければステップ１４０４に戻る。
【０１０１】
そして、ユーザが指定した新たな指標の位置に応じて、合焦距離及び／又は被写界深度を変更する処理が前述のライトフィールドデータを用いて実行される（ステップ１４１４）。これに併せ、合焦距離や被写界深度を表す指標の表示位置が、ユーザによって指定された新たな位置に移動される（ステップ１４１５）。
【０１０２】
ユーザによってアプリケーションの終了指示など所定の終了操作が与えられると、本処理は終了する（ステップ１４１６）。
【０１０３】
なお、本実施例においても、上述のステップ１４０５では距離情報として例えば図６のような距離画像が生成され、ステップ１４０７のずれ画像生成処理では図９のような各被写体領域の位置がずれた「ずれ画像」が得られる。すなわち、ライトフィールドデータに基づいて単に視点を変更しただけの画像（この場合、各被写体は立体的に表現）とは異なる、各被写体領域が書割のように表現（各被写体領域に奥行き感がなく、平面的に表現）された画像が得られる。これにより、ユーザは、被写体毎の距離感が把握しやすくなる。
【０１０４】
以上のとおり、本実施例に係る装置によっても、ユーザは、ＰＣ等のディスプレイ上でどの被写体に合焦するかを、実際の画像に近い状態で直感的に把握することが可能となる。
【０１０５】
［実施例３］
実施例１及び２では、被写体領域ごとの距離に応じて、各被写体領域の位置をずらした実際の画像に近い画像（ずれ画像）によって、リフォーカス可能な範囲を直感的に把握できるようにしていた。実施例３以降では、被写体領域ごとの距離に応じて、各被写体領域の座標（配置）を変更した画像を用いて、リフォーカス可能な範囲を直感的に把握できるようにする態様を説明する。
【０１０６】
図１５は、本実施例に係る多眼方式の撮像装置の内部構成を示すブロック図である。撮像部１５００は、被写体の光情報を撮像素子で受光し、受光した信号をＡ／Ｄ変換して、画像データ（デジタルデータ）を取得する。この画像データは、ユーザからの撮像指示を受けて撮像データとしてＳＤカード等の記録媒体に保存される。本実施例に係る撮像部１５００で取得される画像データは、被写体空間を複数の視点から捉えた視差のある画像データ（以下、「視差画像データ」と呼ぶ。）である。また、撮像部１５００で取得された画像データは、撮像装置の背面に設けられた表示部１５０６にリアルタイムに順次表示するいわゆるライブビュー機能にも利用される。以下では、ユーザからの撮像指示に応じて記録媒体に保存された画像を記録画像と呼び、ライブビュー表示においてリアルタイムに表示される画像をライブビュー画像と呼ぶこととする。
【０１０７】
中央処理装置（ＣＰＵ）１５０１は、以下に述べる各部を統括的に制御する。ＲＡＭ１５０２は、ＣＰＵ１５０１の主メモリ、ワークエリア等として機能する。ＲＯＭ１５０３は、ＣＰＵ１５０１で実行される制御プログラム等を格納している。バス１５０４は、各種データの転送経路であり、例えば、撮像部１５００によって取得されたデジタルデータはこのバス１５０４を介して所定の処理部に送られる。ユーザの指示を受け取る操作部１５０５には、ボタンやモードダイアルなどが含まれる。画像や文字の表示を行う表示部１５０６には、例えば、液晶ディスプレイが用いられる。表示部１５０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部１５０５の入力として扱うことも可能である。本実施例では、リフォーカス可能な範囲を表示し、リフォーカス時の合焦位置を指定する場合は、このようなタッチスクリーンを介したユーザ入力によって指定される。
【０１０８】
表示制御部１５０７は、表示部１５０６に表示される画像や文字の表示制御を行う。撮像部制御部１５０８は、フォーカスを合わせる、シャッターを開く・閉じる、開口絞りを調節するなどの、ＣＰＵ１５０１からの指示に基づいた撮像系の制御を行う。デジタル信号処理部１５０９は、バス１５０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。エンコーダ部１５１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部１１１は、ＰＣやその他のメディア（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインタフェースである。画像処理部１５１２は、撮像部１５００で取得された画像データ或いは、デジタル信号処理部１５０９から出力される画像データから、後述するリフォーカス処理などの画像処理を行う。画像処理部１５１２の詳細については後述する。露出状態予測部１５１３は、撮像時における撮像部１５００の露出状態の予測を行う。なお、撮像装置の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。
【０１０９】
まず、撮像部１５００の構成に関して詳しく説明する。
【０１１０】
上述のとおり撮像部１５００は、視差画像データ、つまりライトフィールドデータを取得する。撮像部１５００の構成例を、図１６〜図１９に示す。このうち図１６〜図１８は結像光学系の像側にレンズアレイを配置した構成であり、図１９は複数の結像光学系を配列した構成（カメラアレイ）である。撮像部の構成としては、図１６〜図１９に示したような、複数視点の画像を同時に得られる多眼方式の構成が望ましい。単眼方式の撮像装置を用いて位置を変化させながら複数回撮像を行う方法では、異なる時間における被写体空間を撮像した視差画像データとなり、被写体空間に移動物体が存在する場合には、正しい視差情報を得ることができないからである。
【０１１１】
図１６〜図１９で示す構成の撮像部１５００で取得された視差画像データは、画素の抽出や並び換え、合成等の処理を行うことで、リフォーカスや被写界深度制御、視点の変更等を行うことができる。以下では、これらの処理を画像合成処理と呼び、画像合成処理によって生成された画像を合成画像と呼ぶ。合成画像は、ノイズリダクション等の処理や、被写界深度制御等の処理が施されていてもよい。また、被写体空間でリフォーカスが可能な範囲を「ピント制御範囲」と呼ぶこととする。
【０１１２】
ここでは、図１６に示した撮像部１５００の内部構成について詳しく説明する。
【０１１３】
レンズアレイ１６０３は、結像光学系１６０２の被写体面１６０１に対する像側共役面上に配置されている。さらに、レンズアレイ１６０３は、結像光学系１６０２の射出瞳と撮像素子１６０４が、概ね共役関係となるように構成されている。被写体面１６０１からの光線は、結像光学系１６０２及びレンズアレイ１６０３を介することで、該光線の被写体面１６０１上における位置と角度に応じて、撮像素子１６０４の異なる画素へ入射する。これにより視差画像データ（ライトフィールドデータ）が取得される。ここでレンズアレイ１６０３は、被写体面１６０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐ役割を持つ。その結果、撮像素子１６０４では、被写体面１６０１上の同一の領域を複数の視点から捉えた画素群が並んだ画像が取得されることになる。
【０１１４】
なお、図１６〜図１９における被写体面１６０１上に、人物や建物などの物体が必ずしも存在している必要はない。これはリフォーカスによって、被写体面１６０１より奥或いは手前に存在する人物や建物等に、撮像後にピント位置を合わせることができるためである。
【０１１５】
＜リフォーカスの原理＞
ここからはリフォーカス処理に関して説明する。リフォーカスに関しては、非特許文献１で詳しく説明されているので、ここでは簡単に述べる。リフォーカスの基本的な原理は、図１６〜図１９のいずれの構成でも共通である。ここでは図１６の構成を例に説明する。図１６では、結像光学系の瞳が２次元で９つ（１次元で３つ）に分割されているため、９視点の画像が取得されていることとなる。ここで、ある分割された瞳に対応する画像を単視点画像と呼ぶこととする。９つの単視点画像は互いに視差があるため、被写体距離に応じて画像上の被写体の相対的な位置関係が変化する。ある被写体が重なるように単視点画像を合成すると、異なる被写体距離に位置する被写体は、ずれて合成されることとなる。このずれによって異なる被写体距離に位置する被写体はボケる。この時のボケは、合成に使用した単視点画像に対応した瞳で決まり、９枚全ての単視点画像を合成すると結像光学系１６０２で取得した画像のボケを再現することができる。単視点画像の合成で重ね合わせる被写体は任意なので、これにより結像光学系１６０２で任意の被写体に合焦した画像を再現することができる。これが撮像後のピント制御、つまりリフォーカスの原理である。
【０１１６】
ここで、本実施例における単視点画像の生成方法を説明しておく。図２０は、図１６のレンズアレイ１６０３と撮像素子１６０４の関係を表した図である。破線の円２００１は、レンズアレイ１６０３を構成する１つのレンズ（マイクロレンズ）を通過した光線が入射する画素の領域を表している。図２０は複数のマイクロレンズが格子状に配置された場合に対応しているが、マイクロレンズの配置はこれに限定されない。例えば、六回対称性（ハニカム構造）を持った配置にしてもよいし、規則的な配置から各マイクロレンズを微小にずらしてもよい。図２０の斜線領域２００２は、結像光学系１６０２の同じ瞳領域を通過した光線が入射する画素を表している。よって、斜線領域１６０２の画素を抽出することで、結像光学系１６０２の瞳の下部から被写体空間を見た単視点画像が生成できる。同様に、破線の各円２００１に対する相対位置が同じ画素を抽出することで、他の単視点画像も生成できる。
【０１１７】
＜ピント制御範囲＞
次に、リフォーカスが可能な範囲であるピント制御範囲に関して説明する。
【０１１８】
リフォーカスは単視点画像を重ね合わせて行うため、各単視点画像内でボケている被写体にピントを合わせ直すことはできない。これはボケた画像を重ね合わせても、高周波成分は得られず、ボケたままだからである。
【０１１９】
ここで、瞳を小さく分割するほど、各単視点画像における被写界深度が深くなるため、ピント制御範囲は広がる。つまり、ピント制御範囲は結像光学系１６０２の分割された瞳に依存するわけである。ただし、単視点画像における被写界深度とピント制御範囲は必ずしも一致しない。これは単視点画像とそれらを合成した合成画像の解像度比によって、ピント制御範囲が変化するためである。例えば、合成画像の解像度が各視点の単視点画像の解像度より低い場合、合成画像における空間成分のサンプリングピッチは単視点画像に対して大きくなる。そのため、単視点画像よりも合成画像は被写界深度が深くなり、それに伴ってそのピント制御範囲も広がる。逆に、合成画像の解像度が単視点画像よりも高い場合、ピント制御範囲は単視点画像の被写界深度よりも狭くなる。
【０１２０】
合成画像の解像度を単視点画像より高くする方法として、画素ずらし超解像の使用などが考えられる。前述した通り、リフォーカスは単視点画像を互いにずらして合成する。この時のずれ量が単視点画像の画素ピッチの非整数倍になっていれば、画素ずらし超解像を行うことができ、合成画像の解像度を上げることができる。
【０１２１】
ここまでの議論から、合成画像における正確なピント制御範囲を取得するためには、単視点画像を合成する時の条件を加味する必要があることが分かる。
【０１２２】
次に、合成画像のピント制御範囲がどのようにして導出されるのかについて説明する。合成画像の被写界深度に対応する焦点深度を考える。焦点深度の許容錯乱円の大きさをε、光線の角度成分のサンプリングピッチをΔｕとする。この時、リフォーカスの係数α±は以下の式（４）のように与えられる。
【０１２３】
【数１】
2014197824.tif 000003
【０１２４】
式（４）を用いて表される像側のリフォーカス可能な範囲α＋ｓ２〜α−ｓ２と共役な範囲（結像光学系１６０２に対して共役な範囲）が、物体側のリフォーカス可能な範囲であるピント制御範囲となる。この式（４）の関係を図で表したものが図２１であり、リフォーカス可能な範囲の中心位置は結像光学系１６０２のピント位置となる。（この場合、レンズアレイ１６０３の位置がリフォーカス可能な範囲の中心位置となる）。ここで、ｓ２は、結像光学系１６０２の像側主平面と被写体面１６０１に対する結像光学系１６０２の像側共役面との間隔である。図２１において、像側ピント制御範囲とは、結像光学系１６０２を介してピント制御範囲と共役な範囲を指す。また、Δｙは光の２次元強度分布のサンプリングピッチであり、図１６の構成ではレンズアレイ１６０３のピッチΔＬＡに等しい。なお、式（４）の関係は、図１６〜図１９のいずれの構成でも成り立つものである。
【０１２５】
そして、式（４）は、撮像素子１６０４の画素ピッチΔが、結像光学系１６０２の射出瞳距離Ｐに対して十分小さいことから、次の式（５）のように近似できる。
【０１２６】
【数２】
2014197824.tif 000004
【０１２７】
ここで、結像光学系１６０２の射出瞳距離Ｐとは、結像光学系１６０２の射出瞳面と被写体面１６０１に対する結像光学系１６０２の像側共役面との間隔である。また、Ｎは結像光学系１６０２の瞳の１次元分割数、Ｆは結像光学系１６０２のＦ値である。なお、Ｆ値は、結像光学系１６０２の焦点距離ｆとレンズ有効径Ｄから、以下の式（６）によって導出することができる。
【０１２８】
【数３】
2014197824.tif 000005
【０１２９】
すなわち、リフォーカス可能な範囲（ピント制御範囲）は、結像光学系の瞳の１次分割数と結像光学系の焦点距離とレンズ有効径で規定される画角範囲に応じて決定される。更には、後述する合成画像データの解像度に応じて、リフォーカス可能な範囲が決定される。
【０１３０】
＜画像処理部＞
次に、画像処理部の構成について詳しく説明する。
【０１３１】
図２２は、本実施例に係る画像処理部１５１２の内部構成を示したブロック図である。
【０１３２】
視差画像データ取得部２２０１は、撮像部１５００等から供給される視差画像データを取得する。
【０１３３】
光学パラメータ取得部２２０２は、距離導出部２２０３とピント制御範囲導出部２２０７で必要となる撮像部１５００の光学パラメータを取得する。ここで、光学パラメータとは、撮像部１５００の構成や、絞りなどの露出状態、フォーカス位置、ズームレンズにおける焦点距離などである。
【０１３４】
距離導出部２２０３は、シーン中の被写体までの距離情報を導出する。被写体までの距離は、視差画像データ取得部２２０１から供給される視差画像データ及び光学パラメータ取得部２２０２から供給される光学パラメータを用いて導出される。距離導出の詳細については後述する。
【０１３５】
被写体領域抽出部２２０４は、シーン中にある被写体と距離導出部２２０３から供給される距離情報とに基づき、再配置画像生成部２２０５での処理の対象となる被写体領域を抽出する処理を行う。この被写体領域抽出処理は、一定の距離ごとに被写体の領域を分離する処理と言い換えることもできる。
【０１３６】
再配置画像生成部２２０５は、距離導出部２２０３から供給される距離情報に応じて、被写体領域抽出部２２０４で抽出された各被写体領域の位置（座標）を変更する処理を行う。この処理によって、各被写体領域を撮像装置からの距離に応じて再配置した、被写体領域ごとの距離感を把握し易くした画像（以下、「再配置画像」と呼ぶ。）を生成する。
【０１３７】
画像合成パラメータ取得部２２０６は、画像合成に必要となるパラメータ（合成後の解像度、視点、ピント位置、被写界深度など）を取得する。
【０１３８】
ピント制御範囲導出部２２０７は、光学パラメータ取得部２２０２から供給される光学パラメータと、画像合成パラメータ取得部２２０６から供給される画像合成パラメータとを用いて、ピント制御範囲を導出する。
【０１３９】
ピント位置取得部２２０８は、操作部１５０５を介したユーザ入力に基づいて、画像合成の際におけるピント位置を取得する。本実施例の場合、再配置画像生成部２２０５が生成する再配置画像に基づいて、操作部１５０５としてのタッチスクリーンを介して、ユーザが指定した距離がピント位置（合焦位置）として指定されることになる。指定されたピント位置に関する情報は、表示画像生成部２２０９に送られる。
【０１４０】
表示画像生成部２２０９は、再配置画像生成部２２０５で生成した再配置画像に対して合焦状態に関する情報（ピント位置、ピント制御範囲、被写界深度など）を反映した画像（以下、「合焦情報表示画像」と呼ぶ。）を生成する。生成の際、上述した各部から供給される光学パラメータ、画像合成パラメータ、ピント制御範囲、ピント位置を用いる。この合焦情報表示画像の生成は、撮像前のライブビュー画像を対象に行ってもよいし、撮像後の記録画像を対象に行ってもよい。また、合焦情報表示画像は、視差画像に含まれる任意の単視点画像をベースにしたものでもよいし、複数の単視点画像を合成して得られた合成画像をベースにしたものであってもよい。生成された合焦情報表示画像のデータは、表示部１５０６に出力される。さらに、本実施例に係る表示画像生成部２２０９は、視差画像データを用いて、画像合成パラメータに従った画像合成処理も行うものとするが、画像合成処理を行う処理部を表示画像生成部２２０９とは別個に設けてもよい。
【０１４１】
図２３は、本実施例に係る画像処理部１５１２における処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１５０３からＲＡＭ１５０２上に読み込んだ後、ＣＰＵ１５０１によって該プログラムを実行することによって実施される。
【０１４２】
ステップ２３０１において、視差画像データ取得部２２０１は、撮像部１５００で取得された視差画像データを取得する。ここで取得される視差画像データは、上述のとおり、ライブビュー画像としての視差画像データであってもよいし、記録画像としての視差画像データであってもよい。
【０１４３】
ステップ２３０２において、光学パラメータ取得部２２０２及び画像合成パラメータ取得部２２０６は、それぞれ光学パラメータ及び画像合成パラメータを取得する。
【０１４４】
ステップ２３０３において、距離導出部２２０３は、シーン全体における距離情報を導出する。具体的には、視差画像に含まれる単視点画像相互の間でステレオマッチングを行う等の方法により、シーンの距離を導出する。例えば、ステレオマッチング法では、まず基準となる単視点画像（例えば、瞳の中央付近を通過する光線に対応する単視点画像）を複数のブロックに分割し、その他の単視点画像の中から、対象となるブロックに一番近いブロック位置を検出する。そして、２つのブロックの位置関係、対応する瞳の位置関係、各瞳の画角を用いて、三角測量によって、対象ブロックの距離が導出される。なお、基準となる単視点画像は、視点位置が中心以外の単視点画像を選択してもよい。また、距離情報を取得する方法としては、上述のステレオマッチング法の他、ＤＦＤ（Depth From Defocus）などの手法や、赤外線などを利用した測距部を用いて計測する方法もある。
【０１４５】
図２４の（ａ）は単視点画像の一例を示す図であり、同（ｂ）は（ａ）の単視点画像について導出された距離情報としての距離マップを示している。図２４の（ａ）に示される単視点画像で得られるシーンには、３種類の被写体（人物、建物、山）が撮像装置を基準としてそれぞれ異なる距離に存在している。図２４の（ｂ）に示す距離マップは、撮像装置からの距離に応じて濃淡で表示されており、撮像装置の近傍にある被写体「人物」を最も暗い色で、撮像装置から遠方にある被写体「山」を最も明るい色で、人物と山との間にある被写体「建物」を中間の明るさの色で表示している。このように、本ステップでは、シーン中にある被写体の距離情報が導出される。
【０１４６】
図２３のフローチャートの説明に戻る。
【０１４７】
ステップ２３０４において、被写体領域抽出部２２０４は、ステップ２３０３において導出されたシーン全体についての距離マップに基づき、被写体領域を抽出する処理を行う。この被写体領域抽出処理は、一定の距離ごとに被写体の領域を分離する処理と言い換えることもできる。略同一の距離を持つ画像領域をグループ化し、グループ化された画像領域を被写体領域として抽出する。被写体領域抽出方法としては、被写体の距離情報を用いる以外に、例えば、以下のような方法が挙げられる。  
１）視差画像データに対して顔認識等の技術を適用し、人物、動物、植物などが存在する領域を識別して、識別された人物等を被写体領域として抽出。
２）人物、動物、植物といった代表的な注目物体の画像データをテンプレートとして予め用意しておき、それらテンプレートとのパターンマッチングによって被写体領域を抽出。
３）ニューラルネットワークのように事前学習を行い、その学習結果を用いて主要な物体を認識して、被写体領域を抽出。
【０１４８】
本実施例における被写体領域の抽出は、被写体の距離情報を用いる手法以外に、上記１）〜３）に挙げたような公知の様々な手法を適用して実現することが可能である。
【０１４９】
図２５の（ａ）及び（ｂ）は、図２４の（ｂ）に示した距離マップから被写体領域を抽出した結果の一例を示す図であり、（ａ）は各被写体の輪郭に沿って被写体領域を抽出した場合、（ｂ）は各被写体に外接する矩形領域を被写体領域として抽出した場合である。図２５の（ａ）及び（ｂ）において、点線で囲まれる各領域が、「人物」、「建物」、「山」のそれぞれに対応する被写体領域である。被写体領域の抽出方法としては、主要な被写体を包含するように領域を設定する限りにおいて、その他の手法でも適用可能である。例えば、円形、楕円形、三角形、多角形など任意の形状で被写体領域を定義してもよい。
【０１５０】
図２３のフローチャートの説明に戻る。
【０１５１】
ステップ２３０５において、再配置画像生成部２２０５は、ステップ２３０３で導出したシーン全体における距離情報とステップ２３０４で抽出したシーン中における被写体領域とを用いて、シーンの再配置画像を生成する。
【０１５２】
図２６の（ａ）〜（ｄ）は、図２４の（ａ）に示した単視点画像に係るシーンを真上から俯瞰した場合における再配置画像の例を示す図である。なお、図の「被写体距離」は、必ずしも実際の被写体までの距離を縮尺したものである必要はなく、例えば、逆数比ないしは対数比としてもよいし、実際の距離との対応テーブルを予め用意してこれを適用するようにしてもよい。実際の距離がたとえば数ｋｍ以上にもなり得る「山」などの遠景と、数ｍないし数十ｍの距離の「人物」や「建物」とを実際の距離を縮尺した再配置により表示することは、遠景の被写体に比して近景の被写体が小さな領域に密集して表示することとなる。しかし、当該「被写体距離」は、後述するようにユーザが被写体の合焦状態を把握し、または被写体の合焦状態を変更する目安となるものであるから、合焦状態が異なることが一般的である近景の被写体が密集して表示されることは、ユーザによる被写体の合焦状態の把握・変更が困難となり適切でない。また、遠景の被写体は近距離にある被写体に比べて、距離による合焦状態の差は非常に軽微であるから、ユーザが遠景被写体の合焦状態を把握する上で、密集して表示しても問題ない。そこで、撮像装置の表示手段上の表示可能な一辺の画素数がたとえば６４０画素である場合であって、たとえば「山」、「建物」、「人物」等の被写体が撮像装置より、それぞれ１０ｋｍ、８ｍ、２ｍの距離にある場合に、表示領域の端部よりそれぞれ０画素、８０画素、３２０画素分移動した位置に再配置して表示するようにすると、近距離にある被写体ほど表示手段上で疎らに表示されるため、ユーザが合焦状態の把握・変更をするのに便利である。
【０１５３】
図２６の（ａ）〜（ｄ）のいずれにおいても、撮像装置に近い位置を下側、撮像装置から遠い位置を上側としており、「人物」が撮像装置に最も近い位置であるため下側に配置され、「山」が撮像装置から最も遠い位置であるため上側に配置されている。図２６の（ａ）は、ステップ２３０４で抽出された被写体領域（上述の図２５の（ａ）を参照）に沿って上記単視点画像から切り出した画像領域を、各被写体距離に対応する位置に配置し直した再配置画像である。この再配置画像の場合、単視点画像の一部分が被写体距離に対応付けて配置されるので、（ａ）〜（ｄ）の中では最も実際の画像に近い再配置画像となる。図２６の（ｂ）は、ステップ２３０３で導出された距離マップ（図２４の（ｂ）を参照）から上記被写体領域に沿って抽出された画像領域を、各被写体距離に対応する位置に配置し直した再配置画像である。この再配置画像の場合、各画像領域を距離に応じた濃淡で表示するため、被写体距離を強調した再配置画像となる。図２６の（ｃ）及び（ｄ）は、ステップ２３０４で抽出された被写体領域の枠（上述の図２５の（ａ）及び（ｂ）を参照）を、各被写体距離に対応する位置に配置し直した再配置画像である。これら再配置画像の場合、より簡略化された再配置画像となる。
【０１５４】
図２３のフローチャートの説明に戻る。
【０１５５】
ステップ２３０６において、ピント制御範囲導出部２２０７は、ステップ２３０１で取得した視差画像について画像合成を行う場合におけるピント制御範囲を、ステップ２３０２で取得した光学パラメータ及び画像合成パラメータを用いて導出する。以下、詳しく説明する。
【０１５６】
前述したようにピント制御範囲は、各単視点画像と合成画像との解像度比によって変化するが、ここでは説明を簡単にするため、解像度比が１の場合を考える。像側ピント制御範囲が上述の式（５）の範囲内に収まっていれば、ピント制御可能な領域を取得できていることとなる。よって、被写体面１６０１に対する結像光学系１６０２の像側共役面と像側ピント制御範囲ｄrefocusとが、以下の式（７）を満たせばよい。
【０１５７】
【数４】
2014197824.tif 000006
【０１５８】
図２７は、図１６で示す撮像部１５００の構成における光学配置を示した図であり、σはレンズアレイ１６０３の像側主平面と撮像素子１６０４の間隔である。図２７において、中央のマイクロレンズの両端から伸びる２本の平行な破線は、当該マイクロレンズに対応する撮像素子１６０４の領域を表し、撮像素子１６０４内の斜線の画素は光線の入射しない不感帯を表す。本実施例では不感帯が発生しないようにレンズアレイ１６０３が構成されており、この場合はΔＬＡ＝ＮΔとなる。ただし、構成はこれに限らず、不感帯が存在していてもよい。図２７から、幾何学的にＮＦ＝σ／Δだと分かる。ここで、焦点深度を決める許容錯乱円の大きさを、空間成分のサンプリングピッチΔｙ＝ΔＬＡで特徴付けると、式（７）は以下の式（８）のように書き換えられる。
【０１５９】
【数５】
2014197824.tif 000007
【０１６０】
次に、単視点画像と合成画像との解像度比が１以外の一般的な場合について考える。合成画像と合成に使用する単視点画像の画角は等しいから、解像度比が１以外の場合、両者のΔｙが異なることとなる。許容錯乱円は一般にΔｙが小さいほど小さく、大きいほど大きくなる。よって、上記式（８）は、単視点画像と合成画像のΔｙとの比をとって、以下の式（９）のように拡張できる。
【０１６１】
【数６】
2014197824.tif 000008
【０１６２】
ここで、Ｒmonoは合成に使用する単視点画像の解像度、Ｒcombは合成画像の解像度を表す。ＲmonoとＲcombとの比の平方根をとることで、Δｙの比となる。単視点画像の解像度Ｒmonoは、図２７から以下の式（１０）で表されることが分かる。
【０１６３】
【数７】
2014197824.tif 000009
【０１６４】
ここで、Ｒtotalは、撮像素子１６０４の有効画素数である。式（９）及び式（１０）から、像側ピント制御範囲が満たすべき以下の条件式（１１）が求まる。
【０１６５】
【数８】
2014197824.tif 000010
【０１６６】
上記条件式（１１）では±10.0の範囲としているが、これを±6.0の範囲とすることで、より鮮鋭な合成画像を得ることができる。さらに望ましくは、±3.0の範囲とすることで、更に鮮鋭な合成画像を得ることができる。
【０１６７】
以下に、各値の具体例を示す。  
・撮像素子１６０４の有効画素数Ｒtotal：４６．７×１０６（pix）
・レンズアレイ１６０３の像側主平面と撮像素子１６０４の間隔σ：０．０３７４（mm）
・撮像素子１６０４の画素ピッチΔ：０．００４３（mm）
・レンズアレイ１６０３のピッチΔＬＡ：０．０１２９（mm）
・結像光学系１６０２の焦点距離ｆ：１４．０（mm）
・Ｆ値：２．９
・１次元瞳分割数Ｎ：３
・単視点画像１枚当たりの解像度Rmono：５．２×１０６（pix）
・条件式（１１）の範囲、条件式（１１）の各範囲に対応する合成画像の解像度Ｒcomb、合成画像の各解像度に対応するｄrefocusは、例えば以下の表（１）のとおり。
【０１６８】
【表１】
2014197824.tif 000011
【０１６９】
操作部１５０５を介したユーザ入力によって、合成画像の解像度Ｒcombが例えば上記３種類の中から選択される。
【０１７０】
上記の例において、例えば８．０×１０６ｐｉｘの合成画像を生成するためには、単視点画像１枚当たりの解像度Rmonoが５．２×１０６pixであるため、画素ずらし超解像などによる高解像度化が必要となることが分かる。なお、上述の合成画像の各解像度Ｒcombの値は一例であり、種類も３種類に限られない。上記条件式（１１）を満たすようなRcombとｄrefocusを適宜決定すればよい。
【０１７１】
ピント制御範囲は、像側ピント制御範囲と結像光学系１６０２の焦点距離やフォーカス位置などを用いれば、結像公式から算出できる。このようにして取得したピント制御範囲の情報は、視差画像データや合成画像データにタグ情報として添付し、ＲＯＭ１５０３に保存してもよい。或いは、予め様々な条件に対応するピント制御範囲のテーブルを作成してＲＯＭ１５０３に記憶しておき、ピント制御範囲を導出する上述の演算を行う代わりに、入力された条件に対応するデータを読み込むようにしてもよい。
【０１７２】
なお、ピント制御範囲を取得する他の方法として、リフォーカスした合成画像を実際に生成して、ピント位置に存在する被写体のコントラスト等を評価する方法が考えられる。しかし、この手法では、ピント位置を動かしながら合成画像を生成し、逐次リフォーカスができているかどうかを判断しなければならないため、処理に時間がかかってしまう。また、リフォーカスしたピント位置に被写体が存在していない場合、評価を行うことができないため、正確なピント制御範囲が取得できない。よって、ピント制御範囲の取得には、先に述べた手法を用いることが望ましい。
【０１７３】
図２３のフローチャートの説明に戻る。
【０１７４】
ステップ２３０７において、表示画像生成部８０９は、ステップ２３０５で生成された再配置画像に対して合焦状態に関する情報（ピント位置、ピント制御範囲、被写界深度など）を反映した合焦情報表示画像を生成する。生成の際には、ステップ２３０２で取得された光学パラメータ及び画像合成パラメータ、及びステップ２３０６で導出されたピント制御範囲が用いられる。
【０１７５】
図２８の（ａ）及び（ｂ）は、図２６の（ａ）に示した再配置画像をベースに生成された合焦情報表示画像の一例であって、ピント位置２８０１、ピント制御範囲２８０２、被写界深度２８０３の各情報が表示されている。スライダバー上に黒四角のマークで示されたピント位置２８０１は、光学パラメータに含まれる撮像時のレンズのピント位置、或いは後述のユーザ入力によって指定されたピント位置を示している。（ａ）の合焦情報表示画像では被写体距離ｄ0の位置（人物の位置）に、（ｂ）の合焦情報表示画像では被写体距離ｄ0’の位置（建物の位置）に、それぞれピント位置２８０１が設定されている。スライダバー上に斜線で示されたピント制御範囲２８０２は、被写体距離ｄ1（ｄ1’）から被写体距離ｄ2（ｄ2’）までの範囲を示しており、本実施例では「人物」と「建物」がこのピント制御範囲内の距離に位置していることが分かる。以下、単に「ピント制御範囲」という場合にはこの物体側ピント制御範囲を指すものとする。再配置画像上に斜線で示された被写界深度２８０３は、被写体距離ｄ3（ｄ3’）から被写体距離ｄ4（ｄ4’）までの範囲であって、（ａ）の合焦情報表示画像では人物にピントが合ったピント位置ｄ0における被写界深度、（ｂ）の合焦情報表示画像では建物にピントが合ったピント位置ｄ0’における被写界深度が示されている。
【０１７６】
上述したような合焦情報表示画像を表示することで、ユーザはシーン中における被写体と合焦状態に関する情報の両方を、直観的に把握することが可能となる。なお、図２８の（ａ）及び（ｂ）には、説明の便宜上、撮像装置の模式図と撮像装置で撮像可能な視野範囲（画角）２８０４も表示しているが、本ステップで生成する合焦情報表示画像に、これらの情報を含めることは必ずしも要しない。
【０１７７】
図２３のフローチャートの説明に戻る。
【０１７８】
ステップ２３０８において、表示画像生成部２２０９は、ステップ２３０７で生成した合焦情報表示画像のデータを表示部１５０６に出力する。
【０１７９】
ステップ２３０９において、ＣＰＵ１５０１は、リフォーカス処理時におけるピント位置に関するユーザ入力が、新たになされたかどうかを判定する。この場合のユーザ入力は、タッチスクリーンや撮像装置の操作部１５０５などを介して行う。例えば、新たにピントを合わせたい被写体を再配置画像上で直接指定したり、新たなピント位置までの被写体距離を直接指定したり、スライドバー上のピント位置２８０１を表すマークを操作して指定したりする方法が考えられる。新たなピント位置の入力がなされた場合には、ステップ２３０７に戻り、ステップ２３０７〜ステップ２３０９の一連の処理を繰り返す。例えば、「人物」をピント位置とする合焦情報表示画像（図２８の（ａ））が表示されている状態において、「建物」を新たなピント位置とするユーザ入力がなされたとする。この場合、前述の図２８の（ｂ）に示した合焦情報表示画像が新たに表示されることになる。前述のとおり、図２８の（ｂ）では、新たに設定されたピント位置（被写体距離ｄ0’）に合わせて、被写界深度２８０３も変化している。つまり、リフォーカス処理時における新たなピント位置が入力された場合は、ピント制御範囲２８０２に変化はなく、ピント位置２８０１と該ピント位置における被写界深度２８０３が主に変化することになる。
【０１８０】
なお、新たに入力されたピント位置がピント制御範囲外であることも考えられる。この場合、警告を通知するなどして、ピント制御範囲内のピント位置を入力するようユーザに促すようにしてもよい。或いは、ピント制御範囲外のピント位置は受け付けないよう、ユーザ入力可能な範囲を制限するようにしてもよい。
【０１８１】
一方、新たなピント位置の入力がなければ、本処理を終える。
【０１８２】
なお、上述の例では、シーンを真上から俯瞰している再配置画像をベースとした合焦情報表示画像について説明した。しかし、合焦情報表示画像は上述の例に限定されるものではなく、様々な態様が考えられる。図２９の（ａ）〜（ｃ）は、合焦情報表示画像のバリエーションの一例を示している。図２９の（ａ）は、シーンを横方向から俯瞰した再配置画像をベースとした合焦情報表示画像である。同（ｂ）は、シーンを斜め上方向から俯瞰した再配置画像をベースとした合焦情報表示画像である。同（ｃ）は、斜め横方向から俯瞰した再配置画像をベースとした合焦情報表示画像である。このように合焦情報表示画像のベースとなる再配置画像は、距離情報に基づいて被写体が奥行き方向に順次並んだものであれば、どのようなものでも構わない。
【０１８３】
また、ステップ２３０８において合焦情報表示画像が表示されるが、その際、撮像部１５００で取得された単視点画像及び／又は表示画像生成部２２０９で合成された合成画像を併せて表示するようにしてもよい。図３０の（ａ）〜（ｃ）は、合焦情報表示画像に、単視点画像及び／又は合成画像を併せて表示する場合の一例を示している。
【０１８４】
図３０の（ａ）は、シーンを横方向から俯瞰した再配置画像をベースとした合焦情報表示画像（前述の図２９の（ａ）を参照）に加え、単視点画像と２種類の合成画像を表示するケースを示している。図中の合成画像１は、「人物」を注目被写体としてピント位置を設定した状態（注目被写体以外の被写体である「建物」と「山」については被写界深度の範囲外でボケている状態）の合成画像である。図中の合成画像２は、「建物」を注目被写体としてピント位置を設定した状態（注目被写体以外の被写体である「人物」と「山」については被写界深度の範囲外でボケている状態）の合成画像である。このようなリフォーカス後の合成画像を併せて表示する場合は、注目被写体のみにピントが合っている合成画像によって、ユーザは特定された注目被写体の確認をより直感的に行うことが可能となる。なお、図３０の（ａ）では、シーンを横方向から俯瞰した再配置画像をベースとしているが、ベースとなる再配置画像はどのようなタイプでもよいことはいうまでもない。また、図３０の（ａ）の例では、２種類の合成画像を表示しているが、表示する合成画像は１種類だけでもよいし或いは３種類以上でも構わない。
【０１８５】
図３０の（ｂ）は、シーンを真上から俯瞰した再配置画像をベースとした合焦情報表示画像（前述の図２８の（ａ）及び（ｂ）を参照）に加え、「人物」を注目被写体としてピント位置を設定した場合における合成画像を表示するケースを示している。このように表示することで、限られた表示画面内に、再配置画像と合焦状態に関する情報と合成画像を効率的に表示することが可能となる。なお、図３０の（ｂ）における合焦情報表示画像は、図２６の（ａ）で示されるシーンを真上から俯瞰した再配置画像に対して横方向の情報を省略し、奥行き方向の情報のみとしたものがベースとなっている。また、図３０の（ｃ）は、シーンを真上から俯瞰した再配置画像をベースとした合焦情報表示画像に加え、単視点画像を表示するケースを示している。このように単視点画像を併せて表示することで、撮像時の画像を確認しながら合焦状態を直観的に把握することが可能である。なお、図３０の（ｃ）における合焦情報表示画像は、図２６の（ｄ）で示されるシーンを真上から俯瞰した再配置画像であって被写体領域を矩形で囲んだ再配置画像に対して、横方向の情報を省略し、奥行き方向の情報のみとしたものがベースとなっている。
【０１８６】
以上のように、合焦情報表示画像に単視点画像や合成画像を併せて表示するようにしてもよい。
【０１８７】
なお、図２８〜図３０で示した合焦情報表示画像においては、合焦状態に関する情報として、ピント位置、ピント制御範囲、被写界深度の各情報が同時に分かるようになっている。しかしながら、これらの情報のすべてを同時に示す必要はなく、別個に表示しても構わない。例えば、ピント位置と被写界深度のみを初めに表示しておき、ユーザの指示に応じてピント制御範囲の情報を表示するようにしてもよい。
【０１８８】
以上説明したように、本実施例によれば、撮像時や撮像した画像の編集時において、被写体を奥行き方向に並べた再配置画像をベースに、画像合成時のピント位置、ピント制御範囲、被写界深度といった合焦状態に関する情報が表示される。これによりユーザは、撮像時及び／又は撮像した画像の編集時に、被写体の合焦状態を直観的に把握することが可能となる。
【０１８９】
［実施例４］
実施例３では、図１６に示す構成の撮像部を有する撮像装置を前提として説明を行った。次に、図１７及び図１８に示す構成の撮像部を有する撮像装置を前提とする様態について、実施例４として説明する。なお、以下では本実施例に特有な点を中心に説明することとする。
【０１９０】
図１７及び図１８に示された構成では、撮像視点及び撮像範囲が異なる複数の小画像が並んだ視差画像データが、撮像素子１６０４で取得される。図１７の構成では、レンズアレイ１６０３が、結像光学系と像側共役面の間（像側共役面の左側）に配置されている。これに対し、図１８の構成では、レンズアレイ１６０３が、結像光学系と像側共役面の間ではなく外（像側共役面の右側）に配置されている。そのため、図１８の構成の場合は、レンズアレイ１６０３が結像光学系１６０２の形成した像を実物体として見て撮像素子１６０４へ再結像させることになる。しかし、どちらも結像光学系１６０２の結んだ像をレンズアレイ１６０３が物体として見て、その像を撮像素子１６０４へ結像しているため、両者は本質的には同じである。以下では、図１７の構成を例に説明するが、その内容は、図１８の構成に関しても同様に成立するものである。
【０１９１】
まず、本実施例での画像合成（リフォーカス）処理に関して説明する。
【０１９２】
定性的には実施例３と同様で、結像光学系１６０２の分割された瞳の画像を、合焦したい被写体距離に対応したずれ量で重ね合わせればよい。
【０１９３】
図３１は、図１７の構成において、レンズアレイ１６０３と撮像素子１６０４の部分を中心に拡大した図である。本実施例においてレンズアレイ１６０３は、物体側の面が平面で、像側の面が凸形状のマイクロレンズによって構成されている。もちろん、レンズアレイ１６０３の形状はこれに限らない。図３１において一点鎖線は、各マイクロレンズの画角を表している。撮像素子１６０４で得られた画素値を、その画素に対応するマイクロレンズを介して仮想結像面へ投影して合成することで、仮想結像面にピントの合った合成画像を生成することができる。ここで仮想結像面とは、画像合成により合焦したい物体側の面と共役な面（結像光学系１６０２を介して共役な面）のことを指す。例えば、図１７において、被写体面１６０１にピントの合った画像を生成するためには、像側共役面１７０１に仮想結像面を設定すればよい。図３１においては、合成画像生成の際に投影した画素を、分かりやすくするために各マイクロレンズの画角単位でずらして、破線で表している。合成画像の生成は、上述した方法（撮像素子１６０４で得られた画素値をその画素に対応するマイクロレンズを介して仮想結像面へ投影して合成する方法）と同様の画素の重なりになるならば、各画素を平行移動させて合成する方法でもよい。この時、画素に入射した光束が通過したレンズアレイ１６０３の領域が同じである場合、それらの画素の平行移動量は同じになる。つまり、図１７及び１８における合成画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ１６０３の領域に応じて決まる。
【０１９４】
次に、本実施例におけるピント制御範囲に関して説明する。
【０１９５】
本実施例におけるピント制御範囲も、実施例３と同様に式（４）で記述される。すなわち、前述の式（４）を用いて表される像側のリフォーカス範囲α＋ｓ２〜α−ｓ２と共役な範囲（結像光学系１６０２に対して共役な範囲）が、物体側のリフォーカス範囲であるピント制御範囲となる。図３２は、実施例３に係る図２１に対応する図である。図３２中のΔｙは、光の２次元強度分布のサンプリングピッチを表し、Δｙ＝Δσ１／σ２（σ１：像側共役面１７０１とレンズアレイ１６０３の物体側主平面との間隔、σ２：レンズアレイ１６０３の像側主平面と撮像素子１６０４との間隔）である。これは、結像光学系１６０２が形成した像を、レンズアレイ１６０３が虚物体として見ることで、撮像素子１６０４へσ２／σ１倍で縮小結像するためである。そして、本実施例においても、Δ≪Ｐ（Ｐ：結像光学系１６０２の射出瞳距離）から、式（４）は式（５）に近似できる。
【０１９６】
本実施例に係る画像処理部１５１２おける処理の流れは、実施例３に係る図２３のフローチャートと同じであるが、撮像部１５００の構成の違いから、以下のようにしてピント制御範囲が導出される（ステップ２３０６）。
【０１９７】
図３２から明らかなように、幾何学的にＮＦ＝σ１／ΔＬＡであり、また、Δｙ＝Δσ１／σ２であるから、以下の式（１２）が成り立つ。
【０１９８】
【数９】
2014197824.tif 000012
【０１９９】
この式（１２）等から、本実施例における像側ピント制御範囲ｄrefocusが満たすべき条件式（１３）が求められる。
【０２００】
【数１０】
2014197824.tif 000013
【０２０１】
実施例３と同様、上記条件式（１３）において±10.0となっている範囲を、±6.0或いは±3.0とすることで、より鮮鋭な合成画像を得ることができる。
【０２０２】
以下に、具体例を示す。
・撮像素子１６０４の有効画素数Ｒtotal：１５０．０×１０６（pix）
・σ１：０．３７１２（mm）
・σ２：０．０７４０（mm）
・撮像素子１６０４の画素ピッチΔ：０．００２４（ｍｍ）
・レンズアレイ１６０３のピッチはΔLA：０．０２５６（ｍｍ）
・結像光学系１６０２の広角端における焦点距離ｆＷ：７２．２（ｍｍ）
・結像光学系１６０２の望遠端における焦点距離ｆＴ：１９４．０（ｍｍ）
・Ｆ値（広角端から望遠端まで）：２．９
・１次元瞳分割数Ｎ：５
・単視点画像１枚当たりの解像度Rmono：６．０×１０６pix
・条件式（１３）の範囲、条件式（１３）の各範囲に対応する合成画像の解像度Ｒcomb、合成画像の各解像度に対応するｄrefocusは、例えば以下の表（２）のようになる。
【０２０３】
【表２】
2014197824.tif 000014
【０２０４】
実施例３と同様、操作部１５０５を介したユーザ入力によって、合成画像の解像度Ｒcombが例えば上記３種類の中から選択される。
【０２０５】
上記の例において、例えば１０．０×１０６pixの合成画像を生成するためには、単視点画像１枚当たりの解像度Rmono：６．０×１０６pixであるため、画素ずらし超解像などによる高解像度化が必要となることが分かる。
【０２０６】
［実施例５］
次に、図１９に示す構成（カメラアレイ）の撮像部を有する撮像装置を前提とする様態について、実施例５として説明する。なお、以下では本実施例に特有な点を中心に説明することとする。
【０２０７】
図３３は、本実施例に係る図１９のカメラアレイの構成を有する撮像部１５００を正面（物体側）から見た図であり、７つの各個眼カメラにおける結像光学系１６０２ａ〜１６０２ｇと撮像素子１６０４ａ〜１６０４ｇの配置が示されている。この撮像部１５００の場合、結像光学系１６０２ｂの光軸を回転軸として、六回対称性を有したカメラアレイとなっている。しかし、カメラアレイの構成はこれに限定されるものではなく、結像光学系の個数や配列は任意である。また、各撮像素子１６０４ａ〜１６０４ｇが各結像光学系１６０２ａ〜１６０２ｇに対応してそれぞれ配列されているが、各結像光学系１６０２ａ〜１６０２ｇによって形成される像を取得できるならば撮像素子は１つでもよい。
【０２０８】
図３３に示す構成の撮像部１５００において、各結像光学系１６０２ａ〜１６０２ｇで屈折された光線は、それぞれに対応した撮像素子１６０４ａ乃至１６０４ｇで受光される。撮像素子１６０４ａ〜１６０４ｇで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の視差画像を用いて画像合成を行うことで、被写体空間のライトフィールドを得ることができる。
【０２０９】
図３４は、結像光学系１６０２ａと撮像素子１６０４ａを側面から見た図（断面図）である。他の結像光学系１６０２ｂ乃至１６０２ｇ及び、撮像素子１６０４ｂ乃至１６０４ｇも同様であるが、各結像光学系の構成はそれぞれ異なっていてもよい。結像光学系１６０２ａは、単焦点レンズであり、結像光学系１６０２ａと撮像素子１６０４ａとの間隔を変化させることで、リフォーカスを行う。
【０２１０】
本実施例における画像合成処理も、実施例３と同様、ピントを合わせたい被写体距離に対応したずれ量で各視点の画像を重ね合わせればよい。また、ピント制御範囲に関しても、前述の式（４）で記述されるとおりである。図３５は、実施例３の図２１に対応する図であり、本実施例の場合、Δｙ＝Δ、Δｕ＝Ｐmono／Ｆmonoとなる。ここで、Ｆmonoは、各結像光学系１６０２ａ乃至１６０２ｇにおけるＦ値、Ｐmonoは、各結像光学系に対応する射出瞳距離を表している。そして、本実施例においては、Δ≪Ｐmonoから、式（４）は以下の式（１４）に近似できる。
【０２１１】
【数１１】
2014197824.tif 000015
【０２１２】
本実施例に係る画像処理部１５１２における処理の流れは、実施例３に係る図２３のフローチャートと同じであるが、撮像部１５００の構成の違いから、以下のようにしてピント制御範囲が導出される（ステップ２３０２及びステップ２３０６）。
【０２１３】
本実施例の場合、撮像部１５００を構成する各結像光学系１６０２ａ乃至１６０２ｇは、絞り値が可変の開口絞りをそれぞれ有している。そのため、ステップ２３０２では、撮像時の各結像光学系の絞り値が、光学パラメータとして取得される。
【０２１４】
そして、ステップ２３０６では、実施例３と同様の考え方に基づき、ステップ２３０２で得られた撮像時の各結像光学系１６０２ａ乃至１６０２ｇのＦ値を、Ｆmonoに代入し、ピント制御範囲を導出する。ここで、ＦmonoのＦ値を持つ結像光学系で結像される画像の解像度をＲmonoとした時、ｄrefocusが満たすべき条件式（１５）が求められる。
【０２１５】
【数１２】
2014197824.tif 000016
【０２１６】
実施例３と同様、上記条件式（１５）において±10.0となっている範囲を、±6.0或いは±3.0とすることで、より鮮鋭な合成画像を得ることができる。
【０２１７】
以下に、具体例を示す。
・各撮像素子１６０４ａ乃至１６０４ｇの有効画素数Ｒmono：１９．３×１０６（pix）
・画素ピッチΔ：０．００１２（mm）
・各結像光学系１６０２ａ乃至１６０２ｇの焦点距離ｆ：５０．０（mm）
・Ｆ値（Ｆmono）：１．８
・条件式（１５）の範囲、条件式（１５）の各範囲に対応する合成画像の解像度Ｒcomb、合成画像の各解像度に対応するｄrefocusは、例えば以下の表（３）のようになる。
【０２１８】
【表３】
2014197824.tif 000017
【０２１９】
そして、実施例３と同様、操作部１５０５を介したユーザ入力によって、合成画像の解像度Ｒcombが例えば上記３種類の中から選択される。
【０２２０】
なお、撮像時のF値が異なるＦ値だった場合は、条件式（１５）を満たすようにｄrefocusが決定される。
【０２２１】
［実施例６］
実施例３乃至５で説明した画像合成処理は、図１６〜図１９で示す撮像部を有する撮像装置によって取得された、複数の異なる視点から撮像されて得た視差画像を用いて実現していた。画像合成処理は、視差画像を用いた画像合成処理に限定されない。単視点の撮像データに対し、ピント位置、被写界深度を、後から画像処理により調整するものでもよい。
【０２２２】
例えば、ピント位置を画像処理によって変更する方法としては、ピント位置からの相対的な距離に応じて、撮像データにフィルタ処理を施す方法が知られている。この場合、最初に被写界深度の深い撮像データとシーンの距離情報を取得する。距離情報は、撮像装置とは別に距離センサを設けて取得したり、撮像装置の撮像データを解析して取得する。次に、フォーカスを合わせたい被写体（或いは、被写体距離）に対してはフィルタ処理を行わずオリジナルの撮像データを用い、フォーカスを合わせたい被写体以外の領域については該被写体からの相対的な距離を距離情報から求める。そして、フォーカスを合わせたい被写体からの相対距離が近い領域については、ボケ量が小さくなるフィルタ処理を実施（例えば、フィルタサイズを相対的に小さく設定）する。一方、フォーカスを合わせたい被写体からの相対距離が遠い領域については、ボケ量が大きくなるフィルタ処理を実施（例えば、フィルタサイズを相対的に大きく設定）する。このような方法で、ピント位置を変更してもよい。
【０２２３】
このように、単視点画像に対し、ピント位置からの相対的な距離に応じて、撮像データにフィルタ処理を施す方法では、ピント制御範囲は、単視点画像を得た際の被写界深度がピント制御範囲となる。
【０２２４】
被写界深度の度合いの調整も、上記と類似の手法で画像処理によって調整可能である。すなわち、撮像データに対するフィルタリング処理において、フィルタサイズをより大きく設定することでボケ量が増大し、被写界深度の狭い画像データを生成することができる。反対に、被写界深度の深い画像データを生成するためには、フィルタサイズを小さくしてやればよい。
【０２２５】
［実施例７］
実施例３乃至６では、複数視点の画像或いは単視点の画像に対して画像合成処理を実施して、ピント位置等を変化させた画像を生成していた。しかし、ピント位置等を変化させた画像は、画像合成処理を行わずとも得ることができる。
【０２２６】
例えば、撮像パラメータを少しずつ変更しながら複数枚の画像を取得するブラケット撮像により、複数の撮像データを取得する方法が知られている。具体的には、撮像装置に具備されるフォーカス調整リング、絞り調整リングを段階的に変化させた撮像データを取得する。ブラケット撮像による撮像データには、撮像時のパラメータが撮像画像と一体となって保持されるものとする。つまり、実施例３乃至５では、複数視点の画像を含む１の撮像データから、ピント位置等を変更した合成画像を演算によって生成していたが、本実施例では、ブラケット撮像によって得られた複数の撮像データから、所望の撮像画像を選択し表示する。
【０２２７】
ピント位置を段階的に変更したブラケット撮像（フォーカスブラケット撮像）では、撮像装置に具備されるフォーカス調整を行う操作部を使用しながらピント位置を段階的に変化させて、複数回の撮像を行う。前述の図２６の（ａ）では、撮像装置からそれぞれ異なる距離に３種類の被写体（人物、建物、山）が存在し、「人物」は撮像装置から最も近い位置、「建物」は中程度の位置、「山」最も離れた位置にそれぞれ位置している。本実施例では、近傍の被写体から遠方の被写体までが含まれるようにピント位置を連続的に変化させ、各ピント位置での撮像データを取得する。これにより、「人物」、「建物」、「山」の各被写体にピントが合っている撮像画像を得ることができる。なお、実際のフォーカスブラケット撮像では、主要な被写体が存在しない部分（例えば、人物と建物の間）にピントを合わせた撮像も行われる。そして、得られた撮像データにおいては、撮像時のピント位置の情報を距離情報として、撮像画像に関連付けられて記録される。なお、実施例６と同様に、シーンの距離情報は、撮像装置とは別に距離センサを設けて取得したり、撮像装置の撮像データを解析して取得してもよい。
【０２２８】
このように、画像合成処理を実施せず、ブラケット撮像により、ピント位置を段階的に変化させた撮像データを表示する。この場合、ブラケット撮像の際に変化させたピント位置のうち、撮像装置に最も近いピント位置から最も遠いピント位置が、ピント制御範囲となる。また、被写界深度は、ブラケット撮像時における撮像装置の絞り調整リングによって定まる被写界深度と略同一として扱うことができる。
【０２２９】
また、前述の図３０の（ａ）及び（ｂ）のように、合焦情報表示画像に加えて、ピント位置を変化させた画像を表示する場合には、ピント位置取得部２２０８から供給されるピント位置に応じて、所望の撮像画像を選択し表示する。
【０２３０】
以上説明したように、ブラケット撮像で得られた複数の撮像データを用いて、ピント位置を変化させた画像データを得てもよい。
【０２３１】
［その他の実施形態］
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【図１】
2014197824.tif 000018
【図２】
2014197824.tif 000019
【図３】
2014197824.tif 000020
【図４】
2014197824.tif 000021
【図５】
2014197824.tif 000022
【図７】
2014197824.tif 000023
【図８】
2014197824.tif 000024
【図９】
2014197824.tif 000025
【図１０】
2014197824.tif 000026
【図１１】
2014197824.tif 000027
【図１２】
2014197824.tif 000028
【図１３】
2014197824.tif 000029
【図１４】
2014197824.tif 000030
【図１５】
2014197824.tif 000031
【図１６】
2014197824.tif 000032
【図１７】
2014197824.tif 000033
【図１８】
2014197824.tif 000034
【図１９】
2014197824.tif 000035
【図２０】
2014197824.tif 000036
【図２１】
2014197824.tif 000037
【図２２】
2014197824.tif 000038
【図２３】
2014197824.tif 000039
【図２５】
2014197824.tif 000040
【図２７】
2014197824.tif 000041
【図２８】
2014197824.tif 000042
【図２９】
2014197824.tif 000043
【図３１】
2014197824.tif 000044
【図３２】
2014197824.tif 000045
【図３３】
2014197824.tif 000046
【図３４】
2014197824.tif 000047
【図３５】
2014197824.tif 000048
【図６】
2014197824.tif 000049
【図２４】
2014197824.tif 000050
【図２６】
2014197824.tif 000051
【図３０】
2014197824.tif 000052