(57)【要約】【課題】ユーザーが意図するだまし絵画像を容易に再構成できる撮像装置を提供する。【解決手段】撮像手段により撮像される、被写体の３次元的な空間情報であるライトフィールドデータを取得する取得手段と、ライトフィールドデータ内に存在する被写体から複数の被写体を選択する選択手段と、選択手段により選択された複数の被写体にそれぞれ焦点が合った複数の再構成画像を、ライトフィールドデータから再構成する再構成手段と、再構成手段により再構成された複数の再構成画像を合成する合成手段とを備え、選択手段により選択した被写体のうち、選択手段により特定の方法で選択した被写体に焦点が合った面をリフォーカス面とする再構成画像を、複数の画像を合成する際の基準画像とする。【選択図】  図１
2014220578.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮像される、被写体の３次元的な空間情報であるライトフィールドデータを取得する取得手段と、
前記ライトフィールドデータ内に存在する被写体から複数の被写体を選択する選択手段と、
前記選択手段により選択された複数の被写体にそれぞれ焦点が合った複数の再構成画像を、前記ライトフィールドデータから再構成する再構成手段と、
前記再構成手段により再構成された前記複数の再構成画像を合成する合成手段と、
を備え、
前記選択手段により選択した被写体のうち、前記選択手段により特定の方法で選択した被写体に焦点が合った面をリフォーカス面とする再構成画像を、前記複数の画像を合成する際の基準画像とすることを特徴とする撮像装置。
【請求項２】
前記合成手段は、前記選択手段により選択された被写体の領域の画像はそれぞれ対応する再構成画像の画像を主として用い、前記選択手段により選択された被写体の領域以外の領域は、前記基準画像を主として用いて合成画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定の方法とは、前記選択手段により最初に選択されることであることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記選択手段は、ユーザが操作するための操作部材を備えることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記特定の方法とは、前記選択手段により他の被写体とは異なる操作で選択されることであることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記操作部材は、タッチパネルであることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記選択手段は、選択された被写体の動きを追尾することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記選択手段により選択した被写体に色を付けて表示する表示手段をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
撮像手段により撮像される、被写体の３次元的な空間情報であるライトフィールドデータを取得する取得工程と、
前記ライトフィールドデータ内に存在する被写体から複数の被写体を選択する選択工程と、
前記選択工程により選択された複数の被写体にそれぞれ焦点が合った複数の再構成画像を、前記ライトフィールドデータから再構成する再構成工程と、
前記再構成工程により再構成された前記複数の再構成画像を合成する合成工程と、
を備え、
前記選択工程により選択した被写体のうち、前記選択工程により特定の方法で選択した被写体に焦点が合った面をリフォーカス面とする再構成画像を、前記複数の画像を合成する際の基準画像とすることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意のリフォーカス面での画像の再構成が可能な撮像装置に関するものである。
【背景技術】
【０００２】
近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。
【０００３】
例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光は複数の画素によって入射方向別に取得される。このように取得された画素信号（ライトフィールド情報）に対して、「Light Field Photography」と呼ばれる手法を適用することで、複数の像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。
【０００４】
一方、撮像時に遠近法を利用して被写体の大小関係を錯覚させるような画像を撮像したいという要求がある。例えば図１７に示すように、近距離の人物が遠距離の建造物を支えているような構図で、被写界深度を深く設定し両方の被写体に焦点が合うように撮影する。これにより、遠距離の建物と近距離の人物とが同じ被写体距離にいるかのように錯覚を起させる。以後このような画像をだまし絵画像と呼ぶことにする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２２７９６号公報
【非特許文献】
【０００６】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【非特許文献２】Todor Georgiev,et al.,“Superresolution with Plenoptic 2.0 Camera",2009 Optical Society of America
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、通常の撮像装置による撮影では、錯覚に利用する被写体の両方に焦点を合わせることはできないため、どちらかがぼけてしまい、だまし絵として効果が薄い画像しか得られないという課題があった。
【０００８】
また、前述したようなライトフィールドカメラにおいて、例えばだまし絵画像のような画像を生成することについては、今まで考えられていなかった。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、ユーザーが意図するだまし絵画像を容易に再構成できる撮像装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明に係わる撮像装置は、撮像手段により撮像される、被写体の３次元的な空間情報であるライトフィールドデータを取得する取得手段と、前記ライトフィールドデータ内に存在する被写体から複数の被写体を選択する選択手段と、前記選択手段により選択された複数の被写体にそれぞれ焦点が合った複数の再構成画像を、前記ライトフィールドデータから再構成する再構成手段と、前記再構成手段により再構成された前記複数の再構成画像を合成する合成手段と、を備え、前記選択手段により選択した被写体のうち、前記選択手段により特定の方法で選択した被写体に焦点が合った面をリフォーカス面とする再構成画像を、前記複数の画像を合成する際の基準画像とすることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ユーザーが意図するだまし絵画像を容易に再構成できる撮像装置を提供することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の撮像装置の第１の実施形態の構成を示すブロック図。
【図２】撮像素子とマイクロレンズアレイの構成を説明する図。
【図３】撮影レンズ、マイクロレンズアレイ、撮像素子の構成を説明する図。
【図４】撮影レンズの瞳領域と受光画素の対応関係を説明する図。
【図５】ライトフィールド画像生成光線の通過領域を説明する図。
【図６】だまし絵画像を撮像する際の撮像装置と被写体の距離関係を表す図。
【図７】取得したいだまし絵画像を表す図。
【図８】だまし絵にする画像を撮像する動作のフローチャート。
【図９】電子ビューファインダ（ＥＶＦ）上の被写体を選択する方法を表す図。
【図１０】被写体を選択した際に保持する座標情報を表す図。
【図１１】再生時の動作を表すフローチャート。
【図１２】被写体領域検出方法を表す図。
【図１３】第１の実施形態で得られる画像を表す図。
【図１４】再生時にだまし絵に再構成する動作のフローチャート。
【図１５】撮影レンズ、マイクロレンズアレイ、撮像素子の別構成を説明する図。
【図１６】撮像装置の全体ブロック図の別例を示す図。
【図１７】だまし絵画像の一例を表す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１４】
（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態の構成を示すブロック図である。図１において、スイッチ群（操作部材群）１１７は、撮像モードの設定など、撮像に関わる様々な情報をＣＰＵ１１１へ出力する。またレリーズスイッチが出力する信号は、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）やＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）の動作開始トリガや、撮像の開始トリガとなる。ＣＰＵ１１１はこれらの開始トリガを受けて、撮像素子１０３、表示部１０６をはじめとする、撮像装置１００の各部の制御を行う。また、ＲＯＭ１１３には、ＣＰＵ１１１の動作のためのプログラムやデータが格納されている。
【００１５】
１０１は撮影レンズ、１０２はマイクロレンズアレイ、１０３は撮像素子である。マイクロレンズアレイ１０２は複数のマイクロレンズ１０２０から構成されている。撮像素子１０３はマイクロレンズ１０２０を介して入射した光を電気信号に変換し、Ａ／Ｄ変換部１０４へ出力する。
【００１６】
Ａ／Ｄ変換部１０４は電気信号をデジタル化し、画像処理部１０５へ出力する。画像処理部１０５は、ホワイトバランス、色変換等の様々な画像生成処理や、生成後の画像を圧縮する圧縮処理、複数の画像を合成する合成処理、後述するライトフィールドデータ内に存在する被写体の被写体領域検出処理や座標情報の関連付け処理を行う。処理後の画像データは、バス１１２を介してメインメモリ１１４へ一時的に格納される。格納された画像データは、記録部１１５を介して外部の記録媒体（図示せず）に記録されるか、もしくは通信部１１６を介して、パーソナルコンピュータ等の外部装置（図示せず）に送信される。 表示部１０６は、撮像装置のユーザインターフェース画面を表示するか、ＥＶＦとして使用するか、もしくは撮像後の画像を表示する。
【００１７】
なお、本実施形態では、画像処理部１０５が「Light Field Photography」と呼ばれる手法を用いた演算処理を行い得られる撮像データ、ライトフィールドデータ（被写体の３次元的な空間情報を表すデータ）から任意のリフォーカス面に画像を再構成する機能を有しているものとする。
【００１８】
次に、ライトフィールド画像を取得する際の、撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成について説明する。
【００１９】
図２は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図である。複数の単位画素２０１に対して１つのマイクロレンズ１０２０が対応するように配置されている。１つのマイクロレンズ後方にある複数の単位画素２０１をまとめて画素配列２０と定義する。なお、本実施形態では画素配列２０には、単位画素２０１が５行５列の計２５個あるものとする。
【００２０】
図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向から観察した図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１０２０を通過した光は、後方の対応する単位画素ｐ１〜ｐ５にそれぞれ結像される。
【００２１】
図４（ａ）は撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図４（ｂ）は１つのマイクロレンズ１０２０とその後方に配置された画素配列２０を光軸Ｚ方向から見た図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。
【００２２】
図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮影レンズ１０１の瞳分割領域ａ１１から出射した光はマイクロレンズ後方にある画素配列２０のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ１０２０を通過する光も、そのマイクロレンズ後方にある画素配列２０の中の画素ｐ１１に結像する。
【００２３】
ここで、画面内の任意の被写体位置に対応したリフォーカス面を算出する方法について説明する。
【００２４】
図４で説明したように、画素配列２０の各画素は、撮影レンズ１０１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。
【００２５】
【数１】
2014220578.tif 000003
【００２６】
式（１）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１１〜ａ５２）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＡ像とする。また、式（２）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ１４〜ａ５５）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を施し、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応したリフォーカス面を算出することができる。
【００２７】
次に、撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成によって取得された撮像データに対して、任意に設定したリフォーカス面での画像の再構成処理について説明する。
【００２８】
図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸Ｚに対して垂直方向から見た図である。図５において、撮影レンズの瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、マイクロレンズアレイ上のマイクロレンズの位置を座標（ｘ’，ｙ’）、撮影レンズからマイクロレンズアレイまでの距離をＦ、撮影レンズからリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザーが任意に設定できる。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、マイクロレンズアレイ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（３）のように表すことができる。
【００２９】
【数２】
2014220578.tif 000004
【００３０】
そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（４）のようになる。
【００３１】
【数３】
2014220578.tif 000005
【００３２】
式（４）において、リフォーカス係数αはユーザーによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２０から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。
【００３３】
これまで、ライトフィールド画像の撮像処理や再構成処理について説明してきたが、ライトフィールド画像の取得は、記録部１１５や通信部１１６などを用いて外部デバイスから取得してもよく、撮像して得られる画像に限定されるものではない。
【００３４】
次に本発明の第１の実施形態における、だまし絵画像を生成する方法について説明する。
【００３５】
図６は第１の実施形態における、だまし絵画像を撮像する際の撮像装置と被写体との距離関係を表す図である。撮像装置からの距離が、それぞれ被写体Ａは距離Ｄ１、被写体Ｂ、被写体Ｃは距離Ｄ２、被写体Ｄは距離Ｄ３となる位置関係になっているとする。図７は第１の実施形態において、生成したいだまし絵画像を表す図である。被写体Ｂが被写体Ａの手の上に乗っているように見える構図の画像となる。
【００３６】
だまし絵の錯覚に使用する被写体以外の領域を背景と呼ぶことにすると、背景のリフォーカス面は錯覚に使用する被写体のいずれかと同じにする方が、だまし絵の効果が分かりやすい画像が得られる。本実施形態では、被写体Ａ、被写体Ｂは錯覚に使用するため合焦させ、背景の領域に含まれる被写体Ｃ、被写体Ｄは合焦させないという画像を生成するのが望ましい。
【００３７】
図８は、第１の実施形態における、だまし絵にする画像を撮像する際のフローチャートである。また、本実施形態で説明する処理を行うためのモードを、以下だまし絵モードと呼ぶこととする。
【００３８】
撮像動作が開始され、だまし絵モードが選択されたら、ステップＳ８０１では、ユーザーがだまし絵に使用する被写体の選択を行う。選択操作は表示部１０６に備わるタッチパネルの操作により行う。
【００３９】
ステップＳ８０１の、被写体を選択する方法の一例を図９に示す。被写体Ａを選択したい場合は、ＥＶＦ９０２上の被写体Ａの領域に含まれる一点を、指９０１でタッチして選択する（特定の方法での選択）。ステップＳ８０２ではステップＳ８０１でのタッチが、一度目かどうかを判定する。一度目であればステップＳ８０３へ進み、二度目以降であればステップＳ８０４へ進む。
【００４０】
ステップＳ８０３では、タッチした点の座標情報を、代表座標として記録してステップＳ８０５へ進む。ステップＳ８０４では、タッチした点の座標情報を記録してステップＳ８０５へ進む。
【００４１】
ステップＳ８０３、ステップＳ８０４で記録される座標情報の例を図１０に示す。ＥＶＦ９０２上にて、被写体Ａ上のタッチ点１００１の座標が（ｘ１，ｙ１）、被写体Ｂ上のタッチ点１００２の座標が（ｘ２，ｙ２）となるとき、上記２点の座標情報が記録される。ここで例えばタッチ点１００１を最初にタッチしたとすると、タッチ点１００１はステップＳ８０３にて代表座標として保存される。その際タッチ点１００２はステップＳ８０４にて通常の座標として保存される。
【００４２】
ステップＳ８０５では、だまし絵の錯覚に使用する被写体の選択が全て完了したかを判定する。完了していない場合はステップＳ８０１に戻り再度被写体の選択を行う。完了した場合はステップＳ８０６へ進む。ここで完了の操作は、スイッチ群１１７に含まれるシャッターボタンの半押し（いわゆるＳＷ１）で完了する。
【００４３】
ステップＳ８０６では、スイッチ群１１７に含まれるシャッターボタンの全押し（いわゆるＳＷ２）により、ライトフィールド画像の撮像処理を行う。ステップＳ８０７では、ステップＳ８０６で撮像した撮像データに、ステップＳ８０３、ステップＳ８０４で記録した座標情報を、だまし絵の座標情報として関連付け、記録部１１５へ記録する。以上でだまし絵画像に使用する撮像データの取得が完了する。
【００４４】
続いてステップＳ８０７で記録した画像を再生する際の説明を行う。図１１は、第１の実施形態における、再生時の動作を表すフローチャートである。
【００４５】
ステップＳ１１０１では、再生する画像データにだまし絵の座標情報が関連付けられているかどうかを判定する。だまし絵の座標情報が関連付けられている場合、だまし絵画像であるとしてステップＳ１１０２へ進む。だまし絵の座標情報が関連付けられていない場合、だまし絵画像ではないとしてステップＳ１１０４へ進む。
【００４６】
ステップＳ１１０２では画像に関連付けられただまし絵の座標情報を、記録部１１５から読み込む。ステップＳ１１０３では画像処理部１０５が、だまし絵の錯覚に使用する被写体領域を、ステップＳ１１０２で読み込んだだまし絵の座標情報を用いて検出し、その結果を記録部１１５へ記録する。なお、被写体領域検出方法の詳細は後述する。
【００４７】
ステップＳ１１０４では画像処理部１０５が、検出した被写体に基づいて画像の再構成と合成を行う。なお、画像の再構成・合成方法の詳細は後述する。ステップＳ１１０５では、再構成した画像をＥＶＦ上に表示する。
【００４８】
ステップＳ１１０６では、再生が終了したかを判定する。再生が終了するとは、ユーザーの再生モードの終了選択や、再生する画像の変更などの操作が行われることである。再生終了が選択された場合、処理を終了する。再生が終了されない場合、ステップＳ１１０７へ進む。
【００４９】
ステップＳ１１０７では、ユーザーがタッチ操作によりピントを合わせる被写体の選択を行い、ステップＳ１１０４へ進む。ステップＳ１１０７で選択された被写体に応じて、ステップＳ１１０４の処理が行われる。以上で、再生時の動作説明を終了する。
【００５０】
次にステップＳ１１０３における被写体領域検出方法の一例を図１２に示す。ここでは例として被写体Ａの領域を検出する方法を説明する。まず画像全体のリフォーカス面を前後に移動させた再構成画像のうち、コントラストＡＦによってタッチ点１００１の周辺が合焦している再構成画像を取得する。取得した画像に対してエッジ検出を行うことで、被写体Ａの領域が検出できる。ここで検出した被写体領域情報は、境界の座標全てを記録することで保持される。また、検出した全ての被写体領域のうち、代表座標により検出された被写体を代表被写体とする。本実施形態では被写体Ａが代表被写体となる。
【００５１】
次に、ステップＳ１１０４における画像の再構成・合成方法の詳細について説明する。本実施形態において再構成される画像と、合成により得られる画像の例を図１３に示す。まず、代表被写体の焦点位置で画像を再構成する。本実施形態では被写体Ａの焦点位置で再構成された画像（基準画像）を取得する。取得した画像を図１３（ａ）に示す。
【００５２】
次にステップＳ１１０３で検出した被写体のうち、代表被写体以外（被写体領域以外）の関連付けされた被写体の焦点位置で画像を再構成する。ここで代表被写体以外の関連付けされた被写体が複数あった場合は、その数だけ再構成画像を取得する。本実施形態では被写体Ｂの焦点位置で再構成された画像を取得する。取得した画像を図１３（ｂ）に示す。
【００５３】
ここで取得した図１３（ｂ）から、検出した被写体Ｂの領域を抽出して、図１３（ａ）の同じ領域に合成する。合成後の画像（合成画像）を図１３（ｃ）に示す。以上により画像の再構成・合成方法の説明を終了する。
【００５４】
ステップＳ１１０７では、画像の再構成を行う際に合焦させる対象をタッチ操作により選択する。タッチされた箇所が関連付けられた被写体領域内の場合は、タッチされた被写体を代表被写体として上記画像の再構成・合成を行う。また、タッチされた箇所が関連付けられた被写体領域外の場合は、タッチした点上の焦点位置で画像の再構成を行う。
【００５５】
以下、上記の第１の実施形態の変形例について説明する。図８のステップＳ８０１の被写体選択の操作、ステップＳ８０３の被写体選択完了の操作は、スイッチ群１１７に備わるスイッチを用いて操作するとしても良い。
【００５６】
図８において、ステップＳ８０１で被写体選択を行ってからステップＳ８０５で情報の記録を行うまでに、被写体が動いて被写体上から座標が外れてしまうことを避けるために、タッチした点の座標が被写体を追尾する構成としても良い。この構成の場合、タッチされた座標情報はステップＳ８０３、ステップＳ８０４で記録されず、追尾後の座標情報がステップＳ８０６で記録される。
【００５７】
また、図１１のステップＳ１１０３での被写体領域の検出は、距離情報算出の工程を備え、距離情報を用いて行うとしても良い。または、物体認識・人物認識の工程を備え、そこで得られた情報を用いて行うとしても良い。また、図１１のステップＳ１１０３で選択した被写体領域範囲内について、ＥＶＦ上で該当範囲を色付けして表示するとしても良い。また、図１１のステップＳ１１０３の被写体領域の検出は、座標情報を記録せず必要に応じて適宜検出する構成としても良い。
【００５８】
また、再生時の代表被写体の決定方法は、長押し操作にて選択した座標を含む被写体を代表被写体としても良い。またはダブルタッチ操作にて選択した座標を含む被写体を代表被写体としても良い。
【００５９】
また、図１１のステップＳ１１０７において、タッチされた箇所が関連付けられた被写体領域外の場合に、関連付けられた被写体全てが同程度のぼけになるよう制御した画像を生成しても良い。また、一度再構成した画像を再度再生する際に、前回の再生終了時（図１１のステップＳ１１０６）に表示していた画像を表示するとしても良い。
【００６０】
以上のように、撮像時にだまし絵に使用する被写体を選択し関連付けておき、さらに被写体の優先度を付けておくことで、容易に意図しただまし絵画像を再構成することができる。
【００６１】
（第２の実施形態）
次に、第２の実施形態として、記録済みの撮像データに対し、再生時にだまし絵画像に再構成する場合について説明する。撮像装置の構成は第１の実施形態と同様のため、説明を省略する。また、本実施形態で説明する処理を行うためのモードを、以下だまし絵再生モードと呼ぶこととする。
【００６２】
図１４は記録済みの撮像データに対し、再生時にだまし絵画像に再構成する動作を示すフローチャートである。
【００６３】
ステップＳ１４０１では、だまし絵再生モードが選択されたかどうかを判定する。だまし絵再生モードが選択されている場合、ステップＳ１４０２へ進む。だまし絵再生モードが選択されていない場合、ステップＳ１４０８へ進む。
【００６４】
ステップＳ１４０２、ステップＳ１４０３は、図８のステップＳ８０１、Ｓ８０２と同じ処理のため説明を省略する。
【００６５】
ステップＳ１４０４では、ステップＳ１４０２でタッチした座標情報を代表座標として画像に関連付けて記録する。ステップＳ１４０５では、ステップＳ１４０２でタッチした座標情報を画像に関連付けて記録する。
【００６６】
ステップＳ１４０６では、被写体選択が完了したかを判定する。完了していない場合はステップＳ１４０２に戻り再度被写体の選択を行う。完了した場合はステップＳ１４０７へ進む。またここで選択操作は、スイッチ群１１７に含まれるスイッチ操作により完了する。
【００６７】
ステップＳ１４０７〜ステップＳ１４１１は、それぞれ図１１のステップＳ１１０３〜ステップＳ１１０７と同じ処理のため説明を省略する。
【００６８】
上記により、本実施形態の方法を使用することで、だまし絵モードで撮像していない撮像データに対して、容易に意図するだまし絵画像の再構成が可能になる。
【００６９】
上記の実施形態においては、リフォーカス可能なライトフィールドデータとして、図３に示した撮影レンズ、マイクロレンズアレイ、撮像素子の構成にて取得されたデータを対象としたが、代わりに図１５に示す構成で取得したライトフィールドデータを用いてもよい。図１５の詳細は非特許文献２に記載されているのでここでは簡単に述べる。図３との違いは、図３の構成ではカメラのメインレンズがマイクロレンズアレイ１０２の平面に焦点が合うように調整されているのに対して、図１５ではマイクロレンズアレイ１０２の平面の手前の像面ＩＰ１に焦点が合うように調整されていることである。
【００７０】
また、上記の実施形態においては、リフォーカス可能なライトフィールドデータとして、図１に示す装置構成で取得したデータを対象としたが、代わりに図１６に示す装置構成で取得したライトフィールドデータを用いてもよい。この場合、光学系１０１ａ〜１０１ｃで屈折された光線は、それぞれに対応した撮像素子１０３ａ〜１０３ｃで受光される。撮像素子１０３ａ〜１０３ｃで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の画像を合わせることで、被写体空間における光の２次元強度分布と角度情報、つまりライトフィールドを得ることができる。図１６のような多眼構成のカメラからリフォーカス画像を得る方法については特許文献１等に記載されているのでここでは説明を省略する。
【００７１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2014220578.tif 000006
【図２】
2014220578.tif 000007
【図３】
2014220578.tif 000008
【図４】
2014220578.tif 000009
【図５】
2014220578.tif 000010
【図６】
2014220578.tif 000011
【図７】
2014220578.tif 000012
【図８】
2014220578.tif 000013
【図９】
2014220578.tif 000014
【図１０】
2014220578.tif 000015
【図１１】
2014220578.tif 000016
【図１２】
2014220578.tif 000017
【図１３】
2014220578.tif 000018
【図１４】
2014220578.tif 000019
【図１５】
2014220578.tif 000020
【図１６】
2014220578.tif 000021
【図１７】
2014220578.tif 000022