(57)【要約】【課題】ユーザーが意図するだまし絵画像を容易に再構成できる撮像装置を提供する。【解決手段】画像を撮像して撮像データを生成する撮像部と、撮像データから被写体を選択する選択部と、選択部により選択された複数の被写体を関連付ける関連付け部と、関連付け部により関連付けられた複数の被写体にそれぞれ焦点が合った複数の画像を再構成する再構成部と、再構成部により再構成された複数の画像を合成する合成部とを備える。【選択図】  図１
2014157425.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像して撮像データを生成する撮像手段と、
前記撮像データから被写体を選択する選択手段と、
前記選択手段により選択された複数の被写体を関連付ける関連付け手段と、
前記関連付け手段により関連付けられた複数の被写体にそれぞれ焦点が合った複数の画像を再構成する再構成手段と、
前記再構成手段により再構成された前記複数の画像を合成する合成手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記選択手段は、ユーザが操作するための操作部材を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記操作部材は、タッチパネルであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記選択手段は、被写体の動きを追尾することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記選択手段により選択した被写体に色を付けて表示する表示手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記選択手段により選択した被写体の撮像データ内での代表座標情報を、前記撮像データに付加して記録する記録手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記選択手段により選択した被写体のうち、撮像データ内で最も大きな割合を占める被写体をリフォーカス面とする再構成画像を、前記複数の画像を合成する際の基準画像とすることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記選択手段により選択した被写体のうち、撮像装置に対して最も近い被写体をリフォーカス面とする再構成画像を、前記複数の画像を合成する際の基準画像とすることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記選択手段により選択した被写体のうち、個人が認証できた被写体をリフォーカス面とする再構成画像を、前記複数の画像を合成する際の基準画像とすることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記選択手段により選択した被写体のうち、人物だと認識できた被写体をリフォーカス面とする再構成画像を、前記複数の画像を合成する際の基準画像とすることを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記選択手段により選択した被写体のうち、人物だと認識できない被写体をリフォーカス面とする再構成画像を、前記複数の画像を合成する際の基準画像とすることを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記撮像装置から前記選択手段により選択された被写体までの距離を算出する算出手段と、前記関連付け手段により関連付けられた被写体が前記撮像装置のリフォーカス可能範囲外に存在する場合に合焦不可能なことをユーザに知らせる警告手段と、をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項１３】
前記リフォーカス可能範囲外とは、前記算出手段で算出した被写体までの距離が、前記撮像装置の最短撮影距離よりも近いことであることを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記警告手段は、警告文を表示することを特徴とする請求項１２に記載の撮像装置。
【請求項１５】
前記警告手段は、リフォーカス可能範囲外に存在する被写体を強調表示することを特徴とする請求項１２に記載の撮像装置。
【請求項１６】
前記警告手段は、ユーザに移動を促すメッセージを表示することを特徴とする請求項１２に記載の撮像装置。
【請求項１７】
画像を撮像して撮像データを生成する撮像手段を備える撮像装置を制御する方法であって、
前記撮像データから被写体を選択する選択工程と、
前記選択工程により選択された複数の被写体を関連付ける関連付け工程と、
前記関連付け工程により関連付けられた複数の被写体にそれぞれ焦点が合った複数の画像を再構成する再構成工程と、
前記再構成工程により再構成された前記複数の画像を合成する合成工程と、
を備えることを特徴とする撮像装置の制御方法。
【請求項１８】
前記撮像装置から前記選択工程により選択された被写体までの距離を算出する算出工程と、前記関連付け工程により関連付けられた被写体が前記撮像装置のリフォーカス可能範囲外に存在する場合に合焦不可能なことをユーザに知らせる警告工程と、をさらに備えることを特徴とする請求項１７に記載の撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意のリフォーカス面での画像の再構成が可能な撮像装置に関するものである。
【背景技術】
【０００２】
近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。
【０００３】
例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光は複数の画素によって入射方向別に取得される。このように取得された画素信号（ライトフィールド情報）に対して、「Light Field Photography」と呼ばれる手法を適用することで、複数の像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。
【０００４】
一方、撮像時に遠近法を利用して被写体の大小関係を錯覚させるような画像を撮像したいという要求がある。例えば図１７に示すように、近距離の人物が遠距離の建造物を支えているような構図で、被写界深度を深く設定し両方の被写体に焦点が合うように撮影する。これにより、遠距離の建物と近距離の人物とが同じ被写体距離にいるかのように錯覚を起させる。以後このような画像をだまし絵画像と呼ぶことにする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２２７９６号公報
【非特許文献】
【０００６】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【非特許文献２】Todor Georgiev,et al.,“Superresolution with Plenoptic 2.0 Camera",2009 Optical Society of America
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、通常の撮像装置による撮影では、錯覚に利用する被写体の両方に焦点を合わせることはできないため、どちらかがぼけてしまい、だまし絵として効果が薄い画像しか得られないという課題があった。
【０００８】
また、前述したようなライトフィールドカメラにおいて、例えばだまし絵画像のような画像を生成することについては、今まで考えられていなかった。
【０００９】
さらに、上述のように、錯覚に利用する被写体の両方に焦点を合わせようとした場合、焦点を合わせられる範囲外に被写体がいる場合は、合焦させることができない。そのため、錯覚に利用する被写体が合焦範囲外にいる場合は、ユーザにそれを教える手段が必要になるが、それについても今まで考えられていなかった。
【００１０】
本発明は上述した課題に鑑みてなされたものであり、その目的は、ユーザーが意図するだまし絵画像を容易に再構成できる撮像装置を提供することである。
【課題を解決するための手段】
【００１１】
本発明に係わる撮像装置は、画像を撮像して撮像データを生成する撮像手段と、前記撮像データから被写体を選択する選択手段と、前記選択手段により選択された複数の被写体を関連付ける関連付け手段と、前記関連付け手段により関連付けられた複数の被写体にそれぞれ焦点が合った複数の画像を再構成する再構成手段と、前記再構成手段により再構成された前記複数の画像を合成する合成手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ユーザーが意図するだまし絵画像を容易に再構成できる撮像装置を提供することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の撮像装置の第１の実施形態の構成を示すブロック図。
【図２】撮像素子とマイクロレンズアレイの構成を説明する図。
【図３】撮影レンズ、マイクロレンズアレイ、撮像素子の構成を説明する図。
【図４】撮影レンズの瞳領域と受光画素の対応関係を説明する図。
【図５】ライトフィールド画像生成光線の通過領域を説明する図。
【図６】だまし絵画像を撮像する際の撮像装置と被写体の距離関係を表す図。
【図７】取得したいだまし絵画像を表す図。
【図８】だまし絵にする画像を撮像する動作のフローチャート。
【図９】電子ビューファインダ（ＥＶＦ）上の被写体を選択する方法を表す図。
【図１０】被写体を選択した際に保持する座標情報を表す図。
【図１１】再生時の動作を表すフローチャート。
【図１２】被写体領域検出方法を表す図。
【図１３】第１の実施形態で得られる画像を表す図。
【図１４】再生時にだまし絵に再構成する動作のフローチャート。
【図１５】撮影レンズ、マイクロレンズアレイ、撮像素子の別構成を説明する図。
【図１６】撮像装置の全体ブロック図の別例を示す図。
【図１７】だまし絵画像の一例を表す図。
【図１８】だまし絵画像の撮像と警告表示の動作のフローチャート。
【図１９】警告表示の例を表す図。
【図２０】合焦不可能な状況の例を説明する図。
【図２１】再生時に行うだまし絵画像の再構成と警告表示の動作のフローチャート。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１５】
（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態の構成を示すブロック図である。図１において、スイッチ群（操作部材群）１１７は、撮像モードの設定など、撮像に関わる様々な情報をＣＰＵ１１１へ出力する。またレリーズスイッチが出力する信号は、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）やＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）の動作開始トリガや、撮像の開始トリガとなる。ＣＰＵ１１１はこれらの開始トリガを受けて、撮像素子１０３、表示部１０６をはじめとする、撮像装置１００の各部の制御を行う。また、ＲＯＭ１１３には、ＣＰＵ１１１の動作のためのプログラムやデータが格納されている。
【００１６】
１０１は撮影レンズ、１０２はマイクロレンズアレイ、１０３は撮像素子である。マイクロレンズアレイ１０２は複数のマイクロレンズ１０２０から構成されている。撮像素子１０３はマイクロレンズ１０２０を介して入射した光を電気信号に変換し、Ａ／Ｄ変換部１０４へ出力する。
【００１７】
Ａ／Ｄ変換部１０４は電気信号をデジタル化し、画像処理部１０５へ出力する。画像処理部１０５は、ホワイトバランス、色変換等の様々な画像生成処理や、生成後の画像を圧縮する圧縮処理、複数の画像を合成する合成処理、後述する被写体領域検出処理や座標情報の関連付け処理を行う。処理後の画像データは、バス１１２を介してメインメモリ１１４へ一時的に格納される。格納された画像データは、記録部１１５を介して外部の記録媒体（図示せず）に記録されるか、もしくは通信部１１６を介して、パーソナルコンピュータ等の外部装置（図示せず）に送信される。 表示部１０６は、撮像装置のユーザインターフェース画面を表示するか、ＥＶＦとして使用するか、もしくは撮像後の画像を表示する。
【００１８】
なお、本実施形態では、画像処理部１０５が「Light Field Photography」と呼ばれる手法を用いた演算処理を行い、撮像データから任意のリフォーカス面に画像を再構成する機能を有しているものとする。
【００１９】
次に、ライトフィールド画像を取得する際の、撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成について説明する。
【００２０】
図２は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図である。複数の単位画素２０１に対して１つのマイクロレンズ１０２０が対応するように配置されている。１つのマイクロレンズ後方にある複数の単位画素２０１をまとめて画素配列２０と定義する。なお、本実施形態では画素配列２０には、単位画素２０１が５行５列の計２５個あるものとする。
【００２１】
図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向から観察した図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１０２０を通過した光は、後方の対応する単位画素ｐ１〜ｐ５にそれぞれ結像される。
【００２２】
図４（ａ）は撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図４（ｂ）は１つのマイクロレンズ１０２０とその後方に配置された画素配列２０を光軸Ｚ方向から見た図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。
【００２３】
図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮影レンズ１０１の瞳分割領域ａ１１から出射した光はマイクロレンズ後方にある画素配列２０のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ１０２０を通過する光も、そのマイクロレンズ後方にある画素配列２０の中の画素ｐ１１に結像する。
【００２４】
ここで、画面内の任意の被写体位置に対応したリフォーカス面を算出する方法について説明する。
【００２５】
図４で説明したように、画素配列２０の各画素は、撮影レンズ１０１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。
【００２６】
【数１】
2014157425.tif 000003
【００２７】
式（１）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１１〜ａ５２）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＡ像とする。また、式（２）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ１４〜ａ５５）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を施し、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応したリフォーカス面を算出することができる。
【００２８】
次に、撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成によって取得された撮像データに対して、任意に設定したリフォーカス面での画像の再構成処理について説明する。
【００２９】
図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸Ｚに対して垂直方向から見た図である。図５において、撮影レンズの瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、マイクロレンズアレイ上のマイクロレンズの位置を座標（ｘ’，ｙ’）、撮影レンズからマイクロレンズアレイまでの距離をＦ、撮影レンズからリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザーが任意に設定できる。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、マイクロレンズアレイ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（３）のように表すことができる。
【００３０】
【数２】
2014157425.tif 000004
【００３１】
そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（４）のようになる。
【００３２】
【数３】
2014157425.tif 000005
【００３３】
式（４）において、リフォーカス係数αはユーザーによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２０から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。
【００３４】
これまで、ライトフィールド画像の撮像処理や再構成処理について説明してきたが、ライトフィールド画像の取得は、記録部１１５や通信部１１６などを用いて外部デバイスから取得してもよく、撮像して得られる画像に限定されるものではない。
【００３５】
次に本発明の第１の実施形態における、だまし絵画像を生成する方法について説明する。
【００３６】
図６は第１の実施形態における、だまし絵画像を撮像する際の撮像装置と被写体との距離関係を表す図である。撮像装置からの距離が、それぞれ被写体Ａは距離Ｄ１、被写体Ｂ、被写体Ｃは距離Ｄ２、被写体Ｄは距離Ｄ３となる位置関係になっているとする。図７は第１の実施形態において、生成したいだまし絵画像を表す図である。被写体Ｂが被写体Ａの手の上に乗っているように見える構図の画像となる。
【００３７】
だまし絵の錯覚に使用する被写体以外の領域を背景と呼ぶことにすると、背景のリフォーカス面は錯覚に使用する被写体のいずれかと同じにする方が、だまし絵の効果が分かりやすい画像が得られる。本実施形態では、被写体Ａ、被写体Ｂは錯覚に使用するため合焦させ、背景の領域に含まれる被写体Ｃ、被写体Ｄは合焦させないという画像を生成するのが望ましい。
【００３８】
図８は、第１の実施形態における、だまし絵にする画像を撮像する際のフローチャートである。また、本実施形態で説明する処理を行うためのモードを、以下だまし絵モードと呼ぶこととする。
【００３９】
撮像動作が開始され、だまし絵モードが選択されたら、ステップＳ８０１では、ユーザーがだまし絵に使用する被写体の選択を行う。選択操作は表示部１０６に備わるタッチパネルの操作により行う。
【００４０】
ステップＳ８０１の、被写体を選択する方法の一例を図９に示す。被写体Ａを選択したい場合は、ＥＶＦ９０２上の被写体Ａの領域に含まれる一点を、指９０１でタッチして選択する。ステップＳ８０２ではステップＳ８０１でタッチした点の座標情報（撮像データ内での代表座標情報）を撮像データに付加して記録部１１５へ記録する。
【００４１】
ステップＳ８０３では、だまし絵の錯覚に使用する被写体の選択が全て完了したかを判定する。完了していない場合はステップＳ８０１に戻り再度被写体の選択を行う。完了した場合はステップＳ８０４へ進む。ここで選択操作は、スイッチ群１１７に含まれるシャッターボタンの半押し（いわゆるＳＷ１）で完了する。
【００４２】
ステップＳ８０３で保持する座標情報の例を図１０に示す。ＥＶＦ９０２上にて、被写体Ａ上のタッチ点１００１の座標が（ｘ１，ｙ１）、被写体Ｂ上のタッチ点１００２の座標が（ｘ２，ｙ２）となるとき、上記２点の座標情報がステップＳ８０５にて撮像データに関連付けて記録される。
【００４３】
ステップＳ８０４では、スイッチ群１１７に含まれるシャッターボタンの全押し（いわゆるＳＷ２）により、ライトフィールド画像の撮像処理を行う。ステップＳ８０５では、ステップＳ８０４で撮像した撮像データに、ステップＳ８０３で記録した座標情報を、だまし絵の座標情報として関連付け、記録部１１５へ記録する。以上でだまし絵画像に使用する撮像データの取得が完了する。
【００４４】
続いてステップＳ８０５で記録した画像を再生する際の説明を行う。図１１は、第１の実施形態における、再生時の動作を表すフローチャートである。
【００４５】
ステップＳ１１０１では、再生する画像データにだまし絵の座標情報が関連付けられているかどうかを判定する。だまし絵の座標情報が関連付けられている場合、だまし絵画像であるとしてステップＳ１１０２へ進む。だまし絵の座標情報が関連付けられていない場合、だまし絵画像ではないとしてステップＳ１１０４へ進む。
【００４６】
ステップＳ１１０２では画像に関連付けられただまし絵の座標情報を、記録部１１５から読み込む。ステップＳ１１０３では画像処理部１０５が、だまし絵の錯覚に使用する被写体領域を、ステップＳ１１０２で読み込んだだまし絵の座標情報を用いて検出し、その結果を記録部１１５へ記録する。なお、被写体領域検出方法の詳細は後述する。
【００４７】
ステップＳ１１０４では画像処理部１０５が、検出した被写体に基づいて画像の再構成と合成を行う。なお、画像の再構成・合成方法の詳細は後述する。ステップＳ１１０５では、再構成した画像をＥＶＦ上に表示する。
【００４８】
ステップＳ１１０６では、再生が終了したかを判定する。再生が終了するとは、ユーザーの再生モードの終了選択や、再生する画像の変更などの操作が行われることである。再生終了が選択された場合、処理を終了する。再生が終了されない場合、ステップＳ１１０７へ進む。
【００４９】
ステップＳ１１０７では、ユーザーがタッチ操作によりピントを合わせる被写体の選択を行い、ステップＳ１１０４へ進む。ステップＳ１１０７で選択された被写体に応じて、ステップＳ１１０４の処理が行われる。以上で、再生時の動作説明を終了する。
【００５０】
次にステップＳ１１０３における被写体領域検出方法の一例を図１２に示す。ここでは例として被写体Ａの領域を検出する方法を説明する。まず画像全体のリフォーカス面を前後に移動させた再構成画像のうち、コントラストＡＦによってタッチ点１００１の周辺が合焦している再構成画像を取得する。取得した画像に対してエッジ検出を行うことで、被写体Ａの領域が検出できる。ここで検出した被写体領域情報は、境界の座標全てを記録することで保持される。また、検出した全ての被写体領域のうち、最も面積が大きい被写体（画面に占める割合）を代表被写体とする。本実施形態では被写体Ａが代表被写体となる。
【００５１】
次に、ステップＳ１１０４における画像の再構成・合成方法の詳細について説明する。本実施形態において再構成される画像と、合成により得られる画像の例を図１３に示す。まず、代表被写体の焦点位置で画像を再構成する。本実施形態では被写体Ａの焦点位置で再構成された画像（基準画像）を取得する。取得した画像を図１３（ａ）に示す。
【００５２】
次にステップＳ１１０３で検出した被写体のうち、代表被写体以外の関連付けされた被写体の焦点位置で画像を再構成する。ここで代表被写体以外の関連付けされた被写体が複数あった場合は、その数だけ再構成画像を取得する。本実施形態では被写体Ｂの焦点位置で再構成された画像を取得する。取得した画像を図１３（ｂ）に示す。
【００５３】
ここで取得した図１３（ｂ）から、検出した被写体Ｂの領域を抽出して、図１３（ａ）の同じ領域に合成する。合成後の画像を図１３（ｃ）に示す。以上により画像の再構成・合成方法の説明を終了する。
【００５４】
ステップＳ１１０７では、画像の再構成を行う際に合焦させる対象をタッチ操作により選択する。タッチされた箇所が関連付けられた被写体領域内の場合は、タッチされた被写体を代表被写体として上記画像の再構成・合成を行う。また、タッチされた箇所が関連付けられた被写体領域外の場合は、タッチした点上の焦点位置で画像の再構成を行う。
【００５５】
以下、上記の第１の実施形態の変形例について説明する。図８のステップＳ８０１の被写体選択の操作、ステップＳ８０３の被写体選択完了の操作は、スイッチ群１１７に備わるスイッチを用いて操作するとしても良い。
【００５６】
図８において、ステップＳ８０１で被写体選択を行ってからステップＳ８０５で情報の記録を行うまでに、被写体が動いて被写体上から座標が外れてしまうことを避けるために、タッチした点の座標が被写体を追尾する構成としても良い。この構成の場合、タッチされた座標情報はステップＳ８０２で記録されず、追尾後の座標情報がステップＳ８０４で記録される。
【００５７】
また、図１１のステップＳ１１０３での被写体領域の検出は、距離情報算出の工程を備え、距離情報を用いて行うとしても良い。または、物体認識・人物認識の工程を備え、そこで得られた情報を用いて行うとしても良い。また、図１１のステップＳ１１０３で選択した被写体領域範囲内について、ＥＶＦ上で該当範囲を色付けして表示するとしても良い。また、図１１のステップＳ１１０３の被写体領域の検出は、座標情報を記録せず必要に応じて適宜検出する構成としても良い。
【００５８】
また、再生時の代表被写体の決定方法は、距離認識の工程を備え、最も撮像装置から近い被写体を代表被写体としても良い。または、個人認証の工程を備え、個人認証される被写体を代表被写体としても良い。または、人物認識の工程を備え、人物である方、または人物で無い方を代表被写体にするとしても良い。または、上記の組み合わせにて代表被写体を決定するとしても良い。
【００５９】
また、図１１のステップＳ１１０７において、タッチされた箇所が関連付けられた被写体領域外の場合に、関連付けられた被写体全てが同程度のぼけになるよう制御した画像を生成しても良い。また、一度再構成した画像を再度再生する際に、前回の再生終了時（図１１のステップＳ１１０６）に表示していた画像を表示するとしても良い。
【００６０】
以上のように、撮像時にだまし絵に使用する被写体を選択し関連付けておくことで、容易に意図しただまし絵画像を再構成することができる。
【００６１】
（第２の実施形態）
次に、第２の実施形態として、記録済みの撮像データに対し、再生時にだまし絵画像に再構成する場合について説明する。撮像装置の構成は第１の実施形態と同様のため、説明を省略する。また、本実施形態で説明する処理を行うためのモードを、以下だまし絵再生モードと呼ぶこととする。
【００６２】
図１４は記録済みの撮像データに対し、再生時にだまし絵画像に再構成する動作を示すフローチャートである。
【００６３】
ステップＳ１４０１では、だまし絵再生モードが選択されたかどうかを判定する。だまし絵再生モードが選択されている場合、ステップＳ１４０２へ進む。だまし絵再生モードが選択されていない場合、ステップＳ１４０６へ進む。
【００６４】
ステップＳ１４０２は、図８のステップＳ８０１と同じ処理のため説明を省略する。ステップＳ１４０３ではステップＳ１４０２でタッチした座標情報をだまし絵座標情報として画像に関連付けて記録部１１５へ記録する。
【００６５】
ステップＳ１４０４では、被写体選択が完了したかを判定する。完了していない場合はステップＳ１４０２に戻り再度被写体の選択を行う。完了した場合はステップＳ１４０５へ進む。またここで選択操作は、スイッチ群１１７に含まれるスイッチ操作により完了する。ステップＳ１４０５〜ステップＳ１４０９は、それぞれ図１１のステップＳ１１０３〜ステップＳ１１０７と同じ処理のため説明を省略する。
【００６６】
上記により、本実施形態を使用することで、だまし絵モードで撮像していない撮像データに対して、容易に意図しただまし絵画像への再構成が可能になる。
【００６７】
第１及び第２の実施形態においては、リフォーカス可能なライトフィールドデータとして、図３に示した撮影レンズ、マイクロレンズアレイ、撮像素子の構成にて取得されたデータを対象としたが、代わりに図１５に示す構成で取得したライトフィールドデータを用いてもよい。図１５の詳細は非特許文献２に記載されているのでここでは簡単に述べる。図３との違いは、図３の構成ではカメラのメインレンズがマイクロレンズアレイ１０２の平面に焦点が合うように調整されているのに対して、図１５ではマイクロレンズアレイ１０２の平面の手前の像面ＩＰ１に焦点が合うように調整されていることである。
【００６８】
また、第１及び第２の実施形態においては、リフォーカス可能なライトフィールドデータとして、図１に示す装置構成で取得したデータを対象としたが、代わりに図１６に示す装置構成で取得したライトフィールドデータを用いてもよい。この場合、光学系１０１ａ〜１０１ｃで屈折された光線は、それぞれに対応した撮像素子１０３ａ〜１０３ｃで受光される。撮像素子１０３ａ〜１０３ｃで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の画像を合わせることで、被写体空間における光の２次元強度分布と角度情報、つまりライトフィールドを得ることができる。図１６のような多眼構成のカメラからリフォーカス画像を得る方法については特許文献１等に記載されているのでここでは説明を省略する。
【００６９】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。撮像装置の構成は第１、第２の実施形態と同様のため、説明を省略する。この実施形態では、だまし絵にする画像を撮像する際の動作が第１の実施形態と異なるので、異なる部分についてのみ説明する。
【００７０】
図１８は、第３の実施形態における、だまし絵にする画像を撮像する際のフローチャートである。また、本実施形態で説明する処理を行うためのモードを、第１の実施形態と同様にだまし絵モードと呼ぶこととする。
【００７１】
撮像動作が開始され、だまし絵モードが選択されたら、ステップＳ１８０１では、ユーザがだまし絵に使用する被写体の選択を行う。選択操作は表示部１０６に備わるタッチパネルの操作により行う。
【００７２】
ステップＳ１８０１での、被写体を選択する方法は既に図９を用いて説明した方法と同様であり、被写体Ａを選択したい場合は、ＥＶＦ９０２上の被写体Ａの領域に含まれる一点を、指９０１でタッチして選択する。次にステップＳ１８１０へ進む。
【００７３】
ステップＳ１８１０では、ステップＳ１８０１でタッチした点までの被写体距離を算出し、ステップＳ１８１１へ進む。距離の算出に関しては、前述した瞳分割位相差を用いることで可能なので、説明は省略する。
【００７４】
次に、ステップＳ１８１１で算出した被写体距離に合焦可能かを判定する。詳細な判定方法は後述するが、合焦可能であればステップＳ１８０２へ進み、合焦不可能（リフォーカス可能範囲外）であればステップＳ１８１２へ進む。
【００７５】
ステップＳ１８１２では、図１９のように、選択した被写体が合焦不可能な範囲に存在することを示す警告文（メッセージ）１９００を、表示部１０６に表示する。そして、ステップＳ１８０１に戻り、再度被写体選択を行う。
【００７６】
ステップＳ１８０２ではステップＳ１８０１でタッチした点の座標情報を記録部１１５へ記録する。ステップＳ１８０３では、だまし絵の錯覚に使用する被写体の選択が全て完了したかを判定する。完了していない場合はステップＳ１８０１に戻り再度被写体の選択を行う。完了した場合はステップＳ１８０４へ進む。ここで選択操作は、スイッチ群１１７に含まれるシャッターボタンの半押し（いわゆるＳＷ１）で完了する。
【００７７】
ステップＳ１８０３で保持する座標情報の例は、既に図１０に示したものと同様である。ＥＶＦ９０２上にて、被写体Ａ上のタッチ点１００１の座標が（ｘ１，ｙ１）、被写体Ｂ上のタッチ点１００２の座標が（ｘ２，ｙ２）となるとき、上記２点の座標情報がステップＳ１８０５にて撮像データに関連付けて記録される。
【００７８】
ステップＳ１８０４では、スイッチ群１１７に含まれるシャッターボタンの全押し（いわゆるＳＷ２）により、ライトフィールド画像の撮像処理を行う。ステップＳ１８０５では、ステップＳ１８０４で撮像した撮像データに、ステップＳ１８０３で記録した座標情報を、だまし絵の座標情報として関連付け、記録部１１５へ記録する。以上でだまし絵画像に使用する撮像データの取得が完了する。
【００７９】
次に、ステップＳ１８１１で述べた、算出した被写体距離に合焦可能かどうかの判定方法について、図２０を参照して詳細に説明する。撮像装置の最短撮影距離をＷＤとすると、被写体距離ＤとＷＤが以下の式（５）を満たす場合、合焦不可能になる。
【００８０】
Ｄ＜ＷＤ        …（５）
ここで図２０の被写体Ａは、式（５）を満たすため合焦不可能と判定される。このようにすることで、選択された被写体Ａが合焦可能かどうかを判定することができる。ここで、合焦可能かどうかの判定方法は前述の方法に限定されない。例えば、ＷＤ近辺に合焦するように撮像装置の設定を行った場合、無限遠等の遠くの距離に合焦できなくなるということは容易に想像でき、種々の変形及び変更が可能である。
【００８１】
また、ステップＳ１８１２において、図１９のように警告文１９００を表示したが、表示方法はこれに限定されない。例えば、警告文１９００だけでなく、合焦不可能な被写体を強調表示してもよいし、撮影者に少し下がるように指示を出してもよい。また、ＷＤの距離に焦点を合わせ、絞りを絞ることで、少しでも被写体Ａに焦点が合った画像を作成してだまし絵を作成するなど、種々の変形が可能である。
【００８２】
以上のように、本実施形態によれば、だまし絵にする画像を撮像する際に、錯覚に利用する被写体が合焦範囲外にいる場合は、ユーザに警告してそれを教えることが可能となる。
【００８３】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。撮像装置の構成は第１〜第３の実施形態と同様のため、説明を省略する。この実施形態は、再生時にだまし絵画像に再構成する際の動作が第２の実施形態と異なるので、異なる部分についてのみ説明する。また、本実施形態で説明する処理を行うためのモードを、第２の実施形態と同様にだまし絵再生モードと呼ぶこととする。
【００８４】
図２１は、記録済みの撮像データに対し、再生時にだまし絵画像に再構成する際のフローチャートである。
【００８５】
ステップＳ２１０１では、だまし絵再生モードが選択されたかどうかを判定する。だまし絵再生モードが選択されている場合、ステップＳ２１０２へ進む。だまし絵再生モードが選択されていない場合、ステップＳ２１０６へ進む。
【００８６】
ステップＳ２１０２は、図１８のステップ１８０１と同じ処理のため説明を省略する。次に、ステップＳ２１１０へ進む。ステップＳ２１１０〜ステップＳ２１１２は、それぞれ図１８のステップＳ１８１０〜ステップＳ１８１２と同じ処理のため説明を省略する。
【００８７】
ステップＳ２１０３ではステップＳ２１０２でタッチした座標情報をだまし絵座標情報として画像に関連付けて記録部１１５へ記録する。
【００８８】
ステップＳ２１０４では、被写体選択が完了したかを判定する。完了していない場合はステップＳ２１０２に戻り再度被写体の選択を行う。完了した場合はステップＳ２１０５へ進む。またここで選択操作は、スイッチ群１１７に含まれるスイッチ操作により完了する。ステップＳ２１０５〜ステップＳ２１０９は、それぞれ図１１のステップＳ１１０３〜ステップＳ１１０７と同じ処理のため説明を省略する。
【００８９】
上記により、本実施形態を使用することで、だまし絵モードで撮像していない撮像データに対して、容易に意図しただまし絵画像への再構成が可能になる。また、錯覚に利用する被写体が合焦範囲外にいる場合は、ユーザに警告してそれを教えることが可能となる。
【００９０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2014157425.tif 000006
【図２】
2014157425.tif 000007
【図３】
2014157425.tif 000008
【図４】
2014157425.tif 000009
【図５】
2014157425.tif 000010
【図６】
2014157425.tif 000011
【図７】
2014157425.tif 000012
【図８】
2014157425.tif 000013
【図９】
2014157425.tif 000014
【図１０】
2014157425.tif 000015
【図１１】
2014157425.tif 000016
【図１２】
2014157425.tif 000017
【図１３】
2014157425.tif 000018
【図１４】
2014157425.tif 000019
【図１５】
2014157425.tif 000020
【図１６】
2014157425.tif 000021
【図１７】
2014157425.tif 000022
【図１８】
2014157425.tif 000023
【図１９】
2014157425.tif 000024
【図２０】
2014157425.tif 000025
【図２１】
2014157425.tif 000026