(57)【要約】【課題】拡大表示や縮小表示に係る操作後に表示させたい再構成画像の焦点状態を容易に変更する。【解決手段】画像処理装置は、生成される再構成画像において合焦させる焦点位置を、拡大表示に係る命令がなされた場合に、焦点位置を変更することが設定されている場合は、拡大表示を行う領域の被写体に合焦する焦点位置に決定する。また、拡大表示に係る命令がなされた場合に、焦点位置を変更することが設定されていない場合は、現在表示されている再構成画像について決定した焦点位置と同一の焦点位置に決定する。また、縮小表示に係る命令がなされた場合に、焦点位置を変更することが設定されている場合は、拡大表示を行う前に表示されていた再構成画像について決定した焦点位置と同一の焦点位置に決定する。そして、縮小表示に係る命令がなされた場合に、焦点位置を変更することが設定されていない場合は、現在表示されている再構成画像について決定した焦点位置と同一の焦点位置に決定する。【選択図】図６
2015158736.tif 000002
【特許請求の範囲】
【請求項１】
複数の焦点位置の再構成画像を生成可能な画像信号を取得する取得手段と、
前記取得手段によって取得される画像信号から再構成画像を生成する生成手段と、
前記再構成画像を表示媒体に表示させる表示手段と、
操作入力を受け付ける受付手段と、
前記受付手段により受け付けられた操作入力に応じて、前記表示手段により前記再構成画像を拡大表示または縮小表示させる際に、前記表示手段により表示させている再構成画像に対応する画像を前記表示手段に拡大表示または縮小表示させるか、前記表示手段により表示させている再構成画像とは焦点位置の異なる再構成画像を前記生成手段に生成させて前記表示手段に拡大表示または縮小表示させるかを制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記表示手段により表示させている再構成画像とは焦点位置の異なる再構成画像を前記生成手段に生成させて前記表示手段に拡大表示させる場合、前記表示手段により表示させている再構成画像の中で前記拡大表示の対象となる領域の被写体に合焦する焦点位置の再構成画像を生成させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、再構成画像が前記表示手段により拡大表示されている状態で該再構成画像を縮小表示する場合、前記拡大表示が行われる前の焦点位置の再構成画像を前記表示手段により表示させることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記受付手段により所定の操作入力が受け付けられている場合に拡大表示または縮小表示の命令を受け付けたとき、前記表示手段により表示させている再構成画像に対応する画像を前記表示手段に拡大表示または縮小表示させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記制御手段は、前記受付手段により所定の操作入力が受け付けられている場合に拡大表示または縮小表示の命令を受け付けたとき、前記表示手段により表示させている再構成画像とは焦点位置の異なる再構成画像を前記生成手段に生成させて前記表示手段に拡大表示または縮小表示させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記受付手段はタッチ入力を受け付けるセンサであることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記受付手段は、ピンチアウト及びピンチインの動作によって前記拡大表示及び前記縮小表示の命令を受け付けることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記縮小表示は、前記拡大表示により変更された表示倍率を該変更の前の表示倍率に戻す命令であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
再構成画像から特定の被写体を検出する被写体検出手段をさらに有し、
前記制御手段は、前記表示手段に表示させている再構成画像において前記被写体検出手段により前記特定の被写体が検出されている場合に、拡大表示または縮小表示する際に再構成画像において合焦させる焦点位置を変更することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記制御手段は、前記受付手段により受け付けた操作入力に応じて、前記表示手段により前記再構成画像を拡大表示または縮小表示させる際に、
拡大表示する際に合焦させる焦点位置を変更することが設定されている場合は、拡大表示を行う領域の被写体に合焦する焦点位置に決定し、
拡大表示する際に合焦させる焦点位置を変更しないことが設定されている場合は、前記表示手段に現在表示されている再構成画像について決定した焦点位置と同一の焦点位置に決定し、
縮小表示する際に合焦させる焦点位置を変更することが設定されている場合は、拡大表示を行う前に前記表示手段に表示されていた再構成画像について決定した焦点位置と同一の焦点位置に決定し、
縮小表示する際に合焦させる焦点位置を変更しないことが設定されている場合は、前記表示手段に現在表示されている再構成画像について決定した焦点位置と同一の焦点位置に決定する
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
複数の焦点位置の再構成画像を生成可能な画像信号を取得する取得手段と、
前記取得手段によって取得される画像信号から再構成画像を生成する生成手段と、
前記生成手段により生成される再構成画像において合焦させる焦点位置を決定する決定手段と、
再構成画像の所定の領域の拡大表示に係る命令、または拡大表示された再構成画像の縮小表示に係る命令を取得する取得手段と、
前記生成手段により生成された再構成画像を表示手段に表示させる表示制御手段と、を有し、
前記決定手段は、生成される再構成画像の焦点位置を、
前記取得手段により前記拡大表示に係る命令が取得された場合は、拡大表示を行う領域の被写体に合焦する焦点位置に決定し、
前記取得手段により前記縮小表示に係る命令が取得された場合は、拡大表示を行う前に前記表示手段に表示されていた再構成画像について決定した焦点位置と同一の焦点位置に決定し、
前記表示制御手段は、前記決定手段により決定された焦点位置に基づいて前記生成手段により生成された再構成画像を、前記表示手段に表示させる
ことを特徴とする画像処理装置。
【請求項１２】
複数の焦点位置の再構成画像を生成可能な画像信号を取得する取得手段と、
前記取得手段によって取得される画像信号から再構成画像を生成する生成手段と、
前記生成手段により生成される再構成画像において合焦させる焦点位置を決定する決定手段と、
再構成画像の所定の領域の拡大表示に係る命令、または拡大表示された再構成画像の縮小表示に係る命令を取得する取得手段と、
前記生成手段により生成された再構成画像を表示手段に表示させる表示制御手段と、を有し、
前記決定手段は、生成される再構成画像の焦点位置を、
前記取得手段により前記拡大表示に係る命令が取得された場合は、拡大表示を行う領域の被写体に合焦する焦点位置に決定し、
前記取得手段により前記縮小表示に係る命令が取得された場合は、前記表示手段に現在表示されている再構成画像について決定した焦点位置と同一の焦点位置に決定し、
前記表示制御手段は、前記決定手段により決定された焦点位置に基づいて前記生成手段により生成された再構成画像を、前記表示手段に表示させる
ことを特徴とする画像処理装置。
【請求項１３】
複数の焦点位置の再構成画像を生成可能な画像信号を取得する取得手段と、
前記取得手段によって取得される画像信号から再構成画像を生成する生成手段と、
前記生成手段により生成される再構成画像において合焦させる焦点位置を決定する決定手段と、
再構成画像の所定の領域の拡大表示に係る命令、または拡大表示された再構成画像の縮小表示に係る命令を取得する取得手段と、
前記生成手段により生成された再構成画像を表示手段に表示させる表示制御手段と、を有し、
前記決定手段は、生成される再構成画像の焦点位置を、
前記取得手段により前記拡大表示に係る命令が取得された場合は、前記表示手段に現在表示されている再構成画像について決定した焦点位置と同一の焦点位置に決定し、
前記取得手段により前記縮小表示に係る命令が取得された場合は、前記表示手段に現在表示されている再構成画像について決定した焦点位置と同一の焦点位置に決定し、
前記表示制御手段は、前記決定手段により決定された焦点位置に基づいて前記生成手段により生成された再構成画像を、前記表示手段に表示させる
ことを特徴とする画像処理装置。
【請求項１４】
複数の焦点位置の再構成画像を生成可能な画像信号を取得する取得手段と、
前記取得手段によって取得される画像信号から再構成画像を生成する生成手段と、
前記生成手段により生成される再構成画像において合焦させる焦点位置を決定する決定手段と、
再構成画像の所定の領域の拡大表示に係る命令、または拡大表示された再構成画像の縮小表示に係る命令を取得する取得手段と、
前記生成手段により生成された再構成画像を表示手段に表示させる表示制御手段と、を有し、
前記決定手段は、生成される再構成画像の焦点位置を、
前記取得手段により前記拡大表示に係る命令が取得された場合は、前記表示手段に現在表示されている再構成画像について決定した焦点位置と同一の焦点位置に決定し、
前記取得手段により前記縮小表示に係る命令が取得された場合は、拡大表示を行う前に前記表示手段に表示されていた再構成画像について決定した焦点位置と同一の焦点位置に決定し、
前記表示制御手段は、前記決定手段により決定された焦点位置に基づいて前記生成手段により生成された再構成画像を、前記表示手段に表示させる
ことを特徴とする画像処理装置。
【請求項１５】
複数の焦点位置の再構成画像を生成可能な画像信号を取得する取得手段と、
前記取得手段によって取得される画像信号から再構成画像を生成する生成手段と、を有する画像処理装置の制御方法であって、
表示手段が、前記再構成画像を表示媒体に表示させる表示工程と、
受付手段が、操作入力を受け付ける受付工程と、
制御手段が、前記受付工程において受け付けられた操作入力に応じて、前記表示手段により前記再構成画像を拡大表示または縮小表示させる際に、前記表示工程において表示させている再構成画像に対応する画像を拡大表示または縮小表示させるか、前記表示工程において表示させている再構成画像とは焦点位置の異なる再構成画像を前記生成手段に生成させて拡大表示または縮小表示させるかを制御する制御工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１６】
コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１７】
請求項１６に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、制御方法、プログラム、及び記録媒体に関し、特に撮影後に撮影データから任意の焦点位置の被写体に合焦した画像を生成する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の焦点位置に合焦した画像を生成する技術が提案されている。
【０００３】
非特許文献１では、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法（Light Field Photography）が開示されている。このようにして得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。
【０００４】
ＬＦデータからは、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、任意の焦点位置を設定し、該焦点位置の焦点面における１点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の焦点位置に合焦した画像のピクセルを擬似的に生成（再構成）することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ren. Ng、外７名著、「Light Field Photography with a Hand-Held Plenoptic Camera」、Stanford Tech Report CTSR 2005-02、2005年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、表示装置を用いて行われる一般的な画像閲覧では、ユーザは任意の領域を拡大し、該領域の被写体の撮影状態を確認することができる。通常の撮像装置により撮影された画像は、撮影時の光学系の設定条件等によって被写体の焦点状態、即ち鮮鋭度が決定されるため、ユーザが画像の領域を拡大することで該領域の被写体の詳細を認識できるか否かは焦点状態によって左右される。
【０００７】
一方で、撮影により得られたＬＦデータからは、任意の焦点位置に合焦した再構成画像を生成することができるため、例えば再構成画像の特定の領域を拡大した場合に該領域の被写体に合焦した再構成画像を拡大して提示することもできる。
【０００８】
しかしながら、拡大により被写体の撮影状態を確認するという操作は、期待される効果がユーザによって異なる可能性がある。例えば、ポートレートのような、主被写体以外の被写体をぼかした状態の再構成画像をユーザがＬＦデータから出力させたい場合、被写体が所望のぼけ状態にあることの確認用途として、拡大表示が使用される可能性がある。また例えば、特定の被写体が被写界深度に含まれない再構成画像をユーザがＬＦデータから出力させたい場合、該被写体が視認できないことの確認用途として、拡大表示が使用される可能性もある。このように、拡大表示した領域の被写体に合焦させた画像を生成することは、必ずしもユーザの操作意図に合致するわけではなかった。
【０００９】
また、例えばユーザが所定の領域の被写体の詳細を確認したい場合には、該被写体に合焦した画像が拡大表示時に提示されることが好ましいが、その後元の倍率に戻す操作が行われた際に提示が期待される再構成画像もユーザによって異なる可能性がある。例えば、ユーザが単に被写体の詳細の確認のみが目的であった場合には、元の倍率に戻すための縮小操作が行われた後に拡大前の焦点状態の再構成画像が提示されることが好ましい。その一方、例えば拡大表示によりユーザが合焦させたい被写体を発見し、合焦するように焦点状態を変更した場合には、縮小操作が行われた後には、拡大表示時と同様の焦点状態の再構成画像が提示されることが好ましい。
【００１０】
本発明は、上述の問題点に鑑みてなされたものであり、拡大表示や縮小表示に係る操作後に表示させたい再構成画像の焦点状態を容易に変更可能な画像処理装置、制御方法、プログラム、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、複数の焦点位置の再構成画像を生成可能な画像信号を取得する取得手段と、取得手段によって取得される画像信号から再構成画像を生成する生成手段と、再構成画像を表示媒体に表示させる表示手段と、操作入力を受け付ける受付手段と、受付手段により受け付けられた操作入力に応じて、表示手段により再構成画像を拡大表示または縮小表示させる際に、表示手段により表示させている再構成画像に対応する画像を表示手段に拡大表示または縮小表示させるか、表示手段により表示させている再構成画像とは焦点位置の異なる再構成画像を生成手段に生成させて表示手段に拡大表示または縮小表示させるかを制御する制御手段と、を有することを特徴とする。
【発明の効果】
【００１２】
このような構成により本発明によれば、拡大表示や縮小表示に係る操作後に表示させたい再構成画像の焦点状態を容易に変更することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図
【図２】本発明の実施形態に係るマイクロレンズアレイ１０５と撮像部１０６の関係を説明するための図
【図３】本発明の実施形態に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図
【図４】本発明の実施形態に係る射出瞳３０１の各領域と、各マイクロレンズに対応付けられた光電変換素子との対応を示した図
【図５】本発明の実施形態に係る再構成面における特定位置を通過する光束の、撮像面における通過位置との関係を説明するための図
【図６】本発明の実施形態に係るデジタルカメラ１００で実行される表示拡大縮小処理を例示したフローチャート
【発明を実施するための形態】
【００１４】
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にＬＦデータから任意の焦点位置に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の焦点位置に合焦した画像を生成することが可能な任意の機器に適用可能である。
【００１５】
また、本明細書において、以下の用語を定義して説明する。
【００１６】
・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０６から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系１０４の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。
【００１７】
・「再構成画像」
ＬＦデータから生成される、任意の焦点位置に合焦した画像。具体的には生成する焦点位置に対応する焦点面（再構成面）での画素配置に従って、各画素を通過する光束に対応するＬＦデータの画素を合成することで該画素の画素値を得る。対応する画素は、再構成面に撮像素子が存在した場合に各画素に入射する光束の入射方向の情報に基づいて特定される。
【００１８】
《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
【００１９】
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２に記憶されている、後述する撮影処理あるいはリフォーカス動画生成処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。
【００２０】
ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。
【００２１】
ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。
【００２２】
撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、制御部１０１の指示により不図示のタイミングジェネレータ（ＴＧ）から出力されるタイミング信号を受けて、撮像光学系１０４により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系１０４は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０４と撮像素子との間にマイクロレンズアレイ１０５を有する。
【００２３】
〈マイクロレンズと光電変換素子との関係〉
ここで、本実施形態のデジタルカメラ１００において、光軸上の撮像光学系１０４と撮像素子との間に設けられたマイクロレンズアレイ１０５について、図を用いて説明する。
【００２４】
図２に示すように、本実施形態のマイクロレンズアレイ１０５は複数のマイクロレンズ２０１で構成される。図２では、撮像光学系１０４の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０５は５行５列に並んだマイクロレンズ２０１で構成されるものとして説明するが、マイクロレンズアレイ１０５の構成はこれに限られるものではない。
【００２５】
また図２では、撮像部１０６を構成する撮像素子の光電変換素子２０２が格子で示されている。各マイクロレンズ２０１には、所定数の光電変換素子２０２が対応づけられており、図２の例では１つのマイクロレンズ２０１に対して５×５＝２５画素の光電変換素子２０２が対応づけられている。１つのマイクロレンズ２０１を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子２０２に結像される。
【００２６】
図３は、１つのマイクロレンズ２０１に対応する光電変換素子２０２ｐ１乃至ｐ５に入射する光束を図示している。図３において、上方向は鉛直上向き方向に対応している。図では、デジタルカメラ１００が横位置にある状態における、横方向から見た、各光電変換素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０２ｐ１乃至ｐ５には、１つのマイクロレンズ２０１を介して、撮像光学系１０４の射出瞳３０１を垂直方向に５分割した領域ａ１乃至ａ５を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子２０２との対応関係を示している。
【００２７】
なお、図３の例では横方向から見た、各光電変換素子２０２に入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系１０４の射出瞳３０１を撮像素子側から見て図４（ａ）のような領域に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０２のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系１０４とマイクロレンズアレイ１０５の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。
【００２８】
ＡＦＥ１０７及びＤＦＥ１０８は、撮像部１０６により生成された画像信号に対する補正処理等を行う。具体的にはＡＦＥ１０７は、撮像部１０６から出力されたアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、ＬＦデータをＤＦＥ１０８に出力する。ＤＦＥ１０８は、入力されたＬＦデータに対して微少な基準レベルのずれ等を補正する。
【００２９】
画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、色変換処理等の各種画像処理を適用する。また本実施形態では画像処理部１０９は、ＬＦデータから任意の焦点位置に合焦する画像（再構成画像）の生成する処理も行う。再構成画像の生成は、例えば上述した非特許文献１に示されるような「Light Field Photography」の手法を用いればよい。
【００３０】
〈再構成画像の生成方法〉
ここで、特定の焦点位置の被写体に合焦した再構成画像の生成方法の概要について、図を用いて説明する。
【００３１】
まず、撮影範囲に含まれる特定の被写体に合焦する焦点位置については、以下の方法で取得可能である。まず画像処理部１０９は、ＬＦデータから異なる分割瞳領域を通過した２つの光束に対応する画像を生成し、該画像間における特定の被写体の像の差異（デフォーカス量）を検出する。このように検出されたデフォーカス量に基づき、制御部１０１は特定の被写体に合焦する焦点位置を算出可能である。
【００３２】
図４（ｂ）の例では各マイクロレンズについて、対応する画素のうち第１列及び第２列の画素の画素値を加算することにより生成される、射出瞳３０１の左半分の分割瞳領域に対応するＡ像を生成することができる。また対応する画素のうち第４列及び第５列の画素の画素値を加算することにより生成される、射出瞳３０１の右半分の分割瞳領域に対応するＢ像を生成することができる。即ち、これを式で表すと
2015158736.tif 000003
のようになる。このように得られた２種類の再構成画像は、それぞれ対応する分割瞳領域の重心位置を光軸とする画像である。
【００３３】
つまり、２種類の再構成画像は光軸のずれによる像のずれを有しているため、２つの画像について相関演算を行うことで、各被写体について像のずれ量（瞳分割位相差）を検出することができる。このように得られた像のずれ量から、ＬＦデータの撮影範囲に含まれる各被写体について合焦する焦点位置を解析することができ、例えば特定の被写体に合焦する再構成画像を付加画像として生成することができる。
【００３４】
次に、特定の焦点位置の被写体に合焦する再構成画像の生成について説明する。本実施形態のデジタルカメラ１００では、上述したように１つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる分割瞳領域を通過した光束を受光する。これは、マイクロレンズアレイ１０５の全マイクロレンズについて同様である。また各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。
【００３５】
このため以下では、撮影により得られたＬＦデータの各画素に入射した光束の光路を、射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、対応するマイクロレンズの位置座標（ｘ’，ｙ’）として各光束を規定して説明する。再構成画像の生成においては、再構成画像を生成する任意の焦点位置に対応する再構成面上の画素（ｘ，ｙ）について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。
【００３６】
図５ではデジタルカメラ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されている。以下ではｘｚ平面における、再構成面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。
【００３７】
瞳領域の座標（ｕ，ｖ）、再構成面上の画素座標を（ｘ，ｙ）とすると、この瞳分割領域と再構成面上の画素を通過する光束が入射するマイクロレンズアレイ１０５上のマイクロレンズの位置座標（ｘ’，ｙ’）は、
2015158736.tif 000004
で表される。なお、Ｆは撮像レンズからマイクロレンズアレイまでの距離、αＦは撮影レンズから再構成面までの距離（αはリフォーカス係数：再構成面までの距離を決定するための可変係数）である。
【００３８】
また該光束が受光される光電変換素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、再構成面上に形成される画像の座標（ｘ，ｙ）の画素出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、
2015158736.tif 000005
で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。
【００３９】
表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示媒体である。表示部１１０は、画像処理部１０９により生成された、任意の焦点位置に合焦した画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１０には、ＬＦデータではなく画像処理部１０９により生成された画像データが表示される。なお、本実施形態では画像処理装置の一例としてデジタルカメラ１００を用いて説明するため、表示部１１０はデジタルカメラ１００に一体となって構成されるものとして説明するが、本発明の実施はこれに限られるものではない。即ち、画像処理装置において生成された再構成画像は、画像処理装置に接続された外部の表示装置に表示されるように表示制御されてよく、該表示装置は画像処理装置と一体となっている必要がないことは容易に理解されよう。
【００４０】
記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された任意の焦点位置に合焦する画像が記録される。
【００４１】
操作入力部１１２は、例えば電源ボタンやシャッタボタン等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１１２は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号や命令を制御部１０１に出力する。
【００４２】
また、本実施形態の表示部１１０は、タッチ入力を検出するタッチパネルディスプレイであり、操作入力部１１２は、タッチ検出を行ったセンサからの信号出力の受付及びタッチ入力による操作の解析を行い、対応する命令を制御部１０１に出力する。本実施形態の操作入力部１１２は、例えば表示部１１０の表示領域内になされた２点のタッチ入力の間隔が順次増大した（ピンチアウト）ことを検出した場合に、拡大表示に係る操作がなされたものと判断する。また操作入力部１１２は、例えば表示領域内になされた２点のタッチ入力の間隔が順次減少した（ピンチイン）ことを検出した場合に、縮小表示に係る操作がなされたものと判断する。
【００４３】
《表示拡大縮小処理》
このような構成をもつ本実施形態のデジタルカメラ１００の表示拡大縮小処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本表示拡大縮小処理は、例えばデジタルカメラ１００が閲覧モードで起動され、記録媒体１１１に記録されているＬＦデータから、１つの焦点位置に対応する被写体に合焦する再構成画像が生成されて表示された際に開始されるものとして説明する。また、以下の説明では簡単のため、再構成画像の縮小表示は拡大表示がなされた後に行われるものとして説明するが、本発明の実施はこれに限られるものではない。
【００４４】
Ｓ６０１で、制御部１０１は、再構成画像を拡大表示する指示がなされたか否かを判断する。具体的には制御部１０１は、操作入力部１１２から拡大表示がなされたことを示す制御信号を受信したか否かを判断することで、本ステップの判断を行う。制御部１０１は、再構成画像を拡大表示する指示がなされたと判断した場合は、制御信号に含まれる例えば拡大表示後に中心となる画像上の座標、及び拡大表示後に係る表示倍率の情報を、拡大表示パラメータとしてＲＡＭ１０３に格納して、処理をＳ６０２に移す。また制御部１０１は、再構成画像を拡大表示する指示がなされていないと判断した場合は、本ステップの処理を繰り返す。
【００４５】
Ｓ６０２で、制御部１０１は、現在のデジタルカメラ１００の状態が、再構成画像を拡大表示する際に合焦させる焦点位置を変更する設定となっているか否かを判断する。本実施形態のデジタルカメラ１００では、ユーザは表示部１１０の表示領域内の所定の領域に、拡大表示に係るタッチ入力とは別のタッチ入力がなされている間、拡大表示または縮小表示する際に合焦させる焦点位置を変更するものとして制御する。このことは、例えば制御部１０１が操作入力部１１２から該タッチ入力に対応する制御信号を受信している間、ＲＡＭ１０３に格納されている論理型の情報（焦点変更フラグ）を真（true）に設定しておき、本ステップにおいて該情報を参照すればよい。なお、本実施形態では拡大表示する際に合焦させる焦点位置を変更するか否かを所定のタッチ入力の有無により切り替えるものとして説明するが、該切り替えはタッチ入力に限らず、その他の操作入力に応じて切り替えられるものであってよい。該切り替えは、例えば閲覧モードにおける設定変更に係る操作入力がなされたことに応じて行われるものであってもよいが、ユーザによる該切り替えを容易ならしめるために、拡大表示や縮小表示の操作入力とともに入力しやすい、単純な操作によることが好ましい。当然、切替は所定のスイッチやボタン等の操作部材への入力によってなされるものであってもよい。制御部１０１は、拡大表示する際に合焦させる焦点位置を変更する設定がなされていると判断した場合は処理をＳ６０４に移し、なされていないと判断した場合は処理をＳ６０３に移す。
【００４６】
Ｓ６０３で、画像処理部１０９は制御部１０１の制御の下、表示部１１０に現在表示されている再構成画像の生成に用いた焦点位置について再構成画像を生成する。そして画像処理部１０９は、拡大表示パラメータにより示される拡大対象の領域の画像を抽出し、指定された表示倍率に拡大した拡大画像を生成する。なお、現在表示されている再構成画像が、再利用可能な形態で例えば不図示の画像メモリに存在する場合は、該画像を使用して拡大画像を生成してもよいことは言うまでもない。
【００４７】
一方、Ｓ６０２において拡大表示する際に合焦させる焦点位置を変更する設定がなされていると判断した場合、制御部１０１はＳ６０４で次のように処理する。制御部１０１は、表示部１１０に現在表示されている再構成画像について、その生成に使用した焦点位置の情報を含む、種々の画像生成パラメータをＲＡＭ１０３に格納する。
【００４８】
Ｓ６０５で、制御部１０１は、拡大表示パラメータを参照し、拡大対象の領域に含まれる被写体に合焦する焦点位置を特定する。本実施形態のデジタルカメラ１００では、焦点変更フラグが真である際に拡大表示を行う場合、拡大表示後に表示される領域（拡大対象の領域）に含まれる被写体に合焦する再構成画像に表示を変更する。なお、拡大対象の領域に含まれる被写体に合焦する焦点位置とは、例えば該領域の中心に存在する被写体に合焦する焦点位置であってもよい。あるいは、該領域の画素ごとに対応する被写体を撮影時のデジタルカメラ１００との距離に分類した場合に、最も多くの被写体（画素）が分類される距離範囲に基づいて決定してもよい。つまり、本ステップにおいて特定される焦点位置は、該焦点位置に基づいて再構成画像を生成した場合に、該領域内に含まれるいずれかの被写体に合焦するものであれば、その特定に係る基準はいずれであってもよい。なお、焦点位置の特定にあたっては、上述したような像ずれ量に基づく方式により算出された各被写体の距離が用いられてよい。
【００４９】
Ｓ６０６で、画像処理部１０９は制御部１０１の制御の下、Ｓ６０５において特定された焦点位置の被写体に合焦する焦点位置に基づいて、該焦点位置の被写体に合焦した再構成画像をＬＦデータから新たに生成する。そして該再構成画像から拡大対象の領域の画像を抽出し、指定された表示倍率に拡大した拡大画像を生成する。
【００５０】
Ｓ６０７で、制御部１０１は、画像処理部１０９により生成された拡大画像を表示部１１０に伝送し、表示させる。
【００５１】
以下、このような処理により表示部１１０に拡大表示された再構成画像が表示された後の処理について説明する。
【００５２】
Ｓ６０８で、制御部１０１は、拡大表示された再構成画像を縮小表示する指示がなされたか否かを判断する。なお、本実施形態では、拡大表示された後に縮小表示の指示がなされた場合には、拡大表示前の元の表示倍率に戻すものとして説明するが、本発明の実施はこれに限られず、縮小により元の表示倍率とは異なる他の表示倍率に縮小されてもよい。制御部１０１は、拡大表示された再構成画像を縮小表示する指示がなされたと判断した場合は処理をＳ６０９に移し、なされていないと判断した場合は本ステップの処理を繰り返す。
【００５３】
Ｓ６０９で、制御部１０１は、現在のデジタルカメラ１００の状態が、拡大表示した再構成画像を縮小表示する際に合焦させる焦点位置を変更する設定となっているか否かを判断する。即ち、制御部１０１は、ＲＡＭ１０３に格納されている焦点変更フラグを参照し、真となっているか否かを判断する。なお、本実施形態では、拡大表示する際に焦点位置を変更するか否かと縮小表示する際に焦点位置を変更するか否かとは同一の操作入力がなされているか否かにより判断するものとして説明するが、それぞれ異なる操作入力に基づくものであってもよい。制御部１０１は、縮小表示する際に合焦させる焦点位置を変更する設定がなされていると判断した場合は処理をＳ６１１に移し、なされていないと判断した場合は処理をＳ６１０に移す。
【００５４】
Ｓ６１０で、画像処理部１０９は制御部１０１の制御の下、表示部１１０に現在表示されている拡大画像を抽出した再構成画像の生成に用いた焦点位置について再構成画像を生成する。即ち、本ステップにおいて生成される再構成画像は、拡大表示されている再構成画像と同様の焦点状態の画像である。従って、例えば拡大表示時に合焦させる焦点位置の変更がなされた場合は、縮小時にはその変更が維持された状態の再構成画像が表示部１１０に表示されることになる。なお、現在表示されている拡大画像を抽出した再構成画像が、再利用可能な形態で例えば不図示の画像メモリに存在する場合は、該画像を使用してもよいことは言うまでもない。
【００５５】
一方、Ｓ６０９において縮小表示する際に合焦させる焦点位置を変更する設定がなされていると判断した場合、制御部１０１はＳ６１１で、拡大表示を行う前に表示部１１０に表示されていた再構成画像の生成に用いた焦点位置の情報を取得する。具体的には制御部１０１は拡大表示前に表示されていた再構成画像についての画像生成パラメータをＲＡＭ１０３から読み出し、該情報を取得する。なお、本表示拡大縮小処理では画像生成パラメータはＳ６０４において格納される、即ち拡大表示時に焦点位置の変更がなされる場合にのみ格納されるものとして説明しているため、拡大表示時に焦点位置の変更がなされなかった場合には存在しない。これは、拡大表示時に焦点位置の変更がなされない場合は、拡大画像の生成時にも、拡大表示前に使用したものと同一のパラメータを使用して画像処理部１０９が再構成画像を生成するため、画像処理部１０９が該パラメータを保持していることによる。しかし、本発明の実施はこれに限られず、拡大表示時に焦点位置の変更がなされるか否かによらず、拡大表示の指示がなされた際には画像生成パラメータをＲＡＭ１０３に格納するように構成してもよい。このようにすることで、例えば拡大表示後に合焦させる焦点位置の変更がなされたとしても、拡大表示前の画像生成パラメータを参照可能にできる。また、拡大表示前ではなく、拡大表示後に合焦させる焦点位置の変更がなされる際に、該画像生成パラメータを格納するようにしてもよい。
【００５６】
Ｓ６１２で、画像処理部１０９は制御部１０１の制御の下、拡大表示を行う前に表示部１１０に表示されていた再構成画像の生成に用いた焦点位置に基づいて、該焦点位置の被写体に合焦した再構成画像をＬＦデータから新たに生成する。即ち、本ステップにおいて生成される再構成画像は、拡大表示されている再構成画像とは必ずしも一致しない焦点状態の画像である。従って、例えば拡大表示時に合焦させる焦点位置の変更がなされた場合は、縮小時にはその変更を破棄し、拡大表示前に表示されていた再構成画像と同一の焦点状態の再構成画像が表示部１１０に表示されることになる。
【００５７】
Ｓ６１３で、制御部１０１は、画像処理部１０９により生成された再構成画像を表示部１１０に伝送して表示させ、処理をＳ６０１に戻す。
【００５８】
このようにすることで、本実施形態のデジタルカメラ１００では、ユーザは拡大表示、あるいは拡大表示後に元の表示倍率に戻す縮小表示に係る操作を行った場合に、容易に所望の焦点状態の再構成画像を閲覧することができる。
【００５９】
なお、本実施形態では再構成画像を拡大表示した後は縮小表示の指示のみが可能であるものとして説明したが、本発明の実施はこれに限られない。即ち、拡大表示した後、ユーザはさらに拡大表示を指示してもよく、この場合も同様に拡大表示パラメータや画像生成パラメータを格納して処理すればよい。このとき、操作の回数に併せて段階的にパラメータを保持するように構成してもよい。例えば１段目の拡大表示に係る拡大画像から、２段目の拡大表示において焦点状態を異ならせた拡大画像に遷移した場合に、それぞれ別々にパラメータを格納することで、２段目の拡大画像に対して縮小表示指示がなされた際に１段目の拡大画像に戻すこともできる。そしてさらに１段目の拡大画像に対して縮小表示指示がなされた際に、１段目の拡大表示が行われる前の再構成画像に戻すこともできる。なお、必ずしも段階的に表示倍率を戻す必要はなく、所定の操作がなされた場合には例えば２段目の拡大画像から１段目の拡大表示が行われる前の再構成画像に戻すようにしてもよい。
【００６０】
また例えば画像処理部１０９が画像内から人物の像を検出する機能を有する場合、拡大表示が人物の合焦状態を判断するための操作と判断し、表示されている再構成画像において人物に合焦していない場合にのみ、合焦させる焦点位置を変更する設定としてもよい。これにより、拡大表示により人物の合焦状態の詳細が確認できる。また、通常の表示において合焦状態がわずかにずれていた場合や、通常の表示においていずれの人物にも合焦していなかった場合に、拡大表示後には表示される領域の人物に合焦させた状態にでき、縮小表示後もその焦点状態を強制的に保持することができる。即ち、再構成画像において一度人物が検出された場合は、その後拡大表示／縮小表示がなされても、該人物への焦点状態を強制的に保持するようにしてもよい。なお、このような制御は、人物に限らず、予め設定された特定の被写体を検出する被写体検出の機能を用いて行われてもよい。
【００６１】
以上説明したように、本実施形態の画像処理装置は、拡大表示や縮小表示に係る操作後に表示させたい再構成画像の焦点状態を容易に変更することができる。具体的には画像処理装置は、生成される再構成画像において合焦させる焦点位置を、拡大表示に係る命令がなされた場合に、焦点位置を変更することが設定されている場合は、拡大表示を行う領域の被写体に合焦する焦点位置に決定する。また、拡大表示に係る命令がなされた場合に、焦点位置を変更することが設定されていない場合は、現在表示されている再構成画像について決定した焦点位置と同一の焦点位置に決定する。また、縮小表示に係る命令がなされた場合に、焦点位置を変更することが設定されている場合は、拡大表示を行う前に表示されていた再構成画像について決定した焦点位置と同一の焦点位置に決定する。そして、縮小表示に係る命令がなされた場合に、焦点位置を変更することが設定されていない場合は、現在表示されている再構成画像について決定した焦点位置と同一の焦点位置に決定する。
【００６２】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015158736.tif 000006
【図２】
2015158736.tif 000007
【図３】
2015158736.tif 000008
【図４】
2015158736.tif 000009
【図５】
2015158736.tif 000010
【図６】
2015158736.tif 000011