(57)【要約】【課題】ユーザの好みに合った被写界深度を有する画像を得ることが困難であった。【解決手段】画像処理装置は、被写体に対し、被写界深度が異なる複数の画像を取得する画像取得部と、被写体の任意の領域をユーザが指示するための指示部と、被写界深度および領域の被写体距離に基づき、複数の画像の中から少なくとも２つの候補画像を提示する提示部と、候補画像の中からユーザが画像を選択するための選択部とを備えることを特徴とする。【選択図】図１
2018006867.tif 000002
【特許請求の範囲】
【請求項１】
被写体に対し、被写界深度が異なる複数の画像を取得する画像取得部と、
前記被写体の任意の領域をユーザが指示するための指示部と、
前記被写界深度および前記領域の被写体距離に基づき、前記複数の画像の中から少なくとも２つの候補画像を提示する提示部と、
前記候補画像の中から前記ユーザが画像を選択するための選択部とを備えることを特徴とする画像処理装置。
【請求項２】
前記複数の画像のうちの少なくとも１つは、ピント位置が異なる複数の画像を深度合成することで生成されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像のうちの少なくとも１つは、前記複数の画像のうちの他の画像とは異なる絞り値で撮影されることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記指示部は、前記ユーザのタッチ操作を検出することにより、前記領域を特定することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
前記提示部は、前記被写体距離を被写界深度内に含む画像を提示することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項６】
前記提示部は、前記被写体距離を被写界深度内に含む画像が無い場合、警告表示を行うことを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項７】
前記提示部は、前記被写体距離を被写界深度内に含む画像が無い場合、前記複数の画像の中から最も被写界深度が深い画像を提示することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項８】
前記提示部は、前記被写体距離を被写界深度内に含む画像が１つだけ存在する場合、少なくとも前記１つの画像を提示することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項９】
前記提示部は、前記ユーザの指示に応じて、前記候補画像に対し提示の優先度を設定することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
【請求項１０】
被写体に対し、被写界深度が異なる複数の画像を取得するステップと、
前記被写体の任意の領域をユーザが指示するための画像を決定するステップと、
前記被写界深度および前記領域の被写体距離に基づき、前記複数の画像の中から少なくとも２つの候補画像を提示するステップと、
前記候補画像の中から前記ユーザが選択した画像を決定するステップとを備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、ユーザが所望する領域にピントが合った画像を得ることができる画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、ピント位置を変化させながら連続して撮影を行うフォーカスブラケット撮影が知られている。フォーカスブラケット撮影を行うことにより、被写体に対し異なる領域にピントが合った複数の画像を取得することができる。
【０００３】
特許文献１では、フォーカスブラケット撮影を行う撮像装置が開示されている。特許文献１の撮像装置は、フォーカスブラケット撮影で得られた複数の画像の中から、ユーザにより指示された領域に対し最もピントの合った画像を選択する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１１１６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術では、ユーザが所望する画像を必ずしも取得できないという問題がある。例えば、被写界深度が異なる複数の画像が取得された場合、ユーザの指示領域に対しピントの合った画像が複数該当することがある。このような場合、該当した画像のうちのいずれの被写界深度の画像をユーザが望んでいるかを判断することは困難である。
【０００６】
本発明は上述の問題に鑑み、ユーザの好みに合った被写界深度を有する画像を得ることが可能な画像処理装置および画像制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、被写体に対し、被写界深度が異なる複数の画像を取得する画像取得部と、前記被写体の任意の領域をユーザが指示するための指示部と、前記被写界深度および前記領域の被写体距離に基づき、前記複数の画像の中から少なくとも２つの候補画像を提示する提示部と、前記候補画像の中から前記ユーザが画像を選択するための選択部とを備えることを特徴とする。
【０００８】
本発明に係る画像処理方法は、被写体に対し、被写界深度が異なる複数の画像を取得するステップと、前記被写体の任意の領域をユーザが指示するための画像を決定するステップと、前記被写界深度および前記領域の被写体距離に基づき、前記複数の画像の中から少なくとも２つの候補画像を提示するステップと、前記候補画像の中から前記ユーザが選択した画像を決定するステップとを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ユーザの好みに合った被写界深度を有する画像を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る撮像装置のブロック図である。
【図２】第１実施形態に係る撮像素子の模式図である。
【図３】第１実施形態に係る画像処理方法の概要を表すフローチャートである。
【図４】第１実施形態に係る複数画像撮影処理のフローチャートである。
【図５】第１実施形態に係る被写体領域および距離分布の一例を示す図である。
【図６】第１実施形態に係る距離情報の取得方法を説明するための図である。
【図７】第１実施形態に係る撮影方法を説明するための図である。
【図８】第１実施形態に係る深度合成処理のフローチャートである。
【図９】第１実施形態に係る深度合成時の合成比率の一例を示すグラフである。
【図１０】第１実施形態に係る画像の深度情報の表である。
【図１１】第１実施形態に係る候補画像表示処理のフローチャートである。
【図１２】第１実施形態に係るタッチ箇所と候補画像の関係を示す模式図である。
【図１３】第１実施形態に係る候補画像の表示の一例を示す図である。
【図１４】第１実施形態に係る指示受付用の画像の一例である。
【図１５】第２実施形態に係る候補画像表示処理のフローチャートである。
【図１６】第２実施形態に係るタッチ操作の種類とユーザの好みの関係を表す図である。
【図１７】第２実施形態に係る候補画像の表示の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の好適な実施の形態について説明する。
【００１２】
［第１実施形態］
第１実施形態の画像処理装置は、被写界深度が異なる複数の画像の中から、ユーザが指示した位置に対してピントが合った画像を提示し、記録することができる。以下の説明において、本実施形態の画像処理における撮影モードを、ピント位置指定モードと称する。
【００１３】
図１は、本実施形態に係る画像処理装置のブロック図である。画像処理装置は、光学系１０１、撮像素子１０２、信号処理部１０３、内部メモリ１０４、光学系制御部１０５、制御部１０６、操作部１０７、表示部１０８、記録部１０９を備えている。
【００１４】
光学系１０１は、ズームレンズ１０１ａ、フォーカスレンズ１０１ｂ、絞りシャッタ１０１ｃを備えている。光学系１０１は、被写体からの光を撮像素子１０２の撮像面に結像させ、被写体像を形成する。ズームレンズ１０１ａ、フォーカスレンズ１０１ｂ、絞りシャッタ１０１ｃは、光学系制御部１０５により制御され、撮像素子１０２に到達する被写体像の倍率、ピント位置、光量をそれぞれ調整する。
【００１５】
撮像素子１０２は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary MOS）センサなどの光電変換素子である。撮像素子１０２は、光学系１０１を通過した被写体の光束を光電変換し、アナログ画像信号として信号処理部１０３に入力する。
【００１６】
信号処理部１０３は、入力されたアナログ画像信号をデジタル画像信号に変換するアナログ・デジタル変換回路を備えている。さらに、信号処理部１０３は、デジタル画像信号に対し、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの所定の画像処理を施す。なお、アナログ・デジタル変換回路は撮像素子１０２に設けられてもよい。
【００１７】
内部メモリ１０４は、ＤＲＡＭ（Dynamic Random Access Memory）などから構成され、信号処理部１０３からの画像を一時的に記憶する。また、内部メモリ１０４は、制御プログラムが読み出されるロード領域、各種処理を行う際のワーク領域として、制御部１０６により使用される。
【００１８】
光学系制御部１０５は、ズーム駆動部１０５ａ、フォーカス駆動部１０５ｂ、絞りシャッタ駆動部１０５ｃを備えている。光学系制御部１０５は、制御部１０６からの撮影条件に基づいて、ズーム駆動部１０５ａ、フォーカス駆動部１０５ｂ、絞りシャッタ駆動部１０５ｃの駆動量、駆動タイミングなどを制御する。ズーム駆動部１０５ａ、フォーカス駆動部１０５ｂは、ズームレンズ１０１ａ、フォーカスレンズ１０１ｂをそれぞれ光軸に沿って移動させる。絞りシャッタ駆動部１０５ｃは、絞りシャッタ１０１ｃの開口径を変化させる。
【００１９】
制御部１０６は、ＣＰＵ（Central Processing Unit）などから構成され、操作部１０７からの指示に基づいて、撮像素子１０２、信号処理部１０３、光学系制御部１０５などの画像処理装置の各部に制御信号を送信する。制御部１０６は、被写体検出部１１１、距離取得部１１２、条件設定部１１３、深度合成部１１４、画像提示部１１５の機能を備えており、画像取得部、指示部、提示部、選択部を構成する。
【００２０】
被写体検出部１１１は、取得した画像の被写体領域を検出する。距離取得部１１２は、被写体領域の距離情報、例えば被写体距離を取得する。条件設定部１１３は、距離情報に基づき被写体を撮影する際の撮影条件を設定する。深度合成部１１４は、深度合成処理を行う。深度合成処理とは、被写界深度の浅い複数の画像を合成することにより、被写界深度の深い１つの画像を生成する処理である。画像提示部１１５は、操作部１０７または表示部１０８からの入力信号に基づき、ユーザが指示した被写体領域を特定する。画像提示部１１５は、特定した被写体領域の距離情報に基づき、被写界深度が異なる複数の画像の中から画像を選択し、ユーザに提示する。
【００２１】
操作部１０７は、撮影ボタン１０７ａ、モード切替ボタン１０７ｂ、カーソルキー１０７ｃなどの各種操作デバイスを備えている。操作部１０７は、ユーザが画像処理装置に対し指示を行うためのものであり、ユーザの操作に応じた信号を制御部１０６に入力する。ユーザは、例えばカーソルキー１０７ｃを操作することにより、表示部１０８に表示された画像の任意の領域を指示することができる。なお、表示部１０８のタッチセンサ１０８ａも操作部１０７に含まれ得る。モード切替ボタン１０７ｂは、撮影条件に関する撮影モードの切り替えの他、撮影された画像の選択に関する画像選択モードの切り替えの機能を有する。本実施形態においては、画像選択モードには、被写界深度および指定したピント位置に基づき候補画像を提示させることにより、所望の画像を選択するためのモード（ピント位置指定モード）が含まれ得る。
【００２２】
表示部１０８は、タッチセンサ１０８ａ、ディスプレイ１０８ｂなどから構成されている。タッチセンサ１０８ａは、ディスプレイ１０８ｂ上に設けられ、マトリクス状に並べられた透明な電極を備えている。ユーザのタッチ操作、すなわちユーザの指がタッチセンサ１０８ａに触れることにより、電極における静電容量が変化する。これにより、タッチセンサ１０８ａは、指の接触位置およびその軌跡を検出することができる。タッチセンサ１０８ａは、このようなタッチ操作に応じた信号を制御部１０６に入力する。ディスプレイ１０８ｂは、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイで構成され、信号処理部１０３で生成された画像、内部メモリ１０４、記録部１０９から読み出した画像、各種設定情報などを表示する。
【００２３】
記録部１０９は、半導体メモリ、光磁気ディスクなどの情報記録媒体であり、制御部１０６から出力された画像などを記録する。記録部１０９は、着脱可能に構成されてもよく、また、外部の装置で生成された画像を記録してもよい。さらに、画像処理装置は、ネットワークに接続する通信部を備えてもよく、通信部を介してネットワーク上のサーバと画像を送受信することも可能である。
【００２４】
図２は、本実施形態に係る撮像素子１０２の模式図である。図２は、光学系１０１と撮像素子１０２を光軸に対して垂直な方向から示している。図示の便宜上、光学系１０１の射出瞳１０１ｄと撮像素子１０２の１つの画素のみが示されている。撮像素子１０２の各画素は、等分割された副画素２０１、２０２を有している。副画素２０１、２０２は、それぞれ１つのフォトダイオードで構成される。撮像素子１０２の各画素には、受光面側にマイクロレンズ２０３が形成されている。射出瞳１０１ｄの異なる瞳領域２１１、２１２を通過した被写体からの光は、マイクロレンズ２０３を介して、対応する副画素２０１、２０２にそれぞれ入射する。
【００２５】
図３は、本実施形態に係る画像処理方法の概要を表すフローチャートである。まず、ユーザがモード切替ボタン１０７ｂを操作し、ピント位置指定モードを選択する。続いて、ユーザが撮影ボタン１０７ａを押下すると、ステップＳ３０１において、制御部１０６は、ピント位置を変えながら複数の画像を撮影する。すなわち、制御部１０６は、被写体として検出した被写体領域の距離情報を取得し、該距離情報に基づいて、ピント位置を変化させながらブラケット撮影を行う。撮影された複数の画像は、内部メモリ１０４に一時的に保持される。
【００２６】
ステップＳ３０２において、制御部１０６は、撮影された複数の画像を深度合成し、被写界深度の深い画像を生成する。制御部１０６は、ピント位置の異なる複数の画像を合成し、被写界深度の深い画像を生成する。生成された画像は内部メモリ１０４に一時的に保持される。
【００２７】
ステップＳ３０３において、制御部１０６は、候補画像を表示する。制御部１０６は、これまでの処理で得られた画像の中から、ユーザの意図に近いと推定された少なくとも２つの候補画像を選択し、表示部１０８に表示する。例えば、ユーザが表示部１０８において画像の任意の領域を指定すると、制御部１０６は、被写界深度および指示された領域の被写体距離に基づき、撮像された複数の画像から少なくとも２つの画像を表示する。ユーザは、表示部１０８に表示された画像の中から、所望の１つの画像を選択する。
【００２８】
ステップＳ３０４において、制御部１０６は、ユーザによって選択された画像を決定し、記録部１０９に記録する。制御部１０６は、選択された画像以外の画像を内部メモリ１０４から消去する。
【００２９】
図４は、図３の画像撮影処理（Ｓ３０１）の詳細なフローチャートである。まず、ステップＳ４０１において、制御部１０６の被写体検出部１１１は、取得した画像において被写体領域の検出を行う。被写体領域の一例を図５（ａ）に示す。被写体検出部１１１は、画像５０１を複数のブロック５０１ａに分割し、各ブロックの輝度および色情報を取得する。次に、被写体検出部１１１は、画像５０１の中央部に属するブロックの情報と類似する情報を有するブロックの集合を、被写体領域５０２として検出する。なお、被写体領域の検出方法は限定されるものではなく、例えば、画像から輝度、色、コントラスト分布などに関する特徴量を抽出し、事前にモデル化した特徴量と比較することにより、被写体領域を検出する方法でもよい。
【００３０】
次に、ステップＳ４０２において、制御部１０６の距離取得部１１２は、被写体領域５０２の距離情報を取得する。距離情報には、撮影時における光学系１０１から被写体までの距離、すなわち被写体距離が含まれる。図６、図５（ｂ）を用いて、ステップＳ４０２の処理を詳述する。
【００３１】
図６は、本実施形態に係る距離情報の取得方法を説明するための図である。図６は、被写体が位置６０１、６０２に存在する場合において、光学系１０１の射出瞳１０１ｄと、撮像素子１０２の撮像面１０２ａとの間の光学的な位置関係を示している。位置６０１にある被写体はピントが合った状態であり、異なる瞳領域２１１、２１２を通過した被写体からの光束は、撮像面１０２ａ上の同じ位置６１３で結像する。一方、位置６０２にある被写体はピントが合っていない状態である。この場合、異なる瞳領域２１１、２１２を通過した光束はそれぞれ、撮像面１０２ａ上で幅６１１、６１２の範囲に広がり、ボケた被写体像となる。距離取得部１１２は、これらの被写体像のずれ量ｐをデフォーカス量ｄに変換し、光学系１０１のレンズ情報に基づいて被写体距離を算出する。なお、被写体距離の取得方法は限定されるものではなく、例えば赤外線などを利用した測距センサにより被写体距離を測定する方法でもよい。
【００３２】
図５（ｂ）は、本実施形態に係る被写体領域５０２の距離分布の一例である。グラフの横軸は各画素の被写体距離を示し、縦軸は画素数を示している。距離取得部１１２は、被写体領域５０２に対して、図５（ｂ）に示す距離分布を作成する。距離取得部１１２は、度数のピークが含まれる分布５０４を被写体５０３の距離情報と判断し、最小の距離Ｚｍｉｎおよび最大の距離Ｚｍａｘを取得する。ピークから離れた位置にある分布５０５は、被写体領域５０２に混入した背景領域の距離情報を示すものであり、除外される。
【００３３】
次に、ステップＳ４０３、Ｓ４０４において、制御部１０６の条件設定部１１３は、撮影条件を設定し、複数の画像を撮影する。撮影条件には、フォーカスレンズ１０１ｂの位置、絞りシャッタ１０１ｃの絞り値などが含まれる。図７を用いて、ステップＳ４０３、ステップＳ４０４の処理を詳述する。
【００３４】
図７は、本実施形態に係る撮影方法を説明するための図である。ステップＳ４０２において取得されたように、被写体５０３の被写体距離は、距離Ｚｍｉｎから距離Ｚｍａｘまでの範囲にある。まず、条件設定部１１３は、フォーカスブラケット撮影を行うための撮影条件を設定する。例えば、条件設定部１１３は、被写体５０３を距離の順で４つの領域に分割し、各領域が１回の撮影で被写界深度内に収まるように、絞りシャッタ１０１ｃの絞り値を設定する。そして、条件設定部１１３は、被写界深度に応じて、ブラケット幅、すなわちフォーカスレンズ１０１ｂの撮影毎の位置を設定する。
【００３５】
さらに、条件設定部１１３は、被写界深度の深い画像を撮影するための撮影条件を設定する。例えば、条件設定部１１３は、被写体５０３の全体が１回の撮影で被写界深度内に収まるように、絞りシャッタ１０１ｃの絞り値、フォーカスレンズ１０１ｂの位置を設定する。すなわち、条件設定部１１３は、フォーカスブラケット撮影の撮影条件よりも絞り値を大きく設定する。
【００３６】
続いて、制御部１０６は、撮影条件を光学系制御部１０５に送信する。光学系制御部１０５は、撮影条件に基づいてフォーカス駆動部１０５ｂを駆動し、フォーカスレンズ１０１ｂの位置を光軸に沿って４段階ブラケットさせる。制御部１０６は、撮像素子１０２、信号処理部１０３を制御し、各ブラケット位置において順次撮影を行う。これにより、距離Ｚｍｉｎ〜距離Ｚ１までの被写界深度を有する画像１から、距離Ｚ３〜距離Ｚｍａｘまでの被写界深度を有する画像４までの４つの画像が取得される。
【００３７】
さらに、光学系制御部１０５は、撮影条件に基づいてフォーカス駆動部１０５ｂ、絞りシャッタ駆動部１０５ｃを駆動し、フォーカスレンズ１０１ｂの位置、絞りシャッタ１０１ｃの絞り値を調節する。制御部１０６は、撮像素子１０２、信号処理部１０３を制御し、画像を１つ撮影する。これにより、距離Ｚｍｉｎ〜距離Ｚｍａｘまでの被写界深度を有する画像５が取得される。
【００３８】
図８は、図３の深度合成処理（Ｓ３０２）の詳細なフローチャートである。深度合成処理では、複数の画像撮影により取得された画像１〜４が合成され、画像６が生成される。まず、ステップＳ８０１において、制御部１０６の深度合成部１１４は、処理対象となる画素を１つ選択する。画素の選択順は、例えば画像の端から順に行えばよく、特に限定されない。
【００３９】
ステップＳ８０２において、深度合成部１１４は、画像１〜４の中から、画像を１つ選択する。画像の選択順は、例えば画像１から番号順に行えばよく、特に限定されない。ステップＳ８０３において、深度合成部１１４は、選択した画像における対象画素の被写体距離を距離取得部１１２から取得する。
【００４０】
ステップＳ８０４において、深度合成部１１４は、被写体距離に応じて対象画素の合成比率を決定する。図９に示されるように、深度合成部１１４は、被写界深度内に含まれる画素に対して合成比率を高く設定する。例えば、画像２が選択されている場合、画像２の被写界深度内（Ｚ１〜Ｚ２）に含まれる画素の合成比率が高く設定される。
【００４１】
ステップＳ８０５において、深度合成部１１４は、元の画素値に合成比率を乗算することにより、合成画素値を算出する。ステップＳ８０６において、深度合成部１１４は、全画像（画像１〜４）に対して合成画素値の算出が完了したか否かを判定する。合成画素値が算出されていない画像がある場合、深度合成部１１４は、ステップＳ８０２に戻り、次の画像を選択する。
【００４２】
ステップＳ８０７において、深度合成部１１４は、画像１〜４の合成画素値を合算し、画像６の画素値とする。ステップＳ８０８において、深度合成部１１４は、全画素に対して画像６の画素値が得られたか否かを判定する。画素値が得られていない画素がある場合、深度合成部１１４は、ステップＳ８０１に戻り、次の画素を選択する。
【００４３】
ステップＳ８０９において、深度合成部１１４は、画像６を内部メモリ１０４に記憶させる。さらに、深度合成部１１４は、これまでの処理で得られた画像１から画像６までの６つの画像の深度情報を内部メモリ１０４に記憶させる。深度合成部１１４は、各画像とその深度情報とを記録部１０９に記憶させてもよい。
【００４４】
図１０は、本実施形態に係る画像の深度情報の表である。深度情報には、各画像の被写界深度内の被写体距離の最大値および最小値が含まれる。本実施形態では、画像５と画像６は、同等の被写界深度を有している。画像５は絞りを絞って撮影されているため、画像５の手振れ量とＳＮ比は画像６よりも悪化しており、画像５の背景ボケの程度は小さい。一方、画像６の画質は、合成処理により劣化している可能性がある。
【００４５】
図１１は、図３の候補画像表示処理（Ｓ３０３）のフローチャートである。まず、ステップＳ１１０１において、制御部１０６の画像提示部１１５は、図１２（ａ）に示すような指示受付用の画像を表示部１０８に表示させる。ピント位置指定モードでは、ピントを合わせたい位置をユーザにタッチしてもらうため、指示受付用の画像は画像全体にわたって視認性が高い画像であることが好ましい。よって、画像提示部１１５は、被写界深度の深い画像５または画像６を指示受付用の画像とする。
【００４６】
ステップＳ１１０２において、画像提示部１１５は、ユーザからの指示を受け付ける。例えば、画像提示部１１５は、図１２（ａ）に示すように、自動車１２００のフロント部分がユーザによりタッチされた場合、タッチセンサ１０８ａからタッチ箇所１２０１の座標を受け取る。
【００４７】
ステップＳ１１０３において、画像提示部１１５は、タッチ箇所１２０１の距離情報を取得する。具体的には、画像提示部１１５は、タッチ箇所１２０１の画素の被写体距離を距離取得部１１２から取得する。また、タッチ箇所１２０１が複数画素にまたがる場合、画像提示部１１５は、複数画素の被写体距離の平均値をとる。
【００４８】
ステップＳ１１０４において、画像提示部１１５は、距離情報に基づき、候補画像の選択を行う。タッチ箇所１２０１の被写体距離をＺｔで表すと、図１２（ｂ）の例では、距離Ｚｔは、距離Ｚｍｉｎと距離Ｚ１の間にある（Ｚｍｉｎ≦Ｚｔ≦Ｚ１）。したがって、画像提示部１１５は、画像１〜６の中から、距離Ｚｔを被写界深度内に含む画像をすべて選択する。すなわち、画像提示部１１５は、図１２の例では、画像１、画像５、画像６を候補画像として選択する。なお、距離Ｚｔが距離Ｚｍｉｎ未満、または距離Ｚｍａｘよりも大きい場合、画像提示部１１５は、ユーザに対する警告表示を表示部１０８に表示させてもよい。また、警告表示の代わりに、あるいは警告表示に加えて、画像提示部１１５は、画像１〜６の中で相対的に最も背景ボケの少ない画像５を選択してもよい。
【００４９】
ステップＳ１１０５において、画像提示部１１５は、選択した候補画像を表示部１０８に表示させる。画像提示部１１５は、候補画像として画像１、画像５、画像６を選択した場合、図１３に示すように、選択した３つの画像を表示部１０８に並べて表示させる。また、画像提示部１１５は、候補画像とともに、好みの画像を選択することをユーザに促す表示を表示部１０８に表示する。
【００５０】
このように、本実施形態によれば、ピント位置が異なる複数の画像とこれらの画像を深度合成することで得られた画像とを、それぞれの被写界深度とともに記憶する。そして、ユーザが指示した領域の被写体距離と各画像の被写界深度を基に、被写界深度の異なる少なくとも２つの画像をユーザに提示する。これにより、ユーザが所望の画像を選択することができるため、ユーザの好みを反映した被写界深度を有する画像を記録することができる。
【００５１】
図１４（ａ）は、本実施形態に係る指示受付用の画像の一例である。ユーザのタッチ操作により自動車のフロント部分１４０１が指示されたと仮定する。その場合、図１４（ｂ）に示すように、自動車のフロント部分の近傍１４０２のみにピントが合った画像Ａが所望であると考えられる一方で、図１４（ｃ）に示すように、自動車全体１４０３にピントが合った画像Ｂが所望であるとも考えられる。一般に、画像Ａ、Ｂのうちどちらの画像をユーザが望んでいるかを判断することは困難であるが、本実施形態によれば、最終的な判断をユーザに委ねることにより、真にユーザの意図を反映した画像を取得することができる。
【００５２】
［第２実施形態］
第１実施形態では、ユーザが指示受付用の画像上の１点を指示することを想定していたが、本実施形態では、ユーザの指示が必ずしも１点のみではない場合を想定する。以下、第１実施形態と異なる点を中心に説明を行う。
【００５３】
図１５は、本実施形態に係る候補画像表示処理のフローチャートである。まず、ステップＳ１５０１において、画像提示部１１５は、図１６に示すような指示受付用の画像を表示部１０８に表示させる。
【００５４】
ステップＳ１５０２において、画像提示部１１５は、ユーザからの指示を受け付ける。画像提示部１１５は、図１６（ａ）に示すように、自動車のフロント部分がユーザによりタッチされた場合、タッチセンサ１０８ａからタッチ箇所１６０１の座標を受け取る。また、画像提示部１１５は、図１６（ｂ）に示すように、被写体である自動車全体を囲むようにユーザがタッチ操作を行った場合、タッチセンサ１０８ａからタッチ箇所のすべての座標、すなわちタッチ箇所の軌跡１６０２を受け取る。
【００５５】
ステップＳ１５０３およびＳ１５０４において、画像提示部１１５は、候補画像を選択し、候補画像の優先度を設定する。画像提示部１１５は、ユーザのタッチ操作の種類に基づき、優先度を設定する。例えば、図１６（ａ）に示すように、被写体上の１点が指示された場合（ピンポイント指定時）、画像提示部１１５は、指示された位置の近傍のみピントが合った画像がユーザの所望である可能性が高いと判断する。一方、図１６（ｂ）に示すように、被写体全体を囲むように指示された場合（囲み指定時）、画像提示部１１５は、被写体全体にピントが合った画像がユーザの所望である可能性が高いと判断する。
【００５６】
画像提示部１１５は、このような可能性の高低を、候補画像の提示の優先度として反映する。例えば、図１２（ｂ）、図１６（ａ）のように、被写体のある１点のみを指示された場合、画像提示部１１５は、画像１、画像５、画像６を候補画像として選択し、画像１の提示の優先度を最も高く設定する。逆に、図１６（ｂ）のように、被写体全体を囲むように指定された場合、画像提示部１１５は、画像５、画像６の提示の優先度を高く設定する。すなわち、候補画像の提示の優先度は、ユーザの指示の仕方に応じて設定される。
【００５７】
ステップＳ１５０５において、画像提示部１１５は、表示部１０８に候補画像を表示させる。画像提示部１１５は、提示の優先度に従って候補画像の表示を行う。
【００５８】
図１７は、本実施形態に係る候補画像の表示の一例を示す図である。図１７（ａ）は、ピンポイント指定時に、被写界深度の浅い画像１が高優先度に設定された場合の表示例である。一方、図１７（ｂ）は、囲み指定時に、被写界深度の深い画像５、画像６が高優先度に設定された場合の表示例である。図１７に示すように、画像提示部１１５は、提示の優先度が高い画像を最も大きく表示させる。
【００５９】
このように、本実施形態によれば、ユーザによるタッチ操作の種類により、ユーザの好みを推定し、候補画像に提示の優先度を設けることができる。提示の優先度を表示方法に反映させることで、ユーザが好みに合った画像をより容易に選択することができる。
【００６０】
［変形実施形態］
本発明は、上述の実施形態に限らず種々の変形が可能である。例えば、上述の実施形態では、フォーカスブラケット撮影により得られた４つの画像（画像１〜４）を深度合成することにより、１つの合成画像（画像６）を生成していた。合成方法は、これに限定されることはなく、任意の個数および組み合わせの画像を深度合成することにより、被写界深度が異なる複数の合成画像を得てもよいものとする。
【００６１】
また、ユーザからの指示は、タッチ操作による場合に限定されることはなく、例えばカーソルで指示するなど、その他の種々の手法を用いてもよいものとする。
【００６２】
また、第２実施形態では、画像の優先度を表示に反映する方法として、画像の大きさに差をつける方式を説明したが、例えば表示順に反映させるなど、その他の種々の手法を用いてもよいものとする。
【符号の説明】
【００６３】
１０６  制御部
１０７  操作部
１０８  表示部
１０９  記録部
１１１  被写体検出部
１１２  距離取得部
１１３  条件設定部
１１４  深度合成部
１１５  画像提示部
【図１】
2018006867.tif 000003
【図２】
2018006867.tif 000004
【図３】
2018006867.tif 000005
【図４】
2018006867.tif 000006
【図５】
2018006867.tif 000007
【図６】
2018006867.tif 000008
【図７】
2018006867.tif 000009
【図８】
2018006867.tif 000010
【図９】
2018006867.tif 000011
【図１０】
2018006867.tif 000012
【図１１】
2018006867.tif 000013
【図１２】
2018006867.tif 000014
【図１３】
2018006867.tif 000015
【図１４】
2018006867.tif 000016
【図１５】
2018006867.tif 000017
【図１６】
2018006867.tif 000018
【図１７】
2018006867.tif 000019