(57)【要約】【課題】リフォーカス可能な画像データを再構成する際に、撮影者が意図する画像を容易に指定することができるユーザインターフェースを提供する。【解決手段】任意の被写体位置にリフォーカス可能な画像データを処理する画像処理装置であって、画像データから画面上の任意の画素に対応する被写体の距離情報を取得する取得部と、画面上の任意の範囲を指定して範囲情報を出力する範囲指定部と、範囲情報に含まれる画素ごとの距離情報に基づいて所定の被写界深度の画素グループを設定する深度設定部と、深度設定部により設定された画素グループを、外部からの被写界深度の変更の指示に従って変更して被写界深度の変更情報を出力する深度変更部と、画像データから表示用画像を生成する画像処理部と、表示用画像と被写界深度の変更情報とを合成して合成画像を生成する合成部と、合成画像を表示する表示部とを備える。【選択図】  図１
2016039613.tif 000002
【特許請求の範囲】
【請求項１】
任意の被写体位置にリフォーカス可能な画像データを処理する画像処理装置であって、
前記画像データから画面上の任意の画素に対応する被写体の距離情報を取得する取得手段と、
画面上の任意の範囲を指定して範囲情報を出力する範囲指定手段と、
前記範囲情報に含まれる画素ごとの前記距離情報に基づいて所定の被写界深度の画素グループを設定する深度設定手段と、
前記深度設定手段により設定された前記画素グループを、外部からの被写界深度の変更の指示に従って変更して被写界深度の変更情報を出力する深度変更手段と、
前記画像データから表示用画像を生成する画像処理手段と、
前記表示用画像と前記被写界深度の変更情報とを合成して合成画像を生成する合成手段と、
前記合成画像を表示する表示手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記深度変更手段は、被写界深度を変更する方向を指定する方向指定手段と、被写界深度を変更する変更手段とを有し、被写界深度を変更する方向と深度を個別に変更可能であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記深度変更手段は、十字ボタンを有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記深度変更手段は、タッチパネル上での操作ボタンを有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記深度設定手段は、前記取得手段により取得された距離情報に基づいて、深度を設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記深度設定手段は、物体認識を行い、１つの物体を単位に前記画素グループを設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
前記範囲指定手段により指定された前記範囲に対して処理を行うか、前記範囲以外に対して処理を行うかを選択する選択手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
任意の被写体位置にリフォーカス可能な画像データを処理する画像処理装置を制御する方法であって、
前記画像データから画面上の任意の画素に対応する被写体の距離情報を取得する取得工程と、
画面上の任意の範囲を指定して範囲情報を出力する範囲指定工程と、
前記範囲情報に含まれる画素ごとの前記距離情報に基づいて所定の被写界深度の画素グループを設定する深度設定工程と、
前記深度設定工程により設定された前記画素グループを、外部からの被写界深度の変更の指示に従って変更して被写界深度の変更情報を出力する深度変更工程と、
前記画像データから表示用画像を生成する画像処理工程と、
前記表示用画像と前記被写界深度の変更情報とを合成して合成画像を生成する合成工程と、
前記合成画像を表示する表示工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項９】
請求項８に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項８に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リフォーカス画像を再構成し、画像合成する技術に関するものである。
【背景技術】
【０００２】
近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（以下、ライトフィールドカメラ）が提案されている。例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光は複数の画素によって入射方向別に取得される。
【０００３】
このように取得された画素信号（ライトフィールド情報）に対して、通常の撮影画像を生成するほかに、「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用することで、任意の像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。
【０００４】
ユーザーがリフォーカスによる画像の再構成を必要とするケースとして、撮影後に画像を確認すると所望の被写体にピントがあっていなかった場合が考えられる。従来のカメラであれば所望の被写体にピントがあっていない場合は撮り直す必要があった。そのため、特許文献１のように、撮影時にユーザーによる所望の被写体へのフォーカス合わせを容易にする技術も考案されている。
【０００５】
これに対し、ライトフィールドカメラで撮影した画素信号を用いれば、リフォーカス画像を再構成することで撮り直すことなく所望の画像が得られる。さらに所望の被写体が複数写っており、かつ被写体間で奥行き方向に距離が離れているようなシーンでは、普通のカメラでどちらかにピントを合わせて撮影すると、もう一方がぼけ気味になってしまう。しかしライトフィールドカメラで撮影すれば、各被写体にピントを合わせたリフォーカス画像を後から再構成し、それらを合成することで所望の画像が得られる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−０９３４２２号公報
【非特許文献】
【０００７】
【非特許文献１】Ｒｅｎ．Ｎｇ、他７名、「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−Ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」、Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−０２
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１では、撮影時に、被写体の距離情報に基づき作成したグラフを表示画面上に表示し、そのグラフ上でピント位置／被写界深度を指定することでフォーカスの調整を行っている。
【０００９】
しかしながら、グラフ上で指定を行うため、画像上のどの部分にピントが合うかを直接的かつ具体的に知ることが出来ず、撮影者の意図通りのリフォーカス設定になっているか分かりにくい、という問題点がある。
【００１０】
本発明は上述した課題に鑑みてなされたものであり、その目的は、リフォーカス可能な画像データを再構成する際に、撮影者が意図する画像を容易に指定することができるユーザインターフェースを提供することである。
【課題を解決するための手段】
【００１１】
本発明に係わる画像処理装置は、任意の被写体位置にリフォーカス可能な画像データを処理する画像処理装置であって、前記画像データから画面上の任意の画素に対応する被写体の距離情報を取得する取得手段と、画面上の任意の範囲を指定して範囲情報を出力する範囲指定手段と、前記範囲情報に含まれる画素ごとの前記距離情報に基づいて所定の被写界深度の画素グループを設定する深度設定手段と、前記深度設定手段により設定された前記画素グループを、外部からの被写界深度の変更の指示に従って変更して被写界深度の変更情報を出力する深度変更手段と、前記画像データから表示用画像を生成する画像処理手段と、前記表示用画像と前記被写界深度の変更情報とを合成して合成画像を生成する合成手段と、前記合成画像を表示する表示手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、リフォーカス可能な画像データを再構成する際に、撮影者が意図する画像を容易に指定することができるユーザインターフェースを提供することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係わる画像処理装置の構成を示すブロック図。
【図２】第１の実施形態の画像処理装置の外観図。
【図３】第１の実施形態における距離マップを示す図。
【図４】第１の実施形態の画像処理装置の概略動作を示すフローチャート。
【図５】第１の実施形態における範囲指定処理のフローチャート。
【図６】第１の実施形態における範囲指定の例を示す図。
【図７】第１の実施形態におけるヒストグラムと被写界深度の関係を示す図。
【図８】第１の実施形態における画像処理の選択処理フローチャート。
【図９】第１の実施形態における画像処理の選択の表示例を示す図。
【図１０】第１の実施形態における被写界深度変更処理のフローチャート。
【図１１】第１の実施形態における被写界深度変更の表示例を示す図。
【図１２】第１の実施形態における被写界深度変更後のヒストグラムと被写界深度の関係を示す図。
【図１３】本発明の第２の実施形態に係わる画像処理装置の構成を示すブロック図。
【図１４】第２の実施形態における距離マップを示す図。
【図１５】第２の実施形態におけるヒストグラムと被写界深度の関係を示す図。
【図１６】第２の実施形態における被写界深度変更後のヒストグラムと被写界深度の関係を示す図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１５】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、任意の被写体位置にリフォーカス可能な画像データを処理する画像処理装置である。図１において、１０８は記録部、１０６は画像処理部である。記録部１０８はリフォーカス可能な画像データを記録する不揮発性メモリあるいはメモリカード等の記録媒体である。画像処理部１０６は記録部１０８から読み出した画像データに対して所定の画像処理を施す。リフォーカス可能な画像データは、被写体空間からの各光線に対応する信号値に加えて入射方向（入射角度、視点）の情報を有する画像データである。画像データの形態としては、各入射方向（視点）ごとの画像データを複数有している形態であってもよい。
【００１６】
１２０は距離情報取得部である。距離情報取得部１２０は、位相差検出方式等により像ずれを検出したり、光学系の特性を適用して算出したりすることで、各画素に対応する被写体までの距離を示す距離マップと呼ばれる距離情報を取得する。距離情報取得方法については本実施形態において特に限定するものではない。
【００１７】
１２５は範囲指定部である。範囲指定部１２５は、ユーザーの操作（外部からの操作）を入力とし、ユーザーがフォーカスを合わせたい画面上の範囲情報（画素グループ）を出力する。範囲指定部１２５の詳細については後述する。
【００１８】
１３０は被写界深度設定部である。被写界深度設定部１３０は、距離情報取得部１２０の出力する距離マップと範囲指定部１２５の出力である範囲情報を入力とし、リフォーカスの設定パラメータである基準点（Ｘ）１３５、前側被写界深度（ｄ１）１３６、奥側被写界深度（ｄ２）１３７を出力する。被写界深度設定部１３０の詳細およびリフォーカスの設定パラメータである基準点（Ｘ）１３５、前側被写界深度（ｄ１）１３６、奥側被写界深度（ｄ２）１３７については後述する。
【００１９】
１６０は画像処理指定部である。画像処理指定部１６０は、ユーザーの操作を入力として、ぼかす対象が指定範囲内か指定範囲以外かの情報を出力する。画像処理指定部１６０の詳細については後述する。
【００２０】
１５０は被写界深度変更部である。被写界深度変更部１５０は、被写界深度設定部１３０の出力するリフォーカス設定パラメータである基準点（Ｘ）１３５、前側被写界深度（ｄ１）１３６、奥側被写界深度（ｄ２）１３７、ユーザーの操作を入力として、被写界深度変更情報を出力する。被写界深度変更部１５０の詳細については後述する。
【００２１】
１７０は画像合成部である。画像合成部１７０は画像処理部１０６の出力する画像と、被写界深度変更部の出力する被写界深度変更情報を入力とし、画像合成をして表示用画像（合成画像）を出力する。１１１は表示部である。表示部１１１は液晶パネルなどの表示デバイスであり、画像合成部１７０の出力である表示用画像を入力として表示する。１１０は操作部である。操作部１１０は画像処理装置１００に備え付けられた操作部材である。１０９は画像処理装置１００全体を制御する制御部である。
【００２２】
図２は本実施形態の画像処理装置１００の外観図であり、図１と同じ番号を付している箇所は、同じものを示している。本実施形態において、操作部１１０は、上ボタン２１１、下ボタン２１２、左ボタン２１３、右ボタン２１４、決定ボタン２１５を備える十字ボタンとする。
【００２３】
距離情報取得部１２０の出力である距離マップについて図３を用いて説明する。図３（ａ）が距離情報取得部１２０の入力となる画像データとする。この図では、木Ａ（３００）、木Ｂ（３０１）、人物Ａ（３０２）、人物Ｂ（３０３）、人物Ｃ（３０４）、建物Ａ（３０５）、建物Ｂ（３０６）が主要な被写体として存在していることを示している。この画像データにおいて、図３（ｂ）のようにあらかじめ決められたｍ×ｎ画素を１ブロックとして分割する。そして、分割したブロックごとに被写体距離を算出する。このブロックごとの被写体距離の情報を距離マップと呼び、この距離マップを表現した模式図が図３（ｃ）である。図３（ｃ）中の数字は、０［ｍ］から無限遠で取得された被写体距離を正規化したものであり、本実施形態では０から１５の１６段階に正規化を行っている。また、本実施形態では距離マップをＤ（ｕ，ｖ）と記載する。ここで、ｕは横方向のブロックの座標、ｖは縦方向のブロックの座標、Ｄ（ｕ，ｖ）は横方向ｕ、縦方向ｖのブロックの被写体距離である。
【００２４】
ここまでに説明した構成を用いて、ライトフィールドデータから所望のピント位置・被写界深度の画像を生成する方法について説明する。図４は本実施形態の概略動作を示すフローチャートである。
【００２５】
Ｓ４０１において、画像処理部１０６は、全体にピントの合う画像である全焦点画像を構成し、表示部１１１に表示する。この際、被写界深度変更部１５０からは出力は無いものとする。Ｓ４０２において、ユーザー入力により範囲指定部１２５を介して画像処理の効果を与えたい個所を指定する範囲指定を行う。
【００２６】
Ｓ４０３において、ユーザー入力により画像処理指定部１６０を介してＳ４０２で範囲指定した領域をぼかすか、指定した領域以外をぼかすかという画像処理効果の選択を行う。Ｓ４０４において、ユーザー入力により被写界深度変更部１５０を介して、所望の範囲を細かく指定するために被写界深度の変更を行う。
【００２７】
ここからは、Ｓ４０２、Ｓ４０３、Ｓ４０４の詳細について説明する。まず、Ｓ４０２の範囲指定の詳細について図１、図５、図６を用いて説明する。図５がＳ４０２の詳細なフローチャートである。
【００２８】
Ｓ５０１において、表示部１１１に範囲指定画面を表示するように指示する。図６（ａ）が表示する範囲指定画面の例であり、６１０が範囲指定を行うためのマーカーである。Ｓ５０２において、ユーザーは操作部１１０によりマーカー６１０を移動させ、所望の位置に合わせる。図６（ｂ）はこの操作を示した例であり、ユーザーが下ボタン２１２を押すことに応じて、マーカー６１０も下に移動することを示している。
【００２９】
Ｓ５０３において、ユーザーが決定ボタン２１５を押すことにより、範囲指定の決定を行う。制御部１０９は決定ボタン２１５の押下を検知し、範囲指定部１２５へ範囲情報の出力を指示する。
【００３０】
範囲指定部１２５の範囲情報の出力の例としては、ユーザーが人物Ａ（３０２）を指定した場合について図１、図６（ｃ）を用いて説明する。
【００３１】
決定ボタン２１５が押下されるとマーカー６１０が示しているブロックの座標である（ｕ、ｖ）を出力する。図６（ｃ）の場合、ブロックの座標（ｕ，ｖ）は（１０，１０）であり、このブロックの座標が範囲情報として範囲指定部１２５から出力される。次に、被写界深度設定部１３０は、距離情報取得部１２０の出力である距離マップと範囲指定部１２５の出力である範囲情報を入力として、リフォーカスパラメータである基準位置（Ｘ）１３５、前側被写界深度（ｄ１）１３６、奥側被写界深度（ｄ２）１３７を出力する。
【００３２】
ここで、リフォーカスパラメータである基準位置（Ｘ）１３５、前側被写界深度（ｄ１）１３６、奥側被写界深度（ｄ２）１３７について説明する。基準位置（Ｘ）１３５はユーザーの指定等により指定されるピント位置の基準点である。基準位置（Ｘ）１３５は、小さければ撮影時にカメラから被写体までの被写体距離が小さいことを示し、大きければ撮影時にカメラから被写体までの被写体距離が大きいことを示す。前側被写界深度（ｄ１）１３６は基準位置（Ｘ）１３５を基準として前側の被写界深度である。奥側被写界深度（ｄ２）１３７は基準位置（Ｘ）１３５を基準として奥側の被写界深度である。
【００３３】
前側被写界深度（ｄ１）１３６が大きくなれば、手前側の被写界深度が深くなり、小さくなれば、手前側の被写界深度が浅くなる。奥側被写界深度（ｄ２）１３７が大きくなれば、奥側の被写界深度が深くなり、小さくなれば、奥側の被写界深度が浅くなる。基準位置（Ｘ）は、範囲指定部１２５の出力である範囲情報を入力として、その範囲情報に応じた距離マップの値である。本例の場合、範囲情報は（１０，１０）であるので、図６（ｄ）にあるようにＤ（１０，１０）である“５”が基準位置（Ｘ）となる。
【００３４】
図７（ａ）は横軸が正規化された被写体距離、縦軸が頻度を示したヒストグラムである。図７の７０４が基準位置（Ｘ）であり、本例の場合“５”であることを示している。また、７０５が前側被写界深度（ｄ１）であり、前側被写界深度はデフォルト値として“２”で、正規化された距離が“３”から“５”の範囲が前側の指定範囲となる。７０６が奥側被写界深度（ｄ２）であり、奥側被写界深度はデフォルト値として“２”で、正規化された距離が“５”から“７”の範囲が奥側の指定範囲となる。これにより、前側の指定範囲と奥側の指定範囲を合わせた被写界距離が“３”から“７”に該当するブロックが範囲指定されたフォーカス範囲となる。
【００３５】
この範囲指定されたブロックを示したのが図７（ｂ）であり、７１０が範囲指定されている。具体的には、正規化された距離が、“３”から“７”に該当する木Ｂ（３０１）、人物Ａ（３０２）、人物Ｂ（３０３）が範囲指定されていることを示している。以上がＳ４０２の範囲指定の詳細内容である。
【００３６】
次に、Ｓ４０３の効果選択の詳細について、図１、図８、図９を用いて説明する。図８はＳ４０３の詳細を示すフローチャートである。
【００３７】
Ｓ８００において、選択肢を表示する。図９（ａ）、（ｂ）は表示部１１１に選択肢９００を表示した例である。図９中の斜線部７１０は図７（ｂ）で示したものと同一である。図９（ａ）はユーザーが操作部１１０により、指定した領域をぼかす選択肢９０１を選択するように操作した場合の表示部１１１の例である。図９（ｂ）はユーザーが操作部１１０により、領域以外をぼかす選択肢９０２を選択するように操作した場合の表示部１１１の例を示している。
【００３８】
Ｓ８０１において、ユーザーは操作部１１０により、処理を指定する。Ｓ８０２において、制御部１０９は、指定した領域をぼかすか、もしくは、指定した領域以外をぼかすかのどちらをユーザーが選択したかを検知する。
【００３９】
Ｓ８０２において、指定した領域をぼかすと検知した場合にはＳ８０３に移行し、制御部１０９は、指定した領域をぼかすためのリフォーカス演算用の設定にするように画像処理部１０６に対して指示をする。
【００４０】
Ｓ８０２において、指定した領域以外をぼかすと検知した場合にはＳ８０４に移行し、制御部１０９は、指定した領域以外をぼかすためのリフォーカス演算用の設定にするように画像処理部１０６に対して指示をする。以上がＳ４０３の効果設定の詳細内容である。
【００４１】
次にＳ４０４の被写界深度の調整の処理の詳細について図１、１０、１１を用いて説明する。Ｓ１０１０において、被写界深度の変更を行うかどうかをユーザーに問いかける旨を表示部１１１に表示する。図１１（ａ）の１１３０が設問画面の例であり、ユーザーは「Ｙｅｓ」か「Ｎｏ」を選択する。
【００４２】
Ｓ１０２０に遷移し、被写界深度の変更を行うか行わないかの選択をする。Ｓ１０２０において“Ｙｅｓ”が選択された場合は、Ｓ１０２５に遷移し、“Ｎｏ”が選択された場合は、Ｓ１０９０に遷移する。Ｓ１０２５において、表示部１１１に操作補助画面Ａ１１１０を表示する。図１１（ｂ）が表示例であり、奥側被写界深度を変更するには上ボタン２１１を押す、前側被写界深度を変更するには下ボタン２１２を押すことを示した補助画面１１１０を表示する。
【００４３】
Ｓ１０３０において、制御部１０９は方向を指定する上ボタン２１１もしくは下ボタン２１２（方向指定ボタン）が押下されたかどうかを判定する。Ｓ１０３０において“Ｙｅｓ”と判定した場合には、Ｓ１０４０に遷移し、“Ｎｏ”と判定した場合には、Ｓ１０１０に遷移する。
【００４４】
Ｓ１０４０において、Ｓ１０３０で上ボタン２１１もしくは下ボタン２１２のいずれかが押下されたと判定した場合、制御部１０９は下ボタン２１２か上ボタン２１１のどちらが押下されたかの判定を行う。下ボタン２１２が押されたと判定した場合には、Ｓ１０４１に遷移し、上ボタン２１１が押されたと判定した場合には、Ｓ１０４２に遷移する。Ｓ１０４１では、制御部１０９は、被写界深度変更部１５０に対し、前側被写界深度ｄ１の更新を指示する。同様に、Ｓ１０４２では、制御部１０９は、被写界深度変更部１５０に対し、奥側被写界深度ｄ２の更新を指示する。
【００４５】
Ｓ１０４５において、表示部１１１に操作補助画面Ｂを表示する。図１１（ｃ）が表示例で、１１２０が操作補助画面であり、被写界深度を浅くするには左ボタン２１３を押す、被写界深度を深くするには右ボタン２１４を押すことを示している。このように上下左右のボタンは、被写界深度を変更する方向と深度を個別に変更可能である。
【００４６】
Ｓ１０５０において制御部１０９は深度を指定する左ボタン２１３もしくは右ボタン２１４が押下されたかどうかを判定する。Ｓ１０５０において左ボタン２１３もしくは右ボタン２１４のいずれかが押下されたと判定した場合、Ｓ１０６０に遷移する。また、左ボタン２１３もしくは右ボタン２１４以外のボタンが押下されたと判定した場合、Ｓ１０１０に戻る。
【００４７】
Ｓ１０６０において、制御部１０９は左ボタン２１３（浅くする）と右ボタン１１４（深くする）のどちらが押下されたかを判定する。左ボタン（浅くする）が押されたと判定した場合にはＳ１０６１に遷移し、右ボタン２１４（深くする）が押されたと判定した場合にはＳ１０６２に遷移する。
【００４８】
Ｓ１０６１では、制御部１０９は被写界深度変更部１５０に対し、被写界深度を浅くするように指示する。具体的には、被写界深度変更部１５０内に保持されている前側被写界深度ｄ１もしくは奥側被写界深度ｄ２の値を小さくする。同様に、Ｓ１０６２では、制御部１０９は被写界深度変更部１５０に対し、被写界深度を深くするように指示する。具体的には、被写界深度変更部１５０内に保持されている前側被写界深度ｄ１もしくは奥側被写界深度ｄ２の値を大きくする。このＳ１０６２までの処理により被写界深度変更部１５０が保持している前側被写界深度ｄ１および奥側被写界深度ｄ２が更新される。被写界深度変更部１５０は更新された被写界深度に応じて画素データを選択的に合成し、更新後の被写界深度の画像を生成する。具体的には、更新後の前側被写界深度ｄ１および奥側被写界深度ｄ２から決まる適切なリフォーカス面（仮想結像面）に対して、求める被写界深度に応じて仮想的に開口絞りを設けているように画素を一部選択し、再構成画像を生成する。
【００４９】
Ｓ１０７０において、画像処理部１０６の出力と被写界深度変更部１５０の出力を画像処理部１７０で合成し、表示部１１１に出力し、その後Ｓ１０５０に戻る。ユーザーは以上の処理を所望の被写界深度の設定になるまで繰り返し行う。
【００５０】
図１１（ｄ）と図１２は、上記の処理を繰り返し行い、人物Ａ（３０２）と人物Ｂ（３０３）にピントを合わせた場合の、表示部と被写界深度設定の更新例を示している。図１１（ｄ）は、表示部１１１に通常の画像と、被写界深度変更情報である斜線部１１４０が合成された状態を示している。被写界深度変更情報である斜線部１１４０が人物Ａ（３０２）と人物Ｂ（３０３）にピントが合い、木Ａ（３００）、木Ｂ（３０１）はピントが外れていることを示している。
【００５１】
図１２は、被写界深度変更部１５０に保持されている前側被写界深度ｄ１が初期値の“２”から“１”に減少し、奥側被写界深度ｄ２が初期値の“２”から“３”に増加していることを示している。それにより、人物Ａ（３０２）と人物Ｂ（３０３）が範囲に含まれるように更新していることを示している。
【００５２】
以上のように、本実施形態によれば、ライトフィールドカメラを用いた場合においても、ユーザーは簡単なボタン操作で所望の被写界深度の再構成画像を得ることが可能となる。特に、被写界深度のパラメータを前方向、奥方向に別々に持たせ、ボタンに被写界深度を合わせる方向、被写界深度の深浅を別々に割り当てることで簡単に所望の被写界深度の再構成画像を得ることが可能となる。
【００５３】
また、本実施形態においては、ボタンを用いて操作する方法について説明してきたが、本発明はボタン操作に限ったものではない。例えば、ボタンではなく、スライドレバーやダイアルスイッチのようなボタン以外の操作部材を用いた場合や、タッチパネル上に操作画面（操作ボタン）を表示し指示する場合も同様に適用可能である。また、本実施形態で示したボタンの操作法（方向や決定）もあくまで一例であり、その方向に限定するものではない。
【００５４】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。第１の実施形態では、前方向および奥方向の被写界深度の設定を、距離情報を用いて変更し、範囲指定を行った場合について説明した。本実施形態では、物体認識を行い物体単位で前、奥方向の被写界深度の設定をし、範囲指定を行う場合について説明する。
【００５５】
図１３は本実施形態の画像処理装置の構成を示すブロック図である。図１と同じ個所については同じ番号を付している。図１３の１３１０は物体認識部である。画像中の物体を認識し、物体単位に物体番号をつけ領域分けを行う。
【００５６】
図１４は物体認識を行い、物体番号をつけた例を示す図である。図１４は図３（ａ）に示す被写体に対し、物体認識をし、番号付けをしたのち、ｍ ｘ ｎの画素単位でブロック化したものである。同じ番号が記載されたブロックは同じ物体が含まれていることを示している。
【００５７】
図１３において、１３２０は被写界深度設定部である。距離情報取得部１２０が出力する距離情報に加え、物体認識部１３１０が出力する物体番号に基づき、基準位置（Ｘ）１３５、前側被写界深度（ｄ１）１３６、奥側被写界深度（ｄ２）１３７を出力する。
【００５８】
図１５は横軸が正規化された被写体距離、縦軸が物体番号の頻度を示したヒストグラムである。四角の中の番号は図１４の物体番号を示している。四角の下に記載してあるのは、物体認識番号を距離情報と照合し、距離の順番に物体を並び変えた物体番号である。この距離の順番に物体を並び変えた物体番号を用いることにより、物体単位での被写界深度の設定が可能となる。
【００５９】
第１の実施形態と同様に、範囲指定を行う。前の人物Ａ（３０２）に合わせて範囲設定した場合、基準位置（Ｘ）には“３”が設定される。また、前側被写界深度ｄ１には初期値として“０”、奥側被写体深度ｄ２には初期値として“０”が設定される。このことを示したのが図１５である。
【００６０】
それに対し、ユーザーが人物Ｂ（３０３）にも範囲指定したいと考えた場合、後方の被写界深度ｄ２を“０”から“１”に増加させ、被写界深度を深くすることができる。被写界深度を更新したことを示したのが図１６である。
【００６１】
以上のように、本実施形態によれば、ライトフィールドカメラを用いた場合においても、ユーザーは簡単なボタン操作で所望の被写界深度の再構成画像を得ることが可能となる。特に、被写界深度のパラメータを前方向、奥方向に別々に持たせ、ボタンに被写界深度を合わせる方向、被写界深度の深浅を別々に割り当て、被写界深度の切り替えを物体ごとに行うことで簡単に所望の被写界深度の再構成画像を得ることが可能となる。
【００６２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００６３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６４】
１００：画像処理装置、１０６：画像処理部、１０９：制御部、１２０：距離情報取得部、１２５：範囲指定部、１３０：被写界深度設定部、１５０：被写界深度変更部、１６０：画像処理指定部、１７０：画像合成部
【図１】
2016039613.tif 000003
【図２】
2016039613.tif 000004
【図３】
2016039613.tif 000005
【図４】
2016039613.tif 000006
【図５】
2016039613.tif 000007
【図６】
2016039613.tif 000008
【図７】
2016039613.tif 000009
【図８】
2016039613.tif 000010
【図９】
2016039613.tif 000011
【図１０】
2016039613.tif 000012
【図１１】
2016039613.tif 000013
【図１２】
2016039613.tif 000014
【図１３】
2016039613.tif 000015
【図１４】
2016039613.tif 000016
【図１５】
2016039613.tif 000017
【図１６】
2016039613.tif 000018