(57)【要約】【課題】被写体の状態が刻々と変化する場合であっても最適な後処理用の画像を効率的に取得でき、またデータ容量の増大を抑えることを可能にすることを課題とする。【解決手段】  撮影条件に応じた撮像を行うための光学系（２０１）及び撮像素子（２０２）と、撮像された画像を解析する評価値算出部（２０７）と後処理候補を決定する後処理候補決定部（２０９）と、撮像部（２０２）が撮像を行う際の撮影条件を設定する制御部（２１４）とを有する。制御部（２１４）は、連続撮影の撮像が行なわれている時、撮像した画像から後処理候補決定部（２０９）が決定した後処理候補に応じて、次に撮像が行なわれる際の撮影条件を適宜変更する。【選択図】図１
2016096389.tif 000002
【特許請求の範囲】
【請求項１】
撮影条件に応じた撮像を行う撮像部と、
前記撮像部により撮像された画像を解析して後処理候補を決定する候補決定部と、
前記撮像部が撮像を行う際の前記撮影条件を設定する制御部とを有し、
連続した画像の撮影と記録が行われているとき、前記制御部は、前記撮像部が撮像した画像から前記候補決定部が決定した後処理候補に応じて、前記撮像部が次に撮像を行う際の撮影条件を変更することを特徴とする撮像装置。
【請求項２】
前記連続した画像の撮影と記録が行われているとき、前記候補決定部は、前記撮像部が撮像した画像から既に決定した後処理候補を、前記撮像部が次に撮像した画像から決定した後処理候補により更新し、前記制御部は、前記更新された後処理候補に応じて、前記撮像部が次に撮像を行う際の撮影条件を変更することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記候補決定部が決定した複数の後処理候補に対して優先度を決定する優先度決定部を有し、
前記制御部は、前記優先度決定部が決定した後処理候補の優先度に応じて、前記撮像部が次に撮像を行う際の撮影条件を変更することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記決定部が決定した後処理候補となる画像に必要な画像が記録されたか判断する判断部を有し、
前記制御部は、前記必要な画像が記録されたと前記判断部が判断した時、前記撮像部の撮像動作を終了させることを特徴とする請求項１乃至３何れか１項に記載の撮像装置。
【請求項５】
前記撮像部により撮像された画像に主被写体の画像が含まれるか判定する判定部を有し、
前記制御部は、前記画像に主被写体の画像が含まれないと前記判定部が判定した時、前記撮像部の撮像動作を終了させることを特徴とする請求項１乃至４何れか１項に記載の撮像装置。
【請求項６】
前記撮影条件は、前記撮像部が備えている光学系のピントの位置を設定するための撮影条件と、前記撮像部が撮像する画像の露光量を設定するための撮影条件との少なくとも何れかを含むことを特徴とする請求項１乃至５何れか１項に記載の撮像装置。
【請求項７】
撮像部を備えた撮像装置の制御方法であって、
前記撮像部が撮像を行う際の撮影条件を設定する設定ステップと、
前記撮像部により撮像された画像を解析して後処理の候補を決定する候補決定ステップと、
前記撮像部が撮像を行う際の前記撮影条件を設定し、連続した画像の撮影と記録がおこなわれているとき、前記撮像部が撮像した画像から前記候補決定ステップが決定した後処理候補に応じて、前記撮像部が次に撮像を行う際の撮影条件を変更する制御ステップと
を有することを特徴とする撮像装置の制御方法。
【請求項８】
撮像部を備えた撮像装置が有するコンピュータのプログラムであって、
前記撮像装置の撮像部により撮像された画像を解析して後処理の候補を決定する決定部と、
前記撮像部が撮像を行う際の撮影条件を設定し、連続した画像の撮影と記録が行われているとき、前記撮像部が撮像した画像から前記決定部が決定した後処理候補に応じて、前記撮像部が次に撮像を行う際の撮影条件を変更する制御部として、
前記撮像装置のコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来の撮像装置は、撮像センサによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、撮像装置は、現像処理された輝度信号及び色差信号を圧縮符号化して記録媒体に記録する。
【０００３】
一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化が最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで使われている。ＲＡＷ画像を記録する撮像装置の構成は、例えば特許文献１に開示されている。特許文献１には、ＲＡＷ画像と共に現像パラメータを記録しておき、再生時に現像パラメータを用いてＲＡＷ画像の現像及び再生を行う構成が記載されている。
【０００４】
また、近年コンピューテーショナルフォトグラフィと呼ばれる技術が提案されている。コンピューテーショナルフォトグラフィの技術は、例えば露出の異なる複数の画像データを用いたダイナミックレンジの広い１枚の画像データの生成や、位相をずらした複数枚の画像データを用いた解像度の高い超解像画像データの生成を可能とする。このように、パーソナルコンピュータ等のアプリケーションを使用し、ＲＡＷ画像の編集と合わせて、コンピューテーショナルフォトグラフィの技術に基づいた後処理が行われると、従来実現できなかった新しい写真表現が可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２４４４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、コンピューテーショナルフォトグラフィ等の技術を用いて後処理を行うためには、ユーザは、それぞれの後処理を行うことで実現できる写真表現を理解していなければならない。また、ユーザは、撮影被写体に対して最適な後処理を行うために必要な画像を撮像しなければならず、高度な撮影技術と知識が必要となる。また、撮像装置が撮像時又は撮像前に取得したデータのみを解析して、最適な後処理を判断し、それに必要な画像を撮像する場合であっても、最適な後処理用の画像データを取得できない可能性がある。即ち例えば、撮像中に被写体の状態が変化したり、後処理用に撮像した画像データを解析することで撮像開始時には有効性が判断できなかった後処理が必要になったりした場合、最適な後処理用の画像データは得られない。或いは、撮像時に無条件に撮影パラメータを変更して撮像した大量の画像データを取得した場合には、それらが全て後処理に必要な画像データであるとは限らない。この場合、ＲＡＷ画像データの記録によるデータ容量の増大と合わせ、無意味にデータ容量が増えてしまう可能性がある。
【０００７】
本発明はこのような問題点に鑑みてなされたものであり、被写体の状態が刻々と変化する場合でも最適な後処理用の画像を効率的に取得でき、またデータ容量の増大を抑えることも可能な撮像装置、撮像装置の制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、撮影条件に応じた撮像を行う撮像部と、前記撮像部により撮像された画像を解析して後処理候補を決定する候補決定部と、前記撮像部が撮像を行う際の前記撮影条件を設定する制御部とを有し、連続した画像の撮影と記録が行われているとき、前記制御部は、前記撮像部が撮像した画像から前記候補決定部が決定した後処理候補に応じて、前記撮像部が次に撮像を行う際の撮影条件を変更することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、被写体の状態が刻々と変化する場合であっても最適な後処理用の画像を効率的に取得でき、データ容量の増大を抑えることも可能である。
【図面の簡単な説明】
【００１０】
【図１】実施形態の撮像装置の構成例を示す図である。
【図２】結像光学系の射出瞳領域と受光素子の関係説明に用いる図である。
【図３】実施形態の撮像装置の動作を示すフローチャートである。
【図４】評価値の説明に用いる図である。
【図５】後処理候補と評価値と撮像画像の関係を表す図である。
【図６】被写体と撮影条件の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、撮像装置、制御方法及びプログラムの一実施形態について図面を参照しながら説明する。図１は、実施形態の撮像装置の概略構成を示す図である。図１に示す撮像装置２００は、光学系２０１、撮像素子２０２、Ａ／Ｄ変換部２０３、センサ補正処理部２０４、現像処理部２０５、記録部２０６、表示部２１２、操作部２１３を有している。さらに、本実施形態の撮像装置２００は、評価値算出部２０７、主被写体判定部２０８、後処理候補決定部２０９、優先度決定部２１０、取得情報判断部２１１、制御部２１４を有している。
【００１２】
光学系２０１は、フォーカスレンズや絞り、シャッター、ＲＧＢのカラーフィルタ等を有して構成されている。この光学系２０１は、撮影時にはフォーカスレンズを駆動し被写体等にピントを合わせ、また、絞り値やシャッタースピードを調整することにより露光量を調節する。撮像素子２０２は、光学系２０１にて結像された被写体等による光量を光電変換により電気信号にするＣＣＤ又はＣＭＯＳ等である。また、撮像素子２０２は、結像光学系の異なる射出瞳領域を通過した光束をそれぞれ独立に受光して光電変換を行い、それぞれが電気信号を出力可能となされた複数の受光素子を備えている。これら光学系２０１と撮像素子２０２は、撮像部の一例として撮像装置に設けられている。図２は、撮像素子２０２が備えている複数の受光素子のうち一組の受光素子６０３，６０４と、それら一組の受光素子６０３，６０４に対応した一つのマイクロレンズ６０５と、射出瞳領域６０１，６０２との関係を表している。図２に示すように、マイクロレンズ６０５は、一組の受光素子６０３，６０４に対応して設けられ、それら受光素子６０３，６０４の受光面の前面側に配されている。したがって、図２に示すように、受光素子６０３はマイクロレンズ６０５を介して射出瞳領域６０１を通過した光束を受光し、受光素子６０４はマイクロレンズ６０５を介して射出瞳領域６０２を通過した光束を受光する。そして、撮像素子２０２は、これら受光素子６０３，６０４の組が二次元平面上に所定配列パターンとなるように多数配列されている。また、マイクロレンズ６０５はそれら受光素子６０３，６０４の一組に対して一つが対応するように配されており、複数のマイクロレンズ６０５が二次元配置されることでマイクロレンズアレイが形成されている。このような構造により、複数の受光素子６０３が受光した撮像信号から形成されるＡ像と、複数の受光素子６０４が受光した撮像信号から形成されるＢ像は、それぞれ異なる視点から同じ被写体を見た像となる。また、これらＡ像とＢ像の相対的な位置のずれ量は、被写体像に対するデフォーカス量に相当する。即ち、撮像装置２００は、それら受光素子６０３，６０４の撮像信号からＡ像とＢ像の両画像の相対位置のずれ量を検出することにより、被写体像に対するデフォーカス量を検出することができる。Ａ／Ｄ変換部２０３は、撮像素子２０２から入力されたアナログ撮像信号をデジタル化して撮像データを出力する。センサ補正処理部２０４は、Ａ／Ｄ変換部２０３から入力された撮像データに対して、欠陥画素補正やシェーディング補正等のセンサ補正処理を行う。このセンサ補正処理部２０４の出力データがＲＡＷ画像データとなる。現像処理部２０５は、センサ補正処理部２０４から入力されるＲＡＷ画像データに対して、デベイヤー処理を行い、輝度と色差から成る８ｂｉｔのＹＵＶ画像データに変換する。記録部２０６は、センサ補正処理部２０４から出力されるＲＡＷ画像データを記録する。なお、記録部２０６は、データ容量を削減するために、センサ補正処理部２０４からのＲＡＷ画像データに対して、例えばＡ像用画素データとＢ像用画素データの加算処理や、非可逆圧縮等の圧縮処理等を行ってから記録する。評価値算出部２０７は、センサ補正処理部２０４から入力されるＲＡＷ画像データと、現像処理部２０５から入力される８ｂｉｔのＹＵＶ画像データを解析し、画像データの輝度分布、所定の領域毎の周波数特性、距離情報、人物の有無等の評価値を算出する。主被写体判定部２０８は、現像処理部２０５から入力されるＹＵＶ画像データから主被写体を判定する。後処理候補決定部２０９は、評価値算出部２０７で算出される各種評価値と主被写体判定部２０８による被写体判定結果とに基づいて、複数の後処理候補の中から、入力された画像データに対して最適な後処理の候補を決定する。これら主被写体判定部２０８、評価値算出部２０７、後処理候補決定部２０９の詳細は後述する。優先度決定部２１０は、主被写体判定部２０８による被写体判定結果を参照し、後処理候補決定部２０９で決定された後処理候補から、各後処理候補に必要な画像データを撮像する際の優先度を決定する。取得情報判断部２１１は、後処理候補決定部２０９で決定された後処理候補に必要なデータが取得されたか否かを判断する。これら優先度決定部２１０、取得情報判断部２１１の詳細は後述する。表示部２１２は、現像処理部２０５で処理が行われた８ｂｉｔのＹＵＶ画像データを基に画像を表示する。操作部２１３は、ユーザからの撮影指示等が入力される操作入力部であり、例えばシャッターボタン等を備えている。制御部２１４は、主被写体判定部２０８と優先度決定部２１０と取得情報判断部２１１から入力される情報に基づいて、光学系２０１と撮像素子２０２とＡ／Ｄ変換部２０３と記録部２０６を制御し、また、撮像装置２００での撮像動作を制御する。この制御部２１４による制御の詳細は後述する。
【００１３】
次に、制御部２１４による制御の流れについて、図３のフローチャートを用いて説明する。なお、図３の例は、撮像装置２００において、操作部２１３のシャッターボタンが押下されて例えば連写により複数枚の画像が連続的に撮影される際の制御例を示している。ただし、図３の例において、ＳＷ１はシャッターボタンのいわゆる半押し操作を示しており、ＳＷ２はいわゆる全押し操作を示している。先ず、ステップＳ１０１において、制御部２１４は、操作部２１３のシャッターボタンにおいてＳＷ１の半押し操作がなされているか判断する。制御部２１４は、ＳＷ１の半押し操作がなされている場合、処理をステップＳ１０２へ進め、光学系２０１、撮像素子２０２、Ａ／Ｄ変換部２０３に対して、所定の撮影条件を設定する。なお、ステップＳ１０２で設定される所定の撮影条件は、被写体の明るさ等に応じた露光量の調整や被写体へのピント合わせ、撮像素子の読み出しモードなど、撮影が開始される際に設定される撮影条件である。次に、制御部２１４は、処理をステップＳ１０３へ進めて、光学系２０１と撮像素子２０２とセンサ補正処理部２０４を制御して撮像動作を開始させる。センサ補正処理部２０４は、欠陥画素補正処理やシェーディング補正処理等のセンサ補正処理を行い、その処理後のＲＡＷ画像データを現像処理部２０５と記録部２０６へそれぞれ出力する。そして、制御部２１４は、処理をステップＳ１０４へ進め、記録部２０６に対してデータの圧縮処理と記録を行わせる。この時の記録部２０６は、センサ補正処理部２０４から入力されたＲＡＷ画像データに非可逆圧縮処理等を行い、その圧縮処理後のデータを記録媒体へ記録する。また、制御部２１４は、ステップＳ１０４において、現像処理部２０５に対して現像処理を行わせる。現像処理部２０５は、ＲＡＷ画像データに対して現像処理を行い、８ｂｉｔのＹＵＶ画像データを主被写体判定部２０８と評価値算出部２０７と表示部２１２へ出力し、また評価値算出部２０７へはＲＡＷ画像データも出力する。次に、制御部２１４は、処理をステップＳ１０５へ進め、主被写体判定部２０８を制御して主被写体の判定処理を行わせる。主被写体判定部２０８は、現像処理部２０５から入力される８ｂｉｔのＹＵＶ画像データを用いて主被写体の判定処理を行う。次に、制御部２１４は、処理をステップＳ１０６へ進め、評価値算出部２０７を制御して評価値の算出を行わせる。評価値算出部２０７は、現像処理部２０５から入力されるＲＡＷ画像データとＹＵＶ画像データを用い、輝度分布、所定の領域毎の周波数特性、距離情報、人物の有無等の評価値を算出する。
【００１４】
ここで、評価値算出部２０７で算出される評価値の一例を図４を参照して説明する。図４の（ａ）は、ＹＵＶ画像データから評価値算出部２０７が算出する輝度分布の一例を示している。図４の（ａ）の横軸は８ｂｉｔのＹＵＶ画像データの輝度（Ｙ）レベルを示し、縦軸は画素数を示している。即ち、図４の（ａ）の各棒グラフの縦軸方向の高さは、該当する輝度レベルに相当する画素の総数を表している。この評価値算出部２０７は、ＹＵＶ画像データから算出した輝度分布の情報を、評価値の一つとして後処理候補決定部２０９へ出力する。図４の（ｂ）は、ＲＡＷ画像データから評価値算出部２０７が算出する、所定の領域の周波数特性の一例を示している。図４の（ｂ）の横軸は周波数を示し、縦軸は振幅を示している。即ち、図４の（ｂ）の各棒グラフの縦軸方向の高さは、該当する周波数成分の振幅の大きさを表している。なお、所定の領域は、ＲＡＷ画像データを例えば所定のサイズごとのブロックに分割した領域である。評価値算出部２０７は、そのブロックの画像データについて、グリーン（Ｇ）のカラーフィルタの画素に対応したデータのみを抽出して、そのデータからＦＦＴ（高速フーリエ変換）などの手法を用いて周波数特性を算出する。そして、評価値算出部２０７は、それら所定の領域ごとに周波数特性の情報を、評価値の一つとして後処理候補決定部２０９へ出力する。図４の（ｃ）は、例えばＲＡＷ画像データから評価値算出部２０７が算出する距離情報の一例を示している。図４の（ｃ）の横軸は距離を示し、縦軸は画素数を示している。即ち、図４の（ｃ）の各棒グラフの縦軸方向の高さは、該当する距離に対応した画素群の総和を示している。ここで、評価値算出部２０７は、ＲＡＷ画像データから前述したＡ像とＢ像の相対位置のずれ量を検出して、被写体像のデフォーカス量を検出する。さらに、評価値算出部２０７は、被写体像のデフォーカス量をもとに撮像装置２００から被写体までの距離を算出する。そして、評価値算出部２０７は、そのように算出した距離情報を、評価値の一つとして後処理候補決定部２０９へ出力する。また、評価値算出部２０７は、８ｂｉｔのＹＵＶ画像データに対して、顔検出等の被写体検出処理により検出した顔の総数の情報を、評価値の一つとして後処理候補決定部２０９へ出力する。顔検出等の被写体検出処理は、公知の顔認識処理等の技術を使用することができる。なお、評価値算出部２０７は、被写体の顔の状態を判断し、公知の手法を用いて笑顔度や目瞑りの有無等を検出し、それらの情報を、顔の総数の情報と合わせて評価値とすることが望ましい。
【００１５】
図３のフローチャートの説明に戻り、制御部２１４は、処理をステップＳ１０７へ進め、後処理候補決定部２０９に後処理候補を決定させる。即ち後処理候補決定部２０９は、評価値算出部２０７から送られてきた各種評価値に基づいて、複数の後処理候補の中から最適な後処理候補を決定する。図５は、複数の後処理候補と、何れの後処理を行うか否かを判断する際の評価値と、後処理を行うために必要となる撮像画像との関係を表にした図である。この図５の表に示された各項目について図４を参照しながら説明する。
【００１６】
図５に挙げられた後処理候補のうち、「ＨＤＲ（High Dynamic Range）」は、後処理候補決定部２０９が輝度分布の評価値を参照して画像のダイナミックレンジが広いと判断した場合に決定される後処理候補である。ここで、例えば図４の（ａ）に示したような輝度分布が、評価値として後処理候補決定部２０９に入力されたとする。図４の（ａ）は、前述したように、８ｂｉｔのＹＵＶ画像データを用いて評価値算出部２０７が算出した輝度分布を示している。また図中の各棒グラフの高さは、前述したように、該当する輝度レベルに相当する画素の総数を表している。この例の場合、網掛けパターンで塗りつぶした棒グラフ部分ＢＧＬとＢＧＨ、即ち、輝度レベルが「０」及びその近傍の輝度レベルに対応した画素の数と、輝度レベルが「２５５」及びその近傍の輝度レベルに対応した画素の数とが多いことがわかる。後処理候補決定部２０９は、棒グラフ部分ＢＧＬとＢＧＨ、即ち、輝度レベルが「０」及びその近傍の画素の総和と輝度レベルが「２５５」及びその近傍の画素数の総和の両方ついて、それぞれ予め設定された画素数閾値以上であるか調べる。そして、後処理候補決定部２０９は、棒グラフ部分ＢＧＬの画素数の総和と棒グラフ部分ＢＧＨの画素数の総和が両方ともに画素数閾値以上であった場合、画像データのダイナミックレンジが広いと判断し、後処理候補として「ＨＤＲ」を決定する。また、後処理候補としてＨＤＲが決定された場合、後処理を行うために必要となる撮像画像は、ダイナミックレンジが広い画像を撮影するのに最適な露光量が得られる撮影条件で撮影がなされた画像となる。したがって、後処理候補としてＨＤＲが決定された場合、制御部２１４は、後述するステップＳ１１０以降に処理を進めて撮影を行なわせる際には、ダイナミックレンジが広い画像の撮影に最適な露光量となるように撮影条件を変更する。具体的には、制御部２１４は、ダイナミックレンジが広い画像に最適な露光量が得られるように、光学系２０１の絞り値とシャッタースピードなどの撮影条件を設定し、撮像素子２０２に撮像を行なわせる。そして、制御部２１４は、その撮像により得られた画像データを記録部２０６に記録させる。即ちこの記録部２０６に記録された画像は、ダイナミックレンジが広い画像に最適な露光量で撮影がなされた画像であるため、後処理に最適な画像といえる。また、記録部２０６には、後処理に最適な画像データだけが記録されることになり、後処理に不要な画像データが記録されてしまうことによるデータ容量の増大が抑えられる。
【００１７】
図５の後処理候補のうち、「超解像」は、後処理候補決定部２０９が領域毎の周波数特性の評価値を参照して解像度が高いと判断した場合に決定される後処理候補である。ここで、例えば図４の（ｂ）に示したような周波数特性が、評価値として後処理候補決定部２０９に入力されたとする。図４の（ｂ）は、前述したように、評価値算出部２０７が所定の領域ごとに算出した周波数特性を示している。また図中の各棒グラフの高さは、前述したように、該当する周波数成分の振幅の大きさを表している。この図４の（ｂ）に示した周波数特性は、例えば低帯域と中帯域と高帯域にそれぞれ振幅の大きい周波数成分が存在していて、特に網掛けパターンで塗りつぶした棒グラフ部分ＢＦＨ、即ち高帯域に振幅の大きい周波数成分が存在していることがわかる。後処理候補決定部２０９は、前記棒グラフ部分ＢＦＨ、即ち図４の（ｂ）の例のように予め設定した所定の周波数Ｆｔｈを超える周波数領域について、各周波数成分の振幅の総和を調べる。そして、後処理候補決定部２０９は、所定の周波数Ｆｔｈを超える周波数領域の各周波数成分の振幅の総和が、予め設定された振幅閾値より大きい場合に、解像度が高いと判断する。後処理候補決定部２０９は、解像度が高いと判断した場合、後処理候補として「超解像」を決定する。また、後処理候補として超解像が決定された場合、後処理を行うために必要となる撮像画像は、高い解像度の画像が得られる撮影条件で撮影が行なわれた画像となる。したがって、後処理候補として超解像が決定された場合、制御部２１４は、後述するステップＳ１１０以降に処理を進めて撮影を行なわせる際には、解像度の高い画像が得られるように撮影条件を変更する。具体的には、制御部２１４は、解像度の高い画像が得られるように、光学系２０１又は撮像素子２０２の物理的な位置をずらして位相を変えた複数枚の画像の撮像を行わせる。そして、制御部２１４は、その撮像により得られた画像データを記録部２０６に記録させる。記録部２０６に記録された画像は、位相をずらして撮影された画像であるため高い解像度の画像を得る後処理に最適な画像となり、また記録部２０６には後処理に最適な画像データだけが記録されるためデータ容量の増大も抑えられる。
【００１８】
図５の後処理候補のうち、「リフォーカス」は、後処理候補決定部２０９が距離情報の評価値を参照して距離差がある被写体が存在すると判断した場合に決定される後処理候補である。ここで、例えば図４の（ｃ）に示したような距離情報が、評価値として後処理候補決定部２０９に入力されたとする。図４の（ｃ）は、前述したように、評価値算出部２０７が算出した各距離に対応した画素数を示している。また、図中の各棒グラフの高さは、該当する距離に対応した画素群の総和を示している。この図４の（ｃ）の例は、距離Ｄ１付近に集まった画素群と距離Ｄ２付近に集まった画素群の二つの画素群、つまり互いに距離が離れた二つの画素群が存在していることを示している。後処理候補決定部２０９は、図４の（ｃ）のように距離Ｄ１付近と距離Ｄ２付近で互いに距離が異なる二つの画素群が存在している場合、撮像装置２００からの距離が異なる被写体が少なくとも二つ存在すると判断する。即ち、後処理候補決定部２０９は、撮像装置２００からの距離が、距離Ｄ１付近の被写体と距離Ｄ２付近の被写体の少なくとも二つが存在すると判断する。そして、後処理候補決定部２０９は、それら被写体間の距離の差を算出する。具体的に説明すると、後処理候補決定部２０９は、撮像装置２００からの距離が近い方の被写体（つまり距離Ｄ１の被写体）については、当該被写体の撮像画素のうち、撮像装置２００から最も遠い被写体部分に相当する画素群の距離情報を取得する。一方、後処理候補決定部２０９は、撮像装置２００からの距離が遠い方の被写体（つまり距離Ｄ２の被写体）については、当該被写体の撮像画素のうち、撮像装置２００から最も近い被写体部分に相当する画素群の距離情報を取得する。そして、後処理候補決定部２０９は、それら二つの距離情報から差を算出することにより、それら被写体間の距離の差Ｄｄを求める。後処理候補決定部２０９は、前記差距離の差Ｄｄを算出すると、さらに当該距離の差Ｄｄが、距離閾値Ｄｔｈより大きいか否か判断し、大きいと判断した場合、後処理候補として「リフォーカス」を決定する。ここで、後処理候補としてリフォーカスが決定された場合、後処理を行うために必要となる撮像画像は、リフォーカス処理が可能な画像が得られる撮影条件の画像となる。したがって、後処理候補としてリフォーカスが決定された場合、制御部２１４は、後述するステップＳ１１０以降に処理を進めて撮影を行う際には、リフォーカス処理が可能な画像が得られるように撮影条件を変更する。具体的には、制御部２１４は、リフォーカス処理が可能な画像が得られるように、前述した視点の異なるＡ像とＢ像の画像を撮影し、それらＡ像とＢ像の画像データを加算処理させることなく、それぞれを記録部２０６で記録媒体へ記録させる。記録部２０６に記録された画像は、リフォーカス処理が可能な画像であるため後処理としてリフォーカス処理が可能となり、また記録部２０６には後処理に最適な画像データだけが記録されるためデータ容量の増大も抑えられる。
【００１９】
図５の後処理候補のうち、「ベスト顔選択」は、後処理候補決定部２０９が顔の総数の情報（つまり人物の有無の情報）の評価値を参照して、被写体の中に顔即ち人物が複数存在していると判断した場合に決定される後処理候補である。また、後処理候補としてベスト顔選択が決定された場合、後処理を行うために必要となる撮像画像は、人物の顔を適切な露光量で撮影できてブレも少ない画像が得られる撮影条件で撮影がなされた画像となる。したがって、後処理候補としてベスト顔選択が決定された場合、制御部２１４は、後述するステップＳ１１０以降に処理を進めて撮影を行なわせる際には、人物の顔の撮影に最適な露光量でブレも少ない画像が撮影できるように撮影条件を変更する。具体的には、制御部２１４は、適切な露光量でブレも少ない画像が撮影できるように、適切な露光量を取得できる範囲でシャッタースピードを最も高速にして連続撮影するための撮影条件を設定して、撮像素子２０２に連続撮像を行なわせる。また、前記シャッタースピードの設定と合わせて、制御部２１４は、撮像素子２０２の駆動モードを変更し、画素加算読み出しを行わせて高速な読み出しモードでの撮像を行わせるように撮影条件を設定してもよい。そして、制御部２１４は、その連続撮像により得られた画像データを記録部２０６に記録させる。このとき記録部２０６に記録された画像は、人物の顔の撮影に最適な露光量でブレも少なく連続撮影がなされた画像であるため、良好な人物の顔画像を選択するような後処理に最適な画像といえる。また、記録部２０６には、そのような後処理に最適な画像データだけが記録されるためデータ容量の増大が抑えられる。なお、ベスト顔選択が後処理候補に決定された場合、制御部２１４は、後述するステップＳ１１０以降で撮影を行う際には、複数の人物に対してそれぞれ最適な状態の表情が撮像されるまで繰り返し撮像を続けるのが望ましい。
【００２０】
また本実施形態において、後処理候補は、同時に複数決定されてもよい。例えば、図６の（ａ）に示すような逆光条件で複数の人物４０１を被写体として撮影する場合、後処理候補決定部２０９は、逆光条件であるためダイナミックレンジが広く、複数の人物が存在していると判断することになる。この場合、後処理候補決定部２０９は、後処理候補として、ＨＤＲとベスト顔選択を決定する。このように、後処理候補決定部２０９において評価値算出部２０７で算出された評価値に基づいて複数の後処理候補を決定することで、撮像装置２００は、被写体に対して必要十分な後処理候補の画像を取得することが可能になる。
【００２１】
図３のフローチャートの説明に戻り、制御部２１４は、処理をステップＳ１０８へ進め、優先度決定部２１０を制御して優先度を決定させる。優先度決定部２１０は、主被写体判定部２０８からの主被写体情報を参照し、後処理候補決定部２０９が決定した後処理候補について、撮像時の優先度を決定する。例えば図６の（ａ）のような逆光条件下の被写体に対して後処理候補にＨＤＲとベスト顔選択が選ばれ、また主被写体判定部２０８で人物が主被写体と判定された場合、優先度決定部２１０は、主被写体である人物に係る後処理が優先されるように優先度を決定する。即ちこの場合、優先度決定部２１０は、ＨＤＲよりもベスト顔選択の優先度を高く設定する。なお、また、予めユーザが後処理候補の優先度を決定しておくことで、優先度を決定しても良い。
【００２２】
このように、主被写体情報又は予めユーザの設定に基づいて後処理候補の優先度が決定されると、制御部２１４は、その優先度に応じた後処理候補の画像を取得できるように撮影条件を設定する。したがって、後処理候補に優先度が決められている場合、制御部２１４は、後述するステップＳ１１０以降に処理を進めて撮影を行なわせる際には、その優先度に応じた後処理候補の画像が得られるように画像の撮影を行なわせる。これにより、例えば連写の撮影モードのように複数枚の画像を連続して撮像している最中に被写体の状態が変化した場合であっても、優先度の高い後処理候補に必要な画像データを取得できる可能性が高くなる。
【００２３】
次に、ステップＳ１０９へ処理を進めると、制御部２１４は、操作部２１３にてＳＷ２の全押し操作がなされたか否か判断する。そして、制御部２１４は、ＳＷ２の全押し操作がなされていないと判断した場合には処理をステップＳ１０２へ戻す。これにより、制御部２１４は、ＳＷ２の全押し操作がなされるまで、ステップＳ１０２からステップＳ１０９までの処理を繰り返すことになる。一方、ステップＳ１０９にてＳＷ２が全押し操作がなされたと判断すると、制御部２１４は、処理をステップＳ１１０へ進める。
【００２４】
処理をステップＳ１１０へ進めると、制御部２１４は、後処理候補決定部２０９が決定した後処理候補の中で未だ撮影が完了していない後処理候補のうち、優先度決定部２１０で決定した優先度が最も高い後処理候補の画像を撮像するための撮影条件を設定する。次に、制御部２１４は、処理をステップＳ１１１へ進めると、光学系２０１と撮像素子２０２とセンサ補正処理部２０４を制御して撮像を行わせる。そして、センサ補正処理部２０４から出力されるＲＡＷ画像データは、現像処理部２０５と記録部２０６へそれぞれ出力される。次に、制御部２１４は、ステップＳ１１２において記録部２０６を制御してデータ圧縮と記録を行わせる。記録部２０６は、センサ補正処理部２０４からのＲＡＷ画像データに非可逆圧縮処理を行い、その圧縮処理後のデータを記録媒体へ記録する。また、制御部２１４は、ステップＳ１１３として、主被写体判定部２０８に主被写体の判定処理を行わせる。主被写体判定部２０８は、ステップＳ１０５で決定された主被写体の画像が、現像処理部２０５から入力されるＹＵＶ画像データ中に存在するか否かを判定する。そして、制御部２１４は、主被写体判定部２０８にて主被写体の画像が存在すると判定された場合には処理をステップＳ１１４へ進め、一方、主被写体の画像が存在しないと判定された場合には撮像動作を終了させる。このように、主被写体の画像が存在しないと判定される場合、撮像装置２００は、撮像動作を終了することになるため、不要な画像データが撮像されてそれを記録してしまうことを回避できる。即ち、本実施形態において、前述したＳＷ１の半押し操作がなされている時には、ユーザがフレーミング等を行っている最中であり未だ主被写体が決まっていないと考えられるため、制御部２１４は、ステップＳ１０５で撮像毎に主被写体の判定を行わせている。これに対し、ＳＷ２の全押し検出後のステップＳ１１３において主被写体画像が存在しないと判断された場合、撮影すべき被写体そのものが撮影範囲（画角）内から外れてしまったと考えられるため、制御部２１４は、撮影動作を止めて連写を終了させる。
【００２５】
制御部２１４は、処理をステップＳ１１４へ進めると、ステップＳ１０６の時と同様、評価値算出部２０７に輝度分布、領域毎の周波数特性、距離情報、人物の有無等の評価値を算出させる。ここで、例えば図６の（ａ）で示したような逆光条件での被写体撮影のために後処理候補としてＨＤＲが決定されて撮影が行われた場合には、例えば図６の（ｂ）に示すように露光量が少ない画像データが撮像されることになる。この場合、図６の（ａ）の例では露光量が飽和してしまっていた背景の建物４０２も撮像されることになる。したがって、図６の（ｂ）に示した画像の場合、評価値算出部２０７は、人物４０１の被写体から撮像装置２００までの距離情報だけでなく、ステップＳ１０６では算出できなかった建物４０２の被写体から撮像装置２００までの距離情報も、評価値として算出する。同様に、評価値算出部２０７は、人物４０１に対応した領域の周波数特性だけでなく、建物４０２に対応した領域の周波数特性も、評価値として算出できることになる。つまり、図６の（ｂ）の画像の場合、図６の（ａ）の画像を撮像した際には得られなかった新たな評価値が評価値算出部２０７にて算出されて、後処理候補決定部２０９へ出力されることになる。
【００２６】
次に、制御部２１４は、処理をステップＳ１１５へ進める。この時の後処理候補決定部２０９は、後処理候補の更新を行う。即ち、後処理候補決定部２０９は、後処理候補の書き換え、追加、又は削除を行う。例えば図６の（ｂ）に示したような人物４０１と建物４０２の各距離情報の評価値として、図４の（ｃ）に示したような二つの距離情報が後処理候補決定部２０９に与えられたとする。この場合、後処理候補決定部２０９は、それら人物と建物の距離差Ｄｄを求め、その距離差Ｄｄが予め設定された距離閾値Ｄｔｈより大きいと判断した場合、後処理候補としてリフォーカスを追加する。また、図６の（ｂ）の建物に対応した領域の周波数特性の評価値として図４の（ｂ）に示した高帯域側の周波数特性が得られたとする。この場合、後処理候補決定部２０９は、その高帯域の周波数特性が所定の周波数閾値Ｆｔｈを越えているか判断し、さらにその振幅の総和が振幅閾値Ａｔｈより大きいか判断する。そして、後処理候補決定部２０９は、その高帯域の周波数特性が所定の周波数閾値Ｆｔｈを越えていると判断し、さらにその振幅の総和が振幅閾値Ａｔｈより大きいと判断した場合、後処理候補として超解像を追加する。
【００２７】
また、制御部２１４は、ステップＳ１１６の処理として、優先度決定部２１０を制御して後処理候補の優先度を決定させる。即ちこの時の優先度決定部２１０は、後処理候補決定部２０９で更新された後処理候補を鑑みて、後処理候補の優先度を変更する。次に、ステップＳ１１７として、制御部２１４は、取得情報判断部２１１に判定処理を行わせる。取得情報判断部２１１は、後処理候補決定部２０９で決定された後処理に必要な画像データが全て取得されているかを判定する。そして制御部２１４は、取得情報判断部２１１において、後処理に必要な画像データが全て取得されたと判断した場合には、撮像動作を終了させる。一方、取得情報判断部２１１において、取得されていないと判断した場合、制御部２１４は、処理をステップＳ１１０へ戻し、後処理に必要な画像データを取得するための撮像動作に移る。
【００２８】
このように、本実施形態の撮像装置２００は、画像データから算出した評価値に基づいて後処理候補を選択することにより、撮影被写体に対して最適な後処理を行うために必要な画像データのみ取得することが可能である。また撮像装置２００は、決定された後処理候補に応じて撮影条件を適宜変更して撮像した画像を参照し、再度後処理候補を更新することにより、撮像前には検出できなかった被写体の特徴や撮像する被写体の変化を鑑みた最適な後処理候補を決定することができる。
【００２９】
なお、前述した後処理候補を使用した後処理は、パーソナルコンピュータ等の情報処理装置により行われる場合だけでなく、本実施形態の撮像装置２００にて行うことも可能である。このため、本実施形態の撮像装置２００は、後処理を実行可能なＣＰＵ（後処理部２１５）を備えている。この後処理部２１５は、記録部２０６に記録されている後処理候補のデータを、制御部２１４を介して受け取り、当該後処理候補のデータを用いて後処理を実行する。図３のフローチャートにおいて、制御部２１４は、ステップＳ１１８として後処理モードを実行することの設定がなされているか判断し、後処理モードの設定がなされている時には処理をステップＳ１１９へ進める。ステップＳ１１９へ処理を進めると、制御部２１４は処理を後処理部２１５へ渡し、後処理部２１５は記録部２０６に記録されている後処理候補のデータを用いて後処理を実行する。
【００３０】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００３１】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００３２】
２００  撮像装置、２０１  光学系、２０２  撮像素子、２０３  Ａ／Ｄ変換部、２０４  センサ補正処理部、２０５  現像処理部、２０６  記録部、２０７  評価値算出部、２０８  後処理候補決定部、２０９  優先度決定部、２１０  取得情報判断部、２１１  主被写体判断部、２１２  表示部、２１３  操作部、２１４  制御部
【図１】
2016096389.tif 000003
【図２】
2016096389.tif 000004
【図３】
2016096389.tif 000005
【図４】
2016096389.tif 000006
【図５】
2016096389.tif 000007
【図６】
2016096389.tif 000008