(57)【要約】【構成】イメージセンサ１６は、撮像面で捉えられたシーンを表す生画像データを出力する。ＣＰＵ２６は、出力された生画像データに基づいて被写体距離を所望の距離に調整し、同じ生画像データに現われた人物の顔画像のサイズに基づいて人物の顔部までの距離を算出する。ＣＰＵ２６はまた、被写界深度を上述の要領で算出ないし調整された２つの距離の相違に対応する深度に調整する。【効果】合焦性能が向上する。【選択図】図２
2013225020.tif 000002
【特許請求の範囲】
【請求項１】
撮像面で捉えられたシーンを表す画像を出力する撮像手段、
被写体距離を所望の距離に調整する第１調整手段、
前記撮像手段から出力された画像に現れた特定被写体像のサイズに基づいて前記特定被写体像に相当する被写体までの距離を算出する算出手段、および
被写界深度を前記算出手段によって算出された距離と前記第１調整手段によって調整された距離との相違に対応する深度に調整する第２調整手段を備える、電子カメラ。
【請求項２】
前記算出手段は、前記特定被写体までの最長距離および最短距離を前記特定被写体像のサイズに基づいて推定する距離推定手段、および前記距離推定手段によって推定された最長距離および最短距離のうち前記被写体距離との相違が大きい一方の距離を選択する距離選択手段を含む、請求項１記載の電子カメラ。
【請求項３】
前記第１調整手段は前記撮像手段から出力された画像に現れた所望の被写体像の高周波成分に基づいて前記被写体距離を調整する、請求項１または２記載の電子カメラ。
【請求項４】
前記第１調整手段は前記撮像手段から出力された画像のうち前記特定被写体像が現れた領域の高周波成分に基づいて前記被写体距離を調整する、請求項１または２記載の電子カメラ。
【請求項５】
前記第１調整手段は前記撮像手段から出力された画像のうち既定領域の高周波成分に基づいて前記被写体距離を調整する処理を撮像準備操作に関連して実行する、請求項１または２記載の電子カメラ。
【請求項６】
前記撮像面の前方に設けられたフォーカスレンズをさらに備え、
前記第１調整手段は前記フォーカスレンズと前記撮像面との間隔を前記所望の距離に相当する間隔に調整する、請求項１ないし５のいずれかに記載の電子カメラ。
【請求項７】
撮像面で捉えられたシーンを表す画像を出力する撮像手段を備える電子カメラのプロセッサに、
被写体距離を所望の距離に調整する第１調整ステップ、
前記撮像手段から出力された画像に現れた特定被写体像のサイズに基づいて前記特定被写体像に相当する被写体までの距離を算出する算出ステップ、および
被写界深度を前記算出ステップによって算出された距離と前記第１調整ステップによって調整された距離との相違に対応する深度に調整する第２調整ステップを実行させるための、合焦制御プログラム。
【請求項８】
撮像面で捉えられたシーンを表す画像を出力する撮像手段を備える電子カメラによって実行される合焦制御方法であって、
被写体距離を所望の距離に調整する第１調整ステップ、
前記撮像手段から出力された画像に現れた特定被写体像のサイズに基づいて前記特定被写体像に相当する被写体までの距離を算出する算出ステップ、および
被写界深度を前記算出ステップによって算出された距離と前記第１調整ステップによって調整された距離との相違に対応する深度に調整する第２調整ステップを備える、合焦制御方法。
【請求項９】
撮像面で捉えられたシーンを表す画像を出力する撮像手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
被写体距離を所望の距離に調整する第１調整ステップ、
前記撮像手段から出力された画像に現れた特定被写体像のサイズに基づいて前記特定被写体像に相当する被写体までの距離を算出する算出ステップ、および
被写界深度を前記算出ステップによって算出された距離と前記第１調整ステップによって調整された距離との相違に対応する深度に調整する第２調整ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１０】
撮像面で捉えられたシーンを表す画像を出力する撮像手段、
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
前記外部制御プログラムは、
被写体距離を所望の距離に調整する第１調整ステップ、
前記撮像手段から出力された画像に現れた特定被写体像のサイズに基づいて前記特定被写体像に相当する被写体までの距離を算出する算出ステップ、および
被写界深度を前記算出ステップによって算出された距離と前記第１調整ステップによって調整された距離との相違に対応する深度に調整する第２調整ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子カメラに関し、特に撮像面で生成された光学像に基づいて撮像条件を調整する、電子カメラに関する。
【背景技術】
【０００２】
この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、ＡＦ手段は、画像データ内の所定のＡＦエリアからの信号に基づいてフォーカス制御を行う。抽出手段は、画像データから特徴部位を抽出する。顔識別手段は、抽出手段が抽出した特徴部位のうちから人物の顔を識別する。判別手段は、顔識別手段が識別した顔の大きさが所定値以上かどうかを判別する。設定手段は、判別手段の判別結果に応じてＡＦエリアを設定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３１７６９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、顔の大きさの個人差は考慮されておらず、識別された顔の大きさから被写体距離が決定される場合に誤差が生じる可能性がある。例えば、子供の顔に注目して被写体距離が決定される場合、平均的な大人の顔の大きさと被写体距離とが参照されることによって誤差が生じ、合焦性能が低下する恐れがある。
【０００５】
それゆえに、この発明の主たる目的は、合焦性能を高めることができる、電子カメラを提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)、被写体距離を所望の距離に調整する第１調整手段(S17~S19, S27~S31)、撮像手段から出力された画像に現れた特定被写体像のサイズに基づいて特定被写体像に相当する被写体までの距離を算出する算出手段(S67, S121~S123, S127)、および被写界深度を算出手段によって算出された距離と第１調整手段によって調整された距離との相違に対応する深度に調整する第２調整手段(S125, S129, S131, S37, S41)を備える。
【０００７】
好ましくは、算出手段は、特定被写体までの最長距離および最短距離を特定被写体像のサイズに基づいて推定する距離推定手段(S121~S123)、および距離推定手段によって推定された最長距離および最短距離のうち被写体距離との相違が大きい一方の距離を選択する距離選択手段(S127)を含む。
【０００８】
好ましくは、第１調整手段は撮像手段から出力された画像に現れた所望の被写体像の高周波成分に基づいて被写体距離を調整する。
【０００９】
好ましくは、第１調整手段は撮像手段から出力された画像のうち特定被写体像が現れた領域の高周波成分に基づいて被写体距離を調整する。
【００１０】
好ましくは、第１調整手段は撮像手段から出力された画像のうち既定領域の高周波成分に基づいて被写体距離を調整する処理を撮像準備操作に関連して実行する。
【００１１】
好ましくは、撮像面の前方に設けられたフォーカスレンズ(12)がさらに備えられ、第１調整手段はフォーカスレンズと撮像面との間隔を所望の距離に相当する間隔に調整する。
【００１２】
この発明に従う合焦制御プログラムは、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)を備える電子カメラ(10)のプロセッサ(26)に、被写体距離を所望の距離に調整する第１調整ステップ(S17~S19, S27~S31)、撮像手段から出力された画像に現れた特定被写体像のサイズに基づいて特定被写体像に相当する被写体までの距離を算出する算出ステップ(S67, S121~S123, S127)、および被写界深度を算出ステップによって算出された距離と第１調整ステップによって調整された距離との相違に対応する深度に調整する第２調整ステップ(S125, S129, S131, S37, S41)を実行させるための、合焦制御プログラムである。
【００１３】
この発明に従う合焦制御方法は、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)を備える電子カメラ(10)によって実行される合焦制御方法であって、被写体距離を所望の距離に調整する第１調整ステップ(S17~S19, S27~S31)、撮像手段から出力された画像に現れた特定被写体像のサイズに基づいて特定被写体像に相当する被写体までの距離を算出する算出ステップ(S67, S121~S123, S127)、および被写界深度を算出ステップによって算出された距離と第１調整ステップによって調整された距離との相違に対応する深度に調整する第２調整ステップ(S125, S129, S131, S37, S41)を備える。
【００１４】
この発明に従う外部制御プログラムは、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)に供給される外部制御プログラムであって、被写体距離を所望の距離に調整する第１調整ステップ(S17~S19, S27~S31)、撮像手段から出力された画像に現れた特定被写体像のサイズに基づいて特定被写体像に相当する被写体までの距離を算出する算出ステップ(S67, S121~S123, S127)、および被写界深度を算出ステップによって算出された距離と第１調整ステップによって調整された距離との相違に対応する深度に調整する第２調整ステップ(S125, S129, S131, S37, S41)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う電子カメラ(10)は、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)、外部制御プログラムを取り込む取り込み手段(60)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、外部制御プログラムは、被写体距離を所望の距離に調整する第１調整ステップ(S17~S19, S27~S31)、撮像手段から出力された画像に現れた特定被写体像のサイズに基づいて特定被写体像に相当する被写体までの距離を算出する算出ステップ(S67, S121~S123, S127)、および被写界深度を算出ステップによって算出された距離と第１調整ステップによって調整された距離との相違に対応する深度に調整する第２調整ステップ(S125, S129, S131, S37, S41)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
この発明によれば、特定被写体までの距離は、特定被写体像のサイズに基づいて算出される。被写界深度は、算出された距離と第１調整手段によって調整された被写体距離との相違に対応する深度に調整される。これによって、被写体距離に存在する被写体および特定被写体の両方について高い鮮鋭度が確保される。こうして合焦性能が向上する。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図４】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図５】顔検出処理において用いられる顔検出枠の一例を示す図解図である。
【図６】顔検出処理において参照される顔辞書の構成の一例を示す図解図である。
【図７】顔検出処理の一部を示す図解図である。
【図８】図２実施例において参照されるレジスタの構成の一例を示す図解図である。
【図９】図２実施例において参照される他のレジスタの構成の一例を示す図解図である。
【図１０】被写界深度算出処理の一部を示す図解図である。
【図１１】ＬＣＤモニタに表示された画像の一例を示す図解図である。
【図１２】被写界深度算出処理の他の一部を示す図解図である。
【図１３】ＬＣＤモニタに表示された画像の他の一例を示す図解図である。
【図１４】（Ａ）はＬＣＤモニタに表示された画像のその他の一例を示す図解図であり、（Ｂ）はＬＣＤモニタに表示された画像のさらにその他の一例を示す図解図である。
【図１５】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１８】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１９】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２０】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２１】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２２】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２０】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段１は、撮像面で捉えられたシーンを表す画像を出力する。第１調整手段２は、被写体距離を所望の距離に調整する。算出手段３は、撮像手段１から出力された画像に現れた特定被写体像のサイズに基づいて特定被写体像に相当する被写体までの距離を算出する。第２調整手段４は、被写界深度を算出手段３によって算出された距離と第１調整手段２によって調整された距離との相違に対応する深度に調整する。
【００２１】
特定被写体までの距離は、特定被写体像のサイズに基づいて算出される。被写界深度は、算出された距離と第１調整手段２によって調整された被写体距離との相違に対応する深度に調整される。これによって、被写体距離に存在する被写体および特定被写体の両方について高い鮮鋭度が確保される。こうして合焦性能が向上する。
［実施例］
【００２２】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経たシーンの光学像は、イメージセンサ１６の撮像面に照射され、光電変換を施される。これによって、シーンを表す電荷が生成される。
【００２３】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。ＣＰＵ２６はまた、初期設定位置であるパンフォーカス位置にフォーカスレンズ１２を配置する。
【００２４】
前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａ（図３参照）に書き込まれる。
【００２５】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。後処理回路３４はさらに、ＹＵＶ形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データおよび探索画像データが個別に作成される。表示画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の表示画像エリア３２ｂ（図３参照）に書き込まれる。探索画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の探索画像エリア３２ｃ（図３参照）に書き込まれる。
【００２６】
ＬＣＤドライバ３６は、表示画像エリア３２ｂに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、シーンを表すリアルタイム動画像（スルー画像）がＬＣＤモニタ３８に表示される。
【００２７】
図４を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００２８】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。こうして得られたＡＥ評価値およびＡＦ評価値に基づく処理については、後述する。
【００２９】
撮像タスクと並列して実行される顔検出タスクの下で、ＣＰＵ２６は、フラグＦＬＧｆｃを“０”に初期設定する。ＣＰＵ２６は次に、探索画像エリア３２ｃに格納された探索画像データから人物の顔画像を探索するべく、垂直同期信号Ｖｓｙｎｃが発生する毎に顔検出処理を実行する。
【００３０】
顔検出処理では、図５に示す要領でサイズが調整される顔検出枠ＦＤと図６に示す５つの辞書画像（＝向きが互いに異なる顔画像）を収めた顔辞書ＤＣとが用いられる。なお、顔辞書ＤＣはフラッシュメモリ４４に保存される。
【００３１】
顔検出処理ではまず、評価エリアＥＶＡの全域が探索エリアとして設定される。また、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＦＳＺｍａｘが“２００”に設定され、最小サイズＦＳＺｍｉｎが“２０”に設定される。
【００３２】
顔検出枠ＦＤは、顔部探索エリアの開始位置（左上位置）から終了位置（右下位置）に向かって、ラスタ走査態様で既定量ずつ移動される（図７参照）。また、顔検出枠ＦＤのサイズは、顔検出枠ＦＤが終了位置に到達する毎に“ＦＳＺｍａｘ”から“ＦＳＺｍｉｎ”まで“５”ずつ縮小される。
【００３３】
顔検出枠ＦＤに属する一部の探索画像データは、メモリ制御回路３０を通して探索画像エリア３２ｃから読み出される。読み出された探索画像データの特徴量は、顔辞書ＤＣに収められた５つの辞書画像の各々の特徴量と照合される。閾値ＴＨを超える照合度が得られると、顔画像が検出されたものとみなされる。現時点の顔検出枠ＦＤの位置，サイズ，および照合元の辞書番号は、顔情報として図８に示す顔検出レジスタＲＧＳＴｄｔに登録される。
【００３４】
顔検出処理の完了後、顔検出レジスタＲＧＳＴｄｔに複数の顔情報が登録されていた場合、位置が撮像面中央に最も近い顔情報によって示される領域が、後述する厳格ＡＦ処理および被写界深度算出処理の対象領域とされる。顔検出レジスタＲＧＳＴｄｔに単一の顔情報が登録されていた場合、その顔情報によって示される領域が、厳格ＡＦ処理および被写界深度算出処理の対象領域とされる。
【００３５】
これらの処理の対象領域とされた顔情報の位置およびサイズは、図９に示す処理対象レジスタＲＧＳＴｅｘに登録される。また、ＣＰＵ２６は、人物の顔画像を発見したことを表明するべくフラグＦＬＧｆｃを“１”に設定する。
【００３６】
なお、顔検出処理の完了後に顔検出レジスタＲＧＳＴｄｔに顔情報の登録がなかった場合、すなわち顔画像が発見されなかった場合は、ＣＰＵ２６は、顔画像が未発見であることを表明するべくフラグＦＬＧｆｃを“０”に設定する。
【００３７】
シャッタボタン２８ｓｈが非操作状態のとき、ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく簡易ＡＥ処理を撮像タスクの下で実行し、適正ＥＶ値を算出する。簡易ＡＥ処理は動画取り込み処理と並列して実行され、算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【００３８】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は撮像タスクの下で、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づき、厳格ＡＥ処理を実行する。厳格ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが厳格に調整される。
【００３９】
フラグＦＬＧｆｃが“１”を示すとき、撮像タスクの下でＣＰＵ２６は、処理対象レジスタＲＧＳＴｅｘに登録された顔情報が示す領域に注目した厳格ＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、処理対象レジスタＲＧＳＴｅｘに格納された位置およびサイズに対応するＡＦ評価値を抽出する。処理対象レジスタＲＧＳＴｅｘに登録された顔情報が示す領域に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像におけるその領域の鮮鋭度が向上する。
【００４０】
フラグＦＬＧｆｃが“１”を示すときまた、撮像タスクの下でＣＰＵ２６は、処理対象レジスタＲＧＳＴｅｘに登録された顔を対象とした被写界深度算出処理を実行する。
【００４１】
被写界深度算出処理においては、まず、処理対象レジスタＲＧＳＴｅｘに登録されたサイズから顔の大きさの個人差を考慮して推定される発見された顔までの最大の距離Ｌｍａｘおよび最小の距離Ｌｍｉｎが算出される。また、上述の厳格ＡＦ処理の実行によって配置されたフォーカスレンズ１２の位置に基づいて、厳格ＡＦ処理の対象領域に含まれる被写体までの距離（＝ＡＦ距離）Ｌａｆが検出される。
【００４２】
このようにして算出された最大距離ＬｍａｘおよびＡＦ距離Ｌａｆの差分の絶対値と最小距離ＬｍｉｎおよびＡＦ距離Ｌａｆの差分の絶対値とを比較し、大きい方の値を２倍することによって被写界深度Ｄｈｂが算出される。
【００４３】
ＣＰＵ２６は、被写界深度算出処理によって算出された被写界深度Ｄｈｂに基づいて絞りユニット１４を調整すべき旨をドライバ１８ｂに命令する。この結果、被写界深度が算出深度Ｄｈｂに変更される。
【００４４】
厳格ＡＦ処理の結果、検出された顔画像に係る人物よりも至近側に、格子状の金網等で構成される障害物が存在した場合、その障害物に合焦される可能性がある。図１０に示す例によると、格子状の金網によって構成される柵ＦＣが人物ＨＢよりも至近側に存在し、厳格ＡＦ処理の結果、柵ＦＣの位置Ｐａｆ１に基づいてフォーカスレンズ１２が配置される。この場合、ＡＦ距離Ｌａｆはフォーカスレンズ１２および柵ＦＣの距離を示す。
【００４５】
またこの場合、最大距離ＬｍａｘおよびＡＦ距離Ｌａｆの差分の絶対値が最小距離ＬｍｉｎおよびＡＦ距離Ｌａｆの差分の絶対値よりも大きいので、被写界深度Ｄｈｂは、以下の数１に示す式で求めることができる。
［数１］
Ｄｈｂ＝｜Ｌｍａｘ−Ｌａｆ｜×２
【００４６】
このようにして算出された値に基づいて被写界深度が変更されるので、柵ＦＣを基準に厳格ＡＦ処理が実行された場合であっても、人物ＨＢの顔が合焦範囲に含まれる。したがって、ＬＣＤモニタ３８に表示されるスルー画像は、柵ＦＣおよび人物ＨＢの顔のいずれにも合焦された状態となる（図１１参照）。
【００４７】
シャッタボタン２８ｓｈが非操作状態のとき、ＬＣＤモニタ３８に対する操作者のタッチ操作によってＡＦ対象領域の指定操作が行われると、タッチ位置がタッチセンサ５０によって検知され、検知結果はＣＰＵ２６に与えられる。
【００４８】
次にＣＰＵ２６は、タッチ位置に相当する領域に注目した厳格ＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、タッチ位置に対応するＡＦ評価値を抽出する。タッチ位置に相当する領域に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像におけるその領域の鮮鋭度が向上する。
【００４９】
ＡＦ領域の指定操作によって厳格ＡＦ処理が実行された場合、シャッタボタン２８ｓｈが半押しされたとき、上述の厳格ＡＥ処理の実行後に厳格ＡＦ処理は実行されない。ただし、フラグＦＬＧｆｃが“１”を示すとき、撮像タスクの下でＣＰＵ２６は、処理対象レジスタＲＧＳＴｅｘに登録された顔を対象とした被写界深度算出処理を、上述と同様に実行する。ＣＰＵ２６は、被写界深度算出処理によって算出された被写界深度Ｄｈｂに基づいて絞りユニット１４を調整すべき旨をドライバ１８ｂに命令する。この結果、上述と同様に被写界深度が算出深度Ｄｈｂに変更される。
【００５０】
ＡＦ領域の指定操作による厳格ＡＦ処理が実行された場合、操作者の操作に従って人物以外の物体に合焦される可能性がある。図１２に示す例によると、ＬＣＤモニタ３８上に表示された石碑ＳＴを操作者が指定した場合、厳格ＡＦ処理の結果、石碑ＳＴの位置Ｐａｆ２に基づいてフォーカスレンズ１２が配置される。この場合、ＡＦ距離Ｌａｆはフォーカスレンズ１２および石碑ＳＴの距離を示す。
【００５１】
またこの場合、最小距離ＬｍｉｎおよびＡＦ距離Ｌａｆの差分の絶対値が最大距離ＬｍａｘおよびＡＦ距離Ｌａｆの差分の絶対値よりも大きいので、被写界深度Ｄｈｂは、以下の数２に示す式で求めることができる。
［数２］
Ｄｈｂ＝｜Ｌｍｉｎ−Ｌａｆ｜×２
【００５２】
このようにして算出された値に基づいて被写界深度が変更されるので、石碑ＳＴを基準に厳格ＡＦ処理が実行された場合であっても、人物ＨＢの顔が合焦範囲に含まれる。したがって、ＬＣＤモニタ３８に表示されるスルー画像は、石碑ＳＴおよび人物ＨＢの顔のいずれにも合焦された状態となる（図１３参照）。
【００５３】
ＡＦ領域の指定操作が行われずにシャッタボタン２８ｓｈが半押しされたとき、上述の厳格ＡＥ処理の実行後にフラグＦＬＧｆｃが“０”を示す場合、つまり人物の顔が未発見の場合、撮像タスクの下でＣＰＵ２６は、画面中央に注目した厳格ＡＦ処理を実行する。この結果、スルー画像における画面中央の鮮鋭度が向上する。
【００５４】
その後シャッタボタン２８ｓｈの半押し状態が維持されたまま、操作者がディジタルカメラ１０を動かした場合、撮像面の向きが変化したことによって人物の顔画像が発見されると、フラグＦＬＧｆｃが示す値が“０”から“１”に更新される。この場合、撮像タスクの下でＣＰＵ２６は、処理対象レジスタＲＧＳＴｅｘに登録された顔を対象とした被写界深度算出処理を、上述と同様に実行する。この結果、上述と同様に被写界深度が算出深度Ｄｈｂに変更される。
【００５５】
図１４（Ａ）を参照して、人物ＨＢの両手で持ち上げられた花ＦＷが画面中央に存在するときにシャッタボタン２８ｓｈが半押しされた場合、厳格ＡＥ処理の完了直後に人物ＨＢの顔画像が未発見であるときは、画面中央に注目した厳格ＡＦ処理が実行される。
【００５６】
その後シャッタボタン２８ｓｈの半押し状態が維持されたまま、撮像面の向きの変化によって人物の顔画像が図１４（Ｂ）に示すように撮像面に捉えられると、顔画像を対象とした被写界深度算出処理が実行され、被写界深度が算出深度Ｄｈｂに変更される。
【００５７】
この場合、花ＦＷを基準に厳格ＡＦ処理が実行された場合であっても、人物ＨＢの顔が合焦範囲に含まれる。したがって、ＬＣＤモニタ３８に表示されるスルー画像は、花ＦＷおよび人物ＨＢの顔のいずれにも合焦された状態となる。
【００５８】
シャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、撮像タスクの下で静止画取り込み処理と記録処理とを実行する。シャッタボタン２８ｓｈが全押しされた時点の１フレームの生画像データは、静止画取り込み処理によってＳＤＲＡＭ３２の静止画像エリア３２ｄ（図３参照）に取り込まれる。また、記録処理によって１つの静止画ファイルが記録媒体４２に作成される。取り込まれた生画像データは、新規作成された静止画ファイルに記録処理によって記録される。
【００５９】
ＣＰＵ２６は、図１５〜１７に示す撮像タスクおよび図１８に示す顔検出タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００６０】
図１５を参照して、ステップＳ１ではフラグＦＬＧｆｃに“０”を初期設定する。ステップＳ３では顔検出タスクを起動し、ステップＳ５では動画取り込み処理を開始する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。
【００６１】
ステップＳ７では初期設定位置であるパンフォーカス位置にフォーカスレンズ１２を配置し、ステップＳ９ではフラグＦＬＧａｆに“０”を設定する。
【００６２】
ステップＳ１１ではＬＣＤモニタ３８に対する操作者のタッチ操作によってＡＦ領域の指定操作が行われたか否かを判別し、判別結果がＹＥＳであればステップＳ１７に進む一方、判別結果がＮＯであればステップＳ１３に進む。ステップ１３ではシャッタボタン２８ｓｈが半押しされたか否かを判別し、判別結果がＹＥＳであればステップＳ２３に進む一方、判別結果がＮＯであればステップＳ１５で簡易ＡＥ処理を実行する。この結果、スルー画像の明るさが適度に調整される。ステップＳ１５の処理が完了すると、ステップＳ１１に戻る。
【００６３】
ステップＳ１７ではタッチ位置に相当する領域をＡＦ対象と決定し、決定されたＡＦ対象領域に注目した厳格ＡＦ処理をステップＳ１９で実行する。ステップＳ２１では、フラグＦＬＧａｆに“１”を設定する。
【００６４】
ステップＳ２３では、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づき、厳格ＡＥ処理を実行する。この結果、スルー画像の明るさが厳格に調整される。ステップＳ２５ではフラグＦＬＧａｆに“０”が設定されているか否かを判別し、判別結果がＮＯであればステップＳ３５に進む一方、判別結果がＹＥＳであればステップＳ２７に進む。
【００６５】
ステップＳ２７ではフラグＦＬＧｆｃに“１”が設定されているか否かを判別し、判別結果がＹＥＳであればステップＳ２９を経てステップＳ３３に進む一方、判別結果がＮＯであればステップＳ３１を経てステップＳ３３に進む。
【００６６】
ステップＳ２９では処理対象レジスタＲＧＳＴｅｘに登録された顔画像の位置およびサイズに相当する領域をＡＦ対象と決定し、ステップＳ３１では画面中央の既定領域をＡＦ対象と決定する。ステップＳ２９またはＳ３１で決定されたＡＦ対象に注目した厳格ＡＦ処理をステップＳ３３で実行する。この結果、スルー画像におけるＡＦ対象の領域の鮮鋭度が向上する。
【００６７】
ステップＳ３５ではフラグＦＬＧｆｃに“１”が設定されているか否かを判別し、判別結果がＹＥＳであればステップＳ３７およびＳ３９の処理を経てステップＳ４３に進み、判別結果がＮＯであればステップＳ４１の処理を経てステップＳ４３に進む。
【００６８】
ステップＳ３７では処理対象レジスタＲＧＳＴｅｘに登録された顔を対象とした被写界深度算出処理を実行し、算出された被写界深度ＤｈｂをステップＳ３９で設定深度と決定する。ステップＳ４１では既定深度を設定深度と決定する。ステップＳ３９またはＳ４１で決定された設定深度に基づいて絞りユニット１４を調整すべき旨を、ステップＳ４３でドライバ１８ｂに命令する。この結果、ステップＳ３９またはＳ４１で決定された設定深度に被写界深度が変更される。
【００６９】
ステップＳ４５ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、判別結果がＮＯであればシャッタボタン２８ｓｈの半押し状態が解除されたか否かをステップＳ４７で判別する。ステップＳ４７の判別結果がＮＯであればステップＳ３５に戻る一方、ステップＳ４７の判別結果がＹＥＳであればステップＳ７に戻る。
【００７０】
ステップＳ４５の判別結果がＹＥＳであれば、ステップＳ４９で静止画取り込み処理を実行し、ステップＳ５１で記録処理を実行する。シャッタボタン２８ｓｈが全押しされた時点の１フレームの生画像データは、静止画取り込み処理によってＳＤＲＡＭ３２の静止画像エリア３２ｄに取り込まれる。また、記録処理によって１つの静止画ファイルが記録媒体４２に作成される。取り込まれた生画像データは、新規作成された静止画ファイルに記録処理によって記録される。ステップＳ５１の処理が完了するとステップＳ７に戻る。
【００７１】
図１８を参照して、ステップＳ６１ではフラグＦＬＧｆｃに“０”を設定し、ステップＳ６３では処理対象レジスタＲＧＳＴｅｘの格納内容を初期化するべくクリアする。ステップＳ６５では、垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ６７に進む。
【００７２】
ステップＳ６７では、探索画像データから人物の顔画像を探索するべく、顔検出処理を実行する。ステップＳ６９では、ステップＳ６７の処理によって顔検出レジスタＲＧＳＴｄｔに顔情報が格納されたか否かを判別し、判別結果がＹＥＳであればステップＳ７３に進む一方、判別結果がＮＯであればステップＳ７１に進む。ステップＳ７１ではフラグＦＬＧｆｃに“０”を設定し、その後にステップＳ６５に戻る。
【００７３】
ステップＳ７３では、顔検出レジスタＲＧＳＴｄｔに複数の顔情報が格納されたか否かを判別し、判別結果がＮＯであればステップＳ７７に進む一方、判別結果がＹＥＳであればステップＳ７５の処理を経てステップＳ７７に進む。
【００７４】
ステップＳ７５では、顔検出レジスタＲＧＳＴｄｔに格納された位置が撮像面中央に最も近い顔情報を処理対象顔情報と決定し、ステップＳ７７では、処理対象顔情報とされた顔情報の位置およびサイズを、処理対象レジスタＲＧＳＴｅｘに格納する。ステップＳ７９ではフラグＦＬＧｆｃに“１”を設定し、その後にステップＳ６５に戻る。
【００７５】
ステップＳ６７の顔検出処理は、図１９〜２０に示すサブルーチンに従って実行される。図１９を参照して、ステップＳ８１では、顔検出レジスタＲＧＳＴｄｔを初期化すべく格納内容をクリアする。
【００７６】
ステップＳ８３では、評価エリアＥＶＡの全域を探索エリアとして設定する。ステップＳ８５では、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＦＳＺｍａｘを“２００”に設定し、最小サイズＦＳＺｍｉｎを“２０”に設定する。
【００７７】
ステップＳ８７では顔検出枠ＦＤのサイズを“ＦＳＺｍａｘ”に設定し、ステップＳ８９では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ９１では、顔検出枠ＦＤに属する一部の探索画像データを探索画像エリア３２ｃから読み出し、読み出された探索画像データの特徴量を算出する。
【００７８】
ステップＳ９３では変数Ｎを“１”に設定し、ステップＳ９５では、ステップＳ９１で算出された特徴量と顔辞書ＤＣのＮ番目に収められた辞書画像の特徴量とを照合する。照合の結果、閾値ＴＨを超える照合度が得られたか否かをステップＳ９７で判別し、判別結果がＮＯであればステップＳ１０１に進む一方、判別結果がＹＥＳであればステップＳ９９に進む。ステップＳ９９では、現時点の顔検出枠ＦＤの位置およびサイズを顔情報として顔検出レジスタＲＧＳＴｄｔに登録する。
【００７９】
ステップＳ１０１では変数Ｎをインクリメントし、ステップＳ１０３では変数Ｎが“５”を超えたか否かを判別する。判別結果がＮＯであればステップＳ９５に戻る一方、判別結果がＹＥＳであればステップＳ１０５に進む。
【００８０】
ステップＳ１０５では顔検出枠ＦＤが探索エリアの右下位置に到達したか否かを判別し、判別結果がＹＥＳであればステップＳ１０９に進む一方、判別結果がＮＯであれば、ステップＳ１０７で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ９１に戻る。
【００８１】
ステップＳ１０９では顔検出枠ＦＤのサイズが“ＦＳＺｍｉｎ”以下であるか否かを判別し、判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ１１１に進む。
【００８２】
ステップＳ１１１では顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ１１３では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１１３の処理が完了すると、ステップＳ９１に戻る。
【００８３】
ステップＳ３７の被写界深度算出処理（顔対象）は、図２１に示すサブルーチンに従って実行される。図２１を参照して、ステップＳ１２１では、処理対象レジスタＲＧＳＴｅｘに登録されたサイズに基づいて推定される発見された顔までの最大の距離Ｌｍａｘを算出する。ステップＳ１２３では、処理対象レジスタＲＧＳＴｅｘに登録されたサイズに基づいて推定される発見された顔までの最小の距離Ｌｍｉｎを算出する。
【００８４】
ステップＳ１２５では、ステップＳ１９またはＳ３３の厳格ＡＦ処理の実行によって配置されたフォーカスレンズ１２の位置に基づいて、ＡＦ距離Ｌａｆを検出する。
【００８５】
ステップＳ１２７では、ステップＳ１２１で算出された最大距離ＬｍａｘおよびＡＦ距離Ｌａｆの差分の絶対値がステップＳ１２３で算出された最小距離ＬｍｉｎおよびＡＦ距離Ｌａｆの差分の絶対値以上の値を示すか否かを判別する。判別結果がＹＥＳであればステップＳ１２９に進み、判別結果がＮＯであればステップＳ１３１に進む。
【００８６】
ステップＳ１２９では、最大距離ＬｍａｘおよびＡＦ距離Ｌａｆの差分の絶対値に“２”を乗じて被写界深度Ｄｈｂを算出し、ステップＳ１３１では、最小距離ＬｍｉｎおよびＡＦ距離Ｌａｆの差分の絶対値に“２”を乗じて被写界深度Ｄｈｂを算出する。ステップＳ１２９またはＳ１３１の処理が完了すると、上階層のルーチンに復帰する。
【００８７】
以上の説明から分かるように、イメージセンサ１６は、撮像面で捉えられたシーンを表す生画像データを出力する。ＣＰＵ２６は、出力された生画像データに基づいて被写体距離を所望の距離に調整し(S17~S19, S27~S31)、同じ生画像データに現われた人物の顔画像のサイズに基づいて人物の顔部までの距離を算出する(S67, S121~S123, S127)。ＣＰＵ２６はまた、被写界深度を上述の要領で算出ないし調整された２つの距離の相違に対応する深度に調整する(S125, S129, S131, S37, S41)。
【００８８】
このように、人物の顔部までの距離は、顔画像のサイズに基づいて算出される。被写界深度は、算出された距離と調整された被写体距離との相違に対応する深度に調整される。これによって、被写体距離に存在する被写体および人物の顔部の両方について高い鮮鋭度が確保される。こうして合焦性能が向上する。
【００８９】
なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ６０を図２２に示す要領でディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００９０】
また、この実施例では、ＣＰＵ２６によって実行される処理を、図１５〜１７に示す撮像タスクおよび図１８に示す顔検出タスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【００９１】
また、この実施例では、ディジタルスチルカメラを用いて説明したが、本発明は、ディジタルビデオカメラ，携帯電話端末またはスマートフォンなどにも適用することができる。
【符号の説明】
【００９２】
１０  …ディジタルカメラ
１２  …フォーカスレンズ
１４  …絞りユニット
１６  …イメージセンサ
２６  …ＣＰＵ
３２  …ＳＤＲＡＭ
３８  …ＬＣＤモニタ
【図１】
2013225020.tif 000003
【図２】
2013225020.tif 000004
【図３】
2013225020.tif 000005
【図４】
2013225020.tif 000006
【図５】
2013225020.tif 000007
【図６】
2013225020.tif 000008
【図７】
2013225020.tif 000009
【図８】
2013225020.tif 000010
【図９】
2013225020.tif 000011
【図１０】
2013225020.tif 000012
【図１１】
2013225020.tif 000013
【図１２】
2013225020.tif 000014
【図１３】
2013225020.tif 000015
【図１４】
2013225020.tif 000016
【図１５】
2013225020.tif 000017
【図１６】
2013225020.tif 000018
【図１７】
2013225020.tif 000019
【図１８】
2013225020.tif 000020
【図１９】
2013225020.tif 000021
【図２０】
2013225020.tif 000022
【図２１】
2013225020.tif 000023
【図２２】
2013225020.tif 000024