(57)【要約】      （修正有）【課題】脱着できるすべてのレンズに対して最適な合焦制御領域の有効範囲で、正しく合焦可能な顔領域をユーザに知らせることができる撮像装置を提供する。【解決手段】レンズユニットを脱着することができる撮像装置において、カメラ制御部は、レンズユニットから合焦制御領域の有効範囲情報を取得し、その有効範囲情報から合焦可能領域を決定する。また、カメラ制御部は、被写体の顔を検出し、その顔が合焦可能領域内にあるのかどうかを判断してその結果を表示する。【選択図】図６
2010124383.tif 000002
【特許請求の範囲】
【請求項１】
レンズユニットを脱着することができる撮像装置において、
前記レンズユニットから合焦制御領域の有効範囲情報を取得する取得手段と、
前記取得手段で取得された前記合焦制御領域の有効範囲情報から合焦可能領域を決定する決定手段と、
被写体の顔を検出する検出手段と、
前記検出手段により検出された前記被写体の顔が、前記決定手段により決定された前記合焦可能領域内にあるのかどうかを判断する第１の判断手段と、
前記第１の判断手段の判断の結果を表示する表示手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記レンズユニットがズームレンズを備える場合に、前記ズームレンズの焦点距離が決定されているかどうかを判断する第２の判断手段を備え、
前記決定手段は、前記第２の判断手段により前記焦点距離が決定されていると判断された場合に、前記焦点距離を考慮した前記合焦可能領域を決定することを特徴とする請求項１記載の撮像装置。
【請求項３】
レンズユニットを脱着することができる撮像装置の制御方法において、
前記レンズユニットから合焦制御領域の有効範囲情報を取得する取得ステップと、
前記取得ステップで取得された前記合焦制御領域の有効範囲情報から合焦可能領域を決定する決定ステップと、
被写体の顔を検出する検出ステップと、
前記検出ステップにより検出された前記被写体の顔が、前記決定ステップにより決定された前記合焦可能領域内にあるのかどうかを判断する第１の判断ステップと、
前記第１の判断ステップの判断の結果を表示する表示ステップと、
を備えることを特徴とする撮像装置の制御方法。
【請求項４】
前記レンズユニットがズームレンズを備える場合に、前記ズームレンズの焦点距離が決定されているかどうかを判断する第２の判断ステップを備え、
前記決定ステップは、前記第２の判断ステップにより前記焦点距離が決定されていると判断された場合に、前記焦点距離を考慮した前記合焦可能領域を決定することを特徴とする請求項３記載の撮像装置の制御方法。
【請求項５】
レンズユニットを脱着することができる撮像装置の制御方法をコンピュータに実行させるプログラムにおいて、
前記撮像装置の制御方法は、
前記レンズユニットから合焦制御領域の有効範囲情報を取得する取得ステップと、
前記取得ステップで取得された前記合焦制御領域の有効範囲情報から合焦可能領域を決定する決定ステップと、
被写体の顔を検出する検出ステップと、
前記検出ステップにより検出された前記被写体の顔が、前記決定ステップにより決定された前記合焦可能領域内にあるのかどうかを判断する第１の判断ステップと、
前記第１の判断ステップの判断の結果を表示する表示ステップと、
を備えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法、並びにプログラムに関し、特に、顔検出技術を利用した合焦制御を行うレンズ交換可能な撮像装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置においては、オートフォーカス機構が広く用いられている。オートフォーカス機構における合焦位置の検出技術は、様々なものが提案されている。
【０００３】
代表的な技術としては、例えば、特許文献１に開示されるように、画像信号に含まれる周波数成分（直流成分を除く）が合焦位置で最大になることを利用し、画像信号に含まれる周波数成分の量を評価値として合焦状態を検出する技術が知られている。
【０００４】
このような自動焦点調節方式は、焦点調節用の特殊な光学部材が不要であり、遠方でも近くでも、距離によらずに正確にピントを合わせることができる等の長所を有する。この種の自動焦点調節方式の撮像装置を、図１３を用いて説明する。
【０００５】
図１３は、従来例に係る自動焦点調節方式の撮像装置のブロック図である。
【０００６】
従来の変倍可能なレンズユニットは、変倍レンズ９０２と補正レンズ９０３がカムで機械的に結ばれており、変倍動作を手動や電動で行うと変倍レンズ９０２と補正レンズ９０３が一体となって移動する。これら、変倍レンズ９０２と補正レンズ９０３を合わせてズームレンズと呼ぶ。
【０００７】
このようなレンズシステムでは、フォーカスレンズ９０１が、光軸方向に移動することにより焦点合わせを行う。
【０００８】
これらのレンズ群を通った光は、撮像素子９０４の撮像面上に結像されて電気信号に光電変換され、映像信号として出力される。
【０００９】
この映像信号は、ＣＤＳ／ＡＧＣ９０５でサンプルホールドしてから所定のレベルに増幅され、Ａ／Ｄ変換器９０６でデジタル映像データに変換され、カメラのプロセス部に供給されて、標準テレビジョン信号に変換される。
【００１０】
一方、Ａ／Ｄ変換器９０６より出力されたデジタル映像データは、バンドパスフィルタ（ＢＰＦ）９０７に入力される。
【００１１】
ＢＰＦ９０７では、映像信号中の高周波成分を抽出し、ゲート部９０８で画面内の焦点検出領域に設定された部分に相当する信号のみを抜き出し、ピークホールド部９０９で垂直同期信号の整数倍に同期した間隔でピークホールドを行い、ＡＦ評価値を生成する。
【００１２】
このＡＦ評価値は、本体ＡＦマイコン９１０に取り込まれ、本体ＡＦマイコン９１０内で合焦度に応じたフォーカス速度及び、ＡＦ評価値が増加するようにモータ駆動方向を決定し、フォーカスモータ９１３の速度及び方向をレンズマイコン９１１に送る。
【００１３】
レンズマイコン９１１は、本体ＡＦマイコン９１０に指示された通りにモータドライバ９１２を介したフォーカスモータ９１３によってフォーカスレンズ９０１を光軸方向に動かすことで焦点調節を行う。
【００１４】
また、ズームスイッチ９１８の操作状態に応じて、ＡＦマイコン９１０はズームレンズ９０２、９０３の駆動方向、駆動速度を決定し、レンズユニット９１６内のドライバ９１４に送り、ズームモータ９１５を介してズームレンズ９０２、９０３を駆動する。
【００１５】
カメラ本体９１７は、レンズユニット９１６を切り離すことが可能で、別のレンズユニットを接続することで撮影範囲が広がる。
【００１６】
一方、撮像（撮影）された画像からこれに含まれる人物の顔を抽出する技術に関しては、いくつかの技術が開示されている。例えば、特許文献２には、以下の技術が開示されている。
【００１７】
即ち、特許文献２に開示された技術では、色及び形状に基いて肌を含む可能性が高いと思われる中央部と、やはり色及び形状に基いて毛髪を含む可能性が高いと思われる周辺領域を探す。このことによって、顔を含む可能性の高い領域を探すパターン認識オペレータを用いる第一の顔候補検出アルゴリズムと、パターンマッチにより、第一のアルゴリズムで求められた顔候補領域中の顔の存在を確かめる第二のアルゴリズムとを併用して顔を検出する。
【００１８】
また、特許文献３には、色に基いて肌色領域の輪郭を抽出し、予め用意する顔の輪郭テンプレートとのマッチング度で顔を検出する技術や、目候補領域を求めて目テンプレートとのマッチング度を用いて顔検出する技術が開示されている。また、顔の輪郭テンプレートで求まる顔候補領域の２次元フーリエ変換結果と、目、鼻、口及び髪等を含む予め用意した顔テンプレート画像の２次元フーリエ変換結果とから定義される特徴量を求め、この特徴量を閾値処理して顔検出を行う技術が開示されている。
【特許文献１】特開平３−１６６８号公報
【特許文献２】特開２００１−３０９２２５号公報
【特許文献３】特開平８−６３５９５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
前述した通り、従来から、デジタルスチルカメラやビデオカメラ等の撮像装置に用いられているオートフォーカス方式としては、自動焦点調節方式が知られている。
【００２０】
また、デジタルスチルカメラやビデオカメラには、ＣＣＤやＣＭＯＳ等の撮像素子で撮像された画像からこれに含まれる人物の顔を抽出する、いわゆる「顔検出機能」が知られている。
【００２１】
ここで撮像装置において、例えば、ビューファインダに表示するために逐次撮影している画像から被写体の顔領域を検出し、顔領域に対して自動焦点調節方式での合焦制御を行う場合を考える。
【００２２】
この場合、撮像装置の光学系の収差による歪みや色にじみ、光量落ち、フォーカスによる像倍率の変化といった周辺部分において顕著にみられる光学特性の影響が無視できる光学系により結像された撮像画像においては、光学特性の影響を受けることはない。
【００２３】
即ち、撮像画像から検出された顔領域を示す枠が、撮像画像のどの位置にあったとしても、自動焦点調節方式での合焦制御を行う上で、光学特性の影響を受けないことは当然の結果といえる。
【００２４】
尚、合焦制御を行う領域をユーザに報知するために表示される枠をフォーカス枠、実際の合焦制御に用いられる、フォーカス枠に対応した撮像画像中の領域を合焦制御領域と呼ぶこととする。また、合焦制御領域が光学特性の影響を受けない範囲のことを合焦制御領域の有効範囲と呼ぶ。この場合、合焦制御領域の有効範囲は撮像画像全体といえる。
【００２５】
図１４は、光学特性の影響が無視できる程度である場合の撮像画像とフォーカス枠、合焦制御領域の有効範囲の例を示す図である。
【００２６】
尚、画像中に示されるグリッドは、画像の歪みの程度を視覚的につかみやすくするために付加されたものであり、実際には表示されない。図１４では、グリッドで表される正方形に歪みや色にじみがなく、また、周辺における光量落ちもないことを示している。さらにフォーカスによる像倍率の変化がない様子を示し、合焦制御領域の有効範囲が撮像画像全面であることを示している。
【００２７】
このような場合、合焦制御領域内の合焦制御では、被写体の顔の位置における合焦評価値が最も高くなり、図１５が、この状態を表しているものとする。
【００２８】
一方、図１６に、撮像画像の周辺部分に収差による歪みや色にじみ、光量落ち、フォーカスによる像倍率の変化といった光学特性の影響がある光学系により結像された撮影画像の例を示した。図１６では、焦制御領域の有効範囲は領域Ａであることを示し、グリッドの変形からたる型歪みが生じ、光量落ちにより、画像周辺部が暗くなっていることを示している。
【００２９】
さらに、図１７（ａ）（ｂ）では、合焦制御領域の有効範囲は領域Ｂであることを示し、フォーカスによる像倍率の変化の様子からデフォーカス中にフォーカス枠内にある像が移動してしまうことを示している。
【００３０】
前述したような光学特性の影響が無視できない光学系により結像された撮像画像においては、撮像画像から検出された顔領域を示す枠、つまりフォーカス枠が、合焦制御領域の有効範囲外にある場合、以下の不具合がある。即ち、自動焦点調節方式での合焦制御を行う上で、合焦制御の評価値を求めると、顔とは異なる被写体に合焦するように制御してしまう場合がある。
【００３１】
例えば、フォーカスによる像倍率の変化により像が移動し、本来の被写体ではない高コントラストの像がフォーカス枠内にあった場合は、その像も移動するため、合焦評価値のピークを誤検出してしまう。その結果、顔領域ではなく、高コントラストの像に焦点が合うように制御してしまうか。
【００３２】
図１８は、焦点制御領域中に含まれる顔以外の画像の影響によって顔とは異なる距離の評価値が高くなった合焦評価値の例を示す。
【００３３】
このように、焦制御領域の有効範囲外のフォーカス枠では、異なる被写体に合焦する可能性があるため、合焦制御領域の有効範囲外のフォーカス枠はその表示方法を変えることで、ユーザに警告するものもある。
【００３４】
しかし、レンズ交換可能な撮像装置では、光学特性の影響が無視できるレンズ、影響が無視できないレンズというような光学特性の異なる様々なレンズの脱着の可能性がある。そのため、特定のレンズで最適になるように合焦制御領域の有効範囲を決定すると、他のレンズでは最適にならないことがある。そして、脱着できるすべてのレンズに対して、最適な合焦制御領域の有効範囲で、ユーザに異なる被写体に合焦する可能性があることを警告することは難しかった。
【００３５】
本発明の目的は、脱着できるすべてのレンズに対して最適な合焦制御領域の有効範囲で、正しく合焦可能な顔領域をユーザに知らせることができる撮像装置を提供することにある。
【課題を解決するための手段】
【００３６】
上記目的を達成するために、請求項１記載の撮像装置は、レンズユニットを脱着することができる撮像装置において、前記レンズユニットから合焦制御領域の有効範囲情報を取得する取得手段と、前記取得手段で取得された前記合焦制御領域の有効範囲情報から合焦可能領域を決定する決定手段と、被写体の顔を検出する検出手段と、前記検出手段により検出された前記被写体の顔が、前記決定手段により決定された前記合焦可能領域内にあるのかどうかを判断する第１の判断手段と、前記第１の判断手段の判断の結果を表示する表示手段とを備えることを特徴とする。
【００３７】
請求項３記載の撮像装置の制御方法は、レンズユニットを脱着することができる撮像装置の制御方法において、前記レンズユニットから合焦制御領域の有効範囲情報を取得する取得ステップと、前記取得ステップで取得された前記合焦制御領域の有効範囲情報から合焦可能領域を決定する決定ステップと、被写体の顔を検出する検出ステップと、前記検出ステップにより検出された前記被写体の顔が、前記決定ステップにより決定された前記合焦可能領域内にあるのかどうかを判断する第１の判断ステップと、前記第１の判断ステップの判断の結果を表示する表示ステップとを備えることを特徴とする。
【００３８】
請求項５記載のプログラムは、レンズユニットを脱着することができる撮像装置の制御方法をコンピュータに実行させるプログラムにおいて、前記撮像装置の制御方法は、前記レンズユニットから合焦制御領域の有効範囲情報を取得する取得ステップと、前記取得ステップで取得された前記合焦制御領域の有効範囲情報から合焦可能領域を決定する決定ステップと、被写体の顔を検出する検出ステップと、前記検出ステップにより検出された前記被写体の顔が、前記決定ステップにより決定された前記合焦可能領域内にあるのかどうかを判断する第１の判断ステップと、前記第１の判断ステップの判断の結果を表示する表示ステップとを備えることを特徴とする。
【発明の効果】
【００３９】
本発明の撮像装置によれば、脱着できるすべてのレンズに対して最適な合焦制御領域の有効範囲で、正しく合焦可能な顔領域をユーザに知らせることができる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明を図面を参照しながら詳細に説明する。
【００４１】
図１は、本発明の実施の形態に係る撮像装置の構成を概略的に示すブロック図である。
【００４２】
図１の撮像装置（装置本体）１００において、撮像素子１０１は、人物である被写体を撮影して画像データを出力する。Ａ／Ｄ変換器１１６は、撮像素子１０１から出力されるアナログ信号をデジタル信号（画像データ）に変換する。
【００４３】
また、画像蓄積バッファ１０１ａは、Ａ／Ｄ変換された画像データを蓄積する。顔情報検出部１０２は、画像蓄積バッファ１０１ａから取得した画像データから被写体の顔の情報（目の位置情報、顔座標等）を検出する。
【００４４】
また、顔サイズ判別部１０３は、検出された被写体の顔の情報に基いて顔のサイズを判別する。カメラ制御部１１０は、撮像装置１００全体のシステム制御を行う。カメラ制御部１１０は、撮像素子１０１のオートフォーカスを実行すると共に、レンズ焦点距離及び絞り値を出力する。
【００４５】
また、被写体距離推定部１０４は、顔サイズ判別部１０３により判別された顔のサイズ（顔サイズ情報）、及びカメラ制御部１１０により出力されたレンズ焦点距離に基いて撮像素子１０１から被写体までの被写体距離を推定する。
【００４６】
また、カメラ制御部１１０は、被写体距離推定部１０４により推定された被写体距離、及びレンズ焦点距離、絞り値に基いて、被写界深度を算出する。カメラ制御部１１０は、算出された被写界深度に基いて撮像素子１０１のオートフォーカスを制御するオートフォーカス（ＡＦ）制御部１１１を内蔵する。
【００４７】
カメラ制御部１１０は、さらに、露出（ＡＥ）制御部（不図示）等も備え、上記オートフォーカス制御に加えて露出制御をも実行し、撮像装置１００全体の撮影制御を行う。また、全体制御を行うため、動作用の定数、必要な変数、プログラム等を記憶する不揮発メモリ（不図示）、及び揮発メモリ（不図示）の機能も備えている。
【００４８】
レンズユニット３００は、撮像装置１００に対して脱着可能である。レンズユニット３００内のズームレンズ及びフォーカスレンズを含む撮影レンズ３０１に入射した光線は、絞り３０２、レンズマウント３０３、１０６、ミラー１１４及びシャッタ１１５を通じて導かれた撮像素子１０１上に光学像として結像する。
【００４９】
シャッタ制御部１１７は、測光情報に基いて、絞り３０２を制御する絞り制御部３０４と連携しながらシャッタ１１５を制御する。測距制御部３０５は、カメラ制御部１１０からの制御信号をもとに、撮影レンズ３０１のフォーカスを制御する。
【００５０】
ズーム制御部３０６は、撮影レンズ３０１のズーミングを制御する。レンズ制御部３０７は、レンズユニット３００全体を制御する。レンズ制御部３０７は、不揮発メモリの機能も備えている。
【００５１】
不揮発メモリは、動作用の定数、変数、プログラム等を記憶するメモリやレンズユニット３００固有の番号や合焦制御領域の有効範囲情報等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値等を保持する。
【００５２】
インターフェース（Ｉ／Ｆ）３０８は、レンズユニット３００側でレンズユニット３００を撮像装置１００と接続する。コネクタ３０９、１１８は、レンズユニット３００と撮像装置１００とを電気的に接続する。
【００５３】
インターフェース（Ｉ／Ｆ）１１９は、撮像装置１００側で撮像装置１００をレンズユニット３００と接続する。ここでは、レンズユニット３００固有の番号や合焦制御領域の有効範囲情報等の識別情報の通信も行う。
【００５４】
また、カメラ信号処理部１０７は、撮影した画像データに必要な信号処理を行う。記録媒体１０９は、撮像装置１００から取り外し可能で画像データを記録する。記録部１０８は、信号処理された画像データを記録媒体１０９に記録する。
【００５５】
表示装置１１３は、信号処理された画像データを表示する。表示部１１２は、表示装置１１３を制御する。
【００５６】
表示装置１１３では、画像データを表示するほかに、撮像１００の各種設定を行うためのユーザインターフェースを表示し、あるいは、電子ビューファインダとして機能する。さらに、後述する顔検出方法によって、検出された顔領域を示すフォーカス枠を表示する。フォーカス枠は、例えば、顔領域に外接する方形状の枠である。
【００５７】
本撮像装置１００の特徴は、オートフォーカス機能を有する点であるので、カメラ制御部１１０の露出制御部等の説明は省略する。
【００５８】
顔情報検出部１０２は、後述する図５のパターン認識処理を実行して画像データから顔の情報を検出する。
【００５９】
この顔の画像データの検出方法としては、パターン認識を用いる方法以外に、ニューラルネットワーク等による学習を用いる方法、物理的な形状における特徴のある部位を画像領域から抽出する方法がある。
【００６０】
また、顔の画像データの検出方法としては、検出した顔の肌の色や目の形等の画像特徴量を統計的に解析する方法があり、さらに、実用化が検討されている方法としては、ウェーブレット変換と画像特徴量を利用する方法等がある。
【００６１】
ここで、パターン認識とは、抽出されたパターンを予め定められた概念（クラス）の１つに対応（マッチング）させる処理である。また、テンプレートマッチングは、型紙を意味するテンプレートを画像上で移動させながら、画像とテンプレートとを比較する方法である。
【００６２】
テンプレートマッチングは、例えば、「対象物体の位置検出」、「運動物体の追跡」、及び「撮影時期の異なる画像の位置合わせ」等に利用することができ、特に、目と鼻といった物理的形状を画像領域から抽出するといった顔の情報の検出に有用な方法である。
【００６３】
顔サイズ判別部１０３は、顔情報検出部１０２によって検出された顔の情報から顔領域（顔座標）におけるピクセル数をカウントし、このピクセル数により顔のサイズを判別する。
【００６４】
顔サイズ判別部１０３は、顔情報検出部１０２によって検出された顔の情報（目の位置情報）に基いて目の間隔を算出し、予め求めておいた目の間隔と顔のサイズ（ピクセル数）との統計的関係（図２）を用いてテーブル化し、顔のサイズを判別してもよい。
【００６５】
あるいは、顔サイズ判別部１０３は、顔の四隅（所定位置）の座標値から顔領域におけるピクセル数をカウントすることにより、顔のサイズを判別してもよい。
【００６６】
被写体距離推定部１０４は、顔のサイズに基いて撮像装置１００から被写体までの被写体距離を推定する。具体的には、被写体距離推定部１０４は、顔サイズ判別部１０３により判別された顔のサイズ（ピクセル数）と、レンズ焦点距離３８ｍｍ（広角）時の変換テーブルとを参照して被写体距離を推定する。レンズ焦点距離３８ｍｍ（広角）時の変換テーブルは、顔のサイズ（ピクセル数）及び被写体距離の関係を示したグラフ（図３）をもとに作成される。
【００６７】
ズーム時におけるレンズ焦点距離が３８ｍｍでないときは、（３８／ズーム時におけるレンズ焦点距離（ｍｍ））及び（判別した顔のサイズ）の積算値を用いて、上記変換テーブルを参照する。
【００６８】
図４は、図１における顔情報検出部によって実行されるパターン認識処理の手順を示すフローチャートである。図５は、図４のパターン認識処理におけるマッチングの一例であるテンプレートマッチングを説明する図である。
【００６９】
図４において、顔情報検出部１０２は、画像蓄積バッファ１０１ａから取得した図５の画像データ５０３を前処理し（ステップＳ４０１）、前処理された顔の画像データから特徴的部分のパターンを抽出（検出）する（ステップＳ４０２）。
【００７０】
次に、顔情報検出部１０２は、抽出されたパターンを、図５のテンプレート（標準パターン）５０１に対応させる（テンプレートマッチング）ことにより、認識パターンを取得する（ステップＳ４０３）。
【００７１】
そして、顔情報検出部１０２は、取得された認識パターンを顔サイズ判別部１０３に出力して（ステップＳ４０４）、パターン認識処理を終了する。
【００７２】
上記テンプレートマッチングは、以下のように行われる。
【００７３】
図５において、まず、テンプレート５０１の中心点５０２を、取得した画像データ５０３のある座標点（ｉ、ｊ）に置く。そして、この中心点１１０２を走査しながら、テンプレート５０１と画像データ５０３との重なり部分の類似度を計算して、類似度が最大になる位置を決定する。
【００７４】
顔の画像データ５０３から抽出されたパターンを、例えば、目や耳等の形状を含むテンプレート５０１にマッチングさせることにより、目の位置情報や顔領域（顔座標）を取得することができる。
【００７５】
（第１の実施の形態）
ここで、本発明の特徴である最適な合焦制御領域の範囲で、脱着できるすべてのレンズに対して最適な合焦制御領域の有効範囲を以って、ユーザに異なる被写体に合焦する可能性があることを警告する合焦可能不可能顔枠表示方法について説明する。
【００７６】
第１の実施の形態では、レンズ特性の異なる三種のレンズ（レンズユニット３００）の脱着を行った場合を例にして説明する。
【００７７】
使用する三種のレンズのうちわけは、
レンズＡ：光学特性の影響が無視できるレンズ
レンズＢ：光学特性の影響が無視できないレンズ
レンズＣ：光学特性の影響が無視できないレンズ
のレンズ群とする。
【００７８】
図６は、図１の撮像装置によって実行される合焦可能不可能顔枠表示処理の第１の実施の形態の手順を示すフローチャートである。
【００７９】
本処理は、図１におけるカメラ制御部１１０の制御の下に実行される。
【００８０】
まずステップＳ６０１では、カメラ制御部１１０は、撮像装置１００をレンズユニット３００と接続するためのインターフェース３０８、及び１１９から、装着されたレンズユニット３００固有の番号や合焦制御領域の有効範囲情報等の識別情報を取得する。そして、カメラ制御部１１０は、そのレンズの光学特性の影響度を決定するレンズ光学特性影響度決定処理を行う。本実施の形態では、三種のレンズを使用するが、その決定方法の詳細は図７を参照して後述する。
【００８１】
次に、ステップＳ６０２では、カメラ制御部１１０は、ステップＳ６０１で決定されたレンズ光学特性の影響度から、合焦制御領域の有効範囲を決定する合焦可能領域決定処理を行う。本実施の形態では、三種のレンズを使用するが、その決定方法の詳細は図９を参照して後述する。
【００８２】
次にステップＳ６０３では、カメラ制御部１１０は、顔情報検出部１０２により、顔検出処理を行う。顔検出処理の方法については、前述しているので、ここでは省略するが、検出された顔の数をカメラ制御部１１０内の揮発メモリに記憶しておく。
【００８３】
次に、ステップＳ６０４では、カメラ制御部１１０は、ステップＳ６０３で顔検出されたかどうかの判断を行う。判断方法は顔の数が０であったかどうかでもよい。顔を検出したと判断されなかった場合、合焦可能不可能顔枠表示処理を終了する。
【００８４】
一方、カメラ制御部１１０は、検出したと判断した場合、ステップＳ６０５に進む。ステップＳ６０５では、カメラ制御部１１０は、検出された顔位置決定処理を行う。顔位置決定処理については、前述しているので、ここでは省略する。
【００８５】
次に、ステップＳ６０６（第１の判断手段）では、カメラ制御部１１０は、ステップＳ６０５で決定した顔位置がステップＳ６０２で決定した合焦可能領域内に収まっているのかどうかの判断を行う。合焦可能領域内に収まっていると判断されなかった場合、ステップＳ６０７に進む。
【００８６】
ステップＳ６０７では、カメラ制御部１１０は、検出した顔が合焦可能領域に収まっていないことをユーザに報知するような顔枠表示を行う合焦不可能顔枠表示処理を行い、ステップＳ６０９に進む。尚、本実施の形態で、合焦不可能顔枠表示の例として、顔領域に外接する方形状の枠の色をグレーにするものとする。
【００８７】
ステップＳ６０９では、カメラ制御部１１０は、ステップＳ６０３でカメラ制御部１１０内の揮発メモリに記憶した顔数の分の処理が終わったどうかの判断を行う。そして、カメラ制御部１１０は、すべての顔数の分の処理が終わったと判断しなかった場合、ステップＳ６０５に戻り、処理を繰り返す。すべての顔数の分の処理が終わったと判断された場合、合焦可能不可能顔枠表示処理を終了する。
【００８８】
一方、ステップＳ６０６で合焦可能領域内に収まっていると判断された場合、ステップＳ６０８に進む。
【００８９】
ステップＳ６０８では、カメラ制御部１１０は、検出した顔が合焦可能領域に収まっていることをユーザに報知するような顔枠表示を行う合焦可能顔枠表示処理を行い、ステップＳ６０９に進む。尚、本実施の形態で、合焦可能顔枠表示の例として、顔領域に外接する方形状の枠の色を白にするものとする。
【００９０】
図７は、図６のステップＳ６０１で実行されるレンズ光学特性影響度決定処理の手順を示すフローチャートである。
【００９１】
まず、ステップＳ７０１では、カメラ制御部１１０は、レンズ（レンズユニット３００）が装着されているかどうかの判断を行う。レンズが装着されていると判断されなかった場合、ステップＳ７０１の判断が繰り返えされる。一方、レンズが装着されていると判断された場合、ステップＳ７０２に進む。
【００９２】
ステップＳ７０２では、カメラ制御部１１０は、装着されたレンズユニット３００（の撮影レンズ３０１）の合焦制御領域の有効範囲情報をインターフェース３０８、及び１１９で取得する。
【００９３】
本実施の形態では、
レンズＡが合焦制御領域の有効範囲情報としてレベルI
レンズＢが合焦制御領域の有効範囲情報としてレベルII
レンズＣが合焦制御領域の有効範囲情報としてレベルIII
とシンプルなパラメータとし、ステップ７０２では、それぞれのレンズが装着された場合、上記のような情報の取得が行われる。そしてその後、カメラ制御部１１０は、取得されたレベルレベルから影響度のテーブルを参照し、影響度を決定する。
【００９４】
図８は、図１の撮像装置における合焦制御領域の有効範囲情報としてレベルと影響度のテーブルの例を示す図である。
【００９５】
図８によれば、レンズＡではレベルがIなので、影響度が無であること、レンズＢではレベルがIIなので、影響度が小であること、レベルがIIIなので、影響度が大であることが決定され、光学特性影響度決定処理を終了する。このようにして、光学特性影響度決定処理が行われる。
【００９６】
図９は、図６のステップＳ６０２で実行される合焦可能領域決定処理の手順を示すフローチャートである。
【００９７】
ステップＳ９０１では、カメラ制御部１１０は、図６のステップＳ６０１で決定された影響度から、合焦制御領域の有効範囲を決定するが、本実施の形態では、影響度から合焦制御領域の有効範囲のテーブルを参照し、合焦制御領域の有効範囲を決定する。
【００９８】
図１０は、図１の撮像装置における合焦制御領域の有効範囲と影響度のテーブルの例を示す図である。
【００９９】
図１０によれば、影響度無では合焦制御領域の有効範囲は撮像画像の中心から１００％、つまり全面であること、影響度小では合焦制御領域の有効範囲は撮像画像の中心から９０％であることが決定される。また、影響度大では合焦制御領域の有効範囲は撮像画像の中心から７０％であることが決定される。このようにして、合焦可能領域決定処理が行われる。
【０１００】
以上、説明したように、本実施の形態によれば、脱着できるすべてのレンズに対して最適な合焦制御領域の有効範囲で、正しく合焦可能な顔領域をユーザに知らせる撮像装置が実現できる。
【０１０１】
（第２の実施の形態）
第１の実施の形態では、レンズ特性の異なる三種のレンズの場合を例にして説明したが、第２の実施の形態では、それらのレンズがズームレンズで、焦点距離が変わることにより、同じレンズであったとしても、光学特性が異なるレンズの場合を説明する。
【０１０２】
図１１は、図１の撮像装置によって実行される合焦可能不可能顔枠表示処理の第２の実施の形態の手順を示すフローチャートである。
【０１０３】
本処理は、図１におけるカメラ制御部１１０の制御の下に実行される。
【０１０４】
図６の第１の実施の形態との違いは、ステップＳ１１０１で、カメラ制御部１１０が、焦点距離まで考慮した光学特性の決定処理を行うことにある。ステップＳ１１０２乃至Ｓ１１０９の処理は、図６の第１の実施の形態のステップＳ６０２乃至Ｓ６０９の処理と同じであるため、説明は省略する。
【０１０５】
図１２は、図１１のステップＳ１１０１で実行されるレンズ及び焦点距離光学特性影響度決定処理の手順を示すフローチャートである。
【０１０６】
まず、ステップＳ１２０１では、カメラ制御部１１０は、レンズが装着されているかどうかの判断を行う。レンズが装着されていると判断されなかった場合、ステップＳ１２０１の判断が繰り返えされる。一方、レンズが装着されていると判断された場合、ステップＳ１２０２に進む。
【０１０７】
ステップＳ１２０２（第２の判断手段）では、カメラ制御部１１０は、焦点距離が決定されているかどうかの判断を行う。本実施の形態では、一定期間変わっていない状態をその判断基準とする。焦点距離が決定されていると判断されなかった場合、焦点距離が決定されているかどうかの判断が繰り返えされる。一方、焦点距離が決定されていると判断された場合、ステップＳ１２０３に進む。
【０１０８】
ステップＳ１２０３では、カメラ制御部１１０は、装着されたレンズユニット３００の合焦制御領域の有効範囲情報をインターフェース３０８、及び１１９で取得する。第２の実施の形態で使用するレンズは、焦点距離により区分を３つにわけてあり、その光学特性もそれぞれの区分で設定されている。
【０１０９】
レンズＡ：
焦点距離ａ区：合焦制御領域の有効範囲情報としてレベルII
焦点距離ｂ区：合焦制御領域の有効範囲情報としてレベルI
焦点距離ｃ区：合焦制御領域の有効範囲情報としてレベルIII
レンズＢ：
焦点距離ａ区：合焦制御領域の有効範囲情報としてレベルII
焦点距離ｂ区：合焦制御領域の有効範囲情報としてレベルIII
レンズＣ：
Ｃ焦点距離ａ区：合焦制御領域の有効範囲情報としてレベルIII
というシンプルなパラメータとし、ステップ１２０３では、それぞれのレンズが装着され、焦点距離が決定された場合、上記のような情報の取得が行われる。そしてその後、カメラ制御部１１０は、取得されたレベルから影響度を決定するために、レベルから影響度のテーブルを参照し、影響度を決定する。
【０１１０】
前述した図８にはレベルと影響度のテーブルの例を示している。
【０１１１】
これによれば、
レンズＡ焦点距離ａ区ではレベルがIIなので、影響度が小であること
レンズＡ焦点距離ｂ区ではレベルがIなので、影響度が無であること
レンズＡ焦点距離ｃ区ではレベルがIIIなので、影響度が大であること
レンズＢ焦点距離ａ区ではレベルがIIなので、影響度が小であること
レンズＢ焦点距離ｂ区ではレベルがIIIなので、影響度が大であること
レンズＣ焦点距離ｃ区ではレベルがIIIなので、影響度が大であること
が決定され、レンズ及び焦点距離光学特性影響度決定処理を終了する。このようにして、レンズ及び焦点距離光学特性影響度決定処理が行われる。
【０１１２】
以上、説明したように、第２の実施の形態によれば、脱着できるすべてのレンズがズームレンズで、焦点距離が変わることにより、同じレンズであったとしても、光学特性が異なるレンズの場合も本発明の効果を奏する。即ち、最適な合焦制御領域の有効範囲で、正しく合焦可能な顔領域をユーザに知らせる撮像装置が実現できる。
【０１１３】
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【０１１４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１５】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【０１１６】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【０１１７】
更に、上述した実施の形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【図面の簡単な説明】
【０１１８】
【図１】本発明の実施の形態に係る撮像装置の構成を概略的に示すブロック図である。
【図２】図１における顔情報検出部によって検出された顔の情報としての目の間隔と顔のサイズとの関係を示す図である。
【図３】図１における被写体距離推定部が被写体距離を推定する際に用いる被写体距離と顔のサイズとの関係の変換テーブルグラフを示す図である。
【図４】図１における顔情報検出部によって実行されるパターン認識処理の手順を示すフローチャートである。
【図５】図４のパターン認識処理におけるマッチングの一例であるテンプレートマッチングを説明する図である。
【図６】図１の撮像装置によって実行される合焦可能不可能顔枠表示処理の第１の実施の形態の手順を示すフローチャートである。
【図７】図６のステップＳ６０１で実行されるレンズ光学特性影響度決定処理の手順を示すフローチャートである。
【図８】図１の撮像装置における合焦制御領域の有効範囲情報としてレベルと影響度のテーブルの例を示す図である。
【図９】図６のステップＳ６０２で実行される合焦可能領域決定処理の手順を示すフローチャートである。
【図１０】図１の撮像装置における合焦制御領域の有効範囲と影響度のテーブルの例を示す図である。
【図１１】図１の撮像装置によって実行される合焦可能不可能顔枠表示処理の第２の実施の形態の手順を示すフローチャートである。
【図１２】図１１のステップＳ１１０１で実行されるレンズ及び焦点距離光学特性影響度決定処理の手順を示すフローチャートである。
【図１３】従来例に係る自動焦点調節方式の撮像装置のブロック図である。
【図１４】光学特性の影響が無視できる程度である場合の撮像画像とフォーカス枠、合焦制御領域の有効範囲の例を示す図である。
【図１５】合焦制御領域内の合焦制御において、被写体の顔の位置における合焦評価値が最も高くなる状態を示す図である。
【図１６】光学特性の影響がある光学系により結像された撮影画像の例を示す図である。
【図１７】合焦制御領域の有効範囲は領域Ｂであることを示し、フォーカスによる像倍率の変化の様子からデフォーカス中にフォーカス枠内にある像が移動してしまうことを示す図である。
【図１８】焦点制御領域中に含まれる顔以外の画像の影響によって顔とは異なる距離の評価値が高くなった合焦評価値の例を示す図である。
【符号の説明】
【０１１９】
１００  撮像装置
１０１  撮像素子
１０２  顔情報検出部
１０３  顔サイズ判別部
１０４  被写体距離推定部
１１０  カメラ制御部
３００  レンズユニット
３０１  撮影レンズ
【図１】
2010124383.tif 000003
【図２】
2010124383.tif 000004
【図３】
2010124383.tif 000005
【図４】
2010124383.tif 000006
【図５】
2010124383.tif 000007
【図６】
2010124383.tif 000008
【図７】
2010124383.tif 000009
【図８】
2010124383.tif 000010
【図９】
2010124383.tif 000011
【図１０】
2010124383.tif 000012
【図１１】
2010124383.tif 000013
【図１２】
2010124383.tif 000014
【図１３】
2010124383.tif 000015
【図１４】
2010124383.tif 000016
【図１５】
2010124383.tif 000017
【図１６】
2010124383.tif 000018
【図１７】
2010124383.tif 000019
【図１８】
2010124383.tif 000020