(57)【要約】【課題】自動ズーム動作の安定性を向上し、撮影者の違和感や不快感を軽減する撮像装置及び撮像装置の制御方法を提供する。【解決手段】撮像装置が、ズームレンズを駆動して変倍動作させることにより、前記主被写体が画面上で一定の大きさになるように制御する自動ズーム制御動作を実行する。上記撮像装置が、動作モードが自動ズーム制御動作を実行するモードである場合に、主被写体として判定される被写体が撮影画面内に含まれる現在の主被写体から他の被写体に切り替わらないようにする。【選択図】図１
2011223139.tif 000002
【特許請求の範囲】
【請求項１】
ズームレンズを含む撮像光学系により形成された被写体像を撮像して映像信号を出力する撮像手段と、
前記撮像手段から出力された映像信号に基づいて、撮影画面内に含まれる被写体のうち主被写体を判定する主被写体判定手段と、
前記ズームレンズを駆動して変倍動作させることにより、前記主被写体が画面上で一定の大きさになるように制御する自動ズーム制御動作を実行する制御手段と、
前記制御手段の動作モードを、前記自動ズーム制御動作を実行するモードである第１のモードと前記自動ズーム制御動作を実行しないモードである第２のモードとの間で切り替えるモード切り替え手段とを備え、
前記制御手段は、該制御手段の動作モードが前記第１のモードである場合に、前記主被写体判定手段の動作モードを、前記主被写体として判定される被写体が前記撮影画面内に含まれる現在の主被写体から他の被写体に切り替わらないようにする切り替え禁止モードに設定する
ことを特徴とする撮像装置。
【請求項２】
前記制御手段は、更に、前記撮影画面内に前記被写体が存在するかを判断し、前記撮影画面内に前記被写体が存在しない場合に、前記切り替え禁止モードを解除する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、更に、前記撮影画面内から前記主被写体が消失したかを判断し、前記撮影画面内から前記主被写体が消失した場合であって、かつ、該制御手段の動作モードが前記第２のモードである場合に、前記切り替え禁止モードを解除する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、更に、前記撮影画面内に前記被写体が存在するかを判断し、前記撮影画面内に前記被写体が存在しない場合に、予め定められた時間が経過するまで前記切り替え禁止モードを有効にし、前記時間が経過した場合に前記切り替え禁止モードを解除する
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記制御手段は、更に、前記撮影画面内から前記主被写体が消失したかを判断し、前記撮影画面内から前記主被写体が消失した場合であって、かつ、該制御手段の動作モードが前記第２のモードである場合に、前記切り替え禁止モードを解除する
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記制御手段は、更に、前記撮影画面内から前記主被写体が消失したかを判断し、前記撮影画面内から前記主被写体が消失した場合に、予め定められた時間が経過するまで前記主被写体として判定される被写体が前記消失した主被写体から他の被写体に切り替わらないように制御する
ことを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記主被写体判定手段は、前記撮影画面内に含まれる被写体の位置と大きさとに基づいて、各々の被写体について優先順位付けを実行し、前記切り替え禁止モードが解除された場合に、第１優先の被写体を主被写体と判定する
ことを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像手段から出力された映像信号のコントラスト状態に対応する評価値の生成に用いる評価枠を設定する評価枠設定手段と、
前記設定された評価枠に対応する映像信号から生成される前記評価値に基づいて、前記撮像光学系の合焦制御を行う合焦制御手段とを備え、
前記評価枠設定手段は、前記撮影画面内に前記主被写体が存在する場合に、該主被写体に対応する第１の評価枠と、該第１の評価枠を含み該第１の評価枠よりも大きい第２の評価枠とを設定し、前記撮影画面内から前記主被写体が消失した場合であって、前記制御手段によって前記予め定められた時間が経過するまで前記切り替え禁止モードが有効にされている場合に、前記第１、第２の評価枠のうち、前記第２の評価枠のみを設定する
ことを特徴とする請求項４乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記被写体が人物の顔である
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
ズームレンズを含む撮像光学系により形成された被写体像を撮像して映像信号を出力する撮像工程と、
前記撮像工程によって出力された映像信号に基づいて、撮影画面内に含まれる被写体のうち主被写体を判定する主被写体判定工程と、
前記ズームレンズを駆動させ変倍動作させることにより、前記主被写体が画面上で一定の大きさになるように制御する自動ズーム制御動作を実行する制御工程と、
前記制御工程における動作モードを、前記自動ズーム制御動作を実行するモードである第１のモードと前記自動ズーム制御動作を実行しないモードである第２のモードとの間で切り替えるモード切り替え工程とを備え、
前記制御工程は、前記動作モードが前記第１のモードである場合に、前記主被写体判定工程における動作モードを、前記主被写体として判定される被写体が前記撮影画面内に含まれる現在の主被写体から他の被写体に切り替わらないようにする切り替え禁止モードに設定する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の制御方法に関する。
【背景技術】
【０００２】
カメラを任意の被写体に向けた場合に、被写体距離に応じて予め設定された像倍率となるように自動でズーミングを行う、自動ズ−ム機能を備えるカメラが提案されている。例えば、下記の特許文献１は、表示画面上に映出される顔画像の面積を算定し、当該検出顔面積を基準顔面積と比較して、常に同じ大きさの顔画像を撮影できるようにズーム制御を実行するビデオカメラシステムを開示している。また、人物の撮影時に、複数の人物被写体が存在する場合に、顔検出機能を用いて自動的に認識された顔の画面上の位置、大きさ等から主となる顔（主顔）を判定する機能を備えるカメラが提案されている。このカメラは、主顔に対して焦点検出領域を設定し、焦点検出処理を実行する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−１５３０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数の人物被写体が存在する場合に、顔検出機能を用いて、複数の顔の中から主顔を自動的に判定する機能を備えたカメラが、主顔を対象として自動ズーム機能を動作させる場合、以下のような問題があった。撮影者が主人物被写体を撮影する場合に考えられる構図として、主人物被写体を画面上の中央に配置することが多い。また、主人物被写体は、カメラに対して他の被写体よりも近い距離に存在することが多いため、主人物被写体の大きさは被写体の中で最も大きくなるものと考えられる。従って、カメラが画面上の中央位置に近く、大きさが大きい顔を主顔として判定することは、撮影者の意図に沿っており、撮影者に違和感を与えない。
【０００５】
しかし、例えば、運動会など人が多い状況で動画撮影をしている際に、カメラの現在の画面内に現在の主顔よりも画面中央位置に近く、大きい別の顔が入ってきてしまう場合がある。このような場合に、カメラが自動的に主顔を別の顔へ切り替えてしまうと、カメラの自動ズーム動作の対象が、別の顔となってしまう。その結果、例えば、撮影者が画面内で一定の大きさに保持して撮影したい主人物被写体が、逆に小さくなってしまうことが起こり、撮影者に違和感や不快感を与えてしまう。また、人物が多く存在する撮影状況においては、画面内に入ってくる顔が多くなり、主顔の切り替わりが頻繁に発生してしまう場合がある。その場合に、カメラが、切り替わった主顔に対して常に自動ズーム動作を行うと、ズーム動作が頻繁に発生し、不安定な動作を行ってしまう。その結果、撮影した映像が落ち着きがないものとなり、撮影者に違和感や不快感を与えてしまうことになる。
【０００６】
上記の課題を鑑み、本発明は、自動ズーム動作の安定性を向上し、撮影者の違和感や不快感を軽減する撮像装置及び撮像装置の制御方法の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の撮像装置は、ズームレンズを含む撮像光学系により形成された被写体像を撮像して映像信号を出力する撮像手段と、前記撮像手段から出力された映像信号に基づいて、撮影画面内に含まれる被写体のうち主被写体を判定する主被写体判定手段と、前記ズームレンズを駆動して変倍動作させることにより、前記主被写体が画面上で一定の大きさになるように制御する自動ズーム制御動作を実行する制御手段と、前記制御手段の動作モードを、前記自動ズーム制御動作を実行するモードである第１のモードと前記自動ズーム制御動作を実行しないモードである第２のモードとの間で切り替えるモード切り替え手段とを備える。前記制御手段は、該制御手段の動作モードが前記第１のモードである場合に、前記主被写体判定手段の動作モードを、前記主被写体として判定される被写体が前記撮影画面内に含まれる現在の主被写体から他の被写体に切り替わらないようにする切り替え禁止モードに設定する。
【発明の効果】
【０００８】
本発明によれば、自動ズーム動作の安定性が向上し、撮影者の違和感や不快感を軽減することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の撮像装置の構成例を示す図である。
【図２】実施例１の撮像装置の顔検出制御処理フローを示す図である。
【図３】主顔判定処理を説明するフローチャートである。
【図４】顔相関判定処理を説明するフローチャートである。
【図５】実施例２の撮像装置の顔検出制御処理フローを示す図である。
【図６】主顔判定処理を説明するフローチャートである。
【図７】撮像装置が実行するＡＦ枠の設定処理フローの例を示す図である。
【図８】設定されるＡＦ枠の例を示す図である。
【発明を実施するための形態】
【００１０】
図１は、本実施形態の撮像装置の構成例を示す図である。この例では、撮像装置は、ビデオカメラである。もちろん、本発明は、デジタルスチルカメラ等の他の撮像装置にも適用することができる。図１に示す撮像装置は、光軸方向に、第１固定レンズ１０１、変倍（ズーム）レンズ１０２、絞り１０３、第２固定レンズ１０４、及びフォーカスコンペンセータレンズ１０５が順次配置され、これらによって撮像光学系が構成される。変倍レンズ１０２は、光軸方向に移動して変倍を行うレンズである。フォーカスコンペンセータレンズ（以下、フォーカスレンズ）１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたレンズである。フォーカスレンズ１０５の背部には、撮像素子１０６が配置されている。撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサを備える光電変換素子である。ＣＣＤは、Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅの略語である。また、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略語である。
【００１１】
撮像素子１０６は、撮像光学系により形成された光学像を撮像、つまり電気信号に変換して、ＣＤＳ／ＡＧＣ回路１０７に出力する。すなわち、撮像素子１０６は、ズームレンズを含む撮像光学系により形成された被写体像を撮像して映像信号を出力する撮像手段として機能する。ＣＤＳは、Ｃｏｒｒｅｌｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇの略語である。ＡＧＣは、Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌの略語である。ＣＤＳ／ＡＧＣ回路１０７は、撮像素子１０６の出力をサンプリングして、ゲイン調整する。
【００１２】
また、図１に示す撮像装置は、カメラ信号処理回路１０８、モニタ部１０９、ズーム駆動源１１０、フォーカシング駆動源１１１、ＡＦ（Auto Focus）ゲート１１２を備える。また、この撮像装置は、ＡＦ信号処理回路１１３、カメラ／ＡＦマイクロコンピュータ１１４、記録部１１５、顔検出処理回路１１６を備える。カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施して映像信号を生成する。モニタ部１０９は、ＬＣＤ（Liquid Crystal Display）等を備えるモニタであり、カメラ信号処理回路１０８から出力された映像信号を撮像画像として表示する。記録部１１５は、カメラ信号処理回路１０８から出力された映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。
【００１３】
ＡＦゲート１１２は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち焦点調節に用いられる領域の信号のみをＡＦ信号処理回路１１３に通過させる。具体的には、ＡＦゲート１１２は、コンピュータ１１４によって設定されたＡＦ枠に囲まれた領域の信号をＡＦ信号処理回路１１３に通過させる。ＡＦ信号処理回路１１３は、ＡＦゲート１１２を通過した信号から高周波成分、輝度差成分等を抽出してＡＦ評価値信号を生成し、生成したＡＦ評価値信号をカメラ／ＡＦマイクロコンピュータ（以下、「コンピュータ」と記述）１１４に出力する。輝度差成分は、例えば、ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分である。また、ＡＦ評価値信号は、撮像素子１０６からの出力信号（映像信号）に基づいて生成される映像の鮮鋭度を示す。鮮鋭度は映像信号のコントラスト状態を示し、撮像光学系の焦点状態によって変化する。すなわち、ＡＦ評価値は、撮像素子１０６から出力された映像信号のコントラスト状態に対応する評価値である。また、ＡＦ枠は、ＡＦ評価値信号の生成に用いる評価枠である。
【００１４】
コンピュータ１１４は、撮像装置全体を制御する。コンピュータ１１４は、変倍レンズ１０２を駆動させるズーム駆動源１１０を制御する。具体的には、コンピュータ１１４は、変倍レンズ１０２を駆動して変倍動作させることにより、主被写体が画面上で一定の大きさになるように制御する自動ズーム制御動作を実行する制御手段として機能する。また、コンピュータ１１４は、フォーカスレンズ１０５を駆動させるフォーカシング駆動源１１１を制御して、フォーカス制御を行なう。ズーム駆動源１１０及びフォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ、ボイスコイルモータ等のアクチュエータを備える。コンピュータ１１４によるフォーカス制御には、公知のＴＶ−ＡＦ方式（以下、単に「ＴＶ−ＡＦ」という。）による制御を用いることができる。また、コンピュータ１１４は、ＡＦ枠を設定する評価枠設定手段として機能する。また、コンピュータ１１４は、ＡＦ枠に対応する映像信号から生成されるＡＦ評価値に基づいて、撮像光学系の合焦制御を行う合焦制御手段として機能する。
【００１５】
また、図１に示す撮像装置は、顔検出処理部１１６、顔検出モード切替部１１７、選択指示部１１８、オートズームモード切替部１１９を備える。顔検出処理回路１１６は、カメラ信号処理回路１０８から出力された映像信号に対して公知の顔認識処理を施し、被写体領域として、撮影画面内の主被写体の顔領域を検出する（顔検出処理を実行する）。公知の顔認識処理としては、例えば、映像信号に対応した画像データで表される各画素の階調色から肌色領域を抽出し、予め用意された顔の輪郭プレートとのマッチング度で顔領域を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することを通じて顔領域を検出する方法がある。本実施の形態における顔認識処理は、上述に述べた方法に限るものではなく、公知のいずれの方法でも良い。顔検出処理回路１１６は、被写体位置情報を含む検出結果をコンピュータ１１４に送信する。被写体位置情報とは、撮影画面内での被写体領域の位置に関する情報である。コンピュータ１１４は、受信した検出結果に基づき、撮影画面内の顔領域を含む位置に対して焦点検出に用いられる領域を追加すべく、ＡＦゲート１１２へ情報を送信する。
【００１６】
また、コンピュータ１１４は、顔検出処理回路１１６で認識された顔領域を撮影者に通知するために、顔領域の位置、サイズ等の情報をカメラ信号処理回路１０８へ送信し、これらの情報に対応した顔枠を映像信号に重畳させてモニタ部１０９に表示させる。顔検出モード切替部１１７は、顔検出処理による制御（顔検出制御）の有効／無効を切り替える機能を有する。顔検出制御が有効となった場合には、コンピュータ１１４は、ＡＦ制御等について顔検出処理の結果に応じた制御を行う。選択指示手段１１８は、特定の被写体に固定したい撮影者の操作入力に従って、被写体を選択指示する機能を有する。撮影者が、十字キーやタッチパネル等の操作部材を用いて特定の顔を選択、指示すると、コンピュータ１１４は、選択、指示された顔に対して、ＡＦ制御等を行う（以下、主顔選択という）。オートズームモード切替手段１１９は、オートズーム機能の有効／無効を切り替える機能を有する。ここで、オートズーム機能が有効となった場合には、コンピュータ１１４は、顔検出処理の結果に応じて、ズーム駆動源１１０を制御することによって、検出された顔が常に一定の大きさとなるように自動ズーム制御を実行する。オートズーム機能が無効である場合は、コンピュータ１１４は、自動ズーム制御を実行しない。すなわち、オートズームモード切替手段１１９は、コンピュータ１１４の動作モードを、自動ズーム制御動作を実行するモードである第１のモードと自動ズーム制御動作を実行しないモードである第２のモードとの間で切り替えるモード切り替え手段として機能する。
【００１７】
図２は、実施例１の撮像装置の顔検出制御処理フローを示す図である。実施例１の撮像装置は、図１に示す撮像装置と同じ構成を有する。図２に示す顔検出処理フローに従う顔検出制御は、コンピュータ１１４が、コンピュータ１１４内のメモリに格納されたプログラムを実行することを通じて実現される。
【００１８】
まず、コンピュータ１１４が、顔検出モード切替部１１７の切り替え状態に応じて、顔検出制御が有効であるかを判断する（ステップＳ１）。顔検出制御が有効でない場合は、ステップＳ１に戻る。顔検出制御が有効である場合は、顔検出処理回路１１６が、映像信号に応じた撮像画像から公知の顔認識処理を実行する。そして、コンピュータ１１４が、この顔認識処理による顔検出処理結果を取得して、撮影画面内に被写体（この例では人物の顔）が存在するかを判断する（ステップＳ２）。顔が存在しない場合は、ステップＳ１４に進む。顔が存在する場合は、ステップＳ３に進む。
【００１９】
ステップＳ３において、コンピュータ１１４が、主顔判定済みフラグがＯＮであるか、ＯＦＦであるかを判断する（ステップＳ３）。主顔判定済みフラグは、後述するステップＳ６における主顔判定処理が実行されているかを示すフラグである。主顔判定済みフラグがＯＮであることは、主顔判定処理が実行されていることを示す。主顔判定済みフラグがＯＦＦであることは、主顔判定処理が実行されていないことを示す。主顔判定済みフラグがＯＦＦである場合は、ステップＳ６に進む。主顔判定済みフラグがＯＮである場合は、ステップＳ４に進む。
【００２０】
ステップＳ４において、コンピュータ１１４が、オートズーム機能が有効であるか、すなわち、オートズーム中であるかを判断する。オートズーム中である場合は、ステップＳ５に進み、コンピュータ１１４が、通常の顔検出制御を実行する。すなわち、コンピュータ１１４が、選択指示手段１１８によって特定の顔が主顔として選択されたか、又は主顔が切替えられたかを判断する（ステップＳ５）。主顔とは、顔検出処理回路１１６による顔検出処理によって得られる顔のうち、ピント合わせ制御や露出制御等を主に実行される顔である。特定の顔が主顔として選択されたか、又は主顔が切替えられた場合は、ステップＳ９に進む。主顔が選択されていない場合や、主顔が切替えられていない場合は、ステップＳ６に進む。
【００２１】
ステップＳ９において、コンピュータ１１４が、主顔固定モードをＯＮにする。主顔固定モードは、主被写体判定手段として機能するコンピュータ１１４の動作モードであり、主顔が撮影画面内に存在する限り、主顔の切り替わりを禁止するモードである。主顔固定モードがＯＮである場合、主顔の切り替わりが禁止される。主顔固定モードがＯＦＦである場合、主顔の切り替わりが許される。すなわち、コンピュータ１１４は、動作モードが自動ズーム制御動作を実行するモードである場合に、主被写体判定手段の動作モードを切り替え禁止モードに設定する。切り替え禁止モードは、主被写体として判定される被写体が撮影画面内に含まれる現在の主被写体から他の被写体に切り替わらないようにする動作モードである。
【００２２】
続いて、コンピュータ１１４が、主顔として選択された顔の識別番号である顔番号を主顔固定顔番号として所定の記憶手段に登録し（ステップＳ１０）、ステップＳ６に進む。上記ステップＳ４においてオートズーム中である場合は、コンピュータ１１４が、主顔固定モードがＯＮであるかを判断する（ステップＳ１１）。主顔固定モードがＯＮである場合は、ステップＳ６に進む。主顔固定モードがＯＦＦである場合は、コンピュータ１１４が、主顔固定モードをＯＮにする（ステップＳ１２）。そして、コンピュータ１１４が、現在主顔となっている顔に割り当てられた顔番号を主顔固定顔番号として登録し（ステップＳ１３）、ステップＳ６に進む。
【００２３】
次に、ステップＳ６において、コンピュータ１１４が、後述する主顔判定処理を行う（ステップＳ６）。そして、コンピュータ１１４が、主顔判定済みフラグをＯＮにする（ステップＳ７）。続いて、コンピュータ１１４が、顔枠表示処理を行う（ステップＳ８）。コンピュータ１１４は、例えば、顔検出処理回路１１６で検出された顔位置に対する枠（顔枠）を表示したり、主顔と非主顔を区別するための枠表示を行う。コンピュータ１１４が、主顔固定モードがＯＮである時に、主顔についてのみ枠を表示したり、もしくは枠の形を変えて表示したりしてもよい。すなわち、コンピュータ１１４は、撮影者が顔検出制御の状態を一目で理解できる形式で顔枠を表示する。ステップＳ８における顔枠表示処理の後、処理がステップＳ１に戻る。
【００２４】
上記ステップＳ２において、コンピュータ１１４が顔が存在しないと判断した場合は、コンピュータ１１４は、主顔固定モードをＯＦＦにする（ステップＳ１４）。すなわち、コンピュータ１１４は、撮影画面内に被写体が存在するかを判断し、被写体が存在しない場合に、切り替え禁止モードを解除する。続いて、コンピュータ１１４が、主顔判定済みフラグをＯＦＦにする（ステップＳ１５）。そして、コンピュータ１１４が、登録されている主顔固定顔番号をクリア（削除）して（ステップＳ１６）、ステップＳ８に進む。
【００２５】
図３は、図２のステップＳ６における主顔判定処理を説明するフローチャートである。この主顔判定処理においては、コンピュータ１１４及び顔検出処理回路１１６は、撮像手段（撮像素子１０６）から出力された映像信号に基づいて、撮影画面内に含まれる被写体のうち主被写体を判定する主被写体判定手段として機能する。
【００２６】
まず、コンピュータ１１４が、顔検出処理回路１１６による顔検出処理結果に基づいて、顔相関判定処理を行う（ステップＳ６１）。具体的には、コンピュータ１１４が、顔検出処理によって検出された各々の顔に対して顔番号を割り当てる。次に、コンピュータ１１４が、検出された顔の位置、大きさに応じて、顔の優先順位付けを行い、優先順位が最も高い顔を主顔として設定する（ステップＳ６２）。コンピュータ１１４は、例えば、顔の位置が画面中央に近く、顔の大きさが大きい程、優先順位が高くなるように、顔の優先順位を決定する。コンピュータ１１４が、前回も検出されていた顔の優先順位を高くしてもよい。これにより、頻繁に検出された顔が切り替らなくすることができる。顔の優先順位付け方法は、上述したものに限定されない。コンピュータ１１４は、撮影者が、設定された主顔を主顔として相応しいものであると感じられるような任意の優先順位付け方法を用いることができる。
【００２７】
次に、コンピュータ１１４が、主顔固定モードがＯＮであるかを判断する（ステップＳ６３）。主顔固定モードがＯＦＦである場合は、コンピュータ１１４が、第１優先の顔を主顔として（ステップＳ７０）、処理を終了する。主顔固定モードがＯＮである場合は、ステップＳ６４に進む。ステップＳ６４において、コンピュータ１１４が、今回の顔検出処理結果によって得られた顔に割り当てた顔番号と、登録されている主顔固定顔番号とを比較し、主顔として固定設定されている顔が存在するか、消失したかを判断する（ステップＳ６４）。今回の顔検出処理結果によって得られた顔に割り当てた顔番号のうち、登録されている主顔固定顔番号とが一致する番号がある場合、コンピュータ１１４は、主顔として固定設定されている顔が存在すると判断する。そして、処理がステップＳ６５に進む。登録されている主顔固定顔番号に一致する顔番号がない場合、コンピュータ１１４は、主顔として固定設定されている顔が消失したと判断する。そして、処理がステップＳ６６に進む。
【００２８】
ステップＳ６５において、コンピュータ１１４が、登録されている主顔固定顔番号に対応する顔を第１優先（主顔）にし（ステップＳ６５）、処理を終了する。また、ステップＳ６６において、コンピュータ１１４が、登録されている主顔固定顔番号をクリアし（ステップＳ６６）、ステップＳ６７に進む。次に、ステップＳ６７において、コンピュータ１１４が、オートズーム中であるかを判断する（ステップＳ６７）。オートズーム中である場合は、撮影者により特定の顔が選択されているか否かに関わらず、主顔固定モードが有効状態である。従って、この場合には、コンピュータ１１４が、ステップＳ６２における今回の優先順位付けによる第１優先の顔番号を主顔固定顔番号として登録する（ステップＳ６８）。オートズーム機能が無効である場合、つまり、オートズーム中でない場合は、コンピュータ１１４が、主顔固定モードをＯＦＦにする（ステップＳ６９）。すなわち、コンピュータ１１４は、撮影画面内から主被写体が消失した場合であって（Ｓ６４でＮｏ）、かつ、動作モードが第２のモード（自動ズーム制御動作を実行しないモード）である場合に、切り替え禁止モードを解除する。これにより、撮像装置が、自動的に主顔を決定する状態へ移行する（図３のステップＳ６３、７０を参照）。
【００２９】
図２及び図３を参照して説明した処理においては、コンピュータ１１４は、撮影画面内に含まれる被写体の位置と大きさとに基づいて、各々の被写体について優先順位付けを実行する（図３のステップＳ６２を参照）。そして、切り替え禁止モードが解除された、すなわち、主顔固定モードがＯＦＦとされた場合に（図２のステップＳ１４を参照）、コンピュータ１１４が、以下の処理を実行する。すなわち、コンピュータ１１４は、第１優先の被写体を主被写体と判定する（図３のステップＳ６３及びＳ７０を参照）。なお、図３のステップＳ６９において主顔固定モードがＯＦＦとされた場合も同様である。従って、本実施例の撮像装置によれば、撮影画面内に顔が存在しなくなった場合、あるいは、現在の主被写体が消失した場合に、各々の顔に付けられた優先順位に従って自動的に主顔を判定することができる。
【００３０】
図４は、図３のステップＳ６１における顔相関判定処理を説明するフローチャートである。コンピュータ１１４は、以下の顔相関判定処理を、検出された顔の数分繰り返して実行する。まず、コンピュータ１１４が、前回と今回の顔検出処理結果を比較する（ステップＳ６１１）。そして、コンピュータ１１４が、今回検出された顔が前回検出された顔と同じ顔であるかを判断する（ステップＳ６１２）。コンピュータ１１４は、検出された顔の位置と大きさを各々比較し、前回の顔の位置に対して今回の顔の位置が近ければ近い程、前回の顔の大きさと今回の顔の大きさが等しい程、同じ顔であると判断する。より詳細には、コンピュータ１１４が、顔の位置差と大きさの差とに基づいて、同じ顔がどうかを判定する相関量を算出し、相関量が高い場合に同じ顔であると判定する。
【００３１】
コンピュータ１１４が、今回検出された顔が前回検出された顔と同じ顔であると判断した場合、コンピュータ１１４は、今回検出された顔に対して前回と同じ顔番号を設定する（ステップＳ６１３）。コンピュータ１１４が、今回検出された顔が前回検出された顔と同じ顔でないと判断した場合、コンピュータ１１４は、今回検出された顔に対して新しい任意の顔番号を設定する（ステップＳ６１４）。
【００３２】
以上説明した実施例１の撮像装置は、オートズーム中でない場合には、検出された顔の中から自動的に主顔を決定するか、もしくは撮影者が選択した顔を主顔とし、主顔が存在している間は主顔を切り替えないようにする。撮像装置は、オートズーム中である場合には、撮影者が主顔を意図的に選択したかどうかに関わらず、主顔を固定にし、主顔が存在している間は主顔を切り替えるのを禁止し主顔を切り替えないようにする。そして、撮像装置は、主顔が存在しなくなった場合のみ主顔を切り替えるようにする。これにより、オートズーム中に、主顔が切り替わることによって、撮影者が意図しない顔に対してズーム動作を行い、撮影者が意図していた顔が一定の顔サイズに保持できなくなったりすることを防止できる。また、主顔が頻繁に切り替わることによって、ズーム動作が不安定になることを軽減することが可能となる。その結果、オートズーム機能の動作の安定性を向上し、撮影者の違和感や不快感を軽減することが可能となる。
【００３３】
また、本実施例では、主顔が消失した場合においても、オートズーム機能は有効となっており、主顔の消失とオートズーム機能の有効／無効とは連動していないが、この限りではない。主顔が存在しなくなった場合には撮像装置がオートズーム機能を無効にするようにしてもよい。これにより、本実施例において、オートズーム機能が有効である場合には、複数の顔が検出された場合においても、主顔の切り替りがなくなる。つまり、オートズーム機能が有効である場合に、主顔が存在しなくなったときに、オートズーム機能を解除し無効にすることで、オートズーム機能が有効中の主顔の切り替りが禁止状態となる。これにより、オートズーム機能の動作が不安定になることを軽減することができ、撮影者の違和感や不快感を軽減することが可能となる。
【００３４】
図５は、実施例２の撮像装置の顔検出制御処理フローを示す図である。実施例２の撮像装置は、図１に示す撮像装置と同じ構成を有する。図５のステップＳ７１乃至７５は、図２のステップＳ１乃至５と同様である。ステップＳ７７、Ｓ７８は、それぞれ、図２のステップＳ７、Ｓ８と同様である。また、ステップＳ７９乃至８３は、図２のステップＳ９乃至１３と同様である。
【００３５】
実施例２の撮像装置は、オートズーム中に、主顔に固定設定されている顔が消失した場合に、主顔固定モードを即座に無効にするのではなく、所定時間経過するまで主顔固定モードを有効にする。これにより、撮影者によるカメラワークにより、再度主顔固定されていた顔が画面内に現れたり、一時的に主顔が横を向いてしまったりしても、その顔に対してオートズーム機能を動作させることを可能にする。
【００３６】
図５のステップ７２において、コンピュータ１１４が顔が存在しなくなったと判断した場合、コンピュータ１１４は、現在オートズーム中であるかを判断する（ステップＳ８４）。オートズーム中でない場合は、ステップＳ９２に進み、自動で主顔判定する動作へ移行するための処理を行う。オートズーム中である場合は、ステップＳ８５に進む。
【００３７】
ステップＳ８５において、コンピュータ１１４が、主顔判定済みフラグがＯＮであるかを判断する（ステップＳ８５）。ステップＳ８５において主顔判定済みフラグがＯＦＦであると判断されることは、オートズーム機能が有効になってから、顔が存在したことがない状態であることを示す。すなわち、主顔に固定設定されている顔が存在しない。従って、処理がステップＳ９１に進み、撮像装置の動作が自動で主顔を判定する動作のまま継続する。主顔判定済みフラグがＯＮである場合には、処理がステップＳ８６に進む。
【００３８】
次に、コンピュータ１１４が、主顔ウエイトフラグがＯＮであるかを判断する（ステップＳ８６）。主顔ウエイトフラグは、消失した主顔を存在するものと扱うか否かを示すフラグである。主顔ウエイトフラグがＯＮであることは、消失した主顔を存在するものと扱い、その主顔の切り替えが猶予されていることを示す。主顔ウエイトフラグがＯＦＦであることは、消失した主顔を存在しないものと扱い、その切り替えが猶予されていないことを示す。
【００３９】
コンピュータ１１４が、主顔ウエイトフラグがＯＦＦであると判断した場合、コンピュータ１１４は、ウエイト時間カウントをクリアして（ステップＳ９０）、ステップＳ８７に進む。ステップＳ９０におけるウエイト時間カウントのクリアによって、ウエイト時間カウンタが初期化される。ウエイト時間カウントは、オートズーム中である場合における、主顔が消失してからの経過時間である。
【００４０】
コンピュータ１１４が、主顔ウエイトフラグがＯＮであると判断した場合、コンピュータ１１４は、ウエイト時間カウントが所定の閾値以上であるかを判断する（ステップＳ８７）。ウエイト時間カウントが所定の閾値以上である場合は、主顔に固定していた顔が消失したことが、撮影者が意図して主顔を画面外に外した、もしくは主顔が消失してしまったこと等に起因すると考えられる。従って、この場合には、処理がステップＳ９１に進む。ウエイト時間カウントが所定の閾値以上でない場合は、コンピュータ１１４が、主顔ウエイトフラグをＯＮにして（ステップＳ８８）、ステップＳ８９に進む。例えば、主顔に固定設定されていた顔が動いている等により一時的に画面外へ出てしまった後に、撮影者によるカメラワークで、すぐに主顔に固定設定されていた顔を画面内へ戻そうとする場合が考えられる。また、主顔に固定設定していた顔が一時的に横を向いてしまった場合も考えられる。このような場合において、コンピュータ１１４が、ウエイト時間カウントが所定の閾値以上とならない間は、主顔固定モードをＯＦＦにする処理（Ｓ９２）がされないようにすることによって、別の顔が主顔に切り替わらないようにすることができる。続いて、コンピュータ１１４が、ウエイト時間カウントをインクリメントして（ステップＳ８９）、ステップＳ７８に進む。
【００４１】
コンピュータ１１４が、ステップＳ９１、Ｓ９２、Ｓ９３において、それぞれ、主顔ウエイトフラグ、主顔固定モード、主顔判定済みフラグをＯＦＦにする。そして、コンピュータ１１４が、現在登録されている主顔固定顔番号をクリアし（ステップＳ９４）、ステップＳ７８に進む。すなわち、実施例２におけるコンピュータ１１４は、撮影画面内に被写体が存在しない場合（ステップＳ７２でＮｏ）、予め定められた時間が経過するまで切り替え禁止モードを有効にする。そして、コンピュータ１１４は、上記時間が経過した場合に切り替え禁止モードを解除する（ステップＳ８７、Ｓ９２を参照）。
【００４２】
図６は、図５のステップＳ７６における主顔判定処理を説明するフローチャートである。図６のステップＳ７６１乃至Ｓ７６５は、図３のステップＳ６１乃至Ｓ６５と同様である。また、図６のステップＳ７７７は、図３のステップＳ７０と同様である。
【００４３】
図６のステップＳ７６６において、コンピュータ１１４が、主顔ウエイトフラグがＯＮであるかを判断する（ステップＳ７６６）。主顔ウエイトフラグがＯＦＦである場合は、主顔が最初に存在しなくなったことを意味する。従って、コンピュータ１１４が、ウエイト時間カウンタをクリアして初期化し（ステップＳ７７６）、ステップＳ７６７に進む。なお、主顔ウエイトフラグがＯＦＦである場合であっても、主顔でない他の顔は存在している。主顔ウエイトフラグがＯＮである場合、コンピュータ１１４が、オートズーム中であるかを判断する（ステップＳ７６７）。
【００４４】
オートズーム中でない場合は、コンピュータ１１４が、ステップＳ７６８、Ｓ７６９において、それぞれ、主顔固定モード、主顔ウエイトフラグをＯＦＦにする。そして、コンピュータ１１４が、登録されている主顔固定顔番号をクリアし（ステップＳ７７０）、処理を終了する。すなわち、コンピュータ１１４は、撮影画面内から主被写体が消失した場合であって（ステップＳ７６４でＮｏ）、かつ、動作モードが第２のモードである場合に、切り替え禁止モードを解除する。これにより、主顔固定モードがＯＦＦになるので、コンピュータ１１４が、自動で主顔を判定する処理を実行できるようになる（ステップＳ７６３、Ｓ７７７を参照）。
【００４５】
オートズーム中である場合は、コンピュータ１１４は、ウエイト時間カウントが所定の閾値以上であるかを判断する（ステップＳ７７１）。ウエイト時間カウントが所定の閾値以上でない場合は、コンピュータ１１４は、主顔ウエイトフラグをＯＮにする（ステップＳ７７２）。そして、コンピュータ１１４が、ウエイト時間カウントをインクリメントして（ステップＳ７７３）、処理を終了する。これにより、ウエイト時間カウントが所定の閾値以上とならない間は、主顔固定顔番号が更新されないので、消失中の主顔が撮影画面内に戻った場合（Ｓ７６４でＹｅｓ）には、主顔が他の顔に切り替わらない。すなわち、コンピュータ１１４は、撮影画面内から主被写体が消失した場合に、予め定められた時間が経過するまで主被写体として判定される被写体が上記消失した主被写体から他の被写体に切り替わらないように制御する。
【００４６】
ウエイト時間カウントが所定の閾値以上である場合は、コンピュータ１１４は、現在の第１優先の顔番号を主顔固定顔番号として登録する（ステップＳ７７４）。そして、コンピュータ１１４が、主顔ウエイトフラグをＯＦＦにして（ステップＳ７７５）、処理を終了する。
【００４７】
図６のステップＳ７６７乃至Ｓ７７６を参照すると、ウエイト時間カウントが所定の閾値以上でなく、オートズーム中である間は、主顔固定モードをＯＮに維持することができることがわかる。従って、例えば、主顔に固定設定していた顔が一時的に画面外へ出てしまった場合でも、撮影者が主顔をすぐに画面内へ戻すことによって、撮影者が意図した主顔に対して継続してオートズーム機能を動作させることが可能となる。上記ステップＳ７７１においてウエイト時間カウントと比較対象となる所定の閾値は、オートズーム機能の動作対象である主顔が画面外に出たときに、撮影者がカメラワークにより主顔を画面中央の位置に構図を決めると考えられる任意の時間とすることができる。また、この閾値は、一時的に主顔が横を向いた場合に、主顔がすぐに正面を向き直すまでにかかる時間を考慮した任意の時間とすることができる。
【００４８】
以上説明した実施例２の撮像装置は、オートズーム中である場合に、存在していた主顔が消失した場合は、所定の時間が経過するまで、主顔が切り替わるのを禁止する。これにより、オートズーム機能の動作対象となっている主顔が動いていたり、もしくはカメラがブレてしまったり等により一時的に画面外に出てしまった場合に、撮影者がカメラワークにより、再度主顔を画面中央の位置に大きく構図を決めることが可能となる。また、主顔が一時的に横を向いてしまったりした場合等においても、主顔が切り替わらずに、主顔が再度正面を向くまでの時間も確保できる。さらに、オートズーム機能の動作が有効に活用できる画面中央の位置に撮影者が構図を再度決め直すことが可能となる。つまり、主顔が消失しても、所定時間主顔を切り替えるのを禁止することで、再度撮影者が意図する主顔に対してオートズーム機能を動作させる可能性が高まる。そして、撮影者が意図する主顔に対してオートズーム機能を安定して動作させることができ、オートズーム機能の不安定な動作を軽減し、さらに、撮影者の違和感や不快感を軽減することが可能となる。
【００４９】
図７は、撮像装置が実行するＡＦ枠の設定処理フローの例を示す図である。図７では、実施例２の撮像装置が実行するＡＦ枠の設定処理を例にとって説明する。コンピュータ１１４が、顔検出制御が有効であるかを判断する（ステップＳ１０１）。顔検出制御が有効でない場合、コンピュータ１１４は、予め決められたＡＦ枠（例えば、図８（Ａ）に示す中央枠２００）を画面上に設定する（ステップＳ１０２）。顔検出制御が有効でない場合には、撮影者は通常主被写体を画面上中央に配置することが多いと考えられるからである。
【００５０】
顔検出制御が有効である場合、コンピュータ１１４は、主顔が存在するかを判断する（ステップＳ１０３）。主顔が存在する場合は、コンピュータ１１４は、ＡＦ枠として、例えば、図８（Ｂ）中に示す主顔を囲む顔枠２０１と、顔枠２０１を含み、顔枠２０１より大きい枠である通常枠２０２とを設定する（ステップＳ１０４）。主顔が存在しない場合には、ステップＳ１０５に進む。
【００５１】
ステップＳ１０５において、コンピュータ１１４が、主顔ウエイトフラグがＯＮであるかを判断する（ステップＳ１０５）。主顔ウエイトフラグがＯＮである場合、コンピュータ１１４は、通常枠２０２をＡＦ枠として設定する（ステップＳ１０６）。主顔ウエイトフラグがＯＦＦである場合、コンピュータ１１４は、中央枠２００をＡＦ枠として設定する（ステップＳ１０７）。そして、コンピュータ１１４は、設定したＡＦ枠からＡＦ評価値を取得する。すなわち、各枠から得られるＡＦ評価値を加算することにより、ピント合わせに使用するＡＦ評価値を生成し、ピント合わせを行う。
【００５２】
上述したことから、コンピュータ１１４は、撮影画面内に主被写体が存在する場合に、該主被写体に対応する第１の評価枠（顔枠２０１）と、該第１の評価枠を含み該第１の評価枠よりも大きい第２の評価枠（通常枠２０２）とを設定する。そして、撮影画面内に主被写体が存在しない場合であって、予め定められた時間が経過するまで切り替え禁止モードが有効にされている場合に、第１、第２の評価枠のうち、第２の評価枠のみを設定する（ステップＳ１０５、Ｓ１０６を参照）。
【００５３】
なお、実施例１の撮像装置が実行するＡＦ枠の設定処理においては、図７のステップＳ１０５及びＳ１０６の処理が省略される以外は、図７に示すＡＦ枠の設定処理と同様である。すなわち、実施例１の撮像装置は、ステップＳ１０３において主顔が存在しないと判断した場合に、中央枠２００をＡＦ枠として設定する（ステップＳ１０７）。
【００５４】
図７を参照して説明したＡＦ枠の設定処理によれば、以下の効果が得られる。主顔ウエイトフラグが有効である場合には、主顔が動いていたり、もしくはカメラがブレてしまった等により、一時的に画面外に出てしまった可能性がある。また、主顔が一時的に横を向くことによって、主顔が消失してしまった可能性がある。この場合、撮影者のカメラワークにより、主顔を画面中央の位置に構図を再度修正する、もしくは主顔が正面を向き直す可能性がある。それにも関わらず、撮像装置が、主顔が消失してから即座にＡＦ枠を中央枠に設定してしまうと、背景にピント合わせを行ってしまう可能性がある。従って、再度主顔が現れた場合に、撮像装置がピント合わせを再度主顔に合わせ直す必要がある。その結果、撮像装置のオートズーム機能の動作として不安定な動作となってしまい、撮影者に違和感を与えてしまう。
【００５５】
そこで、撮像装置が、主顔が存在しているものと扱っている間に、顔枠と顔枠を含むより大きい領域の通常枠を用い、一時的に主顔が消失した場合でも、そのまま通常枠をＡＦ枠として設定しておく（ステップＳ１０６）。これにより、撮影者のカメラワークにより、主顔が再度画面上に戻す際も、ＡＦ枠が大きい領域に設定されていることで画面の端付近からでも主顔をとらえられるし、一時的に横を向いてしまった場合にもピント合わせを保持することができる。その結果、オートズーム中において、主顔が存在しなくなった場合でもピント合わせが不安定になることを軽減することができる。
【００５６】
なお、ステップＳ１０２、Ｓ１０７においては、撮像装置が、中央枠をＡＦ枠として設定するが、撮像装置は、例えば、中央枠と中央枠を含むより大きい領域の固定枠をＡＦ枠として設定するようにしてもよい。これにより、通常時においても、動いている主被写体等、中央に主被写体が一時的に存在しなくなった場合においても、通常枠で主被写体を維持できる。その結果、撮像装置が背景にすぐにピント合わせを行ってしまうことを防止し、撮影者が再度中央付近に主被写体を戻すまでの間に、主被写体に対してピント合わせを保持することができる。
【００５７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００５８】
１１４  カメラ／ＡＦマイクロコンピュータ
１１７  顔検出モード切替手段
１１８  選択指示手段
１１９  オートズームモード切替手段
【図１】
2011223139.tif 000003
【図２】
2011223139.tif 000004
【図３】
2011223139.tif 000005
【図４】
2011223139.tif 000006
【図５】
2011223139.tif 000007
【図６】
2011223139.tif 000008
【図７】
2011223139.tif 000009
【図８】
2011223139.tif 000010