(57)【要約】【課題】  合焦ターゲットの検出状態や装置の挙動を利用者が容易に認識できるようにし、また、利用者の意図を反映した合焦目標位置の設定を可能とする画像処理装置を提供する。【解決手段】  画像から検出された合焦ターゲットの位置に基づいて合焦目標位置を設定し、設定された合焦目標位置をユーザに通知する画像処理装置において、合焦ターゲットの検出状態の変化に応じて前記通知を変化させ、さらに、合焦ターゲットの検出状態の変化による合焦目標位置の変更を抑止する抑止手段とを備える。【選択図】  図３
2008309940.tif 000002
【特許請求の範囲】
【請求項１】
画像データを得る撮像手段と、
前記撮像手段によって得られた画像データから複数の合焦ターゲットを検出する検出手段と、
前記検出手段によって検出された複数の合焦ターゲットの中から、合焦に用いる合焦ターゲットを少なくとも１つ設定する設定手段と、
前記設定手段によって設定された合焦ターゲットが検出されなくなった場合に前記合焦に用いる合焦ターゲットを変更する変更手段と、
前記変更手段による変更の抑止をユーザが指示するための指示手段と
を備えることを特徴とする画像処理装置。
【請求項２】
画像データを得る撮像手段と、
前記撮像手段によって得られた画像データから複数の合焦ターゲットを検出する検出手段と、
前記検出手段によって検出された複数の合焦ターゲットの中から、合焦に用いる合焦ターゲットを少なくとも１つ選択し、当該選択された合焦ターゲットに基づいて合焦目標位置を設定する設定手段と、
前記選択された合焦ターゲットの検出状態に基づいて、当該選択された合焦ターゲット及び前記設定された合焦目標位置を変更する変更手段と、
前記変更手段による変更の抑止を指示する指示手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記設定手段によって設定されている情報を通知する通知手段と、
前記合焦ターゲットの検出状態に基づいて、前記通知手段による通知を変化させる制御手段と
をさらに備えたことを特徴とする請求項１又は２のいずれかに記載の画像処理装置。
【請求項４】
画像データを得る撮像手段と、
前記撮像手段によって得られた画像データから合焦ターゲットを検出する検出手段と、
前記検出手段によって検出された合焦ターゲットから合焦目標位置を設定する設定手段と、
前記設定手段によって設定されている合焦目標位置を通知する通知手段と、
前記合焦ターゲットの検出状態に基づいて前記通知手段による通知を変化させる制御手段と、
前記合焦ターゲットの検出状態に基づいて前記設定手段で設定された合焦目標位置を変更する変更手段と、
前記変更手段による変更の抑止を指示する指示手段と
を備えることを特徴とする画像処理装置。
【請求項５】
前記通知手段は、電子ビューファインダに表示されるＡＦ枠であることを特徴とする請求項３又は４のいずれかに記載の画像処理装置。
【請求項６】
前記設定手段による設定に用いられた合焦ターゲットを繰り返し検出する繰り返し検出手段をさらに備え、
前記変更手段による変更は、前記繰り返し検出手段による前記合焦ターゲットの検出がされなくなった場合に行われる
ことを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理装置。
【請求項７】
前記設定手段による設定に用いられた合焦ターゲットの変更を指示する変更指示手段と、
前記変更指示手段による変更後の合焦ターゲットを繰り返し検出する繰り返し検出手段をさらに備え、
前記変更手段による変更は、前記繰り返し検出手段による前記合焦ターゲットの検出がされなくなった場合に行われる
ことを特徴とする請求項１乃至６のうちいずれか１項に記載の画像処理装置。
【請求項８】
前記変更手段による変更後の合焦ターゲットを検出する第２の検出手段を
さらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記検出手段によって検出された合焦ターゲットの情報を記憶する記憶手段を備え、
前記設定手段による設定、及び前記第２の検出手段による検出のうち、少なくともいずれかは、前記記憶手段によって記憶された合焦ターゲットの情報から行われる
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記記憶手段は、前記合焦ターゲットの情報をリングリスト構造によって順位付けて記憶する
ことを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記合焦ターゲットの情報とは合焦ターゲットの座標位置であることを特徴とする請求項９又は１０記載の画像処理装置。
【請求項１２】
画像から検出された合焦ターゲットに合焦目標位置を設定し、当該合焦目標位置を通知する画像処理装置において、
前記合焦ターゲットの検出状態に応じて前記通知を変化させる制御手段と、
前記合焦ターゲットの検出状態に応じて行われる前記合焦目標位置の変更を抑止する抑止手段と
を備えることを特徴とする画像処理装置。
【請求項１３】
前記合焦ターゲットは、被写体の一部であることを特徴とする請求項１乃至１２記載の画像処理装置。
【請求項１４】
画像から検出された合焦ターゲットに合焦目標位置を設定し、当該合焦目標位置を通知する画像処理方法において、
前記合焦ターゲットの検出状態に応じて前記通知を変化させる制御工程と、
前記合焦ターゲットの検出状態に応じて行われる前記合焦目標位置の変更を抑止する抑止工程と
を備えることを特徴とする画像処理方法。
【請求項１５】
画像データを得る撮像工程と、
前記撮像工程によって得られた画像データから複数の合焦ターゲットを検出する検出工程と、
前記検出工程によって検出された複数の合焦ターゲットの中から、合焦に用いる合焦ターゲットを少なくとも１つ設定する設定工程と、
前記設定手段によって設定された合焦ターゲットが検出されなくなった場合に前記合焦に用いる合焦ターゲットを変更する変更工程と、
前記変更工程による変更の抑止指示を判定する判定工程と、
前記判定工程の判定結果に基づいて前記変更工程による変更を制御する制御工程と
を備えることを特徴とする画像処理方法。
【請求項１６】
画像データを得る撮像工程と、
前記撮像工程によって得られた画像データから合焦ターゲットを検出する検出工程と、
前記検出工程によって検出された合焦ターゲットから合焦目標位置を設定する設定工程と、
前記設定工程によって設定された合焦目標位置を通知する通知工程と、
前記合焦ターゲットの検出状態に基づいて前記通知を変化させる制御工程と、
前記合焦ターゲットの検出状態に基づいて前記設定工程で設定された合焦目標位置を変更する変更工程と、
前記変更工程による変更の抑止指示を判定する判定手段と、
前記判定工程の判定結果に基づいて前記変更工程による変更を制御する制御工程と
を備えることを特徴とする画像処理方法。
【請求項１７】
画像データを得る撮像工程と、
前記撮像工程によって得られた画像データから複数の合焦ターゲットを検出する検出工程と、
前記検出工程によって検出された複数の合焦ターゲットの中から、合焦に用いる合焦ターゲットを少なくとも１つ選択し、当該選択された合焦ターゲットに基づいて合焦目標位置を設定する設定工程と、
前記選択された合焦ターゲットの検出状態に基づいて、当該選択された合焦ターゲット及び前記設定された合焦目標位置を変更する変更工程と、
前記変更工程による変更の抑止指示を判定する判定工程と、
前記判定工程の判定結果に基づいて前記変更工程による変更を制御する制御工程と
を備えることを特徴とする画像処理方法。
【請求項１８】
請求項１４乃至１７のいずれか１項に記載の画像処理方法を画像処理装置に実行させるためのプログラム。
【請求項１９】
請求項１８記載のプログラムを記憶した画像処理装置が読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合焦ターゲットを検出して合焦を行う画像処理装置、画像処理方法、プログラム、及びプログラムを記憶した記憶媒体に関する。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラなどによって行われるオートフォーカス（ＡＦ）機能において、被写体画像の中から合焦目標位置を決定するための種々の方法がこれまでに提案されている。例えば、利用者が任意の位置を選択する方法や、被写体画像の中央にする方法、あるいは定められた複数の位置から選択する方法などがある。また、その他の方法として、あらかじめ決定されている基準画像パターンとの比較、或いは人物の顔などの合焦ターゲットの検出を行い、その位置を合焦目標位置とする方法がある。このとき、ライブ画像を表示可能な電子ビューファインダを備えたデジタルカメラ、デジタルビデオカメラにおいては、合焦目標位置をユーザに通知するためのＡＦ枠を表示する方法が知られている。また、合焦ターゲットの検出ができなくなった場合は、再度検出を試みるか、他の合焦目標位置の決定方法に移行する実施例などがある。
【０００３】
ここで、特許文献１によると、基準画像パターンが検出された位置を電子ビューファインダ上にＡＦ枠として表示し、その後の基準画像パターンの検出状態の変化に応じてＡＦ枠の表示方法を変化させることが紹介されている。
【特許文献１】特開２００６−２５８９４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
合焦ターゲットの検出には、誤検出の抑止、計算量の軽減、応答性と操作性の確保などの要求から、その検出精度に一定の限界がある。したがって、例えば、合焦したい人物が一時的に横を向くなどした場合、その人物はＡＦ枠から外れていないにも関わらず、利用者の意図に反して、合焦パターンの検出状態が変化してしまうといった問題が生じる。特許文献１の発明には、上記のようなケースで検出状態が変化してしまった場合の対応については記載されていない。
【０００５】
本発明は上記の問題に鑑みてなされたものであり、その目的は、利用者の意図を反映した合焦目標位置の設定を可能とする画像処理装置、及び画像処理方法を提供することである。
【０００６】
また、本発明の目的は、合焦ターゲットの検出状態や装置の挙動を利用者が容易に認識できるような画像処理装置、及び画像処理方法を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の画像処理装置は、画像データを得る撮像手段と、前記撮像手段によって得られた画像データから複数の合焦ターゲットを検出する検出手段と、前記検出手段によって検出された複数の合焦ターゲットの中から、合焦に用いる合焦ターゲットを少なくとも１つ設定する設定手段と、前記設定手段によって設定された合焦ターゲットが検出されなくなった場合に前記合焦に用いる合焦ターゲットを変更する変更手段と、前記変更手段による変更の抑止をユーザが指示するための指示手段とを有する。
【０００８】
また、本発明の画像処理装置は、画像データを得る撮像手段と、前記撮像手段によって得られた画像データから複数の合焦ターゲットを検出する検出手段と、前記検出手段によって検出された複数の合焦ターゲットの中から、合焦に用いる合焦ターゲットを少なくとも１つ選択し、当該選択された合焦ターゲットに基づいて合焦目標位置を設定する設定手段と、前記選択された合焦ターゲットの検出状態に基づいて、当該選択された合焦ターゲット及び前記設定された合焦目標位置を変更する変更手段と、前記変更手段による変更の抑止を指示する指示手段とを有する。
【０００９】
また、本発明の画像処理装置は、画像データを得る撮像手段と、前記撮像手段によって得られた画像データから合焦ターゲットを検出する検出手段と、前記検出手段によって検出された合焦ターゲットから合焦目標位置を設定する設定手段と、前記設定手段によって設定されている合焦目標位置を通知する通知手段と、前記合焦ターゲットの検出状態に基づいて前記通知手段による通知を変化させる制御手段と、前記合焦ターゲットの検出状態に基づいて前記設定手段で設定された合焦目標位置を変更する変更手段と、前記変更手段による変更の抑止を指示する指示手段とを有する。
【００１０】
また、本発明の画像処理装置は、画像から検出された合焦ターゲットに合焦目標位置を設定し、当該合焦目標位置を通知する画像処理装置において、前記合焦ターゲットの検出状態に応じて前記通知を変化させる制御手段と、前記合焦ターゲットの検出状態に応じて行われる前記合焦目標位置の変更を抑止する抑止手段とを有する。
【００１１】
また、本発明の画像処理方法は、画像から検出された合焦ターゲットに合焦目標位置を設定し、当該合焦目標位置を通知する画像処理方法において、前記合焦ターゲットの検出状態に応じて前記通知を変化させる制御工程と、前記合焦ターゲットの検出状態に応じて行われる前記合焦目標位置の変更を抑止する抑止工程とを有する。
【００１２】
また、本発明の画像処理方法は、画像データを得る撮像工程と、前記撮像工程によって得られた画像データから複数の合焦ターゲットを検出する検出工程と、前記検出工程によって検出された複数の合焦ターゲットの中から、合焦に用いる合焦ターゲットを少なくとも１つ設定する設定工程と、前記設定手段によって設定された合焦ターゲットが検出されなくなった場合に前記合焦に用いる合焦ターゲットを変更する変更工程と、前記変更工程による変更の抑止指示を判定する判定工程と、前記判定工程の判定結果に基づいて前記変更工程による変更を制御する制御工程とを有する。
【００１３】
また、本発明の画像処理方法は、画像データを得る撮像工程と、前記撮像工程によって得られた画像データから合焦ターゲットを検出する検出工程と、前記検出工程によって検出された合焦ターゲットから合焦目標位置を設定する設定工程と、前記設定工程によって設定された合焦目標位置を通知する通知工程と、前記合焦ターゲットの検出状態に基づいて前記通知を変化させる制御工程と、前記合焦ターゲットの検出状態に基づいて前記設定工程で設定された合焦目標位置を変更する変更工程と、前記変更工程による変更の抑止指示を判定する判定手段と、前記判定工程の判定結果に基づいて前記変更工程による変更を制御する制御工程とを有する。
【００１４】
また、本発明の画像処理方法は、画像データを得る撮像工程と、前記撮像工程によって得られた画像データから複数の合焦ターゲットを検出する検出工程と、前記検出工程によって検出された複数の合焦ターゲットの中から、合焦に用いる合焦ターゲットを少なくとも１つ選択し、当該選択された合焦ターゲットに基づいて合焦目標位置を設定する設定工程と、前記選択された合焦ターゲットの検出状態に基づいて、当該選択された合焦ターゲット及び前記設定された合焦目標位置を変更する変更工程と、前記変更工程による変更の抑止指示を判定する判定工程と、前記判定工程の判定結果に基づいて前記変更工程による変更を制御する制御工程とを有する。
【発明の効果】
【００１５】
本発明によれば、利用者の意図を反映した合焦目標位置の設定が可能となる。
【００１６】
また、本発明によれば、合焦ターゲットの検出状態や装置の挙動を利用者が容易に認識できるようになる。
【００１７】
また、本発明によれば、合焦ターゲットの検出状態に応じてＡＦ枠の表示形態を変化させることにより、合焦ターゲットの検出状態を利用者が容易に認識できるようになる。
【００１８】
また、本発明によれば、合焦目標位置として設定した合焦ターゲットの検出状態の変化に応じて、あらかじめ検出し記憶させた他の合焦ターゲットの位置に基づいて合焦目標位置を変更でき、さらにその変更を抑止可能にすることで、利用者の意図を反映した合焦目標位置の設定が可能となる。
【００１９】
また、本発明によれば、合焦目標位置として設定した合焦ターゲットの検出状態の変化に応じて、あらかじめ定めた他の位置に合焦目標位置を変更でき、さらにその変更を抑止可能にすることで、利用者の意図を反映した合焦目標位置の設定が可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【００２１】
＜実施形態＞
まず、図１を用いて本発明の実施形態における画像処理装置のハードウェア構成について説明する。図１において、１００はデジタルカメラである。
【００２２】
１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像から画像データを得るための撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
【００２３】
１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００２４】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００２５】
また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行う。そして得られた演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。
【００２６】
さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００２７】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。
【００２８】
Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００２９】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ−ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【００３０】
画像表示部２８を用いて撮像した画像データを逐次表示すれば、図２の表示画面２０２に示すような電子ビューファインダ機能を実現することが可能である。ここで、表示画面２０２には３人の人物２０３、２０４、及び２０５が写っており、いずれもデジタルカメラの方向を向いている。人物２０５は人物２０３、２０４よりも手前に位置し、その結果、人物２０５は人物２０３、２０４と比べより大きな表示領域をしめている。このため、本デジタルカメラの顔検出処理は人物２０５の顔を優位な顔位置として認識し、ＡＦ評価値を得るために設定される焦点検出領域（合焦目標位置）を示すＡＦ枠２０６を当該位置に表示する。同時に、このとき検出された顔位置は、上記観点から順位付けられたリスト構造として、それぞれメモリ３０に記憶される。表示画面２０２に表示された被写体画像の例では、この順位リストは優先順に人物２０５の顔位置、人物２０４の顔位置、人物２０３の顔位置になる。
また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を低減することができる。
【００３１】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。
【００３２】
これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
【００３３】
また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００３４】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００３５】
４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。
【００３６】
４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はバリアである保護部１０２の動作を制御するバリア制御部である。
【００３７】
４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。
【００３８】
露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。
【００３９】
５０はデジタルカメラ１００全体を制御するシステム制御回路であり、メモリ５２から図３、図４のフローチャートに対応したプログラムを含む各種プログラムを適宜メモリ３０へ読み出して演算を行い、得られた演算結果に基づいて各部の制御を行う。また、システム制御回路５０は、画像処理回路２０で行われた演算結果に基づく各部の制御も行う。
【００４０】
５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００４１】
５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像等を用いて動作状態やメッセージ等を通知するための表示部である。表示部５４は、デジタルカメラ１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ等の組み合わせにより構成されている。尚、この表示部５４は、文字や画像の表示のみならず、音声等を出力するスピーカー等を用い、又は文字や画像との組み合わせによって通知させるようにすることも可能である。
【００４２】
また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。
【００４３】
表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、外部記録媒体１２０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示等がある。
【００４４】
また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。
【００４５】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００４６】
６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作ユニットであり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００４７】
ここで、これらの操作ユニットの具体的な説明を行う。
【００４８】
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。
【００４９】
６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなる。この操作により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００５０】
６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなる。この操作により、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、外部記録媒体１２０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【００５１】
６６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部２８のＯＮ／ＯＦＦを設定することが出来る。
【００５２】
この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ−ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。
【００５３】
６８はクイックレビューＯＮ／ＯＦＦスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。なお、本実施形態では特に、画像表示部２８をＯＦＦとした場合におけるクイックレビュー機能の設定をする機能を備えるものとする。
【００５４】
７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。また、操作部７０には、合焦ターゲットの変更指示を行うための顔選択−（マイナス）ボタン２１０、顔選択＋（プラス）ボタン２１１、そして、顔検出状態の変化による合焦ターゲットの変更の抑止指示を行う顔ＡＦロックボタン２１４を備えている。
【００５５】
８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。この電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００５６】
８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。
【００５７】
９０はメモリカード等の外部記録媒体１２０とデータの送受信を行うカードコントローラ、９１はメモリカード等の外部記録媒体１２０とのインタフェースである。また、９２はメモリカード等の外部記録媒体１２０と接続を行うコネクタ、９８はコネクタ９２に外部記録媒体１２０が装着されているか否かを検知する記録媒体着脱検知部である。
【００５８】
なお、本実施形態では記録媒体を取り付けるインタフェースやコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。
【００５９】
インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。
【００６０】
さらに、インタフェース９１、そしてコネクタ９２をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カードなどの各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
【００６１】
１０２は、デジタルカメラ１００の撮影レンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護部である。
【００６２】
１０４は光学ファインダであり、画像表示部２８による電子ビューファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが設置されている。
【００６３】
１２０はメモリカード等の外部記録媒体である。
【００６４】
次に、本発明の実施形態における顔ＡＦの動作について説明する。
【００６５】
被写体画像内から人物の顔を検出し、検出された位置に基づいてＡＦ枠を設定する顔ＡＦは、操作部７０やユーザインターフェイスの一部として提供されるメニュー設定などにより任意に選択できるＡＦ動作の一つである。
【００６６】
顔ＡＦが選択された場合のＡＦ処理の挙動及び画像表示部２８上のライブ画像、ＡＦ枠表示とそのときのユーザインターフェイスを図２に則して説明する。
【００６７】
図２は本実施形態におけるデジタルカメラの顔ＡＦの挙動をあらわしたものであり、２０１はデジタルカメラ本体、２０２は画像表示部２８として前述した表示画面である。
【００６８】
尚、図２に示したデジタルカメラは撮影モードであり、表示画面２０２は、撮像素子１４から得られた被写体画像を逐一表示するライブ画像表示状態にある。現在、本デジタルカメラは被写体画像内の人物の顔を検出し、その検出された位置に合焦が得られるようにＡＦ制御を行う顔ＡＦ処理が実行されている。
【００６９】
このとき、表示画面２０２には被写体画像として、３人の人物２０３及び２０４、２０５が写っており、いずれもデジタルカメラの方向を向いている。人物２０５は人物２０３、２０４よりも手前に位置し、その結果、人物２０５は人物２０３、２０４と比べ、より大きな表示領域をしめている。このため、本デジタルカメラの顔検出処理は、人物２０５の顔を優位な顔位置として認識し、合焦目標位置を示すＡＦ枠２０６を当該位置に表示する。同時に、このとき表示画面２０２上で検出された顔の座標位置は、上記観点から順位付けられたリスト構造として、それぞれメモリ３０に記憶される。表示画面２０２に表示された被写体画像の例では、この順位リストは優先順に人物２０５の顔位置、人物２０４の顔位置、人物２０３の顔位置になる。
【００７０】
また、このリスト構造は双方向であり、さらに、両端に位置する要素が互いにリンクした双方向リングリスト構造をとる。
【００７１】
ＡＦ処理は、前述した双方向リングリスト内で最上位要素として認識されている人物２０５の顔位置に基づいて設定されたＡＦ枠２０６の位置並びにその近傍のコントラストデータに注目し、同位置並びにその近傍で合焦すべく測距制御部４２を制御する。
【００７２】
２０７は、顔位置として認識している人物２０５がデジタルカメラから向かって横を向いた際のデジタルカメラをあらわしている。
【００７３】
本実施形態における顔認識処理は、被写体画像内から人物の顔として特徴的な画像パターンを検出するが、そのパターンは人物の顔の正面を検出対象としている。したがって、人物２０５が同位置において、デジタルカメラから向かって横を向いたときは、想定していた人物の顔と異なる画像パターンが出現することとなり、顔認識がされなくなる。ここで同位置において、ＡＦ枠２０６の表示を、顔が認識されなくなったことを表す顔喪失モードＡＦ枠２０８に変化させる。また、同様の現象は、人物２０５の顔の一部が手などで隠れた場合や、サングラスや帽子を同人物が着用した際等に発生する可能性がある。
【００７４】
このような状況を考慮し、本実施形態のデジタルカメラは、一度検出した顔の認識を喪失した場合であっても一定時間合焦目標位置を保持し、引き続き同位置並びにその近傍でＡＦを試みる。そして、一定時間経過後は、メモリ３０に記憶された次の順位の顔の座標位置に基づいて合焦目標位置を移動させる。しかしながら、この動作は一時的に顔検出を失ったものの、同位置に対象人物が存在している場合は有用となる反面、人物が存在しなくなった場合は、一定時間不適切な位置に対してＡＦを続けることになる。さらに、選択された人物２０５が必ずしも使用者の意図と合致するとは限らない。
【００７５】
そこで本実施形態のデジタルカメラは、合焦目標位置の設定に用いられた顔が利用者の意図に合致しない人物のものであったり、設定した場所から人物がいなくなった場合を考慮し、合焦目標位置の変更指示機能を備える。この場合、前述した操作部７０の一部である、顔選択−（マイナス）ボタン２１０、顔選択＋（プラス）ボタン２１１の入力により、現在と異なる人物の顔の座標位置に基づいて合焦目標位置を変更することができる。ここで本実施形態では、メモリ３０に順位付けて記憶された顔の座標位置データから、顔選択＋（プラス）ボタン２１１押下の際は降方向に、顔選択−（マイナス）ボタン２１０押下の場合は昇方向に記憶されている座標位置に基づいて合焦目標位置を変更する。
【００７６】
また、合焦目標位置の設定に用いられた顔が使用者の意図した人物のものであるにも関わらず、その人物が横を向くなどによって顔認識を失ってしまっている場合、使用者が意図しない場所に合焦目標位置が移動してしまうという問題が生じる。そこで本実施形態のデジタルカメラは、合焦目標位置の設定に用いられた顔が使用者の意図した被写体であり、かつ、なんらかの事情により顔検出が喪失したものの、合焦目標位置が他の人物に移行することを抑止するために、顔ＡＦロック機能を備える。これは前述した操作部７０の一部である顔ＡＦロックボタン２１４を押下することにより、その後の顔検出の結果にかかわらず設定した画面上の位置に合焦目標位置を固定する機能である。
【００７７】
以上述べた機能を再度、図２に即して説明すると、デジタルカメラ２０７において、人物２１２は、人物２０５が横を向いた状態を示しており、その位置での顔検出がされなくなっている状態を示している。このとき、顔喪失モードＡＦ枠２０８として破線状の枠表示となっていることは前述したとおりである。
【００７８】
この状態のままでは、一定時間後には他の人物の座標位置に基づいて合焦目標位置が移動することになる。
【００７９】
しかしながら、人物２１２は被写体画像内に存在しており、利用者の意図は人物２１２に対しての合焦であった場合は、利用者は顔ＡＦロックボタン２１４を押下することで、合焦目標位置の変更を抑止できる。
【００８０】
一方、人物２１２が被写体画像領域から立ちさった場合は、合焦目標位置のロックは無意味となる可能性が高い。また、利用者が被写体画像内の他の人物への合焦を意図していることもありうる。そのような場合には、顔選択−（マイナス）ボタン２１０、顔選択＋（プラス）ボタン２１１の押下により、合焦目標位置を前述した双方向の顔順位リストに記憶された座標位置に基づいて変更することが可能となる。ここで、人物２１２が立ち去り、ユーザの選択によって新たにＡＦ枠２０６が設定されたデジタルカメラを２１３に示す。尚、顔選択−（マイナス）ボタン２１０、顔選択＋（プラス）ボタン２１１の押下による合焦目標位置の変更後も、前述の説明と同様に、合焦目標位置のロックや、検出状態の変化に基づくＡＦ枠の表示の変更を行うことができる。
【００８１】
次に、本実施形態における処理の流れをフローチャートで説明する。
【００８２】
尚、本実施形態の主な処理は、システム制御回路５０によって、メモリ５２から図３、図４のフローチャートに対応するプログラムをメモリ３０へ適宜読み出して演算を行い、そこで得られた演算結果や画像処理回路２０による演算結果等を用いて各部を制御することで実現される。
【００８３】
図３は、本実施形態における、ＡＦ処理と顔検出の流れを示したフローチャートである。
【００８４】
ここで、Ｓ３０１はＡＦ処理であり、画像処理回路２０の演算によって得られた、被写体画像の中心付近のコントラスト情報に基づき、システム制御回路５０によって測距制御部４２を制御する一般的なＡＦ処理である。ただし、選択されたＡＦモードにより被写体画像の複数の位置のコントラスト情報からＡＦ処理を行う場合もある。
【００８５】
Ｓ３０１において、ＡＦ処理により合焦した被写体画像が得られたらＳ３０２に進む。Ｓ３０２では、システム制御回路５０からの指示に基づき、Ｓ３０１のＡＦ処理によって合焦した被写体画像全体から人物の顔を合焦ターゲットとして検出し、その座標位置データをメモリ３０に記憶する。尚、この合焦ターゲットは複数検出することが可能である。複数の合焦ターゲットを検出した場合は、検出されたそれぞれの合焦ターゲットを順位付けて昇順に配置し、第一要素となった合焦ターゲットの座標位置を先頭要素の座標位置とする双方向のリングリスト構造としてメモリ３０に記憶する。ここで、合焦ターゲットの順位付けには、合焦ターゲットが被写体画像に占める割合や、被写体画像の中心座標からの距離などによる方法を用いることができる。Ｓ３０２で顔が検出されなかった場合は、Ｓ３０１から同様に繰り返す。Ｓ３０２で一つ以上の顔位置が検出された場合はＳ３０４の顔検出処理を行う。
【００８６】
次に、顔検出処理Ｓ３０４の詳細な説明を図４に則して行う。
【００８７】
Ｓ４０１では、システム制御回路５０により、Ｓ３０２でメモリ３０に記憶した座標位置リストの先頭要素の座標位置を選択し、この座標位置に基づいて合焦目標位置を設定する。Ｓ４０２は、システム制御回路５０によって設定された合焦目標位置に対応する画像表示部２８上の位置にＡＦ枠２０６を表示させる。図２に示したＡＦ枠２０６は本処理で表示される。尚、すでに画像表示部２８上の異なる位置にＡＦ枠が表示済みの際は、画像表示メモリ２４からＡＦ枠の情報を削除することで、表示済みのＡＦ枠を消去してから今回の位置に表示させる。
【００８８】
Ｓ４０３は前述したＡＦ処理である。ただし、主に被写体画像上のＡＦ枠２０６として選択された位置及びその近傍のコントラスト情報に注目し、測距制御部４２を制御する。
【００８９】
Ｓ４０４はシステム制御回路５０によってメモリ３０を参照し、顔選択−（マイナス）ボタン２１０、顔選択＋（プラス）ボタン２１１の入力の判定を行う。ここで、両者いずれかの入力があったと判定された場合はＳ４１１へ行く。そしてＳ４１１では、メモリ３０に記憶された顔座標リングリスト内の現選択位置から、顔選択＋（プラス）ボタン２１１入力の場合は昇方向、顔選択−（マイナス）ボタン２１０入力の場合は降方向にある要素の座標位置データを取得し、メモリ３０に記憶させる。
【００９０】
Ｓ４１２では、システム制御回路５０からの指示に基づき、Ｓ４１１で取得した座標位置において顔検出を行い、顔が検出される場合は、Ｓ４０２の処理に戻る。
【００９１】
一方、選択された座標位置に顔が検出されなかった場合はＳ４１３へ進み、システム制御回路５０によりメモリ３０を参照して顔ＡＦロックボタン２１４からの入力の判定を行う。その結果、入力があると判定された場合はＳ４１１で取得した座標位置をそのまま合焦目標位置としてＳ４０２に戻り、顔ＡＦロックボタン２１４の入力がないと判定された場合は本処理を終了する。
【００９２】
Ｓ４０４で、顔選択＋（プラス）ボタン２１１及び顔選択−（マイナス）ボタン２１０の入力が検知されなかった場合は、Ｓ４０５へ進み、Ｓ４０１で選択された合焦目標位置、並びにその近傍で顔検出を行う。
【００９３】
Ｓ４０６は、システム制御回路５０により、Ｓ４０５での顔検出結果の判定を行う。同位置あるいはほぼ同位置で顔が検出された場合は、Ｓ４０２からの処理を繰り返す。このようにすることで、合焦ターゲットとなる顔の検出を繰り返し行うことが可能である。
【００９４】
一方、同位置あるいはその近傍で顔が検出されなかった場合はＳ４０７へ進む。Ｓ４０７では、システム制御回路５０からの指示に基づき、表示部５４上の対応する位置に表示させたＡＦ枠２０６の表示形態を変化させる。図２に示した顔喪失モードＡＦ枠２０８は本処理で表示される。尚、すでに、表示部５４上の異なる位置にＡＦ枠が表示済みの際は、表示済みのＡＦ枠を表示装置上から消去してから今回の位置に表示する。また、枠表示時間を計測するためのタイマーが未起動の場合は、ここで起動させる。
【００９５】
Ｓ４０８はシステム制御回路５０によりメモリ３０を参照し、顔選択−（マイナス）ボタン２１０、顔選択＋（プラス）ボタン２１１からの入力の有無を判定する。Ｓ４０８の判定結果として、両者いずれかの入力があったと判定された場合は、枠表示時間計測用タイマーを停止してＳ４１１行き、以降は前述したとおりである。
【００９６】
Ｓ４０９はシステム制御回路５０によりメモリ３０を参照し、顔ＡＦロックボタン２１４の操作による抑止指示の入力の判定、又はすでに合焦目標位置がロック済みであるか判定を行う。Ｓ４０９の判定結果として、もし顔ＡＦロックボタン２１４の入力があるか、すでにロック状態にあると判定された場合は、Ｓ４０７に戻り同様の処理を繰り返す。これにより、合焦しようとする合焦ターゲットが途中で検出されなくなってしまった場合でも、合焦目標位置の変更を抑止することができる。
【００９７】
Ｓ４１０は顔喪失モードのＡＦ枠表示時間の判定であり、一定時間非ロック状態のまま、顔喪失モードＡＦ枠２０８が表示されている場合、顔喪失モードの枠表示を終了させるための判定である。Ｓ４１０で顔喪失枠表示時間が規定を上回っていた場合はＳ４１１に行き、システム制御回路５０によってメモリ３０に記憶された顔座標リングリスト内の現選択位置から昇方向にある要素の座標位置データを取得し、メモリ３０に記憶させる。この操作により、合焦目標位置が変更されることになる。このとき、昇方向ではなく降方向の要素の座標位置データを取得させるようにしても良い。その後は前述したとおりである。Ｓ４１０で顔喪失モードＡＦ枠２０８の表示時間が規定内であれば、Ｓ４０７から繰り返す。
【００９８】
以上により、利用者は、顔ＡＦ実行中において、合焦目標位置を知ることができ、その位置を顔の検出喪失後も引き続き合焦目標位置として固定できる。さらに、これまでに検出された顔位置を合焦目標位置として選択することができ、ユーザの意図した合焦目標位置を設定することができる。
【００９９】
＜他の実施形態＞
尚、本実施形態においては、合焦目標位置を設定するために検出する合焦ターゲットを人物の顔としたが、これに限らず、人物や動植物等の一部又は全体を必要に応じて合焦ターゲットとすることが可能である。
【０１００】
また、本実施形態では、複数の合焦ターゲットを順位付けて双方向のリングリスト構造で記憶するとしたが、これに限らず、他の種々の形態で記憶させることができる。
【０１０１】
また、本実施形態では、検出された合焦ターゲットから１つの合焦ターゲットを選択し、合焦に用いる合焦ターゲットとして設定したが、これに限らず、２つ以上の合焦ターゲットを選択するようにすることも可能である。
【０１０２】
また、本実施形態においては、合焦目標位置をユーザに通知するためのＡＦ枠の形状を長方形としたが、この形状に限らず、例えば、円や三角形など、四角形以外の形状を取ることも可能である。また、本実施形態では、通常のＡＦ枠と顔喪失モードＡＦ枠の区別を実線と破線で示したが、この例に限るものではない。例えば、ＡＦ枠の色や、枠の形状、又は枠を点滅させて表示するなど、ユーザが合焦ターゲットの検出状態の変化を認識できるような方法であれば、どのような方法であっても良い。
【０１０３】
また、本実施形態では、顔喪失枠表示時間が規定を上回った場合、合焦目標位置を別の合焦ターゲットの座標位置に基づいて変更しているが、これに限らず、例えば、合焦目標位置を画面中央に変更するようにしても構わない。
【０１０４】
また、本実施形態では、顔喪失枠表示時間が規定を上回った場合、メモリ３０を参照して次の要素の座標位置を取得し、その座標位置において顔の検出を行っているが、この例に限るものではない。すなわち、例えば、取得した座標位置を中心とした、あらかじめ定めた範囲において顔の検出を行うことや、改めて被写体画像全体で合焦ターゲットの検出を行うようにすることも可能である。
【０１０５】
また、前述の実施形態では、本発明をデジタルカメラに適用した場合を例にとって説明したが、デジタルカメラに限るものではなく、フォーカス枠表示部をファインダ内に設けることにより、従来の銀塩カメラにも適用可能である。
【０１０６】
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、銀塩カメラ、デジタルスチルカメラ、デジタルビデオカメラなど）に適用しても良い。
【０１０７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【０１０８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の一部が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１０９】
【図１】本発明の実施形態における画像処理装置のハードウェアの構成を示した図である。
【図２】本発明の実施形態における動作の流れを示した図である。
【図３】本発明の実施形態における顔ＡＦモード処理の流れを示したフローチャートである。
【図４】図３における顔検出処理の詳細な流れを示したフローチャートである。
【符号の説明】
【０１１０】
１０  撮影レンズ
１４  撮像素子
１６  Ａ／Ｄ変換器
２０  画像処理回路
２８  画像表示部
３０  メモリ
５０  システム制御回路
７０  操作部
１００  デジタルカメラ
２０３、２０４、２０５  人物
２０６  ＡＦ枠
２０８  顔喪失モードＡＦ枠
２１０  顔選択−（マイナス）ボタン
２１１  顔選択＋（プラス）ボタン
２１４  顔ＡＦロックボタン
【図１】
2008309940.tif 000003
【図２】
2008309940.tif 000004
【図３】
2008309940.tif 000005
【図４】
2008309940.tif 000006