(57)【要約】【課題】撮像装置において、撮影シーンを高精度に自動判別する。【解決手段】ＣＣＤ５２で得られた画像信号からＴＴＬ−ＡＦによる距離情報を得る。また、顔認識回路９４が被写体中の人物の顔を検出する。ＡＥ／ＡＦ／ＡＷＢ値演算部９２は、ＴＴＬ−ＡＦによる距離情報の信頼性を、レンズ５０の焦点距離、絞り、検出された顔に含まれる眼間距離から算出される被写体までの距離に基づいて評価する。モード認識、判別、モード選択部９６は、ＴＴＬ−ＡＦの距離情報、距離の信頼性、ホワイトバランス推定値から撮影シーンを自動判別する。【選択図】図２
2008042616.tif 000002
【特許請求の範囲】
【請求項１】
オートフォーカス機構と、
前記オートフォーカス機構で得られた被写体までの距離情報の信頼性を定量評価する評価手段と、
前記評価手段によって得られた評価結果に応じて撮影シーンを自動判別する判別手段と、
を有することを特徴とする撮像装置。
【請求項２】
請求項１記載の装置において、
前記評価手段は、
被写体中に含まれる顔部を検出する手段と、
検出した前記顔部を用いて被写体までの第２距離情報を検出する手段と、
を有し、前記第２距離情報を用いて前記オートフォーカス機構で得られた距離情報の信頼性を評価することを特徴とする撮像装置。
【請求項３】
請求項２記載の装置において、さらに、
撮像レンズと、
絞りと、
を有し、前記評価手段は、前記撮像レンズの焦点距離、前記絞りの絞り値、及び前記第２距離情報を用いて前記オートフォーカス機構で得られた距離情報の信頼性を評価することを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれかに記載の装置において、さらに、
少なくとも光源色と物体色のいずれかを推定することが可能である色推定手段と、  
を有し、前記判別手段は、前記色推定手段の出力に応じて撮影シーンを自動判別することを特徴とする撮像装置。
【請求項５】
請求項１〜４のいずれかに記載の装置において、さらに、
自動判別した撮影シーンを表示する表示手段と、
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、特に撮影シーンを自動判別する技術に関する。
【背景技術】
【０００２】
従来より、デジタルカメラやビデオカメラにおいてオートフォーカス（ＡＦ）の情報から被写体までの距離情報を得て、これを他の機能に用いることが行われている。例えば、被写体までの距離情報に応じてクローズアップ、ポートレート、風景等と撮影シーンを自動的に判別してデジタルカメラの撮像条件を自動設定する、あるいは被写体までの距離情報に応じてフラッシュ撮影時にフラッシュ光が届くか否かを判定する、あるいは被写体までの距離情報に応じてオートホワイトバランスでフラッシュ光と定常光の寄与度を推測する等である。
【０００３】
下記の特許文献１には、被写体が顔を含むか否かを認識する顔認識手段と被写体の状態を検出する手段を備え、これらに基づいて撮影モードを設定することが開示されている。被写体の状態としては、被写体の動きや被写体の位置、被写体輝度が用いられ、ノーマルモード、ポートレートモード、風景モード、夜景モード、クローズアップモード、スポーツモードを互いに識別することが開示されている。
【０００４】
また、特許文献２には、被写体の測定精度が所定精度よりも高い場合にその被写体距離に基づいてフラッシュ発光量を決定し、測定精度が所定精度よりも低い場合にフラッシュをプリ発光させて被写体距離を求め、精度の高い方の被写体距離を採用してフラッシュ発光量を決定することが開示されている。
【０００５】
【特許文献１】特開２００３−３４４８９１号公報
【特許文献２】特許第３６２６１０１号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
オートフォーカス機構で得られる被写体までの距離情報が、被写体に対する合焦制御にとっては十分であっても、上記のような撮影シーン判別等の用途に使用するには十分でない場合がある。具体的には、撮影レンズの焦点距離が短く、また絞りが小絞りになっていて被写界深度が深い場合に、いわゆる山登り法のオートフォーカスで至近距離からＡＦの制御を行うと、主要被写体が３ｍ近傍にあってもフォーカシングが１ｍ以内に設定されたところで被写界深度に入ってしまい、ＡＦがそこで止まってしまうことがある。この場合、ＡＦは被写界深度内に入っているので焦点は合っているのだが、そのときの撮影レンズの位置から被写体までの距離を算出すると実際には主要被写体が３ｍの位置にあっても１ｍ以内という情報を出力してしまう可能性があるため、撮影シーンの判別にＡＦの測距情報をそのまま使用してしまうと、被写体距離が数メートルから遠景のシーンが判別されるべきところがクローズアップと誤判別されてしまう場合がある。
【０００７】
本発明の目的は、オートフォーカス機構により得られる被写体までの距離情報の精度あるいは信頼度を評価し、評価結果に応じて適切な制御を行うことのできる撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、オートフォーカス機構と、前記オートフォーカス機構で得られた被写体までの距離情報の信頼性を定量評価する評価手段と、前記評価手段によって得られた評価結果に応じて撮影シーンを自動判別する判別手段とを有することを特徴とする。
【０００９】
本発明において、前記評価手段は、被写体中に含まれる顔部を検出する手段と、検出した前記顔部を用いて被写体までの第２距離情報を検出する手段とを有し、前記第２距離情報を用いて前記オートフォーカス機構で得られた距離情報の信頼性を評価してもよい。
【００１０】
また、本発明において、さらに、撮像レンズと、絞りとを有し、前記評価手段は、前記撮像レンズの焦点距離、前記絞りの絞り値、及び前記第２距離情報を用いて前記オートフォーカス機構で得られた距離情報の信頼性を評価してもよい。
【００１１】
また、本発明において、さらに、少なくとも光源色と物体色のいずれかを推定することが可能である色推定手段とを有し、前記判別手段は、前記色推定手段の出力に応じて撮影シーンを自動判別してもよい。
【発明の効果】
【００１２】
本発明によれば、単に距離情報に基づいて撮影シーンを判別するのではなく、距離情報の信頼性を評価して撮影シーンを判別するため、誤判別を抑制できる。また、距離情報の信頼性を、被写体に含まれる顔情報を用いて評価することで、特にポートレート撮影時の撮影シーンの誤判別を抑制できる。
【発明を実施するための最良の形態】
【００１３】
以下、図面に基づき本発明の実施形態について説明する。
【００１４】
＜基本構成＞
図１に、本実施形態の基本構成図を示す。デジタルカメラには顔情報検出部１０が設けられ、被写体中に含まれる人物の顔情報を検出する。顔情報の検出は公知であり、パターン認識、あるいは顔に特徴的な形状あるいは色情報の検出により実行される。顔情報検出部１０は、顔検出の有無情報は自動シーン判別部１６に供給される。また、デジタルカメラの各種の設定情報１２、具体的にはズームレンズのズーム位置（焦点距離）やフラッシュの許可／禁止設定、絞りの状態等も自動シーン判別部１６に供給される。また、被写体から得られたＡＥ（自動露出制御）情報やＡＦ（自動焦点制御）情報、オートホワイトバランス（ＡＷＢ）情報１４も自動シーン判別部１６に供給される。オートフォーカス機構としては、通常のＴＴＬ−ＡＦに加え、顔情報から得られる距離情報に基づくＡＦがある。顔情報に基づくＡＦは、顔情報に含まれる眼間距離を検出し、この眼間距離を用いて被写体までの距離を検出する。眼間距離に基づく距離情報は、ＴＴＬ−ＡＦの信頼性を評価するために用いられる。自動シーン判別部１６は、顔の有無、ＴＴＬ−ＡＦによる距離情報、ＴＴＬ−ＡＦによる距離情報の信頼性、ホワイトバランス情報に基づいて撮影シーンを判別する。判別した撮影シーンは表示部１８に表示され、また、撮影シーン毎に最適撮影パラメータを設定するために用いられる。
【００１５】
本実施形態では、単に距離情報を用いて撮影シーンを判別するのではなく、ＴＴＬ−ＡＦの距離情報の信頼性を評価し、距離情報の信頼性を用いて撮影シーンを判別する。ＴＴＬ−ＡＦの距離情報の信頼性は、一般的には被写界深度に基づいて評価される。すなわち、被写界深度が深い場合には、距離情報の信頼性は低いと評価する。また、ＴＴＬ−ＡＦの距離情報の信頼性は、眼間距離から得られた距離情報によっても評価される。すなわち、被写界深度が深く距離情報の信頼性が比較的低いと評価される場合に、眼間距離の距離情報に基づいてさらにＴＴＬ−ＡＦの距離情報の信頼性を細かく評価する。ＴＴＬ−ＡＦが失敗した場合には、眼間距離から得られた距離情報を用いてフォーカス制御することも可能であり、この情報を用いて撮影シーンを判別することも可能であるが、この場合においても眼間距離から得られた距離情報の信頼性を評価する。距離の信頼性を評価して撮影シーンを判別するために、例えばＴＴＬ−ＡＦでは主要被写体までの距離を１ｍと検出しても、その信頼性が低い場合にはクローズアップと判別しないことで、本来はポートレートと判別されるべきところをクローズアップと誤判別してしまうことを有効に防止できる。
【００１６】
＜詳細構成＞
図２に、本実施形態の詳細構成を示す。レンズ５０は被写体からの光を撮像素子としてのＣＣＤ５２に結像する。レンズ５０がズームレンズ及びフォーカスレンズを含み、ＡＦ、ズーム制御部８６により駆動される。ＡＦズーム制御部８６はＲＯＭに予め記憶されたパラメータに基づいてＡＦ及びズームを制御する。
【００１７】
ＣＣＤ５２は、被写体光を画像信号に変換してＣＤＳ及びＡ／Ｄ５４に供給する。ＣＤＳ及びＡ／Ｄ５４はアナログ画像信号を相関二重サンプリング及びデジタル信号に変換してＡＥ・ＡＦ・ＡＷＢメモリ５６に格納するとともに画像メモリ５８に格納する。ＣＣＤ５２、ＣＤＳ及びＡ／Ｄ５４はタイミングジェネレータＴＧ８０からの駆動信号により駆動される。タイミングジェネレータＴＧ８０は、露光ＩＳＯ制御部８８からの制御信号によりＣＣＤ５２の駆動を制御する。
【００１８】
ストロボ８２はストロボ光制御部５４により発光の有無及び発光量が制御される。
【００１９】
Ｒ信号、Ｇ信号、Ｂ信号はＹＣ分離回路６４で輝度信号Ｙと色差信号ＣＲ、ＣＢに分離されて各処理回路６８〜７６に順次供給される。このＹＣＣ信号が顔認識回路９４に供給される。Ｙ信号はエッジ処理回路６６でエッジ強調処理が施される。ＲＧＢ分離回路６８、ＷＢ（ホワイトバランス）回路７０、色補正回路７２、γ補正回路７４、輝度色信号分離回路７６で処理されたＹ信号及びＣＲ、ＣＢ信号は、エッジ強調処理されたＹ信号と加算されて画像メモリ１０４に格納される。画像メモリ１０４に格納された画像信号は圧縮伸長回路１０６でＪＰＥＧ圧縮され、ＬＣＤ７８に表示され、あるいはフラッシュメモリ等の記録媒体１０８に格納される。画像メモリ５８、１０４への書込及び読み出しはメモリコントローラ８３で制御される。
【００２０】
外部操作部１００は、ユーザ操作可能なボタンあるいはスイッチで、電源ボタンやレリーズボタン、各種切替ボタンを含む。外部操作部１００は、顔認識処理を行うか否かを切り替える操作部及び自動判別を行うか否かを切り替える操作部を含み、この操作部に連動してモード切替スイッチ９０が切り替わる。顔認識がＯＮされた場合、顔認識回路９４は画像信号を処理して被写体中から顔を検出する。顔検出結果はモード認識、判定、モード選択部９６及びＡＥ／ＡＦ／ＡＷＢ値演算部９２に供給される。また、ＡＥ、ＡＦ、ＡＷＢパラメータ検出部６２はメモリ５６から画像信号を読み出してＡＥ、ＡＦ、ＡＷＢに必要なパラメータを検出し、ＡＥ／ＡＦ／ＡＷＢ値演算部９２に供給する。ＡＥ／ＡＦ／ＡＷＢ値演算部９２は、ＡＥ値、ＡＦ値、及びＡＷＢ値を演算するが、顔認識がＯＮされた場合には顔認識回路９４から供給された顔認識結果をも用いてＡＦ値を演算する。ＡＦ値に関しては、ＡＥ／ＡＦ／ＡＷＢ値演算部９２は、メモリ５６から読み出した画像信号のコントラスト値から得られた距離情報（ＴＴＬ−ＡＦの距離情報）を主たる距離情報とし、顔認識回路９４で検出された顔に含まれる眼間距離から算出された距離情報を補助的な距離情報とする。すなわち、ＴＴＬ−ＡＦから距離情報が得られる場合にはＡＦはこの距離情報を用いて行い、かつモード認識、判定、モード選択部９６にもこの距離情報を供給する。また、眼間距離から得られた距離情報、ＡＥ、ＡＦ、ＡＷＢパラメータ検出部６２から得られた被写体輝度、ズームレンズ位置（焦点距離）、絞り値を用いてＴＴＬ−ＡＦの距離情報の信頼性を評価してモード認識、判定、モード選択部９６に供給する。ＡＷＢに関しては、被写体の色情報に基づいて光源の色や撮影シーンのある程度の確からしさを推定する。光源については太陽光や蛍光灯、ろうそく光等を推定し、撮影シーンについては花、雪あるいはビーチ、テキスト等を推定する。なお、撮影シーンの判別はモード認識、判定、モード選択部９６で実行するため、演算部９２ではある程度の推定でよい。モード認識、判定、モード選択部９６は、外部操作部１００が自動判別に設定された場合、顔認識回路９４から供給された顔認識結果、ＡＥ／ＡＦ／ＡＷＢ値演算部９２から供給された測光値、距離情報、距離情報の信頼性、ホワイトバランスの推定結果に基づき、撮影シーンを判別する。判別結果は撮影設定部９８に供給され、判別結果に応じてストロボ発光制御、露光ＩＳＯ制御が行われ、ＬＣＤ７８に判別された撮影シーンのシンボルあるいはアイコンが表示される。また、画像処理パラメータ設定部１０２を制御し、撮影シーンに応じたエッジ処理、ホワイトバランス調整、色補正、γ補正が行われる。外部操作部１００は手動判別に設定された場合、モード認識、判定、モード選択部９６はユーザより設定されたモードを選択する。顔認識回路９４やＡＥ／ＡＦ／ＡＷＢ値演算部９２、モード認識、判定、モード選択部９６、撮影設定部９８等はＣＰＵで構成される。
【００２１】
撮影シーンの自動判別は、レリーズボタンが半押し（Ｓ１）された時点で行うことができる。この時点ではＡＦが実行され、距離情報が得られるからである。但し、レリーズボタンの操作と無関係に常にフォーカス制御する場合、レリーズボタンの操作と無関係に常に撮影シーンを自動判別してＬＣＤ７８に表示してもよい。ユーザは、ＬＣＤ７８に表示されたアイコンを視認してデジタルカメラが自動認識した撮影シーンが実際に自己が撮影しようとするシーンに合致しているか否かを確認し、合致している場合のみレリーズボタンを半押しして自動判別された撮影シーンを確定してもよい。
【００２２】
図３に、ＡＦ機構としてのＡＥ／ＡＦ／ＡＷＢ値演算部９２による被写体までの距離情報の信頼性（Face Detection Reliability:ＦＤＲ）を評価するフローチャートを示す。まず、公知のコントラスト検出法を用いてＴＴＬ−ＡＦを実行し（Ｓ１０１）、温度保証範囲内でＴＴＬ−ＡＦが実行されたか否かを判定する（Ｓ１０２）。温度保証範囲内で実行された場合は、一応ＴＴＬ−ＡＦの信頼性はある程度確保されていることになり、次に被写体に顔が含まれているか否かを判定する（Ｓ１０３）。被写体に顔があるか否かは、公知の技術を用いることができ、例えば被写体における肌色領域を検出する、顔特有のパターンを認識する、あるいは顔に特徴的な物理形状を検出する（例えば眼部を検出する）等で検出する。顔が検出された場合、この顔にフォーカスを合わせるようなフェースＡＦを実行する（Ｓ１０４）。フェースＡＦでは、ＴＴＬ−ＡＦと異なり、顔に含まれる眼間距離を検出し、この眼間距離から被写体までの距離情報を算出する。すなわち、人間の眼間距離はほぼ一定であるから、眼間距離を検出することで被写体までの距離を演算で算出することができる。フェースＡＦは、ＴＴＬ−ＡＦを補完する機能を有する。すなわち、ＴＴＬ−ＡＦが成功している場合には被写体までの距離情報としてあくまでＴＴＬ−ＡＦの距離情報が用いられ、ＴＴＬ−ＡＦが失敗した場合にはこれを補完するものとしてフェースＡＦの距離情報が用いられる。但し、ＴＴｌ−ＡＦの距離情報は常に信頼性があるとは限らないので、ＴＴｌ−ＡＦの信頼性を評価する。このため、ＴＴＬ−ＡＦが成功したか否かを判定し（Ｓ１０５）。ＴＴＬ−ＡＦが成功している場合、ズームレンズのズーム位置がｆ２以下であり、かつ、絞りがＡＰ２の状態でＴＴＬ−ＡＦが実行されたか否かを判定する（Ｓ１０６）。ここで、ｆ２は第２しきい焦点距離であり、ズームレンズがワイド付近にあるか否かを判定するためのパラメータである。ズームレンズの焦点距離ｆがｆ２以下であればズームレンズの焦点距離が短いワイド付近であり、被写界深度が深いためＴＴＬ−ＡＦの信頼性が相対的に低くなる。また、ＡＰ２はしきい絞り値であり、中間絞りの状態にあるか否かを判定するためのパラメータである。ズーム位置がｆ２以下でない、あるいは絞りが中間絞りでない場合には（Ｓ１０６でＮＯ）、さらにズーム位置がｆ３以下であり、かつ絞りがＡＰ３でＴＴＬ−ＡＦが実行されたか否かを判定する（Ｓ１０７）。ここで、ｆ３は第３しきい焦点距離であり、ｆ２＜ｆ３である。また、ＡＰ３はしきい絞り値であり、小絞りの状態にあるか否かを判定するためのパラメータである。ズーム位置がｆ３以下でなく、あるいは絞りがＡＰ３でない場合には（Ｓ１０７でＮＯ）、ズームレンズの焦点距離は十分長く、あるいは絞りが十分開放されていることを意味し、被写界深度は十分浅いことになるから、ＴＴＬ−ＡＦで得られる距離情報は十分信頼できるものとして、ＦＤＲを１００％に設定する（Ｓ１０８）。
【００２３】
一方、Ｓ１０７でＹＥＳ、つまりズーム位置がｆ２より大きくｆ３以下であり、かつ、絞りが小絞り状態である場合には、次に、顔があり、かつ、Ｓ１０４のフェースＡＦで得られた被写体までの距離ｄがｄ２以内であるか否かを判定する（Ｓ１１１）。ここで、ｄ２はしきい距離範囲であり、例えば５０ｃｍ〜５ｍに設定される。被写体までの距離が大きいほど被写界深度は深くなり、距離情報の精度が低下する。したがって、フェースＡＦで得られた被写体までの距離ｄがｄ２以外である場合にはＴＴＬ−ＡＦで得られた距離情報の信頼性は低いとしてＦＤＲを２５％に設定する（Ｓ１１２）。また、フェースＡＦで得られた被写体までの距離ｄがｄ２以内であればＴＴＬ−ＡＦで得られた距離情報は相対的に高いとして（但し、Ｓ１０７でＹＥＳと判定され、ズーム位置がｆ３以下であって絞りが小絞り状態であるためその信頼性は１００％より低い）、ＦＤＲを６４％に設定する（Ｓ１１４）。
【００２４】
Ｓ１０６でＹＥＳ、つまりズーム位置がｆ２以下であり、かつ、絞りがＡＰ２（中絞り）である場合には、次に、顔があり、かつ、フェースＡＦで得られた被写体までの距離ｄがｄ１以内であるか否かを判定する（Ｓ１０９）。ここで、ｄ１はしきい距離範囲であり、５０ｃｍ〜５ｍに設定される。ｄ１＝ｄ２としてもよい。距離ｄがｄ１以外である場合には、ＴＴＬ−ＡＦで得られた距離情報の信頼性は低いとしてＦＤＲを５０％に設定する（Ｓ１１０）。ここで、Ｓ１１２ではＦＤＲは２５％に設定され、Ｓ１１０では５０％に設定されることに留意されたい。ｆ２＜ｆ３であり、距離情報の信頼性が相対的に高いと考えられるからである。また、フェースＡＦで得られた被写体までの距離ｄがｄ１以内であればＴＴＬ−ＡＦで得られた距離情報は相対的に高いとしてＦＤＲを６４％に設定する（Ｓ１１３）。
【００２５】
なお、以上の各処理Ｓ１０８、Ｓ１１０、Ｓ１１２、Ｓ１１３、Ｓ１１４ではＴＴＬ−ＡＦが全て成功しているので、フォーカスレンズはＴＴＬ−ＡＦで得られる合焦位置に駆動する。
【００２６】
一方、Ｓ１０５でＮＯ、つまりＴＴＬ−ＡＦが成功しない場合には、次に、ズームレンズの位置がｆ１以下であるか否かを判定する（Ｓ１１５）。ｆ１は第１しきい焦点距離であり、比較的大きな値に設定される。例えばｆ２＜ｆ３＜ｆ１である。ｆ３＝ｆ１としてもよく、ｆ２＜ｆ１＜ｆ３としてもよい。ズームレンズ位置がｆ１を超える場合にはフェースＡＦによる距離ｄの分解能が低下するため、ＴＴＬ−ＡＦ及びフェースＡＦのいずれも失敗としてＡＦ失敗時の指定位置にレンズを駆動し、信頼性も評価しない（Ｓ１１９）。ズームレンズ位置がｆ１以下である場合にはフェースＡＦの距離ｄの信頼性を評価し、信頼性が高い場合にはフェースＡＦの位置にレンズを駆動し、またＦＤＲを３２％に設定する（Ｓ１１７）。この場合のＦＤＲは、ＴＴＬ−ＡＦの距離情報の信頼性ではなく、フェースＡＦの信頼性である。フェースＡＦの信頼性は、ＴＴＬ−ＡＦに比べて相対的に低いため、たとえ信頼性があると判定された場合でも１００％ではなく３２％に設定される。
【００２７】
また、Ｓ１０２でＮＯ、つまり被写体に顔が含まれない場合には、フェースＡＦを利用することができない。そこで、ＴＴＬ−ＡＦが成功したか否かを判定し（Ｓ１１８）、ＴＴＬ−ＡＦが成功している場合にはＳ１０６以降の処理を実行する。但し、フェースＡＦを実行することができないので、Ｓ１０９あるいはＳ１１１では常にＮＯと判定されることになり、ＦＤＲはズーム位置及び絞り値に応じて１００％、５０％、２５％のいずれかの値に設定される。顔もなくＴＴＬ−ＡＦも失敗した場合には（Ｓ１１８でＮＯ）、ＡＦを実行することができないので、ＡＦ失敗時の指定位置にレンズを駆動する（Ｓ１１９）。このとき、ＴＴＬ−ＡＦの距離情報はないのでその信頼性も評価しない。
【００２８】
さらに、Ｓ１０２でＮＯ、つまり温度保証範囲外である場合には、次にＴＴＬ−ＡＦが成功したか否かを判定し（Ｓ１２０）、成功しない場合にはＡＦを実行することができないので、ＡＦ失敗時の指定位置にレンズを駆動し、信頼性も評価しない（Ｓ１１９）。ＡＦが成功した場合には、温度保証範囲外であるためＴＴＬ−ＡＦで得られた距離情報の信頼性は低いとしてＦＤＲを２４％に設定する（Ｓ１２１）。
【００２９】
以上のようにして、ズームレンズの焦点距離、絞りの状態、及びフェースＡＦで得られた被写体までの距離情報の大小に応じて、ＴＴＬ−ＡＦで得られた距離情報の信頼性を定量評価する。評価された信頼性は、モード認識、判定、モード選択部９６での撮影シーン自動判別に用いられる。
【００３０】
図４に、本実施形態における撮影シーンの自動判別フローチャートを示す。図は、全体処理フローチャートであり、被写体中に顔があるか否かを判定し（Ｓ２０１）、顔がある場合にはポートレートに関連する撮影シーンを判別するＰ処理に移行し、顔がない場合にはポートレートに関連しない撮影シーンを判別するＱ処理に移行する。本実施形態で判別する撮影シーンは、ポートレート、ナイトポートレート、キャンドルライト、テキスト、フラワー、スノー／ビーチ、ランドスケープ（風景）、バックライト、クローズアップ、オート（ＡＵＴＯ）である。ポートレート、ナイトポートレート、キャンドルライトがポートレートに関連する撮影シーンであり、テキスト、フラワー、スノー／ビーチ、ランドスケープ（風景）、バックライト、クローズアップがポートレートに関連しない撮影シーンである。オート（ＡＵＴＯ）は撮影シーン判別が困難な場合のモードであり、一般的な撮影シーンを意味する。
【００３１】
図５に、被写体中に顔が検出された場合に実行されるＰ処理の処理フローチャートを示す。まず、被写体の輝度ＬＶが明るいか暗いかを判定する（Ｓ３０１）。具体的には、測光により得られた輝度値ＬＶをしきい値と比較し、しきい値以下であれば暗いと判定し、しきい値を超えていれば明るいと判定する。被写体が暗いと判定された場合、次にキャンドルライト条件を満たすか否かを判定する（Ｓ３０２）。キャンドルライト条件は、以下のとおりである。
【００３２】
＜キャンドルライト条件＞
輝度値ＬＶ＜４．５
距離情報＜５ｍ
距離情報の信頼性ＦＤＲ＞５０％
ホワイトバランスで光源がキャンドルライトである可能性が高いと判定
距離情報は、ＴＴＬ−ＡＦから得られる距離情報である。また、距離情報の信頼性ＦＤＲは、上述したとおり、ズームレンズの焦点距離、絞り値、及びフェースＡＦの距離ｄから得られる。信頼性ＦＤＲが５０％を超える場合は、ＦＤＲが１００％、６４％の場合であり、Ｓ１０８、Ｓ１１３、及びＳ１１４の場合である。キャンドルライト条件を満たす場合には撮影シーンはキャンドルライトであると判別され、キャンドルライトを表すシンボル（例えばろうそくのシンボルあるいはアイコン）がＬＣＤ７８に表示される。キャンドルライト条件を満たさない場合には、次にナイトポートレート条件を満たすか否かを判定する（Ｓ３０４）。ナイトポートレート条件は、以下のとおりである。
【００３３】
＜ナイトポートレート条件＞
輝度値ＬＶ＜４．５
距離情報＜５ｍ
距離情報の信頼性ＦＤＲ＞５０％
したがって、距離情報の信頼性ＦＤＲが５０％を超える場合にナイトポートレートであると判別し、距離情報の信頼性ＦＤＲが５０％以下である場合にはナイトポートレートと判別しない。なお、図３においてＳ１１７（ＴＴＬ−ＡＦは失敗、顔ＡＦは信頼度が高く成功している場合）で３２％の数値が出ている場合、５０％以下でも選択される条件に含めることにより、誤検出をせずに夜景ポートレートモードの検出率を高めることが可能となる。従来においては、単に被写体が暗く、かつ被写体中に顔が検出された場合には自動的にナイトポートレートに移行する場合もあるが、本実施形態では距離情報の信頼性が所定値を超えて信頼性が確保されている場合に限りナイトポートレートに移行することになる。ナイトポートレート条件を満たす場合には撮影シーンはナイトポートレートであると判別され、ナイトポートレートを表すシンボル（例えば人物と星のシンボルあるいはアイコン）がＬＣＤ７８に表示される。ナイトポートレート条件を満たさない場合には、後述するＳ３０９の処理に移行する。
【００３４】
一方、Ｓ３０１で被写体が明るいと判定された場合、ＴＴＬ−ＡＦで得られた距離が近いか遠いかを判定する（Ｓ３０６）。この判定も、距離を所定のしきい距離と大小比較することで実行され、距離が近い場合にはバックライト条件を満たすか否かを判定する（Ｓ３０７）。バックライト条件は、以下のとおりである。
【００３５】
＜バックライト条件＞
輝度ＬＶが所定値を超える
距離情報の信頼性ＦＤＲ＞５０％
フラッシュ動作が禁止されていない
なお、フラッシュ動作がユーザにより禁止された場合にはバックライト条件と判別しない。バックライト時には一般にフラッシュを発光させる必要があり、ユーザがフラッシュをＯＦＦに設定して動作を禁止している場合にバックライトと自動判別するのは好ましくないからである。バックライト条件を満たす場合には撮影シーンをバックライトと判別し（Ｓ３０８）、バックライトを表すシンボルあるいはアイコンをＬＣＤ７８に表示する。バックライト条件を満たさない場合には、次にフラッシュ発光のポートレート条件を満たすか否かを判定する（Ｓ３０９）。フラッシュ発光のポートレート条件は以下のとおりである。
【００３６】
＜フラッシュ発光ポートレート条件＞
０．５ｍ＜距離情報＜２ｍ
距離情報の信頼性ＦＤＲ＞５０％
フラッシュ動作が禁止されていない
フラッシュ発光のポートレート条件を満たす場合には撮影シーンをフラッシュ発光ポートレートと判別し（Ｓ３０９）、その旨を表すシンボルあるいはアイコンをＬＣＤ７８に表示する。フラッシュ発光ポートレート条件を満たさない場合には、次にフラッシュ非発光のポートレート条件を満たすか否かを判別する（Ｓ３１１１）。フラッシュ非発光のポートレート条件はフラッシュ発光のポートレート条件と略同じであり、但しフラッシュ動作の禁止は条件とされていない。この条件に合致する場合には撮影シーンをフラッシュ非発光ポートレートと判別し（Ｓ３１２）、それ以外はＡＵＴＯに設定する（Ｓ３１３）。
【００３７】
図６に、被写体中に顔が検出されなかった場合に実行されるＱ処理の処理フローチャートを示す。まず、キャンドルライト条件を満たすか否かを判定する（Ｓ４０１）。キャンドルライト条件については上述したとおりである。キャンドルライト条件を満たす場合には撮影シーンをキャンドルライトと判別する（Ｓ４０２）。キャンドルライト条件を満たさない場合には、ＴＴＬ−ＡＦで得られた距離情報が近いか（マクロ）か遠いかを判定する（Ｓ４０３）。近い場合には、距離情報の信頼性ＦＤＲが低く信頼できないか、あるいは信頼性が高いか否かを判定する（Ｓ４０４）。例えばＦＤＲが０％あるいは２４％程度の場合には信頼性がなく、それ以上であれば信頼性があると判定する。もちろん、信頼性が０％でない場合に一律に信頼性があると判定してもよい。あるいは、ある焦点距離まではＦＤＲ５０％より大きく、それ以上長焦点距離の場合は０％より大きい条件として、ランドスケープのクローズアップ誤検出を回避することができる。信頼性があると判定した場合、次にテキスト条件に合致するか否かを判定する（Ｓ４０５）。テキスト条件は以下のとおりである。
【００３８】
＜テキスト条件＞
輝度値ＬＶ＜１２
距離がマクロ
距離情報の信頼性ＦＤＲ＞０％
ホワイトバランスでテキストである可能性が高いと判定
なお、ホワイトバランスでは被写体の色がグレーである場合にテキストである可能性が高いと推定する。テキスト条件に合致する場合には撮影シーンをテキストと判別し（Ｓ４０６）、テキストを表すシンボルあるいはアイコン（例えば紙のアイコン）をＬＣＤ７８に表示する。テキスト条件を満たさない場合には、次にフラワー条件を満たすか否かを判定する。フラワー条件は以下のとおりである。
【００３９】
＜フラワー条件＞
輝度値ＬＶ＞６
距離がマクロ
距離情報の信頼性ＦＤＲ＞０％
ホワイトバランスでフラワーである可能性が高いと判定
なお、ホワイトバランスでは被写体の光源及び物体色判断において葉や花の物体色等が強い場合にフラワー（花）である可能性が高いと推定する。フラワー条件に合致する場合には撮影シーンをフラワーと判別し（Ｓ４０８）、フラワーを表すシンボルあるいはアイコンをＬＣＤ７８に表示する。フラワー条件を満たさない場合には、次にクローズアップ条件を満たすか否かを判定する（Ｓ４０９）。クローズアップ条件は以下のとおりである。
【００４０】
＜クローズアップ条件＞
距離がマクロ
距離情報の信頼性ＦＤＲ＞０％
クローズアップ条件を満たさない場合にはＡＵＴＯに設定する。Ｓ４０４で距離情報の信頼性が低いと判定された場合も、ＡＵＴＯに設定する。従来においては、ＴＴＬ−ＡＦで得られた距離情報に基づいて撮影シーンをクローズアップあるいはフラワーと判別していたが、本実施形態ではＴＴＬ−ＡＦで得られた距離情報の信頼性がある場合にのみクローズアップあるいはフラワーと判別しているので、撮影シーンの誤判別を有効に防止できる。
【００４１】
一方Ｓ４０３で距離が近くないと判定された場合、スノー／ビーチ条件を満たすか否かを判定する。スノー／ビーチ条件は以下のとおりである。
【００４２】
＜スノー／ビーチ条件＞
輝度値ＬＶ＞１３
距離レンジが標準
距離情報の信頼性ＦＤＲ＞０％
ホワイトバランスでスノーあるいはビーチである可能性が高い
なお、本実施形態ではスノーとビーチを区別していないが、例えば画面下部の温度等から撮影シーンとしてスノーとビーチをさらに判別してもよい。スノー／ビーチ条件を満たす場合には撮影シーンをスノー／ビーチと判別し（Ｓ４１２）、雪や海岸を表すシンボルあるいはアイコンをＬＣＤ７８に表示する。スノー／ビーチ条件を満たさない場合、ランドスケープ（風景）条件を満たすか否かを判定する（Ｓ４１３）。ランドスケープ条件は以下のとおりである。
【００４３】
＜ランドスケープ条件＞
距離情報＞９ｍ
距離情報の信頼性ＦＤＲ＞０％
ランドスケープ条件を満たす場合には撮影シーンをランドスケープと判別し（Ｓ４１４）、風景を表すシンボルあるいはアイコンをＬＣＤ７８に表示する（Ｓ４１４）。ランドスケープ条件を満たさない場合には、次にバックライト条件を満たすか否かを判定する（Ｓ４１５）。バックライト条件は上述したとおりであり、バックライト条件を満たす場合には撮影シーンをバックライトと判別し（Ｓ４１６）、そうでない場合はＡＵＴＯに設定する（Ｓ４１７）。
【００４４】
このように、本実施形態では、距離情報の信頼性を用いて撮影シーンを適切に自動判別することができる。
【００４５】
なお、自動判別した撮影シーン毎に設定される最適撮影パラメータは任意であるが、例えば撮影シーン毎に以下のように設定することができる。
【００４６】
＜撮影シーンがキャンドルライトの場合＞
フラッシュ：強制ＯＦＦ
ホワイトバランス：デイライト
【００４７】
＜撮影シーンがナイトポートレートの場合＞
フラッシュ：ＡＵＴＯの場合でも強制赤目軽減発光
【００４８】
＜撮影シーンがポートレートの場合＞
フラッシュ：ユーザ設定による
【００４９】
＜撮影シーンがバックライトの場合＞
フラッシュ：強制発光
【００５０】
＜撮影シーンがテキストの場合＞
フラッシュ：ユーザ設定による
露出補正：＋１ＥＶ
シャープネス：ハイレベル
【００５１】
＜撮影シーンがフラワーの場合＞
フラッシュ：ユーザ設定による
ホワイトバランス：デイライト
【００５２】
＜撮影シーンがクローズアップの場合＞
フラッシュ：ユーザ設定による
【００５３】
＜撮影シーンがスノー／ビーチの場合＞
フラッシュ：ユーザ設定による
露出補正：＋１ＥＶ
【００５４】
＜撮影シーンがランドスケープの場合＞
フラッシュ：強制ＯＦＦ
ホワイトバランス：デイライト
シャープネス：ハイレベル
なお、ナイトポートレートにおいては、ユーザ設定がフラッシュＡＵＴＯであっても強制的に赤目軽減発光とするのは、暗くて人物がいてフラッシュが発光されることが分かっているので自動的に赤目軽減発光としたものである。ナイトポートレートであることを正しく判別することで、このように適切なフラッシュ発光が可能となる。
【図面の簡単な説明】
【００５５】
【図１】実施形態の基本構成図である。
【図２】実施形態の詳細構成図である。
【図３】実施形態の信頼性評価フローチャートである。
【図４】実施形態の全体処理フローチャートである。
【図５】実施形態の顔が認識された場合の処理フローチャートである。
【図６】実施形態の顔が認識されない場合の処理フローチャートである。
【符号の説明】
【００５６】
５０  レンズ、５２  ＣＣＤ、７８  ＬＣＤ、９２  ＡＥ／ＡＦ／ＡＷＢ値演算部、９４  顔認識回路、９６  モード認識、判定、モード選択部、９８  撮影設定部、１００  外部操作部。
【図１】
2008042616.tif 000003
【図２】
2008042616.tif 000004
【図３】
2008042616.tif 000005
【図４】
2008042616.tif 000006
【図５】
2008042616.tif 000007
【図６】
2008042616.tif 000008