(57)【要約】【課題】デジタルカメラで人物以外のポスター等を含む被写体を撮影した場合には、そのポスター等を人物として認識するのを防止する。【解決手段】光電変換素子を含む撮像素子と、前記撮像素子の出力信号から画像データを生成する画像データ生成手段と、前記画像データ生成手段により生成された画像データから顔を含む顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出された顔画像から該顔画像に含まれる顔の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された顔の特徴点の経時的な変化を検出する特徴点変化検出手段と、前記特徴点変化検出手段により検出された顔の特徴点の経時的な変化に基づいて、前記顔画像抽出手段により抽出された顔画像に含まれる顔が人物か否かを判定する人物判定手段と、を備えることを特徴とするデジタルカメラ。【選択図】  図１
2008187677.tif 000002
【特許請求の範囲】
【請求項１】
光電変換素子を含む撮像素子と、
前記撮像素子の出力信号から画像データを生成する画像データ生成手段と、
前記画像データ生成手段により生成された画像データから顔を含む顔画像を抽出する顔画像抽出手段と、
前記顔画像抽出手段により抽出された顔画像から該顔画像に含まれる顔の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された顔の特徴点の経時的な変化を検出する特徴点変化検出手段と、
前記特徴点変化検出手段により検出された顔の特徴点の経時的な変化に基づいて、前記顔画像抽出手段により抽出された顔画像に含まれる顔が人物か否かを判定する人物判定手段と、
を備えることを特徴とするデジタルカメラ。
【請求項２】
前記特徴点抽出手段は、前記顔画像抽出手段により抽出された顔画像から該顔画像に含まれる顔の輪郭の特徴点を抽出し、
前記特徴点変化検出手段は、前記特徴点抽出手段により抽出された前記顔の輪郭の経時的な特徴点の変化に基づいて、前記特徴点抽出手段により抽出された前記顔の特徴点の手ぶれ量を補正し、
前記人物判定手段は、前記特徴点変化検出手段により補正された顔の特徴点の経時的な変化に基づいて、前記顔画像抽出手段により抽出された顔画像に含まれる顔が人物か否かを判定することを特徴とする請求項１に記載のデジタルカメラ。
【請求項３】
前記顔画像抽出手段により抽出された顔画像の面積を検出する面積検出手段をさらに備え、
特徴点変化検出手段、及び人物判定手段は、前記面積検出手段により検出された面積が一定値を越えた場合に、前記各処理を実行することを特徴とする請求項１に記載のデジタルカメラ。
【請求項４】
前記顔画像抽出手段により抽出された顔画像に含まれる顔に対して優先的にフォーカスさせるフォーカス手段をさらに備え、
前記特徴点変化検出手段、及び判定手段は、前記フォーカス手段によるフォーカス位置が広角側の所定位置に位置している場合に、前記各処理を実行することを特徴とする請求項１に記載のデジタルカメラ。
【請求項５】
前記特徴点抽出手段により抽出された顔の特徴点と前記人物判定手段により判定された結果とを対応づけて記憶する記憶手段と、
前記特徴点抽出手段により新たに抽出された顔の特徴点が前記記憶手段に記憶されているか否かを判定するメモリ内判定手段と、
前記メモリ内判定手段により前記特徴点抽出手段により新たに抽出された顔の特徴点が前記記憶手段に記憶されていると判定された場合には、前記記憶手段から該顔の特徴点に対応づけて記憶されている判定結果を読み出すことを特徴とする請求項１に記載のデジタルカメラ。
【請求項６】
前記人物判定手段による判定結果を表す表示を表示面に表示する表示手段をさらに備えることを特徴とする請求項１に記載のデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに係り、特に、顔認識機能を備えたデジタルカメラに関する。
【背景技術】
【０００２】
従来、デジタルカメラでは、撮影画像から顔を含む画像（顔画像ともいう）を抽出する処理が行われている（例えば特許文献１参照）。この特許文献１記載のデジタルカメラでは、顔認識用の色データを予め保持しておき、撮影画像の全領域の色データと前記顔認識用の色データとを比較し、一致する部分を人物の顔として認識し、この人物の顔を含む領域を切り出す。
【０００３】
この切り出された顔画像は各種の用途に用いられる。例えば、顔を含む顔画像と形状データベース部内のデータとの一致度を算出し、この一致度と形状データを基に特徴点を抽出することが提案されている（特許文献２参照）。この抽出した特徴点は各種の用途に用いられる。例えば、運転者の目の特徴点を抽出することにより運転者の状態を検知することが提案されている（特許文献３参照）。
【０００４】
その他、本願に関連すると思われるものとして特許文献４、５等がある。
【特許文献１】特開平１０−３３４２１３号公報
【特許文献２】特開平０５−１９７７９３号公報
【特許文献３】特開２００５−１８６５１号公報
【特許文献４】特開平０５−６８９１５号公報
【特許文献５】特開平０５−３４４５０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１等記載のデジタルカメラでは、人物以外のポスター等を撮影した場合でも、そのポスター等を人物の顔と認識してしまい、そのポスター等を含む領域を切り出してしまい、その後の処理を適切に行えないという問題がある。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、デジタルカメラで人物以外のポスター等を含む被写体を撮影した場合には、そのポスター等を人物として認識するのを防止することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記課題を解決するためになされたものであり、請求項１に記載の発明は、光電変換素子を含む撮像素子と、前記撮像素子の出力信号から画像データを生成する画像データ生成手段と、前記画像データ生成手段により生成された画像データから顔を含む顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出された顔画像から該顔画像に含まれる顔の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された顔の特徴点の経時的な変化を検出する特徴点変化検出手段と、前記特徴点変化検出手段により検出された顔の特徴点の経時的な変化に基づいて、前記顔画像抽出手段により抽出された顔画像に含まれる顔が人物か否かを判定する人物判定手段と、を備える。
【０００８】
請求項１に記載の発明によれば、顔画像に含まれる顔の特徴点を抽出し、その顔の特徴点の経時的変化を検出する。
【０００９】
顔画像に含まれる顔が人物であれば、抽出された顔の特徴点が経時的に変化する（例えば特徴点が目（口等も同様）である場合には、目の瞬き等により特徴点が経時的に変化する）。一方、顔画像に含まれる顔が人物でなければ（例えばポスター、絵画、フィギュアであれば）、抽出された顔の特徴点が経時的に変化しない。
【００１０】
したがって、抽出された顔の特徴点の経時的な変化に基づけば、顔画像に含まれる顔が人物か否かを判定することが可能となる。すなわち、デジタルカメラで人物以外のポスター等を含む被写体を撮影した場合には、そのポスター等を人物として認識するのを防止することが可能となる。
【００１１】
請求項２に記載の発明は、請求項１に記載の発明において、前記特徴点抽出手段は、前記顔画像抽出手段により抽出された顔画像から該顔画像に含まれる顔の輪郭の特徴点を抽出し、前記特徴点変化検出手段は、前記特徴点抽出手段により抽出された前記顔の輪郭の経時的な特徴点の変化に基づいて、前記特徴点抽出手段により抽出された前記顔の特徴点の手ぶれ量を補正し、前記人物判定手段は、前記特徴点変化検出手段により補正された顔の特徴点の経時的な変化に基づいて、前記顔画像抽出手段により抽出された顔画像に含まれる顔が人物か否かを判定することを特徴とする。
【００１２】
請求項２に記載の発明によれば、手ぶれにより抽出された顔の特徴点が変化したとしてもその手ぶれ量を補正し、補正後の顔の特徴点の経時的な変化に基づいて、顔画像に含まれる顔が人物か否かを判定する。
【００１３】
したがって、手ぶれによる誤判定を低減することが可能となる。
【００１４】
請求項３に記載の発明は、請求項１に記載の発明において、前記顔画像抽出手段により抽出された顔画像の面積を検出する面積検出手段をさらに備え、特徴点変化検出手段、及び人物判定手段は、前記面積検出手段により検出された面積が一定値を越えた場合に、前記各処理を実行することを特徴とする。
【００１５】
請求項３に記載の発明によれば、抽出された顔画像の面積が一定値を越えた場合にのみ、顔画像に含まれる顔が人物か否かを判定するための処理を行う。
【００１６】
したがって、顔画像の面積が一定値を越えないことによる誤判定又は無駄な処理を低減することが可能となる。
【００１７】
請求項４に記載の発明は、請求項１に記載の発明において、前記顔画像抽出手段により抽出された顔画像に含まれる顔に対して優先的にフォーカスさせるフォーカス手段をさらに備え、前記特徴点変化検出手段、及び判定手段は、前記フォーカス手段によるフォーカス位置が広角側の所定位置に位置している場合に、前記各処理を実行することを特徴とする。
【００１８】
請求項４に記載の発明によれば、フォーカス位置が広角側の所定位置に位置している場合にのみ、顔画像から顔の特徴点を抽出する等の、顔画像に含まれる顔が人物か否かを判定するための処理を行う。
【００１９】
これによりピントずれがより少ない画像を対象とできるため誤判定を低減することが可能となる。また、処理の軽量化も実現できる。
【００２０】
請求項５に記載の発明は、請求項１に記載の発明において、前記特徴点抽出手段により抽出された顔の特徴点と前記人物判定手段により判定された結果とを対応づけて記憶する記憶手段と、前記特徴点抽出手段により新たに抽出された顔の特徴点が前記記憶手段に記憶されているか否かを判定するメモリ内判定手段と、前記メモリ内判定手段により前記特徴点抽出手段により新たに抽出された顔の特徴点が前記記憶手段に記憶されていると判定された場合には、前記記憶手段から該顔の特徴点に対応づけて記憶されている判定結果を読み出すことを特徴とする。
【００２１】
請求項５に記載の発明によれば、新たに抽出された顔の特徴点が記憶手段に記憶されていると判定された場合には、記憶手段から該顔の特徴点に対応づけて記憶されている判定結果を読み出す。
【００２２】
すなわち、新たに抽出された顔の特徴点が記憶手段に記憶されていると判定された場合には、抽出された顔の特徴点の経時的な変化を検出しなくてもよいので、極めて迅速に、人物か否かを判定することが可能となる。
【００２３】
請求項６に記載の発明は、請求項１に記載の発明において、前記人物判定手段による判定結果を表す表示を表示面に表示する表示手段をさらに備えることを特徴とする。
【００２４】
請求項６に記載の発明によれば、例えば、いわゆるスルー画像に、人物であると判定された被写体を点線矩形枠（例えば緑色）で囲って表示し、人物でないと判定された被写体を点線矩形枠（例えば赤色）で囲って表示することができる。あるいは、人物であると判定された被写体のみを矩形枠で囲って表示することもできる。
【００２５】
これにより、表示面上の被写体が人物であるか否かを瞬時に判別することが可能となる。
【発明の効果】
【００２６】
本発明によれば、デジタルカメラで人物以外のポスター等を含む被写体を撮影した場合には、そのポスター等を人物として認識するのを防止することが可能となる。
【発明を実施するための最良の形態】
【００２７】
〔第一実施形態〕
〔デジタルカメラ１００の構成〕
以下、本発明の第一実施形態であるデジタルカメラについて図面を参照しながら説明する。図１は、本発明の第一実施形態であるデジタルカメラの構成を説明するためのブロック図である。
【００２８】
本実施形態のデジタルカメラ１００では、図１左方から被写体光が入射し、レンズ１０（ズームレンズやフォーカスレンズ）、シャッタ１１、被写体光の光量を調整する絞り１２（アイリスともいう）、及び、光学フィルタ１３を通過した後、撮像素子１４に結像する。レンズ１０、シャッタ１１、及び、絞り１２はそれぞれ、レンズ駆動部１５、シャッタ駆動部１６、及び、絞り駆動部１７により制御される。
【００２９】
レンズ駆動部１５は、ＣＰＵ１８から伝達される指示に従って、ズームモータ（図示せず）を駆動させることにより、ズームレンズを光軸に沿って進退させ所定位置に位置させ、焦点距離を変化させる。また、レンズ駆動部１５は、ＣＰＵ１８から伝達される指示に従って、フォーカスモータ（図示せず）を駆動させることにより、フォーカスレンズを光軸に沿って進退させ所定位置に位置させ、焦点距離を変化させる。
【００３０】
シャッタ駆動部１６は、ＣＰＵ１８から伝達される指示に従って、シャッタモータ（図示せず）を駆動させることにより、シャッタ１１を制御する。絞り駆動部１７は、ＣＰＵ１８から伝達される指示に従って、アイリスモータ（図示せず）を駆動させることにより、絞りの開口量を連続的又は段階的に変化させ、絞り値を変化させる。
【００３１】
光学フィルタ１３は、例えば、ナノ粒子の電気泳動を制御することにより透過光量を制御するタイプのフィルタである。この種の光学フィルタは例えば特開２００６−７２００９号公報に記載されている。
【００３２】
撮像素子１４は、光電変換素子を含んでおり、例えば、所定のカラーフィルタ配列（例えば、ハニカム配列）のカラーＣＣＤで構成されている。レンズ１０等を介して撮像素子１４の受光面に入射した光はその受光面に格子状に配列されたフォトダイオード等の光電変換素子により入射光量に応じた量の信号電荷に変換される。そして、光電変換素子に蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）等の撮像素子駆動部１９から加えられるタイミング信号に従って読み出され、電圧信号（画像信号）として撮像素子１４から順次出力される。
【００３３】
アナログ信号処理部２０は、ＣＤＳ回路及びアナログアンプを含んでいる。ＣＤＳ回路は、撮像素子駆動部１９から加えられるパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、アナログアンプは、ＣＰＵ１８から加えられる撮影感度に応じて設定されたゲインによってＣＤＳ回路から出力される画像信号を増幅する。
【００３４】
Ａ／Ｄ変換器２１は、アナログ信号処理部２０から出力されたアナログの画像信号をデジタルの画像信号（Ｒ、Ｇ、ＢのＲＡＷデータ）に変換する。この変換されたデジタルの画像信号は、ＲＡＭ等の記憶手段（図示せず）に格納される。
【００３５】
デジタル信号処理部２２は、ＲＡＭ等の記憶手段に格納された画像信号を処埋し、輝度信号と色差信号とからなるＹＣ信号を生成する。例えば、デジタル信号処理部２２は、Ｒ、Ｇ、Ｂ信号の黒レベルを揃えるオフセット処理、Ｒ、Ｇ、Ｂ信号に対応するＷＢゲインＲｇ，Ｇｇ，ＢｇによるＲ、Ｇ、Ｂ信号のゲイン補正、このゲイン補正によるＷＢ補正、Ｒ、Ｇ、Ｂ信号の階調変換（ガンマ補正）、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂ信号の空間的なズレを補間してＲ，Ｇ，Ｂ信号を同時式に変換する処理、Ｒ，Ｇ，Ｂ信号を輝度信号Ｙ，色差信号Ｃｒ，Ｃｂに変換する処理、輝度信号Ｙの輪郭部（輝度変化の大きい部分）を強調する処理、色差信号Ｃｒ，Ｃｂに対して所要のマトリクス変換を行って良好な色再現性を実現させる処理等を行う。
【００３６】
表示部２３は液晶ディスプレイ等の表示面を有する画像表示装置であり、この表示部２３にいわゆるスルー画像を表示させる場合には、撮像素子１４で連続的に撮影し、得られた複数フレーム分の画像の画像信号を連続的に処理してＹＣ信号を生成する。この生成されたＹＣ信号は、Ｄ／Ａ変換部２４に加えられ、表示用の信号形式に変換されて表示部２３に出力される。これにより、表示部２３にスルー画像が表示される。
【００３７】
画像を記録する場合は、操作部３４からの撮影指令に応じて画像を撮像し、得られた画像信号を処理してＹＣ信号を生成する。生成されたＹＣ信号は、記録再生信号処理部２５等により所定の圧縮画像データ（例えば、ＪＰＥＧ）とされたのち、外部メモリ２６に格納される。
【００３８】
ＡＥ演算部２７は、入力された画像信号からＡＥ制御に必要な物理量を算出する。例えば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（例えば、８×８）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。そして、ＡＥ演算部２７は、その算出した積算値、及び画像信号取得時の絞り値、シャツタ速度に基づいて被写体の明るさを検出してＥＶ値を求め、求めたＥＶ値に基づいてプログラム線囲等に基づいて露出を設定する。シャッタ駆動部１６及び絞り駆動部１７はそれぞれ、設定された露出が得られるように、シャッタモータ（図示せず）及びアイリスモータ（図示せず）を駆動させてシャッタ１１及び絞り１２を制御する。
【００３９】
ＡＦ演算部２８は、入力された画像信号からＡＦ制御に必要な物理量を算出する。例えば、ＡＦ演算部２８は、入力された画像信号から画像の鮮鋭度を示すＡＦ評価値を算出する。レンズ駆動部１５は、その算出したＡＦ評価値が極大となるように、フォーカスモータ（図示せず）を駆動させて、フォーカスレンズを進退させ所定位置に位置させる。
【００４０】
顔画像抽出部２９は、撮影画像（例えばＲＡＭ等の記憶手段に格納されたデジタルの画像信号）から顔を含む画像（顔画像）を抽出する顔画像抽出処理を行う。例えば、顔認識用の色データを予め保持しておき、撮影画像の全領域の色データと前記顔認識用の色データとを比較し、一致する部分を人物の顔として認識し、この人物の顔を含む領域を切り出す（特開平10-334213号参照）。その他、各種の顔画像抽出処理を適用することが可能である。なお、撮影画像に複数の顔が写し込まれている場合には、複数の顔画像が抽出される。
【００４１】
特徴点抽出部３０は、顔画像抽出部２９により抽出された顔画像から該顔画像に含まれる顔の特徴点を抽出する特徴点抽出処理を行う。例えば、顔画像と形状データベース部内のデータとの一致度を算出し、この一致度と形状データを基に画像の特徴点を抽出する（特開平05-197793号参照）。その他、特開平08-077334号に記載のもの等、各種の特徴点抽出処理を適用することが可能である。
【００４２】
特徴点変化検知部３１は、特徴点抽出部３０により抽出された顔の特徴点の経時的な変化を検出する特徴点変化検知処理を行う。
【００４３】
人物判別部３２は、特徴点変化検知部３１により検出された顔の特徴点の経時的な変化に基づいて、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物か否か、すなわち、実際にその場所にいる人物かあるいはポスター（又は絵画やフィギュア）か否かを判定する処理を行う。
【００４４】
人物抽出部３３は、特徴点抽出部３０により抽出された顔の特徴点と人物判別部３２により判定された結果とを対応づけてＲＡＭ等の記憶手段に記憶する処理を行う。
【００４５】
〔デジタルカメラ１００の動作  その１〕
次に、上記構成のデジタルカメラ１００の動作（その１）について図面を参照しながら説明する。
【００４６】
図２は、第一実施形態のデジタルカメラの動作（その１）を説明するためのフローチャートである。
【００４７】
以下の処理は、顔画像から抽出された顔の特徴点の経時的な変化に基づき、顔画像に含まれる顔が人物か否かを判定する処理であり、主として、ＣＰＵ１８がＲＡＭ等に読み込まれた所定プログラムを実行することにより実現される。
【００４８】
デジタルカメラ１００の電源をオンすると、撮像素子１４により連続的な撮影が行われ、この撮像素子１４の出力信号から画像データが生成され、ＲＡＭ等の記憶手段に格納される（ステップＳ１０）。
【００４９】
顔画像抽出部２９は、ＲＡＭ等の記憶手段に格納された画像データから顔を含む顔画像を抽出する顔画像抽出処理を行う（ステップＳ１１）。次に、特徴点抽出部３０は、図３、図４、図５に示すように、顔画像抽出部２９により抽出された顔画像から該顔画像に含まれる顔の特徴点（例えば、眉、目、唇、又は歯）を抽出する処理を行う（ステップＳ１２）。上記ステップＳ１０からステップＳ１２の処理を予め定められた期間内又は予め定められたフレーム数分繰り返す。
【００５０】
次に、特徴点変化検知部３１は、特徴点抽出部３０により抽出された顔の特徴点の経時的な変化を検出する特徴点変化検知処理を行う（ステップＳ１３）。例えば、各フレーム間の同一顔画像間の特徴点の一致度を算出し、この一致度が予め定められた閾値を越えた場合に、特徴点の経時的な変化ありを検出する。
【００５１】
人物判別部３２は、特徴点変化検知部３１により特徴点の経時的な変化ありと検出された場合（図４及び図５の左被写体）には（ステップＳ１４：Ｙｅｓ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物であると判定する（ステップＳ１５）。一方、特徴点変化検知部３１により特徴点の経時的な変化が検出されない場合（図４及び図５右側被写体）には（ステップＳ１４：Ｎｏ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ１６）。
【００５２】
人物抽出部３３は、特徴点抽出部３０により抽出された顔の特徴点（又は顔画像）と人物判別部３２により判定された結果（その顔画像が人物であることを識別するための識別子、又は、その顔画像が人物でないことを識別するための識別子等）とを対応づけてＲＡＭ等の記憶手段に記憶する。
【００５３】
以上説明したように、本動作では、画像データから顔画像に含まれる顔の特徴点を抽出し（ステップＳ１１、Ｓ１２）、その顔の特徴点の経時的変化を検出する（ステップＳ１３）。そして、顔の特徴点の経時的変化が検出された場合には（ステップＳ１４：Ｙｅｓ）、顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物であると判定する（ステップＳ１５）。一方、顔の特徴点の経時的な変化が検出されない場合には（ステップＳ１４：Ｎｏ）、顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ１６）。
【００５４】
したがって、デジタルカメラ１００で人物以外のポスター等を含む被写体を撮影した場合には、そのポスター等を人物として認識するのを防止することが可能となる。
〔デジタルカメラ１００の動作  その２〕
次に、上記構成のデジタルカメラ１００の他の動作（その２）について説明する。
【００５５】
以下の処理は、例えば、手ぶれ等により抽出された顔の特徴点が変化（例えば図６に示すフレームＡから図７に示すフレームＢに変化）したとしてもその手ぶれ量を補正し、補正後の顔の特徴点の経時的な変化に基づいて、顔画像に含まれる顔が人物か否かを判定する処理であり、例えば、図２中のステップＳ１２とＳ１３の間で実行される。
【００５６】
特徴点抽出部３０は、所定数のフレーム（例えば図６に示すフレームＡ及び図７に示すフレームＢ）それぞれについて被写体の輪郭の特徴点を抽出する。例えば、図８（ａ）ではＡ１、Ｂ１・・・、図８（ｂ）ではＡ２、Ｂ２・・・、図９（ａ）ではＡ´１、Ｂ´１・・・、図９（ｂ）ではＡ´２、Ｂ´２・・・を、それぞれ被写体の輪郭の特徴点として抽出する。そして、各フレーム間の同一特徴点が一致するように、各フレームを所定量回転させあるいは上下左右にシフトさせる。
【００５７】
以後、ステップＳ１３以降の処理を行うことで、デジタルカメラ１００で人物以外のポスター等を含む被写体を撮影した場合には、そのポスター等を人物として認識するのを防止することが可能となる。手ぶれ等による抽出された顔の特徴点の変化を除去できるので手ぶれ等による誤判定を低減することが可能となる。
【００５８】
〔デジタルカメラ１００の動作  その３〕
次に、デジタルカメラ１００の他の動作（その３）について図面を参照しながら説明する。
【００５９】
図１０は、デジタルカメラ１００の他の動作（その３）を説明するためのフローチャートである。
【００６０】
以下の処理は、顔画像の面積が一定値以上の場合にだけ、顔画像から抽出された顔の特徴点の経時的な変化に基づき、顔画像に含まれる顔が人物か否かを判定する。この処理は、主として、ＣＰＵ１８がＲＡＭ等に読み込まれた所定プログラムを実行することにより実現される。
【００６１】
デジタルカメラ１００の電源をオンすると、撮像素子１４により連続的な撮影が行われ、この撮像素子１４の出力信号から画像データが生成され、ＲＡＭ等の記憶手段に格納される（ステップＳ２０）。
【００６２】
顔画像抽出部２９は、ＲＡＭ等の記憶手段に格納された画像データから顔を含む顔画像を抽出する顔画像抽出処理を行う（ステップＳ２１）。次に、特徴点抽出部３０は、図３、図４、図５に示すように、顔画像抽出部２９により抽出された顔画像から該顔画像に含まれる顔の特徴点（例えば、眉、目、唇、又は歯）を抽出する処理を行う（ステップＳ２２）。上記ステップＳ２０からステップＳ２２の処理を予め定められた期間内又は予め定められたフレーム数分繰り返す。
【００６３】
次に、顔画像抽出部２９により抽出された顔画像の面積を求め、この求めた面積が一定値以上であるか否かを判定する（ステップＳ２３）。顔画像の面積は、例えば、図１１に示すように、輪郭の特徴点から高さと幅を求め、この高さと幅を掛け合わせて求める方法、顔画像の各画像の輝度の値から顔に相当する画素を識別してこの画素を基に求める方法等が考えられる。あるいは、顔画像自体の高さと幅を掛け合わせて求めてもよい。
【００６４】
その結果、面積が一定値以上であれば（ステップＳ２３：一定値以上）、特徴点変化検知部３１は、特徴点抽出部３０により抽出された顔の特徴点の経時的な変化を検出する特徴点変化検知処理を行う（ステップＳ２４）。例えば、各フレーム間の同一顔画像間の特徴点の一致度を算出し、この一致度が予め定められた閾値を越えた場合に、特徴点の経時的な変化ありを検出する。
【００６５】
人物判別部３２は、特徴点変化検知部３１により特徴点の経時的な変化ありと検出された場合（図４及び図５の左被写体）には（ステップＳ２５：Ｙｅｓ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物であると判定する（ステップＳ２６）。一方、特徴点変化検知部３１により特徴点の経時的な変化なしと検出された場合（図４及び図５右被写体）には（ステップＳ２５：Ｎｏ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ２７）。
【００６６】
一方、面積が一定値未満であれば（ステップＳ２３：一定値未満）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ２７）。
【００６７】
人物抽出部３３は、特徴点抽出部３０により抽出された顔の特徴点（又は顔画像）と人物判別部３２により判定された結果（その顔画像が人物であることを識別するための識別子、又は、その顔画像が人物でないことを識別するための識別子等）とを対応づけてＲＡＭ等の記憶手段に記憶する。
【００６８】
以上説明したように、本動作では、顔画像の面積が一定値以上の場合にだけ（ステップＳ２３：一定値以上）、特徴点抽出部３０により抽出された顔の特徴点の経時的な変化を検出する特徴点変化検知処理を行い（ステップＳ２４）、かつ、顔画像から抽出された顔の特徴点の経時的な変化に基づき、顔画像に含まれる顔が人物か否かを判定する（ステップＳ２５）。
【００６９】
したがって、顔画像の面積が一定値を越えないことによる誤判定又は無駄な処理を低減することが可能となる。
【００７０】
〔デジタルカメラ１００の動作  その４〕
次に、デジタルカメラ１００の他の動作（その４）について図面を参照しながら説明する。
【００７１】
図１２は、デジタルカメラ１００の他の動作（その４）を説明するためのフローチャートである。
【００７２】
以下の処理は、フォーカス位置が広角側の所定位置に位置している場合にだけ、顔画像から抽出された顔の特徴点の経時的な変化に基づき、顔画像に含まれる顔が人物か否かを判定する。この処理は、主として、ＣＰＵ１８がＲＡＭ等に読み込まれた所定プログラムを実行することにより実現される。
【００７３】
デジタルカメラ１００の電源をオンすると、撮像素子１４により連続的な撮影が行われ、この撮像素子１４の出力信号から画像データが生成され、ＲＡＭ等の記憶手段に格納される（ステップＳ３０）。
【００７４】
顔画像抽出部２９は、ＲＡＭ等の記憶手段に格納された画像データから顔を含む顔画像を抽出する顔画像抽出処理を行う（ステップＳ３１）。次に、特徴点抽出部３０は、図３、図４、図５に示すように、顔画像抽出部２９により抽出された顔画像から該顔画像に含まれる顔の特徴点（例えば、眉、目、唇、又は歯）を抽出する処理を行う（ステップＳ３２）。上記ステップＳ３０からステップＳ３２の処理を予め定められた期間内又は予め定められたフレーム数分繰り返す。
【００７５】
次に、ズームレンズの位置を求め、この求めた位置が一定値より望遠側に位置している否かを判定する（ステップＳ３３）。
【００７６】
その結果、求めた位置が一定値より望遠側に位置しているのであれば（ステップＳ３３：一定値より望遠）、特徴点変化検知部３１は、特徴点抽出部３０により抽出された顔の特徴点の経時的な変化を検出する特徴点変化検知処理を行う（ステップＳ３４）。例えば、各フレーム間の同一顔画像間の特徴点の一致度を算出し、この一致度が予め定められた閾値を越えた場合に、特徴点の経時的な変化ありを検出する。
【００７７】
人物判別部３２は、特徴点変化検知部３１により特徴点の経時的な変化ありと検出された場合（図４及び図５の左被写体）には（ステップＳ３５：Ｙｅｓ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物であると判定する（ステップＳ３６）。一方、特徴点変化検知部３１により特徴点の経時的な変化なしと検出された場合（図４及び図５右被写体）には（ステップＳ３５：Ｎｏ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ３７）。
【００７８】
一方、求めた位置が一定値より広角側に位置しているのであれば（ステップＳ３３：一定値より広角）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ３７）。
【００７９】
人物抽出部３３は、特徴点抽出部３０により抽出された顔の特徴点（又は顔画像）と人物判別部３２により判定された結果（その顔画像が人物であることを識別するための識別子、又は、その顔画像が人物でないことを識別するための識別子等）とを対応づけてＲＡＭ等の記憶手段に記憶する。
【００８０】
以上説明したように、本動作では、ズームレンズの位置が一定値より望遠側に位置している場合にだけ（ステップＳ３３：一定値より望遠）、特徴点抽出部３０により抽出された顔の特徴点の経時的な変化を検出する特徴点変化検知処理を行い（ステップＳ２４）、かつ、顔画像から抽出された顔の特徴点の経時的な変化に基づき、顔画像に含まれる顔が人物か否かを判定する（ステップＳ３５）。
【００８１】
これによりピントずれがより少ない画像を処理の対象とできるため誤判定を低減することが可能となる。また、処理の軽量化も実現できる。
【００８２】
なお、ズーム位置の判定ステップＳ３３は、図１３に示す位置に設けてもよい。
【００８３】
〔デジタルカメラ１００の動作  その５〕
次に、デジタルカメラ１００の他の動作（その５）について図面を参照しながら説明する。
【００８４】
図１４は、デジタルカメラ１００の他の動作（その５）を説明するためのフローチャートである。
【００８５】
以下の処理は、特徴点抽出部３０により抽出された顔の特徴点（又は顔画像）と人物判別部３２により判定された結果（その顔画像が人物であることを識別するための識別子、又は、その顔画像が人物でないことを識別するための識別子等）とを対応づけてＲＡＭ等の記憶手段に記憶しておき、新たに抽出された顔の特徴点が記憶手段に記憶されていると判定された場合には、記憶手段から該顔の特徴点に対応づけて記憶されている判定結果を読み出す処理である。この処理は、主として、ＣＰＵ１８がＲＡＭ等に読み込まれた所定プログラムを実行することにより実現される。
【００８６】
デジタルカメラ１００の電源をオンすると、撮像素子１４により連続的な撮影が行われ、この撮像素子１４の出力信号から画像データが生成され、ＲＡＭ等の記憶手段に格納される（ステップＳ４０）。
【００８７】
顔画像抽出部２９は、ＲＡＭ等の記憶手段に格納された画像データから顔を含む顔画像を抽出する顔画像抽出処理を行う（ステップＳ４１）。次に、特徴点抽出部３０は、図３、図４、図５に示すように、顔画像抽出部２９により抽出された顔画像から該顔画像に含まれる顔の特徴点（例えば、眉、目、唇、又は歯）を抽出する処理を行う（ステップＳ４２）。上記ステップＳ４０からステップＳ４２の処理を予め定められた期間内又は予め定められたフレーム数分繰り返す。
【００８８】
次に、記憶手段内の顔画像と照合する（ステップＳ４３）。すなわち、特徴点抽出部３０により抽出された顔の特徴点（新たに抽出された顔の特徴点）がＲＡＭ等の記憶手段に記憶されているか否かを判定する。
【００８９】
その結果、新たに抽出された顔の特徴点が記憶手段に記憶されていないのであれば（ステップＳ４３：メモリ内の画像と一致しない）、特徴点変化検知部３１は、特徴点抽出部３０により抽出された顔の特徴点の経時的な変化を検出する特徴点変化検知処理を行う（ステップＳ４４）。例えば、各フレーム間の同一顔画像間の特徴点の一致度を算出し、この一致度が予め定められた閾値を越えた場合に、特徴点の経時的な変化ありを検出する。
【００９０】
人物判別部３２は、特徴点変化検知部３１により特徴点の経時的な変化ありと検出された場合（図４及び図５の左被写体）には（ステップＳ４５：Ｙｅｓ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物であると判定する（ステップＳ４６）。一方、特徴点変化検知部３１により特徴点の経時的な変化なしと検出された場合（図４及び図５右被写体）には（ステップＳ４５：Ｎｏ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ４８）。
【００９１】
そして、人物抽出部３３は、特徴点抽出部３０により抽出された顔の特徴点（又は顔画像）と人物判別部３２により判定された結果（その顔画像が人物であることを識別するための識別子、又は、その顔画像が人物でないことを識別するための識別子等）とを対応づけてＲＡＭ等の記憶手段に記憶する。
【００９２】
一方、新たに抽出された顔の特徴点が記憶手段に記憶されているのであれば（ステップＳ４３：メモリ内の画像と一致）、記憶手段から該顔の特徴点に対応づけて記憶されている判定結果を読み出す。
【００９３】
そして、その読み出した判定結果が人物でないことを表しているのであれば（ステップＳ４７：ポスター）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ４８）。一方、その判定結果が人物であることを表しているのであれば（ステップＳ４７：人物）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物と判定する（ステップＳ４６）。
【００９４】
以上説明したように、本動作では、新たに抽出された顔の特徴点が記憶手段に記憶されていると判定された場合（ステップＳ４３：メモリ内の画像と一致）には、抽出された顔の特徴点の経時的な変化を検出しなくてもよい（ステップＳ４４及びＳ４５の処理を行わなくてもよい）ので、極めて迅速に、人物か否かを判定することが可能となる。
【００９５】
〔第二実施形態〕
〔デジタルカメラ２００の構成〕
次に、本発明の第二実施形態であるデジタルカメラについて図面を参照しながら説明する。図１７は、本発明の第二実施形態であるデジタルカメラの構成を説明するためのブロック図である。
【００９６】
本実施形態のデジタルカメラ２００は、第一実施形態のデジタルカメラ１００の構成に加えてさらに、距離画像を得るための構成４０（発光素子駆動部４１、発光素子４２、光学フィルタ４３、撮像素子駆動部４４、受光素子４５、距離演算部４６等）、画像照合部４７を備えている。
【００９７】
発光素子駆動部４１は、ＣＰＵ１８から伝達される指示に従って、所定タイミングで発光素子４２を発光させて被写体に光を照射し、被写体からの反射光を光学フィルタ４３等を介して撮像素子駆動部４４により駆動させられる受光素子４５で受光し、距離演算部４６等により発光から受光までの光の位相差を被写体までの距離に換算した距離値を画素値とする距離画像を得る（例えば特開2006-172210号参照）。
【００９８】
画像照合部４７は、顔画像抽出部２９により抽出された顔画像と距離画像とを照合し、特徴点抽出部３０により抽出された顔の特徴点（例えば目、鼻）それぞれまでの距離を算出する。
【００９９】
人物判別部３２は、画像照合部４７により算出された顔画像中の特徴点それぞれまでの距離に基づいて、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物か否か、すなわち、実際にその場所にいる人物かあるいはポスター（又は絵画やフィギュア）か否かを判定する処理を行う。
【０１００】
他の構成については、第一実施形態と同様であるので同一の符号を付し説明を省略する。
【０１０１】
次に、上記構成のデジタルカメラ２００の動作について図面を参照しながら説明する。
【０１０２】
〔デジタルカメラ２００の動作〕
図１８は、第二実施形態のデジタルカメラの動作を説明するためのフローチャートである。
【０１０３】
以下の処理は、顔画像中の特徴点それぞれまでの距離に基づいて、顔画像に含まれる顔が人物か否かを判定する処理であり、主として、ＣＰＵ１８がＲＡＭ等に読み込まれた所定プログラムを実行することにより実現される。
【０１０４】
デジタルカメラ２００の電源をオンすると、撮像素子１４により連続的な撮影が行われ、この撮像素子１４の出力信号から画像データが生成され、ＲＡＭ等の記憶手段に格納される（ステップＳ５０）。
【０１０５】
顔画像抽出部２９は、ＲＡＭ等の記憶手段に格納された画像データから顔を含む画像を抽出する顔画像抽出処理を行う（ステップＳ５１）。
【０１０６】
次に、所定タイミングで発光素子４２を発光させて被写体に光を照射し（ステップＳ５２）、被写体からの反射光を光学フィルタ４３等を介して受光素子４５で受光し（ステップＳ５３）、距離演算部４６等により発光から受光までの光の位相差を被写体までの距離に換算した距離値を画素値とする距離画像を得る（ステップＳ５４）。
【０１０７】
次に、特徴点抽出部３０は、図３、図４、図５に示すように、顔画像抽出部２９により抽出された顔画像から該顔画像に含まれる顔の特徴点（右目、左目、鼻）を抽出する処理を行う（ステップＳ５５）。
【０１０８】
そして、画像照合部４７は、顔画像抽出部２９により抽出された顔画像と距離画像とを照合し、特徴点抽出部３０により抽出された顔の特徴点である右目、左目、鼻それぞれまでの距離Ｌ１、Ｌ２、Ｌ３を得る（ステップＳ５６）。
【０１０９】
人物判別部３２は、これらの距離Ｌ１、Ｌ２、Ｌ３が人物の条件を満たすか否かを演算する（ステップＳ５７）。例えば、人物の条件（Ｌ１＋Ｌ２）／２＝Ｌ３を演算し、その人物の条件を満たすのであれば（ステップＳ５８：Ｙｅｓ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物であると判定する（ステップＳ５９）。一方、その人物の条件を満たさないのであれば（ステップＳ５８：Ｎｏ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ６０）。
【０１１０】
人物抽出部３３は、特徴点抽出部３０により抽出された顔の特徴点（又は顔画像）と人物判別部３２により判定された結果（その顔画像が人物であることを識別するための識別子、又は、その顔画像が人物でないことを識別するための識別子等）とを対応づけてＲＡＭ等の記憶手段に記憶する。
【０１１１】
以上説明したように、本動作では、抽出された顔の特徴点である右目、左目、鼻それぞれまでの距離Ｌ１、Ｌ２、Ｌ３を得て（ステップＳ５６）、これらの距離Ｌ１、Ｌ２、Ｌ３が人物の条件を満たすか否かを演算する（ステップＳ５７）。そして、その人物の条件を満たすのであれば（ステップＳ５８：Ｙｅｓ）、顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物であると判定する（ステップＳ５９）。一方、その人物の条件を満たさないのであれば（ステップＳ５８：Ｎｏ）、顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ６０）。
【０１１２】
したがって、デジタルカメラ１００で人物以外のポスター等を含む被写体を撮影した場合には、そのポスター等を人物として認識するのを防止することが可能となる。
【０１１３】
なお、人物の条件は（Ｌ１＋Ｌ２）／２＝Ｌ３に限定されない。測距に誤差ΔＬが含まれていると想定される場合には、人物の条件は（Ｌ１＋Ｌ２）／２＞Ｌ３＋ΔＬであってもよい。さらに、人物以外の条件（Ｌ１＋Ｌ２）／２＜Ｌ３＋ΔＬを採用してもよい。
【０１１４】
あるいは、人物以外の条件として、Ｌ１＜Ｌ３＜Ｌ２、又は、Ｌ１＞Ｌ３＞Ｌ２を採用し、人物の条件として、これら条件を満たさない場合、を採用してもよい。その他、人物の条件として、各種の条件を採用し得る。
【０１１５】
〔第三実施形態〕
〔デジタルカメラ３００の構成〕
次に、本発明の第三実施形態であるデジタルカメラについて図面を参照しながら説明する。図１９は、本発明の第三実施形態であるデジタルカメラの構成を説明するためのブロック図である。
【０１１６】
本実施形態のデジタルカメラ３００は、第二実施形態のデジタルカメラ２００の構成に加えてさらに、ズームの影響を除去するためのズーム倍率演算部５０を備えている。
【０１１７】
他の構成については、第二実施形態と同様であるので同一の符号を付し説明を省略する。
【０１１８】
〔デジタルカメラ３００の動作  その１〕
次に、上記構成のデジタルカメラ３００の動作（その１）について図面を参照しながら説明する。
【０１１９】
図２０は、第三実施形態のデジタルカメラの動作（その１）を説明するためのフローチャートである。
【０１２０】
以下の処理は、主として、ＣＰＵ１８がＲＡＭ等に読み込まれた所定プログラムを実行することにより実現される。
【０１２１】
デジタルカメラ２００の電源をオンすると、撮像素子１４により連続的な撮影が行われ、この撮像素子１４の出力信号から画像データが生成され、ＲＡＭ等の記憶手段に格納される（ステップＳ７０）。
【０１２２】
顔画像抽出部２９は、ＲＡＭ等の記憶手段に格納された画像データから顔を含む画像を抽出する顔画像抽出処理を行う（ステップＳ７１）。
【０１２３】
次に、所定タイミングで発光素子４２を発光させて被写体に光を照射し（ステップＳ７２）、被写体からの反射光を光学フィルタ４３等を介して受光素子４５で受光し（ステップＳ７３）、距離演算部４６等により発光から受光までの光の位相差を被写体までの距離に換算した距離値を画素値とする距離画像を得る（ステップＳ７４）。
【０１２４】
次に、特徴点抽出部３０は、図３、図４、図５に示すように、顔画像抽出部２９により抽出された顔画像から該顔画像に含まれる顔の特徴点（右目、左目、鼻）を抽出する処理を行う（ステップＳ７５）。
【０１２５】
そして、ズーム倍率演算部５０は、顔画像の特徴点に対応する画像エリアにズーム倍率の影響を補正する（ステップＳ７６）。これは、特徴点の大きさを判断するためにズームの影響を除去するための処理である。ズームの影響を除去した特徴点のサイズと距離からそれが人物として適切か否かを判定する。
【０１２６】
この判定方法について、図２１から図２３を参照しながら説明する。
【０１２７】
図２１はポスターの前に人物が位置している状態を示している。図２２は、図２１に示したポスター及び人物とデジタルカメラ３００との位置関係を示している。図２３は、「デジタルカメラ３００からの距離」と「画像上の特徴点間の距離」との関係を示している。
【０１２８】
図２１に示すように、顔画像の特徴点として右目、左目、鼻の頂点を採用し、例えば、それぞれの顔についてＴ１、Ｔ２、Ｔ３、及びＴ´１、Ｔ´２、Ｔ´３で表す。また、Ｔ１、Ｔ２、Ｔ３の重心、Ｔ´１、Ｔ´２、Ｔ´３の重心をそれぞれ、Ｔ４、Ｔ´４で表す。さらに図２２に示すように、デジタルカメラ３００から重心Ｔ４、Ｔ´４までの距離をそれぞれ、Ｌ４、Ｌ´４で表す。また図２１に示すように、「画像上の特徴点間の距離」として例えば、右目と鼻の頂点間の距離をそれぞれ、Ｌ５、Ｌ５´で表す。
【０１２９】
そして、ＲＡＭ等の記憶手段内に図２３に示す「デジタルカメラ３００からの距離」と「画像上の特徴点間の距離」との座標系、及びこの座標系上に設定された人物領域及び人物以外の領域（図中ポートレート領域）を表すテーブルあるいは式を記憶させておく。
【０１３０】
ズーム倍率演算部５０は、顔画像抽出部２９により抽出された顔画像と距離画像とを照合等し、距離Ｌ４、Ｌ５、Ｌ´４、Ｌ´５を得る（ステップＳ７７）。
【０１３１】
人物判別部３２は、これらの距離Ｌ４、Ｌ５、Ｌ´４、Ｌ´５が人物の条件を満たすか否かを判定する（ステップＳ７８）。すなわち、距離Ｌ４とＬ５に対応する座標系の位置（又はＬ´４とＬ´５に対応する座標系の位置）が人物領域に該当するか否かを判定する。その結果、距離Ｌ４とＬ５に対応する座標系の位置（又は距離Ｌ´４とＬ´５に対応する座標系の位置）が人物領域に該当する（人物の条件を満たす）のであれば（ステップＳ７８：Ｙｅｓ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物であると判定する（ステップＳ７９）。一方、距離Ｌ４とＬ５に対応する座標系の位置（又は距離Ｌ´４とＬ´５に対応する座標系の位置）が人物領域に該当しない（人物の条件を満たさない）のであれば（ステップＳ７８：Ｎｏ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ８０）。
【０１３２】
人物抽出部３３は、特徴点抽出部３０により抽出された顔の特徴点（又は顔画像）と人物判別部３２により判定された結果（その顔画像が人物であることを識別するための識別子、又は、その顔画像が人物でないことを識別するための識別子等）とを対応づけてＲＡＭ等の記憶手段に記憶する。
【０１３３】
以上説明したように、本動作では、距離Ｌ４、Ｌ５、Ｌ´４、Ｌ´５が人物の条件を満たすか否かを判定する（ステップＳ７８）。そして、その人物の条件を満たすのであれば（ステップＳ７８：Ｙｅｓ）、顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物であると判定する（ステップＳ７９）。一方、その人物の条件を満たさないのであれば（ステップＳ７８：Ｎｏ）、顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ８０）。
【０１３４】
したがって、デジタルカメラ１００で人物以外のポスター等を含む被写体を撮影した場合には、そのポスター等を人物として認識するのを防止することが可能となる。
【０１３５】
また、ズームの影響を除去した顔の長さと距離情報をもとに、それぞれの顔画像について人物か否かを判断することが可能となる。
【０１３６】
なお、少なくとも２組の特徴点について上記処理を行うことで、誤判定の確率を低減することが可能となる。
【０１３７】
〔デジタルカメラ３００の動作  その２〕
次に、上記構成のデジタルカメラ３００の他の動作（その２）について図面を参照しながら説明する。
【０１３８】
図２４は、第三実施形態のデジタルカメラ３００の他の動作（その２）を説明するためのフローチャートである。
【０１３９】
以下の処理は、主として、ＣＰＵ１８がＲＡＭ等に読み込まれた所定プログラムを実行することにより実現される。
【０１４０】
デジタルカメラ３００の電源をオンすると、撮像素子１４により連続的な撮影が行われ、この撮像素子１４の出力信号から画像データが生成され、ＲＡＭ等の記憶手段に格納される（ステップＳ９０）。
【０１４１】
顔画像抽出部２９は、ＲＡＭ等の記憶手段に格納された画像データから顔を含む画像を抽出する顔画像抽出処理を行う（ステップＳ９１）。
【０１４２】
次に、所定タイミングで発光素子４２を発光させて被写体に光を照射し（ステップＳ９２）、被写体からの反射光を光学フィルタ４３等を介して受光素子４５で受光し（ステップＳ９３）、距離演算部４６等により発光から受光までの光の位相差を被写体までの距離に換算した距離値を画素値とする距離画像を得る（ステップＳ９４）。
【０１４３】
次に、特徴点抽出部３０は、図３、図４、図５に示すように、顔画像抽出部２９により抽出された顔画像から該顔画像に含まれる顔の特徴点（右目、左目、鼻）を抽出する処理を行う（ステップＳ９５）。
【０１４４】
そして、画像照合部４７は、顔画像抽出部２９により抽出された顔画像と距離画像とを照合し、特徴点抽出部３０により抽出された顔の特徴点である右目、左目、鼻それぞれまでの距離Ｌ１、Ｌ２、Ｌ３を得る（ステップＳ９６）。
【０１４５】
人物判別部３２は、これらの距離Ｌ１、Ｌ２、Ｌ３が人物の条件を満たすか否かを演算する（ステップＳ９７）。例えば、人物の条件（Ｌ１＋Ｌ２）／２＝Ｌ３を演算し、その人物の条件を満たすのであれば（ステップＳ９８：Ｙｅｓ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物であると判定する（ステップＳ１０３）。一方、その人物の条件を満たさないのであれば（ステップＳ９８：Ｎｏ）、さらに次の処理を行う。
【０１４６】
すなわち、ズーム倍率演算部５０は、顔画像の特徴点に対応する画像エリアにズーム倍率の影響を補正する（ステップＳ９９）。これは、特徴点の大きさを判断するためにズームの影響を除去するための処理である。ズームの影響を除去した特徴点のサイズと距離からそれが人物として適切か否かを判定する。この判定方法については、既に説明した（ステップＳ７６参照）。
【０１４７】
ズーム倍率演算部５０は、顔画像抽出部２９により抽出された顔画像と距離画像とを照合等し、距離Ｌ４、Ｌ５、Ｌ´４、Ｌ´５を得る（ステップＳ１００）。
【０１４８】
人物判別部３２は、これらの距離Ｌ４、Ｌ５、Ｌ´４、Ｌ´５が人物の条件を満たすか否かを判定する（ステップＳ１０１）。すなわち、距離Ｌ４とＬ５に対応する座標系の位置（又は距離Ｌ´４とＬ´５に対応する座標系の位置）が人物領域に該当するか否かを判定する。その結果、距離Ｌ４とＬ５に対応する座標系の位置（又は距離Ｌ´４とＬ´５に対応する座標系の位置）が人物領域に該当する（人物の条件を満たす）のであれば（ステップＳ１０１：Ｙｅｓ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物であると判定する（ステップＳ１０３）。一方、距離Ｌ４とＬ５に対応する座標系の位置（又は距離Ｌ´４とＬ´５に対応する座標系の位置）が人物領域に該当しない（人物の条件を満たさない）のであれば（ステップＳ１０１：Ｎｏ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ１０２）。
【０１４９】
人物抽出部３３は、特徴点抽出部３０により抽出された顔の特徴点（又は顔画像）と人物判別部３２により判定された結果（その顔画像が人物であることを識別するための識別子、又は、その顔画像が人物でないことを識別するための識別子等）とを対応づけてＲＡＭ等の記憶手段に記憶する。
【０１５０】
なお、ステップＳ９６からＳ９８の処理は、ステップＳ１０１の後に行ってもよい。
【０１５１】
〔デジタルカメラ３００の動作  その３〕
次に、上記構成のデジタルカメラ３００の他の動作（その３）について図面を参照しながら説明する。
【０１５２】
図２５は、第三実施形態のデジタルカメラの他の動作（その３）を説明するためのフローチャートである。
【０１５３】
以下の処理は、主として、ＣＰＵ１８がＲＡＭ等に読み込まれた所定プログラムを実行することにより実現される。
【０１５４】
デジタルカメラ３００の電源をオンすると、撮像素子１４により連続的な撮影が行われ、この撮像素子１４の出力信号から画像データが生成され、ＲＡＭ等の記憶手段に格納される（ステップＳ１１０）。
【０１５５】
顔画像抽出部２９は、ＲＡＭ等の記憶手段に格納された画像データから顔を含む画像を抽出する顔画像抽出処理を行う（ステップＳ１１１）。
【０１５６】
次に、所定タイミングで発光素子４２を発光させて被写体に光を照射し（ステップＳ１１２）、被写体からの反射光を光学フィルタ４３等を介して受光素子４５で受光し（ステップＳ１１３）、距離演算部４６等により発光から受光までの光の位相差を被写体までの距離に換算した距離値を画素値とする距離画像を得る（ステップＳ１１４）。
【０１５７】
次に、特徴点抽出部３０は、図３、図４、図５に示すように、顔画像抽出部２９により抽出された顔画像から該顔画像に含まれる顔の特徴点（右目、左目、鼻）を抽出する処理を行う（ステップＳ１１５）。
【０１５８】
そして、ズーム倍率演算部５０は、顔画像の特徴点に対応する画像エリアにズーム倍率の影響を補正する（ステップＳ１１６）。これは、特徴点の大きさを判断するためにズームの影響を除去するための処理である。ズームの影響を除去した特徴点のサイズと距離からそれが人物として適切か否かを判定する。この判定方法については、既に説明した（ステップＳ７６参照）。
【０１５９】
ズーム倍率演算部５０は、顔画像抽出部２９により抽出された顔画像と距離画像とを照合等し、距離Ｌ４、Ｌ５、Ｌ´４、Ｌ´５を得る（ステップＳ１１７）。
【０１６０】
人物判別部３２は、これらの距離Ｌ４、Ｌ５、Ｌ´４、Ｌ´５が人物の条件を満たすか否かを判定する（ステップＳ１１８）。すなわち、距離Ｌ４とＬ５に対応する座標系の位置（又は距離Ｌ´４とＬ´５に対応する座標系の位置）が人物領域に該当するか否かを判定する。その結果、距離Ｌ４とＬ５に対応する座標系の位置（又は距離Ｌ´４とＬ´５に対応する座標系の位置）が人物領域に該当しない（人物の条件を満たさない）のであれば（ステップＳ１１８：Ｎｏ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ１２３）。
【０１６１】
一方、距離Ｌ４とＬ５に対応する座標系の位置（又は距離Ｌ´４とＬ´５に対応する座標系の位置）が人物領域に該当する（人物の条件を満たす）のであれば（ステップＳ１１８：Ｙｅｓ）、さらに次の処理を行う。
【０１６２】
画像照合部４７は、顔画像抽出部２９により抽出された顔画像と距離画像とを照合し、特徴点抽出部３０により抽出された顔の特徴点である右目、左目、鼻それぞれまでの距離Ｌ１、Ｌ２、Ｌ３を得る（ステップＳ１１９）。
【０１６３】
人物判別部３２は、これらの距離Ｌ１、Ｌ２、Ｌ３が人物の条件を満たすか否かを演算する。例えば、人物の条件（Ｌ１＋Ｌ２）／２＝Ｌ３を演算し（ステップＳ１２０）、その人物の条件を満たすのであれば（ステップＳ１２１：Ｙｅｓ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物である、すなわち、実際にその場所にいる人物であると判定する（ステップＳ１２２）。一方、その人物の条件を満たさないのであれば（例えば図４及び図５右側被写体）には（ステップＳ１２１：Ｎｏ）、顔画像抽出部２９により抽出された顔画像に含まれる顔が人物ではない、すなわち、ポスター（又は絵画やフィギュア）と判定する（ステップＳ１２３）。
【０１６４】
人物抽出部３３は、特徴点抽出部３０により抽出された顔の特徴点（又は顔画像）と人物判別部３２により判定された結果（その顔画像が人物であることを識別するための識別子、又は、その顔画像が人物でないことを識別するための識別子等）とを対応づけてＲＡＭ等の記憶手段に記憶する。
【０１６５】
なお、ステップＳ１１６からＳ１１８の処理は、ステップＳ１２１の後に行ってもよい。また、図２６に示すように、ステップＳ１１９からＳ１２１に代えて、図２で説明したステップＳ１４の処理を行ってもよい。
【０１６６】
以上説明したように、上記各実施形態の各動作により、デジタルカメラ１００、２００、３００で人物以外のポスター等を含む被写体を撮影した場合には、そのポスター等を人物として認識するのを防止することが可能となる。
【０１６７】
そして、顔画像に含まれる顔が人物であると判断された場合には、ＡＥ評価の重み付けを行ったり、該人物に優先的に合焦させたりすることで、より適切な撮影を行うことが可能となる。
【０１６８】
あるいは、人物であるか否かの判定結果を表す表示を表示面に表示することもできる。例えば、図１６に示すように、いわゆるスルー画像に、人物であると判定された被写体を点線矩形枠（例えば青色）で囲って表示し、人物でないと判定された被写体を点線矩形枠（例えば赤色）で囲って表示することが考えられる。あるいは、人物であると判定された被写体のみを矩形枠で囲って表示することも考えられる。
【０１６９】
なお、デジタルカメラ１００にジャイロ、加速度センサ、ＧＰＳ、電子コンパス等のカメラ自体の変位を検知する手段を設け、これによりデジタルカメラ１００が動いた分を補正して、被写体の特徴点の変位の検知を行うことも考えられる。
【０１７０】
上記実施形態はあらゆる点で単なる例示にすぎない。これらの記載によって本発明は限定的に解釈されるものではない。本発明はその精神または主要な特徴から逸脱することなく他の様々な形で実施することができる。
【図面の簡単な説明】
【０１７１】
【図１】本発明の第一実施形態であるデジタルカメラの構成を説明するためのブロック図である。
【図２】第一実施形態のデジタルカメラの動作（その１）を説明するためのフローチャートである。
【図３】顔画像から抽出される特徴点について説明するための図である。
【図４】特徴点の変化を説明するための図である。
【図５】特徴点の変化を説明するための図である。
【図６】デジタルカメラの位置がずれる等により、今回のフレームと直前のフレームとで被写体が相対的に移動した状態を説明するための図である。
【図７】デジタルカメラの位置がずれる等により、今回のフレームと直前のフレームとで被写体が相対的に移動した状態を説明するための図である。
【図８】顔画像から抽出される特徴点について説明するための図である。
【図９】顔画像から抽出される特徴点について説明するための図である。
【図１０】デジタルカメラ１００の他の動作（その３）を説明するためのフローチャートである。
【図１１】顔画像の面積の求め方を説明するための図である。
【図１２】デジタルカメラ１００の他の動作（その４）を説明するためのフローチャートである。
【図１３】デジタルカメラ１００の他の動作（その４）の変形例を説明するためのフローチャートである。
【図１４】デジタルカメラ１００の他の動作（その５）を説明するためのフローチャートである。
【図１５】デジタルカメラ１００の内部メモリ（ＲＡＭ等の記憶手段）に、特徴点抽出部３０により抽出された顔の特徴点と人物判別部３２により判定された結果とを対応づけて格納した状態を模式的に説明するための図である。
【図１６】人物である可否かの判定結果を表す表示の例である。
【図１７】本発明の第二実施形態であるデジタルカメラの構成を説明するためのブロック図である。
【図１８】第一実施形態のデジタルカメラの動作を説明するためのフローチャートである。
【図１９】本発明の第三実施形態であるデジタルカメラの構成を説明するためのブロック図である。
【図２０】デジタルカメラ３００の他の動作（その１）を説明するためのフローチャートである。
【図２１】顔画像の特徴点に対応する画像エリアにズーム倍率の影響を補正する方法について説明するための図である。
【図２２】顔画像の特徴点に対応する画像エリアにズーム倍率の影響を補正する方法について説明するための図である。
【図２３】顔画像の特徴点に対応する画像エリアにズーム倍率の影響を補正する方法について説明するための図である。
【図２４】第三実施形態のデジタルカメラの動作（その２）を説明するためのフローチャートである。
【図２５】第三実施形態のデジタルカメラの動作（その３）を説明するためのフローチャートである。
【図２６】第三実施形態のデジタルカメラの動作（その３）の変形例を説明するためのフローチャートである。
【符号の説明】
【０１７２】
１０…レンズ、１１…シャッタ、１３…光学フィルタ、１４…撮像素子、１５…レンズ駆動部、１６…シャッタ駆動部、１７…絞り駆動部、１９…撮像素子駆動部、２０…アナログ信号処理部、２１…Ａ／Ｄ変換器、２２…デジタル信号処理部、２３…表示部、２４…Ｄ／Ａ変換部、２５…記録再生信号処理部、２６…外部メモリ、２７…ＡＥ演算部、２８…ＡＦ演算部、２９…顔画像抽出部、３０…特徴点抽出部、３１…特徴点変化検知部、３２…人物判別部、３３…人物抽出部、３４…操作部、４１…発光素子駆動部、４２…発光素子、４３…光学フィルタ、４４…撮像素子駆動部、４５…受光素子、４６…距離演算部、４７…画像照合部、５０…ズーム倍率演算部、１００、２００、３００…デジタルカメラ
【図１】
2008187677.tif 000003
【図２】
2008187677.tif 000004
【図３】
2008187677.tif 000005
【図４】
2008187677.tif 000006
【図５】
2008187677.tif 000007
【図６】
2008187677.tif 000008
【図７】
2008187677.tif 000009
【図８】
2008187677.tif 000010
【図９】
2008187677.tif 000011
【図１０】
2008187677.tif 000012
【図１１】
2008187677.tif 000013
【図１２】
2008187677.tif 000014
【図１３】
2008187677.tif 000015
【図１４】
2008187677.tif 000016
【図１５】
2008187677.tif 000017
【図１６】
2008187677.tif 000018
【図１７】
2008187677.tif 000019
【図１８】
2008187677.tif 000020
【図１９】
2008187677.tif 000021
【図２０】
2008187677.tif 000022
【図２１】
2008187677.tif 000023
【図２２】
2008187677.tif 000024
【図２３】
2008187677.tif 000025
【図２４】
2008187677.tif 000026
【図２５】
2008187677.tif 000027
【図２６】
2008187677.tif 000028