(57)【要約】【課題】顔の一部が入力画像からはみ出ている端顔の検出を行う。【解決手段】顔検出装置は、入力画像（２００）の周囲にダミー画像（２０１）を追加し、入力画像端を超えて顔検出を行うことによって、顔の一部が前記入力画像端にかかった端顔の検出を行う端顔検出処理部を備えている。端顔検出処理部は、合成画像内に定義した判定領域内の画像と所定の辞書データとから、該画像と基準顔画像の類似度を算出し、類似度と判定閾値を比較することによって判定領域内に端顔が存在しているか否かを判定する。ダミー画像の各画素値には、端顔検出判定に影響が出ないような画素値が設定される。【選択図】図１１
2008181439.tif 000002
【特許請求の範囲】
【請求項１】
顔検出を行う顔検出装置において、
入力画像の周囲にダミー画像を追加し、入力画像端を超えて顔検出を行うことによって、顔の一部が前記入力画像端にかかった端顔の検出を行う端顔検出手段を備えた
ことを特徴とする顔検出装置。
【請求項２】
前記端顔検出手段は、
前記入力画像と前記ダミー画像の合成画像内に判定領域を定義し、
前記判定領域内の画像と所定の辞書データとの類似度を算出する類似度算出手段と、
判定閾値を設定するための判定閾値設定手段と、を備えて、
前記類似度と前記判定閾値を比較することにより前記判定領域内に前記端顔が存在するか否かを判定する
ことを特徴とする請求項１に記載の顔検出装置。
【請求項３】
前記入力画像内に存在する顔を検出する顔検出手段を更に備え、
前記端顔検出手段は、前記顔検出手段の顔検出結果に応じて前記端顔の検出条件を変更する
ことを特徴とする請求項１または請求項２に記載の顔検出装置。
【請求項４】
前記端顔検出手段は、前記顔検出手段によって検出された顔の、サイズ、位置及び向きの少なくとも１つに基づいて、前記端顔の検出条件を変更する
ことを特徴とする請求項３に記載の顔検出装置。
【請求項５】
当該顔検出装置は、撮像手段を有する撮像装置に搭載され、
前記入力画像は、前記撮像手段の撮影画像から生成され、
前記端顔検出手段は、前記撮影画像の撮影時における前記撮像装置の傾きに応じて前記端顔の検出条件を変更する
ことを特徴とする請求項１または請求項２に記載の顔検出装置。
【請求項６】
入力画像内に存在する顔を検出する顔検出手段を備えた顔検出装置において、
顔の一部が入力画像端にかかった端顔の検出を行う端顔検出手段を更に備え、
前記端顔検出手段は、前記顔検出手段の顔検出結果に応じて前記端顔の検出条件を変更する
ことを特徴とする顔検出装置。
【請求項７】
撮像手段を有する撮像装置に搭載された顔検出装置において、
前記撮像手段の撮影画像から生成された入力画像を受け、顔の一部が入力画像端にかかった端顔の検出を行う端顔検出手段を備え、
前記端顔検出手段は、前記撮影画像の撮影時における前記撮像装置の傾きに応じて前記端顔の検出条件を変更する
ことを特徴とする顔検出装置。
【請求項８】
撮像手段と、
請求項１〜請求項７の何れかに記載の顔検出装置と、を備えた撮像装置であって、
前記顔検出装置に対する前記入力画像は、前記撮像手段の撮影画像に基づいて生成される
ことを特徴とする撮像装置。
【請求項９】
顔検出を行う顔検出方法において、
入力画像の周囲にダミー画像を追加し、入力画像端を超えて顔検出を行うことによって、顔の一部が前記入力画像端にかかった端顔の検出を行う
ことを特徴とする顔検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の顔を検出する顔検出装置及び顔検出方法並びにそれらを利用した撮像装置に関する。
【背景技術】
【０００２】
撮像装置を用いた静止画または動画の撮影時における失敗の１つとして被写体切れがある。被写体切れとは、撮影者が着目している被写体が撮影領域内からはみ出してしまうことを意味する。特に、この被写体が人物である場合、被写体切れは重大な失敗としてユーザに認知される。
【０００３】
撮影時に人物の顔を被写体として含めることは極めて多く、また、人物を撮影する際に撮影者が意図的に顔を撮影領域からはみ出させることは考えにくい。被写体切れを起こしている顔を検出することができれば、その検出結果を用いて構図を調整したりすることにより、より望ましい画像を得ることも可能となる。このことからも、被写体切れを起こしている顔（端顔）を検出することは重要である。
【０００４】
従来、顔検出手法として、パターン認識による顔マッチングを用いた手法、肌色を基準とする色抽出を用いた手法、顔の特徴量を大量のデータから学習する学習処理を介した手法など、様々な手法が提案されている。しかしながら、これらの従来の顔検出手法は、顔の全体が映っていることを前提としている。つまり、従来の顔検出手法は、画像内に存在する完全な顔を対象に顔検出処理を行うものであるため、一部が画像からはみ出しているような顔を検出することはできない。
【０００５】
これに鑑み、下記特許文献１には、フレーム（画像）から被写体の顔がはみ出しているか否かを検出する手法が開示されている。この手法では、肌色領域の抽出を介して、顔の被写体切れ検出を行うようにしている。しかしながら、肌色抽出を用いたアルゴリズムは、一般的に知られているように、人種による肌色の違いや撮影条件（周囲環境光など）の違いに大きく左右されてしまう。また、下記特許文献１には、目・鼻・口などに対応する特徴点の検出を介して、顔の被写体切れ検出を行うことも開示されている。しかしながら、それは、顔部品である目・鼻・口がそれぞれ独立に検出されることが前提となる技術であり、一般的に知られているように、顔部品検出は誤検出が比較的多い。このように、特許文献１の手法では、問題も多い。
【０００６】
また、下記特許文献２には、フレーム間差分を用いて顔の被写体切れ検出を行う手法が開示されている。しかしながら、これは、動画を対象とした手法であり、静止画への適応は不可能である。また、顔が映っている状態からの変化をフレーム間差分を用いて検出し、これによって被写体切れ検出を行うようにしているため、顔が撮影領域外から入ってくる動作には対応できない。
【０００７】
この他、顔検出に関する様々な手法が提案されているが（下記特許文献３〜５など）、良好に顔の被写体切れを検出する手法は存在していない。
【０００８】
【特許文献１】特開２００５−６５２６５号公報
【特許文献２】特開２００３−３２３６２１号公報
【特許文献３】特開２００６−１０１１８６号公報
【特許文献４】特開２００５−２１７７６８号公報
【特許文献５】特開２００５−１１７３１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述の如く、従来の顔検出手法は、顔検出を行う部位に対する入力画像内に完全な顔が存在することを前提としており、このままでは、被写体切れを起こした顔（端顔）を検出することができない。また、被写体切れを起こした顔を検出する際、検出条件（画像内のどの範囲を検出範囲とするかなどの条件）を適切に設定してやれば処理時間の短縮化等を見込める。このため、上記のような検出条件を如何にして設定してやるかも重要である。
【００１０】
そこで本発明は、良好な端顔検出を行うことのできる顔検出装置及び顔検出方法並びに撮像装置を提供することを目的とする。また本発明は、端顔検出のための処理時間の短縮化等に寄与する顔検出装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため本発明に係る第１の顔検出装置は、顔検出を行う顔検出装置において、入力画像の周囲にダミー画像を追加し、入力画像端を超えて顔検出を行うことによって、顔の一部が前記入力画像端にかかった端顔の検出を行う端顔検出手段を備えたことを特徴とする。
【００１２】
これにより、良好な端顔検出が実現可能となる。
【００１３】
具体的には例えば、前記端顔検出手段は、前記入力画像と前記ダミー画像の合成画像内に判定領域を定義し、前記判定領域内の画像と所定の辞書データとの類似度を算出する類似度算出手段と、判定閾値を設定するための判定閾値設定手段と、を備えて、前記類似度と前記判定閾値を比較することにより前記判定領域内に前記端顔が存在するか否かを判定する。
【００１４】
そして例えば、前記判定閾値設定手段は、前記判定領域と前記ダミー画像との重なり領域の前記類似度への寄与成分に応じて前記判定閾値を変更する。
【００１５】
これにより、端顔検出に対する重なり領域内の画像の画素値の影響を、排除或いは抑制することが可能となる。
【００１６】
これに代えて例えば、前記端顔検出手段は、前記判定領域と前記ダミー画像との重なり領域の前記類似度への寄与成分がゼロとなるような画素値を、前記重なり領域内の画像の画素値として設定するようにしてもよい。
【００１７】
また例えば、前記入力画像内に存在する顔を検出する顔検出手段を更に備え、前記端顔検出手段は、前記顔検出手段の顔検出結果に応じて前記端顔の検出条件を変更する。
【００１８】
これにより、例えば、顔検出手段によって検出された顔のサイズに応じて端顔の検出サイズに上下限を設けるといったことが可能となる。上下限を設ければ、端顔検出のための処理時間の短縮化や、端顔の誤検出又は過検出の抑制効果を期待できる。
【００１９】
具体的には例えば、前記端顔検出手段は、前記顔検出手段によって検出された顔の、サイズ、位置及び向きの少なくとも１つに基づいて、前記端顔の検出条件を変更する。
【００２０】
また例えば、当該顔検出装置は、撮像手段を有する撮像装置に搭載され、前記入力画像は、前記撮像手段の撮影画像から生成され、前記端顔検出手段は、前記撮影画像の撮影時における前記撮像装置の傾きに応じて前記端顔の検出条件を変更する。
【００２１】
これにより、例えば、撮影時の撮像装置の傾きに応じて端顔の検出範囲に制限を加えるといったことが可能となる。端顔の検出範囲に制限を設ければ、端顔検出のための処理時間の短縮化や、端顔の誤検出又は過検出の抑制効果を期待できる。
【００２２】
上記目的を達成するため本発明に係る第２の顔検出装置は、入力画像内に存在する顔を検出する顔検出手段を備えた顔検出装置において、顔の一部が入力画像端にかかった端顔の検出を行う端顔検出手段を更に備え、前記端顔検出手段は、前記顔検出手段の顔検出結果に応じて前記端顔の検出条件を変更する。
【００２３】
これにより、例えば、顔検出手段によって検出された顔のサイズに応じて端顔の検出サイズに上下限を設けるといったことが可能となる。上下限を設ければ、端顔検出のための処理時間の短縮化や、端顔の誤検出又は過検出の抑制効果を期待できる。
【００２４】
上記目的を達成するため本発明に係る第３の顔検出装置は、撮像手段を有する撮像装置に搭載された顔検出装置において、前記撮像手段の撮影画像から生成された入力画像を受け、顔の一部が入力画像端にかかった端顔の検出を行う端顔検出手段を備え、前記端顔検出手段は、前記撮影画像の撮影時における前記撮像装置の傾きに応じて前記端顔の検出条件を変更する。
【００２５】
これにより、例えば、撮影時の撮像装置の傾きに応じて端顔の検出範囲に制限を加えるといったことが可能となる。端顔の検出範囲に制限を設ければ、端顔検出のための処理時間の短縮化や、端顔の誤検出又は過検出の抑制効果を期待できる。
【００２６】
上記目的を達成するため本発明に係る撮像装置は、撮像手段と、上記の何れかに記載の顔検出装置と、を備えた撮像装置であって、前記顔検出装置に対する前記入力画像は、前記撮像手段の撮影画像に基づいて生成される。
【００２７】
上記目的を達成するため本発明に係る顔検出方法は、顔検出を行う顔検出方法において、入力画像の周囲にダミー画像を追加し、入力画像端を超えて顔検出を行うことによって、顔の一部が前記入力画像端にかかった端顔の検出を行うことを特徴とする。
【発明の効果】
【００２８】
本発明によれば、良好な端顔検出を行うことのできる顔検出装置及び顔検出方法並びに撮像装置を提供することができる。また、端顔検出のための処理時間の短縮化等に寄与する顔検出装置及び撮像装置を提供することができる。
【００２９】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００３１】
＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。図１の撮像装置１は、静止画を撮影及び記録可能なデジタルスチルカメラ、又は、静止画及び動画を撮影及び記録可能なデジタルビデオカメラである。
【００３２】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、傾きセンサ１８と、顔検出部１９と、を備えている。操作部１７には、シャッタボタン１７ａが備えられている。
【００３３】
撮像部１１は、光学系と、絞りと、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子と、光学系や絞りを制御するためのドライバ（全て不図示）と、を有している。ドライバは、主制御部１３からのＡＦ／ＡＥ制御信号に基づいて、光学系のズーム倍率や焦点距離、及び、絞りの開度を制御する。撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。
【００３４】
ＡＦＥ１２は、撮像部１１（撮像素子）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。
【００３５】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としても機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
【００３６】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、直前のフレームにて撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。
【００３７】
操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画の撮影及び記録を指示するためのボタンである。
【００３８】
傾きセンサ１８は、鉛直線に対する撮像装置１の傾きを検出する。今、水平線を撮影した時における撮影画像上の水平線が撮影画像上の水平方向（水平ライン）と合致する状態を横撮影状態とする。この横撮影状態において撮像装置１は傾いていないものとし（即ち、傾きは０度であるとし）、傾きセンサ１８は、この横撮影状態からの撮像装置１の傾きを検出する。横撮影状態にある撮像装置１を９０度傾けると、水平線を撮影した時における撮影画像上の水平線が撮影画像上の垂直方向（垂直ライン）と合致する状態となり、この状態を縦撮影状態と呼ぶ。撮像装置１の現在の状態が、横撮影状態であるのか或いは縦撮影状態であるのかを表す傾きデータは、主制御部１３に伝達される。
【００３９】
撮像装置１の動作モードには、静止画または動画の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された静止画または動画を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行い、各フレームにて得られる撮影画像は、顔検出部１９に与えられる。顔検出部１９による顔検出の際、撮影画像は縮小されうる。従って、その縮小画像と撮影画像そのものとを明確に区別するため、縮小されていない撮影画像を、以下「原画像」とよぶことにする。
【００４０】
図２に顔検出部１９の内部ブロック図を示す。図２の顔検出部１９は、画像入力部３０、全顔検出処理部３１、端顔検出処理部３２、顔検出結果統合部３３及び顔辞書メモリ３４を備える。
【００４１】
画像入力部３０は、原画像に基づく画像を入力画像として全顔検出処理部３１及び端顔検出処理部３２に与える。以下、特に記述しない限り、入力画像とは、全顔検出処理部３１及び端顔検出処理部３２（又は後述する３２ａ若しくは３２ｂ）に対する入力画像を指すものとする。この入力画像は、原画像或いは原画像の縮小画像である。原画像の縮小画像は、画像入力部３０（或いは図１の主制御部１３）によって生成される。
【００４２】
全顔検出処理部３１は、入力画像内に存在する顔を検出する。図３を参照して、全顔検出処理部３１による顔検出の手法を説明する。
【００４３】
図３（ａ）において、符号１００は入力画像を表し、符号１１０は顔検出用の判定領域を表す。顔検出を行う際、判定領域を入力画像の左上隅に配置した状態を初期状態とし、入力画像内において、判定領域を１画素ずつ左から右に水平方向に走査させる。判定領域が入力画像の右端に到達したら、判定領域を下方向に１画素ずらし、再度、水平方向の走査を行う。このように、判定領域を水平方向及び垂直方向に走査しながら、判定領域内に顔が存在しているかを逐次検出する。
【００４４】
１種類のサイズの判定領域にて大きさの異なる顔を検出することができるように、入力画像のサイズは適宜縮小される。具体的には、原画像から縮小によって入力画像を生成する際の縮小率を段階的に変更し、原画像及び各縮小率にて生成された縮小画像が入力画像として、画像入力部３０から出力される。図３（ｂ）及び（ｃ）における符号１０１及び１０２は、縮小によって得られた入力画像であり、図３（ａ）の入力画像１００が原画像であるとした場合、図３（ｂ）及び（ｂ）に示される入力画像１０１及び１０２は、原画像の縮小画像に相当する。
【００４５】
判定領域１１０のサイズは、何れの入力画像（１００、１０１及び１０２）に対しても同じである。具体的には例えば、判定領域１１０のサイズは、２４×２４画素に設定される。但し、以下、説明及び図示の簡略化上、判定領域１１０のサイズは、８×８画素であるものとする。
【００４６】
上述の如く判定領域は走査されるが、或る入力画像内において判定領域が或る特定の位置に存在する状態に着目し、その判定領域内に顔が存在しているか否かを判断する手法について説明する。図４は、この手法の動作手順を表すフローチャートである。図４におけるステップＳ１〜Ｓ５の各処理は、全顔検出処理部３１によって実行される。
【００４７】
ステップＳ１において、判定領域内の画像に対して４種類の微分フィルタの夫々を適用してエッジ強調処理を施すことにより、４つの第１エッジ強調画像（４方向の第１エッジ強調画像）を生成する。４種類の微分フィルタとして、例えば図５（ａ）〜（ｄ）に示すような、水平方向、垂直方向、右斜め上方向及び左斜め上方向に対応する４方向のPrewitt型の微分フィルタ（エッジ検出オペレータ）を用いる。これらを適用して得られた各第１エッジ強調画像を、水平方向、垂直方向、右斜め上方向及び左斜め上方向の第１エッジ強調画像と呼ぶ。また、それらを総称して、４方向の第１エッジ強調画像と呼ぶ。
【００４８】
図６に、各第１エッジ強調画像の例を示す。符号１２１、１２２、１２３及び１２４は、夫々、水平方向、垂直方向、右斜め上方向及び左斜め上方向の第１エッジ強調画像を表しており、図６には、各第１エッジ強調画像を形成する各画素の画素値の一部が示されている。
【００４９】
次に、ステップＳ２において、４方向の第１エッジ強調画像間で対応する画素ごとに画素値が最大のものを特定し、最大の画素値のみをそのまま残すと共に最大以外の画素値をゼロとすることにより、４方向の第２エッジ強調画像を生成する。図６において、符号１３１、１３２、１３３及び１３４は、夫々、水平方向、垂直方向、右斜め上方向及び左斜め上方向の第２エッジ強調画像を表しており、図６には、各第２エッジ強調画像を形成する各画素の画素値の一部が示されている。
【００５０】
例えば、第１エッジ強調画像内の或る特定画素位置に対する、第１エッジ強調画像１２１、１２２、１２３及び１２４の画素値が夫々１０、４、６及び３である場合、第２エッジ強調画像１３１、１３２、１３３及び１３４の該特定画素位置における画素値は、夫々、１０、０、０及び０となる（図６参照）。
【００５１】
次に、ステップＳ３において、４方向の第２エッジ強調画像の夫々に対して平滑化処理を施し、平滑化処理後の４方向の第２エッジ強調画像を４方向の特徴画像とする。図７（ａ）〜（ｄ）に、生成された４方向の特徴画像、即ち、水平方向、垂直方向、右斜め上方向及び左斜め上方向の特徴画像を示す。尚、平滑化処理を行うことなく、４方向の第２エッジ強調画像そのものを４方向の特徴画像とするようにしてもよい。
【００５２】
４方向の特徴画像の夫々において、画素位置は特徴画像内の座標（ｘ，ｙ）にて特定される。ｘ及びｙは、各特徴画像における水平座標及び垂直座標を表し、今の例の場合、ｘ及びｙは、夫々、０以上且つ７以下の各整数をとる。また、特徴画像の種類を、ｑにて表現する。ｑは、０以上３以下の各整数をとり、ｑ＝０、１、２及び３の特徴画像は、夫々、水平方向、垂直方向、右斜め上方向及び左斜め上方向の特徴画像を意味する。各特徴画像における画素を、特徴画素と呼ぶ。
【００５３】
図２の顔辞書メモリ３４には、特徴画像のサイズに適応した重みテーブル（換言すれば、判定領域のサイズに適応した重みテーブル）が格納されている。重みテーブルは、教師サンプルとしての大量の顔画像を元に予め作成され、顔辞書メモリ３４に格納される。図８に、判定領域のサイズを８×８画素とした場合における重みテーブルの内容例を示す。重みテーブルには、特徴画素ごとに、特徴画素の画素値に対応した重みが格納されている。重みは、顔らしさを表す値であり、本実施形態では、この重みをスコアと呼ぶことにする。
【００５４】
また、変数ｑ、ｘ及びｙを、１つの変数ｎに集約して考える。４×８×８＝２５６より、変数ｎは、０以上且つ２５５以下の各整数をとるものとする。変数ｎの値は、変数ｑ、ｘ及びｙが定まれば一意に定まる。４方向の特徴画像における各特徴画素（全特徴画素数は２５６個）を、変数ｎを用いてＦ（ｎ）で表し、特徴画素Ｆ（ｎ）における画素値（図８の横方向に対応）をｉ（ｎ）にて表す。スコアも変数ｎに依存して特定されるため、スコアをｗ（ｎ）にて表すものとする。例えば、ｑ＝ｘ＝ｙ＝０がｎ＝０に対応すると仮定した場合、水平方向の特徴画像（ｑ＝０に対応）の画素位置（０，０）の画素値は、特徴画素Ｆ（０）の画素値ｉ（０）と合致する。スコア（０）は、重みテーブルに基づき、画素値ｉ（０）にて特定される。この画素値ｉ（０）が３であるとしたとき、スコア（０）は、図８の例では３５となる。
【００５５】
このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。
【００５６】
尚、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時において、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点的に行う。これにより、残りの弱識別器候補の中から最も効果の高い弱識別器を選択するようにする。
【００５７】
また、重みテーブルを関数によって表現することもでき、重みテーブルの代わりに、この関数を顔辞書メモリ３４に格納するようにしてもよい。この関数において、スコアは、特徴画素の画素値と変数ｎとに依存して定まる。この関数は連続関数によって表現され、ＸＹＺ軸を座標軸とする３次元空間において、Ｘ軸を特徴画素の画素値にとり、Ｙ軸を変数ｎにとり、Ｚ軸をスコアにとると、この関数は連続的な曲面を形成する。この関数や重みテーブルは、判定領域内の画像から後述の類似度を導出するための顔辞書データと呼ぶことができる。
【００５８】
図４のステップＳ３の処理に続くステップＳ４において、下記式（１）に従い、類似度Ｓ1を算出する。画素値ｉ（ｎ）は判定領域内の画像が顔画像（即ち、顔を表す画像）であるか否かを識別するために有効な特徴量と呼ぶことができ、類似度Ｓ1は、着目した判定領域に基づく各画素値ｉ（ｎ）から算出された各スコアｗ（ｎ）の総和に相当する。重みテーブルは、学習処理を介して得た基準顔画像をデータ化したものであるため、各スコアｗ（ｎ）の総和は、重みテーブルによって表される基準顔画像と判定領域内の画像との類似度を表すことになる。
【００５９】
【数１】
2008181439.tif 000003
【００６０】
そして、図４のステップＳ５において、類似度Ｓ1と所定の顔判定用閾値ＴＨとを比較し、下記式（２）が成立する時、判定領域内の画像が顔画像である（換言すれば、判定領域に顔が存在している）と判断する一方、下記式（２）が成立しない時、判定領域内の画像は顔画像ではない（換言すれば、判定領域に顔が存在していない）と判断する。
Ｓ1＞ＴＨ                                ・・・（２）
【００６１】
判定領域内の画像が顔画像である時に類似度Ｓ1が比較的大きな値をとり且つ判定領域内の画像が顔画像でない時に類似度Ｓ1が比較的小さな値をとるように、上記の重みテーブルは、学習処理を介して設定されている。このため、上述の処理によって顔検出が可能となる。
【００６２】
次に、図２の端顔検出処理部３２について説明する。端顔検出処理部３２は、入力画像の周囲にダミー画像を追加して合成画像を生成し、合成画像内において顔検出を行うことにより、端顔の検出を行う。端顔とは、顔の一部が入力画像端にかかった顔を意味する。即ち、図９に示す如く、端顔とは、入力画像２００の端に存在する顔であって、顔の一部が入力画像２００の外にはみ出している顔を意味する。
【００６３】
図１０に、入力画像、ダミー画像及び合成画像の関係を示す。図９において、符号２００が付された四角枠内の領域が入力画像を表し、符号２０１が付されたドーナツ状の破線領域がダミー画像を表す。ダミー画像は、入力画像の四方を囲むように設けられ、入力画像とダミー画像を併せたものが、上記の合成画像に相当する。
【００６４】
また、図１０において、符号２１０が付された四角形は判定領域を表している。全顔検出処理部３１におけるそれと同様、判定領域は、合成画像内において水平方向及び垂直方向に走査され、判定領域内に端顔が存在しているか否かが検出される。
【００６５】
［ダミー画像のサイズ決定法］
まず、図１０を参照してダミー画像のサイズの決定法について説明する。入力画像の幅（即ち、水平方向サイズ）及び高さ（即ち、垂直方向サイズ）を夫々Ｗ1及びＨ1とし、合成画像の幅及び高さを夫々Ｗ2及びＨ2とする。ここで、Ｗ1≦Ｗ2且つＨ1＜Ｈ2である、或いは、Ｗ1＜Ｗ2且つＨ1≦Ｈ2である。図１０は、典型的な例としてＷ1＜Ｗ2且つＨ1＜Ｈ2である場合を例示しており、この場合を例に挙げて以下の説明を行う。今、入力画像から合成画像を生成する際の画像追加幅をＷ＿ｄｕｍにて表す。従って、Ｗ＿ｄｕｍ＝Ｗ2−Ｗ1、である。また、判定領域の幅（即ち、水平方向サイズ）をＷ＿ｄｉｃで表す。
【００６６】
例えば、図１０に示す如く、入力画像の中心と合成画像の中心とが一致するようにダミー画像を設定する。この場合、入力画像の左端と右端の夫々に対して、Ｗ＿ｄｕｍ／２の幅を有する画像がダミー画像の一部として設けられることになる。図１０に示す例では、画像追加幅Ｗ＿ｄｕｍを左右均等に割り振っているが、入力画像の左右に追加する画像の幅を別々に設定するようにしても構わない。
【００６７】
画像追加幅Ｗ＿ｄｕｍは、以下の第１〜第３の追加幅設定手法の何れかを用いて設定される。
【００６８】
第１の追加幅設定手法では、判定領域の幅Ｗ＿ｄｉｃに基づいて、画像追加幅Ｗ＿ｄｕｍを設定する。より具体的には、下記式（３ａ）に基づいて、Ｗ＿ｄｕｍを定める。ここで、ｋ1は、不等式（３ｂ）を満たす任意の値である。ｋ1は、固定値であってもよく、幅Ｗ1及び／又は幅Ｗ＿ｄｉｃに応じて定まる値であってもよい。
Ｗ＿ｄｕｍ＝ｋ1・Ｗ＿ｄｉｃ                            ・・・（３ａ）
０＜ｋ1＜１                                            ・・・（３ｂ）
【００６９】
第２の追加幅設定手法では、全顔検出処理部３１によって既に検出された顔のサイズに基づいて、画像追加幅Ｗ＿ｄｕｍを設定する。ここにおける「全顔検出処理部３１によって既に検出された顔のサイズ」とは、全顔検出処理部３１及び端顔検出処理部３２に与えられた同一の入力画像上における顔のサイズであり、その顔の幅（幅方向のサイズ）をＷ＿ｆｄにて表す。全顔検出処理部３１によって検出された、入力画像上の顔の幅Ｗ＿ｆｄは、例えば、全顔検出処理部３１が用いた判定領域の幅に等しい。
【００７０】
より具体的には、下記式（４ａ）に基づいて、Ｗ＿ｄｕｍを定める。ここで、ｋ2は、不等式（４ｂ）を満たす任意の値である。ｋ2は、固定値であってもよく、幅Ｗ1及び／又は幅Ｗ＿ｆｄに応じて定まる値であってもよい。
Ｗ＿ｄｕｍ＝ｋ2・Ｗ＿ｆｄ                              ・・・（４ａ）
０＜ｋ2・Ｗ＿ｆｄ＜Ｗ＿ｄｉｃ                          ・・・（４ｂ）
【００７１】
第３の追加幅設定手法では、幅Ｗ＿ｄｉｃと幅Ｗ＿ｆｄの双方に基づいて、画像追加幅Ｗ＿ｄｕｍを設定する。より具体的には、下記式（５ａ）に基づいて、Ｗ＿ｄｕｍを定める。ここで、ｋ3A及びｋ3Bは、不等式（５ｂ）を満たす任意の値である。ｋ3A及びｋ3Bは、固定値であってもよく、幅Ｗ1、幅Ｗ＿ｄｉｃ及び／又は幅Ｗ＿ｆｄに応じて定まる値であってもよい。
Ｗ＿ｄｕｍ＝ｋ3A・Ｗ＿ｄｉｃ＋ｋ3B・Ｗ＿ｆｄ          ・・・（５ａ）
０＜ｋ3A・Ｗ＿ｄｉｃ＋ｋ3B・Ｗ＿ｆｄ＜Ｗ＿ｄｉｃ      ・・・（５ｂ）
【００７２】
判定領域の幅Ｗ＿ｄｉｃにて定まる特定の領域を超えて端顔の検出処理を行っても、無意味である（その領域には端顔が存在し得ないため）、或いは、正確な端顔検出はできない。これを考慮して、第１、第２又は第３の追加幅設定手法が採用され、また、式（３ｂ）、（４ｂ）及び（５ｂ）のような条件が設けられる。また、同一の入力画像内に、撮影者が捉えようとする顔（端顔含む）が複数存在している場合、その複数の顔のサイズは、通常、同程度である。これを考慮して、第２又は第３の追加幅設定手法を採用するようにしてもよい。
【００７３】
何れの追加幅設定手法を採用しても、無駄な或いは必要以上の検出処理が省かれ、処理時間の短縮効果が得られると共に端顔の誤検出及び過検出の抑制効果が得られる。端顔の過検出とは、全顔検出処理部３１によって検出された顔のサイズと比べて著しく小さい又は大きい端顔（この端顔は、撮影者の着目しない人物の顔と推測される）の検出などを意味する。
【００７４】
幅に着目してダミー画像のサイズの決定法を説明したが、入力画像から合成画像を生成する際の画像追加高さＨ＿ｄｕｍ（＝Ｈ2−Ｈ1）も、画像追加幅Ｗ＿ｄｕｍと同様にして設定される。即ち、画像追加高さＨ＿ｄｕｍは、判定領域の高さ及び／又は全顔検出処理部３１によって既に検出された顔の高さに基づいて設定される。
【００７５】
［合成画像生成後の動作］
次に、合成画像を生成した後の、図２の端顔検出処理部３２の動作を説明する。
【００７６】
端顔検出処理部３２にて端顔検出処理を行う際、判定領域を合成画像の左上隅に配置した状態を初期状態とし、合成画像内において、判定領域を１画素ずつ左から右に水平方向に走査させる。判定領域が合成画像の右端に到達したら、判定領域を下方向に１画素ずらし、再度、水平方向の走査を行う。このように、判定領域を水平方向及び垂直方向に走査しながら、判定領域内に端顔が存在しているかを逐次検出する。
【００７７】
但し、端顔検出処理部３２において定義される判定領域は、必ず、図１１の判定領域２１０の如く、ダミー画像の一部と重なる。図１１における入力画像２００及びダミー画像２０１は、図１０に示すそれらと同じものである。図１１において、網掛け領域２１１は、判定領域２１０とダミー画像２０１が重なっている領域を表し、この領域を、以下、判定領域とダミー画像との重なり領域（或いは、単に重なり領域）と呼ぶ。
【００７８】
判定領域とダミー画像とが常に重なり領域を有するように走査が行われるため、図１２（ａ）に示す如く、或る合成画像２０２内において判定領域を走査する際、判定領域の中心座標は、合成画像２０２の外周付近の斜線領域２０３内を移動することになる。
【００７９】
尚、判定領域を１画素ずつ左から右に水平方向に走査させ、判定領域が合成画像の右端に到達したら判定領域を下方向に１画素ずらしつつ合成画像の左端に移動させて再度水平走査するのではなく、渦巻き状（螺旋状）に走査するようにしてもよい。前者の走査手法では、判定領域を合成画像の右端から左端に移動させる際、顔検出を行うためにメモリ（不図示）に読み込んだ判定領域内の画像の画素値を全て該メモリから破棄し、新たに、移動後の判定領域内の画像の画素値を全て該メモリに読み込む必要がある。これと比較して、後者の走査手法（渦巻き状の走査手法）では、メモリへの読み込み回数を減らすことができるというメリットがある。
【００８０】
渦巻き状の走査の走査方向概念図を図１２（ｂ）に示す。渦巻き状の走査では、判定領域を１画素ずつ左から右に水平方向に走査させ、判定領域が合成画像の右端に到達したら、走査方向を垂直方向に変更する。判定領域が合成画像の右端に到達したら、判定領域を水平方向に移動させることなく判定領域を上から下へ垂直方向に走査させるようにする。このように走査することで、判定領域が合成画像の右端に到達後、判定領域を下方に移動させる際、移動前に上記メモリに読み込んだ画素値の一部を移動後においても再利用可能である。故に、メモリへの読み込み回数を削減可能であり、処理高速化を期待できる。判定領域が合成画像の下端に到達したら、判定領域を垂直方向に移動させることなく判定領域を右から左へ水平方向に走査させる。この後も、図１２（ｂ）に示す如く、判定領域の移動軌跡が合成画像内で螺旋を描くように判定領域を走査する。
【００８１】
端顔検出処理部３２に対する入力画像は、全顔検出処理部３１に対する入力画像と同じものである。従って、端顔検出処理部３２に対する入力画像も、原画像又は原画像の縮小画像とされ、これによって、１種類のサイズの判定領域にて大きさの異なる端顔を検出することができるようになる。
【００８２】
判定領域２１０のサイズは、図３（ａ）〜（ｃ）における判定領域１１０のそれと同じとされる。以下、説明及び図示の簡略化上、判定領域２１０のサイズは、判定領域１１０と同様、８×８画素であるものとする。
【００８３】
上述の如く判定領域は走査されるが、或る合成画像内において判定領域が或る特定の位置に存在する状態に着目し、その判定領域内に端顔が存在しているか否かを判断する手法について説明する。図１３は、この手法の動作手順を表すフローチャートである。
【００８４】
端顔検出処理部３２は、図４に示すステップＳ１〜Ｓ３と同様の処理を行う。即ち、ステップＳ１において、合成画像内に定義された判定領域内の画像に対してエッジ強調処理を施すことにより４方向の第１エッジ強調画像を生成し、続くステップＳ２において、４方向の第１エッジ強調画像から４方向の第２エッジ強調画像を生成する。そして、ステップＳ３において、４方向の第２エッジ強調画像から４方向の特徴画像を生成する。第１エッジ強調画像、第２エッジ強調画像及び特徴画像の生成手法は、全顔検出処理部３１におけるそれらと同様である。端顔検出処理部３２における動作手順では、ステップＳ３の処理の後、ステップＳ１４に移行する。ステップＳ１４及びＳ１５の処理は、端顔検出処理部３２によって実行される。
【００８５】
ステップＳ１４では、全顔検出処理部３１の動作説明にて述べたのと同様、変数ｑ、ｘ及びｙを変数ｎに集約して考え、端顔検出処理部３２によって生成される４方向の特徴画像の各特徴画素Ｆ（ｎ）の画素値ｉ（ｎ）に基づき、上述の重みテーブルからスコアｗ（ｎ）を算出する。そして、下記式（６）に従い、類似度Ｓ2を算出する。類似度Ｓ2は、端顔検出処理部３２によって生成される４方向の特徴画像に基づく各スコアｗ（ｎ）の総和に相当する。尚、式（６）における類似度の算出手法は、上記式（１）におけるそれと同様であるが、全顔検出処理部３１によって算出される類似度（Ｓ1）と端顔検出処理部３２によって算出される類似度（Ｓ2）を区別して表現すべく、ここで、Ｓ1と異なる記号Ｓ2を導入した。
【００８６】
【数２】
2008181439.tif 000004
【００８７】
類似度Ｓ2の算出後、ステップＳ１５に移行する。上述したように、全顔検出処理部３１ではＳ1＞ＴＨの成立／不成立を判断することによって判定領域内の画像が顔画像であるか否かを判断する。しかし、ダミー画像を形成する各画素の画素値（以下、ダミー画素値という）にも依存するが、類似度Ｓ2には、判定領域とダミー領域との重なり領域についてのスコア成分が誤差として含まれうる。ダミー画素値として、顔と何ら関係のない値が設定されるからである。
【００８８】
そこで、ステップＳ１５では、閾値補正項αを導入し、下記式（７）の成立／不成立を判断する。そして、ステップＳ１５において、下記式（７）が成立する時、判定領域内に端顔が存在していると判断する一方、下記式（７）が成立しない時、判定領域内に端顔が存在していないと判断する。
Ｓ2＞ＴＨ−α                              ・・・（７）
【００８９】
閾値補正項αは、重なり領域に対応する画素値ｉ（ｎ）から算出されたスコアｗ（ｎ）の総和である。図１４及び図１５を参照して、閾値補正項αの算出法を示すための具体例を説明する。今、図１４に示す如く、判定領域の左端の１列のみが重なり領域であったとする。この判定領域内の画像に対する４方向の第１エッジ強調画像は、図１５の符号２２１〜２２４のように表される。斜線が付された、各第１エッジ強調画像２２１〜２２４の左端の１列は、重なり領域の画素に対してエッジ強調処理を施すことによって得られる。図１５において、符号２３１〜２３４は、４方向の第１エッジ強調画像２２１〜２２４から生成される４方向の特徴画像である。斜線が付された、各特徴画像２３１〜２３４の左端の１列は、各第１エッジ強調画像２２１〜２２４の左端の１列の画素値に基づいて算出される。各特徴画像２３１〜２３４の左端の１列に属する合計３２個の画素の画素値ｉ（ｎ）から合計３２個のスコアｗ（ｎ）が算出されるが、この合計３２個のスコアｗ（ｎ）の総和を閾値補正項αとする。
【００９０】
判定領域において、重なり領域と異なる領域を非重なり領域と呼んだ場合、類似度Ｓ2は、重なり領域内の画像に対応するスコア（上記例における合計３２個のスコアｗ（ｎ））と非重なり領域内の画像に対応するスコアとの合算値となり、前者は、類似度Ｓ2に対する重なり領域の寄与成分に相当すると共に閾値補正項αに対応し、後者は、類似度Ｓ2に対する非重なり領域の寄与成分に相当する。
【００９１】
上述の如く、顔判定用閾値ＴＨを閾値補正項αにて補正することにより、ダミー画素値に依存しない端顔検出を行うことが可能となる。
【００９２】
また、重なり領域が増大するに伴って類似度Ｓ2に寄与する特徴画素の総数が減少することを考慮し、ステップＳ１５において、下記式（７ａ）の成立／不成立を判断するようにしてもよい。この場合において、下記式（７ａ）が成立する時、判定領域内に端顔が存在していると判断する一方、下記式（７ａ）が成立しない時、判定領域内に端顔が存在していないと判断する。ここで、ｋ4は、重なり領域に属する画素の総数（図１４の例においては、８個）に応じて定められる。端顔の検出されやすさを増大させたい場合にはｋ4を１未満の値とすればよく、誤検出及び過検出を抑制したい場合にはｋ4を１より大きな値とすればよい。
Ｓ2＞ｋ4・ＴＨ−α                              ・・・（７ａ）
【００９３】
全顔検出処理部３１の顔検出結果と端顔検出処理部３１の顔検出結果は、顔検出結果統合部３３に送られる。全顔検出処理部３１の顔検出結果は、全顔検出処理部３１によって検出された顔の、原画像上におけるサイズ及び位置を特定する。端顔検出処理部３２の顔検出結果は、端顔検出処理部３２によって検出された端顔の、原画像上におけるサイズ及び位置を特定する。顔検出結果統合部３３は、双方の顔検出結果を統合したものに相当する統合顔検出結果を出力する。
【００９４】
撮像装置１内の各部位は、必要に応じて統合顔検出結果を参照し、必要な処理を行う。例えば、撮像部１１の光学系に補正レンズやバリアングルプリズム（何れも不図示）が設けられている場合は、それらを駆動制御することにより、端顔と認知される人物の顔全体が原画像内に含まれるように撮像部１１の撮像素子に結像する光学像をずらす。また、原画像は、通常、撮像素子の全撮像領域に内包される有効撮像領域の画素信号から形成される。この有効撮像領域は全撮像領域内で移動させることが可能である。そこで、端顔が検出された場合は、端顔と認知される人物の顔全体が原画像内に含まれるように有効撮像領域を全撮像領域内で移動させるようにしてもよい。また、光学系に備えられたズームレンズ（不図示）を駆動制御して光学系の画角を増大させることにより、端顔と認知される人物の顔全体が原画像内に含まれるようにしてもよい
【００９５】
＜＜第２実施形態＞＞
次に、本発明の第２実施形態に係る撮像装置について説明する。第２実施形態に係る撮像装置は、第１実施形態に係る撮像装置１と類似しており、全体ブロック図などは両者間で同じである。但し、図２の端顔検出処理部３２による類似度算出の手法が、第１と第２実施形態とで異なる。その他の点において、第１と第２実施形態は同様であるため、同様の部分の重複する説明を省略し、両者の相違点に着目して説明を行う。第１実施形態に記載した事項は、矛盾なき限り、第２実施形態でも適用される。
【００９６】
第１実施形態では、閾値補正項αを用いて顔判定用閾値ＴＨを補正することにより、ダミー画素値に依存しない端顔検出を実現しているが、第２実施形態では、このような補正を行うことなく正確な端顔検出を実現する。
【００９７】
第２実施形態では、合成画像を生成する際、合成画像を形成するダミー画像のダミー画素値として、端顔検出判定に影響を与えない画素値を設定する。例えば、第１実施形態で例示したように端顔検出判定に影響を与えないスコアが０であるなら、判定領域とダミー画像との重なり領域に対応するスコアの総和が０となるような画素値をダミー画素値とすればよい。つまり、合成画像を生成する際、０の値を有するスコアが導出されるような画素値（以下、強制ゼロ画素値という）を、重なり領域のダミー画素値として設定すればよい。
【００９８】
この強制ゼロ画素値は、設計段階において、任意の値に設定可能である。合成画像の各画素値のとり得る値が０以上２５５以下の整数であるなら、０以上２５５以下の整数の中から強制ゼロ画素値を選べばよい。
【００９９】
ところで、第１実施形態で述べたように、スコアｗ（ｎ）は、対応する特徴画素Ｆ（ｎ）の画素値ｉ（ｎ）から算出され、その画素値と変数ｎが定まれば、重みテーブルまたは関数によって一意に定まる。この関数は、上述したように、連続関数によって表され、Ｘ軸、Ｙ軸及びＺ軸を特徴画素の画素値、変数ｎ及びスコアにとった３次元空間において連続的な曲面を形成する。このため、特徴画素の画素値が「１」程度ずれても、最終的に得られる類似度Ｓ2に大きな差異は生じないという特徴がある。この特徴は、この関数に対応して作成される重みテーブルに対しても同様に当てはまる。また、特徴画素の画素値が「１」程度ずれても最終的に得られる類似度Ｓ2に大きな差異は生じないのであるから、入力画像の画素値における「１」程度のずれも類似度Ｓ2に大きな影響は与えない。
【０１００】
ダミー画像（重なり領域）内の各画素の画素値を強制ゼロ画素値とすると共に強制ゼロ画素値が設定された画素に対して強制的に０のスコアを与えるような仕組みを設ける場合を考える。この場合において、入力画像（非重なり領域）内の画素が強制ゼロ画素値と同じ画素値を有していたとする。図１６は、この状況を表しており、図１６の画素３００は、強制ゼロ画素値を有する入力画像内の画素である。この場合、何ら手当てをしなければ、その入力画像内の画素（図１６における画素３００）に対応するスコアが本来あるべきスコアと異なってしまう。これを回避するべく、第２実施形態では上記の特徴を利用し、強制ゼロ画素値と同じ画素値を有する入力画像内の画素の画素値を少しだけ増減させる。
【０１０１】
図１７に、第２実施形態に係る端顔検出処理部３２ａの内部ブロック図を示す。端顔検出処理部３２ａは、合成画像生成部４１と、スコア計算前処理部４２と、スコア計算部４３と、類似度算出部４４と、端顔判定部４５とを有しており、図２の端顔検出処理部３２として利用することが可能である。
【０１０２】
合成画像生成部４１は、端顔検出処理部３２ａに対する入力画像の周囲にダミー画像を追加して合成画像を生成する。この際、ダミー画素値（ダミー画像の各画素の画素値）として強制ゼロ画素値を設定する。また更に、入力画像内に強制ゼロ画素値を有する画素（図１６における画素３００に対応）が含まれている場合、その画素の画素値を少しだけ増減させることにより該画素値を強制ゼロ画素値と異ならせる。具体的には、その画素値を１だけ増加或いは１だけ減少させる。画素値を増やすか或いは減らすかは、強制ゼロ画素値に応じて決めればよい。
【０１０３】
スコア計算前処理部４２は、合成画像生成部４１によって生成された合成画像を参照し、合成画像内において強制ゼロ画素値を有する画素に対し強制的に０のスコアを与える。強制ゼロ画素値と異なる画素値を有する領域、即ち入力画像の領域に対しては、スコア計算部４３によって第１実施形態と同様の処理が施され、上記重みテーブルから各スコアが算出される。
【０１０４】
つまり、合成画像生成部４１とスコア計算前処理部４２とスコア計算部４３とによって、ダミー画像内の画素に対応するスコアは全て０とされ、入力画像内の画素に対応するスコアは上記重みテーブルから算出されるようになる。得られた各スコアは類似度算出部４４に与えられる。
【０１０５】
類似度算出部４４は、与えられた各スコアに基づき、上記式（６）に従って類似度Ｓ2を算出する。第１実施形態と同様、類似度Ｓ2は、判定領域ごとに算出される。或る着目した判定領域に関し、当該判定領域内の画像から算出される合計２５６個のスコアｗ（ｎ）の総和を、当該判定領域に対する類似度Ｓ2として算出する。この合計２５６個のスコアｗ（ｎ）の内、少なくとも重なり領域に対応するスコアは全て０となる。即ち、類似度Ｓ2に対する重なり領域の寄与成分はゼロとなる。
【０１０６】
端顔判定部４５は、類似度算出部４４によって算出された類似度Ｓ2を上記顔判定用閾値ＴＨと比較し、前者が後者よりも大きい場合、着目した判定領域内に端顔が存在していると判断する一方、そうでない場合、判定領域内に端顔が存在していないと判断する。或いは、第１実施形態において上記式（７）を式（７ａ）に変形したように、類似度Ｓ2と比較すべきＴＨに上述の係数ｋ4を乗じてもよい。即ち、端顔判定部４５は、類似度算出部４４によって算出された類似度Ｓ2をｋ4・ＴＨと比較し、前者が後者よりも大きい場合、着目した判定領域内に端顔が存在していると判断する一方、そうでない場合、判定領域内に端顔が存在していないと判断するようにしてもよい。端顔判定部４５による判断結果は、顔検出結果として出力される。この顔検出結果は、図２の端顔検出処理部３２によるそれと等価なものである。
【０１０７】
第２実施形態のように構成すれば、閾値補正項αを逐次算出する必要がない。また、図１の全顔検出処理部３１と同様の類似度算出手法にて、端顔検出に関する類似度を算出することが可能である（これは、第１実施形態にも当てはまる）。即ち、端顔検出を行うために、専用の類似度算出手法を採用したり、専用の重みテーブルを用意したりする必要がなくなる。このため、類似度の算出を行う部位を、全顔検出処理部と端顔検出処理部とで共用するといったことも可能となる。
【０１０８】
また、上述の説明では「ダミー画像の各画素の画素値を強制ゼロ画素値とし、強制ゼロ画素値を有する画素に対し強制的に０のスコアを与える」としたが、これを以下のように変形することもできる。即ち、ダミー画像の各画素の画素値を強制ゼロ画素値とし、重なり領域内の各画素の画素値から算出されるスコアの総和が値ＣSCOREとなるように、強制ゼロ画素値を有する画素に対し強制的に何らかの値を与えるようにする。そうすると、類似度Ｓ2は、値ＣSCOREの成分を含むようになる。例えば、値ＣSCOREは、予め定められる所定値である。値ＣSCOREを、重なり領域内の画素の総数に応じて定めてもよい。端顔の検出されやすさを増大させたい場合には値ＣSCOREを正の値とすればよく、誤検出及び過検出を抑制したい場合には値ＣSCOREを負の値とすればよい。
【０１０９】
＜＜第３実施形態＞＞
次に、本発明の第３実施形態について説明する。第３実施形態に係る撮像装置の全体ブロック図は、第１実施形態におけるそれ（図１）と同様であり、第１実施形態（又は第２実施形態）に記載した事項は、矛盾なき限り、第３実施形態にも適用される。第３実施形態は、図１の顔検出部１９の内部に特徴を有するため、その特徴部に着目して説明を行う。
【０１１０】
図１８は、図１の顔検出部１９として利用可能な顔検出部の内部ブロック図である。図１８の顔検出部は、図２の顔検出部１９と類似している。但し、図２の顔検出部１９における端顔検出処理部３２が、端顔検出処理部３２ｂに置換されている。この置換を除いて、図１８の顔検出部と図２の顔検出部１９は同様の構成及び機能を有する。端顔検出処理部３２ｂは、端顔検出処理部３２と同様の機能を有している上に、全顔検出処理部３１の顔検出結果及び／又は図１の傾きセンサ１８から出力される傾きデータ等を利用した特有の機能を有する。
【０１１１】
以下、この特有の機能について説明する。この特有の機能は、端顔を検出する際における検出条件に制限を加える機能である。検出条件に対する制限の加え方として、７つの具体的形態があるため、それぞれを、第１〜第７制限例として個別に説明する。各制限例は、矛盾なき限り任意に組み合わせて利用することができ、また、或る制限例で記載した事項は、矛盾なき限り他の制限例でも適用される。尚、以下の説明において、全顔検出処理部３１によって検出される顔を、端顔検出処理部３２ｂによって検出される端顔と明確に区別するべく、全顔とも呼ぶ。
【０１１２】
［第１制限例］
まず、第１制限例を説明する。１つの原画像に着目する。第１制限例では、全顔検出処理部３１によって事前に検出された全顔のサイズに基づいて、検出条件としての端顔検出サイズ範囲に上限と下限を定める。これを具体的に説明する。
【０１１３】
上述したように、原画像の縮小画像を入力画像とし、縮小率を段階的に変更することによって、全顔検出処理部３１及び端顔検出処理部３２ｂは、様々なサイズを有する全顔又は端顔を検出可能である。全顔検出処理部３１は、着目した原画像に基づく各入力画像に対して全顔を検出する処理を行い、検出された全顔のサイズを特定する検出全顔サイズ情報を顔検出結果として端顔検出処理部３２ｂ（及び必要に応じて画像入力部３０）に与える。
【０１１４】
検出全顔サイズ情報によって特定される、原画像上の全顔のサイズをＦWとする。着目した原画像から複数の全顔が検出された場合は、それらの平均のサイズ、最大のサイズ及び最小のサイズの何れかをＦWとすればよい。
【０１１５】
この場合、端顔検出サイズ範囲の上限は（ＦW＋ΔＡ）とされ、下限は（ＦW−ΔＢ）とされる。即ち、原画像上におけるサイズが（ＦW＋ΔＡ）以下であって且つ（ＦW−ΔＢ）以上の端顔を検出し、それ以外のサイズの端顔の検出が行われないように、端顔検出処理部３２ｂは動作する（具体的には、原画像に対する縮小率を制限する）。ここで、ΔＡ及びΔＢは正の値であり、両者の一致／不一致は問わない。尚、原画像上における全顔または端顔のサイズは、例えば、原画像上における顔領域（全顔または端顔が存在すると判断された領域）の総画素数で表される。
【０１１６】
記念撮影等において、撮影者が着目する人物の顔のサイズは、概ね揃っていることが多い。これを考慮し、上述の如く、事前に検出された全顔のサイズに応じて端顔検出サイズ範囲の上下限を設定する。これにより、処理時間の短縮効果が得られると共に端顔の誤検出及び過検出の抑制効果が得られる。
【０１１７】
［第２制限例］
次に、第２制限例を説明する。まず、第２制限例の説明に必要な事項について記述する。今、図１９に示す如く、入力画像４００に着目し、入力画像４００の左端を中心に含む領域４０１と、入力画像４００の右端を中心に含む領域４０２と、入力画像４００の上端を中心に含む領域４０３と、入力画像４００の下端を中心に含む領域４０４と、を定義する。また、入力画像４００の左上隅を、入力画像４００の原点４１０とする。図１９において、上下方向が画像の垂直方向に対応し、左右方向が画像の水平方向に対応する。
【０１１８】
領域４０３の左側において、領域４０３と領域４０１は共通領域を有し、領域４０３の右側において、領域４０３と領域４０２は共通領域を有する。領域４０４の左側において、領域４０４と領域４０１は共通領域を有し、領域４０４の右側において、領域４０４と領域４０２は共通領域を有する。領域４０１と領域４０２は共通領域を持たない。端顔検出用の判定領域は、領域４０１〜領域４０４の何れかに含まれるように走査される。第２制限例を適用しない場合、例えば、端顔検出用の判定領域は、領域４０１〜領域４０４の全てに位置するように走査される。即ち、端顔検出範囲は、領域４０１〜領域４０４の全てとされる。
【０１１９】
第２制限例では、全顔検出処理部３１によって事前に検出された全顔の位置に基づいて、検出条件としての端顔検出範囲に制限を加える。例えば、図１９に示す如く、入力画像４００の左側よりに全顔４２０が検出された場合、端顔検出範囲に領域４０１を含める一方で端顔検出範囲から領域４０２を除外する。これにより、端顔検出用の判定領域は、領域４０１内を走査される一方、領域４０２内で走査されないことになり、領域４０２に対して端顔検出が行われなくなる。尚、この場合において、端顔検出範囲に領域４０３及び４０４を含めるか否かについては任意である。また、検出された全顔の位置に応じて端顔検出範囲にどのような制限を加えるかは、予め設定されている。
【０１２０】
記念撮影を行う場合など、撮影領域内に複数の顔を含める場合、それらの顔は、撮影領域内の片側に集中することが多い。これを考慮し、上述の如く、事前に検出された全顔の位置に応じて端顔検出範囲を設定する（制限を加える）。これにより、処理時間の短縮効果が得られると共に端顔の誤検出及び過検出の抑制効果が得られる。
【０１２１】
［第３制限例］
次に、第３制限例を説明する。第３及び後述する第４制限例を用いる場合、全顔検出処理部３１が全顔の向きも併せて検出できるように構成する。この場合、全顔検出処理部３１は、入力画像から検出された顔が、正面顔（正面から見た顔）であるのか、或いは、横顔（右横或いは左横から見た顔）であるのかを区別して検出可能とされる。顔の向きを検出する手法として様々な手法が提案されており、全顔検出処理部３１は何れの手法をも採用可能である。
【０１２２】
例えば、特開平１０−３０７９２３号公報に記載の手法のように、入力画像の中から、目、鼻、口等の顔部品を順番に見つけていって画像中の顔の位置を検出し、顔部品の投影データに基づいて顔の向きを検出する。或いは例えば、特開２００６−７２７７０号公報に記載の手法を用いてもよい。この手法については、後にも述べる。
【０１２３】
第３制限例では、全顔検出処理部３１によって事前に検出された全顔の向きに基づいて、検出条件としての端顔検出範囲に制限を加える。例えば、図２０に示す如く、入力画像４００から検出された全顔４３０の向きが右向きである場合、端顔検出範囲に領域４０２を含める一方で端顔検出範囲から領域４０１を除外する。これにより、端顔検出用の判定領域は、領域４０２内を走査される一方、領域４０１内で走査されないことになり、領域４０１に対して端顔検出が行われなくなる。尚、この場合において、端顔検出範囲に領域４０３及び４０４を含めるか否かについては任意である。また、検出された全顔の向きに応じて端顔検出範囲にどのような制限を加えるかは、予め設定されている。
【０１２４】
入力画像内に含まれる全顔が右を向いているとき、存在しうる端顔は、合成画像内において右側よりに位置している可能性が高い、と推測される。これを考慮し、上述の如く、事前に検出された全顔の向きに応じて端顔検出範囲を設定する（制限を加える）。これにより、処理時間の短縮効果が得られると共に端顔の誤検出及び過検出の抑制効果が得られる。
【０１２５】
［第４制限例］
次に、第４制限例を説明する。第４制限例を用いる場合、端顔検出処理部３２が端顔の向きも併せて検出できるように構成する。この場合、端顔検出処理部３２は、合成画像から検出された端顔が、正面顔（正面から見た端顔）であるのか、或いは、横顔（右横或いは左横から見た端顔）であるのかを区別して検出可能とされる。端顔の向きを検出する手法として、全顔検出処理部３１におけるそれと同様の手法を用いることができる。
【０１２６】
第４制限例では、全顔検出処理部３１によって事前に検出された全顔の向きに基づいて、検出される端顔の向きに制限を加える。第４制限例では、端顔の向きに対する制限事項が、端顔を検出する際における検出条件に相当する。
【０１２７】
例えば、図２１に示す如く、入力画像４００から検出された全顔４４０の向きが右向きである場合、右向きの端顔４４１を検出する一方で左向きの端顔４４２を検出しないようにする（端顔４４２を端顔として認識しないようにする）。この際、正面を向いている端顔を検出するか否かについては任意である。また、検出された全顔の向きに応じて、検出を行う端顔の向きにどのような制限を加えるかは、予め設定されている。
【０１２８】
入力画像内に含まれる全顔が右を向いているとき、合成画像内に含まれうる左向きの端顔は、撮影者が着目していない人物の顔である可能性が高い。これを考慮し、上述の如く、事前に検出された全顔の向きに応じて検出される端顔の向きを設定する（制限を加える）。これにより、処理時間の短縮効果が得られると共に端顔の誤検出及び過検出の抑制効果が得られる。
【０１２９】
尚、第４制限例と上述の第３制限例を組み合わせることも可能である。例えば、図２１に示す如く入力画像４００から検出された全顔４４０の向きが右向きである場合において、領域４０１内に位置する左向きの端顔４４２を検出しないようにする一方で、領域４０２内に位置する左向きの端顔（不図示）は検出できるようにする。
【０１３０】
［第５制限例］
次に、第５制限例を説明する。第５制限例では、図１の傾きセンサ１８からの傾きデータが利用される。傾きデータによって、撮像装置１の現在の状態が、横撮影状態であるのか或いは縦撮影状態であるのかが特定される。
【０１３１】
端顔検出処理部３２ｂは、この傾きデータに基づいて、端顔検出範囲に制限を加える。図１９〜図２１に示される入力画像４００は、横撮影状態にて撮影された原画像またはその縮小画像である。従って、端顔検出処理部３２ｂは、この原画像の撮影時における傾きデータ（横撮影状態を表す傾きデータ）に基づき、端顔検出範囲に領域４０１及び４０２を含める一方で端顔検出範囲から領域４０３及び４０４を除外する。横撮影状態において、画像の垂直方向側に顔がきれるという事態は比較的起こりにくいからである。これにより、端顔検出用の判定領域は、領域４０１及び４０２内を走査される一方、領域４０３及び４０３内で走査されないことになり、領域４０３及び４０４に対して端顔検出が行われなくなる。
【０１３２】
一方、図２２に示される入力画像４００は、縦撮影状態にて撮影された原画像またはその縮小画像である。この場合、端顔検出処理部３２ｂは、この原画像の撮影時における傾きデータ（縦撮影状態を表す傾きデータ）に基づき、端顔検出範囲に領域４０３及び４０４を含める一方で端顔検出範囲から領域４０１及び４０２を除外する。縦撮影状態において、画像の水平方向側に顔がきれるという事態は比較的起こりにくいからである。これにより、端顔検出用の判定領域は、領域４０３及び４０４内を走査される一方、領域４０１及び４０２内で走査されないことになり、領域４０１及び４０２に対して端顔検出が行われなくなる。
【０１３３】
第５制限例によっても、処理時間の短縮効果が得られると共に端顔の誤検出及び過検出の抑制効果が得られる。
【０１３４】
［第６制限例］
次に、第６制限例を説明する。第６制限例の具体的な説明の前に、傾いた全顔又は端顔の検出手法について説明する。全ての実施形態に共通するが、全顔検出処理部（３１）及び端顔検出処理部（３２、３２ａ又は３２ｂ）は、夫々、図２３に示すような傾いた全顔及び傾いた端顔をも検出することができる。傾いた全顔を検出するためには、入力画像を必要分だけ回転させて、回転後の入力画像に対し、上述してきた全顔検出処理（全顔を検出するための処理）を行えばよい。傾いた端顔を検出する際も、同様に、回転後の入力画像に対し、上述してきた端顔検出処理（端顔を検出するための処理）を行えばよい。以下、端顔に着目して第６制限例を説明するが、全顔に対しても同様に処理である。
【０１３５】
様々な傾き角度を有する端顔を検出するために、例えば、入力画像を所定角度ずつ回転させ、回転後の各入力画像に対して上述の全顔検出処理及び端顔検出処理を行う訳であるが、第６制限例では、上述の傾きデータに基づいて、入力画像を回転させる角度範囲に制限を加える。即ち、傾きデータに基づいて、所定の傾き角度範囲内の傾き角度を有する端顔を検出可能とする一方で、その傾き角度範囲外の傾き角度を有する端顔を検出対象から除外する。傾きデータに応じて、検出条件としての角度範囲（又は傾き角度範囲）に如何なる制限を加えるかは、予め定めておけばよい。
【０１３６】
具体例を挙げる。原画像の撮影時における傾きデータが横撮影状態を表すとき、図２４（ａ）に示すような、合成画像の領域４０３側に顎があり且つ領域４０４側に目があるような端顔４５１は、存在する可能性が低い。故に、傾きデータが横撮影状態を表すとき、端顔４５１のような端顔が検出対象とならないように上述の角度範囲に制限を加える。
【０１３７】
同様に、原画像の撮影時における傾きデータが縦撮影状態を表すとき、図２４（ｂ）に示すような、合成画像の領域４０２側に顎があり且つ領域４０１側に目があるような端顔４５２は、存在する可能性が低い。故に、傾きデータが縦撮影状態を表すとき、端顔４５２のような端顔が検出対象とならないように上述の角度範囲に制限を加える。
【０１３８】
第６制限例によっても、処理時間の短縮効果が得られると共に端顔の誤検出及び過検出の抑制効果が得られる。
【０１３９】
［第７制限例］
次に、第７制限例を説明する。第７実施例では、人の声が聞こえる方向にのみ着目して端顔検出を行うようにする。このために、図１の撮像装置１に、複数の指向性マイクを搭載する。この複数の指向性マイクは、感度の高い方向が互いに異なるように撮像装置１に設置される。
【０１４０】
図２５を参照して、具体的な例を挙げる。図２５は、指向性マイク５１及び５２が設けられた撮像装置１を上方（空側）から見た図である。図２５において、符号５０１は、指向性マイク５１の指向性が高い領域を表し、符号５０２は、指向性マイク５２の指向性が高い領域を表す。指向性マイク５１は、撮像装置１の左側から入ってくる音を集音し、指向性マイク５２は、撮像装置１の右側から入ってくる音を集音する。つまり、撮像装置１を上方から見た二次元平面上において、撮像装置１の中心を基準として考えた場合、指向性マイク５１は、左側から入ってくる音に対して感度が比較的高い一方で右側から入ってくる音に対して感度が比較的低く、指向性マイク５２は、右側から入ってくる音に対して感度が比較的高い一方で左側から入ってくる音に対して感度が比較的低い。
【０１４１】
図１の主制御部１３は、音声信号処理部としての機能をも備えている。指向性マイク５１及び５２に入力された各音を表す各音声信号は、主制御部１３に与えられる。主制御部１３は、各音声信号に基づき、公知の音声認識処理を用いて、指向性マイク５１に入力された音に人の声が含まれているかを判断すると共に指向性マイク５２に入力された音に人の声が含まれているかを判断する。この判断の結果を、音声判断結果と呼ぶ。
【０１４２】
図２５は、横撮影状態における撮像装置１を上方（空側）から見た図でもある。従って、合成画像の領域４０１（図１９等参照）側に位置する人が発した声は指向性マイク５１によって集音され、合成画像の領域４０２側に位置する人が発した声は指向性マイク５２によって集音される。第７制限例では、この特性を利用し、音声判断結果に基づいて端顔検出範囲に制限を加える。
【０１４３】
例えば、指向性マイク５１に入力された音に人の声が含まれており且つ指向性マイク５２に入力された音に人の声が含まれていないと判断された場合、撮像装置１の左側に人が存在していると推測し、端顔検出範囲に領域４０１を含める一方で端顔検出範囲から領域４０２を除外する。逆に、指向性マイク５１に入力された音に人の声が含まれておらず且つ指向性マイク５２に入力された音に人の声が含まれていると判断された場合、撮像装置１の右側に人が存在していると推測し、端顔検出範囲に領域４０２を含める一方で端顔検出範囲から領域４０１を除外する。尚、これらの場合において、端顔検出範囲に領域４０３及び４０４を含めるか否かについては任意である。また、音声判断結果に応じて端顔検出範囲にどのような制限を加えるかは、予め設定されている。また、横撮影状態における制限処理について説明したが、当然に予想される変形を施すことにより、縦撮影状態でも同様の処理が可能である。
【０１４４】
第７制限例によっても、処理時間の短縮効果が得られると共に端顔の誤検出及び過検出の抑制効果が得られる。
【０１４５】
＜＜第４実施形態＞＞
第１〜第３実施形態における全顔検出処理部（３１）及び端顔検出処理部（３２、３２ａ又は３２ｂ）に、特開２００６−７２７７０号公報に記載の手法を適用することが可能である。これを、第４実施形態として説明する。
【０１４６】
この手法では、１つの正面顔を左側半分（以下、左顔という）と右側半分（以下、右顔という）とに分けて考え、学習処理を介して左顔用のパラメータと右顔用のパラメータを生成しておく。顔検出時には、判定領域を左右に分割することにより、左側判定領域と右側判定領域を定義し、左側判定領域と左顔用のパラメータとに基づく類似度と、右側判定領域と右顔用のパラメータとに基づく類似度と、を算出する。そして、一方又は双方の類似度が閾値以上の時に、判定領域が顔領域であると判別する。更に、２つの類似度の大小関係から顔の向きを検出する。
【０１４７】
この手法を第１〜第３実施形態に適用する場合、左顔用のパラメータと右顔用のパラメータを、重みテーブルとして生成しておく。即ち、図１の顔辞書メモリ３４に格納される重みテーブルとして、左顔用のパラメータを表す左顔用重みテーブルと、右顔用のパラメータを表す右顔用重みテーブルと、を用意しておく。
【０１４８】
そして、判定領域を左側判定領域と右側判定領域に分割することに対応させて特徴画素Ｆ（ｎ）を左顔用の特徴画素と右顔用の特徴画素に分類し、左顔用の各特徴画素Ｆ（ｎ）の画素値ｉ（ｎ）及び左顔用重みテーブルに基づいて算出されるスコアｗ（ｎ）の総和を左顔用の類似度ＳLとして算出すると共に、右顔用の各特徴画素Ｆ（ｎ）の画素値ｉ（ｎ）及び右顔用重みテーブルに基づいて算出されるスコアｗ（ｎ）の総和を右顔用の類似度ＳRとして算出する。
【０１４９】
全顔検出処理部は、不等式「ＳL＞ＴＨB」と不等式「ＳR＞ＴＨB」が成立するか否かを判断し、一方又は双方が成立する場合、着目した判定領域に全顔が存在していると判断し、双方とも成立しない場合、着目した判定領域に全顔は存在していないと判断する。ここで、ＴＨBは所定の閾値である。
【０１５０】
端顔検出処理部は、例えば、不等式「ＳL＞ＴＨB−αL」と不等式「ＳR＞ＴＨB−αR」が成立するか否かを判断し、一方又は双方が成立する場合、着目した判定領域に端顔が存在していると判断し、双方とも成立しない場合、着目した判定領域に端顔は存在していないと判断する。閾値補正項αLは、左側判定領域に属する重なり領域に対応する画素値ｉ（ｎ）から算出されたスコアｗ（ｎ）の総和である。閾値補正項αRは、右側判定領域に属する重なり領域に対応する画素値ｉ（ｎ）から算出されたスコアｗ（ｎ）の総和である。
【０１５１】
また、特開２００６−７２７７０号公報に記載の手法を適用し、ＳLとＳRの大小関係に基づいて、検出された全顔の向き又は端顔の向きを検出すればよい。
【０１５２】
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１５３】
［注釈１］
上述の各実施形態では、同一の入力画像を全顔検出処理部（３１）及び端顔検出処理部（３２、３２ａ又は３２ｂ）に与え、該入力画像に対する全顔検出処理部の顔検出結果（全顔検出結果）を、端顔検出処理部による該入力画像に対する端顔検出処理に反映させるようにしている。つまり、或るフレームの撮影画像に対して全顔検出処理を行い、その全顔検出結果を同一フレームの撮影画像に対する端顔検出処理に反映させている。
【０１５４】
しかしながら、第１フレームの撮影画像に対して全顔検出処理を行い、その全顔検出結果を、第２フレームの撮影画像に対する端顔検出処理に反映させるようにしてもよい。第２フレームは第１フレームよりも後のフレームであり、典型的には例えば、第２フレームは第１フレームの次のフレームである。
【０１５５】
このようにすると、以下のような処理も可能となる。即ち、第１フレームの撮影画像に対する全顔検出処理の結果に基づいて、第２フレームの撮影画像に対する端顔検出処理の条件を設定して第２フレームの撮影画像に基づく合成画像を生成する。ここで、「端顔検出処理の条件」とは、端顔検出を行うために設定すべき条件の全てを指し、第１実施形態で述べた画像追加幅Ｗ＿ｄｕｍ（図１０参照）、第３実施形態で述べた端顔検出時の検出条件などを含む。そして、第２フレームに対応する該合成画像に対して、全顔検出処理及び端顔検出処理を行うための判定領域の走査を一度に行うようにする。つまり、全顔検出を行うための判定領域の走査と端顔検出を行うための判定領域の走査とを個別に行うことなく、第２フレームに対応する合成画像に対して両検出用の走査を一度に行う。これにより、端顔検出専用の走査を行う必要がなくなる。
【０１５６】
［注釈２］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【０１５７】
［注釈３］
各実施形態における撮像装置は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図２、図１７または図１８に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能であり（但し、メモリを除く）、また、それらの各機能を撮像装置の外部にて実現することも可能である。
【０１５８】
ソフトウェアを用いて撮像装置を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、図２、図１７または図１８に示される各部位の機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１５９】
［注釈４］
上述の各実施形態おいて、図２等に示される端顔検出処理部（３２、３２ａ又は３２ｂ）は、端顔検出手段として機能し、この端顔検出手段は、上記の類似度（Ｓ2など）を算出する類似度算出手段と、この類似度を比較されるべき判定閾値を設定するための判定閾値設定手段と、を備える。この判定閾値は、上述の（ＴＨ−α）などに対応する。
【図面の簡単な説明】
【０１６０】
【図１】本発明の第１実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の顔検出部の内部ブロック図である。
【図３】図２の全顔検出処理部に対する入力画像内において判定領域が走査される様子を表す図である。
【図４】図２の全顔検出処理部による顔検出処理（全顔検出処理）の動作手順を表すフローチャートである。
【図５】判定領域内の画像から４方向の第１エッジ強調画像を生成する際に用いる微分フィルタを表す図である。
【図６】判定領域内の画像から生成される、４方向の第１エッジ強調画像と４方向の第２エッジ強調画像を表す図である。
【図７】判定領域内の画像から生成される４方向の特徴画像を表す図である。
【図８】図２の顔辞書メモリに格納される重みテーブルの内容例を表す図である。
【図９】入力画像に存在しうる端顔を表す図である。
【図１０】入力画像にダミー画像を追加することによって生成される合成画像を表す図である。
【図１１】判定領域とダミー画像との間に重なり領域が存在することを示す図である。
【図１２】合成画像内で走査される判定領域の中心座標の軌跡を示す図である。
【図１３】図２の端顔検出処理部による顔検出処理（端顔検出処理）の動作手順を表すフローチャートである。
【図１４】図２の端顔検出処理部による閾値補正項の算出法を説明するための図である。
【図１５】図２の端顔検出処理部による閾値補正項の算出法を説明するための図である。
【図１６】本発明の第２実施形態に係る端顔検出処理部の動作を説明するための図である。
【図１７】本発明の第２実施形態に係る端顔検出処理部の内部ブロック図である。
【図１８】本発明の第３実施形態に係る顔検出部の内部ブロック図である。
【図１９】本発明の第３実施形態に係り、入力画像と端顔検出範囲との関係を説明するための図である。
【図２０】本発明の第３実施形態に係り、入力画像と端顔検出範囲との関係を説明するための図である。
【図２１】本発明の第３実施形態に係り、検出された全顔の向きと検出対象となる端顔の向きとの関係を説明するための図である。
【図２２】本発明の第３実施形態に係り、撮像装置の傾きと端顔検出範囲との関係を説明するための図である。
【図２３】本発明の第３実施形態に係り、傾いた全顔及び端顔を示す図である。
【図２４】本発明の第３実施形態に係り、検出対象から除外される、傾いた端顔を示す図である。
【図２５】本発明の第３実施形態に係り、指向性マイクが設けられた撮像装置を上方（空側）から見た図である。
【符号の説明】
【０１６１】
１  撮像装置
１１  撮像部
１９  顔検出部
３０  画像入力部
３１  全顔検出処理部
３２、３２ａ、３２ｂ  端顔検出処理部
３３  顔検出結果統合部
３４  顔辞書メモリ
【図１】
2008181439.tif 000005
【図２】
2008181439.tif 000006
【図３】
2008181439.tif 000007
【図４】
2008181439.tif 000008
【図５】
2008181439.tif 000009
【図６】
2008181439.tif 000010
【図７】
2008181439.tif 000011
【図８】
2008181439.tif 000012
【図９】
2008181439.tif 000013
【図１０】
2008181439.tif 000014
【図１１】
2008181439.tif 000015
【図１２】
2008181439.tif 000016
【図１３】
2008181439.tif 000017
【図１４】
2008181439.tif 000018
【図１５】
2008181439.tif 000019
【図１６】
2008181439.tif 000020
【図１７】
2008181439.tif 000021
【図１８】
2008181439.tif 000022
【図１９】
2008181439.tif 000023
【図２０】
2008181439.tif 000024
【図２１】
2008181439.tif 000025
【図２２】
2008181439.tif 000026
【図２３】
2008181439.tif 000027
【図２４】
2008181439.tif 000028
【図２５】
2008181439.tif 000029