(57)【要約】【課題】スナップ写真から人物の顔領域を検出する確固たる手法は開発されていないため、既存手法によって検出された顔候補領域には背景などが含まれることが多い。そのため、顔候補領域から顔領域のみを正確に抽出する処理が必要となるが、画像特徴のみからこれを行うことは困難である。【解決手段】画像を読み込む画像入力部１０１と、画像特徴を算出して顔候補領域を検出する顔候補領域検出部１０２と、画像に付加された撮影条件情報を読み込む撮影条件情報入力部１０３と、シーンタイプ情報や撮影距離情報を用いて顔候補領域の中から顔領域としての尤度が高い領域を選定する顔候補領域選定部１０４と、各顔候補領域が顔を含んでいるか否かを判定する顔領域決定部１０５と、顔領域情報を記録する顔領域情報保存部１０６から構成される顔領域検出装置を用いて顔領域を検出する。【選択図】図１
2005301722.tif 000002
【特許請求の範囲】
【請求項１】
画像を読み込む画像入力部と、画像特徴を算出して顔候補領域を検出する顔候補領域検出部と、画像に付加された、もしくは画像に対応して設定された撮影条件情報を読み込む撮影条件情報入力部と、前記撮影条件情報入力部で読み込まれた撮影条件情報を用いて、顔候補領域の中から顔領域としての尤度が高い領域を選定する顔候補領域選定部と、各顔候補領域が顔を含んでいるか否かを判定する顔領域決定部と、顔領域情報を記録する顔領域情報保存部から構成されることを特徴とする顔領域検出装置。
【請求項２】
前記顔候補領域選定部において、撮影条件情報より画像撮影時の状況を記録したシーンタイプ情報と撮影装置から被写体までの距離を記録した撮影距離情報とを抽出する情報抽出部と、シーンタイプ情報をもとに顔領域の存在しない画像を除外する顔画像選定部と、撮影距離情報をもとに不適切な大きさの顔候補領域を除外する顔候補領域選定部を備えたことを特徴とする請求項１記載の顔領域検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等によって撮影された画像から顔領域を検出する方法に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラやカメラ機能付き携帯電話等の急速な普及により、ユーザが簡単に大量の画像を扱う機会が増えている。ユーザは撮りためた画像を後で整理することになるが、画像を１枚ずつ目視して整理していては非常に時間がかかるため、整理・分類を自動化できる手法の開発が期待されている。
【０００３】
ユーザが画像を分類する場合、撮影日時、撮影場所、撮影した時の行事名等を記したキーワードなどで分類することが考えられるが、最も自動化が望まれている分類方法として、撮影対象となる被写体ごとに分類する方法が挙げられる。
【０００４】
被写体が人物であれば、その人物が誰であるかまで自動的に特定できればよりユーザの負担を軽減することができる。このためにはまず画像中より顔領域を安定に検出し、その後に人物の認識を行うという過程を踏む必要があるが、現状の技術ではその初期段階となる顔検出手法は確立されておらず、得られた顔候補領域の中には背景などが含まれていることが少なくない。
【０００５】
本発明は顔候補領域に含まれる誤検出を除き、より高精度に顔領域を検出する顔領域検出装置を提供することを目的とする。
【０００６】
図３は従来の顔検出手法の一つであるテンプレートマッチングを用いた手法を示すものである（例えば、特許文献１参照。）。図３において３０１は画像を読み込む画像入力部、３０２は画像から顔の特徴を捉えやすくするための情報を抽出する特徴量抽出部、３０３は予め作成しておいた顔テンプレートを入力するテンプレート入力部、３０４は画像を走査しながら抽出した特徴量とテンプレートとの類似度を計算する類似度演算部、３０５は画像中で類似度が一定の基準を満たす領域を検出し、顔領域として定義する顔領域抽出部である。
【０００７】
しかしながら、上記した従来の手法ではデジタルカメラ等によって撮影されたスナップ写真に含まれる顔領域を過不足無く検出することはできない。これは、スナップ写真はセキュリティ用に撮影された人物画像のような制約条件（人物は正面向き、画像中に人物は１人しか写っていない、画像に対する顔の位置・大きさは常に同じなど）が無く、顔領域のパターンとして様々なものが考えられるため、テンプレートあるいは他の特徴量が十分に顔の特徴を模すことが困難であるという点に起因している。
【０００８】
以上のことより、画像特徴のみから顔領域を正確に検出することは困難である。
【特許文献１】特開２００１−２２２７１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
解決しようとする問題点は、画像特徴のみを用いて原画像に含まれる顔領域を過不足無く検出することが困難な点である。
【課題を解決するための手段】
【００１０】
本発明は、画像特徴を用いた顔検出手法の精度を向上させるため、画像撮影時に記録された撮影条件情報を用いることを最も主要な特徴とする。
【発明の効果】
【００１１】
本発明によれば、既存の顔候補領域検出手法によって検出された顔候補領域に含まれる非顔領域の大部分を除外することができ、残った候補領域に対してのみ顔非顔判定を行うことが可能であるため、余分な領域の拾いすぎを抑止し、顔検出精度を向上させられるという利点がある。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を、図１〜８を用いて説明する。
【００１３】
（実施の形態１）
図１は本発明の実施の形態１における顔領域検出装置の構成図である。図１において、１０１は画像を読み込む画像入力部、１０２は画像から特徴量を算出し、顔候補領域を検出する顔候補領域検出部、１０３は画像撮影時に画像に付加された撮影条件を読み込む撮影条件情報入力部、１０４は顔候補領域検出部１０２で検出された顔候補領域の中から、撮影条件情報入力部１０３で入力された条件に適合する領域を選定する顔候補領域選定部、１０５は顔候補領域選定部１０４で選定された顔候補領域に対して顔であるか否かを判定し、最終的な顔領域を決定する顔領域決定部、１０６は顔領域決定部１０５で決定された顔領域情報を記録媒体に記録する顔領域情報保存部である。
【００１４】
まず、画像入力部１０１により、デジタルカメラなどの撮影装置にて撮影された画像が読み込まれる。読み込まれた画像から顔候補領域検出部１０２により顔候補領域が検出される。また、撮影条件情報入力部１０３により、画像撮影時に画像とともに記録されている撮影条件情報が読み込まれる。次に、顔候補領域選定部１０４において、顔候補領域検出部１０２にて検出された一次顔候補領域１５１のうち、撮影条件情報入力部１０３にて読み込まれた条件に適合した二次顔候補領域１５２が選定される。そして顔領域決定部１０５にて、選定された二次顔候補領域１５２が顔であるか否かを詳細に判定し、最終的な顔領域が決定される。最後に顔領域情報保存部１０６で、決定された顔領域情報が記録媒体に記録される。ここで撮影条件情報とは、画像撮影時の状況を記録したシーンタイプ情報や、撮影装置から被写体までの距離を記録した撮影距離情報などのことを指す。
【００１５】
顔候補領域検出部１０２にて適用される顔候補領域検出方法の一例を、図７に示すフロー図を用いて説明する。まず画像からエッジ特徴を検出する（Ｓ７０１）。次にエッジ特徴を検出した画像にフーリエ変換を施し（Ｓ７０２）、周波数特徴へと変換する。そして予め作成しておいたテンプレート画像の周波数特徴との積和を計算し（Ｓ７０３）、逆フーリエ変換を施して周波数特徴を二次元座標へと変換する（Ｓ７０４）。最後にＳ７０３にて計算した積和が一定の閾値以上を示す領域を顔候補領域として検出する（Ｓ７０５）。周波数特徴を用いる利点は、通常のテンプレートマッチングのように画像の全領域を走査しながら相関を求める処理が簡略化できるため、処理量が大幅に削減できることである。
【００１６】
また、顔領域決定部１０５にて適用される顔非顔判定方法の一例を、図４に示すフロー図を用いて説明する。顔候補領域選定部１０４にて出力された二次顔候補領域の情報をもとに該当領域の画像を切り出して顔候補領域画像として入力し（Ｓ４０１）、顔候補領域の大部分が肌色領域であるか（Ｓ４０２）、顔候補領域が目領域を有しているか（Ｓ４０３）を判定し、条件を満たす顔候補領域を最終的な顔領域とする。
【００１７】
以下、顔候補領域選定部１０４の詳細について説明する。図２は顔候補領域選定部１０４の詳細を示す構成図であり、図５はそのフロー図である。図２において、２０１は撮影条件情報よりシーンタイプ情報と撮影距離情報とを抽出する情報抽出部、２０２はシーンタイプ情報をもとに顔領域の存在しない画像を除外する顔画像選定部、２０３は撮影距離情報に適合しない大きさの顔候補領域を除外する撮影距離適合領域選定部である。
【００１８】
ここでシーンタイプ情報とは、例えば風景モードやマクロ撮影モードなど、画像撮影時に周囲の環境や被写体の状況に合わせて記録されている情報である。また、撮影距離情報とは、例えば焦点距離、撮影倍率、ＣＣＤサイズ、画素数、あるいは撮影装置から被写体までの距離そのものの情報などである。撮影装置から被写体までの距離が記録されている場合、直接的に被写体までの距離、あるいは簡易的に被写体までの大まかな距離範囲が記録されている。
【００１９】
画像選定部２０２で、シーンタイプ情報が風景モードあるいはマクロ撮影モードに設定されている場合（Ｓ５０２、Ｓ５０３）、画像中には人物が写っていないと仮定し、画像内の全候補領域を除外する（Ｓ５０４）。
次に撮影距離適合領域選定部２０３で、撮影距離情報に適合しない大きさの顔候補領域を除外する。図６に示すように、顔候補領域サイズは顔候補検出部１０２にて適用されるテンプレートサイズの種類だけ存在し、大小様々なサイズの顔候補領域が検出されている。図８に示すように、ある解像度・倍率における撮影距離と顔候補領域サイズの対応表は予め求めておくことができる。各距離での顔候補領域サイズの実測値は常に同じであるとする。図９は受光面であるＣＣＤ受光素子が像を結ぶモデルを示すものである。図９において、ａは焦点距離、ｂはカメラレンズから被写体までの距離、ｃは顔候補領域サイズの実測値のうちの一辺であり、ｘがＣＣＤ上での顔候補領域サイズの一辺である。ここでａは距離情報として画像に付加されているので、図８のようにｂ、ｃを定義すれば下記の数式によりｘを算出ことができる。
【００２０】
【数１】
2005301722.tif 000003
【００２１】
ＣＣＤ単位当たりの画素数をもとにｘを画素単位に換算すると画像上での顔候補領域サイズを決定することができる（Ｓ５０５）。この対応表と実際の被写体までの距離を比較して顔候補領域を限定していくが、一般的なデジタルカメラなどの撮影装置は単体で正確な距離計測機能を持つものは少ない。しかし、オートフォーカスにより被写体へ焦点を合わせようとする際、簡易的に距離を概算することができる。このとき得られる被写体までの距離情報は、例えばある基準となる距離に対して近距離にあるか、遠距離にあるかという情報で保存される。この基準となる距離は撮影装置によって異なるが、既知の値である。いま、基準となる距離が３ｍ、距離情報が近距離に設定されているとき、被写体は３ｍより遠くにはいないと見做し（Ｓ５０６）、対応表の３ｍより遠い距離に該当する小さな領域サイズのものは候補から除く（Ｓ５０７）。逆に遠距離に設定されている場合は  ３ｍ  より近い距離に該当する大きな領域サイズのものは候補から除くことで顔候補領域を絞り込む（Ｓ５０８）。正確な距離計測が行える撮影装置の場合、対応表から該当する距離付近の範囲内に収まる領域サイズのみを候補領域として検出し、それ以外の領域サイズは候補から除外する。
【００２２】
以上のように本実施の形態によれば、顔候補領域に含まれる非顔領域の大部分を除去することができるため、顔領域検出装置の精度を高めることができる。
【産業上の利用可能性】
【００２３】
本発明にかかる顔領域検出装置は、顔候補領域から非顔領域を除外して顔検出精度を向上させるだけでなく、候補領域数を限定した後に顔非顔判定処理を行う装置構成であるため、顔非顔判定処理時間の短縮にも寄与する。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態１における顔領域検出装置の構成図
【図２】本発明の実施の形態１における顔候補領域選定部の構成図
【図３】従来の顔検出装置の構成図
【図４】本発明の実施の形態１における顔領域検出装置での顔非顔判定方法のフロー図
【図５】本発明の実施の形態１における顔領域検出装置での顔候補領域選定部のフロー図
【図６】図５に示した顔候補領域選定部のフロー図の中で、適切な候補領域サイズ範囲決定の方法を示す説明図
【図７】本発明の実施の形態１における顔領域検出装置での顔候補領域検出方法のフロー図
【図８】ある解像度・倍率における顔候補領域サイズと撮影距離の例を示す図
【図９】ＣＣＤ上の像と実測値の関係を示す説明図
【符号の説明】
【００２５】
１０１    画像入力部
１０２    顔候補領域検出部
１０３    撮影条件情報入力部
１０４    顔候補領域選定部
１０５    顔領域決定部
１０６    顔領域情報保存部
１５１    一次顔候補領域
１５２    二次顔候補領域
２０１    情報抽出部
２０２    顔画像選定部
２０３    撮影距離適合領域選定部
３０１    画像入力部
３０２    特徴量抽出部
３０３    テンプレート入力部
３０４    類似度演算部
３０５    顔領域抽出部
【図１】
2005301722.tif 000004
【図２】
2005301722.tif 000005
【図３】
2005301722.tif 000006
【図４】
2005301722.tif 000007
【図５】
2005301722.tif 000008
【図６】
2005301722.tif 000009
【図７】
2005301722.tif 000010
【図８】
2005301722.tif 000011
【図９】
2005301722.tif 000012