(57)【要約】【課題】被写体同士の関連性を加味した顔認識処理を行う。【解決手段】顔認識装置は、画像から検出された顔画像について、予め登録された複数の被写体の認識用データとの比較を行い、該複数の被写体の各々について類似度を算出する。また顔認識装置は各顔画像について、算出された最も高い類似度が認識基準の閾値を超える場合に、該顔画像が最も高い類似度が算出された被写体であると認識する。このとき検出された顔画像のうち、被写体が認識済みの１つの顔画像を基準顔画像とする。そして該基準顔画像以外の顔画像の各々について、該基準顔画像の被写体との関連性が予め登録されている関連被写体の類似度が高くなるように、算出された類似度を補正し、認識を行う。【選択図】図４
2014191479.tif 000002
【特許請求の範囲】
【請求項１】
画像内に含まれる顔画像を検出する検出手段と、
前記検出手段により検出された顔画像について、予め登録された複数の被写体の認識用データとの比較を行い、該複数の被写体の各々について類似度を算出する算出手段と、
顔画像について前記算出手段により算出された最も高い類似度が認識基準の閾値を超える場合に、該顔画像が前記最も高い類似度が算出された被写体であると認識する認識手段と、を有する顔認識装置であり、
前記検出手段により検出された顔画像のうち、前記認識手段によって被写体が認識済みの１つの顔画像を基準顔画像とし、該基準顔画像以外の顔画像の各々について、該基準顔画像の被写体との関連性が予め登録されている関連被写体の類似度が高くなるように、前記算出手段により算出された類似度を補正する補正手段、を有し、
前記認識手段は、前記補正手段により補正された類似度を用いて、前記基準顔画像以外の顔画像についての認識を行う
ことを特徴とする顔認識装置。
【請求項２】
画像内に含まれる顔画像を検出する検出手段と、
前記検出手段により検出された顔画像について、予め登録された複数の被写体の認識用データとの比較を行い、該複数の被写体の各々について類似度を算出する算出手段と、
顔画像について前記算出手段により算出された最も高い類似度が認識基準の閾値を超える場合に、該顔画像が前記最も高い類似度が算出された被写体であると認識する認識手段と、を有する顔認識装置であり、
前記検出手段により検出された顔画像のうち、前記認識手段によって被写体が認識済みの１つの顔画像を基準顔画像とし、該基準顔画像以外の顔画像の各々について、該基準顔画像の被写体との関連性が予め登録されている関連被写体に対する閾値が低くなるように、前記閾値を補正する補正手段、を有し、
前記認識手段は、前記補正手段により補正された閾値を用いて、前記基準顔画像以外の顔画像についての認識を行う
ことを特徴とする顔認識装置。
【請求項３】
前記補正手段は、前記認識手段によって被写体が認識済みの顔画像のうち、認識に用いられた類似度が最も高い顔画像を前記基準顔画像とすることを特徴とする請求項１または２に記載の顔認識装置。
【請求項４】
前記検出手段により検出された顔画像の中から１つの顔画像を主顔画像として選択する選択手段をさらに有し、
前記補正手段は、前記選択手段により前記主顔画像が選択されている場合に、前記主顔画像を前記基準顔画像として補正を行う
ことを特徴とする請求項１または２に記載の顔認識装置。
【請求項５】
連続して撮像された画像について前記主顔画像を追跡する追跡手段をさらに有し、
前記選択手段は、前記追跡手段により追跡されている前記主顔画像が既に存在する場合に前記選択を行わない
ことを特徴とする請求項４に記載の顔認識装置。
【請求項６】
前記補正手段は、前記基準顔画像の認識に用いられた類似度の高さに応じて、前記基準顔画像以外の被写体についての類似度の補正量を変更することを特徴とする請求項１に記載の顔認識装置。
【請求項７】
前記関連被写体は、前記基準顔画像の被写体と同一の属性に分類された被写体であることを特徴とする請求項１乃至６のいずれか１項に記載の顔認識装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の顔認識装置と、
撮像により得られた画像を出力する撮像手段と、を有し、
前記顔認識装置は、前記撮像手段により出力された画像について、顔画像の検出及び被写体の認識を行う
ことを特徴とする撮像装置。
【請求項９】
画像内に含まれる顔画像を検出する検出手段と、
前記検出手段により検出された顔画像について、予め登録された複数の被写体の認識用データとの比較を行い、該複数の被写体の各々について類似度を算出する算出手段と、
顔画像について前記算出手段により算出された最も高い類似度が認識基準の閾値を超える場合に、該顔画像が前記最も高い類似度が算出された被写体であると認識する認識手段と、を有する顔認識装置の制御方法であり、
前記顔認識装置の補正手段が、前記検出手段により検出された顔画像のうち、前記認識手段によって被写体が認識済みの１つの顔画像を基準顔画像とし、該基準顔画像以外の顔画像の各々について、該基準顔画像の被写体との関連性が予め登録されている関連被写体の類似度が高くなるように、前記算出手段により算出された類似度を補正する補正工程、を有し、
前記認識手段は、前記補正工程において補正された類似度を用いて、前記基準顔画像以外の顔画像についての認識を行う
ことを特徴とする顔認識装置の制御方法。
【請求項１０】
画像内に含まれる顔画像を検出する検出手段と、
前記検出手段により検出された顔画像について、予め登録された複数の被写体の認識用データとの比較を行い、該複数の被写体の各々について類似度を算出する算出手段と、
顔画像について前記算出手段により算出された最も高い類似度が認識基準の閾値を超える場合に、該顔画像が前記最も高い類似度が算出された被写体であると認識する認識手段と、を有する顔認識装置の制御方法であり、
前記顔認識装置の補正手段が、前記検出手段により検出された顔画像のうち、前記認識手段によって被写体が認識済みの１つの顔画像を基準顔画像とし、該基準顔画像以外の顔画像の各々について、該基準顔画像の被写体との関連性が予め登録されている関連被写体に対する閾値が低くなるように、前記閾値を補正する補正工程、を有し、
前記認識手段は、前記補正工程において補正された閾値を用いて、前記基準顔画像以外の顔画像についての認識を行う
ことを特徴とする顔認識装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至７のいずれか１項に記載の顔認識装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔認識装置、撮像装置、制御方法、及びプログラムに関し、特に画像内に含まれる人物の顔を認識する顔認技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置の中には、撮像した画像内に含まれる顔を検出し、予め登録された顔画像と比較することで類似度を導き、顔の人物を特定する顔認識処理を行うものがある。
【０００３】
特許文献１には、顔認識処理において比較する顔画像の数を低減するために、主たる顔の認識を行った後、該顔と同一属性を有する顔に限定してその他の顔の顔認識処理を行う画像認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０８６５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のような技術では、予め登録された被写体の人物同士の関係性に基づいて属性を分類している。つまり、主たる顔の人物と関係性を有さない人物が画像に含まれる場合、該人物の顔は認識できない、あるいは他人として認識される可能性があった。また関係性を有さないが、該人物の認識用の顔画像が登録されていたとしても、認識処理に用いられることがないため、認識されないことについてユーザに好適な印象を与えない可能性があった。
【０００６】
本発明は、上述の問題点に鑑みてなされたものであり、被写体同士の関連性を加味した顔認識処理を行う顔認識装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前述の目的を達成するために、本発明の顔認識装置は、以下の構成を備えることを特徴とする。具体的には顔認識装置は、画像内に含まれる顔画像を検出する検出手段と、検出手段により検出された顔画像について、予め登録された複数の被写体の認識用データとの比較を行い、該複数の被写体の各々について類似度を算出する算出手段と、顔画像について算出手段により算出された最も高い類似度が認識基準の閾値を超える場合に、該顔画像が最も高い類似度が算出された被写体であると認識する認識手段と、を有する顔認識装置であり、検出手段により検出された顔画像のうち、認識手段によって被写体が認識済みの１つの顔画像を基準顔画像とし、該基準顔画像以外の顔画像の各々について、該基準顔画像の被写体との関連性が予め登録されている関連被写体の類似度が高くなるように、算出手段により算出された類似度を補正する補正手段、を有し、認識手段は、補正手段により補正された類似度を用いて、基準顔画像以外の顔画像についての認識を行うことを特徴とする。
【０００８】
同様に、前述の目的を達成するために、本発明の顔認識装置は、以下の構成を備えることを特徴とする。具体的には顔認識装置は、画像内に含まれる顔画像を検出する検出手段と、検出手段により検出された顔画像について、予め登録された複数の被写体の認識用データとの比較を行い、該複数の被写体の各々について類似度を算出する算出手段と、顔画像について算出手段により算出された最も高い類似度が認識基準の閾値を超える場合に、該顔画像が最も高い類似度が算出された被写体であると認識する認識手段と、を有する顔認識装置であり、検出手段により検出された顔画像のうち、認識手段によって被写体が認識済みの１つの顔画像を基準顔画像とし、該基準顔画像以外の顔画像の各々について、該基準顔画像の被写体との関連性が予め登録されている関連被写体に対する閾値が低くなるように、閾値を補正する補正手段、を有し、認識手段は、補正手段により補正された閾値を用いて、基準顔画像以外の顔画像についての認識を行うことを特徴とする。
【発明の効果】
【０００９】
このような構成により本発明によれば、被写体同士の関連性を加味した顔認識処理を行うことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る顔認識部１００の機能構成を示したブロック図
【図２】本発明の実施形態に係る、認識用に登録された各被写体についてのデータを例示した図
【図３】本発明の実施形態１に係るデジタルカメラで実行される顔認識処理を例示したフローチャート
【図４】本発明の実施形態１に係る識別部１０６で実行される個人認識処理を例示したフローチャート
【図５】本発明の実施形態１に係る顔認識処理の適用例を説明するための図
【図６】本発明の実施形態２に係るデジタルカメラで実行される顔認識処理を例示したフローチャート
【図７】本発明の実施形態２に係る識別部１０６で実行される個人認識処理を例示したフローチャート
【図８】本発明の実施形態２に係る顔認識処理を適用する対象フレームを例示した図
【図９】本発明の実施形態２に係る顔認識処理の適用例を説明するための図
【発明を実施するための形態】
【００１１】
［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、顔認識装置の一例としての、画像に含まれる顔画像について、予め登録された認識用データとの類似度に基づいて顔画像の被写体を特定可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、予め登録された認識用データとの類似度に基づいて顔画像の被写体を認識することが可能な任意の機器に適用可能である。
【００１２】
《デジタルカメラの顔認識部１００の構成》
図１は、本発明の実施形態に係るデジタルカメラが有する顔認識部１００の機能構成を示すブロック図である。なお、本実施形態では顔認識部１００は、デジタルカメラが有する不図示の制御部により動作が制御される１つのユニットであるものとする。また図１においては顔認識部１００は、内部に含まれるブロックの各々が独立したハードウェアであるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、複数のブロックが行う処理は１つのハードウェアにより実現されてもよい。また各ブロックの動作は、同様の処理を行うプログラムとして実現されてもよい。
【００１３】
画像入力部１０１は、顔認識部１００が有する画像入力インタフェースである。顔認識部１００において後述の顔認識処理が行われる場合、認識対象の顔画像を含む画像（対象画像）が制御部により画像入力部１０１を介して顔認識部１００に入力される。
【００１４】
顔検出部１０２は、対象画像について人物の顔に対応する顔画像の位置及びサイズを検出する。具体的には顔検出部１０２は、例えば対象画像鼻について口や目などの顔領域の構成要素に相当する形状を抽出し、両目の中間を通過する延長線上に鼻と口が存在する領域を特定する。そして顔検出部１０２は、両目の大きさとそれらの距離から顔の大きさを推定し、鼻の中心に相当する位置を基準とする推定した大きさの領域を顔領域として検出する。なお、本実施形態では顔認識部１００は対象画像に含まれる人物の顔を特定するものとして説明するが、本発明の実施は顔検出可能な被写体であれば、特定の動物等にも本発明は実施可能である。
【００１５】
正規化部１０３は、対象画像から顔検出部１０２により検出された顔領域の画像を抽出し、類似度の算出に使用する顔画像を生成する。具体的には正規化部１０３は、抽出した画像を例えば眼間距離が所定の長さとなるように拡大縮小処理を行い、正規化がなされた顔画像を生成する。なお正規化部１０３は、抽出する領域において顔の傾きを検出した場合、該傾きを補正した後に顔画像を生成する。
【００１６】
特徴データ生成部１０４は、正規化部１０３により生成された顔画像について、特徴データを生成する。特徴データは、特開２００５−２６６９８１号公報に開示されるような、顔画像における各構成要素の形状や配置の情報を含むデータであってよい。また顔画像の色彩に関する情報を含んでいてもよい。特徴データ生成部１０４は、例えばニューラルネットワークや空間フィルタを用いたエッジ検出技術等を利用して特徴データの生成を行う。
【００１７】
識別部１０６は、顔検出部１０２により検出された各顔領域について、該領域の特徴データに基づいて領域の被写体を識別する。具体的には識別部１０６は、予め認識用に登録されている被写体の各々について、個人データベース部１０８に記録された各被写体の認識用データと特徴データとの類似度を算出し、揮発性メモリであるＲＡＭ１０５に格納する。そして識別部１０６は、１つの顔領域について算出された複数の類似度のうちの最も高い類似度が、被写体として認識する閾値を超える（類似度が高い）と判断した場合は、該顔領域の被写体が最も高い類似度が算出された被写体であると識別する。
【００１８】
本実施形態の顔認識部１００では、顔認識用に予め複数の被写体のデータが個人データベース部１０８に登録されている。各被写体のデータは、例えば図２に示されるように、被写体の識別情報（個人ＩＤ）に関連付けて、人物名、顔画像、認識用の特徴データ（認識用データ）、及び他の被写体との関連性を示す属性情報（属性ＩＤ）を有するものとする。
【００１９】
本実施形態の顔認識部１００では、顔認識用のデータが登録されている被写体について、被写体間の関連性が属性情報として定義されている。図２の例では、２種類の関連性について属性ＩＤ「１」及び「２」が割り振られ、関連性が未設定のデータには「０」が割り当てられている。しかしながら関連性の情報はこのように絶対的な情報でなく、例えば１人の被写体を基準とした際に、家族関係や交友関係等、該被写体と特定の関係にある被写体を分類できる情報であってもよい。本実施形態の識別部１０６は、このような事前に設定された被写体間の関連性の情報を取得し、個人認識処理に反映させることができる。具体的には識別部１０６は、１つの顔画像について被写体が認識された際には、該被写体と関連性を有する被写体が対象画像内に含まれている可能性が高いものとみなして、算出された類似度を補正するように構成される。
【００２０】
なお、関連性の情報はユーザにより手動で設定される情報であってもよい。あるいは、後述の登録部１０９が新たな被写体に関する認識用のデータを登録する際に、抽出元の画像に含まれると認識された他の被写体について関連性を設定するものであってもよい。あるいは、入力された複数の対象画像において共に含まれる頻度が高い被写体の組み合わせについて、関連性があるものとみなして設定されるものであってもよい。
【００２１】
識別部１０６における個人認識処理の結果、即ち対象画像に含まれる顔画像の各々についての認識結果は、結果出力部１０７に伝送され、出力される。結果出力部１０７は顔認識部１００の結果出力インタフェースである。また登録部１０９は、個人認識処理の結果、新たに登録すべきとの判断がなされた特徴データを個人データベース部１０８に登録する。
【００２２】
《顔認識処理》
このような構成をもつ本実施形態の顔認識部１００を用いた顔認識処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、デジタルカメラの制御部が、例えば不図示のＲＯＭに記憶されている対応する処理プログラムを読み出し、一時記憶領域に展開して実行することにより実現することができる。なお、本顔認識処理は、例えば撮像により得られた画像について顔認識処理の実行が決定し、該画像を顔認識部１００に入力した際に開始されるものとして説明する。
【００２３】
Ｓ３０１で、顔検出部１０２は制御部の制御の下、画像入力部１０１が取得した対象画像について人物の顔領域の検出を行う。制御部は、顔検出部１０２により顔領域の検出が行われた場合、各顔領域について識別情報を割り当て、領域の位置やサイズの情報と共に一時記憶領域に格納する。
【００２４】
Ｓ３０２で、制御部は、顔検出部１０２において顔領域の検出がなされたか否かを判断する。制御部は、１以上の顔領域が検出されたと判断した場合は処理をＳ３０３に移し、検出されていないと判断した場合は本顔認識処理を完了する。
【００２５】
Ｓ３０３で、正規化部１０３は制御部の制御の下、対象画像の各顔領域から抽出した顔画像から正規化した顔画像を生成する。またＳ３０４で、特徴データ生成部１０４は制御部の制御の下、正規化された顔画像について特徴データを生成する。なお、抽出された顔画像及び特徴データは、制御部により例えば顔領域の識別情報に関連付けられて一時記憶領域に格納されるものとする。
【００２６】
Ｓ３０５で、識別部１０６は制御部の制御の下、個人認識処理を実行する。
【００２７】
〈個人認識処理〉
ここで、識別部１０６において実行される個人認識処理について、図４のフローチャートを用いて詳細を説明する。
【００２８】
Ｓ４０１で、識別部１０６は、一時記憶領域に格納されている顔領域（検出された顔領域）のうち、類似度の算出を行っていない１つの顔領域を処理対象の顔領域（対象顔領域）として設定する。
【００２９】
Ｓ４０２で、識別部１０６は、対象顔領域の特徴データについて、個人データベース部１０８に格納されている全ての認識用データとの類似度をそれぞれ算出する。識別部１０６は、算出した類似度の情報をＲＡＭ１０５に格納する。
【００３０】
Ｓ４０３で、識別部１０６は、検出された全ての顔領域について類似度の算出が完了しているか否かを判断する。具体的には識別部１０６は、ＲＡＭ１０５に全ての顔領域についての各認識用データに対する類似度の情報が格納されているか否かによって該判断を行う。識別部１０６は、全ての顔領域について類似度の算出が完了していると判断した場合は処理をＳ４０４に移し、完了していないと判断した場合は処理をＳ４０１に戻す。
【００３１】
Ｓ４０４で、識別部１０６は、検出された顔領域について、算出された全ての類似度のうち、被写体を問わず最も高い類似度が算出された１つの顔領域（基準顔領域）を特定し、該類似度が被写体として認識する閾値を超えるか否かを判断する。識別部１０６は、基準顔領域について算出された最も高い類似度が閾値を超えると判断した場合は処理をＳ４０５に移し、基準顔領域の顔が該最も高い類似度に対応する被写体（基準被写体）の顔であると認識する。また識別部１０６は、基準顔領域についてい算出された最も高い類似度が閾値を超えないと判断した場合は、いずれの顔領域についても個人認識が不能であるとして、本個人認識処理を完了する。
【００３２】
Ｓ４０６で、識別部１０６は個人データベース部１０８を参照し、基準被写体について関連性が設定されている関連被写体の情報を取得する。即ち、識別部１０６は、基準被写体について設定されている属性ＩＤと同一の属性ＩＤが設定されている被写体の情報を取得する。
【００３３】
Ｓ４０７で、識別部１０６は、基準顔領域以外の顔領域の各々について、関連被写体について算出された類似度の値を、類似度が高くなるように補正する。このとき類似度の補正は、一律で所定の係数を乗ずることにより行われてもよいし、所定の値を加算することにより行われてもよい。また類似度の補正量は、基準顔領域の基準被写体について算出された類似度の大きさに応じて変更されてもよい。即ち、基準顔領域が基準被写体であることの「確からしさ」に応じて補正を行うことで、誤認識の可能性を減らす等、より信頼性の高い補正結果が得られる。
【００３４】
Ｓ４０８で、識別部１０６は、基準顔領域以外の顔領域の各々について、補正後の類似度の値を用いて個人認識を行い、本個人認識処理を完了する。具体的には識別部１０６は、各顔領域についての補正後の類似度の中から最も高い類似度を選択し、該類似度が閾値を超える場合に該類似度に対応する被写体であると認識する。なお、認識結果は、例えば一時記憶領域に格納されている検出された各顔領域の識別情報を認識された被写体の個人ＩＤで置き換えることにより出力されてもよい。
【００３５】
このような個人認識処理が完了すると、制御部は顔認識処理をＳ３０６に移す。
【００３６】
Ｓ３０６で、識別部１０６は制御部の制御の下、検出された顔領域の個人認識結果を結果出力部１０７に伝送し、出力させる。制御部は、顔認識部１００から個人認識結果が出力されると、本顔認識処理を完了する。
【００３７】
このようにすることで、本実施形態の顔認識部１００は、入力された対象画像に含まれる顔領域について、被写体同士の関連性を考慮した個人認識結果を出力することができる。
【００３８】
例えば認識用の被写体が図２のように５人登録され、被写体として認識する閾値が「８０」、補正量が「１．１（１割増し）」に設定されている場合を考える。なお、以下の例では、類似度が大きいほど比較した２つのデータは類似しているものとする。
【００３９】
対象画像について２つの顔領域が検出され、それぞれについて算出された類似度が図５（ａ）及び（ｂ）であったとする。このとき、基準顔領域は最も高い類似度「８５」が含まれる図５（ａ）に対応する顔領域となる。最も高い類似度「８５」は閾値を超えるので、基準顔領域の顔は個人ＩＤ「１」の「さとし」のものであると認識される。
【００４０】
次に、基準被写体である「さとし」には属性ＩＤ「１」が設定されているので、同一の属性ＩＤを有する、即ち、同一の属性に分類される関連被写体は「まさひろ」となる。このため基準顔領域以外の顔領域について算出された図５（ｂ）の類似度のうち、「まさひろ」である個人ＩＤ「２」の値が１．１倍に補正され、図５（ｃ）のように「８２」となる。結果、補正前の図５（ｂ）の類似度では個人認識が不能であったが、この例では補正により図５（ｂ）に対応する顔領域の顔は、「まさひろ」の顔であると認識される。
【００４１】
このように、例えば対象画像において人物の顔がカメラに対して正対せず、類似度が低く個人認識なされないような場合であっても、対象画像内の別の顔が認識されている場合、その関連性から個人認識可能にすることができる。
【００４２】
なお、本実施形態では、基準顔領域を最も高い類似度が算出された顔領域として説明したが、本発明の実施はこれに限られるものではない。基準顔領域の選択方法は、例えばデジタルカメラのユーザにより選択された顔領域であってもよいし、対象画像中の所定の位置に存在する顔領域であってもよい。また特定の被写体について最も高い類似度を算出した顔領域を基準顔領域として設定する等が予め決められていてもよい。あるいは、認識の順序において最初に個人認識が完了した顔領域を基準顔領域としてもよい。また、同一の属性に分類される関連被写体に対する類似度の値を高くなるように補正することに替えて、同一の属性に分類される関連被写体に対して設定された閾値を低くなるように補正しても構わない。この方法でも、対象画像内の別の顔が認識されている場合、その関連性から個人認識されやすくすることが可能となる。
【００４３】
以上説明したように、本実施形態の顔認識装置は、被写体同士の関連性を加味した顔認識処理を行うことができる。具体的には顔認識装置は、画像から検出された顔画像について、予め登録された複数の被写体の認識用データとの比較を行い、該複数の被写体の各々について類似度を算出する。また顔認識装置は各顔画像について、算出された最も高い類似度が認識基準の閾値を超える場合に、該顔画像が最も高い類似度が算出された被写体であると認識する。このとき検出された顔画像のうち、被写体が認識済みの１つの顔画像を基準顔画像とする。そして該基準顔画像以外の顔画像の各々について、該基準顔画像の被写体との関連性が予め登録されている関連被写体の類似度が高くなるように、算出された類似度を補正し、認識を行う。
【００４４】
このようにすることで、画像に含まれる複数の顔画像を個人認識する際に、１つの顔画像の被写体と関連性を有する、共に写される可能性の高い被写体を、より認識しやすくすることができる。また、共に移される可能性が低い被写体に誤認識される可能性を低減することができる。
【００４５】
［実施形態２］
上述した実施形態１では、１つの静止画像について顔認識処理を行う例について説明した。しかしながら、実施形態１の方法では、顔認識処理の対象が連続したフレームで構成される動画像のうちの所定の周期で選択された対象フレームである場合に好適な結果を導かない可能性がある。即ち、基準顔領域の選択基準によっては、動画像の各対象フレームで異なる顔領域が基準顔領域として認識されるため、フレーム間で類似度の補正基準が異なり、認識結果が頻繁に切り替わる顔が現れる可能性がある。本実施形態では動画像について顔認識処理を行う例を説明する。
【００４６】
《顔認識部１００の構成》
本実施形態の顔認識部１００の構成は、上述した実施形態１の顔認識部１００と概ね同様であるが、図１に破線で示される追跡部１１０及び主顔情報入力部１１１を有する点で異なる。本実施形態の顔認識部１００には、動画像の連続したフレームのうち、所定の周期で選択されたフレームが対象フレームとして入力されるものとする。
【００４７】
追跡部１１０は、入力された対象フレームの画像について顔検出部１０２により検出された各顔領域について、先に入力されたフレームについて検出された顔領域との対応関係を推定する。即ち、追跡部１１０は、先のフレームに含まれていた顔領域の被写体が、対象フレームにおいていずれの顔領域に対応する、即ち同一の被写体が対象フレームの画像内のどこに存在するかを推定する。
【００４８】
具体的には追跡部１１０は、フレーム間における各顔領域の中心位置やサイズを比較し、それぞれの変化量が所定の基準値以下で、かつ最も小さい関係にある顔領域を、同一の被写体についての顔領域であると推定する。なお、本実施形態では制御部は、追跡部１１０の推定結果に応じて、先のフレームと同一と推定された顔領域については、先のフレームにおける個人認識結果と同一の識別情報（個人ＩＤ）を割り当てて一時記憶領域に格納するものとする。
【００４９】
主顔情報入力部１１１は、例えばユーザにより選択された主顔の情報（主顔情報）を受信する。本実施形態では、ユーザが例えばタッチパネル等でデジタルカメラの表示部に表示された顔領域を選択することで主顔が設定されるものとして説明するが、主顔の決定方法はこれに限られないことは容易に想像されよう。なお、主顔情報とは、主顔として設定された顔のフレームにおける位置の情報であってよく、１つの動画像について最初に入力された後は、入力が不要なデータであるものとする。主顔情報入力部１１１は、受信した主顔情報を顔検出部１０２に伝送するものとする。
【００５０】
なお、本実施形態では追跡部１１０は、主顔として設定された顔領域についてのみ追跡を行うものとする。即ち、追跡部１１０は、対象フレームの中から主顔に対応する顔領域を推定するものとする。
【００５１】
《顔認識処理》
ここで、本実施形態の顔認識処理について、図６のフローチャートを用いて詳細を説明する。なお、図６において、上述した実施形態１の顔認識処理と同様の処理を行うステップについては同一の参照符号を付して説明を省略し、以下では本実施形態の特徴的な処理を行うステップについて説明する。
【００５２】
Ｓ３０２において顔領域が検出されたと判断した場合、制御部はＳ６０１において、デジタルカメラにおいて主顔の設定がなされているか否かを判断する。制御部は、主顔の設定がなされていると判断した場合は処理をＳ６０２に移し、なされていないと判断した場合は処理をＳ３０３に移す。
【００５３】
Ｓ６０２で、制御部は、先のフレームについての顔認識処理において、既に主顔として設定された顔領域の特定が完了しているか否かを判断する。これは、例えば主顔として設定された顔領域について、主顔であることを示す論理型の情報を関連付けて一時記憶領域に格納することにより、判断可能とすればよい。制御部は、既に主顔として設定された顔領域の特定が完了していると判断した場合は処理をＳ６０４に移し、完了していないと判断した場合は処理をＳ６０３に移す。
【００５４】
Ｓ６０３で、顔検出部１０２は制御部の制御の下、主顔情報入力部１１１から伝送された主顔情報に従って検出した顔領域のうち、主顔に対応する顔領域を特定し、主顔領域（主顔画像の領域）として設定する。
【００５５】
一方、Ｓ６０２において既に主顔として設定された顔領域の特定が完了していると判断された場合、追跡部１１０は制御部の制御の下、Ｓ６０４で対象フレームにおける主顔領域に対応する顔領域を推定する。そして顔検出部１０２は、追跡部１１０の推定結果に応じて、主顔領域と推定された顔領域を対象フレームにおける主顔領域として設定する。本実施形態では説明を簡単にするため、主顔領域に対応する顔領域は推定可能である、即ち上述した中心位置及びサイズの変化量の条件を満たす顔領域が存在するものとして説明する。なお、推定が不可能であった場合、例えば制御部は主顔の追跡が不可能であったことをデジタルカメラの表示部に通知として表示させて、再度主顔の設定をユーザに促してもよい。
【００５６】
このように、本実施形態の顔認識処理では主顔領域を設定、あるいは主顔領域を推定した上で、Ｓ３０５において個人認識処理が実行される。
【００５７】
〈個人認識処理〉
次に、本実施形態の個人認識処理について、図７のフローチャートを用いて詳細を説明する。なお、顔認識処理と同様、図７において、上述した実施形態１の個人認識処理と同様の処理を行うステップについては同一の参照符号を付して説明を省略し、以下では本実施形態の特徴的な処理を行うステップについて説明する。
【００５８】
Ｓ４０３において検出された全ての顔領域についての類似度の算出が完了したと判断した場合、識別部１０６はＳ７０１で、検出された顔領域の中に主顔領域が存在するか否かを判断する。識別部１０６は、主顔領域が存在すると判断した場合は処理をＳ７０２に移し、該主顔領域を基準顔領域として設定する。また識別部１０６は、主顔領域が存在しないと判断した場合は処理をＳ７０４に移す。
【００５９】
Ｓ７０３で、識別部１０６は、基準顔領域について算出された最も高い類似度が被写体として認識する閾値を超えるか否かを判断する。識別部１０６は、基準顔領域について算出された最も高い類似度が閾値を超えると判断した場合は処理をＳ４０５に移し、超えないと判断した場合は処理をＳ７０４に移す。
【００６０】
Ｓ７０４で、識別部１０６は、算出された類似度について閾値との比較を行っていない顔領域の各々について個人認識を行い、本個人認識処理を完了する。
【００６１】
このように本実施形態の個人認識処理では、主顔領域について個人認識が可能である場合に、主顔の被写体について関連性が設定されている被写体を、より個人認識しやすくすることができる。
【００６２】
例えば認識用の被写体が図２のように５人登録され、被写体として認識する閾値が「８０」、補正量が「１．１（１割増し）」に設定されている場合を考える。なお、以下の例では、類似度が大きいほど比較した２つのデータは類似しているものとする。
【００６３】
対象フレームが図８（ａ）のように３人の人物８０１、８０２、８０３を含み、３人の人物それぞれの顔領域が検出され、それぞれについて算出された類似度が図９（ａ）、（ｂ）、（ｃ）であったとする。このとき、まず主顔領域として設定されている人物８０２の顔領域については、もっとも高い類似度「８５」が算出されているので、主顔領域は個人ＩＤ「１」の「さとし」のものであると認識される。
【００６４】
次に、主顔領域である「さとし」には属性ＩＤ「１」が設定されているので、同一の属性に分類される関連被写体は「まさひろ」となる。このため、主顔領域以外の顔領域について算出された図９（ａ）及び（ｃ）の類似度のうち、「まさひろ」である個人ＩＤ「２」の値が１．１倍に補正され、それぞれ図９（ｄ）及び（ｅ）のようになる。具体的には人物８０１の顔領域については個人ＩＤ「２」の類似度が「５５」となる。しかしながら、該顔領域については個人ＩＤ「４」について算出された類似度が最も高いため、個人認識の結果「えいじ」の顔領域であると認識される。また人物８０３についての顔領域については個人ＩＤ「２」の類似度は「８２」となる。そして、この類似度が該顔領域について最も高く算出された類似度となるため、個人認識の結果「まさひろ」の顔領域であると認識される。
【００６５】
このように対象フレームに含まれる３つの顔領域について個人認識が完了すると、例えば図８（ｂ）に示されるように、各顔領域について認識された被写体に関連付けられて登録されていた人物名が、顔領域を示す枠とともにそれぞれ表示される。また主顔領域については、他の顔領域とは枠の表示形式を異ならせてもよい。
【００６６】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014191479.tif 000003
【図２】
2014191479.tif 000004
【図３】
2014191479.tif 000005
【図４】
2014191479.tif 000006
【図５】
2014191479.tif 000007
【図６】
2014191479.tif 000008
【図７】
2014191479.tif 000009
【図８】
2014191479.tif 000010
【図９】
2014191479.tif 000011