(57)【要約】【課題】複数の撮像ユニットで生成された画像について、１つの顔検出回路を共用して排他的に顔検出する際に、顔検出の周期が長い場合であっても、安定した認識結果が得られるようにする。【解決手段】被写体を撮像するメインカメラと撮影者を撮像するサブカメラとを有する撮像装置であり、１つの顔検出回路において、メインカメラで撮影された画像については４フレームに３回の周期で顔検出を実行し、サブカメラで撮影された画像については４フレームに１回の周期で顔検出を実行する。このとき、サブカメラにおいて、前回認識されていた場合には、認識判定閾値を下げて、今まで認識されていた顔が引き続き認識されやすくする。【選択図】図８
2015126255.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して第１の画像を生成する第１の撮像手段と、
前記第１の撮像手段により撮像を行う際に、ユーザを撮像して第２の画像を生成する第２の撮像手段と、
前記第１の画像、または前記第２の画像から顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔が特定の人物か否かを認識する認識手段とを備え、
前記顔検出手段は、前記第２の画像における顔検出の頻度を前記第１の画像よりも少なくし、
前記認識手段は、前記顔検出手段によって前記第２の画像から検出された顔を特定の人物と認識した場合に、前記第２の撮像手段により生成される第２の画像から検出される顔に対して、前記特定の人物と認識するための条件を緩くすることを特徴とする撮像装置。
【請求項２】
前記認識手段は、前記第２の画像から検出された顔を前記特定の人物と認識しなかった場合は、前記第２の撮像手段により生成される第２の画像から検出される顔に対して、前記特定の人物と認識するための条件を緩くしないようにすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記認識手段は、前記第１の画像から検出された顔に対しては、認識する条件を緩くしないようにすることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記認識手段は、前記特定の人物と認識するための条件を緩くしてから所定の時間が経過した後に、緩くする前の条件に戻して認識を行うことを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
被写体を撮像して第１の画像を生成する第１の撮像手段と、前記第１の撮像手段により撮像を行う際に、ユーザを撮像して第２の画像を生成する第２の撮像手段とを備えた撮像装置の制御方法であって、
前記第１の画像、または前記第２の画像から顔を検出する顔検出工程と、
前記顔検出工程において検出された顔が特定の人物か否かを認識する認識工程とを備え、
前記顔検出工程においては、前記第２の画像における顔検出の頻度を前記第１の画像よりも少なくし、
前記認識工程においては、前記顔検出工程において前記第２の画像から検出された顔を特定の人物と認識した場合に、前記第２の撮像手段により生成される第２の画像から検出される顔に対して、前記特定の人物と認識するための条件を緩くすることを特徴とする撮像装置の制御方法。
【請求項６】
被写体を撮像して第１の画像を生成する第１の撮像手段と、前記第１の撮像手段により撮像を行う際に、ユーザを撮像して第２の画像を生成する第２の撮像手段とを備えた撮像装置を制御するためのプログラムであって、
前記第１の画像、または前記第２の画像から顔を検出する顔検出工程と、
前記顔検出工程において検出された顔が特定の人物か否かを認識する認識工程とをコンピュータに実行させ、
前記顔検出工程においては、前記第２の画像における顔検出の頻度を前記第１の画像よりも少なくし、
前記認識工程においては、前記顔検出工程において前記第２の画像から検出された顔を特定の人物と認識した場合に、前記第２の撮像手段により生成される第２の画像から検出される顔に対して、前記特定の人物と認識するための条件を緩くすることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、複数の撮像ユニットで撮影を行う際に用いて好適な撮像装置、撮像装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来のデジタルカメラは、一般的には１つの撮像素子を備えており、デジタルカメラの前面に配置された撮像素子から風景や建物、人物等の被写体を撮影することができる。一方、撮影中に撮影者の画像を被写体の画像と一緒に記録したいという要望があり、それを解決する手段として、２つの撮像素子を備えたデジタルカメラが提案されている。このようなデジタルカメラは、被写体を撮像する撮像素子と、撮影者を撮像する撮像素子とを備えており、被写体を撮影した画像に、撮影者を撮影した画像を合成して出力する機能も備えている。
【０００３】
例えば特許文献１には、第１の撮像ユニット（メインカメラ）と、第２の撮像ユニット（サブカメラ）とを備えたカメラが開示されている。このカメラは、第１の撮像ユニット及び第２の撮像ユニットが互いに異なる方向に向くように配置されており、被写体と撮影者とを同時に撮像することを可能にしている。また、特許文献２には、被写体を撮影した画像と撮影者を撮影した画像とを、同一画像に合成して記録する技術が開示されている。このようなデジタルカメラにおいては、図４（ｂ）に示すような撮影者自身の撮影を行うサブカメラで撮影した画像を、図４（ａ）に示すような被写体を撮影したメインカメラの画像に合成して、図４（ｃ）に示すような合成画像を出力することができる。この技術を利用すると、ある被写体を撮影したときに撮影者の顔画像も記録することができるため、被写体の画像だけでは読み取れないような撮影者の様子や表情も感じ取れるような画像を記録することができる。
【０００４】
また、カメラで撮影した画像に写った人物を認識し、認識結果を用いて、その人物の年齢や性別、家族・友人等のカテゴリーに則した効果や、画像処理、画像検索などに利用する技術も開発されている。認識処理では、まず、カメラで撮影した画像から人物の顔を検出し、その検出した顔の顔画像から被認識者を識別するための特徴情報を抽出し、抽出した特徴情報と予めデータベースに登録された登録者の特徴情報とを比較する。そして、その類似度を判定し、判定結果に基づいて被認識者が登録者の中の誰であるかを特定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−７３１６１号公報
【特許文献２】特開２００５−９４７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
メインカメラとサブカメラとを備えたカメラで前述した認識処理を実施する場合、メインカメラ及びサブカメラで撮影したそれぞれの画像から顔検出を実施する必要がある。また、このようなカメラの場合、コストや消費電力、小型化等の制約によって、顔検出回路が１つしか搭載されていないことが多い。その際には、１つの顔検出回路を共用してメインカメラで撮影された画像の顔検出と、サブカメラで撮影された画像の顔検出とを行うことになり、排他的な使い方をする必要が生じる。
【０００７】
図５は、メインカメラ及びサブカメラでそれぞれ撮影された画像から顔検出を行う周期の例を示す図である。図５に示すように、メインカメラ及びサブカメラの顔検出は、所定のフレームレートで逐次撮影されたプレビュー画像について時系列的に順次行われる。例えば、メインカメラで撮影された画像については４フレームに３回の周期で顔検出を実施する。これに対して、サブカメラで撮影された画像については、メインカメラで撮影された画像で顔検出を実施している間は顔検出回路が使用できないため、４フレームに１回の周期で顔検出を実施することになる。このように、メインカメラは被写体を撮影するカメラであるため、撮影者を撮影するサブカメラよりも顔検出の回数を優先することが多い。
【０００８】
しかしながら、メインカメラで撮影された画像の顔検出を優先すると、サブカメラで撮影された画像で顔検出を行う周期が長くなるため、顔検出結果をもとにした顔認識の周期も長くなってしまう。その結果、サブカメラの単位時間当たりの認識評価値が算出される頻度が下がり、より少ない情報から顔認識しなければならなくなるため、認識結果が不安定になるという問題がある。
【０００９】
本発明は前述の問題点に鑑み、複数の撮像ユニットで生成された画像について、１つの顔検出回路を共用して排他的に顔検出する際に、顔検出の周期が長い場合であっても、安定した認識結果が得られるようにすることを目的としている。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、被写体を撮像して第１の画像を生成する第１の撮像手段と、前記第１の撮像手段により撮像を行う際に、ユーザを撮像して第２の画像を生成する第２の撮像手段と、前記第１の画像、または前記第２の画像から顔を検出する顔検出手段と、前記顔検出手段によって検出された顔が特定の人物か否かを認識する認識手段とを備え、前記顔検出手段は、前記第２の画像における顔検出の頻度を前記第１の画像よりも少なくし、前記認識手段は、前記顔検出手段によって前記第２の画像から検出された顔を特定の人物と認識した場合に、前記第２の撮像手段により生成される第２の画像から検出される顔に対して、前記特定の人物と認識するための条件を緩くすることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数の撮像ユニットで生成された画像について、１つの顔検出回路を共用して排他的に顔検出する際に、顔検出の周期が長い場合であっても、安定した認識結果を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る撮像装置の概略構成例を示すブロック図である。
【図２】本発明の実施形態におけるメインカメラで撮影された画像における顔検出処理および認識処理の一例を示すフローチャートである。
【図３】本発明の実施形態におけるサブカメラで撮影された画像における顔検出処理および認識処理の一例を示すフローチャートである。
【図４】メインカメラ及びサブカメラで撮影された画像の合成画像の一例を示す図である。
【図５】メインカメラ及びサブカメラでの顔検出周期の一例を示す図である。
【図６】本発明の実施形態におけるメインカメラで撮影された画像の顔認識結果を説明するための図である。
【図７】従来のサブカメラで撮影された画像の顔認識結果を説明するための図である。
【図８】本発明の実施形態におけるサブカメラで撮影された画像の顔認識結果を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る撮像装置１００の概略構成例を示すブロック図である。
本実施形態に係る撮像装置１００は、互いに異なる方向に向けることが可能な２つの撮像ユニット（メインカメラ１０１及びサブカメラ１０２）を備えており、これらの撮像ユニットは、いずれも光学像を電気的な画像信号に変換するように構成されている。
【００１４】
メインカメラ１０１及びサブカメラ１０２は、それぞれ撮像素子の撮像面上に被写体の光学像を形成するためのレンズ及び絞りからなる光学系、メカニカルシャッタ、及びＣＣＤセンサ又はＣＭＯＳセンサ等の撮像素子を備えている。さらに、アナログ信号処理を行うＣＤＳ回路、及びアナログ信号をデジタル信号に変換するＡ／Ｄ変換器を備えている。また、撮像素子とＣＤＳ回路とＡ／Ｄ変換器とを動作させる信号を発生するタイミング信号発生回路、光学系とメカニカルシャッタと撮像素子との駆動回路等をも備えている。なお、メインカメラ１０１は、撮影者が撮影しようとする被写体（撮影者自身以外の被写体）を撮影するために使用される撮像ユニットとし、サブカメラ１０２は、ユーザである撮影者自身を撮影するために使用される撮像ユニットとする。
【００１５】
図１において、信号処理回路１０３は、画像データに必要な信号処理を行う。画像メモリ１０４は、信号処理された画像データを記憶するためのメモリであり、画像記録媒体１０５は、撮像装置１００から取り外し可能な記録媒体である。また、記録回路１０６は、信号処理された画像データを画像記録媒体１０５に記録する。画像表示装置１０７は、信号処理された画像データに係る画像を表示する装置であり、表示回路１０８は、画像表示装置１０７に画像を表示させる制御を行う回路である。顔検出回路１０９は、画像データから人物の顔を検出するための回路であり、システム制御部１１０は、撮像装置１００全体を制御する制御部である。
【００１６】
以下、上述のように構成された撮像装置１００における、メインカメラ１０１およびサブカメラ１０２の撮像ユニットを用いた撮影動作について説明する。まず、撮像ユニット内において、光学系は、システム制御部１１０からの制御信号により、絞りとレンズとを駆動して、適切な明るさに設定された被写体像を撮像素子上に結像させる。次に、メカニカルシャッタは、システム制御部１１０からの制御信号により、必要な露光時間となるように撮像素子の動作に合わせて撮像素子を遮光するように駆動される。この時、撮像素子が電子シャッタ機能を有する場合は、メカニカルシャッタと併用して、必要な露光時間を確保してもよい。
【００１７】
撮像素子は、システム制御部１１０により制御されるタイミング信号発生回路が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ信号として出力する。撮像素子から出力されたアナログ信号は、システム制御部１１０により制御されるタイミング信号発生回路が発生する動作パルスにより、ＣＤＳ回路でクロック同期性ノイズが除去され、Ａ／Ｄ変換器でデジタル信号に変換される。
【００１８】
次に、信号処理回路１０３において、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。なお、信号処理回路１０３は、システム制御部１１０からの制御信号により信号処理をせずにデジタル信号をそのままＲＡＷ画像データとして、画像メモリ１０４や記録回路１０６に出力してもよい。さらに、信号処理回路１０３は、システム制御部１１０から要求があった場合に、信号処理の過程で生じた画像データの情報をシステム制御部１１０に出力する。画像データの情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、これらの情報から抽出された情報である。また、記録回路１０６は、システム制御部１１０から要求があった場合に、画像記録媒体１０５の種類や空き容量等の情報をシステム制御部１１０に出力する。
【００１９】
次に、画像記録媒体１０５に画像データが記録されている場合の再生動作について説明する。システム制御部１１０からの制御信号により記録回路１０６は、画像記録媒体１０５から画像データを読み出す。そして、システム制御部１１０からの制御信号により信号処理回路１０３は、画像データが圧縮データであった場合には、画像伸長処理を行い、画像メモリ１０４に記憶する。画像メモリ１０４に記憶されている画像データは、信号処理回路１０３で解像度変換処理を実施された後、表示回路１０８において画像表示装置１０７に適した信号に変換されて画像表示装置１０７に画像として表示される。
【００２０】
顔検出回路１０９は、信号処理回路１０３からの画像データに対して公知の顔検出処理を施し、画像内に含まれる人物の顔領域を検出する。なお、公知の顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することにより顔検出を行う方法等もある。なお、顔検出処理の手法については、上述した手法に限るものではなく、公知の種々の手法を用いることができる。
【００２１】
また、顔検出回路１０９は、さらに、検出された顔から認識処理を実行する。認識処理では、検出された顔の特徴量と、不図示のデータベースに登録されている登録者の顔の特徴情報とを照合し、その類似度である認識評価値を算出する。そして、認識評価値が所定値以上であるか否かを判定することにより、特定の人物か否かを照合する。
【００２２】
次に、図２及び図３に示すフローチャートを参照しながら、メインカメラ１０１およびサブカメラ１０２のそれぞれから生成される画像の顔検出および認識処理について説明する。なお、これらの顔検出および認識処理は、システム制御部１１０により不図示のメモリに格納されたコンピュータプログラムに従って実行される。
【００２３】
図２は、メインカメラ１０１で撮影された画像における顔検出処理および認識処理の一例を示すフローチャートである。
まず、メインカメラ１０１の撮影が指示されると、処理を開始する。そして、ステップＳ２０１において、まず、認識判定閾値を閾値TH＿Highに設定する。この認識判定閾値は、後述するステップＳ２０５の顔認識処理で用いられる値であり、詳細については後述する。次に、ステップＳ２０２において、メインカメラ１０１において所定のフレームレートで逐次撮影されたプレビュー画像のデータを取得する。
【００２４】
そして、ステップＳ２０３において、現在のフレームがメインカメラ１０１の顔検出周期のタイミングと合致しているか否かを判定する。ここで、メインカメラ１０１の顔検出は、図５に示すように、４フレームに３回の周期で実行されるものとする。この判定の結果、現在のフレームが顔検出周期のタイミングと合致していない場合には、ステップＳ２０２に戻り、メインカメラ１０１において、次のフレームとして再びプレビュー画像のデータを取得する。
【００２５】
一方、ステップＳ２０３の判定の結果、現在のフレームが顔検出周期のタイミングと合致している場合は、ステップＳ２０４において、顔検出回路１０９により、取得したメインカメラ１０１のプレビュー画像から顔検出を実行する。そして、ステップＳ２０５において、検出された顔から認識処理を実行する。認識処理では、検出された顔の特徴量と、予めデータベースに登録されている登録者の顔の特徴情報とを照合し、その類似度である認識評価値を算出する。
【００２６】
具体的には、まず、顔を構成する目、鼻および口等の顔構成部品の輪郭や、目頭、目尻、小鼻、口角および唇の位置等の顔構成部品の位置等、認識評価値の算出に必要な特徴量を取得する。ここで、特徴量は、各顔構成部品のテンプレートを用いたテンプレートマッチングによる手法や、顔構成部品の多数のサンプル画像を用いたマシンラーニング学習により得られる顔構成部品毎の判別器を用いる手法等により取得することができる。そして、取得した特徴量に基づいて、予めデータベースに登録されている登録者の顔の特徴情報との一致度合いを示す認識評価値を算出し、その認識評価値が所定の閾値以上であるか否かによって、特定の登録者であるか否かを判別する。なお、認識処理の手法としては、これに限定されるものではなく、公知の種々の手法を用いることができる。
【００２７】
図６は、メインカメラ１０１の認識処理の内容を説明するための図である。前述したように、メインカメラ１０１では、４フレームに３回の周期で顔検出を実行している。そして、検出された顔の認識処理を行うと認識評価値が算出される。この算出された認識評価値が、ステップＳ２０１において設定された認識判定閾値以上である場合に、登録者と一致していると判定される。また、本実施形態では、認識判定結果が頻繁に切り替わることを防止して判定精度を上げるために、仮に認識判定閾値を下回っても、４フレーム中に１回でも認識判定閾値以上であれば、登録者と一致していると判定するようにしている。
【００２８】
図６に示す例では、１番目〜３番目のフレームの期間においては認識評価値が認識判定閾値（閾値TH＿High）をすべて上回っており、認識判定が○となっている。したがって、検出された顔が、登録者である「Ａさん」と認識されることになる。また、５番目〜７番目のフレームの期間では、５番目のフレームの認識評価値が認識判定閾値（閾値TH＿High）を下回っており、認識判定が×となっている。一方、６番目及び７番目のフレームの認識評価値は認識判定閾値（閾値TH＿High）以上であり、認識判定が○となっている。この場合、５番目〜７番目のフレームの期間では、検出された顔が「Ａさん」と認識されることになる。同様に９番目〜１１番目のフレームの期間においても、検出された顔が「Ａさん」と認識される。
【００２９】
以上のようにステップＳ２０５で認識処理が終了すると、ステップＳ２０６において、メインカメラ１０１において撮影を終了する指示を受けたか否かを判定する。この判定の結果、撮影を終了する指示を受けた場合は処理を終了し、撮影を終了する指示を受けていない場合は、ステップＳ２０２に戻り、次のフレームで再びメインカメラ１０１のプレビュー画像を取得する。
【００３０】
図３は、サブカメラ１０２で撮影された画像における顔検出処理および認識処理の一例を示すフローチャートである。
まず、サブカメラ１０２の撮影が指示されると、処理を開始する。そして、ステップＳ３０１において、まず、認識判定閾値を閾値TH＿Highに設定する。この認識判定閾値は、メインカメラ１０１と同様に、後述するステップＳ３０５の顔認識処理で用いられる値であり、詳細については後述する。次に、ステップＳ３０２において、サブカメラ１０２において所定のフレームレートで逐次撮影されたプレビュー画像のデータを取得する。
【００３１】
そして、ステップＳ３０３において、現在のフレームがサブカメラ１０２の顔検出周期のタイミングと合致しているか否かを判定する。ここで、サブカメラ１０２の顔検出は、メインカメラ１０１とは頻度が異なり、図５に示すように、４フレームに１回の周期で実行されるものとする。この判定の結果、現在のフレームが顔検出周期のタイミングと合致していない場合には、ステップＳ３０２に戻り、サブカメラ１０２において、次のフレームとして再びプレビュー画像のデータを取得する。
【００３２】
一方、ステップＳ３０３の判定の結果、現在のフレームが顔検出周期のタイミングと合致している場合は、ステップＳ３０４において、顔検出回路１０９により、取得したサブカメラ１０２のプレビュー画像から顔検出を実行する。そして、ステップＳ３０５において、検出された顔から認識処理を実行する。なお、顔検出処理および認識処理の具体的な手順は、メインカメラ１０１における処理と同様である。
【００３３】
その後、ステップＳ３０６において、ステップＳ３０５の認識処理により、登録者と認識されたか否かを判定する。この判定の結果、登録者と認識されなかった場合は、ステップＳ３０７において、認識判定閾値を閾値TH＿Highに設定する。一方、ステップＳ３０６の判定の結果、登録者と認識された場合は、ステップＳ３０８において、認識判定閾値を閾値TH＿Lowに設定する。
【００３４】
ステップＳ３０７またはステップＳ３０８において、認識判定閾値の設定が終了すると、ステップＳ３０９において、サブカメラ１０２による撮影を終了する指示を受けたかどうかを判定する。この判定の結果、撮影を終了する指示を受けた場合は処理を終了し、撮影を終了する指示を受けていない場合は、ステップＳ３０２に戻り、サブカメラ１０２において次のフレームとして再びプレビュー画像のデータを取得する。
【００３５】
ここで、サブカメラ１０２における認識処理について、図７及び図８を参照しながら説明する。
図７は、認識判定閾値を固定した場合のサブカメラの認識処理の具体例を説明するための図である。図７に示すようにサブカメラで撮影された画像は、４フレームに１回の周期で顔検出が実行されているものとする。検出された顔の認識処理を行うと、認識評価値が算出される。そして、算出された認識評価値が、認識判定閾値以上であれば、登録者と一致していると判定される。
【００３６】
図７に示す例では、４番目のフレームでは認識評価値が認識判定閾値を上回っており、認識判定が○となっている。したがって、検出された顔が登録者である「Ｂさん」と認識される。認識判定閾値を固定すると、「８番目のフレームでは、認識評価値が認識判定閾値を下回り、認識判定が×とされる。したがって、前回の認識判定時に認識されていた「Ｂさん」が認識されなくなる。その後、１２番目のフレームでは、認識評価値が認識判定閾値を上回っており、認識判定が○となっている。したがって、検出された顔が「Ｂさん」と再び認識される。
【００３７】
図７に示すように、認識判定閾値を固定すると、顔検出で同じ人物が検出された場合であっても、少しの顔の向きのずれや、微妙な照明の変化等によって、認識されなくなったり、再び認識されたりというように、認識結果が安定しないという問題が生じる。
【００３８】
図８は、本実施形態に係るサブカメラ１０２の認識処理の具体例を説明するための図である。
図８に示すように、４番目のフレームでは、認識評価値が認識判定閾値を上回っており、認識判定が○となっている。したがって、検出された顔が、登録者である「Ｂさん」と認識される。ここで、検出された顔が認識されていなかった場合には、図３のステップＳ３０７において、認識判定閾値が閾値TH＿Highのままに設定され、次回の認識処理で用いられる認識判定閾値は閾値TH＿Highとなる。
【００３９】
図８に示す例のように、検出された顔が認識された場合は、図３のステップＳ３０８において、認識判定閾値が閾値TH＿Lowに設定され、次回の認識処理で用いられる認識判定閾値は閾値TH＿Lowとなる。この場合、図７に示した例とは異なり、８番目のフレームでは、認識評価値は、認識判定閾値（閾値TH＿Low）を上回っており、認識判定が○となる。したがって、検出された顔が「Ｂさん」と引き続き認識されることになる。そして次回の１２番目のフレームにおいても、算出された認識評価値が認識判定閾値（閾値TH＿Low）を上回っており、認識判定が○となる。したがって、検出された顔が「Ｂさん」と引き続き認識されることになる。
【００４０】
上述したように、顔検出で同じ人物が検出されていたとしても、少しの顔の向きのずれや微妙な照明の変化等によって認識評価値がばらつく可能性がある。メインカメラと同様にサブカメラでも認識判定閾値が常に一定であると、認識評価値が認識判定閾値をわずかに下回ってしまうと、今まで認識されていた顔が認識されなくなったり再び認識されたりというように、認識結果が安定しない。
【００４１】
本来、サブカメラは撮影者を撮像するためのカメラであるため、撮影者が頻繁に入れ替わることは少なく、被写体を撮像するメインカメラとは異なり、認識結果が入れ替わる可能性は少ないと考えられる。そこで、本実施形態では、サブカメラにおいて、前回認識されていた場合には、認識判定閾値を下げることによって条件を緩くし、今まで認識されていた顔が引き続き認識されやすくしている。その結果、顔検出で同じ人物が検出されている場合に、少しの顔の向きのずれや微妙な照明の変化等によって認識評価値が多少ばらついても、今まで認識されていた顔を安定して認識し続けることができる。このように、メインカメラの顔検出を優先することによってサブカメラの顔検出および認識周期がメインカメラに比べて長い場合であっても、認識結果を安定させることができる。
【００４２】
なお、最初に認識された顔が別の人物であると間違って認識された場合には、次回の認識でもその人物であると誤判定する可能性があるため、一定時間経過すると、元の高い認識判定閾値で認識するようにしてもよい。これにより、誤認識が長期間続くのを防止することができる。
【００４３】
また、本実施形態では、前回認識されていた場合には、認識判定閾値を下げて、今まで認識されていた顔が引き続き認識されやすくするようにしているが、その他の方法により認識されやすくするようにしてもよい。例えば、認識判定閾値を上回った回数をカウントして所定の回数に達した場合に認識したと判定するような場合には、一度認識されると、この所定の回数を少なくすることによって認識させやすくするようにしてもよい。また、サブカメラだけでなく、メインカメラにおいても、前回認識されていた場合には、認識判定閾値を下げることによって条件を緩くするように構成してもよい。ただし、メインカメラはサブカメラに比べて被写体が入れ替わる可能性が高いため、前回認識されていた場合の認識判定閾値を、サブカメラよりもメインカメラのほうが厳しくなるように設定する必要がある。以上のように、メインカメラに比べて、サブカメラでは一度ある人物であると認識されると、次回の認識でその人物の認識が外れにくくなるようにする構成であれば、適宜変更が可能である。
【００４４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４５】
１０１  メインカメラ
１０２  サブカメラ
１０９  顔検出回路
１１０  システム制御部
【図１】
2015126255.tif 000003
【図２】
2015126255.tif 000004
【図３】
2015126255.tif 000005
【図４】
2015126255.tif 000006
【図５】
2015126255.tif 000007
【図６】
2015126255.tif 000008
【図７】
2015126255.tif 000009
【図８】
2015126255.tif 000010