(57)【特許請求の範囲】
【請求項１】
或る対象を画像認識するために予め登録される登録画像として、対象画像の登録候補である候補画像を登録するかを判定する登録判定装置であって、
上記登録画像の画像データおよび特徴量の少なくとも一方である登録情報を、上記対象を個々に識別する識別情報に対応付けて記憶する記憶部と、
上記候補画像を取得する候補取得手段と、
該候補取得手段が取得した候補画像が対応する識別情報を特定する特定手段と、
上記候補取得手段が取得した候補画像の特徴量を算出する特徴量算出手段と、
上記特定手段が特定した識別情報に対応する同一クラスの候補画像および登録画像について、上記特徴量算出手段が算出した上記候補画像の特徴量と上記登録画像の登録情報に基づく特徴量とのクラス内分散、または、上記候補画像の特徴量と上記登録画像の特徴量との間の類似度のクラス内分散を算出するクラス内分散算出手段と、
複数の上記識別情報にそれぞれ対応する複数のクラスの登録画像について、上記特徴量のクラス間分散、または、上記類似度のクラス間分散を算出するクラス間分散算出手段と、
上記クラス内分散算出手段が算出したクラス内分散と、上記クラス間分散算出手段が算出したクラス間分散との比である分散比を算出する分散比算出手段と、
該分散比算出手段が算出した分散比が設定された条件を満たす場合、上記候補画像を上記登録画像として、当該登録画像の登録情報を、上記特定手段が特定した識別情報に対応付けて上記記憶部に登録する登録手段とを備えることを特徴とする登録判定装置。
【請求項２】
ユーザからの操作を受け付ける操作部をさらに備えており、
上記特定手段は、上記ユーザから上記操作部を介して受け取った操作に基づき、上記候補画像が対応する識別情報を特定することを特徴とする請求項１に記載の登録判定装置。
【請求項３】
上記特定手段は、上記候補取得手段が取得した候補画像と、上記記憶部に記憶された登録画像とを照合することにより、上記候補画像が対応する識別情報を特定することを特徴とする請求項１に記載の登録判定装置。
【請求項４】
上記記憶部は、上記登録画像を、上記識別情報に対応付けて予め記憶することを特徴とする請求項１から３までの何れか１項に記載の登録判定装置。
【請求項５】
候補画像に対応する識別情報に対応付けられた登録画像が１または少数である場合、上記クラス内分散算出手段は、上記クラス内分散を算出する代わりに、デフォルトのクラス内分散を用いることを特徴とする請求項１から４までの何れか１項に記載の登録判定装置。
【請求項６】
上記クラス内分散算出手段は、上記特定手段が特定した識別情報に対応する同一クラスの候補画像および登録画像について、上記特徴量算出手段が算出した上記候補画像の特徴量と上記登録画像の登録情報に基づく特徴量とのクラス内分散を算出しており、
上記クラス間分散算出手段は、上記特定手段が特定した識別情報に対応する同一クラスの候補画像および登録画像と、他の識別情報に対応する他のクラスの登録画像とについて、上記特徴量のクラス間分散を算出することを特徴とする請求項１から５までの何れか１項に記載の登録判定装置。
【請求項７】
複数の上記識別情報にそれぞれ対応する複数のクラスの登録画像について、各クラスに少なくとも２つの登録画像を含む組合せを作成する組合せ作成手段と、
上記クラス内分散算出手段、上記クラス間分散算出手段、および上記分散比算出手段を用いて、上記組合せ作成手段が作成した組合せごとに算出された、各クラスに対応するクラス内分散とクラス間分散との分散比のうち、設定された条件を満たす組合せの登録画像の登録情報に、上記記憶部の登録画像の登録情報を更新する登録更新手段とをさらに備えることを特徴とする請求項１から６までの何れか１項に記載の登録判定装置。
【請求項８】
請求項１から７までの何れか１項に記載の登録判定装置を備えた電子機器。
【請求項９】
或る対象を画像認識するために予め登録される登録画像として、対象画像の登録候補である候補画像を登録するかを判定する登録判定装置の制御方法であって、
上記候補画像を取得する候補取得ステップと、
該候補取得ステップにて取得された候補画像が対応する識別情報を特定する特定ステップと、
上記候補取得ステップにて取得された候補画像の特徴量を算出する特徴量算出ステップと、
上記特定ステップにて特定された識別情報に対応する同一クラスの候補画像および登録画像について、上記登録画像の画像データおよび特徴量の少なくとも一方である登録情報を、上記対象を個々に識別する識別情報に対応付けて記憶する記憶部に記憶された上記登録画像の登録情報に基づく特徴量と、上記特徴量算出ステップにて算出された上記候補画像の特徴量とのクラス内分散、または、上記候補画像の特徴量と上記登録画像の特徴量との間の類似度のクラス内分散を算出するクラス内分散算出ステップと、
複数の上記識別情報にそれぞれ対応する複数のクラスの登録画像について、上記特徴量のクラス間分散、または、上記類似度のクラス間分散を算出するクラス間分散算出ステップと、
上記クラス内分散算出ステップにて算出されたクラス内分散と、上記クラス間分散算出ステップにて算出されたクラス間分散との比である分散比を算出する分散比算出ステップと、
該分散比算出ステップにて算出された分散比が設定された条件を満たす場合、上記候補画像を上記登録画像として、当該登録画像の登録情報を、上記特定ステップにて特定された識別情報に対応付けて上記記憶部に登録する登録ステップとを含むことを特徴とする登録判定装置の制御方法。
【請求項１０】
或る対象を画像認識するために予め登録される登録画像として、対象画像の登録候補である候補画像を登録するかを判定する登録判定装置を動作させるための制御プログラムにおいて、
上記候補画像を取得する候補取得ステップと、
該候補取得ステップにて取得された候補画像が対応する識別情報を特定する特定ステップと、
上記候補取得ステップにて取得された候補画像の特徴量を算出する特徴量算出ステップと、
上記特定ステップにて特定された識別情報に対応する同一クラスの候補画像および登録画像について、上記登録画像の画像データおよび特徴量の少なくとも一方である登録情報を、上記対象を個々に識別する識別情報に対応付けて記憶する記憶部に記憶された上記登録画像の登録情報に基づく特徴量と、上記特徴量算出ステップにて算出された上記候補画像の特徴量とのクラス内分散、または、上記候補画像の特徴量と上記登録画像の特徴量との間の類似度のクラス内分散を算出するクラス内分散算出ステップと、
複数の上記識別情報にそれぞれ対応する複数のクラスの登録画像について、上記特徴量のクラス間分散、または、上記類似度のクラス間分散を算出するクラス間分散算出ステップと、
上記クラス内分散算出ステップにて算出されたクラス内分散と、上記クラス間分散算出ステップにて算出されたクラス間分散との比である分散比を算出する分散比算出ステップと、
該分散比算出ステップにて算出された分散比が設定された条件を満たす場合、上記候補画像を上記登録画像として、当該登録画像の登録情報を、上記特定ステップにて特定された識別情報に対応付けて上記記憶部に登録する登録ステップとをコンピュータに実行させるための制御プログラム。
【請求項１１】
請求項１０に記載の制御プログラムが記録されたコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、或る対象を画像認識するために予め登録される登録画像として、対象画像の登録候補である候補画像を登録するかを判定する登録判定装置、その制御方法および制御プログラム、並びに電子機器に関するものである。
【背景技術】
【０００２】
近年、様々な分野で撮影画像に含まれる顔画像などの対象画像の照合が利用されている。従来は、ユーザが対象画像を予め登録したり、登録された対象画像を削除したりする必要があり、ユーザに煩雑な作業を負わせる結果となっていた。このため、上記登録処理および／または上記削除処理を自動で行うことが求められている。
【０００３】
例えば、特許文献１に記載の指紋照合装置では、まず、指紋特徴データ記憶部から指紋特徴データをグループごとに抽出する。次に、指紋画像入力装置から入力され特徴が算出された指紋特徴データと、上記抽出した指紋特徴データとを比較して、両者が近似するデータがないかを判定する。近似データがあると、そのグループ以外のグループに登録することを通知する。
【０００４】
また、特許文献２に記載の顔画像照合装置では、まず、登録顔画像と候補顔画像とを予め記憶しておく。次に、上記登録顔画像により、本人と断定した場合、３以上の顔画像と入力顔画像との類似度を算出し、類似度が最大でも最小でもない中間の類似度が更新閾値を超えている場合に、当該入力顔画像と類似度が最小の候補顔画像とを入れ替える。
【０００５】
また、特許文献３に記載の顔画像照合装置では、まず、登録顔画像と候補顔画像とを予め記憶しておく。次に、上記登録顔画像により、本人と断定した場合、３以上の候補顔画像における１の候補顔画像とその他の候補顔画像との類似度の平均である相互類似度をそれぞれについて算出し、相互類似度が最大の候補顔画像を特定する。次に、入力画像と特定した候補顔画像との類似度が所定の更新閾値を超えている場合に、当該入力顔画像との類似度が最小の候補顔画像を入れ替える。
【０００６】
また、特許文献４に記載の本人特定装置では、まず、予め特定者の登録データを記憶しておく。次に、身体的特徴を読み取り、読み取られた身体的特徴と、記憶された登録データとを比較照合して類似度を判定する。判定した類似度が、本人を特定するための識別レベルよりも高い類似度に設定した再登録判別条件レベル以上である場合に、前記登録データの再登録を行う。
【０００７】
また、特許文献５に記載の人物認識装置では、まず、認識対象となる複数の人物の生体情報を登録情報として予め保持しておく。次に、認識対象となる人物の生体情報を取得し、取得された生体情報と、保持されている複数の登録情報とをそれぞれ照合することにより複数の類似度を求め、求めた複数の類似度に基づき前記人物の認識を行う。次に、求められた複数の類似度の中で複数の類似度の差が所定の閾値以上であるか否かを判定し、所定の閾値以上であるとき、上記取得された生体情報に基づき上記保持されている登録情報を更新する。
【０００８】
また、特許文献６に記載の個人認証装置では、他人と判定された入力データが登録者に存在する場合、個人特定情報を入力させ、入力された個人特定情報に対応する顔データと撮影した顔画像との照合度が所定の値以上である場合に顔データを更新する。
【０００９】
また、特許文献７に記載の個人認証装置では、登録者と非登録者を用いて顔認証で用いる閾値を算出する。具体的には、全ペア（登録者、非登録者）におけるスコア値の平均値と標準偏差値を求め、その値より閾値を決定する。
【００１０】
また、特許文献８に記載の顔登録装置では、入力顔画像が登録顔画像の何れかと一致したかを識別した結果、登録顔画像の本人の確認が得られた場合、確認前後の時刻を登録時刻とし、この登録時刻の間に入力された入力顔画像を登録顔画像として登録する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０００−１２３１７８号公報（２０００年０４月２８日公開）
【特許文献２】特許第４７０５５１２号公報（２０１１年０６月２２日発行）
【特許文献３】特許第４７０５５１１号公報（２０１１年０６月２２日発行）
【特許文献４】特許第３５６４９８４号公報（２００４年０６月１８日発行）
【特許文献５】特許第４３１４０１６号公報（２００９年０５月２２日発行）
【特許文献６】特許第４１７７６２９号公報（２００８年０８月２９日発行）
【特許文献７】特開２００４−０４６６９７号公報（２００４年０２月１２日公開）
【特許文献８】特開２００４−３０２６４５号公報（２００４年１０月２８日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１の場合、グループ化された登録者データに似ている新規登録者は、誤認識を招くため登録されないことになる。また、本人データ内のデータの近似（分散）は参照していないため、他人と本人とを見極めやすいデータが登録されない虞がある。
【００１３】
また、特許文献２〜６の場合、本人と他人との特徴空間における距離関係を考慮していない。このため、他人に近い顔画像データが登録されてしまう虞があり、この場合、誤認識を引き起こす虞がある。また、特許文献７の場合、個人ごとに求めていないため、本人らしさを考慮していない。また、特許文献８の場合、他人データを考慮していないため、本人らしく、かつ他人らしくないデータを登録することが出来ず、結果他人と間違えるようなデータを登録してしまう虞がある。
【００１４】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、取得した対象画像を登録するかを適切に判定できる登録判定装置などを提供することにある。
【課題を解決するための手段】
【００１５】
本発明に係る登録判定装置は、或る対象を画像認識するために予め登録される登録画像として、対象画像の登録候補である候補画像を登録するかを判定する登録判定装置であって、上記課題を解決するために、上記登録画像の画像データおよび特徴量の少なくとも一方である登録情報を、上記対象を個々に識別する識別情報に対応付けて記憶する記憶部と、上記候補画像を取得する候補取得手段と、該候補取得手段が取得した候補画像が対応する識別情報を特定する特定手段と、上記候補取得手段が取得した候補画像の特徴量を算出する特徴量算出手段と、上記特定手段が特定した識別情報に対応する同一クラスの候補画像および登録画像について、上記特徴量算出手段が算出した上記候補画像の特徴量と上記登録画像の登録情報に基づく特徴量とのクラス内分散、または、上記候補画像の特徴量と上記登録画像の特徴量との間の類似度のクラス内分散を算出するクラス内分散算出手段と、複数の上記識別情報にそれぞれ対応する複数のクラスの登録画像について、上記特徴量のクラス間分散、または、上記類似度のクラス間分散を算出するクラス間分散算出手段と、上記クラス内分散算出手段が算出したクラス内分散と、上記クラス間分散算出手段が算出したクラス間分散との比である分散比を算出する分散比算出手段と、該分散比算出手段が算出した分散比が設定された条件を満たす場合、上記候補画像を上記登録画像として、当該登録画像の登録情報を、上記特定手段が特定した識別情報に対応付けて上記記憶部に登録する登録手段とを備えることを特徴としている。
【００１６】
また、本発明に係る登録判定装置の制御方法は、或る対象を画像認識するために予め登録される登録画像として、対象画像の登録候補である候補画像を登録するかを判定する登録判定装置の制御方法であって、上記課題を解決するために、上記候補画像を取得する候補取得ステップと、該候補取得ステップにて取得された候補画像が対応する識別情報を特定する特定ステップと、上記候補取得ステップにて取得された候補画像の特徴量を算出する特徴量算出ステップと、上記特定ステップにて特定された識別情報に対応する同一クラスの候補画像および登録画像について、上記登録画像の画像データおよび特徴量の少なくとも一方である登録情報を、上記対象を個々に識別する識別情報に対応付けて記憶する記憶部に記憶された上記登録画像の登録情報に基づく特徴量と、上記特徴量算出ステップにて算出された上記候補画像の特徴量とのクラス内分散、または、上記候補画像の特徴量と上記登録画像の特徴量との間の類似度のクラス内分散を算出するクラス内分散算出ステップと、複数の上記識別情報にそれぞれ対応する複数のクラスの登録画像について、上記特徴量のクラス間分散、または、上記類似度のクラス間分散を算出するクラス間分散算出ステップと、上記クラス内分散算出ステップにて算出されたクラス内分散と、上記クラス間分散算出ステップにて算出されたクラス間分散との比である分散比を算出する分散比算出ステップと、該分散比算出ステップにて算出された分散比が設定された条件を満たす場合、上記候補画像を上記登録画像として、当該登録画像の登録情報を、上記特定ステップにて特定された識別情報に対応付けて上記記憶部に登録する登録ステップとを含むことを特徴としている。
【００１７】
上記の構成および方法によると、まず、候補画像を取得し、取得された候補画像が対応する識別情報を特定する一方、取得された候補画像の特徴量を算出する。次に、特定された識別情報に対応する同一クラスの候補画像および登録画像について、算出された上記候補画像の特徴量と、記憶部に記憶された上記登録画像の登録情報に基づく特徴量と、のクラス内分散、または、上記候補画像の特徴量と上記登録画像の特徴量との間の類似度のクラス内分散を算出する。また、複数の上記識別情報にそれぞれ対応する複数のクラスの登録画像について、上記特徴量のクラス間分散、または、上記類似度のクラス間分散を算出する。次に、算出されたクラス内分散と、算出されたクラス間分散との比である分散比を算出し、算出された分散比が設定された条件を満たす場合、上記候補画像を上記登録画像として、当該登録画像の登録情報を、特定された識別情報に対応付けて上記記憶部に登録する。
【００１８】
従って、候補画像を登録画像として登録するか否かを、クラス内分散とクラス間分散との比である分散比を用いて判定している。すなわち、候補画像と同じ対象（クラス）の登録画像との関係と、候補画像と異なる対象（クラス）の登録画像との関係とを考慮して、候補画像を登録するかを判定している。その結果、当該判定を適切に行うことができる。
【００１９】
なお、特徴量はベクトル量であり、類似度はスカラー量である。特徴量の場合、例えば、各特徴量である各ベクトルの距離を算出することにより、クラス間分散およびクラス内分散を求めることができる。
【００２０】
また、上記記憶部が上記登録画像の特徴量を記憶している場合、上記登録画像の登録情報に基づく特徴量としては、上記記憶部から読み出した当該登録画像の特徴量を利用すればよい。一方、上記記憶部が上記登録画像の画像データを記憶している場合、上記登録画像の登録情報に基づく特徴量は、上記記憶部から読み出した当該登録画像の画像データに基づいて算出すればよい。また、上記分散比は、クラス内分散／クラス間分散でもよいし、クラス間分散／クラス内分散でもよい。
【００２１】
なお、ユーザからの操作を受け付ける操作部をさらに備えており、上記特定手段は、上記ユーザから上記操作部を介して受け取った操作に基づき、上記候補画像が対応する識別情報を特定してもよい。
【００２２】
或いは、上記特定手段は、上記候補取得手段が取得した候補画像と、上記記憶部に記憶された登録画像とを照合することにより、上記候補画像が対応する識別情報を特定してもよい。この場合、ユーザの操作が不要となるため、利便性が向上する。
【００２３】
本発明に係る登録判定装置では、上記記憶部は、上記登録画像を、上記識別情報に対応付けて予め記憶してもよい。この場合、ユーザが１つの対象のみの対象画像を登録している場合でも、予め登録されている登録画像を利用することにより、上記クラス間分散を算出でき、上記分散比を算出できるので、候補画像を登録するかを適切に判定することができる。
【００２４】
なお、候補画像に対応する識別情報に対応付けられた登録画像が１または少数である場合、上記クラス内分散算出手段は、上記クラス内分散を算出する代わりに、デフォルトのクラス内分散を用いることが好ましい。この場合、登録画像の数が１または少数であることにより、適切なクラス内分散を算出できない問題点を回避することができる。
【００２５】
本発明に係る登録判定装置では、上記クラス内分散算出手段は、上記特定手段が特定した識別情報に対応する同一クラスの候補画像および登録画像について、上記特徴量算出手段が算出した上記候補画像の特徴量と上記登録画像の登録情報に基づく特徴量とのクラス内分散を算出しており、上記クラス間分散算出手段は、上記特定手段が特定した識別情報に対応する同一クラスの候補画像および登録画像と、他の識別情報に対応する他のクラスの登録画像とについて、上記特徴量のクラス間分散を算出してもよい。この場合、上記候補画像が上記登録画像であるとみなして、上記クラス内分散と上記クラス間分散との比である分散比を算出して、候補画像を登録するかを判定することになる。従って、候補画像を考慮して上記判定を行うことができる。
【００２６】
本発明に係る登録判定装置では、複数の上記識別情報にそれぞれ対応する複数のクラスの登録画像について、各クラスに少なくとも２つの登録画像を含む組合せを作成する組合せ作成手段と、上記クラス内分散算出手段、上記クラス間分散算出手段、および上記分散比算出手段を用いて、上記組合せ作成手段が作成した組合せごとに算出された、各クラスに対応するクラス内分散とクラス間分散との分散比のうち、設定された条件を満たす組合せの登録画像の登録情報に、上記記憶部の登録画像の登録情報を更新する登録更新手段とをさらに備えてもよい。この場合、登録が不要な登録画像を上記記憶部から削除できるので、リソースの無駄な使用を回避することができる。また、最適な組合せを作成することができ、認証精度を向上させることができる。
【００２７】
なお、上記構成の登録判定装置を備えた電子機器でも、上述の作用効果を奏することができる。
【００２８】
また、上記登録判定装置における各ステップを、制御プログラムによりコンピュータに実行させることができる。さらに、上記制御プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記制御プログラムを実行させることができる。
【発明の効果】
【００２９】
以上のように、本発明に係る登録判定装置は、候補画像と同じ対象の登録画像との関係と、候補画像と異なる対象の登録画像との関係とを考慮して、候補画像を登録するかを判定するので、当該判定を適切に行うことができるという効果を奏する。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態であるデジタルカメラにおける制御部および記憶部の概略構成を示すブロック図である。
【図２】上記デジタルカメラの概略構成を示すブロック図である。
【図３】上記実施形態における処理の概要を例示する図である。
【図４】上記制御部が行う処理の流れを示すフローチャートである。
【図５】本発明の別の実施形態における処理の概要を例示する図である。
【図６】上記実施形態であるデジタルカメラにおける制御部および記憶部の概略構成を示すブロック図である。
【図７】上記制御部が行う処理の流れを示すフローチャートである。
【図８】本発明のさらに別の実施形態における処理の概要を例示する図である。
【図９】上記実施形態であるデジタルカメラにおける制御部および記憶部の概略構成を示すブロック図である。
【図１０】本発明のさらに別の実施形態における処理の概要を例示する図である。
【図１１】上記実施形態であるデジタルカメラにおける制御部および記憶部の概略構成を示すブロック図である。
【図１２】上記制御部が行う処理の流れを示すフローチャートである。
【図１３】上記実施形態の変形例における制御部および記憶部の概略構成を示すブロック図である。
【図１４】本発明の他の実施形態における処理の概要を例示する図である。
【図１５】上記実施形態であるデジタルカメラにおける制御部および記憶部の概略構成を示すブロック図である。
【図１６】上記制御部が行う処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００３１】
〔実施の形態１〕
本発明の一実施形態について図１〜図４を参照して説明する。図２は、本実施形態であるデジタルカメラの概略構成を示すブロック図である。図示のように、デジタルカメラ（電子機器、登録判定装置）１０は、撮影部１１で撮影され、画像処理部１２にて画像処理された撮影画像が、ライブビュー画像として表示部１３に表示される。また、デジタルカメラ１０は、ユーザが操作部１４のシャッターボタン（図示せず）を押すと、画像処理部１２にて画像処理された撮影画像が、画像圧縮部１５にて画像圧縮された後、画像記録部１６に記憶される。
【００３２】
次に、本実施形態のデジタルカメラ１０の詳細について説明する。上述のように、デジタルカメラ１０は、撮影部１１、画像処理部１２、表示部１３、操作部１４、画像圧縮部１５、画像記録部１６、および画像合成部１７を備えている。さらに、図２に示すように、デジタルカメラ１０は、制御部２０および記憶部２１を備えている。
【００３３】
撮影部１１は、被写体の撮影を行うものであり、例えばレンズ群、絞り、撮像素子などの光学系と、アンプ、Ａ／Ｄコンバータなどの回路系とを備えている。撮像素子の例としては、ＣＣＤ、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）イメージセンサなどが挙げられる。撮影部１１は、上記撮影により撮影画像を生成し、撮影画像のデータに変換して画像処理部１２に送信する。
【００３４】
画像処理部１２は、撮影部１１からの撮影画像のデータに対し、マトリックス演算、γ補正、ホワイトバランスの調整などの画像処理を行うものである。また、画像処理部１２は、画像処理された撮影画像のデータから、表示用、記録用、および顔検出用の撮影画像のデータを作成し、それぞれ、表示部１３、画像圧縮部１５、および制御部２０に送信する。なお、表示用および顔検出用の撮影画像のデータは同じであってもよい。
【００３５】
画像合成部１７は、画像処理部１２からの撮影画像に対し、制御部２０からの画像（例えば、ＯＳＤ（On-Screen Display）用画像）を合成するものである。画像合成部１７は、合成した画像である合成画像のデータを表示部１３に送信する。
【００３６】
表示部１３は、ＬＣＤ（液晶表示素子）、有機ＥＬ（Electroluminescence）ディスプレイ、プラズマディスプレイなどの表示デバイスによって構成されている。表示部１３は、画像合成部１７からの合成画像のデータに基づいて、文字や画像などの各種の情報を表示出力する。
【００３７】
操作部１４は、ユーザの操作によりユーザから各種の入力を受け付けるものであり、入力用ボタン、タッチパネル、その他の入力デバイスによって構成されている。操作部１４は、ユーザが操作した情報を操作データに変換して制御部２０に送信する。なお、入力デバイスの他の例としては、キーボードと、テンキーと、マウスなどのポインティングデバイスとが挙げられる。
【００３８】
画像圧縮部１５は、画像処理部１２からの撮影画像のデータを、ＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ（Moving Picture Expert Group）などの方式に従って圧縮するものである。画像圧縮部１５は、圧縮した撮影画像のデータを画像記録部１６に記録する。
【００３９】
画像記録部１６は、情報を記録するものであり、特に画像圧縮部１５が圧縮した撮影画像のデータを記録するものである。画像記録部１６は、フラッシュメモリ、ハードディスクなどの不揮発性の記憶装置によって構成される。
【００４０】
制御部２０は、デジタルカメラ１０内における各種構成の動作を統括的に制御する。制御部２０は、例えばＣＰＵ（Central Processing Unit）およびメモリを含むコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行われる。このプログラムは、例えばフラッシュメモリなどのリムーバブルメディアに記録されているものを読み込んで使用する形態であってもよいし、ハードディスクなどにインストールされたものを読み込んで使用する形態であってもよい。また、上記プログラムをダウンロードしてハードディスクなどにインストールして実行する形態なども考えられる。なお、制御部２０の詳細については後述する。
【００４１】
記憶部２１は、フラッシュメモリ、ＲＯＭ（Read Only Memory）などの不揮発性の記憶装置と、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置とによって構成されるものである。不揮発性の記憶装置に記憶される内容としては、上記した制御プログラム、ＯＳ（operating system）プログラム、その他の各種プログラム、画像処理部１２における動作設定値、入力された文字データなどが挙げられる。画像処理部１２における動作設定値としては、装置出荷時やメンテナンス時などに設定されるホワイトバランスの値、撮影画像の明暗などを調整する際の画像処理に関する各種パラメータ値などが挙げられる。一方、揮発性の記憶装置に記憶される内容としては、作業用ファイル、テンポラリファイルなどが挙げられる。なお、記憶部２１の詳細については後述する。
【００４２】
ここで、本実施形態において制御部２０が実行する処理の具体例について、図３を参照して説明する。本実施形態の制御部２０は、或る人物（対象）を顔認識（画像認識）するために予め登録される登録顔画像（登録画像）として、対象顔画像（対象画像）の登録候補である候補顔画像（候補画像）を登録するかを判定するものである。図３は、本実施形態における制御部２０の処理の概要を例示する図である。
【００４３】
図３に示すように、複数の人物の顔画像のデータが登録顔画像のデータ（登録情報）として記憶部２１に登録されている。図３の例では、Ａさん、Ｂさん、およびＣさんの３人の人物（登録者）ごとに、４つの登録顔画像のデータが記憶部２１に登録されている。
【００４４】
まず、撮影の被写体が何れの登録者であるかを、ユーザからの指示に基づいて特定する。以下では、特定された登録者を特定登録者と称する。次に、特定登録者の新たな顔画像を、候補顔画像として受け取ると、まず、受け取った候補顔画像と、記憶部２１に登録された全ての登録顔画像のそれぞれとの類似度（認証スコア）を算出する。図３の例では、Ａさんの候補顔画像と、全ての登録者の登録顔画像のそれぞれとの類似度を算出する。従って、合計１２の類似度を算出することになる。
【００４５】
次に、算出された類似度に基づき、特定登録者に関する類似度のクラス内分散σＷｉ２と、全登録者に関する類似度のクラス間分散σＢ２とを算出する。ここで、クラス内分散σＷｉ２は、同じクラスに含まれる要素の広がりを示すものであり、次の式（１）により算出される。なお、本実施形態では、特徴ベクトルｘの代わりに類似度が利用されることになる。
【００４６】
【数１】
0005900052.tif 000002
また、クラス間分散σＢ２は、クラス間の広がりを示すものであり、次の式（２）により算出される。
【００４７】
【数２】
0005900052.tif 000003
図３の例では、Ａさんに関する４個の類似度からクラス内分散σＷＡ２（＝3125）が算出される。また、Ａ・Ｂ・Ｃさんに関する１２個の類似度からクラス間分散σＢ２（≒54479.17）が算出される。
【００４８】
次に、算出されたクラス内分散σＷｉ２に対する、算出されたクラス間分散σＢ２の比である分散比Ｊｓｉｇｍａを、次の式（３）を用いて算出する。図３の例では、分散比Ｊｓｉｇｍａは、54479.17／3125≒17.4となる。
【００４９】
Ｊｓｉｇｍａ＝σＢ２／σＷｉ２    ・・・（３）。
【００５０】
そして、算出された分散比Ｊｓｉｇｍａと、設定された判定基準に基づいて、上記候補顔画像を登録するか否かを判定する。登録すると判定した場合、上記候補顔画像のデータを特定登録者の登録顔画像のデータとして記憶部２１に登録する。なお、上記判定基準の詳細については後述する。また、分散比としてσＷｉ２／σＢ２を利用してもよい。
【００５１】
従って、本実施形態のデジタルカメラ１０は、対象顔画像を登録顔画像として登録するか否かを、クラス間分散σＢ２のクラス内分散σＷｉ２に対する比である分散比を用いて判定している。すなわち、同じ対象の登録顔画像との関係と、異なる対象の登録顔画像との関係とを考慮して、対象顔画像を登録するかを判定している。従って、当該判定を適切に行うことができる。
【００５２】
次に、制御部２０および記憶部２１の詳細について説明する。図１は、デジタルカメラ１０における制御部２０および記憶部２１の概略構成を示すブロック図である。図示のように、制御部２０は、登録者特定部（特定手段）２５、画像取得部３０、顔画像抽出部（候補取得手段）３１、類似度算出部（特徴量算出手段）３２、クラス内分散算出部（クラス内分散算出手段）３３、クラス間分散算出部（クラス間分散算出手段）３４、分散比算出部（分散比算出手段）３５、および登録判定部（登録手段）３６を備える構成である。また、記憶部２１は、登録画像記憶部４０を含んでいる。
【００５３】
登録画像記憶部４０は、複数の登録者をそれぞれ（個々に）識別する登録者ＩＤ（識別情報）と、登録顔画像のデータとを対応付けて記憶している。
【００５４】
登録者特定部２５は、撮影の被写体が何れの登録者であるかを特定するものである。具体的には、登録者特定部２５は、ユーザへの問合せ画像を、画像合成部１７および表示部１３を介して表示出力し、上記問合せに対する回答を、ユーザから操作部１４を介して取得することにより、撮影の被写体が何れの登録者であるかを特定する。登録者特定部２５は、特定した登録者（特定登録者）の登録者ＩＤ（識別情報）を類似度算出部３２に送出する。
【００５５】
画像取得部３０は、画像処理部１２からの撮影画像のデータを取得するものである。画像取得部３０は、上記撮影画像のデータを取得すると、取得した撮影画像のデータを顔画像抽出部３１に送出する。なお、画像取得部３０は、撮影画像のデータを、通信ネットワーク（図示せず）を介して取得してもよいし、画像記録部１６から取得してもよい。
【００５６】
顔画像抽出部３１は、画像取得部３０から撮影画像のデータを受け取ると、該撮影画像に含まれる顔画像を抽出する。顔画像抽出部３１は、抽出した顔画像のデータを候補顔画像のデータとして類似度算出部３２に送出する。なお、顔画像抽出部３１が撮影画像から顔画像を抽出する具体的な処理は公知であるので、その説明を省略する。また、顔画像抽出部３１は、抽出した顔画像のデータから、該顔画像の特徴量を算出してもよい。
【００５７】
類似度算出部３２は、顔画像抽出部３１から候補顔画像のデータを受け取ると、受け取った候補顔画像と、登録画像記憶部４０に登録されている各登録顔画像との類似度を算出するものである。類似度算出部３２は、算出した類似度をクラス内分散算出部３３およびクラス間分散算出部３４に送出する。
【００５８】
具体的には、類似度算出部３２は、登録者ＩＤごとに、以下の処理を行う。すなわち、類似度算出部３２は、顔画像抽出部３１からの候補顔画像のデータに基づいて該候補顔画像の特徴量を算出すると共に、上記登録者ＩＤに対応する各登録顔画像のデータを登録画像記憶部４０から読み出し、読み出した各登録顔画像のデータに基づいて各登録顔画像の特徴量を算出する。
【００５９】
なお、特徴量の例としては、輝度値、各顔特徴量（目端点、口端点など）の座標、エッジ特徴量、ヒストグラム（輝度値のヒストグラム、カラーヒストグラムなど）、Gabor特徴量、Haar-like特徴量、ＨＯＧ(Histograms of Oriented Gradients)、ＳＩＦＴ(Scale-Invariant Feature Transform)、ＳＵＲＦ(Speeded Up Robust Features)、ＬＢＰ(Local Binary Pattern)などが挙げられる。
【００６０】
次に、類似度算出部３２は、算出された候補顔画像の特徴量と、各登録顔画像の特徴量との類似度を算出し、算出した類似度をクラス間分散算出部３４に送出する。なお、類似度の例としては、距離（ユークリッド距離、マハラノビス距離など）、内積、正規化相関などが挙げられる。
【００６１】
類似度算出部３２は、以上の処理を登録者ＩＤごとに行う。さらに、類似度算出部３２は、登録者特定部２５から受け取った特定登録者の登録者ＩＤに関して算出された類似度をクラス内分散算出部３３に送出する。
【００６２】
クラス内分散算出部３３は、類似度算出部３２から受け取った特定登録者（第ｉクラス）の各登録顔画像に関する類似度のクラス内分散σＷｉ２を、上記の式（１）により算出する。クラス内分散算出部３３は、算出したクラス内分散σＷｉ２を分散比算出部３５に送出する。
【００６３】
クラス間分散算出部３４は、類似度算出部３２から受け取った候補顔画像と各登録顔画像との類似度に基づいて、類似度のクラス間分散σＢ２を上記の式（２）により算出する。クラス間分散算出部３４は、算出したクラス間分散σＢ２を分散比算出部３５に送出する。
【００６４】
具体的には、クラス間分散算出部３４は、登録者ＩＤ（クラス）ごとに、該登録者ＩＤに関して算出された類似度の平均値ｍｉおよび登録顔画像の数ｎｉを算出する。また、全ての類似度の平均値ｍを算出する。これらの値を上記式（２）に代入することにより、類似度のクラス間分散σＢ２を算出する。
【００６５】
分散比算出部３５は、クラス内分散算出部３３から受け取った特定登録者に関するクラス内分散σＷｉ２と、クラス間分散算出部３４から受け取ったクラス間分散σＢ２とを用いて、上記の式（３）により分散比Ｊｓｉｇｍａを算出する。分散比算出部３５は、算出した分散比Ｊｓｉｇｍａを登録判定部３６に送出する。
【００６６】
登録判定部３６は、分散比算出部３５から分散比Ｊｓｉｇｍａを受け取ると、受け取った分散比Ｊｓｉｇｍａに基づいて、上記候補顔画像のデータを登録するか否かを判定する。登録判定部３６は、登録すると判定した場合、上記候補顔画像のデータを登録顔画像のデータとして特定登録者の登録者ＩＤに対応付けて登録画像記憶部４０に登録すると共に、その旨を、画像合成部１７および表示部１３を介して表示出力する。
【００６７】
なお、登録判定部３６における判定の基準としては、以下のものが挙げられる。
（ａ）分散比Ｊｓｉｇｍａが或る閾値より高ければ登録する。
（ｂ）分散比Ｊｓｉｇｍａが或る閾値以下であれば登録する。
（ｃ）分散比Ｊｓｉｇｍａが２つの閾値の間であれば登録する。
（ｄ）分散比Ｊｓｉｇｍａが２つの閾値の間に無ければ登録する。
【００６８】
上記（ａ）の場合は、登録顔画像のデータと似た顔画像のデータを登録していくことになる。また、上記（ｂ）の場合は、候補顔画像のデータと異なる条件のデータを登録していくことになる。また、上記（ｃ）・（ｄ）の場合は、所定の条件のデータを登録していくことになる。
【００６９】
登録判定部３６は、如何なる顔画像のデータの登録が希望されるかによって、上記（ａ）〜（ｄ）の何れかが選択される。なお、上記閾値は、手動で設定してもよいし、自動的に設定してもよい。自動的に設定する例としては、予め用意しておいた顔画像のデータを用いて、どのような閾値で登録の可否を判断すれば、認証精度が良好となるかを調べて、良好となる閾値を設定することが挙げられる。
【００７０】
また、上記（ａ）・（ｂ）の何れを選択するかを自動的に設定してもよい。例えば、予め用意しておいた顔画像のデータを用いて、分散比Ｊｓｉｇｍａが大きい場合と小さい場合との何れの方が認証精度が良好となるかを調べて、良好となる方を設定することが挙げられる。
【００７１】
次に、上記構成の制御部２０における処理動作について説明する。図４は、制御部２０が行う処理の流れを示すフローチャートである。図示のように、まず、登録者特定部２５は、これから行う撮影の被写体が何れの登録者であるかをユーザに問い合わせて特定し、当該登録者を特定登録者とする（Ｓ１０、特定ステップ）。
【００７２】
次に、画像取得部３０は、上記撮影による撮影画像を取得し（Ｓ１１）、顔画像抽出部３１は、画像取得部３０が取得した撮影画像に含まれる顔画像を候補顔画像として抽出する（Ｓ１２、候補取得ステップ）。次に、類似度算出部３２は、顔画像抽出部３１が抽出した候補顔画像と、登録画像記憶部４０に登録されている各登録顔画像との類似度を、登録者ごとに算出する（Ｓ１３、特徴量算出ステップ）。
【００７３】
次に、類似度算出部３２が算出した類似度を用いて、クラス内分散算出部３３は特定登録者に関するクラス内分散σＷｉ２を算出し（Ｓ１４、クラス内分散算出ステップ）、クラス間分散算出部３４はクラス間分散σＢ２を算出する（Ｓ１４、クラス間分散算出ステップ）。次に、分散比算出部３５は、クラス内分散算出部３３が算出した特定登録者に関するクラス内分散σＷｉ２と、クラス間分散算出部３４が算出したクラス間分散σＢ２とを用いて分散比Ｊｓｉｇｍａを算出する（Ｓ１４、分散比算出ステップ）。
【００７４】
そして、登録判定部３６は、分散比算出部３５が算出した分散比Ｊｓｉｇｍａが、設定された条件を満たす場合には（Ｓ１５にてＹＥＳ）、上記候補顔画像を特定登録者の登録顔画像として、そのデータを特定登録者の登録者ＩＤに対応付けて登録画像記憶部４０に登録する（Ｓ１６、登録ステップ）。その後、処理を終了する。一方、上記分散比Ｊｓｉｇｍａが、設定された条件を満たさない場合には（Ｓ１５にてＮＯ）、上記候補顔画像を登録せずに、そのまま終了する。
【００７５】
〔実施の形態２〕
次に、本発明の別の実施形態について図５〜図７を参照して説明する。図５は、本実施形態における処理の概要を例示する図である。図示のように、本実施形態の場合には、図３に示す実施形態の場合に比べて、撮影画像から抽出された候補顔画像が、何れの登録者の顔画像であるかが不明である点が異なる。このため、本実施形態では、候補顔画像と各登録顔画像との類似度に基づき顔認識（照合）を行い、候補顔画像が何れの登録者の顔画像であるかを特定している。
【００７６】
図５の例では、Ａさん、Ｂさん、およびＣさんのうち、類似度の最大値が最大であるＡさんを、候補顔画像に関する登録者として特定している。なお、各登録者の類似度の最小値が最大である登録者を上記候補顔画像に関する登録者として特定してもよい。
【００７７】
図６は、本実施形態であるデジタルカメラ１０における制御部２０および記憶部２１の概略構成を示すブロック図である。本実施形態のデジタルカメラ１０は、図１〜図４に示すデジタルカメラ１０に比べて、制御部２０に、登録者特定部２５の代わりに顔認識部（特定手段）３７が設けられる点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成および処理動作と同様の構成および処理動作には、同一の符号を付して、その説明を省略する。
【００７８】
顔認識部３７は、類似度算出部３２から類似度を受け取ると、受け取った類似度に基づいて、候補顔画像が何れの登録者の顔画像であるかを認識するものである。顔認識部３７は、認識した登録者を特定登録者として、その登録者ＩＤを類似度算出部３２に送出する。
【００７９】
具体的には、顔認識部３７は、まず、登録者ＩＤごとに、類似度算出部３２から受け取った類似度の平均値を算出する。次に、顔認識部３７は、算出した平均値が最大である登録者ＩＤを特定し、特定した登録者ＩＤを上記特定登録者の登録者ＩＤとして類似度算出部３２に送出する。なお、平均値の代わりに、最大値、中間値などの統計量を用いてもよい。
【００８０】
図７は、本実施形態の制御部２０が行う処理の流れを示すフローチャートである。図示の処理は、図４に示す処理に比べて、ステップＳ１０の代わりに、ステップＳ２０が、ステップＳ１３とステップＳ１４との間に挿入される点が異なり、その他の処理は同様である。
【００８１】
ステップＳ２０では、顔認識部３７は、ステップＳ１３にて類似度算出部３２が算出した類似度に基づいて、候補顔画像が何れの登録者の顔画像であるかを特定（認識）し、当該登録者を特定登録者としている（特定ステップ）。
【００８２】
従って、本実施形態のデジタルカメラ１０は、撮影画像から抽出された候補顔画像が、何れの登録者の顔画像であるかが不明である場合にも、顔認識を行うことにより、当該登録者を特定することができる。その結果、ユーザが登録者を特定する必要が無く、ユーザの利便性が向上する。
【００８３】
〔実施の形態３〕
次に、本発明のさらに別の実施形態について図８および図９を参照して説明する。図８は、本実施形態における処理の概要を例示する図である。図示のように、本実施形態の場合には、図３に示す実施形態の場合に比べて、製造時に、複数の人物の顔画像のデータが登録顔画像のデータとして記憶部２１に予め登録されている点が異なる。
【００８４】
従って、当該人物は固定の登録者であり、当該顔画像は固定の登録顔画像である。図８の例では、ＹさんおよびＺさんが固定の登録者であり、Ｙさんの顔画像Ｙ１〜Ｙ４と、Ｚさんの顔画像Ｚ１〜Ｚ４とが固定の登録顔画像である。なお、固定の登録者および登録顔画像は、製造業者が、製造時および出荷時に予め登録してもよいし、販売業者が、販売時に予め登録してもよいし、ユーザが、自身の顔画像を登録する前に予め登録してもよい。
【００８５】
図９は、本実施形態であるデジタルカメラ１０における制御部２０および記憶部２１の概略構成を示すブロック図である。本実施形態のデジタルカメラ１０は、図１〜図４に示すデジタルカメラ１０に比べて、記憶部２１に固定登録画像記憶部４１が追加される点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成および処理動作と同様の構成および処理動作には、同一の符号を付して、その説明を省略する。
【００８６】
固定登録画像記憶部４１は、複数の固定の登録者をそれぞれ識別する登録者ＩＤと、固定の登録顔画像のデータとを対応付けて記憶している。なお、上記固定の登録顔画像は、実際の人物の顔画像でもよいし、多数の人物の顔画像から作成された平均的な顔画像または特徴量でもよいし、その他の手法により作成された顔画像または特徴量でもよいし、これらの組合せでもよい。また、固定登録画像記憶部４１は、新たな登録顔画像のデータを記憶する必要がない。従って、固定登録画像記憶部４１は、ＲＯＭによって構成されてもよい。
【００８７】
固定登録画像記憶部４１に記憶された固定の登録者ＩＤおよび登録顔画像のデータは、類似度算出部３２で利用される。すなわち、類似度算出部３２は、顔画像抽出部３１から受け取った候補顔画像と、登録画像記憶部４０に登録されている各登録顔画像との類似度を算出すると共に、上記候補顔画像と、固定登録画像記憶部４１に登録されている固定の各登録顔画像との類似度を算出することになる。
【００８８】
なお、本実施形態の制御部２０が行う処理は、図４に示す処理と同様であるので、その説明を省略する。
【００８９】
従って、本実施形態のデジタルカメラ１０は、登録者が１人（Ａさん）であっても、固定の登録者（Ｙさん・Ｚさん）の登録顔画像を用いることにより、他の登録者に関する類似度を算出することができ、クラス間分散を算出することができる。これにより、候補顔画像の登録の可否を判定することができる。
【００９０】
なお、本実施形態において、登録者の登録顔画像のデータが１つのみである場合、当該登録者の登録顔画像と候補顔画像との類似度も１つのみであるので、当該登録者に関する類似度のクラス内分散σＷｉ２は０となる。
【００９１】
そこで、クラス内分散のデフォルト値（固定値）を記憶部２１に予め記憶しておき、特定登録者の登録顔画像のデータが登録画像記憶部４０に１つのみ登録されている場合、クラス内分散算出部３３は、上記デフォルト値をクラス内分散の値として分散比算出部３５に送出してもよい。これにより、上記の場合でも分散比Ｊｓｉｇｍａを算出でき、候補顔画像の登録の可否を判定することができる。
【００９２】
なお、クラス内分散のデフォルト値としては、経験から定めた値、上記固定の登録顔画像から求めたクラス内分散の値などが挙げられる。また、特定登録者の登録顔画像のデータが登録画像記憶部４０に幾つか（２、３などの少数）登録されている場合にも、上記デフォルト値を利用してもよい。
【００９３】
〔実施の形態４〕
次に、本発明のさらに別の実施形態について図１０〜図１２を参照して説明する。図１０は、本実施形態における処理の概要を例示する図である。図示のように、本実施形態の場合には、図３に示す実施形態の場合に比べて、候補顔画像が、特定登録者の登録顔画像に仮登録される点が異なる。図１０の例では、Ａさんの候補顔画像がＡさんの登録顔画像Ａ5として仮登録される。
【００９４】
また、本実施形態の場合には、図３に示す実施形態の場合に比べて、候補顔画像と登録顔画像との類似度の代わりに、候補顔画像の特徴量と、登録顔画像の特徴量とから分散値を求める点が異なる。このため、本実施形態では、特定登録者に関する特徴量のクラス内分散σＷｉ２が上記の式（１）により算出され、全登録者に関する特徴量のクラス間分散σＢ２が上記の式（２）により算出される。なお、特徴量は、１次元の特徴量であるスカラーでもよいし、多次元の特徴量であるベクトルでもよい。
【００９５】
次に、算出されたクラス内分散σＷｉ２に対する、算出されたクラス間分散σＢ２の比である分散比Ｊｓｉｇｍａを、上記の式（３）を用いて算出する。そして、算出された分散比Ｊｓｉｇｍａと、設定された判定基準に基づいて、上記仮の登録顔画像（候補顔画像）を登録するか否かを判定する。登録すると判定した場合、上記仮の登録顔画像のデータを特定登録者の登録顔画像のデータとして記憶部２１に登録する。
【００９６】
図１１は、本実施形態であるデジタルカメラ１０における制御部２０および記憶部２１の概略構成を示すブロック図である。本実施形態のデジタルカメラ１０は、図１〜図４に示すデジタルカメラ１０に比べて、制御部２０に、類似度算出部３２の代わりに特徴量算出部（特徴量算出手段）３８が設けられる点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成および処理動作と同様の構成および処理動作には、同一の符号を付して、その説明を省略する。
【００９７】
特徴量算出部３８は、顔画像抽出部３１から候補顔画像のデータを受け取ると、受け取った候補顔画像の特徴量を算出すると共に、登録画像記憶部４０に登録されている複数の登録顔画像の特徴量をそれぞれ算出するものである。特徴量算出部３８は、算出した特徴量をクラス内分散算出部３３およびクラス間分散算出部３４に送出する。
【００９８】
具体的には、特徴量算出部３８は、登録者特定部２５から受け取った特定登録者の登録者ＩＤについて、以下の処理を行う。すなわち、特徴量算出部３８は、特定登録者の登録者ＩＤに対応する各登録顔画像のデータを登録画像記憶部４０から読み出し、読み出した各登録顔画像のデータに基づいて各登録顔画像の特徴量を算出する。次に、特徴量算出部３８は、顔画像抽出部３１からの候補顔画像のデータに基づいて、候補顔画像の特徴量を算出する。
【００９９】
そして、特徴量算出部３８は、算出した各登録顔画像の特徴量と候補顔画像の特徴量とを、特定登録者の登録者ＩＤに関する特徴量として、クラス内分散算出部３３およびクラス間分散算出部３４に送出する。これにより、候補顔画像は、登録画像記憶部４０にあたかも仮登録されているかのように、特定登録者の登録者ＩＤに対応する登録顔画像と同様に処理される。
【０１００】
次に、特定登録者以外の登録者の登録者ＩＤ（クラス）ごとに、以下の処理を行う。すなわち、特徴量算出部３８は、上記登録者ＩＤに対応する各登録顔画像のデータを登録画像記憶部４０から読み出し、読み出した各登録顔画像のデータに基づいて各登録顔画像の特徴量を算出する。そして、特徴量算出部３８は、算出した各登録顔画像の特徴量を、上記登録者ＩＤに関する特徴量として、クラス間分散算出部３４に送出する。
【０１０１】
図１２は、本実施形態の制御部２０が行う処理の流れを示すフローチャートである。図示の処理は、図４に示す処理に比べて、ステップＳ１３・Ｓ１４の代わりに、ステップＳ２１・Ｓ２２が設けられている点が異なり、その他の処理は同様である。
【０１０２】
ステップＳ２１において、特徴量算出部３８は、顔画像抽出部３１が抽出した特定登録者の候補顔画像の特徴量を算出すると共に、登録画像記憶部４０に登録されている各登録顔画像の特徴量を登録者ごとに算出する（特徴量算出ステップ）。
【０１０３】
ステップＳ２２において、特定登録者に関して特徴量算出部３８が算出した候補顔画像の特徴量と各登録顔画像の特徴量とを用いて、クラス内分散算出部３３は特定登録者に関するクラス内分散σＷｉ２を算出する（クラス内分散算出ステップ）。一方、上記特定登録者に関する候補顔画像および各登録顔画像の特徴量と、他の登録者ごとに特徴量算出部３８が算出した各登録顔画像の特徴量とを用いて、クラス間分散算出部３４はクラス間分散σＢ２を算出する（クラス間分散算出ステップ）。次に、分散比算出部３５は、クラス内分散算出部３３が算出した特定登録者に関するクラス内分散σＷｉ２と、クラス間分散算出部３４が算出したクラス間分散σＢ２とを用いて分散比Ｊｓｉｇｍａを算出する（分散比算出ステップ）。
【０１０４】
従って、本実施形態のデジタルカメラ１０は、候補顔画像を仮に登録した場合における特徴量に関する分散比を算出し、算出した分散比に基づいて登録の可否を判断している。その結果、候補顔画像も考慮した上で、登録の可否を判断することができる。
【０１０５】
なお、本実施形態においても、図８および図９に示す実施形態と同様に、固定登録画像記憶部４１に記憶された固定の登録顔画像のデータを用いて、特徴量算出部３８が固定の登録者に関する特徴量を算出してもよい。この場合、登録者が１人であっても、固定の登録者の登録顔画像を用いることにより、特徴量のクラス間分散を算出することができる。これにより、候補顔画像の登録の可否を判定することができる。
【０１０６】
なお、上記固定の登録顔画像のデータは、上記固定の登録者に関する特徴量がクラス間分散算出部３４にて利用されるのみである。そこで、図１３に示すような変形例が考えられる。
【０１０７】
図１３は、上記変形例における制御部２０および記憶部２１の概略構成を示すブロック図である。図示の変形例は、図１１に示す構成に比べて、記憶部２１には、固定の登録者に関する固定の特徴量が登録された固定登録特徴量記憶部４２が設けられている点が異なり、その他の構成は同様である。
【０１０８】
図１３に示す変形例の場合、クラス間分散算出部３４は、特定登録者に関して特徴量算出部３８が算出した候補顔画像および各登録顔画像の特徴量と、固定登録画像記憶部４１に記憶された固定の登録者に関する固定の特徴量とを用いて、クラス間分散σＢ２を算出すればよい。図示の変形例によると、特徴量算出部３８が、特定登録者以外の登録者に関する特徴量を算出する必要が無くなるので、処理を迅速化することができる。
【０１０９】
なお、本実施形態において、或る人物の登録顔画像のデータが登録されていない場合、当該人物の候補顔画像の特徴量が１つのみであるので、クラス内分散σＷｉ２は０となる。
【０１１０】
そこで、クラス内分散のデフォルト値（固定値）を記憶部２１に予め記憶しておき、特定登録者の登録顔画像のデータが登録画像記憶部４０に登録されていない場合、クラス内分散算出部３３は、上記デフォルト値をクラス内分散の値として分散比算出部３５に送出してもよい。これにより、未登録の人物についても分散比Ｊｓｉｇｍａを算出でき、候補顔画像の登録の可否を判定することができる。
【０１１１】
〔実施の形態５〕
次に、本発明の他の実施形態について図１４〜図１６を参照して説明する。図１４は、本実施形態における処理の概要を例示する図である。図示のように、本実施形態は、図３に示すような登録顔画像のメンテナンスを実行するものである。
【０１１２】
図１４に示すように、まず、登録者ごとに少なくとも２つの登録顔画像を含むような登録顔画像の組合せを作成する。図示の例では、（２４−（１＋４））３＝１３３１通りの組合せが作成されることになる。
【０１１３】
次に、或る組合せについて、登録顔画像の特徴量を算出し、算出した特徴量に基づいて、各登録者のクラス内分散σＷｉ２とクラス間分散σＢ２とを算出し、各登録者の分散比を算出し、これを全ての組合せについて繰り返す。
【０１１４】
次に、分散比が最大または最小である組合せを選択し、選択された組合せの登録顔画像のデータで登録画像記憶部４０を更新する。すなわち、選択された組合せの登録顔画像以外の登録顔画像のデータを登録画像記憶部４０から削除する。従って、登録が不要な登録顔画像のデータを登録画像記憶部４０から削除できるので、リソースの無駄な使用を回避することができる。また、最適な組合せを作成することができ、認証精度を向上させることができる。
【０１１５】
分散比が最大である組合せを選択した場合、同一人物の登録顔画像が似ているため、条件が異なるとスコア（類似度）が低くなるが、他人と間違え難くなる。一方、分散比が最小である組合せを選択した場合、同一人物の登録顔画像が様々なため、条件が異なってもスコア高くなるが、他人と間違え易くなる。何れを選択するかは、如何なる顔認識を所望するかによる。
【０１１６】
図１４の例では、最大の分散比Ｊｓｉｇｍａ＝３０．５を有する組合せ（Ａ1〜Ａ4・Ｂ1〜Ｂ4・Ｃ1・Ｃ2）を選択して、選択された登録顔画像のデータで登録画像記憶部４０を更新している。すなわち、登録顔画像Ｃ3・Ｃ4のデータが登録画像記憶部４０から削除されることになる。
【０１１７】
図１５は、本実施形態であるデジタルカメラ１０における制御部２０および記憶部２１の概略構成を示すブロック図である。本実施形態のデジタルカメラ１０は、図１〜図４に示すデジタルカメラ１０に比べて、以下の点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成および処理動作と同様の構成および処理動作には、同一の符号を付して、その説明を省略する。
【０１１８】
すなわち、制御部２０にて、登録者特定部２５、画像取得部３０、および顔画像抽出部３１が省略される。また、制御部２０に、類似度算出部３２、分散比算出部３５、および登録判定部３６の代わりに、特徴量算出部（特徴量算出手段）５１、分散比算出部５２、および登録更新部（登録更新手段）５３が設けられ、組合せ作成部（組合せ作成手段）５０が追加される。そして、記憶部２１に組合せＤＢ（データベース）記憶部６０が追加される。
【０１１９】
組合せＤＢ記憶部６０は、組合せごとに、登録顔画像の情報と分散比とを含むものである。
【０１２０】
組合せ作成部５０は、登録画像記憶部４０に記憶された全ての登録顔画像から、各登録者に少なくとも２つの登録顔画像を含む組合せを作成するものである。組合せ作成部５０は、作成した組合せの情報を組合せＤＢ記憶部６０に記憶する。
【０１２１】
特徴量算出部５１は、組合せＤＢ記憶部６０に記憶された組合せごとに、該組合せに含まれる登録顔画像を、登録画像記憶部４０から読み出して、特徴量を算出するものである。特徴量算出部５１は、算出した特徴量を登録者ＩＤごとにクラス内分散算出部３３およびクラス間分散算出部３４に送出する。
【０１２２】
分散比算出部５２は、クラス内分散算出部３３から受け取った各登録者のクラス内分散σＷｉ２と、クラス間分散算出部３４から受け取ったクラス間分散σＢ２とに基づき、各登録者の分散比Ｊｓｉｇｍａを算出する。分散比算出部５２は、算出した当該組合せにおける各登録者の分散比Ｊｓｉｇｍａを組合せＤＢ記憶部６０に記憶する。
【０１２３】
登録更新部５３は、組合せごとに、組合せＤＢ記憶部６０に記憶された各登録者の分散比Ｊｓｉｇｍａを読み出し、設定された条件を満たす分散比Ｊｓｉｇｍａの組合せを選択し、選択した組合せに含まれる登録顔画像のデータで登録画像記憶部４０を更新するものである。
【０１２４】
図１６は、本実施形態の制御部２０が行う処理の流れを示すフローチャートである。図示のように、まず、組合せ作成部５０は、登録画像記憶部４０に記憶された全ての登録顔画像から、各登録者に少なくとも２つの登録顔画像を含む組合せを作成する（Ｓ３０）。
【０１２５】
次に、特徴量算出部５１は、或る組合せを選択し、選択した組合せに含まれる登録顔画像の特徴量を算出する（Ｓ３２）。次に、算出された特徴量に基づき、クラス内分散算出部３３およびクラス間分散算出部３４がクラス内分散σＷｉ２およびクラス間分散σＢ２それぞれを算出し、分散比算出部５２が各登録者の分散比Ｊｓｉｇｍａを算出して、組合せＤＢ記憶部６０に記憶する（Ｓ３３）。
【０１２６】
次に、全ての組合せを実行したかを判断し（Ｓ３４）、実行していない場合、特徴量算出部５１は、別の組合せを選択して（Ｓ３５）、ステップＳ３２に戻り、上記動作を繰り返す。そして、全ての組合せを実行すると、登録更新部５３は、設定された条件を満たす分散比Ｊｓｉｇｍａとなった組合せに含まれる登録顔画像のデータで登録画像記憶部４０を更新する（Ｓ３６）。その後、処理を終了する。
【０１２７】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１２８】
例えば、上記実施形態では、撮影画像から人物の顔画像を検出して認識しているが、人の上半身や全身の画像を検出してもよいし、ボール、車両その他の物体の画像を検出してもよい。すなわち、本発明は、取得した撮影画像に含まれる任意の対象画像の検出に適用可能である。
【０１２９】
また、上記実施形態では、本発明をデジタルカメラ１０に適用しているが、携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）など、撮影部を有する任意の電子機器に本発明を適用可能である。
【０１３０】
また、上記実施形態では、登録画像記憶部４０は、登録情報として、登録顔画像の画像データを記憶しているが、該登録顔画像から算出された特徴量のデータを、上記画像データに代えて、或いは、上記画像データと共に記憶してもよい。この場合、制御部２０における登録顔画像の特徴量の算出を省略できる。
【０１３１】
最後に、デジタルカメラ１０は、の各ブロック、特に制御部２０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１３２】
すなわち、デジタルカメラ１０は、は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカメラ１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記デジタルカメラ１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１３３】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１３４】
また、デジタルカメラ１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【産業上の利用可能性】
【０１３５】
以上のように、本発明に係る登録判定装置は、候補画像と同じ対象の登録画像との関係と、候補画像と異なる対象の登録画像との関係とを考慮することにより、候補画像を登録するかを適切に判定できるので、顔認識だけでなく、指紋認識など、撮影画像から対象を認識する任意の認識装置に適用することができる。
【符号の説明】
【０１３６】
１０  デジタルカメラ（電子機器、登録判定装置）
１１  撮影部
１２  画像処理部
１３  表示部
１４  操作部
１５  画像圧縮部
１６  画像記録部
１７  画像合成部
２０  制御部
２１  記憶部
２５  登録者特定部（特定手段）
３０  画像取得部
３１  顔画像抽出部（候補取得手段）
３２  類似度算出部（特徴量算出手段）
３３  クラス内分散算出部（クラス内分散算出手段）
３４  クラス間分散算出部（クラス間分散算出手段）
３５  分散比算出部（分散比算出手段）
３６  登録判定部（登録手段）
３７  顔認識部（特定手段）
３８  特徴量算出部（特徴量算出手段）
４０  登録画像記憶部
４１  固定登録画像記憶部
４２  固定登録特徴量記憶部
５０  組合せ作成部（組合せ作成手段）
５１  特徴量算出部（特徴量算出手段）
５２  分散比算出部
５３  登録更新部（登録更新手段）
６０  組合せＤＢ記憶部
【図１】
0005900052.tif 000004
【図２】
0005900052.tif 000005
【図３】
0005900052.tif 000006
【図４】
0005900052.tif 000007
【図５】
0005900052.tif 000008
【図６】
0005900052.tif 000009
【図７】
0005900052.tif 000010
【図８】
0005900052.tif 000011
【図９】
0005900052.tif 000012
【図１０】
0005900052.tif 000013
【図１１】
0005900052.tif 000014
【図１２】
0005900052.tif 000015
【図１３】
0005900052.tif 000016
【図１４】
0005900052.tif 000017
【図１５】
0005900052.tif 000018
【図１６】
0005900052.tif 000019