(57)【特許請求の範囲】
【請求項１】
複数のオブジェクトに対応する複数のクラスが設定され、且つ、各クラスに対応するオブジェクトの画像から得られる特徴量データが登録されているデータベースと、
未知のオブジェクトの画像から得られる特徴量データと前記データベースに登録されている前記複数のクラスそれぞれの特徴量データとの間の類似度を評価することにより、前記未知のオブジェクトの識別を行う識別部と、
前記データベースに特徴量データを登録する特徴量データ登録部と、
を有する画像認識装置であって、
前記データベースは、同じオブジェクトに対し１つ以上のクラスを設定可能であり、
前記特徴量データ登録部は、
前記データベースに既に登録されている第１のオブジェクトについて新規の特徴量データを追加する際に、
前記新規の特徴量データと所定の類似条件を満たす第２のオブジェクトが前記データベースに存在した場合には、前記第１のオブジェクトに対し既存のクラスとは別の新規のクラスを設定し、前記新規の特徴量データを前記新規のクラスに登録し、
前記第１のオブジェクトに対し２つ以上のクラスが設定されている場合には、前記識別部は、未知のオブジェクトの特徴量データとの間の類似度を前記２つ以上のクラスのそれぞれについて求め、前記２つ以上のクラスのうちのいずれかのクラスが、前記データベースに登録されている前記複数のクラスのうち最も類似度が高いクラスに該当する場合に、前記未知のオブジェクトが前記第１のオブジェクトであるという識別結果を出力する
ことを特徴とする画像認識装置。
【請求項２】
前記所定の類似条件は、前記新規の特徴量データと前記第２のオブジェクトのクラスの特徴量データとの類似度が、前記新規の特徴量データと前記第１のオブジェクトの前記既存のクラスの特徴量データとの類似度よりも高い、という条件を含む
ことを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記所定の類似条件は、前記新規の特徴量データと前記第２のオブジェクトのクラスの特徴量データとの類似度が閾値よりも高い、という条件を含む
ことを特徴とする請求項１又は２に記載の画像認識装置。
【請求項４】
前記所定の類似条件は、前記新規の特徴量データを前記第１のオブジェクトの前記既存のクラスに追加した場合に前記既存のクラスの分散が増加する、という条件を含む
ことを特徴とする請求項２又は３に記載の画像認識装置。
【請求項５】
前記所定の類似条件は、前記新規の特徴量データを前記第１のオブジェクトの前記既存のクラスに追加した場合に、前記第１のオブジェクトの前記既存のクラスのクラス内分散が増加し、且つ、前記第１のオブジェクトの前記既存のクラスと前記第２のオブジェクトのクラスのあいだのクラス間分散が減少する、という条件を含む
ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像認識装置。
【請求項６】
前記所定の類似条件は、前記新規の特徴量データを前記第１のオブジェクトの前記既存のクラスへ追加した場合に、前記第１のオブジェクトと前記第２のオブジェクトとのあいだの前記識別部による識別性が低下する、という条件である
ことを特徴とする請求項１に記載の画像認識装置。
【請求項７】
前記所定の類似条件は、前記識別部によって前記新規の特徴量データが前記第２のオブジェクトの特徴量データであると誤って識別される、という条件であり、
前記特徴量データ登録部は、前記識別部による識別結果が正解であるか否かをユーザに問い合わせることにより、前記新規の特徴量データが前記所定の類似条件を満たすかを判断する
ことを特徴とする請求項１に記載の画像認識装置。
【請求項８】
前記オブジェクトは、人の顔である
ことを特徴とする請求項１〜７のうちいずれか１項に記載の画像認識装置。
【請求項９】
複数のオブジェクトに対応する複数のクラスが設定され、且つ、各クラスに対応するオブジェクトの画像から得られる特徴量データが登録されているデータベースと、未知のオブジェクトの画像から得られる特徴量データと前記データベースに登録されている前記複数のクラスそれぞれの特徴量データとの間の類似度を評価することにより、前記未知のオブジェクトの識別を行う識別部と、を有する画像認識装置であって、第１のオブジェクトに対し２つ以上のクラスが設定されている場合に、前記識別部は、未知のオブジェクトの特徴量データとの間の類似度を前記２つ以上のクラスのそれぞれについて求め、前記２つ以上のクラスのうちのいずれかのクラスが、前記データベースに登録されている前記複数のクラスのうち最も類似度が高いクラスに該当する場合に、前記未知のオブジェクトが前記第１のオブジェクトであるという識別結果を出力する、画像認識装置に対し、特徴量データを登録する方法であって、
コンピュータが、前記データベースに既に登録されている前記第１のオブジェクトについて新規の特徴量データを取得するステップと、
コンピュータが、前記新規の特徴量データと所定の類似条件を満たす第２のオブジェクトが前記データベースに存在した場合には、前記第１のオブジェクトに対し既存のクラスとは別の新規のクラスを設定し、前記新規の特徴量データを前記新規のクラスに登録するステップと、
を含むことを特徴とする画像認識装置に対する特徴量データ登録方法。
【請求項１０】
請求項９に記載の特徴量データ登録方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特に、画像認識装置に対して特徴量データを登録するための技術に関する。
【背景技術】
【０００２】
画像認識とは、画像から特徴量データを抽出し、そのデータをデータベースに予め登録されている既知オブジェクトの特徴量データと照合することで、画像中の被写体の識別（同定）を行う技術である。画像認識は、例えば、顔画像等のバイオメトリクス画像を用いた本人認証や個人識別、侵入者や不審物を検出する監視システム、生産ライン等におけるワーク検査、交通インフラにおける通行人や通行車両の識別など、多種多様な分野に適用されている。
【０００３】
図８（ａ）は、データベースに登録された特徴量データとクラスの概念を説明する図である。通常、１枚の画像からは複数個の特徴量が抽出され、特徴量データは複数個の特徴量からなる多次元のベクトル（特徴ベクトルと呼ばれる）で表現される。特徴ベクトルで張られる空間は特徴空間と呼ばれる。図８（ａ）は特徴空間を模式的に表したものであり、点Ａ１〜Ａ４がオブジェクトＡの特徴量データ、点Ｂ１〜Ｂ４がオブジェクトＢの特徴量データ、点Ｃ１〜Ｃ４がオブジェクトＣの特徴量データを示している。通常、特徴量データはオブジェクトごとに分類され、オブジェクトごとにひとまとまりのデータセット（「クラス」と呼ばれる）として登録・管理されている。図８（ａ）の例ではオブジェクトＡ〜オブジェクトＣに対応する３つのクラスＫＡ〜クラスＫＣが定義されている。
【０００４】
ここで、未知のオブジェクトＸの特徴量データＸが与えられたとき、オブジェクトＸの識別（同定）は、特徴量データＸがクラスＫＡ〜クラスＫＣのいずれに属するか（又はいずれにも属しないか）を判定する問題として捉えることができる。例えば、特徴量データＸと各クラスの特徴量データとの類似度を計算し、最も類似度の高いクラスに特徴量データＸを帰属させる。図８（ａ）の例では、特徴量データＸはクラスＫＢに最も近いため、オブジェクトＸはオブジェクトＢであるという識別結果が得られることとなる。
【０００５】
ところで、画像認識ではカメラで撮影した画像を使用するため、その時々の撮影条件（オブジェクトの状態（顔の場合は、向き、表情、装身具の有無、化粧、髪型など）や照明状態など）によって、抽出される特徴量にバラツキがでることは避けられない。そこで、撮影条件の違いに対するロバスト性を高め、認識精度を向上するための対策として、同じオブジェクトについて撮影条件の異なる複数の画像から抽出した複数の特徴量データを登録しておくという方法が一般に採られている。言い換えると、データベースに登録する特徴量データのバリエーションを高めることが、画像認識の精度を向上するためには望ましい。
【０００６】
しかしながら、本発明者らの検討の中で、特徴量データのバリエーションが画像認識の精度を低下させる場合があることが分かってきた。図８（ｂ）にその一例を示す。図８（ｂ）は、図８（ａ）のデータベースに対し、オブジェクトＡの特徴量データＡ５を新たに追加した例である。例えば、人物の顔を撮影したときに、表情、化粧、陰影などにより、他人と良く似た画像が得られることがある。そのような画像を用いた場合、図８（ｂ）に示すように、オブジェクトＡの特徴量データＡ５であるにもかかわらず、他のオブジェクトＢの特徴量データＢ１〜Ｂ４に近い特徴量データＡ５が抽出されることがあり得る。このような特徴量データＡ５をクラスＫＡに追加すると、特徴空間上でクラスＫＡとクラスＫＢとが近接ないし重複し、二つのクラスの識別性（分離性）が低下してしまう。例えば
、未知オブジェクトの特徴量データＸとして図８（ａ）と同じものが入力されたとする。このとき、図８（ｃ）に示すように、特徴量データＸがクラスＫＡとクラスＫＢのいずれに属するのか判然としないため、未知オブジェクトに対しオブジェクトＡであるという誤った識別結果が出力される可能性がある。
【０００７】
なお、特徴量データのデータベースの構造を工夫した先行例として、例えば、特許文献１が挙げられる。特許文献１では、動画像に登場する人物の顔を分類し、人物顔データベースを構築する際に、同一人物の顔を顔向きごとに別クラスに細分類することで、より良いクラスタリング結果を得る方法が提案されている。しかし、特許文献１では異なるオブジェクト（人物顔）のあいだにおける識別性（分離性）については何ら考慮されていないため、この方法を適用したとしても、図８（ｃ）で説明したような誤認識は解決することができない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−７７５３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記実情に鑑みてなされたものであり、既登録のオブジェクトに対し新規の特徴量データを追加するときに、他のオブジェクトとのあいだの識別性の低下を抑制するための技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明では、他のオブジェクトとのあいだの識別性の低下を招く可能性がある特徴量データを追加するときは、既登録のデータとはクラスを分けて登録する、という構成を採用する。
【００１１】
具体的には、本発明に係る画像認識装置は、複数のオブジェクトに対応する複数のクラスが設定され、且つ、各クラスに対応するオブジェクトの画像から得られる特徴量データが登録されているデータベースと、未知のオブジェクトの画像から得られる特徴量データと前記データベースに登録されている前記複数のクラスそれぞれの特徴量データとの間の類似度を評価することにより、前記未知のオブジェクトの識別を行う識別部と、前記データベースに特徴量データを登録する特徴量データ登録部と、を有する画像認識装置であって、前記データベースは、同じオブジェクトに対し１つ以上のクラスを設定可能であり、前記特徴量データ登録部は、前記データベースに既に登録されている第１のオブジェクトについて新規の特徴量データを追加する際に、前記新規の特徴量データと所定の類似条件を満たす第２のオブジェクトが前記データベースに存在した場合には、前記第１のオブジェクトに対し既存のクラスとは別の新規のクラスを設定し、前記新規の特徴量データを前記新規のクラスに登録し、前記第１のオブジェクトに対し２つ以上のクラスが設定されている場合には、前記識別部は、未知のオブジェクトの特徴量データとの間の類似度を前記２つ以上のクラスのそれぞれについて求め、前記２つ以上のクラスのうちのいずれかのクラスが、前記データベースに登録されている前記複数のクラスのうち最も類似度が高いクラスに該当する場合に、前記未知のオブジェクトが前記第１のオブジェクトであるという識別結果を出力することを特徴とする。
【００１２】
この構成によれば、第１のオブジェクトの特徴量データのうち、第２のオブジェクトと類似するデータとそれ以外のデータとが別々のクラスに分類される。それゆえ、第１のオブジェクトのすべての特徴量データを包含する単一のクラスを設定するのに比べ、第１のオブジェクトのクラスと第２のオブジェクトのクラスのあいだの特徴空間上での近接ないし重複が生じにくくなる。したがって、第１のオブジェクトと第２のオブジェクトのあいだの識別性の低下（例えば、第２のオブジェクトの特徴量データを第１のオブジェクトのものと誤認識する可能性）を抑制することができる。加えて、新規の特徴量データの追加により第１のオブジェクトの特徴量データのバリエーションが増すため、第１のオブジェクトに対する識別精度の向上が期待できる。
【００１３】
「所定の類似条件」には様々な条件を設定し得る。例えば、「前記新規の特徴量データと前記第２のオブジェクトのクラスの特徴量データとの類似度が、前記新規の特徴量データと前記第１のオブジェクトの前記既存クラスの特徴量データとの類似度よりも高い」という条件を含むとよい。第１のオブジェクトの既登録データよりも第２のオブジェクトの既登録データの方に近い特徴量データを追加すると、第１のオブジェクトと第２のオブジェクトのあいだの識別性が低下する可能性が高いからである。上記条件に「前記新規の特徴量データと前記第２のオブジェクトのクラスの特徴量データとの類似度が閾値よりも高い」という条件を組み合わせてもよい。第１のオブジェクトの既登録データと第２のオブジェクトの既登録データのいずれとも類似度が低い場合には、そのような特徴量データを追加しても、第１のオブジェクトと第２のオブジェクトのあいだの識別性に与える影響は小さいからである。
【００１４】
あるいは、第１のオブジェクトの既登録データとの類似度と第２のオブジェクトの既登録データとの類似度の相対評価を行うのでなく、単純に、「前記新規の特徴量データと前記第２のオブジェクトのクラスの特徴量データとの類似度が閾値よりも高い」かどうかという条件のみで判断してもよい。第２のオブジェクトとの類似度が非常に高い場合には、（第１のオブジェクトの既登録データとの類似度の大きさによらず）第１のオブジェクトと第２のオブジェクトのあいだの識別性が低下する可能性が高いからである。
【００１５】
また、「前記新規の特徴量データを前記第１のオブジェクトの前記既存のクラスに追加した場合に前記既存のクラスの分散が増加する」という条件を組み合わせたり、さらには「前記新規の特徴量データを前記第１のオブジェクトの前記既存のクラスに追加した場合に、前記第１のオブジェクトの前記既存のクラスのクラス内分散が増加し、且つ、前記第１のオブジェクトの前記既存のクラスと前記第２のオブジェクトのクラスのあいだのクラス間分散が減少する」という条件を組み合わせてもよい。分散は、新規の特徴量データの追加がクラス全体に及ぼす影響を評価できるため、類似度よりもより妥当な結果を得られると期待できる。
【００１６】
また、所定の類似条件は、「前記識別部によって前記新規の特徴量データが前記第２のオブジェクトの特徴量データであると誤って識別される」という条件でもよい。識別部の識別結果の正誤を条件とすることで、第１のオブジェクトと第２のオブジェクトのあいだの識別性の低下（つまり、第２のオブジェクトの特徴量データを第１のオブジェクトのものと誤認識する可能性）を正確に評価できるからである。例えば、前記特徴量データ登録部は、前記識別部による識別結果が正解であるか否かをユーザに問い合わせることにより、前記新規の特徴量データが前記所定の類似条件を満たすかを判断することができる。
【００１７】
本発明において、「オブジェクト」とは、画像認識の対象物をいう。画像特徴量による認識が可能でありさえすれば、どのようなものも本発明の「オブジェクト」になり得る。一例を挙げると、人や動物の個体認識の場合には、バイオメトリクス情報と呼ばれる、顔、眼底、瞳、指紋、掌紋、耳、上半身、全身などがオブジェクトになり得るし、一般物体認識の場合には、物体やその一部などがオブジェクトになり得る。
【００１８】
なお、本発明は、上記構成ないし機能の少なくとも一部を有する画像認識装置、又は、画像認識装置に対して特徴量データの登録を行う登録装置、又は、画像認識装置を備えた電子機器として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む画像認識方法、又は、画像認識装置に対する特徴量データ登録方法、又は、斯かる方法を画像認識装置（コンピュータ）に実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成
することができる。
【発明の効果】
【００１９】
本発明によれば、既登録のオブジェクトに対し新規の特徴量データを追加するときに、他のオブジェクトとのあいだの識別性の低下を抑制することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る顔認証システムの機能構成を模式的に示す図。
【図２】データベースに登録された特徴量データの例を模式的に示す図。
【図３】顔認証処理の流れを示すフローチャート。
【図４】第１実施形態のデータ登録処理の流れを示すフローチャート。
【図５】第２実施形態のデータ登録処理の流れを示すフローチャート。
【図６】第３実施形態のデータ登録処理の流れを示すフローチャート。
【図７】第４実施形態のデータ登録処理の流れを示すフローチャート。
【図８】従来技術の問題を説明するための模式図。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の好適な実施形態について説明する。以下の実施形態では、画像認識により人の顔を識別する顔認証システムに本発明を適用した例を説明する。
【００２２】
＜第１実施形態＞
（システム構成）
図１は、本発明の第１実施形態に係る顔認証システム（画像認識装置）の機能構成を模式的に示す図である。顔認証システム１は、顔画像を用いて照合対象者の本人認証又は個人識別を行う装置である。本人認証とは、照合対象者が本人であるか否かを確かめる処理（一対一の照合）であり、個人識別とは、照合対象者がデータベースに登録されている登録者のうちの誰であるかを同定する処理（一対多の照合）である。これらの顔認証技術は、例えば、電子機器（コンピュータ、スマートフォン、タブレット端末を含む）におけるセキュリティ装置、侵入者検知を行う監視システム、入退室管理やドアの錠制御を行うゲートシステムなどの様々な用途に応用可能である。
【００２３】
顔認証システム１は、図１に示すように、画像取得部１０、顔検出部１１、特徴量抽出部１２、特徴量データベース１３、識別部１４、特徴量データ登録部１５などの機能要素を備えている。顔認証システム１は、例えば、プロセッサ（ＣＰＵ）、メモリ、補助記憶装置、入力装置、表示装置、カメラなどのハードウエア資源を備えたコンピュータシステムにより構成でき、図１に示す各機能要素は、プロセッサがプログラムを実行し、補助記憶装置、入力装置、表示装置、カメラなどを適宜制御することで実現されるものである。ただし、これらの機能要素の全部又は一部を専用のチップ（ロジック回路）で構成しても構わない。また、一つのコンピュータではなく、複数のコンピュータの組み合わせ又はクラウドコンピューティングにより顔認証システム１を構成することもできる。
【００２４】
画像取得部１０は、カメラから画像データを取り込む機能である。顔検出部１１は、画像から顔を検出し、顔の位置や大きさ等を特定する機能である。ここで検出された顔部分の画像を顔画像とよぶ。顔検出処理には既存のどのような技術が適用されてもよい。例えば、テクスチャー情報を用いたパターンマッチング、輪郭や顔の器官（目、鼻、口など）に基づくモデルフィッティングによって顔を検出する方法、肌の色や濃淡の分布に基づき顔を検出する方法などがある。
【００２５】
特徴量抽出部１２は、顔画像から特徴量データを抽出する機能である。特徴量にはどのような種類のものを用いてもよい。例えば、顔の中に設定した特徴点（目、鼻、口の中心
や端点など）の位置関係、特徴点近傍の濃淡値やその周期性・方向性、色分布などを特徴量として採用できる。また顔画像自体を特徴量データとして用いることもできる。特徴量の個数は期待する認識精度に応じて任意に設定できるが、一般的には、一つの顔画像から数十から数万個以上の特徴量が抽出される。このように抽出された特徴量の組（特徴量データ又は特徴ベクトルと呼ぶ）は、画像に写っている顔の特徴を数値化したものといえる。人によって顔の特徴が相違するのと同様、人によって特徴量データに有意な差がでる。
【００２６】
特徴量データベース１３は、顔認証システム１により認識可能な人物の情報を記憶するデータベースであり、アルバムデータや辞書データと呼ばれることもある。特徴量データベース１３には、複数の人物の特徴量データがラベル情報（個人のＩＤや名称など）とともにクラス分けして登録されている。顔の向き、表情、髪型、化粧、撮影時期（年齢）、照明状態などが違うと、同じ人物であっても特徴量データにバラツキが生じる。したがって、特徴量データベース１３には、同じ人物に対し、撮影条件や撮影時期などが異なる複数の顔画像の特徴量データを登録できるようにしている。また、詳しくは後述するが、特徴量データベース１３には、同じ人物に対し複数のクラスを設定することができる。図２（ａ）は、特徴量データベース１３に登録されている特徴量データを特徴空間にマッピングした模式図である。人物Ａ、人物Ｂ、人物Ｃに対応する３つのクラスＫＡ、ＫＢ、ＫＣの特徴量データの例を示している。なお、図示の便宜から２次元の特徴空間を示しているが、実際のシステムでは、数十から数万次元以上の特徴空間が用いられる。
【００２７】
識別部１４は、特徴量データを比較することにより未知の人物を識別（同定）する機能である。また、特徴量データ登録部１５は、所定の条件に従って特徴量データベース１３に対し特徴量データを登録する機能である。これらの機能の詳細については、顔認証処理及びデータ登録処理のフローとともに説明する。
【００２８】
（顔認証処理）
図３は、顔認証システム１の顔認証処理の流れを示すフローチャートである。
【００２９】
まず、画像取得部１０が、照合対象者（未知の人物）の画像をカメラから取り込む（ステップＳ３０）。取り込まれた画像は、必要に応じて、ユーザによる確認のために表示装置に表示される。次に、顔検出部１１が、画像から顔部分を検出する（ステップＳ３１）。もし顔が検出されなければ、画像の取り込みからやり直す。顔が検出された場合は、特徴量抽出部１２が、検出された顔部分の画像から特徴量データの抽出を行う（ステップＳ３２）。
【００３０】
続いて、識別部１４が、ステップＳ３２で抽出された照合対象者の特徴量データと、各クラスの特徴量データとのあいだの類似度を計算する（ステップＳ３３）。類似度にはどのような指標を用いてもよい。例えば、特徴空間上における、照合対象者の特徴量データとクラスの特徴量データのあいだの距離（ユークリッド距離など）又はベクトルの内積を類似度として用いることができる。クラス内に複数の特徴量データが存在する場合には、それぞれの特徴量データに対する類似度を求め、それらの合計値又は代表値（最大値、平均など）を計算すればよい。あるいは、クラスを代表する特徴量データ（クラス分布の中心など）を求め、その代表特徴量データに対する類似度を求めてもよい。マハラビノス距離などを用いて、照合対象者の特徴量データとクラス分布とのあいだの類似度を求めることもできる。
【００３１】
その後、識別部１４は、すべてのクラスの中で最大の類似度を示したクラスを選択し、その類似度の値が所定の下限値を超えているかチェックする（ステップＳ３４）。下限値を超える類似度をもつクラスが検出できた場合には、識別部１４は、そのクラスに関連付けられたラベル（個人のＩＤや名称など）を識別結果として出力する（ステップＳ３５）
。下限値を超える類似度をもつクラスが存在しない場合には、照合対象者は「不明（Ｕｎｋｎｏｗｎ）」という識別結果を出力する（ステップＳ３６）。
【００３２】
（データ登録処理）
次に、図４を参照して、新たな特徴量データを顔認証システム１に登録する処理について説明する。図４は、データ登録処理の流れを示すフローチャートである。
【００３３】
まず、画像取得部１０が、新規の登録用画像をカメラから取り込む（ステップＳ４０）。取り込まれた画像は、必要に応じて、ユーザによる確認のために表示装置に表示される。次に、顔検出部１１が、画像から顔部分を検出する（ステップＳ４１）。もし顔が検出されなければ、画像の取り込みからやり直す。顔が検出された場合は、特徴量抽出部１２が、検出された顔部分の画像から特徴量データの抽出を行う（ステップＳ４２）。以下、登録用画像から抽出された特徴量データを新規データと呼ぶ。ここまでの処理は顔認証処理のステップＳ３０〜Ｓ３２と実質的に同じである。
【００３４】
次に、識別部１４が、ステップＳ４２で抽出された新規データと、特徴量データベース１３に登録されている各クラスの特徴量とのあいだの類似度を計算する（ステップＳ４３）。そして、すべてのクラスの中で最大の類似度を示したクラスを選択し、その類似度の値が所定の下限値を超えているかチェックする（ステップＳ４４）。ここまでの処理は顔認証処理のステップＳ３３〜Ｓ３４と実質的に同じである。
【００３５】
識別部１４による識別結果に応じて、特徴量データ登録部１５が以降の処理を行う。まず、ステップＳ４４において下限値を超える類似度をもつクラスが検出できた場合、特徴量データ登録部１５は、その識別結果が正解であるかをユーザに問い合わせる（ステップＳ４５）。例えば、「人物Ａ」という識別結果が得られた場合であれば、ステップＳ４０で取り込んだ登録用画像とともに「Ａさんとして登録しますか？  ＹＥＳ／ＮＯ」というような確認メッセージを出力し、ユーザ入力を促す。ユーザが「ＹＥＳ」を入力した場合、すなわち、識別結果が正解であった場合には、特徴量データ登録部１５は、この登録用画像から抽出した新規データを、人物Ａの既登録データと同じクラスＫＡに追加する（ステップＳ４６０）。図２（ｂ）は新規データＮを既存のクラスＫＡに追加した場合の特徴空間を示している。
【００３６】
次に、識別結果が不正解であった場合の処理を説明する。例えば、人物Ａの登録用画像であったにもかかわらず、「人物Ｂ」という識別結果が得られたケースを想定する。このような誤識別は、新規データＮと人物Ｂの既登録データＢ１〜Ｂ４との類似度が、新規データＮと人物Ａの既登録データＡ１〜Ａ４との類似度よりも高い場合に発生する。人物Ａと人物Ｂの顔立ちが元々似ている場合や、撮影時の表情や顔向きなどによりたまたま人物Ｂの顔に似た画像が得られた場合などに、このような誤識別が起こる可能性がある。
【００３７】
上記と同様、特徴量データ登録部１５は、登録用画像（人物Ａの画像）とともに「Ｂさんとして登録しますか？  ＹＥＳ／ＮＯ」という確認メッセージを出力する（ステップＳ４５）。ここでユーザが「ＮＯ」を選択した場合、特徴量データ登録部１５はユーザに正解の入力を促す（ステップＳ４７）。例えば、登録済みの人物名リストを提示しその中から選択させてもよいし、人物名を入力させてもよい。ユーザにより正解「人物Ａ」が教示されたら、特徴量データ登録部１５は、「人物Ａ」が特徴量データベース１３に既に登録されている人物かどうかをチェックする（ステップＳ４８）。既登録の人物であった場合、図２（ｃ）に示すように、特徴量データ登録部１５は、人物Ａに対し既存のクラスＫＡとは別の新規のクラスＫＡ２を設定し、登録用画像から抽出した新規データＮを新規のクラスＫＡ２に登録する（ステップＳ４６１）。
【００３８】
一方、既登録の人物でなかった場合（例えば、登録用画像が人物Ｄの画像であった場合）には、特徴量データ登録部１５は、特徴量データベース１３に新規の人物のクラスを設定し、そこに登録用画像から抽出した新規データを登録する（ステップＳ４６２）。なお、ステップＳ４４において下限値を超える類似度をもつクラスが検出できなかった場合（つまり、識別結果が不明（Ｕｎｋｎｏｗｎ）であった場合）にも、ステップＳ４７に進み、新規の人物として登録される。
【００３９】
（本実施形態の利点）
以上述べたデータ登録処理によれば、同じ人物（Ａ）の特徴量データ（Ｎ）であっても、他人（Ｂ）の既登録データ（Ｂ１〜Ｂ４）との類似度の方が本人（Ａ）の既登録データ（Ａ１〜Ａ４）との類似度よりも高い場合には、新規の特徴量データ（Ｎ）は既登録データ（Ａ１〜Ａ４）とは異なるクラス（ＫＡ２）に分けて登録される。なお、二つのクラスＫＡ、ＫＡ２は同じ人物Ａに対応するクラスであるため、ラベル情報は同じものが割り当てられる。
【００４０】
このような特徴量データベース１３を用いて顔認証処理を行うと、次のような利点がある。第一に、すべての特徴量データを包含する単一のクラス（図８（ｂ）参照）を設定するのに比べ、人物ＡのクラスＫＡ、ＫＡ２と人物ＢのクラスＫＢのあいだの特徴空間上での近接ないし重複が生じにくくなる（図２（ｃ）参照）。したがって、顔認証処理において人物Ａと人物Ｂのあいだの識別性（分離性）の低下を抑制でき、例えば、図８（ｃ）のような特徴量データＸが入力された場合でも「人物Ｂ」という正しい識別結果を得ることができる。第二に、人物Ａの特徴量データのバリエーションが増すため、人物Ａに対する識別精度の向上も期待できる。すなわち、人物Ａの顔認証を行う際には、撮影条件によって、クラスＫＡに近い特徴量データとクラスＫＡ２に近い特徴量データのどちらも入力される可能性があるが、本実施形態のデータベースを用いることでいずれの場合でも「人物Ａ」という正しい識別結果を得ることができる。
【００４１】
なお、本実施形態のデータ登録処理におけるステップＳ４５以降の処理を、図３で述べた顔認証処理に続けて実行してもよい。すなわち、顔認証処理が失敗したとき（識別結果が不正解又は不明（Ｕｎｋｎｏｗｎ）のとき）に新規の特徴量データを特徴量データベース１３に追加していくことにより、データベースの自動学習が実現できる。
【００４２】
＜第２実施形態＞
第２実施形態も、他人の既登録データとの類似度の方が本人の既登録データとの類似度よりも高い場合に、新規の特徴量データを本人の既登録データとは別のクラスに登録する、という点で第１実施形態と基本的な考え方は同じである。ただし、第１実施形態では、顔認証処理が不正解であった場合に正しいラベル（人物）をユーザが教示したのに対し、第２実施形態では、登録用画像とともに正解のラベル情報を事前に入力する点が異なる。
【００４３】
図５のフローチャートを参照して、第２実施形態のデータ登録処理の流れを説明する。なお、システム構成及び顔認証処理の流れについては第１実施形態と同様のため説明を省略する。
【００４４】
まず、画像取得部１０が、新規の登録用画像をカメラから取り込む（ステップＳ５０）。取り込まれた画像は、必要に応じて、ユーザによる確認のために表示装置に表示される。次に、顔検出部１１が、画像から顔部分を検出する（ステップＳ５１）。もし顔が検出されなければ、画像の取り込みからやり直す。顔が検出された場合は、特徴量抽出部１２が、検出された顔部分の画像から特徴量データの抽出を行う（ステップＳ５２）。
【００４５】
次に、特徴量データ登録部１５が、登録用画像のラベル情報（人物のＩＤ、名称など）
を取得する（ステップＳ５３）。例えば、タッチパネル等の入力デバイスを用いてユーザにＩＤや名称などを入力させればよい。なお、ステップＳ５０及びＳ５３の処理は、画像データベースなどから顔画像データとラベル情報を読み込む処理に置き換えることもできる。例えば、バッチ処理で多数の登録用画像をデータベース登録する場合には、後者の処理の方が好適である。
【００４６】
続いて、特徴量データ登録部１５は、ステップＳ５３で取得したラベル情報で特定される人物の特徴量データが特徴量データベース１３に存在するかどうかをチェックする（ステップＳ５４）。本人の既登録データが存在しない場合には（ステップＳ５４のＮＯ）、特徴量データ登録部１５は、特徴量データベース１３に新規の人物のクラスを設定し、そこにステップＳ５２で抽出した特徴量データを登録する（ステップＳ５５２）。
【００４７】
本人の既登録データが存在する場合には（ステップＳ５４のＹＥＳ）、特徴量データ登録部１５は、新規の特徴量データと他人の既登録データのあいだの類似度Ｓｅをクラスごとに計算し、その中の最大値Ｓｅｍａｘを求める（ステップＳ５６）。また、特徴量データ登録部１５は、新規の特徴量データと本人の既登録データのあいだの類似度Ｓｉを計算する（ステップＳ５７）。なお、本人のクラスが複数存在する場合には、類似度Ｓｉの最大値を求めるとよい。ここでの類似度Ｓｅ、Ｓｉは、第１実施形態で述べた顔認証処理での類似度と同じ指標を用いることができる（したがって、ステップＳ５６、Ｓ５７の処理には識別部１４の機能を利用してもよい。）。
【００４８】
続いて、特徴量データ登録部１５は、ステップＳ５６、Ｓ５７で求めた類似度Ｓｅｍａｘ、Ｓｉを評価し、新規の特徴量データが、本人の既登録データに近いのか（Ｓｅｍａｘ≦Ｓｉ）、それとも、本人の既登録データよりも他人の既登録データの方に近いのか（Ｓｅｍａｘ＞Ｓｉ）を判断する（ステップＳ５８）。新規の特徴量データが本人の既登録データの方に近い場合（ステップＳ５８のＹＥＳ）、特徴量データ登録部１５は、新規の特徴量データを本人の既登録データと同じクラスに追加する（ステップＳ５５０。図２（ｂ）参照）。なお、本人のクラスが複数存在する場合には、最も類似度の高いクラスに新規の特徴量データを追加すればよい。一方、新規の特徴量データが本人の既登録データよりも他人の既登録データの方に近い場合（ステップＳ５８のＮＯ）、特徴量データ登録部１５は、既存の本人クラスとは別に新規のクラスを設定し、新規の特徴量データを新規のクラスに登録する（ステップＳ５５１。図２（ｃ）参照）。
【００４９】
以上述べた本実施形態のデータ登録処理によっても、第１実施形態と同様の作用効果を奏することができる。
【００５０】
なお、ステップＳ５８では、本人の既登録データに対する類似度Ｓｉと他人の既登録データに対する類似度Ｓｅｍａｘの相対評価（比較）により、既存クラスに追加するかクラスを分割するかを判断したが、より単純な方法として、他人の既登録データに対する類似度Ｓｅｍａｘが所定の閾値Ｔｈ１よりも高いかどうか（Ｓｅｍａｘ＞Ｔｈ１）という条件のみで、既存クラスに追加するかクラスを分割するかを判断しても構わない。他人の既登録データに対する類似度Ｓｅｍａｘが非常に高い場合には、（本人の既登録データとの類似度Ｓｉの大きさにかかわらず）本人と他人の識別性の低下を招く可能性があるからである。
【００５１】
あるいは、本人の既登録データに対する類似度Ｓｉより他人の既登録データに対する類似度Ｓｅｍａｘの方が大きい場合であっても、その類似度Ｓｅｍａｘが閾値Ｔｈ２に満たない場合には（Ｓｉ＜Ｓｅｍａｘ＜Ｔｈ２）、クラス分割は行わず既存クラスにデータを追加してもよい。本人と他人のいずれとも類似度が低いデータを追加しても、本人と他人のあいだの識別性に与える影響は小さいからである。
【００５２】
＜第３実施形態＞
前述した第１及び第２実施形態では、本人の既登録データに対する類似度Ｓｉと他人の既登録データに対する類似度Ｓｅを評価したのに対し、第３実施形態では、本人の既登録データの分散σ２の変化と他人の既登録データに対する類似度Ｓｅとを評価することにより、既存クラスに追加するかクラスを分割するかを判断する。
【００５３】
図６のフローチャートを参照して、第３実施形態のデータ登録処理の流れを説明する。なお、システム構成及び顔認証処理の流れについては第１実施形態と同様のため説明を省略する。
【００５４】
ステップＳ６０〜Ｓ６４、Ｓ６５２の処理は、第２実施形態（図５）のステップＳ５０〜Ｓ５４、Ｓ５５２の処理と同じである。
【００５５】
本人の既登録データが存在する場合には（ステップＳ６４のＹＥＳ）、特徴量データ登録部１５は、新規の特徴量データと他人の既登録データのあいだの類似度Ｓｅをクラスごとに計算し、その中の最大値Ｓｅｍａｘを求める（ステップＳ６６）。ステップＳ６６の処理も第２実施形態のステップＳ５６と実質的に同じである。
【００５６】
次に、特徴量データ登録部１５は、本人クラスの分散σ１２と、新規の特徴量データを本人クラスに追加した場合の分散σ２２とをそれぞれ計算し、分散の変化量Δσ２＝σ２２−σ１２を求める（ステップＳ６７）。なお、本人クラスが複数存在する場合には、分散の変化量Δσ２の最小値を求めるとよい。
【００５７】
続いて、特徴量データ登録部１５は、ステップＳ６６、Ｓ６７で求めた類似度Ｓｅｍａｘと分散の変化量Δσ２を評価する（ステップＳ６８）。新規の特徴量データが他人の既登録データに対し非常に近く（Ｓｅｍａｘ＞閾値Ｔｈ３）、且つ、新規の特徴量データの追加により本人クラスの分散が増加する（Δσ２＞０、又は、Δσ２＞閾値Ｔｈ４）場合には（ステップＳ６８のＹＥＳ）、特徴量データ登録部１５は、既存の本人クラスとは別に新規のクラスを設定し、新規の特徴量データを新規のクラスに登録する（ステップＳ６５１。図２（ｃ）参照）。一方、新規の特徴量データに類似する他人の既登録データが無いか（Ｓｅｍａｘ≦閾値Ｔｈ３）、新規の特徴量データの追加が本人クラスの分散に影響を与えない（Δσ２＝０、又は、Δσ２≦閾値Ｔｈ４）場合には（ステップＳ６８のＮＯ）、特徴量データ登録部１５は、新規の特徴量データを本人の既登録データと同じクラスに追加する（ステップＳ６５０。図２（ｂ）参照）。なお、本人のクラスが複数存在する場合には、分散の変化量が最も小さいクラスに新規の特徴量データを追加すればよい
以上述べた本実施形態のデータ登録処理によっても、第１及び第２実施形態と同様の作用効果を奏することができる。
【００５８】
＜第４実施形態＞
前述した第３実施形態では、本人の既登録データの分散σ２の変化と他人の既登録データに対する類似度Ｓｅとを評価に用いたのに対し、第４実施形態では、新規の特徴量データを追加する前と後での、クラス内分散とクラス間分散の変化を評価することにより、既存クラスに追加するかクラスを分割するかを判断する。
【００５９】
図７のフローチャートを参照して、第４実施形態のデータ登録処理の流れを説明する。なお、システム構成及び顔認証処理の流れについては第１実施形態と同様のため説明を省略する。
【００６０】
ステップＳ７０〜Ｓ７４、Ｓ７５２の処理は、第２実施形態（図５）のステップＳ５０
〜Ｓ５４、Ｓ５５２の処理と同じである。
【００６１】
本人の既登録データが存在する場合には（ステップＳ７４のＹＥＳ）、特徴量データ登録部１５は、他人クラスの中で新規の特徴量データに最も近いもの（すなわち、新規の特徴量データを追加することで本人クラスとのあいだの識別性が低下する可能性が最も高い他人クラス）を選択する（ステップＳ７６）。この処理は、第２実施形態（図５）のステップＳ５６と同じように新規の特徴量データと各クラスのあいだの類似度を求めることにより行うことができる。
【００６２】
次に、特徴量データ登録部１５は、本人クラスのクラス内分散σ１２と、新規の特徴量データを本人クラスに追加した場合のクラス内分散σ２２とをそれぞれ計算し、分散の変化量Δσ２＝σ２２−σ１２を求める（ステップＳ７７）。なお、本人クラスが複数存在する場合には、分散の変化量Δσ２が最も小さい本人クラスを選択する。
【００６３】
次に、特徴量データ登録部１５は、本人クラスとステップＳ８６で選ばれた他人クラス（以下、対象他人クラスと呼ぶ）のあいだのクラス間分散σＢ１２と、新規の特徴量データを本人クラスに追加した場合の本人クラスと対象他人クラスのあいだのクラス間分散σＢ２２とをそれぞれ計算し、クラス間分散の変化量ΔσＢ２＝σＢ２２−σＢ１２を求める（ステップＳ７８）。
【００６４】
続いて、特徴量データ登録部１５は、ステップＳ７７、Ｓ７８で求めたクラス内分散の変化量Δσ２とクラス間分散の変化量ΔσＢ２を評価する（ステップＳ７９）。新規の特徴量データを追加したことで、クラス内分散が増加し（Δσ２＞０、又は、Δσ２＞閾値Ｔｈ５）、且つ、クラス間分散が減少する（ΔσＢ２＜０、又は、ΔσＢ２＜閾値Ｔｈ６＜０）場合には（ステップＳ７９のＹＥＳ）、特徴量データ登録部１５は、既存の本人クラスとは別に新規のクラスを設定し、新規の特徴量データを新規のクラスに登録する（ステップＳ７５１。図２（ｃ）参照）。一方、新規の特徴量データを追加しても、クラス内分散が増加しないか、クラス間分散が減少しない場合には（ステップＳ７９のＮＯ）、特徴量データ登録部１５は、新規の特徴量データを本人の既登録データと同じクラスに追加する（ステップＳ７５０。図２（ｂ）参照）。なお、本人のクラスが複数存在する場合には、分散の変化量が最も小さいクラスに新規の特徴量データを追加すればよい。
【００６５】
以上述べた本実施形態のデータ登録処理によっても、第１及び第２実施形態と同様の作用効果を奏することができる。特に本実施形態の方法によれば、新規の特徴量データを本人クラスへ追加した場合に、本人とよく似た他人とのあいだの識別性（分離性）が低下するかどうかを、クラス内分散とクラス間分散というより直接的な指標で評価できるため、より妥当なサイズのクラスが形成できると期待される。
【００６６】
なお、本実施形態のステップＳ７９では、クラス内分散の変化とクラス間分散の変化を別個に評価したが、クラス内分散とクラス間分散の比（一方を他方で割った値）の変化を評価してもよい。例えば、σ２２／σＢ２２＜σ１２／σＢ１２、又は、（σ２２／σＢ２２−σ１２／σＢ１２）＜閾値Ｔｈ７という評価式を用いることにより、クラス間分散の増加とクラス内分散の減少を判定できる。分母と分子を入れ替えた式、つまり、σＢ２２／σ２２＞σＢ１２／σ１２、又は、（σＢ２２／σ２２−σＢ１２／σ１２）＞閾値Ｔｈ８という評価式でも同様にクラス間分散の増加とクラス内分散の減少を判定できる。
【００６７】
＜その他の実施形態＞
上述した各実施形態は本発明の一具体例を示したものにすぎない。例えば、本発明の実施形態として以下のような構成も採り得る。
【００６８】
上記第１及び第２実施形態では、類似度（特徴量データ同士の距離など）を評価に用い、第３実施形態では、本人クラスについては分散を、他人クラスに対しては類似度を評価に用い、第４実施形態では、本人クラスについてはクラス内分散を、他人クラスに対してはクラス間分散を評価に用いたが、これら以外の指標を用いても構わない。また類似度と分散にはそれぞれ異なるメリットがあるので、両者を組み合わせて用いてもよい。例えば、類似度は、分散に比べて計算コストが小さく、高速に処理できるという利点がある。また、特徴量データのデータ数が少ないときでも利用できるという利点もある（言い換えると、分散は、ある程度のデータ数がなければ信頼性が低い）。一方、分散は、新規のデータの追加がクラス全体に及ぼす影響を評価するため、（データ数が多ければ）類似度よりも妥当な結果を得られると期待できる。例えば、新規のデータが本人クラスの平均からかなり外れた位置にあった場合、類似度による評価方法では、本人クラスが分割される可能性が高い。そうすると、特徴量データのばらつきが大きい人の場合、クラスが細分化されすぎる可能性もある。これに対し、第３実施形態のように分散を評価に用いると、新規のデータが本人クラスの平均からかなり外れた位置にあったとしても、新規のデータの追加による分散の変化が小さければ、本人クラスの分割は不要と判断され、妥当なサイズの本人クラスが形成されることとなる。
【００６９】
上記実施形態では顔認証システムを例示したが、本発明は顔認証システム以外にもあらゆる画像認識装置に適用可能である。また、顔以外にも、眼底、瞳、指紋、掌紋、耳、上半身、全身を認識対象（オブジェクト）とすることもできるし、人や動物といった生体だけでなく、工業製品や車両や食品などの一般物体を認識対象とすることもできる。要するに、画像特徴量による認識が可能なオブジェクトであれば、本発明を適用することが可能である。
【符号の説明】
【００７０】
１：顔認証システム
１０：画像取得部
１１：顔検出部
１２：特徴量抽出部
１３：特徴量データベース
１４：顔認証部
１５：特徴量データ登録部
【図１】
0006427973.tif 000002
【図２】
0006427973.tif 000003
【図３】
0006427973.tif 000004
【図４】
0006427973.tif 000005
【図５】
0006427973.tif 000006
【図６】
0006427973.tif 000007
【図７】
0006427973.tif 000008
【図８】
0006427973.tif 000009