(57)【要約】【課題】画像認証装置の認証精度を向上させる。【解決方法】画像認証装置１は、撮像装置３、８から画像を取得し、取得した前記画像を登録辞書に登録画像として登録し、取得した画像と登録画像との間の類似度を算出するための類似度算出パラメタを、前記登録画像をもとに計算する。取得された画像と登録画像との間の類似度は、計算された類似度算出パラメタを用いて算出される。また、画像認証装置１は、登録画像の登録状況を取得し、取得された前記画像を辞書登録手段に登録する登録要求を受けたときに、登録状況が含まれる表示画面を生成して表示装置６に出力する。【選択図】図１
2019185384.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から画像を取得する認証画像取得手段と、
前記認証画像取得手段が取得した前記画像を登録辞書に登録画像として登録する辞書登録手段と、
前記認証画像取得手段により取得された前記画像と前記登録画像との間の類似度を算出するための類似度算出パラメタを、前記登録画像をもとに計算する類似度算出パラメタ計算手段と、
前記認証画像取得手段から取得された前記画像と前記登録画像との間の類似度を、前記類似度算出パラメタを用いて算出する類似度算出手段と、
前記登録画像の登録状況を取得する登録状況取得手段と、
前記認証画像取得手段から取得された前記画像を前記辞書登録手段に登録する登録要求を受けたときに、前記登録状況取得手段から前記登録状況を取得して、前記登録状況が含まれる表示画面を生成して所定の表示装置に出力する表示画像生成手段と、
を有することを特徴とする、画像認証装置。
【請求項２】
前記登録画像が割り当てられるグループを設定する画像グループ設定手段をさらに有し、
前記類似度算出パラメタ計算手段は、前記画像グループ設定手段が設定したグループごとに前記類似度算出パラメタを計算することを特徴とする、
請求項１に記載の画像認証装置。
【請求項３】
前記表示画像生成手段は、前記画像グループ設定手段が設定したグループごとに、前記登録状況を含んだ表示画面を生成することを特徴とする、
請求項２に記載の画像認証装置。
【請求項４】
前記表示画像生成手段は、画像が割り当てられていないグループ、または、割り当てられた画像数が他のグループに比較してより少ないグループが含まれるように前記表示画面を生成すること特徴とする、
請求項３に記載の画像認証装置。
【請求項５】
前記登録状況には、認証対象となる人物ごとに前記登録辞書に登録されている画像の有無を示す情報が含まれることを特徴とする、
請求項１〜４のいずれか１項に記載の画像認証装置。
【請求項６】
前記登録状況取得手段が取得する登録状況には、前記画像グループ設定手段が設定したグループごとに前記登録されている画像の有無を示す情報が含まれることを特徴とする、
請求項２〜４のいずれか１項に記載の画像認証装置。
【請求項７】
撮像装置から画像を取得する認証画像取得手段と、 
前記認証画像取得手段が取得した前記画像を登録辞書に登録画像として登録する辞書登録手段と、
前記認証画像取得手段により取得された前記画像と前記登録画像との間の類似度を算出するための類似度算出パラメタを、前記登録画像をもとに計算する類似度算出パラメタ計算手段と、
前記認証画像取得手段により取得された前記画像と前記登録画像との間の類似度を、前記類似度算出パラメタを用いて算出する類似度算出手段と、
前記登録画像が割り当てられるグループを設定する画像グループ設定手段と、を有し、
前記類似度算出手段は、前記画像グループ設定手段が設定したグループごとに前記類似度算出パラメタを算出することを特徴とする、
画像認証装置。
【請求項８】
前記画像グループ設定手段は、前記認証画像取得手段が取得した画像に応じて前記グループを動的に設定することを特徴とする、
請求項７に記載の画像認証装置。
【請求項９】
前記画像グループ設定手段は、予め前記グループが定義されており、この予め定義されたグループに対して前記登録画像を割り当てることを特徴とする、
請求項７に記載の画像認証装置。
【請求項１０】
前記画像グループ設定手段は、前記認証画像取得手段が取得した画像の変動要因をもとに前記グループを設定することを特徴とする、
請求項９に記載の画像認証装置。
【請求項１１】
前記画像の変動要因は、前記認証画像取得手段が取得した画像の照明条件であることを特徴とする、
請求項１０に記載の画像認証装置。
【請求項１２】
前記画像の変動要因は、前記認証画像取得手段が画像を取得した時間であることを特徴とする、
請求項１０に記載の画像認証装置。
【請求項１３】
前記画像の変動要因は、前記認証画像取得手段が画像を取得した際の天気であることを特徴とする、
請求項１０に記載の画像認証装置。
【請求項１４】
前記認証対象の画像を前記辞書登録手段に登録する登録要求を受けたときに、設定された前記グループの情報を前記グループ設定手段から取得して、前記グループの情報が含まれる表示画面を生成して所定の表示装置に出力する表示画像生成手段を有することを特徴とする、
請求項７〜１３のいずれか１項に記載の画像認証装置。
【請求項１５】
前記認証画像取得手段は、ユーザからの入力に応じて前記撮像装置で撮像を実行させることで前記画像を撮像し、
前記類似度算出パラメタ計算手段は、前記認証画像取得手段がユーザからの入力に応じて取得した画像から前記類似度算出パラメタを計算することを特徴とする、
請求項１４に記載の画像認証装置。
【請求項１６】
前記表示画像生成手段は、前記認証画像取得手段がユーザからの入力に応じて取得した画像の数を表す情報が含まれるように前記表示画面を生成することを特徴とする、
請求項１４または１５に記載の画像認証装置。
【請求項１７】
前記認証画像取得手段が取得した前記画像に対して複数の局所領域を設定する局所領域設定手段をさらに備え、
前記類似度算出パラメタ計算手段は、前記局所領域設定手段が設定した複数の局所領域ごとに前記類似度算出パラメタを計算し、
前記類似度算出手段は、前記局所領域設定手段が設定した複数の局所領域ごとに前記類似度を算出することを特徴とする、
請求項７〜１６のいずれか１項に記載の画像認証装置。
【請求項１８】
前記類似度算出手段は、前記認証画像取得手段が取得した前記画像に含まれる前記画像と、前記辞書登録手段に登録された画像とに基づいて類似度算出パラメタを計算する、
ことを特徴とする、
請求項７〜１７のいずれか１項に記載の画像認証装置。
【請求項１９】
前記認証画像取得手段が取得した画像から特徴量を抽出する特徴量抽出手段を
さらに備え、
前記類似度算出パラメタ計算手段は、類似度算出パラメタとして、特徴量空間でのベクトル間の角度を定めるための原点を計算し、
前記類似度算出手段は、前記類似度算出パラメタ計算手段が計算した、前記計算された原点を用いてベクトル間の角度をもとにした類似度を算出することを特徴とする、
請求項７〜１８のいずれか１項に記載の画像認証装置。
【請求項２０】
前記類似度算出パラメタ計算手段が計算する、前記特徴量空間でのベクトル間の角度を定めるための原点は、前記特徴量抽出手段が抽出した複数の特徴量の平均から計算されることを特徴とする、
請求項１９に記載の画像認証装置。
【請求項２１】
前記類似度算出パラメタ計算手段が計算する類似度算出パラメタはマハラノビス行列であり、
前記類似度算出手段は、前記類似度算出パラメタ計算手段が計算したマハラノビス行列をもとに類似度を算出することを特徴とする、
請求項１〜１８のいずれか１項に記載の画像認証装置。
【請求項２２】
撮像装置に接続された画像認証装置が実行する画像認証方法であって、前記画像認証装置が、
撮像装置から画像を取得し、
認証画像取得手段が取得した前記画像を登録辞書に登録画像として登録し、
前記認証画像取得手段により取得された前記画像と前記登録画像との間の類似度を算出するための類似度算出パラメタを、前記登録画像をもとに計算し、
前記認証画像取得手段から取得された前記画像と前記登録画像との間の類似度を、前記類似度算出パラメタを用いて算出し、
前記登録画像の登録状況を取得し、
前記認証画像取得手段から取得された前記画像を前記辞書登録手段に登録する登録要求を受けたときに、前記登録状況取得手段から前記登録状況を取得して、前記登録状況が含まれる表示画面を生成して所定の表示装置に出力することを特徴とする、
画像認証方法。
【請求項２３】
撮像装置に接続されるコンピュータを、
前記撮像装置から画像を取得する認証画像取得手段、
前記認証画像取得手段が取得した前記画像を登録辞書に登録画像として登録する辞書登録手段、
前記認証画像取得手段により取得された前記画像と前記登録画像との間の類似度を算出するための類似度算出パラメタを、前記登録画像をもとに計算する類似度算出パラメタ計算手段、
前記認証画像取得手段から取得された前記画像と前記登録画像との間の類似度を、前記類似度算出パラメタを用いて算出する類似度算出手段、
前記登録画像の登録状況を取得する登録状況取得手段、
前記認証画像取得手段から取得された前記画像を前記辞書登録手段に登録する登録要求を受けたときに、前記登録状況取得手段から前記登録状況を取得して、前記登録状況が含まれる表示画面を生成して所定の表示装置に出力する表示画像生成手段、
として動作させるためのコンピュータプログラム。
【請求項２４】
請求項２３に記載のコンピュータプログラムが記憶された、コンピュータにより読取可能な記憶媒体。
【請求項２５】
撮像装置に接続された画像認証装置が実行する画像認証方法であって、前記画像認証装置が、
撮像装置から画像を取得し、
前記認証画像取得手段が取得した前記画像を登録辞書に登録画像として登録し、
前記認証画像取得手段により取得された前記画像と前記登録画像との間の類似度を算出するための類似度算出パラメタを、前記登録画像をもとに計算し、
前記認証画像取得手段から取得された前記画像と前記登録画像との間の類似度を、前記類似度算出パラメタを用いて算出し、
前記登録画像が割り当てられるグループを設定し、
前記設定されたグループごとに前記類似度算出パラメタを算出することを特徴とする、
画像認証方法。
【請求項２６】
撮像装置に接続されるコンピュータを、
前記撮像装置から画像を取得する認証画像取得手段、 
前記認証画像取得手段が取得した前記画像を登録辞書に登録画像として登録する辞書登録手段、
前記認証画像取得手段により取得された前記画像と前記登録画像との間の類似度を算出するための類似度算出パラメタを、前記登録画像をもとに計算する類似度算出パラメタ計算手段、
前記登録画像が割り当てられるグループを設定する画像グループ設定手段、
前記認証画像取得手段から取得された前記画像と前記登録画像との間の類似度を、前記画像グループ設定手段が設定したグループごとに、前記類似度算出パラメタを用いて算出する類似度算出手段、
として動作させるためのコンピュータプログラム。
【請求項２７】
請求項２６に記載のコンピュータプログラムが記憶された、コンピュータにより読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等から入力された映像から特定の人物を認証する画像認証技術に関する。
【背景技術】
【０００２】
所定の場所に設置したカメラ等の撮像装置で画像を撮影し、その画像に写る人物が誰であるかを判定する人物認証技術が知られている。人物認証技術は、顔写真を使った犯罪捜査や、迷子探し等に応用されている。画像を撮像するカメラは、通常はそれぞれ設置場所や画角が異なるので、人物を撮影する際の撮影条件、例えば、人物の向きや照明条件はカメラごとに異なる。そのため、撮影条件が異なる場合でも正しく認識を行うことができる人物認証技術が求められている。
【０００３】
人物認証技術は、撮影された人物の画像と、事前に登録された人物の画像（以下、登録画像と呼ぶ）と、の間で算出した類似度の大小を評価することで、撮影された人物が登録された人物のいずれかに該当するか否かを判定している。この際、類似度をどのように算出するかは、人物認証の精度を決める重要な要素の一つであり、類似度算出には様々な方式が提案されている。
【０００４】
非特許文献１では、類似度算出のパラメタを事前に大量データで学習しておき、学習したパラメタをもとに類似度を算出る技術を開示している。様々な撮影条件を含む大量データを使ってパラメタを事前に学習することで、撮影条件が異なる場合でも正しく認識を行うことを可能としている。
【０００５】
また、特許文献１では、登録画像に含まれる人物同士を区別しやすいように、画像から得られる特徴量を変換する変換行列を計算し、変換した特徴空間で類似度を算出する技術を開示している。このように、登録画像に応じて変換行列を計算することで、登録画像内の人物を区別するために適した人物認証を行うことができ、認証精度が向上する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４３４３１２５号
【非特許文献】
【０００７】
【非特許文献１】Ｈ. Ｖ. Ｎｇｕｙｅｎ ａｎｄ Ｌ. Ｂａｉ. Ｃｏｓｉｎｅ ｓｉｍｉｌａｒｉｔｙ ｍｅｔｒｉｃ ｌｅａｒｎｉｎｇ ｆｏｒ ｆａｃｅ ｖｅｒｉｆｉｃａｔｉｏｎ. Ｉｎ ＡＣＣＶ, ２０１１.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の各技術では、撮像装置であるカメラの設置場所に適した類似度算出パラメタを得ることは困難である。非特許文献１に記載の技術では、カメラの設置場所は事前には判明していないので、設置場所に適した類似度算出パラメタを事前に計算する技術は開示していない。また、特許文献１の技術では、登録画像に含まれる人物を区別するのに適した類似度算出パラメタを計算することは可能である。しかし、カメラの設置場所に適した類似度算出パラメタを計算する技術は開示していない。
【０００９】
また、上記の各技術では、複数の条件で撮像された複数の登録画像を用いる場合がある。この場合、ユーザは、登録画像としてどのような画像を用意すればよいかを予め知ることができないという課題もある。具体的には、複数の条件のそれぞれについてユーザが自分の画像を登録する場合に、どの条件については画像が登録済みで、どの条件については画像が未登録であるのかを予め知ることができないという問題がある。
一般的に、登録画像の撮像条件と、認証場所に設置された撮像装置の撮像条件とが近い場合に認証精度が高くなる。しかし、認証場所によっては撮像する日時により撮像条件、例えば光量や光源の位置などが変化するので、できるだけ様々な条件に対応する登録画像を用意しておくことが好ましい。これを実現するには、どの条件について画像が既に登録されているのかをユーザが予め覚えておかなければならず、ユーザにとっては利便性が低くなってしまう。
【課題を解決するための手段】
【００１０】
これらの課題を解決するために、本発明の画像認証装置は、撮像装置から画像を取得する認証画像取得手段と、前記認証画像取得手段が取得した前記画像を登録辞書に登録画像として登録する辞書登録手段と、前記認証画像取得手段により取得された前記画像と前記登録画像との間の類似度を算出するための類似度算出パラメタを、前記登録画像をもとに計算する類似度算出パラメタ計算手段と、前記認証画像取得手段から取得された前記画像と前記登録画像との間の類似度を、前記類似度算出パラメタを用いて算出する類似度算出手段と、前記登録画像の登録状況を取得する登録状況取得手段と、前記認証画像取得手段から取得された前記画像を前記辞書登録手段に登録する登録要求を受けたときに、前記登録状況取得手段から前記登録状況を取得して、前記登録状況が含まれる表示画面を生成して所定の表示装置に出力する表示画像生成手段と、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、登録画像を用いて計算された類似度算出パラメタを用いて人物を認証することで、認証精度を向上することができる。
【図面の簡単な説明】
【００１２】
【図１】画像認証システムの概略構成の説明図。
【図２】画像認証装置のハードウェア構成図。
【図３】認証部の機能構成の説明図。
【図４】表示装置に表示されるコンソール画面。
【図５】画像認証装置が実行する認証処理を表すフローチャート。
【図６】認証画像に設定された局所領域の説明図。
【図７】画像認証処理のフローチャート。
【図８】類似度算出パラメタ計算処理を表すフローチャート。
【図９】局所領域の特徴量ベクトル空間の説明図。
【図１０】局所領域の特徴量ベクトル空間を表す説明図。
【図１１】類似度算出パラメタ計算処理の実行中にユーザに表示される表示画面の説明図。
【図１２】設置したカメラに適した原点を計算する例を模式的に示した図である。
【図１３】表示画像生成部が表示装置に出力する映像の説明図。
【図１４】辞書登録処理を表すフローチャート。
【図１５】登録状況の確認用画面の説明図。
【図１６】マハラノビス行列を類似度算出パラメタとして用いた特徴量ベクトル空間の説明図。
【図１７】辞書登録処理を表すフローチャート。
【発明を実施するための形態】
【００１３】
（第１実施形態）
以下、図面を参照して、本発明の実施形態を詳細に説明する。以下、設置したカメラごとに類似度算出パラメタを計算しておき、撮像画像をもとに登録辞書に登録された人物か否かを認証するものとして説明する。また、人物を認証するユースケースとして、ゲートの入退場制御の例を取り上げる。
【００１４】
図１は、画像認証システム１０の概略構成の説明図である。図中において、認証対象の人物、ゲートＧおよびその他の装置が配置されている。図中には、照合対象の人物がゲートに向かって進行する様子が示されている。
【００１５】
具体的には、画像認証システム１０は、画像認証装置１、ネットワーク２、撮像装置３、ゲートＧに内蔵された制御装置４、人物の入場を制御する、ゲートＧに設けられたフラッパー５、表示装置６、入力装置７、撮像装置８を有する。画像認証装置１、撮像装置３、撮像装置８は、ネットワーク２を通じて制御装置４に接続されている。
【００１６】
画像認証装置１は、ネットワーク２を介して撮像装置３および撮像装置８と通信して撮像された画像を受信し、画像認証処理などを行うことで画像内の人物を識別する。そして、識別された人物に対して認証処理を行い、その人物の入場を許可するか否かの認証処理を行い、認証結果を各装置に出力する。ネットワーク２は、各装置間の通信に用いられ、第１実施形態ではローカルエリアネットワークとしたが、その他の通信ネットワークを用いてもよい。
【００１７】
第１実施形態では、撮像装置３として、光学レンズ、映像センサおよび通信ユニットを備えたネットワークカメラを用いた。ネットワークカメラは、レンズ、ＣＣＤおよびＣＭＯＳセンサ等の撮像素子から構成されるカメラユニットと、ネットワークに接続するための通信装置とにより構成されている。なお、このようなネットワークカメラに代えて、通信機能を有する他のカメラを用いてもよい。カメラユニットは、可視光も用いたものに限らず、赤外カメラユニット等を用いてもよい。撮像装置３で撮影した画像は、ネットワーク２を介して画像認証装置１へと出力される。
【００１８】
制御装置４は、画像認証装置１から認証結果を受け取り、フラッパー５に対して、その開閉を制御する制御信号を出力する。また、制御装置４は、画像認証装置１から取得した表示用の映像等の情報を表示装置６に出力する。フラッパー５は、制御装置４から取得した制御情報に基づいてフラッパーを開閉させる。表示装置６は、画像認証装置１から取得した情報や画像を表示するディスプレイである。入力装置７は、キーボード、マウスあるいはタッチパネル等の入力機器であり、ユーザからの入力を受けて画像認証装置１に出力する。あるいは、表示装置６をタッチパネル式のディスプレイにして入力装置７の役割を兼ねるようにしてもよい。
【００１９】
撮像装置８は、図示されるゲートＧとは別の場所に設けられたゲートに配置された撮像装置であり、その構成や機能は撮像装置３と同様である。従って、撮像装置８も、撮影した画像を、ネットワーク２を介して、画像認証装置１へと出力する。なお、上述した別の場所に設けられたゲートもネットワーク２を介して画像認証装置１と接続されている。撮像装置の数は、図１の例に限られるものではなく任意の数とすることができる。
【００２０】
第１実施形態では第１実施形態それぞれの装置が別個のものとして構成されているが、上述した複数の装置の機能を一つの装置が有するものとしてもよい。例えば、ゲートＧは、制御装置４とともに画像認証装置１を内蔵してもよい。
【００２１】
＜ハードウェア構成＞
図２に、画像認証装置１のハードウェア構成図を示す。図示されるように、画像認証装置１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３を有する。また、画像認証装置１は、二次記憶装置１４、通信装置１５、映像出力装置１６および接続バス１８をも有する。
【００２２】
ＣＰＵ１１は、ＲＯＭ１２や二次記憶装置１４に格納された制御プログラムをＲＡＭ１３に展開して実行することにより、本装置全体の制御を行う。ＲＯＭ１２は、不揮発性メモリであり、制御プログラムや各種パラメタデータを記憶する。上述のように制御プログラムはＣＰＵ１１で実行され、後述する各処理を実現する。ＲＡＭ１３は、揮発性メモリであり、画像や制御プログラムおよびその実行結果を一時的に記憶する。二次記憶装置１４は、ハードディスクやフラッシュメモリーなどの書き換え可能な二次記憶装置であり、撮像装置３、８から通信装置１５を介して受信した画像を記憶する。また、制御プログラム、各種設定内容、処理結果等を記憶する。これら情報はＲＡＭ１３に出力され、ＣＰＵ１１がプログラムの実行に利用する。
【００２３】
通信装置１５は、有線通信ユニットであり、ネットワーク２を介して各種装置と通信を行う。なお、通信装置１５を無線通信ユニットとしてもよい。映像出力装置１６は、ＲＡＭ１３から取得した画像や制御プログラムの実行結果等の映像を生成し、通信装置１５を介して表示装置６に出力する接続バス１８は、画像認証装置１を構成する各装置を接続して相互にデータ通信を行う。
第１実施形態では、後述する処理を実現するコンピュータプログラムを画像認証装置１のＣＰＵ１１が実行することで、ソフトウェアで実現する。しかし、画像認証装置１の処理の一部または全部をハードウェアで実現するようにしてもよい。ハードウェアとして専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ等）などを用いることができる。
また、後述する処理を記述したソフトウェアをネットワークまたはコンピュータ読取可能な記憶媒体を介して取得し、パーソナルコンピュータ等の処理装置（ＣＰＵ、プロセッサ）が実行してもよい。
【００２４】
＜機能構成＞
図３は、画像認証装置１のＣＰＵ１１によって実行される制御プログラムにより形成される認証部１００の機能構成の説明図である。認証部１００は、認証画像取得部１０１、局所領域設定部１０２、特徴抽出部１０３、画像グループ設定部１０４、辞書登録部１０５、類似度算出パラメタ計算部１０６、類似度算出パラメタ記憶部１０７、類似度算出部１０８を有する。認証部１００は、さらに、認証結果判定部１０９、表示画像生成部１１０および登録状況取得部１１１を有する。
【００２５】
認証画像取得部１０１は、撮像装置３または撮像装置８が撮像した画像を取得して、取得した画像をもとに認証画像を取得し、局所領域設定部１０２へ出力する。認証画像とは、認証対象のオブジェクトが写った画像であり、第１実施形態では人物の顔が写った画像である。局所領域設定部１０２は、認証画像取得部１０１から取得した認証画像から、人物の顔の目や鼻などの特徴点およびその座標情報を抽出し、抽出した特徴点をもとに局所領域を設定する。そして、局所領域を認証画像とともに特徴抽出部１０３へ出力する。
【００２６】
特徴抽出部１０３は、局所領域設定部１０２から取得した認証画像と局所領域とに基づいて特徴量を抽出し、抽出した特徴量を画像グループ設定部１０４へ出力する。なお、第１実施形態では、特徴量は局所領域ごとに抽出する。画像グループ設定部１０４は、特徴抽出部１０３から取得した特徴量をもとに、画像をグループ分けし、どの画像がどのグループに属するかを判定および設定する。設定したグループは特徴量と関連付けて二次記憶装置１４に記憶され、かつ、類似度算出部１０８、辞書登録部１０５、または、類似度算出パラメタ計算部１０６に出力される。
【００２７】
辞書登録部１０５は、認証画像と画像グループ設定部１０４から取得した特徴量とを含む登録辞書を二次記憶装置１４に記憶する。登録辞書とは、認証画像、特徴量、特徴量に対応する人物ＩＤ（一般的には、人物名等）および表示用のサムネイル画像を関連付けたデータである。人物ＩＤの取得方法については後述する。登録辞書には複数の人物のデータが含まれてもよいし、一人の人物について複数のデータを含んでもよい。また、登録辞書は、要求に応じて、類似度算出パラメタ計算部１０６、または、類似度算出部１０８、または、登録状況取得部１１１に出力される。また、登録辞書のサムネイル画像も、要求に応じて表示画像生成部１１０に出力される。登録状況とは、登録されている人物の数や、ある人物についてのデータ数等の情報である。なお、後述するように、他の形態として、登録されている複数のデータを特定のグループに分け、グループごとに登録状況を算出してもよい。
【００２８】
類似度算出パラメタ計算部１０６は、画像グループ設定部１０４から取得した特徴量、または、辞書登録部１０５から取得した登録辞書の特徴量に基づいて類似度算出パラメタを計算し、類似度算出パラメタ記憶部１０７に出力する。類似度算出パラメタ記憶部１０７は、類似度算出パラメタ計算部１０６から取得した類似度算出パラメタを二次記憶装置１４に記憶する。記憶した類似度算出パラメタは、要求に応じて、類似度算出部１０８に出力される。
【００２９】
類似度算出部１０８は、画像グループ設定部１０４から取得した、人物の顔の目や鼻などの特徴点から求めた特徴量と辞書登録部１０５から取得した登録辞書との間の類似度を、類似度算出パラメタ記憶部１０７から取得した類似度算出パラメタをもとに算出する。算出した類似度は、認証結果判定部１０９に出力される。認証結果判定部１０９は、類似度算出部１０８から取得した類似度に基づいて、画像認証を行い、その認証結果を表示画像生成部１１０に出力する。上述のように、認証結果は、取得した認証画像内の人物が、登録辞書内のどのＩＤの人物に対応するか、あるいは、該当する人物ＩＤがないのかを表す。認証結果は、表示画像生成部１１０へと出力される。
表示画像生成部１１０は、認証結果判定部１０９から取得した認証結果、辞書登録部１０５から取得した辞書、および登録状況取得部１１１から取得した登録状況を用いて表示画像を生成する。生成された表示画像は、通信装置１５を介して表示装置６に送信されて表示される。
【００３０】
＜全体フロー＞
第１実施形態では、概略的には、類似度算出パラメタ計算処理、認証処理、および辞書登録処理を行う。類似度算出パラメタ計算処理では、設置された撮像装置３および撮像装置８に対応する類似度算出パラメタを計算する。認証処理では、撮像装置３および撮像装置８を使って撮影した画像が事前に登録した人物に該当するか否かを認証し、その結果に応じてゲートＧの開閉を制御する。辞書登録処理では、入退場を許可する人物を登録辞書に追加する処理を行う。
以下の説明では、各処理の開始時には撮像装置３および撮像装置８が設置済みであり、画像認証装置１は直ちに画像を取得して後述する処理を開始できる状態であるものとする。
【００３１】
図４に、第１実施形態における画像認証システム１０の表示装置６に表示されるコンソール画面の一例を示す。図示されるように、コンソール画面では、認証・辞書登録モード、調整モード、設定、および終了画面がメニュー表示され、どの処理を実行するかを選択可能となっている。一般的には、この画像認証装置１を運用する管理者（以下、管理者）が入力装置７を介して、メニューから処理を選択する。図示の例では、「認証・辞書登録モード」、「調整モード」のいずれかを選択することで、後述する処理が実行される。「設定」を選択すると、第１実施形態の監視システムの各種設定を変更することができる。「終了」を選択すると、第１実施形態の画像認証システム１０の動作が終了する。
【００３２】
＜認証処理＞
まず、第１実施形態の画像認証装置１が、撮像装置３を通じて人物の画像データを撮影しつつ画像認証を行うことでゲートＧを制御する認証処理を説明する。この処理は、図４のコンソール画面から「認証・辞書登録モード」を選択することで実行される。なお、撮像装置８でも並行して認証処理が行われるが、その動作は撮像装置３と同様であるので説明は省略する。なお、この認証処理の間、撮像装置３、８は常に撮像を続けている。また、この認証処理は、入力装置７を介して取得する入力に応じて処理が進む。入力としては、認証処理を終了する「終了指示」と、認証を継続実行させる「認証指示」の２つがある。この２つの入力は、後述する認証処理の処理中ならばいつでも受け取ることができる。
【００３３】
図５は、画像認証装置１が実行する認証処理を表すフローチャートである。以下、この図を参照しながら、実際の処理について詳細を説明する。なお、特に記載のない限り、各処理はＣＰＵ１１が認証画像取得部１０１等を通じて実行する。
【００３４】
認証画像取得部１０１は、「終了指示」の入力があるかを判定する（Ｓ１０１１）。「終了指示」の入力がある場合（Ｓ１０１１：Ｙ）、この処理フローを終了する。「終了指示」の入力がない場合（Ｓ１０１１：Ｎ）、撮像装置３から認証画像を取得する（Ｓ１０１３）。上述のように、認証画像は、人物の顔が写る画像である。撮像装置３から撮像画像を取得して人物の顔を検出した後、検出した人物の顔を切り出すことで、認証画像を取得することができる。この際、二次記憶装置１４に撮像画像を記録したうえで、必要に応じて撮像画像を二次記憶装置１４から読み出すようにしてもよい。撮像画像から人物の顔を検出するために、任意の公知の技術を用いることができる。「P. Viola and M. Jones，"Robust real-time face detection", pp.747, Eighth International Conference on Computer Vision (ICCV’01)-Volume 2, 2001」にはこのような技術が開示されている。
【００３５】
認証画像取得部１０１が検出した顔の画像上の座標に基づいて、撮像画像からユーザの顔画像が切り出される。第１実施形態では、画像面に対する顔の面内回転を一定にするために画像正規化を施す。例えば、顔の両目をつなぐ直線が画像に対して水平になるように画像を回転させる等の処理を施してもよい。なお、第１実施形態では画像中の全範囲を処理対象としたが、予め画像中の範囲を指定しておき、その範囲内の顔のみを処理対象とするようにしてもよい。
【００３６】
続いて、局所領域設定部１０２は、すべての認証画像に対して局所領域を設定する（Ｓ１０１４）。第１実施形態では、まず、特徴的な領域、例えば目や鼻といった、顔の器官位置を検出し、検出した器官位置をもとに局所領域を設定する。
図６は、認証画像に設定された局所領域を模式的に示す説明図である。図示されるように、認証画像である顔画像に対して、右目が局所領域２０１、左目が局所領域２０２、口が局所領域２０３として設定されている。
【００３７】
第１実施形態では、検出した器官位置を中心とする矩形領域を局所領域として設定しているが、局所領域の設定方法は他の任意の方法を用いてもよい。あるいは、器官位置を中心とする矩形領域を用いない手法を採用することもできる。例えば、器官位置から所定の画素数離れた位置を基準とした領域や、矩形領域ではなく円形領域を設定してもよい。検出した器官位置を基準としないで、顔画像の所定の領域を事前に定めておいてもよい。さらには、局所領域の数はこれらの例に限られるものではなく、一つの器官位置に対して複数の局所領域を設定してもよい。器官位置を検出する方法については任意の公知の技術を用いることができ、例えば特開２００９−２１１１７７号公報に記載された技術を用いることもできる。
【００３８】
特徴抽出部１０３は、認証画像の各局所領域から特徴量を抽出する（Ｓ１０１５）。特徴量を抽出する方法に関しては公知の技術を用いることができる。例えば、ＬＢＰ(Local Binary Pattern)特徴量を用いることができる。また、ＨＯＧ（Histogram of Oriented Gradient）特徴量やＳＩＦＴ（Scale-Invariant Feature Transform）特徴量を用いてもよい。あるいは、これらを混合した特徴量を用いてもよい。さらには、事前に学習したＣＮＮ（Convolutional Neural Network）で抽出した特徴量を用いてもよい。また、抽出した特徴量を、ＰＣＡ（Principal Component Analysis）等を使って次元圧縮してもよい。
【００３９】
画像グループ設定部１０４は、予め特徴量についてのグループを定義し、取得した特徴量がどのグループに属するか判定および設定する（Ｓ１０１６）。特徴量がどのグループに属するかは、画像の変動要因をもとに判定する。ここでは、認証画像の撮影された時間帯、すなわち、朝、昼、夜の一定の範囲の時間帯ごとにグループ分けする。屋外や屋内の出入り口などでは、時間帯によって画像の照明条件が変化するので、予め定められた条件、例えば上述のような時間帯、を用いてグループを定義しておくことで、照明条件ごとにグループを設定することができる。このように、変動要因ごとにグループを設定することができる。その他の変動要因ごとにグループを定義しておいてもよく、また、予めグループを定義せずに、既存のクラスタリング手法等を用いて、取得した画像に応じて動的にグループを設定することもできる。
【００４０】
辞書登録部１０５は、設定したグループの情報をもとに、登録辞書の中からＳ１０１５で抽出した特徴量に対応する登録辞書を選択する（Ｓ１０１７）。登録辞書は複数のグループに分けられており、Ｓ１０１５の特徴量が属するグループと同じグループの登録辞書を選択する。同じグループの登録辞書がなかった場合は、他のグループの登録辞書で代用する。この登録辞書のグループについては後で詳しく説明する。続いて、画像認証処理を行う（Ｓ１０１８）。この画像認証処理については後述する。
【００４１】
Ｓ１０１８の画像認証処理を行った後に、制御装置４は、認証結果判定部１０９から取得した認証結果をもとにしてゲートの開閉を制御する（Ｓ１０１９）。特徴量に対応する人物が、登録辞書に登録されている人物のいずれかに該当する場合にはゲートＧを開き、そうでなければ、ゲートＧを閉じたままにする。その後、ＣＰＵ１１は、Ｓ１０１１を再度実行し、「終了指示」が入力されてＳ１０１１の判定結果がＹとなるまで上述した処理を繰り返す。このようにして認証処理が実行される。次に、Ｓ１０７８における画像認証処理の詳細を示す。図７に、第１実施形態における画像認証処理のフローチャートを示す。
【００４２】
類似度算出部１０８は、辞書登録部１０５から、上述のように選択された登録辞書を取得する（Ｓ１０２１）。登録辞書は、前述の通り、認証する人物のデータを事前に登録しておいたものである。ここでは、登録は、事前に完了しているものとする。登録処理については後述する。続いて、類似度算出部１０８は、類似度算出パラメタ記憶部１０７から類似度算出パラメタを取得する（Ｓ１０２２）。この類似度算出パラメタは、事前に計算しておき、類似度算出パラメタ記憶部１０７に記憶してあるものとする。このとき、画像グループ設定部１０４は、Ｓ１０１６で設定したグループに対応する類似度算出パラメタを選択する。対応する類似度算出パラメタがない場合は、他の類似度算出パラメタを選択する。類似度算出パラメタの計算方法については後述する。
【００４３】
類似度算出部１０８は、認証対象となる特徴量を画像グループ設定部１０４から取得する（Ｓ１０２３）。前述の通り、このとき取得する特徴量は、複数の認証画像から取得された少なくとも一つ以上の特徴量である。一つの特徴量は、一人の人物の顔に対応している。また、第１実施形態では、一つの顔に対して複数の局所領域ごとに特徴量を抽出しているので、一つの特徴量は複数の局所領域毎の特徴量を含む。
類似度算出部１０８は、認証対象のすべての特徴量と登録辞書の組み合わせについて、局所類似度を算出する（Ｓ１０２４）。局所類似度とは、局所領域ごとに算出された類似度のことである。前述の通り、認証対象の特徴量および登録辞書は局所領域ごとに抽出された特徴量であるので、局所領域ごとに類似度を算出する。以下、ある一つの局所領域についての局所類似度の算出方法を説明する。
【００４４】
類似度算出方法としては、公知の技術を用いることができる。例えば、以下に示すコサイン類似度を用いることができる。
Ｓ＝cosθ＝ｘ’・ｙ’／｜ｘ’｜｜ｙ’｜  （式１）
ここで、式における「・」はベクトルの内積を意味し、Ｓは特徴量ベクトルｘ’、ｙ’間の類似度を表す。さらに、特徴量ベクトルｘ’、ｙ’を以下のように表す。
ｘ’＝ｘｃ−μｃ    （式２）
ｙ’＝ｙ−μｃ    （式３）
ｘｃはカメラｃで撮像された認証画像から抽出した特徴量ベクトルを表す。ｙは、登録辞書に登録された特徴量ベクトルを表す。μｃは角度算出のための原点を定めるベクトルである。すなわち、式１は、特徴量ベクトルｘｃ、ｙ間のコサイン類似度を、μｃから定められる原点を用いて得られる特徴量ベクトル間の角度から測るものである。このμｃが第１実施形態における類似度算出パラメタである。μｃは、特徴量ベクトルｘｃを平均化するなどの手法により計算することができる。その計算方法の詳細については後述する。ある一つの局所領域についての類似度の算出方法は以上の通りであり、他の局所領域についても同様に類似度を算出する。
【００４５】
類似度算出部１０８は、認証対象のすべての特徴量と登録辞書の組み合わせについて、算出した局所類似度をもとに統合類似度を算出する（Ｓ１０２５）。統合類似度とは、局所領域ごとに計算された複数の局所類似度を統合した類似度である。統合の方法については公知の技術を用いることができる。例えば、局所類似度の平均を用いる手法や、局所類似度の最大値を選択する手法を用いることができる。このほか、局所領域毎の重みを事前に計算しておき、局所類似度をその重みつき平均で統合するようにしてもよい。なお、第１実施形態においては、局所類似度算出（Ｓ１０２４）と統合類似度算出（Ｓ１０２５）の２つの処理を合わせて類似度算出と呼ぶ。
【００４６】
認証結果判定部１０９は、認証対象のすべての特徴量に対して、その特徴量に対応する人物は、登録辞書に登録された人物のうち誰に該当するのか、または誰にも該当しないのかを、統合類似度をもとに判定をする（Ｓ１０２６）。具体的には、登録辞書に登録された人物の統合類似度のうち最も高い統合類似度が事前に定めた閾値よりも大きいか否かを判定する。統合類似度この閾値よりも大きい場合、特徴量に対応する人物は、その統合類似度に対応する登録辞書の人物に該当すると判定する。逆に、登録辞書のうち最も高い類似度が事前に定めた閾値以下の場合は、特徴量に対応する人物は、登録辞書に登録された人物の誰にも該当しないと判定する。Ｓ１０２６の判定を終えた後に、し、図７の画像認証処理を終了する。
【００４７】
以上のように、認証画像と同じグループに属する登録辞書および類似度算出パラメタを用いることで、認証精度が向上する。なお、図５の認証処理フローにおけるＳ１０１３で取得したすべての認証画像に対して画像認証処理を実行したが、一部の認証画像を選択して画像認証処理を実行するようにしてもよい。例えば、所定の間隔で認証画像を間引いておいてもよいし、認証画像から抽出した特徴量をクラスタリングして、一つのクラスタから代表の特徴量を選んで画像認証処理をするようにしてもよい。
【００４８】
＜類似度算出パラメタ計算処理＞
次に、設置した撮像装置３、８のそれぞれに対応する類似度算出パラメタを第１実施形態の画像認証装置１が計算する処理について説明する。この処理は、図４のコンソール画面から「調整モード」を選択することで実行される。第１実施形態ででは、撮像装置３、８に写る人物を自動で、つまりユーザの指示を必要とせずに二次記憶装置１４に記録して特徴量を抽出する。特徴量の収集状況が所定の条件を満たしたとき、例えば、特徴量の数が所定数集まったときに、類似度算出パラメタを計算する。
【００４９】
この処理は、好ましくは前述した認証処理を実行する前に実行する。しかし、それが難しい場合は、認証処理と同時に実行するようにしてもよい。この場合、はじめは、予め用意しておいた類似度算出パラメタで認証処理を行う。その後、新たな類似度算出パラメタの計算が完了した時点で、計算された新たな類似度算出パラメタを用いる。
【００５０】
図８は、類似度算出パラメタ計算処理を表すフローチャートである。以下、この図を参照しながら、実際の処理について詳細を説明する。撮像装置３、８は、このフローの開始時から終了時まで所定のフレームレートで画像を撮像し続け、撮像した画像を二次記憶装置１４へ記憶し続ける。
【００５１】
認証画像取得部１０１は、類似度算出パラメタの計算が完了していない撮像装置を一つ選択する（Ｓ１０６１）。  続いて、認証画像取得部１０１は、二次記憶装置１４に記憶された画像の中から、Ｓ１０６１で選択したカメラで撮像された撮像画像を選択し、その撮像画像から認証画像を取得する（Ｓ１０６２）。撮像画像から認証画像を取得する方法については、前述の認証処理で説明した方法と同様であるので説明を省略する。なお、第１実施形態では二次記憶装置１４に記憶した撮像画像を取得するようにしたが、撮像装置３、８から直接、撮像画像を取得するようにしてもよい。局所領域設定（Ｓ１０６３）と特徴量抽出（Ｓ１０６４）については、前述の方法と同様であるため、説明を省略する。
【００５２】
画像グループ設定部１０４は、抽出した特徴量に対してグループを設定し、特徴量と設定したグループとを関連付けて二次記憶装置１４に記憶する（Ｓ１０６５）。画像グループ設定部１０４は、グループごとに抽出された特徴量の収集状況に応じて処理を切り替える。すなわち、特徴量を所定数取得したか否かを判定し（Ｓ１０６６）、収集数が事前に定めた所定数より少なければ（Ｓ１０６６：Ｎ）、Ｓ１０６２を再度実行する。類似度算出パラメタを計算するのに十分な数の特徴量が収集された場合には（Ｓ１０６６：Ｙ）、Ｓ１０６７に進む。このようにして、画像グループ設定部１０４は、所定数に到達するまで特徴量の収集（抽出と記憶）を繰り返す。このように、第１実施形態では、特徴量が所定数に到達した後に特徴量の収集を終了するものとした。しかし、その他の手法を用いてもよい。例えば、事前に決めた数の所定の割合にまで特徴量が収集された場合に収集を終了するものとしてもよい。あるいは、特徴量に対応する人物と登録辞書に登録された人物との認証を行ってその結果所定のエラー率になったら収集を終了するものとしてもよい。
【００５３】
その後、類似度算出パラメタ計算部１０６は、収集した特徴量を使って類似度算出パラメタをグループごとに計算する（Ｓ１０６７）。Ｓ１０６７における類似度算出パラメタの計算手法は後述する。類似度算出パラメタ記憶部１０７は、計算した類似度算出パラメタを記憶する（Ｓ１０６８）。その後、すべてのカメラに対応する類似度算出パラメタ計算処理が完了しているかを判定し（Ｓ１０６９）、完了していれば（Ｓ１０６９：Ｙ）、この類似度算出パラメタ計算処理を完了する。完了していないカメラがある場合（Ｓ１０６９：Ｎ）、再度Ｓ１０６１を実行する。
【００５４】
Ｓ１０６７での類似度算出パラメタの計算処理を説明する。前述の通り、第１実施形態における類似度算出パラメタは、コサイン類似度の原点である。以下、ある一つの局所領域対応する、あるグループの類似度算出パラメタの計算方法について説明する。カメラｃに対応する原点μｃは下記式の通り、設置したカメラごとに集めた特徴量ベクトルｘｃｉを平均化することで計算する。
μｃ＝（１／Ｎ）ΣＮｉｘｃｉ    （式４）
ここで、ｘｃｉはカメラｃが撮影した認証画像から収集した特徴量ベクトルのｉ番目であることを示している。Ｎは収集した特徴量ベクトルのサンプル数である。この原点となるμｃ、すなわち類似度算出パラメタを用いて、監視・認証処理で類似度を算出する。
【００５５】
図９に、あるカメラで撮影された、ある局所領域の特徴量ベクトル空間の説明図を示す。この図により、原点を計算したことによる効果が模式的に示される。図中には、事前に定めた原点２１１と、設置したカメラで集めた認証画像をもとに計算した原点２１５とが示されている。白丸の点は特徴量ベクトルを表し、特徴量ベクトルの集合すなわちクラスタが点線で表されている。図中において、点線のクラスタとして、設置したカメラで集めた認証画像の特徴量ベクトルクラスタ２１２、人物Ａの特徴量ベクトルクラスタ２１３、および人物Ｂの特徴量ベクトルクラスタ２１４が示されている。
【００５６】
図９に示されるように、各特徴量ベクトルを表す白丸はいずれもグラフの第１象限内に分散している。一方、コサイン類似度のように、特徴量ベクトル間の角度をベースにした類似度を算出する場合、認証対象となる特徴量ベクトルが作るクラスタの内側に原点があるほうが、特徴量ベクトルを区別する分解能が高い。
【００５７】
事前に定めた原点２１１は、認証対象の特徴量ベクトルが作るクラスタの外側にあるので、必ずしもクラスタの内側にあるとは限らない。例えば、人物Ａの特徴量ベクトル（２１３内の特徴量ベクトルのいずれか）と人物Ｂの特徴量ベクトルは、事前に定めた原点２１１を基準に角度を測ると、その角度はほとんど０に近い。そのため、図９のように特徴量ベクトルが作るクラスタ外に原点２１１がある状態でコサイン類似度を算出すると、本来は別人であるはずが、誤って本人と判定されるような高い類似度が算出されてしまう。
【００５８】
従って、原点２１１は、特徴量ベクトルが作るクラスタ内にあることが好ましいものの、原点２１１は、一般的には、事前に用意した大量の認証画像をもとに計算しておくことから、必ずしもクラスタ内にあるとは限らない。設置したカメラで集めた認証画像の特徴量ベクトル分布は、事前に用意した認証画像の特徴量ベクトル分布とは異なっている場合がある。特に、設置したカメラは、画角や場所が制限されるので、事前に用意した認証画像に比較して、特定の照明条件や顔向きの画像が多くなる。そのような場合には、原点２１１が図９に示されるように特徴量ベクトルが作るクラスタ外に位置することになり、上述のように誤った高い類似度が算出されて誤認証がなされるおそれがある。
【００５９】
そこで、事前に計算された原点２１１に代えて、設置したカメラで集めた認証画像をもとに計算した原点２１５を使うことで、設置したカメラで集めた認証画像の特徴量ベクトルクラスタ２１２の内側に原点を入れるようにした。これにより、カメラの設置場所ごとに認証に適した原点を使ってコサイン類似度を算出することができ、誤認証を少なくすることが期待される。
【００６０】
しかしながら、設置したカメラで集めた認証画像をもとに計算した原点は、必ずしも特徴量空間内で認証に適した位置に来るとは限らない。図１０は、特徴量ベクトル空間の説明図であり、事前に定めた原点２２１、設置したカメラで集めた認証画像の特徴量ベクトルクラスタ２２２、人物Ｃの特徴量ベクトルクラスタ２２３、設置したカメラで集めた認証画像をもとに計算した原点２２４が示されている。この場合、事前に定めた原点２２１がコサイン類似度の算出に適さないのは図１２と同様であるが、設置したカメラで集めた認証画像をもとに計算した原点２２４は、人物Ｃの特徴量ベクトルクラスタ２２３の内部に入っている。
【００６１】
この場合、コサイン類似度を算出すると、特徴量ベクトルクラスタ２２３の人物Ｃと他の人物を誤って本人と判定してしまう誤認証が発生する場合がある。このように、計算した原点が誰かの特徴量ベクトルクラスタの内側に入ってしまう場合、認証に適した原点とは言えない。
【００６２】
そこで、一つの認証画像に対して一つの特徴量ではなく、複数の局所領域を設定することで複数の特徴量を抽出し、最終的に複数の特徴量毎の類似度を統合している。これにより、計算した類似度算出パラメタが認証に適していない局所領域があった場合の誤認証を軽減している。このようにすることで、ある局所領域で認証に適していない類似度算出パラメタによって別人を本人と判定してしまうような高い類似度が得られたとしても、他の局所領域では、認証に適した類似度算出パラメタを計算できる。そして、これらの局所領域の類似度算出パラメタを最終的に統合するので、誤認証の軽減が期待できる。
【００６３】
複数の局所領域を設定することで複数の特徴量を抽出したが、これ以外の方法で複数の特徴量を抽出してもよい。例えば、異なる種類の特徴量を抽出することで複数の特徴量を抽出してもよい。第１実施形態では、原点としては、特徴量ベクトルの平均を用いている。しかし、別の方法を用いて原点を計算してもよい。例えば、特徴量ベクトルの単純な平均ではなく、重みつき平均を用いてもよい。このとき、認証対象の特徴量ベクトルが作るクラスタの内側に原点がくるように重みの値を正規化するとよい。
以上のようにして、一つの局所領域および一つのグループに対応する類似度算出パラメタが計算される。この計算手法を他のすべての局所領域およびグループについて計算する。
【００６４】
図１１は、この類似度算出パラメタ計算処理の実行中にユーザに表示される表示画面の説明図である。この処理におけるユーザは、これに限られるわけではないが、一般的には、本画像認証システム１０を運用する管理者である。この表示画面により、類似度算出パラメタを調整するための特徴量の収集状況が示される。この例では、撮像装置３についてはサンプル収集数がいずれも「ＯＫ」となっており、類似度算出パラメタを計算するのに十分な数の特徴量がすべてのグループについて集まっていることが示される。一方、撮像装置８については、朝のグループにおいて、まだサンプル収集数が不十分であることが示されている。このように、所定数の画像が収集されたことをユーザに提示することで、あとどの程度の画像数を集めればよいか視覚的にわかるようになり、利便性が高まる。
【００６５】
第１実施形態では、類似度算出パラメタを計算しないと類似度算出パラメタ計算処理を完了できないものとして説明を行った。しかし、類似度算出パラメタの計算を完了する前に、類似度算出パラメタ計算処理を中断してもよい。その場合は、認証処理の際に使用する類似度算出パラメタは他の方法で用意しておく。例えば、事前に用意しておいたデフォルトの類似度算出パラメタを使うようにしてもよい。または、所定数に届かない状態で類似度算出パラメタを計算してもよい。または、計算に足りない特徴量を認証処理のバックグラウンドで収集するようにして、所定数に達した時点で類似度算出パラメタを計算するようにしてもよい。その場合は、類似度算出パラメタの計算が終わるまでは、事前に用意したデフォルトの類似度算出パラメタを使用し、計算が終わったら、計算した類似度算出パラメタに差し替える。
【００６６】
＜辞書登録処理＞
続いて、認証する人物を登録する辞書登録処理について説明する。第１実施形態では、辞書に登録する画像である認証画像を撮像装置３、すなわち、前述の認証処理で使ったものと同じカメラで辞書に登録する画像を取得する場合について説明する。このようにすることで、認証する場所と同じ撮影条件（照明条件、顔向き等）で撮った画像を辞書に登録することができ、認証精度の向上が期待できる。なお、辞書登録用のカメラを別の場所に設置するようにしてもよい。ただし、その場合は、監視・認証場所とは異なる撮影条件になるので、十分な認証精度になるか注意する必要がある。撮像装置８を使う場合も同様であるため説明は省略する。
【００６７】
ゲートに出入りする認証対象者が自ら辞書登録を行う場合について説明する。本処理におけるユーザとは、この認証対象者である。
図１２に、「認証・辞書登録モード」の際に表示画像生成部１１０が表示するコンソール画面を示す。ユーザは、このメニューから「顔画像登録」を選択して辞書登録処理を行う。
【００６８】
図１３は、辞書登録処理時に表示画像生成部１１０が表示装置６に出力する映像の一例を示した模式図である。図中の左側の領域３０１には、撮像装置３から取得した画像がライブビューとして表示される。このようにライブビューを表示することで、顔がどのように写るか確認しながら辞書登録を行うことができ、ユーザにとっての利便性が向上する。これを実現するために、撮像装置３は、表示装置６の画面と同じ向きとなるように配置されている。領域３０１に表示される画像にはユーザの顔が含まれ、図中の右側の領域３０２には、登録状況、登録画像例および人物ＩＤが示されている。図１３の例では、人物ＩＤごとに朝、昼、夜に分けて表示される「登録済み」、「未登録」、「その他」などが登録状況となる。この登録状況を視認することで、ユーザは、人物ＩＤごとに、かつ、朝、昼、夜ごとに、撮像装置３がユーザを撮像することで得られた画像から、ユーザの顔を含んだ認証画像が切り出されて登録されたか否かを確認することができる。図中の左下には登録ボタン３０５および終了ボタン３０６が表示されている。ユーザは、登録ボタンを選択することで辞書登録を行うための登録要求を画像認証装置１に入力し、これにより辞書登録処理が開始される。また、ユーザは、終了ボタン３０６を選択することで、辞書登録処理を終了する。
【００６９】
ユーザは、登録状況を知ることで、例えば朝、昼、夜等の、撮像装置３による撮像時の複数の状況のそれぞれについて、辞書登録がなされているか否かを知ることができる。従って、ユーザに対して辞書登録がされていない状況が表示され、ユーザはその状況を選択して辞書登録を行うことができる。これにより、ユーザは、どの状況で辞書登録を行ったかを覚える必要がなくなるので利便性が向上する。また、辞書登録が必要である状況を表示して、ユーザに対してその状況での画像登録を促すことで、辞書登録が必要な状況に対して辞書登録が選択的に行われる。従って、認証画像の登録が必要な状況に対して効率的に辞書登録が行われるので、認証精度が向上する。
【００７０】
図１４は、辞書登録処理を表すフローチャートである。以下、この図を参照して辞書登録フローの詳細を説明する。なお、前述の通り、図１４の開始時点で、図１３の領域３０１にライブビューが表示された状態となっている。また、図１４の処理は、特に記載されている場合を除き、ＣＰＵ１１が実行する。ＣＰＵ１１は、図１３の左下に示される終了ボタン３０６を選択することによるユーザからの終了指示が入力されているかを判定する（Ｓ１０３１）。終了指示があれば（Ｓ１０３１：Ｙ）、この辞書登録処理を終了する。終了指示がない場合（Ｓ１０３１：Ｎ）、人物ＩＤの入力がされたか否かを判定する（Ｓ１０３２）。ユーザから人物ＩＤの入力がない場合（Ｓ１０３２：Ｎ）、再度Ｓ１０３１を実行する。人物ＩＤの入力がある場合（Ｓ１０３２：Ｙ）、後述するＳ１０３３を実行する。
【００７１】
なお、他人に登録辞書を勝手に変更されてしまうことを避けるために、人物ＩＤの入力受け付け時に本人認証を行うことが好ましい。例えば、非接触型カードに人物ＩＤを示す暗号化されたデータを記憶しておき、そのカードをカードリーダにタッチさせることで人物ＩＤを入力することで認証を行うことができる。自分のカードを盗まれない限りは、本人であるか否かを正しく認証することができる。
【００７２】
人物ＩＤが入力された後、ＣＰＵ１１は、表示画像生成部１１０を通じて人物ＩＤに対応する登録状況を表示する（Ｓ１０３３）。この際、ＣＰＵ１１は、登録状況取得部１１１を通じて登録状況を取得する。登録状況とは、人物毎の登録された画像あるいは特徴量の有無を表す情報である。上述したように、図１３領域３０２には、表示される登録状況の一例が示される。図示されるように、グループの情報および、人物ＩＤ「０００１」の人物について、朝、昼、夜の登録画像が登録されているか、未登録なのかが表示されている。この例では、グループの情報として、朝、昼、夜という定義が表示されていて、朝は登録済みで、昼と夜は未登録となっている。
【００７３】
また、図１３の例では、画像が未登録である昼と夜については、右側に登録画像例として、別の人物の登録画像例がそれぞれ表示されている。このように、登録画像例を表示することで、ユーザは、どのような画像を登録するとよいのかを知ることができ、利便性が向上する。
【００７４】
続いて、ＣＰＵ１１は、認証画像取得部１０１を通じて登録用の画像データを取得する（Ｓ１０３４）。この前の段階で、図１３の領域３０１には、写っている顔に対して顔枠３０３が付与されており、登録ボタン３０５をユーザが選択することで、登録用の画像が取得される。顔枠３０３は、前述の顔検出等の技術を用いて表示するようにすればよい。また、登録ボタン３０５を選択する前に、もし「登録」を選択した場合に、ユーザの顔が朝、昼および夜のうちどのグループに追加されるのかを矢印３０４で強調表示する。
【００７５】
前述の通り、登録辞書は複数のグループに分けられており、第１実施形態では、朝、昼および夜の３グループに分けられている。このように撮影条件が異なるグループに分けることで、認証する際と近い撮影条件同士の類似度算出が行えるようになり、精度向上が期待できる。登録する際に、登録状況とともに、どのグループに追加されるのかを強調表示することで、ユーザは、今登録しようとしている画像がどのグループに属するのかを知ることができる。また、登録しようとしている画像は、未登録となっている画像であるのか否かを視覚的に知ることができ、利便性が向上する。
【００７６】
登録用の画像については、必ずしも撮像装置３、８で撮影されたものである必要はなく、事前に撮影しておいた画像を利用してもよい。続く、局所領域設定（Ｓ１０３５）および特徴抽出（Ｓ１０３６）の処理は、前述した図５のＳ１０１４およびＳ１０１５に記載した処理と同様であるため、説明を省略する。
続いて、ＣＰＵ１１は、辞書登録部１０５を通じて特徴量を登録する（Ｓ１０３７）。このとき、ＣＰＵ１１は、画像グループ設定部１０４を通じてグループの判定および設定を行って、前述の入力された人物ＩＤとともに特徴量に関連付けて辞書に登録する。
登録が完了した後に、処理は再度Ｓ１０３１に戻る。
【００７７】
Ｓ１０３７で辞書登録された特徴量は、図５のＳ１０１８および図７のＳ１０２１〜Ｓ１０２６で説明した画像認証処理で用いられる。第１実施形態では、画像の変動要因として、朝、昼、夜という時間帯を用い、これらの時間帯によりグループ分けを行って登録状況を取得および表示した。しかし、他の変動要因によってグループ分けを行ってもよい。例えば、朝、昼、夜という時間帯とは異なる時間帯や時刻を予め設定してグループ分けしてもよい。また、屋外、あるいは、ガラス張りの屋内等の屋外に近い環境では、撮像時の光量は天気の影響を受けるので、天気によってグループ分けをしてもよい。天気の影響を受けない屋内環境では、照明の光量制御に合わせてグループ分けを行ってもよい。これらの例では、撮影時の光量によりグループを分けることができる。
【００７８】
第１実施形態では、設置したカメラで撮影した撮像画像から認証画像を取得して類似度算出パラメタを計算している。これにより、撮影条件が異なる場合でも正常に人物認証を実現することができる。カメラを設置することにより、撮影される人物の向きや、照明条件等の撮影条件がある程度固定される。特に、固定カメラを用いることで、カメラの撮像時の位置や高さ、撮影角度を固定し、また、人物の撮影時の位置を固定することが好ましい。カメラの設置場所の撮影条件に特化させた類似度算出パラメタを用いることで、カメラの設置場所の条件が判定されていない事前に用意した類似度算出パラメタを用いるよりも、より精度よく人物を認証することができる。
また、辞書登録処理では、現在の登録状況を、表示装置６等を通じてユーザに対して表示することで、ユーザはどのような画像を登録すればよいかわかるようになり、利便性が向上する。
【００７９】
第１実施形態では認証対象者が自らコンソールを操作して登録辞書に追加登録する例を説明したが、登録の操作は管理者のみとしてもよい。この場合、登録する人物はカメラの前に位置し、管理者がコンソールを操作して登録処理を行う。このようにすることで、登録辞書への人物の登録は管理者のみが行うことになり、利便性は低下するものの、登録辞書の改竄等のリスクが低下してセキュリティが高まる。
【００８０】
また、ユーザ自身が登録を行う場合には、認証に失敗してゲートが開かなかった場合に登録画像の追加登録を促すようにしてもよい。例えば、音声で追加登録を促す、表示装置６あるいは別個に設置したディスプレイに追加登録を促す画面を表示することができる。
第１実施形態では、辞書登録処理の際に、登録状況を表示するようにしたが、管理者が登録状況を確認することが要求される場合もある。そのような場合のために、管理者が現在の登録状況を確認できるようにしてもよい。
【００８１】
図１５は、図１２の「登録状況確認（管理者用）」を選択した際に表示される登録状況の確認用画面の一例である。図示されるように、確認用画面にはグループの情報（朝、昼、夜のグループ）が人物ＩＤとともに表示される。図示の例では、人物ＩＤ「０００１」については、朝および昼のグループについて画像が登録されており、夜のグループについては画像が未登録であることが示される。
【００８２】
人物ＩＤ「０００２」については、朝および昼については同一の画像が登録されており、夜については別個の画像が登録されていることがわかる。
人物ＩＤ「０００３」については、朝のグループについて画像が登録されており、昼および夜のグループについては画像が未登録であることが示される。
この例において、朝、昼、夜のグループの各列には、登録画像数が表示されている。一例として、表示部７０１で人物ＩＤ「朝（２５／３０)」の表記は、人物ＩＤが３０種類登録されており、このうち２５人については朝用の登録がされていることを示す。この表示画面を管理者が確認することで、どのグループ（この例では、朝、昼、夜）について、登録された画像数が少ないかがわかる。一般的には、登録されていない時間帯は、登録されている時間帯に比べ認証精度が低いことが予想される。
【００８３】
従って、登録されている画像数が少ない時間帯については、画像認証システムの運用を変える等の対策（未認証が発生しやすいので警備員を配置する等）を施すことができ、利便性を向上させることが可能である。
さらに、事前にユーザを撮像した画像を管理者が登録辞書に追加できるようにしてもよい。その場合、事前に撮像した画像を入力するためのインターフェースを用意して、人物ＩＤとともに画像を入力すると、その画像がどのグループに分類されるのかを表示するようにもできる。
【００８４】
第１実施形態では、グループの情報として、グループ名（朝、昼、夜）を表示しているが、この他の情報を表示してもよい。例えば、朝、昼、夜などのグループの定義を、午前６時から午前１１時までを朝とするなどのように細かく表示するようにしてもよい。一方、グループを予め定義せずに、画像から動的に定義するようにした場合は、グループ１、グループ２、といった便宜的な名前をつけて表示すればよい。
【００８５】
第１実施形態では、類似度としてコサイン類似度を用い、コサイン類似度算出の際の原点を類似度算出パラメタとして計算したが、別の類似度を用いてもよい。例えば、以下の式に示すように類似度Ｓとしてマハラノビス距離の逆数を用い、マハラノビス行列Ｍを類似度算出パラメタとして計算してもよい。
Ｓ＝１／ＤＭ    （式５）
ＤＭ＝√{(ｘｃ−ｙ)ＴＭｃ−１(ｘｃ−ｙ)}    （式６）
【００８６】
ここで、ｘｃ、ｙは、それぞれカメラｃで撮影された人物の特徴量ベクトルと登録辞書の特徴量ベクトルとを表す。図１６は、マハラノビス行列を類似度算出パラメタとして用いた特徴量ベクトル空間の説明図であり、マハラノビス行列を用いた効果が示される。この図は、図９、図１０と同様に特徴量ベクトルの分布を示している。図中には、事前に計算した平均ベクトル２３１、事前に計算したマハラノビス行列をもとにした距離空間２３２、設置したカメラで収集した認証画像をもとに新たに計算した平均ベクトル２３３が示される。また、図中には、新たに計算したマハラノビス行列をもとにした距離空間２３４、人物Ｄの特徴量ベクトルクラスタ２３５、および人物Ｅの特徴量ベクトルクラスタ２３６も示される。
【００８７】
距離空間２３２は、距離空間２３２の楕円上では、事前に計算した平均ベクトル２３１からのマハラノビス距離が等しいことを意味している。すなわち、距離空間２３２のマハラノビス距離は、この図の左下から右上の斜め方向の距離が、通常のユークリッド距離に比べ、短い距離尺度になっている。距離空間２３４も同様で、この図の左上から右下に向かう距離が、通常のユークリッド距離に比べ、短い距離尺度になっている。このように、事前に計算した距離尺度と設置したカメラで集めた認証画像から計算した距離尺度とは異なる。
【００８８】
図１６では、事前に計算したマハラノビス行列をもとにした距離空間２３２は、図の左下から右上の距離が短い距離尺度となっている。従って、人物Ｄの特徴量ベクトル（人物Ｄの特徴量ベクトルクラスタ２３５内のいずれか一点）と人物Ｅの特徴量ベクトルとのマハラノビス距離は近いので、両者は同一人物と判定される可能性がある。しかし、新たに計算したマハラノビス行列をもとにした距離空間２３４では、逆に人物Ｄの特徴量ベクトルと人物Ｅの特徴量ベクトル間の距離は長いので、別人と判定される可能性が高くなる。このように、マハラノビス距離のような、事前の学習で類似度算出パラメタを設定しておくような手法についても、第１実施形態の手法を適用することができる。
【００８９】
また、第１実施形態では、人物の顔を認証対象として、認証画像は顔が写る画像であるものとした。しかし、認証対象は顔に限られるものではなく、人体やその他のオブジェクトが写る画像でもよい。以上のように、第１実施形態では、システム管理者が認証対象を辞書に登録する、局所領域を使う認証方式を用いて認証している。
【００９０】
（第２実施形態）
第１実施形態では、撮像画像から収集した特徴量を使って類似度算出パラメタを計算する例について説明した。一方、第２実施形態では、辞書登録処理時に類似度算出パラメタを計算する例について説明する。以下の説明では、第１実施形態と同様の処理については説明を省略する。
【００９１】
まず、辞書登録処理時に類似度算出パラメタを計算する際の類似度として、第１実施形態と同様にコサイン類似度を使う例を説明する。なお、監視・認証処理および類似度算出パラメタ計算処理は、第１実施形態と同様であるので説明を省略して辞書登録処理について説明する。図１７に、第２実施形態における辞書登録処理のフローチャートを示す。
【００９２】
ＣＰＵ１１は、ユーザからの終了指示が入力されているかを判定する（Ｓ１０４０）。終了指示があれば（Ｓ１０４０：Ｙ）、この辞書登録処理を終了する。終了指示がない場合（Ｓ１０４０：Ｎ）、ＣＰＵ１１は、登録画像を取得し（Ｓ１０４１）、局所領域を設定し（Ｓ１０４２）、特徴抽出を行い（Ｓ１０４３）、辞書登録を行う（Ｓ１０４４）。これらＳ１０４１〜Ｓ１０４４での処理は、第１実施形態における図１４のＳ１０３４〜Ｓ１０３７の処理と同様であるので説明を省略する。続いて、ＣＰＵ１１は、類似度算出パラメタ計算部１０６を通じて、辞書登録部１０５から取得した登録辞書を用いて類似度算出パラメタを更新する（Ｓ１０４５）。
【００９３】
パラメタ更新の前に類似度算出パラメタ計算処理で計算されている類似度算出パラメタ、すなわち設置場所のカメラで収集した特徴量の平均ベクトルをσ０、登録辞書の全特徴量の平均ベクトルをσｒとする。この場合、更新後の類似度算出パラメタσは、以下のように表される。
σ＝ｗ０σ０＋ｗｒσｒ    （式７）
ｗ０、ｗｒは、それぞれの類似度算出パラメタに対する重み係数である。一般的に、設置したカメラで収集できる特徴量の数に比較して、登録辞書の特徴量は数が少ないので、両方の特徴量を含めて平均をとると、設置したカメラで収集した特徴量の影響が大きくなってしまう。
【００９４】
そこで、第１実施形態のように、それぞれで算出した平均ベクトルを事前に定めた所定の重みで足し合わせ、登録辞書で求めた平均ベクトルの影響をどの程度にするか調整できるようにしている。なお、σ０は、事前に計算しておいてもよいし、設置場所のカメラで収集した特徴量を二次記憶装置１４にすべて記憶しておき、（式７）を計算する際にσ０を計算してもよい。
【００９５】
続いて、ＣＰＵ１１は、類似度算出パラメタ記憶部１０７を通じて、（式７）で算出された類似度算出パラメタσを二次記憶装置１４に記憶する（Ｓ１０４６）。第１実施形態では、登録辞書に新たな特徴量が登録される度に、類似度算出パラメタを毎回計算しているが、必ずしも毎回計算しなくてもよい。例えば、登録辞書に所定数の特徴量が新たに登録された際に計算するようにしてもよい。
また、第１実施形態では、式７で登録辞書の全特徴量の平均ベクトルσｒを計算したが、この他の方法を使って計算してもよい。例えば、登録辞書の人物毎の平均ベクトルをまず計算し、その後で、各人物の平均ベクトルをさらに平均するようにしてもよい。このようにすることで、人物毎の登録数に大きな差がある場合、登録数が多い人物の影響が大きくなりすぎないように抑制することができる。
【００９６】
以上説明したように、第２実施形態では、第１実施形態のように、設置したカメラの撮像画像から収集した特徴量だけでなく、登録辞書の特徴量を類似度算出パラメタの計算に反映させている。この手法により、登録画像の撮影条件に一層適した類似度算出パラメタを計算することができる。
以上のように、各実施形態によれば、ユーザが画像登録を行う場合に、どのような画像を登録すればよいかがわかるようになり、画像を登録する際の利便性が向上する。また、カメラの設置場所ごとに認証に適した原点を用いるとともに複数の局所領域を設定して特徴量ベクトルの原点が特徴量ベクトルのクラスタ外に位置するようにすることで、誤a認証を少なくすることもできる。
また、本発明は上述した各実施形態に限定されるものではない。例えば、各実施形態では人間の顔認証を例にとって説明したが、人間の瞳孔や指紋等に本発明を適用することもできる。この場合、上述した実施形態では目、鼻のような顔の器官位置をもとに局所領域を設定したが、虹彩などの特徴的な領域をもとに局所領域を設定して特徴量を抽出する。
【図１】
2019185384.tif 000003
【図２】
2019185384.tif 000004
【図３】
2019185384.tif 000005
【図４】
2019185384.tif 000006
【図５】
2019185384.tif 000007
【図６】
2019185384.tif 000008
【図７】
2019185384.tif 000009
【図８】
2019185384.tif 000010
【図９】
2019185384.tif 000011
【図１０】
2019185384.tif 000012
【図１１】
2019185384.tif 000013
【図１２】
2019185384.tif 000014
【図１３】
2019185384.tif 000015
【図１４】
2019185384.tif 000016
【図１５】
2019185384.tif 000017
【図１６】
2019185384.tif 000018
【図１７】
2019185384.tif 000019