(57)【要約】      （修正有）【課題】ある人物について誤認識が繰り返し発生することを抑制できる。【解決手段】情報処理装置１００は、認識対象である人物の顔画像を登録したリストを用いて、撮像画像に含まれる人物を認識する情報処理装置であって、注目画像に含まれる顔画像、およびリストに基づいて、注目画像に含まれる顔画像を特定の人物として認識する認識手段と、認識手段による顔画像に対する認識結果が誤りであることを入力する入力手段とを有する。認識手段は、入力を受けた後の認識において、認識結果が誤りであると入力された顔画像を特定の人物として認識しないように制御する。【選択図】図１
2020087305.tif 000002
【特許請求の範囲】
【請求項１】
認識対象である人物の顔画像を登録したリストを用いて、撮像画像に含まれる人物を認識する情報処理装置であって、
注目画像に含まれる顔画像、および前記リストに基づいて、前記顔画像を特定の人物として認識する認識手段と、
前記認識手段による前記顔画像に対する認識結果が誤りであることを入力する入力手段とを有し、
前記認識手段は、前記入力を受けた後の認識において、認識結果が誤りであると入力された前記顔画像を前記特定の人物として認識しないように制御することを特徴とする情報処理装置。
【請求項２】
前記撮像画像は、動画の一部であって、
前記認識手段は、前記注目画像の後に撮像された画像に前記注目画像に含まれていた顔画像に対応する顔画像が含まれる場合、前記入力に基づいて、前記注目画像の後に撮像された前記画像に含まれる顔画像を前記特定の人物として認識しないようにすることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記認識手段は、認識対象である前記人物の顔画像の特徴と、前記注目画像に含まれる顔画像の特徴との類似度に基づいて、前記顔画像を前記特定の人物として認識することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記認識手段は、前記類似度が所定の範囲に含まれる場合、前記注目画像に含まれる顔画像を前記特定の人物であると認識することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記特徴とは、顔の部位の位置関係、および前記顔画像の大きさを含むことを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
前記入力手段は、前記認識手段による前記顔画像に対する認識結果が誤りであることをユーザによって入力されることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
少なくとも前記注目画像と、前記注目画像より前のフレームで撮像された第１の画像とに基づいて、前記注目画像に含まれる顔画像と前記第１の画像に含まれる顔画像とが、所定の時間内で人物が移動可能な範囲にある場合、前記顔画像に同一の識別子を付与することによって顔を追尾する追尾手段をさらに有することを特徴とする請求項２乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記追尾手段は、前記注目画像に含まれる顔画像が複数ある場合、前記顔画像ごとに前記識別子を付与することによって顔を追尾することを特徴とする請求項２乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記認識手段は、画像に含まれる顔を認識する学習済みモデルに基づいて前記注目画像に含まれる顔について個人を特定可能な個人特徴と、前記学習済みモデルから取得した前記リストに登録された人物ごとの個人特徴とを、比較することによって、前記注目画像に含まれる顔画像が前記リストに登録された人物であることを認識することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記認識手段によって前記顔が前記特定の人物であることを示す認識結果を表示手段に表示させる制御を行う表示制御手段をさらに有することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記表示制御手段は、前記注目画像に含まれる認識対象の顔と、前記認識手段で認識された特定の人物の顔画像とを前記表示手段に並べて表示させる制御をすることを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記表示制御手段は、前記注目画像に含まれる認識対象の顔画像と、前記認識手段で認識された特定の人物の顔画像との類似度をさらに表示する前記表示手段を制御することを特徴とする請求項１０または１１に記載の情報処理装置。
【請求項１３】
前記入力手段は、前記ユーザから前記顔画像が前記リストに登録されていてかつ前記特定の人物とは異なる第２の人物であることを判定結果として入力されたことを受け付け、
前記認識手段は、前記注目画像の後に撮像された第２の画像に含まれる第２の顔画像であって、前記注目画像に含まれる顔画像と類似する前記第２の顔画像については、前記第２の人物であると認識することを特徴とする請求項２乃至１２のいずれか１項に記載の情報処理装置。
【請求項１４】
前記識別手段は、前記注目画像に含まれる顔画像に対応する人物の属性情報を更に認識し、
前記入力手段は、前記属性情報が整合するか否かについての判定結果を更に受け付け、
前記判定結果によって前記注目画像に含まれる顔画像の前記属性情報が誤りであると判定された場合、前記認識手段は、前記顔画像に対して、誤りである前記属性情報を持つ人物として認識しないようにすることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
【請求項１５】
前記入力に基づいて、前記注目画像に含まれる顔画像について、前記特定の人物を認識対象から除外するように前記リストを更新する更新手段を更に有する請求項１乃至１４のいずれか１項に記載の情報処理装置。
【請求項１６】
コンピュータを請求項１乃至１５のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
【請求項１７】
認識対象である人物の顔画像を登録したリストを用いて、撮像画像に含まれる人物を認識する情報処理方法であって、
注目画像に含まれる顔画像、および前記リストに基づいて、前記注目画像に含まれる顔画像を特定の人物として認識する認識工程と、
前記認識手段による前記顔画像に対する認識結果が誤りであることを入力する入力工程とを有し、
前記認識工程は、前記入力を受けた後の認識において、認識結果が誤りであると入力された前記顔画像を前記特定の人物として認識しないように制御することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から特定の人物の顔を認識する技術に関する。
【背景技術】
【０００２】
近年、撮像された画像内に写っているオブジェクトの画像を高度に処理して有用な情報を抽出する技術が多く提案されている。特にその中でも人間の顔画像を認識して、入力された顔画像（入力顔画像と呼ぶ）と、予め登録されている複数の人物の顔画像（登録顔画像と呼ぶ）とをそれぞれ照合して、入力された顔画像が誰であるか判定する顔認識に関して、盛んに研究開発されている。
【０００３】
店舗等における顔認識の用途には、事前登録されている重要顧客を認識するホワイトリスト認識、或いは要注意顧客を認識するブラックリスト認識がある。これらの認識では、認識したい人物の顔画像が予め登録されており、カメラに映った人物の顔画像と、登録済みの人物の顔画像それぞれとを照合する。カメラに映った人物の顔画像が登録済み人物のいずれかの顔画像と合致した場合には、店員や警備員等に通報される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１４１７０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
顔認識は、顔画像が撮像された状態によっては、誤認識（他人と間違えて認識してしまうこと）が起こり得る。例えば、登録されている人物と似た顔の人物が現れた状態である。また、撮像された顔画像が小さかったり、ぶれていたりする状態である。それ以外にも、撮像された顔の向きや照明の状態によっては、誤認識が起きやすい。
【０００６】
上記問題に対して、特許文献１では、誤認識であるとユーザが判断したフィードバックを用いて認識結果を修正する。しかしながら、上記で開示された手法では、誤認識が発生した人物が時系列的に連続して画像に現れる場合、繰り返し誤認識が発生する可能性がある。例えば、歩行している人物に対して、顔認識を行う場合、動画像の各フレーム画像に対して顔認識することが考えられる。この場合に、あるフレームでの顔認識が誤認識となると、その誤認識フレームと見た目があまり変化しない、以降のフレームでも繰り返し誤認識を起こす可能性がある。本発明は上記課題に鑑みてなされたものであり、時系列画像に写ったある人物について誤認識が繰り返し発生することを抑制する。
【課題を解決するための手段】
【０００７】
上記課題を解決する本発明にかかる情報処理装置は、認識対象である人物の顔画像を登録したリストを用いて、撮像画像に含まれる人物を認識する情報処理装置であって、注目画像に含まれる顔画像、および前記リストに基づいて、前記注目画像に含まれる顔画像を特定の人物として認識する認識手段と、前記認識手段による前記顔画像に対する認識結果が誤りであることを入力する入力手段とを有し、前記認識手段は、前記入力を受けた後の認識において、認識結果が誤りであると入力された前記顔画像を前記特定の人物として認識しないように制御することを特徴とする。
【発明の効果】
【０００８】
時系列画像に写ったある人物について誤認識が繰り返し発生することを抑制できる。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置の機能構成例を示すブロック図
【図２】登録人物リストについて説明する図
【図３】情報処理装置が実行する処理を説明するフローチャート
【図４】情報処理装置の機能構成例を示すブロック図
【図５】登録人物リストについて説明する図
【図６】情報処理装置の機能構成例を示すブロック図
【図７】情報処理装置のハードウェア構成例を示す図
【図８】ＧＵＩの一例を示す図
【図９】ＧＵＩの一例を示す図
【図１０】情報処理装置が実行する処理を説明するフローチャート
【発明を実施するための形態】
【００１０】
＜実施形態１＞
店舗等のサービス施設において、重要顧客や要注意顧客の来店をいち早く確実に把握するために、施設内外に設置された監視カメラを使った顔認識技術が利用されている。重要顧客等の特定の人物についての顔画像と個人情報を示すＩＤを割り当てたリストをサービス施設が管理し、そのようなリストを利用して登録された人物と店内にいる顧客の顔画像との認識を行う。しかしながら、顧客は店内を自由に動き回るため、静止した状態での顧客の顔画像が取得できるとは限らない。このような状況が考えられるため、時系列で取得される画像から動き回る顧客を同一人物であることを特定したうえで、さらに特定された人物が登録された顧客であるか認識する必要がある。ここで、時系列画像から特定された特定の人物についての認識を一度失敗すると、その後に取得する画像において同様の誤認識を続けてしまう可能性がある。以下の実施形態における目的の１つは、顔認識技術において、一度誤認識してしまった場合に、その後の同一人物に対する認識処理においては、同じ誤認識を繰り返さないようにする、ということにある。そのために、一度誤認識してしまった場合、以後の同じ人物に対する顔認識では、先ほど誤認識してしまった登録人物を、もとの登録人物セットから除外したうえで、顔認識を行うようにする。
【００１１】
これを実現するために、撮像画像中の登場人物が複数フレームに渡り同一人物であることを、顔追尾によって特定する。そして、特定した人物ごとに追尾識別子の割り当てを行う。それと同時に、追尾識別子ごとに、認識処理から除外すべき登録人物ＩＤを管理する、ということを行う。本発明にかかる実施形態を説明するのに先立ち、用語の定義について説明する。
【００１２】
登録人物リストとは、不特定多数の人物から特定したい人物について、少なくとも顔の画像特徴（もしくは顔画像）とＩＤを紐づけた情報である。例えば、図２（ａ）のようなリストである。不特定多数の人物が出入りするサービス施設等において、施設管理者等のユーザにとって重要な顧客（または危険な人物）を見分ける為に用いる。登録人物リストは、予めユーザが認識したい人物についての顔画像、顔画像から抽出される所定の特徴、各顔画像を区別するためのＩＤを準備する。登録人物リストは登録された人物についてのカテゴリ情報（性別、年齢、身長等）を保持していてもよい。
【００１３】
追尾識別子リストとは、ある時刻での監視カメラ画像から検出された顔画像について割り当てられたＩＤと顔の画像特徴（顔画像）と、登録人物除外ＩＤとを紐づけた情報である。例えば、図２（ｂ）や図２（ｃ）のようなリストである。登録人物除外ＩＤとは、登録人物リストのうち、ある追尾識別子について、認識処理をスキップする人物と対応するＩＤである。なお、追尾識別子リストは、処理が開始される時点では情報を特に持たない。画像から顔検出がなされ、顔追尾によって新しい顔画像が検出された場合に新しい追尾識別子と除外ＩＤ（初期値はＮｏｎｅ）を更新する。
【００１４】
以下では本実施形態の顔認識を実行する情報処理装置について詳細に説明する。図１は、本発明を適用可能な実施形態を示す情報処理装置の機能構成例を示すブロック図である。情報処理装置１００は、認識対象である人物の顔を登録した登録人物リストを用いて、画像から人物を認識する。情報処理装置１００は、撮像装置２００と、表示装置３００に接続されている。情報処理装置１００は、画像入力部１０１、検出部１０２、追尾部１０３、個人特徴取得部１０４、認識部１０５、登録人物リスト記憶部１０６、追尾識別子リスト記憶部１０７、表示制御部１０８、フィードバック入力部１０９を有する。なお、ここに挙げたすべての機能構成を情報処理装置１００が有するとはかぎらない。例えば、表示制御部１０８やフィードバック入力部１０９は外部に接続された表示装置３００が有していてもよい。
【００１５】
画像入力部１０１は、撮像装置２００によって撮像された時系列の撮像画像、つまり動画の一部である画像を入力する。本実施形態では、所定の空間にいる人物を撮像した画像（撮像画像）を入力する。所定の空間とは、店舗や公共施設等の不特定多数の人物が出入りする空間である。本実施形態では、撮像装置２００がリアルタイムに撮像中の画像が画像入力部１０１から入力されるとする。撮像装置２００はその他の構成部と物理的に離れた場所に置かれていてもよく、映像をネットワーク越しにその他の構成部に転送するような構成でもよい。また、撮像中の画像に限るものではなく、撮像済み記録画像の再生画像が画像入力部１０１から入力されてもよい。撮像された画像は、記憶装置によって保持される。
【００１６】
検出部１０２では、画像入力部１０１から入力された注目画像に対して、顔の構成要素である目や鼻の画像特徴を抽出することによって、注目画像に含まれる顔画像の検出を行う。注目画像に人物が含まれない場合は顔画像を検出しない。注目画像に複数の人物が含まれる場合は各人物の顔画像を検出する。顔の検出手法は既存の公知の手法を使えばよい。例えば、鼻、口や目などの顔画像の構成要素に相当する形状を示す画像特徴を抽出する。抽出された両目の大きさとそれらの距離から顔の大きさを推定し、鼻の中心に相当する位置を基準として、抽出された大きさの領域で囲んだ領域を顔画像とする。検出された顔画像は、後に説明する追尾処理、個人特徴抽出処理のために、その画像における画角内での位置と領域のサイズとともに追尾部１０３、個人特徴取得部１０４に入力される。
【００１７】
追尾部１０３では、注目画像と前のフレームで撮像された第１の画像とに基づいて、注目画像に含まれる顔画像と第１の画像に含まれる顔画像とが、所定の時間内で人物が移動可能な範囲にある場合、顔画像に同一の識別子を付与することによって顔を追尾する。具体的には、現在の撮像画像から検出されたＮ枚の顔画像ごとに類似する顔画像を過去のフレーム画像から特定し、Ｎ枚の各顔画像の追尾識別子を特定する。検出部１０２で、Ｎ枚の顔画像が検出された場合は、各顔画像に識別子ｉ＝０〜Ｎ−１（ただしｉは自然数）を割り振る。ｉ＝０から順番に、顔画像ごとに、前フレームにおける各顔画像とマッチング処理を行う。ｉ番目の顔画像が前フレームの顔画像と類似していた場合は、前フレームの追尾顔画像から追尾識別子を特定し、同じ追尾識別子をｉ番目の顔画像に付与する。つまり、前フレームの顔画像と位置が近く、輝度データの近い現在のフレームの顔画像を、同一人物の顔画像として特定する。さらに、現在のフレームで対応する顔画像がなかった場合には、前フレームの顔画像の輝度データと相関の高い領域を、現在のフレームにおいてある一定の範囲でサーチする。該当する領域があった場合には、その領域を同一人物の顔画像として特定する。あるいは、前のフレーム画像にｊ番目の顔画像に類似した顔画像がなかった場合、新たな追尾識別子をｊ番目の画像に付与する。これは、人物が一瞬顔を横や上下に向けたために、検出部により顔として検出されないような場合に有効であり、検出部の有する検出能力以上の顔の検出を行うことができる。
【００１８】
このようにして追尾部１０３では、複数フレームに渡る同一人物の顔を追尾する。さらに追尾部１０３では、同一人物であるとされた顔を特定するために、一連の時系列画像に対して共通の追尾識別子を特定する。追尾部１０３で同一人物の顔とされた、一連の顔画像群に対しては、同じ追尾識別子が設定される。つまり、ある時刻における追尾識別子が割り当てられた顔画像の画像特徴をテンプレートとして、各時系列画像でマッチングする領域を探索して、マッチングした領域には同じＩＤを割りあてる。この追尾識別子は、個人特徴取得部１０４で抽出された個人特徴とともに、個人認識部１０５に入力される。
【００１９】
個人特徴取得部１０４では、顔画像から、個人を特定可能な顔の部位の位置関係について示す個人特徴を取得する。ここでいう特徴とは、画像からエッジ検出等で得られるような画像特徴であることが想定されている。取得方法は任意で良いが、本実施形態では以下のように個人特徴を抽出する。まず顔検出部１０２で特定した目・鼻・口など代表的な器官の位置に基づいて、両目の幅が所定の距離になるように、両目を結ぶ線分が画像上で水平になるように画像を回転・拡大縮小する。そして顔画像に特徴を抽出する矩形領域を設定する。領域の大きさは任意であるが、個人の特徴をよく表す目や口などの器官がもれなく入るように、しかし背景などは入らないように、一辺が目幅のおおよそ１．５倍程度の正方形を顔の中央に配置するとよい。続いて矩形領域内の画素値を左上から右下に向かって順に取り出し、一列につなげてベクトルとする。これを個人特徴とする。ただし、本実施形態に用いる個人特徴の抽出は、上記に示した手法に限らない。例えば、ディープニューラルネットワークを用いて個人特徴を抽出してもよい。具体的には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）における、畳込み層から取得できる画像特徴などを取得する。この場合、個人特徴取得部１０４では、顔画像を、人物の識別を学習させたニューラルネットワーク（学習済みモデル）に入力することによって、個人の識別に必要な個人特徴を取得する。なお、学習済みモデルとは、撮像画像から撮像画像に対応する認識結果を出力するニューラルネットワークに基づくネットワーク構造とそのパラメータである。認識は、例えば画像から個人を特定するものでもよい。学習済みモデルを用いることで、より精度良く個人の認識を行うことができる。
【００２０】
個人認識部１０５では、登録人物リストに登録された人物の顔の特徴と、第１の顔画像の特徴とを比較することによって、第１の顔画像が登録人物リストに登録された人物のうち第１の人物であることを認識する。さらに詳しく説明すると、まず個人特徴取得部１０４から送られてくる撮像画像の個人特徴と、登録人物リスト記憶部１０６から送られてくる登録顔画像の個人特徴とを照合し、類似度を取得する。各顔画像から抽出された個人特徴を入力個人特徴と呼ぶ。登録人物リスト（登録人物リスト）において、登録人物と対応する顔画像に保持されている個人特徴を登録個人特徴と呼ぶ。ここでは、入力個人特徴と登録個人特徴との間のＬ２距離（ユークリッド距離）の逆数を類似度とする。個人認識部１０５では、取得された類似度と、あらかじめ設定された閾値とを比較して、認識結果を出力する。あるいは、類似度が所定の閾値より大きくなる登録人物すべてを認識結果として出力する。
【００２１】
登録人物リスト記憶部１０６に複数の登録個人特徴が格納されている場合には、撮像画像から取得された入力個人特徴と、複数それぞれの登録個人特徴との間の類似度が取得される。この場合、登録個人特徴の数と同数の類似度が取得される。個人認識部１０５では、この複数の類似度の最大の類似度に対して、閾値処理を行う。そのうえで、最大となる類似度を取得した登録個人特徴に関連付けられた登録人物ＩＤを認識結果として出力する。閾値を超える類似度がなければ、登録人物中に該当人物なし、との結果を出力する。
【００２２】
登録人物リスト記憶部１０６には、登録された人物の顔の特徴（顔画像）が、あらかじめ取得され、記憶されている。登録された人物の顔の特徴を登録個人特徴とよぶ。登録個人特徴は、例えば特徴ベクトルや数値によって表現される。登録画像に対する個人特徴の取得方法は、これまでに示した手順と同じように行えばよい。つまり、登録画像を撮像画像として入力し、顔検出を行い、検出した顔から個人特徴を取得すればよい。ここでは、画像に含まれる人物を識別する学習済みモデルに基づいて顔画像から個人を特定可能な個人特徴を取得する。登録人物リスト記憶部１０６には、図２（ａ）のように、登録人物の人物ＩＤとその人物の登録個人特徴とが関連付けられて保持されている。
【００２３】
識別子情報記憶部１０７では、今までのフィードバック情報が反映された追尾識別子リストに基づいて、追尾識別子ごとに、個人認識部１０５で行う認識処理を行わない登録人物の人物ＩＤ（これを除外ＩＤと呼ぶ）を保持しているか判断する。図２（ｂ）には、撮像画像から検出された顔画像に基づいて生成された初期の追尾識別子リストを示す。図２（ｃ）は、図２（ｂ）の状態から何度かフィードバックを受付したことによって更新された追尾識別子リストをします。図２（ｃ）において、追尾識別子がＴｒａｃｋＩＤ＿０とＴｒａｃｋＩＤ＿３に対しては、除外ＩＤがないということを示している。また、追尾識別子がＴｒａｃｋＩＤ＿１に対しては、ＲｅｇＩＤ＿３が除外ＩＤであるということを示している。同様に、追尾識別子がＴｒａｃｋＩＤ＿２に対しては、ＲｅｇＩＤ＿０とＲｅｇＩＤ＿２とが登録人物除外ＩＤであるということを示している。登録人物リスト管理部１０７では、以上のように追尾識別子に関連付けられて、登録人物除外ＩＤが管理されている。
【００２４】
ここで、画像入力部１０１から画像が入力された時の、個人認識部１０５、登録人物リスト記憶部１０６、追尾識別子リスト記憶部１０７の間での情報のやり取りをもう少し詳細に説明しておく。
【００２５】
画像入力部１０１から入力された画像に対して、検出部１０２、追尾部１０３、個人特徴取得部１０４において、それぞれ顔検出、顔追尾、個人特徴抽出が実行される。その結果、今回認識処理を行う顔画像に対応する追尾識別子が特定されると同時に、その顔画像に対応する入力個人特徴が取得される。個人認識部１０５には、このようにして取得された入力個人特徴と、その追尾識別子とが入力される。
【００２６】
個人認識部１０５は、入力された追尾識別子と追尾識別子リスト記憶部１０７とを参照することで、追尾識別子ｉに対応する顔画像について認証する際に除外すべき登録人物ＩＤの有無を確認する。つまり、追尾識別子リスト記憶部１０７は、示された追尾識別子に対応する除外ＩＤがあれば、その登録人物ＩＤを登録人物リスト記憶部１０６に伝える。登録人物リスト記憶部１０６は、今回の認識処理で使用する登録個人特徴を個人認識部１０５に対して出力する。その際には、登録人物リスト管理部１０７から伝えられた登録人物ＩＤに対応する登録個人特徴を除外して出力する。つまり、判定結果によって第１の顔画像は第１の人物ではないと判定された場合、個人認識部は、第１の顔画像が登録人物リストに登録された人物のうち第１の人物以外であることを認証する。
【００２７】
図２を用いて、上記の手順を具体的に説明する。例えば、図２（ａ）のように、６人の登録人物（それぞれの登録人部ＩＤをＲｅｇＩＤ＿０〜ＲｅｇＩＤ＿５とする）が登録人物リスト記憶部１０６に登録されているとする。このあらかじめ登録されているすべての登録人物ＩＤの登録個人特徴をデフォルト登録個人特徴セットと呼ぶ。
【００２８】
図２（ｃ）は、検出部１０２で検出された顔画像について、追尾部１０３が類似した顔画像に共通の追尾識別子を付与することによって生成される追尾識別子リストの一例である。このリストは、フィードバックを行う前では、図２（ｂ）のように、特定された追尾識別子のみが保持されており、除外ＩＤはすべてＮｏｎｅとして保持される。このリストは、ユーザによるフィードバックが行われることによって更新される（図２（ｃ））。例えば、個人認識部１０５に入力されてくる追尾識別子がＴｒａｃｋＩＤ＿０（或いはＴｒａｃｋＩＤ＿３）であれば、個人認識部１０５では、すべての登録個人特徴（デフォルト登録個人特徴セット）と、入力個人特徴とから類似度を取得する。或いは、個人認識部１０５に入力されてくる追尾識別子がＴｒａｃｋＩＤ＿１であれば、個人認識部１０５では、ＲｅｇＩＤ＿３の登録個人特徴を除くデフォルト登録個人特徴セットと、入力個人特徴とから類似度を取得する。或いは、個人認識部１０５に入力されてくる追尾識別子がＴｒａｃｋＩＤ＿２であれば、個人認識部１０５では、ＲｅｇＩＤ＿０とＲｅｇＩＤ＿２の登録個人特徴を除くデフォルト登録個人特徴セットと、入力個人特徴とから類似度を取得する。このようにすることで、追尾識別子に応じて、個人認識部１０５において類似度を取得すべき登録人物ＩＤを制限することができる。
【００２９】
表示制御部１０８には、ｉ番目の顔画像が登録人物であることをユーザに通知するための表示を行うよう表示装置を制御する。例えば、ユーザが所有するＧＵＩに、顔認識処理の対象となった撮像画像と、個人認識部１０５が判定した判定結果の登録人物画像と、登録人物ＩＤ（登録人物の名前）が表示する。表示装置３００は、情報処理装置１００の監督者が閲覧可能なモニタや、携帯端末等を想定している。ここで監督者とは、情報処理装置１００を用いて、所定のサービスを実行する人物を指している。例えば、店舗での重要顧客（或いは要注意顧客）を検出するホワイトリスト（或いはブラックリスト）検出を実現するために情報処理装置１００を用いる場合には、店員や警備員のことを指す。
【００３０】
個人認識部１０５で判定した個人認識結果は、表示制御部１０８によって、監督者（店員や警備員）に通知される。店員や警備員は、表示制御部１０８に表示された撮像画像及び登録人物画像を見比べて、所定のサービスを提供することができる。例えば、表示制御部１０８に重要顧客の人物ＩＤが通知された場合には、その好みに応じた接客等を行うことが可能となる。さらに監督者は、表示制御部１０８に表示された撮像画像及び登録人物画像を見比べて、顔認識結果が誤っている（誤認識している）と判断した場合には、フィードバック入力部１０９を介して、その旨を通知する。
【００３１】
フィードバック入力部（受付部）１０９は、顔画像に対する認識結果が誤りであることを判定結果としてユーザから受け付ける。例えば、監督者（ユーザ）から、ｉ番目の顔画像は登録人物ＩＤであるか否かについてのフィードバックを受け付ける。監督者のフィードバックとは、上述したとおり、監督者が今回の顔認識結果が誤っていると判断した場合に、その旨（誤認識している）を通知することを指す。
【００３２】
フィードバック入力部１０９に入力された監督者からのフィードバックは、登録人物リスト管理部１０７に通知される。登録人物リスト管理部１０７は、監督者から今回の認識結果が誤認識であるとのフィードバックを受けると、内部で管理している追尾識別子リストの除外ＩＤについて更新を行う。つまり、今回認識処理した顔画像が割り当てられている追尾識別子の除外ＩＤに、今回誤認識した登録人物ＩＤを追加する。このようにすることで、今回と同じ追尾識別子をもつ撮像画像に対しては、以降の認識処理において、同じ誤認識を繰り返すことを避けることが可能となる。
【００３３】
図７は、情報処理装置１００のハードウェア構成を示す図である。Ｈ１１はＣＰＵであり、システムバスＨ１８に接続された各種デバイスの制御を行う。Ｈ１２はＲＯＭであり、ＢＩＯＳのプログラムやブートプログラムを記憶する。Ｈ１３はＲＡＭであり、ＣＰＵであるＨ１１の主記憶装置として使用される。Ｈ１４は外部メモリであり、情報処理装置１０が処理するプログラムを格納する。入力部Ｈ１５はキーボードやマウス、ロボットコントローラーであり、情報等の入力に係る処理を行う。表示部Ｈ１６はＨ１１からの指示に従って情報処理装置１００の演算結果を表示装置に出力する。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケーターなど、種類は問わない。Ｈ１７は通信インターフェイスであり、ネットワークを介して情報通信を行うものである。通信インターフェイスはイーサネット（登録商標）でもよく、ＵＳＢやシリアル通信等種類は問わない。
【００３４】
以上が情報処理装置１００の説明である。次に、本実施形態における処理手順について説明する。図３は、本実施形態における情報処理装置１００の処理手順の一例を示すフローチャートである。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。ただし、情報処理システム１は必ずしもこのフローチャートで説明するすべてのステップを行わなくても良い。以下、フローチャートは、コンピュータである図７のＣＰＵ（Ｈ１１）が外部メモリ（Ｈ１４）で格納されているコンピュータプログラムを実行することにより実現されるものとする。
【００３５】
Ｓ１では、検出部１０２が、画像入力部１０１から入力された画像に対して、顔の構成要素である目や鼻の画像特徴を抽出することによって、撮像画像に含まれる顔画像の検出を行う。ここで、入力された画像にはＮ人（ＮはＮ≧０の整数）の人物が写っていたものとする。検出された顔画像には、顔の画像特徴、領域の大きさ、画角内における位置情報が含まれる。
【００３６】
Ｓ２では、追尾部１０３が、撮像画像の前に撮像された過去のフレーム画像から検出された顔画像と類似した第１の顔画像を撮像画像から特定する。前のフレームで入力された画像から、現在のフレームで検出されたＮ枚の顔画像ごとに類似する顔画像を特定し、それぞれの顔画像の追尾識別子を特定する。
【００３７】
Ｓ３では、追尾部１０３が、追尾識別子ｉについて、撮像画像の直前のフレーム画像に存在した顔画像であるか否かを判断する。なお、Ｓ３以降の処理はｉ＝０からｉ＝Ｎ−１まで順番に処理していく。追尾識別子ｉが前のフレーム画像でも検出されていた場合は、Ｓ４０に進む。追尾識別子ｉが前のフレーム画像では検出されていない場合、すなわち新しく設定された追尾識別子である場合は、Ｓ４１へ進む。
【００３８】
Ｓ４０では、追尾識別子リスト記憶部１０７が、認識部１０５に前のフレーム画像で生成された追尾識別子リストを参照する。追尾識別子ｉが前のフレームにおいて検出している場合、追尾識別子リスト記憶部１０７は前のフレームで生成された追尾識別子リストを保持している。認識部１０５では、この追尾識別子リストを使って追尾識別子ｉについての顔認識を実行する。Ｓ４１では、追尾識別子リスト記憶部１０７が、追尾識別子ｉについてのリストを更新する。新しく追加された追尾識別子については、フィードバックが未だないため、除外ＩＤにはＮｏｎｅとしてリストを生成する。
【００３９】
Ｓ５では、追尾識別子リスト記憶部１０７が、今までのフィードバック情報が反映された追尾識別子リストに基づいて、追尾識別子ごとに認識処理を行わない登録人物の人物ＩＤ（これを除外ＩＤと呼ぶ）を保持しているか判断する。ｉ番目の追尾識別子について、除外ＩＤがない場合はＳ６０に進む。除外ＩＤがある場合はＳ６１に進む。
【００４０】
Ｓ６０では、個人認識部１０５が、リストに登録された人物の顔の特徴と第１の顔画像の特徴とを比較することによって、第１の顔画像がリストに登録された人物のうち特定の人物であることを認識する。ｉ番目の顔画像から取得される個人特徴と登録人物リストにおける各登録人物の個人特徴とを照合し、それぞれの登録人物との類似度を取得する。ｉ番目の顔画像との類似度が最大になる登録人物を取得する。さらに、類似度が所定の閾値より大きくなる場合、ｉ番目の顔画像を対応する登録人物として認識する。まず、個人特徴取得部１０４が、ｉ番目の顔画像から、個人の識別に必要な個人特徴を取得する。ここでは、画像に含まれる人物を識別する学習済みモデルに基づいて顔画像から個人を特定可能な個人特徴を取得する。登録人物リスト記憶部１０６には、登録人物の顔画像から学習済みモデルに基づいて各登録人物に対応する個人特徴が、あらかじめ取得され、記憶されている。認識部１０５は、ｉ番目の顔画像から取得された個人特徴と、各登録人物に対応する個人特徴とを照合することによって、ｉ番目の顔画像と各登録人物との類似度を取得する。ｉ番目の顔画像の認識結果は、類似度が最大でかつ所定の閾値より大きい個人特徴に対応する登録人物とする。閾値を超える類似度がなければ、登録人物中に該当人物なし、との結果を出力する。
【００４１】
Ｓ６１では、個人認識部１０５が、リストに登録された人物のうち除外された人物以外の顔の特徴と第１の顔画像の特徴とを比較することによって、第１の顔画像がリストのうち除外ＩＤ以外の特定の人物であることを認識する。ｉ番目の顔画像から取得される個人特徴と、除外ＩＤ以外の登録人物リストにおける各登録人物の個人特徴とを照合し、それぞれの登録人物との類似度を取得する。ｉ番目の顔画像との類似度が最大になる登録人物を取得する。さらに、類似度が所定の閾値より大きくなる場合、ｉ番目の顔画像を対応する登録人物として認識する。閾値を超える類似度がなければ、登録人物中に該当人物なし、との結果を出力する。除外ＩＤを除外した登録人物情報をもちいることによって、同じ誤認識を繰り返さないようになる。
【００４２】
Ｓ７では、個人認識部１０５が、ｉ番目の顔画像が登録人物に該当したか否かを判断する。Ｓ６０あるいはＳ６１の認識結果から、ｉ番目の顔画像が登録人物のいずれかであることが認識された場合は、Ｓ８に進む。Ｓ６０あるいはＳ６１の認識結果から、ｉ番目の顔画像が登録人物の誰にも該当しないことが認識された場合は、Ｓ１２に進む。
【００４３】
Ｓ８では、表示制御部１０８が、ｉ番目の顔画像が登録された人物のうち特定人物であることをユーザに通知するための表示をするように表示装置を制御する。例えば、表示装置３００の表示画面上に認識対象である特定人物が来たことを知らせる通知を表示する。ＧＵＩによる表示の例は後述する。表示の他、音声や光でユーザに通知するような制御をしてもよい。
【００４４】
Ｓ９では、フィードバック入力部１０９が、監督者（ユーザ）からｉ番目の顔画像が認識された登録人物であるか否かについてのフィードバックを入力する。
【００４５】
Ｓ１０では、フィードバック入力部１０９が、フィードバックに基づいて認識結果が誤っていたか否かを判断する。監督者が今回の顔認識結果が誤っていると判断した場合は、Ｓ１０に進む。監督者が今回の顔認識結果が正解であると判断した場合は、Ｓ１２に進む。
【００４６】
Ｓ１１では、追尾識別子リスト記憶部１０７が、認識結果あるいはフィードバックに基づいて、ｉ番目の顔画像に対応する追尾識別子リストについて、認識された登録人物に対応する登録人物ＩＤを除外ＩＤとして更新する。追尾識別子リスト記憶部１０７が追尾識別子リストを更新した後は、Ｓ６１に進み、再びｉ番目の顔画像についての認識を行う。このようにすることによって、これ以降に処理において、追尾識別子に応じて、個人認識部１０５が類似度を取得すべき登録人物ＩＤを制限することができる。その結果、追尾識別子リストが更新された顔画像について、早く正確に顔認識を行えるようになる。追尾識別子リストを更新した後はＳ６１に戻って、更新された追尾識別リストを参照して認識処理を行う。Ｓ６１に戻って同じ顔画像について認識処理を行う場合は、前の処理で取得した類似度に基づいて閾値処理のみ行ってもよい。または、Ｓ６１に戻らず、Ｓ１２に進んで次の顔画像についての認識処理をすすめてもよい。
【００４７】
Ｓ１２では、個人認識部１０５が、次の顔画像があるか否かを判断する。ｉをインクリメントし、Ｎと比較することによって、判断する。次の顔画像がある場合は、Ｓ５に戻る。次の顔画像がない場合（現在のフレームにおける顔画像についてすべて認識を終えた場合）は、処理を終了する。
【００４８】
上記の手順に関して少し具体的に説明する。例えば、図２（ｃ）のように登録除外情報が管理されている時に、画像が入力され、顔検出、顔追尾の結果、画像中の人物の追尾識別子は、ＴｒａｃｋＩＤ＿３だと判定された場合を考える。この人物に対して、個人認識した結果、人物ＩＤがＲｅｇＩＤ＿０だと認識されたとする。この場合、認識結果表示制御部１０８には、撮像画像と人物ＩＤの登録画像と、ＲｅｇＩＤ＿０という人物ＩＤとが表示される。
【００４９】
監督者の目視判断で、この認識結果が誤認識であると判断されると、フィードバック入力部１０９を通じて、登録人物リスト管理部１０７にその情報が通知される。登録人物リスト管理部１０７では、追尾識別子ＴｒａｃｋＩＤ＿３の人物に対して、ＲｅｇＩＤ＿０という認識結果が誤認識だったとわかるので、追尾識別子ＴｒａｃｋＩＤ＿３の登録除外人物ＩＤにＲｅｇＩＤ＿０を追加する。今の場合（図２（ｃ））、追尾識別子ＴｒａｃｋＩＤ＿３の登録除外人物ＩＤはＮｏｎｅ（登録除外人物はない）なので、ＮｏｎｅからＲｅｇＩＤ＿０に更新される。
【００５０】
図８を使って、ＧＵＩを説明する。図８は、表示制御部１０８またはフィードバック入力部１０９に関するＧＵＩの一例である。図８（ａ）は、ユーザが持つタブレット等の表示装置Ｇ１０である。表示装置Ｇ１０は、パーソナルコンピュータや、スマートフォン等の画面を有する装置であれば何でもよい。Ｇ２００は、顔認識処理を終えた画像が表示される。Ｇ２０１は、顔検出処理によって検出された顔画像を示すバウンディングボックスである。バウンディングボックスの近傍には追尾識別子（ＴｒａｃｋＩＤ＿ＸＸ）が表示されるようになっている。ここではＧ２００から４人の人物の顔画像が検出されたとする。Ｇ３００は、ユーザによるフィードバック対象となる一人の顔画像である。追尾識別子が登録人物のいずれかに該当した場合に表示される。この表示によって、監督者であるユーザは監視対象空間に登録人物が現れたことを通知される。Ｇ３０１は、追尾識別子についての認識部１０５の認識結果に対応する顔画像である。予め登録人物リストで対応付けられている登録人物のＩＤ（名前）と顔画像を表示する。その他紐づけられているカテゴリ情報を同時に表示してもよい。Ｇ４００とＧ４０１は、ユーザが認識結果についてのフィードバックを行う入力部である。ユーザは、Ｇ３００とＧ３０１を見比べて、認識結果が合っている場合はＧ４００を、認識結果が間違っている場合はＧ４０１を選択する。このＧＵＩでは、認識結果の正否のみを入力できるようになっている。登録人物が１００人以上いる等、認識すべき対象が多い場合は、このようなＵＩによって誤認識を効率的に発見できる。
【００５１】
一方で、登録人物が１０人程度と少ない場合は、図８（ｂ）のようなＧＵＩも考えられる。Ｇ３０２には、認識結果である登録人物の顔画像と、類似度が示されている。Ｇ５０１は、登録人物のリストを表示する。ユーザはリストに含まれる登録人物の顔画像を選択して、Ｇ３００とＧ３０２を見比べる。登録人物リストの人数が10人程度であれば、ユーザは認識対象の人物を記憶できる可能性が高いため、正解をフィードバックしてもよい。例えば、リストの中に該当人物がいる場合は、正しい認識結果が誰であるのかをフィードバックする。その結果、個人認識部１０５は、撮像画像の後に撮像された第２のフレーム画像から検出された第２の顔画像であって、第１の顔画像と同一の識別子が付与された第２の顔画像については、第１の人物とは異なる第２の人物であることを認識する。ユーザが正しい認識結果をフィードバックすることによって、ある追尾識別子についての認識結果が確定する。これによって、効率的に登録された人物の認識を行うことが出来る。
【００５２】
以上詳細に説明したように、顔認識システムを本実施形態のように構成することで、一度誤認識してしまった場合に、その後の同一人物に対する認識処理においては、同じ誤認識を繰り返さないようにする、ということが実現できる。
【００５３】
＜実施形態２＞
本実施形態では、実施形態１で示した監督者からのフィードバックを拡張した場合の例を示す。実施形態１で示した監督者からのフィードバックは、認識結果が誤認識か否かだけであった。つまり、撮像画像の人物と、認識結果で示された人物とが同じ人物か否かを目視し判断して、その判断結果をフィードバックするというものであった。本実施形態では、上記に加えて、撮像画像の人物と、認識結果で示された人物との属性が同じか否かという情報もフィーバックする。ここでいう属性とは、性別や年齢、人種等、その人に備わっていて、見かけで判断できるような特徴を指す。属性も不一致であった場合には、除外ＩＤとして、その属性を持つＩＤすべてを登録できる。
【００５４】
本実施形態では誤認識を減らすために、フィードバックで得られた属性情報も利用する。そのために、実施形態１で説明した登録人物リスト記憶部１０６や追尾識別子リスト管理部１０７でも属性情報を管理するように変更する。以下では本実施形態の顔認識システムを詳細に説明する。
【００５５】
図４は、本実施形態における顔認識システム４００の構成を示すブロック図である。図４において、図１と同じ意味を持つ部品には図１と同じ番号を付与し、その説明は省略する。
【００５６】
登録人物リスト記憶部４０６には、実施形態１の場合と同じように、登録人物の人物ＩＤとその人物の個人特徴とが関連付けられて保持されている。さらに本実施形態では、登録人物の属性も関連付けて管理されている。本実施形態では、登録人物属性として性別を用いた場合について説明を行う。なお、属性は、人が予め判定した結果を入力してもよい。または、顔画像から属性を推定するニューラルネットワーク等を用いた結果を属性として保持してもよい。
【００５７】
図５（ａ）に登録人物リスト記憶部４０６における登録人物ＩＤと登録個人特徴と属性との管理の状態を表で図示している。図５（ａ）において、登録人物ＩＤがＲｅｇＩＤ＿０の人物の登録個人特徴はＲｅｇＦｅａｔｕｒｅ＿０で、その性別は男性であるということを示している。他の登録人物ＩＤに関しても同様である。
【００５８】
追尾識別子リスト記憶部４０７では、追尾識別子ごとに除外ＩＤが管理されている。さらに本実施形態では、追尾識別子ごとに、個人認識部１０５で行う認識処理に用いない人物属性（これを登録除外属性と呼ぶ）が管理されている。つまり本実施形態では、登録除外情報として、除外ＩＤと登録除外属性とが管理されている。
【００５９】
図５（ｂ）には、追尾識別子リスト記憶部４０７における追尾識別子と除外ＩＤと除外属性の管理の状態を表で図示している。図５（ｂ）において、追尾識別子がＴｒａｃｋＩＤ＿０とＴｒａｃｋＩＤ＿２に対しては、登録除外属性がないということを示している。また、追尾識別子がＴｒａｃｋＩＤ＿１に対しては、女性という属性が登録除外属性であるということを示している。同様に、追尾識別子がＴｒａｃｋＩＤ＿３に対しては、男性という属性が登録除外属性であるということを示している。
【００６０】
追尾識別子リスト記憶部４０７では、以上のように追尾識別子に関連付けられて、登録人物除外ＩＤと登録除外属性が管理されている。
【００６１】
表示制御部４０８は、顔認識処理の対象となった撮像画像と、個人認識部１０５が判定した判定結果の登録人物画像と、登録人物ＩＤ（登録人物の名前）とを表示装置に表示するよう制御する。さらに本実施形態では、個人認識部１０５が判定した判定結果の登録人物に対応した登録人物属性も表示するよう制御する。例えば、図９に示すようなＧＵＩを表示する。
【００６２】
フィードバック入力部４０９には、実施形態１の場合と同じように、監督者が今回の顔認識結果が誤っていると判断した場合に、その旨（誤認識している）のフィードバックが入力される。さらに本実施形態では、監督者は、表示制御部４０８に表示された登録人物属性と撮像画像を見比べて、人物属性が一致しているか否かを判断し、一致していないと判断した場合には、フィードバック入力部４０９を介して、その旨（属性不一致）を通知する。
【００６３】
人物属性の性質から、属性不一致の場合には必ず誤認識となるので、本実施形態におけるフィードバックは、「属性不一致でかつ誤認識」という場合と、「属性は一致しているが誤認識」という場合の二通りになる。フィードバック入力部４０９に入力された監督者からのフィードバックは、追尾識別子リスト記憶部４０７に通知される。
【００６４】
追尾識別子リスト記憶部４０７は、監督者から今回の認識結果が「属性不一致でかつ誤認識」であるとのフィードバックを受けると、内部で管理している登録除外情報の更新を行う。この場合、今回認識処理した顔画像が割り当てられている追尾識別子の登録除外人物ＩＤに、今回誤認識した登録人物ＩＤを追加する。さらに同じ追尾識別子の登録除外属性に、今回誤認識した登録人物の人物属性を追加する。「属性は一致しているが誤認識」であるとのフィードバックを受けた場合は、登録除外人物ＩＤの更新のみを行う。或いは、本実施形態のように、人物属性のクラス分類に重複がなく漏れもないような場合には、一致している属性以外の属性を、同じ追尾識別子の登録除外属性に追加してもよい。
【００６５】
例えば、撮像画像の人物が女性であるのに、認識結果として人物属性が男性の登録人物と誤認識した場合、監督者からのフィードバックは「属性不一致でかつ誤認識」となる。その場合には、登録除外人物ＩＤに登録人物ＩＤを追加すると同時に、登録除外属性に、今回誤認識した登録人物の人物属性（男性）を追加する。
【００６６】
また例えば、撮像画像の人物が女性である場合に、認識結果として人物属性が女性の登録人物と誤認識した場合、監督者からのフィードバックは「属性一致しているが誤認識」となる。その場合には、登録除外人物ＩＤに登録人物ＩＤを追加すると同時に、登録除外属性に、今回誤認識した登録人物の人物属性（女性）以外の人物属性（つまり男性）を追加する。
【００６７】
ここで、画像入力部１０１から画像が入力された時の、個人認識部１０５、登録人物リスト記憶部４０６、追尾識別子リスト記憶部４０７の間での情報のやり取りをもう少し詳細に説明しておく。
【００６８】
画像入力部１０１から入力された画像に対して、顔検出部１０２、追尾部１０３、個人特徴取得部１０４において、それぞれ顔検出、顔追尾、個人特徴抽出が実行される。その結果、今回認識処理を行う顔画像に対応する追尾識別子が特定されると同時に、その顔画像に対応する入力個人特徴が取得される。個人認識部１０５には、このようにして取得された入力個人特徴と、その追尾識別子とが入力される。
【００６９】
個人認識部１０５は、入力された追尾識別子を追尾識別子リスト記憶部４０７に示すことで、今回の認識処理から除外すべき登録人物ＩＤの有無、および登録除外属性の有無を確認する。つまり、追尾識別子リスト記憶部４０７は、示された追尾識別子に対応する登録除外人物ＩＤがあれば、その登録人物ＩＤを登録人物リスト記憶部１０６に伝える。同様に、示された追尾識別子に対応する登録除外属性があれば、その人物属性を登録人物リスト記憶部４０６に伝える。
【００７０】
登録人物リスト記憶部４０６は、今回の認識処理で使用する登録個人特徴を個人認識部１０５に対して出力する。その際には、追尾識別子リスト記憶部４０７から伝えられた登録人物ＩＤに対応する登録個人特徴と、同じく追尾識別子リスト記憶部４０７から伝えられた登録人物属性に対応する登録個人特徴とを除外して出力する。
【００７１】
図５、図６を用いて、上記の手順を具体的に説明する。例えば図５（ａ）に示すように、６人の登録人物（それぞれの登録人部ＩＤをＲｅｇＩＤ＿０〜ＲｅｇＩＤ＿５とする）が登録人物リスト記憶部４０６に登録されているとする。このあらかじめ登録されているすべての登録人物ＩＤの登録個人特徴をデフォルト登録個人特徴セットと呼ぶ。
【００７２】
このとき、個人認識部１０５に入力されてくる追尾識別子がＴｒａｃｋＩＤ＿０であれば、図５（ｂ）から登録人物除外ＩＤも登録除外属性もＮｏｎｅであるので、除外する登録個人特徴はない。従って、個人認識部１０５では、すべての登録個人特徴（デフォルト登録個人特徴セット）と、入力個人特徴とから類似度を取得する。
【００７３】
個人認識部１０５に入力されてくる追尾識別子がＴｒａｃｋＩＤ＿１であれば、図５（ｂ）から登録人物除外ＩＤはＲｅｇＩＤ＿３で、登録除外属性は女性であることがわかる。その場合、図５（ｂ）からＲｅｇＩＤ＿３、ＲｅｇＩＤ＿１、ＲｅｇＩＤ＿２、ＲｅｇＩＤ＿４に対応する登録個人特徴を除外することがわかる。したがって、個人認識部１０５では、ＲｅｇＩＤ＿３、ＲｅｇＩＤ＿１、ＲｅｇＩＤ＿２、ＲｅｇＩＤ＿４の登録個人特徴を除くデフォルト登録個人特徴セットと、入力個人特徴とから類似度を取得する。
【００７４】
個人認識部１０５に入力されてくる追尾識別子がＴｒａｃｋＩＤ＿２であれば、図５（ｂ）から登録人物除外ＩＤはＲｅｇＩＤ＿０、ＲｅｇＩＤ＿２で、登録除外属性はないことがわかる。したがって、個人認識部１０５では、ＲｅｇＩＤ＿０、ＲｅｇＩＤ＿２の登録個人特徴を除くデフォルト登録個人特徴セットと、入力個人特徴とから類似度を取得する。
【００７５】
個人認識部１０５に入力されてくる追尾識別子がＴｒａｃｋＩＤ＿３であれば、図５（ｂ）から登録人物除外ＩＤはなしで、登録除外属性は男性であることがわかる。その場合、図５（ｂ）からＲｅｇＩＤ＿０、ＲｅｇＩＤ＿３、ＲｅｇＩＤ＿５に対応する登録個人特徴を除外することがわかる。したがって、個人認識部１０５では、ＲｅｇＩＤ＿０、ＲｅｇＩＤ＿３、ＲｅｇＩＤ＿５の登録個人特徴を除くデフォルト登録個人特徴セットと、入力個人特徴とから類似度を取得する。このようにすることで、追尾識別子に応じて、個人認識部１０５において類似度を取得すべき登録人物ＩＤを制限することができる。
【００７６】
図１０を使って、本実施形態における処理の流れを説明する。図１０は情報処理装置が実行する処理を説明するフローチャートである。なお、実施形態１と同様の処理については説明を省略し、差異がある部分を中心に説明する。個人識別部１０５は、撮像画像から得た顔画像における人物の属性情報を更に認識する。フィードバック入力部１０９は、属性情報が合っているか否かについての判定結果を更に受け付ける。判定結果によって顔画像の属性情報が誤りであると判定された場合、個人認識部１０５は、顔画像の属性情報と異なる属性情報を持つ登録人物と比較することによって顔画像を認証する。
【００７７】
Ｓ１では、検出部１０２が、注目画像から顔の特徴を抽出することによって顔画像を検出する。Ｓ２では、追尾部１０３が、注目画像の前に撮像された過去のフレーム画像から検出された顔画像と類似した顔を追尾する。Ｓ３では、追尾部１０３が、追尾識別子ｉについて、前のフレームに存在した顔画像であるか否かを判断する。なお、Ｓ３以降の処理はｉ＝０からｉ＝Ｎ−１まで順番に処理していく。追尾識別子ｉが前フレームでも検出されていた場合は、Ｓ４０に進む。追尾識別子ｉが前フレームでは検出されていない場合、すなわち新しく設定された追尾識別子である場合は、Ｓ４１へ進む。Ｓ４０では、追尾識別子リスト記憶部１０７が、個人認識部１０５に前のフレーム画像で生成された追尾識別子リストを参照する。追尾識別子ｉが前のフレームにおいて検出している場合、追尾識別子リスト記憶部１０７は前のフレームで生成された追尾識別子リストを保持している。本実施形態においては、除外属性情報についても保持している。そのため、前のフレーム画像におけるフィードバックによって顔画像ｉの属性情報が限定されていた場合、認識対象となる登録人物ＩＤが限定されたリストになっている。個人認識部１０５では、この追尾識別子リストを使って追尾識別子ｉについての顔認識を実行する。Ｓ４１では、追尾識別子リスト記憶部１０７が、追尾識別子ｉについてのリストを更新する。新しく追加された追尾識別子については、フィードバックが未だないため、除外ＩＤにはＮｏｎｅとしてリストを生成する。
【００７８】
Ｓ５では、追尾識別子リスト記憶部１０７が、今までのフィードバック情報が反映された追尾識別子リストに基づいて、追尾識別子ごとに認識処理を行わない登録人物の人物ＩＤ（これを除外ＩＤと呼ぶ）を保持しているか判断する。ｉ番目の追尾識別子について、除外ＩＤがない場合はＳ６０に進む。除外ＩＤがある場合はＳ６１に進む。Ｓ６０では、個人認識部１０５が、リストに登録された人物の顔の特徴と第１の顔画像の特徴とを比較することによって、第１の顔画像がリストに登録された人物のうち第１の人物であることを認識する。Ｓ６１では、個人認識部１０５が、リストに登録された人物のうち除外された人物以外の顔の特徴と第１の顔画像の特徴とを比較することによって、第１の顔画像がリストのうち除外ＩＤ以外の人物であることを認識する。ここでは、追尾識別子リスト記憶部４０７から伝えられた登録人物ＩＤに対応する登録個人特徴と、同じく追尾識別子リスト記憶部４０７から伝えられた登録人物属性に対応する登録個人特徴とを除外したリストを参照する。
【００７９】
Ｓ８では、表示制御部１０８が、ｉ番目の顔画像が登録人物であることをユーザに通知するための表示を行うよう制御する。Ｓ９では、フィードバック入力部１０９が、監督者（ユーザ）からｉ番目の顔画像が認識された登録人物であるか否かについてのフィードバックを受け付ける。Ｓ１０では、フィードバック入力部１０９が、フィードバックに基づいて認識結果が誤っていたか否かを判断する。監督者が今回の顔認識結果が誤っていると判断した場合は、Ｓ２０に進む。監督者が今回の顔認識結果が正解であると判断した場合は、Ｓ１２に進む。
【００８０】
Ｓ２０では、フィードバック入力部１０９が、監督者（ユーザ）からｉ番目の顔画像の属性情報に関する認識結果が整合しているかフィードバックを受け付ける。属性情報が整合している場合は、Ｓ２１に進む。属性情報が整合しておらず、誤りである場合は、Ｓ２２に進む。Ｓ２１では、追尾識別子リスト記憶部４０７が、認識結果あるいはフィードバックに基づいて、ｉ番目の顔画像に対応する追尾識別子リストについて、認識された登録人物に対応する登録人物ＩＤを除外ＩＤとして更新する。Ｓ２２では、追尾識別子リスト記憶部４０７が、顔画像ｉの登録除外人物ＩＤに、今回誤認識した登録人物ＩＤを追加し、さらに同じ追尾識別子の登録除外属性に、今回誤認識した登録人物の人物属性を追加する。Ｓ１２では、個人認識部１０５が、次の顔画像があるか否かを判断する。ｉをインクリメントし、Ｎと比較することによって、判断する。次の顔画像がある場合は、Ｓ５に戻る。次の顔画像がない場合（現在のフレームにおける顔画像についてすべて認識を終えた場合）は、処理を終了する。
【００８１】
図９を使って、本実施形態におけるＧＵＩについて説明する。図８と符号が共通する構成は説明を省略する。Ｇ３０３は、Ｇ２００に表示されている追尾識別子のうち、登録人物であると認証された追尾識別子に対応する顔画像である。ここでは、Ｇ２００から特定された顔画像とＩＤに加えて、属性情報である性別も表示される。Ｇ３０４は、Ｇ３０３に表示されている追尾識別子についての認証結果を示す画像である。ここでは、登録人物リストから顔画像とＩＤに加えて、属性情報である性別も表示される。Ｇ５０１は、追尾識別子リストである。ここでは、ＴｒａｃｋＩＤ＿０が選択されており、ＴｒａｃｋＩＤ＿０に対応する顔画像の認識結果である属性情報を表示する。ここでは、ＴｒａｃｋＩＤ＿０は女性であることが推定されている。Ｇ４００、Ｇ４０４とＧ４０５は、ユーザによって判定されたフィードバックを入力するＵＩである。Ｇ４００は、ユーザによって認識結果が正しいと判断された場合に認識結果が正解であるというフィードバックを受け付ける。Ｇ４０４は、属性情報（ここでは性別）が誤っており、なおかつ登録人物ではなかった場合に、「属性不一致でかつ誤認識」であるというフィードバックを受け付ける。Ｇ４０５は、属性情報（ここでは性別）はあっているが、登録人物ではなかった場合に、「属性は一致しているが誤認識」であるというフィードバックを受け付ける。
【００８２】
実施形態１では、一度誤認識してしまった場合に、先ほど誤認識してしまった登録人物を、もとの登録人物セットから除外したうえで、その後の同一人物に対する認識処理を行うようにすることで同じ誤認識を繰り返さないようにした。
【００８３】
実施形態２では、誤認識に加えて属性も不一致だった場合には、その属性情報も利用して、もとの登録人物セットから除外する。上記の効果に加えて、その後の同一人物に対する認識処理において、別の誤認識が発生する可能性も低減させることが可能となっている。
【００８４】
＜実施形態３＞
実施形態１、２では、単一のカメラで顔の追尾を行う場合の例について記したが、本発明は、複数のカメラに渡って顔の追尾を行う場合でも適用可能である。本実施形態では、複数のカメラに渡って顔の追尾を行う場合の例を示す。
【００８５】
図６は、情報処理システム７００（情報処理システム１００及び情報処理システム７０４から成る）及び、カメラ間人物統合部７０１から構成されるシステムの構成を示す図である。図６において、図１と同じ意味を持つ部品には図１と同じ番号を付与し、その説明は省略する。
【００８６】
図６は、情報処理システム７００の構成を示すブロック図である。また、符号７０４は同じ機能構成を有する別の情報処理システムを示している。
【００８７】
符号７０１は、カメラ間人物統合部である。カメラ間人物統合部７０１では、複数の情報処理システム７００で撮像された顔画像の対応関係を調査し、同一人物の判定を行う。つまり、ある情報処理システム７００で撮像された顔と、別の情報処理システム７００で撮像された顔が同一人物のものか否かを判断する。さらに判断結果を、情報処理システム７００から送られてくる追尾識別子と関連付けて管理する。また、情報処理システム７００から送られてくる登録除外情報も併せて管理を行う。カメラ間人物統合部７０１の詳細を以下に説明する。
【００８８】
カメラ間追尾部７０２では、複数の情報処理システム７００から送られてくる顔検出画像を用いて、複数カメラ間での顔画像との対応関係をとる機能を有する。複数カメラ間での顔画像の対応をとる手法は特に問わない。実施形態１で説明したように、顔画像の輝度データや色情報を用いて対応をとる手法を使用すればよい。また、顔画像だけでは対応関係が十分判定できない場合には、情報処理システム７００から全身画像を送ってもらうようにし、服の色や持ち物の有無から対応を決定してもよい。情報処理システム７００では、顔検出結果を基に全身領域を推定すればよい。
【００８９】
複数の情報処理システム７００から送られてきた複数の顔が同一人物のものであるとされた場合、その人物を特定するために、追尾識別子（カメラ間追尾で設定される追尾識別子をカメラ間追尾識別子と呼ぶ）を設定する。
【００９０】
カメラ間追尾部７０２は、情報処理システム７００から送られてきた追尾識別子（同一と判定された両者の追尾識別子）と、カメラ間追尾識別子とをカメラ間記憶部７０３に送る。
【００９１】
カメラ間記憶部７０３では、情報処理システム７００から送られてくる、追尾識別子と登録除外人物ＩＤの情報を、さらにカメラ間追尾識別子と関連させて管理する。
【００９２】
図６には、カメラ間記憶部７０３におけるカメラ間追尾識別子、追尾識別子（情報処理システム７００のものと７０４のもの）、登録人物除外ＩＤの管理の状態を表で図示している。図６において、カメラ間追尾識別子がｉｎｔｅｇＴｒａｃｋＩＤ＿０は、情報処理システム７００では追尾識別子ＴｒａｃｋＩＤ＿０として管理されている人物であり、登録人物除外ＩＤがないということを示している。また、カメラ間追尾識別子がｉｎｔｅｇＴｒａｃｋＩＤ＿１は、情報処理システム７００では追尾識別子ＴｒａｃｋＩＤ＿１として管理されている人物であり、登録人物除外ＩＤがＲｅｇＩＤ＿３であるということを示している。また、カメラ間追尾識別子がｉｎｔｅｇＴｒａｃｋＩＤ＿２は、情報処理システム７００では追尾識別子ＴｒａｃｋＩＤ＿２として管理され、顔認識システム７０４では追尾識別子ＴｒａｃｋＩＤ＿１として管理されている人物である。登録人物除外ＩＤがＲｅｇＩＤ＿０であるということを示している。また、カメラ間追尾識別子がｉｎｔｅｇＴｒａｃｋＩＤ＿３は、顔認識システム７０４では追尾識別子ＴｒａｃｋＩＤ＿２として管理されている人物であり、登録人物除外ＩＤがないということを示している。
【００９３】
カメラ間記憶部７０３では、以上のようにカメラ間追尾識別子及び追尾識別子に関連付けられて、登録人物除外ＩＤが管理されている。カメラ間記憶部７０３では、情報処理システム７００（或いは７０４）の追尾識別子リスト記憶部７０７で行われる登録除外情報の更新に連動して、登録除外ＩＤが更新される。さらに、更新した情報を顔認識システム７０４（或いは７００）の登録除外情報管理部７０７に通知する。通知を受けた登録除外情報管理部７０７では、その情報に基づいて、登録除外情報を更新する。
【００９４】
追尾識別子リスト記憶部７０７は符号１０７で説明した動作に加えて、上述したようにカメラ間記憶部７０３と登録除外情報をやり取りし、自分が管理している登録除外情報の更新を行う。
【００９５】
以上のように構成することで、複数のカメラに渡って顔の追尾を行う場合でも本発明を適用可能となる。
【００９６】
＜その他の実施形態＞
これまでの実施形態では、顔認識が正認識であった場合に関しては言及していなかった。正認識であった場合には、その情報を利用して、監督者がサービス（例えば顧客の好みに応じた接客等）を開始することになるが、そのサービスの形態によっては、同じ追尾識別子で表現される同一人物に対しては、以降の顔認識は必要ない場合もありうる。従って、ある追尾識別子に対して、正認識が行われれば、以降の顔認識をスキップすることも可能である。
【００９７】
これまで説明した実施形態では、監督者からのフィードバックは誤認識した場合に限定されていたが、正認識の場合にもフィードバックをしてもらえば、正認識の判断が可能となる。或いは、誤認識とのフィードバックがなければ、それをもって正認識と判断してもよい。
【００９８】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【００９９】
１００  情報処理装置
１０１  画像入力部
１０２  検出部
１０３  追尾部
１０４  個人特徴取得部
１０５  個人認識部
１０６  登録人物リスト記憶部
１０７  追尾識別子リスト記憶部
１０８  表示制御部
１０９  フィードバック入力部
【図１】
2020087305.tif 000003
【図２】
2020087305.tif 000004
【図３】
2020087305.tif 000005
【図４】
2020087305.tif 000006
【図５】
2020087305.tif 000007
【図６】
2020087305.tif 000008
【図７】
2020087305.tif 000009
【図８】
2020087305.tif 000010
【図９】
2020087305.tif 000011
【図１０】
2020087305.tif 000012