(57)【要約】      （修正有）【課題】照合データベースに登録する顔の特徴量を抑制することで、照合データベースが肥大することを抑制する技術を提供する。【解決手段】情報処理装置は、映像を取得する取得部と、取得された映像の複数のフレームより同一人物の顔を少なくとも１つ検出する検出部と、検出された顔を、予め定められた複数のグループに分類する分類部と、前記グループごとに分類された顔の中から、前記グループごとに２以上の整数である第１の所定数以下の顔を選択する選択部と、前記選択した顔の特徴量をデータベースに登録する登録部とを有する。【選択図】図２
2017033547.tif 000002
【特許請求の範囲】
【請求項１】
映像を取得する取得手段と、
前記取得された映像の複数のフレームより同一人物の顔を少なくとも１つ検出する検出手段と、
前記検出された顔を、予め定められた複数のグループのいずれかに分類する分類手段と、 
前記グループごとに分類された顔の中から、前記グループごとに２以上の整数である第１の所定数以下の顔を選択する選択手段と、
前記選択した顔の特徴量をデータベースに登録する登録手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記選択手段は、顔のサイズ、ブレ、目つぶり、口開けの少なくとも１つに基づいて、前記第１の所定数以下の顔を選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検出手段は、あるフレームにおいて検出された顔に基づいて当該検出された顔を前記映像において追尾することにより、前記複数のフレームより同一人物の顔を検出することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記グループは人物の顔向きであることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記複数のグループのうちの第１のグループに対して定められた前記第１の所定数と、第２のグループに対して定められた前記第１の所定数とは異なる値であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記選択手段は、優先度に基づいて、前記複数のグループから第２の所定数以下のグループを選択し、当該選択した第２の所定数以下のグループごとに前記第１の所定数以下の顔を選択し、
前記優先度は、前記複数のグループに対して予め設定されている
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記グループは人物の顔向きであり、
前記優先度は、前記顔向きが正面から外れるグループほど低い
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
対象人物のクエリ画像から抽出された特徴量に基づき、前記データベースに登録された特徴量との照合を行う照合手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
対象人物のクエリ映像を入力する入力手段を更に有し、
前記照合手段は、前記クエリ映像から抽出された前記対象人物のクエリ画像の特徴量に基づいて照合を行うことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記入力手段は対象人物の複数のクエリ画像を入力し、
前記照合手段は、前記複数のクエリ画像を顔向きごとに分類し、１つの顔向きに対して１つの特徴量を決定し、当該決定した顔向きごとの特徴量を用いて照合を行う
ことを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記入力手段は、対象人物の顔を複数の方向から撮影して得られた複数のクエリ画像を入力し、
前記照合手段は、前記入力された複数のクエリ画像から得られた特徴量を用いて照合を行う
ことを特徴とする請求項９に記載の情報処理装置。
【請求項１２】
前記照合手段による照合結果を表示装置に表示する表示手段を更に有することを特徴とする請求項８乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記登録手段は、顔器官点に関する特徴量をデータベースに登録し、
前記照合手段は、対象人物のクエリ画像から抽出された顔器官点に関する特徴量を、前記データベースに登録された顔器官点に関する特徴量と照合する
ことを特徴とする請求項８乃至１２のいずれか１項に記載の情報処理装置。
【請求項１４】
情報処理装置の制御方法であって、
取得手段が、映像を取得する取得工程と、
検出手段が、前記取得された映像の複数のフレームより同一人物の顔を少なくとも１つ検出する検出工程と、
分類手段が、前記検出された顔を、予め定められた複数のグループのいずれかに分類する分類工程と、 
選択手段が、前記グループごとに分類された顔の中から、前記グループごとに２以上の整数である第１の所定数以下の顔を選択する選択工程と、
登録手段が、前記選択した顔の特徴量をデータベースに登録する登録工程と
を有することを特徴とする情報処理装置の制御方法。
【請求項１５】
コンピュータが読み込み実行することで、前記コンピュータを、請求項１乃至１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の人物の照合技術に関するものである。
【背景技術】
【０００２】
従来、監視映像の各フレームから人間の顔を検出し、その顔から画像特徴量を算出して映像のフレームと対応づけて蓄積し、クエリ画像で示された人物の顔と一致する映像を蓄積画像から探し出す技術が知られている。例えば、迷子の子供の顔をクエリ画像とし、蓄積画像から探し出すことで、その子供が映っている映像から場所と時間を特定する、ということが可能となっている。
【０００３】
映像の全てのフレームから検出される顔を全て登録する方法が有るが、この場合、蓄積する画像特徴量が膨大となる。そこで、フレーム間引きを行う事により処理フレームレートを低下させ、登録する画像特徴量を削減する方法が考えられる。しかし、一般に、顔照合の精度は顔向きに依存するため、フレーム間引きを行う事で好ましい顔向きのフレームを捨ててしまう事が起きるため、照合漏れを起こす確率が高くなる。
【０００４】
特許文献１は、顔認証システムに関するものである。この特許文献１は、予め登録してある人物Ａに対し、新規登録人物Ｂのどの画像特徴量を登録するか、また、どの様に高精度な照合を行うかをその課題としている。このシステムでは登録のフェーズで、動画を撮影し複数のフレームから抽出される人物Ｂの顔から、登録にふさわしい顔およびその画像特徴量を決定する。映像フレームから検出された人物Ｂの顔の向きを判別し、顔向き毎に区分し、それらを総当たりで類似比較し本人の顔らしさを決定するための類似度の閾値を決定する。更に人物Ｂの各顔向きの顔の画像特徴量と、人物Ａの同じ顔向きの画像特徴量を比較し、類似度がその閾値以上で有れば人物Ｂのその顔向きの画像特徴量は記憶を行わず破棄する。これにより、人物Ａ、Ｂの顔を弁別するために必要な画像特徴量に絞り、蓄積する画像特徴量の量を削減し、且つ、弁別精度の劣化を防ぐ事を可能としている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２-３７９９５号公報
【特許文献２】特開２００２−３７３３３２号公報
【非特許文献】
【０００６】
【非特許文献１】Ｅｒｉｋ Ｍｕｐｈｙ−Ｃｈｕｔｏｒｉａｎ， “Ｈｅａｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍｓ： Ａ ｒｏｂｕｓｔ ａｌｇｏｒｉｔｈｍ ａｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｅｖａｌｕａｔｉｏｎ，” ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｃｏｎｆ． Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ， ２００７， ｐｐ． ７０９−７１４．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、この特許文献１の技術は、監視映像からの人物検索には利用するのは困難である。なぜなら、或る人物の顔を登録する際には、既に登録済みの全ての人物の顔との照合を行う必要が有り、大量に人物が登場する監視映像中では、登録処理にかかる負荷が極端に大きくなるからである。
【０００８】
本発明は、上記問題点に鑑みなされたものである。そして、本発明は、照合データベースに登録する顔の特徴量を抑制することで、照合データベースが肥大することを抑制する技術を提供しようとするものである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明の情報処理装置は以下の構成を備える。すなわち、
映像を取得する取得手段と、
前記取得された映像の複数のフレームより同一人物の顔を少なくとも１つ検出する検出手段と、
前記検出された顔を、予め定められた複数のグループのいずれかに分類する分類手段と、 
前記グループごとに分類された顔の中から、前記グループごとに２以上の整数である第１の所定数以下の顔を選択する選択手段と、
前記選択した顔の特徴量をデータベースに登録する登録手段とを有する。
【発明の効果】
【００１０】
本発明によれば、照合データベースに登録する顔の特徴量を抑制することで、照合データベースが肥大することを抑制することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施形態の装置のブロック構成図。
【図２】実施形態の装置の機能構成図。
【図３】実施形態に顔向きに応じた分類を説明するための図。
【図４】実施形態におけるオブジェクト追尾情報の内容を示す図。
【図５】実施形態における画像特徴量蓄積部の処理を説明するための図。
【図６】実施形態におけるオブジェクト追尾が開始と終了するタイミングの例を示す図。
【図７】実施形態における照合データベースの構造の例を示す図である。
【図８】第１の実施形態における映像蓄積処理を示すフローチャート。
【図９】図８におけるＤＢ登録処理を示すフローチャート。
【図１０】第１の実施形態における照合処理を示すフローチャート。
【図１１】第２の実施形態における照合処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下で説明する各実施形態は、本発明を具体的に実施した例を示すもので、特許請求の範囲に記載の構成の具体的な実施形態の１つである。
【００１３】
［第１の実施形態］
図１は、本実施形態における画像照合装置１００のブロック構成図である。本装置１００は、画像検索のサーバ装置、および、クライアント装置として機能するものとして説明するが、サーバ機能、クライアント機能はそれぞれ独立した装置で構成しても構わない。また、サーバ装置は、単独の装置ではなく、複数のコンピュータ装置で処理を分散して実現しても構わない。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続されている。コンピュータ装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の情報処理装置によって実現することができる。
【００１４】
図１において、ＣＰＵ１０１は画像照合装置１００全体を制御するＣｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔである。ＲＯＭ１０２は変更を必要としないプログラム（ＢＩＯＳ等）やパラメータを格納するＲｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙである。ＲＡＭ１０３は外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙである。外部記憶装置１０４はコンピュータ装置１００に固定して設置されたハードディスク等の大容量の記憶装置である。この外部記憶装置１０４は、本装置のオペレーティングシステム（ＯＳ）、画像照合にかかるアプリケーション、照合する際に参照する照合データベース（以下、照合ＤＢという）が格納されている。また、後述するが、ビデオカメラで撮像した映像データも、この外部記憶装置１０４に格納されている。
【００１５】
入力デバイスインターフェイス１０５はユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイス１０９とのインターフェイスである。出力デバイスインターフェイス１０６はコンピュータ装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０とのインターフェイスである。通信インターフェイス１０７はインターネットなどのネットワーク回線１１１に接続するための通信インターフェイスである。ネットワーク回線１１１上には、ネットワークカメラ１１２ａ乃至１１２ｃが接続されている。なお、ネットワークカメラ１１２ａ乃至１１２には、それぞれカメラＩＤが割り当てられている。ここでは、ネットワークカメラ１１２ａ、１１２ｂ、１１２ｃにカメラＩＤ１，２，３が割り当てられているものとして説明する。また、接続されているネットワークカメラは１以上であればよく、その数は問わない。システムバス１０８は１０１〜１０７の各ユニットを通信可能に接続する伝送路である。
【００１６】
上記構成において、電源がＯＮになると、ＣＰＵ１０１はＲＯＭ１０２に格納されたＢＩＯＳプログラムを実行し、外部記憶装置１０４からＯＳ（オペレーティングシステム）をＲＡＭ１０３上にロードし、ＯＳを実行する。この結果、本装置が情報処理装置として機能することになる。そして、ＯＳの制御下において、外部記憶装置１０４から、画像照合にかかるサーバプログラム、および、クライアントプログラムを実行することで、本装置が画像照合装置として機能することになる。
【００１７】
図２は、実施形態における映像照合装置の機能ブロック構成図である。同図は、検索サーバ、クライアントの両機能のプログラムを、ＣＰＵ１０１が実行した場合の機能構成図でもある。
【００１８】
制御処理部２１１は、符号２０１乃至２１０で示される各処理部を制御するためのメイン処理を行う。
【００１９】
映像入力部２０１は、通信インターフェース１０７を介して、ネットワークカメラ１１２ａ乃至１１２ｃそれぞれからの映像フレームを受信し、外部記憶装置１０４にそれぞれ格納していく。入力するフレームレートは例えば３０フレーム／秒とする。上記の結果、外部記憶装置１０４は、ネットワークカメラ１１２ａ〜１１２ｃそれぞれの動画像ファイルが作成されることになる。また、映像入力部２０１は、受信した映像フレームを顔検出部２０５に供給する。
【００２０】
顔検出部２０５は、顔向き検出部２０７、顔画像特徴抽出部２０９を利用して、顔検出を行う。顔画像特徴出部２０９は、映像フレーム中の顔領域を検出し、その特徴量を抽出し、顔検出部２０５に返す。本実施形態では、顔画像特徴量として顔器官点のＳＩＦＴ(Scale Invariant Feature Transform)特徴量を求めるものとする。また、顔画像特徴出部２０９は、顔特徴量を抽出する際に、その顔領域の外接矩形の左上隅の座標、並びに、その外接矩形のサイズ（幅Ｗと高さＨ）も顔検出部２０５に返す。なお、サイズの代わりに外接矩形の右下隅の座標でも構わない。
【００２１】
顔向き検出部２０７は、顔検出部２０５で検出された顔の向きを検出し、その向きを示す情報（顔向きパターン番号）を、顔検出部２０５に返す。なお、画像中の人物の顔の向きを検出する技術は、公知であるのでその詳述は省略する（例えば非特許文献１）。
【００２２】
実施形態における顔向き検出部２０７は、着目している顔の向きが、図３（ａ）に示す５×５個のパターンのいずれかに該当するかを判定する。なお、図示では５×５個のパターンで示しているが、この数は特に問わない。ネットワークカメラの解像度が十分に高ければ、特徴量や向きの精度が高くなるので、パターン数を更に増やしても構わない。図示のパターンでは、正面を向いている顔の向きを中心に位置し、上下左右方向へのずれ角が大きくなるほど、中心位置から外れるようにした。換言すれば、５×５個のパターンの中心に近いほど、顔向きが正面に向くように顔向きのパターンを配置した。顔照合では、正面を向いている顔を用いた場合にその精度が高くなる。つまり５×５個の顔向きの中心位置が最も優先順位が高く、その中心位置から外れるにしたがって優先順位が低いものとした。図３（ｂ）はその顔向きパターン番号の一例である。図示の如く、顔の向きが正面を向いている場合の顔向きパターン番号は“１”である。そして、その周りに向き顔向きパターン番号２〜９、さらにその外側に顔向きパターン番号１０乃至２５を割り当てた。なお、顔向きパターン番号２〜９は、必ずしも図示の通りでなくても構わない。顔向きパターン番号１０乃至２５も同様である。
【００２３】
以上の説明の通り、顔検出部２０５は、ネットワークカメラ１１２ａ乃至１１２ｃそれぞれより受信した各映像フレームから、顔向き検出部２０７、顔画像特徴抽出部２０９を利用して、人物の顔の位置、サイズ、特徴量、顔向きパターン番号を得る。
【００２４】
追尾処理部２０５は、制御処理部２１１からの追尾開始指示情報を受けると、現在のフレーム内の指示された顔を追尾開始対象の顔とし、それ以降のフレーム画像の該当する顔の追尾処理を行う。ここで追尾開始指示情報には、いずれのネットワークカメラからのフレーム画像かを示す情報（カメラＩＤ）、その追尾対象の顔の初期位置を示す情報、追尾する顔を特定するためのオブジェクトＩＤが含まれる。オブジェクトＩＤは、初期値は１であり、追尾すべき顔が発見されるたびに１増加されるものである。なお、画像中の人物を追尾する処理は、例えば、特許文献２に開示された技術を用いればよい。
【００２５】
追尾処理部２０５は、上記の追尾開始指示情報を受けると、図４に示すようなオブジェクト追尾情報をＲＡＭ１０３上に生成する。１つのオブジェクト追尾情報は、カメラＩＤとオブジェクトＩＤで特定される。格納される情報には、本装置がその日の撮影記録を開始してから、追尾開始を指示された時のフレーム番号（時刻でも構わない）が含まれる。そして、さらには、該当する映像フレーム内の追尾対象の顔の外接矩形の左上隅の位置とサイズ（幅、高さ）、顔向きパターン番号、および、その顔の特徴量が含まれる。これらの情報は、顔向き検出部２０７、顔画像特徴抽出部２０９からの情報を利用する。
【００２６】
そして、追尾処理部２０５は、映像フレームが順次入力され、該当する顔の追尾が成功しつつある限り、該当するオブジェクト追尾情報に、上記で説明したフレーム番号、位置、サイズ、顔向きパターン番号、特徴量を追記していく。そして、追尾不可となった場合、追尾処理部２０５は、制御処理部２１１に対して該当するオブジェクトＩＤに対する追尾が終了した旨を通知する。なお、追尾不可となるケースは、追尾中の人物（の顔）がカメラの視野範囲外に移動した場合、人物が後ろを向いたなど、顔として認識できなくなった場合がこれに当たる。
【００２７】
制御処理部２１１は、追尾終了の通知を受けると、該当するオブジェクト追尾情報を、画像特徴蓄積部２０２に渡し、照合ＤＢへの蓄積処理（登録処理）を行わせる。この画像特徴蓄積部２０２の詳細は後述するが、登録処理を終えると、制御処理部２１１は、登録済みのオブジェクト追尾情報をＲＡＭ１０３から消去する。
【００２８】
なお、カメラの視野範囲外に移動した人物が、再度、カメラの視野範囲内に移動することもあり得る。実施形態の装置は、カメラの視野外になった人物と、再度視野内に移動した人物が同一人物か否かは判断しない。それ故、再度、カメラの視野範囲内に移動してきた人物の顔に対しては、新規なオブジェクトＩＤを発行し、追尾を開始することになる。従って、追尾処理部２０５は、結局のところ、カメラの撮像視野範囲にて、顔と認識されたオブジェクトの全てについて追尾処理を行う。従って、図４に示すオブジェクト追尾情報は現に追尾中の顔の数だけ生成されることになる。１台のネットワークカメラの視野内に、顔と認識できる程度にサイズの顔領域はせいぜい４，５０個程度である。ネットワークカメラが３台であることを考慮しても、最大でも１５０個の顔が追尾対象となるに留まるので、現在のコンピュータでは十分に対処できる数と言える。
【００２９】
因に、ネットワークカメラからの映像フレームを受信していて、図６における時刻ｔ０にて人物Ａの顔が初めて検出された場合、人物Ａに対してオブジェクトＩＤが発行され、人物Ａのオブジェクト追尾情報が生成される。これ以降、人物Ａの追尾できなくなる時刻ｔ３まで、人物Ａの追尾処理が行われる。この間、時刻ｔ１にて、別の人物Ｂの顔が、同じ撮影視野内に初めて検出された場合には、人物Ｂに対してオブジェクトＩＤが発行され、人物Ｂのオブジェクト追尾情報が生成される。そして人物Ｂの追尾できなくなる時刻ｔ２まで、人物Ｂの追尾処理が行われることになる。
【００３０】
次に、画像特徴蓄積部２０２の蓄積処理を図５を参照して説明する。この蓄積処理は、既に説明したように或る人物の顔を追尾処理が終了した場合に行われる。
【００３１】
図５における符号５００はオブジェクト追尾情報に格納された顔向きパターン番号の時間推移を表している。なお、図示では、オブジェクト追尾情報に格納された顔向きパターン番号は全部で６つの例を示しているが、これは説明を簡単にするためである。
【００３２】
まず、画像特徴蓄積部２０２は、オブジェクト追尾情報に格納された顔向きパターン番号の出現数の集計処理を行う。図５の符号５０１が集計結果を示し、顔パターンの右下の数字が、その出現数（累積数）を表している。
【００３３】
顔向きパターン番号は図３（ｂ）に示す如く１乃至２５であるので、顔向きＩＤの集計結果を変数Ｆ（顔向きパターン番号）として表す。ここで、実施形態においては、追尾対象の顔に対して、最大４つの顔向きの特徴量を照合ＤＢに登録するものとする。また、１つの顔向きについて、最大２個の特徴量を照合ＤＢに登録する。もちろん、この数は一例であって、それ以上であっても構わない。
【００３４】
実施形態の場合、顔向きパターン番号は、その番号順に優先順位を設定されている（図３（ｂ）参照）。画像特徴蓄積部２０２は、集計した変数Ｆ（１）乃至Ｆ（２５）をこの順番に調べ、出現数が非ゼロ（１以上）である最初の４つを見つける。図５の場合、参照符号５０２で示すように、斜線で示したＦ（１）、Ｆ（２）、Ｆ（３）、Ｆ（６）がこれに当たる。つまり、オブジェクト追尾情報中の顔向きパターン番号＝１，２，３，６となった特徴量が照合ＤＢに登録する候補として決定する。
【００３５】
ここで、顔向きパターン番号“１”の出現数Ｆ（１）は“１”である。つまり、オブジェクト追尾情報に顔向きパターン番号“１”の特徴量は１つしか存在しなかったことになる。それ故、画像特徴蓄積部２０２は、オブジェクト追尾情報内の、顔向きパターン番号“１”となっている特徴量を照合ＤＢに登録する。
【００３６】
また、顔向きパターン番号“２”の出現数Ｆ（２）は“４”であるので、そのうちの２つを登録するものとして決定する。実施形態では、４つのうち、顔のサイズが大きい方から特徴量を登録するものとする。顔の大きい方が、その人物の顔を撮影した際に、カメラとの距離が短いことになり、高い精度が期待できるからである。また、顔向きパターン番号＝３、６の場合も同様である。
【００３７】
以上の結果、照合ＤＢに登録するのは、１つのオブジェクトＩＤにつき、４つの顔向きの特徴量となり、また、１つの顔向きについては最大で２個の特徴量となる。尚且つ、その顔の特徴量は、顔の向きが重複せず、かつ、正面を向いている程度が高いほど登録される可能性が高くできる。しかも、登録する特徴量は、顔のサイズが大きいほど優先されることになり、精度の高い整合処理が期待できる。
【００３８】
図７は実施形態における照合ＤＢの構造例を示している。この照合ＤＢは、外部記憶装置１０４に確保されるものである。同図に示すように、照合ＤＢの１つのレコードは、オブジェクトＩＤ、特徴量（最大４つ）、カメラＩＤ，登録した顔の特徴量の顔を検出した期間の最初のフレーム番号（時刻）、座標、顔のサイズを格納するフィールドで構成される。このうち、特徴量が検索の際にキーとして利用されることになる。
【００３９】
次に、上記説明を踏まえ、実施形態における映像記録のメイン処理を図８のフローチャートに従って説明する。この処理制御部２１１が行うものでもある。
【００４０】
制御処理部２１１は、ステップＳ８１にて、通信インターフェース１１１を介してネットワークカメラ１１２ａ乃至１１２ｃそれぞれから映像フレームを受信し、外部記憶装置１０４に、被照合対象の動画像ファイルとしてそれぞれ記録していく。この際に作成される３つの動画像ファイルのファイル名は、例えばカメラＩＤを付けて作成する。
【００４１】
次いで、制御処理部２１１は、現映像フレームを顔認識部２０６に渡し、顔認識処理を実行させる。この結果、映像フレーム内に存在する各顔の認識結果を得ることができる。制御処理部２１１は、現映像フレームの認識結果と、１つ前の映像フレームの認識結果から、現映像フレーム中に未追尾の顔が存在するか否かを判定する。それが存在した場合、処理はステップＳ８４に進む。このステップＳ８４にて、制御処理部２１１は、追尾処理部２０５に、その新規追尾する顔が存在する位置とサイズ、新規オブジェクトＩＤ、カメラＩＤ、フレーム番号を引数にした追尾開始指示情報を与える。この結果、追尾処理部２０５は図４に示すようなオブジェクト追尾情報を作成し、その顔の追尾処理を行う。 
一方、制御処理部２１１は、ステップＳ８５にて、追尾処理部２０５から追尾終了通知を受信したか否かを判定する。追尾終了通知を受信しなかった場合には、ステップＳ８１以降の処理を繰り返す。そして、追尾終了通知を受信した場合、制御処理部２１１はステップＳ８６にて、追尾終了したオブジェクト追尾情報を画像特徴蓄積部２０２に渡し、照合ＤＢへの登録処理を行わせる。この登録処理を行った後、照合ＤＢに登録に使用したオブジェクト追尾情報を削除し、ステップＳ８１以降の処理を行う。
【００４２】
次に、上記のステップＳ８６のＤＢ登録処理（画像特徴蓄積部２０２の処理）を図９のフローチャートに従って説明する。
【００４３】
画像特徴蓄積部２０２は、ステップＳ９１にて、制御処理部２１１からオブジェクト追尾情報を受信する。そして、画像特徴蓄積部２０２は、受信したオブジェクト追尾情報を解析し、顔向きパターン番号の集計処理を行う。つまり、顔向きパターン番号１乃至２５の出現回数Ｆ（１）乃至Ｆ（２５）を求める。
【００４４】
次いで、画像特徴蓄積部２０２は、ステップＳ９３にて変数ｉを１、変数ｊを０に初期化する。変数ｉは出現回数Ｆ（）を特定するための変数であり、変数ｊは登録する特徴量の個数をカウントするための変数である。
【００４５】
ステップＳ９４では、画像特徴蓄積部２０２は変数ｉと２５とを比較する。変数ｉが２５以下である場合、全出現回数Ｆ（）をチェックしていないことになる。それ故、画像特徴蓄積部２０２は処理をステップＳ９５に進め、変数ｊと照合ＤＢに登録するために予め設定された特徴量の上限数Ｎ（実施形態ではＮ＝４）とを比較する。ｊ＜Ｎの場合、照合ＤＢに登録する特徴量の数が上限数に達していないので、画像特徴蓄積部２０２は処理をステップＳ９６に進める。このステップＳ９６では、顔向きパターン番号がｉの出現回数Ｆ（ｉ）が非ゼロ（１以上）か否かを判定する。非ゼロの場合、画像特徴蓄積部２０２はステップＳ９７にて、顔向きパターン番号＝ｉの中で顔サイズが大きい方から所定数以下の特徴量（本実施形態の場合は、２以下）を、照合ＤＢへの登録対象として決定する。そして、登録対象が１つ決定したので、ステップＳ９８にて、画像特徴蓄積部２０２は、変数ｊを１だけ増加させる処理を行う。そして、ステップＳ１００にて、画像特徴蓄積部２０２は、変数ｉを１だけ増加させる処理を行い、ステップＳ９４に処理を戻す。
【００４６】
さて、ステップＳ９４、Ｓ９５のいずれかの判定結果がＮｏを示す場合、画像特徴蓄積部２０２はステップＳ９９に処理を進める。このステップＳ９９には、画像特徴蓄積部２０２は、登録対象として決定した特徴量を、オブジェクトＩＤ，フレーム数、カメラＩＤ，位置、サイズ情報とともに、照合ＤＢに登録処理を行い、本処理を終える。なお、変数ｊがＮに到達する以前に、変数ｉが２５となることも起こり得る。この場合、登録する特徴量の個数は４未満の個数となる。
【００４７】
以上が本実施形態における映像データ＆特徴量の登録処理である。次に、本実施形態における照合処理を説明する。照合処理は、クエリ映像入力部２０３、顔認識部２０６、顔画像特徴照合部２１０、顔照合結果表示部２０４、および、それらを制御する制御処理部２１１により実現される。以下、図１０のフローチャートに従い、照合処理を説明する。 
まずステップＳ６０１にて、制御処理部２１１はクエリ映像入力部２０３に対してクエリ映像の入力を指示する。クエリ映像の入力源は特に問わない。例えば、検索依頼人が所有する携帯端末を本装置と接続し、探そうとしている人物の顔が映った画像をクエリ映像として本装置に転送しても構わない。なお、本装置がインターネットに接続されている場合には、メールとして受信しても構わない。いずれにせよ、クエリ映像を入力した場合、クエリ人物の顔を特定する処理を行う。例えば、顔検出部２０７にてクエリ映像中に存在する全顔を検出し、検出した顔に矩形枠を付加して表示装置に表示し、検索依頼人にその中の１つを検索対象の顔画像（クエリ顔画像）と選択してもらう。なお、検出した顔が１つだけである場合には、無条件にその顔が選択されたものとして扱っても構わない。クエリ顔画像が決定されると、そのクエリ顔画像を検出の際に抽出した特徴量を検出キーとして決定する。
【００４８】
次に、ステップＳ６０２にて、制御処理部２１１は、照合ＤＢに登録されているオブジェクトＩＤの総個数Ｍ（レコード数）を得る。制御処理部２１１は、取得したＭ，クエリ顔画像の特徴量を引数にして、顔画像特徴照合部２１０に照合処理を要求する。
【００４９】
顔画像特徴照合部２１０は、ステップＳ６０３にて、変数ｉをゼロに初期化する。そして、ステップＳ６０４にて、変数ｉがＭ以下であるか否かを判定する。ｉ＜Ｍの場合、全レコードとの照合が済んでいないことになるので、処理はステップＳ６０６に進む。このステップＳ６０６では、顔画像特徴照合部２１０は、照合ＤＢのｉ番目のレコードを読み込み、その中に格納されているＮｉ個の特徴量を読み込む。実施形態では、最大で４つの顔向きについて、それぞれ最大で２個登録されているため、Ｎｉ個は最大で８である。そして、クエリ顔画像の特徴量と、Ｎｉの特徴量それぞれとの距離を計算し、その中の最少距離を、ｉ番目のレコードのオブジェクトＩＤの人物顔とクエリ顔画像との距離として決定する。顔画像特徴照合部２１０は、オブジェクトＩＤと決定した距離とをペアにして、ＲＡＭ１０３の所定エリアに記憶する。この後、次のレコードとの照合処理を行うため、変数ｉを“１”だけ増加させ、ステップＳ６０４に処理を戻す。
【００５０】
以上の処理を繰り返していき、全レコードとの比較処理を終えたとき（変数ｉ＝Ｍと判断されたとき）、ＲＡＭ１０３には、全ての登録済みのオブジェクトＩＤに対する距離が格納されていることになる。そこで、顔画像特徴照合部２１０は、ステップＳ６０５にて、ＲＡＭ１０３に記憶された距離を小さい順にソートし、本処理を終える。
【００５１】
この後の処理としては、制御処理部２１１が照合結果を顔照合結果表示部２０４に渡すことで、照合結果の表示処理を行う。表示の仕方としては、例えば、距離が小さい順の予め定められた個数の顔画像一覧を表示させ、その中の１つが選択された場合には、その顔に対応するフレーム番号とカメラＩＤとから、動画像の該当する位置から再生を開始するなどを行う。
【００５２】
なお、上記実施形態では、１つのオブジェクト追尾情報中に、同じ顔向きパターン番号が複数存在したとき、その中の最大顔サイズの特徴量を登録対象として決定したが、登録対象の特徴量としてサイズ以外の条件にしてもよい。例えば、映像フレームのブレの度合いが小さいものを優先したり、目つぶりや口開き顔を登録されにくくすることが考えられる。
【００５３】
また、動画を撮影するカメラでも静止画のカメラと同様に、その場所の明るさに従いシャッター速度が変わる場合が有る。従って、暗い場所や被写体の動き速度により、顔画像のブレが生じる事があり、これは直接的に画像特徴量や属性情報の劣化の原因となる。ブレの推定に関しては、顔画像領域の周波数成分を求め、低周波成分と高周波成分との比率を求め、これが低周波成分の比率が所定の値を超えた時にブレを生じていると判断する事が可能となる。更に、眼つぶりや口あき等がると、器官の画像特徴量が変質し、場合によっては属性情報にも誤りを生じる可能性が有る。
【００５４】
更には、上記のサイズや目つぶり、ブレなどの複数のパラメータを用いて登録対象の特徴量を決定する場合には、それらパラメータの種類の座標軸を持つ空間を想定し、その座標空間での距離を求めればよい。
【００５５】
また、顔向きパターン番号が２乃至９は、中心位置を取り囲むように配置されるので、それらは同一レベルと見ることもできる。従って、顔向きパターン番号２乃至９については、その中に集計結果が非ゼロとなっているものが複数存在する場合には、その中の最大サイズの特徴量を決定することを、登録数（実施形態では４）に到達するまで繰り返せばよい。ただし、１つの顔向きパターン番号につき、登録する特徴量は最大でも２つとするのは同じである。上記は顔向きパターン番号１０乃至２５についても同様である。
【００５６】
また、上記実施形態では、所定数を２とし、顔向きパターン毎に所定数以下の顔を選択してその特徴量を登録するようにしている。しかし、この所定数は顔向きパターンによって異なる値としてもよい。例えば、顔向きパターン番号１は所定数を４、顔向きパターン番号２〜９は所定数を３、顔向きパターン番号１０〜２５は所定数を２というように、正面顔に近いパターンほど所定数を大きくする等、顔向きパターンによって異なる数の顔を選択するようにしてもよい。
【００５７】
以上説明したように、本実施形態によれば、同じ顔向きの特徴量は所定の数の特徴量のみ登録されることになるので、照合ＤＢが無駄に肥大化することを抑制できる。しかも、実施形態では、顔向きが正面であるほど優先順位を高くし、その優先順位の上記の所定数の特徴量を照合ＤＢに登録する。この結果、照合ＤＢの肥大化を更に抑制でき、しかも、精度の高い特徴量を登録することが可能となる。そして、同じ顔向きであっても、顔サイズなどの条件の高い精度が期待できる特徴量を登録するので、照合精度も高くすることができる。
【００５８】
なお、上記実施形態では、顔向きで分類して登録ＤＢに登録する例を示したが、例えば、表情（笑顔、泣き顔など）に分類して登録するものであってもよい。すなわち、本実施形態は、入力された映像から抽出された顔を、予め定められたグループ（顔向きや表情など）毎に分類して、登録する構成に広く適用できるものである。
【００５９】
なお、上記実施形態では、追尾処理部２０５が、追尾ターゲットの顔を追尾している際に、その顔の特徴量、向きを、オブジェクト追尾情報に追記していくものとして説明した。しかし、顔認識では、人間の顔であるか否かが判定できればよいので簡易な顔認識を行い、追尾終了した後に、照合ＤＢに登録するための、より精度の高い特徴量や顔向きを算出しても構わない。
【００６０】
また、上記実施形態では、追尾処理部２０５の追尾機能を利用して入力映像の各フレームから同一人物（オブジェクトＩＤが同一の人物）を検出できるようにしている。しかし、例えば、顔画像特徴抽出部２０９が抽出する顔画像特徴量に基づいて、入力された映像の各フレームに含まれる人物を識別することにより、入力映像から同一の人物を検出できるようにしてもよい。すなわち、上述の実施形態において、追尾処理部２０５は必須の構成ではなく、本実施形態はこれに限定されない。
【００６１】
［第２の実施形態］
上記第１の実施形態では、照合処理を行う際に入力するクエリ映像として１枚の画像を利用する例であった。本第２の実施形態では、動画像をクエリ映像とする例を説明する。なお、装置構成は第１の実施形態と同じとし、その説明は省略する。
【００６２】
以下、図１１のフローチャートを参照し、第２の実施形態における照合処理を説明する。
【００６３】
制御処理部２１１は、ステップＳ７０１にて、クエリ映像入力部２９３に対してクエリ動画映像の入力を指示する。クエリ動画映像の入力源は特に問わない。例えば、検索依頼人が所有する携帯端末を本装置と接続し、探そうとしている人物の顔が映った動画像をクエリ動画像として本装置に転送しても構わない。なお、本装置がインターネットに接続されている場合には、メールとして受信しても構わない。また、場合によっては、本システムに蓄積保存された動画像中から、検索する人物を目視で探し出し、それを指定しても構わない。この場合、その人物の他の場所（時間）での行動を検索することと等価となる。 
いずれにせよ、クエリ動画像を入力した場合、クエリ人物の顔を特定する処理を行う。例えば、顔検出部２０７にてクエリ映像中に存在する全顔を検出し、検出した顔に矩形枠を付加して表示装置に表示し、検索依頼人にその中の１つを検索対象の顔画像（クエリ顔画像）と選択してもらう。なお、検出した顔が１つだけである場合には、無条件にその顔が選択されたものとして扱っても構わない。クエリ顔画像が決定されると、そのクエリ顔画像を追跡し、顔向きパターン番号に分類し、各顔向きパターン番号の若い順番から１つずつ特徴量を決定することで計Ｎｑ個の特徴量を決定する。なおクエリ特徴量の個数Ｎｑは、多いほどよいが、多くなるほど照合に時間がかかる。ここでは、照合ＤＢへの登録と同様にＮｑ＝４とする。
【００６４】
次に、ステップＳ７０２にて、制御処理部２１１は、照合ＤＢに登録されているオブジェクトＩＤの総個数Ｍ（レコード数）を得る。制御処理部２１１は、取得したＭ，クエリ顔画像のＮｑ個の特徴量を引数にして、顔画像特徴照合部２１０に照合処理を要求する。 
顔画像特徴照合部２１０は、ステップＳ７０３にて、変数ｉをゼロに初期化する。そして、ステップＳ７０４にて、変数ｉがＭ以下であるか否かを判定する。ｉ＜Ｍの場合、全レコードとの照合が済んでいないことになるので、処理はステップＳ７０６に進む。このステップＳ７０６では、顔画像特徴照合部２１０は、照合ＤＢのｉ番目のレコードを読み込み、その中に格納されているＮｉ個の特徴量を読み込む。実施形態では、Ｎｉ個は最大で４であるのは既に説明した。そして、ステップＳ７０７にて、Ｎｑ個のクエリ特徴量と、Ｎｉ個の特徴量それぞれとの距離を総当たりで計算する。そして、ステップＳ７０８にて、その中の最少距離を、ｉ番目のレコードのオブジェクトＩＤの人物顔とクエリ像顔画像との距離として決定する。顔画像特徴照合部２１０は、オブジェクトＩＤと決定した距離とをペアにして、ＲＡＭ１０３の所定エリアに記憶する。この後、次のレコードとの照合処理を行うため、変数ｉを“１”だけ増加させ、ステップＳ７０４に処理を戻す。
【００６５】
以上の処理を繰り返していき、全レコードとの比較処理を終えたとき（変数ｉ＝Ｍと判断されたとき）、ＲＡＭ１０３には、全ての登録済みのオブジェクトＩＤに対する距離が格納されていることになる。そこで、顔画像特徴照合部２１０は、ステップＳ７０５にて、ＲＡＭ１０３に記憶された距離を小さい順にソートし、本処理を終える。
【００６６】
以上の結果、本第２の実施形態によれば、精度の劣化を抑えながら登録する情報量の削減が可能となっただけでなく、検索時も登録時と同様、複数の代表顔を用いる事で、クエリと登録顔で同じ顔向きで照合する確率を増やす事が可能となる。
【００６７】
［第３の実施形態］
本第３の実施形態では、クエリとして、複数のカメラにより同一人物を撮影する例である。人物検索の精度は顔向きに依存する事から、異なる画角でカメラを複数台設置し、複数の顔向き画像を得る。
【００６８】
この場合、クエリ人物の顔を、複数の異なる方向から撮影するので、一度の撮影で複数の顔向きパターンを得ることが約束されることになる。本処理では、撮影した個々の画像中のクエリ人物とされる同一人物を指定する構成を有し、それぞれの顔の特徴量と顔の向きを得ればよく、これまでの説明から明らかであるので、説明は省略する。なお、撮影する人物が一人であることが約束されているのであれば、人物を指定する構成を省略してもよい。
【００６９】
本第３の実施形態によれば、精度の劣化を抑えながら登録する情報量の削減が可能となった。更に、検索時に、複数の画角の異なるカメラによりクエリ人物を撮影する事により、複数の代表顔を用いる事で、クエリと登録顔で同じ顔向きで照合する確率を増やす事が可能となる。
【００７０】
［第４の実施形態］
本第４の実施形態では、クエリ人物の顔として、複数のカメラにより同一人物を動画撮影する例である。
【００７１】
人物検索の精度は顔向きに依存する事から、異なる画角でカメラを複数台設置し、複数の顔向きを含んだ動画を得る。それ故、カメラの個数をＭ個とするなら、Ｍ個の動画像が得られる。第２の実施形態では、１個の動画像からクエリ人物の顔の特徴量を得るものであったが、本第４の実施形態では、Ｍ個の動画像を入力し、そのＭ個の動画像について顔向きパターン番号の集計を行ってＮｑ個のクエリ特徴量を求めればよい。つまり、図９のＳ９１をＭ回行えばよいので、その説明は省略する。
【００７２】
以上の結果、精度の劣化を抑えながら登録する情報量の削減が可能となる。更に、検索時に、複数の画角の異なるカメラによりクエリ人物を動画撮影する事により、非常に多くの代表顔を用いる事で、クエリと登録顔で同じ顔向きで照合する確率を増やす事が可能となる。
【００７３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７４】
２０１…映像入力部、２０２…画像特徴蓄積部、２０３…クエリ映像入力部、２０４…顔照合結果表示部、２０５…追尾処理部、２０６…顔検出部、２０７…顔向き検出部、２０９…顔画像特徴抽出部、２１０…顔画像特徴照合部、２１１…制御処理部
【図１】
2017033547.tif 000003
【図２】
2017033547.tif 000004
【図３】
2017033547.tif 000005
【図４】
2017033547.tif 000006
【図５】
2017033547.tif 000007
【図６】
2017033547.tif 000008
【図７】
2017033547.tif 000009
【図８】
2017033547.tif 000010
【図９】
2017033547.tif 000011
【図１０】
2017033547.tif 000012
【図１１】
2017033547.tif 000013