(57)【要約】【課題】人物検索または人物認識で用いられる学習用データの収集装置を提供する。【解決手段】実施形態によれば画像から指定された人物を検索する検索装置であって、第１取得部と、第１抽出部と、第２抽出部と、検索部と、追加部とを有する。第１取得部は複数のフレームを含む画像を取得する。第１抽出部は前記フレームに含まれる複数の人物を抽出し、当該人物を特徴づける第１属性を複数種類抽出する。第２抽出部はユーザに指定された第１人物から当該人物を特徴づける第２属性を複数種類抽出する。検索部は前記第２属性の少なくとも１種類を検索条件として、前記第１人物を前記フレームから検索する。追加部は前記検索部で前記第１人物が検索され、前記第１属性と前記第２属性に異なる属性が含まれる場合、前記異なる属性の少なくとも１種類を検索のための新たな条件として追加する。【選択図】図１
2014016968.tif 000002
【特許請求の範囲】
【請求項１】
画像から指定された人物を検索する検索装置であって、
複数のフレームを含む画像を取得する第１取得部と
前記フレームに含まれる複数の人物を抽出し、当該人物を特徴づける第１属性を複数種類抽出する第１抽出部と
ユーザに指定された第１人物から当該人物を特徴づける第２属性を複数種類抽出する第２抽出部と
前記第２属性の少なくとも１種類を検索条件として、前記第１人物を前記フレームから検索する検索部と、
前記検索部で前記第１人物が検索され、前記第１属性と前記第２属性に異なる属性が含まれる場合、前記異なる属性の少なくとも１種類を検索のための新たな条件として追加する追加部と
を備えることを特徴とする検索装置。
【請求項２】
前記属性は前記複数の人物が個々にもつ固有の第１特徴量、または前記複数の人物の一時的な外見を表す第２特徴量であることを特徴とする請求項１記載の検索装置。
【請求項３】
前記検索部は前記第１特徴量と第２特徴量とを検索条件とすることを特徴とする請求項２記載の検索装置。
【請求項４】
前記検索部は、前記フレームの複数の部分領域から得られた属性をもとに前記類似した人物を検索することを特徴とする請求項２記載の検索装置。
【請求項５】
前記追加部は、前記第２属性を検索のための新たな条件として追加する場合に、ユーザに追加する属性を提示する提示部を備えることを特徴とする請求項１乃至４いずれか一項に記載の検索装置。
【請求項６】
前記検索部は前記第１属性と前記第２属性との類似度から検索された人物が前記第１人物の候補人物か否かを決める決定部とを更に備えることを特徴とする請求項１乃至５いずれか一項に記載の検索装置。
【請求項７】
前記決定部は、前記類似度が高い場合に前記第１人物とし、前記第１人物が含まれるフレーム中の残りの人物の類似度を低くすること特徴とする請求項６に記載の検索装置。
【請求項８】
前記人物の移動可能距離を格納する格納部を更に備え、
前記決定部は、前記格納部から前記人物の移動可能距離を取得し、少なくとも２つの撮像位置間の距離が当該距離より大きくなる場合に前記類似度を低くすることを特徴とする請求項６または７記載の検索装置。
【請求項９】
複数のフレームを含む画像を取得する第１取得部と
前記フレームに含まれる複数の人物を抽出し、当該人物を特徴づける第１属性を複数種類抽出する第１抽出部と
ユーザに指定された第１人物から当該人物を特徴づける第２属性を複数種類抽出する第２抽出部と
前記第２属性の少なくとも１種類を検索条件として選択する選択部と
前記第１属性と前記第２属性との類似度にもとづいて、前記フレームから前記第１人物と同一の人物であると判定できる候補を決める決定部と
前記決定部で前記第１人物が決定され、前記第１属性と前記第２属性に異なる種類の属性が含まれる場合、前記異なる種類の属性の少なくとも１種類を前記第２属性に追加する追加部と
を備える属性収集装置。
【請求項１０】
前記人物の移動可能距離を格納する格納部を更に備え、
前記第１取得部は撮像時間及び撮像位置とともに第１画像及び第２画像とを取得し、
前記決定部は、前記格納部から前記人物の移動可能距離を取得し、少なくとも２つの撮像位置間の距離が当該距離より大きくなる場合に前記類似度を低くすることとを特徴とする請求項９記載の属性収集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、人物検索装置及びデータ収集装置に関する。
【背景技術】
【０００２】
主として映像監視用途に用いられる映像検索装置で、人物画像の色情報を用いて検索する映像検索装置がある。また、顔や服装を指定して、その人物を映像中から検索するシステムがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2005-202938号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人物検索または人物認識で用いられる学習用データの収集装置を提供する。
【課題を解決するための手段】
【０００５】
実施形態によれば画像から指定された人物を検索する検索装置であって、第１取得部と、第１抽出部と、第２抽出部と、検索部と、追加部とを有する。第１取得部は複数のフレームを含む画像を取得する。第１抽出部は前記フレームに含まれる複数の人物を抽出し、当該人物を特徴づける第１属性を複数種類抽出する。第２抽出部はユーザに指定された第１人物から当該人物を特徴づける第２属性を複数種類抽出する。検索部は前記第２属性の少なくとも１種類を検索条件として、前記第１人物を前記フレームから検索する。追加部は前記検索部で前記第１人物が検索され、前記第１属性と前記第２属性に異なる属性が含まれる場合、前記異なる属性の少なくとも１種類を検索のための新たな条件として追加する。
【０００６】
また、実施形態によれば、データ収集装置は、第１取得部と、第１抽出部と、第２抽出部と、選択部と、決定部と、追加部とを有する。第１取得部は複数のフレームを含む画像を取得する。第１抽出部は前記フレームに含まれる複数の人物を抽出し、当該人物を特徴づける第１属性を複数種類抽出する。第２抽出部は、ユーザに指定された第１人物から当該人物を特徴づける第２属性を複数種類抽出する。選択部は前記第２属性の少なくとも１種類を検索条件として選択する。決定部は、前記第１属性と前記第２属性との類似度にもとづいて、前記フレームから前記第１人物と同一の人物であると判定できる候補を決める。
【０００７】
追加部は前記第１人物が決定され、前記第１属性と前記第２属性に異なる種類の属性が含まれる場合、前記異なる種類の属性の少なくとも１種類を前記第２属性に追加する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る人物検索装置の構成を示す図。
【図２】第１の実施形態に係る人物検索装置の処理フローを示す図。
【図３】実施形態に係る属性追加を説明するための図。
【図４】映像中に複数の人物が検出された場合を例示する図。
【図５】決定部を備える人物検索装置の構成を示す図。
【図６】第２の実施形態に係る人物検索装置の構成を示す図。
【図７】複数の撮像装置の画像を取得する人物検索装置の構成を示す図。
【図８】複数の撮像装置の画像を取得した場合を例示する図。
【図９】実施形態に係る属性収集装置の構成を示す図。
【発明を実施するための形態】
【０００９】
人物認識のための技術として、例えば、顔を用いた認識によって同じ人物か否かを決める技術がある。しかし、一般に撮像された映像には、横顔であったり、帽子や眼鏡等の被服により顔が見えていなかったりする映像も多い。このような場合、映像（静止画を含む）に対しての人物検索は難しい。また、個人がもつ生体に係る情報以外の属性、例えば上述の帽子や眼鏡などの衣服の変化は変化の度合いが大きい。生体に係る情報であっても、例えば髪型などは衣服にくらべて頻繁ではないが、変化が容易な属性もある。これらの属性が変わる場合には、同一人物であっても人物検索は難しい。
【００１０】
更に、これらの人物検索のための学習データの収集では、人手による教示作業が必要であり、手間がかかる。また、顔照合技術など用いて教示作業を半自動で入力する場合でも、上述のように顔が見えている必要がある。
【００１１】
本実施例では、人物検索の際に、検索対象として指定された人物や指定された属性(服装など)をもとに検索する。また、検索対象の人物が異なる属性を保持していた(例えば異なる服装をしていた)ことがあった場合に、その属性を検索対象として追加する手段を備える。さらに、検索の際に、検索対象として指定された人物が存在しえない時間や場所等の映像を特定する手段を有することにより、指定された人物が存在しえない時間や場所等の映像を検索対象から外す。具体的には、人物検索手段が、指定された人物に類似の映像を探す場合に、「人物Aと同時に写っている人物は人物Aではあり得ない」「遠く離れたカメラに近い時刻で写っている 人物も、移動時間の制約から人物 A ではあり得ない」などの条件の設定を行い、検索を制限する。
【００１２】
また、人物検索の学習データ収集では、本人と他人とのデータを判定する手段を有する。具体的には、ある人物Aに対し、「人物Aと同時に写っている人物は他人である」などの条件を追加できる機能を備え、それらを人物Aにとっての他人データと判定し、学習する。また、遠く離れたカメラに近い時刻で写っている人物も同様に、人物Aにとっての他人データとして学習する。これらの学習データの収集により、特定の人物Ａを検索するための学習用データをより豊富に収集することが可能になる。
【００１３】
また、人物検索では、服装や髪型など、変化しうる属性の変化に追随した検索が可能になる。また、検索処理の対象となるデータを制限できるため、処理の高速化と誤検出の低減ができる。また、学習データ収集では人物 IDを付与するという教示に関する手間をかけることなく、人物判定を 行うための学習データを収集することも可能になる。
【００１４】
以下図面を参照して、本実施形態の詳細を具体的に説明する。なお、本実施形態における属性とは、人物が個々にもつ固有の特徴量で表される生体属性と、人物の一時的な外見等から得られる特徴量で表される一時属性とを表わす。以下では、生体属性として顔と人物の形状を、一時属性として人物の衣服を例に説明する。個々人がもつ手や指固有の情報を検出する手段を備える場合には、これらを生体属性としてもよいし、髪型や時計やネームプレートを含む装飾品などを映像から検出する手段を備えればこれらを一時属性としてもよい。
【００１５】
（第１の実施形態）
第１の実施形態における人物検索装置は、服装などの属性が異なっていても同一人物である可能性がある場合に、服装などの属性でも検索対象の人物を検索する。
【００１６】
図1は、第１の実施形態の構成を示すブロック図である。本実施形態の人物検索装置は、第１取得部１０１、第１抽出部１０２、第２抽出部１０３、検索部１０４、追加部１０５、提示部１０６を備える。
【００１７】
第１取得部１０１は、複数のフレームを含む画像を取得する。画像は固定の撮像装置で撮像されて、所定の時間毎に得られた動画像を例に説明するが、撮像装置の位置の固定は必ずしも必要ではない。第１取得部１０１で取得された画像は第１抽出部１０２へ送られる。
【００１８】
第１抽出部１０２は得られたフレームに含まれる複数の人物を抽出する。人物は、顔検出を用いて、人の顔らしい領域を含む人物を抽出してもよいし、人物の形状を予め学習しておき、その人物らしさ（人物間の類似度）からフレーム中の人物を抽出してもよい。そして次に第１抽出部１０２は、得られた人物から属性を抽出する。例えば、顔の丸さや角張りなどの形状、色、目の形状、衣服の色等を、フレーム中の人物から個々に検出し、用いられた特徴量をその種類と共に、検索部１０４におくる。
【００１９】
第２抽出部１０３は、人物検索装置を用いるユーザが指定した人物（以下、指定人物）から人物を特徴づける属性を複数種類抽出する。例えばユーザは第１人物の情報を画像で入力して、第１抽出部１０２で用いた特徴量の抽出と同様に特徴量を抽出する。または、ユーザは指定した人物の特徴量の種類を指定することによって、指定人物の特徴量を生成してもよい。例えば、顔の形状や肌の色、目や鼻などの形状、衣服の色などを指定し、指定人物の属性に類似する特徴量を生成してもよい。第２抽出部１０３は得られた属性と属性の種類とを検索部１０４に送る。
【００２０】
検索部１０４は、第２抽出部１０３で得られた属性から少なくとも１種類を検索条件として、第１抽出部１０２から得られた人物の中から指定人物を検索する。検索部１０４は、検索条件の属性について十分に類似度が高い人物を、指定人物と同一の人物と判定し、提示部１０６へ送る。
【００２１】
追加部１０５は、第１抽出部１０２で得られた属性と前記第２抽出部で得られた属性とを比較し、第２抽出部１０３で得られていない属性もしくは第２抽出部１０３で得られた属性と類似度の低い属性が含まれるか否かを判定する。例えば、他の属性から同一人物と判定されたにもかかわらず、衣服の属性が異なっている場合には、その衣服の属性を検索のための新たな条件として追加する。
【００２２】
次に人物検索装置の動作について説明する。図２は、人物検索装置が人物検索と条件を追加する場合の処理を示すフローチャートである。
【００２３】
本実施形態では、指定人物を、検索用のフレーム（画像）から指定して決めることとして説明する。人物検索装置では、ユーザがまず指定人物の検索条件の指定をする(ステップS101)。具体的には、第２抽出部１０３で抽出された人物を選択することで検索したい人物および属性を指定する。指定人物の画像を取得して第２抽出部１０３で属性を取得させてもよい。また、人物名や人物IDを指定し、人物名に該当する映像を第１抽出部１０２に送ることによって得られる属性を利用してもよいし、人物ＩＤと各種属性をデータベース化したデータから得てもよい。また、指定した画像にはない属性、例えば服装・髪型などを指定してもよい。
【００２４】
第１取得部１０１は、撮像部が撮像した画像を、撮像手段もしくはファイルなどから入力する(ステップS102)。撮像した画像は動画像、あるいは複数の静止画像である。
【００２５】
第１抽出部１０２は第１取得部が取得した画像から人物を抽出する(ステップS103)。人物の抽出は、一般的な人物抽出手法を用いればよい。たとえば、Markus Enzweiler and Dariu M. Gavrila. Monocular Pedestrian Detection: Survey and Experiments. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 31, No. 12, pp. 2179{2195, December 2009.に例示された方法をもちいればよい。抽出はフレーム（画像）単位に行われるが、抽出結果は1枚の画像から得られた 1つの人物矩形であってもよいし、複数枚の画像系列から得られた人物矩形の系列である人物軌跡であってもよい。
【００２６】
次に抽出された人物矩形・人物軌跡が、指定された検索条件の属性と類似するかを判定する(ステップS104)。検索条件の属性と類似するか否かは、例えば属性が顔の場合には一般的な顔認識手法を用いて行えばよい。たとえばW. Zhao, R. Chellappa, A. Rosenfeld, and P.J. Phillips. Face Recognition: A Literature Survey. ACM Computing Surveys, pp. 399{458, 2003.に例示される顔認識手法を用いればよい。また、指定された検索条件が服などの色名である場合には色名の色空間座標値と人物の服領域の類似度をみる手法を用いればよい。たとえば、佐藤正章, 佐々木雄飛, 林正武, 田中則子, 松山好幸. 服装・顔を用いた人物検索システム. In SSII2005, No. E-44, June 2005.に例示される手法を用い、画像中の色情報とから類似度を算出して、所定の閾値以上である場合に指定された服や色名であるとして検索してもよい。
【００２７】
また、指定された人物領域のもつ色ヒストグラムや色コリログラムなどの特徴の類似度をみる手法を用いてもよい。たとえば、上村和広, 池亀幸久, 下山功, 玉木徹, 山本正信. ネットワーク上の複数カメラを用いた実時間人物照合システム. 電子情報通信学会技術報告パターン認識・メディア理解研究会PRMU2003-242, 第103 巻, pp. 67{72, February 2004.を用いてもよい。また、性別や年齢など、生体に係る属性ではあっても変化を伴う属性から判定する場合には、Laurenz Wiskott, Jean-Marc Fellous, Norbert Krddotuger, and Christoph von der Malsburg. Face Recognition and Gender Determination. In International Workshop on Automatic Face- and Gesture-Recognition.に例示される方法を用いればよい。また、同様に生体に係る属性ではあっても変化を伴う属性には、髪型・体格・歩容などの特徴などもある。これらの属性を複数組み合わせて判定を行う。また、属性として、Michael Stark and Bernt Schiele. How Good are Local Features for Classes of Geometric Objects. 2007.に例示される様々な異なる特徴量を用いてもよい。また、帽子やカバンを検出することで、それらの有無や色などの属性を抽出してもよい。また、帽子やカバンなどの特定の物体を検出するのではなく、頭部・胴部・脚部のような部分領域に分割し、それらの部分領域から色ヒストグラムなどの特徴量を抽出して属性としてもよい。こうすることで、帽子やカバンなどの特定の物体検出を行うことなく、人物の属性を得ることができる。
【００２８】
検索部１０４は複数の属性から判定スコアを算出する。判定スコアは第１抽出部１０２および第２抽出部１０３が抽出した複数の属性の類似度の重みづけ和をもとに算出する。判定スコアが所定の閾値以上の場合には、抽出された人物が検索指定された人物であると判定する(ステップS105)。指定人物でなかった場合は、画像中の別の人物の判定を行い、画像中の人物がすべて判定処理済みの場合には、次の画像の処理に移る(ステップ S106)。指定された人物であった場合は検索結果を出力し(ステップS107)、提示部１０６に結果を提示する。
【００２９】
追加部１０５は、指定人物と同一人物だと判定された人物の属性と、検索条件に含まれる属性とが異なるか否かを調べる(ステップ S108)。属性の類似度が所定の閾値以下の場合には、十分異なる属性であると判定する。追加部１０６は検索条件にそこで得られた異なる属性を追加する(ステップS109)。
【００３０】
より具体的には、指定人物が服装を変えた場合を想定して説明する。当該人物が服装を変えた場合は、顔・髪型などの他の属性から指定人物と同一人物であると判定されても、服装の属性が指定人物とは大きく異なっている。そこで新たな属性として、服装を変えた後の服装の属性も検索条件に追加する。また、人物が髪型や帽子・カバンなどの装飾品（携帯物）を変えた場合も同様で、検索条件として新たな人物の頭部テクスチャ(模様)情報や携帯物の属性を追加する。
【００３１】
図3は、属性追加について説明するための図である。図3(a)は指定人物データ301であり、属性1がP1、属性2がQ3であるとする。図3(b)は人物データ310の属性1がP1、属性2がQ4であり、人物データ311の属性1はP1またはP2であり、属性2がQ4である。ここで、人物データ310は、人物301の属性2とは異なる。一方で、抽出された人物301と人物310の属性1の類似度の高さによって、同一人物と判定されたとする。この場合、指定人物データは属性2としてQ3だけでなくQ4も持ちうることが分かるため、追加部105は、検索条件として属性2=Q3だけでなく、属性2=Q4を追加する。検索条件の追加により、属性2がQ4である人物データ311が、指定人物301である可能性があることが分かる。条件を追加しない場合は、人物データ301の属性2=Q3と異なるために同一人物ではないと誤って判定されてしまう場合があるが、これを抑制することができる。
【００３２】
従来の検索手法は、人物の属性・特徴は照明変動などの環境変化によって影響を受けるが、基本的には不変であることを前提としている。そのため、例えばスーツ姿の人 物が上着を脱ぐなどして属性（特徴量を含む）が大きく変化すると、正しく本人として識別されなく なり、検索漏れが発生するという問題があった。本実施形態では、服装などの属性・特徴が変化しても、他の属性・特徴で本人であると判定できる場合を想定し、変化した属性を新たに検索条件に追加することによって、それ以降の処理では、変化した属性も本人として判別する条件に加える。このため検索漏れが発生しにくくなるというメリットが ある。特に、多くの属性に基づく判定を行うマルチモーダル認識を行う場合に有効である。
【００３３】
なお、これらの条件の追加処理は必ずしも時系列順に行う必要はない。すなわち、より新しい画像の処理が行われるにしたがって徐々に条件が追加されていく必要はない。例えば、いったん全画像データを処理することですべての追加される検索条件を決定し、追加された全条件にもとづいて全画像データを再処理するということを行ってもよい。蓄積された映像に対する処理などでは全条件にもとづく処理が可能であり、検索漏れをさらに抑制することができる。また、検索条件は、必ずしもすべて同じ重要度で判定に寄与する必要はない。例えば、ステップS109 で新たな検索条件を追加する際に、検索指定された人物であると判定されたスコアの大きさによって、追加した検索条件の判定に関与する重みを変えてもよい。
【００３４】
（変形例１）
追加部106はステップS109で条件を追加する方法をユーザが指定できるようになっていてもよい。条件の追加方法としては、例えば自動的に追加するか、個々に、ユーザに問い合わせて確認を求めてから追加するか、ある特定の属性についてだけ自動的に追加するのを許可する、といった方法である。 また、ステップS105で指定された人物であると判定されたスコアがある値以上である場合に追加を許可したり、ステップ S108 における属性・特徴の異なり具合(類似度の低さ)がある範囲内である場合に追加を許可したり、といった方法でもよい。追加条件をユーザが指定できるようにすれば、ユーザが意図しない検索条件の広がりを抑制することができるようになる。
【００３５】
（変形例２）
同一人物でない可能性の高い人物データは検索対象からはずしてもよい。図４は映像中に複数の人物が検出された場合を示している。指定人物か否かを検索部１０４が判定し、指定人物であった場合(ステップS105のYES)に、以下の処理を行う。検索指定された人物と同一人物であると判定された(ステップS105)人物データ401があるとする。この時、401と同時に画像に存在している人物データ410は、同一人物ではないと考えられる。そこで、検索部１０４が指定人物を判定し、画像中の同時刻のフレーム（画像）中の他の人物は(例えば410)は検索対象から除外することをしてもよい。判定を行う人物データを限定することによって不要な判定処理を省略でき、処理を高 速化することができる。
【００３６】
また、人物401と同時刻に画面に存在していない人物データ402は、指定人物の可能性があるため、このような検索対象からの除外は行わないことがより好ましい。また、図４の人物401と410がきわめて近接している場合は、画像中の同一の人物を二重に抽出している可能性もある。画像中の距離を推定し、所定の閾値以下の場合は上記の除外処理は行わないことが好ましい。
【００３７】
（変形例３）
図５は検索部が指定人物の決定を行う決定部を更に備えた場合の人物検索装置の構成を表わす図である。第１抽出部１０２から得られた属性と第２抽出部１０３から得られた属性の類似度を算出し、検索された人物が指定人物か否かを決める決定部５０１を備える点で第１の実施例と異なる。より具体的には、判定スコアの重み付けを行う。
【００３８】
同一時刻のフレームに検出された人物は同一人物ではない可能性が高い。決定部501はこのような同一人物でない可能性が高い検出対象の重みが低くなるようにする。これによって、検索指定された人物と同一人物ではない可能性が高い人物データに対して低い判定スコアが与えられるようになる。
【００３９】
例えば、変形例２のように、同一時刻のフレームに検出された人物でも、検索対象から除外を行わないことが好ましい場合があるため、複数の属性を重みづけした判定スコアに更に、同一時刻の画像に検出される人物であるか否かの条件を設定する。同一時刻の画像に検出された人物の判定スコアの重みづけでスコアが低くなるように重みづけし、検索部１０４は重みづけされた判定スコアを用いて指定人物を検索する。
【００４０】
変形例２と同様に、同時に画面に存在していない人物データは同一人物の可能性があるため、スコアの重みづけをしないことが好ましい。または、スコアの重みづけでスコアが高くなるように制御してもよい。
【００４１】
（第２の実施形態）
次に第２の実施形態に係る人物検索装置について説明する。なお、第１の実施形態と同等の構成については、同一の符号を付与し、その説明を省略する。
【００４２】
図６は第２の実施形態に係る人物検索装置の構成を示すブロック図である。第２の実施形態では、第１抽出部102で抽出された人物の移動可能量を格納する移動可能量格納部601とを更に備える。
【００４３】
決定部501は、移動可能量格納部601から取得した人物の移動可能量を取得し、検索指定された人物と同一人物であると判定された人物の撮像位置と、第１抽出部１０２によって抽出されたそれとは異なる人物の撮像位置との距離が、前記移動可能量よりも大きくなる場合に類似度を低くすることによって、抽出された人物の判定スコアが低くなるようにする。
【００４４】
より具体的な人物検索装置の処理について説明する。指定人物と同一人物であると判定された(ステップS105)人物データと、第１抽出部１０２から抽出された撮像位置が異なる人物データを処理する場合を例とする。具体的には、まず、第１の実施形態と同様の処理により、ステップS105までを行う。移動可能量格納部６０１は、想定される人物の移動可能な距離を移動可能量として保持する。決定部501は指定人物のデータと移動可能量格納部601から得られた移動可能量とから、指定人物データが移動可能な距離を推定する。指定人物の撮像された位置と第１抽出部１０２から抽出された人物の撮像された位置との間の距離が推定した距離よりも大きい場合に、抽出された人物の判定スコアが低くなるように類似度を低くする。
【００４５】
移動可能量格納部６０１は、人物の様々な移動可能な距離を移動可能量として保持する。動可能量格納部６０１で推定される移動距離よりも大きい場合に、指定人物と抽出された人物との２者間の接続が不可能と決め、指定人物と抽出された人物データが同一人物ではないと判定する。
【００４６】
例えば、検索部１０４によって同一人物であると判定された人物から移動可能な範囲で接続できない位置に存在している人物デー タの判定スコアの重みづけを低くしたり、移動可能な範囲で接続できない位置に存在している人物は除外したりしてもよい。検索対象から除外すれば、検索部104 が判定を行う人物データが限定される。検索部104は不要な判定処理を省略でき、処理を高速化することができる。また、指定人物と同一人物ではない可能性が高い人物データに対して低い判定スコアが与えられると、誤った人物検索結果を出力する可能性を抑制できるようになる。
【００４７】
上記では、移動可能量格納部６０１で移動距離を算出しているが、人物の移動距離を推定できる手段ならどのような手段であってもよい。
【００４８】
（変形例１）
複数の撮像装置で、撮像装置の時間の対応付けを行う場合について説明する。まず、第２の実施形態と同様にステップS105までを行う。たとえば、指定人物が第１の撮像装置で得られる映像に検出された場合、第１撮像装置の撮像時刻と第２の撮像装置の撮像時刻の対応づけを行う。第１撮像装置と第２撮像装置の移動可能距離は移動可能量格納部601から得て、第２撮像装置の撮像時間で移動不可能な時間帯を（たとえばＴ０からＴ１までの間）推定する。推定した時間帯が第２撮像装置から取得される画像のＴ０からＴ１の時間帯と重なる場合に、検出される人物の判定スコアが低くなるようにする。
【００４９】
たとえば、図７（a）を第１撮像装置で撮像された映像、図７（ｂ）を第２撮像装置で撮像された映像として説明する。映像はフレーム毎に取得してもよいが、図７では、時系列順に画像を並べている。手前から奥行き方向に時間方向（ｔ）で連続的に表示した例である。
【００５０】
人物７０１が第１撮像装置で撮像されるためには、撮像装置間で可能な人物移動可能量 にもとづいて、少なくとも時刻Ｔ０よりも前に第２撮像装置の視野から離れている必要がある。同様に、人物７０１が第１撮像装置で撮像された後、第２撮像装置で撮像されるのは、撮像装置間での可能な人物移動可能量に基づいて、少なくとも時刻Ｔ１よりも後になる。従って、第２撮像装置において、時刻Ｔ０からＴ１までの間には、人物７０１は存在し得ない。
【００５１】
同様に、人物７０１が第１撮像装置のＴｘからＴｙに検出された場合、第２撮像装置でＴｘからＴｙを含むＴ０からＴ１の撮像時間に検出される人物データ７０２は人物７０１と同一人物ではない。この時、判定スコアの重みづけを低くしたり、検索対象から外したりしてもよい。検索対象から除外すれば、検索部104 が判定を行う人物データが限定される。検索部104は不要な判定処理を省略でき、処理を高速化することができる。また、指定人物と同一人物ではない可能性が高い人物データに対して低い判定スコアが与えられると、誤った人物検索結果を出力する可能性を抑制できるようになる。
【００５２】
（第３の実施形態）
次に第３の実施形態に係る学習用データ収集装置（属性収集装置）について説明する。なお、第１の実施形態と同等の構成については、同一の符号を付与し、その説明を省略する。
【００５３】
図８は実施形態に係るデータ収集装置の構成を示す図である。属性収集装置は、第１取得部１０１と、第１抽出部１０２と、第２抽出部１０３と、選択部８０１と、決定部８０２と、追加部１０５と、格納部８０３とを有する。第１の実施形態とは、第１抽出部１０２で抽出される第１属性の少なくとも１種類を検索条件として選択する選択部８０１が追加されている点が異なる。また、選択部８０１で選択された属性や追加部１０５で追加される属性を新たな属性として格納部８０３に格納する点が異なる。
【００５４】
本実施形態の属性収集装置は、第１取得部１０１が画像を取得し、第１抽出部１０２が取得した画像から人物を抽出する。人物の抽出は、第１の実施形態と同様の手法を用いればよい。第２抽出部１０３はユーザが指定した指定人物の属性を抽出し、選択部８０１は抽出された属性の一つを選択する。決定部８０２は選択された属性をもとに指定人物の候補を設定し、選択された属性が指定人物の属性と違う場合に属性を新たに追加する。
【００５５】
次に属性を追加し、格納する処理について説明する。
【表１】
2014016968.tif 000003
【００５６】
表１は映像中に３人（901、902、903）の人物が検出された場合を事例に説明する。人物901の軌跡をseq1、人物902の軌跡をseq2、人物1003の軌跡をseq3 とする時、人物検索装置または選択部８０１は表１に示す類似度（一致度）にもとづく同一人物か否かの情報を保持している。ここで、一致度 1.0 は本人同士のペアを示しており、一致度 0.0 は他人同士のペアを示しており、一致度がその中間(ここでは0.5)であるものは、本人か他人か不明のペアを示している。ここで、決定部８０２は、seq1とseq3は同じ画像内に同時に存在しているため、これらは 同一人物ではないと判定し、seq1 と seq3 の一致度を 0.0(他人)とする(表２)
【表２】
2014016968.tif 000004
【００５７】
同様に、seq2 と seq3 は同じ画像内に同時に存在しているため、これらは同一人物ではな いと判定し、seq2 と seq3 の一致度を 0.0(他人)とする。
【００５８】
このようにして、画像内に同時に存在している人物矩形・人物軌跡同士を、他人と判定するという処理を繰り返すことが可能であり、属性収集装置は人間が教示作業を行わなくても、多くの本人データ及び他人データを決定することができる。より具体的には、表２の情報から、seq1 の他人データとして一致度 0.0 の seq3 を用いる ことができる(逆に、seq3 の他人データとして seq1 を用いることができる)。また、seq2 の他人データとして一致度 0.0 の seq3 を用いることができる。(逆に、seq3 の他人データ として seq2 を用いることができる)。こうして得られた本人と他人とを識別するデータは、特定人物データのペアPaとPbが本人同士か他人同士かを判定する識別器の学習データとして用いることができる。学習データは格納部８０３へ格納する。
【００５９】
例えば、Paから得られた属性（特徴量を含む）をFa、Pbから得られた属性（特徴量を含む）をFbとして、これらのデータのペアの差分特徴量を Fab = Fa − Fb とする。この時、本人同士のペアから得られた多数のFabと、他人同士のペアから得られた多数のFabとを識別するように、SVM(Support Vector Machine)識別器を学習することが可能である。
【００６０】
この結果、ある入力データペア(PcとPd)から得られる差分特徴量Fcdに基づいて、これらが本人同士か他人同士かを判別する SVM 識別 器が得られる。このSVM識別器は、例えば実施例 1 の検索部104に用いる。
【００６１】
また、決定部８０２は表３で示されるデータを保持しているとする。
【表３】
2014016968.tif 000005
【００６２】
第１の実施形態検索部１０４と同様の処理により、seq1 と seq2 が同一人物だと判定できたとする。この場合seq1 と seq2 を同一人物(一致度 1.0)として情報を更新する(表４)
【表４】
2014016968.tif 000006
【００６３】
この場合、seq1 と seq2 が同一人物であることと、seq2 と seq3 が他人 であることから、seq1 と seq3 は他人であることが確定するので、seq1 と seq3 についても他人(一致度 0.0)として更新が可能である。このようにして、同一人物かどうかの判定処理を行うことにより、多くの本人データ・他人データを確定することができるように なる。
【００６４】
なお、ここでは、seq1 と seq2 が確実に同一人物であると判定できた場合(一致度 1.0)で説明 しているが、確実に判定できない場合は、例えば seq1 と seq2 の一致度を 0.8(おそらく同 一人物である)などとすればよい。すると、seq2 と seq3 が他人である(一致度 0.0)こと によって、seq1 と seq3 は確実に他人とは言えないが、おそらく他人である(一致度 0.2) とすることも可能である。この場合、他人データとして用いるペアは、所定の閾値を決め、十分に他人であると判定できるペア(例えば一致度が 0.2 以下など)を用いればよい。また、本人データとして用いるペアは、同様に所定の閾値を決め、十分に本人であると判定できるペア(例えば一致度が 0.8 以上など) を用いればよい。
【００６５】
（変形例２）
属性収集装置は、本人・他人データ入力部を別に備えユーザが本人・ 他人データの判定情報を一部入力してもよい。また、第２実施形態と同様に、撮像位置が離れている画像を用いる場合や、推定される距離が移動可能距離よりも大きい場合などを適宜組み合わせることによって、他人データとして学習データに用いることが可能である。
【００６６】
本実施形態によれば、監視カメラ映像、テレビ映像などから、指定された人物を検索することが可能になる。また、 当該検索装置が必要とする人物認識のための学習データを収集することができる。
【００６７】
本実施の形態にかかる人物検索装置または属性収集装置は、ＣＰＵ（Central  Processing  Unit）などの制御装置と、ＲＯＭ（Read  Only  Memory）やＲＡＭなどの記憶装置と、ネットワークなどに接続して通信を行う通信Ｉ／Ｆと、ＨＤＤ（Hard  Disk  Drive）、ＣＤ（Compact  Disc）ドライブ装置などの外部記憶装置と、ディスプレイ装置などの情報推薦のために提示を行う表示装置と、オペレータが識別処理や結果取得などを行うためのキーボードやマウスなどの入力装置と、各部を接続するバスを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００６８】
本実施の形態にかかる人物検索装置または属性収集装置で実行され人物検索または属性収集プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact  Disk  Read  Only  Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact  Disk  Recordable）、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供することが可能である。
【００６９】
また、本実施の形態にかかる人物検索装置または属性収集装置で実行される人物検索または属性収集プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態にかかる人物検索装置または属性収集装置で実行される処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００７０】
また、本実施の形態の処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００７１】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。例えば食料品や雑貨や本などの日常生活用品、映画や音楽などの電子コンテンツなどのあらゆるアイテムの推薦に適用することが可能である。
【符号の説明】
【００７２】
第１取得部・・・１０１、第１抽出部・・・１０２、第２抽出部・・・１０３、検索部・・・１０４、追加部・・・１０５、提示部・・・１０６
【図１】
2014016968.tif 000007
【図２】
2014016968.tif 000008
【図３】
2014016968.tif 000009
【図４】
2014016968.tif 000010
【図５】
2014016968.tif 000011
【図６】
2014016968.tif 000012
【図７】
2014016968.tif 000013
【図８】
2014016968.tif 000014
【図９】
2014016968.tif 000015