(57)【要約】      （修正有）【課題】より精度良く、映像からオブジェクトを同定することができる技術を提供する。【解決手段】抽出手段は、撮像手段によって撮像される映像から、指定オブジェクトに係る第１の特徴量を抽出する。判定手段は、第１の特徴量が抽出された映像とは異なる映像から検出されたオブジェクトに係る第２の特徴量と、第１の特徴量とを比較し、異なる映像から検出されたオブジェクトが、指定オブジェクトであるか判定する。取得手段は、第１の特徴量を抽出した映像に係る状況を示す第１の状況情報と、第２の特徴量を抽出した映像に係る状況を示す第２の状況情報とを取得する。更新手段は、異なる映像から検出されたオブジェクトが指定オブジェクトであると判定手段によって判定された場合に、取得手段によって取得された第１の状況情報と第２の状況情報とを比較することによって第１の特徴量を第２の特徴量に基づいて更新するか判定したのちに、更新する。【選択図】図５
2018106236.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって撮像される映像から、指定されたオブジェクトである指定オブジェクトに係る第１の特徴量を抽出する抽出手段と、
前記第１の特徴量が抽出された映像とは異なる映像から検出されたオブジェクトに係る第２の特徴量と、前記第１の特徴量とを比較し、前記異なる映像から検出されたオブジェクトが、前記指定オブジェクトであるか判定する判定手段と、
前記第１の特徴量を抽出した映像に係る状況を示す第１の状況情報と、前記第２の特徴量を抽出した映像に係る状況を示す第２の状況情報とを取得する取得手段と、
前記異なる映像から検出されたオブジェクトが前記指定オブジェクトであると前記判定手段によって判定された場合に、前記取得手段によって取得された前記第１の状況情報と前記第２の状況情報とを比較することによって
前記第１の特徴量を前記第２の特徴量に基づいて更新するか判定し、更新すると判定した場合に、前記第１の特徴量を前記第２の特徴量に基づいて更新する更新手段と
を有することを特徴とする映像解析装置。
【請求項２】
前記状況情報は、撮像されたオブジェクトとそのオブジェクトを撮像した撮像手段との距離に係る状況、前記撮像されたオブジェクトの周囲の混雑度に係る状況、及び、前記オブジェクトを撮像した映像の明るさに係る状況の内の少なくともいずれかである
ことを特徴とする請求項１記載の映像解析装置。
【請求項３】
前記異なる映像は、前記撮像手段とは異なる撮像手段によって撮像された映像である
ことを特徴とする請求項１又は２に記載の映像解析装置。
【請求項４】
前記更新手段は、前記第２の状況情報の方が前記第１の状況情報よりも前記判定手段における処理に適しているか判定し、適していると判定した場合、前記第１の状況情報を前記第２の状況情報に基づいて更新する
ことを特徴とする請求項１〜３のいずれか１項に記載の映像解析装置。
【請求項５】
前記更新手段は、前記第２の状況情報が示す明るさの方が前記第１の状況情報が示す明るさよりも明るい場合に、前記判定手段における処理に適していると判定する
ことを特徴とする請求項４記載の映像解析装置。
【請求項６】
前記更新手段は、前記第２の状況情報が示す、撮像されたオブジェクトとそのオブジェクトを撮像した撮像手段との距離の方が、前記第１の状況情報が示す、撮像されたオブジェクトとそのオブジェクトを撮像した撮像手段との距離よりも近い場合に、前記判定手段における処理に適していると判定する
ことを特徴とする請求項４又は５記載の映像解析装置。
【請求項７】
前記更新手段は、前記第２の状況情報が示す混雑度の方が、前記第１の状況情報が示す混雑度よりも混雑していないことを示す場合に、前記判定手段における処理に適していると判定する
ことを特徴とする請求項４〜６のいずれか１項に記載の映像解析装置。
【請求項８】
前記判定手段は、前記第１の特徴量を含む複数の比較対象の特徴量と、前記第２の特徴量とを比較し
前記更新手段は、前記複数の比較対象の特徴量の数が所定の数より少ない場合、前記第２の特徴量を、前記判定手段が用いる前記複数の比較対象の特徴量に追加する
ことを特徴とする請求項１〜７のいずれか１項に記載の映像解析装置。
【請求項９】
撮像手段によって撮像される映像から、指定されたオブジェクトである指定オブジェクトに係る第１の特徴量を抽出する抽出工程と、
前記第１の特徴量が抽出された映像とは異なる映像から検出されたオブジェクトに係る第２の特徴量と、前記第１の特徴量とを比較し、前記異なる、
前記第１の特徴量を抽出した映像に係る状況を示す第１の状況情報と、前記第２の特徴量を抽出した映像に係る状況を示す第２の状況情報とを取得する取得工程と、
前記異なる映像から検出されたオブジェクトが前記指定オブジェクトであると前記判定工程によって判定された場合に、前記取得工程によって取得された前記第１の状況情報と前記第２の状況情報とを比較することによって
前記第１の特徴量を前記第２の特徴量に基づいて更新するか判定し、更新すると判定した場合に、前記第１の特徴量を前記第２の特徴量に基づいて更新する更新工程と
を有することを特徴とする映像解析方法。
【請求項１０】
コンピュータを、請求項１〜８の何れか１項に記載の映像解析装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像から特定のオブジェクトを検出する映像解析技術に関する。
【背景技術】
【０００２】
近年、ネットワークカメラ等の映像監視システムは、従来のコンビニエンスストア、レンタルビデオ店といった一つの店舗にとどまらず、商店街、ショッピングモールや公園等、広い範囲を監視することも求められている。
【０００３】
また、ネットワークカメラの映像から人物等を検出し、検出した人物等を追跡する技術が知られている。また、顔認証技術を用いて、検出した人物が特定の人物であるか同定する技術も知られている。
【０００４】
特に、多数の人が通行するエリアを広く対象とする広域監視システムでは、映像から得られる人物に関する特徴に基づいて、人物を追跡及び同定するための映像解析技術が求められている。
【０００５】
特許文献１には、人物を追跡及び同定する映像解析技術が記載されている。特許文献１では、映像から人物の検出を行い、検出した人物から顔特徴量と外観特徴量を算定し、それらを監視対象者の特徴量と比較する。そして、その比較結果に基づいて、検出された人物が監視対象者かどうか判定している。また、顔特徴量の比較により監視対象者と判定された場合に、外観の特徴量を更新することで、服装などの変化による外観の特徴量の変化に追随している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−１９６４２３
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前述した特許文献１の手法では、特徴量の比較および更新時に、各特徴量を取得した際の状況について考慮されていない。
【０００８】
そこで、本発明の目的は、より精度良く、映像からオブジェクトを同定することができる技術を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の映像解析装置は以下の構成を備える。すなわち、撮像手段によって撮像される映像から、指定されたオブジェクトである指定オブジェクトに係る第１の特徴量を抽出する抽出手段と、前記第１の特徴量が抽出された映像とは異なる映像から検出されたオブジェクトに係る第２の特徴量と、前記第１の特徴量とを比較し、前記異なる映像から検出されたオブジェクトが、前記指定オブジェクトであるか判定する判定手段と、前記第１の特徴量を抽出した映像に係る状況を示す第１の状況情報と、前記第２の特徴量を抽出した映像に係る状況を示す第２の状況情報とを取得する取得手段と、前記異なる映像から検出されたオブジェクトが前記指定オブジェクトであると前記判定手段によって判定された場合に、前記取得手段によって取得された前記第１の状況情報と前記第２の状況情報とを比較することによって前記第１の特徴量を前記第２の特徴量に基づいて更新するか判定し、更新すると判定した場合に、前記第１の特徴量を前記第２の特徴量に基づいて更新する更新手段とを有する。
【発明の効果】
【００１０】
本発明によれば、より精度良く、映像からオブジェクトを同定することができる技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態１における映像監視システムの全体構成を示すブロック図である。
【図２】人物を追跡、同定する映像解析処理の一例を示す図である。
【図３】実施形態１における映像解析処理の人物特徴量の更新方法の一例を示す図である。
【図４】ハードウェア構成を示すブロック図である。
【図５】実施形態１の構成を示す機能ブロック図である。
【図６】状況情報の取得方法の一例を示す図である。
【図７】各データテーブルの一例を示す図である。
【図８】実施形態１における映像解析処理の詳細を示すフローチャートである。
【図９】実施形態２における特徴量の追加方法の一例を示す図である。
【図１０】実施形態２における映像解析処理の詳細を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例であり、本発明は以下の実施形態で説明する構成に限定されるものではない。また、各実施形態において、同定するオブジェクトとして人物を例に説明するが、車等の他のオブジェクトにも応用可能である。
【００１３】
＜実施形態１＞
以下、実施形態１を説明する。まず、図１を用いて本実施形態における映像監視システム１０１の構成を説明する。
【００１４】
映像監視システム１０１は、例えば、スーパーマーケットやコンビニエンスストア、レンタルビデオ店、商店街、ショッピングモールや公園などの映像を撮像する。
【００１５】
映像監視システム１０１は、クライアントＰＣ（パーソナルコンピュータ）１０２、映像解析サーバ１０３、録画サーバ１０４、及びネットワークカメラ（撮像装置）１０５を有している。
【００１６】
クライアントＰＣ１０２は、ユーザからの操作入力を受け付ける。そして、映像解析サーバ１０３、録画サーバ１０４、及びネットワークカメラ１０５の各装置に対して操作入力に応じた指示（コマンド）を出力し、その指示に応じた動作を実行させる。また、各装置から取得した情報や画像をディスプレイに表示させる。
【００１７】
映像解析サーバ１０３は、クライアントＰＣ１０２からの指示を受け付け、その指示に基づいて映像解析処理を行う。ここでの映像解析処理とは、録画サーバ１０４またはネットワークカメラ１０５から取得した映像に対して解析処理を行い、映像内に映っている人物等の対象を判別したり、対象の移動を追跡したり、対象の行動を分析したりすることをいう。人物を追跡、同定する映像解析処理については後述する。ここで、同定とは、ある映像で検出された人物と、その映像とは異なる他の映像から検出された人物とが同じ人物であるか判定することである。ここでいう他の映像とは同じネットワークカメラ１０５で撮像された映像でもよいし、他のネットワークカメラ１０５で撮像された映像でもよい。他のネットワークカメラ１０５で撮像された場合、撮像される被写体の状況や、明るさ等の撮像状況が異なってくる。また、同じネットワークカメラ１０５で撮像された場合であっても、撮像方向や周囲の明るさ等が変われば撮像状況は変化する。撮像状況が変化すると、撮像された画像から抽出される特徴量も変わってくる。
【００１８】
録画サーバ１０４は、クライアントＰＣ１０２または映像解析サーバ１０３からの指示を受け付け、その指示に基づいて映像録画処理を行う。ここで、映像録画処理とは、録画サーバ１０４と同じネットワークに接続されている複数のネットワークカメラ１０５に対して映像出力指示を行って、その指示に応じて出力される映像を取得し、取得した映像を保存する処理を指す。また、映像録画処理には、ネットワークカメラ１０５から得られるメタ情報を保存する処理も含む。メタ情報とは、例えば、時間情報、位置情報、カメラの設定情報、ネットワークカメラ１０５に対応するセンサの情報などがある。
【００１９】
ネットワークカメラ１０５は、例えば、建物の天井や壁、電柱などに設けられる。各ネットワークカメラ１０５は撮像を行い、周囲の映像を取得する。ネットワークカメラ１０５は、クライアントＰＣ１０２、映像解析サーバ１０３、又は、録画サーバ１０４からの指示を受け付け、周囲の撮像や、カメラの回転制御（パン、チルト）、音声の収録などを行う。ネットワークカメラ１０５には、先述のメタ情報取得のために、人感センサ、温度センサ、音声センサ、赤外線センサなど、種々のセンサが接続されていてもよい。各装置１０２〜１０５は、それぞれネットワークに接続され相互に通信が可能であるものとする。また、各機能を一台のＰＣあるいはサーバに集約し、複数の装置の機能を一台の装置で実現するようにしてもよい。
【００２０】
図２及び図５を用いて、人物を追跡及び同定する映像解析処理の一例を説明する。なお、図５は、映像解析サーバ１０３の機能ブロック、及び、録画サーバ１０４の機能ブロックを含むブロック図である。また、ネットワークカメラ１０５ａは「位置Ａ」において撮像を行うものとする。また、ネットワークカメラ１０５ｂは「位置Ａ」とは異なる「位置Ｂ」において撮像を行うものとする。
【００２１】
録画サーバ１０４の映像取得部５０２は、ネットワークカメラ１０５に対して、映像を送信するよう指示（コマンド）を送信する。そして、その指示の応答として各ネットワークカメラ１０５で撮像された映像を取得する。取得した映像は録画サーバ１０４に保存してもよいし、保存せず後段の処理を行う機能ブロック（人物検出部５０３等）に出力してもよい。
【００２２】
次に、映像解析サーバ１０３の人物検出部５０３は、取得された映像を解析して人物の検出を行う。
【００２３】
ここで、図２において、人物２０１および人物２０２は各位置にいる人物を表している。人物検出部５０３は、ネットワークカメラ１０５ａによって撮像された位置Ａにおける映像から人物２０１を検出する。また、人物検出部５０３は、ネットワークカメラ１０５ｂによって撮像された位置Ｂにおける映像から人物２０２を検出する。人物を検出する方法は、パターンマッチングを用いた方法等、公知の種々の方法を用いることができる。
【００２４】
映像解析サーバ１０３の特徴抽出部５０４は、人物検出部５０３によって検出された人物の領域の画像から、人物の特徴量を抽出する。ここで、特徴量とは画像から目立つ特徴を抽出することを指す。人物の特徴量は、顔又は全身の特徴量であってもよい。また、人物の特徴量は画像を解析して検出される、歩幅や歩容、身長、体系、歩幅、服装等の情報であってもよい。また、特徴量とは、人物の画像の色ヒストグラムやエッジの位置等を示す情報であってもよい。人物の同定処理に用いることができるものならばどのようなものでもよい。
【００２５】
特徴抽出部５０４は、顔の特徴を抽出する場合は、画像から顔の各パーツ（目や鼻等）の位置や大きさ、形状などを特徴量として抽出し、それをデータ化する。データ化した特徴同士をマッチングさせることで類似度を算出し、類似度を用いて同じ顔であるか識別することができる。以上のように、特徴量の抽出方法については、公知の種々の技術を用いることができる。
【００２６】
図２においては、特徴抽出部５０４は、検出された人物に対応する領域の画像２０３及び２０４から、それぞれ人物の特徴量２０５及び２０６を抽出する。
【００２７】
特徴照合部５０５は、例えば、位置Ａで得られた特徴量２０５と、位置Ｂで得られた特徴量２０６とを照合することで、人物２０１と人物２０２とが同一人物かどうか判定する。具体的には特徴量同士を比較し、所定の類似度以上の場合に、同一人物であると判定する。各ネットワークカメラ１０５から取得された映像すべてに対して、随時、特徴量を抽出し、抽出された特徴量同士を照合することで、映像監視システ１０１において検出された人物を同定することができる。さらに、同定した結果を用いて人物の移動経路などを推定することができる。
【００２８】
ここで、図３は、実施形態１における特徴更新部５０７によって実行される人物の特徴量の更新の一例を示す図である。
【００２９】
状況情報２０７は、特徴量２０５を抽出した画像２０３を撮像した時の状況を示す情報である。また、状況情報２０８は、特徴量２０６を抽出した画像２０４を撮像した時の状況を示す情報である。状況情報は、映像解析サーバ１０３の状況情報取得部５０６によって取得される。
【００３０】
状況情報は、カメラと被写体の距離や、明るさ、混雑度などの映像取得状況に関する情報であり、映像を解析することで取得してもよいし、センサ等から取得してもよい。
【００３１】
ここで、同定対象情報３０３は、同定対象の特徴量を示す特徴量情報と、その特徴量を取得した映像を撮像した際の状況情報とが含まれる。
【００３２】
特徴照合部５０５は、同定対象情報３０３に含まれる特徴量を示す情報と、位置Ａで取得された特徴量２０５とを比較（照合）することで、位置Ａで検出された人物が同定対象の人物かどうか判定する。
【００３３】
特徴更新部５０７は、特徴照合部５０５によって同一人物であると判定された場合、同定対象情報３０３に含まれる状況情報と、位置Ａで取得された状況情報２０５とを比較し、比較結果に応じて同定対象情報の特徴量及び状況情報を更新する。
【００３４】
特徴更新部５０７は、同定対象情報３０３の特徴量よりも位置Ａで取得された特徴量２０５の方が、信頼度が高い条件で取得されたと判定した場合、同定対象情報３０３を特徴量２０５と状況情報２０７で更新する。なお、ここで言う信頼度とは、精度良く同定できるかを表す信頼度である。
【００３５】
つまり、次の位置Ｂでの人物同定処理に用いる同定対象情報として、同定対象情報３０３を特徴量２０５と状況情報２０７で更新した同定対象情報２０９を用いることとなる。
【００３６】
ここで、状況情報とその信頼度について、図６を用いて更に詳細に説明する。図６は、取得する状況情報とその取得方法を示している。また、図６は、状況情報が変動した場合に影響を受ける特徴量、その特徴量の信頼度が高くなる条件の一例も示している。
【００３７】
まず、明るさに関する状況情報について説明する。映像を解析して明るさ情報を取得する場合は、状況情報取得部５０６は画像の背景差分を求めることで照明光の変化を取得する。また、センサから明るさ情報を取得する場合は、状況情報取得部５０６は、照度センサから照度値の変化を示す情報を取得できる。明るさに関する状況情報は、輝度値であってもよい。例えば、画面全体の輝度の平均値であってもよい。
【００３８】
また、特徴量２０５を取得した映像の状況情報２０７が、現在の同定対象情報３０３の状況情報以下の暗さであることを示している場合、信頼度が低いため、特徴更新部５０７は特徴量を更新しない。一方、状況情報２０７が現在の同定対象情報３０３の状況情報より明るいことを示している場合、特徴更新部５０７は特徴量を更新する。例えば、暗い状況では陰影がはっきりしないためその状況で取得された特徴量には更新しない。一方、明るかったり、かつ、画面内の明るさの差が少ない状況で特徴量が取得されたりした場合、その特徴量に更新する。
【００３９】
次にネットワークカメラ１０５と人物との距離に関する状況情報について説明する。映像を解析してネットワークカメラ１０５と人物との距離情報を取得する場合、状況情報取得部５０６は、被写体の大きさおよび大きさの変化から距離を推定できる。センサから距離を求める場合には、状況情報取得部５０６は、測距センサを用いて対象との距離を取得することができる。
【００４０】
特徴量２０５を取得した映像の状況情報２０７が、現在の同定対象情報３０３の状況情報が示す距離以上であることを示している場合、特徴更新部５０７は特徴量を更新しない。一方、特徴量２０５を取得した映像の状況情報２０７が、現在の同定対象情報３０３の状況情報が示す距離より近いことを示している場合、特徴更新部５０７は特徴量を更新する。これは、例えば、ネットワークカメラ１０５と被写体の距離が遠い場合、顔特徴量に顔の器官の詳細を示す情報が含まれないことがあり、信頼度が落ちてしまうためである。そのため、ネットワークカメラ１０５と被写体の距離がなるべく近く、顔の器官がはっきり映る距離で取得された特徴量のほうが高い信頼度である。
【００４１】
次に、混雑度に関する状況情報について説明する。映像を解析して混雑度を取得する場合は、状況情報取得部５０６は、画像に含まれる人物を検出し、撮像範囲に対応する面積と人数から混雑度を取得することができる。混雑度に関する状況情報は、例えば、所定の面積あたりの人数である。センサから混雑度を求める場合には、状況情報取得部５０６は、赤外線センサの変化量を見ることで混雑度を計測することができる。
【００４２】
特徴量２０５を取得した映像の状況情報２０７が、現在の同定対象情報３０３の状況情報が示す混雑度合い以上に混雑していることを示している場合、特徴更新部５０７は特徴量を更新しない。一方、特徴量２０５を取得した映像の状況情報２０７が、現在の同定対象情報３０３の状況情報が示す混雑度よりも混雑していないことを示している場合、特徴更新部５０７は特徴量を更新する。
【００４３】
これは、例えば、混雑度が高い場合、自然体で歩くことが難しくなるため、歩幅や歩容などの特徴量は信頼度が落ちてしまうためである。そのため、周囲の影響を受けずスムーズに歩ける程度の混雑度合の方が高い信頼度であるといえる。
【００４４】
以上の状況情報を少なくとも１つ用いて、特徴量を更新するか判定すればよい。ただし、複数の状況情報を用いればより精度良く特徴量を更新するか判断することができる。例えば、３つの状況情報のうち、２つ以上の状況情報に基づいて更新すると判定された場合に、更新するようにしてもよい。また、３つの状況情報が全てにおいて更新すると判定された場合に、更新するようにしてもよい。
【００４５】
また、状況情報の取得方法と信頼度が高くなる条件について述べたが、これは各ネットワークカメラ１０５が設置する状況によって異なる場合がある。例えば、ネットワークカメラ１０５が設置されている箇所がすべて薄暗い状況となっていれば、明るさの度合は高くない方が高い信頼度となる。また、条件を示す情報が予め記憶されている例を説明したが、条件を指定する入力を受け付けて条件を変更できるようにしてもよい。以上が、状況情報とその信頼度についての説明である。
【００４６】
次に、図７を用いて映像監視システム１０１が保持する映像解析結果を示すデータテーブル７０１について説明する。データテーブル７０１は、対象ＩＤ、画像、特徴量、状況情報ＩＤ、及び、位置を情報として有している。
【００４７】
「対象ＩＤ」は取得された画像から検出された人物を一意に識別するためのＩＤである。「画像」は人物が検出された時の画像を示す情報である。これは静止画でもよいし、動画であってもよい。「特徴量」は検出された人物に対して特徴抽出処理を行って求められた特徴量である。
【００４８】
「状況情報ＩＤ」は対象の画像を取得した際の状況情報を一意に識別するためのＩＤである。「位置」は対象が検出された位置を示す情報である。
【００４９】
次に、データテーブル７０２について説明する。データテーブル７０２は、状況情報を保持するためのデータテーブルである。データテーブル７０２は、状況情報ＩＤ、明るさ、カメラとの距離、及び、混雑度を情報として有している。「明るさ」は映像を取得した際の明るさを示す状況情報である。明るさを示す状況情報は照度値として保持してもよいし、大中小などで表現してもよい。「カメラとの距離」は、カメラと対象（人物）との距離を示す状況情報を示す。「混雑度」は、画像を取得した際の混雑度合を示す状況情報である。データテーブル７０１及びデータテーブル７０２は、各装置１０２〜１０４の内のどの装置が保持してもよい。以上が各テーブルについての説明である。
【００５０】
次に、図８のフローチャートを用いて、映像監視システム１０１における処理の流れを説明する。ここでは位置Ａで見つかった人物を同定対象として指定し、別の位置Ｂで見つかった人物と照合し、特徴量の更新を行う処理について説明する。この同定対象として指定された指定オブジェクトが各映像に含まれているかを同定することとなる。必要に応じて、図３及び図７を参照して説明する。なお、Ｓ８０２以降において、位置Ａで取得された特徴量２０５及び状況情報２０７で同定処理を行う例について説明とする。
【００５１】
Ｓ８０１において、同定対象指定部５０９はユーザの入力を受け付けて同定対象を設定する。ここで、Ｓ８０１の詳細について図８（ｂ）を用いて説明する。図８（ｂ）では、位置Ａにあるネットワークカメラ５０１ａが人物２０１を検出し、検出した人物をユーザの入力によって同定対象として設定された場合のフローについて説明する。
【００５２】
Ｓ８１１において、映像取得部５０２は、位置Ａで撮像された映像を取得する。
【００５３】
Ｓ８１２において、状況情報取得部５０６は、位置Ａで撮像された映像に対応する状況情報２０７を取得する。この状況情報２０７は特徴量２０５を抽出した時点における状況情報であるとより精度良く更新するか決定することができる。
【００５４】
Ｓ８１３において、人物検出部５０３はＳ８１１で取得した映像から人物の検出を行う。
【００５５】
Ｓ８１４において、特徴抽出部５０４はＳ８１３で検出された人物２０１に対して特徴抽出処理を行い、特徴量２０５を抽出する。抽出する特徴量は人物同定が行えるものであればどのようなものであってもよいが、この例では顔特徴量を用いるものとして説明する。Ｓ８１１〜Ｓ８１４の処理は必要に応じて繰り返し行われるものとする。
【００５６】
Ｓ８１５において、同定対象指定部５０９は、ユーザの入力を受け付けて、同定対象を設定する。ユーザの入力受付は、例えば、Ｓ８１３で検出された人物の画像をディスプレイに一覧表示させ、ユーザから指定を受け付けることで行われる。以上がＳ８０１の詳細である。
【００５７】
図８（ａ）に戻り、Ｓ８０２において、映像取得部５０２は、位置Ｂの映像を取得する。
【００５８】
Ｓ８０３において、状況情報取得部５０６は、位置Ｂで撮像された映像に対応する状況情報２０８を取得する。
【００５９】
Ｓ８０４において、人物検出部５０３はＳ８０２で取得した映像から人物２０２の検出を行う。
【００６０】
Ｓ８０５において、特徴抽出部５０４はＳ８０４で検出された人物２０２に対して特徴抽出処理を行い、人物２０２の特徴量２０６を抽出する。ここでは位置Ｂのカメラについて述べたが、Ｓ８０２〜Ｓ８０５の処理は各位置のカメラごとに繰り返し行われるものとする。
【００６１】
Ｓ８０６において、特徴照合部５０５はＳ８０１で指定された人物の同定対象情報２０９の特徴量と、Ｓ８０５で得られた特徴量２０８の照合（比較）を行う。
【００６２】
Ｓ８０７において、特徴照合部５０５はＳ８０６での照合結果を判定して同定対象の人物２０１と、位置Ｂで検出された人物２０２が同一かどうか判定する。同一かどうかの判定は、特徴量の類似度によって行われ、例えば、特徴量の類似度が閾値より高ければ同一であると判定する。同一であると判定された場合、Ｓ８０８に進み、同一でないと判定されればＳ８１０に進む。
【００６３】
Ｓ８０８において、特徴照合部５０５は、同定対象情報２０９の状況情報と、Ｓ８０７で同一と判定された人物２０２に関する特徴量を取得した際の状況情報２０８とを比較する。この例では位置Ａで取得した状況情報２０７（図７における００１ＥＮＶ）と、位置Ｂで取得した状況情報２０８（図７における００２ＥＮＶ）とを比較する。比較した結果、位置Ａで取得した状況情報２０７の方が良い条件であると判定されればＳ８１０に進み、そうでなければＳ８０９に進む。状況情報の比較は、図６の表に示した特徴量の信頼度が高くなる条件に従って行われる。状況情報２０７（００１ＥＮＶ）は、データテーブル７０２の表によると、明るさ「小」、カメラとの距離「近」、混雑度「小」である。状況情報２０８（００２ＥＮＶ）は、明るさ「大」、カメラとの距離「近」、混雑度「小」である。先述したように顔特徴量の場合は、より明るい状況で取得された方が高い信頼度であるため、状況情報２０８（００２ＥＮＶ）の方が状況情報２０７（００１ＥＮＶ）よりも良い状況であるといえる。そのため、この例ではＳ８０９に進む。
【００６４】
他の例として、位置Ａでは明るさ「小」、カメラとの距離「近」、位置Ｂでは明るさ「大」、カメラとの距離「遠」という状況のように、単純に比較できない場合は、撮像状況に重みを付けて比較するようにしてもよい。明るさのほうがカメラとの距離よりも重要な条件であるとすれば、この例では位置Ｂの撮像状況のほうが良いといえる。
【００６５】
次にＳ８０９において、特徴更新部５０７はＳ８０７及びＳ８０８の処理の結果を受けて、同定対象の特徴量の更新を行う。特徴量の更新処理は、同定対象として設定されている位置Ａで取得された特徴量２０５を、位置Ｂで取得された特徴量２０６に置き換えることで行われる。
【００６６】
Ｓ８１０において、表示部５０８は、特徴量の照合及び更新（Ｓ８０６〜Ｓ８０９）の結果をディスプレイに表示させる。この例では、照合の結果同一人物と判定されたことと、位置Ｂよりも位置Ａのほうが取得した状況が良い状況であると判定されたため特徴量の更新を行ったことが結果として出力される。以上によって、撮像状況の違いを考慮しつつ、より良い撮像状況のときのみ、特徴量を更新することができる。
【００６７】
本実施形態では、顔特徴量についてのみ説明したが、これに限らず、全身特徴量や歩幅特徴量など、特徴量ごとに照合して、状況情報を比較し、それぞれ特徴量の更新を行ってもよい。
【００６８】
また、Ｓ８０９において、特徴量更新は特徴量を置き換えるとしたが、位置Ａと位置Ｂの特徴量の平均を算出し、その平均特徴量で置き換えるようにしてもよい。
【００６９】
以上のように実施形態１の映像監視システム１０１によれば、特徴量を取得した際の撮像状況を考慮した特徴量の更新を行うことができる。これにより、信頼度の低い特徴量に更新することを防ぐことができるため、人物同定や追跡の精度を向上することができる。
【００７０】
＜実施形態２＞
次に実施形態２について説明する。実施形態１においては、特徴量を取得した際の状況情報を取得し、状況情報を考慮した特徴量の更新を行うことについて説明した。実施形態２では、同定対象の特徴量を更新する場合だけでなく、追加で保持する例についても説明する。なお、実施形態１と同様な部分については、適宜、説明を省略する。
【００７１】
以下、図９及び図１０のフローチャートを用いて、実施形態２について説明する。以下の説明では、同定対象情報２１０と、図７の対象ＩＤ「００１」の同定対象情報（図９における同定対象情報２０９）が同定対象の情報として保持されている場合について説明する。なお、新たに対象ＩＤ「００２」の特徴量（図９における特徴量２０６）と照合を行う場合について述べる。
【００７２】
Ｓ１００１〜Ｓ１００５はＳ８０１〜Ｓ８０５と同様なため説明を省略する。
【００７３】
Ｓ１００６において、特徴照合部５０５は、保持されている複数の同定対象情報の特徴量２０９，２１０それぞれと、特徴量２０６とを照合する。
【００７４】
Ｓ１００７において、特徴照合部５０５は、Ｓ１００６での複数の照合結果に基づいて同定対象と設定した人物と、位置Ｂで検出された人物２０２とが同一かどうか判定する。同一かどうかの判定は、同定対象情報２０９の特徴量と特徴量２０６との類似度、及び、同定対象情報２１０の特徴量と特徴量２０６との類似度をそれぞれ閾値と比較し、どちらかの類似度が閾値より高ければ同一であると判定する。同一であると判定された場合、Ｓ１００８に進み、同一でないと判定されればＳ１０１０に進む。
【００７５】
Ｓ１００８において、特徴照合部５０５はＳ１００７で同一と判定された人物に関して、特徴量２０６を取得した際の状況情報２０８と、現在保持されている同定対象情報の各状況情報とを比較する。
【００７６】
状況情報の比較は、図６の表に示した特徴量の信頼度が高くなる条件に従って行われる。同定対象情報２０９の状況情報と状況情報２０８との比較、同定対象情報２１０の状況情報と状況情報２０８との比較が実行される。
【００７７】
Ｓ１００９において、特徴更新部５０７は、Ｓ１００７及びＳ１００８の処理結果を受けて、特徴量を追加又は更新する処理を行う。
【００７８】
まず、特徴更新部５０７は、現在、比較対象として保持している同定対象情報の数（保持数）を確認し、保持数が閾値未満かどうか判定し、閾値未満であれば特徴量２０８を、次の照合を行う際の同定対象情報として追加する。保持数は予め設定されていてもよいし、ユーザが指定できるようにしてもよい。
【００７９】
なお、既に保持されている同定対象情報２０９及び２１０よりも良い条件で取得された特徴量のみ同定対象情報として追加するようにしてもよい。また、既に保持されている同定対象情報２０９及び２１０と異なる状況情報の場合に追加で保持するようにしてもよい。
【００８０】
一方、保持数が閾値以上であれば保持している同定対象のうち、最も良くない条件（状況情報）のものと置き換える（更新する）。閾値以上保持している場合に、どの同定対象情報と置き換えるかはこれに限らず様々な方法がある。例えば、取得した時刻が最も古いもの、状況情報が最も近いもの、などと置き換える方法があり、照合精度を向上させるような方法であればどのようなものでもよい。時刻による置き換え方法は、顔特徴量の場合は時刻が古くても撮像状況が良い方がよく、全身の特徴量は撮像状況が多少悪くとも時刻が新しいほうがよいなど特徴量ごとの性質によっても異なる。
【００８１】
Ｓ１０１０において、表示部５０８は、特徴量の照合、及び、特徴量の更新又は追加（Ｓ１００６〜Ｓ１００９）の結果をディスプレイに表示させる。この例では、照合の結果、同一人物と判定されたことと、特徴量を追加で保持したことが結果として出力される。以上によって、撮像状況の違いを考慮しつつ、同定対象の特徴量を追加又は更新することができる。
【００８２】
以上のように、実施形態２の映像監視システムによれば、特徴量を取得する際の状況情報を取得及び保持することで、状況情報を考慮した特徴量の追加及び保持を行うことができるようになる。これにより、人物同定及び追跡のための特徴量を複数保持することで、より正確に同定できる確率を高めることができる。また、全ての特徴量を追加するわけではないため、照合対象として保持する特徴量の数が増え過ぎることがなく、特徴量照合の計算量を抑えることができる。
【００８３】
（その他の実施例）
次に、図４を用いて、各実施形態の各機能を実現するためのハードウェア構成を説明する。なお、各装置１０２〜１０４も、図５に示すハードウェア構成により実現可能であるが、組込みシステム、タブレット端末等により実現してもよい。
【００８４】
図４において、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４０１は中央演算処理装置であり、コンピュータプログラムに基づいて他の構成要素と協働し、情報処理装置全体の動作を制御する。ＲＯＭ（Ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）４０２は読出し専用メモリであり、コンピュータプログラムやそのプログラムで規定される処理に使用するデータ等を記憶する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）４０３は書込み可能メモリであり、ＣＰＵ４０１のワークエリア等として機能する。
【００８５】
外部記憶装置４０４は記録媒体へのアクセスし、ＵＳＢメモリ等のメディア（記録媒体）に記憶されたコンピュータプログラムやデータを映像監視システム１０１にロードすることができる。ストレージ４０５はＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  ｓｔａｔｅ  Ｄｒｉｖｅ）等の大容量メモリとして機能する装置である。ストレージ４０５には、各種コンピュータプログラムやデータが格納される。
【００８６】
操作部４０６はユーザからの指示やコマンドの入力を受け付ける装置であり、キーボードやポインティングデバイス、タッチパネル等で実現することができる。
【００８７】
ディスプレイ４０７は、操作部４０６から入力されたコマンドや、それに対する情報処理装置の応答出力等を表示する表示装置である。インタフェース（Ｉ／Ｆ）４０８は外部装置とのデータのやり取りを中継する装置である。システムバス４０９は、情報処理装置内のデータのやり取りを行うデータバスである。
【００８８】
なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８９】
また、図５に示す各機能ブロックは、図４に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。
【００９０】
また、本発明は以上説明した各実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更が可能である。例えば、各実施形態を組み合わせたものも本
明細書の開示内容に含まれる。
【符号の説明】
【００９１】
５０２  映像取得部
５０３  人物検出部
５０４  特徴抽出部
５０５  特徴照合部
５０６  状況情報取得部
５０７  特徴更新部
【図１】
2018106236.tif 000003
【図２】
2018106236.tif 000004
【図３】
2018106236.tif 000005
【図４】
2018106236.tif 000006
【図５】
2018106236.tif 000007
【図６】
2018106236.tif 000008
【図７】
2018106236.tif 000009
【図８】
2018106236.tif 000010
【図９】
2018106236.tif 000011
【図１０】
2018106236.tif 000012