(57)【要約】    【課題】      認識処理の処理負荷を増大させることなく、マーキングされた人物を簡単かつ確実に特定してマーク表示すること。    【解決手段】  監視装置では、複数の監視カメラ１からの映像を映像処理部２が処理して表示部８に表示する。その際、操作部３の操作に従いマーキング部４によって表示部８中の人物にマーキングが行われ、マーキングされた人物の特徴量がマーキング情報記憶部５に記憶されると、人物同定部６が監視カメラ１の映像中の人物と、マーキング情報記憶部５中の人物とを複数の画像認識処理により人物同定判定する。その際、認識処理制限部７は、複数のカメラ１からの映像に対して画像認識処理の切り替え制御を行うことにより、マーキングされた人物のマーク表示ができた際に、他カメラ映像に対する認識処理を行わないよう制御して、画像認識処理の負荷を抑える。  【選択図】      図１
2006229465.tif 000002
【特許請求の範囲】
【請求項１】
マウス等の操作部から指示に基づいて複数の監視カメラからの映像中の監視対象に対しマーキングを行うマーキング部と、
前記監視カメラからの映像に対し複数の画像認識処理を行って前記マーキングされた監視対象を同定する同定部と、
前記同定部による画像認識処理結果に応じて前記同定部で用いる前記複数の画像認識処理を制限する認識処理制限部と、
前記監視カメラからの映像上に、前記同定部にて同定された前記監視対象を特定するマーク表示を重畳する映像処理部と、
を備えた監視装置。
【請求項２】
さらに、前記マーキング部によりマーキングされた監視対象の特徴量を記憶するマーキング情報記憶部を備え、
前記同定部は、前記監視カメラからの映像に対し前記監視対象の特徴量に基づいて複数の画像認識処理を行って前記監視対象を同定する、
請求項１記載の監視装置。
【請求項３】
前記同定部および前記映像処理部が、前記認識処理制限部とは別の装置内に設けられ、これらの装置間はネットワークで接続されている、
請求項１に記載の監視装置。
【請求項４】
前記認識処理制限部は、
複数の監視カメラからの映像毎に実行される前記同定部で用いる前記複数の画像認識処理を制限する場合に、ある監視カメラ映像における監視対象の同定時に一致のあった画像認識処理の精度を規準として、他の監視カメラ映像に対してより精度が高い画像認識処理は継続して実行し、他の監視カメラ映像に対してより精度の低い画像認識処理は中止するように制限し、既にマーク表示されていれば当該マーク表示を解除する、
請求項１〜請求項３のいずれかの請求項に記載の監視装置。
【請求項５】
前記認識処理制限部は、
前記操作部から、監視者が前記表示部のモニタに表示された監視対象に対するマーク表示を解除する操作を受け取った場合に、前記同定部で用いる画像認識処理に対する制限を解除する、
請求項１〜請求項３のいずれかの請求項に記載の監視装置。
【請求項６】
前記認識処理制限部は、
前記操作部から、監視者が前記表示部のモニタに表示された監視対象に対するマーク表示を解除する操作を受け取った場合に、マーク表示されていた監視対象の情報を不一致情報として前記マーキング情報記憶部に蓄積し、前記同定部に対して、前記不一致情報を監視対象の同定時に用いるように制御する、
請求項１〜請求項３のいずれかの請求項に記載の監視装置。
【請求項７】
前記認識処理制限部は、
前記操作部から、監視者が前記表示部のモニタに表示された監視対象に対するマーク表示を指定して、優先する画像認識処理を選択する操作を受け取った場合に、前記同定部で用いる画像認識処理の優先順位を変更する、
請求項１〜請求項３のいずれかの請求項に記載の監視装置。
【請求項８】
前記認識処理制限部は、
前記操作部から、監視者が前記表示部のモニタに表示された監視対象を指定して、前記マーキング情報記憶部に登録されている監視対象情報と当該監視対象とを手動で対応付ける操作を受け取った場合に、前記同定部で用いる画像認識処理を中止するように制限する、
請求項１〜請求項３のいずれかの請求項に記載の監視装置。
【請求項９】
マウス等の操作部から指示に基づいて複数の監視カメラにより撮影された映像中の監視対象に対しマーキングが行われ、前記監視カメラからの映像に対し複数の画像認識処理を行って前記マーキングされた監視対象を同定する場合に、前記画像認識処理結果に応じて前記複数の画像認識処理を制限する監視方法。
【請求項１０】
コンピュータに、
マウス等の操作部から指示に基づいて複数の監視カメラにより撮影された映像中の監視対象に対しマーキングが行われ、前記監視カメラからの映像に対し複数の画像認識処理を行って前記マーキングされた監視対象を同定する場合に、前記画像認識処理結果に応じて前記複数の画像認識処理を制限させる監視用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台の監視カメラ等の撮像装置を用いて、監視者がマーキングした人物等の監視対象を監視する監視装置、監視方法、監視用プログラムに関するものである。
【背景技術】
【０００２】
近年の犯罪件数の増加に伴い、監視カメラの映像を用いて不審人物の監視を行う映像監視システムの普及が進んでいる。また、監視カメラがIP化され、複数台の監視カメラにより広範囲を監視することも増えてきた。このような状況において、ある特定の人物に注目して監視を行おうとした場合、監視者は複数カメラの間を移動する人物を、カメラを切り替えながら追跡せねばならず、大変な労力を必要としていた。そこで、人物監視作業を確実かつ効率的に行うための技術が求められている。
【０００３】
従来の監視装置としては、モニタに映し出された人物の顔を含む画像を監視者がマーキングし、カメラ映像とマーキングされた人物の顔画像とを照合することで、特定人物を他の人物と差別化して表示するものがある（例えば、特許文献１参照）。
【特許文献１】特開２００４−１２８６１５号公報（第２図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前述の従来の監視装置では、顔の傾きや角度等の条件によって顔照合で誤検出が発生すると、複数台のカメラが視野を共有しない間隔で配置されているような場合には、マーキングされた人物は一度に一台のカメラにのみ撮影されるはずであるが、複数のカメラ映像内の別の人物がそれぞれマーキングされた人物として認識してしまい、同時に複数の別の人物がマーク表示される、という問題がある。
【０００５】
これに対して、顔照合以外に、色認識や形状認識等の複数の画像認識処理を組み合わせて人物同定を行うことにより、人物のマーク表示の精度を向上させる方法が考えられるが、依然として同時に複数の別の人物がマーク表示されてしまう恐れがある、という問題は残る。
【０００６】
また、近年の監視カメラのIP化に伴い、ネットワークを経由して多くのカメラ映像を一箇所のサーバ等に集中させて監視する形態になってきており、顔認識や形状認識等の複数の認識処理を行うことにより、処理負荷がさらに増大する、という問題がある。
【０００７】
そこで、本発明は、複数のカメラがある場合でも、認識処理の処理負荷を増大させることなく、マーキングされた人物を簡単かつ確実に特定してマーク表示することができる監視装置、監視方法、監視用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記従来の課題を解決するために、本発明は、マウス等の操作部から指示に基づいて複数の監視カメラにより撮影された映像中の監視対象に対しマーキングが行われ、前記監視カメラからの映像に対し複数の画像認識処理を行って前記マーキングされた監視対象を同定する際、前記画像認識処理結果に応じて前記複数の画像認識処理を制限する。
【発明の効果】
【０００９】
本発明によれば、複数のカメラ映像において監視対象を同定する際、画像認識処理の結果に応じてその複数の画像認識処理を制限するようにしたので、複数のカメラ映像において監視対象を同定する際、画像認識処理の切り替え制御が可能となり、複数のカメラがある場合でも、認識処理の処理負荷を増大させることなく、マーキングされた人物を簡単かつ確実に特定してマーク表示することができる。つまり、例えば、あるカメラである認識処理によってマーキングした監視対象との一致があった場合、以降、その監視対象との比較については、他のカメラ映像に対してもより精度の高い認識処理のみを行い、他の精度が低い認識処理は行わないようにすれば、監視対象を特定するマークが余計に表示されることを防ぐ効果がある。また、例えば、大量のカメラの映像に対して画像認識処理を行う場合、監視対象のマーク表示ができた際、それ以降は、他のカメラ映像に対する認識処理を行わないようにすれば、画像認識処理の負荷を抑えることができるという効果がある。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１１】
なお、以下に説明する本発明の実施の形態では、複数の監視カメラ間を移動する人物を監視対象として追跡監視する監視装置に関するものであり、監視者があるカメラ映像内に不審人物を発見した際にマーキングしておくことで、不審人物が別のカメラ撮影範囲へ移動した後でも、モニタ上の不審人物にマーク表示を重畳させることで、不審人物を見失うことを防止するようにしている。
【００１２】
（実施の形態１）
本発明の実施の形態１における人物監視装置１００について説明する。
【００１３】
図１は、本発明の実施の形態１における人物監視装置１００の全体構成図である。
【００１４】
図１において、実施の形態１の人物監視装置１００は、直接またはネットワークを介して複数台の監視カメラ（図上では、単にカメラと略す。）１と接続されており、映像処理部２と、操作部３と、マーキング部４と、マーキング情報記憶部５と、人物同定部６と、認識処理制限部７とを有している。
【００１５】
操作部３は、監視者がマウスやトラックボール等のポインティングデバイスを用いて行う操作を受け取るものである。
【００１６】
マーキング部４は、操作部３から監視者の操作を受け取り、監視者の指定した不審人物等の人物に対してマーキングを行うものである。
【００１７】
マーキング情報記憶部５は、マーキング部４によりマーキングされた人物の特徴量を蓄積したものである。なお、マーキングされた人物の特徴量は、マーキング部４等が操作部３からの指示により不審人物に対してマーキングを行った際に抽出しても良いし、別の新たな手段を設けて、マーキング部４によりマーキングされた人物の特徴量を抽出するようにしても勿論よい。
【００１８】
人物同定部６は、監視カメラ１より得られる映像と、マーキング情報記憶部５より得られる人物特徴量とに基づき、複数の画像認識処理を用いて同一人物であるかの判定を行うものである。
【００１９】
認識処理制限部７は、人物同定部６の画像認識処理結果に応じて、人物同定部６で用いる画像認識処理を制限するものである。
【００２０】
映像処理部２は、監視カメラ１の映像上に、人物同定部６の画像認識処理結果に応じて、特徴量が一致する人物にマーク表示を重畳表示させるものである。
【００２１】
表示部８は、映像処理部２より撮影中の映像を受け取り、モニタやディスプレイ等の表示装置に映像を表示するものである。
【００２２】
図２は、図１に示す本実施の形態１の人物監視装置１００の使用イメージを示す図である。
【００２３】
監視者は、表示部８のカメラＡ１６１の映像表示画面２１内に映っている不審者２２を、ポインタ３１を用いてマーキングする。その際、カメラＢ１６２の映像表示画面２１内には、不審者２２は写っていない。その後、不審者２２は、カメラＡ１６１の撮影範囲外に出て、経路１６０を移動して、５分後にカメラＣ１６３の撮影範囲内に入ったとする。このとき、監視装置は現在映っている人物と監視者がマーキングした人物との比較を行う。同一人物として判定されたならば、表示部８のカメラＣ１６３の映像表示画面２５では、人物２２に対して確定マーク２４によってマーク表示することにより、監視者に対してマーキングした人物であることが図示される。
【００２４】
以上のように構成された人物監視装置１００において、以下その動作を説明する。
【００２５】
複数台の監視カメラ１は、それぞれ、複数台が直接的またはインターネットやＬＡＮ等のネットワークを介して間接的に人物監視装置１００に接続されており、継続的に撮像中の映像を配信する。
【００２６】
監視カメラ１の配信した映像は、人物監視装置１００の映像処理部２と、人物同定部６とに渡される。映像処理部２は、通常時は、受け取った映像をそのまま表示部８に渡し、表示部８はリアルタイムにモニタ等の表示装置に表示する。
【００２７】
人物同定部６は、マーキング情報記憶部５に記憶されたマーキング部４によるマーキング情報に基づいて、人物同定処理を行う。
【００２８】
ここでは、まず、マーキング部４の動作について、図３を用いて説明する。
【００２９】
監視者は、図３（ａ）において、映像表示画面２１中に映っている人物２２，２３に対して、操作部３を操作し、追跡したい人物、例えば人物２２をポインタ３１により指定して選択する。そして、マーキングされた人物２２の映像から、マーキング部４は画像認識処理を用いて人物特徴量を抽出し、マーキング情報記憶部５に蓄積する。
【００３０】
なお、マーキング部４において人物毎にその特徴情報を抽出する方法は、公知の手法であり、例えば、「画像の処理と認識」（安居院猛、長尾智晴共著、昭晃堂出版）等に詳細に記載されている。そのため、人物特徴量を抽出する手順についての詳細な説明は、省略する。
【００３１】
マーキング情報記憶部５は、記憶機器もしくはデータベースにより構成されており、マーキング部４により取得した人物特徴量を蓄積する。マーキング情報記憶部５に含まれる人物特徴量としては、例えば、顔特徴量、色特徴量、形状特徴量等があり、形状、色、大きさなどによりオブジェクトを特定する特徴情報として、例えば、顔特徴量の場合における目、鼻、口の形状や位置等を特定する情報等がある。
【００３２】
人物同定部６は、人物２２が同一の映像表示画面２１中に映っている期間中、当該人物を追跡し続ける。人物を追跡する方法としては、以下に述べるような公知の手法を用いて良い。
【００３３】
つまり、まず、監視カメラ１の映像中から背景差分を用いてオブジェクトの抽出を行い、前後のフレーム間でオブジェクト位置の相関を調べる。オブジェクト位置が近いものは同一オブジェクトであると判定し、オブジェクトの移動軌跡情報を生成して、当該人物を追跡する。そして、追跡中のマーク表示すべき人物の位置およびマークの種類を映像処理部２へ送信する。
【００３４】
映像処理部２は、監視カメラ１より撮像中の映像を受けとり、人物同定部６より追跡中の人物の映像中での位置および、マーク表示する際のマークの種類を受け取る。そして、図３（ｂ）に示すように、監視カメラ１の映像表示画面２１の人物２２の上に、確定マーク２４を重畳した画面を生成し、表示部８に送信する。
【００３５】
人物２２がカメラＡから別のカメラに移動したときは、人物同定部６はマーキング情報記憶部５と監視カメラ１から取得した映像を基に、画像認識処理を用いて人物同定を行う。人物同定部６の詳細については、以降で詳しく述べるためここでは説明を省略する。
【００３６】
図３（ｃ）において、映像表示画面２１とは別のカメラの映像表示画面２５に映っている人物２６が図３（ａ），（ｂ）のマーキングされた人物２２と同一人物であるならば、確定マーク２４により特定された状態で表示される。
【００３７】
また、人物同定部６の判定結果が、精度が低く、マーキングされた人物２２と同一人物であるかどうかが不確定である場合、図３（ｄ）に示すような不確定マーク２７により人物２６をマーク表示する。
【００３８】
次に、人物同定部６の詳細構成について、図４を用いて説明する。
【００３９】
図４は、本実施の形態１の人物監視装置１００の人物同定部６の詳細な構成例を示している。
【００４０】
図４において、本実施の形態１の人物同定部６は、検出モード別認識切替処理部６１と、顔認識処理部６２と、色認識処理部６３と、形状認識処理部６４と、人物特定処理部６５と、を有している。
【００４１】
検出モード別認識切替処理部６１は、認識処理制限部７から取得した検出モードに基づき、監視カメラ１より受け取った画像に対して実行する複数の画像認識処理、すなわち顔認識処理部６２、色認識処理部６３、および形状認識処理部６４を切り替えるものである。
【００４２】
顔認識処理部６２は、検出モード別認識切替処理部６１より受け取った画像から顔特徴量を抽出し、マーキング情報記憶部５中の顔特徴量と一致するか評価するものである。
【００４３】
色認識処理部６３は、検出モード別認識切替処理部６１より受け取った画像から色特徴量を抽出し、マーキング情報記憶部５中の色特徴量と一致するか評価するものである。
【００４４】
形状認識処理部６４は、検出モード別認識切替処理部６１より受け取った画像から形状特徴量を抽出し、マーキング情報記憶部５中の形状特徴量と一致するか評価するものである。
【００４５】
人物特定処理部６５は、カメラ１から撮影映像を入力すると共に、顔認識処理部６２，色認識処理部６３，形状認識処理部６４より評価結果を受け取り、評価結果が十分高ければ、映像処理部２に対して、マーキング情報記憶部５に記憶されたマーキング情報に基づき該当する人物をマーク表示させ、認識処理制限部７に対して、認識処理の評価結果をフィードバックし、また、マーク表示された人物および、マーキング部４がマーキングした人物が、カメラ撮影範囲外へ移動するまでの間追跡を続けるものである。
【００４６】
本実施の形態１においては、顔認識処理部６２は、他の認識処理よりも高精度な人物同定判定が可能であるとし、色認識処理部６３、および形状認識処理部６４は、顔認識処理部６２よりも精度は劣るものの、顔が映っていない映像による人物同定判定が可能であるものとする。また、各認識処理の評価結果は、評価値を閾値によりランク分けし、一致、半一致、不一致とする。
【００４７】
図５は、本実施の形態の認識処理制限部７における人物検出モードの遷移の一例を表で示した図である。
【００４８】
図５に示すように、認識処理制限部７は、認識結果判定処理として、Ａ〜Ｅの５種類の判定出力があり、それぞれ、３種類の検出モードおよびマーク表示を用意している。
【００４９】
つまり、認識結果判定処理として、例えば「Ａ；顔認識一致」を出力する場合は、遷移後の検出モードは「非検出モード」、マーク表示は「確定マーク表示」となる。
【００５０】
同様に、認識結果判定処理として「Ｂ；顔認識半一致」を出力する場合は、遷移後の検出モードは「顔検出モード」、マーク表示は「不確定マーク表示」となり、認識結果判定処理として「Ｃ；色または形状認識一致」を出力する場合は、遷移後の検出モードは「顔検出モード」、マーク表示は「不確定マーク表示」となる。
【００５１】
また、同様に、認識結果判定処理として「Ｄ；顔不一致かつ色または形状認識半一致」を出力する場合は、遷移後の検出モードは「全検出モード」、マーク表示は「不確定マーク表示」となり、認識結果判定処理として「Ｅ；全て不一致」を出力する場合は、遷移後の検出モードは「全検出モード」、マーク表示しないとなる。
【００５２】
図６は、本実施の形態の認識処理制限部７における人物検出モードの遷移を示す図である。
【００５３】
図６において、全検出モード７０１は初期状態であり、顔，色，形状すべての認識処理を行うものである。顔検出モード７０２は、顔認識処理部６２のみを行うものである。さらに、非検出モード７０３は、すべての認識処理を行わないものである。
【００５４】
上記３つの人物検出モードは、マーキング情報記憶部５に登録されている人物に対して個別に存在し、マーキングされた人物毎に異なる検出モードを取り得る。
【００５５】
人物同定部６は、各マーキングされた人物に対する検出モードに従い、複数の監視カメラ１の映像に映っている人物と、マーキングされた人物とを比較する際に実行する認識処理を制限する。
【００５６】
つまり、図６に示すように、全検出モード７０１において、顔認識の結果が不一致であり、かつ、顔以外の認識処理結果のいずれかが半一致であった場合は、経路７１０を経由して全検出モード７０１に戻る。このとき、人物特定処理部６５は、映像処理部２に対して、図７（ａ）に示すように、当該人物に不確定マーク２７を表示するよう指示する。また、このとき、すでに他カメラ映像においてマーキングされた人物と同一人物であると判定され、追跡表示されている人物の不確定マーク２７がある場合は、評価値の高い方のみを表示したり、複数の人物に対して不確定マークを表示したりする（例えば、図５Ｄの認識結果判定処理の場合）。
【００５７】
全検出モード７０１において、顔認識処理の結果が半一致であるか、または、顔認識の結果が不一致であり顔以外の結果のいずれかが一致であった場合は、図６に示すように、経路７１１を経由して顔検出モードに遷移する。なぜなら、顔認識は他の認識処理よりも精度が高いので、顔認識により半一致が起きた場合は、顔認識よりも精度が低い他の認識処理により一致が起きたとしても、マーキングされた人物である可能性は低いため、顔以外の認識を継続して行う必要はないためである。同様に、顔以外の認識により一致が起きた場合は、色認識および形状認識よりも精度が高い処理である顔認識処理による判定のみを継続すれば良いからである。このとき人物特定処理部６５は、映像処理部２に対して、図７（ｂ）に示すように、当該人物に対して不確定マーク２７を表示するよう指示する（例えば、図５Ｂまたは図５Ｃの認識結果判定処理の場合）。
【００５８】
全検出モード７０１において、顔認識処理の結果が一致であった場合は、図６に示すように、経路７１４を経由して非検出モード７０３に遷移する。このとき、人物特定処理部６５は、映像処理部２に対して、図８に示すように、当該人物に対して確定マーク２４を表示するよう指示する。また、他カメラ映像においてマーキングされた人物と同一人物であると判定され、追跡表示されている人物の不確定マークがあればそれをクリアし、追跡表示を中止する（例えば、図５Ａの認識結果判定処理の場合）。
【００５９】
顔検出モード７０２において、顔認識処理の結果が半一致であった場合、図６に示すように、経路７１２を経由して顔検出モード７０２に戻る。このとき、人物特定処理部６５は、映像処理部２に対して、図７（ｂ）に示すように、当該人物に対して不確定マーク２７を表示するよう指示する。また、このとき、すでに他カメラ映像においてマーキングされた人物と同一人物であると判定され、追跡表示されている人物の不確定マーク２７がある場合は、評価値の高い方のみを表示したり、複数の不確定マークを表示したりする（例えば、図５Ｂの認識結果判定処理の場合）。
【００６０】
顔検出モード７０２において、顔認識処理の結果が一致であった場合は、図６に示すように、経路７１３を経由して非検出モード７０３に遷移する。このとき人物特定処理部６５は、映像処理部２に対して、図８に示すように、当該人物に対して確定マーク２４を表示するよう指示する。また、このとき、すでに他カメラ映像中においてマーキングされた人物と同一人物であると判定され、追跡表示されている人物の不確定マークがあればそれをクリアし、追跡表示を中止する（例えば、図５Ａの認識結果判定処理の場合）。
【００６１】
なお、顔検出モード７０２および非検出モード７０３において、人物特定処理部６５の追跡している確定マークおよび不確定マークが表示された人物が全て、カメラ外へ移動してしまったときは、図６に示すように、それぞれ経路７１６または経路７１５を経由して、全検出モード７０１へ遷移する（例えば、図５Ｅの認識結果判定処理の場合）。すなわち、初期状態へと戻る。
【００６２】
次に、人物同定部６の動作について、図９に示す人物同定部６の処理フローを用いて説明する。
【００６３】
図９は、人物同定部６の処理手順を示すフローチャートである。
【００６４】
人物同定部６では、図４に示すように、まず、検出モード別認識切替処理部６１が認識処理制限部７より全てのマーキングされた人物に対する検出モードを受け取り、人物検出を行う否かを判断する（Ｓ１０１）。ここで、全てのマーキングされた人物の検出モードが非検出モード７０３であった場合は、検出モード別認識切替処理部６１は、人物検出を行わないと判断し（Ｓ１０１“ＮＯ”）、以降の認識処理は行わない。
【００６５】
これに対し、検出モードが非検出モード７０３以外を含んでいる場合（Ｓ１０１“ＹＥＳ”）、検出モード別認識切替処理部６１は、監視カメラ１よりカメラ映像を取得する（Ｓ１０２）。
【００６６】
Ｓ１０２にて取得した映像中に人物が含まれない場合は（Ｓ１０３“人物無し”）、検出モード別認識切替処理部６１は、フローの先頭へと戻る（Ｓ１０３）。
【００６７】
Ｓ１０２にて取得した映像中に人物が含まれており（Ｓ１０３“人物有り”）、検出モードが全検出モード７０１を含んでいる場合（Ｓ１０４“全検出”）、検出モード別認識切替処理部６１は、マーキング情報記憶部５より、検出モードが全検出モード７０１であるマーキングされた人物の色や形状などの特徴量を取得し（Ｓ１０５）、色認識処理部６３および形状認識処理部６４に対し、それぞれ、Ｓ１０２において取得した映像中の人物に対して取得した人物の色や形状などの特徴量に基づいて色認識処理または形状認識処理を実行させて、形状または色による人物同定判定処理を行わせ（Ｓ１０６）、Ｓ１０７へ移行する。
【００６８】
また、Ｓ１０４の検出モードの判断で、検出モードが全て顔検出モード７０２である場合は（Ｓ１０４“顔検出”）、Ｓ１０５およびＳ１０６を行わずに、Ｓ１０７へ移行する。
【００６９】
そして、Ｓ１０７では、マーキング情報記憶部５より、検出モードが非検出モード７０３以外であるマーキングされた人物の顔特徴量を取得し、Ｓ１０２において取得した映像中の人物に対して顔認識処理部６２により顔認識処理を実行させて、顔による人物同定判定処理を行わせる（Ｓ１０８）。
【００７０】
人物特定処理部６５では、Ｓ１０６およびＳ１０８の人物同定判定処理の認識処理結果を受け取り、一致，半一致，不一致のいずれの結果であるかを判定する（Ｓ１０９）。
【００７１】
一致および半一致があった場合（Ｓ１０９“ＹＥＳ”）、人物特定処理部６５は、認識処理制限部７に対して、マーキングされた人物と映像中の人物の間で、どの認識処理でどの一致があったかを通知し、認識処理制限部７は、現在の検出モードと人物特定処理部６５より受け取った情報を基に、図６に示した状態遷移に従い、マーキングされた人物の検出モードを切り替える（Ｓ１１０）。
【００７２】
そして、認識処理制限部７は、映像処理部２に対して、一致または半一致のあった映像中の人物に対し、マーキング表示を行うように、当該人物の画面中の位置および、マークの種類（確定マーク、不確定マーク）を通知して、人物にマーク表示をする（Ｓ１１１）。なお、不確定マークは、同時に複数の人物に表示されることがある。
【００７３】
Ｓ１０９の判断で不一致の場合（Ｓ１０９“ＮＯ”）、および上記の処理が終了後は、再びＳ１０１に戻り、カメラ映像に対する認識処理を繰り返す。
【００７４】
次に、人物へのマーク表示の具体例について説明する。
【００７５】
図１０は、人物へのマーク表示の具体例を示す図である。
【００７６】
例えば、図１０（ａ）に示す人物２２が、マーキングされてマーキング情報記憶部５に登録されているとする。図１０（ｂ）のカメラＡおよび図１０（ｃ）のカメラＢにおいて、人物２２と人物２３について形状認識による一致があった場合、両方の人物について、同時に不確定マーク２７が表示される。
【００７７】
このとき、人物２２および人物２３は、どちらもマーキング情報記憶部５に登録されている可能性が高いものの、確定では無いということを表している。
【００７８】
そして、その後の人物同定判定処理によりマーキングされた人物との一致が確定すると、他の不確定マーク２７は消去される。
【００７９】
図１１は、人物へのマーク表示の他の具体例を示す図である。
【００８０】
例えば、図１１（ａ）および図１１（ｃ）では、人物２２および人物２３について形状認識による一致があり、不確定マーク２７が表示されている。このとき、検出モードが顔検出モードに遷移している。その後、人物２２が移動して顔画像が取得でき、顔認識による一致が起こると、図１１（ｂ）に示すように、不確定マーク２７は確定マーク２４へと変化する。また、人物２３はマーキングされた人物ではなかったので、図１１（ｄ）に示すように、人物２３へと付けられていた不確定マーク２７は消去される。このとき、検出モードは非検出モードへと遷移し、以降、人物２２がカメラ内に存在する間は、カメラＡおよびカメラＢの人物同定部６において、人物２２についての人物同定判定処理は行われない。
【００８１】
なお、不確定マーク２７は、画像認識結果の評価値に応じて、その形状や色等の表示方法を変化させても良い。
【００８２】
図１２は、人物へのマーク表示の他の具体例を示す図である。
【００８３】
例えば、図１２（ａ）においては、評価値の高さに応じて、不確定マーク２１０の色の濃度を変化させている。つまり、色が薄いほど評価値が低く、色が濃いほどに評価値が高いことを表している。
【００８４】
また、例えば、図１２（ｂ）においては、評価値の高さに応じて、不確定マーク２１１の大きさを変化させている。つまり、サイズが小さいほど評価値が低く、サイズが大きいほどに評価値が高いことを表している。
【００８５】
図１３は、人物へのマーク表示の他の具体例を示す図である。
【００８６】
また、図１３においては、一致があった認識処理の種類に応じて、不確定マーク２１２の形状を変化させている。
【００８７】
例えば、図１３（ａ）の逆三角形の不確定マーク２１２は顔認識の半一致を示すものであり、図１３（ｂ）の菱形の不確定マーク２１３は色認識による一致を示すものであり、図１３（ｃ）の矢印形の不確定マーク２１４は形状認識による一致を示すものである。
【００８８】
上記の表示方法を用いることにより、監視者は視覚的に、人物同定判定の評価値や一致が起きた認識の種類を知ることができる。
【００８９】
なお、確定マーク２４および不確定マーク２７には、図１３（ｄ）に示すように、マークの内部に数字を表示しても良い。数字の意味としては、例えば、不確定マーク２７が複数表示されている場合のマークの総数であったり、マークの付けられた順番であったりしても良い。また、マーキングされた人物に割り当てられたＩＤ番号であったり、マーキングされた時に人物が撮影されていたカメラに割り当てられたＩＤ番号であったり、複数の監視者がマーキングできる場合においては監視者に割り当てられたＩＤ番号であったりしてもよい。
【００９０】
上記の表示方法を用いることにより、人物に対しマーク表示をした際に、数字を参考にすることで、当該人物の情報を確認する作業を効率よく行える。
【００９１】
なお、図１に示した構成のカメラ１の変わりに、HDD等の蓄積装置に録画した映像を読み出して、人物同定部６および映像処理部２に受け渡し、その映像に対して人物のマーキングを行い、追跡表示させても良い。その際、複数カメラの映像を蓄積装置より再生する場合は、各カメラ映像間で時刻同期をとって再生するのが望ましい。
【００９２】
また、あらかじめ蓄積映像に対して画像認識処理を行い、各人物の顔特徴量，色特徴量，形状特徴量をあわせて蓄積装置に記録しておくことにより、人物同定部６においては再生時に画像認識処理を行う必要は無く、マーキング情報記憶部５内の特徴量との比較のみによって人物同定が可能となる。そのため、処理負荷を抑えて人物追跡が可能となる。
【００９３】
また、あらかじめ人物の移動軌跡情報を蓄積しておけば、例えばある人物がカメラの撮影範囲に入ったときに、はじめは後ろ向きであり、１０秒後に顔が映って顔特徴量が得られたとすると、このときに蓄積された移動軌跡情報を参照することにより、当該人物がカメラ撮影範囲に入った直後から、顔特徴量の比較による人物同定処理を行うことが可能であり、人物のマーク表示をすることができる。
【００９４】
以上、本発明の実施の形態１の人物監視装置１００によれば、認識処理制限部７を設けることにより、各カメラ映像に対して検出モードに従った画像認識処理の切り替え制御が可能となる。
【００９５】
そのため、あるカメラである認識処理によって人物の一致があった際に、他のカメラ映像に対してより精度の高い認識処理のみを行い、他の精度が低い認識処理は行わないようにすることにより、人物を特定するマークが余計に表示されることを防ぐ効果がある。
【００９６】
また、大量のカメラの映像に対して画像認識処理を行う場合、マーキングされた人物のマーク表示ができた際、他カメラ映像に対する認識処理を行わないようにすることにより、複数カメラの映像を一つのサーバに集めて画像認識処理を行う構成では、画像認識処理の負荷を抑える効果が得られる。
【００９７】
（実施の形態２）
次に、本発明の実施の形態２における人物監視装置２００について説明する。
【００９８】
図１４は、実施の形態２における人物監視装置２００の構成を示す図である。
【００９９】
前述の実施の形態１の人物監視装置１００では、図１に示すように、映像処理部２、マーキング情報記憶部５、人物同定部６、認識処理制限部７は全て、同一のサーバ上に構成されていたが、本実施の形態２の人物監視装置２００は、映像処理部２および人物同定部６は、認識処理制限部７およびマーキング情報記憶部５等を持つサーバ９３と異なる、複数のサーバ９１，９２を、ＬＡＮやインターネット等のネットワークにより接続して構成されている。
【０１００】
また、それぞれの人物同定部６は、それが含まれるサーバ９１，９２に接続された監視カメラ１１，１２からの映像に対して、人物同定を行うものとする。
【０１０１】
以上のように構成された本実施の形態２の人物監視装置２００において、以下、例を挙げてその動作を説明する。
【０１０２】
図１５は、実施の形態２における人物へのマーク表示の具体例を示す図である。
【０１０３】
図１５（ａ）に示す監視カメラ１１の撮影範囲内の映像表示画面２８中の人物２２に対して、操作部３を操作してマーキングを行うと、サーバ９３のマーキング情報記憶部５にマーキング情報が蓄積される。
【０１０４】
その後、サーバ９３のマーキング情報記憶部５に蓄積されたマーキング情報を基に、サーバ９１の人物同定部６は、監視カメラ１１の映像中の人物との比較を行い、同時に、サーバ９２の人物同定部６においても監視カメラ１２の映像中の人物との比較を行う。このとき、サーバ９１，９２の人物同定部６は、ともに、サーバ９３の認識処理制限部７の持つ検出モードに従い、人物同定に用いる認識処理を制御している。
【０１０５】
その後、人物２２が監視カメラ１２の撮影範囲の映像表示画面２９内に移動したとする。人物２２の顔画像が監視カメラ１２によって撮影されると、サーバ９２の人物同定部６において、人物２２の顔特徴量とマーキング情報記憶部５の顔特徴量との一致が起こり、同一人物であると判定される。次に、サーバ９２の映像処理部２において、監視カメラ１２の映像中の人物２２の上に、図１５（ｂ）に示すような確定マーク２４が表示され、マーキングした人物がマーク表示される。また、サーバ９３の認識処理制限部７の検出モードは、非検出モード７０３に遷移する。
【０１０６】
そのため、サーバ９１の人物同定部６は、サーバ９２の人物同定部６が変更した検出モードに従い、人物２２と監視カメラ１１内の人物との比較処理を停止する。なぜなら、マーキングされた人物２２は監視カメラ１２の撮影範囲内にいることは確定しており、同時に監視カメラ１１の撮影範囲内にいることはありえないからである。そのため、サーバ９１では、人物同定部６の不要な処理が実行されることを防ぐことが可能となる。
【０１０７】
その後、人物２２が監視カメラ１２の撮影範囲外へ移動すると、サーバ９２の人物同定部６は、サーバ９３の認識処理制限部７内部の検出モードを、全検出モード７０１へと変更する。そのため、サーバ９１の人物同定部６は再び、監視カメラ１１内の人物との比較処理を再開する。
【０１０８】
なお、他の処理については、実施の形態１と等しいため、詳細な説明は省略する。
【０１０９】
なお、図１６に示す人物監視装置３００のように、映像処理部２および人物同定部６を、監視カメラ１１および監視カメラ１２の内部に構成してもよい。図１６において、それぞれの人物同定部６は、それが含まれる監視カメラ１１，１２の撮像手段１３からの映像に対して、人物同定を行う。このときの動作については、図１４に示す構成における動作と同様であるため、説明は省略する。
【０１１０】
以上、本発明の実施の形態２の人物監視装置２００，３００によれば、監視システムが大規模化してカメラ台数が増加した際にも、複数のサーバに人物同定部６を登載し、サーバ間で協調動作しながら人物追跡を行うシステムを構築することが可能である。画像認識の負荷を分散することにより、高性能なサーバが不要となり、人物追跡システムの構築コストを低価格に抑えられる効果がある。
【０１１１】
また、図１６に示した構成によれば、各監視カメラ１１，１２に人物同定部６を登載することで、サーバ側の処理負荷を監視カメラ１１，１２側に分散させる効果がある。また、各人物同定部６は、登載された各監視カメラ１１，１２の映像に対してのみ画像認識処理を行えばよいため、高速なＣＰＵを必要とせず、コストを抑えることが可能である。
【０１１２】
また、上記のいずれの構成においても、認識処理制限部７は、各サーバ９１，９２，９３または各監視カメラ１１，１２に搭載された人物同定部６の判定結果に応じた認識処理制御を行うことにより、不要な認識処理を中止することでシステム全体の処理負荷を抑える効果がある。
【０１１３】
（実施の形態３）
次に、本発明の実施の形態３における、表示部８に対する操作部３の操作について説明する。
【０１１４】
図１７は、監視者による不確定マーク２７選択時の操作画面を示す図である。
【０１１５】
監視者は、ポインタ３１を操作して不確定マーク２７を選択し、メニュー３２を用いてマーキング情報記憶部５の変更や参照を行うことができる。
【０１１６】
メニュー３２より、マーク解除３２１を選択すると、不確定マーク２７は消去される。そして、人物２２はマーキング情報記憶部５において、一致したと判定された人物とは異なる人物として登録される。以降では、この情報を不一致情報と呼ぶ。人物同定部６の人物特定処理部６５は、不一致情報として登録されている人物と特徴量が一致、もしくは十分近い場合は、マーキングされた人物として判定することはしない。そのため、これ以降、人物２２がマーク表示されることは無い。また、認識処理制限部７の検出モードは、全検出モード７０１へと遷移する。
【０１１７】
確定マーク化３２２を選択すると、不確定マーク２７は確定マーク２４へと変更される。この時、他に不確定マーク２７が表示されている人物がいた場合、それは消去される。また、認識処理制限部７の検出モードは非検出モード７０３へと遷移する。
【０１１８】
人物検索３２３を選択すると、人物について、過去の記録された映像中から、その人物の映像を検索し、表示される。
【０１１９】
マーキング情報表示３２４を選択すると、マーキング情報記憶部５に蓄積されている、その人物の情報を参照することが可能である。例えば、その人物の顔画像が、例えば、顔画像表示３２５として表示される一方、監視者によりマーキングされた時刻や場所等の情報がマーキング場所３２６として表示される。
【０１２０】
また、優先認識変更３２７を選択すると、人物同定時に重視する認識処理の順番を変更することができる。例えば、マーキングした人物が着ている服の色が非常に特徴的であった場合に、顔認識よりも色認識の結果を重視するよう設定することで、その人物を追跡表示する精度が向上する。
【０１２１】
図１８は、監視者による確定マーク２４選択時の操作画面を示す図である。
【０１２２】
メニュー３３より、マーク解除３３１を選択すると、確定マーク２４は消去される。そして、人物２２はマーキング情報記憶部５において、一致したと判定された人物とは異なる人物として登録される。以降では、この情報を不一致情報と呼ぶ。人物同定部６の人物特定処理部６５は、不一致情報として登録されている人物と特徴量が一致、もしくは十分近い場合は、マーキングされた人物として判定することはしない。そのため、これ以降、人物２２がマーク表示されることは無い。また、認識処理制限部７の検出モードは全検出モード７０１へと遷移する。
【０１２３】
不確定マーク化３３２を選択すると、確定マーク２４は不確定マーク２７へと変更される。このとき、認識処理制限部７の検出モードは顔検出モード７０２へと遷移する。
【０１２４】
また、人物検索３３３、マーキング情報表示３３４、顔画像表示３３５、マーキング場所３３６、優先認識変更３３７については、図１７において説明した人物検索３２３、マーキング情報表示３２４、顔画像表示３２５、マーキング場所３２６、優先認識変更３２７と等しい。
【０１２５】
図１９は、マーク表示されていない人物を選択したときの操作画面を示す図である。
【０１２６】
監視者は、ポインタ３１を操作して人物２２を選択し、メニュー３４を用いて新規マーキングや人物検索を行うことができる。
【０１２７】
メニュー３４より、新規マーキング３４１を選択すると、その人物はマーキング部４において、特徴量を取得され、マーキング情報記憶部５に登録される。
【０１２８】
マーキング変更３４３を選択すると、マーキング情報記憶部５に登録されている人物のマーキング情報３４４、例えば、“マーキング情報１”、“マーキング情報２”、“マーキング情報３”、・・・、というように表示される。監視者はこの中から、人物２２と一致すると思われる人物のマーキング情報３４４を手動で選択し、人物２２にマーク表示させることができる。このとき、人物２２には確定マーク２４が表示され、認識処理制限部７の検出モードは非検出モード７０３へと遷移する。また、このとき、既に別の人物について、人物同定部６により確定マーク２４が表示されていた場合、監視者の手動操作が優先される。そのため、自動的に付けられた確定マーク２４は消滅する。
【０１２９】
なお、人物検索３４２については、上記において説明したものと等しい。
【０１３０】
以上、実施の形態３によれば、監視者は自身の操作により、監視装置の付けたマークを変更し、認識処理制限部７の検出モードを変更することが可能となる。そして、その操作結果を取得することにより、人物同定部６の精度が向上する効果がある。例えば、マーク解除によって不一致情報に登録された人物については、以降は誤ったマーク表示がされることは無くなる。また、優先認識変更を行うことで、色や形状に特徴のある人物について高精度な人物同定が可能となる。
【０１３１】
なお、前述の実施の形態１〜３では、人物監視装置１００，２００，３００を、図１等に示すようにハードウエア（回路）的に構成して説明したが、本発明では、これに限らず、例えば、ソフトウエア的、つまり、監視用プログラムを人物監視装置１００，２００，３００内のメモリやハードディスク等の記憶手段に格納しておき、ＣＰＵ等がそのプログラムを読み出して実行するようにしても勿論よい。
【０１３２】
また、前述の実施の形態１〜３では、人物を監視対象とし、人物に対しマーク表示を行うように説明したが、本発明では、これに限らず、監視対象として、人間だけでなく、動物や、ロボット等の動き回る機械等を含めても勿論良い。
【産業上の利用可能性】
【０１３３】
本発明に係る監視装置、監視方法、監視用プログラムによれば、複数のカメラ映像において監視対象を同定する際、画像認識処理の結果に応じてその複数の画像認識処理を制限するようにしたので、複数のカメラ映像に対して監視対象を同定する際、画像認識処理の切り替え制御が可能となり、複数のカメラがある場合でも、認識処理の処理負荷を増大させることなく、マーキングされた人物を簡単かつ確実に特定してマーク表示することができる、という有利な効果を奏し、例えば、デパートや、ショッピングモール、アミューズメントパーク等の広範囲に複数台の監視カメラを設置して、カメラで撮影した映像により、特定の人物の行動を追跡する監視装置に有効である。
【図面の簡単な説明】
【０１３４】
【図１】本発明の実施の形態１における人物監視装置の構成を示す図
【図２】本発明の実施の形態１における人物監視装置の使用イメージを示す図
【図３】本発明の実施の形態１における人物マーキング方法と映像表示画面の例を示す図
【図４】本発明の実施の形態１における人物同定部の構成を示す図
【図５】本発明の実施の形態１における認識処理制限部の検出モードの状態遷移を表で示した図
【図６】本発明の実施の形態１における認識処理制限部の検出モードの状態遷移を示す図
【図７】本発明の実施の形態１における不確定マークが表示されたときの動作を示す図
【図８】本発明の実施の形態１における確定マークが表示されたときの動作を示す図
【図９】本発明の実施の形態１における人物同定部の動作を示すフローチャート
【図１０】本発明の実施の形態１における表示部の映像表示画面において不確定マークが複数表示される例を示す図
【図１１】本発明の実施の形態１における表示部の映像表示画面において不確定マークが他のマークに変化する例を示す図
【図１２】本発明の実施の形態１における不確定マークの色と大きさに変化を加えた例を示す図
【図１３】本発明の実施の形態１における不確定マークの形状に変化を加えた例を示す図
【図１４】本発明の実施の形態２における人物監視装置の構成を示す図
【図１５】本発明の実施の形態２における表示部の映像表示画面の例を示す図
【図１６】本発明の実施の形態２におけるカメラ側に人物同定部を配置した人物監視装置の構成を示す図
【図１７】本発明の実施の形態３における不確定マーク選択時の操作画面を示す図
【図１８】本発明の実施の形態３における確定マーク選択時の操作画面を示す図
【図１９】本発明の実施の形態３におけるマークなし人物選択時の操作画面を示す図
【符号の説明】
【０１３５】
１，１１，１２  監視カメラ
２  映像処理部
３  操作部
４  マーキング部
５  マーキング情報記憶部
６  人物同定部
７  認識処理制限部
８  表示部
１３  撮像手段
２１，２５，２８，２９  映像表示画面
２２，２３，２６  人物
２４  確定マーク
２７  不確定マーク
１００，２００，３００  人物監視装置
２１０，２１１，２１２，２１３，２１４  不確定マーク
３１  ポインタ
３２  不確定マーク選択時のメニュー
３２１，３３１  マーク解除ボタン
３２２  確定マーク化ボタン
３２３，３３３，３４２  人物検索ボタン
３２４，３３４  マーキング情報表示ボタン
３２５，３３５  顔画像表示ボタン
３２６，３３６  マーキング場所
３２７，３３７  優先認識変更
３３  確定マーク選択時のメニュー
３３２  不確定マーク化ボタン
３４  人物選択時のメニュー
３４１  新規マーキングボタン
３４３  マーキング変更ボタン
３４４  マーキング情報選択ボタン
６１  検出モード別認識切替処理部
６２  顔認識処理部
６３  色認識処理部
６４  形状認識処理部
６５  人物特定処理部
７０１  全検出モード
７０２  顔検出モード
７０３  非検出モード
７１０，７１１，７１２，７１３，７１４，７１５，７１６  状態遷移経路
９１，９２，９３  サーバ
【図１】
2006229465.tif 000003
【図２】
2006229465.tif 000004
【図３】
2006229465.tif 000005
【図４】
2006229465.tif 000006
【図５】
2006229465.tif 000007
【図６】
2006229465.tif 000008
【図７】
2006229465.tif 000009
【図８】
2006229465.tif 000010
【図９】
2006229465.tif 000011
【図１０】
2006229465.tif 000012
【図１１】
2006229465.tif 000013
【図１２】
2006229465.tif 000014
【図１３】
2006229465.tif 000015
【図１４】
2006229465.tif 000016
【図１５】
2006229465.tif 000017
【図１６】
2006229465.tif 000018
【図１７】
2006229465.tif 000019
【図１８】
2006229465.tif 000020
【図１９】
2006229465.tif 000021