(57)【特許請求の範囲】
【請求項１】
監視領域の映像を異なる位置から撮像するために設けられた複数の撮像手段とこの各撮像手段からの映像を受ける第１のサーバ及び第２のサーバとを用いて人物監視を行なう方法において、
前記各撮像手段において撮像画像から人物候補画像を抽出するリアルタイム性を要する処理を分担し、抽出された人物候補画像を前記第１のサーバに送信し、
前記第１のサーバにおいては各撮像手段から送信されて来た複数の人物候補画像における人物の見え方を評価し、人物の見え方が最適な人物候補画像を選択するコストのかかる処理を分担し、選択された人物候補画像を監視画像として前記第２のサーバへ出力し、
前記第２のサーバにおいては前記第１のサーバにより出力された監視画像を受取り、画像検索用キーを生成する処理時間を要するがリアルタイム性を必要としない処理を分担し、さらに連続する２フレーム間の画像差分量を求め、その総和が一定値以下の画像の場合、そのうちのいずれかのみを残して他の画像を除去し、残された画像のみをｈｔｔｐプロトコルに変換し伝送するようにしたことを特徴とする人物監視方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、店舗、ＡＴＭ設置施設やオフィス等において、侵入者を監視するための人物監視方法に関する。
【０００２】
【従来の技術】
店舗、ＡＴＭ設置施設やオフィスにおいて、侵入者を監視するといった分野では、画像伝送による方法、監視画像伝送による監視、監視画像のＶＴＲ記録、画像処理認識による監視、及びそれらを組合せた手法が使用されてきた。以下、これら手法について説明する。
【０００３】
監視画像伝送による監視は、監視環境にアナログＩＴＶカメラを設置し、一般に離れた場所にある監視センタまでアナログ画像を伝送し、センタに配備された監視員が常時監視画像をモニタするものである。
【０００４】
この場合は一般に複数カメラからの画像を伝送し、監視員はそれら画像表示を意識的に、又は一定時間ごとに切替えて監視する。又画面の切替えの契機として、監視環境に設置された赤外線、超音波等の侵入センサからの侵入者検知信号を用いるものもある。又アナログ画像のままではなく、ＪｐｅｇやＭｐｅｇによる圧縮データに変換してから伝送するものがある。
【０００５】
監視画像のＶＴＲ記録は、監視環境にアナログＩＴＶカメラを設置し、離れた場所、又は監視環境からは見えない場所に設置したＶＴＲ装置に一定間隔ごとに画像を記録するものである。
画像処理認識による監視は、監視環境における画像の変化や画像中からの人物候補領域の検出によって通報やＶＴＲの起動を行なうものである。
【０００６】
【発明が解決しようとする課題】
上記したような従来技術には以下に示す問題点がある。
先ず監視画像伝送による監視での問題は、処理の仕組みは単純であるが、アナログ画像伝送を行なうために、専用伝送路の敷設、伝送による信号劣化の保障としてのブースタの設置などの付帯設備が必要となる。従ってこれら設備のためのコストが甚大であり、かつセンタにおいて監視員を常時配備しておく必要がある。
【０００７】
一方、画像の圧縮データを伝送するシステムでは上記に比べてデータが少ない、伝送による信号劣化がない、などの理由からアナログ専用線ではなく一般のデジタル回線を用いることが可能であるが、侵入イベント以外の情報も多数伝送されるため、監視員の常時配備の問題は解消されない。
【０００８】
監視画像のＶＴＲ記録での問題を述べると、このシステムは基本的には、緊急通報とは別に侵入者の映像を記録することで、後で状況推定や侵入者特定のために利用するものであるが、一定間隔ごとの記録では実際に侵入イベントとして重要な映像を記録できない場合がある。
【０００９】
画像処理による監視での問題は、侵入者の検出率が妥当であるならば、このシステムで侵入時のみに伝送や蓄積の処理が必要であるため、データ伝送、蓄積のためのコストを全体的に低くすることが可能である。又イベント発生時のみについて、伝送、蓄積された画像を監視員が確認することで、常時配備の必要性が軽減される。
【００１０】
しかしイベントを検出した後で、伝送又は蓄積された画像の性質が、監視員が確認するために良いものでは無い場合が多い。これは例えば、監視映像中の人物領域に顔などの特徴的な部分がない、画像が小さすぎる、圧縮の影響で画質が劣化している等があげられる。
【００１１】
従って本発明は、コストを低減し、見逃しのない人物監視が可能な人物監視方法の提供を目的とする。
【００１２】
【課題を解決するための手段】
監視領域の映像を異なる位置から撮像するために設けられた複数の撮像手段とこの各撮像手段からの映像を受ける第１のサーバ及び第２のサーバとを用いて人物監視を行なう方法において、前記各撮像手段において撮像画像から人物候補画像を抽出するリアルタイム性を要する処理を分担し、抽出された人物候補画像を前記第１のサーバに送信し、前記第１のサーバにおいては各撮像手段から送信されて来た複数の人物候補画像における人物の見え方を評価し、人物の見え方が最適な人物候補画像を選択するコストのかかる処理を分担し、選択された人物候補画像を監視画像として前記第２のサーバへ出力し、前記第２のサーバにおいては前記第１のサーバにより出力された監視画像を受取り、画像検索用キーを生成する処理時間を要するがリアルタイム性を必要としない処理を分担し、さらに連続する２フレーム間の画像差分量を求め、その総和が一定値以下の画像の場合、そのうちのいずれかのみを残して他の画像を除去し、残された画像のみをｈｔｔｐプロトコルに変換し伝送する。
【００１６】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。以下の説明では、本システムを用いて、ある監視領域において侵入者の監視を行なう装置について示す。
【００１７】
先ず、この実施の形態の全体構成と処理の概要を説明する。本発明による人物監視システムの全体構成を図１に示す。このシステムは、人物抽出手段１、中間サーバ手段２、サーバ手段３とからなり、人物抽出手段１において入力動画像中から人物候補領域を抽出し、中間サーバ手段２においてそのうち見え方の最適なる画像を選択し、サーバ手段３において画像検索用のキーの生成やｈｔｔｐ（ｈｙｐｅｒ  ｔｅｘｔ  ｔｒａｎｓｆｅｒ  ｐｒｏｔｏｃｏｌ）でのユーザインタフェースを提供する。そして各手段１，２，３は有線、又は無線のディジタル通信によって接続される。
【００１８】
したがって、一つ又は複数の人物抽出手段１によって検出された入力画像内の人物候補領域に対して、人物抽出手段１又は中間サーバ手段２において人物特徴のチェックと見え方が最適なフレームの選択、およびカメラ（これは人物抽出手段１に相当）入力の選択を行ない、サーバ手段３では、中間サーバ手段２から得られた最適な人物画像系列を一時的に蓄積し、その後、それら画像系列の伝送を行なう。
【００１９】
このとき、例えば検出人物系列について、その移動方向、色、動き方、参照人物画像との類似度などの画像検索用キーを作成しておき、ユーザからの要求にしたがって所望画像のみを伝送する処理も行なう。
【００２０】
以上で、人物抽出手段１と中間サーバ２、中間サーバ手段２とサーバ手段３のそれぞれの間での伝送路の状態、および対象人物の侵入イベント数などに応じて適宜それぞれでの処理の分担範囲を変える。例えば人物抽出手段１においては人物候補領域の抽出と確認を行なうが、単位時間あたりのイベント数が多い場合には、人物候補の確認処理は比較的ラフなもののみを行ない、後述する顔等の特徴部分による確認のように処理コストの高いものは中間サーバ手段２に分担させる。
【００２１】
以下に上記人物抽出手段１、中間サーバ手段２、サーバ手段３の各構成と処理の説明を行なう。
図２は人物抽出手段１の構成に示す図である。カラー、又はモノクロのテレビカメラとＡ／Ｄ変換器とからなる画像入力手段４により数フレームごとに入力されたディジタル画像データを一度人物検出画像蓄積手段５に格納し、これについて後述の様に、人物候補領域抽出手段６によって侵入人物の概略領域を検出し、その概略領域内部に人物としての特徴的な領域パターン（例えば顔、手、足等）が存在するかどうかを人物領域確認手段７によって確認し、人物候補領域画像と確認結果を人物候補通信手段８によってＥｔｈｅｒ  ｎｅｔやＩＥＥＥ１３９４上にＴｃｐ／ＩＰなどのプロトコルで中間サーバに伝送する。上記で入力画像がカラーであった場合には、その輝度成分のみを抽出して人物検出画像蓄積手段５に蓄積する。
【００２２】
又、この人物抽出手段１では一定時間内での上述の対象人物領域の抽出数、すなわち検知頻度を人物抽出手段１内部の検知頻度計測手段９によって計測し、これがあらかじめ設定してある閾値以上であった場合には、本手段の処理に時間をかけるべきではないとして、一般的に処理コストのかかる人物領域確認手段７の処理は行なわず、後述の中間サーバに処理の分担を依頼する。
【００２３】
以下に、この人物抽出手段１に特徴的な機能として、人物候補領域抽出手段６と人物領域確認手段７および人物候補通信手段８について述べる。
人物候補領域抽出手段６の処理としては、以下に示すようないくつかの方法のいずれかを使用することができる。
【００２４】
例えば、連続するサンプリング画像（フレーム）について画素ごとの差分を行ない、ある一定閾値で２値化した領域を抽出し、４連結、又は８連結の意味で空間的に連結する領域について、その面積や外接矩形サイズが人物候補として妥当なものを検出する方法である。この処理の流れを図３のフローチャートに示す。この際の２値化の閾値は、差分画像の輝度ごとの頻度分布を解析し、その分散比を最大にする値として決定する手法を使うことができる（大津、判別および最小二乗基準に基づく自動しきい値選定法、信学論、Ｖｏｌ．Ｊ６３−Ｄ，Ｎｏ．４，ｐｐ．３４９−３５６，１９８０参照）。ここで、上記連結領域の解析を行なう前に、抽出領域についての数回の膨張、収縮処理を行なって、ノイズによる過抽出や“かすれ”の影響を減少させても良い。この場合に抽出領域の第一次信頼度Ｃ１を例えば以下のように算出しておく。
【００２５】
0003612220.tif 000002
なるベクトルで、Ｗ，Ｈはそれぞれ抽出領域の外接矩形の縦横サイズであり、Ｓは抽出領域面積である。又Ｔｗｕ，Ｔｗｌは外接矩形の縦サイズの、Ｔｈｕ，Ｔｈｌは外接矩形の横サイズの、Ｔｓｕ，Ｔｓｌは抽出面積のそれぞれ上限値と下限値を示す閾値であり、０≦    Ｃｆ  ≦１となる。
【００２６】
この信頼度算出用のベクトルＶ，Ｖｔ  については、円形度Ｒを加えて以下のようにしてもよい。
0003612220.tif 000003
ただしＴｒ  は人物としてのＲの標準的値。
【００２７】
又別手法として事後確率変換による手法を用いても良い（中井事後確率を用いた移動物体検出手法、情処研報，９４−ＣＶ−９０，ｐｐ．１−８，１９９４参照）。
【００２８】
この事後確率変換による手法の処理の流れを図４のフローチャートに示す。事象θ０を背景、事象θ１を侵入物とする。ある部分画像内の画素の輝度を観測する前のθ０、θ１の事前確率がそれぞれｗ０，ｗ１であるとき（ただしｗ０＋ｗ１＝１）、事後確率ｗ１′は事象θｋのもとでの画素輝度Ｉの条件付き確率をＰ（Ｉ｜θｋ）とするときベイズの定理から
0003612220.tif 000004
となり、このｗ１′がある閾値Ｔより大なるものを侵入物に属する画素として抽出する。ここで、あらかじめ求めた背景のみの画像の頻度分布ｈ（ｘ，ｙ，Ｉ）から、
0003612220.tif 000005
であり、ｐ（Ｉ｜θ１）は一般にデータサンプルが無いため、
ｐ（Ｉ｜θ０）＝１／（Ｉｍａｘ−Ｉｍｉｎ）                      …（５）
と推定する。又上記は入力画像が更新されるたびにｗ１＝ｗ１′と更新し、ｗ１の初期値＝１．０／２．０としてよい。
【００２９】
人物候補領域を抽出するためには、入力画像内の各画素ｉについて（２）式のｗ′ｉをもとめｗ′ｉ＞Ｔなる画素で、８連結、又は４連結の意味で連結するもののうち、その面積や、外接矩形サイズが人物として妥当なものを選択すればよい。
【００３０】
この方法によると背景領域に定常的に変動があっても、統計的に変動を吸収できる利点がある。
上記で非背景（すなわち対象物）であるための事後確率を画素ごとに求めているが、閾値との比較による抽出（２値化）の前に、確率分布を４近傍や８近傍について平滑化しても良い。これは対象物近傍についての確率場の連続性を仮定し、ノイズによる過抽出やかすれを減少させるためである。又さらなるノイズ除去のために上記２値化後に数回に渡って、膨張収縮処理を繰り返しても良い。
【００３１】
この場合にも抽出領域の信頼度Ｃ１を（１）式に基づいて算出するが、前述の（２）式のＶ，Ｖｔをここでは例えば以下のようにして算出しておく。
0003612220.tif 000006
又は円形度も含めた場合には、
0003612220.tif 000007
ここにＰは抽出矩形内の事後確率の正規化総和であり、以下のように求められる。
【００３２】
0003612220.tif 000008
ただしＴｐは人物に対する上述のＰ値の標準値であり、Ｒｅｃｔは抽出外接矩形領域を示す。
【００３３】
次に図２に示した人物抽出手段１における人物領域確認手段７について説明する。人物領域確認手段７は、検知頻度計測手段９に前述した検知の頻度が設定閾値を超えているかどうかを問い合わせる。もし検知頻度が閾値Ｔｈ以下であった場合には、様々な人物の体の部分の画像が複数収集され、その情報を統計的に圧縮した辞書を用いたパターンマッチングを適用して、上記のように抽出された人物候補領域内部の画素について、特徴的部分が存在するかどうかを検出する。この様子を図５に示す。
【００３４】
このような方法として、ある一定サイズに正規化した複数の特徴部分画像をある基準で複数のクラスに分割しておき、それに基づいて正準判別する方法がある。この方法による処理の流れを図６のフローチャートに示す。先ず、以下のようなステップをとる。
【００３５】
（ｉ  ）複数クラスの正規化画像群に対する級内分散Ｂ、および級間分散Ｗの算出
（ｉｉ）（Ｂ＋βＳｗ  ）Φ＝｛（１−β）Ｗ＋βＩ｝ΦΛなる固有値問題を解く
ただし０＜β＜１、
Φ：固有ベクトルΦｉを列ベクトルとする固有ベクトル行列、
Λ：固有値λｉを対角要素とする固有値行列
である。
【００３６】
（ｉｉｉ  ）各クラスタｉ内ベクトルを上述のΦに射影し、その平均ＭｉとΦと場合によっては分散共分散Ｖｉを辞書とする。
（ｖｉ）マッチング時には画面内を小領域ｊに分割し、その小領域ごとの画像ベクトルを上記Φに射影したベクトルＶｊと各クラスｉとのユークリッド距離やマハラノビス距離を求める。
【００３７】
上記でクラス作成時に所望対象特徴画像以外に、非対象物クラスとして、それと類似する他の画像も使用すると所望領域以外の類似領域は抽出せず、所望領域のみを抽出しやすくなる。例えば、所望対象特徴画像として複数人物の正面向きの顔、非対象物クラスとして背景の顔類似パターンを用いるなどである。
【００３８】
ここでは対象物クラスを、複数人物の顔領域の画像から作成することとし、それらを顔の向きに応じて数種類の別クラスに分割する。又非対象物クラスとして、背景中の顔類似パターンをあらかじめ人手でピックアップしておき、それらを用いる。
【００３９】
そしてステップ（ｖｉ）のマッチング結果のうち距離が小なるものからＮ番目までで、対象物クラスに属するものの距離の総和が一定値Ｔｄ以下だった場合人物領域とし確認されたものとする。この場合には第二次信頼度Ｃ２を例えば以下のように算出しておく。
【００４０】
0003612220.tif 000009
又以上の処理終了後に、上記人物候補領域抽出手段６について説明したように抽出された人物候補領域の外側で上述のマッチングを行い、その距離が小なるものからＭ番目までのものを非対象物クラスのデータとして保存する。
【００４１】
次に図２に示した人物抽出手段１における人物候補通信手段８について説明する。前述したように検知頻度計測手段９によって、人物候補の検知頻度が一定間隔Ｔｈと比較された結果が中間サーバに伝送されると、中間サーバからはその結果に応じて以下のように人物抽出手段１での処理分担指示メッセージが送られるため、人物抽出手段１での処理はそれに従う。
【００４２】
（ｉ  ）検知頻度≧Ｔｈのとき
人物抽出手段１での処理は前述の人物候補領域抽出手段６の処理のみとなる。
（ｉｉ）検知頻度＜Ｔｈのとき
人物抽出手段１での処理は人物候補領域抽出手段６かつ人物領域確認手段７の処理となる。
【００４３】
ここで（ｉ  ）の場合には、この人物候補通信手段８の出力結果は、例えば、上記人物候補領域抽出手段６が抽出した抽出領域（周囲の外接矩形）座標、抽出時刻、抽出領域の信頼度Ｃ１であり、（ｉｉ）の場合には、人物候補通信手段８の出力結果は、例えば、上記（ｉ  ）の抽出領域（周囲の外接矩形）座標と時刻に加えて、抽出領域の信頼度Ｃを以下のように算出して伝送してもよい。
【００４４】
Ｃ＝ｍｉｎ（Ｃ１，Ｃ２）                              …（８）
又（ｉｉ）の場合には、ステップ（ｖｉ）の結果から以下の情報を抽出して伝送する。これは最適シーンのカメラを選択するための情報で、人物候補領域内での上記マッチング結果領域のうち、距離小なるものからＮ番目までのマッチング距離、およびそれらの各々とマッチした辞書カテゴリ名、各々の画面内での位置、および人物候補領域外側で上述のマッチングを行い、その距離が小なるものからＭ番目までのものの非対象物クラスのデータとしてマッチング距離、およびそれらの各々とマッチした辞書カテゴリ名、各々の画面内での位置も伝送する。
【００４５】
又さらに上述の伝送された対象抽出結果に応じて、中間サーバ手段２から送られる画像伝送メッセージにしたがって、後述のような所望の画像伝送動作を行う。
【００４６】
次に図１の中間サーバ手段２について説明する。図７は中間サーバ手段２の構成を示す図である。この中間サーバ手段２は人物抽出通信手段１０、人物抽出補助手段１１、最適撮像選択手段１２、サーバ通信手段１３および抽出人物画像蓄積手段１４からなる。以下には、そのそれぞれの動作を示す。
【００４７】
人物抽出通信手段１０は、各人物抽出手段１での検知頻度に応じた人物抽出機能の負荷分担、および同じく人物抽出手段１よりの認識確信度と中間サーバ手段２の通信負荷とによる抽出画像伝送の制御を行い、その結果として人物抽出手段手段１から送られてくる人物抽出画像を受け取る。受信した人物抽出画像は抽出人物画像蓄積手段１４に画面内での位置情報、信頼度、抽出時刻とともに保存される。
【００４８】
この通信処理は例えば以下のような手順で実行される。この人物抽出通信手段１０の処理の流れを図８のフローチャートに示す。
（ｉ  ）人物抽出手段内部状態の取得と人物抽出方法の指示
各人物抽出手段１から内部状態として、一時保存画像数Ｎｓと検知頻度Ｈが閾値Ｔｈを超えているかどうかを取得し、前記人物候補通信手段８の説明であった検知頻度に応じて、人物抽出手段１内の処理を人物候補領域抽出手段６のみの処理とするのか、人物領域確認手段７をも行わせるのかを指示する。このようにすることによって、人物候補の確認までを必要とするが、監視領域内への人物の侵入頻度の高い場所においても検知もれを防ぐことを可能とする。又、人物候補確認までを必要としないような環境においては、常に人物候補領域抽出手段６のみの処理とさせることも可能である。
【００４９】
なお上記で人物領域確認手段７の処理をも中間サーバ手段２内部で行わせる場合には、前述の人物領域確認手段７で述べたように、保存されていた人物候補領域の外側でのマッチング結果（非対象物クラスデータ）の周囲座標も伝送する。
【００５０】
（ｉｉ）認識確信度と通信負荷とに応じた画像伝送制御
次に各人物抽出手段１から上記人物候補通信手段８で示したように抽出領域、抽出時刻、抽出領域の信頼度Ｃｋｌが送られるが、これと各人物抽出手段１での検知頻度Ｈｋ、通信トラフィックとから例えば以下のような方式にしたがって画像伝送の制御すなわち伝送画像領域Ｒｋを求める。ただし、ｋは人物抽出手段番号、ｌは一つの人物抽出手段内での抽出領域番号で０≦ｌ≦Ｌとする。
【００５１】
0003612220.tif 000010
ただし抽出領域をＲｋｌとし、Ｔｋｌ＞画面全体のときＴｋｌ＝画面全体とする。又、Ｕは集合の和を示す。
【００５２】
0003612220.tif 000011
ここにＳＨは通信トラフィックをあらわす量であり、例えば全人物抽出手段での検知頻度の総和を用いて以下のようにしてもよい。
【００５３】
0003612220.tif 000012
又Ｃｋｌは各抽出領域ごとの信頼度、Ｈｋ  は各人物抽出手段の検知頻度、Ｋは各人物抽出手段のアクセス数である。
【００５４】
さらに、前記（ｉ  ）での非対象クラスの画像を伝送する場合には、前述の検出結果の一時保存画像と同一の扱いとする。
次に図７の人物抽出補助手段１１について説明する。図９は人物抽出補助手段１１の処理の流れを示すフローチャートである。人物抽出補助手段１１は、前述した図２の人物候補通信手段８の説明で（ｉ  ）検出頻度≧Ｔｈのときに、人物領域確認手段７とまったく同一の処理を行う。
【００５５】
又人物確認における非対象クラスに対する辞書更新用データ数の前回辞書更新以降での総和が伝送画像中から一定値（Ｎｓ×α）個以上収集できたときには、本発明による人物確認用の辞書の再構成を行う。
【００５６】
ここにＮｓ従来からの非対象サンプル数、α０〜１の間の定数であり、再構成用サンプルとしては、上述の新規サンプルＮｓ×α個の他に従来サンプルの中からＮｓ×（１−α）個をランダムに選択して前記（２）（ｂ）人物領域確認手段７の（ｉ）〜（ｉｉｉ  ）までの処理によって新規辞書を作成する。
【００５７】
次に図７の最適撮像選択手段１２について説明する。図１０は本発明による最適撮像選択手段１２の処理の流れを示すフローチャートである。
図２の人物候補通信手段８の説明中（ｉｉ）で述べたように、人物領域確認手段７のステップ（ｖｉ）のマッチング結果として人物候補領域内でのマッチング結果領域のうち、距離小なるものからＮ番目までのマッチング距離、およびそれらの各々とマッチした辞書カテゴリ名、各々の画面内での位置が最適撮像選択手段１２に伝送されてくる。
【００５８】
ここで最適性の定義として、上記マッチング結果のうち位置の分布がまとまっており、かつマッチング辞書カテゴリとして正面に近いものとの距離が小なるものとする。これを表現する特徴量Ｆ（最適人物撮像特徴量）としては、例えば以下のようなものを使用する。
【００５９】
0003612220.tif 000013
ここにσは各マッチング結果領域の座標分布の標準偏差であり、Ｄｉはｉ番目にマッチング距離が小さかった分割ウィンドウと辞書との距離である。Ａ，Ｂ，Ｃｊは重み定数で、特にＣｊは上述のｉ番目ウィンドウがマッチした辞書ｊの顔の向きに応じた重みであり、正面に近いほど大きく設定する。
【００６０】
そして、この中間サーバ手段２に接続されている複数（ｋ＝０〜Ｋ個）の人物抽出手段１からの人物抽出領域のうちで、互いに物理的な位置（実世界での座標）がオーバラップするような各領域を同一物体と対応付けし、それらについての上述Ｆ値のうちで最大の値Ｆｋを有する人物抽出手段ｋからの映像を最適なものと選択する。ここで物理的な位置は、あらかじめ計測しておく撮像環境（人物抽出手段の撮像系の向き、俯角、ズーム）と人物抽出時に検出された人物候補領域の座標とから求める。
【００６１】
なお、上記Ａ，Ｂ，Ｃｊの決定については、さまざまな手法が考えられるが、例えばあらかじめ複数のサンプル画像において最適なものを教示しておき、それらサンプルにおけるσｘ，σｙ，Ｄｉを用いて最適と教示されたもののＦ値が他のものより大きいと仮定して決定する。すなわち最適と教示されたものがサンプルｋ′としたとき、
0003612220.tif 000014
を最大化するように学習を行なって、上記Ａ，Ｂ，Ｃｊを決定する。
【００６２】
図７のサーバ通信手段１３は、最適撮像選択手段１２において最適人物画像系列が準備された場合には、この系列画像をサーバに伝送する。
最後に図１のサーバ手段３について説明する。サーバ手段３は上記サーバ通信手段１３から送信されてくる最適画像系列を受け取り、ｈｔｔｐプロトコルに準拠した形式に変換し伝送する。
【００６３】
このとき、上記系列内に冗長な画像が含まれており、かつ本サーバ手段３への通信トラフィック量が多い場合には、本発明によるサーバ手段３はそのうちのいずれかのみを残して、他は除去して伝送する。
【００６４】
ここで上述の冗長性としては、連続する最適画像系列のフレーム同士での類似度の高いものという意味で例えば、２フレーム間の画像差分量の総和が一定閾値以下の場合や、２フレーム間での画像の相関値が別の一定閾値以上の場合など一般的なものを使用できる。
【００６５】
ここで、サーバへの通信トラフィック量としては、本サーバに対するｈｔｔｐアクセスでの一定時間内パケット数Ｐｈと中間サーバ２との画像、および抽出属性の伝送に用いられる一定時間内パケット数Ｐｍとの総和として定義できる。
【００６６】
なお上記において、中間サーバ２から得られる最適画像系列には、位置や抽出時刻といった属性が含まれるが、本サーバ手段３内では、これに加えて、領域内での色空間での画素値の頻度分布、上記位置と抽出時刻から求められる平均移動ベクトルを計算して付与し検索用タグ情報とする。さらに上記最適人物画像系列中の顔領域について、図２の人物領域確認手段７の（ｖｉ）に述べた顔辞書との射影値ベクトルをも属性値として付与しておくことで、検索対象人物の画像が与えられると、その人物の顔を過去の監視画像中の最適系列画像から検索して提示することが可能となる。
【００６７】
【発明の効果】
本発明によれば、各処理ごとの機能分担による応答性向上とコストの削減が図れる。即ち、人物監視に最も基本的機能でかつリアルタイム処理を要する人物抽出機能をテレビカメラ内蔵とし、それらテレビカメラからの抽出映像の最適性を評価する中間サーバ、および検索タグ付けなど処理時間は要するがリアルタイム性が必要でない処理を行なうサーバとに分担させ、それぞれの間はデジタル化され要約された情報を伝送することで、伝送、蓄積の応答性とコストの削減が可能となる。
【００６８】
又本発明によれば、人物特徴部分検出による誤抽出可能性の低減と最適映像の検出が可能となる。即ち、人物抽出機能において、人物候補領域抽出を行なった後、その領域内に人物の特徴的部分（顔等）が写っているかどうかを評価するため、誤って人物の侵入以外のイベントを検出する頻度を低減させることが可能となる。又その際に抽出された人物特徴部分の画面内への出現の仕方を用いて、その画像フレームが後の監視員による確認に良いものなのかどうかを評価し、複数カメラの複数フレームから最適な画像系列を選択可能となる。
【００６９】
更に本発明によれば、冗長映像の除去と負荷に応じた動的処理分担によるさらなる伝送、蓄積効率の向上が図られる。即ち、上記で選択された見え方として最適な画像のフレーム間での冗長性を評価して、冗長フレームを除去することで、伝送、蓄積量を低減させ、効率を向上することが可能である。又侵入者の検出頻度や、伝送負荷に応じて各処理階層（カメラ、中間サーバ、サーバ）での処理を自動的に再配置することによって監視システム全体としての伝送、蓄積効率を向上させることが可能となる。
従って、従来よりコストを低減し、見逃しのない人物監視が本発明により可能となる。
【図面の簡単な説明】
【図１】図１は本発明の実施例に係る全体構成図。
【図２】図２は本発明の実施例に係る人物抽出手段の構成図。
【図３】図３は人物候補領域抽出手段の第１の方法を示すフローチャート。
【図４】図４は人物候補領域抽出手段の第２の方法を示すフローチャート。
【図５】図５は本発明による人物領域確認手段を説明するための図。
【図６】図６は本発明による人物領域確認手段での処理を示すフローチャート。
【図７】図７は本発明による中間サーバ手段の構成を示す図。
【図８】図８は本発明による中間サーバ手段における人物抽出通信手段の処理を示すフローチャート。
【図９】図９は本発明による中間サーバ手段における人物抽出補助手段の処理を示すフローチャート。
【図１０】図１０は本発明による中間サーバ手段における最適撮像選択手段の処理を示すフローチャート。
【図１】
0003612220.tif 000015
【図２】
0003612220.tif 000016
【図３】
0003612220.tif 000017
【図４】
0003612220.tif 000018
【図５】
0003612220.tif 000019
【図６】
0003612220.tif 000020
【図７】
0003612220.tif 000021
【図８】
0003612220.tif 000022
【図９】
0003612220.tif 000023
【図１０】
0003612220.tif 000024