(57)【要約】【課題】  複数のカメラで対象空間を監視するシステムにおいて、監視員の負担を軽減し、ユーザにとってわずらわしくないセキュリティソリューションを提供する。【解決手段】  各カメラで撮影した映像に対して画像認識技術を用いて移動体を抽出し、カメラ間で照合する。そして、その移動体の移動経路を求め、制限エリアへの侵入有無を判定し、監視員にアラーム表示する。制限エリアへのアクセス権限有無は、カード認証など個人特定手段とカメラ監視を組合わせて追跡することで判断する。また、移動軌跡・経路を分析することで不審者であるかどうかを判定し、同様にアラーム警告を発する。上記処理の基本として監視空間データベースを構築し、それを中継して処理を実施する。【選択図】図１
2006146378.tif 000002
【特許請求の範囲】
【請求項１】
監視対象空間に分散して複数のカメラが設置され、それぞれのカメラが映す映像の中から移動体の特徴量を示す情報を抽出し、その抽出された特徴量を用いて、それぞれのカメラで撮影された移動体が同一であるかを判定する監視システムにおいて、
個別のカメラ毎に抽出した特徴量を移動体別に分離集約する手段と、移動体のカメラ間の移動経路を算出する手段と、カメラ間を移動する移動体の整合度を算出し整合性があるものを追跡する手段と、監視空間全体情報を管理するデータベースと、前記移動対象の状態を表示する表示装置を備えたことを特徴とする複数カメラを用いた監視システム。
【請求項２】
請求項１記載の監視システムにおいて、
センタ装置に個人認証装置かドア開閉センサの少なくとも一方が接続され、個人認証装置から取得した個人情報と前記移動体追跡手段を組合せて、移動体の進入制限エリアに進入した場合や進入が制限されているドアの開閉情報を用いて、警報を発することを特徴とする複数カメラを用いた監視システム。
【請求項３】
請求項１記載の監視システムにおいて、
個別のカメラで移動体別に分離集約する機能にて空間距離と特徴量空間距離の二つの指標を用い、移動経路を算出する機能にてカメラで検知した移動体の移動速度・方向情報を用いた経路コストを設定し、整合度算出追跡手段で、移動体データ集合同士の距離の近さを用いて整合度を算出することを特徴とする複数カメラを用いた監視システム。
【請求項４】
請求項１記載の監視システムにおいて、
表示装置に表示する追跡対象を監視員が個別に指定する手段と、通過人数に対応して自動的に追跡対象を選択する手段を選ぶことができ、また、整合度の判定値を全体あるいは個別カメラ毎に任意設定することができる機能を有することを特徴とする複数カメラを用いた監視システム。
【請求項５】
請求項１記載の監視システムにおいて、
データベースに保存されたカメラ映像と移動体照合追跡情報を、時刻の同期をとって再生表示することを特徴とする複数カメラを用いた監視システム。
【請求項６】
監視対象空間に分散して複数のカメラが設置され、それぞれのカメラが映す映像の中から移動体の特徴量を示す情報を抽出し、その抽出された特徴量を用いて、それぞれのカメラで撮影された移動体が同一であるかを判定する監視システムにおいて、
個別のカメラ毎に抽出した特徴量を移動体別に分離集約する手段と、カメラ間を移動する移動体の整合度を算出する手段とを備え、表示装置に前記整合度算出手段により求められた移動体の整合度の状態を表示することを特徴とする監視システム。
【請求項７】
請求項６記載の監視システムにおいて、
前記整合度算出手段の整合度の判定値を入力する手段を備えたことを特徴とする監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象空間に設置された複数のカメラによって撮影された移動体、例えば人物，自動車等を認識し、照合又は追跡する監視システムに関する。
【背景技術】
【０００２】
犯罪検挙率の低下など社会不安に対処するために、セキュリティレベルの維持・向上を目的として、不審者・不審車監視用カメラの設置台数が増加している。導入初期段階においては、カメラで撮影した映像を監視室にて監視員が目視し、異常事態には警察や警備員を現場に派遣したり、映像をレコーダに記憶して犯罪発生後の捜査に役立てるなど、直接的・間接的な手法を用いて、犯罪発生の事前防止，事後対策に資してきた。しかし、設置台数の急増を受け、カメラだけでなく、監視員の増員，レコーダの増設など、セキュリティシステムに対するコスト増，リソース不足が問題化してきている。この問題への対策として、コンピュータを用いてカメラ映像内の人物や自動車などの監視対象を自動認識することで監視員の目視監視負担を軽減する方式が提案されている。例えば、特許文献１では、複数のカメラそれぞれにおいて、画像認識技術を用いて、人物全体特徴情報や顔特徴情報を抽出し、カメラ間でその抽出した情報を交換する技術が開示されている。
【０００３】
【特許文献１】特開２００３−３２４７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
多数のカメラが設置される監視では、監視対象空間を限られた監視員リソースで効率的に業務が遂行できるようにするための監視支援技術が必要になる。また、監視対象領域のセキュリティを確保するためには、先に述べたカメラによる監視の他に、建物内であれば、各部屋への施錠により許可された人のみが入出可能な対策を取るのが通常である。開錠の実現方法としては、従来の鍵だけではなく、暗証番号入力，ＩＣカード併用、更には指紋や静脈などのバイオメトリクス認証による個人同定など、より高いレベルでのシステム導入が進んできている。このように、セキュリティレベルを確保には、監視カメラ増設と施錠によるアクセス制限の両方が必要となるが、過度なシステム導入は、コスト増とユーザの不便を招くことになってしまうため、設定すべきセキュリティレベルに応じて柔軟にシステムを組合せることが出来る必要がある。
【０００５】
以上説明したシステムに対する要求を踏まえて、公知技術を検討すると、特許文献１記載のように、全体特徴情報で照合した移動体の映像を監視モニタに表示したり、監視員が追跡対象の移動体を指定する方式では、監視員自身が不審挙動であるかを判断したり、対象移動体の監視空間内での移動経路を推定する必要があり、監視負担の軽減には不十分である。また、不特定多数が特定のエリア（例えばビル内の廊下など）にアクセス可能なケースでは、来場数が多い時には、全員を目視で追跡することは現実的ではなく、適用可能な場面が限定される。
【０００６】
本発明は、監視カメラに映る移動体の追跡精度を向上することを目的としている。
【課題を解決するための手段】
【０００７】
課題を解決する手段として、まず、監視対象空間に複数のカメラを設置し、画像認識技術を用いて、その映像から移動体およびその特徴量情報を抽出する特徴量抽出手段を設ける。この特徴量抽出手段では、情報抽出は所定の時間間隔、又はタイミングで繰り返し実行される。
【０００８】
カメラで撮影した映像およびその抽出した移動体の特徴量情報は、通信ネットワークを経由して移動体の照合追跡手段に送られる。照合追跡手段は後述する監視空間データベース，移動体分離集約手段，経路算出手段，移動体整合度算出手段，個人特定情報整合手段，制限エリア侵入判定手段，挙動分析・不審者検知手段から構成される。
【０００９】
照合追跡手段は、監視対象空間全域を三次元モデルとして表現し、更に移動体が移動可能な空間のつながりをネットワーク表現した監視空間データベースを中心に持ち、送られてきた特徴量情報を蓄積する。監視空間データベースにおいて、各カメラの位置およびその撮影範囲は三次元モデルおよびネットワークモデルと相互に関連つけられており、特徴量情報はカメラ情報と関連して蓄積される。
【００１０】
ここで、一つのカメラ映像内には一般的に複数の移動体が存在するため、それらを個別の移動体として分離する必要がある。そのため、所定の間隔で動作する移動体分離集約手段は、データベースに蓄積されている各カメラ毎の特徴量情報を取り出し、既に特徴量空間にマッピングされ、グループ分けされている特徴量集合との距離的な近さや抽出した移動体の映像空間内での推定移動方向・距離の情報を用いて、どの特徴量集合に属するか決定する。ここで特徴量集合とは、同じ移動体に対して特徴量抽出処理を実施するたびに得られる情報の集まりをさし、一つの移動体が一つのカメラ視野に進入してから退出するまでの情報を用いて、特徴量ベクトルの平均値とその分散値で代表することも可能である。
【００１１】
次に、分離・集約した移動体を追跡するために、照合追跡手段における経路算出手段により、監視対象空間におけるカメラ撮影範囲間での移動経路の候補を求める。経路算出では、通路や部屋などの人の移動空間の接続状態をデータベースでネットワークとしてモデル化された情報を対象として、出発地点から目的地点間での、設定したリンクコストの最小値を探索する。監視空間の構成が単純であれば、事前にカメラ間の全組合せにおける全経路をテーブルとして求めておくことも可能である。
【００１２】
そして、照合追跡手段における移動体整合度算出手段において、二つの移動体の特徴量集合同士の整合度を算出する。整合度は、二つの集合の特徴量空間における近さの指標として定義する。この時、それぞれのカメラ視野を移動体が通過する度に次々と抽出される特徴量集合の、どの組合せをもって整合度を算出するかが適切な追跡を実現する上でポイントになる。そこで、まず移動体が上流側カメラ視野を通過した時の移動方向の情報を用いて、先に説明した経路算出手段により移動体が到達しうる下流側カメラまでの経路を求め、その所要時間を推定する。この時、階段やエレベータを経由した経路には通路とは異なる重みをつけて求める。そして、その所要時間から所定の時間内に通過した移動体との整合度をそれぞれ求めておく。二つの移動体が一致するかどうかは、整合度に対応する判定値を設定して決める。この判定値を変更することで、追跡対象を狭めたり，広げたりすることが可能となる。また、移動体の滞留に対処するため、所要時間を逆算して下流側カメラで捉えた移動体に相当する上流側移動体が存在しないときには、時間をさかのぼって、所定の整合度に見合う移動体を求める。
【００１３】
以上説明した処理を表示手段にて、監視員に見せることが必要である。表示手段では、監視対象空間を三次元的にとらえて、様々な視点を設定して表示する機能，設置されたカメラの位置およびその映像を表示する機能が含まれている。カメラ映像の表示では、監視員が特定のカメラを選択したり、一つの表示部に複数のカメラ映像を時間を区切って自動的に切り替えて映し出す。各カメラ毎に抽出した特徴量情報によって、移動方向別の通過人数を映像に重ねて表示することで、映像を注視していなくても、監視員は混雑状況を把握することができる。
【００１４】
また、監視員が映像中の特定の移動体を指定することにより、その移動体の移動経路を推定した結果を表示したり、カメラ間での整合度を求めることで、自動的に追跡することが可能である。これは夜間など移動体がまばらになった場合には、監視員が指定しなくても、画像認識技術で検知した移動体をすべて追跡することが実現出来る。逆に、日中など移動体が多い場合には、追跡結果を表示に重ねても、わかりにくくなるため、監視員の指定した対象のみの追跡情報を表示する。ここで、監視員が整合度に対応する判定値を任意に変化させることを可能にすることにより、追跡対象を広げたり，狭めたりすることができるようになり、追跡抜けを防ぐことができるようになる。
【００１５】
一方、照合追跡手段には、ドアに据え付けられたカード認証やバイオメトリクス認証等の個人特定情報整合手段が含まれる。カード認証によりそのカード所有者の特定情報と対応付けることが可能となる。よって、カード認証手段のついたドア近傍を監視カメラで撮影し、外見の特徴量情報を抽出し、同時に、カード情報によりその所有者の情報と関連つける。外見的な特徴量情報とその個人情報を関連つけることで、その人が監視対象のどのエリアに入っても良いのかを判定することが可能となる。それを同じく照合追跡手段にある制限エリア侵入判定手段により判断する。この時、制限エリア侵入判定手段はドアに取り付けられた開閉センサと接続され、その開閉情報は侵入判定有無に用いられる。
【００１６】
この時、権限のない人が制限エリアに侵入した場合は、表示手段にそのための警報情報を表示し、監視員は必要に応じて、警備員を現場に派遣したり、スピーカーによりエリアからの退出を呼びかけることが出来る。
【００１７】
また、照合追跡手段には、移動体の移動軌跡を分析することにより、初めての来訪者やいつものユーザ，不審者であるかどうかを判定して監視空間データベースを経て、表示手段により制限エリアへの侵入と同様な警報を表示する挙動分析・不審者検知手段を設けている。
【発明の効果】
【００１８】
本発明により、監視対象領域内の移動体に対する追跡性能が向上し、それにより監視員の負担が軽減されるとともに、ユーザにとって煩わしくないセキュリティソリューションを提供することが可能となる。
【発明を実施するための最良の形態】
【００１９】
本発明を用いた監視システムの例を、図面を用いて説明する。
【実施例１】
【００２０】
図１を用いて実施例を説明する。監視システムでは、まず、カメラ１０１と移動体特徴量抽出装置１０２やカメラ１０３と移動体特徴量抽出装置１０４の組合せが監視対象空間に複数台設置され、それぞれがネットワーク１０５に接続されている。図１では２組が接続されている構成を示しているが、それ以上の組を接続することが可能である。照合追跡装置１０６は、ネットワークを経由してカメラおよび移動体特徴量抽出装置と接続され、そこから映像と特徴量情報を受信する。また、カード認証装置１１７およびドア開閉センサ１１８と接続され、それぞれの機器からカード情報，ドア開閉情報を受信する。照合追跡装置１０６は、また、カメラ映像や監視対象の移動体の移動軌跡，制限エリアへの侵入警告などを表示する監視用ディスプレイ１０７と接続され、監視員に状況を伝える役割を持つ。
【００２１】
照合追跡装置１０６は、監視空間データベース１０８，特徴量情報受信記憶機能１０９，カメラ内移動体分離集約機能１１０，カメラ間移動経路算出機能１１１，カメラ間移動体整合度算出機能１１２，監視状況表示機能１１３，カード認証整合機能１１４，制限エリア侵入判定機能１１５，挙動分析不審者検知機能１１６から構成される。各機能の詳細は後述する。なお、以下で説明される照合追跡装置１０６の機能は、１つの装置に実装されるだけでなく、複数の装置に分散して実装することも可能である。
【００２２】
次に、移動体特徴量抽出装置１０２，１０４について説明する。本装置では、カメラで撮影した映像から画像認識手法を適用して特徴量情報を抽出し、それを外部に出力する機能を有する。図２を用いてその処理手順フローを説明する。まず、ステップ２０１にてカメラで撮影した映像を取り込む。カメラはＮＴＳＣ形式などのアナログ信号を出力するものやＪＰＥＧ形式などのデジタル情報を出力するものなど、どの方式のものでも実現可能であり、アナログ形式の場合は、画像認識処理するために、デジタル情報に変換して装置内のメモリに記憶する。
【００２３】
次に、ステップ２０２では記憶されたデジタル映像情報から映像内に存在する移動体を抽出する。抽出の具体的方式として、背景差分法を適用する。背景差分法とは、移動体が存在しない状態の映像データを背景として保存しておき、移動体が映っている映像データとピクセル毎の輝度値の差分を求めることで、背景には存在しなかった移動体の領域を求める手法である。そして、人物の大きさなどの情報を用いて、移動体領域を個別の人物に分割するのが本ステップでの役割である。
【００２４】
次に、ステップ２０３ではステップ２０２で人物毎に分割された領域からそれぞれの特徴量を算出する。ここでは、特徴量として、下半身と上半身の最頻輝度値を求める方式を説明する。まず、人物の全身が映っている領域のみを処理対象とするため、画像の上下左右の境界にかかっている場合は処理をスキップする。次に、全身領域から輪郭形状の変動点，輝度値の変動点などの情報を用いて、頭部を除いた上半身部分と下半身部分のそれぞれの領域を確定する。そして、それぞれの部分領域内の全画素の輝度値を集計して、出現頻度が最も多い輝度値をその部分領域の代表特徴量とするのである。この処理により、二つの特徴量（上半身最頻輝度値と下半身最頻輝度値）を得ることができる。また、人物の画像内での位置情報（例えば、上半身の重心位置など）を求めて、特徴量情報と合わせて管理しておくことで、移動速度や移動方向を求めることができる。特徴量としては他にも輪郭形状の大きさや色情報を組合せて使うことも可能である。
【００２５】
最後に、ステップ２０４にて、一つのカメラ映像から得られた特徴量情報（通常は複数の情報）を照合追跡装置に送る。送信する情報には、カメラＩＤ，映像取得時刻，ローカルＩＤなどの情報が付与される。以上説明したステップ２０１からステップ２０４までの処理はステップ２０５にて終了指定が設定されない限り、繰り返し実行される。処理周期は実装する装置での上記の処理時間，カメラのフレームレート，移動体の移動速度を考慮して値が決められる。
【００２６】
次に、照合追跡装置１０６における監視空間データベース１０８について図３を用いて説明する。図３はデータベースの構成データを示したものであり、監視空間データベース１０８は、建物データベース３０２，利用者データベース３１１そして監視データベース３１４から構成され、それぞれのデータが相互に参照される。
【００２７】
建物データベース３０２は、外観形状三次元データ３０３，フロア別空間データ３０４，エレベータデータ３０５，階段データ３０６，カメラデータ３０７，カード認証装置データ３０８，ドア開閉センサデータ３０９、そしてネットワークデータ３１０から構成される。
【００２８】
ここで図４を用いて建物データベースについて説明する。外観形状三次元データ３０３は、図４では監視対象空間を三次元モデル４０１で表現したものであり、監視員等に分かりやすく見せるためにこのデータは用いられる。フロア４０２，エレベータ４０３，階段４０４は、それぞれフロア別空間データ３０４，エレベータデータ３０５，階段データ
３０６の事例として示したものである。この三つのデータは移動体としての人が存在しうる場所を示している。
【００２９】
図５はフロア上の施設配置の一例を示したものである。このフロアには部屋５０１から部屋５０４の部屋がありその周囲を通路で囲んでいる。フロアへはエレベータ５０５，
５０６か、階段５０７，５０８を使って人が出入りする。人が通過する通路はカメラ（および特徴量抽出装置）５１０から５１２にて撮影されている。各部屋のドアは開閉センサがついたドア５１７，５１８，５１９，５２０か、カード認証装置がついたドア５１３，５１４，５１５，５１６から人の出入りが可能となっているものとする。建物データベース３０２におけるカメラデータ３０７は、このようにフロアに取り付けられた位置や撮影範囲のデータを有し、カード認証装置データ３０８は、カード認証装置の位置や出入り口としてつながる部屋と通路のデータを有し、ドア開閉センサデータ３０９は、同様にセンサの位置や出入り口としてつながる部屋と通路のデータを有するものとする。
【００３０】
次に、経路探索に用いるためのネットワークデータ３１０について、図６を用いて説明する。まず、通路や部屋などの人が移動する空間をスケルトン表現したものをリンクのベースとする。人の流れが分岐合流する地点やドアやエレベータ・階段によってその空間に人の出入りが発生する地点等をノードと定義し、ノード間は人の移動が可能なリンクとして表現する。図６では、このフロアが通路から構成されるネットワークと各部屋毎に構成されるネットワークの計５つのネットワークにより表現されることを示している。ノードとして、ドアノード，エレベータノード，階段ノード，分岐ノード，ターミナルノードを定義する。ドアノードは通路と部屋，通路と通路，部屋と部屋を結ぶノードであり、別々のネットワーク同士を結びつける役割を担う。図７に示しているようにエレベータノードはエレベータの各フロアに定義し、そのノード間をフロア間をつなげるリンクで結びつけるものであり、フロア間のネットワーク同士を結びつける役割を担う。階段ノードもエレベータノードと同様にフロア間のネットワーク同士を結びつける役割を担うが、エレベータノードを結ぶリンク列ではその中の一箇所にしか人は存在しないが（エレベータ内のかごは１つであるため）、階段ノード同士を結ぶリンクにはそのような制約が無いのが違いである。分岐ノードは人の出入りがない分岐地点に定義されるノードであり、ターミナルノードは人の出入りがないリンクの末端に定義されるノードである。以上説明したネットワークデータを用いることにより、任意のフロアにおけるノード・リンクから別の任意のフロアにおけるノード・リンクまでの経路を生成することが可能となる。
【００３１】
図３における利用者データベース３１１は、その空間にアクセスする権限のある特定された人物の情報を集めたものであり、組織構成員データ３１２と登録済み来場者データ
３１３から構成される。具体的には、各フロアに入居している団体・会社およびその組織構成，組織を構成する人員リストの情報を含み、各組織や個人のレベルでの各部屋へのアクセス権限の情報や各個人のカード情報・バイオメトリクス情報が含まれる。登録済み来場者データも同様であり、そのフロアに一時的にアクセスする来場者の情報を組織構成員データと同様な形式で記録するものとする。カード認証やその他の認証（顔認証や指紋認証，静脈認証，音声認証などのバイオメトリクス認証含む）によって個人が特定されると、このデータベースの情報が参照され、その個人に許可されるアクセス可能なエリアを特定することができる。組織・個人の特定情報と結び付けられない移動体が、制限エリアへ侵入した場合は、アラーム出力の対象となる。
【００３２】
図３の監視データベース３１４は、主にカメラおよび特徴量抽出装置から送られてくるデータを蓄積し、算出された移動体，移動経路，整合度などのデータを蓄積するものであり、カメラ映像データ３１５，抽出特徴量データ３１６，カメラ内照合追跡データ３１７、そしてカメラ間照合追跡データ３１８から構成される。次に説明する照合追跡装置内の多くの機能はこのデータベースをワークエリアとしても利用する。
【００３３】
次に、図１における特徴量情報受信記憶機能１０９について以下説明する。この機能はネットワークを経由して複数のカメラおよび移動体特徴量抽出装置から送られてくる映像と特徴量情報を受信し、それぞれ監視空間データベース１０８内の監視データベース314におけるカメラ映像データ３１５，抽出特徴量データ３１６に記憶する役割を担う。映像データはすべてを保管するためには多くの記憶容量が必要となるため、期限を切って過去のデータは削除したり、人物が映っているシーンのみを選択的に記憶手段に記録したりする。
【００３４】
図１におけるカメラ内移動体分離集約機能１１０について以下説明する。図８は各カメラで撮影された映像のスナップと所定の時間内に抽出された特徴量をグラフにプロットしたものを例示している。ここでは、図５で例示したフロアに配置されたカメラの中の、三つのカメラを対象として図８（ａ）にカメラ５０９のスナップ映像８０１と抽出特徴量グラフ８０２を、図８(ｂ)にカメラ５１０のスナップ映像８１１と抽出特徴量グラフ８１２を、図８（ｃ）にカメラ５１２のスナップ映像８２１と抽出特徴量グラフ８２２を、それぞれ例示している。スナップ映像８０１では、三人の人物が抽出され、人物８０３は画像の奥側に移動し、人物８０４，８０５は画像の手前に移動するものとする。抽出特徴量グラフ８０２は、先に例示したように上半身最頻輝度値と下半身最頻輝度値の二つの値を特徴量として、特徴量空間を表す二次元グラフにその抽出した値をプロットしたものである。スナップ映像８０１がある特定時刻の１シーンのみを表すものに対し、抽出特徴量グラフ８０２は所定の時刻間において抽出された特徴量をまとめてプロット表示している。図２のフローチャートで説明したように、移動体特徴量抽出装置によって、スナップ映像
８０１から三人の人物８０３，８０４，８０５がそれぞれ抽出され、その映像に対して、抽出特徴量グラフ８０２にプロットされるデータが三つ求められ、それが特徴量情報受信記憶機能１０９を経て、監視空間データベース１０８に保管される。カメラ視野内人物の移動時間差，照明等の外部環境の変動，人物の動きによる大きさ・向きの変動等により、特徴量の抽出時間に時刻差が生じ、また同じ人物に対する特徴量も変動する。この時間的にずれて抽出され、変動を伴う特徴量を個別の移動体別の情報として整理する役割をカメラ内移動体分離集約機能１１０が担っている。つまり、グラフ８０２において、バラバラにプロットされた特徴量をデータ集合８０６，８０７，８０８のようにそれぞれのデータ集合としてまとめ、移動体と対応付けるのである。この例では、人物８０３に相当するデータ集合がデータ集合８０８に、人物８０４に相当するデータ集合がデータ集合８０７に、人物８０５に相当するデータ集合がデータ集合８０６に、それぞれ対応するものとして以下の説明を展開する。
【００３５】
カメラ内移動体分離集約機能１１０の処理手順を図９のフローチャートを用いて説明する。特徴量抽出装置から送られてくる情報は、映像データは監視データベース３１４のカメラ映像データ３１５に蓄積され、特徴量データは抽出特徴量データ３１６に蓄積されるが、それぞれカメラ毎，時刻毎の情報として保管される。送られてきたデータを移動体情報として整理するために、まず未処理カメラの特徴量抽出情報を選択し(ステップ９０１)、その中のまだ整理が終わっていない未処理時刻情報を選択する（ステップ９０２）。次に、ステップ９０３のカメラ・時刻別特徴量分離集約処理により、既にある移動体情報に追加したり、新規移動体として登録したり、退出した移動体として処理したりする。その処理結果は監視データベース３１４のカメラ内照合追跡データ３１７に保管される。そして、まだ処理していない別の時刻の情報が残っていれば（ステップ９０４）、ステップ
９０２からの処理を繰り返し、また、まだ処理していない別のカメラの抽出情報が残っていれば（ステップ９０５）、ステップ９０１からの処理を繰り返す。
【００３６】
次に、ステップ９０３にあるカメラ・時刻別特徴量分離集約処理の詳細を図１０のフローチャートを用いて説明する。まず、ステップ１００１にて処理対象のカメラ情報について、そのカメラ内に既に移動体として登録されているデータ集合（これをカメラ内既存移動体と呼ぶ）が存在するかどうかを確認する。存在していない場合は、新たに移動体がカメラ視野に進入してきたことに相当するため、ステップ１００２にてすべての未処理特徴量情報をカメラ内に新規に現れた移動体としてデータ集合を新設して登録する（これをカメラ内新規移動体と呼ぶ）。図８における８０１，８１１，８１２がこの条件に合う場合には、それぞれ３つ，２つ，１つのカメラ内新規移動体が登録されることになる。
【００３７】
一方、カメラ内既存移動体が存在する場合は、特徴量情報はその既存移動体と同じ人物としてデータを追加するか、新規移動体として登録するかどちらかになる。これを判定するために、空間距離とマハラノビス距離の二つの距離量を用いる。まず、未処理の特徴量情報を選択し（ステップ１００３）、すべてのカメラ内既存移動体におけるデータ集合の中で、最新情報のカメラ内位置と、選択した特徴量のカメラ内位置との空間距離をそれぞれ算出する（ステップ１００４）。最新情報の位置としては、直前のデータだけでなく、例えばカルマンフィルターを用いたその時刻に対する移動予測位置を用いてもよい。このカルマンフィルターとは時系列として観測される計測データを用いて、未来の時刻における予測値を求め、また、新たな計測データによってその予測精度を改善する手法である。また、すべてのカメラ内既存移動体におけるデータ集合の中で、特徴量集合と選択した特徴量とのマハラノビス距離を算出する（ステップ１００５）。マハラノビス距離は統計で用いられる指標で、データ集合の平均値と対象値との距離を集合の標準偏差で割った値であり、分布を考慮に入れたデータ集合と１つのデータとの近さを表すものである。ここでは特徴量の類似度を示す指標として用いる。これをすべての未処理特徴量に対して繰り返す（ステップ１００６）。
【００３８】
次に、ステップ１００７にて、算出した空間距離とマハラノビス距離からなる、すべてのベクトル組で、その大きさが最小値となる組を求める。ベクトルの大きさが最小であることが既存移動体と一致するということにはならないため、所定のしきい値を設定し、その値の範囲内であるかどうかチェックする（ステップ１００８）。もし範囲内であれば、ステップ１００９にあるように、選択した組の特徴量情報をカメラ内既存移動体情報に追加し、この組を次の選択候補から除く。これを候補となる既存移動体が存在するまで、ステップ１００７以下を繰り返す(ステップ１０１０)。ステップ１００８にて、ベクトルの大きさが所定の範囲を超えた場合は、残りの既存移動体情報はカメラ視野から退出したか、他の移動体との重なりで本来抽出されるべき特徴量が抽出されなかったと考えられる。そこで、対象となる既存移動体の最新位置が、例えば、図３のネットワークデータ３１０を参照して、退出地点近傍内にある場合には、移動体が退出したものと見なし、その既存移動体情報にそのことを示す情報を追記して、カメラ内既存移動体としての登録情報から削除する（ステップ１０１２）。最後に、どのカメラ内既存移動体とも結び付けられなかった未処理特徴量は、新規にカメラ視野に進入したものとしてカメラ内新規移動体として登録する（ステップ１０１１）。
【００３９】
以上説明した処理を実施することにより、カメラ５０９の情報については、グラフ802において、データ集合８０６から８０８として情報を集約することができ、また、映像
８０１における個別の人物との対応付けもできる。また、カメラ５１０の情報についても、グラフ８１２において、データ集合８１５，８１６を分離でき、それぞれ映像８１１の人物８１４，８１３との対応付けができ、カメラ５１２の情報についても、グラフ８２２におけるデータ集合８２４と映像８２１における人物８２３とが対応付けられる。
【００４０】
次に、図１におけるカメラ間移動経路算出機能１１１について以下説明する。移動経路算出は、例えば図６に示したようなノードとリンクから構成されるネットワーク表現データを対象とする。経路探索手法としては、リンクコストが最小となる経路を探索する方式であるダイクストラ法を基本とする。ダイクストラ法を適用することにより、指定したノードから残りの全ノードに対する最小リンクコスト経路を求めることができる。このダイクストラ法とはネットワークのリンクに設定されたコストに対して、各ノードへの最小値経路を、開始点から１つずつ確定して、それをネットワーク全体に広げていくアルゴリズムであり、地図における最短経路探索の基本アルゴリズムとして広く利用されているものである。そして、ここでのリンクコストには移動時間に対応するものを選択する必要がある。そのため、フロア内ではノード間の距離に人の平均移動速度を掛け合わせたものを、階段ノード間には階段距離に階段昇降平均速度を掛け合わせたものを、エレベータノード間にはエレベータホールでの平均待ち時間にエレベータのフロア間移動時間（扉開閉時の出入り時間含む）を加えたものを用いる。以上説明したようなリンクコストに時間依存性がない指標を用いる場合は、カメラ間およびノード間の最小重み経路は、オフラインで事前に求めておくことが可能であり、それを例えば監視空間データベース１０８のネットワークデータ３１０に保管して、参照するだけで経路が得られるようにすることができる。
【００４１】
しかし、以下の説明項目を考慮すると、実際は必要になった時点で移動経路を求める処理を実行する必要が出てくる。まず、抽出した移動体の特徴量情報の、その位置の時間遷移データから、カメラ視野内での移動速度を求めることが出来る。リンクコストの設定に平均移動速度ではなく、この算出した移動速度を適用することでリンクコストが変わることになる。また、エレベータでの移動時間も、統計的な平均値ではなく、その時のエレベータの稼動データ（どの時刻にどのフロアにいたか）から求めた実績値を用いることでリンクコストが変わることになる。エレベータによる移動は他のフロアにおける呼の状況や運行管理モードに大きく影響されるため、精度の高い推定には、エレベータの運行をモデル化し、シミュレーションによりその挙動を推定する必要がある。一方、移動体の特徴量情報よりカメラ視野からの移動体の退出方向を得ることができるが、経路はその向きに大きく依存することになる。よって、まず経路探索の出発地点からその移動方向にある途中の分岐点までネットワーク上の経路を求め、次にその分岐点からダイクストラ法を適用して最小コスト経路を求める必要がある。
【００４２】
上記の説明を踏まえ、カメラ間移動経路算出機能１１１を図１１を用いて説明する。まず、まだ経路算出が終わっていない未処理のカメラデータを選択し（ステップ１１０１）、その中の移動体情報を選択する（ステップ１１０２）。そして、移動体速度・方向を算出し、その速度情報を用いてネットワークのリンクコストを設定する(ステップ１１０３)。次に、エレベータの稼動データを用いたエレベータノード間のリンクコストを設定し
（ステップ１１０４）、移動方向を考慮した分岐点までの推定経路を算出する（ステップ１１０５）。最後に、分岐点よりダイクストラ法による最小コスト経路を算出し（ステップ１１０６）、その経路を例えば監視空間データベース１０８内のカメラ間照合追跡データ３１８に保存する（ステップ１１０７）。以上の処理をすべての移動体に対して（ステップ１１０８）、そしてすべてのカメラデータに対して（ステップ１１０９）繰り返す。
【００４３】
以上説明した方式を図５のフロアおよび図６のネットワーク表現に適用し、図５のカメラ５０９でとらえた移動体を例に説明する。図８（ａ）に例示するように、カメラ映像から抽出した三人の移動体情報から、それぞれの特徴量や移動速度，移動方向を求めることができ、その移動速度を用いてリンクコストを設定する。人物８０３は映像の奥へ移動することから、その分岐点に至るまでの経路を図１２における推定経路１２０２として求めることができる。一方、人物８０４，８０５は映像の手前に移動することから、その分岐点に至るまでの経路を図１２における推定経路１２０１として求めることができる。そして、各分岐点よりダイクストラ法を適用して経路として設定されていない全ノードへの最小リンクコスト経路を求めるのである。同様にカメラ５１０に対する推定経路として推定経路１２０３および推定経路１２０４，カメラ５１２に対する推定経路として推定経路
１２０５をそれぞれ求めることができる。本ケースでは、分岐点にカメラが設置されているが、一般的には分岐点とカメラ設置地点は一致せず、またネットワーク規模が大きくなると経路探索処理により自動的に経路を求める必要が明確になる。
【００４４】
ここで、図５で示した事例では、カメラは通路のみに設置されているため、移動経路は通路上のリンクからのみ構成されるネットワークのみが探索対象であったが、部屋内にカメラを設置した場合は、複数のネットワークにまたがった探索が必要になる。この場合は、部屋から通路までの経路をまず求め、次に通路ネットワークを探索対象とするような、２段階探索を適用する。
【００４５】
次に、図１におけるカメラ間移動体整合度算出機能１１２について以下説明する。図８を用いて本機能の目的を説明する。ここでは三人の人物が登場し、カメラ５０９からカメラ５１０へ二人の人物が、残りの一人の人物がカメラ５０９からカメラ５１２へ移動したとする。この時に、映像８０１の人物８０３が映像８２１の人物８２３と、映像８０１の人物８０４と人物８０５が映像８１１の人物８１３と人物８１４にそれぞれが照合することを推定するのである。この照合には、先に説明したカメラ間の移動経路とカメラ内移動体の集合データが必要になる。図８の三つの映像データを時間を追って見ると、まず映像８０１に三人が登場し、カメラ内を移動した後、カメラ視野から退出する。その時刻から人物が移動する時間分だけ遅れて、映像８１１および映像８２１に人物が登場して、また退出していく。カメラ視野外の移動経路途中に人の出入り口があった場合は、上流側カメラで撮影した人物が下流側のカメラに登場しなかったり、あるいは上流側カメラに映っていない人物が下流側のカメラで登場することもある。また、本実施例では監視対象の人物を三人のみとして説明しているが、通常はそれぞれのカメラ内を次から次へと人が移動していくことを想定する必要がある。
【００４６】
以上を踏まえて、本機能の目的である人物照合を精度よく実現するためには、まず移動時間を考慮した照合データの時間軸上の絞込みが必要であり、そのためにカメラ間移動経路算出機能１１１で求めた経路情報を用いる。各カメラから抽出された移動体がその視野から退出したと判定された時点で（図１０のフローチャートのステップ１０１２で判定）、その移動体の行き先の経路上にあるカメラの設置地点までの経路およびその移動時間を参照する。そして、そのカメラまで到達する可能性のある移動体情報として、予測到達時間（退出時刻に移動時間を加えたもの）の前後に検索時刻ウィンドウを設定し、退出した移動体情報への参照とともに、記憶しておく。例として、図１３に、図８の８０１における人物８０４と８０５が、上流側カメラである図５のカメラ５０９から下流側カメラであるカメラ５１０に移動する場合を時間軸上に示す。カメラ５０９における人物８０４と
８０５は同時にカメラに映っており、進入から退出までの時間に重なりがある。また、カメラ５１０に設定する検索時刻ウィンドウも二つの人物向けの範囲が重なっている様子が示されている。
【００４７】
次に、カメラ間で対応する移動体を推定する手順を説明する。図１４は、カメラ５１０の時刻軸上に設定されたカメラ５０９からの検索時刻ウィンドウと、カメラ内移動体分離集約機能１１０によって図８の映像８１１に示されるような人物８１３と人物８１４の進入退出を抽出した様子を示している。ここではカメラの視野から退出した時点で、カメラ間で対応する移動体を探す処理を実行するものとする。まず、人物８１４が退出した時点で、検索時刻ウィンドウの範囲に含まれているすべての上流側移動体を候補として移動体同士の整合度を算出する。この場合、人物８１４に対応する特徴量集合８１５と、人物
８０４と人物８０５に対応する特徴量集合８０７と特徴量集合８０６との整合度を算出することになる。
【００４８】
ここで、二つのデータ集合同士の整合度を定義するために、まず、統計学における判別分析で用いられる線形判別関数によって得られる値を近接度として定義する。線形判別関数は二つのグループを分離する最適な直線（一般的には超平面）であり、その定義式に各グループそれぞれのサンプル点の値を代入したものを判別得点と呼ぶ。判別得点はサンプル点と線形判別関数との離れ具合を示す指標である。二つのグループ全サンプルに対する判別得点の偏差平方和は、二つのグループ間の距離を表す指標と各グループ内の変動の和を示す指標の、二つの指標の加算で表現できることが知られている。その前者の指標を
（全サンプル数−１）で割った値が分散に相当するため、その値の平方根をここでは近接度と定義する。具体的には判別得点の個別グループの平均をそれぞれＺ１ave，Ｚ２ave、全体平均をＺave、それぞれのサンプル数をＮ１，Ｎ２とすると、近接度Ｄ１２は以下の式１で定義される。
【００４９】
Ｄ１２＝√((Ｎ１＊(Ｚ１ave−Ｚave)2 ＋Ｎ２＊(Ｚ２ave−Ｚave)2) ／(Ｎ１
＋Ｎ２−１))                                              …（式１）
近接度の定義には他にもマハラノビス距離を用いる方法も適用可能である。近接度が小さければ二つの移動体は同じものである可能性が高く、逆に大きければ別のものである可能性が高いといえる。そこで近接度の所定の範囲を０から１に正規化し、１から引いた値を二つの移動体間で定義される整合度として用いることで、よりわかりやすい指標となる。近接度の下限値をＤｍｉｎ，上限値をＤｍａｘとすると近接度Ｄ１２に対応する整合度Ｍ１２を以下の式２で定義する。
【００５０】
Ｍ１２＝１−（Ｄ１２−Ｄｍｉｎ）／（Ｄｍａｘ−Ｄｍｉｎ）          …（式２）
ただし、Ｄ１２がＤｍａｘより大きな値のときは、Ｍ１２＝０、Ｄ１２がＤｍｉｎより小さな値のときは、Ｍ１２＝１とする。
【００５１】
上記で定義した整合度を図８の特徴量集合８１５と特徴量集合８０６間、および特徴量集合８１５と特徴量集合８０７間でそれぞれ求めると、特徴量集合８１５と特徴量集合
８０６との組合せが整合度として１に近い値となる。設定した判定値よりも大きな値であった場合は、この二つの組は一致するものとして判定されることになる。一致した場合は、対応する８０５向け検索時刻ウィンドウ情報を削除し、また、退出した８１４移動体情報に、上流側で対応する人物８０５の移動体情報への参照を記録しておく。これにより移動経路も含めた追跡が可能となる。同様にして、人物８１３が退出した時点には、検索時刻ウィンドウ内として対応する移動体は人物８０４に対してのものだけであるから、特徴量集合８１６と特徴量集合８０７の整合度を算出し、それが判定値よりも大きな値になるか調べる。このケースでは１に近い値になるため、この二つの組は一致するものとして、対応する８０４向け検索時刻ウィンドウ情報を削除し、退出した人物８１３の移動体情報に、人物８０４の移動体情報への参照を記録しておく。
【００５２】
基本的には以上の処理を各カメラに対応する情報毎に実施することで、移動体同士の整合度の算出および一致の有無の判定を実施することができる。なお、この処理はカメラ視野に進入した時点や進入してから所定の時間を経過した時点など進入から退出までのどの時刻でも実行可能である。ここで、実際の場面を想定した場合、二つのカメラ間の経路途中で人の出入りが発生したり、長時間滞留していたり、途中で引き返してきたりするケースを想定しておく必要がある。
【００５３】
即ち、移動体がカメラ視野から退出したタイミングで、上流側カメラの移動体情報との整合度を算出しようとした場合、予測通りに移動体が到着した時には、先に説明したように検索時刻ウィンドウの範囲内にある移動体情報を選択すればよいが、長時間滞留していた場合は、照合すべき検索時刻ウィンドウの範囲を超えてしまっているので、ウィンドウの過去の時間をさかのぼって検索する必要がある。過去の移動体と対応付けられなかった検索時刻ウィンドウを探し、その移動体情報との整合度が判定値を超えるか（＝滞留していた）、所定の探索限界時間に達するかまで探索を続ける。あるいは途中で引き返してきた場合は、そのカメラ自身の過去の退出移動体情報をさかのぼって探索し、同じく整合度が判定値を超えるか（＝引き返してきた）、所定の探索限界時間に達するかまで探索を続ける。この滞留と引き返しの二つの場合でそれぞれ整合する移動体が探索された場合は、現在時刻に近いほうを追跡対象となる上流側カメラの移動体情報とする。以上説明したどの判定でも対応する移動体が見つからない場合は、経路の途中から新規に人物が進入してきたものとみなし、このカメラを基点として下流側カメラに向かって移動体を追跡することになる。なお、対応する移動体がみつからない検索時刻ウィンドウで、探索限界時間を超えたものは、上流側カメラの人物は経路途中で出てしまったものとみなす。
【００５４】
上記の説明をまとめたものを図１５のフローチャートに示す。あるカメラの視野から移動体が退出すると、その退出移動体情報を参照し（ステップ１５０１）、その退出時刻を範囲内に含む検索時刻ウィンドウを探す（ステップ１５０２）。対象となる検索時刻ウィンドウに対応する上流側カメラの移動体情報とこの退出移動体情報との整合度を算出し
（ステップ１５０３）、その値が判定値を超えた場合は（ステップ１５０４）、退出移動体情報に整合した上流側カメラの移動体情報への参照を記録し、対応する検索時刻ウィンドウを削除し（１５０５）、ステップ１５０２へ戻る。ステップ１５０４にて整合度が判定値以下の場合もステップ１５０２へ戻る。これを退出時刻を含むすべての検索時刻ウィンドウに対して実行する。判定値が低い場合や類似な移動体が同時に到着した場合などは複数の上流側移動体情報と整合する場合もある。つまり、ここでの照合追跡では、その経路が一本の場合だけでなく、分岐を含むネットワークになることもある。
【００５５】
すべての検索時刻ウィンドウをチェックした結果、退出移動体に対応する上流側移動体が探索された場合（ステップ１５０６）は、処理を終了する。もし探索されなかった場合は、時間を順番に過去にさかのぼって、削除されなかった検索時刻ウィンドウに対応する移動体、あるいは、そのカメラから退出した移動体と本退出移動体との整合度を算出し
（ステップ１５０７）、整合度が判定値を超えた場合(ステップ１５０８)は、退出移動体に整合した上流側移動体情報あるいは同じカメラから過去に退出した移動体情報への参照を記録し、探索時刻ウィンドウに対応した場合はその情報を削除して(ステップ１５１１)終了する。ステップ１５０８で、整合度が判定値以下の場合は、探索限界時間を超えない限り（ステップ１５０９）、ステップ１５０７へ戻って過去の情報をさかのぼって検索する。探索限界時間を超えた場合は、退出移動体を照合追跡の基点としてその情報を記録して（ステップ１５１０）終了する。
【００５６】
次に、図１における監視状況表示機能１１３について以下説明する。本機能は監視空間データベース１０８の情報を参照して、監視員に対して監視用ディスプレイ１０７を通じて、現在の状況あるいは過去の状況を表示するものである。監視用ディスプレイ１０７にて表示される画面の例を図１６を用いて説明する。図１６は監視操作卓およびディスプレイ表示を模式的に示したものであり、全体ウィンドウ１６０１は、建物配置の全体あるいは一部を示すメインウィンドウ１６０２，監視状況を示すステータスウィンドウ１６０３，各監視カメラの映像を映す映像ウィンドウ１６０４〜１６０９から構成される。
【００５７】
ここでは、メインウィンドウ１６０２には各フロアの概略図とカメラ配置およびその番号，人物を追跡している場合の移動軌跡と制限エリアに進入したことによる警告表示を示している。本ウィンドウの表示には、図３における建物データベース３０２（図４，図５で例示），監視データベース３１４の情報を用いるが、三次元表示技術，コンピュータグラフィックス技術を用いることで、よりリアルな表示を監視員に提供することも可能である。また、逆に建物情報を簡略化し、カメラやその他の関係設備を強調して表示するようなディフォルメを用いた表示も可能である。
【００５８】
ステータスウィンドウ１６０３は、図１における挙動分析不審者検知機能１１６および制限エリア侵入判定機能１１８にて得られた警告情報を表示する機能を担う。
【００５９】
画面１６０４から画面１６０９までの６つの画面は、監視カメラの番号とともにその映像を表示するものである。ネットワーク１０５を経由して送られてくる映像情報を直接各映像ウィンドウに表示するか、監視データベース３１４に蓄積された映像データを読み出して表示するかのいずれかの方式を用いる。一般的には、表示領域の制限により、設置したカメラ台数に対して、表示用の映像ウィンドウの数の方が少ないことが多い。この時は、各映像ウィンドウに表示するカメラを個々に選択，切り替えて監視したり、事前に各映像ウィンドウ毎に複数のカメラ映像を登録しておき、所定の時間間隔で自動的に切り替えて表示する方式を用いる。また、カメラ内照合追跡データ３１７を参照して、退出した移動体数をカウントすることによって、所定の時刻からの通過人数を求め、それを重ねて表示することが可能である。また、移動の方向別に分けて表示することも可能である。
【００６０】
この映像表示を含めた監視条件を設定するウィンドウの事例を図１７により説明する。ここでは、６つの映像ウィンドウに対して、それぞれ、自動切り替え表示か，固定表示かを選択でき、自動切り替えの場合はその時間間隔を入力できる。選択するカメラはプルダウンメニューから選び、カメラ番号，順序などを設定する。一方、メインウィンドウ1602にて例示したような追跡状況の表示に関する設定を、同じ監視条件設定ウィンドウの下部に例示した。これまで説明した図１のカメラ内移動体分離集約機能１１０，カメラ間経路算出機能１１１，カメラ間移動体整合度算出機能１１２によって、随時、照合追跡処理が実施され、その結果は監視データベース３１４に保存されている。このデータを画面表示する場合、人数が多くなると、画面上での経路の重なり表示が多数発生し、監視員にとってわかりにくいものになってしまう。よって、ここでは、追跡状況の表示は監視員からの要求があった場合を基本とする。一方、夜間のように、人数は少ないが、セキュリティ上の監視重要度は高くなる場合の監視員に対する監視業務の効率的支援が必要である。そこで、所定の人数以下で、かつ、所定の設定時刻間においては、監視員からの要求が無くても、追跡処理で得られた情報をメインウィンドウに表示する機能を設ける。これを自動追跡表示と呼ぶ。自動追跡表示に必要な設定として、機能のＯＮ／ＯＦＦ，追跡対象上限人数，表示対象時刻設定（ここでは三つの設定が可能な例を示す），自動追跡専用映像ウィンドウの選択がある。
【００６１】
図１８に自動追跡表示の設定をＯＮとした時の、画面表示例を示す。この例では三人の人物が追跡対象となっており、メインウィンドウには、追跡経路１８０１から１８０３の三つの追跡経路が表示されている。追跡経路は、監視データベース３１４のカメラ間照合追跡データ３１８に保存されているデータを参照して表示する。自動追跡専用映像ウィンドウ１８０４では、追跡対象の人物がカメラ視野に入ると、その映像を表示する。同時に複数のカメラ映像を表示する必要が発生した場合は、時間的に後から要求が発生した映像を別途保存しておき、追跡対象がカメラ視野から退出した時点で、その蓄積した映像を再生表示する。自動追跡専用映像ウィンドウは複数設定可能である。
【００６２】
図１９に監視員からの要求によって追跡対象を指定した場合の画面例を示す。任意の映像ウィンドウ内の追跡対象をポインティングデバイスにより選択すると（１９０１）、メインウィンドウには、移動経路が表示され（１９０２）、また、その経路上で追跡対象が通過したカメラを強調表示する（１９０３）。追跡専用の映像ウィンドウを指定した場合は、各カメラを通過した時の映像とカメラ間移動体整合度算出機能１１２で求められた整合度の値を重ねて表示する。これを通過カメラ毎に自動的に切り替える。この整合度の状態の表示方法としては、この実施例で示されているように整合度の数値を表示しても良いし、この数値に応じたグラフ、又は画面や整合度を示す表示ウィンドウの表示色を変化させることで知らしめることが可能になる。
【００６３】
ここで、カメラ間移動体整合度算出機能にて、二つの移動体が一致すると見なす判定値の設定ウィンドウの事例を図２０に示す。判定値は個々のカメラ毎に設定できるようにする。これはカメラの設置場所により環境条件が異なるためである。図２０ではスライドバーを用いて設定する例を示している。また、判定値を全カメラに対して一斉に高くしたり低くしたりするための、判定値増減ボタンを設け、また、リセットボタンにより全カメラの判定値を１に再設定する機能を実行する。本ウィンドウは監視員が直接操作することも可能であるが、システム設定者の調整ツールとしても用いられる。
【００６４】
また、監視追跡業務を想定した時に、その時点でのリアルタイムの映像情報の他に、直前までの映像をプレイバックして不審行動かどうかを見極めることが必要になると考えられる。図２１は蓄積した映像を同期を取って再生，早送り，巻戻し表示するための、監視映像再生コントローラの事例を示したものである。各映像ウィンドウに表示するカメラをそれぞれ選択し、開始時刻を設定する。ディフォルトは現在時刻である。再生コントロールには、通常再生，早送り再生，プレイバック再生，早送りプレイバック再生，停止のボタンを用いる。
【００６５】
次に、図１におけるカード認証装置１１７について説明する。ここでいうカード認証装置とは、ドアの施錠を解除するために設置されたＩＣカード情報読み取りと暗証番号入力機能を備えたものをさす。図５では５１３，５１４，５１５，５１６として例示し、図
２２ではＩＣカードシンボル２２０２によってその設置位置を示している。図１におけるカード認証整合機能１１４は、カード認証装置１１７と接続し、監視空間データベース
１０８内の利用者データベース３１１を検索して、カードＩＤと一致する情報を探す。そして検索した情報からその人が入ろうとしている部屋に入室する権限があるかどうかを確認し、権限があれば開錠する。本装置を使った入退室が発生した時には、図２２に示すシンボルの付近にそのＩＤ情報を表示する。また、入室する権限がない場合には、そのカードシンボルを点滅させたり、色を変えたりして、監視員にアラームを発する。これらのアクセス情報は監視空間データベース１０８のカード認証装置データ３０８に入退室記録としてそのログを保存しておく。
【００６６】
カード認証整合機能１１４は、また、移動体の照合追跡処理との連携を図る役割を担う。例えば、カード認証装置を操作する人物が視野に入る位置に取り付けられた監視カメラと組合せることで、監視カメラで抽出した人部の外見から見た特徴量集合と、ＩＣカード所有者の特定個人情報を結びつけることが可能となる。これによって、それまで匿名の人物として照合追跡したものが、個人情報と組合せた照合追跡が可能となるため、例えば、照合追跡している個人の執務場所に応じた整合度判定値の設定が可能となり、より追跡精度が向上すると考えられる。また、カード認証装置がカメラ視野に入っていない場合でも、カメラ間を移動する人物、あるいはカメラ間の経路の途中から進入してきた人物として、カードＩＤから参照できる個人情報を関連付けることができるようになる。
【００６７】
本実施例ではカード認証装置を用いて説明したが、この装置の代わりに指紋認証や静脈認証などのバイオメトリクス認証装置を用いても実現できる。つまり、個人を特定する情報を参照できる装置であればどのようなものを用いてもよい。
【００６８】
次に、図１におけるドア開閉センサ１１８について説明する。開閉センサは、ドアの開け閉めを検知するものであり、それによって人の出入りがあったと仮定することができる。図５では開閉センサ５１７，５１８，５１９，５２０として例示し、図２２ではドアシンボル２２０１によってその設置位置を示している。図１における制限エリア侵入判定機能１１５は、ドア開閉センサ１１８と接続し、カメラ間での人物追跡の途中で、ドア開閉が検知された時に、追跡中の人物が特定個人情報と結びついていれば、その部屋への入室権限有無をチェックし、入室権限がない場合にアラームを発する。アラームはステータスウィンドウ表示とドアシンボル点滅などにより監視員に伝える。同様に、追跡中の人物が特定個人情報と結びついていない場合、その部屋に不特定者が入室可能かどうかチェックし、不可の場合にアラームを発するのである。さらに、通路にスピーカを設置しておくことにより、対象人物に警報を伝えることができる。
【００６９】
図５に示すように部屋のすべてのドアにセンサあるいはカード認証装置を取り付けることにより、カメラ間移動経路の途中での人の出入りが推定できるようになり、結果として追跡精度が向上する。
【００７０】
最後に、図１における挙動分析不審者検知機能１１６について説明する。本機能は、人物の移動軌跡を分析することで、その人物が不審者である可能性が高い時にアラームを発するものである。ある人物がその監視空間をよく知っている場合、目的地に向かってまっすぐに移動速度の変動も少ない移動軌跡を描くものと考えられる。逆に、初めてその場所を訪問した場合は、移動方向を確認しながらゆっくりと移動し、その移動軌跡の変動も大きなものになると考えられる。一方、目的をもった不審者は、同じ場所を何度も往復したり、カメラ間での移動滞留時間が長かったりするものと考えられる。よって、移動軌跡の変動が所定の値を超えた場合を不審行動と判定し、例えば、図２２のアラーム表示2203を画面に出力したり、ステータスウィンドウにその旨を表示するなどして、監視員の注意を喚起する。
【００７１】
尚、上述した実施例では、本発明は建物内の人を対象とした監視システムとして説明したが、これは道路空間における自動車を監視対象として適用することも可能である。
【産業上の利用可能性】
【００７２】
本発明によれば、対象空間に設置された複数のカメラによって撮影された移動体、例えば人物，自動車等を高精度に認識し、照合又は追跡する監視システムを提供することが可能になる。
【図面の簡単な説明】
【００７３】
【図１】本発明を用いた監視システムの全体構成を示す図である。
【図２】移動体特徴量抽出装置の処理手順を示すフローチャートである。
【図３】監視空間データベースの内訳を示す図である。
【図４】本発明で例示として用いる建物構成を説明する図である。
【図５】本発明で例示として用いるフロア構成を示した図である。
【図６】例示として用いるフロア構成のネットワーク表現を示す図である。
【図７】二つのフロア間を結ぶ階段ノードとエレベータノードのリンクを説明する図である。
【図８】監視カメラで撮影した映像スナップ例と抽出した特徴量をグラフにプロットした例を示す図である。
【図９】カメラ内移動体分離集約機能の処理手順を示すフローチャートである。
【図１０】カメラ・時刻別特徴量分離集約処理のフローチャートである。
【図１１】カメラ間移動経路算出機能の処理手順を示すフローチャートである。
【図１２】算出した経路の事例を説明する図である。
【図１３】上流側カメラで抽出した移動体情報を下流側カメラで照合するための、検索時刻ウィンドウを設定する説明図である。
【図１４】あるカメラで抽出した特徴量と設定された検索時刻ウィンドウとの時間軸上での関係を説明する図である。
【図１５】カメラ間移動体整合度算出機能の処理手順を示すフローチャートである。
【図１６】監視用ディスプレイでの表示内容を説明する図である。
【図１７】監視条件を設定するためのウィンドウの事例を示す図である。
【図１８】自動追跡表示設定時の監視ディスプレイでの表示例を示す図である。
【図１９】監視員が選択した追跡対象の情報の表示例を示す図である。
【図２０】整合度に対する判定値を設定するウィンドウの事例を示す図である。
【図２１】蓄積された映像データを再生表示するためのコントローラの事例を示す図である。
【図２２】カード認証，ドア開閉センサ，挙動分析不審者検知機能の情報を監視ディスプレイに表示した事例を示す図である。
【符号の説明】
【００７４】
１０１，１０３,５０９〜５１２…監視カメラ、１０２,１０４…移動体特徴量抽出装置、１０５…ネットワーク、１０６…照合追跡装置、１０７…監視用ディスプレイ、１０８…監視空間データベース、１０９…特徴量情報受信記憶機能、１１０…カメラ内移動体分離集約機能、１１１…カメラ間移動経路算出機能、１１２…カメラ間移動体整合度算出機能、１１３…監視状況表示機能、１１４…カード認証整合機能、１１５…制限エリア侵入判定機能、１１６…挙動分析不審者検知機能、１１７…カード認証装置、１１８…ドア開閉センサ、２０１〜２０５，９０１〜９０５，１００１〜１０１２，１１０１〜１１０９，１５０１〜１５１１…フローチャートの処理ステップ、３０２…建物データベース、
３０３…外観形状三次元データ、３０４…フロア別空間データ、３０５…エレベータデータ、３０６…階段データ、３０７…カメラデータ、３０８…カード認証装置データ、309…ドア開閉センサデータ、３１０…ネットワークデータ、３１１…利用者データベース、３１２…組織・構成員データ、３１３…登録済み来場者データ、３１４…監視データベース、３１５…カメラ映像データ、３１６…抽出特徴量データ、３１７…カメラ内照合追跡データ、３１８…カメラ間照合追跡データ、４０１…建物外観イメージ、４０２…フロア構成イメージ、４０３…エレベータイメージ、４０４…階段イメージ、５０１〜５０４…部屋、５０５，５０６…エレベータ、５０７，５０８…階段、５１３〜５１６…カード認証装置付きドア、５１７〜５２０…開閉センサ付きドア、８０１…カメラ５０９スナップ映像、８０２…カメラ５０９特徴量プロットグラフ、８０３〜８０５，８１３，８１４，８２３…人物、８０６〜８０８，８２４，８１５，８１６…特徴量集合、８１１…カメラ５１０スナップ映像、８１２…カメラ５１０特徴量プロットグラフ、８２１…カメラ512スナップ映像、８２２…カメラ５１２特徴量プロットグラフ、１２０１〜１２０５…推定経路、１６０１…ディスプレイ全体、１６０２…メインウィンドウ、１６０３…ステータスウィンドウ、１６０４〜１６０９…映像ウィンドウ、１８０１〜１８０３…追跡経路、１８０４…自動追跡専用映像ウィンドウ、１９０１…追跡対象選択、１９０２…移動経路表示、１９０３…通過カメラ表示、１９０４…通過時点カメラ映像表示、２２０１…ドア開閉センサシンボル、２２０２…カード認証装置シンボル、２２０３…アラーム表示。
【図１】
2006146378.tif 000003
【図２】
2006146378.tif 000004
【図３】
2006146378.tif 000005
【図４】
2006146378.tif 000006
【図５】
2006146378.tif 000007
【図６】
2006146378.tif 000008
【図７】
2006146378.tif 000009
【図８】
2006146378.tif 000010
【図９】
2006146378.tif 000011
【図１０】
2006146378.tif 000012
【図１１】
2006146378.tif 000013
【図１２】
2006146378.tif 000014
【図１３】
2006146378.tif 000015
【図１４】
2006146378.tif 000016
【図１５】
2006146378.tif 000017
【図１６】
2006146378.tif 000018
【図１７】
2006146378.tif 000019
【図１８】
2006146378.tif 000020
【図１９】
2006146378.tif 000021
【図２０】
2006146378.tif 000022
【図２１】
2006146378.tif 000023
【図２２】
2006146378.tif 000024