(57)【特許請求の範囲】
【請求項１】
監視場所の撮像画像を順次取得する撮像部と、
前記監視場所を構成する物体についての仮想空間における構造及び少なくとも開口部か否かの属性を示した構造情報と、前記仮想空間における前記撮像部の撮像エリア及び該撮像エリア以外の非撮像エリアを示したエリア情報とを記憶した記憶部と、
前記撮像画像から抽出した移動体を時間的に追跡する画像処理部と、
前記撮像エリアの外に移動した前記移動体の前記非撮像エリアにおける存在確率を算出し、該存在確率に基づいて前記非撮像エリアにおける前記移動体の現在の所在を表示する表示制御部とを備えた画像監視装置であって、
前記表示制御部は、
前記移動体が前記撮像エリア外に移動した位置から前記仮想空間における失跡位置を求め、該失跡位置と前記エリア情報及び前記構造情報とから該移動体の移動先の非撮像エリアの外周を構成する開口部を特定し、該移動体の失跡時刻からの経過時間及び該開口部の数が大きくなるほど前記存在確率を小さくなるよう算出することを特徴とする画像監視装置。
【請求項２】
前記表示制御部は、
前記失跡位置と前記構造情報及び前記エリア情報とを用いて前記移動体が前記失跡位置から前記開口部を経由して前記撮像エリアを通らずに移動可能な非撮像エリアにおける予測経路を算出する予測経路算出手段と、
前記移動体の失跡前の移動速度及び前記経過時間に基づいて確率分布を求め、該確率分布と前記構造情報とを用いて前記予測経路ごとに経路別エリア存在確率を算出し、該経路別エリア存在確率から前記存在確率を算出する存在確率算出手段と、を有する請求項１に記載の画像監視装置。
【請求項３】
前記画像処理部は、前記移動体の画像特徴と予め前記記憶部に記憶した特徴量情報との類似度を求め、該類似度と前記存在確率とを用いて該移動体が該特徴量情報に対応する移動体と同一であるか否かを判定する判定手段を有する請求項１又は請求項２に記載の画像監視装置。
【請求項４】
前記表示制御部は、前記記憶部に予め記憶された前記監視場所の地図上に前記移動体の存在位置を表す画像表示を前記存在確率に基づいて表示出力する表示制御手段を有する請求項１〜請求項３の何れか一項に記載の画像監視装置。
【請求項５】
前記構造情報における前記物体の構造は３次元形状データであり、
前記記憶部は、前記撮像部の設置位置、光軸及び画角を前記構造情報に対応付けた撮像条件情報を更に記憶し、
前記構造情報及び前記撮像条件情報を用いて前記撮像エリア及び前記非撮像エリアを求め前記エリア情報として前記記憶部に記憶するエリア設定部を更に有する請求項１〜請求項４の何れか一項に記載の画像監視装置。
【請求項６】
前記確率分布は、前記移動速度及び前記経過時間から求められる平均値と該経過時間から求められる標準偏差とをパラメータとした正規分布によって表現される請求項２に記載の画像監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の監視カメラによって撮像した監視場所の撮像画像を、監視者が目視にて監視する画像監視装置に関する。
【背景技術】
【０００２】
近年、複数の監視カメラによって撮像した撮像画像を順次受信して、監視者の利用する監視端末に表示させることによって、監視場所の複数エリアにおける異常状態を集中的に監視する画像監視装置が利用されている。このような画像監視装置に関して、特に、特許文献１には、複数の監視カメラからの撮像画像に映る物体についてその特徴量に基づいて前後時間での対応付けを行って複数カメラ間の追跡（トラッキング）をして、監視場所の平面図上に当該物体の移動軌跡を表示することにより、広範囲の監視場所全体における物体の行動状態を監視者が視認し易いようにした画像監視装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０７−０４９９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、商店街やショッピングモールなどのように監視場所が広範囲になる程、当該監視場所の全てのエリアを隙間なくカバーできるよう監視カメラを設置することは設置コストや運用コスト等の理由から困難であり、一般には監視場所の特に監視したいエリアにのみ監視カメラが設置されることとなる。そのため、前記従来技術では、監視カメラの撮像している範囲（以下、「撮像エリア」という）の外に物体が移動すると、監視者は当該物体を見失うと同時に、画像監視装置は追跡を継続できなくなるといった問題があった。したがって、撮像エリアの外に物体が移動した場合であっても、どのあたりに当該物体が存在しうるのかを予測表示させたいといった監視ニーズがあった。
【０００５】
そこで、物体が撮像エリア外に移動した場合であっても、建物構造やカメラ設置情報などに基づいて目標移動体の存在確率をエリア毎に算出して活用することにより、監視者は撮像エリアの外に出た目標移動体の大よその位置関係を予測して把握できると同時に、複数の監視カメラ間におけるトラッキングを精度よく継続できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本願請求項１に係る画像監視装置は、
監視場所の撮像画像を順次取得する撮像部と、前記監視場所を構成する物体についての仮想空間における構造及び少なくとも開口部か否かの属性を示した構造情報と、前記仮想空間における前記撮像部の撮像エリア及び該撮像エリア以外の非撮像エリアを示したエリア情報とを記憶した記憶部と、前記撮像画像から抽出した移動体を時間的に追跡する画像処理部と、前記撮像エリアの外に移動した前記移動体の前記非撮像エリアにおける存在確率を算出し、該存在確率に基づいて前記非撮像エリアにおける前記移動体の現在の所在を表示する表示制御部とを備えた画像監視装置であって、
前記表示制御部は、前記移動体が前記撮像エリア外に移動した位置から前記仮想空間における失跡位置を求め、該失跡位置と前記エリア情報及び前記構造情報とから該移動体の移動先の非撮像エリアの外周を構成する開口部を特定し、該移動体の失跡時刻からの経過時間及び該開口部の数が大きくなるほど前記存在確率を小さくなるよう算出することを特徴としている。
【０００７】
かかる構成により、本発明の画像処理部は、監視場所に設置された複数の撮像部から取得した撮像画像から背景差分等の従来技術を用いて変化領域を抽出する。そして、抽出された各変化領域の画像上の位置やサイズなどの画像特徴に基づいて、当該変化領域を移動体として撮像画像上で画像追跡する。そして、本発明の表示制御部は、撮像部の撮像エリア外に出て撮像画像内に表示されなくなった移動体（以下、「失跡移動体」という）について、撮像画像にて最後に検出された画像位置に相当する仮想空間における位置（失跡位置）を求める。そして、エリア情報を用いて失跡位置からの移動先（失跡先）における非撮像エリアを特定し、当該非撮像エリアの外周を構成する開口部を構造情報を用いて特定する。そして、特定した開口部の数が多いほど（及び失跡時刻からの経過時間が大きくなるほど）非撮像エリアに失跡移動体が存在する確率（存在確率）が低くなることを考慮して、経過時間及び該開口部の数が大きくなるほど存在確率が小さくなるよう算出する。このようにして算出した存在確率を利用して、例えば、失跡移動体を表すシンボルに対して存在確率に応じて色や透明度等を変化させ、監視場所の平面図（地図）上に重畳表示することにより、複数の撮像部間で移動体を追跡する際に、監視者は撮像エリア外に移動した移動体の所在位置を推測することができる。または、算出した存在確率と移動体の画像特徴（特徴量）とを用いて、ある撮像部における失跡移動体が他の撮像部における移動体と同一であるか否かを判定することにより、複数の撮像部間で当該移動体を精度良く追跡することができる。
【０００８】
本願請求項２に係る画像監視装置は、請求項１の画像監視装置において、
前記表示制御部は、前記失跡位置と前記構造情報及び前記エリア情報とを用いて前記移動体が前記失跡位置から前記開口部を経由して前記撮像エリアを通らずに移動可能な非撮像エリアにおける予測経路を算出する予測経路算出手段と、
前記移動体の失跡前の移動速度及び前記経過時間に基づいて確率分布を求め、該確率分布と前記構造情報とを用いて前記予測経路ごとに経路別エリア存在確率を算出し、該経路別エリア存在確率から前記存在確率を算出する存在確率算出手段と、を有することを特徴としている。
【０００９】
かかる構成により、本発明の予測経路算出手段は、失跡位置と構造情報とエリア情報とを用いて、失跡移動体が失跡位置から開口部を経由して移動可能な一又は複数の経路である予測経路を算出する。この際、当該失跡移動体が撮像エリアを通ったときは、当該撮像エリアに存在することが判明することを考慮して、撮像エリアを通らずに移動可能な非撮像エリアにおける経路に限定し、当該経路を予測経路として算出する。そして、本発明の存在確率算出手段は、失跡移動体の失跡前の移動速度及び失跡時刻からの経過時間に基づいて予測経路上における確率分布を求め、当該確率分布と構造情報とに基づいて各非撮像エリアにおける存在確率を算出する。このように、開口部の数や位置によって変化する予測経路を構造情報やエリア情報に基づいて求め、当該予測経路毎に確率分布を求めて存在確率を算出することにより、各エリアの広さや開口部の位置を考慮してより正確に存在確率を算出することができる。また、確率分布を失跡移動体の失跡前の移動速度を考慮して求めることにより、失跡移動体の失跡前の移動態様を反映したより正確な存在確率を算出することができる。
【００１０】
本願請求項３に係る画像監視装置は、請求項１又は請求項２の画像監視装置において、
前記画像処理部は、前記移動体の前記画像特徴と予め前記記憶部に記憶した特徴量情報との類似度を求め、該類似度と前記存在確率とを用いて該移動体が該特徴量情報に対応する移動体と同一であるか否かを判定する判定手段を有することを特徴としている。
【００１１】
かかる構成により、例えば、ある撮像部の撮像エリアの外に出た移動体（失跡移動体）についての画像特徴を予め記憶部に特徴量情報として記憶しておき、当該失跡移動体と他の撮像部にて検出／追跡している移動体とが同一であるか否かを、当該移動体の画像特徴と特徴量情報との類似度だけでなく、存在確率算出手段にて算出された存在確率も利用することによって判定する。または、認証したい移動体（例えば、特定人物）の画像特徴を予め記憶部に特徴量情報として記憶しておき、追跡している移動体が当該特定人物であるか否かを、当該移動体の画像特徴と予め記憶部に記憶された特徴量情報との類似度だけでなく、存在確率算出手段にて算出された存在確率も利用することによって判定する。これにより、現在追跡している移動体が失跡移動体であるか否かを精度良く判定することができるため、複数の撮像装置が設置された監視場所における移動体の追跡精度を向上させたり、移動体の認証精度を向上させたりすることができる。
【００１２】
本願請求項４に係る画像監視装置は、請求項１〜請求項３の何れか一項の画像監視装置において、
前記表示制御部は、前記記憶部に予め記憶された前記監視場所の地図上に前記移動体の存在位置を表す画像表示を前記存在確率に基づいて表示出力する表示制御手段を有することを特徴としている。
【００１３】
かかる構成により、本発明の表示制御手段は、追跡している移動体の仮想空間位置を用いて、監視場所の地図（平面図又は三次元地図）上に移動体の存在位置を表すシンボルを配置する。この際、当該移動体が撮像エリアの外（非撮像エリア）に存在する失跡移動体である場合、存在確率算出手段にて算出した存在確率に基づいて、例えば、当該シンボルを最も存在確率が高い非撮像エリアの所定位置に配置して、当該存在確率の大きさに応じて当該シンボルの色や透明度、形状等を変更して表示出力する。これにより、監視者は、撮像エリアの外に移動した移動体の現時点の存在位置とその存在確率を容易に視認することができる。
【００１４】
本願請求項５に係る画像監視装置は、請求項１〜請求項４の何れか一項の画像監視装置において、
前記構造情報における前記物体の構造は３次元形状データであり、
前記記憶部は、前記撮像部の設置位置、光軸及び画角を前記構造情報に対応付けた撮像条件情報を更に記憶し、
前記構造情報及び前記撮像条件情報を用いて前記撮像エリア及び前記非撮像エリアを求め前記エリア情報として前記記憶部に記憶するエリア設定部を更に有することを特徴としている。
【００１５】
かかる構成により、本発明のエリア設定部は、例えば、撮像部に対してパン・チルト・ズーム等のカメラ制御を行って撮像条件情報が変更された場合であっても、当該変更された撮像条件と３次元形状データを仮想空間で表現した構造情報（３次元モデル）とに基づいて、動的に撮像エリアと非撮像エリアとを算出できる。したがって、撮像部に対してカメラ制御等が行われた場合であっても、変更された最新の撮像条件に基づいて失跡移動体の予測経路や存在確率を算出することができる。
【００１６】
本願請求項６に係る画像監視装置は、請求項２〜請求項５の何れか一項の画像監視装置において、
前記確率分布は、前記移動速度及び前記経過時間から求められる平均値と該経過時間から求められる標準偏差とをパラメータとした正規分布によって表現されることを特徴としている。
【００１７】
かかる構成により、移動体の移動速度と時間経過とから、移動体の確率分布（確率密度関数）の平均値（ピーク値）を好適に求めることができる。また、移動体は必ずしも終端の非撮像エリアまで移動するとは限らないことを考慮して、時間経過に伴い正規分布の標準偏差を大きくすることにより、いずれの非撮像エリアに所在している可能性が高いのかを、より確からしい値として監視者に明示することができる。
【発明の効果】
【００１８】
本発明に係る画像監視装置によれば、撮像画像と建物構造（構造情報）とから失跡移動体の存在確率を算出し、当該存在確率を活用することにより、監視者は当該失跡移動体の撮像エリア外（非撮像エリア）における行動態様を想定でき、また、複数の監視カメラ間における追跡を精度よく行うことができる。
【図面の簡単な説明】
【００１９】
【図１】画像監視装置の全体構成を示すブロック構成図
【図２】構造情報を示すテーブル
【図３】エリア情報を示すテーブル
【図４】移動体情報を示すテーブル
【図５】撮像エリアの生成を説明する図
【図６】撮像エリアの生成を説明する図
【図７】非撮像エリアの生成を説明する図
【図８】画像監視装置による全体動作の処理手順を示すフローチャート
【図９】監視場所の構造モデルを表す図
【図１０】仮想空間位置の算出を説明する図
【図１１】予測経路算出処理の具体的処理手順を示すフローチャート
【図１２】予測経路算出処理を説明する図
【図１３】グラフ生成処理の具体的処理手順を示すフローチャート
【図１４】グラフを表す図
【図１５】確率分布を表す図
【図１６】表示制御処理を説明する図
【発明を実施するための形態】
【００２０】
以下、本発明に係る画像監視装置を図９に示す建物に適用した実施形態について、添付した図面を参照しながら詳細に説明する。図９は、画像監視装置の監視対象である建物（監視場所）の構造を三次元モデルとして表したものであり、後述する構造情報２１１ａに相当するものである。図９に表すように、本実施形態における監視場所は複数の部屋から構成され、各部屋は人物が移動できない壁面５１と人物が移動可能な扉等の開口部５２とによって区画されている。また、本実施形態における監視場所には、４台の撮像装置３ａ〜３ｄが設置され、各撮像装置３は床面５３上を移動する人物を撮像できるよう設置されている。
【００２１】
（画像監視装置の全体構成について）
図１に示すように、本実施形態の画像監視装置１は、監視端末２、撮像装置３によって構成される。なお、画像監視装置１における監視端末２は、監視場所から離れた警備室等に設置されていることとし、図９には図示されていない。
【００２２】
撮像装置３は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品等を含んで構成される所謂監視カメラであり、本発明における撮像部として機能する。撮像装置３は、室内の壁の上部又は天井部に設置され、監視場所を俯瞰して撮像するよう設置される。撮像装置３は、監視場所を所定時間おきに撮像して撮像画像を監視端末２に順次送信する。撮像画像が撮像される時間間隔は、例えば１／５秒である。本実施形態では、図９に示すように、監視場所内に４台の撮像装置３が設置されていることとする。
【００２３】
監視端末２は、記憶部２１、制御部２２、通信部２３、表示部２４及び入力部２５を含んで概略構成される。通信部２３は、ＬＡＮやＵＳＢ等の通信インタフェースであり、撮像装置３と通信を行う。本実施形態では、４台の撮像装置３から送信された撮像画像を通信部２３を介して受信する。入力部２５は、キーボードやマウス、タッチパネル、可搬記憶媒体の読み取り装置等の情報入力デバイスである。監視者等は、入力部２５を用いて、例えば、それぞれの撮像装置３の設置位置等の様々な撮像条件に関する情報を設定したり、画面表示したい撮像装置３を選択したりすることができる。
【００２４】
記憶部２１は、ＲＯＭ、ＲＡＭ、ＨＤＤ等の情報記憶装置である。記憶部２１は、各種プログラムや各種データを記憶し、制御部２２との間でこれらの情報を入出力する。各種データは、構造情報２１１、撮像条件情報２１２、エリア情報２１３、移動体情報２１４によって構成される。また、上記の他、各種データとして、制御部２２の処理に使用される各種情報（例えば、撮像装置３で取得するフレーム毎の撮像画像、抽出手段２２１で撮像画像から変化領域を抽出するために用いる基準画像や抽出閾値など）を記憶している。
【００２５】
構造情報２１１は、監視場所の建物構造を表す情報であり、図９に示すような監視場所に存在する現実世界の壁・床・扉、柱、什器等の構成物体の構造を仮想空間における３次元座標（Ｘ，Ｙ，Ｚ）で表した３次元形状データと、構成物体ごとに付与された属性情報とからなる情報である。構造情報２１１の一例として、図２に本実施形態の構造情報２１１を表す。図２に示すように、構造情報２１１は、監視場所の構成物体の識別子である物体識別子と、当該構成物体の構造（大きさ、形状、位置）を表す３次元座標と、当該構成物体の属性情報とを対応付けたテーブルとして表現される。属性情報には、構成物体の種別（壁／扉／カメラ等）や、開口部であるか否かや、移動可能であるか否かなどといった各種の属性情報が付与される。後述するように、本実施形態では、少なくとも構成物体が開口部であるか否かを示す属性が付与されている必要がある。構造情報２１１における３次元形状データは、監視場所の形状情報に基づいて３次元ＣＡＤで作成されたものでも良いし、３次元レーザースキャナー等により監視場所の３次元形状を取り込んだデータを利用しても良い。このようにして作成された構造情報２１１は、監視者等により入力部２５から設定登録されることにより記憶部２１に記憶される。なお、図９の符号５０は、構造情報２１１を３次元形状のモデルとして図で表現したものであり、以下では構造情報２１１の３次元モデルのことを「構造モデル」という。
【００２６】
撮像条件情報２１２は、現在時刻における撮像装置３の設置位置や光軸（姿勢）に関する設置条件情報と、焦点距離、画素数、画素サイズ、レンズ歪みに関する画角条件情報とからなり、撮像装置３毎に個別設定される。なお、撮像条件情報２１２は、仮想空間の座標系における値に変換された値で設定され、構造情報２１１と撮像条件情報２１２とは互いに同じ座標系の値として対応付けられている。ここで、設置位置に関する設置条件情報とは、監視場所内（実空間）を３次元直交座標系として表し、実空間の直交座標系で座標が既知である基準点の座標値に基準点からの相対距離、方向を測定して補正する等の公知の技術を使用して算出した仮想空間における座標値として表した情報である。また、光軸に関する設置条件情報とは、上記座標軸に対する撮像装置３の光軸の回転角度に関する情報であり、撮像装置３のいわゆるパン角度、チルト角度から求めることができる。撮像条件情報２１２は、初期設定時に監視者等によって入力部２５から設定登録されることにより記憶部２１に記憶される。
【００２７】
エリア情報２１３は、撮像装置３の撮像している範囲を表す撮像エリアと、監視場所における撮像エリア以外のエリアである非撮像エリアとの仮想空間における範囲を表す座標情報であって、仮想空間における座標系の値に変換されて記憶されたものである。なお、本実施形態では、後述するエリア設定部２２Ｂにて構造情報２１１と撮像条件情報２１２とからエリア情報２１３が算出され、記憶部２１に記憶される。本実施形態においてエリア情報２１３は、図３に示すように後述するエリア設定部２２Ｂにて算出された仮想空間における範囲を示す座標（床面をＺ＝０としたときの床面上の二次元座標）と、撮像エリア／非撮像エリアの別を示したエリア属性とが、各エリアの識別子であるエリア識別子に対応付けられたテーブルとして記憶部２１に記憶されていることとする。
【００２８】
移動体情報２１４は、後述する追跡手段２２２にて追跡している移動体（変化領域）に関する情報であり、後述する追跡手段２２２及び仮想空間位置算出手段２２４にて記憶部２１に登録される情報である。移動体情報２１４は、図４に示すように、追跡手段２２２による追跡処理にて追跡移動体ごとに付与されたユニークなラベルである追跡ラベルと、当該移動体の画像特徴である特徴量情報と、当該移動体の仮想空間における位置（座標）である仮想空間位置と、当該移動体が検出された時刻である検出時刻と、を対応付けたテーブルとして記憶部２１に記憶される。ここで、移動体の特徴量情報とは、移動体固有の画像特徴を定量的に表したベクトル量であり、色やテクスチャの特徴、形状の特徴、大きさや縦横比の特徴、動き（移動速度）の特徴、撮像画像内における位置の特徴など様々なものが有る。例えば、移動体の色の特徴として、下半身と上半身の最頻輝度値を用いることができ、この場合、特徴量は二次元のベクトルとなる。なお、移動体情報２１４は、後述するように追跡手段２２２における追跡処理や、判定手段２２３における判定処理にて利用される。
【００２９】
制御部２２は、ＣＰＵ等を備えたコンピュータで構成され、撮像装置３からデジタル化された画像の入力を受け、後述する図８に示す一連の処理として、エリア生成処理、撮像画像読出処理、抽出処理、追跡処理、予測経路算出処理、存在確率算出処理、判定処理、表示制御処理を実行するべく、抽出手段２２１、追跡手段２２２及び判定手段２２３から構成される画像処理部２２Ａと、エリア設定部２２Ｂと、仮想空間位置算出手段２２４、予測経路算出手段２２５、存在確率算出手段２２６及び表示制御手段２２７から構成される表示制御部２２Ｃとを含んで構成される。
【００３０】
画像処理部２２Ａの抽出手段２２１は、撮像装置３で取得された撮像画像の中から輝度変化のある領域を変化領域として抽出する抽出処理を行っている。本実施形態では、撮像装置３ごとに移動体の存在しない過去の撮像画像を基準画像として予め記憶部２１に保存しておき、最新に取得した撮像画像と基準画像との輝度値の差分値が記憶部２１に記憶された所定の抽出閾値以上である領域を変化領域として抽出する。この際、基準画像として監視場所の背景の撮像画像や、過去に取得した撮像画像などを適宜選択して採用することができる。また、抽出手段２２１は、抽出処理として、抽出した変化領域にラベル付けする処理を行う。この際、変化領域のある抽出画素に注目したときに、注目抽出画素に隣接している抽出画素を一塊の抽出画素領域とみなし、各一塊の抽出画素領域に対して、全ての監視画像内でユニークなラベルを割り当てる。以下、ラベルが割り当てられた一塊の抽出画素領域のことをラベル領域と呼ぶ。
【００３１】
追跡手段２２２は、抽出手段２２１が抽出した変化領域を時間的に画像追跡するもので、抽出手段２２１によって求まったラベル領域に対し、前回取得した同じ撮像装置３の撮像画像の追跡ラベル領域（追跡ラベルが付与されたラベル領域）との対応付けを行う追跡処理を行っている。追跡処理をより詳細に説明すると、まず、前回取得した撮像画像の追跡ラベル領域の特徴量と、現在処理中の撮像画像のラベル領域の特徴量とを比較して、同一の移動体によるものか否かを判別する。そして、同一の追跡物体によるものと判定された場合には、前回取得した画像の追跡ラベル領域と同じ追跡ラベルを付与し直す処理を行う。前回存在した追跡ラベル領域で、現在処理中の画像に出現したラベル領域のいずれとも対応付けられない追跡ラベル領域については、対応する移動体が撮像エリアの外に出たとみなされ、当該移動体が失跡移動体として認識される。なお、追跡処理に利用した移動体の特徴量情報は、後の撮像画像フレームにおける追跡処理や、後述する判定手段２２３における判定処理にて利用できるよう、追跡ラベルと検出時刻に対応付けた上で記憶部２１に移動体情報２１４として記憶しておくこととする。
【００３２】
エリア設定部２２Ｂは、構造情報２１１と撮像条件情報２１２とを用いてエリア情報２１３を算出して記憶部２１に設定するエリア生成処理を行っている。以下、エリア生成処理の詳細について図５〜図７を用いて説明する。
【００３３】
図５は、撮像装置３の撮像条件情報２１２と構造情報２１１とに基づいてエリア情報２１３における撮像エリアを算出する一例を表したものである。図５において、符号５１ａ、５３ａは、本処理を説明するために用いた構造モデル５０ａにおける一部分を表したものであり、そのうち符号５１ａが構造モデル５０ａの壁面を表し、５３ａが構造モデル５０ａの床面を表したものである。エリア設定部２２Ｂは、撮像エリアを算出するにあたり、まず、記憶部２１の撮像条件情報２１２から撮像装置３の設置位置（Ｘ、Ｙ、Ｚ）を読み出して、その位置に対応する構造情報２１１（仮想空間）上における光学中心Ｏを求める。また、エリア設定部２２Ｂは、当該光学中心Ｏと、記憶部２１の撮像条件情報２１２から読み出した光軸（姿勢）に関する設置条件情報とから、仮想空間における撮像装置３の光軸を求める。また、エリア設定部２２Ｂは、記憶部１１から焦点距離ｆとＣＣＤの画素の実サイズ、画像の縦横のピクセル数とレンズの歪みに関する諸元等の撮像条件情報２１２を読み出し、撮像装置３の構造情報２１１上において光軸と垂直な投影面ａｂｃｄを求める。そして、光学中心Ｏから投影面ａｂｃｄの四つの頂点を通る四角錐Ｏａ’ｂ’ｃ’ｄ’を生成する。なお、四角錐の高さは、少なくとも四角錐の底面における四つの頂点（ａ’，ｂ’，ｃ’，ｄ’）が構造モデル５０ａを貫く程度の任意の高さとする。そして、エリア設定部２２Ｂは、この四角錐と構造モデル５０ａの床面５３ａとの干渉面ＡＢＣＤを公知の幾何計算により求め、当該干渉面ＡＢＣＤからなる領域が撮像エリア３０ａとして算出する。
【００３４】
このように、監視範囲モデル２１３の形状は、撮像条件情報２１２の値によって変化する。例えば、撮像装置３がズーム操作を行った場合、焦点距離ｆが大きくなることに伴って、四角錐の底面ａ’ｂ’ｃ’ｄ’の辺の長さが小さくなり、干渉面の大きさも小さくなるように変化する。また、撮像装置３に対して、パン・チルト操作を行い、図６のように床面５３ａと壁面５１ａとが監視範囲に含まれるよう撮像装置３の光軸を移動させた場合における撮像エリアは、ＡＢＥＦからなる領域３０ｂとして算出される。
【００３５】
次に、エリア設定部２２Ｂは、算出した撮像エリア３０と構造情報２１１とを用いて、非撮像エリアを算出する。本実施形態では、撮像エリア３０以外の監視場所におけるエリアであって、壁や扉等の物体によって人物の移動が制限されるエリアを非撮像エリアとして算出する。図７は、非撮像エリアを生成する処理を説明する図である。図７ａは、撮像装置３が設置されない場合における構造モデル５０ｂと非撮像エリア３１を表している図である。すなわち、同図において壁や扉によって人の移動が制限されるエリアである非撮像エリア３１は、符号３１ａと符号３１ｂの２つのエリアとして求めることができる。図７ｂは、撮像装置３が設置されている場合における構造モデル５０ｂ、撮像エリア３０ｃ及び非撮像エリア３１を表している図である。すなわち、同図に示すように撮像エリア３０ｃが算出されることによって、非撮像エリア３１は、符号３１ｃ〜符号３１ｅの３つのエリアとして求めることができる。このように、一般的に撮像エリア３０が求まると、構造情報２１１を用いて、撮像撮像エリア３０以外の非撮像エリア３１を一意に算出することができる。
【００３６】
仮想空間位置算出手段２２４は、追跡手段２２２にて追跡している全ての移動体について、その撮像画像上における画像位置から仮想空間における位置である仮想空間位置を求め、当該移動体の追跡ラベルと対応付けて記憶部２１の移動体情報２１４に記憶する仮想空間位置算出処理を行う。以下、仮想空間位置算出処理の詳細について図１０を用いて説明する。
【００３７】
図１０は、監視場所の上方から地面方向を撮像している撮像装置３の撮像画像に基づいてラベル領域の仮想空間位置を算出する一例を表したものである。仮想空間位置算出処理では、前述のエリア算出処理と同様に、撮像条件情報２１２に基づいて撮像装置３の構造モデル５０ｃ上における光軸と当該光軸に垂直な投影面ａｂｃｄを求める。図１０において、投影面ａｂｃｄに投影された撮像画像上における符号４０の画像領域は、抽出手段２２１にて抽出され、追跡手段２２２にて追跡している移動体のラベル領域であるとする。次に、ラベル領域４０の下端位置４０ａと光学中心Ｏとを結ぶ直線を求め、当該直線の延長線上における構造モデル５０ｃとの交点４１ａを求める。なお、本実施形態では、ラベル領域４０の下端に位置する画素が複数あるとき、当該ラベル領域４０の中央位置の画素を下端位置４０ａとしているが、これに限らず、予め定めた右端（又は左端）の画素を下端位置４０ａとしてもよい。交点４１ａは、ラベル領域４０の撮像画像上の位置４０ａに対応する構造モデル５０ｃ（仮想空間）上における位置に相当するため、当該位置の仮想空間における座標を仮想空間位置として算出する。
【００３８】
予測経路算出手段２２５は、追跡している移動体が撮像エリア外に移動して失跡したときに失跡直前における仮想空間位置（失跡位置）とエリア情報２１３及び構造情報２１１とを用いて、当該失跡移動体が失跡位置から撮像エリア３０を通らずに移動可能な非撮像エリア３１における予測経路を算出する予測経路算出処理を行う。なお、予測経路算出処理の詳細については後述することとする。
【００３９】
存在確率算出手段２２６は、失跡移動体の失跡前の移動速度及び失跡時刻からの経過時間と、予測経路算出手段２２５にて求めた予測経路などを用いて非撮像エリア３１ごとに失跡移動体の存在確率を算出する存在確率算出処理を行う。なお、存在確率算出処理の詳細については後述することとする。
【００４０】
判定手段２２３は、ある撮像装置３の撮像画像に出現した移動体が過去に追跡手段２２２にて追跡した失跡移動体のいずれかと同一であるか否かを判定する判定処理を行う。判定処理をより具体的に説明すると、追跡手段２２２にて追跡した失跡移動体の失跡前における特徴量情報を記憶部２１の移動体情報２１４から読み出し、当該特徴量情報と現在検出している移動体の画像特徴（特徴量）とを比較して両者の類似度を計算する。前述のように移動体の特徴量は判定に利用する画像特徴の数に応じたｎ次元のベクトル量として表現される。したがって、失跡移動体の特徴量情報と現在検出している移動体の特徴量とのユークリッド距離を求めることにより、類似度を算出することができる。このようにして求めた類似度が予め記憶部２１に記憶された所定の類似判定閾値以下の場合、両者が十分に近い特徴量であるとして、両者を同一の移動体と判定する。なお、本実施形態では、ユークリッド距離を用いて類似度を算出しているが、ユークリッド距離以外にも例えばマハラノビス距離を用いてもよい。
【００４１】
判定処理では、存在確率算出手段２２６にて算出した失跡移動体の存在確率を活用することにより、失跡移動体と現在検出している移動体との同一性を判定する。具体的には、現在検出している移動体を撮像している撮像装置３の撮像エリア３０に隣接している非撮像エリア３１（以下、これを「隣接非撮像エリア」という）の存在確率を参照し、当該存在確率に応じて類似判定閾値の大きさを変更する処理を行っている。すなわち、隣接非撮像エリアの存在確率が小さい場合、当該隣接非撮像エリアには失跡移動体が存在する可能性が低く、新たに検出した移動体が失跡移動体である可能性が低いことを意味するため、類似判定閾値を小さめに変更することにより、誤判定が起こりにくいように通常よりもより厳格に類似判定を行う。一方で、隣接非撮像エリアの存在確率が大きい場合、当該隣接非撮像エリアには失跡移動体が存在する可能性が高く、新たに検出した移動体が失跡移動体である可能性が高いことを意味するため、類似判定閾値を大きめに変更することにより、失判定が起こりにくいように類似判定を行う。このように、本実施形態では、失跡移動体と現在追跡している移動体とが同一であるか否かを、当該移動体の画像特徴と記憶部２１に記憶した失跡移動体の特徴量情報との類似度だけでなく、存在確率算出手段２２６にて算出された存在確率も利用して判定することによって、高い精度で判定することができるため、複数の撮像装置が設置された監視場所における移動体の追跡精度を向上させることができる。なお、判定処理では、失跡移動体と撮像エリアに出現した移動体とが同一であると判定した場合、当該失跡移動体の非撮像エリアにおける存在確率を“０”に初期化する処理を行う。したがって、この場合、（同一であると判定された撮像エリアとは異なる）他の撮像エリアの隣接非撮像エリアにおける当該失跡移動体の存在確率も必然的に０となるため、当該他の撮像エリアに新たに移動体が出現したとしても、当該移動体の特徴量と当該失跡移動体の特徴量との類似判定閾値が最小となって、これらが同一であると最も判定されにくくなることを意味する。
【００４２】
表示制御手段２２７は、移動体の仮想空間位置に対応する監視場所の地図上の位置に、当該移動体を表すシンボルを重畳表示させると共に、当該移動体の移動軌跡を表示させるための表示出力をする表示制御処理を行う。この際、失跡移動体のシンボルについては、撮像エリア内に存在する移動体とは異なる色で表示すると共に、存在確率算出手段２２６にて算出した存在確率に基づいて、透明度を変化させたシンボルを最も存在確率の最も大きい非撮像エリアの重心位置に配置する。これにより、監視者は撮像エリア外に移動した移動体の所在位置を好適に推測することができる。なお、本実施形態では、地図は管理者等により予め記憶部２１に設定登録されているものとするが、構造情報２１１を用いて地図を動的に生成しても良い。表示制御処理の詳細については後述することとする。
【００４３】
表示部２４は、ディスプレイ等の情報表示デバイスであり、撮像装置３で撮像した監視場所の撮像画像や、表示制御手段２２７にて出力された（移動物体のシンボルが重畳表示された）地図画像を表示する。
【００４４】
このように、本実施形態の画像監視装置は、失跡移動体の存在確率を構造情報２１１や撮像条件情報２１２、追跡している移動体の画像特徴（移動速度）などに基づいて算出し、当該存在確率に応じた表示出力によって監視者に失跡移動体の現在位置を明示することにより、たとえ監視場所の全てのエリアを撮像装置３にてカバーできなかったとしても、監視者は撮像エリアの外に出た移動体（失跡移動体）の大よその位置関係を予測して把握することができる。また、当該存在確率を用いて複数の撮像装置３間における移動体の同一性判定に利用することにより、高い精度で複数の撮像装置３間における追跡を行うことができる。
【００４５】
（監視端末２の制御部２２が実行する処理について）
以下、本実施形態の画像監視装置１に係る監視端末２の制御部２２が実行する処理の流れの一例について、図８のフローチャートを参照しながら詳細に説明する。
【００４６】
動作に先立ち、監視者等により監視端末２の入力部２５を用いて撮像条件情報２１２の設定、及び構造情報２１１の登録等の各種初期設定が行なわれる（ＳＴ１）。本実施例では、前述のように監視場所である建物内に４台の撮像装置３が設置されている場合を想定しているため、撮像装置３ごとに撮像条件情報２１２が初期設定にて登録される。なお、初期設定時に登録した撮像条件情報２１２は、撮像装置３に対してパン・チルト・ズーム等のカメラ制御が行われることによって変更されることがある。そのため、本実施形態では、カメラ制御が行われたとき、撮像装置３から最新の撮像条件情報２１２を通信部２３を介して受信し、記憶部２１を更新する処理を行っている。また、図９の構造モデル５０に関する構造情報２１１が、初期設定にて登録されたとして以下の処理を説明する。
【００４７】
次に、制御部２２のエリア設定部２２Ｂにより、構造情報２１１と撮像条件情報２１２とを用いてエリア情報２１３を算出するエリア生成処理を実行する（ＳＴ２）。なお、エリア生成処理の詳細については、前述したためここでは説明を省略する。このように、記憶部２１に記憶された最新の撮像条件情報２１２を用いてエリア情報２１３を更新することにより、撮像装置３に対してカメラ制御が行われた場合であっても、変更された最新の撮像条件情報２１２に基づいて失跡移動体の予測経路及び存在確率を算出することができる。
【００４８】
次に、制御部２２は、撮像装置３から受信して記憶部２１に記憶された撮像画像を、撮像装置３ごとに読み出す撮像画像読出処理を実行する（ＳＴ３）。撮像画像読出処理では、最新（現在時刻に最も近い）の撮像画像を撮像装置３ごとに読み出す。
【００４９】
次に、制御部２２の抽出手段２２１により抽出処理を実行する（ＳＴ４）。抽出処理では、撮像画像読出処理で取得された撮像装置３ごとの撮像画像から、それぞれ変化領域を抽出し、抽出された各変化領域に対してラベル付けを実施する。なお、抽出処理の詳細については、前述したためここでは説明を省略する。
【００５０】
次に、制御部２２の追跡手段２２２により追跡処理を実行する（ＳＴ５）。なお、追跡処理の詳細については、前述したためここでは説明を省略する。
【００５１】
次に、仮想空間位置算出手段２２４により、追跡手段２２２にて追跡している各ラベル領域の仮想空間位置を求めるための仮想空間位置算出処理を実行する（ＳＴ６）。なお、仮想空間位置算出処理の詳細については、前述したためここでは説明を省略する。
【００５２】
次に、予測経路算出手段２２５により、失跡移動体がその失跡位置から撮像エリア３０を通らずに移動可能な非撮像エリア３１における予測経路を算出する予測経路算出処理を実行する（ＳＴ６）。以下、予測経路算出処理の詳細について図１１のフローチャートを参照しながら説明する。なお、図１１のループ１は、ＳＴ３０〜ＳＴ３３の各処理を、追跡処理にて認識した失跡移動体の数分だけ実行することを意味する。なお、本処理の説明において、選択移動体とは、ループ１にて処理対象となっている失跡移動体をいう。
【００５３】
予測経路算出処理では、まず、選択移動体の初期移動先エリアが撮像エリアか否かを判定する（ＳＴ３０）。すなわち、失跡移動体である選択移動体の失跡位置は、移動体情報２１４における当該選択移動体の最後に検出された仮想空間位置に相当するため、当該失跡位置に隣接するエリアを初期移動先エリアとみなし、当該初期移動先エリアが撮像エリアであるか又は非撮像エリアであるかについて、エリア情報２１３におけるエリア属性を参照して判定する。ＳＴ３０にて、選択移動体の初期移動先エリアが撮像エリアであると判定したとき（ＳＴ３０−Ｙｅｓ）、ループ１にてまだ処理対象となっていない他の失跡移動体を選択移動体に変更して、ＳＴ３０からの処理を行う。
【００５４】
ＳＴ３０にて、選択移動体の初期移動先エリアが撮像エリアではないと判定したとき（ＳＴ３０−Ｎｏ）、当該選択移動体の初期移動先エリアを移動元エリアとして設定する（ＳＴ３１）。図１２は、予測経路算出処理を説明するための図であり、図９の構造モデル５０を簡易的に２次元で表した図面上に撮像エリア３０及び非撮像エリア３１を重畳表示したものである。同図において、斜線で塗られたＢ、Ｄ、Ｊ、Ｏのエリアは撮像エリア３０であり、その他のＡ、Ｃ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｋ、Ｌ、Ｍ、Ｎのエリアは非撮像エリア３１である。また、符号３３で示す線・矢印は、失跡移動体の失跡前の撮像エリアであるエリアＤにおける移動軌跡を表したものであり、符号３４は当該失跡移動体の失跡位置を表したものである。同図の例では、失跡移動体の初期移動先エリアは非撮像エリアであるエリアＧであるため、ＳＴ３０にて撮像エリアではないと判定され、ＳＴ３１にて当該エリアＧが移動元エリアとして設定される。
【００５５】
ＳＴ３１にて、移動元エリアが設定されると、予測経路算出手段２２５はグラフ生成処理を行う（ＳＴ３２）。グラフ生成処理は、移動元エリアを表すノードに対して、当該移動元エリアから失跡移動体が移動可能な非撮像エリアを表すノードを辺で連結したデータ構造であるグラフを生成する処理である。以下、グラフ生成処理の詳細について図１３のフローチャートを参照しながら説明する。
【００５６】
グラフ生成処理では、まず、記憶部２１の構造情報２１１を参照し、ＳＴ３１にて設定された移動元エリア（すなわち、失跡先の非撮像エリア）の外周を構成する「開口部」属性を有する構成物体を特定する（ＳＴ４０）。図１２及び図９の例では、失跡移動体の移動元エリアであるエリアＧの外周を構成する開口部属性を有する物体はエリアＨに通じる開口部５２ｆ（扉）のみであるため、当該開口部５２ｆのみが特定される。図１３のループ２は、ＳＴ４１〜ＳＴ４３の各処理を、ＳＴ４０にて特定された開口部の数分だけ実行することを意味する。なお、本処理の説明において、選択開口部とは、ループ２にて処理対象となっている開口部をいう。
【００５７】
次に、選択開口部を経由した先のエリアが撮像エリアか否かを判定する（ＳＴ４１）。ＳＴ４１にて、選択開口部を経由した先のエリアが撮像エリアと判定したとき（ＳＴ４１−Ｙｅｓ）、ループ２にてまだ処理対象となっていない他の移動先の開口部を選択開口部に変更して、ＳＴ４２からの処理を行う。一方、ＳＴ４１にて、選択開口部を経由した先のエリアが撮像エリアではないと判定したとき（ＳＴ４１−Ｎｏ）、当該選択開口部を経由した先のエリアのノードを移動元ノードに連結してグラフを更新し、更新したグラフを記憶部２１に記憶する処理を行う（ＳＴ４２）。図１２の例では、選択開口部を経由した先のエリアであるエリアＨは非撮像エリアであるため、エリアＧを示す移動元ノードにエリアＨを示すノードを連結してグラフを更新する。
【００５８】
次に、選択開口部を経由した先のエリアを移動元エリアとして設定し直して、ＳＴ４０からのグラフ生成処理を再帰的に処理する（ＳＴ４３）。すなわち、図１２の例では、ＳＴ４３にてエリアＨを移動元エリアとして設定する。そして、再帰的に処理したＳＴ４０にて、移動元エリア（エリアＨ）に隣接する開口部５２ｈ、５２ｉ、５２ｊが特定される。そして、これらの開口部５２ｈ、５２ｉ、５２ｊを経由した先のエリアＬ、Ｍ、Ｎは、非撮像エリアであるため、再帰的に処理したＳＴ４２にて、これらのエリアを示すノードを移動元エリア（エリアＨ）のノードに連結してグラフが更新される。このようにして生成した図１２の例におけるグラフを図１４に表す。図１４は、図１２の例における失跡移動体が、失跡位置３４から撮像エリア３０を通らずに移動可能な非撮像エリア３１の移動ルートを表している。すなわち、図１２の例における失跡移動体は、Ｇ→Ｈ→Ｌ、Ｇ→Ｈ→Ｍ、Ｇ→Ｈ→Ｎのそれぞれのエリアを移動するルートで移動可能であることが分かる。このように、失跡移動体が撮像エリアを通ったときは、当該撮像エリアに必ず存在することが判明することを考慮して、撮像エリアを通らずに移動可能な非撮像エリアにおける経路のみに限定して移動ルートを求めることにより、組み合わせ次第により無数に存在する移動ルートを制限することができ、計算量を削減することができる。
【００５９】
ＳＴ３２にてグラフ生成処理を終えると、予測経路算出手段２２５は、図１１の予測経路算出処理のＳＴ３３に処理を進める。ＳＴ３３では、グラフ生成処理にて生成したグラフと、構造情報２１１とを用いて、予測経路を算出する処理を行う。ここで予測経路とは、グラフで示される非撮像エリア間の移動において、失跡移動体が具体的にどの位置を通って移動するのかを予測した経路を意味する。本実施形態では、失跡移動体は失跡位置とグラフで示される移動先エリアの開口部とを最短経路で移動すると仮定し、また、グラフの終端ノードに相当するエリアについては当該エリアの重心位置に向かって移動すると仮定して予測経路を算出する。すなわち、図１２の例では、図１４のグラフにおけるＧ→Ｈ→Ｌの移動ルートにおいては、失跡移動体は、失跡位置３４→開口部５２ｆ→開口部５２ｈ→エリア重心位置３６ａの予測経路で移動することとする。同じように、グラフにおけるＧ→Ｈ→Ｍの移動ルートにおいては失跡位置３４→開口部５２ｆ→開口部５２ｉ→エリア重心位置３６ｂの予測経路で移動し、グラフにおけるＧ→Ｈ→Ｎの移動ルートにおいては失跡位置３４→開口部５２ｆ→開口部５２ｊ→エリア重心位置３６ｃの予測経路で移動することとする。なお、開口部５２の位置は、構造情報２１１を参照して「開口部」属性を有する構成物体の重心位置から算出することとする。
【００６０】
ＳＴ３３にて予測経路を算出すると、予測経路算出手段２２５は図８のＳＴ７における予測経路算出処理を終え、同図のＳＴ８に処理を進める。ＳＴ８では、存在確率算出手段２２６により存在確率算出処理が実行される。以下、存在確率算出処理の詳細について説明する。
【００６１】
存在確率算出処理では、まず、失跡移動体の失跡前の移動速度及び失跡時刻からの経過時間を用いて各予測経路上における確率分布を求める。本実施形態では、当該確率分布を、失跡移動体の失跡前の移動速度ｖ、失跡時刻からの経過時間Ｔとしたとき、平均値μ＝ｖＴとして、Ｐ＝∫ｐ（ｘ）ｄｘ＝１／√（２πσ２）×∫ｅｘｐ（−（ｘ−μ）２／（２σ２））ｄｘ・・・（１）で得られる正規分布であるとする。ここで、失跡移動体の失跡前の移動速度ｖは記憶部２１の移動体情報２１４における特徴量情報から読み出した値であり、撮像画像のフレーム間における移動距離から算出するといった従来技術を用いて算出した値である。また、経過時間Ｔは、記憶部２１の移動体情報２１４における検出時刻と現在時刻との差から算出した値であるとする。本実施形態では、μの最大値を各予測経路の経路長とし、μが当該経路長に達した時点でμはそれ以上、大きくならないこととする。また、標準偏差σは、経過時間Ｔが大きくなるほど大きくなる関数σ（Ｔ）によって算出されるパラメータであることとする。図１５は、図１１のＧ→Ｈ→Ｌの移動ルートの予測経路において、式（１）で得られた確率分布を表したものである。同図において、符号３７ａ、３７ｂは、それぞれ経過時間Ｔ１、Ｔ２（Ｔ１＜Ｔ２）のときにおける確率分布を表している。なお、本実施形態では、上記のように標準偏差σを経過時間Ｔの関数によって求めているが、管理者等によって実験的に予め定めた固定値を用いてもよい。
【００６２】
次に、予測経路ごとに各非撮像エリア（エリアＡ、Ｃ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｋ、Ｌ、Ｍ、Ｎ）における存在確率（経路別エリア存在確率）を算出する。この際、式（１）の確率分布に対して、予測経路上の各非撮像エリアにおける進入位置及び退出位置から求めた積分区間を用いて、経路別エリア存在確率を算出する。ここで、エリアＧにおける侵入位置は失跡位置３４に相当し、退出位置は開口部５２ｆの位置に相当する。そのため、失跡位置３４から開口部５２ｆの位置間の距離をＸ１としたとき、式（１）における積分区間は［０，Ｘ１］として、経路別エリア存在確率Ｐｇ１を算出する。また、エリアＨにおける侵入位置は開口部５２ｆの位置に相当し、退出位置は開口部５２ｈの位置に相当する。そのため、開口部５２ｆの位置から開口部５２ｈの位置間の距離をＸ２としたとき、式（１）における積分区間は［Ｘ１，Ｘ１＋Ｘ２］として、経路別エリア存在確率Ｐｈ１を算出する。また、エリアＬにおける侵入位置は開口部５２ｈの位置に相当し、退出位置はエリア重心位置３６ａに相当する。そのため、開口部５２ｈの位置からエリア重心位置３６ａ間の距離をＸ３としたとき、式（１）における積分区間は［Ｘ１＋Ｘ２，Ｘ１＋Ｘ２＋Ｘ３］として、経路別エリア存在確率Ｐｌ１を算出する。このように、式（１）と、上記の積分区間を用いてＧ→Ｈ→Ｌの移動ルートの予測経路における経路別エリア存在確率Ｐｇ１、Ｐｈ１、Ｐｌ１を算出することができる。同じようにして、Ｇ→Ｈ→Ｍの移動ルートの予測経路における経路別エリア存在確率Ｐｇ２、Ｐｈ２、Ｐｌ２、及び、Ｇ→Ｈ→Ｎの移動ルートの予測経路における経路別エリア存在確率Ｐｇ３、Ｐｈ３、Ｐｌ３を算出する。
【００６３】
次に、予測経路ごとに求めた経路別エリア存在確率を正規化して非撮像エリアごとに失跡移動体の存在確率を算出する。この際、全ての非撮像エリアにおける存在確率の和が１となるように正規化する。具体的には、算出した経路別エリア存在確率の総和Ｐ’＝Ｐｇ１＋Ｐｇ２＋Ｐｇ３＋Ｐｈ１＋Ｐｈ２＋Ｐｈ３＋Ｐｌ１＋Ｐｌ２＋Ｐｌ３としたとき、非撮像エリアＧの存在確率Ｐｇは、Ｐｇ＝（Ｐｇ１＋Ｐｇ２＋Ｐｇ３）／Ｐ’によって算出する。同じように、非撮像エリアＨの存在確率Ｐｈ＝（Ｐｈ１＋Ｐｈ２＋Ｐｈ３）／Ｐ’、非撮像エリアＬの存在確率Ｐｌ＝（Ｐｌ１＋Ｐｌ２＋Ｐｌ３）／Ｐ’によって算出する。
【００６４】
次に、画像処理部２２Ａの判定手段２２３により判定処理を実行する（ＳＴ９）。判定処理では、ある撮像装置３の撮像画像に新規に出現した移動体が、過去に追跡手段２２２にて追跡した失跡移動体のいずれかと同一であるか否かを判定し、同一であると判定したとき、新規に出現した移動体の追跡ラベルを当該失跡移動体の追跡ラベルに設定／変更することにより、同一の移動体として関連付ける処理を実行する。なお、判定処理の詳細については、前述したためここでは説明を省略する。
【００６５】
次に、表示制御部２２Ｃの表示制御手段２２７により表示制御処理を実行する（ＳＴ１０）。表示制御処理では、表示制御手段２２７は予め記憶部２１に記憶された監視場所の地図を読出し、移動体の現在の仮想空間位置に対応する当該地図上の位置に、移動体を表すシンボルを配置する。この際、失跡移動体については、存在確率に基づいて表示を変更したシンボルを配置する。以下、図１６を用いて表示制御処理の具体例について説明する。
【００６６】
図１６は、表示制御手段２２７によって表示部２４に表示出力された移動体の現在位置を表した地図画面の一例を表したものである。同図において、符号Ｓ１〜Ｓ６は追跡手段２２２にて追跡している移動体の時刻ｔ１〜ｔ６におけるシンボルを表したものである。Ｓ１、Ｓ２は、ＳＴ６の仮想空間位置算出処理にて仮想空間位置が算出されているため、当該仮想空間位置に対応する地図上の位置に当該移動体のシンボルが配置されている。時刻ｔ２（位置Ｓ２）にて当該移動体を失跡してしまったため、このような失跡後においては各予測経路上における存在確率の最も大きい非撮像エリアの重心位置にシンボルを配置する。図１６の例では、時刻ｔ２後のｔ３においては、存在確率が最も大きい非撮像エリアであるエリアＧの重心位置に当該失跡移動体に対応するシンボルＳ３を配置し、移動軌跡３３で繋いで表示している。この際、本実施形態では、当該シンボルＳ３を存在確率に応じた不透明度によってシンボル表示を変更している。すなわち、存在確率が小さくなるほど、シンボルが透明に表示されることとなる。このように、存在確率に応じて失跡移動体の現在位置を表示することにより、たとえ監視場所の全てのエリアを撮像装置３にて監視できなかったとしても、監視者は撮像エリアの外に出た目標移動体の大よその位置関係を予測して把握することができる。なお、本実施形態では、存在確率が５０％以下になったとき、シンボルを表示しないようにしている。図１６のシンボルＳ５は、時刻ｔ５において非撮像エリアＧの存在確率が最大だったとしても、当該存在確率が５０％以下であったため、シンボル表示されていないことを表している（説明のために点線で便宜的に表示しているが実際には表示されないものとする）。このように、所定の存在確率以下の失跡移動体をシンボル表示しないことにより、監視者に対して当該失跡移動体の位置をミスリード（誤認識）させないようにしている。
【００６７】
なお、図１６に表すように、時刻ｔ６に撮像エリアＯにて検出された移動体が、ＳＴ９の判定処理にてＳ１、Ｓ２に対応する移動体と同一の移動体であると判定されたとき、当該移動体を表すシンボルＳ６と失跡移動体を表すシンボルＳ５とを移動軌跡にて連結する。これにより、監視者はＳ１〜Ｓ６のシンボルに係る移動体が同一であることを認識することができ、撮像装置３の撮像エリア外における移動体の行動態様を推測することができる。
【００６８】
ところで、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施形態で実施されてもよいものである。また、実施形態に記載した効果は、これに限定されるものではない。
【００６９】
上記実施形態では、表示制御部２２Ｃの予測経路算出手段２２５にて特定した開口部の位置や数に基づいて予測経路を算出し、存在確率算出手段２２６にて移動体の移動速度や経過時間から求めた確率分布に基づいて予測経路ごとに経路別エリア存在確率を求め、各非撮像エリアにおける存在確率を算出している。すなわち、上記実施形態は、開口部数が多くなるほど予測経路の候補数が増大すること、開口部を経由したエリア間の接続関係に応じて予測経路が複数存在すること、及び、開口部の物理的な位置関係によって予測経路上における失跡移動体の移動距離が異なることを考慮したものである。しかし、これに限らず、開口部の数が多くなるほど予測経路の候補数が増大することのみを考慮し、開口部の数と経過時間から存在確率を簡易的に算出する他の実施形態を利用してもよい。すなわち、当該他の実施形態では、失跡移動体の移動先（失跡先）である非撮像エリアの開口部の数が多いほど、失跡時刻からの時間経過に伴って当該非撮像エリアにおける存在確率が小さくなるように算出する方法を用いる。具体的には、当該他の実施形態における予測経路算出手段２２５は、上記実施形態のように予測経路算出処理にて予測経路を算出せずに、失跡移動体の移動先（失跡先）である非撮像エリアの外周を構成する開口部をのみを特定する。そして、当該他の実施形態における存在確率算出手段２２６は、特定した開口部の数をＮ、経過時間をＴとしたとき、移動先の非撮像エリアにおける存在確率ＰをＰ＝ｅｘｐ（−αＮＴ）・・・（２）によって算出する。ここで、αは実験的に予め定めた固定パラメータであり、管理者等によって設定される値であることとする。式（２）では、例えば、開口部の数が“０”であるような袋小路の非撮像エリアに移動体が移動した場合は、存在確率は経過時間に関わらず常に“１（必ず存在する）”と算出される。その一方で、開口部の数が増加するほど、及び、経過時間が経過するほど存在確率が小さくなるよう算出される。そして、当該他の実施形態における表示制御手段２２７は、失跡移動体を示すシンボルを地図上の当該非撮像エリアの重心位置に配置し、当該シンボルの不透明度を算出された存在確率に応じて変更した地図画像を表示部２４に出力する。
【００７０】
上記実施形態では、記憶部２１に記憶する構造情報２１１として３次元形状データの座標情報を記憶しているが、これに限らず、簡易的に２次元形状データの座標情報を利用してもよい。この場合、エリア情報２１３（撮像エリアと非撮像エリア）は、エリア設定部２２Ｂにおけるエリア算出処理にて算出されることはなく、予め管理者等によって撮像装置３のキャリブレーション設定がなされた上で、記憶部２１に設定登録されることとなる。すなわち、当該他の実施形態においては、記憶部２１の撮像条件情報２１２は記憶部２１に記憶されずに省略され、エリア設定部２２Ｂも省略された構成となる。また、当該他の実施形態における仮想空間位置算出処理では、予めキャリブレーションされた撮像エリアに関する情報に基づいて、撮像画像上における画像位置から仮想空間位置（失跡位置も含む）を算出する構成となる。
【００７１】
上記実施形態では、判定手段２２３にて、新たに出現した移動体と過去に追跡した失跡移動体とを両者の画像特徴の類似度と存在確率とに基づいて両者の同一性を判定する判定処理を行っている。しかし、これに限らず、新たに出現した移動体の特徴量と、予め管理者等によって登録された特定人物の登録特徴量との類似度を求め、当該類似度と存在確率とから当該移動体が当該特定人物であるか否かを判定する処理（いわゆる認証処理）を判定処理にて行ってもよい。
【００７２】
上記実施形態では、予測経路算出手段２２５にて、失跡移動体が失跡位置から撮像エリアを通らずに移動可能な非撮像エリアにおける予測経路を、移動先（失跡先）の非撮像エリアにおける「開口部」属性を有する構成物体の数に応じて算出している。しかし、「開口部」属性を有する構成物体の数だけでなく、「開口部」属性を有する構成物体の「開口時刻」属性を考慮して予測経路を算出してもよい。すなわち、「開口部」属性を有する構成物体である扉や窓などの開口時刻（“開”となった時刻）を属性情報として記憶し、予測経路を算出する際に当該開閉時刻を考慮する。具体的には、開口部属性を有する構成物体の開口状態を検知できるよう、たとえばマグネットセンサなどのセンサを予め開口部属性を有する構成物体に設置しておき、監視端末２が通信部２３を介して当該状態を受信できるように構成する。そして、開口部属性を有する構成物体が開口した時、通信部２３を介して受信した状態の時刻に基づいて、開口した構成物体の属性情報（記憶部２１の構造情報２１１）を変更する処理を行う。そして、ある失跡移動体の予測経路を算出する際、当該失跡移動体の移動先（失跡先）の非撮像エリアにおける「開口部」属性を有する構成物体を特定すると共に、当該特定した構成物体の開口時刻を読み出す処理を行う。そして、読み出した開口時刻を参照して、失跡時刻から予測経路を算出する時刻までの間に特定した構成物体が開口していないことが判明したとき、当該開口していない構成物体の先の非撮像エリアを予測経路に含めないように処理する。すなわち、予測経路算出処理（ＳＴ７）におけるグラフ生成処理（ＳＴ３２）のループ２にて当該開口していない構成物体を選択開口部として選択されないように処理する。このように処理することにより、開口していない開口部より先の、失跡移動体が移動し得ない非撮像エリアの存在確率を算出することなく、より高い精度で存在確率を算出することができる。
【００７３】
上記実施形態では、表示制御手段２２７にて、存在確率に基づいて監視場所の地図上に失跡移動体をシンボル表示するよう表示制御処理を行っている。しかしこれに限らず、シンボルを配置せずに、存在確率に基づいて非撮像エリア３１を着色表示しても良い。例えば、存在確率が高い非撮像エリア３１ほど濃い赤色で着色され、存在確率が低いエリアになるほど薄い赤色で着色されるよう表示制御処理を行ってもよい。
【符号の説明】
【００７４】
１・・・画像監視装置
２・・・監視端末
３・・・撮像装置
２１・・・記憶部
２２・・・制御部
２３・・・通信部
２４・・・表示部
２５・・・入力部
２１１・・・構造情報
２１２・・・撮像条件情報
２１３・・・エリア情報
２１４・・・移動体情報
２１５・・・位置情報
２２Ａ・・・画像処理部
２２Ｂ・・・エリア設定部
２２Ｃ・・・表示制御部
２２１・・・抽出手段
２２２・・・追跡手段
２２３・・・判定手段
２２４・・・仮想空間位置算出手段
２２５・・・予測経路算出手段
２２６・・・存在確率算出手段
２２７・・・表示制御手段
３０・・・撮像エリア
３１・・・非撮像エリア
３３・・・移動軌跡
３４・・・失跡位置
３６・・・エリア重心位置
３７・・・確率分布
４０・・・変化領域
４１・・・仮想空間位置
５０・・・構造モデル
５１・・・壁面
５２・・・開口部
５３・・・床面
【図１】
0005956248.tif 000002
【図２】
0005956248.tif 000003
【図３】
0005956248.tif 000004
【図４】
0005956248.tif 000005
【図５】
0005956248.tif 000006
【図６】
0005956248.tif 000007
【図７】
0005956248.tif 000008
【図８】
0005956248.tif 000009
【図９】
0005956248.tif 000010
【図１０】
0005956248.tif 000011
【図１１】
0005956248.tif 000012
【図１２】
0005956248.tif 000013
【図１３】
0005956248.tif 000014
【図１４】
0005956248.tif 000015
【図１５】
0005956248.tif 000016
【図１６】
0005956248.tif 000017