(57)【特許請求の範囲】
【請求項１】
操作用計算機と情報蓄積用計算機と特徴解析用計算機とがネットワークを介して接続された多地点情報監視装置であって、
前記操作用計算機は、
入力手段と、該入力手段への入力操作の終了を検出する手段と、
前記入力操作の終了を検出する手段の検出結果を当該入力操作を行った利用者の人物識別子の情報とともに前記特徴解析用計算機に通知する手段とを備え、
前記情報蓄積用計算機は、
前記入力手段への入力操作を行う利用者を撮影範囲内に含む位置に設けられたカメラ装置により撮影された画像情報、および前記利用者の有無を検出できる位置に設けられ、前記カメラ装置の撮影範囲内の前記利用者の有無を検出するセンサの検出情報を取得する手段と、
前記センサが前記利用者の存在を検出中および非検出中の前記カメラ装置により撮影された双方の画像情報をそれぞれ生成する手段と、
前記双方の画像情報を前記カメラ装置の設置位置情報および撮影時刻情報および前記センサの検出情報とともに情報蓄積部に一時蓄積する手段とを備え、
前記特徴解析用計算機は、
個人毎の画像情報を蓄積する個人特徴データベースと、
前記操作用計算機から通知された前記検出結果にしたがって入力操作終了検出時刻から所定時間遡った時刻の前記センサが利用者の存在を検出中および非検出中の前記カメラ装置により撮影された双方の画像情報を前記情報蓄積部から取得する手段と、
取得した該双方の画像情報の差分情報を検出する手段と、
該差分情報を前記個人毎の画像情報として前記利用者の人物識別子の情報とともに前記個人特徴データベースに蓄積する手段と、
前記個人毎の画像情報と前記情報蓄積部に蓄積され当該個人毎の画像情報とは撮影時刻情報が異なる画像情報との相関値を計算する手段とを備えた
ことを特徴とする多地点情報監視装置。
【請求項２】
操作用計算機と情報蓄積用計算機と特徴解析用計算機とがネットワークを介して接続された多地点情報監視装置における多地点情報監視方法であって、
前記操作用計算機が、
当該計算機の入力手段への入力操作の終了を検出する手順と、
前記入力操作の終了を検出する手順における検出結果を当該入力操作を行った利用者の人物識別子の情報とともに前記特徴解析用計算機に通知する手順と、
情報蓄積用計算機が、
前記入力手段への入力操作を行う利用者を撮影範囲内に含む位置に設けられたカメラ装置により撮影された画像情報、および前記利用者の有無を検出できる位置に設けられ、前記カメラ装置の撮影範囲内の前記利用者の有無を検出するセンサの検出情報を取得する手順と、
前記センサが前記利用者の存在を検出中および非検出中の前記カメラ装置により撮影された双方の画像情報をそれぞれ生成する手順と、
前記双方の画像情報を前記カメラ装置の設置位置情報および撮影時刻情報および前記センサの検出情報とともに情報蓄積部に一時蓄積する手順と、
特徴解析用計算機が、
前記操作用計算機から通知された前記検出結果にしたがって入力操作終了検出時刻から所定時間遡った時刻の前記センサが利用者の存在を検出中および非検出中の前記カメラ装置により撮影された双方の画像情報を前記情報蓄積部から取得する手順と、
取得した該双方の画像情報の差分情報を検出する手順と、
該差分情報を個人毎の画像情報として前記利用者の人物識別子の情報とともに個人特徴データベースに蓄積する手順と、
前記個人毎の画像情報と前記情報蓄積部に蓄積され当該個人毎の画像情報とは撮影時刻情報が異なる画像情報との相関値を計算する手順と
を有することを特徴とする多地点情報監視方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は主に人物を監視する装置に利用する。本発明は、１）入力端末等を操作する人物の情報を取得する、２）指定された人物の居場所を探索する、３）指定された人物以外の人物の存在を検出する、といったことに利用する。
【０００２】
【従来の技術】
近年のＣＣＤカメラの高性能、低価格化に伴い、カメラ装置を用いた監視装置が急速に普及している。また、インターネット等を介した情報流通基盤の拡充によって、遠隔地の情報を低コストで取得可能となり、ネットワークを利用した遠隔地からの監視技術へのニーズも顕在化している。
【０００３】
現在、複数のカメラ装置とコンピュータ装置とを組み合せたモニタリングシステムが販売されており、その多くは大容量の記憶装置を備え、カメラ装置からの映像をデジタル画像として蓄積する。
【０００４】
デジタル画像として蓄積された映像情報は記録時間および記録場所の情報とともに蓄積されるためビデオテープ等の入れ替えを必要とせず、必要な映像情報を検索することが可能である。
【０００５】
【発明が解決しようとする課題】
しかし、記録された映像情報には、時間および記録場所の情報しか付加されていないため、まず必要な映像情報に関する時間および取得場所より映像を選択し、その後目視確認にて必要な個所を検索するという作業が必要である。
【０００６】
また、不審者監視のように取得時間および撮影場所が特定できないような場合には、すべての映像を目視確認する必要があった。ただし、人物の特定の場合には、服装色等の類似画像情報より映像検索を行うという方式もあるが、時間および撮影場所が多岐に渡る場合には、その処理にかかる時間は増大する。
【０００７】
このような従来方式の監視システムでは、目視確認にて必要な個所を検索するという作業が必要であるため、時間的および人的コストが増加する。また、目視作業であるため、見落とし等のヒューマンエラーを回避困難である。さらに、画像情報からの自動検出を行う場合には、時間および撮影場所の増大に比例して、処理時間も増大する。
【０００８】
本発明は、このような背景に行われたものであって、監視作業に関わる時間的および人的コストおよびヒューマンエラーを軽減し、画像情報からの検出処理にかかる時間を削減する多地点情報監視装置および方法および記録媒体を提供することを目的とする。本発明は、既存のネットワークを利用して簡単に広範囲な監視エリアを設けることができる多地点情報監視装置および方法および記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の第一の観点は多地点情報監視装置であって、本発明の特徴とするところは、入力手段と、この入力手段への入力操作の終了を検出する手段と、表示手段とを備えた操作用計算機と、カメラ装置と、このカメラ装置の撮影範囲内の人の有無を検出するセンサと、このセンサが利用者の存在を検出中および非検出中の前記カメラ装置により撮影された双方の画像情報をそれぞれ生成する手段と、これらの画像情報を前記カメラ装置の設置位置情報および撮影時刻情報および前記センサの検出情報とともに一時蓄積する手段とを備えた情報蓄積用計算機と、前記一時蓄積する手段に蓄積された画像情報にしたがって個人毎の画像情報を取得する手段と、この画像情報を蓄積するデータベースと、この画像情報と前記一時蓄積する手段に蓄積されこの画像情報とはその撮影時刻情報が異なる画像情報との相関値を計算する手段とを備えた特徴解析用計算機とを備え、前記操作用計算機および前記情報蓄積用計算機および前記特徴解析用計算機はネットワークを介して接続され相互に情報の送受信を行う手段を備えたところにある。
【００１０】
前記操作用計算機および前記情報蓄積用計算機が複数設けられ、これらの計算機同士が前記ネットワークを介して接続され相互に情報の送受信を行う手段を備えることが望ましい。これにより、広範囲な監視エリアを既存のネットワークを利用して簡単に設けることができる。
【００１１】
このように本発明では、各種処理を行う計算機を蓄積、解析、操作の各カテゴリに分類し、カメラ装置およびセンサの出力情報および利用者の操作入力をネットワークを介して共有し、逐次検出情報を画像情報と共に付加しておくことで、多地点情報監視に必要な処理を自動的に行うことができるため、時間的および人的コストおよびヒューマンエラーを軽減することができる。多地点情報監視の主な内容としては、例えば、１）操作用計算機を操作する人物の情報を取得する、２）指定された人物の居場所を探索する、３）指定された人物以外の人物の存在を検出する、といったことが挙げられる。
【００１２】
前記操作用計算機は、前記入力操作の終了を検出する手段の検出結果をこの入力操作を行った利用者の人物識別子の情報とともに前記特徴解析計算機に通知する手段を備え、前記カメラ装置は、この利用者をその撮影範囲内に含む位置に設けられ、前記センサは、この利用者の有無を検出できる位置に設けられ、前記個人毎の画像情報を取得する手段は、前記入力操作の終了を検出する手段の検出結果にしたがって入力操作終了検出時刻から所定時間遡った時刻の前記センサが利用者の存在を検出中および非検出中の前記カメラ装置により撮影された双方の画像情報を前記一時蓄積する手段から取得する手段と、取得したこの双方の画像情報の差分情報を検出する手段と、この差分情報を前記データベースに前記個人毎の画像情報として前記利用者の人物識別子の情報とともに蓄積する手段とを備えることが望ましい。
【００１３】
すなわち、操作用計算機への入力操作の終了を検出する毎に、その直前までその操作用計算機を利用していた利用者の画像情報および人物識別子の情報を取得し、これを個人毎の特徴を示す画像情報としてデータベースに蓄積する。このとき、利用者が撮影されている画像情報から利用者が撮影されていない背景だけの画像情報を差し引くことにより、利用者だけの画像情報を得ることができる。この利用者だけの画像情報を個人毎の特徴を示す画像情報としてこの利用者の人物識別子の情報とともにデータベースに蓄積する。操作用計算機への入力操作の終了検出は、例えば、しばらくの間入力操作が行われないことによって検出できる。
【００１４】
前記操作用計算機は、前記入力手段を介して人物識別子の情報の入力を受付ける手段と、受付けた人物識別子の情報を前記特徴解析用計算機に通知する手段とを備え、前記特徴解析用計算機は、当該人物識別子の情報が通知されたときには、前記センサが人の存在を検出中および非検出中の前記カメラ装置により撮影された双方の画像情報を前記一時蓄積する手段から取得する手段と、取得したこの双方の画像情報の差分情報を検出する手段と、この差分情報と前記データベースに蓄積されている前記人物識別子の情報に対応する画像情報との相関値を前記相関値を計算する手段により計算する手段と、この計算結果にしたがって閾値より高い相関値が計算されたときには前記カメラ装置の画像情報を前記表示手段に表示する手段とを備える構成とすることもできる。
【００１５】
すなわち、利用者が自分が探索したい人物の識別子を操作用計算機に入力すると、その人物識別子の情報が特徴解析用計算機に通知される。この通知を受け取った特徴解析用計算機では、まず、情報蓄積用計算機に蓄積されている最新の画像情報を取得する。さらに、自己のデータベースに蓄積されている通知された人物識別子の情報に対応する人物の画像情報を抽出する。情報蓄積用計算機から取得した画像情報と自己のデータベースから抽出した画像情報との相関値を計算し、閾値よりも高い相関値となった画像情報が存在するときには、その画像情報を提供した情報蓄積用計算機のカメラ装置の画像情報を利用者の操作用計算機に表示する。これにより、利用者は自分が入力した人物識別子の情報に対応する人物の最新画像情報を得ることができる。
【００１６】
前記特徴解析用計算機は、前記センサが人の存在を検出中および非検出中の前記カメラ装置により撮影された双方の画像情報を前記一時蓄積する手段から取得する手段と、取得したこの双方の画像情報の差分情報を検出する手段と、この差分情報と前記データベースに蓄積されているあらかじめ指定された人物の画像情報との相関値を前記相関値を計算する手段により計算する手段と、この計算結果にしたがって閾値より低い相関値が計算されたときには警報を発出するもしくは前記差分情報を前記表示手段に表示する手段とを備える構成とすることもできる。
【００１７】
すなわち、これは利用者が指定した人物以外の人物が探索された場合には警報を発出するまたはその人物を特定するための構成であり、利用者はあらかじめ操作用計算機等から入力を行い、特徴解析用計算機に特定の人物を指定しておく。特徴解析用計算機では、指定された人物に対応する画像情報を自己のデータベースから抽出し、この画像情報と情報蓄積用計算機から取得した画像情報との相関値を計算する。このとき、閾値よりも低い相関値が計算されたときには、指定された人物以外の人物の画像情報が検出されたことになるので警報を発出する。これは不審者を探索するために用いることができる。
【００１８】
警報を発出する代わりに、指定された人物以外の人物の画像情報を前記表示手段に配信し、表示することもできる。また、警報または画像情報を配信する操作用計算機は、利用者が任意に設定することができる。
【００１９】
他の利用形態として、利用者が操作用計算機から直接、情報蓄積用計算機に指示を与え、任意の画像情報を得ることもできる。
【００２０】
本発明の第二の観点は、本発明の多地点情報監視装置に設けられた操作用計算機である。また、本発明の第三の観点は、本発明の多地点情報監視装置に設けられた情報蓄積用計算機である。また、本発明の第四の観点は、本発明の多地点情報監視装置に設けられた特徴解析用計算機である。
【００２１】
本発明の第五の観点は、所定のハードウェアと、このハードウェアにインストールされた所定の基本ソフトウェアとを備えたコンピュータ装置に、さらにインストールすることによりそのコンピュータ装置を本発明の操作用計算機に相応する装置とするソフトウェアが記録された機械読取可能な記録媒体である。
【００２２】
本発明の第六の観点は、所定のハードウェアと、このハードウェアにインストールされた所定の基本ソフトウェアとを備えたコンピュータ装置に、さらにインストールすることによりそのコンピュータ装置を本発明の情報蓄積用計算機に相応する装置とするソフトウェアが記録された機械読取可能な記録媒体である。
【００２３】
本発明の第七の観点は、所定のハードウェアと、このハードウェアにインストールされた所定の基本ソフトウェアとを備えたコンピュータ装置に、さらにインストールすることによりそのコンピュータ装置を本発明の特徴解析用計算機に相応する装置とするソフトウェアが記録された機械読取可能な記録媒体である。
【００２４】
本発明の第八の観点は多地点情報監視方法であって、本発明の特徴とするところは、利用者の操作用計算機に対する入力操作の終了を検出してその検出結果およびこの利用者の人物識別子の情報を特徴解析用計算機に通知し、特徴解析用計算機は、この検出結果にしたがって入力操作終了検出時刻から所定時間遡った時刻の前記利用者をその撮影範囲内に含むカメラ装置により撮影された前記利用者が写っている画像情報と前記利用者が写っていない背景の画像情報とを取得し、取得したこの双方の画像情報の差分情報を検出し、この差分情報をデータベースに個人毎の特徴を示す情報として前記利用者の人物識別子の情報とともに蓄積するところにある。
【００２５】
あるいは、利用者は操作用計算機に人物識別子の情報を入力し、この操作用計算機は、入力された人物識別子の情報を特徴解析用計算機に通知し、この特徴解析用計算機は、この通知を受け取ると、カメラ装置により撮影されたその撮影範囲内に人が存在する画像情報と人が存在しない画像情報の双方の画像情報を取得し、取得したこの双方の画像情報の差分情報を検出し、この差分情報とデータベースに蓄積されている前記人物識別子の情報に対応する人物の画像情報との相関値を計算し、この計算結果にしたがって閾値より高い相関値が計算されたときには前記カメラ装置の画像情報を前記操作用計算機の表示手段に表示させるところにある。
【００２６】
あるいは、特徴解析用計算機は、カメラ装置からその撮影範囲内に人が存在する画像情報と人が存在しない画像情報の双方の画像情報を取得し、取得したこの双方の画像情報の差分情報を検出し、この差分情報と前記データベースに蓄積されているあらかじめ指定された人物の画像情報との相関値を計算し、この計算結果にしたがって閾値より低い相関値が検出されたときには警報を発出するもしくは前記差分情報を表示するところにある。
【００２７】
このように、本発明によれば、監視作業に関わる時間的および人的コストおよびヒューマンエラーを軽減し、画像情報からの検出処理にかかる時間を削減することができる。また、既存のネットワークを利用して簡単に広範囲な監視エリアを設けることができる。
【００２８】
【発明の実施の形態】
本発明実施例の多地点情報監視装置の構成を図１ないし図４を参照して説明する。図１は多地点情報監視装置の全体構成図である。図２は操作用計算機の要部ブロック構成図である。図３は情報蓄積用計算機の要部ブロック構成図である。図４は特徴解析用計算機の要部ブロック構成図である。
【００２９】
本発明は多地点情報監視装置であって、本発明の特徴とするところは、図２に示すように、入力部１と、この入力部１への入力操作の終了を検出するスクリーンセーバアプリケーション部２と、表示部３とを備えた操作用計算機３０と、図３に示すように、カメラ装置４と、このカメラ装置４の撮影範囲内の人の有無を検出するセンサ５と、このセンサ５が利用者の存在を検出中および非検出中のカメラ装置４により撮影された双方の画像情報をそれぞれ生成する観測情報取得部６および背景画像生成部７と、これらの画像情報をカメラ装置４の設置位置情報および撮影時刻情報およびセンサ５の検出情報とともに一時蓄積する情報蓄積部８とを備えた情報蓄積用計算機４０と、図４に示すように、情報蓄積部８に蓄積された画像情報にしたがって個人毎の画像情報を取得する特徴量取得アプリケーション部９と、この画像情報を蓄積するデータベースである個人特徴蓄積部１０と、この画像情報と情報蓄積部８に蓄積されこの画像情報とはその撮影時刻情報が異なる画像情報との相関値を計算する相関値計算部１１とを備えた特徴解析用計算機５０とを備え、操作用計算機３０および情報蓄積用計算機４０および特徴解析用計算機５０はネットワーク６０を介して接続され相互に情報の送受信を行う情報送受信部１２および蓄積情報配信部１３および特徴解析送受信部１４を備えたところにある。
【００３０】
また、図１に示すように、操作用計算機３０および情報蓄積用計算機４０が複数設けられ、これらの計算機同士がネットワーク６０を介して接続され相互に情報送受信部１２および蓄積情報配信部１３により情報の送受信を行う。特徴解析用計算機５０もこれら複数の操作用計算機３０および情報蓄積用計算機４０と特徴解析送受信部１４により相互に情報の送受信を行う。
【００３１】
本発明実施例の多地点情報監視装置を指定人物検索システムを例としてさらに詳細に説明する。センサ５およびカメラ装置４は情報蓄積用計算機４０に接続され、情報蓄積用計算機４０、特徴解析用計算機５０および操作用計算機３０はネットワーク６０を介して接続されているものとする。操作用計算機３０はネットワーククライアントとして動作するためのソフトウェアがインストールされている。情報蓄積用計算機４０および特徴解析用計算機５０にはネットワークサーバ用ソフトウェアがインストールされている。
【００３２】
図２に操作用計算機３０の概略図を示す。操作用計算機３０はスクリーンセーバアプリケーション部２、人物探索クライアントアプリケーション部１５、情報送受信部１２、ネットワークインタフェース部１６を含む。外部には、入力部１および表示部３を備える。スクリーンセーバアプリケーション部２は、入力部１に対して一定時間入力がなかった場合に起動し、利用者の最終入力時刻、利用者ＩＤ、操作用計算機位置情報をネットワークインタフェース部１６を介して情報送受信部１２により送信する。
【００３３】
人物探索クライアントアプリケーション部１５は入力部１に対し、マニュアル操作で人物識別子（以下、人物ＩＤという）の情報の入力があった場合にその人物ＩＤの情報をネットワークインタフェース部１６を介して情報送受信部１２により送信する。
【００３４】
図３に情報蓄積用計算機４０の概略図を示す。情報蓄積用計算機４０は観測情報取得部６、情報蓄積部８、背景画像生成部７、蓄積情報配信部１３、ネットワークインタフェース部１６を含む。外部に、カメラ装置４およびセンサ５を備える。カメラ装置４により撮影された画像情報は、観測情報取得部６を介して情報蓄積部８に蓄積される。このとき、センサ５およびカメラ装置４の設置位置情報および撮影時刻情報およびセンサ５の検出情報を蓄積される画像情報に付加する。センサ５は赤外線感知センサあるいは超音波センサとし、カメラ装置４による撮影範囲内における人物の有無を検出し、その検出結果および検出時刻を検出情報として画像情報に付加する。
【００３５】
背景画像生成部７では情報蓄積部８に蓄積されたセンサの検出情報およびカメラ装置の画像情報より、人物が画面中に存在しなかった時刻の画像を逐次抽出し、その時刻の背景画像として情報蓄積部８に蓄積する。情報蓄積部８に蓄積された画像情報は、ネットワークインタフェース部１６を介して蓄積情報配信部１３によりネットワーク６０経由にて配信される。
【００３６】
図４に特徴解析用計算機５０の概略図を示す。特徴解析用計算機５０は個人特徴蓄積部１０、データベース管理部１７、人物探索サーバアプリケーション部１８、特徴量取得アプリケーション部９、特徴解析送受信部１４、ネットワークインタフェース部１６を含む。特徴量取得アプリケーション部９は、操作用計算機３０のスクリーンセーバアプリケーション部２からの人物ＩＤの情報を受信すると、指定された個人の特徴を情報蓄積用計算機４０より取得し、個人特徴蓄積部１０へ蓄積する。人物探索サーバアプリケーション部１８は、操作用計算機３０の人物探索クライアントアプリケーション部１５からの人物ＩＤの情報を受信すると、データベース管理部１７を介して指定された人物ＩＤの特徴を個人特徴蓄積部１０より検索する。
【００３７】
さらに、ネットワークインタフェース部１６を介して各情報蓄積用計算機４０より現在の画像情報を取得し、先の特徴と一致する画像情報を検索する。検索結果はネットワークインタフェース部１６を介して操作用計算機３０に返信される。
【００３８】
次に、本発明実施例の多地点情報監視装置の動作を図５ないし図８を参照して説明する。まず、スクリーンセーバアプリケーション部２および特徴量取得アプリケーション部９により個人特徴を取得し、蓄積を行う処理のシーケンスを図５を参照して説明する。操作用計算機３０がスクリーンセーバとして動作し、その動作時刻およびスクリーンセーバ起動設定時刻より、利用者が最終入力を行った時刻を算出し、時刻、操作用計算機設置場所、利用者の人物ＩＤの情報を特徴解析用計算機５０へ配信する。ここで、操作用計算機設置場所、人物ＩＤの情報は、あらかじめ操作用計算機３０上にて設定されているものとする［時刻、場所、ＩＤ配信］。特徴解析用計算機５０の特徴量取得アプリケーション部９では、時刻、操作用計算機設置場所、人物ＩＤの情報を受信し、この操作用計算機を受け持つ情報蓄積用計算機４０に、指定時刻の画像情報をリクエストする［指定時刻画像リクエスト］。情報蓄積用計算機４０は特徴解析用計算機５０に対し、指定時刻の画像情報を配信する［指定時刻画像を受信］。操作用計算機設置場所近接の情報蓄積用計算機４０に、指定時刻の背景画像をリクエストする［指定時刻背景画像リクエスト］。情報蓄積用計算機４０は特徴解析用計算機５０に対し、指定時刻の背景画像を配信する［指定時刻背景画像を受信］。特徴解析用計算機５０の背景差分画像生成部１９では、取得した画像データより、利用者が存在した場合の画像情報「観測画像」と利用者が存在していなかった時間の画像情報「背景画像」の差分を計算し、利用者の画像中での存在領域を特定する。この差分処理の概念を図６に示す。
【００３９】
差分処理は、観測画像をＡｉｊ、観測画像の座標（ｉ，ｊ）における赤色成分の値をａｒｉｊ、観測画像の座標（ｉ，ｊ）における緑色成分の値をａｇｉｊ、観測画像の座標（ｉ，ｊ）における青色成分の値をａｂｉｊ、背景画像をＨｉｊ、背景画像の座標（ｉ，ｊ）における赤色成分の値をｈｒｉｊ、背景画像の座標（ｉ，ｊ）における緑色成分の値をｈｇｉｊ、背景画像の座標（ｉ，ｊ）における青色成分の値をｈｂｉｊ、人物領域画像をＲｉｊ、人物領域画像の座標（ｉ，ｊ）における赤色成分の値をｒｒｉｊ、人物領域画像の座標（ｉ，ｊ）における緑色成分の値をｒｇｉｊ、人物領域画像の座標（ｉ，ｊ）における青色成分の値をｒｂｉｊ、画像のＸ座標値をｉ、Ｙ座標値をｊ、領域決定閾値をｔｈとして、以下の演算によって行う［背景差分処理］。
【００４０】
【数１】
0003607566.tif 000002
この差分処理により、背景画像との差がｔｈ以上の場合、観測画像がコピーされ、それ以外の場合は、−１が代入された画像が生成される。
【００４１】
人物領域をＲｉｊに対し以下の演算により、カラーヒストグラム生成部２０では、色ヒストグラムを算出する［色ヒストグラム検出］。ここで色ヒストグラムの格納変数をｈｎ、色ヒストグラムの要素番号をｎ、色成分のとりうる最大値をｃｍａｘとし、ｈｎには、初期値として０が代入されているものとする。
【００４２】
【数２】
0003607566.tif 000003
この計算式により、人物領域内各画素における赤色成分、青色成分、緑色成分の色比率によって、ｎが一意に決定され、その色に対する頻度値格納変数であるｈｎは１加算される。これは、例えば、赤色成分、青色成分、緑色成分がそれぞれ１０階調（ｃｍａｘ＝１０）とすると、ｎは、その最大値が１０×１０×１０＝１０００であるので１〜１０００の範囲の番号となり、頻度値格納変数ｈｎは、ｈ１〜ｈ１０００の１０００個が用意される。そして、人物領域内の各画素は、赤色成分、青色成分、緑色成分の色比率によって１〜１０００の内の１つの番号が割り当てられ、その番号に対応した頻度値格納変数ｈｎに１加算されることになる。また、Ｒｉｊ＝−１のときは人物領域以外の画素であるので対象外として、頻度値格納変数ｈｎは変わらない。よって人物領域内をすべて走査し、この演算を行えば、人物領域内の各色比率に対する領域内頻度分布（ヒストグラム）がｈｎの各配列の各値として得ることができる。
【００４３】
この色ヒストグラム検出処理により、人物領域画像の色頻度がｈｎの各々に代人される。ｈｎを特徴データとして、利用者のＩＤ情報と関連付け個人特徴蓄積部１０へ保存する［個人特徴蓄積部へ保存］。
【００４４】
次に、人物探索クライアントアプリケーション部１５、人物探索サーバアプリケーション部９にて人物ＩＤの情報より特定対象者の探索を行う処理のシーケンスを図７を参照して説明する。操作用計算機３０の人物探索クライアントアプリケーション部１５に対し、利用者は入力部１を介して探索対象者の人物ＩＤの情報を入力して配信する［人物ＩＤ指定］。特徴解析用計算機５０の人物探索サーバアプリケーション部１８では人物ＩＤの情報を受信し、人物ＩＤの情報に一致する特徴データをデータベース管理部１７を介して個人特徴蓄積部１０よりロードする。ロードしたヒストグラムデータは、特徴解析用計算機５０の一次記憶領域にｈ０ｎとして格納する［特徴ファイル選択、ロード］。特徴解析用計算機５０より全ての情報蓄積用計算機４０に、最新時刻の画像をリクエストする［最新時刻画像リクエスト］。全ての情報蓄積用計算機４０は特徴解析用計算機５０に対し、最新時刻の画像情報を配信する［最新時刻画像を受信］。特徴解析用計算機５０より全ての情報蓄積用計算機４０に、最新時刻の背景画像をリクエストする［最新時刻背景画像リクエスト］。全ての情報蓄積用計算機４０は特徴解析用計算機５０に対し、最新時刻の背景画像を配信する［最新時刻背景画像を受信］。背景差分画像生成部１９では、取得した全画像情報より人物が存在した時間の画像情報「観測画像」と人物が存在していなかった時間の画像情報「背景画像」の差分を計算し、人物の画像中での存在領域を特定する［背景差分処理］。
［数１］
この差分処理により、背景画像との差がｔｈ以上の場合には観測画像がコピーされ、それ以外の場合には−１が代入された画像が生成される。
【００４５】
人物領域をＲｉｊに対し以下の演算により、カラーヒストグラム生成部２０では、色ヒストグラムを算出する［色ヒストグラム検出］。ここで全画像情報よりｉ番目に見つかった人物領域のヒストグラムを色ヒストグラムの格納変数をｈｎｉとし、色ヒストグラムの要素番号をｎ、色成分のとりうる最大値をｃｍａｘとする。
［数２］
ｈｎｉおよびｈ０ｎの相関値を計算し、最大相関値をとるｈｎｉを求める［相関値計算］。もし、あらかじめ与えられた閾値以上のｈｎｉがあれば、［指定カメラ画像リクエスト］処理に進む。もし存在しなければ、人物探索クライアントアプリケーション部１５に探索不能メッセージを送信する［相関値＞閾値］。特徴解析用計算機５０より最大相関値をとった情報蓄積用計算機４０に、最新時刻の画像をリクエストする［指定カメラ画像リクエスト］。その情報蓄積用計算機４０は特徴解析用計算機５０に対し、指定時刻の画像情報を配信する［指定カメラ画像を受信］。操作用計算機３０の人物探索クライアントアプリケーション部１５には、特徴解析用計算機５０から受信した指定カメラ画像が配信されて表示部３に表示される［画像表示］。以上の方法にしたがえば、人物ＩＤの情報の指定のみで自動的に所望の画像情報および特定人物の所在場所の情報を取得することが可能である。
【００４６】
次に、人物探索クライアントアプリケーション部１５、人物探索サーバアプリケーション部１８にて不審者の監視を行う処理のシーケンスを図８を参照して説明する。特徴解析用計算機５０の人物探索サーバアプリケーション部１８では、個人特徴蓄積部１０より全ユーザ特徴データをロードする。ロードしたヒストグラムデータは、ｈｉｄに格納する［特徴ファイル選択、ロード］。ここで、ｉｄは人物ＩＤとする。特徴解析用計算機５０より全ての情報蓄積用計算機４０に、最新時刻の画像情報をリクエストする［最新時刻画像リクエスト〕。全ての情報蓄積用計算機４０は特徴解析用計算機５０に対し、最新時刻の画像情報を配信する［最新時刻画像を受信］。特徴解析用計算機５０より全ての情報蓄積用計算機４０に、最新時刻の背景画像をリクエストする［最新時刻背景画像リクエスト］。全ての情報蓄積用計算機４０は特徴解析用計算機５０に対し、最新時刻の背景画像を配信する［最新時刻背景画像を受信］。背景差分画像生成部１９では、取得した全画像情報より、人物が存在した時間の画像「観測画像」と人物が存在していなかった時間の画像「背景画像」の差分を計算し、人物の画像中での存在領域を特定する［背景差分処理］。
［数１］
この差分処理により背景画像との差がｔｈ以上の場合には、観測画像がコピーされ、それ以外の場合には−１が代入された画像が生成される。
【００４７】
人物領域をＲｉｊに対し以下の演算により、カラーヒストグラム生成部２０では、色ヒストグラムを算出する［色ヒストグラム検出］。ここで全画像よりｉ番目に見つかった人物領域のヒストグラムを色ヒストグラムの格納変数をｈｎ１とし、色ヒストグラムの要素番号をｎ、色成分のとりうる最大値をｃｍａｘとする。
［数２］
ｈｎｉおよびｈｉｄのすべての組み合わせで相関値を計算し、あらかじめ与えられた閾値以下のｈｎｉを求める［相関値計算］。もしあらかじめ与えられた閾値以下のｈｎｉがあれば人物探索クライアントアプリケーション部１５に警報メッセージを送信する。もし存在しなければ他の情報蓄積用計算機４０に対する画像リクエストヘ戻り、同一の処理を繰り返す［相関値＞閾値］。以上の方法にしたがえば指定人物以外の侵入を検出し利用者に対し警告を発することが可能である。
【００４８】
なお、あらかじめ警報の発出の対象から除外されるべき社員等の人物の画像情報および人物ＩＤの情報は、利用者が操作用計算機３０の入力部１から入力する。また、警報が表示される操作用計算機３０は、任意に利用者が設定することができる。この場合の操作用計算機３０の数は一つであっても複数であってもよい。あるいは、利用者は、警報を受け取るのではなく、不審者の画像情報を得るように設定することもできる。
【００４９】
その他の使用例として、利用者は、操作用計算機３０から直接に情報蓄積用計算機４０に指示を与え、任意のカメラ装置４からの画像情報を得ることもできる。
【００５０】
【発明の効果】
以上説明したように、本発明によれば、監視作業に関わる時間的および人的コストおよびヒューマンエラーを軽減し、画像情報からの検出処理にかかる時間を削減することができる。また、既存のネットワークを利用して簡単に広範囲な監視エリアを設けることができる。
【図面の簡単な説明】
【図１】本発明実施例の多地点情報監視装置の全体構成図。
【図２】本発明実施例の操作用計算機の要部ブロック構成図。
【図３】本発明実施例の情報蓄積用計算機の要部ブロック構成図。
【図４】本発明実施例の特徴解析用計算機の要部ブロック構成図。
【図５】本発明実施例の特徴量保存動作を示すフローチャート。
【図６】差分処理の概念図。
【図７】本発明実施例の人物探査動作を示すフローチャート。
【図８】本発明実施例の不審者探索動作を示すフローチャート。
【符号の説明】
１  入力部
２  スクリーンセーバアプリケーション部
３  表示部
４  カメラ装置
５  センサ
６  観測情報取得部
７  背景画像生成部
８  情報蓄積部
９  特徴量取得アプリケーション部
１０  個人特徴蓄積部
１１  相関値計算部
１２  情報送受信部
１３  蓄積情報配信部
１４  特徴解析送受信部
１５  人物探索クライアントアプリケーション部
１６  ネットワークインタフェース部
１７  データベース管理部
１８  人物探索サーバアプリケーション部
１９  背景差分画像生成部
２０  カラーヒストグラム生成部
３０  操作用計算機
４０  情報蓄積用計算機
５０  特徴解析用計算機
６０  ネットワーク
【図１】
0003607566.tif 000004
【図２】
0003607566.tif 000005
【図３】
0003607566.tif 000006
【図４】
0003607566.tif 000007
【図５】
0003607566.tif 000008
【図６】
0003607566.tif 000009
【図７】
0003607566.tif 000010
【図８】
0003607566.tif 000011