(57)【要約】【課題】  監視本部では監視対象をリアルタイムの動画によって把握することができ、しかも、携帯端末からも監視対象を個別的に把握することのできる監視システムを提供する。【解決手段】  監視カメラＣａとスイッチ類ＳＷ１，ＳＷ２とを配置した複数個の監視対象１…１と、スイッチ類のON動作に応答して監視カメラＣａからの動画データを表示及び保存する監視本部２と、自己の管理下にある監視対象を監視可能な携帯端末３１を備える個別監視部３とが、通信回線４Ａ，４Ｂを通して接続されて構成される。監視対象１…１には、監視カメラＣａから出力される画像データを、要求に応じて配信するコンピュータ装置５が配置され、携帯端末３１では、コンピュータ装置５から配信される画像データの取得処理と、取得した画像データをデコードして表示する再生処理とを、適宜に切り換えて並列実行する。【選択図】      図５
2006186506.tif 000002
【特許請求の範囲】
【請求項１】
監視カメラとスイッチ類とを配置した複数個の監視対象と、前記スイッチ類のON動作に応答して前記監視カメラからの動画データを表示及び保存する監視本部と、自己の管理下にある監視対象を監視可能な携帯端末を備える個別監視部とが、通信回線を通して接続されて構成され、
前記監視対象には、監視カメラから出力される画像データを、要求に応じて配信するコンピュータ装置が配置され、
前記携帯端末では、前記コンピュータ装置から配信される画像データの取得処理と、取得した画像データをデコードして表示する再生処理とを、適宜に切り換えて並列実行することで、前記携帯端末の動作状況に応じた最適な動画表示を実現していることを特徴とする監視システム。
【請求項２】
前記コンピュータ装置は、監視本部又は個別管理部から返信された制御コマンドに基づいて、前記監視カメラの動作を制御している請求項１に記載の監視システム。
【請求項３】
前記監視対象には集音マイクが更に配置され、前記コンピュータ装置は、集音マイクからの音声データを、前記監視カメラからの画像データに合わせて監視本部に配信している請求項１又は２に記載の監視システム。
【請求項４】
前記監視対象には、異常事態を検知するセンサ類が更に配置され、前記センサ類が反応すると、前記通信回線を通して、前記監視本部に異常情報を自動的に通報するよう構成されている請求項１〜３のいずれかに記載の監視システム。
【請求項５】
前記監視対象には、警報機器を自動的に起動させる起動装置が更に配置され、前記コンピュータ装置は、監視本部から返信された制御コマンドに基づいて前記起動装置を動作させる請求項１〜４のいずれかに記載の監視システム。
【請求項６】
監視カメラとスイッチ類とを配置した複数個の監視対象と、前記スイッチ類のON動作に応答して前記監視カメラからの動画データを表示及び保存する監視本部と、自己の管理下にある監視対象を監視可能な携帯端末を備える個別監視部とが、通信回線を通して接続されて構成され、
前記監視対象には、監視カメラから出力される画像データを、要求に応じて配信するコンピュータ装置が配置される一方、前記監視本部にも本部コンピュータ装置が配置され、前記本部コンピュータ装置は、
前記監視カメラから受けた画像フレームデータのうち、人為的に特定された検査領域中の全ての画素を検査して、発生頻度の高い色情報を参照テーブルに記憶する記憶処理と、その後に前記監視カメラから取得する画像フレームデータについて、前記参照テーブルを参照して前記発生頻度の高い色情報を持った画素位置を特定する処理とを備えていることを特徴とする監視システム。
【請求項７】
前記特定の色情報は、人間の顔の色を有意に表現する色情報である請求項６に記載の監視システム。
【請求項８】
前記画像フレームデータは、ＲＧＢデータからＨＳＶデータに変換されて処理される請求項６又は７に記載の監視システム。
【請求項９】
前記監視本部のコンピュータ装置は、前記特定の画素位置を特定した後、その画素位置を監視カメラが追跡するように監視カメラを遠隔制御する請求項６〜９のいずれかに記載の監視システム。
【請求項１０】
請求項１〜９のいずれかに記載の監視システムで使用されるプログラム。
【請求項１１】
請求項１〜９のいずれかに記載の監視対象に配置されたコンピュータ装置。
【請求項１２】
請求項１〜９のいずれかに記載の監視本部に配置されたコンピュータ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネット回線を利用してリアルタイムの監視活動を実現した監視システムに関する。
【背景技術】
【０００２】
昨今の統計資料によると、強盗、窃盗などの刑事犯罪は増加傾向にあり、例えば、大阪府下だけでも平成１５年度で毎日８００件もの被害が発生している。しかるに、犯罪の検挙率は２０％台にまで落ち込んでおり、戦後最悪の検挙率であるとも言われている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
かかる状況からセキュリティ・システムの充実が望まれているが、上記した現状に即した有効なシステムは存在しなかった。
【０００４】
すなわち、従来のセキュリティ・システムは、事件発生を報知する通報信号が管理本部に伝送される程度であり、犯行状況を映し出す映像をリアルタイムに監視することはできなかった。そのため、ガードマンが急行して現場を確認した上で、警察署や消防署に通報することになり、通常３０分程度を浪費する初期対応の遅れが致命的となる事例も多かった。
【０００５】
また、例えば、個人オーナが所有するコンビニエンス・ストアやレストランが複数箇所に点在しているような場合、オーナが各店舗の状況をリアルタイムに把握できるシステムが存在せず、集客状況の確認や、従業員の接客マナーの把握などができない点で問題であった。ここで、携帯端末でも各店舗の状態を把握することができ、しかも、それが動画によって把握できれば極めて有効である。
【０００６】
本発明は、上記の実情に鑑みてなされたものであって、監視本部では監視対象をリアルタイムの動画によって把握することができ、しかも、携帯端末からも監視対象を個別的に把握することのできる監視システムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明に係る監視システムは、監視カメラとスイッチ類とを配置した複数個の監視対象と、前記スイッチ類のON動作に応答して前記監視カメラからの動画データを表示及び保存する監視本部と、自己の管理下にある監視対象を監視可能な携帯端末を備える個別監視部とが、通信回線を通して接続されて構成され、前記監視対象には、監視カメラから出力される画像データを、要求に応じて配信するコンピュータ装置が配置され、前記携帯端末では、前記コンピュータ装置から配信される画像データの取得処理と、取得した画像データをデコードして表示する再生処理とを、適宜に切り換えて並列実行することで、前記携帯端末の動作状況に応じた最適な動画表示を実現していることを特徴とする。
【０００８】
また、本発明に係る監視システムは、監視カメラとスイッチ類とを配置した複数個の監視対象と、前記スイッチ類のON動作に応答して前記監視カメラからの動画データを表示及び保存する監視本部と、自己の管理下にある監視対象を監視可能な携帯端末を備える個別監視部とが、通信回線を通して接続されて構成され、前記監視対象には、監視カメラから出力される画像データを、要求に応じて配信するコンピュータ装置が配置される一方、前記監視本部にも本部コンピュータ装置が配置され、前記本部コンピュータ装置は、前記監視カメラから受けた画像フレームデータのうち、人為的に特定された検査領域中の全ての画素を検査して、発生頻度の高い色情報を参照テーブルに記憶する記憶処理と、その後に前記監視カメラから取得する画像フレームデータについて、前記参照テーブルを参照して前記発生頻度の高い色情報を持った画素位置を特定する処理とを備えていることを特徴とする。色情報としては、好適には色相が採用される。
【発明の効果】
【０００９】
上記した本発明によれば、監視本部では監視対象をリアルタイムの動画によって把握することができる。また、携帯端末からも、監視対象を個別的に把握することができる。
【発明を実施するための最良の形態】
【００１０】
以下、実施例に基づいて本発明を更に詳細に説明する。図１は、実施例に係る監視システムＳＹＳの全体構成を示すブロック図である。
【００１１】
図示の通り、この監視システムＳＹＳは、複数個の監視対象１と、監視対象１から要請があると、配置されている監視カメラＣａからの動画データを表示及び保存する監視本部２と、個人オーナが自己の店舗１などを任意に監視する個別監視部３とが、通信回線４を通して接続されて構成されている。通信回線４は、この実施例では、インターネット回線４Ａ及び移動体通信回線４Ｂで構成されている。
【００１２】
監視対象１は、例えば、２４時間営業のコンビニエンス・ストアやファミリ・レストランであり、このような監視対象が、これを所有するオーナ毎に区分されて、複数の監視群（１ａ・・・１ａ，１ｂ・・・１ｂ，・・・）を構成している。一方、個別監視部３（３ａ，３ｂ…）は、インターネット回線４Ａに接続可能なオーナの自宅パソコン３０（３０ａ，３０ｂ…）やオーナの携帯電話機３１（３１ａ，３１ｂ・・・）で構成されており、例えば、コンビニエンス・ストアなどに不在のオーナが、必要に応じて自己の店舗の状況を把握するために使用される。
【００１３】
以下、説明の便宜上、第一群の監視対象１ａがコンビニエンス・ストア（コンビニ店舗と略す）であると仮定して説明を続ける。図示の通り、各コンビニ店舗１ａ…１ａには、パソコン本体５とハードディスク６と薄型ディスプレイ７とが配置され、パソコン本体５は、インターネット回線４Ａに接続されている。ここで、パソコン本体５は、コンビニ店舗内に配置された各装置を中央制御しているだけでなく、監視本部２に対してＴＣＰ／ＩＰベースのクライアントとして機能し、また、監視本部２や個別監視部３に対して、画像データを配信するカメラサーバとして機能している。なお、パソコン本体５やハードディスク６は、目立たない場所に配置されるが、薄型ディスプレイ７は、コンビニ店舗内の目立つ場所に、誰もが見える状態で配置されている。
【００１４】
また、各コンビニ店舗１ａ・・・１ａには、複数台の監視カメラＣａと複数個の集音マイクＭｉがパソコン本体５に接続されて、目立たないよう適所に配置されている。そして、各監視カメラＣａの撮影方向やズームなどを制御するコントロール信号は、ＲＳ２３２ＣやＲＳ４８５(Recommended Standard)などのシリアルインタフェースによって、パソコン本体５から供給されている。なお、複数台の監視カメラＣａはデイジイチェーン(Daisy Chain)方式で接続されて、パソコン本体５から伝送されたコントロール信号が該当する監視カメラＣａで取得される。
【００１５】
図２に示すように、パソコン本体５のＰＣＩバス(Peripheral Components Interconnect bus)８には、ビデオ・キャプチャ(capture)ボード９が接続されている。そして、複数チャンネルのビデオ信号Ｖｉとオーディオ信号Ａｕは、ビデオ・キャプチャ・ボード９を通して、定常的にパソコン本体５に出力されている。このビデオ・キャプチャ・ボード９には、ＡＤ変換回路だけでなく、ＭＰＥＧ４(Moving Picture Coding Experts Group／Moving Picture Experts Group 4）のエンコーダ回路も内蔵されており、複数チャンネルの非圧縮データとは別に、複数チャンネル分のＭＰEG４の圧縮データが独立して出力されるようになっている。
【００１６】
パソコン本体５では、ビデオ・キャプチャ・ボード９から受けた圧縮データを伝送処理バッファＢＵＦ１に格納し、第一のカメラ・クライアントたる監視本部２から要求を受けると、ストリーミング(Streaming)データとして、ＭＰＥＧ４の圧縮データを送信している。また、パソコン本体５は、ビデオ・キャプチャ・ボード９から２０フレーム／秒の速度で非圧縮データを受けており、このＢＭＰ(Bit Map)形式の各フレームの画像データは、パソコン本体５のソフトウェア処理によってＪＰＥＧデータ(Joint Photographic Experts Group)データにエンコードされた後、リングバッファ構造の伝送処理バッファＢＵＦ２に格納されている。
【００１７】
図３（ａ）は、個別監視部３（３０，３１）との通信で使用される伝送処理バッファＢＵＦ２を模式的に図示したものであり、書込みポインタＷＴと読出しポインタＲＤとが示されている。特に限定されるものではないが、この実施例では、パソコン本体５は、書込みポインタＷＲが示す伝送処理バッファＢＵＦ２の位置に、ＪＰＥＧ圧縮後の画像フレームデータを書込んだ後、書込みポインタＷＲの値を循環的にインクリメント（＋１）している。この実施例の設計では、１秒間に２０フレームのＪＰＥＧ画像データを生成するので、書込みポインタＷＲは、ほぼ０．０５秒間隔で更新されることになる。
【００１８】
一方、パソコン本体５は、第二のカメラ・クライアントたる自宅パソコン３０や携帯電話機３１から送信要求(REQUEST)を受ける毎に、伝送処理バッファＢＵＦ２における、読出しポインタＲＤが示すＪＰＥＧ画像データを要求元３０，３１に送信している。この実施例の設計では、読出しポインタＲＤは、書込みポインタＷＴに追従してインクリメントされるので、直近に生成された画像フレームが要求元３０，３１に送信されることになる。但し、この点も特に限定されるものではない。
【００１９】
図１に示すように、各コンビニ店舗１ａ・・・１ａに配置されたパソコン本体５には、Ｉ／Ｏボード１０を通して、複数のセンサＳｅｎ、異常警報スイッチＳＷ１、及び、監視依頼スイッチＳＷ２の各出力信号が入力されている。また、同じＩ／Ｏボード１０を通して、複数のリレーＲＬＹをＯＮ／ＯＦＦ制御できるようになっている。
【００２０】
センサＳｅｎとしては、例えば、煙センサ、ガス漏れセンサ、火災報知センサなどが採用される。リレーＲＬＹは、例えば、警報音や警報ランプなどを起動するためのスイッチに接続される。また、異常警報スイッチＳＷ１は、異常事態が発生して危険を感じた係員によって押圧されるスイッチであり、一方、監視依頼スイッチは、単にコンビニ店舗内を監視して欲しい場合に押圧されるスイッチである。
【００２１】
このようなセンサＳｅｎ、異常警報スイッチＳＷ１、又は監視依頼スイッチＳＷ２がＯＮ状態になると、パソコン本体５は、監視本部２に対して、その状態を自動的に通報するようになっている。なお、この場合の通信は、ＴＣＰ／ＩＰベースで行われる。そして、通報を受けた監視本部２では、カメラサーバとして機能しているパソコン本体５に対して画像データの送信を要求し、これを受けたパソコン本体５は、複数チャンネル分の画像及び音声データ（ＭＰＥＧ４圧縮データ）のストリーミング(Streaming)配信を開始する。
【００２２】
その後、監視本部２は、必要に応じて、通報元のコンビニ店舗１ａのパソコン本体５に対して、係員の顔と声の圧縮データについてストリーミング配信を開始し、更に必要があれば、監視本部２は、係員の操作に応答してリレーＲＬＹをＯＮ状態にするコマンドを返送する。そして、監視本部２から配信された係員の顔と声は、コンビニ店舗１ａのディスプレイ７に大きく出力され、送信されたコマンドに応じてＯＮ状態となったリレーＲＬＹによって、警報音や警報ランプの動作が起動される。このように、本システムＳＹＳでは、監視本部２からの遠隔操作によって、不審者や強盗に対して最適な圧力を加えることができ、それ以降の異常事態の発生を有効に防止できる。
【００２３】
図１に示すように、監視本部２には、各監視対象１に対するサーバ処理を含んだ中央処理を実現する高性能のコンピュータ本体２０と、各監視対象１に配置した監視カメラＣａからの動画データを必要時に記憶する大型記憶装置２１と、監視カメラＣａから受けた動画データをリアルタイムに表示する大型ディスプレイ２２と、大型ディスプレイ２２の表示動作に同期して集音マイクＭｉからの音声データを出力するスピーカ２３と、必要時に本部係員の姿を撮影する本部カメラ２４と、本部カメラ１４の撮影動作に同期して機能する本部マイク２５が設けられている。
【００２４】
先に説明したように、監視本部２が監視対象１からの要求を受けると、監視本部２の監視プログラムが自動的に起動して、コンビニ店舗１ａのパソコン本体５（カメラ・サーバ）に対して動画データの配信要求を送信する。そして、配信されたストリーミングデータ（ＭＰＥＧ４の圧縮データ）は、そのまま大型記憶装置２１に記憶されると共に、ソフトウェア処理によって圧縮データがリアルタイムにデコードされて、大型ディスプレイ１２とスピーカ２３に出力される。
【００２５】
したがって、監視本部の係員は、ストリーミング・データの配信元の状況をリアルタイムに把握することができる。そのため、例えば、不審者がコンビニ店舗内を徘徊しているような場合には、各監視カメラＣａの撮影角度やズーム状態を適宜に変更するべく、コンビニ店舗１ａのパソコン本体５（カメラサーバ）に対して、カメラ制御用のコマンドを送信することも可能となる。この場合、係員によって特定された不審者は、その動きを追跡するよう監視カメラＣａの撮影角度やズーム状態が自動的に調整される。
【００２６】
このような不審者や犯罪者の監視動作に合わせて、必要があれば警察に通報すると共に、防犯のための威嚇画像や威嚇音声をコンビニ店舗１ａのパソコン本体５に送信する。すると、パソコン本体５の動作によって、コンビニ店舗１ａの薄型ディスプレイ７には、警備本部の係員の顔が大写しされ、また内蔵されたスピーカからは、犯罪を抑制するための音声が出力される。したがって、不審者や犯罪者のその後の行動を、有効に抑圧することができる。
【００２７】
図２に示すように、コンピュータ本体２２のＰＣＩバス２６には、ビデオ・キャプチャ・ボード２７が接続されており、係員を撮影する本部カメラ２４の画像信号と、係員の声を集音する本部マイク２５の音声信号が定常的に入力されている。なお、監視対象１…１に動画データを送信する頻度は高くないことを考慮して、ビデオ・キャプチャ・ボード２７は、アナログ信号をデジタル信号にＡＤ変換する機能だけを有している。
【００２８】
そして、コンピュータ本体２２に入力されたデジタルデータは、ソフトウェア・コーディック処理によってＨ２６３方式に圧縮されて伝送処理バッファＢＵＦ３に順次記憶される。そして、伝送処理バッファＢＵＦ３のデータは、ストリーミング・データとしてコンビニ店舗１ａのパソコン本体５に伝送され、デコードされて薄型ディスプレイ７に出力される。なお、Ｈ２６３とは、テレビ会議用などの圧縮法として公知で、狭帯域の通信環境でも使用できるビデオ信号用の圧縮法である。
【００２９】
次に、監視対象であるコンビニ店舗１ａと、そのオーナ側の個別監視部３ａとの関係を説明する。個別監視部３ａの自宅パソコン３０ａは、インターネット回線を通して、カメラサーバたるコンビニ店舗のパソコン本体５に対して、監視カメラＣａからの動画データの配信を要求することができる。
【００３０】
すると、この要求を受けたパソコン本体５では、伝送処理バッファＢＵＦ１に格納されているＭＧＥＧ４の圧縮データを、自宅パソコン３０ａに対してストリーミング配信する。なお、この動作は、監視本部２に配置されたコンピュータ本体２０に対する動作と同じである（図２参照）。
【００３１】
また、個別監視部の携帯電話機３１ａでも、監視カメラＣａからの動画データを受信することができる。但し、自宅パソコンの場合ほどは高帯域の通信路を確保することができず、しかも、通信環境も必ずしも安定しているとは言えないので、独特の方法によって動画データの取得と再生を行っている。
【００３２】
図４は、携帯電話機３１ａによる動画データを概略的に説明するための図面である。この携帯電話機３１ａでは、動画データの取得処理（ＴＨＲＥＡＤ−１)と動画データのデコード及び表示処理（ＴＨＲＥＡＤ−２)とが、マルチスレッド手法によって同時に実行される。なお、マルチスレッドとは、一つのアプリケーションソフトが複数のスレッドを生成し、並行して複数の処理を行なうことを意味する。ＣＰＵの処理時間は、ＯＳによって非常に短い単位に分割されて、複数のスレッドに順番に割り当てられるので、見かけ上、複数の処理が同時に実行されることになる。
【００３３】
図３（ｂ）は、動画データの取得処理（ＴＨＲＥＡＤ−１)と、動画データのデコード及び表示処理（ＴＨＲＥＡＤ−２)とを説明するために、携帯電話機３１の伝送処理バッファＢＵＦ４を図示したものである。本実施例の場合、伝送処理バッファＢＵＦ４は、第一バッファＢＵＦ４（Ａ）と、第二バッファＢＵＦ４（Ｂ）とが、交互に切り換えて使用されるダブルバッファ構成になっており、各バッファには、最大２０フレーム分の画像データが格納できるようになっている。したがって、一方のバッファに対して書込み動作（受信動作）が行われているＴＨＲＥＡＤ−１の処理タイミングでは、ＴＨＲＥＡＤ−２の処理によって、他方のバッファから受信データが読み出されている。
【００３４】
各バッファ(ＢＵＦ４（Ａ），ＢＵＦ４（Ｂ））の読出し位置や書込み位置は、（読み書き完了時にインクリメントされる）読出しポインタＰｒと書込みポインタＰｗによって指示されるが、各ポインタＰｒ，Ｐｗは、基準時間（この実施例では１秒）毎に発生するタイマ割込みによってクリアされて初期値に戻されている。書込み動作と読出し動作は、並列処理されている他の処理との関係でランダムなタイミングで発生するが、一定時間間隔のタイマ割込みによって、書込み処理と読出し処理が、基準時間の先頭のタイミングで同期することになる。
【００３５】
以上を踏まえて、図３（ｂ）について説明する。図３（ｂ）では、その左右に「最初の１秒間」と「その次の１秒間」の動作状態を示している。すなわち、最初の１秒間（図の左側）では、伝送処理バッファＢＵＦ４（Ａ）には受信した画像フレームデータが書込まれ（ＷＲＩＴＥモード）、伝送処理バッファＢＵＦ４（Ｂ）からは画像フレームデータが読出される（ＲＥＡＤモード）。一方、次の１秒間では（図の右側）、伝送処理バッファＢＵＦ４（Ａ）から画像フレームデータが読出され（ＲＥＡＤモード）、伝送処理バッファＢＵＦ４（Ｂ）には受信した画像フレームデータが書込まれる（ＷＲＩＴＥモード）。
【００３６】
更に説明すると、図３（ｂ）の左側の状態は、読出しポインタＰｒの指示によって、伝送処理バッファＢＵＦ４（Ｂ）の３番目のエリアから画像フレームデータが読出される。そして、読出されたデータは、ＪＰＥＧデータからＢＭＰデータにデコードされた後、携帯電話機の液晶表示部用のＶＤＰ(Video Display Processor)に転送される。
【００３７】
また、図３（ｂ）の左側の状態は、コンビニ店舗のパソコン本体５に送信要求(REQUEST)を発して取得（GET)した画像フレームデータは、書込みポインタＰｗの指示によって、伝送処理バッファＢＵＦ４（Ａ）の４番目のエリアに上書き状態で書込まれる。そして、この書込み処理に続いて、その隣の５番目のエリアにはＮＵＬＬデータが書込まれる。ここで、画像フレームデータの書込み動作に合わせて、その隣にＮＵＬＬデータを書込むのは、基準時間（１秒）内に取得できる画像フレームデータの個数は、通信環境の良否や携帯電話機の性能や他の処理との関係で不規則となるので、基準時間内に取得できたデータ個数を、ＮＵＬＬデータの位置によって把握できるようにするためである。
【００３８】
例えば、図３（ｂ）の左側の状態でタイマ割込みが生じると、２つの伝送処理バッファＢＵＦ４（Ａ），ＢＵＦ４（Ｂ）の役目が反転すると共に、読出しポインタＰｒと書込みポインタＰｗが初期値に戻される。そのため、図３（ｂ）の右側に示す通り、その後にコンビニ店舗のパソコン本体５から取得した画像フレームデータは、伝送処理バッファＢＵＦ４（Ｂ）の先頭エリアに書込まれることになる。図示の状態は、伝送処理バッファＢＵＦ４（Ｂ）の先頭エリアに最新の画像フレームデータを書込むと共に、その隣に、ＮＵＬＬデータを書込んでいる。
【００３９】
伝送処理バッファＢＵＦ４（Ａ）についても同様であり、その先頭エリカから順番に画像フレームデータが読出される。なお、書込み処理や読出し処理は、各ポインタＰｗ，Ｐｒの指示によって行われ、各処理の実行後には、書込みポインタＰｗ及び読出しポインタＰｒはインクリメント処理される。このようにして、「先の１秒間」に取得された画像フレームデータが、「次の１秒間」に表示される。
【００４０】
つまり、読出しポインタＰｒが更新されつつ（Ｐｒ←Ｐｒ＋１）、画像フレームが表示される。但し、例えば、図３（ｂ）右側の第４番目のエリアのデータの読出しが終わった後、更に、読出し処理が起動されるような場合には、それ以上の画像フレームデータが存在しないことが、ＮＵＬＬデータによって確認できるので、最終の画像フレームデータ（第４番目のデータ）を繰り返し読出すことになる。
【００４１】
以上の通り、本実施例では、伝送処理バッファＢＵＦ（Ａ），ＢＵＦ（Ｂ）を可変長で使用すると共に、１秒間に表示する画像フレームを、直前の１秒間のデータ取得実績に応じて最小値（０枚）から最大値（２０枚）まで、自動的に調整できることになる。そのため、各携帯電話機における通信事情の相違や、各携帯電話機における受信処理のソフトウェア負担の割合の相違にかかわらず、各携帯電話機にとって最適な画像表示を行うことができる。
【００４２】
ところで、携帯電話機３１aでは、このような動画データの受信及び再生処理に並行して、コンビニ店舗１ａのパソコン本体５に対して、制御コマンドを返信することもでき、この場合には監視カメラＣａの撮影方向やズームを適宜に変更することができる。なお、この点は自宅パソコン３０ａの場合も同様である。
【００４３】
但し、このような制御コマンドを受けたパソコン本体５は、その瞬間の動作状態が、監視本部２に動画データを配信している状態であれば、携帯電話機３１や自宅パソコン３０からの制御コマンドの受信を無視する。これは、監視本部２と個別監視部３から重複して矛盾する指令を受ける可能性があるので、かかる場合に、監視本部２での中央監視に支障が出ることを防止するためである。
【００４４】
以上、本発明の一実施例について具体的に説明したが、具体的な記載内容は、単なる例示に過ぎず、本発明の趣旨を逸脱することなく各種の変更が可能である。例えば、伝送処理バッファＢＵＦ４は、必ずしもダブルバッファ構成でなくても良く、この場合には、例えば、コンビニ店舗パソコンの伝送処理バッファＢＵＦ２と同様に、読出しポインタＰｒを書込みポインタＰｗより、一つ小さくすれば良い（Ｐｒ＝Ｐｗ−１）。
【００４５】
この場合には、１秒間の表示遅れが起こらず、コンビニ店舗から取得した最新の画像フレームデータが表示されることで、ほぼリアルタイムな表示動作が実現される。但し、この方式の場合には、折角、取得した画像フレームデータも、使用されない（読出し動作がスキップされる）場合があるという欠点がある。
【００４６】
また、本システムを利用すれば、自宅パソコン３０と、各店舗のパソコン本体５…５との間でＴＶ電話システムを構築することもできる。この場合には、自宅パソコン３０やパソコン本体５に、マイク及びスピーカを備えたヘッドセットと、話者に焦点を合わせたカメラを追加するだけで良い。
【００４７】
また、上記の実施例では、監視対象１…１に配置された監視依頼スイッチＳＷ２のＯＮ操作によって、監視本部２に監視を依頼したが、これに加えて、オーナの自宅パソコン３０ａや携帯電話機３０ｂの操作によって監視を依頼するよう構成するのも好適である。
【００４８】
最後に、コンビニ店舗１ａから通報を受けた監視本部２の係員が、大型ディスプレイ２２に写し出された画像に基づいて不審者を特定した場合の動作を説明する。本実施例では、このような場合、その後は、監視カメラＣａが不審者を自動的に追跡することになる。図５（ａ）は、この追跡処理を実現する監視本部２のコンピュータ本体２０の動作内容を説明するフローチャートである。
【００４９】
先ず、概略的な動作から説明すると、監視本部２の係員は、大型ディスプレイ２２に写し出された不審者について、マウスなどのポインタデバイスを操作して、不審者の顔の輪郭を特定する（図６の破線部参照）。なお、顔の輪郭に代えて、他の部分を特定しても良いが、なるべく顔の肌色部分のみが抽出できるよう、ズームアップした不審者について、頭髪を除いた顔の輪郭を特定するのが効果的である。
【００５０】
いずれにしても、ポインタデバイスで特定された矩形状の輪郭（以下、指定領域という）について、コンピュータ本体２０は、その指定領域の色情報を画像変換テーブルＴＢＬに記憶する。そして、その後次々と取得する画像フレームデータについては、画像変換テーブルＴＢＬを参照して、同じ色情報を持つ部分を抽出する。そして、この抽出領域を不審者の顔であると認識し、抽出領域の中心（例えば重心位置）に監視カメラＣａの焦点が合うように監視カメラＣａを制御する。
【００５１】
以下、図５（ａ）のフローチャートに基づいて説明する。監視本部のコンピュータ本体２０は、コンビニ店舗１ａから次々と取得する画像フレームデータを大型ディスプレイ２２に表示した後（ＳＴ１）、現在が追跡モードか否かを判定する（ＳＴ２）。ここで追跡モードとは、コンビニ店舗１ａから通報を受けた後、監視本部２の係員が不審者の存在を認め、この不審者を監視カメラ１ａで追跡すべきと判断した場合を意味する。このような場合、係員は、キーボードやマウスなどを使用して専用の操作（追跡開始指令の操作）を行うので、この係員による追跡開始指令によって、コンピュータ本体２０は、追跡モードに突入したことを認識することができる。
【００５２】
ステップＳＴ２の判定の結果、現在が追跡モード状態でなければ何もしないで処理を終えるが、追跡モードであれば、大型ディスプレイ２２に表示している画像フレームの全画素（ＰＩＸＥＬ）についてＲＧＢデータをＨＳＶデータに変換する（ＳＴ３）。ここで、Ｈ，Ｓ，Ｖは、それぞれＨｕｅ（色相）とＳａｔｕｒａｔｉｏｎ（彩度）とＶａｌｕｅ（明度）とを意味し、それぞれ下記（式１）〜（式３）ように算出される。
【００５３】
先ず、Ｖａｌｕｅ（明度）の値Ｖは、各画素のＲ（Ｒｅｄ）Ｇ（Ｇｒｅｅｎ）Ｂ（Ｂｌｕｅ）のレベルを（ｒ，ｇ，ｂ）で現した場合に、ｒ，ｇ，ｂの最大値ｍａｘ（ｒ，ｇ，ｂ）を採用する。すなわち、Ｖ＝ｍａｘ（ｒ，ｇ，ｂ）・・・（式１）である。
【００５４】
次に、Ｓａｔｕｒａｔｉｏｎ（彩度）の値Ｓは、ｒ，ｇ，ｂの最小値を、ｍｉｎ（ｒ，ｇ，ｂ）で表現すると、Ｓ＝（ｍａｘ−ｍｉｎ）／ｍａｘ・・・（式２）の計算で与えられる。また、Ｈｕｅ（色相）の値Ｈは、下式の何れかの値となる。
【００５５】
ｒ＝ｍａｘならＨ＝（ｇ−ｂ）／（ｍａｘ−ｍｉｎ）×６０・・・（式３）
ｇ＝ｍａｘならＨ＝（ｂ−ｒ）／（ｍａｘ−ｍｉｎ）×６０＋１２０・・・（式３）
ｂ＝ｍａｘならＨ＝（ｒ−ｇ）／（ｍａｘ−ｍｉｎ）×６０＋２４０・・・（式３）
以上のようにして、ＲＧＢデータからＨＳＶデータへの変換処理が終了すると（ＳＴ３）、次に、既に、画像変換テーブルＴＢＬが構築されているか否かが判定される（ＳＴ４）。画像変換テーブルＴＢＬは、追跡開始指令時に、係員によって特定された指定領域（不審者の顔を特定する矩形領域）の色情報を記憶したものであり、追跡モードに突入した直後に構築されて、その後はその内容が維持される。
【００５６】
ここでは、追跡モードに突入した直後であると仮定すると（ＳＴ４がＮｏ）、ステップＳＴ４の判定に続いて、画像変換テーブルＴＢＬの構築処理が行われる（ＳＴ５）。画像変換テーブルＴＢＬの構築処理では、先ず、指示領域内の各画素について、色相値Ｈのヒストグラムを求める（図７参照）。そして、このヒストグラムに基づいて、出現した全ての色相Ｈの輝度値Ｌｈを算出する。
【００５７】
輝度値Ｌｈを算出は、具体的には、出現頻度の最大度数ＭＡＸに対する、各色相の出現相対頻度を求める処理であり、色相の値がｈである画素に対応する輝度値Ｌｈを、Ｌｈ＝Ｆｈ／ＭＡＸ×２５５・・・（式４）として算出する。ここで（式４）のＦｈは、色相の値がｈである画素の出現頻度である。なお、出現しない色相Ｈについての輝度値はゼロである。
【００５８】
このようにして輝度値Ｌｈを算出して、輝度値Ｌｈと色相Ｈとを対応させることで、ターゲット追跡用の画像変換テーブルＴＢＬを構築する。先に説明した通り、構築された画像変換テーブルＴＢＬは、その後次々と取得される画像フレームデータから不審者の顔を抽出するための参照テーブルとして使用される。
【００５９】
ステップＳＴ５の処理が終われば、次に、画像変換テーブルＴＢＬを参照しつつ、現在表示されている大型ディスプレイ画面上の全ての画素について、輝度値Ｌｈを算出する。各画素については、既にＨＳＶの値が算出されているので（ＳＴ３参照）、各画素について、色相の値Ｈを検索キーにして画像変換テーブルＴＢＬを検索する。
【００６０】
そして、検出された輝度値ＬｈがＬｈ≠０の場合には、彩度の値Ｓ、及び明度の値Ｖの値が共に閾値(Threshold value)Ｔｈｓ，Ｔｈｖを超えていることを条件に（Ｓ＞ＴｈｓかつＶ＞Ｔｈｖ）、画像変換テーブルＴＢＬの規定されている輝度値Ｌｈを採用する。一方、採用条件（Ｓ＞ＴｈｓかつＶ＞Ｔｈｖ）を満たさない場合や、画像変換テーブルＴＢＬから検出される輝度値Ｌｈがゼロとなる場合については、その画素に対する輝度値ＬｈはＬｈ＝０とされる。
【００６１】
このようにして、全ての画素について輝度値を求めるので、各画素の座標位置（Ｘ，Ｙ）に対して、その輝度値Ｌｈが特定されることになり（ＳＴ６）、図５（ｂ）に示すような、（Ｘ，Ｙ，Ｌｈ）の三次元の解析空間を仮想的に構築することができる。次に、この解析空間について、輝度値Ｌｈの極大点を抽出すると共に、最外部に位置する極大点の輪郭をつなぐことで、ターゲットの輪郭（ここでは肌色を示す領域の輪郭）をほぼ抽出できることになる（ＳＴ７）。
【００６２】
そこで、捕捉された輪郭（不審者の顔）の重心位置に監視カメラＣａの焦点が合うように、監視本部２からコンビニ店舗１ａに対して、監視カメラＣａ制御用の制御データを送信する（ＳＴ８）。本実施例では、このような制御処理を実行するので、監視カメラＣａとターゲットの遠近距離が変わっても、それに対応して抽出される輪郭が変化することになり、抽出される輪郭の中心にカメラが向くように制御することでターゲットを連続的に追跡することができる。なお、体の向きが変わっても抽出される輪郭が小さくなるだけで何の問題もない。また、仮に、顔を背けても、その後、顔の位置が元に戻れば、再度、追跡動作を再開することができる。
【００６３】
ところで、本実施例では、彩度Ｓと明度Ｖに、それぞれ閾値Ｔｈｓ，Ｔｈｖを設け、この閾値Ｔｈｓ，Ｔｈｖを下回る画素については輝度値Ｌｈをゼロとしている。この閾値Ｔｈｓ，Ｔｈｖについては、捕捉されるべきターゲットの輪郭内では、輝度値Ｌｈが低下し過ぎず、一方、ターゲットの輪郭外では輝度値Ｌｈが十分低下するように動的に変化させるのが好ましい。このように動的に閾値を変化させることで、次々と取得される画像データの撮影条件の相違を吸収することができる。
【００６４】
閾値を変化させる具体的な手法については特に限定されないが、例えば、閾値の初期値については、図８（ａ）に示すように処理すれば良い。すなわち、最初に特定される検査領域と、その周りの矩形リング状の対照領域のそれぞれについて、彩度Ｓと明度Ｖの平均値を算出し、内外領域それぞれに算出された彩度Ｓと明度Ｖの平均値を対比して、その対比結果に基づいて閾値Ｔｈｓ，Ｔｈｖの初期値を決定する。
【００６５】
そして、その後は、顔の輪郭が特定される毎に、特定された輪郭の内外領域について平均的な彩度Ｓと明度Ｖをそれぞれ対比して閾値Ｔｈｓ，Ｔｈｖを動的に変化させる。捕捉ターゲットは、その位置を急変させようとする可能性があるが、監視カメラＣａが前後して取得する画像フレームデータには大きな差がないので、移動するターゲットとその周りの画像との関係で、閾値をスムーズに変化させることが可能となり、その結果、ターゲットを有効に捕捉し続けることができる。
【００６６】
なお、図８（ｂ）に示すように、顔の輪郭（捕捉領域）を含む矩形領域と、その矩形領域の周りに位置する矩形リング状の対照領域との内外を対比しても良い。このような場合には、捕捉輪郭を含む横Ｌｘ×縦Ｌｙの内側矩形領域と、この内側領域を覆う、横１．４×Ｌｘ、縦１．４×Ｌｙの外側矩形領域を想定すると、内側矩形領域と対照領域（＝外側矩形領域−内側矩形領域）の面積が同じになって演算処理上便利である。
【図面の簡単な説明】
【００６７】
【図１】実施例に係る監視システムの全体構成を示すブロック図である。
【図２】図１に示す監視システムについて、各装置間の画像データの伝送ルートを示す概略図である。
【図３】監視対象から監視本部やその他の監視部に配信されて表示される画像データの流れを説明する図面である。
【図４】携帯電話機における処理内容を概略的に示す模式図である。
【図５】ターゲットを捕捉して追跡する処理を説明するフローチャートである。
【図６】ターゲットを捕捉する処理を説明する図面である。
【図７】捕捉ターゲットの色相の発生頻度を表す図面である。
【図８】閾値を動的に変化させる手法を説明する図面である。
【符号の説明】
【００６８】
Ｃａ            監視カメラ
ＳＷ１，ＳＷ２  スイッチ類
１              監視対象
２              監視本部
３              個別監視部
３１            携帯端末（携帯電話機）
４Ａ，４Ｂ      通信回線
５              コンピュータ装置（パソコン本体）
【図１】
2006186506.tif 000003
【図２】
2006186506.tif 000004
【図３】
2006186506.tif 000005
【図４】
2006186506.tif 000006
【図５】
2006186506.tif 000007
【図６】
2006186506.tif 000008
【図７】
2006186506.tif 000009
【図８】
2006186506.tif 000010