(57)【要約】【課題】瞬間的な出来事を見落す可能性を極力少なくすることができる監視システムを提供する。【解決手段】画像サーバから送信された画像データを表示する画像ビューワは、現在の画像データに対して過去の画像データを重畳するか否かを決定する（ステップＳ９０３）。この重畳を行う場合、メモリに保持されている過去の画像のうち、現在の画像に重畳する重畳用画像となる画像が決定される。そして、重畳用画像として決定された画像が取得され（ステップＳ９０５）、現在の画像に対して透過的に重畳されて表示されるように決定された画像と現在の画像との合成が行われる（ステップＳ９０６）。【選択図】図２
2007180605.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して画像送信装置より送信された画像を監視端末装置において表示する監視システムであって、
前記監視端末装置は、
前記画像送信装置により予め送信された過去の画像を保持するための画像保持手段と、
前記画像保持手段に保持されている過去の画像のうち、前記画像送信装置により送信される現在の画像に重畳する重畳用画像となる画像を決定するための重畳画像決定手段と、
前記重畳画像決定手段により決定された重畳用画像となる画像と前記現在の画像との重畳処理を行う重畳手段と、
前記重畳手段により重畳処理された画像を表示装置に出力する表示手段と、
を有することを特徴とする監視システム。
【請求項２】
前記画像送信装置はビデオカメラを有し、前記重畳画像決定手段は、前記ビデオカメラの動作状態が変更していると判断した場合、現在の画像に対して重畳処理を行わないことを決定することを特徴とする請求項１記載の監視システム。
【請求項３】
前記画像送信装置は、前記撮影された画像を記録媒体に録画し、該記録媒体に録画された画像を再生する録画再生手段を有し、前記画像送信装置から送信される画像は、前記録画再生手段により前記記録媒体から再生された画像であることを特徴とする請求項１に記載の監視システム。
【請求項４】
前記画像送信装置はビデオカメラを有し、
前記重畳画像決定手段は、前記ビデオカメラのズーム倍率が高くなるに従って、前記画像保持手段に保持されている過去の画像のうち、より現在の画像に時間的に近い画像を、重畳用画像として決定することを特徴とする請求項１記載の監視システム。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載のシステムの監視端末装置。
【請求項６】
ネットワークを介して画像送信装置より送信された画像を監視端末装置において表示する監視システムであって、
前記画像送信装置は、
ビデオカメラによって撮影された画像を記録媒体に録画し、該記録媒体に録画された画像を間引き再生する録画再生手段と、
前記記録媒体に記録されている画像のうち、前記間引き再生手段によって間引きされる画像を再生される画像に重畳する処理を行う重畳手段とを有し、
前記監視端末装置は、
前記重畳手段により重畳処理された画像を表示装置に出力する表示手段と、
を有することを特徴とする監視システム。
【請求項７】
ネットワークを介して画像送信装置より送信された画像を監視端末装置において表示する監視方法であって、
前記監視端末装置において、前記画像送信装置より送信された画像を過去の画像としてメモリに保持する画像保持ステップと、
前記監視端末装置において、前記メモリに保持されている過去の画像のうち、前記画像送信装置により送信される現在の画像に重畳する重畳用画像となる画像を制御ユニットが決定するための重畳画像決定ステップと、
前記重畳画像決定ステップにおいて決定された重畳用画像となる画像と前記現在の画像との重畳処理を前記制御ユニットが行う重畳ステップと、
前記重畳処理により得られた画像および現在の画像のいずれか一方を前記制御ユニットが表示装置に出力する表示ステップと、
を有することを特徴とする監視方法。
【請求項８】
請求項７に記載の監視方法を実行するためのプログラム。
【請求項９】
ネットワークを介して画像送信装置より送信された画像を監視端末装置において表示する監視方法であって、
前記画像送信装置において、ビデオカメラによって撮影された画像を記録媒体に録画し、該記録媒体に録画された画像を制御ユニットが間引き再生する録画再生ステップと、
前記記録媒体に記録されている画像のうち、前記間引き再生ステップにおいて間引きされる画像を再生される画像に重畳する処理を前記制御ユニットが行う重畳ステップと、
前記監視端末装置において、前記重畳ステップにおいて重畳処理された画像を前記制御ユニットが表示装置に出力する表示ステップと、
を有することを特徴とする監視方法。
【請求項１０】
請求項９に記載の監視方法を実行するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システム、監視方法およびプログラムに関する。
【背景技術】
【０００２】
遠隔監視システムとして、監視対象場所にビデオカメラを設置し、このビデオカメラにより撮影された画像を、他の場所に設置された表示装置に送信し、表示することにより、監視対象場所の監視を行うものがある（例えば、特許文献１参照）。
【特許文献１】特開２０００−０５９７７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した、従来の遠隔監視システムを用いる場合、基本的には、ディスプレイに表示される動画像をユーザが目視することにより監視が行われることになる。
【０００４】
しかしながら、ユーザが常にディスプレイに表示されている動画像を注視していても、ユーザは、例えば画面上を高速で横切る物体などに反応することができず、この物体を見落とすことがある。すなわち、瞬間的に発生する出来事を見逃がす恐れがある。
【０００５】
本発明の目的は、瞬間的な出来事を見落す可能性を極力少なくすることができる遠隔監視システム、遠隔監視方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、上記目的を達成するため、ネットワークを介して画像送信装置より送信された画像を監視端末装置において表示する監視システムであって、前記監視端末装置は、前記画像送信装置により予め送信された過去の画像を保持するための画像保持手段と、前記画像保持手段に保持されている過去の画像のうち、前記画像送信装置により送信される現在の画像に重畳する重畳用画像となる画像を決定するための重畳画像決定手段と、前記重畳画像決定手段により決定された重畳用画像となる画像と前記現在の画像との重畳処理を行う重畳手段と、前記重畳手段により重畳処理された画像を表示装置に出力する表示手段と、を有することを特徴とする監視システムを提供する。
【発明の効果】
【０００７】
本発明によれば、瞬間的な出来事を見落す可能性を極力少なくすることができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について図面を参照しながら説明する。
【０００９】
（第１の実施の形態）
図１０は本実施の形態における遠隔監視システムの全体構成図である。図１１は図１０の監視カメラ装置の構成を示すブロック図である。
【００１０】
遠隔監視システムは、図１０に示すように、画像を監視端末装置に送信する画像送信装置として機能する監視カメラ装置２０３と、監視端末装置２０４とを備える。監視カメラ装置２０３は、場所Ａに設置されている。監視端末装置２０４は、場所Ａと離れている場所Ｂに設置されており、コンピュータネットワーク２０５を介して、監視カメラ装置２０３と接続される。ここで、コンピュータネットワーク２０５は、ＬＡＮ（Local Area Network）またはＷＡＮ（Wide Area Network）などからなる。
【００１１】
監視カメラ装置２０３は、図１１に示すように、ビデオカメラ３０７と、カメラ装置３０１とを備える。カメラ装置３０１は、メインメモリ３０３に格納されているプログラムに従って装置全体の制御を行うＣＰＵ（制御ユニット）３０２を有する。ＣＰＵ３０２には、バス３０５を介して、情味メインメモリ３０３とともに、ビデオキャプチャ装置３０８、カメラ制御装置３０９、ネットワークインタフェース３０６および二次記憶装置３０４が接続される。
【００１２】
ビデオキャプチャ装置３０８は、ビデオカメラ３０７のビデオ信号をコンピュータで処理可能なデジタル画像データ（ビットマップデータなど）に変換する。カメラ制御装置３０９は、ビデオカメラ３０７の撮影条件（撮影姿勢、方向、ズーム倍率など）を示す制御情報に基づいて撮影を行うようにビデオカメラ３０７を制御する。例えば、ビデオカメラ３０７を搭載する雲台装置の動作が制御される。また、ビデオカメラ３０７のズーム機構の動作が制御される。二次記憶装置３０４は、撮影された映像信号を格納するためのハードディスク装置などからなる記憶装置である。ネットワークインタフェース３０６は、コンピュータネットワーク２０５上の機器との通信を行うためのインタフェースである。なお、カメラ装置３０１とビデオカメラ３０７とが一体的に構成されてもよい。
【００１３】
図１２は画像サーバプログラム４０１のモジュール構成を示すブロック図である。この画像サーバプログラム４０１は、カメラ装置３０１の２次記憶装置３０４に格納される。そして、ＣＰＵ３０２は、必要に応じてメインメモリ３０３に画像サーバプログラム４０１を読み出し、このプログラムに基づいて画像の送信およびビデオカメラ３０７の制御を実行する。
【００１４】
画像サーバプログラム４０１は、図１２に示すように、データ送受信モジュール４０２、受信データ解析モジュール４０３、画像データ取得モジュール４０４、およびカメラ制御モジュール４０５を有する。
【００１５】
データ送受信モジュール４０２は、コンピュータネットワーク２０５を介して、ＴＣＰ／ＩＰやＵＤＰ／ＩＰなどの標準的なプロトコルスタックを用いて、画像ビューワ（監視端末装置２０４）とデータのやり取りを行うためのモジュールである。受信データ解析モジュール４０３は、画像ビューワから送信されるデータを解析し、そのデータに含まれる各種要求（画像の要求やビデオカメラを操作する要求）を抽出するモジュールである。抽出された要求は、画像データ取得モジュール４０４およびカメラ制御モジュール４０５へ転送され、この要求に応じた処理が、画像データ取得モジュール４０４およびカメラ制御モジュール４０５により実行される。
【００１６】
画像データ取得モジュール４０４は、ビデオキャプチャ装置３０８からデジタル画像データを取得し、そのデータを、データ送受信モジュール４０２を介して画像ビューワに送信するモジュールである。このとき、画像データは、例えばＪＰＥＧなどのデータ形式に変換された後に、画像ビューワに送信される。カメラ制御モジュール４０５は、画像ビューワからの要求に応じて例えばビデオカメラ３０７の向き、ズーム倍率などの撮影条件の設定を行い、この設定された撮影条件に応じた制御情報を生成する。
【００１７】
次に、監視端末装置２０４について図１３および図１４を参照しながら説明する。図１３は図１０の監視端末装置の構成を示すブロック図である。図１４は監視端末装置２０４（画像ビューワ）のディスプレイの表示画面上の表示例を示す図である。
【００１８】
監視端末装置２０４は、一般的なコンピュータから構成され、図１３に示すように、ＣＰＵ（制御ユニット）２０６、ＲＯＭ２０７、ＲＡＭ２０８、ハードディスク装置（ＨＤ）２０９を有する。また、監視端末装置２０４は、ネットワークインタフェース２１０、マウスやキーボードなどの入力装置２１１、ディスプレイ２１２などを有する。
【００１９】
ディスプレイ２１２には、例えば図１４に示すような画面が表示される。この画面には、画像データ表示領域６０２、パン角度指定領域６０３、チルト角度指定領域６０４、ズーム倍率指定領域６０５およびカメラ操作ボタン６０６が含まれる。
【００２０】
画像データ表示領域６０２には、画像サーバから取得した画像データが表示される。また、パン角度指定領域６０３には、画像データ表示領域６０２に表示されている画像の撮影時のカメラヘッドの左右の向きを表す角度（パン角度）が表示される。この角度は、正面を０（ｒａｄ）とし、右方向は正の値で、左方向は負の値で表される角度である。チルト角度指定領域６０４には、画像データ表示領域６０２に表示されている画像の撮影時のカメラヘッドの上下の向きを表す角度（チルト角度）が表示される。この角度は、水平面を０（ｒａｄ）とし、上方向は正の値で、下方向は負の値で表わされる角度である。ズーム倍率指定領域６０５には、画像データ表示領域６０２に表示されている画像の撮影時のズーム倍率が表示される。
【００２１】
また、パン角度指定領域６０３、チルト角度指定領域６０４、ズーム倍率指定領域６０５には、ユーザのマウス操作またはキー入力により、適当な値を入力することができる。ここで、パン角度指定領域６０３、チルト角度指定領域６０４、ズーム倍率指定領域６０５のそれぞれに値を入力してカメラ操作ボタン６０６を押すと、入力された値が撮影条件として、画像サーバに送信される。画像サーバは、上記撮影条件に基づいてビデオカメラの向き、ズーム倍率を制御する。
【００２２】
このような構成において、監視カメラ装置２０３は、コンピュータネットワーク２０５を介して、画像を監視端末装置２０４に送信する画像サーバとして動作する。監視端末装置２０４は、コンピュータネットワーク２０５を介して、監視カメラ装置２０３からの画像を受信し、ディスプレイに表示する画像ビューワとして機能する。また、監視端末装置２０４は、上述した構成によって、ビデオカメラ３０７の制御を行うためにカメラ装置３０１にビデオカメラ３０７の制御命令を送信する。
【００２３】
図１は第１の実施の形態に係る遠隔監視システムの監視端末装置２０４の画像ビューワプログラム１０１のモジュール構成を示すブロック図である。画像ビューワプログラム１０１は、監視端末装置２０４のＲＯＭなどのメモリに内蔵される。そして、監視端末装置２０４のＣＰＵ２０６は、この画像ビューワプログラムに従って以下の処理を実行する。
【００２４】
本実施の形態の画像ビューワプログラム１０１は、図１に示すように、データ送受信モジュール１０２、受信データ解析モジュール１０３、受信画像描画モジュール１０４、カメラ操作ＵＩ表示モジュール１０５、およびユーザ操作検知モジュール１０６を有する。また、画像ビューワプログラム１０１は、画像データ保持モジュール１０７、重畳画像データ決定モジュール１０８、および画像重畳モジュール１０９を有する。
【００２５】
データ送受信モジュール１０２は、監視カメラ装置２０３とのデータの送受信を行うモジュールである。受信データ解析モジュール１０３は、監視カメラ装置２０３から送信されるデータを解析し、そのデータに含まれる画像データおよびそれとともに送信されるカメラ情報を抽出するモジュールである。ここで、カメラ情報とは、例えばビデオカメラ３０７の向き、ズーム倍率、フォーカスや露出の設定などの値を含む情報である。抽出された画像データは、受信画像描画モジュール１０４およびカメラ操作ＵＩ表示モジュール１０５へ転送される。
【００２６】
受信画像描画モジュール１０４は、カメラ装置３０１から取得した画像データをディスプレイに表示するように制御するモジュールである。カメラ操作ＵＩ表示モジュール１０５は、図１４に示すカメラ操作のための画面をディスプレイに表示するように制御するモジュールである。ユーザ操作検知モジュール１０６は、図１４に示す画面上でのユーザの操作（マウスの操作やキーボード入力）を検知し、その内容に対応するカメラ操作要求を生成するモジュールである。
【００２７】
画像データ保持モジュール１０７は、最新画像データおよび過去の画像データを含む画像データをＲＡＭなどのメモリ内に保持させるためのモジュールである。重畳画像データ決定モジュール１０８は、画像重畳処理を行うか、画像重畳処理を行うことなく最新画像データのみの表示および記録を行うか、あるいは画像重畳処理を行うことなく最新画像データのみの表示を行うかを決定するモジュールである。ここで、画像重畳処理を行うことが決定された場合、上記メモリ内に保持されている画像データの中から、最新画像データに重畳する画像データとなる画像データが決定される。画像重畳モジュール１０９は、重畳画像データ決定モジュール１０８により決定された画像データを最新画像データの上に透過的に重畳するモジュールである。
【００２８】
本実施の形態の画像ビューワ（監視端末装置２０４）の画像処理は、画像ビューワプログラム１０１に基づいて、図２のフローチャートに示す手順に従ってＣＰＵの処理によって実行される。
【００２９】
監視端末装置２０４において、ＣＰＵ２０６は、データ送受信モジュール１０２を実行させることにより、画像データおよびカメラ情報データを含むデータを受信する（ステップＳ９０１）。受信されたデータは、受信データ解析モジュール１０３の実行により画像データとカメラ情報データに分離される（ステップＳ９０２）。
【００３０】
次いで、ＣＰＵ２０６は、重畳画像データ決定モジュール１０８を実行させることにより、重畳決定処理を行う（ステップＳ９０３）。この重畳決定処理により、画像重畳処理を行うか、画像重畳処理を行うことなく、最新画像データのみの表示および記録を行うか、画像重畳処理を行うことなく、最新画像データのみの表示を行うかが決定される。そして、この処理により決定された結果を示す重畳決定処理結果が生成される。この決定処理の詳細については、後述する。
【００３１】
次いで、上記重畳決定処理により生成された重畳決定処理結果に応じた処理への移行が行われる（ステップＳ９０４）。ここで、重畳決定処理結果が画像重畳処理を行うことを示す場合、重畳用画像データとして決定された画像データが、画像データ保持モジュール１０７の実行により、メモリから読み出される（ステップＳ９０５）。ここで、メモリには、後述するように、重畳用画像データ候補としての過去の画像データが格納されている。
【００３２】
次いで、ＣＰＵ２０６は、画像重畳モジュール１０９を実行させることにより、画像重畳処理を行う（ステップＳ９０６）。この画像重畳処理においては、重畳用画像データとして決定された画像データが最新画像データ（現在の画像データ）上に半透明で表示されるように、重畳用画像データとして決定された画像データと最新画像データとの合成が行われる。これは、例えば、一般的なアルファブレンディングなどの手法により実施可能である。
【００３３】
上記画像重畳処理により合成された画像データは、受信画像描画モジュール１０４の実行によって、ディスプレイ上の画像データ表示領域（図１４の６０２）に表示される（ステップＳ９０７）。例えば、図４に示すような画像が表示される。ここで、図４中、点線部分が過去の画像データの一部である。また、カメラ情報データは、最新画像データに対応しており、カメラ操作ＵＩ表示モジュール１０５の実行により、対応する情報がディスプレイ上の対応する領域に表示される（ステップＳ９０８）。ここでは、カメラ情報データに含まれるパン角度がディスプレイ上のパン角度指定領域（図１４の６０３）に表示される。また、チルド角度が、チルト角度指定領域（図１４の６０４）に、ズーム倍率がズーム倍率指定領域（図１４の６０５）にそれぞれ表示される。
【００３４】
次いで、最新画像データが、画像データ保持モジュール１０７の実行により、上記分離されたカメラ情報データとともにメモリ（ＨＤまたはＲＡＭ）に記憶される（ステップＳ９０９）。この際、メモリ内の最も古い画像データは、対応するカメラ情報データとともに消去される。そして、本処理は終了する。
【００３５】
上記重畳決定処理結果が最新画像データのみの表示およびその記録を行うことを示す場合、画像重畳処理を行うことなく、最新画像データが受信画像描画モジュール１０４の実行により、ディスプレイ上の画像データ表示領域に表示される（ステップＳ９０７）。また、カメラ情報データが、カメラ操作ＵＩ表示モジュール１０５の実行により、対応する情報がディスプレイ上の対応する領域に表示される（ステップＳ９０８）。そして、最新画像データが、画像データ保持モジュール１０７の実行により、メモリに記録され（ステップＳ９０９）、本処理は終了する。
【００３６】
上記重畳決定処理結果が最新画像データのみの表示を行うことを示す場合、画像重畳処理を行うことなく、最新画像データが受信画像描画モジュール１０４の実行により、ディスプレイ上の画像データ表示領域に表示される（ステップＳ９１０）。また、カメラ情報データが、カメラ操作ＵＩ表示モジュール１０５の実行により、対応する情報がディスプレイ上の対応する領域に表示される（ステップＳ９１１）。続いて、メモリ内の画像データの全てが消去される（ステップＳ９１２）。これは、後述するようにカメラ操作終了後に得られる画像データに対して、カメラ操作前の画像データが重畳されることを未然に防止するためである。そして、本処理は終了する。
【００３７】
次に、重畳画像データ決定モジュール１０８の実行による重畳処理を行うか否かの決定処理について図３を参照しながら説明する。図３は図２のステップＳ９０３における処理に対応する。
【００３８】
この決定処理においては、図３に示すように、まず、画像サーバ（監視カメラ装置２０３）から受信した最新のカメラ情報データと画像ビューワ（監視端末装置２０４）のメモリに保持されている画像データに対応するカメラ情報データとが比較される（ステップＳ１００１）。そして、この比較結果に基づいて、両者のカメラ情報データが異なるか否かの判定が行われる（ステップＳ１００２）。ここで、両者のカメラ情報データが異なる場合、ビデオカメラ３０７の向きなどの動作状態が操作されることによって変更中であると見なされ、画像重畳処理中止が決定される（ステップＳ１００３）。すなわち、カメラ操作中の画像データに対しては、画像重畳処理が行われないことになる。カメラの動作状態が変更中は、画像の変化が激しく、過去の画像を重畳すると、逆に画像が見づらくなるためである。そして、画像重畳処理を行わずに最新画像データのみを表示することを示す重畳決定処理結果が生成され（ステップＳ１００４）、本処理は終了する。この重畳決定処理結果の場合、上述したように、最新画像データのみがディスプレイに表示されるが、この最新画像データは、メモリには記録されない。また、メモリ内の画像データの全ては、消去される。メモリ内の画像データの全てを消去するのは、カメラ操作終了後に得られる画像データに対して、カメラ操作前の画像データが重畳されることを未然に防止するためである。
【００３９】
上記ステップＳ１００２において両者のカメラ情報データが一致する（カメラ情報データに変化がない）と判定された場合、カメラ情報のズーム倍率の値に基づいて最新画像データと重畳用画像データ間の間隔が算出される（ステップＳ１００５）。
【００４０】
なお、本実施の形態においては、現在設定されているズーム倍率が大きくなるに従い、最新画像データと重畳用画像データ間の間隔を短くとるものとする。すなわち、ビデオカメラ３０７のズーム倍率が高くなるに従って、メモリに保持されている過去の画像のうち、より現在の画像に時間的に近い画像を重畳常用画像として選択する。具体的には、設定されているズーム倍率が１倍であるときに、最新画像データと重畳用画像データ間の間隔を４秒とする基準が設定され、４秒前の過去の画像を重畳用画像として選択している。そして、設定されているズーム倍率が１倍であるときに、また、設定されているズーム倍率が２倍であるときには、１秒前の画像データが、設定されているズーム倍率が４倍であるときには、０．５秒前の画像データが、重畳用画像データの候補とされる。
【００４１】
すなわち本実施の形態において、重畳用画像データの候補となる画像データとして、４秒分の過去の画像データがメモリに保持される。そして、メモリに新たな画像データが記録される毎に、メモリ内の最も古い画像データは、消去されることになる。
【００４２】
次いで、最新画像データに対して、算出された間隔があいている画像データ（重畳用画像データ）がメモリ内に保持されているか否かの確認が行われる（ステップＳ１００６）。そして、この確認の結果に基づいて重畳用画像データとなる画像データがメモリ内に保持されているか否かの判定が行われる（ステップＳ１００７）。
【００４３】
上記ステップＳ１００７において重畳用画像データとなる画像データがメモリ内に保持されていないと判定された場合、画像重畳処理の中止が決定される（ステップＳ１０１０）。そして、画像重畳処理を行わずに、最新画像データのみの表示およびその記録を行うことを示す重畳決定処理結果が生成され（ステップＳ１０１１）、本処理は終了する。この重畳決定処理結果の場合、上述したように、最新画像データのみがディスプレイに表示され、またこの最新画像データがメモリに記録されることになる。
【００４４】
上記ステップＳ１００７において重畳用画像データとなる画像データがメモリ内に保持されていると判定された場合、画像重畳処理を行うことが決定される（ステップＳ１００８）。そして、画像重畳処理を行うことを示す重畳決定処理結果が生成される（ステップＳ１００９）。この重畳決定処理結果には、重畳用画像データとなる画像データを特定する情報（アドレス情報など）が含まれる。そして、本処理は終了する。
【００４５】
このように、本実施の形態によれば、現在の画像に過去の画像が重畳されるので、瞬間的な出来事を見落す可能性を極力少なくすることができる。
【００４６】
ここで、上述した処理においては、ビデオカメラの動作状態が変更中であるか否かの判定（ステップＳ１００１）が、最新画像データのカメラ情報データが画像ビューワのメモリに保持されているカメラ情報データと異なる否かに応じて行われている。これに代えて、両者のカメラ情報データ間に所定値以上の差があるか否かに応じて、上記判定を行うようにすることもできる。この場合、例えばカメラの向きを少しずらした程度のような違いにより両者のカメラ情報データ間に差異が生じた場合でも、画像重畳処理により得られる画像は、見づらくならない。
【００４７】
また、カメラ情報データの変化に変えて、画像データの変化量に基づいて画像重畳処理を行うか否かを決定するようにしてもよい。この場合、上記ステップＳ１００１に相当するステップで、画像サーバから送信された最新画像データとメモリ内の最も新しい画像データ（この画像はステップＳ９０９で記録された画像データである）が比較される。ここで、画像データがＪＰＥＧなどで圧縮されている場合、前処理として画像データをデコードする必要がある。但し、デコードせずに画像データを比較する方法がある場合は、このデコードを行う必要はない。
【００４８】
画像データの変化量は、例えば、比較した２つの画像データの各ビットが一致するか否かをチェックし、異なるビットが全体に占める割合を計算することによって、求めることができる。この方法により、画像データの変化量を計算した場合、得られた値が大きいほど、画像データの変化量が大きいと見なすことができる。当然ながら、より高度な比較手段が存在する場合は、その手段を使用してもよい。ただし、この場合も変化の大きさを１次元の数値で表現することが要求される。
【００４９】
ここで、画像データの変化量が僅かに異なる場合に、重畳画像データの決定処理を中止することは現実的ではない。これは、画像データが光量の微妙な変化に応じて常に変化するためのである。よって、画像データの変化量が所定値を超えた場合に、カメラの動作状態が変更中であると判断して、決定処理を中止するようにすることが望ましい。
【００５０】
また、画像全体ではなく、画像のある領域に注目し、各画像の注目する領域間における変化量を画像データ間の変化量として算出する方法を用いることが可能である。この方法により、不必要な領域での画像変化を検知することを未然に防止することができる。また、各画像の注目する領域間における変化量の算出に掛かる負荷を、画像全体を比較して画像データ間の変化量を算出する場合に比して、軽減することができる。
【００５１】
また、このような画像データ間の変化量を用いる方法の場合、画像データ間の変化量の閾値および変化量の算出対象となる画像領域として、予め決められている固定値および領域を用いることができる。また、これに代えて、これらをユーザが指定／変更することも可能である。この場合、例えば図５に示すように、監視端末装置２０４側のディスプレイのユーザインタフェース画面上で画像間の変化量の閾値および変化量の算出対象となる画像領域を指定および変更することができる。図５は画像間の変化量の閾値および変化量の算出対象となる画像領域を指定および変更するためのユーザインタフェース画面の一例を示す図である。
【００５２】
図５に示すように、上記ユーザインタフェース画面は、ディスプレイ１３０１に表示される。このユーザインタフェース画面には、画像データ表示領域１３０２、変化量閾値指定スライダ１３０３、変化量判定対象領域１３０４、設定取得ボタン１３０５、および設定反映ボタン１３０６が含まれる。画像データ表示領域１３０２には、現在のライブ画像が表示される。
【００５３】
変化量閾値指定スライダ１３０３は、スライド操作可能なものであり、この変化量閾値指定スライダ１３０３をスライド操作にすることによって、変化量の閾値を指定することができる。本例では、１％〜１００％の範囲内の任意の値を指定することができる。
【００５４】
変化量判定対象領域１３０４は、変化量の算出対象となる画像の領域を表す矩形である。変化量判定対象領域１３０４の大きさおよび位置は、例えばマウス操作などにより、所望の大きさおよび位置に変更することができる。ここでは、変化量判定対象領域１３０４として、単一の矩形領域が設定されているが、これに代えて、円形などの他の形状を設定することも可能である。また、変化量判定対象領域１３０４として、複数の領域を設定するようにしてもよい。
【００５５】
設定取得ボタン１３０４は、現在設定されている変化量判定対象領域１３０４を表示するためのボタンである。この設定取得ボタン１３０４がの選択が検出されると、重畳画像データ決定モジュール１０８に現在保持されている変化量判定対象領域１３０４の大きさおよび位置を示すデータが取得される。そして、取得されたデータに基づいて現在設定されている変化量判定対象領域１３０４が画像データ表示領域１３０２内に表示される。
【００５６】
設定反映ボタン１３０５は、変化量閾値指定スライダ１３０３により指定された閾値およびマウス操作などにより指定された変化量判定対象領域１３０４の大きさおよび位置を重畳画像データ決定モジュール１０８に設定するためのボタンである。
【００５７】
このように、画像データ間の変化量を用いる場合も、カメラ情報データを用いる場合と同様に、画像重畳処理を行うか、画像重畳処理を行うことなく、最新画像データのみの表示および記録を行うか、画像重畳処理を行うことなく、最新画像データのみの表示を行うかを決定することができる。
【００５８】
また、逆に、カメラ操作が行われていない状態で、画像データの変化量が所定値を超えた場合に、重畳処理を行うようなフローを採用することも可能である。
【００５９】
（第２の実施の形態）
次に、本発明の第２の実施の形態について図６を参照しながら説明する。図６は第２の実施の形態に係る遠隔監視システムの画像ビューワ（監視端末装置２０４）のディスプレイに表示されるユーザインタフェース画面の一例を示す図である。
【００６０】
本実施の形態の遠隔監視システムは、画像サーバ（監視カメラ装置２０３）により録画された画像を画像ビューワ（監視端末装置２０４）に送信し、表示するシステムである。すなわち、本実施の形態の遠隔監視システムにおいては、画像サーバ（監視カメラ装置２０３）がビデオカメラ３０７により撮影された画像を所定形式のデジタル画像に変換して二次記憶装置３０４に録画（記録）する機能を有する。画像サーバ（監視カメラ装置２０３）は、画像ビューワ（監視端末装置２０４）からの要求を受信すると、二次記憶装置３０４に録画された画像データを再生する。この再生された画像データは、画像ビューワへ送信される。画像ビューワ（監視端末装置２０４）は、画像サーバ（監視カメラ装置２０３）から送信された画像データを受信すると、この画像データを監視端末装置２０４のディスプレイの画面上に表示する。
【００６１】
ここで、本実施の形態の監視カメラ装置２０３および監視端末装置２０４のハードウェア構成は、上記第１の実施の形態と同じである。但し、本実施の形態は、ソフトウェア構成上、上記第１の実施の形態と異なる。具体的には、図１２に示すモジュール構成の画像サーバプログラムに対して、画像データを二次記憶装置に保存するための画像データ保存モジュールが追加されることになる。また、録画データを再生するための再生制御モジュールが追加されることになる。さらに、ユーザ操作によりビデオカメラを操作する代わりに、予め設定された動作を一定周期で繰り返すためのカメラ自動運転モジュールが追加されることになる。このカメラ自動運転モジュールは、本実施の形態を実現するために必要なものではなく、これを追加しない構成の画像サーバプログラムを用いることも可能である。
【００６２】
また、第２の実施の形態の画像ビューワプログラムは、図１の構成において、カメラ操作ＵＩ表示モジュール１０５の代わりに録画再生操作ＵＩ表示モジュールを有する。この録画再生操作ＵＩ表示モジュールは、図６に示すような、再生の開始、終了などを指示するためのユーザインタフェース画面を提供する。このユーザインタフェース画面は、ディスプレイ１１０１に表示される。
【００６３】
このユーザインタフェース画面には、画像データ表示領域１１０２、再生開始日時指定領域１１０３、再生開始ボタン１１０４、再生開始ボタン１１０４、再生停止ボタン１１０５が含まれる。画像データ表示領域１１０２には、画像サーバから送信された画像が表示される。再生開始日時指定領域１１０３には、再生の対象となる録画画像の日時と時刻が入力される。そして、録画画像の日時と時刻が再生開始日時指定領域１１０３に入力された状態で、再生開始ボタン１１０４の選択が検出されると、画像サーバ（監視カメラ装置２０３）に対して入力された日時と時刻の録画再生が指示される。また、画像サーバ（監視カメラ装置２０３）による録画画像の再生中に、再生停止ボタン１０５の選択が検出されると、画像サーバ（監視カメラ装置２０３）に対して、録画再生の停止が指示される。
【００６４】
本実施の形態の遠隔監視システムは、通信開始／終了処理、録画再生開始／終了処理、および再生画像取得処理を行う。ここで、画像サーバ（監視カメラ装置２０３）は、常時、ビデオカメラ３０７により撮影された画像を録画しているものとする。
【００６５】
通信開始／終了処理は、上記第１の実施の形態と同様に、ＴＣＰによる接続／切断として処理されるものとする。
【００６６】
ここで、上記再生開始ボタン１１０４，再生停止ボタン１１０５に対するユーザの操作は、ユーザ操作検知モジュール（図１の１０６）によって検知される。そして、その操作が再生の開始を要求するものであれば、再生開始要求が、終了を要求するものであれば、再生終了要求がデータ送受信モジュール１０２により、コンピュータネットワーク２０５を介して、画像サーバ（監視カメラ装置２０３）に送信される。ここで、再生開始要求には再生開始日時の情報が付加されている。
【００６７】
画像サーバ（監視カメラ装置２０３）が上記再生開始要求を受信すると、受信データ解析モジュール４０３は、受信したデータの内容を解析し、対応する指示を再生制御モジュールに渡す。再生制御モジュールは、指示が開始要求であると、上記再生画像取得処理を開始し、指示が終了要求であると、再生画像取得処理を停止する。
【００６８】
上記再生画像取得処理は、ライブ画像データではなく、録画された画像データを取得するため、上記第１の実施の形態における画像取得処理と同じ内容で実現することが可能である。
【００６９】
以上より、本実施の形態によれば、予め録画した画像を再生する場合においても、上記第１の実施の形態と同様の効果を得ることができる。また、第２の実施の形態では、第１の実施の形態では監視端末装置２０４側で行っていた画像の重畳処理を監視カメラ装置２０３側で行うことも可能である。
【００７０】
（第３の実施の形態）
次に、本発明の第３の実施の形態について図７〜図９を参照しながら説明する。図７は本発明の第３の実施の形態に係る遠隔監視システムにおける画像サーバプログラム１４０１のモジュール構成を示すブロック図である。図８は画像サーバによる間引き再生処理の手順を示すフローチャートである。図９は図８のステップＳ１５０６の画像重畳決定処理および重畳処理の手順を示すフローチャートである。
【００７１】
本実施の形態の遠隔監視システムは、上記第２の実施の形態と同様に、画像サーバ（監視カメラ装置２０３）により録画された画像を画像ビューワ（監視端末装置２０４）に送信し、表示するシステムである。
【００７２】
ここで、本実施の形態は、画像サーバ（監視カメラ装置２０３）が二次記憶装置３０４に録画された画像データを再生する際に、間引き再生を行う点で、上記第２の実施の形態と異なる。また、本実施の形態は、画像サーバ（監視カメラ装置２０３）が、間引き再生された画像データに対して過去の画像データを重畳した後に、画像ビューワ（監視端末装置２０４）へ送信する点で上記第２の実施の形態と異なる。
【００７３】
この間引き再生は、早送り再生の一種であり、通常再生と同じ再生速度で、一定間隔の画像を再生する。例えば、１フレーム間隔で再生する場合、倍速再生となる。４フレーム間隔で再生する場合、４倍速となる。単に高速に画像を再生する高速再生は、表示処理に大きな負荷を掛けるが、間引き再生は、表示処理の負荷を増すことなく、早送りを可能とする利点がある。しかしながら、途中のフレームを表示することなくスキップしてしまうため、その間に生じた重要な画像を見落す恐れがある。
【００７４】
そこで、本実施の形態においては、画像の見落としを極力回避するために、図７に示すような、間引き再生された画像データに対して過去の画像データを重畳することが可能なモジュール構成を有する画像サーバプログラム１４０１が用いられる。
【００７５】
画像サーバプログラム１４０１は、具体的には、データ送受信モジュール４０２、受信データ解析モジュール４０３、画像データ取得モジュール４０４、および再生制御モジュール１４０５を有する。ここで、再生制御モジュール１４０５は、間引き再生処理機能を有する。そして、この画像サーバプログラム１４０１には、さらに、画像データ保持モジュール１０７、重畳画像データ決定モジュール１０８、画像重畳モジュール１０９が追加されている。また、カメラ制御モジュールは、ここでは、省略されている。図７において、図１および図１２と同一の符号で示されるモジュールは同様の処理を実行するモジュールであるため、その説明を省略する。
【００７６】
画像ビューワ（監視端末装置２０４）においては、上記第２の実施の形態と同様に、再生の開始、終了などを指示するためのユーザインタフェース画面（図６）が表示される。本実施の形態においては、上記ユーザインタフェース画面に、間引き再生を開始するための「間引き再生開始ボタン」と、「間引き再生停止ボタン」が追加、表示される。また、「間引き再生停止ボタン」を追加せずに、「再生停止ボタン」が「間引き再生停止ボタン」を兼ねるようにすることも可能である。また、間引き間隔を指定するための入力ボックスが追加、表示される。これにより、任意の間引き間隔を指定することができる。すなわち、倍速再生、４倍速再生などを指定することができる。
【００７７】
本実施の形態の遠隔監視システムは、通信開始／終了処理、間引き再生開始／終了処理、間引き再生画像取得処理を行う。また、画像サーバにおいては、ライブ画像が常時録画されているものとする。
【００７８】
ここで、通信開始／終了処理は、上記第１の実施の形態と同じである。また、間引き再生開始／終了処理は、画像ビューワの上記インタフェース画面上でのユーザによる間引き再生開始ボタンおよび間引き再生停止ボタンの選択の検知に応じて実行される。ユーザの操作は、ユーザ操作検知モジュールによって検知される。その操作が、間引き再生開始を要求するものであれば、間引き再生開始要求が、終了を要求するものであれば、間引き再生終了要求がコンピュータネットワークを介して、画像サーバへ送信される。間引き再生開始要求には、再生開始日時と間引き間隔の情報が付加されているものとする。
【００７９】
画像サーバ（監視カメラ装置２０３）において、データ送受信モジュール４０２の実行により画像ビューワ（監視端末装置２０４）からの要求を受信すると、受信データ解析モジュール４０３により受信した要求の内容が解析され、解析結果に応じた指示が再生制御モジュール１４０５へ渡される。
【００８０】
ＣＰＵ３０２は、再生制御モジュール１４０５の実行により、受信データ解析モジュール４０３からの指示が間引き開始指示である場合、間引き再生画像取得処理を開始し、また、その指示が間引き終了指示である場合、間引き再生画像取得処理を停止する。
【００８１】
次に、間引き再生画像取得処理について図８を参照しながら説明する。この間引き再生画像取得処理は、監視カメラ装置２０３のＣＰＵ３０２が画像サーバプログラム１４０１に基づいて行われる。
【００８２】
まず、ＣＰＵ３０２は、画像データ取得モジュール４０４により、二次記憶装置３０４に録画されている画像データから１フレーム分の画像データが取り出される（ステップＳ１５０１）。ＣＰＵ３０２は、再生制御モジュール１４０５の実行により、間引き再生開始要求に付加された間引き間隔情報に基づいて、転送された画像データが表示すべき画像データであるか間引き対象となる画像データであるかを決定する（ステップＳ１５０３）。例えば、間引き間隔として、４フレームが指定されている場合、４フレームのうち、３フレームが間引かれることになる。この場合は、再生開始日時の先頭の画像データから４，８，１２，…フレーム目の画像データが表示画像データとなる。
【００８３】
次いで、上記画像データは、当該画像データが表示画像データであるか間引き対象画像データであるかを示す画像識別情報が付加される。そして、重畳画像データ決定モジュール１０８による決定処理と重畳モジュール１０９による重畳処理が実行される（ステップＳ１５０５）。ここでは、上記画像データが表示画像データであるか間引き対象画像データであるかが判別される。そして、上記画像データが表示画像データである場合、当該画像データに対する変化量が一定値以上である過去の間引き対象画像データが、当該画像データに対して重畳される。この処理の詳細については、後述する。
【００８４】
次いで、ＣＰＵ３０２は、データ送受信モジュール１４０２の実行により、表示画像データであると判別された画像データを、コンピュータネットワークを介して監視端末装置２０４へ送信する（ステップＳ１５０７)。そして、本処理は終了する。
【００８５】
ステップＳ１５０５の処理においては、図９に示すように、まず、画像識別情報に基づいて、取得された画像データが、表示画像データであるか間引き対象画像データであるかの判別が行われる（ステップＳ１６０２）。ここで、取得された画像データが間引き対象画像データである場合、この取得された画像データは、画像データ保持モジュール１４０６の実行により、メインメモリ３０３に保存される（ステップＳ１６０３）。そして、本処理は終了する。
【００８６】
これに対し、上記ステップＳ１６０２において取得された画像データが表示画像データであると判定された場合、当該画像データとメインメモリ３０３に格納されている間引き対象画像データとが比較される（ステップＳ１６０４）。そして、この比較に基づいて、取得された画像データ（表示画像データ）に対して最も変化量が大きい間引き対象画像データが取得される（ステップＳ１６０５）。
【００８７】
次いで、上記取得された間引き対象画像データの変化量が一定値より大きいか否かの判定が行われる（ステップＳ１６０６）。ここで、上記取得された間引き対象画像データの変化量が一定値以上である場合、この取得された間引き対象画像データは、重畳用画像データとして画像重畳モジュール１４０８へ送られる。そして、この取得された間引き対象画像データと表示画像データとが合成される（ステップＳ１６０７）。そして、メインメモリ３０３内の上記間引き対象画像データを含む全ての間引き対象画像データは、画像データ保持モジュール１４０６の実行により、メモリから削除される（ステップＳ１６０８）。これに対し、上記取得された間引き対象画像データの変化量が一定値より大きくない場合、重畳処理を行うことなく、メインメモリ３０３内の全ての間引き対象画像データが、画像データ保持モジュール１４０６の実行により削除される（ステップＳ１６０８）。間引き対象画像データの削除後、本処理は終了する。
【００８８】
以上により、本実施形態によれば、上記第１の実施の形態と同様の効果を得ることができる。
【００８９】
本発明の目的は、前述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【００９０】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した各実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９１】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷなどの光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードを、ネットワークを介してダウンロードしてもよい。
【００９２】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【００９３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００９４】
【図１】本発明の第１の実施の形態に係る遠隔監視システムの画像ビューワプログラムのモジュール構成を示すブロック図である。
【図２】第１の実施の形態における画像取得処理の画像ビューワによる処理の手順を示すフローチャートである。
【図３】図２のステップＳ９０３における重畳画像決定モジュール１０８による決定処理の手順を示すフローチャートである。
【図４】過去の画像が重畳された現在の画像の表示例を示す図である。
【図５】画像の変化量の閾値および変化量の算出対象となる画像領域を指定および変更するためのユーザインタフェース画面の一例を示す図である。
【図６】本発明の第２の実施の形態に係る遠隔監視システムの画像ビューワに表示されるユーザインタフェース画面の一例を示す図である。
【図７】本発明の第３の実施の形態に係る遠隔監視システムにおける画像サーバプログラムのモジュール構成を示すブロック図である。
【図８】画像サーバによる間引き再生処理の手順を示すフローチャートである。
【図９】図８のステップＳ１５０６の画像重畳決定処理および重畳処理の手順を示すフローチャートである。
【図１０】遠隔監視システムの全体構成図である。
【図１１】図１０の監視カメラ装置の構成を示すブロック図である。
【図１２】画像サーバプログラムのモジュール構成を示すブロック図である。
【図１３】図１０の監視端末装置の構成を示すブロック図である。
【図１４】画像ビューワ（監視端末装置）のディスプレイの表示例を示す図である。
【符号の説明】
【００９５】
１０１  画像ビューワプログラム
１０２  データ送受信モジュール
１０３  受信データ解析モジュール
１０４  受信画像描画モジュール
１０７  画像データ保持モジュール
１０８  重畳画像データ決定モジュール
１０９  画像重畳モジュール
１４０１  画像サーバプログラム
【図１】
2007180605.tif 000003
【図２】
2007180605.tif 000004
【図３】
2007180605.tif 000005
【図４】
2007180605.tif 000006
【図５】
2007180605.tif 000007
【図６】
2007180605.tif 000008
【図７】
2007180605.tif 000009
【図８】
2007180605.tif 000010
【図９】
2007180605.tif 000011
【図１０】
2007180605.tif 000012
【図１１】
2007180605.tif 000013
【図１２】
2007180605.tif 000014
【図１３】
2007180605.tif 000015
【図１４】
2007180605.tif 000016