(57)【特許請求の範囲】
【請求項１】
画像配信装置と通信装置がデータ伝送媒体により接続された画像配信システムであって、
画像配信装置において、
Ｎフレーム分の画像データを入力する入力手段と、
前記Ｎフレーム分の画像データを順次１フレーム分保持する第１の保持手段と、
前記第１の保持手段に保持された前記１フレームの画像データを符号化し、符号化データを生成する符号化手段と、
前記第１の保持手段に順次１フレーム分保持されるＮフレーム内の１フレームの画像データを取得し、保持する第２の保持手段と、
前記第１の保持手段から入力されるＮフレームの内、第２の保持手段に保持される画像データを除く（Ｎ−１）フレームの画像データの夫々と、前記第２の保持手段に保持されている、該画像データの夫々よりも前のフレームの画像データとを比較し、画像変化情報を生成する画像変化情報生成手段と、
前記符号化手段によって生成された符号化データと、前記（Ｎ−１）フレーム分の画像変化情報とを前記通信装置に配信するデータ配信手段を備え、
通信装置において、
前記データ配信手段により配信されたデータを受信するデータ受信手段と、
前記符号化データを復号し、復号化データを生成する復号化手段と、
受信した前記（Ｎ−１）フレーム分の画像変化情報を、前記復号化データの表示と重なるように時系列に切り替えながら表示する表示手段とを備えることを特徴とする画像配信システム。
【請求項２】
前記通信装置において、前記（Ｎ−１）フレーム分の画像変化情報を表示する際に、各フレームの画像変化情報ごとに表示色を変えることを特徴とする請求項１に記載の画像配信システム。
【請求項３】
前記画像配信装置は更に、前記符号化データと前記（Ｎ−１）フレーム分の画像変化情報を合成するデータ合成手段を有し、データ合成手段によって得られた合成データを前記通信装置に配信し、
前記通信装置は更に、受信した前記合成データを、前記符号化データに対して前記（Ｎ−１）フレーム分の画像変化情報に分離する分離手段を有することを特徴とする請求項１ないし２のいずれか一項に記載の画像配信システム。
【請求項４】
前記通信装置において、前記（Ｎ−１）フレーム分の画像変化情報を表示する際に、複数のフレームで同じ位置に画像変化があった場合とない場合とで、その位置の表示色を異ならせることを特徴とする請求項１ないし３のいずれか一項に記載の画像配信システム。
【請求項５】
前記通信装置において、前記（Ｎ−１）フレーム分の画像変化情報を表示する際に、各フレーム分の画像変化情報を同じ位置ごとに加算し、加算結果に応じて表示色を変えることを特徴とする請求項１ないし４のいずれか一項に記載の画像配信システム。
【請求項６】
前記画像配信装置において、前記第１の保持手段に保持された画像データは、所定サイズのブロックに分割されて符号化され、前記画像変化情報は、前記ブロックごとの変化情報であることを特徴とする請求項１ないし５のいずれか一項に記載の画像配信システム。
【請求項７】
前記画像配信装置において、前記（Ｎ−１）フレーム分の画像変化情報の表示において、前記ブロックごとの色が設定されて表示されることを特徴とする請求項６項に記載の画像配信システム。
【請求項８】
１フレームの画像データを符号化した符号化データと、前記１フレームの画像データと該１フレームの画像データよりも後に表示されるＮフレーム分との画像変化情報を受信する受信手段と、前記符号化データを復号し、復号化データを生成する復号化手段と、前記受信手段で受信した前記Ｎフレーム分の画像変化情報を、前記復号化手段で復号された前記画像データの表示に重なるように時系列に切り替えながら表示させる表示手段とを有することを特徴とする通信装置。
【請求項９】
前記通信装置において、前記Ｎフレーム分の画像変化情報を表示する際に、各フレームの画像変化情報ごとに表示色を変えることを特徴とする請求項８に記載の通信装置。
【請求項１０】
前記通信装置において、前記Ｎフレーム分の画像変化情報を表示する際に、複数のフレームで同じ位置に画像変化があった場合とない場合とで、その位置の表示色を異ならせることを特徴とする請求項８ないし９のいずれか一項に記載の通信装置。
【請求項１１】
前記通信装置において、前記Ｎフレーム分の画像変化情報を表示する際に、各フレーム分の画像変化情報を同じ位置ごとに加算し、加算結果に応じて表示色を変えることを特徴とする請求項８ないし９のいずれか一項に記載の通信装置。
【請求項１２】
前記通信装置において、前記１フレームの画像データは、所定サイズのブロックに分割されて符号化され、前記画像変化情報は、前記ブロックごとの変化情報であることを特徴とする請求項８ないし１１のいずれか一項に記載の通信装置。
【請求項１３】
前記通信装置において、前記Ｎフレーム分の画像変化情報の表示において、前記ブロックごとの色が設定されて表示されることを特徴とする請求項１２項に記載の通信装置。
【請求項１４】
画像配信装置と通信装置がデータ伝送媒体により接続された画像配信システムの制御方法であって、
画像配信装置において、
Ｎフレーム分の画像データを入力する入力工程と、
前記Ｎフレーム分の画像データを順次１フレーム分、第１の保持手段に保持する第１の保持工程と、
前記第１の保持手段に保持された前記１フレームの画像データを符号化し、符号化データを生成する符号化工程と、
前記第１の保持手段に順次１フレーム分保持されるＮフレーム内の１フレームの画像データを取得し、第２の保持手段に保持する第２の保持工程と、
前記第１の保持手段から入力されるＮフレームの内、第２の保持手段に保持される画像データを除く（Ｎ−１）フレームの画像データの夫々と、前記第２の保持手段に保持されている、該画像データの夫々よりも前のフレームの画像データとを比較し、画像変化情報を生成する画像変化情報生成工程と、
前記符号化手段によって生成された符号化データと、前記（Ｎ−１）フレーム分の画像変化情報とを前記通信装置に配信するデータ配信工程を備え、
通信装置において、
前記データ配信工程により配信されたデータを受信するデータ受信工程と、
前記符号化データを復号し、復号化データを生成する復号化工程と、
受信した前記（Ｎ−１）フレーム分の画像変化情報を、前記復号化データの表示に重なるように時系列に切り替えながら表示する表示工程とを備えることを特徴とする画像配信システムの制御方法。
【請求項１５】
１フレームの画像データを符号化した符号化データと、前記１フレームの画像データと該１フレームの画像データよりも後に表示されるＮフレーム分との画像変化情報を受信する受信工程と、
前記符号化データを復号し、復号化データを生成する復号化工程と、
前記受信工程で受信した前記Ｎフレーム分の画像変化情報を、前記復号化工程で復号された前記画像データの表示に重なるように時系列に切り替えながら表示する表示工程とを有することを特徴とする通信装置の制御方法。
【請求項１６】
前記通信装置において、前記Ｎフレーム分の画像変化情報を表示する際に、各フレームの画像変化情報ごとに表示色を変えることを特徴とする請求項１５記載の通信装置の制御方法。
【請求項１７】
請求項１４乃至１６のいずれか一項に記載の制御方法を構成する各工程を、コンピュータにより実行させるためのプログラムを記憶している記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像配信装置と１台以上のクライアント端末がデータ伝送媒体により接続された画像配信システム、通信装置、配信装置、及びこれらの制御方法、記憶媒体に関し、特に画像変化検知機能に基づく制御に関する。
【０００２】
【従来の技術】
インターネットやイントラネットなどのデータ伝送媒体を介して連続的に画像を配信する画像配信システムまたは監視システムはすでに社会に普及しており、ライブ映像の発信、屋内外の監視、動植物の観察など、様々な分野で利用されている。さらにこれらのシステムの中には、画像の時間的な変化を検知する機能（画像変化検知機能）を備えたものがある。そして、変化を検知したことに応じて、画像を送信したり、変化が検知されたことを通知したりしていた、
図１０は従来の一般的な技術による画像変化検知機能付き画像配信装置または監視装置における符号化データおよび画像変化検知結果の送信手順である。
【０００３】
同図に示したように、まずクライアント端末から画像データ送信要求が送られてくるので、それに対して画像配信装置が保持する最新の画像データ（符号化データ）を送信する。クライアント端末は、画像データ（符号化データ）を受信した後に次の画像データ送信要求を送信する。従って、画像データ（符号化データ）の送信フレームレートはデータ伝送媒体の伝送速度に依存するため、通常はJPEG符号化部から出力される符号化データのフレームレートよりも小さくなる。つまり、画像データ（符号化データ）の一部は送信されずに捨てられることになる。一方、図１０に示した画像変化検知通知は画像配信装置からクライアント端末に、変化のあったフレームごとに一方的に送信されるので、もしすべてのフレームに画像変化があった場合、画像変化検知は画像データ（符号化データ）の送信フレームレートよりも大きなレートで検知していることになる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の技術においては、画像配信装置からクライアント端末に対して、フレームごとの変化の有無を知らせる２値情報のような単純な画像変化検知結果しか送信されていなかった。
【０００５】
また、上述したように画像データ（符号化データ）と画像変化検知結果は同期して送信することができないため、どの画像フレームのどの領域がどのタイミングで変化したかなどといった詳細な画像変化検知情報をクライアント端末では知ることができなかった。
【０００６】
そのため、受信画像と検知結果との同期をとりながら、正確な検知結果の表示がなされないために、ユーザが画像変化検知装置の設定をしようとする場合に、何度か試行錯誤して、検知状況を確かめなければならなかった。
【０００７】
例えば、画像配信装置の画像変化検知部において、どのような条件で変化を検出するかを設定するためのパラメータを決めようとした場合を考える。受信画像のフレームレートが少なく、より高レートで出力される変化情報を全て認識できない場合には、検知状況を完全に把握出来ないので、何度か試行錯誤してパラメータを決めなければならない。
【０００８】
また、画像のフレームレートよりも高いフレームレートで、変化情報を認識することも出来なかった。
【０００９】
本発明は上記のような問題点に鑑みてなされたもので、画像データの送信タイミングに依らず常に詳細な画像変化情報を画像データと同期させてユーザに提供できる画像変化検知システムを提供することを目的としている。
【００１０】
特に、通信回線の制限により、受信画像のフレームレートがあまり高くなくても、検知結果をより正確に認識可能にすることを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る画像変化検知システムは、画像配信装置において、Ｎフレーム分の画像データを入力する入力手段と、前記Ｎフレーム分の画像データを順次１フレーム分保持する第１の保持手段と、前記第１の保持手段に保持された前記１フレームの画像データを符号化し、符号化データを生成する符号化手段と、前記第１の保持手段に順次１フレーム分保持されるＮフレーム内の１フレームの画像データを取得し、保持する第２の保持手段と、前記第１の保持手段から入力されるＮフレームの内、第２の保持手段に保持される画像データを除く（Ｎ−１）フレームの画像データの夫々と、前記第２の保持手段に保持されている、該画像データの夫々よりも前のフレームの画像データとを比較し、画像変化情報を生成する画像変化情報生成手段と、前記符号化手段によって生成された符号化データと、前記（Ｎ−１）フレーム分の画像変化情報とを前記通信装置に配信するデータ配信手段を備え、通信装置において、前記データ配信手段により配信されたデータを受信するデータ受信手段と、前記符号化データを復号し、復号化データを生成する復号化手段と、受信した前記（Ｎ−１）フレーム分の画像変化情報を、前記復号化データの表示と重なるように時系列に切り替えながら表示する表示手段とを備えることを特徴とする。
【００１２】
【発明の実施の形態】
【実施例】
以下、図１乃至図９を使用して本発明の実施の形態を説明する。
【００１３】
図１は本発明に係る画像変化検知機能を備えた画像配信システムまたは監視システムの概略構成を示すブロック図である。この構成では、ユーザがクライアント端末から画像配信装置の画像変化検知パラメータを設定することができるようになっている。
【００１４】
この画像変化検知パラメータは、どのような条件で変化したと認識するかを決めるための条件である。
【００１５】
本図において、画像の送信側にはカメラ１００と画像配信装置２００があり、画像の受信側にはクライアント端末３００がある。画像配信装置２００とクライアント端末３００はインターネットやイントラネットなどのデータ伝送媒体を介して接続されている。なお、クライアント端末は複数接続することができるが、説明を簡単にするために本図には１台のクライアント端末しか示していない。また、画像配信装置２００およびクライアント端末３００の一方または両方とも専用装置である必要はなく、ＰＣ（パーソナルコンピュータ）などの演算装置に所定のソフトウェアをインストールした形態により実現することができる。
【００１６】
カメラ１００から出力されたアナログ映像信号は画像配信装置２００に入力され、Ａ／Ｄ変換部２１０によりディジタル信号（画像データ）に変換されてからフレームメモリ２２０に記憶される。JPEG符号化部２４０はフレームメモリ２２０に記憶された画像データを読み出し、JPEG符号化してからデータ合成部２６０に符号化データを渡す。フレームメモリ２２０に記憶された画像データは、一定の周期（フレームメモリ更新周期）ごとにフレームメモリ２３０に転送される。画像変化検知部２５０はフレームメモリ２２０から読み出した現在の画像データとフレームメモリ２３０から読み出した過去の画像データとを比較して画像変化検知を行い、図３に示した様な詳細な画像変化情報をデータ合成部２６０に渡す。なお、この画像変化検知は、画像を分割する所定単位のブロックごとに判別する。
【００１７】
画像変化情報は、画像を分割する所定サイズのブロック毎に、変化検知の有無によって、０または１の信号で構成されており、実施例においては変化検知されたブロックについて１を与えている。
【００１８】
データ合成部２６０はJPEG符号化部２４０から渡された最新の１フレーム分の符号化データと画像変化検知部２５０から渡された１または複数フレーム分の画像変化情報を記憶するが、過去のフレーム分の符号化データは記憶せずに廃棄する。データ合成部２６０は通信部２７０から合成データ送信要求を受け取ると、記憶している１フレーム分の符号化データと、所定の１または複数フレーム分の画像変化情報を合成して合成データを作成し、通信部２７０に渡すとともに、記憶している符号化データと画像変化情報をすべて消去する。ここで、合成データの作成方法には以下の２つがあり、いずれの方法を採用してもよい。
（Ｉ）JPEGデータのアプリケーションマーカを使用し、符号化データのヘッダ部に画像変化情報を挿入する。
（ＩＩ）あらかじめ独自のデータフォーマットを定義しておき、この定義どおりに合成する。
【００１９】
通信部２７０は図２に示した様な所定の手順に従って合成データをクライアント端末３００に送信する。また、通信部２７０は所定の手順に従ってクライアント端末３００から符号化パラメータおよび画像変化検知パラメータを受信し、符号化パラメータはJPEG符号化部２４０に設定し、画像変化検知パラメータは画像変化検知部２５０に設定する。JPEG符号化部２４０は設定された符号化パラメータに従って動作し、画像変化検知部２５０は設定された画像変化検知パラメータに従って動作する。
【００２０】
クライアント端末３００では、通信部３１０が所定の手順に従って合成データを受信する。合成データはデータ分離部３２０に渡され、１フレーム分の符号化データと１または複数フレーム分の画像変化情報に分離される。１フレーム分の符号化データはJPEG復号化部３３０に渡され、復号化されて画像データになり、表示部３５０に表示される。一方、１または複数フレーム分の画像変化情報は不図示の中央演算部で処理され、図５乃至図９に例示した様な手順に従って表示部３５０に図形として表示される。パラメータ設定部３４０は符号化パラメータおよび画像変化検知パラメータを入力するためのＧＵＩ（グラフィカルユーザインタフェース）を表示部３５０に表示し、ユーザが入力部３６０から入力した符号化パラメータおよび画像変化検知パラメータを受け取る。これらのパラメータは通信部３１０に渡され、所定の手順に従って画像配信装置２００に送信される。
【００２１】
なお、図１中の細い実線Ａは画像データまたは符号化データの流れを示し、太い実線Ｂは合成データの流れを示し、点線Ｃは画像変化情報の流れを示し、破線Ｅは符号化パラメータおよび画像変化検知パラメータの流れを示し、一点鎖線ＤはＧＵＩデータの流れを示している。
【００２２】
図２は本発明に係る画像変化検知機能付き画像配信装置または監視装置における合成データの送信手順である。
【００２３】
同図に示したように、まずクライアント端末３００から合成データ送信要求が送られてくるので、それに対して画像配信装置２００は最新の合成データを送信する。クライアント端末３００は、合成データを受信した後に次の合成データ送信要求を送信する。
【００２４】
図３は１フレーム分の画像変化情報を説明するための図である。
【００２５】
同図において、左側の四角形のまとまり全体がフレームを示しており、１つ１つの四角形はフレームを分割して得られる所定サイズのブロックを示している。なお、このブロックはJPEG符号化のためのブロックに対応している。これにより、わざわざ検知結果のためにブロック化する手間も省くことができる。各ブロック内にはブロック番号が決められており、この例ではＸ軸方向に１０ブロック、Ｙ軸方向に８ブロックが含まれている。画像変化検知部２５０はブロック単位で画像変化の有無を計算し、画像変化があったブロックに対してビット１を与え、画像変化がなかったブロックに対してビット０を与え、すべてのビットをブロック番号順に並べることにより画像変化情報を作成する。こうして作成された画像変化情報は固定長データのまま符号化データと合成することもできるが、データ合成部２６０においてランレングス符号化などのエントロピー符号化を用いて圧縮してから記憶しておき、可変長データとして符号化データと合成してもよい。そうすれば、画像データが大きい場合や、変化情報が大きくなる場合や、画像のヘッダ部に割り当てる容量が少なくても十分に記録可能になりやすい。特に一度に合成すべき画像変化情報のフレーム数が多い時には有効となる。データ合成部２６０において画像変化情報をエントロピー符号化する場合は、データ分離部３２０において可変長データとして得られた画像変化情報をエントロピー復号化することにより固定長のビット列に復元しなければならない。
【００２６】
図４は表示部３５０に表示される画像データと画像変化情報の表示例である。
【００２７】
同図において、画像１０００の上に画像変化情報として複数の変化検知ブロック（画像変化があったブロック）を示す四角形の枠線１００１が描画される。
【００２８】
図５は複数フレーム分の画像変化情報の表示手順を示すフローチャートである。ここで、合成データに含まれる画像変化情報のフレーム数をｆｎとし、何フレーム目の画像変化情報であるかを示す画像変化情報のフレームカウンタをｆｃとする。ただし、ｆｃは０からｆｎ−１までを有効範囲とする。
【００２９】
同図において、ステップＳ０１ではｆｃを０で初期化する。ステップＳ０２では１フレーム分の画像データを表示部３５０に描画する。これにより、以前描画された画像データおよび画像変化情報はすべて消去される。ステップＳ０３ではｆｃ番目のフレーム分の画像変化情報を表示部３５０に描画する。ステップＳ０３の詳細な説明は図６を用いて行う。ステップＳ０４ではｆｃに１を加算し、ステップＳ０５ではｆｃがｆｎに達したかどうかを判断する。ｆｃがｆｎ以上であれば、すでに全フレーム分の画像変化情報を描画したことになるので処理を終了する。逆にｆｃがｆｎ未満であれば、ステップＳ０６に進んでタイマを設定し、処理を中断する。この時、タイマに設定する時間（秒）は、１フレーム分の符号化データの平均データ量（ビット）をデータ伝送媒体の平均伝送速度（ビット毎秒）で割った値よりもやや短めの時間とするとよい。ただし、１フレーム分の符号化データの平均データ量やデータ伝送媒体の平均伝送速度は一定時間計測しないと求めることができないので、これらの値が得られるまではあらかじめ適当に決めておいた時間を設定すればよい。ステップＳ０７でタイマからタイムアウト通知がやってきたら、ステップＳ０２に戻る。以上の処理により、１フレーム分の画像データに対してｆｎフレーム分の画像変化情報が時系列的に切替えながら表示される。
【００３０】
たとえば、1フレームの画像を表示中に、変化情報のみを更新して動画的に複数フレーム表示するようにした。
【００３１】
図６は１フレーム分の画像変化情報の表示手順を示すフローチャートである。ここで、１フレームに含まれるＸ軸方向のブロック数をｎｘ、Ｙ軸方向のブロック数をｎｙ、Ｘ軸方向の何番目のブロックであるかを示すＸ軸方向のブロックカウンタをｂｘ、Ｙ軸方向の何番目のブロックであるかを示すＹ軸方向のブロックカウンタをｂｙ、ブロック位置（ｂｘ，ｂｙ）における画像変化情報をｄ（ｂｘ，ｂｙ）、ブロックの幅をｂｗ、ブロックの高さをｂｈ、所定の描画色をｃｒとする。ただし、ｂｘは０からｎｘ−１までを有効範囲とし、ｂｙは０からｎｙ−１までを有効範囲とする。
【００３２】
同図において、ステップＳ１１ではｂｘとｂｙをいずれも０で初期化する。ステップＳ１２ではｄ（ｂｘ，ｂｙ）が０より大きいかどうか（０か１か）を判断し、０より大きい場合（１の場合）は変化のあったブロックなのでステップＳ１３に進み、０以下の場合（０の場合）は変化のなかったブロックなのでステップＳ１４に進む。ステップＳ１３ではブロック位置（ｂｘ，ｂｙ）に変化検知ブロックであることを示す四角形の枠線を所定の描画色ｃｒを用いて描画してから、ステップＳ１４に進む。この際、四角形の左上隅のＸ座標はｂｘ掛けるｂｗ、Ｙ座標はｂｙ掛けるｂｈの計算により求められる。また、四角形の幅はｂｗ、高さはｂｈである。なお、四角形の描画色ｃｒは図６の処理手順を呼び出す側があらかじめ決めておく。
【００３３】
ステップＳ１４ではｂｘに１を加算し、ステップＳ１５ではｂｘがｎｘに達したかどうかを判断する。ｂｘがｎｘ以上であれば現在のｂｙに対応するブロック（１ブロックライン）はすべて処理したことになるのでステップＳ１６に進み、逆にｂｘがｎｘ未満であればステップＳ１２に戻る。ステップＳ１６ではｂｘに０を代入し、ｂｙに１を加算してから、ステップＳ１７に進む。ステップＳ１７ではｂｙがｎｙに達したかどうかを判断する。ｂｙがｎｙ以上であればすべてのブロックを処理したことになるので処理を終了し、逆にｂｙがｎｙ未満であればステップＳ１２に戻る。以上の処理により、１フレーム分の画像変化情報が表示される。
【００３４】
図７は複数フレーム分の画像変化情報の表示手順を示すフローチャートである。ここで、合成データに含まれる画像変化情報のフレーム数をｆｎとし、何フレーム目の画像変化情報であるかを示す画像変化情報のフレームカウンタをｆｃとする。ただし、ｆｃは０からｆｎ−１までを有効範囲とする。
【００３５】
同図において、ステップＳ２１ではｆｃを０で初期化する。ステップＳ２２では１フレーム分の画像データを表示部３５０に描画する。ステップＳ２３ではｆｃ番目のフレーム分の画像変化情報をあらかじめ決めておいたｆｃ番目の描画色を用いて表示部３５０に描画する。ステップＳ０３の詳細な処理手順は図６に示したものと同じである。ステップＳ２４ではｆｃに１を加算し、ステップＳ２５ではｆｃがｆｎに達したかどうかを判断する。ｆｃがｆｎ以上であれば、すでに全フレーム分の画像変化情報を描画したことになるので処理を終了する。逆にｆｃがｆｎ未満であれば、ステップＳ２３に戻る。以上の処理により、１フレーム分の画像データに対してｆｎフレーム分の画像変化情報がそれぞれ異なる表示色により表示される。この際、古いフレーム分の画像変化情報から順番に描画されるので、複数のフレームで変化のあったブロックに対しては、より新しいフレーム分の画像変化情報が上描きされることになる。
【００３６】
（第２の実施形態）
本実施形態では、第１の実施形態と比較して、画像変化情報の表示の仕方が異なるだけであり、その装置構成などはほとんど同一であり、詳しい説明は省略する。
【００３７】
図８は第２の実施形態における複数フレーム分の画像変化情報の表示手順の前処理を示すフローチャートである。ここで、合成データに含まれる画像変化情報のフレーム数をｆｎ、何フレーム目の画像変化情報であるかを示す画像変化情報のフレームカウンタをｆｃ、１フレームに含まれるＸ軸方向のブロック数をｎｘ、Ｙ軸方向のブロック数をｎｙ、Ｘ軸方向の何番目のブロックであるかを示すＸ軸方向のブロックカウンタをｂｘ、Ｙ軸方向の何番目のブロックであるかを示すＹ軸方向のブロックカウンタをｂｙ、ｆｃ番目のフレーム分のブロック位置（ｂｘ，ｂｙ）における画像変化情報をｄ（ｆｃ，ｂｘ，ｂｙ）とする。ただし、ｆｃは０からｆｎ−１までを有効範囲とし、ｂｘは０からｎｘ−１までを有効範囲とし、ｂｙは０からｎｙ−１までを有効範囲とする。
【００３８】
同図において、ステップＳ３１ではｆｃ、ｂｘおよびｂｙをいずれも０で初期化する。ステップＳ３２ではｄ（ｆｃ，ｂｘ，ｂｙ）を０で初期化する。ステップＳ３３ではｄ（ｆｃ，ｂｘ，ｂｙ）が０より大きいかどうか（０か１か）を判断し、０より大きい場合（１の場合）は変化のあったブロックなのでステップＳ３４に進み、０以下の場合（０の場合）は変化のなかったブロックなのでステップＳ３５に進む。ステップＳ３４ではｄ（ｆｃ，ｂｘ，ｂｙ）に１を代入し、ステップＳ３７に進む。ステップＳ３５ではｆｃに１を加算し、ステップＳ３６ではｆｃがｆｎに達したかどうかを判断する。ｆｃがｆｎ以上であれば、ブロック位置（ｂｘ，ｂｙ）における全フレーム分の画像変化情報を調べたことになるのでステップＳ３７に進む。逆に、ｆｃがｆｎ未満であればステップＳ３３に戻る。ステップＳ３７ではｆｃに０を代入し、ｂｘに１を加算してから、ステップＳ３８に進む。ステップＳ３８ではｂｘがｎｘに達したかどうかを判断する。ｂｘがｎｘ以上であれば現在のｂｙに対応するブロック（１ブロックライン）はすべて前処理したことになるのでステップＳ３９に進み、逆にｂｘがｎｘ未満であればステップＳ３２に戻る。ステップＳ３９ではｂｘに０を代入し、ｂｙに１を加算してから、ステップＳ４０に進む。ステップＳ４０ではｂｙがｎｙに達したかどうかを判断する。ｂｙがｎｙ以上であればすべてのブロックを前処理したことになるので前処理を終了し、逆にｂｙがｎｙ未満であればステップＳ３２に戻る。以上の前処理により、画像変化情報が１フレーム分追加されて、ｆｎ＋１フレーム分の画像変化情報が得られる。この後、ｆｎに１を加算してから図７に示した処理を実行すると、１フレーム分の画像データに対して複数フレーム分の画像変化情報がそれぞれ異なる表示色により表示され、なおかつ複数のフレームで同じ位置に画像変化があった場合にはその位置にはさらに別の表示色が使用される（最後に追加された画像変化情報の表示色として表示される）。
【００３９】
（第３の実施形態）
本実施形態では、第１、第２の実施形態と比較して、画像変化情報の表示の仕方が異なるだけであり、その装置構成などはほとんど同一であり、詳しい説明は省略する。
【００４０】
図９は第３の実施形態ｍｐ複数フレーム分の画像変化情報の表示手順の前処理を示すフローチャートである。ここで、合成データに含まれる画像変化情報のフレーム数をｆｎ、何フレーム目の画像変化情報であるかを示す画像変化情報のフレームカウンタをｆｃ、１フレームに含まれるＸ軸方向のブロック数をｎｘ、Ｙ軸方向のブロック数をｎｙ、Ｘ軸方向の何番目のブロックであるかを示すＸ軸方向のブロックカウンタをｂｘ、Ｙ軸方向の何番目のブロックであるかを示すＹ軸方向のブロックカウンタをｂｙ、ｆｃ番目のフレーム分のブロック位置（ｂｘ，ｂｙ）における画像変化情報をｄ（ｆｃ，ｂｘ，ｂｙ）、複数フレームから求めたブロック位置（ｂｘ，ｂｙ）における多値の画像変化情報をｄｍ（ｂｘ，ｂｙ）とする。ただし、ｆｃは０からｆｎ−１までを有効範囲とし、ｂｘは０からｎｘ−１までを有効範囲とし、ｂｙは０からｎｙ−１までを有効範囲とする。
【００４１】
同図において、ステップＳ５１ではｆｃ、ｂｘおよびｂｙをいずれも０で初期化する。ステップＳ５２ではｄｍ（ｂｘ，ｂｙ）を０で初期化する。ステップＳ５３ではｄｍ（ｂｘ，ｂｙ）にｄ（ｆｃ，ｂｘ，ｂｙ）を加算し、ｆｃに１を加算する。ステップＳ５４ではｆｃがｆｎに達したかどうかを判断する。ｆｃがｆｎ以上であれば、ブロック位置（ｂｘ，ｂｙ）における全フレーム分の画像変化情報を加算したことになるのでステップＳ５５に進む。逆に、ｆｃがｆｎ未満であればステップＳ５３に戻る。ステップＳ５５ではｆｃに０を代入し、ｂｘに１を加算してから、ステップＳ５６に進む。ステップＳ５６ではｂｘがｎｘに達したかどうかを判断する。ｂｘがｎｘ以上であれば現在のｂｙに対応するブロック（１ブロックライン）はすべて前処理したことになるのでステップＳ５７に進み、逆にｂｘがｎｘ未満であればステップＳ５２に戻る。ステップＳ５７ではｂｘに０を代入し、ｂｙに１を加算してから、ステップＳ５８に進む。ステップＳ５８ではｂｙがｎｙに達したかどうかを判断する。ｂｙがｎｙ以上であればすべてのブロックを前処理したことになるので前処理を終了し、逆にｂｙがｎｙ未満であればステップＳ５２に戻る。以上の前処理により、複数の画像変化情報がブロック位置ごとに加算された多値の画像変化情報が得られる。この多値の画像変化情報の値または値の範囲ごとに異なる表示色を与えて図６に示した処理と同様の処理を実行すると、１フレーム分の画像データに対して複数フレーム分の画像変化情報の加算結果に応じて異なる表示色を用いた表示となる。
【００４２】
以上の様に、受信画像と検知結果との同期をとりながら、１フレーム分の画像データに対して複数フレーム分の画像変化情報を表示することが出来た。
【００４３】
また、データ分離手段により１フレーム分の画像データと複数フレーム分の画像変化情報が得られた場合、１フレーム分の画像データを表示している間に複数フレーム分の画像変化情報を時系列に切替えながら表示する（例えば、画像変化情報のみを更新して、動画の様に表示する）ようにしたので、時間変化に応じた変化情報が認識可能になる。
【００４４】
また、データ分離手段により１フレーム分の画像データと複数フレーム分の画像変化情報が得られた場合、１フレーム分の画像データに対して複数フレーム分の画像変化情報を同時に重ね合わせて表示するようにしたので、画像のフレームレートが低くても、変化検知情報だけは高いフレームレートで認識可能になった。これは、変化検知情報をより重要視する場合に有効である。
【００４５】
また、複数フレーム分の画像変化情報を同時に重ね合わせて表示する際に、各フレーム分の画像変化情報ごとに表示色を変え、フレームが古いものから順番に画像変化があった位置にのみ画像変化情報を描画するようにしたので、時間変化に応じた変化情報が認識可能になる。
【００４６】
また、複数フレーム分の画像変化情報を同時に重ね合わせて表示する際に、各フレーム分の画像変化情報ごとに表示色を変え、なおかつ複数のフレームで同じ位置に画像変化があった場合にはその位置にさらに別の表示色を使用するようにしたので、時間変化に応じた変化情報が認識可能になるし、どの位置に集中して変化が検知されたかを認識しやすくなる。
【００４７】
また、複数フレーム分の画像変化情報を同時に重ね合わせて表示する際に、各フレーム分の画像変化情報を同じ位置ごとに加算し、加算結果に応じて表示色を変えるようにしたので、時間変化に応じた変化情報が認識可能になるし、どの位置に集中して変化が検知されたかを認識しやすくなる。
【００４８】
【発明の効果】
以上説明したように本発明によれば、代表画像データを表示している間に複数フレーム分の画像変化情報を、代表画像データの表示と重なるように時系列に切替えながら表示することで、時間変化に応じた変化情報が認識可能になる。
【００４９】
特に通信回線の制限により、画像のフレームレートを大きく出来ない場合に本発明は大変有効である。
【図面の簡単な説明】
【図１】実施例における画像変化検知機能を備えた画像配信システムまたは監視システムの概略構成を示すブロック図である。
【図２】実施例における画像変化検知機能付き画像配信装置または監視装置における合成データの送信手順である。
【図３】実施例における１フレーム分の画像変化情報を説明するための図である。
【図４】表示部３５０に表示される画像データと画像変化情報の表示例である。
【図５】実施例における複数フレーム分の画像変化情報の表示手順を示すフローチャートである。
【図６】実施例における１フレーム分の画像変化情報の表示手順を示すフローチャートである。
【図７】実施例における複数フレーム分の画像変化情報の表示手順を示すフローチャートである。
【図８】第２実施例における複数フレーム分の画像変化情報の表示手順の前処理を示すフローチャートである。
【図９】第３実施例における複数フレーム分の画像変化情報の表示手順の前処理を示すフローチャートである。
【図１０】従来の一般的な技術による画像変化検知機能付き画像配信装置または監視装置における符号化データおよび画像変化検知結果の送信手順である。
【符号の説明】
１００  カメラ
２００  画像配信装置
２１０  Ａ／Ｄ変換部
２２０  （第一の）フレームメモリ
２３０  （第二の）フレームメモリ
２４０  JPEG符号化部
２５０  画像変化検知部
２６０  データ合成部
２７０  通信部
３００  クライアント端末
３１０  通信部
３２０  データ分離部
３３０  JPEG復号化部
３４０  パラメータ設定部
３５０  表示部
３６０  入力部
１０００  画像
１００１  画像変化情報の表示例（複数の変化検知ブロックを示す四角形の枠線）
【図１】
0004109879.tif 000002
【図２】
0004109879.tif 000003
【図３】
0004109879.tif 000004
【図４】
0004109879.tif 000005
【図５】
0004109879.tif 000006
【図６】
0004109879.tif 000007
【図７】
0004109879.tif 000008
【図８】
0004109879.tif 000009
【図９】
0004109879.tif 000010
【図１０】
0004109879.tif 000011