(57)【要約】【課題】画像データのフレーム間の画像の差分を簡単に判定できること。【解決手段】画像送信装置１００は、カメラ１０１が連続して撮影し、出力する画像データ１１０について、所定フレーム毎に一つのフレームの基準画像１３１と、複数のフレームの現画像１３２を決定する。基準画像１３１の画像データ１１０は、そのまま伝送路１０４を介して送信し、現画像１３２は、基準画像１３１に対する画素値の差分を有する差分領域１３２ａを切り出した画像データ１１０を送信する。画像の差分判定には、画像データ１１０をブロック１１０Ａに分割し、連続するフレーム間の同一配列位置のブロック１１０Ａの画像の差分の有無を示す識別子を更新自在に保持する差分マップ１２０と、差分マップ１２０に基づいてブロック１１０Ａの一部の画素を参照し、画像の差分を判定する比較パターン１３０を複数のパターンの中から選択する。【選択図】図１
2015005821.tif 000002
【特許請求の範囲】
【請求項１】
フレーム毎の画素配列を複数のブロックに分割する分割部と、
連続して撮影された複数の前記フレーム間の同一配列位置の前記ブロックの画素値の差分の有無を示す識別子を保持する差分マップと、前記ブロック内の一部の画素が差分判定用に設定された複数の比較パターンと、を格納する格納部と、
前記複数のフレームのうちの第１のフレーム以降に撮影された第２のフレームの前記ブロック毎に、前記差分マップおよび前記複数の比較パターンから選択した比較パターンに基づいて、前記第１のフレームと前記第２のフレームとの同一配列位置の前記ブロックの画素値の差分の有無を判定し、該判定結果に対応して前記差分マップを更新する判定部と、
前記更新後の前記差分マップに基づいて、前記第２のフレームから、前記第１のフレームとの差分を表す差分領域の画像データを抽出する抽出部と、
を有することを特徴とする画像送信装置。
【請求項２】
前記判定部によって選択される前記比較パターンは、
前記判定結果が差分なしの場合に選択され、前記ブロック内の判定に用いる画素数が前記ブロック全画素数より少なく設定された第１の比較パターンと、
前記判定結果が差分ありの場合に選択され、前記第１の比較パターンに比して前記ブロック内の判定に用いる画素数が多く設定された第２の比較パターンと、
を有することを特徴とする請求項１に記載の画像送信装置。
【請求項３】
前記判定部は、
前記判定結果が差分ありの場合、当該差分ありの前記ブロックの周辺に位置する他のブロックに対する差分判定に第３の比較パターンを選択することを特徴とする請求項２に記載の画像送信装置。
【請求項４】
さらに、前記第１のフレームの全画素の画像データと、前記抽出部により抽出された前記第２のフレームの前記差分領域の画像データと、を送信する送信部を有することを特徴とする請求項１〜３のいずれか一つに記載の画像送信装置。
【請求項５】
前記判定部は、
前記第２のフレームについて、前記第１のフレームと、当該第１のフレーム以降の複数のフレームとの画像の差分を判定することを特徴とする請求項１〜４のいずれか一つに記載の画像送信装置。
【請求項６】
前記判定部は、
前記第１のフレームの画像について、以前に撮影された前記フレームとの差分を判定することを特徴とする請求項１〜５のいずれか一つに記載の画像送信装置。
【請求項７】
前記抽出部は、
前記差分領域を含む最外縁に位置する矩形領域を切り取り、当該矩形領域の最小２点の座標位置を求め、
前記送信部は、
前記切り取った矩形領域の画像データと、前記２点の座標位置と、を送信することを特徴とする請求項１〜６のいずれか一つに記載の画像送信装置。
【請求項８】
前記送信部は、
伝送路の許容する最大送信サイズ以下の送信データ量となるように、送信対象の画像データのフレームのうち一部のフレームを間引く間引き処理を行うことを特徴とする請求項１〜７のいずれか一つに記載の画像送信装置。
【請求項９】
前記送信部は、
前記間引き処理を行う画像データとして、前記第１のフレームの画像データを間引きの対象外とし、前記第２のフレームのうち偶数フレームを優先的に間引き、以降、前記第２のフレームの奇数フレームを間引くことを特徴とする請求項８に記載の画像送信装置。
【請求項１０】
前記差分マップを複数有し、
前記判定部は、
複数の前記差分マップをフレーム間の画像の差分判定毎に順次切り替え、差分の有無を示す識別子を切り替えた前記差分マップに更新格納するとともに、
前記フレーム間の画像の差分は、前記複数の前記差分マップの識別子を統合した参照用差分マップを参照して判定することを特徴とする請求項１〜９のいずれか一つに記載の画像送信装置。
【請求項１１】
フレーム毎の画素配列を複数のブロックに分割する分割部と、
連続して撮影された複数の前記フレーム間の同一配列位置の前記ブロックの画素値の差分の有無を示す識別子を保持する差分マップと、前記ブロック内の一部の画素が差分判定用に設定された複数の比較パターンと、を格納する格納部と、
前記複数のフレームのうちの第１のフレーム以降に撮影された第２のフレームの前記ブロック毎に、前記差分マップおよび前記複数の比較パターンから選択した比較パターンに基づいて、前記第１のフレームと前記第２のフレームとの同一配列位置の前記ブロックの画素値の差分の有無を判定し、該判定結果に対応して前記差分マップを更新する判定部と、
前記更新後の前記差分マップに基づいて、前記第２のフレームから、前記第１のフレームとの差分を表す差分領域の画像データを抽出する抽出部と、
前記第１のフレームの全画素の画像データと、前記抽出部により抽出された前記第２のフレームの前記差分領域の画像データと、を送信する送信部と、
を有する画像送信装置と、
伝送路を介して前記画像送信装置から送信された前記画像データを受信する受信部と、
受信した前記画像データのうち前記第２のフレームの画像については前記第１のフレームの画像に重ねる合成部と、
を有する画像受信装置と、
を含むことを特徴とする画像伝送システム。
【請求項１２】
前記抽出部は、
前記差分領域を含む最外縁に位置する矩形領域を切り取り、当該矩形領域の最小２点の座標位置を求め、
前記送信部は、
前記切り取った矩形領域の画像データと、前記２点の座標位置を送信し、
前記合成部は、
受信した２点の座標位置に基づき、前記第１のフレームの画像に前記第２のフレームの画像を重ねることを特徴とする請求項１１に記載の画像伝送システム。
【請求項１３】
前記送信部は、
伝送路の許容する最大送信サイズ以下の送信データ量となるように、送信対象の画像データのフレームのうち前記第１のフレームの画像データを間引きの対象外とし、前記第２のフレームのうち偶数フレームを優先的に間引き、以降、前記第２のフレームの奇数フレームを間引く間引き処理を行い、フレーム番号を付して送信し、
前記受信部は、
受信したフレーム番号に基づき、前記画像データの受信フレームを組み立て、うちフレーム番号が欠落した画像データは対応するフレーム時間分の表示待ちを行うことを特徴とする請求項１１または１２に記載の画像伝送システム。
【請求項１４】
コンピュータが、
フレーム毎の画素配列を複数のブロックに分割し、
連続して撮影された複数の前記フレーム間の同一配列位置の前記ブロックの画素値の差分の有無を示す識別子を保持する差分マップと、前記複数のフレームのうちの第１のフレーム以降に撮影された第２のフレームの前記ブロック毎に、前記差分マップおよび前記ブロック内の一部の画素が差分判定用に設定された複数の比較パターンに基づいて、前記第１のフレームと前記第２のフレームとの同一配列位置の前記ブロックの画素値の差分の有無を判定し、該判定結果に対応して前記差分マップを更新し、
前記更新後の前記差分マップに基づいて、前記第２のフレームから、前記第１のフレームとの差分を表す差分領域の画像データを抽出する
処理を実行することを特徴とする画像送信方法。
【請求項１５】
コンピュータに、
フレーム毎の画素配列を複数のブロックに分割し、
連続して撮影された複数の前記フレーム間の同一配列位置の前記ブロックの画素値の差分の有無を示す識別子を保持する差分マップと、前記複数のフレームのうちの第１のフレーム以降に撮影された第２のフレームの前記ブロック毎に、前記差分マップおよび前記ブロック内の一部の画素が差分判定用に設定された複数の比較パターンに基づいて、前記第１のフレームと前記第２のフレームとの同一配列位置の前記ブロックの画素値の差分の有無を判定し、該判定結果に対応して前記差分マップを更新し、
前記更新後の前記差分マップに基づいて、前記第２のフレームから、前記第１のフレームとの差分を表す差分領域の画像データを抽出する
処理を実行させることを特徴とする画像送信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を送信する画像送信装置、画像伝送システム、画像送信方法および画像送信プログラムに関する。
【背景技術】
【０００２】
画像データを送信側装置から受信側装置に送信する場合、動画の画像データは大容量となるため、送信の効率化のために、データ圧縮等が行われている。
【０００３】
また、画像データを効率的に送信するため、例えば、送信側装置により画像データのフレーム間の差分情報を抽出して差分情報のみを送信し、受信側装置では差分情報を合成している。
【０００４】
関連する先行技術としては、例えば、監視カメラの画像（動画）について、基準画像に対する画素単位の差分の領域が差分基準値を超える領域を特定し、この領域の画像信号を差分画像として出力する技術がある。また、基本画像と変化画像をそれぞれ複数のブロックに分割し、これら基本画像と変化画像のブロックの画素値の差分を求め、閾値を超えたブロックについてのみデータ圧縮して送信する技術がある。また、画像データのうち動きが大きいマクロブロックと、フレームメモリからマクロブロックと相関が高い探索ブロックを検出して画像の動きが大きいときに入力された画像データを送出する技術がある。また、入力画像をブロック単位で分割し、動き部分と静止部分とに分け、動き部分のみフレーム間差分の処理を行って送信する技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−８３２３９号公報
【特許文献２】特開平０８−３２９７４号公報
【特許文献３】特開平０７−５９０９４号公報
【特許文献４】特開平０７−３０３２５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術では、フレーム間の差分を抽出するために前後のフレーム画像から全ピクセルを比較して差分情報を抽出している。この方法では１ピクセルずつ比較を行うため、差分判定の処理に時間がかかる。また、ピクセル単位で差分を求めると、ノイズについてもピクセル単位で抽出することになるため、ノイズ除去を行わねばならない。
【０００７】
一つの側面では、本発明は、画像データのフレーム間の画像の差分を簡単に判定できる画像送信装置、画像伝送システム、画像送信方法および画像送信プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面によれば、フレーム毎の画素配列を複数のブロックに分割する分割部と、連続して撮影された複数の前記フレーム間の同一配列位置の前記ブロックの画素値の差分の有無を示す識別子を保持する差分マップと、前記ブロック内の一部の画素が差分判定用に設定された複数の比較パターンと、を格納する格納部と、前記複数のフレームのうちの第１のフレーム以降に撮影された第２のフレームの前記ブロック毎に、前記差分マップおよび前記複数の比較パターンから選択した比較パターンに基づいて、前記第１のフレームと前記第２のフレームとの同一配列位置の前記ブロックの画素値の差分の有無を判定し、該判定結果に対応して前記差分マップを更新する判定部と、前記更新後の前記差分マップに基づいて、前記第２のフレームから、前記第１のフレームとの差分を表す差分領域の画像データを抽出する抽出部と、を有する画像送信装置が提案される。
【発明の効果】
【０００９】
一つの実施形態によれば、画像データのフレーム間の画像の差分を簡単に判定できる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態１にかかる画像送信装置１００の一実施例を示す説明図である。
【図２】図２は、画像送信装置が適用される監視システム２００のシステム構成例を示す説明図である。
【図３】図３は、画像送信装置１００のハードウェア構成例を示すブロック図である。
【図４】図４は、比較パターン１３０の各パターンを示す説明図である。
【図５】図５は、周辺ブロックを説明する説明図である。
【図６】図６は、実施の形態１にかかる画像送信装置１００の機能的構成例を示すブロック図である。
【図７】図７は、画像送信装置１００が送信する画像データを示す説明図である。
【図８】図８は、画像送信装置１００が行う差分判定処理を示す説明図である。
【図９】図９は、画像送信装置１００が行う画像データの送信処理を示す説明図である。
【図１０】図１０は、画像データ１１０の間引きを繰り返す場合の処理内容の説明図である。
【図１１】図１１は、画像受信装置１０５による受信データのフレーム組み立てを示す説明図である。
【図１２】図１２は、実施の形態１にかかる画像送信装置１００の画像データ差分判定処理手順の一例を示すフローチャートである。
【図１３】図１３は、図１２の差分判定処理の詳細手順の一例を示すフローチャートである。
【図１４】図１４は、画像送信装置１００の画像データの送信処理手順の一例を示すフローチャートである。
【図１５】図１５は、画像受信装置１０５の画像データの受信処理手順の一例を示すフローチャートである。
【図１６】図１６は、実施の形態２における差分マップ１２０を示す説明図である。
【図１７】図１７は、画像伝送システムの回路構成例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に図面を参照して、本発明にかかる画像送信装置、画像伝送システム、画像送信方法および画像送信プログラムの実施の形態を詳細に説明する。
【００１２】
（実施の形態１）
図１は、実施の形態１にかかる画像送信装置１００の一実施例を示す説明図である。図１において、画像送信装置１００は、動画の画像データを画像受信装置１０５に送出するコンピュータである。画像データは、例えば、定点に設置された監視用のカメラ１０１が撮影した画像データである。カメラ１０１は、所定の画素数（例えば、ＱＶＧＡ：３２０×２４０＝７６８００ピクセル）の画像データ１１０をフレーム単位で連続的に出力する。
【００１３】
画像送信装置１００は、カメラ１０１が出力する画像データ１１０に対する画像処理を行い、ネットワーク１０４を介して画像受信装置１０５に送信する。ネットワーク１０４は、例えば、狭帯域（低転送レート）な伝送性能を有する小電力無線等の伝送路である。画像受信装置１０５は、ネットワーク１０４を介して画像送信装置１００が送信した画像データ１１０を復元する画像処理を行い、復元した画像データ１１０をモニタに表示出力したり、他の外部装置に出力する。この画像受信装置１０５についてもコンピュータを用いることができる。
【００１４】
ところで、差分抽出の処理をつぎのフレーム間の差分処理に間に合わせて処理する場合やノイズ除去するためには、処理性能が高いシステムや高度な通信制御が求められる。例えば、定点に設置される監視カメラの画像データを送信する画像送信装置は、任意の箇所に設置できる自由度を有する反面、電力供給されずに太陽電池等の供給量が低い電力により動作する場合がある。画像送信装置がこのような制約を受ける場合、低消費電力化のために、データ処理性能が低く、高度なデータ処理は行えない。加えて、特定小電力無線等の狭帯域な伝送路を用いる場合には、１度に少量のデータしか送れない制約が生じる。現状は、低消費電力な低性能のシステムを用いて、このシステムに処理負荷をかけず効率よく画像データを送受信するための仕組みが提案されていない。
【００１５】
このため、実施の形態１の画像送信装置１００は、低消費電力等により低処理性能なシステムを用いる場合や、狭帯域な伝送路（ネットワーク１０４）を用いた伝送を行う場合であっても、フレーム間の差分判定を効率よく処理でき、システムに処理負荷をかけずに効率よく画像データ１１０を送受信するための仕組みを提案する。
【００１６】
以下、画像送信装置１００のフレーム間差分の判定、および画像データの送受信にかかる画像処理例について説明する。
（１）画像送信装置１００は、カメラ１０１が連続して撮影し、出力する複数のフレームの画像データ１１０について、所定フレーム毎に基準となる第１のフレーム（基準フレーム、基準画像）１３１を決定する。また、一連のフレームのうちの基準となる基準フレーム以降のフレームである複数の第２のフレーム（現フレーム、現画像）１３２を決定する。現フレーム（現画像）１３２は、基準フレーム（基準画像）１３１に対して時間経過とともに、画像内容が変化する画像を有する。
【００１７】
例えば、図１に示すように、５フレーム毎に先頭のフレームを基準画像１３１に決定する場合、フレーム１を基準画像１３１とし、以降のフレーム２〜５までの複数の画像を現画像１３２とする。以降、フレーム６がつぎの基準画像１３１として決定され、フレーム７〜１０までの複数の画像を現画像１３２として、順次基準画像１３１と現画像１３２を決定していく。これら基準画像１３１および現画像１３２の画像データ１１０は、それぞれメモリに格納され、画像処理後の画像データ１１０が画像受信装置１０５に送信される。
【００１８】
（２）画像送信装置１００は、これら基準画像１３１と現画像１３２の画像データ１１０をいずれもブロック分割する。例えば、フレーム毎の画像データ１１０に対して、１ブロックあたり４×４＝１６ピクセルの差分判定用のブロック１１０Ａを設定する（図中斜線領域）。上記ＱＶＧＡの例では、８０×６０＝４８００ブロックに分割される。
【００１９】
（３）画像送信装置１００は、ブロック１１０Ａ毎に、基準画像１３１と現画像１３２とを比較し、撮影した物体が動くなどの変化による画像（画素値）の差分の有無を判定する。この際、画像送信装置１００は、設定テーブルとして、差分マップ１２０を格納する差分マップ格納テーブル１００ａと、比較画素が設定された比較パターン１３０を格納する比較パターン格納テーブル１００ｂとを有し、これらを用いて画像の差分の有無を判定する。また、フレーム６となるつぎの基準画像１３１については、画像の差分を求めずに、全ての画素を送信用に設定する。なお、これに限らず、フレーム６の基準画像１３１についても、前回のフレーム１の基準画像１３１との画像の差分を求めてもよい。
【００２０】
差分マップ１２０は、画像データのブロック１１０Ａの個数、および配列位置に対応したブロック数（８０×６０＝４８００ブロック）の識別子設定用の識別ブロック１２０Ａを有する。例えば、図１に示す画像データ１１０の左上の１６ピクセル分のブロック１１０Ａの差分判定結果が差分マップ１２０の左上の識別ブロック１２０Ａに格納される。
【００２１】
この識別ブロック１２０Ａには、画像の動き（変化）の有無を示す識別子「０／１」が設定され、フレーム単位で差分の有無が判定された結果が更新される。画像送信装置１００の画像処理により、基準画像１３１に対して現画像１３２に差分が生じたブロック１１０Ａが生じたとき、このブロック１１０Ａに対応する識別ブロック１２０Ａの識別子が０→１に更新される。識別子の初期値は０である。この差分マップ１２０は、カメラ１０１が出力する画像データ（元画像）を縮小したものではなく、基準画像１３１（フレーム１）に対する現画像１３２（フレーム２〜５）の差分の有無を示す識別子を格納する。
【００２２】
そして、画像送信装置１００は、基準画像１３１と、現画像１３２とをブロック１１０Ａのブロック単位で差分の有無を判定する際、比較パターン１３０に設定された画素のみ（図中斜線で示す画素）を判定用の画素とする。
【００２３】
比較パターン１３０を用いた画像の変化の判断処理の詳細については、後述するが、概要を説明しておく。比較パターン１３０は、画像データ１１０の１つのブロック１１０Ａと同じ画素数を有し（上記例では４×４＝１６ピクセル）、差分検出用として一部の画素が設定されたものである。この比較パターン１３０は、ブロック１１０Ａに対する差分判定時に、大別して、該当する差分マップ１２０の識別ブロック１２０Ａの識別子の値が、（ａ）「０（差分なし）」の場合に用いる比較パターン１３０ａと、（ｂ）「１（差分あり）」の場合に用いる比較パターン１３０ｂとは、異なる所定の画素数を用いて差分判定する。また、（ｃ）「０（差分なし）」の場合でも、差分判定対象の識別ブロック１２０Ａの周辺の識別ブロック１２０Ａについて所定の画素数を用いて差分判定する比較パターン１３０ｃを有する。
【００２４】
これら所定の画素数とは、いずれも、一つの識別ブロック１２０Ａあたりの画素数（４×４＝１６ピクセル）未満の少ない画素数である。比較パターン１３０としては、上記（ａ）〜（ｃ）の３パターンを有し（詳細は図４参照）、これらのパターンは、一致判定する際の画素位置の情報も含む。
【００２５】
このように、画像データ１１０の全画素（例えば、上記ＱＶＧＡの７６８００ピクセル）の差分（一致／不一致）の判断はせずに、画像データ１１０の一部の画素を用いて差分を判断する。画像送信装置１００は、ブロック１１０Ａについて、差分の有無を判定し、判定の結果を画像データ１１０上のブロック１１０Ａの配置位置に対応する差分マップ１２０の配置位置の識別ブロック１２０Ａに更新して格納する。これにより、画像送信装置１００における画像の変化の検出にかかる画像処理を装置に負担を掛けずに効率よく行うことができる。
【００２６】
（４）画像送信装置１００は、基準画像１３１については、画像データ１１０の全画素（例えば、上記ＱＶＧＡの７６８００ピクセル）をネットワーク１０４を介して画像受信装置１０５に送信する。現画像１３２については、画像データ１１０の全画素から基準画像１３１に対して差分が検出された差分領域（画像データ）１３２ａを抽出して（切り取って）、画像受信装置１０５に送信する。差分領域１３２ａは、差分マップ１２０の識別ブロック１２０Ａのうち、識別子の値が１（差分あり）が設定された複数の識別ブロック１２０Ａに対応する複数のブロック１１０Ａからなる。画像送信装置１００は、この差分が検出された複数のブロック１１０Ａを切り取る。
【００２７】
そして、差分領域１３２ａの画像データは、画像データ１１０上で切り取った座標位置を含み、画像受信装置１０５に送信する（詳細は後述する）。図１に示す現画像１３２では、移動する車両１４０部分が差分領域１３２ａの画像データとして切り取られ、差分領域１３２ａの大きさについても、車両１４０の移動方向に沿って次第に大きく変化していることを示している。このように、現画像１３２については、画像データ１１０の全画素ではなく、画像が変化した領域のみを切り取って部分的に送信するため、ネットワーク１０４に送信するデータ量を削減できる。これにより、ネットワーク１０４への負荷を軽減できるとともに、狭帯域のネットワーク１０４を用いても効率よく画像データ１１０を送信できるようになる。
【００２８】
（５）画像受信装置１０５は、ネットワーク１０４を介して画像送信装置１００から画像データ１１０を受信する。画像受信装置１０５は、はじめに、受信する基準画像１３１については、全画素分をそのままフレーム１に収容する。以降、受信する現画像１３２は、いずれも全画素から切り取った差分領域１３２ａの画像データである。画像受信装置１０５は、現画像１３２については、基準画像１３１上に、差分領域１３２ａの画像データを重ねて表示する画像処理を行い出力する。
【００２９】
（監視システム２００のシステム構成例）
つぎに、実施の形態１にかかる監視システム２００のシステム構成例について説明する。
【００３０】
図２は、画像送信装置が適用される監視システム２００のシステム構成例を示す説明図である。図２において、監視システム２００は、画像送信装置１００と、画像受信装置１０５と、を含む。監視システム２００において、画像送信装置１００と画像受信装置１０５とは、ネットワーク１０４として、例えば、特定小電力無線等の伝送帯域が狭帯域（４０Ｋｂｐｓ）な無線伝送路を用いる。このほか、ネットワーク１０４としては、他に、携帯電話網や、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、さらには有線のＬＡＮや、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどのいずれか、または組み合わせて用いてもよい。
【００３１】
図２の例では、カメラ１０１によって「畑」の監視領域を監視し、カメラ１０１と画像送信装置１００が支柱２０３上の筐体２０４内に一体化して設置されている。画像送信装置１００の送信部は、アンテナ２０５を介して撮影した画像データ１１０をネットワーク１０４を介して画像受信装置１０５に送信する。図２に示すように、画像送信装置１００は、複数設置して画像受信装置１０５にそれぞれ画像データを送信することができる。この画像送信装置１００は、画像データ１１０をデータ処理するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を備えたＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等を用いることができる。
【００３２】
画像送信装置１００は、カメラ１０１が撮影した画像データ１１０を画像処理し、基準画像１３１については、カメラ１０１が撮影した全画素（例えば上記ＱＶＧＡサイズ）の画像データ１１０を送信対象とする。以降、つぎの基準画像１３１のフレームまでの間の複数フレームの現画像１３２については、基準画像１３１に対して変化（動き）が生じた差分領域１３２ａの画像データだけを全画素の中から切り取って送信対象とする。
【００３３】
そして、画像送信装置１００は、画像処理後の画像データ１１０をネットワーク１０４に送信する。この際、画像送信装置１００は、フレーム番号と、切り取った画像の座標位置を付加して送信する。この座標位置は、基準画像上における切り取り位置を示す。フレーム番号は、順次連続する番号を付与するが、ネットワーク１０４が許容する最大送信サイズを超える場合には、一部のフレームを間引く間引き処理を行う。この間引き処理を行った場合には、間引いたフレームのフレーム番号は欠番となる。なお、受信側での円滑なフレーム復元のために、フレームを連続して間引くことは行わない。
【００３４】
画像受信装置１０５は、ネットワーク１０４に接続されるデータ受信器２１１と、監視システム２００の管理者が使用するデータ処理装置２１２と、を含む。データ処理装置２１２は、サーバ、ＰＣなどである。データ受信器２１１は、ネットワーク１０４を介して画像送信装置１００から送信された画像データ１１０を受信する。この際、データ受信器２１１は、受信した画像データ１１０が基準画像１３１の場合には、そのまま画像データとして出力し、現画像１３２の場合には、受信した差分領域１３２ａの画像データを基準画像１３１に重ねる。この際、受信した座標位置に基づいて、差分領域１３２ａの画像データを基準画像１３１の画像データ１１０上に重ねてから出力する。
【００３５】
データ受信器２１１は、これら基準画像１３１と現画像１３２とを時系列にデータ処理装置２１２に出力する。この際、データ受信器２１１は、受信したフレーム番号にしたがい、フレームを復元し出力する。この際、画像送信装置１００による間引き処理が行われ、欠番となったフレームがあれば、この欠番に該当するフレームの出力を行わない。
【００３６】
データ処理装置２１２は、データ受信器２１１から出力された画像データ１１０を単にディスプレイに画像表示するだけに限らず、所定の画像解析プログラムを実行させることにより、監視領域の「畑」の作物の生育状態や不審者の侵入等を検出することもできる。
【００３７】
図２の適用例では、監視領域を「畑」としたが、他に、図１に示すような所定領域の「道路」上の通行を監視したり、「店舗や住居」等を監視し、ネットワーク１０４を介して遠隔の画像受信装置１０５に画像データ１１０を送信（転送）する構成等にも適用できる。
【００３８】
また、図２の構成例では、画像受信装置１０５をデータ受信器２１１と、データ処理装置２１２とに分けて説明し、データ受信器２１１が受信した画像データ１１０の復元を行う構成としたが、これに限らない。データ受信器２１１については、単にネットワーク１０４を介して画像データ１１０を受信してデータ処理装置２１２に出力し、データ処理装置２１２が上述した基準画像１３１と現画像１３２の復元を行う構成としてもよい。
【００３９】
（画像送信装置１００のハードウェア構成例）
図３は、画像送信装置１００のハードウェア構成例を示すブロック図である。図３において、画像送信装置１００は、ＣＰＵ３０１と、メモリ３０２と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、磁気ディスクドライブ３０４と、磁気ディスク３０５と、を有する。また、各構成部は、バス３００によってそれぞれ接続される。
【００４０】
ここで、ＣＰＵ３０１は、画像送信装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。
【００４１】
Ｉ／Ｆ３０３は、通信回線を通じてネットワーク１０４に接続され、ネットワーク１０４を介して他のコンピュータ（例えば、図２に示した画像受信装置１０５）に接続される。そして、Ｉ／Ｆ３０３は、ネットワーク１０４と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。Ｉ／Ｆ３０３には、例えば、モデムやＬＡＮアダプタなどを採用することができる。
【００４２】
磁気ディスクドライブ３０４は、ＣＰＵ３０１の制御にしたがって磁気ディスク３０５に対するデータのリード／ライトを制御する。磁気ディスク３０５は、磁気ディスクドライブ３０４の制御で書き込まれたデータを記憶する。
【００４３】
なお、画像送信装置１００は、上述した構成部のほか、例えば、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、キーボード、マウス、ディスプレイなどを有することにしてもよい。また、図１，図２に示した画像受信装置１０５についても、上述した画像送信装置１００と同様のハードウェア構成例により実現することができる。
【００４４】
（画像送信装置１００のテーブル内容）
つぎに、図２に示した画像送信装置１００が有するテーブル内容について説明する。画像送信装置１００は、差分マップ１２０をフレーム単位で更新自在に保持する。また、基準画像１３１のフレームのブロック１１０Ａと、以後の現画像１３２のフレームのブロック１１０Ａとの差分を比較する際に用いる比較パターン１３０を保持する。これら差分マップ１２０と、比較パターン１３０は、例えば、図３に示したメモリ３０２、磁気ディスク３０５等の記憶装置により実現される。
【００４５】
差分マップ１２０については、図１に示したように、画像データ１１０上のブロック１１０Ａの配置位置と同じ配列の識別ブロック１２０Ａを有し、この識別ブロック１２０Ａに差分の有無が識別子として格納される。画像送信装置１００は、フレーム毎に差分の有無を判断し、この判断結果が差分マップ１２０の複数の識別ブロック１２０Ａに更新自在に保持される。
【００４６】
図４は、比較パターン１３０の各パターンを示す説明図である。比較パターン１３０は、（ａ）〜（ｃ）の３パターン１３０ａ〜１３０ｃを有する。いずれのパターンにおいても、４×４ピクセルの検出範囲を有する。この検出範囲は、上記画像データ１１０の一つのブロック１１０Ａの大きさ（４×４ピクセル）に対応している。そして、この比較パターン１３０は、現画像１３２について基準画像１３１との差分を検出する際に、参照される。
【００４７】
この比較パターン１３０には、基準画像１３１に対する現画像１３２の差分を比較する際に、走査（参照）する画素が設定される。画像送信装置１００は、図４の（ａ）〜（ｃ）の３パターン１３０ａ〜１３０ｃにおいて、斜線部分で示した画素のみを走査する。
【００４８】
そして、画像送信装置１００は、前回（１フレーム前）において更新した差分マップ１２０に基づき、下記に示すように、前回の差分の判断結果（差分の有無）に応じて、一つのブロック１１０Ａ内において走査する画素を、図４の（ａ）〜（ｃ）の３パターン１３０ａ〜１３０ｃを切り替えて用いる。
【００４９】
（ａ）第１（差分なし用）比較パターン
図４の（ａ）に示す比較パターン１３０ａは、差分マップ１２０の識別ブロック１２０Ａ上で前回差分がなく切り取らなかった「識別子＝０」に対応するブロック１１０Ａの領域の画像データ１１０（基準画像１３１と現画像１３２）の比較時に用いる。この比較パターン１３０ａでは、１ブロックあたり４×４＝１６ピクセルのうち、任意の２ピクセル（図中斜線で示す４０１ａ）だけを走査する。
【００５０】
そして、画像送信装置１００は、同じ画素位置の基準画像１３１と現画像１３２の画像データ１１０とを比較する際、この走査対象の２ピクセル（４０１ａ）のうち、１／２（＝１ピクセル）以上の画素が所定の差分判定用の閾値を超えた場合に、このブロック１１０Ａを切り取り対象のブロックと判定する。判定結果は、差分マップ１２０の対応する識別ブロック１２０Ａに識別子を更新記憶する。例えば、走査した２ピクセルのうち、１ピクセルでも画素の濃度値や色あいに基づく閾値を超えたか否かを判定する。
【００５１】
（ｂ）第２（差分あり用）比較パターン
図４の（ｂ）に示す比較パターン１３０ｂは、差分マップ１２０で前回差分があり、切り取った「識別子＝１」の識別ブロック１２０Ａに対応するブロック１１０Ａの位置に対応する画像データ１１０の比較時に用いる。この比較パターン１３０ｂでは、１ブロックあたり任意の４ブロック（４０１ｂ）を走査する。
【００５２】
そして、画像送信装置１００は、同じ画素位置の基準画像１３１と現画像１３２の画像データ１１０を比較する際、この走査対象の４ピクセル（４０１ｂ）のうち、３／４（＝３ピクセル）以上の画素が所定の差分判定用の閾値を超えた場合に、このブロック１１０Ａを切り取り対象のブロックと判断する。判定結果は、差分マップ１２０の対応する識別ブロック１２０Ａに識別子を更新記憶する。
【００５３】
（ｃ）第３（差分なし周辺用）比較パターン
図４の（ｃ）に示す比較パターン１３０ｃは、差分マップ１２０で前回差分がなく切り取らなかった「識別子＝０」の識別ブロック１２０Ａの周辺ブロックの変化（差分）を考慮したものである。この比較パターン１３０ｃでは、識別ブロック１２０Ａが「識別子＝０」のときに、周辺ブロックに「識別子＝１」があるか検索し、周辺ブロックに「識別子＝１」があった場合、識別ブロック１２０Ａの「識別子＝０」の位置に対応するブロック１１０Ａについて、任意の８ブロック（４０１ｃ）を走査する。
【００５４】
そして、画像送信装置１００は、同じ位置の基準画像１３１と現画像１３２の画像データ１１０とを比較する際、この走査対象の８ピクセル（４０１ｃ）のうち、６／８（＝６ピクセル）以上の画素が所定の差分判定用の閾値を超えた場合に、このブロック１１０Ａを切り取り対象のブロックと判断する。判定結果は、差分マップ１２０の対応する識別ブロック１２０Ａに識別子を更新記憶する。
【００５５】
上記例における、基準画像１３１と現画像１３２の画像データ１１０上で走査（参照）する画素数の違いについて説明する。（ａ）の差分なしパターン１３０ａは走査する画素数が少ないのに対し、（ｂ）の差分ありパターン１３０ｂは、走査する画素数を多く設定している。
【００５６】
これら（ａ）〜（ｃ）のパターン１３０ａ〜１３０ｃを対比してみる。（ｂ）の差分ありパターン１３０ｂを基準としてみると、前回差分がなかったブロックについては、今回についても差分がない可能性が高く、（ａ）の差分なし比較パターン１３０ａを用いて走査する画素数を減らして判断する。一方、前回差分がなかったブロックの周辺ブロックに差分（変化）があった場合には、今回変化する可能性が高く、（ｃ）の差分なし周辺用パターン１３０ｃを用い、走査する画素数を増やして判断する。このように、変化（動き）予測に対応した画素数を用いてブロックの差分検出を行う。
【００５７】
ここで、上記の比較パターンに設定する走査（参照）用の画素数、画素位置、および比較パターン別の差分判定に用いる画素数および閾値は任意に設定することができる。但し、いずれの比較パターンにおいても、１ブロックあたりの全画素（４×４＝１６ピクセル）以下の画素を走査（参照）する設定とする。これにより、画像データ１１０の全画素を一つずつ走査して差分判定するのに比して、比較する際の画素数を減らして差分判定処理を簡単に行うことができるようになる。
【００５８】
図５は、周辺ブロックを説明する説明図である。図５には、差分マップ１２０の複数の識別ブロック（例として３×３＝９ブロック）４０１を例示してある。図４で説明した周辺ブロックとは、図５に示すように、差分判定対象の識別ブロック１２０Ａを囲む周辺の８ブロック（１２０Ｂ）を指す。
【００５９】
そして、図５の（ａ）に示すように、周辺ブロック１２０Ｂに識別子が「１」のブロックがない場合には、第１の比較パターン（図４（ａ））の処理を行う。図５の（ｂ）に示すように、周辺ブロック１２０Ｂに一つでも識別子が「１」のブロックがある（１２０Ｂｎ）場合には、第３の比較パターン（図４（ｃ））の処理を行う。図５の（ｃ）に示すように、差分検出対象の識別ブロック１２０Ａの識別子が「１」の場合には、第２の比較パターン（図４（ｂ））の処理を行う。
【００６０】
上記のように、いずれの比較パターン１３０においても、基準画像１３１と現画像１３２のブロック１１０Ａ内の一部の画素（全体の１／８〜１／２の画素）の差分を走査（参照）するため、画像データ１１０の全画素を走査する必要がなく、差分検出を簡単な処理で行えるようになり、画像送信装置１００に処理負担を掛けない。また、高速に効率よく差分を検出できるようになる。
【００６１】
さらには、ブロック分割をしたとしてもブロック内の全画素について差分を検出すればそれだけノイズも差分として抽出してしまいノイズ除去が必要となる。これに対し、上記構成によれば、ブロック１１０Ａ内の一部画素を用いて差分を検出するため、ノイズ抽出自体が低減できることとなり、ノイズ除去処理を不要にでき、この点でも画像送信装置１００に処理負担を掛けない。
【００６２】
（画像送信装置１００の機能的構成例）
図６は、実施の形態１にかかる画像送信装置１００の機能的構成例を示すブロック図である。図６において、画像送信装置１００は、分割部６０１と、判定部６０２と、抽出部６０３と、圧縮部６０４と、送信部６０５と、を含む構成である。また、画像受信装置１０５は、受信部６１０と、復号部６１１と、合成部６１２と、を含む構成である。
【００６３】
各機能部は、具体的には、例えば、図３に示したメモリ３０２、磁気ディスク３０５などの記憶装置に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、Ｉ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、メモリ３０２、磁気ディスク３０５などの記憶装置に記憶される。
【００６４】
画像送信装置１００の分割部６０１は、画像データ１１０の画素配列を複数の画素毎のブロック１１０Ａに分割する。判定部６０２は、上述した差分マップ１２０と、比較パターン１３０とを参照して、所定のフレーム毎の基準画像１３１と、基準画像１３１以降のフレームの現画像１３２との画像の差分を分割部６０１により分割されたブロック１１０Ａ毎に判定し、判定結果に対応して前記差分マップ１２０を更新する。
【００６５】
抽出部６０３は、画像データ１１０のうち、判定部６０２により差分ありと判定された現画像１３２の差分領域１３２ａの画像データ１１０を抽出する（切り取る）。圧縮部６０４は、基準画像１３１の画像データ１１０、および抽出部６０３により抽出された現画像１３２の差分領域１３２ａの画像データ１１０を圧縮する。送信部６０５は、圧縮部６０４により圧縮された画像データ１１０、すなわち、基準画像１３１の画像データ１１０と、抽出部６０３により切り取られた現画像１３２の画像データ１１０を送信する。
【００６６】
画像受信装置１０５の受信部６１０は、伝送路（ネットワーク）１０４を介して画像送信装置１００から送信された画像データ１１０を受信する。復号部６１１は、受信した画像データ１１０を復号する。合成部６１２は、受信した画像データ１１０のうち現画像１３２については基準画像１３１に重ねる合成処理を行い、モニタ６２０等に表示出力する。
【００６７】
差分マップ１２０および比較パターン１３０は、例えば、メモリ３０２、磁気ディスク３０５などの記憶装置に記憶される。比較パターン１３０としては、ブロック１１０Ａ毎の差分の前回の判定結果に対応する複数の比較パターン１３０ａ〜１３０ｃを有する。判定部６０２は、差分マップ１２０を参照し、ブロック１１０Ａの差分の前回の判定結果に対応する比較パターン１３０ａ〜１３０ｃを選択して差分を判定する。
【００６８】
また、抽出部６０３は、画像データ１１０上において差分領域１３２ａに凹凸が生じる
場合に対応する。このため、抽出部６０３は、差分領域１３２ａを含む最外縁に位置する四角の矩形領域を画像データ１１０から切り取る。差分領域１３２ａを矩形領域として切り取ることにより、切り取った差分領域１３２ａの座標位置を簡単化することができ、画像データ１１０上の最小２点（左上および右下）を用いて示すことができる。これにより、差分領域１３２ａの切り取り処理にかかる処理負担を軽減できるようになる。また、画像受信装置１０５側における現画像の合成処理についても簡単におこなえるようになる。
【００６９】
また、送信部６０５は、基準画像１３１と現画像１３２の画像データ１１０について、フレーム番号を付加して送信する。現画像１３２の画像データ１１０については、切り取った画像の座標位置を付加して送信する。この送信部６０５は、フレーム番号として、順次連続する番号を付与する。
【００７０】
そして、送信部６０５は、ネットワーク１０４の伝送可能容量（最大送信サイズ）を考慮した画像データ１１０の送信処理を行う。具体的には、ネットワーク１０４が許容する最大送信サイズを超える場合には、一部のフレームを間引く間引き処理を行う。この間引き処理を行った場合には、間引いたフレームのフレーム番号は欠番となる。なお、フレームを連続して間引くことは行わない。例えば、現画像１３２のうち偶数フレームを優先的に間引く。これにより、画像受信装置１０５側では、画像送信装置１００側のカメラ１０１が出力する各フレームのタイミングに合わせた現画像１３２を得ることができ、時間軸に対して円滑なフレーム復元が行えるようになる。また、狭帯域なネットワーク１０４であっても、この帯域に合わせて画像データ１１０を間引いたデータ量をネットワーク１０４に送出することができ、ネットワーク１０４に負荷を掛けない。
【００７１】
（画像送信装置の画像送信内容）
図７は、画像送信装置１００が送信する画像データを示す説明図である。図７の（ａ）は、カメラ１０１が撮影した複数フレーム（図示の例では５フレーム）分の画像データ１１０の画像である。図中横軸は時間（フレーム数）である。この撮影した画像データ１１０の画像は、背景７０１は変化しないが、一番手前の車両７０２が右から左に移動している状態である。
【００７２】
そして、図７の（ｂ）に示すように、画像送信装置１００は、カメラ１０１が出力する画像データ１１０を所定フレーム毎（例えば、５フレーム毎、図７の例では先頭のフレーム１）を基準画像１３１として設定し、以後のフレーム２〜５を現画像１３２に設定する。
【００７３】
また、画像送信装置１００は、現画像１３２のフレームは、基準画像１３１のフレームとの間で差分が生じた画像（車両７０２）を含む差分領域７０３を判断する。図７の（ｂ）に示すように、車両７０２は連続的に左方向に移動しているため、フレーム２〜５の差分領域７０３は、この左方向に拡がる形となる。
【００７４】
そして、画像送信装置１００は、基準画像（フレーム１）１３１は、カメラ１０１が出力する画像データ１１０の画素数（例えば上記ＱＶＧＡ）を有してそのまま画像受信装置１０５に送信する（この際、適宜、画像圧縮等を行う）。一方、現画像（フレーム２〜５）１３２については、全画素の画像１１０の中から差分領域７０３の画像を切り取って画像受信装置１０５に送信する。これにより、現画像（フレーム２〜５）１３２については、全画素数のうち一部の画素数の画像データ１１０を送信することとなり、送信データ量を削減できる。
【００７５】
そして、画像受信装置１０５は、基準画像１３１と現画像１３２をそれぞれ受信する。画像受信装置１０５は、基準画像１３１については、受信した全画素数を有してそのままフレーム１の画像として用いる。また、現画像（フレーム２〜５）１３２については、基準画像１３１にフレーム２〜５の差分領域７０３の画像を重ねる。これにより、フレーム２〜５の差分領域７０３の画像は、変化がない全体の背景７０１とともに、フレーム毎に移動する車両７０２を画像化できる。そして、現画像１３２は、基準画像１３１に対して変化した画像として復元できる。
【００７６】
ここで、一つのフレームあたりの全画素数（フル画像）に対応する送信データ量が「１０」であるとすると、５フレーム分全てを全画素数を有して送信した場合には、全体の送信データ量は「５０」となる。これに対し、実施の形態１の処理によれば、基準画像（フレーム１）１３１のみ全画素数を有して送信するため、送信データ量は「１０」となる。また、現画像（フレーム２〜５）１３２は、切り取った画像であるため、送信データ量がそれぞれ「１」、「２」、「３」、「４」であるとする。この結果、５フレーム分の全体の送信データ量は「２０」となる。したがって、フル画像（全画素）を送信するのに比べて、実施の形態１によれば、送信データ量を「３０」分（３フレーム分相当）を削減できるようになる。
【００７７】
このように、実施の形態１によれば、送信データ量を削減できるため、ネットワーク１０４に対する通信負荷を軽減できる。また、許容する最大送信サイズが低い狭帯域のネットワーク１０４、例えば、特定小電力無線等を用いても画像データの送信が可能となる。
【００７８】
（画像送信装置の差分判定内容）
図８は、画像送信装置１００が行う差分判定処理を示す説明図である。画像データ１１０と差分マップ１２０とを用いて、差分判定処理の流れを説明する。図７と同様に車両７０２が移動する状態を例に差分抽出内容を説明する。
【００７９】
初期状態において、（ａ）に示すように、差分マップ１２０は、全ての識別ブロック１２０Ａの識別子が初期値「０」に設定されている。
【００８０】
そして、画像送信装置１００は、（ｂ）に示す画像データ１１０について、基準画像１３１に対する現画像１３２の差分判定に差分マップ１２０を用いる。この際、差分マップ１２０上では、全ての識別ブロック１２０Ａの識別子が「０」であり差分がないとされている。このため、画像送信装置１００は、画像データ１１０上のブロック１１０Ａについて、比較パターン１３０ａ（図４（ａ）参照）を用いて差分判定を行う。そして、画像送信装置１００は、差分判定の結果、車両７０２の移動に伴う画像データ１１０の差分が検出され、複数のブロック１１０Ａによる差分領域７０３ａが判定されたとする。
【００８１】
この場合、画像送信装置１００は、（ｃ）に示すように、判定された差分領域７０３ａ（複数のブロック１１０Ａ）に対応する、差分マップ１２０の識別ブロック１２０Ａの識別子を「１（差分あり）」に更新する。
【００８２】
この後、現画像１３２の画像データ１１０からの切り取り範囲については、図８に示した差分領域７０３ａでは、凹凸があり座標位置の指定位置が多くなり、切り取りにかかる処理も複雑になるため、簡素化している。例えば、図示の例では、（ｂ）に示すように、画像送信装置１００は、ＸＹ座標上の差分領域７０３ａを含む最外縁に位置する矩形領域を切り取る。そして、画像送信装置１００は、画像受信装置１０５に対して、この矩形領域の先頭ＸＹ座標と終端ＸＹ座標（８１０ａ，８１０ａ）の座標位置と、切り取った画像データ１１０と、を送信する。
【００８３】
つぎに、（ｄ）に示すように、画像送信装置１００は、つぎのフレームの現画像１３２の画像データ１１０に対する差分判定には、更新された（ｃ）に示す差分ありの差分領域７０３ａを含む差分マップ１２０を参照する。この際、画像送信装置１００は、画像データ１１０上の差分ありと判定された差分領域７０３ａのブロック１１０Ａについては、比較パターン１３０ｂ（図４（ｂ）参照）を用いて差分判定を行う。また、画像送信装置１００は、この差分領域７０３ａに接する周囲の１ブロックについては、比較パターン１３０ｃ（図４（ｃ）参照）を用いて差分判定を行う。これ以外のブロック１１０Ａについては、比較パターン１３０ａ（図４（ａ）参照）を用いて差分判定を行う。
【００８４】
そして、画像送信装置１００は、差分判定の結果、車両７０２の移動に伴う画像データ１１０の差分が検出され、複数のブロック１１０Ａによる差分領域７０３ｂが判定されたとする。
【００８５】
これにより、画像送信装置１００は、（ｅ）に示すように、判定された差分領域７０３ｂに対応する、差分マップ１２０の識別ブロック１２０Ａの識別子を「１（差分あり）」に更新する。図示の例では（ｃ）に比べて差分領域７０３ｂは、１ブロック分左に拡がる形となる。
【００８６】
この後、（ｄ）に示すように、画像送信装置１００は、差分領域７０３ｂを含む最外縁に位置する左上と右下の２点（８１０ｂ）を角部とする矩形領域を切り取る。そして、画像送信装置１００は、画像受信装置１０５に対して、この切り取り位置の２点を切り取った画像データ１１０と、２点（８１０ｂ）の座標位置とを送信する。
【００８７】
つぎに、（ｆ）に示すように、画像送信装置１００は、つぎのフレームの現画像１３２の画像データ１１０に対する差分判定には、更新された（ｅ）に示す差分ありの差分領域７０３ｂを含む差分マップ１２０を参照する。この際、上記同様に、画像送信装置１００は、画像データ１１０上の差分ありと判定された差分領域７０３ｂのブロック１１０Ａについては、比較パターン１３０ｂ（図４（ｂ）参照）を用いて差分判定を行う。また、画像送信装置１００は、この差分領域７０３ａに接する周囲の１ブロックについては、比較パターン１３０ｃ（図４（ｃ）参照）を用いて差分判定を行う。これ以外のブロック１１０Ａについては、比較パターン１３０ａ（図４（ａ）参照）を用いて差分判定を行う。
【００８８】
そして、画像送信装置１００は、差分判定の結果、車両７０２の移動に伴う画像データ１１０の差分が検出され、複数のブロック１１０Ａによる差分領域７０３ｃが判定されたとする。
【００８９】
これにより、画像送信装置１００は、判定された差分領域７０３ｂに対応する、差分マップ１２０の識別ブロック１２０Ａの識別子を「１（差分あり）」に更新する。この後、（ｆ）に示すように、画像送信装置１００は、差分領域７０３ｃを含む最外縁に位置する左上と右下の２点（８１０ｃ）を角部とする矩形領域を切り取る。そして、画像送信装置１００は、画像受信装置１０５に対して、この切り取り位置の２点を切り取った画像データ１１０と、２点（８１０ｃ）の座標位置とを送信する。
【００９０】
（伝送可能容量を考慮した画像データの送信内容）
図９は、画像送信装置１００が行う画像データの送信処理を示す説明図である。図９を用いて画像送信装置１００が行うネットワーク１０４の伝送可能容量（最大送信サイズ）を考慮した画像データ１１０の送信処理について説明する。
【００９１】
図９の（ａ）は、カメラ１０１が撮影した複数フレーム（図示の例では５フレーム）分の画像データ１１０の画像である。図中横軸は時間（フレーム数）である。この撮影した画像データ１１０の画像は、背景７０１は変化しないが、一番手前の車両７０２が右から左に移動している状態である。
【００９２】
図９の（ｂ）は、画像送信装置１００が送信する画像データ１１０を示す図である。画像送信装置１００は、カメラ１０１が出力する画像データ１１０を所定フレーム毎（例えば、５フレーム毎、図７の例では先頭のフレーム１）を基準画像１３１として設定し、以後のフレーム２〜５を現画像１３２に設定する。そして、画像送信装置１００は、基準画像１３１については全画素分の画像データ１１０を送信し、現画像１３２については、基準画像１３１および以前の現画像１３２と差分が生じた画像（車両７０２）を含む差分領域７０３を送信する。
【００９３】
ここで、ネットワーク１０４の伝送レートが１００ｋｂｐｓ（１秒間に１２．５ｋＢｙｔｅ、３秒間で３７．５ｋｂｙｔｅ以内）であるとする。そして、基準画像１３１の画像データ１１０のサイズが１２．５ｋバイト、以降の現画像１３２については、切り取った差分領域７０３の画像データ１１０のサイズがそれぞれ２ｋ，３ｋ，４ｋ，５ｋ（バイト）であったとする。この場合、５フレーム分の合計の画像データ１１０のサイズは、２６．５ｋバイトとなり、これら５フレームの画像データ１１０を全て３秒（３７．５ｋバイト）以内で送信することが可能となる。
【００９４】
一方、図９の（ｃ）に示すように、カメラ１０１が撮影した画像データ１１０の画像が、背景７０１は変化しないが、２つの車両７０２ａ，７０２ｂがそれぞれ対向方向に移動している状態であるとする。
【００９５】
図９の（ｃ）に対応して、図９の（ｄ）に示す現画像１３２について、差分領域７０３がいずれも大きな領域であったとする。そして、基準画像１３１の画像データ１１０のサイズが１２．５ｋバイト、以降の現画像１３２については、切り取った差分領域７０３の画像データ１１０のサイズがいずれも７ｋ（バイト）であったとする。この場合、５フレーム分の合計の画像データ１１０のサイズは、４０．５ｋバイトとなり、これら５フレームの画像データ１１０は、３秒（３７．５ｋバイト）を超える容量となり、送信することができない。
【００９６】
この場合、画像送信装置１００は、図９の（ｅ）に示すように、画像の一部を間引いて送信する。この際、連続するフレームは間引かず、図示の例では、基準画像１３１の後のフレーム２とフレーム４の現画像１３２については間引いて伝送対象外とする。これにより、５フレーム分の合計の画像データ１１０のサイズは、４０．５ｋバイトとなり、これら残り３フレームの合計の画像データ１１０のサイズは、２６．５ｋバイトとなり、３秒（３７．５ｋバイト）を下回るため、送信することができる。なお、伝送対象外としたフレーム２，４部分は画像データ１１０を送信せず、当初のフレーム１，３，５の送信タイミングでそれぞれのフレームを送信する。これにより、受信側で画像データ１１０の時間軸がずれることがなく、画像受信装置１０５側における画像表示を適切に行えるようになる。
【００９７】
図１０は、画像データ１１０の間引きを繰り返す場合の処理内容の説明図である。図９を用いて説明したように、画像送信装置１００は、ファイルサイズの合計値がネットワーク１０４の伝送可能容量を下回るまで画像データ１１０を間引く処理を行う。
【００９８】
画像送信装置１００は、送信する画像データ１１０のフレームをメモリに格納しておき、ファイルサイズの合計値が伝送路（ネットワーク１０４）の伝送可能容量（最大送信サイズ）を下回るまで、判定処理を繰り返して間引くフレームを決定していく。例えば、図１０の（ａ）に示す６フレーム分の画像データ１１０を格納していたとする。フレーム１が基準画像１３１、フレーム２〜６が現画像１３２である。図中斜線で示すフレームが送信対象としてメモリに格納されている画像データ１１０である。この場合、初回の１巡目の判定では、１フレーム目の基準画像１３１を含む奇数番目のフレームの画像は残し、現画像１３２のうち偶数番目のフレームを優先的に伝送対象外として間引く。
【００９９】
この際、データ量の大きいフレームから優先的に間引く。図１０の（ａ）の例では、間引く対象の偶数番目のフレーム２，４，６全てを間引く対象とした状態である。間引いた画像データ１１０は、メモリから削除する。
【０１００】
図１０の（ｂ）に示すように、現画像１３２を３フレーム分間引いた後であっても、フレーム１，３，５のファイルサイズの合計値が伝送路（ネットワーク１０４）の伝送可能容量（最大送信サイズ）を超えていたとする。この場合、画像送信装置１００は、２巡目の判定において、例えば、データ量の大きい奇数番目のフレーム（フレーム３）を伝送対象外として間引く候補にする。
【０１０１】
図１０の（ｃ）に示すように、現画像１３２を４フレーム分間引いた後であっても、フレーム１，５のファイルサイズの合計値が伝送路（ネットワーク１０４）の伝送可能容量（最大送信サイズ）を超えていたとする。この場合、画像送信装置１００は、３巡目の判定において、データ量の大きい奇数番目のフレーム（フレーム５）を伝送対象外として間引く候補にする。
【０１０２】
上記例では、図１０の（ｄ）に示すように、現画像１３２の画像データ１１０（フレーム２〜６）が全て間引かれることになり、この場合、４巡目の判定では基準画像１３１の画像データ１１０のみとなる。このように、現画像１３２のデータ量が大きい場合、最終的には現画像１３２の画像データ１１０を全て間引き、基準画像１３１の画像データ１１０だけを送信する場合となることもある。なお、基準画像１３１の画像データ１１０のデータ量は、予め伝送路（ネットワーク１０４）の伝送可能容量（最大送信サイズ）以下に設定しておく。
【０１０３】
（画像受信装置１０５における受信フレームの組み立て内容）
図１１は、画像受信装置１０５による受信データのフレーム組み立てを示す説明図である。画像送信装置１００は、画像データ１１０をフレーム番号を付与して送信する。画像受信装置１０５は、このフレーム番号に基づき、受信フレームを組み立てる。
【０１０４】
図１１の（ａ）に示すように、画像送信装置１００が画像データ１１０の一部フレームを間引き、基準画像１３１（フレーム１）と、現画像１３２（フレーム３，５）を送信したとする。画像受信装置１０５は、図１１の（ｂ）に示すように、画像送信装置１００側の間引きに関係なく、全てのフレームを収容可能な表示用メモリ配列１１００を有している。表示用メモリ配列１１００は、受信した画像データ１１０をフレーム１，２，３，…と、順次フレームを格納する。そして、画像受信装置１０５は、図１１の（ｂ）に示すように、受信したフレーム１，３，５を該当する表示用メモリ配列１１００の同じフレーム番号に格納する。なお、図１１（ｃ）に示す如く、受信したフレーム１，３，５を順次詰めて表示用メモリ配列１１００のフレーム１〜３に格納することはしない。
【０１０５】
そして、図１１の（ｂ）に示すように、受信したフレームを該当する表示用メモリ配列１１００の同じフレーム番号に格納したとする。そして、図１１の（ｄ）に示すように、６フレームを等間隔を有して３秒で表示するとする。この場合、空いたフレーム（フレーム２，４，６）は、それぞれフレーム時間（５００ミリ秒）に対応する表示の待ち時間を設けて表示する。これにより、画像送信装置１００側で間引き処理を行っても、画像受信装置１０５では、カメラ１０１が撮影した画像の時間軸がずれることなく表示することができる。なお、画像受信装置１０５は、表示用メモリのうち、画像データ１１０が格納されていない空白のフレームについては、前フレームの画像データ１１０を表示させる等により、画像の途切れを防ぐことができる。
【０１０６】
（画像送信装置１００の画像データの差分判定にかかる処理手順）
つぎに、実施の形態１にかかる画像送信装置１００の画像データの差分判定処理手順について説明する。この画像データの差分判定処理は、カメラ１０１から１枚（１フレーム）の画像を取得毎に実行される。なお、以下の説明において、フレーム１が基準画像１３１であり、フレーム２〜５が現画像１３２であるとし、以降、フレーム６が基準画像１３１、フレーム７〜１０が現画像１３２として繰り返される例を用いて説明する。
【０１０７】
図１２は、実施の形態１にかかる画像送信装置１００の画像データ差分判定処理手順の一例を示すフローチャートである。図１２のフローチャートにおいて、まず、画像送信装置１００は、カメラ１０１から画像データ１１０を取得する（ステップＳ１２０１）。
【０１０８】
そして、画像送信装置１００は、処理枚数を判定する（ステップＳ１２０２）。ここでは、カメラ１０１から取得した画像データ１１０に対する処理枚数（フレーム）の有無を判定し、１枚目（１フレーム目）の画像データ１１０であるか判定する。１枚目の画像であれば（ステップＳ１２０２：Ｙｅｓ）、ステップＳ１２０３に移行し、１枚目の画像でなければ（ステップＳ１２０２：Ｎｏ）、ステップＳ１２０８に移行する。
【０１０９】
ステップＳ１２０３では、画像送信装置１００は、前回の基準画像１３１があれば、この取得した画像データ１１０を前回の基準画像１３１と比較し、差分マップ１２０を更新する（ステップＳ１２０３）。前回の基準画像１３１がない場合、差分マップ１２０は全て初期値（識別子＝０）とする。ステップＳ１２０３の処理の詳細は後述する。
【０１１０】
なお、上述したように、所定フレーム毎の基準画像１３１については、前回の基準画像１３１と比較せずに、カメラ１０１が撮影した画像データの全画素を送信する構成とすれば、基準画像１３１と、この基準画像１３１に対する差分を求める現画像１３２の画像劣化を防止することができる。
【０１１１】
この後、画像送信装置１００は、画像データ１１０に対する所定の画像圧縮を行う（ステップＳ１２０４）。そして画像送信装置１００は、圧縮した画像データ１１０と、画像情報（画像番号（フレーム番号）、差分があるときの切り取り位置（先頭ＸＹ座標と、終端ＸＹ座標８１０ｃ））をメモリに保存する（ステップＳ１２０５）。この後、画像送信装置１００は、取得した画像データ１１０を基準画像１３１として更新し（ステップＳ１２０６）、処理枚数をインクリメントする（ステップＳ１２０７）。１枚目の処理であれば、処理枚数が２となる。
【０１１２】
この後、ステップＳ１２０１に戻り、画像送信装置１００は、カメラ１０１から再度、画像データ１１０を取得する（ステップＳ１２０１）。取得した画像データ１１０は、２枚目以降の現画像１３２となる。以降、画像送信装置１００は、この現画像１３２について基準画像１３１との差分を判定する。この場合、ステップＳ１２０２において、１枚目（１フレーム目）の画像データ１１０であるか判定すると、１枚目の画像でないため（ステップＳ１２０２：Ｎｏ）、ステップＳ１２０８に移行する。
【０１１３】
ステップＳ１２０８では、まず、画像送信装置１００は、取得した現画像１３２を、メモリに保存した基準画像１３１と比較し、差分マップ１２０を更新する（ステップＳ１２０８）。ステップＳ１２０８の処理の詳細は後述する。この後、画像送信装置１００は、この現画像１３２について、先頭ＸＹ座標と、終端ＸＹ座標８１０ａから得られる矩形領域を抽出する（ステップＳ１２０９）。例えば、図８（ｆ）に示す差分領域７０３ｃの場合、先頭ＸＹ座標と、終端ＸＹ座標８１０ｃから得られる四角の矩形領域を抽出する。
【０１１４】
この後、画像送信装置１００は、抽出した矩形の画像データ１１０に対する所定の画像圧縮を行い（ステップＳ１２１０）、圧縮した画像データ１１０と、画像情報（画像番号（フレーム番号）、切り取り位置（先頭ＸＹ座標と、終端ＸＹ座標８１０ｃ））をメモリに保存する（ステップＳ１２１１）。この後、画像送信装置１００は、処理枚数をインクリメントし（ステップＳ１２１２）、処理枚数が設定値（例えば現画像１３２が４フレームの場合５）以下であるか判断する（ステップＳ１２１３）。処理枚数が設定値以下であれば（ステップＳ１２１３：Ｙｅｓ）、ステップＳ１２０１に戻り、以後のフレームの現画像１３２に対する処理を同様に行う。
【０１１５】
一方、画像送信装置１００は、処理枚数が設定値を超えれば（ステップＳ１２１３：Ｎｏ）、１枚の基準画像１３１と、４枚の現画像１３２とからなる１組（５フレーム分）の画像データ１１０に対する差分判定処理が終了したと判断し、処理枚数を１に初期化し（ステップＳ１２１４）、処理を終了する。以後、６フレーム以降の画像データ１１０に対しては、再度、ステップＳ１２０１以降に示した差分判定の処理を実行する。この差分判定処理と、後述する送信処理とは並列に実行される。
【０１１６】
図１３は、図１２の差分判定処理の詳細手順の一例を示すフローチャートである。図１２に示したステップＳ１２０３（およびステップＳ１２０８）の処理内容を示す。はじめに、画像送信装置１００は、画像データ１１０の基準画像１３１と現画像１３２をそれぞれブロック分割する（ステップＳ１３０１）。例えば、上述したように、画像データ１１０はＱＶＧＡであり、これを８０×６０ブロックに分割して複数のブロック１１０Ａを設定する。
【０１１７】
この後、画像送信装置１００は、差分マップ１２０から対応するブロック１１０Ａの比較パターン１３０を取得する（ステップＳ１３０２）。比較パターンは、図４に示したように、前回の（ａ）第１（差分なし用）比較パターン、（ｂ）第２（差分あり用）比較パターン、（ｃ）第３（差分なし周辺用）比較パターンがある。そして、画像送信装置１００は、差分マップ１２０を用いてブロック１１０Ａ毎に、前回の差分比較結果に対応する、比較パターン（ａ）〜（ｃ）のいずれかを選択して画像の差分比較を画素（ピクセル）単位で行う（ステップＳ１３０３）。
【０１１８】
そして、画像送信装置１００は、差分値が所定の閾値を上回っていたら、そのピクセルを差分ピクセルとしてカウントする（ステップＳ１３０４）。例えば、この際、差分を検出した画素（ピクセル）における濃度値や色あいが所定値以上異なる場合、閾値を超えたと判定する。また、画像送信装置１００は、比較したブロック１１０Ａについて、１ブロック中の差分ピクセルの個数が閾値を上回っていたら、そのブロック１１０Ａを差分ブロックと判定する（ステップＳ１３０５）。比較パターン（ａ）〜（ｃ）別に差分を検出する画素数は異なり、比較パターン（ａ）〜（ｃ）別に閾値を超えた画素数に基づき、ブロック１１０Ａ全体について差分が検出されたと判定する。
【０１１９】
そして、画像送信装置１００は、この処理結果から差分マップ１２０を更新する（ステップＳ１３０６）。この際、該当するブロック１１０Ａの差分のあり／なしにかかわらず、差分マップ１２０を更新する。ここで、差分がないブロック１１０Ａについては、差分マップ１２０の識別ブロック１２０Ａの識別子は初期値０のままとなり、差分があるブロック１１０Ａについては、差分領域７０３の一つであるとして、このブロック１１０Ａに対応する差分マップ１２０の識別ブロック１２０Ａの識別子を０→１に変更する。
【０１２０】
そして、画像送信装置１００は、画像データ１１０上で差分の有無を判定する（ステップＳ１３０７）。差分があると判定された場合（ステップＳ１３０７：Ｙｅｓ）、差分ありと判定された複数のブロック１１０Ａをまとめた先頭ＸＹ座標と、終端ＸＹ座標８１０ａを更新する（ステップＳ１３０８）。差分がないと判定された場合には（ステップＳ１３０７：Ｎｏ）、ステップＳ１３０９に移行する。
【０１２１】
つぎに、画像送信装置１００は、画像データ１１０上において差分を判定する処理ブロック１１０Ａが最後であるかを判定する（ステップＳ１３０９）。画像データ１１０を走査して最後の処理ブロック１１０Ａまで達していなければ（ステップＳ１３０９：Ｎｏ）、ステップＳ１３０２に戻り、以降の処理を再度実行する。画像データ１１０上を走査して最後の処理ブロック１１０Ａまで達すれば（ステップＳ１３０９：Ｙｅｓ）、図１２に示すステップＳ１２０４（あるいはステップＳ１２０９）に移行する。
【０１２２】
（画像送信装置１００の画像データの送信処理手順）
図１４は、画像送信装置１００の画像データの送信処理手順の一例を示すフローチャートである。画像送信装置１００は、図１２に示した差分判定の処理後に、メモリに格納された画像データ１１０の送信処理を並行して行う。はじめに、画像送信装置１００は、ファイルサイズの合計値（メモリに格納された１組（５フレーム分）の画像データ１１０）が伝送路（ネットワーク１０４）の伝送可能容量（最大送信サイズ）を超えているか判断する。超えていれば（ステップＳ１４０１：Ｙｅｓ）、ステップＳ１４０２に移行し、超えていなければ（ステップＳ１４０１：Ｎｏ）、ステップＳ１４０８に移行する。
【０１２３】
画像送信装置１００は、つぎに、ステップＳ１４０２〜ステップＳ１４０７において、メモリに保持している画像枚数分（上記５フレーム分）のループ処理を行う。はじめに、送信する画像データ１１０が基準画像（１枚目）１３１であるか判断する（ステップＳ１４０３）。画像送信装置１００は、送信する画像データ１１０が１枚目の基準画像１３１であれば（ステップＳ１４０３：Ｙｅｓ）、ループ処理を継続する（ステップＳ１４０２に戻る）。１枚目の基準画像１３１でなければ（ステップＳ１４０３：Ｎｏ）、奇数枚目（現画像１３２）であるか判断する（ステップＳ１４０４）。
【０１２４】
画像送信装置１００は、奇数枚目であれば（ステップＳ１４０４：Ｙｅｓ）、ループ処理を継続（ステップＳ１４０２に戻る）するが、奇数枚目でなければ（ステップＳ１４０４：Ｎｏ）、すなわち偶数枚目であれば、この偶数枚目の現画像１３２の画像データ１１０をメモリから削除する（ステップＳ１４０５）。この後、画像送信装置１００は、再度、ファイルサイズの合計値の画像データ１１０が伝送路の伝送可能容量を超えているか判断する（ステップＳ１４０７）。ファイルサイズの合計値の画像データ１１０が伝送路の伝送可能容量を超えていれば（ステップＳ１４０７：Ｙｅｓ）、ループ処理を継続し（ステップＳ１４０２に戻る）、ファイルサイズの合計値の画像データ１１０が伝送路の伝送可能容量を下回れば（ステップＳ１４０７：Ｎｏ）、ループ処理を抜けてステップＳ１４０８に移行する。
【０１２５】
画像送信装置１００は、ステップＳ１４０８において、ファイルサイズの合計値が伝送路の伝送可能容量以下であるか判断する（ステップＳ１４０８）。ファイルサイズの合計値が伝送路の伝送可能容量以下であれば（ステップＳ１４０８：Ｙｅｓ）、メモリから１枚（１フレーム）ずつ送信を行い（ステップＳ１４０９）、メモリ保持分の画像データ１１０の送信処理を終了する。一方、ファイルサイズの合計値が伝送路の伝送可能容量をまだ超えていれば（ステップＳ１４０８：Ｎｏ）、上述したように、奇数枚目の画像データ１１０についても順次メモリから削除を行い（図１０参照）、ステップＳ１４０２に戻る。これにより、画像送信装置１００は、メモリに格納されている画像データ１１０について、ファイルサイズの合計値が伝送路の伝送可能容量に達しないように送信制御を行う。
【０１２６】
（画像受信装置１０５の画像データの受信処理手順）
図１５は、画像受信装置１０５の画像データの受信処理手順の一例を示すフローチャートである。画像受信装置１０５は、はじめに、画像送信装置１００から伝送路（ネットワーク１０４）を介して送信された画像データ１１０を１枚（１フレーム）ずつ受信する（ステップＳ１５０１）。
【０１２７】
そして、画像受信装置１０５は、一定期間内分の画像データ１１０を受信できたか判断する（ステップＳ１５０２）。受信できたと判断すれば（ステップＳ１５０２：Ｙｅｓ）、ステップＳ１５０３に移行し、受信できていなければ（ステップＳ１５０２：Ｎｏ）、ステップＳ１５０１に戻る。一定期間は、例えば、伝送路（ネットワーク１０４）の伝送可能容量に基づいて予め設定され、例えば、上記例のように、５枚（５フレーム分）の画像データを３秒以内で受信できたかを判断する。１枚単位の設定時間を用いてもよい。
【０１２８】
つぎに、画像受信装置１０５は、受信した画像データ１１０について画像枚数分のループ処理を行う（ステップＳ１５０３〜ステップＳ１５０７）。このループ処理では、１枚目の基準画像１３１であるか判断し（ステップＳ１５０４）、基準画像１３１であれば（ステップＳ１５０４：Ｙｅｓ）、フレーム番号と同じ配列の表示用メモリに格納する（ステップＳ１５０５）。一方、基準画像でなければ（現画像１３２）（ステップＳ１５０４：Ｎｏ）、この現画像１３２を基準画像１３１と合成し、フレーム番号と同じ配列の表示用メモリに格納する（ステップＳ１５０６）。合成時には、現画像１３２のフレーム番号と、座標位置（先頭ＸＹ座標および終端ＸＹ座標）に基づき、この現画像１３２を基準画像の該当する座標位置に重ねる（図８，図９参照）。
【０１２９】
つぎに、画像受信装置１０５は、表示用メモリ配列分のループ処理を行う（ステップＳ１５０８〜ステップＳ１５１２）。このループ処理では、表示用メモリ配列毎に画像データ１１０が格納されているか判断する（ステップＳ１５０９）。画像データ１１０が格納されている表示用メモリ配列位置については（ステップＳ１５０９：Ｙｅｓ）、該当するフレーム出力時に画像を表示（出力）させる（ステップＳ１５１０）。一方、画像データ１１０が格納されていない表示用メモリ配列があれば（ステップＳ１５０９：Ｎｏ）、該当するフレーム出力時に画像がないため、一定時間表示待ちを行う（ステップＳ１５１１，図１１（ｄ）参照）。
【０１３０】
以上説明したように、実施の形態１によれば、所定のフレーム毎に一つの基準画像１３１と複数の現画像１３２とを決定し、基準画像１３１については、全画素数分の画像データ１１０を送信する。一方、現画像１３２については、基準画像１３１との差分を判定し、差分領域の画像データ１１０だけを切り取って送信する。これにより、基準画像１３１を送信後の現画像１３２は、基準画像１３１に対して動きが生じた一部の領域（差分領域）にでき、動きに対応した領域だけを効率的に切り取ることができ、送信する画像データ１１０のデータ量を削減することができる。これにより、ネットワーク１０４負荷を軽減できるとともに、狭帯域のネットワーク１０４を用いても効率よく画像データ１１０を送信できるようになる。
【０１３１】
また、画像送信装置１００は、画像データ１１０の差分の判定時に、画像データ１１０の全画素について１ピクセルずつ比較を行うのではなく、ブロック１１０Ａ単位で比較を行っている。そして、このブロック単位の比較は、基準画像１３１と現画像１３２のブロック１１０Ａ内の一部の画素（全体の１／８〜１／２の画素）の差分を走査（参照）しており、全画素を走査するのではないため、ブロック１１０Ａ毎の差分検出を簡単な処理で行えるようになり、画像送信装置１００に処理負担を掛けない。また、高速に効率よく差分を検出できるようになる。加えて、処理性能が低い画像送信装置１００であっても、効率よく差分を検出できるようになる。
【０１３２】
加えて、ブロック１１０Ａ内の一部画素を用いて差分を検出するため、ノイズ抽出自体が低減でき、ノイズ除去処理を不要にでき、この点でも画像送信装置１００に処理負担を掛けない。
【０１３３】
また、画像送信装置１００は、現画像１３２について、差分が判定された差分領域７０３を切り取って送信するが、この切り取り形状が凹凸の場合、切り取る領域を簡素化して、差分領域７０３を含む最外縁に位置する四角の矩形領域を切り取る。これにより、画像送信装置１００は、画像データ１１０から差分の画像が含まれる矩形領域を簡単に切り取ることができ、差分領域７０３を示す座標位置も最小の２点を用いて示すことができるようになる。画像受信装置１０５では、２点の座標位置を用いて、現画像１３２を基準画像１３１上に簡単に重ねて表示（出力）することができる。
【０１３４】
さらに、画像送信装置１００は、基準画像１３１と、現画像１３２とを組み合わせて送信するとき、この１組の画像データ１１０について、伝送路（ネットワーク１０４）の伝送特性（許容する最大送信サイズ）にあわせて、現画像１３２を間引いて送信する。これにより、許容する最大送信サイズが低い狭帯域のネットワーク１０４にも適用することができ、例えば、特定小電力無線等を用いても画像データの送信が可能となる。
【０１３５】
また、画像受信装置１０５では、画像送信装置１００側で画像データ１１０を間引いて送信した場合であっても、受信したフレームを該当する表示用メモリ配列の同じフレーム番号に格納して表示（出力）する。これにより、画像受信装置１０５は、画像送信装置１００側のカメラ１０１が画像の時間軸がずれることなく表示（出力）することができる。
【０１３６】
（実施の形態２）
実施の形態２では、実施の形態１で説明した差分マップ１２０の更新にかかる他の処理例について説明する。実施の形態１では、画像データの背景が動かずに、１台の車両７０２が移動して差分領域７０３を判定する例を説明した（図９等参照）。
【０１３７】
しかしながら、画像データ１１０上において複数の車両７０２が対向方向に移動する場合等には、差分領域７０３、すなわち、送信する切り取り領域が複数存在する場合がある。加えて、差分マップの１回の更新時にそれまで移動していた車両７０２が停止して動かない場合もある。実施の形態２では、このように変化が不定な画像データ１１０であっても、差分を判定する処理例について説明する。
【０１３８】
図１６は、実施の形態２における差分マップ１２０を示す説明図である。実施の形態２では、図１６の（ａ）に示すように、複数（例えば３つ以上）の差分マップ１（１２０ａ）〜差分マップ３（１２０ｃ）を用意する。そして、画像送信装置１００は、この３つの差分マップ１２０を順次更新していく。はじめに、あるフレームで差分マップ１（１２０ａ）を用いた後、つぎのフレームでは差分マップ２（１２０ｂ）を用い、そのつぎのフレームでは差分マップ３（１２０ｃ）を用いる。この後のフレームでは、再度差分マップ１（１２０ａ）に戻り用いることを繰り返していく。
【０１３９】
例えば、図１６の（ａ）に示すように、あるフレームで、車両７０２の移動による差分が検出され（差分領域７０３ａ）、差分マップ１（１２０ａ）を更新した後に、つぎのフレームでは何も移動が検出されず、差分マップ２（１２０ｂ）において差分がない状態で更新されたとする。この後のフレームで再度、差分が検出され（差分領域７０３ｂ）、差分マップ３（１２０ｃ）が更新されたとする。この場合、単に一つの差分マップ１２０を用いただけでは、差分が検出されなかったフレーム以前の差分（差分マップ１（１２０ａ））の差分情報が欠落してしまう。
【０１４０】
これに対応するため、図１６の（ｂ）に示すように、フレーム毎に上記３つの差分マップ１〜３（１２０ａ〜１２０ｃ）を切り替えて用い、フレーム毎にこれら３つの差分マップ１〜３（１２０ａ〜１２０ｃ）の識別ブロック１２０Ａの論理和（ＯＲ）を取った参照用差分マップ１２０ｄを生成する。そして、差分検出時には、この参照用差分マップ１２０ｄを参照する。
【０１４１】
これにより、参照用差分マップ１２０ｄには、途中のフレームで動き（差分）がない場合でも、それ以前のフレームにおける動き（差分）に相当する識別子「１」の情報が格納される。したがって、動きがなかったフレームのつぎのフレームにおける動き（差分）の判定を正確に行えるようになる。
【０１４２】
また、参照用差分マップ１２０ｄには、複数フレーム分の動き（差分）の情報が集約されるため、異なる差分領域７０３ａ，７０３ｂを一つの差分領域７０３ｃにまとめることができるようになる。差分領域７０３ｃのように、差分領域７０３の数が少なければ、その分、画像送信装置１００の処理負担を軽減でき、送信する画像データ１１０のデータ量も低減できるようになる。
【０１４３】
なお、図１６を用いて説明した２つの差分領域７０３ａ，７０３ｂが離れていて重ならない場合には、画像送信装置１００は、これら離れた箇所の識別ブロック１２０Ａの識別子を強制的に「１」に設定して、一つの差分領域７０３に統合する処理を行ってもよい。これにより、差分領域７０３の数を減らし、切り取る領域数を減らし、切り取りにかかる処理負荷を軽減できる。
【０１４４】
上記例では、３つの差分マップ１２０を用いる例を説明したが、３つに限らず、より多く（例えば４〜１０）の差分マップ１２０を用いてもよく、数が多ければそれだけ過去の差分領域７０３を保持しておくことができ、差分の判定時に、これら過去の複数の差分領域７０３を用いて正確に差分判定できるようになる。
【０１４５】
なお、この実施の形態２において説明した差分マップ１２０の更新および参照にかかる処理は、実施の形態１の差分判定の処理（ステップＳ１３０６）において実行すればよく、他の差分判定の処理（図１２および図１３）の処理は実施の形態１と同様である。
【０１４６】
このように、実施の形態２によれば、実施の形態１と同様の効果を得ることができる。加えて、撮影した画像データ１１０に含まれる物体の移動がフレーム間で連続せずに不定に移動および停止した場合に対応でき、このような物体であっても差分の判定を精度よく行うことができるようになる。
【０１４７】
（画像伝送システムの回路構成例）
各実施の形態の画像送信装置１００は、ＣＰＵおよびＲＯＭ、ＲＡＭ等を備え、ＣＰＵが画像送信プログラムを実行する構成例について説明した。これに限らず、画像送信装置１００、および画像受信装置１０５は、電子回路素子等により構成することもできる。具体的には、例えば、画像送信装置１００、および画像受信装置１０５の機能部を、論理積回路であるＡＮＤ、否定論理回路であるＩＮＶＥＲＴＥＲ、論理和回路であるＯＲ、論理和否定回路であるＮＯＲや、ラッチ回路であるＦＦ（Ｆｌｉｐ  Ｆｌｏｐ）などの電子回路素子によって形成することにしてもよい。
【０１４８】
図１７は、画像伝送システムの回路構成例を示すブロック図である。画像送信装置１００は、Ａ／Ｄ変換器１７０１と、画像メモリ制御器１７０２と、基準画像メモリ１７０３と、現画像メモリ１７０４と、差分比較器１７０５と、差分ブロック判定器１７０６と、差分マップメモリ１７０７と、差分抽出パターン選択器１７０８と、差分エリア判定器１７０９と、差分範囲抽出器１７１０と、画像圧縮器１７１１と、送信画像メモリ１７１２と、画像間引き判定器１７１３と、データ送信器１７１４と、を含む。
【０１４９】
Ａ／Ｄ変換器１７０１は、カメラ１７００から入力されたアナログ信号をデジタル信号に変換する。画像メモリ制御器１７０２は、Ａ／Ｄ変換器１７０１が出力する画像データ１１０について、基準画像１３１を基準画像メモリ１７０３に格納し、現画像１３２は現画像メモリ１７０４に格納するように切り替え制御する。基準画像メモリ１７０３は、基準画像１３１を保持する。現画像メモリ１７０４は、現画像１３２を保持する。
【０１５０】
差分マップメモリ１７０７は、差分マップ１２０を保持する。差分抽出パターン選択器１７０８は、差分マップ１２０を元にブロック毎の比較する比較パターン（図４参照）を選択する。差分比較器１７０５は、差分抽出パターン選択器１７０８が選択した比較パターンを元に、現画像１３２と基準画像１３１を比較して差分を求める。差分ブロック判定器１７０６は、差分比較器１７０５で求めた差分情報を元に差分ブロックを判断するとともに、差分マップメモリ１７０７の差分マップ１２０を更新する。
【０１５１】
差分エリア判定器１７０９は、差分ブロック判定器１７０６で判定した差分ブロック１１０Ａから抽出する矩形領域（エリア）の座標を求める。差分範囲抽出器１７１０は、差分エリア判定器１７０９で求めた座標から矩形領域を切り取り抽出する。画像圧縮器１７１１は、差分範囲抽出器１７１０で抽出した画像データ１１０を圧縮する。
【０１５２】
送信画像メモリ１７１２は、圧縮した画像データを指定枚数分保持する。画像間引き判定器１７１３は、送信画像メモリ１７１２で保持した圧縮した画像データ１１０の合計サイズが伝送路（ネットワーク１０４）の有効帯域を超えていた場合、この有効帯域内に収まるように圧縮した画像データ１１０を間引いて送信枚数を減らす。データ送信器１７１４は、基準画像１３１と、現画像１３２の差分領域の画像データを圧縮した圧縮データと、矩形領域を示す座標情報を送信する。
【０１５３】
画像受信装置１０５は、データ受信器１７２１と、受信画像メモリ１７２２と、画像復号器１７２３と、画像種別判定器１７２４と、基準画像メモリ１７２５と、現画像メモリ１７２６と、画像合成器１７２７と、を含む。
【０１５４】
データ受信器１７２１は、伝送路（ネットワーク１０４）を介して画像送信装置１００から送信された画像データ１１０を受信する。受信画像メモリ１７２２は、受信した画像データ１１０を指定枚数分保持する。画像復号器１７２３は、受信画像メモリ１７２２に保持している画像データ１１０を復号する。画像種別判定器１７２４は、画像データ１１０が基準画像１３１であるか現画像１３２であるかを判定する。基準画像メモリ１７２５は、復号した基準画像１３１を保持する。現画像メモリ１７２６は、復号した現画像（差分領域の画像）１３２を保持する。画像合成器１７２７は、基準画像メモリ１７２５の基準画像１３１に現画像メモリ１７２６の現画像１３２を合成し、モニタ１７３０に表示（出力）する。
【０１５５】
なお、本実施の形態で説明した画像の送信および受信処理にかかるプログラムは、予め用意されたプログラムをコンピュータで実行することにより実現することができる。また、このプログラムは、半導体メモリ、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、インターネット等のネットワークを介して配布してもよい。
【０１５６】
上述した各実施の形態に関し、さらに以下の付記を開示する。
【０１５７】
（付記１）フレーム毎の画素配列を複数のブロックに分割する分割部と、
連続して撮影された複数の前記フレーム間の同一配列位置の前記ブロックの画素値の差分の有無を示す識別子を保持する差分マップと、前記ブロック内の一部の画素が差分判定用に設定された複数の比較パターンと、を格納する格納部と、
前記複数のフレームのうちの第１のフレーム以降に撮影された第２のフレームの前記ブロック毎に、前記差分マップおよび前記複数の比較パターンから選択した比較パターンに基づいて、前記第１のフレームと前記第２のフレームとの同一配列位置の前記ブロックの画素値の差分の有無を判定し、該判定結果に対応して前記差分マップを更新する判定部と、
前記更新後の前記差分マップに基づいて、前記第２のフレームから、前記第１のフレームとの差分を表す差分領域の画像データを抽出する抽出部と、
を有することを特徴とする画像送信装置。
【０１５８】
（付記２）前記判定部によって選択される前記比較パターンは、
前記判定結果が差分なしの場合に選択され、前記ブロック内の判定に用いる画素数が前記ブロック全画素数より少なく設定された第１の比較パターンと、
前記判定結果が差分ありの場合に選択され、前記第１の比較パターンに比して前記ブロック内の判定に用いる画素数が多く設定された第２の比較パターンと、
を有することを特徴とする付記１に記載の画像送信装置。
【０１５９】
（付記３）前記判定部は、
前記判定結果が差分ありの場合、当該差分ありの前記ブロックの周辺に位置する他のブロックに対する差分判定に第３の比較パターンを選択することを特徴とする付記２に記載の画像送信装置。
【０１６０】
（付記４）さらに、前記第１のフレームの全画素の画像データと、前記抽出部により抽出された前記第２のフレームの前記差分領域の画像データと、を送信する送信部を有することを特徴とする付記１〜３のいずれか一つに記載の画像送信装置。
【０１６１】
（付記５）前記判定部は、
前記第２のフレームについて、前記第１のフレームと、当該第１のフレーム以降の複数のフレームとの画像の差分を判定することを特徴とする付記１〜４のいずれか一つに記載の画像送信装置。
【０１６２】
（付記６）前記判定部は、
前記第１のフレームの画像について、以前に撮影された前記フレームとの差分を判定することを特徴とする付記１〜５のいずれか一つに記載の画像送信装置。
【０１６３】
（付記７）前記抽出部は、
前記差分領域を含む最外縁に位置する矩形領域を切り取り、当該矩形領域の最小２点の座標位置を求め、
前記送信部は、
前記切り取った矩形領域の画像データと、前記２点の座標位置と、を送信することを特徴とする付記１〜６のいずれか一つに記載の画像送信装置。
【０１６４】
（付記８）前記送信部は、
伝送路の許容する最大送信サイズ以下の送信データ量となるように、送信対象の画像データのフレームのうち一部のフレームを間引く間引き処理を行うことを特徴とする付記１〜７のいずれか一つに記載の画像送信装置。
【０１６５】
（付記９）前記送信部は、
前記間引き処理を行う画像データとして、前記第１のフレームの画像データを間引きの対象外とし、前記第２のフレームのうち偶数フレームを優先的に間引き、以降、前記第２のフレームの奇数フレームを間引くことを特徴とする付記８に記載の画像送信装置。
【０１６６】
（付記１０）前記差分マップを複数有し、
前記判定部は、
複数の前記差分マップをフレーム間の画像の差分判定毎に順次切り替え、差分の有無を示す識別子を切り替えた前記差分マップに更新格納するとともに、
前記フレーム間の画像の差分は、前記複数の前記差分マップの識別子を統合した参照用差分マップを参照して判定することを特徴とする付記１〜９のいずれか一つに記載の画像送信装置。
【０１６７】
（付記１１）フレーム毎の画素配列を複数のブロックに分割する分割部と、
連続して撮影された複数の前記フレーム間の同一配列位置の前記ブロックの画素値の差分の有無を示す識別子を保持する差分マップと、前記ブロック内の一部の画素が差分判定用に設定された複数の比較パターンと、を格納する格納部と、
前記複数のフレームのうちの第１のフレーム以降に撮影された第２のフレームの前記ブロック毎に、前記差分マップおよび前記複数の比較パターンから選択した比較パターンに基づいて、前記第１のフレームと前記第２のフレームとの同一配列位置の前記ブロックの画素値の差分の有無を判定し、該判定結果に対応して前記差分マップを更新する判定部と、
前記更新後の前記差分マップに基づいて、前記第２のフレームから、前記第１のフレームとの差分を表す差分領域の画像データを抽出する抽出部と、
前記第１のフレームの全画素の画像データと、前記抽出部により抽出された前記第２のフレームの前記差分領域の画像データと、を送信する送信部と、
を有する画像送信装置と、
伝送路を介して前記画像送信装置から送信された前記画像データを受信する受信部と、
受信した前記画像データのうち前記第２のフレームの画像については前記第１のフレームの画像に重ねる合成部と、
を有する画像受信装置と、
を含むことを特徴とする画像伝送システム。
【０１６８】
（付記１２）前記抽出部は、
前記差分領域を含む最外縁に位置する矩形領域を切り取り、当該矩形領域の最小２点の座標位置を求め、
前記送信部は、
前記切り取った矩形領域の画像データと、前記２点の座標位置を送信し、
前記合成部は、
受信した２点の座標位置に基づき、前記第１のフレームの画像に前記第２のフレームの画像を重ねることを特徴とする付記１１に記載の画像伝送システム。
【０１６９】
（付記１３）前記送信部は、
伝送路の許容する最大送信サイズ以下の送信データ量となるように、送信対象の画像データのフレームのうち前記第１のフレームの画像データを間引きの対象外とし、前記第２のフレームのうち偶数フレームを優先的に間引き、以降、前記第２のフレームの奇数フレームを間引く間引き処理を行い、フレーム番号を付して送信し、
前記受信部は、
受信したフレーム番号に基づき、前記画像データの受信フレームを組み立て、うちフレーム番号が欠落した画像データは対応するフレーム時間分の表示待ちを行うことを特徴とする付記１１または１２に記載の画像伝送システム。
【０１７０】
（付記１４）
前記画像送信装置は、所定領域を監視する監視カメラの画像データを前記画像受信装置に送信することを特徴とする付記１１〜１３のいずれか一つに記載の画像伝送システム。（図２）
【０１７１】
（付記１５）前記伝送路は、狭帯域の特定小電力無線であることを特徴とする付記１１〜１４のいずれか一つに記載の画像伝送システム。
【０１７２】
（付記１６）コンピュータが、
フレーム毎の画素配列を複数のブロックに分割し、
連続して撮影された複数の前記フレーム間の同一配列位置の前記ブロックの画素値の差分の有無を示す識別子を保持する差分マップと、前記複数のフレームのうちの第１のフレーム以降に撮影された第２のフレームの前記ブロック毎に、前記差分マップおよび前記ブロック内の一部の画素が差分判定用に設定された複数の比較パターンに基づいて、前記第１のフレームと前記第２のフレームとの同一配列位置の前記ブロックの画素値の差分の有無を判定し、該判定結果に対応して前記差分マップを更新し、
前記更新後の前記差分マップに基づいて、前記第２のフレームから、前記第１のフレームとの差分を表す差分領域の画像データを抽出する
処理を実行することを特徴とする画像送信方法。
【０１７３】
（付記１７）コンピュータに、
フレーム毎の画素配列を複数のブロックに分割し、
連続して撮影された複数の前記フレーム間の同一配列位置の前記ブロックの画素値の差分の有無を示す識別子を保持する差分マップと、前記複数のフレームのうちの第１のフレーム以降に撮影された第２のフレームの前記ブロック毎に、前記差分マップおよび前記ブロック内の一部の画素が差分判定用に設定された複数の比較パターンに基づいて、前記第１のフレームと前記第２のフレームとの同一配列位置の前記ブロックの画素値の差分の有無を判定し、該判定結果に対応して前記差分マップを更新し、
前記更新後の前記差分マップに基づいて、前記第２のフレームから、前記第１のフレームとの差分を表す差分領域の画像データを抽出する
処理を実行させることを特徴とする画像送信プログラム。
【符号の説明】
【０１７４】
１００  画像送信装置
１００ａ  差分マップ格納テーブル
１００ｂ  比較パターン格納テーブル
１０１  カメラ
１０４  伝送路（ネットワーク）
１０５  画像受信装置
１２０  差分マップ
１３０  比較パターン
１３１  基準画像
１３２  現画像
６０１  分割部
６０２  判定部
６０３  抽出部
６０４  圧縮部
６０５  送信部
６１０  受信部
６１１  復号部
６１２  合成部
６２０  モニタ
【図１】
2015005821.tif 000003
【図２】
2015005821.tif 000004
【図３】
2015005821.tif 000005
【図４】
2015005821.tif 000006
【図５】
2015005821.tif 000007
【図６】
2015005821.tif 000008
【図７】
2015005821.tif 000009
【図８】
2015005821.tif 000010
【図９】
2015005821.tif 000011
【図１０】
2015005821.tif 000012
【図１１】
2015005821.tif 000013
【図１２】
2015005821.tif 000014
【図１３】
2015005821.tif 000015
【図１４】
2015005821.tif 000016
【図１５】
2015005821.tif 000017
【図１６】
2015005821.tif 000018
【図１７】
2015005821.tif 000019