(57)【特許請求の範囲】
【請求項１】
撮像拠点に設置され、撮像装置が接続される拠点サーバと、
前記拠点サーバと電気通信回線により接続される集約サーバと
を含み、
前記拠点サーバは、
前記撮像装置により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（以下、「基準フレーム」と称す。）の画像のデータ（以下、「基準画像データ」と称す。）を前記集約サーバに伝送する基準画像伝送手段と、
前記撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（以下、「背景画像」と称す。）を得て、前記撮像装置により順次取得される連続した複数フレームの前記基準フレームの後の各フレームについて、順次、前記各フレームの画像と前記背景画像との間で差が発生している領域を取り囲む第１領域と、前記各フレームの直前のフレームの画像と前記背景画像との間で差が発生している領域を取り囲む第２領域との両方を取り囲む第３領域を算出する抽出領域算出手段と、
前記各フレームの画像から前記各フレームの第３領域の画像データを順次抽出して前記集約サーバに伝送する抽出画像伝送手段と
を含み、
前記集約サーバは、
前記拠点サーバから伝送された前記基準画像データおよび前記各フレームの第３領域の画像データから動画像を合成する画像合成手段
を含む
画像伝送装置。
【請求項２】
前記背景画像は、前記各フレームの直前の複数フレームの画像を平均化したものである請求項１記載の画像伝送装置。
【請求項３】
前記背景画像は、前記基準フレームの画像である請求項１記載の画像伝送装置。
【請求項４】
前記背景画像は、前記基準フレームの直前の複数フレームの画像を平均化したものである請求項１記載の画像伝送装置。
【請求項５】
前記抽出領域算出手段は、前記各フレームの第３領域の位置および大きさを特定する情報（以下、「第３領域情報」と称す。）を算出するものであり、
前記抽出画像伝送手段は、前記各フレームの第３領域の画像データに加えて前記各フレームの第３領域情報を伝送するものであり、
前記画像合成手段は、前記各フレームの第３領域情報に基づいて前記基準画像データの一部を、順次、前記各フレームの第３領域の画像データに置き換えることにより前記動画像を合成するものである
請求項１から４のいずれか１項に記載の画像伝送装置。
【請求項６】
撮像拠点に設置され、撮像装置が接続される拠点サーバと、
前記拠点サーバと電気通信回線により接続される集約サーバと
による画像伝送方法であって、
前記拠点サーバが、前記撮像装置により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（以下、「基準フレーム」と称す。）の画像のデータ（以下、「基準画像データ」と称す。）を前記集約サーバに伝送すること、
前記拠点サーバが、前記撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（以下、「背景画像」と称す。）を得て、前記撮像装置により順次取得される連続した複数フレームの前記基準フレームの後の各フレームについて、順次、前記各フレームの画像と前記背景画像との間で差が発生している領域を取り囲む第１領域と、前記各フレームの直前のフレームの画像と前記背景画像との間で差が発生している領域を取り囲む第２領域との両方を取り囲む第３領域を算出すること、
前記拠点サーバが、前記各フレームの画像から前記各フレームの第３領域の画像データを順次抽出して前記集約サーバに伝送すること、
前記集約サーバが、前記拠点サーバから伝送された前記基準画像データおよび前記各フレームの第３領域の画像データから動画像を合成すること
を含む画像伝送方法。
【請求項７】
撮像拠点に設置され、撮像装置が接続される第１コンピュータを拠点サーバとして、前記拠点サーバと電気通信回線により接続される第２コンピュータを集約サーバとしてそれぞれ機能させるための画像伝送プログラムであって、
前記第１コンピュータを、
前記撮像装置により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（以下、「基準フレーム」と称す。）の画像のデータ（以下、「基準画像データ」と称す。）を前記集約サーバに伝送する基準画像伝送手段と、
前記撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（以下、「背景画像」と称す。）を得て、前記撮像装置により順次取得される連続した複数フレームの前記基準フレームの後の各フレームについて、順次、前記各フレームの画像と前記背景画像との間で差が発生している領域を取り囲む第１領域と、前記各フレームの直前のフレームの画像と前記背景画像との間で差が発生している領域を取り囲む第２領域との両方を取り囲む第３領域を算出する抽出領域算出手段と、
前記各フレームの画像から前記各フレームの第３領域の画像データを順次抽出して前記集約サーバに伝送する抽出画像伝送手段と
して機能させるためのプログラムと、
前記第２コンピュータを、
前記拠点サーバから伝送された前記基準画像データおよび前記各フレームの第３領域の画像データから動画像を合成する画像合成手段
として機能させるためのプログラムと
を含む画像伝送プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像拠点において撮像された画像を伝送する画像伝送装置、画像伝送方法および画像伝送プログラムに関する。
【背景技術】
【０００２】
撮像された動画像を遠隔地に伝送する際、伝送量を抑えるために動画像データの圧縮が行われる。この動画像データの圧縮技術としては、様々な種類のものがあるが、基本的な手法は、動画像の各フレームの前後で変化のある領域（差分発生領域）だけを伝送するというものである（非特許文献１参照。）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】松田勇治，“動画圧縮の技術”，［online］，ＴＤＫ株式会社，［平成２６年３月１２日検索］，インターネット＜ＵＲＬ：http://www.tdk.co.jp/techmag/knowledge/200804/index2.htm＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、連続した複数フレームの画像を取得し、これを遠隔地に伝送して合成することにより動画像を得ようとした場合、連続する複数フレームの画像の前後で変化のある領域を差分発生領域として抽出する際、変化の有無を閾値により判定すると、動画像にぶれが出たり、残像が現れたりする。これは光の揺らぎなどによって、実際には変化があっても変化なしと判定されたり、変化がなくても変化ありと判定されたりするからである。
【０００５】
そこで、本発明においては、連続した複数フレームの画像を伝送して動画像を得る際、ぶれや残像の発生を防止しつつ伝送量を抑えることが可能な画像伝送装置、画像伝送方法および画像伝送プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像伝送装置は、撮像拠点に設置され、撮像装置が接続される拠点サーバと、拠点サーバと電気通信回線により接続される集約サーバとを含み、撮像装置により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（以下、「基準フレーム」と称す。）の画像のデータ（以下、「基準画像データ」と称す。）を集約サーバに伝送する基準画像伝送手段と、撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（以下、「背景画像」と称す。）を得て、撮像装置により順次取得される連続した複数フレームの基準フレームの後の各フレームについて、順次、各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出する抽出領域算出手段と、各フレームの画像から各フレームの第３領域の画像データを順次抽出して集約サーバに伝送する抽出画像伝送手段とを含み、集約サーバは、拠点サーバから伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成する画像合成手段を含むことを特徴とする。
【０００７】
また、本発明の画像伝送方法は、撮像拠点に設置され、撮像装置が接続される拠点サーバと、拠点サーバと電気通信回線により接続される集約サーバとによる画像伝送方法であって、拠点サーバが、順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（基準フレーム）の画像のデータ（基準画像データ）を集約サーバに伝送すること、拠点サーバが、撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（背景画像）を得て、撮像装置により順次取得される連続した複数フレームの基準フレームの後の各フレームについて、順次、各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出すること、拠点サーバが、各フレームの画像から各フレームの第３領域の画像データを順次抽出して集約サーバに伝送すること、集約サーバが、拠点サーバから伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成することを含むことを特徴とする。
【０００８】
また、本発明の画像伝送プログラムは、撮像拠点に設置され、撮像装置が接続される第１コンピュータを拠点サーバとして、拠点サーバと電気通信回線により接続される第２コンピュータを集約サーバとしてそれぞれ機能させるための画像伝送プログラムであって、第１コンピュータを、撮像装置により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（基準フレーム）の画像のデータ（基準画像データ）を集約サーバに伝送する基準画像伝送手段と、撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（背景画像）を得て、撮像装置により順次取得される連続した複数フレームの基準フレームの後の各フレームについて、順次、各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出する抽出領域算出手段と、各フレームの画像から各フレームの第３領域の画像データを順次抽出して集約サーバに伝送する抽出画像伝送手段として機能させるためのプログラムと、第２コンピュータを、拠点サーバから伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成する画像合成手段として機能させるためのプログラムとを含むものである。
【０００９】
上記発明によれば、連続した複数フレームの画像の前後で変化のある領域をそれぞれ抽出して集約サーバに伝送して合成するのではなく、連続した複数フレームの各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域の画像データを抽出し、集約サーバに伝送して合成するので、連続した複数フレームの画像の前後で変化のある領域のそれぞれの光の揺らぎなどによる影響が少なくなり、動画像のぶれや残像の発生を防止することができる。
【発明の効果】
【００１０】
本発明によれば、連続した複数フレーム画像を伝送して動画像を合成する際、ぶれや残像の発生を防止しつつ伝送量を抑えることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態における画像伝送装置の概略構成図である。
【図２】図１の画像伝送装置のブロック図である。
【図３】撮像装置により順次取得される連続した複数フレームの画像の説明図である。
【図４】複数フレームの画像例を示す図である。
【図５】図４の（ａ）、（ｂ）、（ｃ）の各フレームの画像とそれぞれの背景画像との差分を取った画像例を示す図である。
【図６】（ａ）は図４の（ａ）のフレームの差分発生領域とこれを取り囲む第２領域を示す図、（ｂ）は図４（ｂ）のフレームの差分発生領域とこれらを取り囲む第１領域を示す図、（ｃ）は図４（ａ）のフレームの差分発生領域と図４（ｂ）のフレームの差分発生領域との両方を取り囲む第３領域を示す図である。
【図７】図４（ｂ）のフレームに図６（ｃ）に示す第３領域を示した説明図である。
【図８】図４（ａ）のフレームに図６（ｃ）に示す第３領域を示した説明図である。
【発明を実施するための形態】
【００１２】
図１において、本発明の実施の形態における画像伝送装置１は、撮像拠点に設置され、撮像装置２が接続される拠点サーバ３と、拠点サーバ３と電気通信回線Ｎにより接続される集約サーバ４とから構成される。撮像装置２は、所定の時間間隔（例えば、１／１２０秒〜１秒間隔）で静止画像を撮像することにより、連続した複数フレームの画像を取得する装置である。拠点サーバ３は、撮像拠点ごとにそれぞれ設置される。また、各拠点サーバ３には、１または複数の撮像装置２が接続される。
【００１３】
図２に示すように、拠点サーバ３は、撮像装置２により順次取得される連続した複数フレームの各フレームの画像を一時記憶する記憶手段１０と、所定のタイミングごとに基準となるフレーム（基準フレーム）の画像のデータ（基準画像データ）を集約サーバ４に伝送する基準画像伝送手段１１と、複数フレームの基準フレームの後の各フレームから抽出する領域（以下、「抽出領域」と称す。）を算出する抽出領域算出手段１２と、各フレームの画像から各フレームの抽出領域の画像データを順次抽出して集約サーバ４に伝送する抽出画像伝送手段１３とを有する。
【００１４】
拠点サーバ３は、汎用サーバ、パーソナルコンピュータ、マイクロコンピュータ、ＰＤＡ（個人情報端末）、ポケットコンピュータ、スマートフォン、フィーチャーフォン（携帯電話機）や携帯型ゲーム機等の様々なコンピュータ上で、このコンピュータを上記各手段１０〜１３として機能させるためのプログラムを実行することにより実現される。
【００１５】
基準画像伝送手段１１は、図３に示すように、撮像装置２により順次取得される連続した複数フレームの画像２０ａ，２０ｂ，・・・，２０ｃ，２０ｄ，２０ｅ，２０ｆ，２０ｇ，２０ｈ，２０ｉ，２０ｊ，２０ｋ，・・・から所定のタイミングごとに基準となるフレーム（基準フレーム）の画像２０ａ，２０ｄ，２０ｊのデータ（基準画像データ）を集約サーバ４に伝送する。基準フレームは、予め設定された時間（例えば、３０秒間隔や１分間隔など）や、予め設定されたフレーム数等のタイミングごとに決定される。
【００１６】
抽出領域算出手段１２は、撮像装置２により順次取得される連続した複数フレームの画像から背景とする画像（背景画像）を得て、撮像装置２により順次取得される連続した複数フレームの基準フレームの後の各フレームについて、順次、各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出する。第３領域が、抽出画像伝送手段１３により抽出する領域（抽出領域）である。
【００１７】
ここで、背景画像は、各フレームの直前の複数フレームの画像を平均化したものを用いる。例えば、フレーム２０ｄについて背景画像との差が発生している領域を算出する場合、抽出領域算出手段１２は、このフレーム２０ｄの直前の１００フレームの画像を平均したものを背景画像とする。そして、この背景画像とフレーム２０ｄとの差分を取る。図４（ａ）〜（ｃ）は各フレーム２０ｄ，２０ｅ，２０ｆの画像の例を、図５（ａ）〜（ｃ）は図４（ａ）〜（ｃ）の各フレーム２０ｄ，２０ｅ，２０ｆの画像とそれぞれの背景画像との差分を取った画像の例を、それぞれ示している。
【００１８】
抽出領域算出手段１２は、このような差分処理を基準フレーム２０ｄの後の各フレーム２０ｅ〜２０ｉについて順次行い、各フレーム２０ｅ〜２０ｉの画像と背景画像との間で差が発生している第１領域と、各フレーム２０ｅ〜２０ｉの直前のフレーム２０ｄ〜２０ｈの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域（抽出領域）を算出する。図６（ａ）はフレーム２０ｄの差分発生領域３１とこれを取り囲む第２領域４２を示している。図６（ｂ）はフレーム２０ｅの差分発生領域３２ａ，３２ｂとこれらを取り囲む第１領域４１を示している。図６（ｃ）はフレーム２０ｄの差分発生領域３１とフレーム２０ｅの差分発生領域３２ａ，３２ｂとの両方を取り囲む第３領域（抽出領域）４３を示している。
【００１９】
なお、本実施形態において、抽出領域算出手段１２は、演算処理を簡単にするため、２本の水平線および２本の垂直線により構成される矩形により取り囲まれた領域を算出するが、本発明はこれに限られるものではない。要するに、差分が発生している画素領域を一纏めにして１つの領域により全て取り囲む領域を算出するものであれば良い。
【００２０】
また、抽出領域算出手段１２は、各フレームに対する第３領域（抽出領域）の位置および大きさを特定する第３領域情報（以下、「抽出領域情報」と称す。）を算出する。図６（ｃ）の例では、抽出領域算出手段１２は、抽出領域情報として、第３領域４３の左上角の位置の座標（Ｘ，Ｙ）と、第３領域４３の大きさ（幅Ｗおよび高さＨ）を算出する。
【００２１】
抽出画像伝送手段１３は、各フレームの画像から抽出領域算出手段１２により算出された各フレームの第３領域の画像データを順次抽出して集約サーバ４に伝送する。図４の例では、抽出画像伝送手段１３は、図７に示すようにフレーム２０ｅの画像から図６（ｃ）に示す第３領域４３の画像データを抽出して集約サーバ４に伝送する。また、抽出画像伝送手段１３は、この第３領域４３の画像データに加えて抽出領域情報（座標（Ｘ，Ｙ）、幅Ｗおよび高さＨ）を集約サーバ４に伝送する。
【００２２】
一方、集約サーバ４は、図２に示すように、拠点サーバ３から伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成する画像合成手段１４と、画像合成手段１４により合成された動画像を記憶する記憶手段１５と、電気通信回線Ｎを介して接続するコンピュータ５（図１参照。）に対して記憶手段１５に記憶した動画像を提供する動画像提供手段１６とを有する。集約サーバ４は、前述のような様々なコンピュータ上で、このコンピュータを上記各手段１４〜１６として機能させるためのプログラムを実行することにより実現される。
【００２３】
画像合成手段１４は、拠点サーバ３から伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成し、合成された動画像を記憶手段１５に記憶する。本実施形態においては、画像合成手段１４は、各フレームの抽出領域情報に基づいて基準画像データの一部を、順次、各フレームの第３領域の画像データに置き換えることにより動画像を合成する。
【００２４】
図４の例では、画像合成手段１４は、図８に示す基準フレーム２０ｄの画像に対し、フレーム２０ｅの抽出領域情報に基づき、座標（Ｘ，Ｙ）から幅Ｗおよび高さＨの一部の画像データを、図７に示すフレーム２０ｅの第３領域４３の画像データに置き換え、基準フレーム２０ｄの次のフレームの画像データとする。そして、画像合成手段１４は、次のフレーム２０ｆについても、順次、直前のフレーム２０ｅの画像に対し、フレーム２０ｆの抽出領域情報に基づいてフレーム２０ｆの第３領域の画像データに置き換えていくことにより、動画像を合成する。
【００２５】
動画像提供手段１６は、電気通信回線Ｎを介して接続するコンピュータ５の要求に応じて記憶手段１５に記憶した動画像を提供する。動画像提供手段１６は、コンピュータ５から撮像拠点ごとに撮像装置２を指定して動画像が要求されると、要求された動画像を記憶手段１５から取得し、電気通信回線Ｎを介してコンピュータ５に提供する。
【００２６】
上記構成の画像伝送装置１では、各撮像拠点に設置された拠点サーバ３が、１または複数の撮像装置２により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準フレームの画像データを基準画像伝送手段１１により集約サーバ４に伝送し、この基準フレームの後の各フレームの画像については、順次、抽出領域算出手段１２により算出した各フレームの第３領域の画像データを抽出画像伝送手段１３により抽出して集約サーバ４に伝送する。
【００２７】
一方、集約サーバ４は、拠点サーバ３から伝送された基準画像データと、順次伝送された各フレームの第３領域の画像データとから動画像を合成し、記憶手段１５に記憶する。そして、集約サーバ４は、電気通信回線Ｎを介して接続するコンピュータ５の要求に応じて記憶手段１５に記憶した動画像を提供する。
【００２８】
このように、本実施形態における画像伝送装置１では、連続した複数フレームの画像の前後で変化のある領域をそれぞれ抽出して集約サーバ４に伝送して合成するのではなく、連続した複数フレームの各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域（抽出領域）の画像データを抽出し、集約サーバ４に伝送して合成するので、連続した複数フレームの画像の前後で変化のある領域のそれぞれの光の揺らぎなどによる影響が少なくなり、動画像のぶれや残像の発生を防止しつつ伝送量を抑えることができる。
【００２９】
なお、本実施形態においては、基準フレームを、予め設定された時間やフレーム数等のタイミングで変えているが、他のタイミングで変える構成とすることも可能である。例えば、一定量以上の差分が発生したタイミング（例えば全体の８０％の画素が変化していたタイミング）で変えることも可能である。
【００３０】
また、本実施形態においては、背景画像として各フレームの直前の複数フレームの画像を平均化したものを用いているが、背景画像として基準フレームの画像を用いたり、基準フレームの直前の複数フレームの画像を平均化したものを用いたりすることも可能である。なお、背景画像として基準フレームの画像を用いると、あらゆる部分に差分が発生してしまうため、伝送量が増えてしまうが、本実施形態のように背景画像として各フレームの直前の複数フレームの画像を平均化したものを用いることで、差分の発生を抑制することができる。
【産業上の利用可能性】
【００３１】
本発明の画像伝送装置、画像伝送方法および画像伝送プログラムは、監視場所などの撮像拠点において撮像された画像を、ぶれや残像の発生を防止しつつ伝送量を抑えて伝送し、動画像を合成する装置、方法およびプログラムとして有用である。
【符号の説明】
【００３２】
１  画像伝送装置
２  撮像装置
３  拠点サーバ
４  集約サーバ
５  コンピュータ
１０，１５  記憶手段
１１  基準画像伝送手段
１２  抽出領域算出手段
１３  抽出画像伝送手段
１４  画像合成手段
１６  動画像提供手段
【図１】
0006049024.tif 000002
【図２】
0006049024.tif 000003
【図３】
0006049024.tif 000004
【図６】
0006049024.tif 000005
【図４】
0006049024.tif 000006
【図５】
0006049024.tif 000007
【図７】
0006049024.tif 000008
【図８】
0006049024.tif 000009