(57)【要約】【課題】画像認識において異常検出等の監視用途で誤検出を行う可能性を低くする。【解決手段】画像入力部７より入力された動画像に基づいて差分画像演算部８で作成された差分画像より時系列差分平均値演算部５で計算された時系列での各画素の差分平均値及び時系列差分標準偏差演算部４で計算された時系列での各画素の差分標準偏差から、閾値演算部２で各画素について差分平均値と任意の係数を乗じた差分標準偏差の和である閾値を計算し、２値化部３にて閾値演算部２で計算された閾値で２値化を行う。【選択図】図１
2007265348.tif 000002
【特許請求の範囲】
【請求項１】
動画像を入力する画像入力部（７）と、前記動画像を保存する画像記憶部（６）と、各画素の時系列差分標準偏差を求める時系列差分標準偏差演算部（４）と、各画素の時系列差分平均値を求める時系列差分平均値演算部（５）と、前記時系列差分標準偏差と前記時系列差分平均値より各画素の閾値を算出する閾値演算部（２）と、前記閾値によって画像の２値化を行う２値化部（３）と、記憶された動画像の前フレームと現フレームを減算し差分画像を求める差分画像演算部（８）とを備えることにより、前記画像入力部より入力された動画像に基づいて前記差分画像演算部で作成された差分画像より前記時系列差分平均値演算部で計算された時系列での各画素の差分平均値及び前記時系列差分標準偏差演算部で計算された時系列での各画素の差分標準偏差から、前記閾値演算部で各画素について差分平均値と任意の係数を乗じた差分標準偏差の和である閾値を計算し、前記２値化部にて前記閾値演算部で計算された閾値で２値化を行うことを特徴とする差分画像処理装置。
【請求項２】
動画像を入力する画像入力部（１７）と、前記動画像を保存する画像記憶部（１６）と、各画素の時系列差分標準偏差を求める時系列差分標準偏差演算部（１４）と、各画素の時系列差分平均値を求める時系列差分平均値演算部（１５）と、前記時系列差分標準偏差と前記時系列差分平均値より各画素の閾値を算出する閾値演算部（１２）と、前記閾値によって画像の２値化を行う２値化部（１３）と、各画素の平均から背景画像を構成する背景画像演算部（１８）と、記憶された動画像の背景画像と現フレームを減算し背景差分画像を求める背景差分画像演算部（１１）とを備えることにより、前記画像入力部より入力された動画像に基づいて前記背景画像演算部で作成された背景画像より前記背景差分画像演算部で作成された背景差分画像によって前記時系列差分平均値演算部で計算された時系列での各画素の差分平均値及び前記時系列差分標準偏差演算部で計算された時系列での各画素の差分標準偏差から、前記閾値演算部で各画素について差分平均値と任意の係数を乗じた差分標準偏差の和である閾値を計算し、２値化部にて閾値演算部で計算された閾値で２値化を行うことを特徴とする背景差分画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は差分画像処理装置および背景差分画像処理装置に係り、特に照度変化や背景変化の激しい環境下で、動画像より差分画像もしくは背景差分画像を作成する差分画像処理装置および背景差分画像処理装置に関する。
【背景技術】
【０００２】
従来から、画像認識技術を用いて物体や人体を検出するシステムが知られている（例えば、特許文献１参照。）。この画像処理システムは、監視エリアを撮像したカメラの画像データについて差分処理を行い、差分結果の輝度値に係る標準偏差値を２値化の閾値に反映させることで、明るさが変化する環境においても適切に２値化を行い、物体存在領域の適切な検出を行なうことが可能になるものである。
【０００３】
【特許文献１】特開２００４−００７２４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、背景技術に記載した画像処理システムでは、差分画像は１フレーム毎の画像データから閾値を計算するので、屋外の監視エリアをカメラで撮像した場合、木の葉の揺れなど定常的な変化においても差分として計算されてしまう難点があった。これは、標準偏差が大きくなった場合には閾値を高くして激しく変化したことを検出し、標準偏差が小さくなった場合には閾値を低くして小さく変化したことを検出しているからである。例えば、図６に示すように、中央円形の周期的な変化と右上円形の突発的な変化が混在したような動画像が入力された場合、常に中央円形部分の差分が出力され、右上円形部分の差分も合わせて出力される。即ち、周期的な変化も差分として出力するため、異常検出等の監視用途で誤検出を行う場合があった。
【０００５】
本発明は、このような従来の難点を解決するためになされたもので、周期的な変化は差分として出力せず、変化が少なかった画像部位に大きな変化があった場合に差分を出力するようにして、異常検出等の監視用途で誤検出を行う可能性が低くなる差分画像処理装置および背景差分画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の目的を達成する本発明の第１の態様である差分画像処理装置は、動画像を入力する画像入力部と、動画像を保存する画像記憶部と、各画素の時系列差分標準偏差を求める時系列差分標準偏差演算部と、各画素の時系列差分平均値を求める時系列差分平均値演算部と、時系列差分標準偏差と時系列差分平均値より各画素の閾値を算出する閾値演算部と、閾値によって画像の２値化を行う２値化部と、記憶された動画像の前フレームと現フレームを減算し差分画像を求める差分画像演算部とを備えることにより、画像入力部より入力された動画像に基づいて差分画像演算部で作成された差分画像より時系列差分平均値演算部で計算された時系列での各画素の差分平均値及び時系列差分標準偏差演算部で計算された時系列での各画素の差分標準偏差から、閾値演算部で各画素について差分平均値と任意の係数を乗じた差分標準偏差の和である閾値を計算し、２値化部にて閾値演算部で計算された閾値で２値化を行うものである。
【０００７】
また、上述の目的を達成する本発明の第２の態様である背景差分画像処理装置は、動画像を入力する画像入力部と、動画像を保存する画像記憶部と、各画素の時系列差分標準偏差を求める時系列差分標準偏差演算部と、各画素の時系列差分平均値を求める時系列差分平均値演算部と、時系列差分標準偏差と時系列差分平均値より各画素の閾値を算出する閾値演算部と、閾値によって画像の２値化を行う２値化部と、各画素の平均から背景画像を構成する背景画像演算部と、記憶された動画像の背景画像と現フレームを減算し背景差分画像を求める背景差分画像演算部とを備えることにより、画像入力部より入力された動画像に基づいて背景画像演算部で作成された背景画像より背景差分画像演算部で作成された背景差分画像によって時系列差分平均値演算部で計算された時系列での各画素の差分平均値及び時系列差分標準偏差演算部で計算された時系列での各画素の差分標準偏差から、閾値演算部で各画素について差分平均値と任意の係数を乗じた差分標準偏差の和である閾値を計算し、２値化部にて閾値演算部で計算された閾値で２値化を行うものである。
【０００８】
このような第１の態様、第２の態様による差分画像処理装置および背景差分画像処理装置によれば、各画素の差分平均値と任意の係数を乗じた差分標準偏差の和を閾値にするので、周期的な画像変化に対して閾値を高くすることができる。
【発明の効果】
【０００９】
本発明の差分画像処理装置および背景差分画像処理装置によれば、周期的な変化を差分として出力せず、変化が少なかった画像部位に大きな変化があった場合に差分が出力されるので、異常検出等の監視用途で誤検出を行う可能性が低くなる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を実施するための最良の実施形態について、図面を参照して説明する。参照する図１は、本発明の差分画像処理装置の全体構成を示すブロック図である。
【００１１】
本発明の好ましい実施の形態例である差分画像処理装置は図１に示すように、動画像を入力する画像入力部７と、動画像を保存する画像記憶部６と、各画素の時系列差分標準偏差を求める時系列差分標準偏差演算部４と、各画素の時系列差分平均値を求める時系列差分平均値演算部５と、時系列差分標準偏差と時系列差分平均値より各画素の閾値を算出する閾値演算部２と、閾値によって画像の２値化を行う２値化部３と、記憶された動画像の前フレームと現フレームを減算し差分画像を求める差分画像演算部８とを備えている。なお、画像入力部７は、例えば、監視エリアを監視するカメラで撮像して得た動画像の画像データを取り込むものである。画像記憶部６は、例えばフレームメモリが使用される。
【００１２】
このような時系列差分標準偏差演算部４、時系列差分平均値演算部５、閾値演算部２、２値化部３及び差分画像演算部８は、例えばＣＰＵ１に組み込まれ、時系列差分標準偏差演算部４、時系列差分平均値演算部５、閾値演算部２、２値化部３及び差分画像演算部８は、それぞれ内部バスＩＢ１に接続されている。この内部バスＩＢ１は外部バスＥＢ１に接続させるための入出力ゲートＩＯＧ１に接続されている。外部バスＥＢ１には画像入力部７と画像記憶部６が接続されている。
【００１３】
また、閾値演算部２は、画像入力部７より入力された動画像の画像データに基づいて差分画像演算部８で作成された差分画像より時系列差分平均値演算部５で計算された時系列での各画素の差分平均値及び時系列差分標準偏差演算部４で計算された時系列での各画素の差分標準偏差から、各画素について差分平均値と任意の係数を乗じた差分標準偏差の和である閾値を算出する論理演算素子である。
【００１４】
このように構成された差分画像処理装置による画像処理を図２に示すフローチャートに基づき説明する。
【００１５】
差分画像処理装置のＣＰＵが画像処理を実行すると、画像入力部７が監視エリアを監視するカメラで撮像して得た動画像の画像データを取り込む（ステップ１０１）。画像入力部７で取り込んだ動画像の画像データは画像記憶部６に保存される。画像記憶部６に保存された動画像の画像データは、差分画像演算部８で前フレームから現フレームを減算する差分処理して差分画像にする（ステップ１０２）。ここでいう差分処理は、２画像間で対応する画素における輝度の差をとることにより、画像における変化を検出する処理である。差分画像演算部８で得られた差分画像は、時系列差分平均値演算部５で演算処理され、時系列での各画素における輝度値の差分平均値が求められる（ステップ１０３）。この差分平均値は、画像認識技術における基本的な特徴量となる。また、差分画像演算部８で得られた差分画像は、時系列差分標準偏差演算部４で演算処理され、時系列での各画素における輝度値の差分標準偏差が求められる（ステップ１０４）。この差分標準偏差は、画像認識技術において、フレーム領域内で平均輝度を中心とした輝度値のばらつきを示す特徴量となる。
【００１６】
時系列差分平均値演算部５で計算された時系列での各画素の差分平均値及び時系列差分標準偏差演算部４で計算された時系列での各画素の差分標準偏差は、閾値演算部２で各画素について差分平均値と任意の係数を乗じた差分標準偏差の和である閾値を算出する（ステップ１０５）。このように閾値を演算処理するのは、任意の係数を乗じた差分標準偏差だけでは、周期的な変化の場合、標準偏差がゼロに近くなってしまい閾値が低くなってしまうからである。したがって、各画素の差分平均値と任意の係数を乗じた差分標準偏差の和を閾値にするので、周期的な画像変化に対して閾値を高くすることができる。例えば、図３に示すように、画像入力部７より中央円形の周期的な変化と右上円形の突発的な変化が混在したような動画像が入力された時、中央円形部分はバラツキが少なく標準偏差が小さくなるが差分値はほぼ一定になることから、中央円形部分の輝度の差分平均値は差分画像の輝度値とほぼ同じとなるので、中央円形部分の閾値を高くすることができる。また、右上円形部分は周期的な変化がないので閾値を低くすることができる。したがって、２値化部３でこの閾値を利用して２値化を行うと、右上円形部分のみ差分として出力され、周期的な変化となる中央円形部分は差分として出力されることはないので、異常検出等の監視用途で誤検出を行う可能性が低くなる（ステップ１０６、１０７）。
【００１７】
なお、上述した差分画像処理装置においては、差分画像演算部１が記憶された動画像の前フレームと現フレームを減算し差分画像を求めていたが、これに限らず、記憶された動画像の背景画像と現フレームを減算し背景差分画像を求める背景差分画像処理装置でもよい。参照する図４は、本発明の差分画像処理装置の全体構成を示すブロック図である。
【００１８】
本発明の好ましい他の実施の形態例である背景差分画像処理装置は図４に示すように、動画像を入力する画像入力部１７と、動画像を保存する画像記憶部１６と、各画素の時系列差分標準偏差を求める時系列差分標準偏差演算部１４と、各画素の時系列差分平均値を求める時系列差分平均値演算部１５と、時系列差分標準偏差と時系列差分平均値より各画素の閾値を算出する閾値演算部１２と、閾値によって画像の２値化を行う２値化部１３と、各画素の平均から背景画像を構成する背景画像演算部１８と、記憶された動画像の背景画像と現フレームを減算し背景差分画像を求める背景差分画像演算部１１とを備えている。なお、画像入力部１７は上述した差分画像処理装置と同様に、例えば、監視エリアを監視するカメラで撮像して得た動画像の画像データを取り込むものである。また、画像記憶部１６は、例えばフレームメモリが使用される。
【００１９】
このような時系列差分標準偏差演算部１４、時系列差分平均値演算部１５、閾値演算部１２、２値化部１３、背景画像演算部１８及び背景差分画像演算部１１は、上述した差分画像処理装置と同様に、例えばＣＰＵ１０に組み込まれ、時系列差分標準偏差演算部１４、時系列差分平均値演算部１５、閾値演算部１２、２値化部１３、背景画像演算部１８及び背景差分画像演算部１１は、それぞれ内部バスＩＢ１０に接続されている。この内部バスＩＢ１０は外部バスＥＢ１０に接続させるための入出力ゲートＩＯＧ１０に接続されている。外部バスＥＢ１０には画像入力部１７と画像記憶部１６が接続されている。
【００２０】
また、閾値演算部１２は、画像入力部１７より入力された動画像に基づいて背景画像演算部１８で作成された背景画像より背景差分画像演算部１１で作成された背景差分画像によって時系列差分平均値演算部１５で計算された時系列での各画素の差分平均値及び時系列差分標準偏差演算部１４で計算された時系列での各画素の差分標準偏差から、閾値演算部１２で各画素について差分平均値と任意の係数を乗じた差分標準偏差の和である閾値を算出する論理演算素子である。
【００２１】
このように構成された背景差分画像処理装置による画像処理を図５に示すフローチャートに基づき説明する。
【００２２】
背景差分画像処理装置のＣＰＵが画像処理を実行すると、画像入力部１７が監視エリアを監視するカメラで撮像して得た動画像の画像データを取り込む（ステップ２０１）。画像入力部１７で取り込んだ動画像の画像データは画像記憶部１６に保存される。画像記憶部１６に保存された動画像の画像データは、背景画像演算部１８で各画素の平均値から背景画像を作成する（ステップ２０２）。背景画像演算部１８で得られた背景画像は、背景差分画像演算部１１で基準画像としこの基準画像から現在の入力画像である現フレームを減算する差分処理して背景差分画像にする（ステップ２０３）。背景差分画像演算部１１で得られた背景差分画像は、時系列差分平均値演算部１５で演算処理され、時系列での各画素における輝度値の差分平均値が求められる（ステップ２０４）。この差分平均値は、画像認識技術における基本的な特徴量となる。また、背景差分画像演算部１１で得られた背景差分画像は、時系列差分標準偏差演算部１４で演算処理され、時系列での各画素における輝度値の差分標準偏差が求められる（ステップ２０５）。この差分標準偏差は、画像認識技術において、フレーム領域内で平均輝度を中心とした輝度値のばらつきを示す特徴量となる。
【００２３】
時系列差分平均値演算部１５で計算された時系列での各画素の差分平均値及び時系列差分標準偏差演算部１４で計算された時系列での各画素の差分標準偏差は、閾値演算部１２で各画素について差分平均値と任意の係数を乗じた差分標準偏差の和である閾値を算出する（ステップ２０６）。このように閾値を演算処理することで上述した差分画像処理装置と同様に、周期的な画像変化に対して閾値を高くすることができる。例えば図３に示すように、画像入力部１７より中央円形の周期的な変化と右上円形の突発的な変化が混在したような動画像が入力された時、中央円形部分はバラツキが少なく標準偏差が小さくなるが差分値はほぼ一定になることから、中央円形部分の輝度の差分平均値は差分画像の輝度値とほぼ同じとなるので、中央円形部分の閾値を高くすることができる。また、右上円形部分は周期的な変化がないので閾値を低くすることができる。したがって、２値化部１３でこの閾値を利用して２値化を行うと、右上円形部分のみ差分として出力され、周期的な変化となる中央円形部分は差分として出力されることはないので、異常検出等の監視用途で誤検出を行う可能性が低くなる（ステップ２０７、２０８）。
【００２４】
なお、何れの画像処理装置も、差分画像演算部８で求めた差分画像や、背景差分画像演算部１１で求めた背景差分画像を微分処理してエッジ検出処理することで、検出対象物の輪郭線が抽出され、当該検出対象物の大きさや形などの特徴を正確に抽出できるようになる。
【００２５】
また、何れの画像処理装置も画像入力部、画像記憶部は１つだけ設けられていたが、これに限らず、複数あってもよい。
【００２６】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。
【図面の簡単な説明】
【００２７】
【図１】本発明の差分画像処理装置における好ましい実施の形態例を示す全体ブロック図である。
【図２】本発明の差分画像処理装置による画像処理を示すフローチャート図である。
【図３】本発明の差分画像処理装置の画像処理による画像の具体例を示す説明図である。
【図４】本発明の背景差分画像処理装置における好ましい実施の形態例を示す全体ブロック図である。
【図５】本発明の背景差分画像処理装置による画像処理を示すフローチャート図である。
【図６】従来の画像処理システムの画像処理による画像の具体例を示す説明図である。
【符号の説明】
【００２８】
２、１２……閾値演算部
３、１３……２値化部
４、１４……時系列差分標準偏差演算部
５、１５……時系列差分平均値演算部
６、１６……画像記憶部
７、１７……画像入力部
８……差分画像演算部
１１……背景差分画像演算部
１８……背景画像演算部
【図１】
2007265348.tif 000003
【図２】
2007265348.tif 000004
【図３】
2007265348.tif 000005
【図４】
2007265348.tif 000006
【図５】
2007265348.tif 000007
【図６】
2007265348.tif 000008