(57)【特許請求の範囲】
【請求項１】
動画像を取得する画像データ入力手段と、
取得した動画像の個々の画像を複数エリアに分割し、分割した個々の小画像に対して画素毎に予め設定した複数階調の輝度の何れかに分類して頻度のヒストグラムを生成するヒストグラム生成手段と、
生成したヒストグラムの個々の階調の頻度を所定の閾値によりＫ値（Ｋは２〜４の何れかの整数）に畳み込む畳み込み演算手段と、
時系列の複数の画像に対して前記畳み込み演算手段が畳み込んだ個々のデータを平均化して統計データを算出する統計データ算出手段と、
前記統計データを蓄積する統計データ記憶手段と、
記憶しているＭ−１番目の画像までの前記統計データと、新たなＭ番目の画像に対して前記ヒストグラムデータをＫ値に畳み込んだデータとを比較し、データの変化量から個々の小画像内の移動体の有無を識別する移動体識別手段と、
識別した結果を出力する識別結果出力部とを有することを特徴とする画像処理装置。
【請求項２】
Ｋ＝２であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
動画像を取得する画像データ取得ステップと、
取得した動画像の個々の画像を複数エリアに分割し、分割した小画像の夫々に対して画素毎に予め設定した複数階調の輝度の何れかに分類して頻度のヒストグラムを生成するヒストグラム生成ステップと、
生成したヒストグラムの個々の階調の頻度を所定の閾値によりＫ値（Ｋは２〜４の何れかの整数）に畳み込む畳み込みステップと、
時系列の複数の画像に対して前記畳み込みステップで畳み込んだ個々のデータを平均化して統計データを算出する統計データ算出ステップと、
Ｍ−１番目の画像までの前記統計データと、新たなＭ番目の画像に対して前記ヒストグラムデータをＫ値に畳み込んだデータとを比較し、データの変化量から個々の小画像内の移動体の有無を識別する移動体識別ステップとを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の中から移動物体を検出し、その情報を出力する画像処理装置、及び画像処置方法に関する。
【背景技術】
【０００２】
防犯や通行量の把握の為に、監視カメラの設置が増加している。このようなカメラを使用して移動体を認識する方法としては、連続した画像間の差分を求めて移動物体を抽出する背景差分法が実施されている。例えば特許文献１では、時系列画像を蓄積し、そのデータに統計的処理を施し背景部分を推定し、背景以外の部位から移動体を抽出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−８１７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の画像処理方法は、移動体を抽出するという目的を達するために、時系列の画像データである画像メモリ群を蓄積するための画像蓄積手段を必要とし、その画像蓄積手段に画像メモリ群を保存する必要があった。また、記憶域が十分に準備されたシステムにおいては、上記画像処理方法によって移動体を検知することができるが、人物認識装置等の機器に組み込まれる場合は、記憶域を十分に確保できない場合も発生し、その場合上記手法で移動体を検出することは難しい。
【０００５】
そこで、本発明はこのような問題点に鑑み、背景差分法により移動体を検出する際にメモリに格納する画像データ量を大きく削減できる画像処理装置、及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決する為に、請求項１の発明に係る画像処理装置は、動画像を取得する画像データ入力手段と、取得した動画像の個々の画像を複数エリアに分割し、分割した個々の小画像に対して画素毎に予め設定した複数階調の輝度の何れかに分類して頻度のヒストグラムを生成するヒストグラム生成手段と、生成したヒストグラムの個々の階調の頻度を所定の閾値によりＫ値（Ｋは２〜４の何れかの整数）に畳み込む畳み込み演算手段と、時系列の複数の画像に対して畳み込み演算手段が畳み込んだ個々のデータを平均化して統計データを算出する統計データ算出手段と、統計データを蓄積する統計データ記憶手段と、
記憶しているＭ−１番目の画像までの統計データと、新たなＭ番目の画像に対してヒストグラムデータをＫ値に畳み込んだデータとを比較し、データの変化量から個々の小画像内の移動体の有無を識別する移動体識別手段と、識別した結果を出力する識別結果出力手段とを有することを特徴とする。
この構成によれば、入力画像から特徴を抽出して確率分布を算出する過程において、入力画像データから算出した確率分布データをさらに畳み込んだものがメモリに保持されるので、少ないメモリ容量で済む。また、取得した画像を複数に分割して判別処理するため、分割数を増やせば移動体を検出した場合その形状も検出することが可能となる。
【０００７】
請求項２の発明は、請求項１の構成において、Ｋ＝２であることを特徴とする。
この構成によれば、頻度データが２値の何れかで蓄積されるので、最小の記憶容量で済む。それでいて移動体の判別も実施できる。
【０００８】
請求項３の発明に係る画像処理方法は、動画像を取得する画像データ取得ステップと、取得した動画像の個々の画像を複数エリアに分割し、分割した小画像の夫々に対して画素毎に予め設定した複数階調の輝度の何れかに分類して頻度のヒストグラムを生成するヒストグラム生成ステップと、生成したヒストグラムの個々の階調の頻度を所定の閾値によりＫ値（Ｋは２〜４の何れかの整数）に畳み込む畳み込みステップと、時系列の複数の画像に対して畳み込みステップで畳み込んだ個々のデータを平均化して統計データを算出する統計データ算出ステップと、Ｍ−１番目の画像までの統計データと、新たなＭ番目の画像に対してヒストグラムデータをＫ値に畳み込んだデータとを比較し、データの変化量から個々の小画像内の移動体の有無を識別する移動体識別ステップとを有することを特徴とする。
この方法によれば、入力画像から特徴を抽出して確率分布を算出する過程において、入力画像データから算出した確率分布データをさらに畳み込んだものがメモリに保持されるので、少ないメモリ容量で済む。また、取得した画像を複数に分割して判別処理するため、分割数を増やせば移動体を検出した場合その形状も検出することが可能となる。
【発明の効果】
【０００９】
本発明によれば、入力画像から特徴を抽出して確率分布を算出する過程において、入力画像データから算出した確率分布データをさらに畳み込んだものがメモリに保持されるので、少ないメモリ容量で済む。また、取得した画像を複数に分割して判別処理するため、分割数を増やせば移動体を検出した場合その形状も検出することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る画像処理装置の一例を示す概略構成図である。
【図２】時系列の画像フレーム列の説明図である。
【図３】画像フレームをＬ分割した説明図である。
【図４】作成した頻度のヒストグラムの説明図である。
【図５】Ｍ番目フレームまでの畳み込みデータ作成の流れを示す説明図であり、（ａ）はＭ番目フレームの畳み込みデータ、（ｂ）はメモリに記憶された１番目フレームからＭ−１番目フレームまでの畳み込みデータの統計データ、（ｃ）は１番目フレームからＭ番目フレームまでの畳み込みデータの統計データを示している。
【図６】畳み込みデータから移動体を検出する処理の説明図であり、（ａ）はＭ番目フレームの畳み込みデータ、（ｂ）は１番目フレームからＭ−１番目フレームまでの畳み込みデータの統計データ、（ｃ）は移動体識別結果のデータを示している。
【図７】移動体検出のための画像処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を具体化した実施の形態を、図面に基づいて詳細に説明する。図１は本発明に係る画像処理装置の一例を示す概略構成図である。図１に示すように、画像処理装置は、画像データ入力部１、ヒストグラム生成部２、畳み込み処理部３、統計データ算出部４、移動体領域識別部５、メモリデータ格納部６、メモリ７、メモリデータ読み出し部８、識別結果出力部９等で構成されている。尚、これらの構成要素は、プログラムされたマイクロプロセッサにより構成される。
【００１２】
画像データ入力部１は、インターホンのカメラ、監視カメラ等のデジタルカメラやビデオテープレコーダーなど映像データが入力され、画像フレームが時系列で出力される。図２はこの時出力される画像フレームを示している。
【００１３】
ヒストグラム生成部２は、画像データ入力部１が出力した画像フレームに対して、図３に示すようにフレームを所定のＬ個に分割する。例えば、縦に２０等分、横に３０等分して分割され、全６００（Ｌ＝６００）の同一サイズの小画像を生成する。
こうして分割した各小画像に対して、画素毎に予め設定した複数階調の輝度の何れかに分類し、頻度のヒストグラムを生成する。図４は生成したヒストグラムの１つを示し、ここでは輝度を２４階調に分け、画素毎の輝度を何れかの階調に分類している。
【００１４】
畳み込み処理部３は、生成したヒストグラムに対して輝度毎の頻度をさらに一定の閾値で畳み込んで情報量を削減する。ここでは、頻度を１つの閾値で分割して２値に畳み込んでいる。図４のＳはこの閾値を示している。この閾値Ｓより頻度が大きければ「１」に畳み込まれ、小さければ「０」に畳み込まれる。尚、こうして生成した畳み込みデータを図５（ａ）に示している。
【００１５】
統計データ算出部４は、畳み込み処理部３によって畳み込まれた最新画像の畳み込みデータと、メモリデータ読み出し部８がメモリ７から読み出した直前の画像までの後述する統計データとの論理和を取って平均化し、新たな統計データを算出する。
図５はこの統計データ生成の一例を示している。図５において、（ａ）はＭ番目フレームの畳み込みデータ、（ｂ）はメモリ７に格納された１番目フレームからＭ−１番目フレームまでの畳み込みデータの統計データ、（ｃ）は１番目フレームからＭ番目フレームまでの畳み込みデータの統計データを示している。尚、Ｍ番目フレームは現在入力されて処理している画像フレームであり、Ｍ−１番目フレームは直前に入力されて処理された画像フレームを示している。また、１番目のフレームは、画像データ入力部１が出力を開始した最初の画像フレームである。
この図５に示すように、統計データ算出部４は、最新画像フレーム（Ｍ番目のフレーム）の畳み込みデータと、所定の１番目の画像フレームから直前画像フレーム（Ｍ−１番目のフレーム）までの個々の畳み込みデータの論理和を取って生成された統計データとの新たな論理和を求めて、最新の統計データを生成する。  
【００１６】
尚、複数のデータから統計データを求める手法としてはこれに限らず、事後確率を算出して新たに統計情報としても良い。また、１番目の画像フレームは、最初の入力画像でなくとも良く、例えば時間を基準とした任意のタイミングでリセットして１番目の画像フレームとしても良い。
【００１７】
メモリデータ格納部６は、統計データ算出部４が算出した統計データにより、メモリ７が記憶している統計データを最新のデータに書き換える。一方、メモリデータ読み出し部８は、畳み込み処理部３が生成した新たな畳み込みデータと比較するための統計データをメモリ７から読み取る。
【００１８】
移動体領域識別部５は、畳み込み処理部３で得られた最新画像の畳み込みデータと、メモリデータ読み出し部８が読み出した統計データとを比較して移動体を識別する。図６はこの移動体抽出処理の説明図であり、（ａ）はＭ番目フレームの畳み込みデータ、（ｂ）は１番目フレームからＭ−１番目フレームまでの畳み込みデータの統計データ、（ｃ）は移動体識別結果のデータを示している。
Ｍ番目フレームの畳み込みデータと１番目フレームからＭ−１フレーム迄の統計データとの排他的論理和を取り、変動量の程度で移動体の有無を判断する。例えば、輝度を全２４階調に設定した場合、そのうち３階調の畳み込みデータに変動があったら、具体的に「０」が「１」に変化、逆に「１」が「０」に変化した数が所定数以上あったら移動体有りと判断する。この判断を個々の小画像に対して実施し、画像フレーム内の移動体エリアが識別される。
【００１９】
識別結果出力部９は、移動体領域識別部５によって検知した移動体領域の情報を出力する。出力された情報は、ディスプレイに表示されたりハードディスクレコーダー等の記録手段に記録され、不審者の検知や交通量調査、更には移動体の形状把握等に利用される。
【００２０】
このように構成された画像処理装置の動作を次に説明する。図７は移動体検知の流れを示すフローチャートであり、このフローに基づいて説明する。
ヒストグラム生成部２が画像データ入力部１から動画像の最新のＭ番目フレームを読み込む（Ｓ１）と、まず画像フレームをＬ個の小画像に分割する（Ｓ２）。そして、分割した小画像に対して画素毎に輝度を求め、予め用意した複数階調の輝度の何れかに分類して頻度のヒストグラムを作成（Ｓ３）する。図４はこのヒストグラムを示し、小画像毎に生成される。
更に生成したヒストグラムに対して、畳み込みを行う（Ｓ４）。畳み込みにより、上述したように個々の輝度は２値に畳み込まれる。
【００２１】
次に、直前のＭ−１番目までの画像の畳み込みデータの統計データをメモリ７から読み出し（Ｓ５）、この統計データとＭ番目の畳み込みデータとの論理和を取る（Ｓ６）。こうして求めた新たな統計データはメモリ７に格納され（Ｓ７）、次のＭ＋１番目フレームにおける移動体の識別に使用される。
【００２２】
そして、移動体の識別が行われる。Ｍ番目フレームの畳み込みデータとＭ−１番目までの統計データとが比較され（Ｓ９）、２値に畳み込んだ個々の階調の変動数（変動量）ｚが予め設定された数値（閾値）以上であれば移動体有りと判断し（Ｓ１０）、その小画像エリアを移動体検出エリアとして出力する（Ｓ１１）。この判定をＬ個の全ての小画像に対して実施したら処理を終了する。
【００２３】
このように、入力画像から特徴を抽出して確率分布を算出する過程において、入力画像データから算出した確率分布データをさらに畳み込んだものをメモリ７に保持するので、少ないメモリ容量で済む。また、取得した画像を複数に分割して判別処理するため、分割数を増やせば移動体を検出した場合その形状も検出することが可能となる。
【００２４】
尚、上記実施形態では、ヒストグラムの畳み込み演算において１つの閾値Ｓを用いて２値に畳み込んでいるが、閾値を２値用いて３値に畳み込んでも良いし、４値に畳み込んでも良い。２値に畳み込めばメモリ７が記憶するデータを最小量に留めることができるが、３値或いは４値に畳み込むことで移動体の識別感度は上昇する。
【符号の説明】
【００２５】
１・・画像データ入力部（画像データ入力手段）、２・・ヒストグラム生成部（ヒストグラム生成手段）、３・・畳み込み処理部（畳み込み演算手段）、４・・統計データ算出部（統計データ算出手段）、５・・移動体領域識別部（移動体識別手段）、７・・メモリ（統計データ記憶手段）、９・・識別結果出力部（識別結果出力部）。
【図１】
0005509014.tif 000002
【図２】
0005509014.tif 000003
【図３】
0005509014.tif 000004
【図４】
0005509014.tif 000005
【図５】
0005509014.tif 000006
【図６】
0005509014.tif 000007
【図７】
0005509014.tif 000008