(57)【特許請求の範囲】
【請求項１】
画像入力部と、上記入力部から取込んだ画像データをデジタル化する手段と、上記画像データにより比較用画像データとなる背景画像データを得る手段と、上記背景画像データを更新する背景更新手段と、現画像データを背景画像データと比較して、そこより背景差分として画像データ内の変化領域を抽出する変化領域抽出手段と、上記変化領域の特徴量を演算する手段と、上記特徴量が処理対象の特徴量に一致することを認識する認識処理手段とを有する画像処理装置に於いて、人物の通路に直交する形状の監視エリアを通路に沿って複数用意し、各監視エリアで、個別に認識処理により人物を認識し、各監視エリアで、単位時間内にエリアを横切る人数をカウントしてその人数累計値を各監視エリア毎に算出し、上記監視エリア毎に算出した人数累計値の平均値と比べて各監視エリアの人数累計値のばらつきを監視し、ばらつきが上記平均値より一定範囲以内で有ればその平均値を真の人数累計値とし、ばらつきが一定範囲を超えた監視エリアを外乱が発生した監視エリアと判断し、外乱が発生した監視エリアを除外した残りの監視エリアで算出した人数累計値の平均値を真の人数累計値とする人数カウント機能を備えたことを特徴とする画像処理装置。
【請求項２】
ばらつきが一定範囲を超えた監視エリアが所定数有れば、該一定範囲を超えた監視エリアで外乱が発生したと判断し、最も人数累計値の小さい監視エリアが、外乱の影響を受けてないエリアと判断し、最も人数累計値の小さい監視エリアの累計値を、真の人数累計値とする人数カウント機能を有することを特徴とする請求項第１項に記載の画像処理装置。
【請求項３】
各監視エリアで、個別に認識処理により人物を認識する替わりに、各監視エリアで、単位時間内にエリアを横切る変化領域面積を累計し、その変化領域面積累計値を単位面積で割ってエリアの人数累計値とする人数カウント機能を有する請求項第１項乃至第２項の何れかに記載の画像処理装置。
【請求項４】
画像入力部と、上記入力部から取込んだ画像データをデジタル化する手段と、上記画像データにより比較用画像データとなる背景画像データを得る手段と、上記背景画像データを更新する背景更新手段と、現画像データを背景画像データと差分して画像データ内の変化領域を抽出する背景差分領域抽出手段と、現画像データを前画像データと差分して画像データ内の変化領域を抽出するフレーム間差分領域抽出手段と、上記変化領域の特徴量を演算する手段と、上記特徴量が処理対象の特徴量に一致することを認識する認識処理手段とを有する画像処理装置に於いて、人物の通路に直交する形状の監視エリアを通路に沿って複数用意し、各監視エリアで単位時間内に背景差分領域抽出手段及びフレーム間差分領域抽出手段の各々で抽出した変化領域の面積を累計し、前記各々の変化領域の面積を個別に所定の基準値と比較して現在の通路が混雑しているか閑散としているかを判断し、その結果により、人数累計値算出に用いる方法として背景差分領域抽出手段又はフレーム間差分領域抽出手段の何れかを選択し、人数累計値計算を実施する人数カウント機能を有する画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、人数カウント機能を備えた画像処理装置に関するものである。
【０００２】
【従来の技術】
ここでは、画像処理を使った従来の人数カウントの方法として、最もシンプルな輝度センサーを使用した場合の方式について述べるが、図２２〜２５で輝度センサーによる人数カウントシステムの例を示す。また、図２２は従来の輝度センサーを使用する画像処理システムの構成図であり、図２３は図２２に示す輝度センサーの構成図であり、図２４は図２２に示す輝度センサーの動作説明図であり、図２５は図２３に示す認識処理部の動作フローチャートである。
【０００３】
また、図２２、２３において、
（１）は人間が通行する通路を撮すカメラである。
（２）はその画像例である。
（３）は輝度センサーであり、画像中の変化領域の発生を知らせる。
（４）は輝度センサーの出力を受け人数をカウントするホストマシンである。
（５）は輝度センサーの内部構造であり、画像入力部である。
（６）は同じく背景画像蓄積部である。
（７）は同じく背景更新部である。
（８）は同じく現画像蓄積部である。
（９）は同じく背景差分部である。
（１０）は上記より出される変化領域である。
（１１）は変化領域の特徴量を演算する認識処理部である。
（１２）は人間である事を知らせる、認識結果信号である。
また、図２４において、シルエット状に染められている部分（２７）が、変化領域（１０）を実際に２値化して画面にスーパーインポーズしたもので実変化領域と称す。また、（２８）は実変化領域（２７）の外接矩形である。
また、図２５に関しては後述する。
【０００４】
次に動作について説明する。
図２２〜２５に於いて、通路を見渡す位置に取り付けられたカメラ（１）は、そこより映像（２）を輝度センサー（３）に送る。輝度センサー（３）では、画像処理を行い、映像（２）中の通行者を判別し、その人数をカウントする。また、画像処理は、以下のような内容で行われる。
【０００５】
輝度センサー（３）において、画像入力部（５）に取り込まれた映像（２）は、そこでＡＤ変換され１フレームのデジタルデータ（フレームデータ）に変換される。一般にフレームは５１２画素×４８０ラインの画素よりなり、各画素は８ｂｉｔである。背景画像蓄積部（６）では、背景更新部（７）と協力して背景画像を作成して内部に蓄積する。背景画像の作り方は、過去１０枚のフレームデータの平均値を背景画像とするような、過去データ平均法が一般的である。背景更新部（７）ではこの様な背景画像算出用演算を行う。
【０００６】
また、現画像蓄積部（８）では、フレームデータをそのまま蓄積する。背景差分部（９）では、現画像蓄積部（８）と背景更新部（７）のデータを比較し、その差分を算出する。差分とは画素の８ｂｉｔデータ値の差である。差分は、現画像蓄積部（８）と背景更新部（７）の「違う部分」を表している。違う部分とは、画像が変化した部分である。一般には、通行人や小動物、車輌のような、急に現れた移動物である事が多い。これが変化領域（１０）である。
【０００７】
また、認識処理部（１１）では、以下の手順で通行人数をカウントする。
図２５のフローチャートにおいて、先ずステップ（２１）において、画面中のいずれかの変化領域（１０）を選択する。選択順序は特にないが一般には発生順である。また、ステップ（２２）では、この変化領域の特徴量を計算する。具体的には、特に特徴量として実変化領域（２７）で示される変化領域の面積に注目する。面積値が予め定めておいた基準値の範囲内で有れば、この変化領域が通行人であると判断する。一般にこの面積値が小さい場合は、この変化領域は小動物やごみ等のノイズである。また、ステップ（２３）でも、この変化領域の特徴量を計算する。ここでは特に変化領域の外接矩形（２８）に注目する。縦横寸法や縦横比が予め定めておいた基準値の範囲内で有れば、この変化領域が通行人であると判断する。一般にこの縦横比が横長で有れば、この変化領域は車輌等のノイズである。
【０００８】
以上の判定で、両方が通行人と判断すれば、ステップ（２４）でこの変化領域は通行人であると判断する。どちらか一方がそうでないと判断していれば、ステップ（２５）において、この変化領域は通行人でないと判断する。また、ステップ（２６）では全ての変化領域に関し、以上の処理を繰り返させ、通行人を発見したら、内部の人数カウンターをインクリメントする。このカウンター値は、必要に応じて図２３に示す認識結果信号（１２）としてホストマシン（４）に通知される。また、ホストマシン（４）は、輝度センサー（３）からの認識結果信号（１２）を受けて、オペレーターに対し表示や統計処理をする物である。通行人数のカウントシステムでは一般には統計的な処理を必要とするため、その処理を行う為の装置となる。
【０００９】
【発明が解決しようとする課題】
従来の輝度センサーによる人数カウントシステムは以上のようなアルゴリズムになっている為、
・変化領域が人間に似た形状のノイズ（例：木々の影の揺れ）であった場合、誤ってカウントしてしまう。
・混雑状況で複数の人間が密着状況にある場合、各人間の変化領域が連結と分離を繰り返してしまい、その結果変化領域の形状が単独の人間の形状と異なる為、カウント漏れを起こしやすくなる。
等の課題があった。
【００１０】
この発明は上記の様な課題を解決する為なされたもので、このような
・ノイズによる誤カウント
・混雑状況でのカウント漏れ
の様な問題を解消する構造を有す人数カウントシステム、つまり人数カウント機能を備えた画像処理装置を提供するものである。
【００１１】
【課題を解決するための手段】
この発明に係わる人数カウント機能を備えた画像処理装置は、監視エリアを複数用意し、画像中のノイズの影響を排除する手段を有する。また、混雑状況か閑散状況かを独自に判断する機能を有し、混雑状況のカウント漏れの影響を軽減する手段を有する。
【００１２】
【発明の実施の形態】
実施の形態１．
図１〜図５で実施の形態１での人数カウントシステムを示す。図１はこの発明の実施の形態１で示す画像処理装置を使用する画像処理システムの構成図であり、図２は図１に示す画像処理装置の構成図であり、図３は図１に示す画像処理装置の動作説明図であり、図４は図１に示す画像処理装置の動作フローチャートであり、図５は図４に示す認識処理の動作フローチャートである。
【００１３】
図において、（１）〜（１２）、（２０）〜（２６）に関しては、図２２〜図２５と同様のため、説明を略す。
（３０）は、カメラから取り込まれた現画像である。
（３１）〜（３４）は、監視エリア
（３５）〜（３８）は、実変化領域である。ここでは判りやすくするため、変化領域を２値化してから現画像にスーパーインポーズしている。
（３６）〜（３８）は通行人による実変化領域である。
（３５）は、視野外にある植え込みの樹木が風で揺れ、その影が動いた結果出来た実変化領域であり、排除対象のノイズである。
（４０）〜（４５）に関しては後述する。
【００１４】
次に動作に付いて代表的な例を説明するが、（１）〜（１０）までは、従来例と同様のため、説明を略す。
認識処理部（１１）では、以下の手順で通行人数をカウントする。先ず、図３に有るように、予め監視エリア（３１）〜（３４）を用意する。監視エリアとは、変化領域がこのエリアを横切った際のみ画像処理を行うという、画像処理範囲を指定した物である。本装置では、監視エリアを通路を横切るように配備し、且つ個数を複数個用意する。ここでは例として監視エリア（３１）〜（３４）の４エリアを用意する。
【００１５】
次に、図５のフローチャートに有るように、各監視エリア（３１）〜（３４）において変化領域が通行人であるか否かの判断を行う。
図５のフローチャートにおいて、先ずステップ（２１）において、画面中のいずれかの変化領域（１０）を選択する。選択順序は特にないが一般には発生順である。また、ステップ（２２）では、この変化領域の特徴量を計算する。ここでは特に特徴量として変化領域の面積に注目する。面積値が予め定めておいた基準値の範囲内で有れば、この変化領域が通行人であると判断する。一般にこの面積値が小さい場合は、この変化領域は小動物やごみ等のノイズである。また、ステップ（２３）でも、この変化領域の特徴量を計算する。ここでは特に変化領域の外接矩形に注目する。縦横寸法や縦横比が予め定めておいた基準値の範囲内で有れば、この変化領域が通行人であると判断する。一般にこの縦横比が横長で有れば、この変化領域は車輌等のノイズである。
【００１６】
以上の判定で、両方が通行人と判断すれば、ステップ（２４）でこの変化領域は通行人であると判断する。どちらか一方がそうでないと判断していれば、ステップ（２５）において、この変化領域は通行人でないと判断する。また、ステップ（２６）では全ての変化領域に関し、以上の処理を繰り返させ、通行人を発見したら、内部の人数カウンターをインクリメントする。
【００１７】
次いで、図４のフローチャートを参照する。ステップ（４１）では、各監視エリア（３１）〜（３４）においてエリアを横切って通過する人数の、単位時間（例：１分間）当たりの人数累計を算出する。従って、図５のフローチャートの処理は、各監視エリア（３１）〜（３４）でそれぞれ独立に行われる。
【００１８】
次いで、図３の写真を参照する。ここでは単位時間内に、実変化領域（３５）〜（３８）が発生した。うち通行人は実変化領域（３６）〜（３８）である。これは４つの監視エリアを跨いで移動している。また、実変化領域（３５）は視野外の木々が風に揺れた為、一緒に揺れた影によってできた実変化領域であり、本来はカウントされるものではない、ノイズである。監視エリアを跨いでは移動していない。
【００１９】
本装置は、単位時間内に各エリアを通過した変化領域の特徴量を計算し、この実変化領域（３５）〜（３８）が通行人であるか否かを判断する。特徴量としては、例えば変化領域の面積や、外接矩形等が特徴量として一般的に用いられる物である。面積が小さいときや外接矩形が横長の場合、通常は通行人とは認められず排除される。しかしここでは、人物の影が影響し、通行人も横長の外接矩形をもつ。また、ノイズも瞬間的には大きな面積を取りうる場合がある。従って、特徴量上、ごくまれに通行人とノイズが区別できなくなる場合があり、その結果通行人としてノイズを誤カウントする場合がある。
【００２０】
誤カウントが発生すると、図４のフローチャートのステップ（４１）において、監視エリア（３１）だけ人数累計値が「４人」となる。また、監視エリア（３２）〜（３４）においては、人数累計値は「３人」である。ステップ（４２）において、この４つの人数累計値を元に、ノイズ判定を行う。判定は４つの人数累計値のばらつきを見て行う。ばらつきが大きい場合はノイズが発生したと判断する。
【００２１】
ばらつきを見る方法の例として、４つの人数累計値の平均を取り、４つの人数累計値がそれぞれ平均値の１０％範囲内にあるかどうかをみる方法がある。４つの人数累計値がそれぞれ「４人」「３人」「３人」「３人」であり、平均値は「３．２５人」である。「３．２５人」に対し「４人」は１２３％である。従って平均値の１０％範囲内に無い。「３．２５人」に対し「３人」は９２％である。従って平均値の１０％範囲内である。
【００２２】
この場合本装置は、ステップ（４３）において、監視エリア（３１）だけノイズが発生したと判断する。また、ステップ（４４）では、監視エリア（３１）を除いた、監視エリア（３２）〜（３４）の人数累計値の平均を取り、通行人数とする。これにより、結果（４５）はこの例では「３人」となる。この結果は、必要に応じて認識結果信号（１２）としてホストマシン（４）に通知される。
【００２３】
以上のように、この実施の形態によると、複数の監視エリアで算出された各人数累計値のばらつきを見て、ノイズ発生を監視する為、従来の方法では除外できなかったノイズが除外しやすくなる。それによりノイズに対する耐性が上がり、誤カウントが押さえられる。また、人数カウントも単位時間当たりの算出を行い、且つ複数監視エリアでの各人数累計値の平均を取るため、より精度の良いカウント結果を出力しうる。このように、従来装置にあった「ノイズによる誤カウント」と言う欠点を改善した装置を提供しうる。
【００２４】
実施の形態２．
図６〜図１０で実施の形態２での人数カウントシステムを示す。図６はこの発明の実施の形態２で示す画像処理装置を使用する画像処理システムの構成図であり、図７は図６に示す画像処理装置の構成図であり、図８は図６に示す画像処理装置の動作説明図であり、図９は図６に示す画像処理装置の動作フローチャートであり、図１０は図９に示す認識処理の動作フローチャートである。
【００２５】
図において、（１）〜（１２）、（２０）〜（２６）に関しては、図１〜図５と同様のため、説明を略す。
（３０）は、カメラから取り込まれた現画像である。
（３１）〜（３４）は、監視エリア
（３５）〜（３８）は、実変化領域である。ここでは判りやすくするため、変化領域を２値化してから現画像にスーパーインポーズしている。
（３６）〜（３８）は通行人による実変化領域である。
（３５）は、視野外にある植え込みの樹木が風で揺れ、その影が動いた結果出来た実変化領域であり、排除対象のノイズである。図８では図３より広範囲に発生している。
（４０）〜（４７）に関しては後述する。
【００２６】
次に動作に付いて代表的な例を説明するが、（１）〜（１０）までは、従来例と同様のため、説明を略す。
認識処理部（１１）では、以下の手順で通行人数をカウントする。先ず、図８に有るように、予め監視エリア（３１）〜（３４）を用意する。監視エリアとは、変化領域がこのエリアを横切った際のみ画像処理を行うという、画像処理範囲を指定した物である。本装置では、監視エリアを通路を横切るように配備し、且つ個数を複数個用意する。ここでは例として監視エリア（３１）〜（３４）の４エリアを用意する。
【００２７】
次に、図１０のフローチャートに有るように、各監視エリア（３１）〜（３４）において変化領域が通行人であるか否かの判断を行う。
図１０のフローチャートにおいて、先ずステップ（２１）において、画面中のいずれかの変化領域（１０）を選択する。選択順序は特にないが一般には発生順である。また、ステップ（２２）では、この変化領域の特徴量を計算する。ここでは特に特徴量として変化領域の面積に注目する。面積値が予め定めておいた基準値の範囲内で有れば、この変化領域が通行人であると判断する。一般にこの面積値が小さい場合は、この変化領域は小動物やごみ等のノイズである。また、ステップ（２３）でも、この変化領域の特徴量を計算する。ここでは特に変化領域の外接矩形に注目する。縦横寸法や縦横比が予め定めておいた基準値の範囲内で有れば、この変化領域が通行人であると判断する。一般にこの縦横比が横長で有れば、この変化領域は車輌等のノイズである。
【００２８】
以上の判定で、両方が通行人と判断すれば、ステップ（２４）でこの変化領域は通行人であると判断する。どちらか一方がそうでないと判断していれば、ステップ（２５）において、この変化領域は通行人でないと判断する。また、ステップ（２６）では全ての変化領域に関し、以上の処理を繰り返させ、通行人を発見したら、内部の人数カウンターをインクリメントする。
【００２９】
次いで、図９のフローチャートを参照する。ステップ（４１）では、各監視エリア（３１）〜（３４）においてエリアを横切って通過する人数の、単位時間（例：１分間）当たりの人数累計を算出する。従って、図１０のフローチャートの処理は、各監視エリア（３１）〜（３４）でそれぞれ独立に行われる。
【００３０】
次いで、図８の写真を参照する。ここでは単位時間内に、実変化領域（３５）〜（３８）が発生した。うち通行人は実変化領域（３６）〜（３８）である。これは４つの監視エリアを跨いで移動している。また、実変化領域（３５）は視野外の木々が風に揺れた為、一緒に揺れた影によってできた実変化領域であり、本来はカウントされるものではない、ノイズである。監視エリアを２つ跨いでいるが移動はしていない。
【００３１】
本装置は、単位時間内に各エリアを通過した実変化領域の特徴量を計算し、この実変化領域（３５）〜（３８）が通行人であるか否かを判断する。特徴量としては、例えば変化領域の面積や、外接矩形等が特徴量として一般的に用いられる物である。面積が小さいときや外接矩形が横長の場合、通常は通行人とは認められず排除される。しかしここでは、人物の影が影響し、通行人も横長の外接矩形をもつ。また、ノイズも瞬間的には大きな面積を取りうる場合がある。従って、特徴量上、ごくまれに通行人とノイズが区別できなくなる場合があり、その結果通行人としてノイズを誤カウントする場合がある。
【００３２】
ここではノイズが２つの監視エリア（３１）及び（３２）にまたがっているため、誤カウントも２カ所で発生する。誤カウントが発生すると、図９のフローチャートのステップ（４１）において、監視エリア（３１）及び（３２）の人数累計値が「４人」となる。また、監視エリア（３３）及び（３４）においては、人数累計値は「３人」である。ステップ（４２）において、この４つの人数累計値を元に、ノイズ判定を行う。判定は４つの人数累計値のばらつきを見て行う。ばらつきが大きい場合はノイズが発生したと判断する。
【００３３】
ばらつきを見る方法の例として、４つの人数累計値の平均を取り、４つの人数累計値がそれぞれ平均値の１０％範囲内にあるかどうかをみる方法がある。４つの人数累計値がそれぞれ「４人」「４人」「３人」「３人」であり、平均値は「３．５人」である。「３．５人」に対し「４人」は１１４％である。従って平均値の１０％範囲内に無い。「３．５人」に対し「３人」は８５％である。従ってこれも平均値の１０％範囲内に無い。（仮にばらつきを見るに、上記の１０％範囲ではなく、１５％範囲で判断した場合は、今度は全ての累計値が１５％の範囲内に入る。従って、この場合はノイズが発見できない。）
【００３４】
この場合本装置は、ステップ（４３）において、監視エリア（３１）〜（３４）全てにノイズが発生したと判断する。また、ステップ（４４）では、平均を取る為の監視エリアがなくなり、処理不能となってしまう。この問題を解決する為、ステップ（４６）では、複数の監視エリアのうちの所定数エリアでノイズを発見したら（例：全エリアの半数である２エリア）、ステップ（４７）へ分岐する。
【００３５】
ステップ（４７）では、所定数の監視エリアでノイズが発生したことより、画面中に何らかの大きな変動が発生したと判断する。（例：極端な日照の変動や、巨大な影の移動等）この場合、全ての監視エリアに、その大変動の影響が及んでいると判断する。従って、どの監視エリアも正確な人数をカウントしていないとの前提で、その中で最も大変動の影響を受けてないと思われる監視エリアを決定し、そのエリアの人数累計値により通行人数を判断する。最も大変動の影響を受けてないと思われる監視エリアとは、人数累計値が最小であった監視エリアである。従って結果（４５）はこの例では「３人」となる。この結果は、必要に応じて認識結果信号（１２）としてホストマシン（４）に通知される。
【００３６】
以上のように、この実施の形態によると、複数の監視エリアで算出された各人数累計値のばらつきを見て、ノイズ発生を監視する為、従来の方法では除外できなかったノイズが除外しやすくなる。それによりノイズに対する耐性が上がり、誤カウントが押さえられる。また、画面中に大変動が発生し、全ての監視エリアが正しい人数累計値を算出できなかったと判断される場合は、なかでも最も正解値に近いと想像されるエリアを類推し、誤差の最小であるカウント値を算出する。また、人数カウントも単位時間当たりの算出を行い、且つ複数監視エリアでの各人数累計値の平均を取るため、より精度の良いカウント結果を出力しうる。このように、従来装置にあった「ノイズによる誤カウント」と実施の形態１にあった「大変動による全体的なノイズ発生時の挙動」と言う欠点を改善した装置を提供しうる。
【００３７】
実施の形態３．
図１１〜図１５で実施の形態３での人数カウントシステムを示す。図１１はこの発明の実施の形態３で示す画像処理装置を使用する画像処理システムの構成図であり、図１２は図１１に示す画像処理装置の構成図であり、図１３は図１１に示す画像処理装置の動作説明図であり、図１４は図１１に示す画像処理装置の動作フローチャートであり、図１５は図１４に示す認識処理の動作フローチャートである。
【００３８】
図において、（１）〜（１２）、（３０）〜（４７）に関しては、図６〜図１０と同様のため、説明を略す。
（２０）〜（２５）に関しては後述する。
【００３９】
次に動作に付いて代表的な例を説明するが、（１）〜（１０）までは、従来例と同様のため、説明を略す。
認識処理部（１１）では、以下の手順で通行人数をカウントする。先ず、図１３に有るように、予め監視エリア（３１）〜（３４）を用意する。監視エリアとは、変化領域がこのエリアを横切った際のみ画像処理を行うという、画像処理範囲を指定した物である。本装置では、監視エリアを通路を横切るように配備し、且つ個数を複数個用意する。ここでは例として監視エリア（３１）〜（３４）の４エリア用意する。
【００４０】
次に、図１５のフローチャートに有るように、各監視エリア（３１）〜（３４）において変化領域が通行人であるか否かの判断を行う。
図１５のフローチャートにおいて、先ずステップ（２１）において、画面中のいずれかの変化領域（１０）を選択する。選択順序は特にないが一般には発生順である。また、ステップ（２２）では、この変化領域の特徴量を計算する。ここでは特に特徴量として変化領域の面積を算出する。また、ステップ（２３）では、ステップ（２２）で求めた面積値を予め定めておいた基準値（人間１人分の予想面積値）で除算する。端数が出た場合は、１捨２入（例）でまるめる。また、ステップ（２４）では、以上の結果より、本変化領域は何人分かを決定し、内部の人数カウンターをインクリメントする。ステップ（２５）では全ての変化領域に関し、以上の処理を繰り返させる。
【００４１】
次いで、図１４のフローチャートを参照する。ステップ（４１）では、各監視エリア（３１）〜（３４）においてエリアを横切って通過する人数の、単位時間（例：１分間）当たりの人数累計を算出する。従って、図１５のフローチャートの処理は、各監視エリア（３１）〜（３４）でそれぞれ独立に行われる。
【００４２】
次いで、図１３の写真を参照する。ここでは単位時間内に、実変化領域（３５）〜（３８）が発生した。うち通行人は実変化領域（３６）〜（３８）である。これは４つの監視エリアを跨いで移動している。ただし、実変化領域（３６）及び（３７）は、移動する課程で何回となく連結と分離を繰り返している。ここでは、仮に監視エリア（３１）と（３４）にいる際に連結していて、監視エリア（３２）と（３３）にいる際は分離していたと仮定する。また、実変化領域（３５）は視野外の木々が風に揺れた為、一緒に揺れた影によってできた実変化領域であり、本来はカウントされるものではない、ノイズである。監視エリアを２つ跨いでいるが移動はしていない。
【００４３】
本装置は、単位時間内に各エリアを通過した実変化領域の面積を計算し、この実変化領域（３５）〜（３８）の面積が通行人何人分であるかを判断する。この実施の形態にもとずく算出では、事前に決められた基準値（人間１人に当たる予想画素数）により変化領域の面積を除算するため、監視エリア（３１）と（３４）において、実変化領域（３６）と（３７）が連結していたがその影響を排除し、正しいカウント値を算出する。
【００４４】
しかし、ここでは実変化領域（３５）のノイズが２つの監視エリアにまたがっているため、誤カウントも２カ所で発生する。誤カウントが発生すると、図１４のフローチャートのステップ（４１）において、監視エリア（３１）及び（３２）での人数累計値が「４人」となる。また、監視エリア（３３）及び（３４）においては、人数累計値は「３人」である。また、ステップ（４２）〜（４７）の処理により、このノイズによる誤カウントは補正され、正常な数字である「３人」が算出されるが、本内容は実施の形態２と同様のため、省略する。
【００４５】
以上のように、この実施の形態によると、単位時間内に各エリアを通過した実変化領域の面積を計算し、各実変化領域が通行人何人分であるかを判断する。従来の方法では、頻繁に通行人の実変化領域が連結と分離を繰り返す状況では、見落としが多く発生する可能性があった。しかし、この実施の形態の方法によれば、同様の状況に於いても、正確な通行人の人数を算出しやすくなるため、見落としによる誤カウントが押さえられる。このように、従来装置にあった「通行人の変化領域が連結と分離を繰り返す状況下では、見落としによる誤カウントが発生しやすい」と言う欠点を改善した装置を提供しうる。
【００４６】
実施の形態４．
図１６〜２１で実施の形態４での人数カウントシステムを示す。図１６はこの発明の実施の形態４で示す画像処理装置を使用する画像処理システムの構成図であり、図１７は図１６に示す画像処理装置の構成図であり、図１８は図１６に示す画像処理装置の閑散時での動作説明図であり、図１９は図１６に示す画像処理装置の混雑時での動作説明図であり、図２０は図１６に示す画像処理装置の動作フローチャートであり、図２１は図２０に示す認識処理の動作フローチャートである。
【００４７】
図において（１）〜（４）に関しては、図１と同様のため、説明を略す。図１７において、
（５）は輝度センサーの内部構造であり、画像入力部である。
（６）は同じく背景画像蓄積部である。
（７）は同じく背景更新部である。
（８Ａ）は同じく現画像蓄積部である。
（８Ｂ）は同じく前画像蓄積部である。
（９）は同じく背景差分部である。
（１０）は上記より出される変化領域である。
（１１）は変化領域の特徴量を演算する認識処理部である。
（１２）は人間である事を知らせる、認識結果信号である。
【００４８】
また、図１８において、
（３０）は、カメラから取り込まれた現画像である。特に通行人が閑散な状況の画像である。
（３１）〜（３４）は、監視エリア
（３５）は、画面中の代表的な実変化領域である。背景差分により抽出された変化領域である。ここでは判りやすくするため、変化領域を２値化してから現画像にスーパーインポーズしている。通行人による実変化領域である。
【００４９】
また、図１９において、
（５０）は、カメラから取り込まれた現画像である。特に通行人が混雑状況の画像である。
（５１）〜（５４）は、監視エリア
（５５）は、画面中の代表的な実変化領域である。フレーム間差分により抽出された変化領域である。ここでは判りやすくするため、変化領域を２値化してから現画像にスーパーインポーズしている。通行人による変化領域である。
（４０）〜（４７）、（２０）〜（２９）に関しては後述する。
【００５０】
次に動作に付いて代表的な例を説明するが、（１）〜（４）までは、従来例と同様のため、説明を略す。画像入力部（５）に取り込まれた映像（２）は、そこでＡＤ変換され１フレームのデジタルデータ（フレームデータ）に変換される。一般にフレームは５１２画素×４８０ラインの画素よりなり、各画素は８ｂｉｔである。また、背景画像蓄積部（６）では、背景更新部（７）と協力して背景画像を作成して内部に蓄積する。背景画像の作り方は、過去１０枚のフレームデータの平均値を背景画像とするような、過去データ平均法が一般的である。背景更新部（７）ではこの様な背景画像算出用演算を行う。
【００５１】
また、現画像蓄積部（８Ａ）では、フレームデータをそのまま蓄積する。前画像蓄積部（８Ｂ）では、前フレームデータを蓄積する。背景差分部（９）では、２種類の差分データを作る。１つは背景差分データである。現画像蓄積部（８Ａ）と背景更新部（７）のデータを比較し、その差分を算出する。差分とは画素の８ｂｉｔデータ値の差である。また、１つはフレーム間差分データである。現画像蓄積部（８Ａ）と前画像蓄積部（８Ｂ）のデータを比較し、その差分を算出する。差分とは、２つの画像の「違う部分」を表している。違う部分とは、画像が変化した部分である。一般には、通行人や小動物、車輌のような、急に現れた移動物である事が多い。これを変化領域（１０）と呼ぶ。
【００５２】
背景差分は背景画像と現画像を比較するため、比較的移動物のシルエット形状に忠実な変化領域が得られる。反面、背景画像が逐次更新されていく過程で移動物を背景に取り込んでしまい、継続的に移動物が往来する場合は徐々に差分が出にくくなるという欠点もある。また、フレーム間差分は前画像と現画像を比較するため、あまりシルエット形状に忠実な変化領域は得られにくい。反面、背景画像を用いないため、継続的に移動物が往来する場合の影響はない。
【００５３】
また、認識処理部（１１）では、以下の手順で通行人数をカウントする。先ず、図１８に有るように、予め監視エリア（３１）〜（３４）（混雑時は図１９に示す監視エリア（５１）〜（５４）となる、以下同様）を用意する。監視エリアとは、変化領域がこのエリアを横切った際のみ画像処理を行うという、画像処理範囲を指定した物である。本装置では、監視エリアを通路を横切るように配備し、且つ個数を複数個用意する。ここでは例として監視エリア（３１）〜（３４）の４エリア用意する。次に、図２１のフローチャートに有るように、各監視エリア（３１）〜（３４）において変化領域が通行人であるか否かの判断を行う。ただしこの際、画面が「混雑」状況か「閑散」状況かを類推し、判断処理を分ける。ステップ（２１）において、「混雑」と「閑散」の分岐を行う。ただし状況判断はステップ（２９）にて行う。詳細は後述。
【００５４】
混雑状況では、ステップ（２２Ａ）で、差分としてフレーム間差分が選択される。フレーム間差分では実変化領域（５５）に示されるように、移動物の前後に薄い実変化領域が発生する。この厚みは移動物の移動速度に比例する。混雑状況では通行人の速度は均一なため、大きな厚みのばらつきは発生しない。背景差分では混雑状況下では背景画像が通行人を取り込んでしまい差分が出にくくなる傾向があるが、フレーム間差分の場合はその問題もない。ステップ（２３Ａ）にて、これらフレーム間差分により得られた変化領域の面積を集計する。ここでは全画面中の変化領域の面積を加算する。
【００５５】
また、ステップ（２４Ａ）では、ステップ（２３Ａ）にて求めた面積値を、事前に決められた基準値（フレーム間差分における人間１人に当たる予想画素数）で除算し、端数が出た場合は、１捨２入（例）でまるめる。ステップ（２５Ａ）では、以上の結果より、画面中の実変化領域は通行人何人分かを決定する。
【００５６】
閑散状況では、ステップ（２２Ｂ）で、差分として背景差分が選択される。背景差分では実変化領域（３５）に示されるように、移動物のシルエット形状に比較的忠実に実変化領域が発生する。この面積移動物の移動速度には関係しない。閑散状況では通行人の速度はまちまちなため、フレーム間差分では面積にばらつきが出るが、背景差分の場合はより正確な変化領域面積が得られる。ステップ（２３Ｂ）にて、これら背景差分により得られた変化領域の面積を算出する。
【００５７】
また、ステップ（２４Ｂ）では、ステップ（２３Ｂ）にて求めた面積値を、事前に決められた基準値（背景差分における人間１人に当たる予想画素数）で除算し、端数が出た場合は、１捨２入（例）でまるめる。ステップ（２５Ｂ）では、以上の結果より、この変化領域は通行人何人分かを決定する。ステップ（２６）では、以上の結果より、本変化領域は何人分かを決定し、内部の人数カウンターをインクリメントする。
【００５８】
また、ステップ（２７）では、次に行う「混雑」か「閑散」かの判断のため、画面中の差分値の面積合計を集計する。一般には背景差分の結果の変化領域の面積を使用する。ステップ（２８）で、ステップ（２７）で得られた面積を元に「混雑」か「閑散」かの判断を行う。事前に決められている既定値を超えたら混雑、そうでなければ閑散とする判断が最も簡単である。また、ステップ（２９Ａ）または（２９Ｂ）では、混雑か閑散かのフラグを立てて、次の処理の際使用する。
【００５９】
次いで図２０のフローチャートを参照する。ステップ（４１）では、各監視エリア（３１）〜（３４）においてエリアを横切って通過する人数の、単位時間（例：１分間）当たりの人数累計を算出する。従って、図２１のフローチャートの処理は、監視エリア（３１）〜（３４）でそれぞれ独立に行われる。
【００６０】
ここで、もしノイズが監視エリアに有れば、誤カウントが発生する。図２０のフローチャートのステップ（４２）において、この４つの人数累計値を元に、ノイズ判定を行う。判定は４つの人数累計値のばらつきを見て行う。ばらつきが大きい場合はノイズが発生したと判断する。ばらつきを見る方法の例として、４つの人数累計値の平均を取り、４つの人数累計値がそれぞれ平均値の１０％範囲内にあるかどうかをみる方法がある。ばらつきが１０％範囲内であれば、ノイズ発生はないと判断し、ステップ（４４）にて通行人数は４つの人数累計値の平均として計算される。
【００６１】
ばらつきが１０％を超える監視エリア有れば、その監視エリアのみノイズ発生が有ったと判断し、ステップ（４３）にて通行人数はその監視エリアを除外した残りのエリアの人数累計値の平均として計算される。ステップ（４６）では、複数の監視エリアのうちの所定数エリアでノイズを発見したら（例：全エリアの半数である２エリア）、ステップ（４７）へ分岐する。ステップ（４７）では、所定数の監視エリアでノイズが発生したことより、画面中に何らかの大きな変動が発生したと判断する。（例：極端な日照の変動や、巨大な影の移動等）この場合、全ての監視エリアに、その大変動の影響が及んでいると判断する。
【００６２】
従って、どの監視エリアも正確な人数をカウントしていないとの前提で、その中で最も大変動の影響を受けてないと思われる監視エリアを決定し、そのエリアの人数累計値により通行人数を判断する。最も大変動の影響を受けてないと思われる監視エリアとは、人数累計値が最小であった監視エリアである。以上にて結果（４５）が生成される。この結果は、必要に応じて認識結果信号（１２）としてホストマシン（４）に通知される。
【００６３】
以上のように、この実施の形態によると、通行人が混雑状況において背景差分を使用すると問題となる「通行人の背景取り込みによる差分の減少」を、フレーム間差分を使用することにより回避する。また、通行人が閑散状況においてフレーム間差分を使用すると問題となる「通行人の移動速度のばらつきによる変化領域の面積のばらつき」を、背景差分を使用することにより回避する。且つ、この「混雑」「閑散」状況の判断を、変化領域の面積値より独自に判断し独自に切り替える。従って、「混雑」「閑散」状況に偏らない、常時均一な精度による人数カウントが可能となる。このように、通行人の状況に左右されない均一の精度を持った装置を提供しうる。
【００６４】
【発明の効果】
この発明によれば、画像処理装置は、複数の監視エリアで算出された各人数累計値のばらつきを見て、ノイズ発生を監視する為、従来の方法では除外できなかったノイズが除外しやすくなることでノイズに対する耐性が上がり、誤カウントが押さえられる効果がある。また、人数カウントも単位時間当たりの算出を行い、且つ複数監視エリアでの各人数累計値の平均を取るため、より精度の良いカウント結果を出力しうる効果がある。
【００６５】
また、次の発明によれば、画像処理装置は、複数の監視エリアで算出された各人数累計値のばらつきを見て、ノイズ発生を監視する為、従来の方法では除外できなかったノイズが除外しやすくなるため、ノイズに対する耐性が上がり、誤カウントが押さえられる効果がある。また、画面中に大変動が発生し、全ての監視エリアが正しい人数累計値を算出できなかったと判断される場合は、なかでも最も正解値に近いと想像されるエリアを類推し、誤差の最小であるカウント値を算出できる効果がある。
【００６６】
また、次の発明によれば、画像処理装置は、単位時間内に各エリアを通過した変化領域の面積を計算し、各変化領域が通行人何人分であるかを判断する。このため、従来の方法では、頻繁に通行人の変化領域が連結と分離を繰り返す状況では、見落としが多く発生する可能性があったが、この方法によれば、同様の状況に於いても、正確な通行人の人数を算出しやすくなるため、見落としによる誤カウントが押さえられる効果がある。
【００６７】
また、次の発明によれば、画像処理装置は、通行人が混雑状況において背景差分を使用すると問題となる「通行人の背景取り込みによる差分の減少」を、フレーム間差分を使用することにより回避する。また、通行人が閑散状況においてフレーム間差分を使用すると問題となる「通行人の移動速度のばらつきによる変化領域の面積のばらつき」を、背景差分を使用することにより回避する。且つ、この「混雑」「閑散」状況の判断を、変化領域の面積値より独自に判断し独自に切り替える。従って、「混雑」「閑散」状況に偏らない、常時均一な精度による人数カウントが可能となる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１で示す画像処理装置を使用する画像処理システムの構成図である。
【図２】図１に示す画像処理装置の構成図である。
【図３】図１に示す画像処理装置の動作説明図である。
【図４】図１に示す画像処理装置の動作フローチャートである。
【図５】図４に示す認識処理の動作フローチャートである。
【図６】この発明の実施の形態２で示す画像処理装置を使用する画像処理システムの構成図である。
【図７】図６に示す画像処理装置の構成図である。
【図８】図６に示す画像処理装置の動作説明図である。
【図９】図６に示す画像処理装置の動作フローチャートである。
【図１０】図９に示す認識処理の動作フローチャートである。
【図１１】この発明の実施の形態３で示す画像処理装置を使用する画像処理システムの構成図である。
【図１２】図１１に示す画像処理装置の構成図である。
【図１３】図１１に示す画像処理装置の動作説明図である。
【図１４】図１１に示す画像処理装置の動作フローチャートである。
【図１５】図１４に示す認識処理の動作フローチャートである。
【図１６】この発明の実施の形態４で示す画像処理装置を使用する画像処理システムの構成図である。
【図１７】図１６に示す画像処理装置の構成図である。
【図１８】図１６に示す画像処理装置の閑散時での動作説明図である。
【図１９】図１６に示す画像処理装置の混雑時での動作説明図である。
【図２０】図１６に示す画像処理装置の動作フローチャートである。
【図２１】図２０に示す認識処理の動作フローチャートである。
【図２２】従来の輝度センサーを使用する画像処理システムの構成図である。
【図２３】図２２に示す輝度センサーの構成図である。
【図２４】図２２に示す輝度センサーの動作説明図である。
【図２５】図２３に示す認識処理部の動作フローチャートである。
【符号の説明】
（１）    カメラ
（３）    画像処理装置
（５）    画像入力部
（６）    背景画像蓄積部
（７）    背景更新部
（８）、（８Ａ）  現画像蓄積部
（８Ｂ）  前画像蓄積部
（９）    背景差分部
（１１）  認識処理部
【図１】
0003571628.tif 000002
【図２】
0003571628.tif 000003
【図３】
0003571628.tif 000004
【図４】
0003571628.tif 000005
【図５】
0003571628.tif 000006
【図６】
0003571628.tif 000007
【図７】
0003571628.tif 000008
【図８】
0003571628.tif 000009
【図９】
0003571628.tif 000010
【図１０】
0003571628.tif 000011
【図１１】
0003571628.tif 000012
【図１２】
0003571628.tif 000013
【図１３】
0003571628.tif 000014
【図１４】
0003571628.tif 000015
【図１５】
0003571628.tif 000016
【図１６】
0003571628.tif 000017
【図１７】
0003571628.tif 000018
【図１８】
0003571628.tif 000019
【図１９】
0003571628.tif 000020
【図２０】
0003571628.tif 000021
【図２１】
0003571628.tif 000022
【図２２】
0003571628.tif 000023
【図２３】
0003571628.tif 000024
【図２４】
0003571628.tif 000025
【図２５】
0003571628.tif 000026