(57)【要約】【課題】簡易な構成で、監視対象の物体数を迅速にかつ精度良く計数する。【解決手段】監視領域の撮像（ステップ１１１）によって得られた監視領域の撮像結果から監視領域の背景画像を特定する（ステップ１１２）。引き続き、監視領域の撮像結果と背景画像との差分画像に基づいて、監視領域内における監視対象の物体の領域が抽出される（ステップ１１３）。次に、監視領域において物体の最大の大きさと推定される大きさに応じた大きさの窓を移動させながら、窓の各位置における窓内領域における物体領域の面積占有率が算出される（ステップ１１４）。そして、監視領域における面積占有率の分布に基づいて監視領域における物体の数が計数される（ステップ１１５）。【選択図】　図３
2004021375.tif 000002
【特許請求の範囲】
【請求項１】
監視対象である物体の数を計数する物体計数方法であって、
前記物体を監視する監視領域を撮像する撮像工程と；
前記監視領域の撮像結果画像に基づいて、前記監視領域内に前記物体が存在しないときにおける前記監視領域内の撮像画像である背景画像を特定する背景画像特定工程と；
前記撮像結果画像と前記背景画像との差画像に基づいて、前記物体が占める物体領域を抽出する物体領域抽出工程と；
前記監視領域において前記物体の最大の大きさと推定される大きさに応じた大きさの窓を移動させながら、前記窓の各位置における前記窓内の領域における前記物体領域の面積占有率を算出する面積占有率算出工程と；
前記監視領域における前記面積占有率の分布に基づいて前記監視領域における前記物体の数を計数する計数工程と；を含む物体計数方法。
【請求項２】
前記計数工程では、前記面積占有率の分布のピーク形状を解析して、前記物体の数を計数する、ことを特徴とする請求項１に記載の物体計数方法。
【請求項３】
前記監視領域は、その内部に前記物体が存在しないとき、撮像結果おける画素濃度値の分散及び変化幅が許容値以下となる領域である、ことを特徴とする請求項１又は２に記載の物体計数方法。
【請求項４】
監視対象である物体の数を計数する物体計数装置であって、
前記物体を監視する監視領域を撮像する撮像手段と；
前記監視領域の撮像結果画像に基づいて、前記監視領域内に前記物体が存在しないときにおける前記監視領域内の撮像画像である背景画像を特定する背景画像特定手段と；
前記撮像結果画像と前記背景画像との差画像に基づいて、前記物体が占める物体領域を抽出する物体領域抽出手段と；
前記監視領域において前記物体の最大の大きさと推定される大きさの窓を移動させながら、前記窓の各位置における前記窓内の領域における前記物体領域の面積占有率を算出する面積占有率算出手段と；
前記監視領域における前記面積占有率の分布に基づいて前記監視領域における前記物体の数を計数する計数手段と；を備える物体計数装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、物体計数方法及び物体計数装置に係り、より詳しくは、広場における人や路上における車両等の物体を監視対象として、当該物体の数を計数する物体計数方法及び物体計数装置に関する。
【０００２】
【従来の技術】
従来から、広場における人や路上における車両等の現在数を把握するために、様々な提案がなされている。その一つは、これらの物体は本質的には移動物体であることを利用し、時間を隔てて所定の監視領域をビデオカメラ等により撮像し、それらの撮像結果間の差異であるフレーム間差画像から物体を抽出し、物体の数を把握しようとするものである（以下、「従来例１」という）。
【０００３】
また、ビデオカメラによる所定の監視領域の撮像結果から、個々の物体をパターン認識し、所定の監視領域内における物体の数を把握しようとする技術も提案されている（以下、「従来例２」という）。
【０００４】
【発明が解決しようとする課題】
上述した従来例１の技術では、監視対象の物体が移動物体であることを利用しているので、広場において人が立ち止まっている場合や、渋滞により路上の車両が移動していない場合には、監視対象の物体を計数ことができない。また、監視対象の物体が移動している場合であっても、ゆっくり移動している場合には、隣接するフレーム間の差画像を用いては、精度良く物体の計数をすることが困難であるため、迅速かつ精度良く物体の計数をすることができない。
【０００５】
また、従来例２の技術では、個々の物体をパターン認識によって撮像結果から抽出するので、非常に大規模な計算資源が必要となる。こうした、大規模な計算資源を有するシステムは、必然的に大規模かつ複雑な構成を有するものとなってしまう。
【０００６】
本発明は、かかる事情のもとでなされたものであり、簡易な構成で、監視対象の物体数を迅速にかつ精度良く計数することができる物体計数方法及び物体計数装置物体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、監視対象である物体の数を計数する物体計数方法であって、前記物体を監視する監視領域を撮像する撮像工程と；前記監視領域の撮像結果画像に基づいて、前記監視領域内に前記物体が存在しないときにおける前記監視領域内の撮像画像である背景画像を特定する背景画像特定工程と；前記撮像結果画像と前記背景画像との差画像に基づいて、前記物体が占める物体領域を抽出する物体領域抽出工程と；前記監視領域において前記物体の最大の大きさと推定される大きさに応じた大きさの窓を移動させながら、前記窓の各位置における前記窓内の領域における前記物体領域の面積占有率を算出する面積占有率算出工程と；前記監視領域における前記面積占有率の分布に基づいて前記監視領域における前記物体の数を計数する計数工程と；を含む物体計数方法である。
【０００８】
この物体計数方法では、まず、撮像工程において、物体を監視する監視領域が撮像される。引き続き、背景画像特定工程において、監視領域の撮像結果画像に基づいて、監視領域内に前記物体が存在しないときにおける監視領域内の撮像画像である背景画像が特定される。
【０００９】
次に、物体領域抽出工程において、特定された背景画像と実際に撮像された監視領域内の撮像画像との差画像が算出される。そして、算出された差画像における所定の閾値以上の絶対値を有する画素の分布から監視領域内における物体領域が抽出される。
【００１０】
引き続き、面積占有率算出工程において、監視領域において物体の最大の大きさと推定される大きさに応じた大きさの窓を移動させながら、窓の各位置における窓内領域における物体領域の面積占有率が算出される。ここで、監視対象とする物体が、例えば乗用車及びバスのように、互いに大きく大きさの異なる複数の種類におよぶ場合には、それら種類ごとに応じた大きさに合わせた複数種類の窓それぞれを設定すればよい。
【００１１】
次いで、計数工程において、監視領域における面積占有率の分布に基づいて監視領域における物体の数を計数する。
【００１２】
したがって、本発明の物体計数方法によれば、監視領域に関する１フレーム分の撮像結果から物体領域を抽出して物体の数を計数するので、迅速に監視領域内における監視対象物体の数を計数することができる。また、本発明の物体計数方法によれば、個々の物体をパターン認識によって特定する場合のように大規模な演算を必要とせず、物体領域の抽出、監視領域内における物体領域の面積占有率分布の算出という比較的簡易な演算により、監視領域内における物体の数の計数を行うので、簡易な構成で、精度良く監視領域内の物体の数を計数することができる。すなわち、本発明の物体計数方法によれば、簡易な構成で、監視対象の物体数を迅速にかつ精度良く計数することができる。
【００１３】
本発明の物体計数方法では、前記計数工程において、前記面積占有率の分布のピーク形状を解析して、前記物体の数を計数することとすることができる。例えば監視領域を上方斜め方向から透視図法的に撮像した場合に、一部が重なり合う複数の物体が存在するときであっても、分解能良く物体の数を計数することができる。
【００１４】
また、本発明の物体計数方法では、前記監視領域として、その内部に前記物体が存在しないとき、撮像結果おける画素濃度値の分散及び変化幅が許容値以下となる領域を選択することができる。かかる場合には、簡易な撮像画像処理により精度良く背景画像を特定することができる。
【００１５】
本発明の物体計数装置は、監視対象である物体の数を計数する物体計数装置であって、前記物体を監視する監視領域を撮像する撮像手段と；前記監視領域の撮像結果画像に基づいて、前記監視領域内に前記物体が存在しないときにおける前記監視領域内の撮像画像である背景画像を特定する背景画像特定手段と；前記撮像結果画像と前記背景画像との差画像に基づいて、前記物体が占める物体領域を抽出する物体領域抽出手段と；前記監視領域において前記物体の最大の大きさと推定される大きさの窓を移動させながら、前記窓の各位置における前記窓内の領域における前記物体領域の面積占有率を算出する面積占有率算出手段と；前記監視領域における前記面積占有率の分布に基づいて前記監視領域における前記物体の数を計数する計数手段と；を備える物体計数装置である。
【００１６】
この物体計数装置では、撮像手段が撮像した所定領域の撮像結果に基づいて、背景画像特定手段が、監視領域内に前記物体が存在しないときにおける監視領域内の撮像画像である背景画像を特定する。引き続き、物体領域抽出手段が、特定された背景画像と実際に撮像された監視領域内の撮像画像との差画像を算出した後、算出された差画像における所定の閾値以上の絶対値を有する画素の分布から監視領域内における物体領域が抽出する。
【００１７】
次に、面積占有率算出手段が、監視領域において物体の最大の大きさと推定される大きさに応じた大きさの窓を移動させながら、窓の各位置における窓内領域における物体領域の面積占有率を算出する。そして、計数手段が、監視領域における面積占有率の分布に基づいて監視領域における物体の数を計数する。
【００１８】
すなわち、本発明の物体計数装置は、本発明の物体計数方法を使用して、監視領域における物体の数を計数する。したがって、本発明の物体計数装置によれば、簡易な構成で、監視対象の物体数を迅速にかつ精度良く計数することができる。
【００１９】
【発明の実施の形態】
以下、本発明の一実施形態を、図１〜図６を参照して説明する。
【００２０】
図１には、一実施形態に係る物体計数装置１００の構成が、ブロック図にて示されている。この物体計数装置１００は、広場における所定の監視領域における人の数を計数する装置である。
【００２１】
図１に示されるように、この物体計数装置１００は、広場における所定の監視領域ＷＴＡ（図２（Ａ）及び図２（Ｂ）参照）を撮像するビデオカメラ１０と、ビデオカメラ１０による撮像結果を処理して、監視対象物体である人の数の計数処理を行う処理装置２０と、計数結果を表示する画面表示装置４３及び音声表示装置４５とを備えている。また、物体計数装置１００は、オペレータによる処理装置２０への指示入力用に、キーボード装置４１及びマウス４４を更に備えている。なお、画面表示装置４３は、キーボード装置４１やマウス４４からの入力情報を確認のために表示や、物体計数装置１００の動作状況を表示するためにも使用される。
【００２２】
前記ビデオカメラ１０は、図２（Ａ）に概念的に示されるように、広場の上方に設置され、斜め上方から監視領域ＷＴＡを観察するようになっている。この結果、ビデオカメラ１０の視野内には、図２（Ｂ）に示されるような斜視像で、監視領域ＷＴＡ内の人ＯＢＪ１，ＯＢＪ２，ＯＢＪ３及びそれらの周辺の様子が捉えられるようになっている。
【００２３】
なお、以下の説明においては、鉛直上方向をＺ方向と、監視領域ＷＴＡの横方向をＸ方向と、監視領域ＷＴＡの奥行方向をＹ方向と記すものとする。また、撮像画像上（すなわち、図２（Ｂ））におけるモニタ座標系（ＸＭ，ＹＭ）においては、厳密には画像における位置ごとにＹ方向とＹＭ方向との交差角度が異なるが、このＹ方向とＹＭ方向との相違に特に着目することが必要ない場合には、モニタ座標系のＹＭ方向が、監視領域ＷＴＡの奥行方向すなわちＹ方向に一致するとものとして、以下の説明を行う。
【００２４】
図１に戻り、前記処理装置２０は、（ａ）物体計数装置１００全体を統括制御する制御装置２９と、（ｂ）ビデオカメラ１０による撮像結果データを収集する撮像データ収集装置２１と、（ｃ）監視領域ＷＴＡ内における背景画像を特定する背景画像特定装置２２とを備えている。また、処理装置２０は、（ｄ）監視領域ＷＴＡ内における物体領域（人領域）を抽出する物体領域抽出装置２３と、（ｅ）監視領域ＷＴＡ内における各位置における物体領域の面積占有率を算出する面積占有率算出装置２４、（ｆ）監視領域ＷＴＡ内における物体領域の面積占有率の分布に基づいて、監視領域ＷＴＡ内における人の数を計数する計数装置２５とを備えている。
【００２５】
更に、処理装置２０は、（ｇ）記憶装置３０を備えている。この記憶装置３０は、撮像データ格納領域３１、背景画像格納領域３２、物体領域情報格納領域３３、及び面積占有率格納領域３４を有している。
【００２６】
なお、図１においては、データの流れが実線矢印で示され、制御の流れが点線矢印で示されている。以上のように構成された処理装置２０の各装置の作用は後述する。
【００２７】
本実施形態では、処理装置２０を上記のように、各種の装置を組み合わせて構成したが、処理装置２０を計算機システムとして構成し、記憶装置３０を除く各装置の機能を処理装置２０に内蔵されたプログラムによって実現することも可能である。
【００２８】
以下、本実施形態の物体計数装置１００による物体（人）の計数動作を、図３に示されるフローチャートに沿って、適宜他の図面を参照しながら説明する。
【００２９】
まず、図３のステップ１１１において、物体（人）の計数用の撮像が行われる。この撮像では、撮像データ収集装置２１が、ビデオカメラ１０から送られてきた撮像データを一画面分だけ収集する。そして、撮像データ収集装置２１は、収集した撮像データを撮像データ格納領域３１に格納する。
【００３０】
次に、ステップ１１２において、監視領域ＷＴＡ内の背景画像が特定される。かかる背景画像の特定にあたっては、まず、背景像特定装置２２が、撮像データ格納領域３１から今回の撮像データを読み出す。そして、監視領域ＷＴＡ内において、本来動かない樹木等の参照物体ＲＥＦを基準として、撮像結果画像における監視領域ＷＴＡの位置を特定する。こうした監視領域ＷＴＡの位置の特定により、ビデオカメラの揺れ等による撮像結果画像における監視領域ＷＴＡの位置の不安定さが解消される。
【００３１】
引き続き、背景画像特定装置２２は、その位置が特定された監視領域ＷＴＡ内における背景画像を特定する。かかる背景画像の特定に際し、本実施形態では、背景画像特定装置２２が、監視領域ＷＴＡを複数の小領域に分割する。引き続き、複数の小領域ごとに、今回の内部画素濃度分布が監視領域の背景画像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを、分散値が許容分散値以下であり、かつ、変化幅が許容変化幅以下であるか否かにより判定する。
【００３２】
そして、背景画像特定装置２２は、肯定的な判定がされた小領域については、前回までの推定背景画像及び今回の内部画素濃度分布に基づいて新たな背景画像を特定する。また、背景画像特定装置２２は、肯定的な判定がされた小領域については、前回までの推定背景画像に基づいて新たな背景画像を特定するか、近傍の小領域の新たな背景画像に基づいて新たな背景画像を特定する。
【００３３】
背景画像特定装置２２は、こうして特定された監視領域ＷＴＡの位置情報及び背景画像を、背景画像格納領域３２に格納する。
【００３４】
次に、ステップ１１３において、物体領域抽出装置２３が、物体領域（人領域）を抽出する。かかる物体領域の抽出に際し、物体領域抽出装置２３は、まず、撮像データ格納領域３１から撮像結果画像を読み出すとともに、背景画像格納領域３３から監視領域ＷＴＡの位置情報及び背景画像を読み出す。引き続き、物体領域抽出装置２３は、撮像画像と背景画像との差を算出した後、近傍数画素の濃度値を平均することにより差画像を算出する。
【００３５】
次いで、物体領域抽出装置２３は、差分の絶対値が所定の閾値以上となった画素からなる領域を物体領域として抽出する。そして、物体領域抽出装置２３は、監視領域ＷＴＡ内において、物体領域と判定された領域の各画素値を「１（又は０）」とし、また、背景画像領域と判定された領域の各画素値を「０（又は１）」とした２値化画像を、物体領域情報格納領域３３に格納する。
【００３６】
次に、ステップ１１４において、面積占有率算出装置２４が、監視領域ＷＴＡの各位置における物体領域の面積占有率を算出する。かかる面積占有率の算出にあたり、面積占有率算出装置２４は、まず、物体領域情報格納領域３３から２値化画像を読み出す。引き続き、面積占有率算出装置２４は、図４に示されるように、監視領域ＷＴＡにおいて計数対象物体である人が占める領域の最大の大きさと推定される大きさに応じた矩形上の窓ＷＩＮを監視領域ＷＴＡ内で移動させながら、各位置における窓ＷＩＮ内領域において物体領域が占める面積の占有率を算出する。面積占有率算出装置２４は、こうして算出された監視領域ＷＴＡの各位置における面積占有率を、面積占有率格納領域３４に格納する。
【００３７】
なお、本実施形態では、撮像画像が斜視像なので、奥行方向（ＹＭ方向）の位置に応じて、窓ＷＩＮの大きさを調節しながら、窓ＷＩＮ内領域において物体領域が占める面積の占有率を算出している。
【００３８】
次いで、ステップ１１５において、計数装置２５が、算出された面積占有率分布に基づいて、監視領域ＷＴＡ内における物体（人）の数を計数する。かかる計数において、計数装置２５は、まず、面積占有率格納領域３４から、監視領域ＷＴＡの各位置における面積占有率を読み出し、監視領域ＷＴＡ内における面積占有率分布を求める。こうして求められた面積占有率分布の例が図５に示されている。
【００３９】
引き続き、計数装置２５は、求められた面積占有率分布のピークを抽出する。そして、計数装置２５は、抽出されたピークそれぞれの形状を解析して、各ピークが、人がそのピーク位置にいることにより発生したものであるか否かを判定する。そして、人がいることにより発生したと判定されたピークそれぞれについて、そのピーク位置に何人の人がいるかを求める。例えば、通常の人の体格から見て、図６（Ａ）に示されるような典型的なピーク幅及びピーク高を有し、単調な形状を有するピークの場合には、そのピーク位置に人が１人いると判定する。
【００４０】
また、図６（Ｂ）において実線で示されるように、ピーク幅が広くかつピーク高が高いが単調な形状を有するピークの場合には、そのピーク位置に体の大きな人が１人いると判定する。また、図６（Ｂ）において破線で示されるように、ピーク幅が狭くかつピーク高が低いが単調な形状を有するピークの場合には、そのピーク位置に体の小さなが１人いると判定する。すなわち、ピーク幅が所定のピーク幅範囲内であり、ピーク高が所定のピーク高範囲内であり、かつ単調な形状を有するピークの場合には、そのピーク位置に人が１人いると判定する。
【００４１】
また、図６（Ｃ）に示されるように、２山のピーク形状を有するような場合には、そのピーク位置に人が２人いると判定する。なお、２山以上のピーク形状を有するような場合には、山の数だけ人がいると判定する。
【００４２】
こうして、監視領域ＷＴＡ内における人の総数及び各人の位置が検出される。
【００４３】
なお、図６（Ａ）〜図６（Ｃ）に示される面積占有率分布のピーク形状は、本実施形態で行われているスムーズ化処理が施されたものである。また、ピークそれぞれの形状を解析にあたっては、簡易なテンプレートマッチング処理を行うことも可能である。
【００４４】
以上の検出結果は、制御装置２９に通知される。制御装置２９は、受信した検出結果を、画面表示装置４３や音声表示装置４５に表示指示する。これにより、監視領域ＷＴＡ内における人の総数や存在密度分布が、視覚や聴覚を通じてオペレータに提供される。
【００４５】
次に、ステップ１１６において、制御装置２９が、キーボード装置４１又はマウス４４から計数動作の終了が指示されたか否かを判定する。ここで、否定的な判定がなされた場合には、処理はステップ１１１へ移行し、上記と同様にして、対象物体（人）の計数が続行される。一方、ステップ１１６において、肯定的な判定がなされると、対象物体の計数動作が終了する。こうして、キーボード装置４１又はマウス４４から計数動作の終了が指示されるまで、対象物体の計数動作が繰り返してなされる。
【００４６】
以上説明したように、本実施形態の物体計数装置１００によれば、各回のビデオカメラ１０による撮像結果に基づいて、監視領域ＷＴＡ内における物体領域の面積占有率分布を求め、その面積占有率分布から監視領域ＷＴＡ内における計数対象である物体の数を計数する。したがって、簡易な構成で、物体の数を迅速にかつ精度良く計数することができる。
【００４７】
また、面積占有率分布におけるピーク形状を解析して、監視領域ＷＴＡ内における物体の数を計数するので、分解能良く物体（人）を計数することができる。
【００４８】
なお、上記の実施形態では、ビデオカメラ１０によって斜め上方から監視領域を撮像したが、広角な撮像装置を使用すれば、監視領域の鉛直上方から、監視領域を撮像することもできる。かかる場合には、斜視像であることに由来する、座標変換の面倒さを解消することができる。
【００４９】
また、上記の実施形態では、ビデオカメラ１０による撮像で得られた各フレーム画像において、監視領域ＷＴＡ内における人の総数及び各人の位置を検出することとしたが、更に、各フレーム画像における各人又は特定人の位置に基づいて、各人又は特定人の位置の時間変化を求めることにより、いわゆるトラッキング機能を実現することもできる。
【００５０】
また、本実施形態では、監視対象を広場における人としたが、道路上における車両や駐車場における車両等であっても、本発明を適用することができる。また、戸外であるか否かを問わず、本発明を適用することができる。
【００５１】
【発明の効果】
以上詳細に説明にしたように、本発明の物体計数方法及び物体計数装置によれば、簡単な構成で、監視対象の物体数を迅速にかつ精度良く計数することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る物体計数装置の概略的な構成を示すブロック図である。
【図２】図２（Ａ）は、図１のビデオカメラの配置を説明するための図であり、図２（Ｂ）は、図１のビデオカメラによる撮像結果を説明するための図である。
【図３】図１の物体計数装置による計数処理を説明するためのフローチャートである。
【図４】監視領域内における窓の移動を説明するための図である。
【図５】監視領域内における物体領域の面積占有率分布の例を説明するための図である。
【図６】図６（Ａ）〜図６（Ｃ）は、面積占有率分布におけるピーク形状の例を説明するための図である。
【符号の説明】
１０…ビデオカメラ（撮像手段）、２２…背景画像特定装置（背景画像特定手段）、２３…物体領域抽出装置（物体領域抽出手段）、２４…面積占有率算出装置（面積占有率算出手段）、２５…計数装置（計数手段）。
【図１】
2004021375.tif 000003
【図２】
2004021375.tif 000004
【図３】
2004021375.tif 000005
【図４】
2004021375.tif 000006
【図５】
2004021375.tif 000007
【図６】
2004021375.tif 000008