(57)【要約】【課題】人数計数を精度よく行うことができるカメラ画像人数計数法方及び装置を提供する。【解決手段】本発明は、カメラ画像から、画像内を移動する対象の数を計測する方法であって、移動する対象の動きを推定するステップと、画像内に移動する対象の移動状態を判定する線を設定し、移動する対象の大きさを判定するための線に平行なメッシュを設定し、カメラ画像のシーンの歪みを補正するステップと、移動する対象が画像内において重なる場合、推定した動きについて移動する対象の重なり合いを補正して移動する対象の粒子を抽出するステップと、抽出した移動する対象の粒子に対して移動する対象の大きさを補正するステップと、大きさが補正された抽出した動きの対象の粒子に基づいて、速度人数変換部において、移動する対象の数を推定するステップとを含む。【選択図】図１
2016091326.tif 000002
【特許請求の範囲】
【請求項１】
カメラ画像から、画像内を移動する対象の数を計測するカメラ画像人数計数方法であって、
動き推定部において前記移動する対象の動きを推定するステップと、
メッシュ変形設定部において、前記画像内に前記移動する対象の移動状態を判定する線を設定し、前記移動する対象の大きさを判定するための前記線に平行なメッシュを設定し、カメラ画像のシーンの歪みを補正するステップと、
前記移動する対象が前記画像内において重なる場合、混雑度補正部において、推定した前記動きについて前記移動する対象の重なり合いを補正して前記移動する対象の粒子を抽出するステップと、
大きさ補正部において、抽出した前記移動する対象の粒子に対して前記移動する対象の大きさを補正するステップと、
前記大きさが補正された前記抽出した動きの対象の粒子に基づいて、速度人数変換部において、前記移動する対象の数を推定するステップと
を含むことを特徴とするカメラ画像人数計数方法。
【請求項２】
前記大きさを補正するステップは、前記移動する対象の移動状態を判定する前記線と前記メッシュにより設定された領域との関係性に基づいた力学モデルを適用して前記大きさの違いによる前記画像内の見かけの移動速度の推定誤差を削減することを特徴とする請求項１に記載のカメラ画像人数計数方法。
【請求項３】
カメラ画像から、画像内を移動する対象の数を計測するカメラ画像人数計数装置であって、
前記移動する対象の動きを推定する動き推定部と、
前記画像内に前記移動する対象の移動状態を判定する線を設定し、前記移動する対象の大きさを判定するための前記線に平行なメッシュを設定し、カメラ画像のシーンの歪みを補正するメッシュ変形設定部と、
前記移動する対象が前記画像内において重なる場合、推定した前記動きについて前記移動する対象の重なり合いを補正して前記移動する対象の粒子を抽出する混雑度補正部と、
抽出した前記移動する対象の粒子に対して前記移動する対象の大きさを補正する大きさ補正部と、
前記大きさが補正された前記抽出した動きの対象の粒子に基づいて、前記移動する対象の数を推定する速度人数変換部と
を備えることを特徴とするカメラ画像人数計数装置。
【請求項４】
前記大きさ補正部は、前記移動する対象の移動状態を判定する前記線と前記メッシュにより設定された領域との関係性に基づいた力学モデルを適用して前記大きさの違いによる前記画像内の見かけの移動速度の推定誤差を削減して大きさの補正を行うことを特徴とする請求項３に記載のカメラ画像人数計数装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ画像人数計数方法及びカメラ画像人数計数装置に関し、より詳細には、画像処理によりエリア内を移動する対象の数を計測する方法及び装置に関する。
【背景技術】
【０００２】
カメラ画像監視方式は、移動する対象に特殊なセンサタグを装着せずに、カメラから取得した画像により、移動する対象（人及び物体）の数（人数及び台数）及び移動の軌跡などの特徴を容易に特定することができる手段として、年々重要性が増してきている。そのため、画像処理及びコンピュータビジョンの分野において、中心課題の一つとなっている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】野村友和著、“重回帰モデル−計量分析演習−”、インターネット（http://www.econ.kobe-u.ac.jp/~nomura/lecture/11s/multiple_regression.pdf）2011年11月5日
【非特許文献２】J.L. Barron, D.J. Fleet, and S.S. Beauchemin, “Performance of optical flow techniques”, International Journal of Computer Vision, vol. 12, no. 1, pp. 43-77, 1994.
【非特許文献３】高木方隆、“画像の幾何補正１”、高知工科大学、インターネット（http://www.infra.kochi-tech.ac.jp/takagi/Geomatics/10GeoCorrection.pdf）
【非特許文献４】ウィキペディア（Wikipedia）フリー百科事典、“距離空間”、インターネット（http://ja.wikipedia.org/wiki/%E8%B7%9D%E9%9B%A2%E7%A9%BA%E9%96%93）2013年11月12日
【非特許文献５】ウィキペディア（Wikipedia）フリー百科事典、“エッジ検出”、インターネット（http://ja.wikipedia.org/wiki/%E3%82%A8%E3%83%83%E3%82%B8%E6%A4%9C%E5%87%BA）2013年3月19日
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラ画像監視方式による屋外環境に対する画像処理においては、照明変化、対象同士の重なり合い（オクルージョン）、対象の身長又は大きさの相違、群集などによる混雑度、又は、視野内における見かけの身長又は大きさの極端な変化等が生じる。これらの事象により、対象の人数や台数の計数において、以下の問題が生じる。まず第１に、人数（または台数）の増減に伴った対象同士の重なり合いにより、対象自体を明確に把握できず、人数計数（台数計数）の誤差が増大する。第２に、人の身長（又は物体の大きさ）の違いが、人数計数（台数計数）の誤差を生ずる。第３に、人（又は物体）の移動の動き情報をそのまま利用した人数計数法（台数計数法）であるため、上記重なり合いや身長の違いを個別に補正したものではない。
【０００５】
このような問題は、カメラ画像監視方式による対象の人数や台数の自動計数法において、検出精度を低下させる大きな要因となっている。本発明は、このような問題に鑑みてなされたもので、その目的とするところは、人数計数を精度よく行うための、カメラ画像人数計数方法及びカメラ画像人数計数装置を提供することにある。
【課題を解決するための手段】
【０００６】
このような問題を解決するために、本発明の第一の態様は、カメラ画像から、画像内を移動する対象の数を計測するカメラ画像人数計数方法であって、動き推定部において前記移動する対象の動きを推定するステップと、メッシュ変形設定部において、前記画像内に前記移動する対象の移動状態を判定する線を設定し、前記移動する対象の大きさを判定するための前記線に平行なメッシュを設定し、カメラ画像のシーンの歪みを補正するステップと、前記移動する対象が前記画像内において重なる場合、混雑度補正部において、推定した前記動きについて前記移動する対象の重なり合いを補正して前記移動する対象の粒子を抽出するステップと、大きさ補正部において、抽出した前記移動する対象の粒子に対して前記移動する対象の大きさを補正するステップと、前記大きさが補正された前記抽出した動きの対象の粒子に基づいて、速度人数変換部において、前記移動する対象の数を推定するステップとを含むことを特徴とする。
【０００７】
また、本発明の第２の態様は、第１の態様のカメラ画像人数計数方法であって、前記大きさを補正するステップは、前記移動する対象の移動状態を判定する前記線と前記メッシュにより設定された領域との関係性に基づいた力学モデルを適用して前記大きさの違いによる前記画像内の見かけの移動速度の推定誤差を削減することを特徴とする。
【０００８】
また、本発明の第３の態様は、カメラ画像から、画像内を移動する対象の数を計測するカメラ画像人数計数装置であって、前記移動する対象の動きを推定する動き推定部と、前記画像内に前記移動する対象の移動状態を判定する線を設定し、前記移動する対象の大きさを判定するための前記線に平行なメッシュを設定し、カメラ画像のシーンの歪みを補正するメッシュ変形設定部と、前記移動する対象が前記画像内において重なる場合、推定した前記動きについて前記移動する対象の重なり合いを補正して前記移動する対象の粒子を抽出する混雑度補正部と、抽出した前記移動する対象の粒子に対して前記移動する対象の大きさを補正する大きさ補正部と、前記大きさが補正された前記抽出した動きの対象の粒子に基づいて、前記移動する対象の数を推定する速度人数変換部とを備えることを特徴とする。
【０００９】
また、本発明の第４の態様は、第３の態様のカメラ画像人数計数装置であって、前記大きさ補正部は、前記移動する対象の移動状態を判定する前記線と前記メッシュにより設定された領域との関係性に基づいた力学モデルを適用して前記大きさの違いによる前記画像内の見かけの移動速度の推定誤差を削減して大きさの補正を行うことを特徴とする。
【発明の効果】
【００１０】
本発明では、カメラ画像処理において、従来からの前処理に加えて、座標系の歪み補正、見かけの大きさ補正、混雑度の補正により、人数計数を精度よく行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態にかかるカメラ画像人数計数装置の構成を示すブロック図である。
【図２】従来のカメラ画像による人数計数法の例を説明する図である。（ａ）は従来の人数計数法を示し、（ｂ）及び（ｃ）は、従来の人数計数法の問題点の例を示している。
【図３】本発明における人流計数法における補正法を示す。
【図４】本発明の一実施形態における人数計数法の処理の流れを示すフロー図である。
【図５】図４において定義したメッシュ内の仮想的なゲートの直線上を横切る人と粒子との典型的な関係を説明する図である。
【図６】本発明の一実施形態に係る混雑度の推定による補正法における歩行者のエッジ抽出過程と、エッジ抽出により抽出した歩行者を示す粒子を示す図である。（ａ）〜（ｃ）は、従来のエッジ抽出方法を示す図であり、（ｄ）〜（ｋ）は、本発明の一実施形態におけるエッジ抽出法を示す図である。
【図７】人の身長の相違が人数の計数に誤差が生じる例、及び本発明の一実施形態における粒子の速度補正例を示す図である。（ａ）、（ｃ）は、仮想的なゲートの直線上での粒子を示し、（ｂ）、（ｄ）は実写を示し、（ｅ）〜（ｇ）は、歩行者が仮想的なゲートの直線を横切っていくときの粒子の速度の補正例を示す図である。
【図８】本発明の一実施形態における粒子に作用する押力モデルを説明する図である。（ａ）〜（ｃ）は、図４において定義した仮想的なゲートの直線を含むメッシュ領域内における、移動する物体を示している。
【図９】本発明の一実施形態における粒子に作用する抵抗力モデルを説明する図である。（ａ）〜（ｃ）は、図４において定義した仮想的なゲートの直線を含むメッシュ領域内を移動する物体を示している。
【図１０】従来の人数計数方法と本発明の一実施形態による人数計数法との実験の結果を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００１３】
図１は、本発明の一実施形態にかかるカメラ画像人数計数装置の構成を示すブロック図である。本実施形態のカメラ画像人数計数装置１００は、カメラ又は顕微鏡等からの画像データを入力するデータ入力部１０１と、入力したデータを保存するデータ蓄積部１０２とを備える。また、カメラ画像人数計数装置１００は、背景画像を分離する背景差分部１０３と、計数の対象の動きを推定する動き推定部１０４と、画像シーンの歪みの補正するメッシュ変形設定部１０５及び幾何補正部１０６と、計数の対象の重なり合いを補正する混雑補正部１０７と、計数の対象の大きさの違いを判別、補正する大きさ補正部１０８とを備える。さらに、カメラ画像人数計数装置１００は、対象の数を推定する速度人数変換部１０９と、計数結果を表示する表示部１１０とを備える。
【００１４】
本実施形態のカメラ画像人数計数装置１００においては、ある一つの環境の時系列画像をカメラ又は顕微鏡等により撮影し、撮影した時系列画像の画像データを、データ入力部１０１へ入力する。入力した時系列画像の画像データは、データ蓄積部１０２において保存される。背景差分部１０３において、データ蓄積部１０２に保存された時系列画像の画像データにおける連続した画像間の差分画像が処理され、画像内の一定値以上の輝度の大きさに対して閾値をおいて、前部と背景部とを分離する。動き推定部１０４は、背景差分部１０３において前部と背景部とが分離された画像データから、計数の対象の動きを推定する。メッシュ変形設定部１０５は、画像内に計数対象の移動状態を判別する線及び線に平行なメッシュを設定する。幾何補正部１０６は、視野内画像の移動対象がカメラ手前又は奥に移動したときでも同一の大きさとなるように幾何補正をかけ、カメラを設置したときの画像シーンの歪みの補正を行う。混雑補正部１０７は、推定された動きに対して人の重なり合いについての補正を行い、計数の対象の一部となる粒子を抽出する。大きさ補正部１０８は、抽出された粒子に対して身長の違いや複数人による大きさ補正を行う。大きさ補正部１０８については、身長の違いや人数の違いによる見かけの速度の推定誤差を削減するために、移動対象の移動状態を判定する領域、線分との関係性に基づいた力学モデルを適用する。速度人数変換部１０９において、補正された画像データから一定時間における速度情報に基づいて人数を推定し、表示部１１０において、速度人数変換部１０９による人数計数結果を表示する。
【００１５】
図２は、従来のカメラ画像による人数計数法の例を説明する図である。図２（ａ）は従来の人数計数法を示し、図２（ｂ）及び図２（ｃ）は、従来の人数計数法の問題点の例を示している。取得した画像中に複数の歩行者２０２〜２０４が存在した場合、従来の人数計測法では、図２（ａ）に示すとおり画像中に仮想的に直線２０１を引き、一定の時間において仮想的なゲート（ｖｉｒｔｕａｌ  ｇａｔｅ  （ＶＧ））の直線２０１を横切った対象の人数を計数する。しかし、カメラと歩行者の相対的な視線アングルによっては、図２（ｂ）に示すとおり、視線上複数の人物が重なりあってしまうために（２０５）、直線上の人数計数に大きな誤差が生じる場合がある。また、図２（ｃ）に示すとおり、同一人物でも、画像内で手前から奥にかけて身長が著しく変化し（２０６〜２０８）、画像処理上誤認識につながる要因となることがある。すなわち、従来の人数計測法においては、見かけの混雑度と大きさの補正法が大きな課題であった。
【００１６】
図３は、図１の速度人数変換部１０９における人数計数法の例を示す図である。図３に示す人数計数法は、図２（ａ）に示すような画像を基に、取得画像における見かけの歪みを補正して、仮想的なゲートの直線３０１を横切った対象３０２の人数を計数する。本実施形態においては、図２の説明において述べたような従来からの重回帰モデルでは考慮されていなかった時系列データの時間的な変化の影響を加味することを特徴とする。
【００１７】
ここで、ある画像上の２次元座標値をもつ説明変数ｘｊについて、その時系列データを｛ｘ１，ｘ２，．．．，ｘＴ｝ｊとする。ただし、離散時間は１からＴまでとする。次に、時間変化に関する目的変数を生成するために、重み係数ｗ（ｘ）、仮想的なゲートの直線３０１と対象３０２の動きを示すベクトルｖｘ（以下、「オプティカルフロー」という（非特許文献２参照））がなす角度をθｘとし、｜ｖｘ｜をオプティカルフローによる速度の大きさとすると、見かけの歪みが補正されたときの移動速度は、次のように定義される。
【００１８】
【数１】
2016091326.tif 000003
【００１９】
ただし、２次元座標値ｘとしたときのＦＧ（ｘ）は、２値化データ（０，１）であり、仮想的なゲートの直線３０１付近の画素に対し、前景（１）か背景（０）かが割り当てられる。ｓｉｎ（θｘ）は、仮想的なゲートの直線３０１に平行をゆっくりと時間をかけて移動したときに、見かけの物体数が不自然に増加してしまうことを抑制する補正値である。なお、ＦＧ（ｘ）に関しては、図１の背景差分部１０３において、連続した時系列画像について現在と一つ前の過去の画像内の画素の輝度の差分値をとり、その絶対値が一定値（例えば、１５）以上をもつ画素を１、それ以外を０として与えた。すなわち、輝度変化が一定値以上生じた画像領域（画素）について、人などの動きの変化があったものとみなした。
【００２０】
図４は、本実施形態における人数計数法の処理の流れを示すフロー図である。本実施形態において、ある歩行者用道路をカメラにより撮影し、歩行者用道路を歩く人（計数対象）の数を計数する。本実施形態の人数計数法は、まず、ステップ４０１において、ある定点から、斜め方向に歩行者用道路を撮影する。カメラにより得られた一定の時間を通じて得られる歩行者用道路の一つの時空間画像は、図１のデータ蓄積部１０２に蓄積される。次に、ステップ４０２において、背景差分部１０３により、一定値以上の輝度の大きさに対し閾値を置いて、前部と背景部に分離する。
【００２１】
ステップ４０３において、カメラの撮影方向によるシーンの歪みを補正する。本実施形態においては、定点から斜めに歩行者用道路を撮影しているため、カメラの撮影方向によるシーンの歪みを補正する必要がある。ステップ４０３においては、メッシュ変形設定部１０５により、画像内から目視により人数計数を実施する領域を選定し、歩行者用道路を横切るように仮想的なゲートとなる直線４１１を設定する。なお、本実施形態においては、１画素分の幅を直線４１１の幅として用いた従来からの人数計数法と比較すると、数画素分に直線４１１の幅を広げているのが特徴である。次に、一人の歩行者を囲む程度の大きさのメッシュ（格子）４１２を、直線４１１に平行に、５×４〜５０×１０等シーンに応じて設定する。メッシュを設定することにより、人の身長の違いを把握することが可能となる。このとき、直線４１１に平行なメッシュ全体の両端については端部直線４１３として設定する。その後、幾何補正部１０６により、シーンの歪みの補正を行う。シーンの歪みの補正については、例えば非特許文献３に記載の方法（幾何補正）が用いられる。シーンの歪みの補正により視野内の移動対象がカメラ手前や奥に移動したときでも、同一の大きさとなるように補正することができる。
【００２２】
次に、シーンの歪みの補正を行った画像に対して、混雑補正部１０７により混雑度の推定による補正（ステップ４０４）を行う。従来、カメラ画像から人数を計数するに際して複数人が重なっている場合、斜めの一方向から一つの環境を撮影しているために、重なった対象を一つの対象と認識してしまうことにより、実際に存在する人数よりも少ない人数として計数されてしまうことがあった。この問題については、本実施形態においては、混雑の推定による補正を取り入れることで緩和する。
【００２３】
混雑度の推定による補正を行う場合、歩行者が複数（人数が未知）いる場合は、複数の連続した画像を用いてエッジ特徴量のヒストグラムを求め、事前に作成しておいた人数が既知の場合についてのエッジ特徴量のヒストグラムと比較参照し、人数の増減を推定する。この処理では、歩行者以外の樹木の揺らぎなど、背景における動的な変化によるエッジ特徴量の影響を排除することを目的とする。
【００２４】
次に、大きさ補正部１０８により状態の推定による補正（ステップ４０５）を行う。人の身長の違いについても画像処理では人数計数に誤差をもたらす要因となっている。この問題については、本実施形態においては、状態推定による補正法を取り入れることで緩和する。なお、メッシュ内において一人から複数の人がつくりだす、見かけの塊（ｂｌｏｂ：ブロブ）と端部直線４１３との相対的な位置関係の違いを状態の違いとする。
【００２５】
一方で、ステップ４０６においては、人の動きの推定を行う。人の動きについては、動き推定部１０４において、非特許文献２に記載のオプティカルフロー推定法より推定する。なお、図３で述べたような方法で得られる必要なオプティカルフローは、仮想的なゲートの直線に垂直な成分である。
【００２６】
ステップ４０７において、ステップ４０６において推定されたオプティカルフローから有効な速度を持つ粒子を抽出し、画像内の仮想的なゲートの直線４１１を横切る人の、仮想的なゲートの直線４１１上の粒子のフローをそれぞれ抽出する。
【００２７】
ステップ４０８において、ステップ４０７において抽出した粒子に対しステップ４０４において算出された仮想的な力を加え、それぞれの粒子の動きの速度を調整する。ここで、速度の調整は、仮想的な力を、速度変換式を通じて速度に変換し、速度の補正量を決定することにより行う。
【００２８】
ステップ４０９において、速度が調整された粒子を統合して、計数の対象となる１つの対象（人）を抽出する。抽出した人数の結果は、表示部１１０において表示される。
【００２９】
次に、混雑補正部１０７における、混雑度の推定による補正（ステップ４０４）について説明する。図５は、図４において定義したメッシュ内の仮想的なゲートの直線上を横切る人と粒子との典型的な関係を説明する図である。図５（ａ）は、仮想的なゲートの直線５０１に近づく歩行者５０３について連続する２つの時刻における歩行者を重ね合わせて示している。歩行者５０３は動きをもつ粒子５０４として置き換えることができる。本実施形態における補正法を適用する前は、粒子５０４は、さまざまな方向を向き、単位時刻当たりの速度の大きさもばらついていることが多い。
【００３０】
図５（ｂ）は、仮想的なゲートの直線５０１上、歩行者が一人存在する場合の粒子を示し、図５（ｃ）は、仮想的なゲートの直線５０１上、歩行者が二人近づいて重なった場合の粒子を示している。
【００３１】
図５（ｂ）及び（ｃ）の場合、画像処理では共に人数は一人と誤検出されることが多いという問題がある。特に歩行者の人数が増え、それぞれの歩行者の重なりが随所に生じるほど、その誤差は増大する傾向が知られている。
【００３２】
図６は、本実施形態の混雑度の推定による補正法（ステップ４０４）における歩行者のエッジ抽出過程と、エッジ抽出により抽出した歩行者を示す粒子を示す図である。上段の図６（ａ）〜（ｃ）は、従来のエッジ抽出方法を示す図であり、図６（ａ）は、撮影したある歩行者用道路の画像、図６（ｂ）は、図６（ａ）の画像からエッジを抽出した図、図６（ｃ）は、図６（ｂ）のエッジから、歩行者のみを抽出した図を示す。しかし、図６（ａ）〜（ｃ）のようなエッジ抽出方法では、処理対象ではない背景の特徴量が安定した人数の計数を阻害する問題がある。そこで本発明では、下記に述べるような方法により、対象とする歩行者だけのエッジを絞り込んでいる。
【００３３】
下段の図６（ｄ）〜（ｋ）は、本実施形態におけるエッジ抽出法を示す図である。本実施形態においては、図４のステップ４０３において作成したメッシュ内の画像についてエッジ抽出を行うものであり、図６（ｄ）及び（ｅ）は、図４において設定されたメッシュ部分の画像を示し、図６（ｆ）は（ｄ）の画像から、図６（ｇ）は（ｅ）の画像から、エッジを抽出した図、図６（ｈ）は（ｆ）の図の、図６（ｉ）は（ｇ）の図の時空間のエッジのヒストグラム、図６（ｊ）は（ｄ）の画像の、図６（ｋ）は（ｅ）の画像の、仮想的なゲートの直線上の歩行者に対応した粒子の例を示す。下段の１行目の図（（ｄ）、（ｆ）、（ｈ）及び（ｊ））は歩行者が一人の場合、２行目の図（（ｅ）、（ｇ）、（ｉ）及び（ｋ））は、歩行者が複数の場合である。
【００３４】
本実施形態において、基準とするエッジのヒストグラムＨＮｏｒｍａｌと、任意の時間において得られたエッジのヒストグラムＨｔとを、
【００３５】
【数２】
2016091326.tif 000004
【００３６】
とし、ＨＮｏｒｍａｌとＨｔとから、時間ｔにおける混雑度の相対率Ｒｔを求める。ここで、Ｄ（・）は２つのヒストグラムの類似度を計算する関数であり、エッジの強さと生起頻度に関する距離計算を行う。距離計算には、さまざまな方法があり、ユークリッド距離（非特許文献４参照）などを選択することができる。ただし、ＨＮｏｒｍａｌは時空間画像から得られるエッジ情報であるため、人の平均身長１．６ｍ、平均歩行速度０．５ｍ／ｓとおく。
【００３７】
エッジのヒストグラムＨＮｏｒｍａｌとＨｔとは、
【００３８】
【数３】
2016091326.tif 000005
【００３９】
で定義した。ただし、ｘ＝｛ｔ，Ｎｏｒｍａｌ｝、Ｈｎはエッジの長さ、Ｈｌはエッジの数である。エッジについては、画像輝度に関する空間一次微分、又はＣＡＮＮＹエッジ検出器（非特許文献５参照）等により容易に求められる。１枚の画像だけからエッジを求めると、一般に、対象としていない背景のさまざまな建物や道路などを人とともに同時に検出してしまう問題が生じる。そこで本実施形態では、時系列的な画像から、エッジ特徴量を
【００４０】
【数４】
2016091326.tif 000006
【００４１】
により求める。ただし、Ｃ（ｉ）は、画像ｉにおけるエッジである。Ｃ´（ｉ）は現在と一つ前のエッジ画像との論理演算ＡＮＤ、および現在のエッジ画像の排他的論理ＸＯＲで定義する。式（４）により、余分な背景におけるエッジを排除でき、同時に、移動する対象である一人から複数人の歩行者のエッジを求めることができる。
【００４２】
次に、本実施形態においては、混雑度の相対率Ｒｔを、以下の式（５）により仮想的な温度Ｔｔに変換する。
【００４３】
【数５】
2016091326.tif 000007
【００４４】
ただし、α、βは一次回帰関数の勾配とバイアスに関する定数であり、事前に学習用映像データにより推定されるものである。
【００４５】
ここで、実環境での背景ノイズの影響をさらに緩和するために、仮想的なゲートの直線上の粒子のうちの有効な速度をもつ粒子Ｐ（画素）、つまり、計数の対象となる人の一部を表す粒子は、
【００４６】
【数６】
2016091326.tif 000008
【００４７】
を満たす場合のＰとする。ただし、γは定数で、事前に学習用映像データにより推定される。Ｕ（Ｐ）は、Ｐにおける０〜１の範囲の一様乱数である。
【００４８】
仮想的な温度Ｔｔにより、粒子Ｐの数が制御される。即ち、温度Ｔが高い（低い）場合は、粒子数を増大（減少）させるものである。式６を使用して粒子Ｐの数を決定することにより、混雑度が調整され、人数の計数の安定化とロバスト化を図ることができる。
【００４９】
次に、大きさ推定部１０８における状態推定による補正（ステップ４０５）について述べる。状態推定により、人の身長のばらつきの影響を緩和する。
【００５０】
図７は、人の身長の相違が人数の計数に誤差が生じる例、及び本実施形態における粒子の速度補正例を示す図である。図７（ｂ）は身長が低い人７０１の実写、図７（ｄ）は身長が高い人７０２の実写を示し、図７（ａ）は、図７（ｂ）に対応した仮想的なゲートの直線７０３上での粒子７０４、図７（ｃ）は、図７（ｄ）に対応した仮想的なゲートの直線７０３上での粒子７０４を示している。図７（ａ）と図７（ｃ）とを比較すると、身長が高い人７０２に対応する粒子７０４の数が、身長が低い人７０１に対応する粒子７０４の数よりも多いことがわかる。身長が異なる場合、見かけの粒子数も異なり、この見かけの粒子数の差により、人数の計数に誤差が生じる場合がある。
【００５１】
図７（ｅ）〜（ｇ）は、歩行者が仮想的なゲートの直線７１２を横切っていくときの粒子の速度の補正例を示す図である。図７（ａ）は、歩行者７１１が仮想的なゲートの直線７１２の左側から右側へ通過していくときの粒子の速度を大きく補正した例、図７（ｂ）は、粒子の移動方向と逆方向に仮想的な力を与えて速度を小さくなるように補正した例、図７（ｃ）は、再び速度を大きくなるように補正した場合を示す。
【００５２】
本実施形態における、大きさ推定による速度の補正は、混雑度補正部１０７において抽出した粒子Ｐに対して、速度の補正を行うものであり、図４において定義した仮想的なゲートの直線と、メッシュ領域の両端の端部直線との相対距離、及び仮想的なゲートの直線と、人の位置との相対位置等の状態の違いに基づいている。ここで、粒子Ｐに作用する力ＦＰを、
【００５３】
【数７】
2016091326.tif 000009
【００５４】
により与える。なお、
【００５５】
【数８】
2016091326.tif 000010
【００５６】
は粒子Ｐに作用する押力であり、
【００５７】
【数９】
2016091326.tif 000011
【００５８】
は、粒子Ｐに作用する抵抗力である。この、押力及び抵抗力は、Ｐの速度の増加と減少に寄与する。これらの力は、後述するように、数式より粒子Ｐの速度に変換される。既に述べたように、人数の計数は仮想的なゲートの直線に垂直な成分にだけで推定されるため、押力及び抵抗力によるすべての速度修正は、仮想的なゲートの直線に沿って行う。
【００５９】
次に、押力を求める方法について説明する。図８は、本実施形態における粒子に作用する押力モデルを説明する図である。図８（ａ）〜（ｃ）は、図４において定義した仮想的なゲートの直線を含むメッシュ領域内における、移動する物体を示しており、移動する物体をブロブ８００として、メッシュ内に網掛けで示している。
【００６０】
ここで、式（７）の右辺について具体的に定義する。まず、粒子Ｐにおける押力は、
【００６１】
【数１０】
2016091326.tif 000012
【００６２】
と定義する。ここで、Ｆ０は１としている。また、σは、距離に応じて作用する力を減衰させる程度を示している。ｄＰは粒子Ｐと最も近いブロブの境界パッチ８０１との距離である。粒子Ｐがブロブ８００の境界パッチ８０１に近いとき、例えば粒子Ｐがブロブ８００の境界８０１上にあるとき（図８（ａ））は、ｄＰ＝０であり、押力が大きくなり、粒子Ｐの速度を増加させる。一方で、粒子Ｐがブロブの内側にあるとき、すなわちｄＰが最大距離である場合（図８（ｂ））、押力が小さくなり、粒子Ｐの速度を減少させる。したがって、図８（ｂ）から図８（ａ）のように移動する場合、ブロブが仮想的なゲートの直線を離れるとき、粒子Ｐの移動速度が増加する。複数の歩行者が仮想的なゲートの直線８０２を横切っているときは、押力は小さくなる。ｄＰが大きいためである。
【００６３】
次に、抵抗力を求める方法について説明する。図９は、本実施形態における粒子Ｐに作用する抵抗力モデルを説明する図である。図９（ａ）〜（ｃ）についても、図４において定義した仮想的なゲートの直線を含むメッシュ領域内に、移動する物体を示しており、移動する物体をブロブ９００として、メッシュ内に網掛けで示している。
【００６４】
抵抗力は、
【００６５】
【数１１】
2016091326.tif 000013
【００６６】
と定義される。ここで、ｄＰ，ｂ−ｂは、粒子Ｐの移動方向に沿った２つのブロブ９００の境界パッチ９０３間の距離を表す。ｄＰ，ｂ−Ｐは、粒子Ｐの移動方向側にあるブロブ９００の境界パッチ９０３と粒子Ｐとの距離である。Ｆ１は抵抗力であり、移動するブロブとして平均速度が０．３ｐｉｘｅｌ／ｆｒａｍｅ以上をもつパッチが連結した領域としたとき、このブロブが端部直線９０１と仮想的なゲート９０２との直線両端からの抵抗力を受ける。その定義式を以下に示す。
【００６７】
【数１２】
2016091326.tif 000014
【００６８】
ただし、ＷＦはメッシュ領域の幅である。Ｆｃは１．０とした。また、
【００６９】
【数１３】
2016091326.tif 000015
【００７０】
は、人の平均身長の半分の長さである。式１０から、歩行者が端部直線に接触あるいは通過している場合（図９（ｂ））は、抵抗力が発生するため、この抵抗力は、仮想的なゲートの直線９０２上にある粒子Ｐの元の速度を減速させる。すなわち、端部直線９０１の上で抵抗力を赤い線分上の粒子Ｐに平行移動させる。言い換えると、このようなポテンシャル場が形成されるものとする。一方で、移動するブロブが端部直線９０１の両端に接触していない場合（図９（ａ））、又は右方へ通過していくような場合（図９（ｃ））は、端部直線９０１の両端からの抵抗力はゼロである。抵抗力
【００７１】
【数１４】
2016091326.tif 000016
【００７２】
は、移動するブロブ９００が厚さｄＰ、ｂ−ｂをもつ場合は、抵抗力が大きくなり、粒子Ｐの速度は、元の速度より小さくなるように調整される。これにより、従来法で課題であった、身長が高いことによるみかけで、実際よりも速い速度と推定される問題が緩和される。
【００７３】
以上述べた押力と抵抗力を合成することで、粒子Ｐにおける力ＦＰが決定される。
【００７４】
ここで、前述の通り、１）歩行者が仮想的なゲートの直線に侵入するとき又は離れるときは、抵抗力はゼロであり、押力は大きくなることで粒子Ｐ（仮想的なゲートの直線上のすべての粒子）の速度は増加するように調整される。一方、２）歩行者が仮想的なゲートの直線を横切っているときは、押力は粒子Ｐに対して小さく作用し、ブロブの境界が端部直線に近くなるときは、抵抗力は大きくなる。この場合には粒子Ｐは減速される。さらに、３）複数の歩行者が仮想的なゲートの直線を横切っているときは（図８（ｃ）参照）、作用する力は小さくなる。これは、前述の通りｄＰが大きいだけでなく、ｄＰ，ｂ−Ｐも大きいため、押力と抵抗力が小さくなり、粒子Ｐは元の移動速度を保つことになる。このような歩行者の人数の違い、身長の違いによる速度の推定誤差が、仮想的なゲートの直線と端部直線との相対的な位置関係（状態）により補正されるのが本発明の特徴の一つである。
【００７５】
上記までは、粒子Ｐに作用する力の変化について述べたが、速度の補正を行うために、この力を速度に変換する必要がある。これについては、次のように計算を行う。修正された粒子Ｐの時刻ｔにおける速度は、
【００７６】
【数１５】
2016091326.tif 000017
【００７７】
である。ここで、ＶＰ，τは時刻τにおける粒子Ｐの速度であり、ＦＰ，τは時刻τに粒子Ｐに作用する力である。なお、速度推定の安定性と計算コストの関係から、ρ＝１、ｋ＝３とする。特に、ｋ＞１と複数の連続した画像がつくる時空間画像を用いることが効果的である。
【００７８】
最終的に、本実施形態においては、速度人数変換部１０９において、一定時間Ｎ（ｔ１，ｔ２）において歩行者用道路を歩く人の数を、次のようにして推定する。
【００７９】
【数１６】
2016091326.tif 000018
【００８０】
ここで、μは、仮想的なゲートの直線上（ＬＯＩ）の調整された動きベクトルから人数へ変換する係数であり、事前に学習用映像データにより推定される。重み係数ω（Ｐ）は、カメラシーンにおけるシーンの歪みによる速度を補正する。単位時間当りの人数については、時間ｔ２〜ｔ１の時間幅で累積された人数を割ればよい。
【００８１】
［実施例］
図１０は、従来の人数計数方法と本実施形態による人数計数法との実験の結果を示す。市街地の道路上にカメラを１台設置し、２日間、歩行者が行き来する状況を録画する一方で、行き来する歩行者の数を目視で計数し、目視による計数を正解数とした。続いて、録画したビデオ映像に、代表的な従来の人数計数法（ａ）と本実施形態による人数計数法とを適用し、本実施形態による人数計数法において、混雑度補正法（ｂ）のみ，大きさ補正法（ｃ）のみ、混雑度補正法と大きさ補正法とを組み合わせた補正法（ｄ）とを用いた場合について、人数検出率を比較評価した。その結果、ａ、ｂ、ｃ、ｄの順で検出率が向上した。
【産業上の利用可能性】
【００８２】
本発明は、電力分野、エネルギー分野、通信分野、センシング分野において、実環境におけるモニタリングや画像センシングなどに関係する産業分野において使用される。
【符号の説明】
【００８３】
１０１  データ入力部
１０２  データ蓄積部
１０３  背景差分部
１０４  動き推定部
１０５  メッシュ変形設定部
１０６  幾何補正部
１０７  混雑補正部
１０８  大きさ補正部
１０９  速度人数補正部
１１０  表示部
２０１、３０１、４１１、５０１、７０３、７１２、８０２、９０２  仮想的なゲートの直線
２０２〜２０８  移動する対象
３０２、５０３、７０１、７０２、７０４、７１１  歩行者
４１２  メッシュ
４１３、５０２、９０１  端部直線
５０４  粒子
８００、９００  ブロブ
８０１、９０３  境界パッチ
【図１】
2016091326.tif 000019
【図３】
2016091326.tif 000020
【図５】
2016091326.tif 000021
【図８】
2016091326.tif 000022
【図９】
2016091326.tif 000023
【図２】
2016091326.tif 000024
【図４】
2016091326.tif 000025
【図６】
2016091326.tif 000026
【図７】
2016091326.tif 000027
【図１０】
2016091326.tif 000028