(57)【要約】      （修正有）【課題】屋内外のシーンにおいて、カメラ設置場所に依らず、簡易に、不特定多数の歩行者の計数を安定かつ高精度に行う動き推定方法及び装置を提供する。【解決手段】カメラやセンサなどから取得した時系列画像、動画を取り込み、画像データをデータ蓄積部１２１に保存する。データ蓄積部に保存した画像データに、ユーザが、線分設定部１２２で人の出入りの基準となる線分を描く。線分を描く際に使用した画像と同一の構図の時系列画像には、同じ線分を用いる。データ蓄積部に保存した画像の輝度、テクスチャなどに関する画像特徴量を状態検出部１２３において検出する。状態検出部で検出した線分近傍の各画像特徴量を後述する目的関数に組み込み、その目的関数を最小化問題として最小値計算部１２４で計算し、線分上に各歩行者に対応する移動速度を有する画素の塊がいくつ存在するかを求める。【選択図】図１
2016071801.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影された時系列画像を格納するデータ蓄積部と、
前記データ蓄積部に格納された前記時系列画像に、ユーザからの入力に従って線分を設定する線分設定部と、
少なくとも前記線分上および前記線分の近傍の画素の輝度を検出する状態検出部と、
前記輝度に基づき、画素毎の所定の時間差における輝度変化量の絶対値の和、速度の絶対値の和、加速度の絶対値の和、隣接する画素間の速度差の絶対値の和、隣接する画素間の加速度差の絶対値の和、画素毎の所定の時間差における速度変化量の絶対値の和、画素毎の所定の時間差における加速度変化量の絶対値の和、ならびに画素毎の所定の時間差における同一画素の輝度の差の絶対値および周囲の画素との輝度の差の絶対値の和の合計が最小となる、少なくとも前記線分上および前記線分の近傍の画素毎の速度ベクトルを求める最小値計算部と、
を備え、類似した前記速度ベクトルを有する前記線分上の連続する画素から構成される画素群の数を、前記線分を通過する歩行者数とすることを特徴とする動き推定装置。
【請求項２】
前記線分は、歩行者が垂直に近い角度で横切るよう設定されることを特徴とする請求項１記載の動き推定装置。
【請求項３】
前記線分を通過する歩行者数は、前記線分上の連続する画素群の内、前記線分上の連続する画素群を構成する画素数が所定の範囲内にあるものの数とすることを特徴とする請求項１又は２記載の動き推定装置。
【請求項４】
前記線分を通過する歩行者数は、前記線分上の連続する画素群の内、前記線分上の連続する画素群を構成する画素の速度が所定の範囲内にあるものの数とすることを特徴とする請求項１乃至３のいずれかに記載の動き推定装置。
【請求項５】
カメラで撮影された時系列画像をデータ蓄積部に格納するステップと、
前記データ蓄積部に格納された前記時系列画像に、ユーザからの入力に従って線分を設定するステップと、
少なくとも前記線分および前記線分の近傍の画素の輝度を検出するステップと、
前記輝度に基づき、画素毎の所定の時間差における輝度変化量の絶対値の和、速度の絶対値の和、加速度の絶対値の和、隣接する画素間の速度差の絶対値の和、隣接する画素間の加速度差の絶対値の和、画素毎の所定の時間差における速度変化量の絶対値の和、画素毎の所定の時間差における加速度変化量の絶対値の和、ならびに画素毎の所定の時間差における同一画素の輝度の差の絶対値および周囲の画素との輝度の差の絶対値の和の合計が最小となる、少なくとも前記線分上および前記線分の近傍の画素毎の速度ベクトルを求めるステップと、
を有し、類似した前記速度ベクトルを有する前記線分上の連続する画素から構成される画素群の数を、前記線分を通過する歩行者数とすることを特徴とする動き推定方法。
【請求項６】
前記線分は、歩行者が垂直に近い角度で横切るよう設定されることを特徴とする請求項５記載の動き推定方法。
【請求項７】
前記線分を通過する歩行者数は、前記線分上の連続する画素群の内、前記線分上の連続する画素群を構成する画素数が所定の範囲内にあるものの数とすることを特徴とする請求項５又は６記載の動き推定方法。
【請求項８】
前記線分を通過する歩行者数は、前記線分上の連続する画素群の内、前記線分上の連続する画素群を構成する画素の速度が所定の範囲内にあるものの数とすることを特徴とする請求項５乃至７のいずれかに記載の動き推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人や車などの監視映像において、動き特徴と状況変化を把握するための画像処理による動き推定方法および装置に関する。
【背景技術】
【０００２】
室内外の街中や建物、交通における歩行者の数、移動方向、移動軌跡を行動解析することはエリア単位ごとの消費電力の変化を把握する上で重要な課題の１つとなってきている。これまで、家単位での１人から数人程度の場合での家電製品における消費電力が解析されてきており、性別、年齢など細部にわたる分類がなされている。また、消費電力を予測するためのさまざまなモデルも報告されている。
【０００３】
しかし、建物など、エリアが広くなると、数十人、数百人の人数の把握が困難となることからデータ解析例がほとんどない。特に、数か月、数年間といった長期間の人数変化は重要な知見をもたらすことが考えられる一方で、簡易な計数方法が求められていた。そのため、カメラ画像を用いた人数検出法の研究が数多く報告されているが、人の重なり合いや人の衣服、身長など、バリエーションに富んだ歩行者に対して安定かつ精度よく計数することは課題が残されていた。一般的なカメラ画像処理は大きな演算コストを伴う問題もあった。
【０００４】
建物の室内外や街中の交通における歩行者の数、移動方向、移動軌跡を行動解析することはエリア単位ごとの消費電力の変化を把握する上で重要な課題の１つとなってきている。これまで、家単位での１人から数人程度の場合での家電製品における消費電力が解析されてきており、性別、年齢など細部にわたる分類がなされている。また、消費電力を予測するためのさまざまなモデルも報告されている（非特許文献１参照）。
【０００５】
対象の動き推定は、コンピュータビジョン（ＣＶ：Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ）においても重要な位置を占めている。別の基本的な動き検出方法として、ＭＰＥＧに代表される符号化の分野で用いられている相互相関（ＣＣ：Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）法（パターンマッチング法）が知られている（非特許文献２参照）。
【０００６】
ＣＣ法は、連続する２枚の画像間の類似性を相互相関関数などにより評価し、類似する領域を画像間の移動距離（ベクトル）とみなすものである。精度をあげるために、画像を複数のブロックに分割して、それぞれのサブブロックで移動距離を求める。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】A. Grandjean, J. Adnot, and G. Binet, “A review and an analysis of the residential electric load curve models”, Renewable and Sustainable Energy Reviews, 16, pp. 6539-6565, 2012.
【非特許文献２】J.L. Barron, D.J. Fleet, and S.S. Beauchemin, “Performance of optical flow techniques”, IJCV, vol. 12, no. 1, pp. 43-77, 1994.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、ＣＣ法では、画像間で輝度変動がないことが前提条件となっているが、屋外では移動対象の表面は変形とともに、見かけの輝度が変化するため、画像間において単純な対応づけができなくなるという課題がある。
【０００９】
また、一般に、画像処理を通じた対象の動き推定には、画像全体を処理することを基本とするため、処理範囲が広く大きな演算コストを伴うという課題がある。
【００１０】
そのため、建物など、エリアが広くなると、数十人、数百人の人数の把握が困難となることからデータ解析例がほとんどない。特に、数か月、数年間といった長期間の人数変化は重要な知見をもたらすことが考えられる一方で、簡易な計数方法が求められている。
【００１１】
さらに、比較的速く移動するものを対象とした各種拘束条件が用いられてきた（非特許文献２参照）ため、見かけのテクスチャ性に関係した拘束条件はほとんど適用されていなかった。そのため、カメラ画像を用いた人数検出法の研究が数多く報告されているが、人の重なり合いや人の衣服、身長など、バリエーションに富んだ歩行者に対して安定かつ精度よく計数することは困難であった。
【００１２】
このように、従来技術では、演算コストが高いこと、人の重なり合い、衣服の変化などの見かけの影響を受けて計数される人数が増減し易いことなどの課題があった。
【００１３】
本発明は、このような課題に鑑みてなされたもので、その目的とするところは、屋内外のシーンにおいて、カメラ設置場所に依らず、簡易に、不特定多数の歩行者の計数を安定かつ高精度に行う動き推定方法および装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明は、画像中に仮想的に出入り線を与え、この線を横切る人の移動速度、衣服などに関するテクスチャ、蓄積した時系列画像などに関する目的関数の最小化問題として人数を安定かつ精度よく計数する動き推定法および装置である。
【００１５】
上記の課題を解決するために、本発明は、動き推定装置であって、カメラで撮影された時系列画像を格納するデータ蓄積部と、前記データ蓄積部に格納された前記時系列画像に、ユーザからの入力に従って線分を設定する線分設定部と、少なくとも前記線分上および前記線分の近傍の画素の輝度を検出する状態検出部と、前記輝度に基づき、画素毎の所定の時間差における輝度変化量の絶対値の和、速度の絶対値の和、加速度の絶対値の和、隣接する画素間の速度差の絶対値の和、隣接する画素間の加速度差の絶対値の和、画素毎の所定の時間差における速度変化量の絶対値の和、画素毎の所定の時間差における加速度変化量の絶対値の和、ならびに画素毎の所定の時間差における同一画素の輝度の差の絶対値および周囲の画素との輝度の差の絶対値の和の合計が最小となる、少なくとも前記線分上および前記線分の近傍の画素毎の速度ベクトルを求める最小値計算部と、を備え、類似した前記速度ベクトルを有する前記線分上の連続する画素から構成される画素群の数を、前記線分を通過する歩行者数とすることを特徴とする。
【００１６】
請求項２に記載の発明は、請求項１記載の動き推定装置において、前記線分は、歩行者が垂直に近い角度で横切るよう設定されることを特徴とする。
【００１７】
請求項３に記載の発明は、請求項１又は２記載の動き推定装置において、前記線分を通過する歩行者数は、前記線分上の連続する画素群の内、前記線分上の連続する画素群を構成する画素数が所定の範囲内にあるものの数とすることを特徴とする。
【００１８】
請求項４に記載の発明は、請求項１乃至３のいずれかに記載の動き推定装置において、前記線分を通過する歩行者数は、前記線分上の連続する画素群の内、前記線分上の連続する画素群を構成する画素の速度が所定の範囲内にあるものの数とすることを特徴とする。
【００１９】
請求項５に記載の発明は、動き推定方法であって、カメラで撮影された時系列画像をデータ蓄積部に格納するステップと、前記データ蓄積部に格納された前記時系列画像に、ユーザからの入力に従って線分を設定するステップと、少なくとも前記線分および前記線分の近傍の画素の輝度を検出するステップと、前記輝度に基づき、画素毎の所定の時間差における輝度変化量の絶対値の和、速度の絶対値の和、加速度の絶対値の和、隣接する画素間の速度差の絶対値の和、隣接する画素間の加速度差の絶対値の和、画素毎の所定の時間差における速度変化量の絶対値の和、画素毎の所定の時間差における加速度変化量の絶対値の和、ならびに画素毎の所定の時間差における同一画素の輝度の差の絶対値および周囲の画素との輝度の差の絶対値の和の合計が最小となる、少なくとも前記線分上および前記線分の近傍の画素毎の速度ベクトルを求めるステップと、を有し、類似した前記速度ベクトルを有する前記線分上の連続する画素から構成される画素群の数を、前記線分を通過する歩行者数とすることを特徴とする。
【００２０】
請求項６に記載の発明は、請求項５記載の動き推定方法において、前記線分は、歩行者が垂直に近い角度で横切るよう設定されることを特徴とする。
【００２１】
請求項７に記載の発明は、請求項５又は６記載の動き推定方法において、前記線分を通過する歩行者数は、前記線分上の連続する画素群の内、前記線分上の連続する画素群を構成する画素数が所定の範囲内にあるものの数とすることを特徴とする。
【００２２】
請求項８に記載の発明は、請求項５乃至７のいずれかに記載の動き推定方法において、前記線分を通過する歩行者数は、前記線分上の連続する画素群の内、前記線分上の連続する画素群を構成する画素の速度が所定の範囲内にあるものの数とすることを特徴とする。
【発明の効果】
【００２３】
本発明は、屋内外のシーンにおいて、カメラ設置場所に依らず、簡易に、不特定多数の歩行者の計数を安定かつ高精度に行うことができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る動き推定装置の構成例を示す図である。
【図２】本発明の一実施形態に係る動き推定方法に関するフローチャートである。
【図３】本発明の一実施形態に係る動き推定方法における人数計数のための線分描画をしたシーンを示す図である。
【図４】線分上を横切る歩行者が一定時間につくる時空間画像を示す図である。
【図５】一定エリアにおける歩行者数を計数したときの従来法と本発明の方法による評価実験の結果を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態について、詳細に説明する。
【００２６】
図１に、本発明の一実施形態に係る動き推定装置の構成例を示す。本発明を構成するデータ蓄積部１２１、線分設定部１２２、状態検出部１２３、最小値計算部１２４は、記憶装置１２０に格納され、処理装置１３０で実行可能なソフトウェアとして構成可能である。
【００２７】
図２に、本発明の一実施形態に係る動き推定方法に関するフローチャートを示す。
【００２８】
本発明は、カメラやセンサなどから取得した時系列画像、動画を入力インタフェース１１０より取り込み、画像データをデータ蓄積部１２１に保存する（ステップ２０１）。データ蓄積部１２１に保存した画像データを出力インタフェース１４０からモニタ１６０上に表示し、ユーザが、線分設定部１２２で人の出入りの基準となる線分Ａ（図３）を、モニタに表示された画像に重ねた透明な画像上にマウスなどの入力装置１５０を用いて描く（ステップ２０２）。線分を描く際に使用した画像と同一の構図の時系列画像には、同じ線分を用いる。
【００２９】
データ蓄積部１２１に保存した画像の輝度、テクスチャなどに関する画像特徴量を状態検出部１２３において検出する（ステップ２０３）。状態検出部１２３で検出した線分近傍の各画像特徴量を後述する目的関数に組み込み、その目的関数を最小化問題として最小値計算部１２４で計算し、線分上に各歩行者に対応する移動速度を有する画素の塊がいくつ存在するかを求める（ステップ２０４）。
【００３０】
このようにして歩行者の数や移動速度を推定し、その推定結果を時系列的なグラフや累積度数などとしてモニタ１６０に表示する。
【００３１】
図３に、本発明の一実施形態に係る動き推定方法における人数計数のための線分描画をしたシーンを示す。このカメラ映像３００では、ある道路上、複数の歩行者が行き来しており、この道路上の人数を把握するために、計数対象となる歩行者が垂直に近い角度で横切るように線分Ａ（点線）を定義、設定した例である。尚、矢印は、線分上を横切ったときの歩行者の移動ベクトルを示す。
【００３２】
図４に、線分上を横切る歩行者が一定時間につくる時空間画像を示す。このように、歩行者４０１〜４０３毎に時空間画像のテクスチャは異なることが多い。線分上を歩行者は、左右方向から横切るが、隣接して歩行する人同士の重なりは避けることができない。
【００３３】
このとき、移動する方向と移動速度が類似していると、２人以上の分離は条件不足のため、同一の人物とみなされて判別しにくい。即ち、従来からの単純な速度推定法（オプティカルフロー法）では、２人を１人と誤って計数することが多かった。
【００３４】
そこで本発明では、歩行者の衣服などから得られるテクスチャ画像に着目し、テクスチャ性の変化を分離のための拘束条件として含めた。移動とともにカメラに映るテクスチャは変化するため、本発明では、線分上を通過する一定時間内に形成されるテクスチャと相関のある、対象の前後の時間における輝度の差の絶対値、および対象の周囲との輝度の差の絶対値の和を拘束条件として取り入れた。
【００３５】
以下に本発明の動き推定モデルの詳細について述べる。１枚の画像の大きさをＳ×Ｑ（５１２画素×４８０画素）、時系列画像はビデオレイト（３０フレーム／秒）とする。本発明では、人数の計数のために、ユーザが狙いとする通路や出入口などにおいて、仮想的な線分Ａを設定する。この線分Ａについては、歩行者が垂直に近い角度で横切るように設定するのが望ましい。カメラのレンズの光軸から離れた位置に通路が位置する構図の場合、撮影された画像上の通路に歪みが生じるが、この場合でも通路になるべく直交するように線分Ａを設定するのがよい。
【００３６】
時刻ｔにおいて、線分Ａ上の隣接する一連の番号で表される、類似した速度ベクトルを有する一塊の画素群を構成する画素の数をＮpとする。このような一塊の画素群の数ｐ（図４では、線分上に画素群４０１〜４０３が３つあるのでｐ＝３）を、線分Ａを通過している歩行者の数とする。
【００３７】
各歩行者を映した各一塊の画素群を構成する画素の数Ｎpは、歩行者の肩幅に対応するので、統計的に求められた平均的な肩幅に対応する画素数を用いてもよい。
【００３８】
まず、データ蓄積部１２１に保存された画像で、線分設定部１２２によって線分Ａが設定された画像について、状態検出部１２３が、線分Ａ上の画素、および線分Ａを挟む、線分Ａの近傍の画素の輝度の変化を求める。
【００３９】
各歩行者を映した一塊の画素群はそれぞれ、類似した移動速度ベクトルｕt、i、画像輝度Ｉt、iをもつことになる。この画像輝度Ｉt、i（以下、輝度）は、１画素が８ビットの場合、０〜２５５の範囲を示す。本発明では、輝度Ｉt、iから、以下に示すような拘束条件が最小になる画素毎の移動速度ベクトルｕt、iを求める。
【００４０】
ここで、移動速度ベクトルｕt、i＝（ｕt、i、ｖt、i）、輝度Ｉt、i＝Ｉ（ｘ、ｙ）tとし、ある輝度を持った画素が、輝度を維持したまま、単位時間に（ｘ、ｙ）から（ｘ＋ｕ、ｙ＋ｖ）に移動したとすると、
【００４１】
【数１】
2016071801.tif 000003
【００４２】
となる。一項目のテーラー展開を一次近似すると、
【００４３】
【数２】
2016071801.tif 000004
【００４４】
とかける。そのため、単位時間間の輝度の差ΔＩt、iは、
【００４５】
【数３】
2016071801.tif 000005
【００４６】
となる。即ち、輝度の差ΔＩt、iは移動速度ベクトルｕt、iの成分の関数としてかける。
【００４７】
ここで、同一人物を映した画素の輝度は、微小時間の間は概ね同じであると考えられるので、時刻−Ｔ〜Ｔにおいても輝度が同一人物の場合はほぼ同じであると考えられ、歩行者に対応する線分Ａ上の各画素の時刻−Ｔ〜Ｔの間の輝度変化量の和は最小値をとると考えられることから、式（１）が得られる。
【００４８】
【数４】
2016071801.tif 000006
【００４９】
上述のように、輝度の差ΔＩt、iは移動速度ベクトルｕt、iの成分の関数であるので、Ｅ1、tも移動速度ベクトルｕt、iの成分の関数である。しかし、式（１）のみでは、輝度Ｉt、iから歩行者を映した画素の移動速度ベクトルｕt、iを求めることはできないので、移動速度ベクトルｕt、iについてさらに歩行者に対応する以下の拘束条件を課す。
【００５０】
計数対象である歩行者の速度は、止まっているものの次に遅い速度をもつと仮定すると、拘束条件としては、歩行者に対応する線分Ａ上の各画素の速度の絶対値の和は最小値をとると考えられることから、式（２）が得られる。
【００５１】
【数５】
2016071801.tif 000007
【００５２】
速度変化については、歩行者は一定速度で移動すると仮定すると、歩行者に対応する線分Ａ上の各画素の加速度の絶対値の和は限りなく０に近く、最小値をとると考えられることから、式（３）が得られる。
【００５３】
【数６】
2016071801.tif 000008
【００５４】
線分Ａ上の同一人物を映した、同じ一塊の画素群の線分Ａ上の隣接した画素の速度は限りなく等しいと考えられ、歩行者に対応する線分Ａ上の各画素の隣接した画素間の速度差の絶対値の和は最小値をとると考えられることから、式（４）が得られる。
【００５５】
【数７】
2016071801.tif 000009
【００５６】
速度変化についても同様に、同じ一塊の画素群の線分Ａ上の隣接した画素の加速度は限りなく等しいと考えられ、歩行者に対応する線分Ａ上の各画素の隣接した画素間の加速度差の絶対値の和は最小値をとると考えられることから、式（５）が得られる。
【００５７】
【数８】
2016071801.tif 000010
【００５８】
歩行者は一定速度で移動するとの仮定から、−Ｔ〜Ｔの時間差の間は速度が類似していると考えられ、歩行者に対応する線分Ａ上の各画素の−Ｔ〜Ｔの時間差の間の速度変化量の絶対値の和は最小値をとると考えられることから、式（６）が得られる。
【００５９】
【数９】
2016071801.tif 000011
【００６０】
速度変化についても同様に、歩行者は一定速度で移動するとの仮定から、−Ｔ〜Ｔの時間差の間は加速度が類似していると考えられ、歩行者に対応する線分Ａ上の各画素の−Ｔ〜Ｔの時間差における加速度変化量の絶対値の和は最小値をとると考えられることから、式（７）が得られる。
【００６１】
【数１０】
2016071801.tif 000012
【００６２】
また、計数対象が人の場合、衣服など、個人ごとに特徴があることが多いので、同一人物の場合は一定時間内でのテクスチャ性の変化が限りなく少ないと考えられ、歩行者に対応する線分Ａ上の各画素の−Ｔ〜Ｔの時間差におけるテクスチャと相関を持つ関数ｆの変化量の絶対値の和、即ち、−Ｔ〜Ｔの時間差における同一画素の輝度の差の絶対値および周囲の画素との輝度の差の絶対値の和は最小値をとると考えられることから、式（８）が得られる。
【００６３】
【数１１】
2016071801.tif 000013
【００６４】
と定義する。ただし、
【００６５】
【数１２】
2016071801.tif 000014
【００６６】
以上より、歩行者一人に対応する移動速度ベクトルｕt、iを推定するための目的関数は、
【００６７】
【数１３】
2016071801.tif 000015
【００６８】
と定義できる。ただし、μは重み係数であり、デフォルトで１．０である。拘束条件として式（１）〜（８）を用いる場合、Ｋ＝８とおけるが、必要に応じて、Ｋ＞８の場合の拘束条件を容易に追加することができる。
【００６９】
これにより、画面全体の画素数分の連立方程式が得られ、最急降下法などの反復解法を適用することによって解を得ることができる。
【００７０】
尚、一塊の画素群と判定されものの内、移動速度が歩行者として想定される速度に対して速過ぎるものや、一塊の画素群の画素数が人の平均的肩幅から想定される数から大きく外れるものは、歩行者として計数しないとしてもよい。
【００７１】
このようにして求めた線分Ａ上の一塊の画素群の数を、線分Ａを通過している歩行者の数とする。
【００７２】
図５に、一定エリアにおける歩行者数を計数したときの従来法と本発明の方法による評価実験の結果を示す。カメラが屋外の道路および建物のビルの出入口に設置され、歩行者数の正解数については、蓄積されたビデオデータにおいて目視により計数された結果に基づき算定した。
【００７３】
まず、従来法については、幾つかの手法として、画像間の輝度が一定モデルや速度が滑らかであるモデルを用いたときの平均値を示す。従来法では、人の重なり合いにより実際よりも少ない人数が計数されたが、本発明では、従来法よりも正解数が多く、計数精度高いことが確認された。
【符号の説明】
【００７４】
１００  コンピュータ
１１０  入力インタフェース
１２０  記憶装置
１２１  データ蓄積部
１２２  線分設定部
１２３  状態検出部
１２４  最小値計算部
１３０  処理装置
１４０  出力インタフェース
１５０  入力装置
１６０  モニタ
３００  カメラ映像
４００  時空間画像
４０１〜４０３  歩行者を示すテクスチャ
【図１】
2016071801.tif 000016
【図２】
2016071801.tif 000017
【図３】
2016071801.tif 000018
【図４】
2016071801.tif 000019
【図５】
2016071801.tif 000020