(57)【特許請求の範囲】
【請求項１】
撮影する範囲の一部を連続させつつ異なる範囲をそれぞれ撮影する複数の撮像手段により撮影された時系列連続動画像中を、物体が移動することによって発生する前記時系列連続動画像の画素の輝度値の変化から、オプティカルフロー推定演算を用いて該画素の速度ベクトルを各時系列連続動画像毎に求めるベクトル計算手段と、
前記速度ベクトルを持つ画素の数を、該速度ベクトルが示す所定の方向毎に計数することにより、前記速度ベクトルによって前記各時系列連続動画像中の計測空間範囲に形成される前記各時系列連続動画像毎の速度場の分布状況を求める分布状況判別手段と、
前記速度場の分布状況が示す方向別の速度ベクトルを持つ画素の範囲から当該速度ベクトルに基づいて識別される画素領域である人物形状画像であって前記時系列連続動画像中を移動する人物形状画像とその移動方向を検出する移動人物検出手段と、
前記人物形状画像の検出時刻と空間座標を比較して、前記各時系列連続動画像間において重複して検出した人物形状画像を排除する重複人物排除手段とを備えることを特徴とする人物検出システム。
【請求項２】
前記分布状況判別手段は、前記速度ベクトルを持つ画素の数を、該速度ベクトルのX方向及びY方向へそれぞれ計数することによってX方向のヒストグラムとY方向のヒストグラムを得て、
前記移動人物検出手段は、前記X方向のヒストグラムと前記Y方向のヒストグラムのそれぞれの幅に基づいて定められる閉領域の画素領域を人物形状画像として得ることを特徴とする人物検出システム。
【請求項３】
前記計測空間範囲における前記人物形状画像の空間占有率を求め、該空間占有率から該人物形状画像に含まれる人数を推定する人物分離手段を備えることを特徴とする請求項１、または請求項２に記載の人物検出システム。
【請求項４】
前記人物分離手段は、
前記計測空間範囲における前記人物形状画像の空間占有率から前記人物形状画像に含まれる人数を推定する場合に、前記人物形状画像の空間占有率の比較対象とする人物１名あたりに必要な空間占有率を学習して更新する学習更新手段を含むことを特徴とする請求項３に記載の人物検出システム。
【請求項５】
前記計測空間範囲内に設定された所定の計測断面を通過する前記人物形状画像の数を計数して人数を求める人数計数手段を備えることを特徴とする請求項１から請求項４のいずれかに記載の人物検出システム。
【請求項６】
前記人数を通信網を介して該人数を表示可能な遠隔の操作表示手段と送受信する通信手段を備えることを特徴とする請求項５に記載の人物検出システム。
【請求項７】
前記人物形状画像の移動方向を分類する移動方向分類手段と、
前記移動方向分類手段において分類された人物形状画像の移動方向を判定して、所定の移動方向へ進む人物形状画像を発見した場合に警報を発する警報手段とを備えることを特徴とする請求項１から請求項６のいずれかに記載の人物検出システム。
【請求項８】
前記人物形状画像の前記計測断面の通過時刻を測定する通過時刻測定手段を備え、
前記警報手段は、所定の時刻に所定の移動方向へ進む人物形状画像を発見した場合に警報を発することを特徴とする請求項７に記載の人物検出システム。
【請求項９】
前記人物形状画像の移動方向を分類する移動方向分類手段と、
前記人物形状画像の前記計測断面の通過時刻を測定する通過時刻測定手段と、
前記人数と前記通過時刻、及び前記移動方向から該人物形状画像の挙動を推定し、所定の場所または方向に対する人数分布を求める人物分布推定手段とを備えることを特徴とする請求項１から請求項６のいずれかに記載の人物検出システム。
【請求項１０】
前記人物形状画像の移動方向を分類する移動方向分類手段と、
前記人物形状画像の前記計測断面の通過時刻を測定する通過時刻測定手段と、
前記人数と前記通過時刻、及び前記移動方向から該人物形状画像の挙動を推定し、所定の場所または方向に対する人数分布を求める人物分布推定手段と、
前記移動方向分類手段において分類された人物形状画像の移動方向を判定して、所定の移動方向へ進む人物形状画像を発見した場合に警報を発する警報手段と、
前記人物分布推定手段と前記警報手段とを切り替えて作動させる切り替え手段とを備えることを特徴とする請求項１から請求項６のいずれかに記載の人物検出システム。
【請求項１１】
前記警報手段は、
警報を発するとともに、警報の対象となった人物形状画像の人数または／及び画像を出力することを特徴とする請求項７、請求項８、請求項１０のいずれかに記載の人物検出システム。
【請求項１２】
前記人数、前記移動方向、前記通過時刻、前記人数分布のいずれか１つ以上の情報に基づいて、所定の情報を報知する情報報知手段を備えることを特徴とする請求項７から請求項１１のいずれかに記載の人物検出システム。
【請求項１３】
前記人数分布に基づいて、交通制御用信号を制御する交通制御手段を備えることを特徴とする請求項９から請求項１１のいずれかに記載の人物検出システム。
【請求項１４】
前記人物形状画像の移動方向を分類する移動方向分類手段と、
所定の動作が実行され、かつ前記移動方向分類手段において判定された人物形状画像の移動方向が所定の方向であった場合に、その人物の入退場を許可する入退場制御手段とを備えることを特徴とする請求項１から請求項６のいずれかに記載の人物検出システム。
【請求項１５】
前記人物形状画像の移動方向を分類する移動方向分類手段と、
前記移動方向分類手段において分類された人物形状画像の移動方向を判定して、所定の移動方向へ進む人物形状画像を発見した場合に所定の情報を報知する情報報知手段とを備えることを特徴とする請求項１から請求項６のいずれかに記載の人物検出システム。
【請求項１６】
異なる範囲を撮影する複数の撮像手段により撮影された時系列連続動画像中を、物体が移動することによって発生する前記時系列連続動画像の画素の輝度値の変化から、オプティカルフロー推定演算を用いて該画素の速度ベクトルを各時系列連続動画像毎に求めるベクトル計算処理と、
前記速度ベクトルを持つ画素の数を、該速度ベクトルが示す所定の方向毎に計数することにより、前記速度ベクトルによって前記各時系列連続動画像中の計測空間範囲に形成される前記各時系列連続動画像毎の速度場の分布状況を求める分布状況判別処理と、
前記速度場の分布状況が示す方向別の速度ベクトルを持つ画素の範囲から当該速度ベクトルに基づいて識別される画素領域である人物形状画像であって前記時系列連続動画像中を移動する人物形状画像とその移動方向を検出する移動人物検出処理と、
前記人物形状画像の検出時刻と空間座標を比較して、前記各時系列連続動画像間において重複して検出した人物形状画像を排除する重複人物排除処理とをコンピュータに実行させるための人物検出プログラム。
【請求項１７】
前記計測空間範囲における前記人物形状画像の空間占有率を求め、該空間占有率から該人物形状画像に含まれる人数を推定する人物分離処理をコンピュータに実行させるための請求項１６に記載の人物検出プログラム。
【請求項１８】
前記人物分離処理は、
前記計測空間範囲における前記人物形状画像の空間占有率から前記人物形状画像に含まれる人数を推定する場合に、前記人物形状画像の空間占有率の比較対象とする人物１名あたりに必要な空間占有率を学習して更新する学習更新処理をコンピュータに実行させるための請求項１７に記載の人物検出プログラム。
【請求項１９】
前記計測空間範囲内に設定された所定の計測断面を通過する前記人物形状画像の数を計数して人数を求める人数計数処理をコンピュータに実行させるための請求項１６から請求項１８のいずれかに記載の人物検出プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラにより撮影された画像から人物の移動方向を検出する人物検出システム、及び人物検出プログラムに関する。
【０００２】
【従来の技術】
従来、建物に出入りする人物を検出して、その人数等の計測を行うことは、マーケティング調査やビルの管理業務、集客施設での動向の解析などを行うために非常に重要ではあるものの、人手により実行されているのが現状である。
そこで、人手を介さず人物を計数するために、カメラにより撮影された画像から人物を検出して計数するものが幾つか提案されている。
これらの技術では、画像処理の基本情報検出段階で、時間または背景差分結果を利用することで人物の移動を検出したり、視差情報から求まる人物までの距離の変動を測定して人物の移動を検出する。
【０００３】
【発明が解決しようとする課題】
しかし、上述の技術では、限定条件下では人物の検出を行うことができるものの、通行者によって混み合う交通状況下や通行者が交錯する交通状況下では、複数の人物が重なって移動していても、一人の人物が移動していると判断してしまうなど、人物の検出精度が上がらず正確な計数を行うことができないという問題があった。
【０００４】
本発明は、上記問題点に鑑みてなされたもので、画像処理段階における情報検出の差別化を図ることで高精度に人物を検出し、その移動方向を推定できる人物検出システム、及び人物検出プログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記問題点を解決するために、本発明は、人物検出システムであって、撮影する範囲の一部を連続させつつ異なる範囲をそれぞれ撮影する複数の撮像手段（例えば実施の形態のカメラ２ａ、２ｂ、２ｃ、２ｄ）により撮影された時系列連続動画像中を、物体が移動することによって発生する前記時系列連続動画像の画素の輝度値の変化から、オプティカルフロー推定演算を用いて該画素の速度ベクトルを各時系列連続動画像毎に求めるベクトル計算手段（例えば実施の形態のベクトル計算部１３）と、前記速度ベクトルを持つ画素の数を、該速度ベクトルが示す所定の方向毎に計数することにより、前記速度ベクトルによって前記各時系列連続動画像中の計測空間範囲に形成される前記各時系列連続動画像毎の速度場の分布状況を求める分布状況判別手段（例えば実施の形態の分布状況判別部１４）と、前記速度場の分布状況が示す方向別の速度ベクトルを持つ画素の範囲から当該速度ベクトルに基づいて識別される画素領域である人物形状画像であって前記時系列連続動画像中を移動する人物形状画像とその移動方向を検出する移動人物検出手段（例えば実施の形態の移動人物検出部１５）と、前記人物形状画像の検出時刻と空間座標を比較して、前記各時系列連続動画像間において重複して検出した人物形状画像を排除する重複人物排除手段（例えば実施の形態の重複人物排除部１９）とを備えることを特徴とする。以上の構成により、複数の撮像手段により撮影された各時系列連続動画像毎に、人物と推定できる画像範囲を人物形状画像として識別する。そして、各時系列連続動画像毎に識別された人物形状画像の検出時刻と空間座標を比較して、同じ検出時刻と空間座標を持つ人物形状画像を重複している人物形状画像と判断し、１つを残して他は排除する。これにより、複数の撮像手段によるパノラマ画像が生成される。
【０００６】
本発明は、上述の人物検出システムにおいて、前記分布状況判別手段は、前記速度ベクトルを持つ画素の数を、該速度ベクトルのX方向及びY方向へそれぞれ計数することによってX方向のヒストグラムとY方向のヒストグラムを得て、前記移動人物検出手段は、前記X方向のヒストグラムと前記Y方向のヒストグラムのそれぞれの幅に基づいて定められる閉領域の画素領域を人物形状画像として得ることを特徴とする。
【０００７】
本発明は、上述の人物検出システムにおいて、前記計測空間範囲における前記人物形状画像の空間占有率を求め、該空間占有率から該人物形状画像に含まれる人数を推定する人物分離手段（例えば実施の形態の人物分離部１６）を備えることを特徴とする。以上の構成により、検出された人物形状画像が、実際には複数の人物が重なっているものを検出した結果である場合、計測空間範囲における人物形状画像の占有する空間面積は人物が１人の場合より大きくなるので、速度場の分布状況が示す方向別の速度ベクトルを持つ画素の範囲の大きさの違いによって、検出された人物形状画像の空間占有率を判別する。そして、該空間占有率と予め見積もっている１人あたりの空間占有率との比較から、該人物形状画像に含まれる人数を推定する。
【０００８】
本発明は、上述の人物検出システムにおいて、前記人物分離手段は、前記計測空間範囲における前記人物形状画像の空間占有率から前記人物形状画像に含まれる人数を推定する場合に、前記人物形状画像の空間占有率の比較対象とする人物１名あたりに必要な空間占有率を学習して更新する学習更新手段を含むことを特徴とする。以上の構成により、撮像手段の撮影する画像の画角や撮影される人物の見え方が変化したとしても、いつでも人物形状画像の空間占有率の比較対象とする人物１名あたりに必要な空間占有率を正確に保持していることができる。
【０００９】
本発明は、上述の人物検出システムにおいて、前記計測空間範囲内に設定された所定の計測断面を通過する前記人物形状画像の数を計数して人数を求める人数計数手段（例えば実施の形態の人数計数部１７）を備えることを特徴とする。以上の構成により、計測空間範囲内に所定の計測断面を設定し、この計測断面を通過する人物形状画像の数を計数することで、所定の場所を通過した人物の数を求める。
【００１０】
本発明は、上述の人物検出システムにおいて、前記人数を通信網を介して該人数を表示可能な遠隔の操作表示手段（例えば実施の形態の操作表示端末３）と送受信する通信手段（例えば実施の形態の通信装置５０）を備えることを特徴とする。以上の構成により、通信網に接続された操作表示手段に対して計数した人数を出力する。
【００１１】
本発明は、上述の人物検出システムにおいて、前記人物形状画像の移動方向を分類する移動方向分類手段（例えば実施の形態の移動方向分類部２０）と、前記移動方向分類手段において分類された人物形状画像の移動方向を判定して、所定の移動方向へ進む人物形状画像を発見した場合に警報を発する警報手段（例えば実施の形態の警報発生部２２）とを備えることを特徴とする。以上の構成により、識別された人物形状画像がどの方向へ移動しているかを分類し、所定の方向へ進む人物が存在する場合、警報を発する。
【００１２】
本発明は、上述の人物検出システムにおいて、前記人物形状画像の前記計測断面の通過時刻を測定する通過時刻測定手段（例えば実施の形態の通過時刻測定部２１）を備え、前記警報手段は、所定の時刻に所定の移動方向へ進む人物形状画像を発見した場合に警報を発することを特徴とする。以上の構成により、識別された人物形状画像がどの方向へ移動しているかを分類し、所定の方向へ進む人物が存在する場合、その時間帯によって人物の進む方向が正しいか否かを判断し、正しくない場合に警報を発する。
【００１３】
本発明は、上述の人物検出システムにおいて、前記人物形状画像の移動方向を分類する移動方向分類手段（例えば実施の形態の移動方向分類部２０）と、前記人物形状画像の前記計測断面の通過時刻を測定する通過時刻測定手段（例えば実施の形態の通過時刻測定部２１）と、前記人数と前記通過時刻、及び前記移動方向から該人物形状画像の挙動を推定し、所定の場所または方向に対する人数分布を求める人物分布推定手段（例えば実施の形態の人物分布推定部２３）とを備えることを特徴とする。以上の構成により、識別された人物形状画像がどの方向へ、いつ、何人移動したかを分類し、人物形状画像の挙動を推定して所定の場所または方向に対する人数分布を求める。
【００１４】
本発明は、上述の人物検出システムにおいて、前記人物形状画像の移動方向を分類する移動方向分類手段（例えば実施の形態の移動方向分類部２０）と、前記人物形状画像の前記計測断面の通過時刻を測定する通過時刻測定手段（例えば実施の形態の通過時刻測定部２１）と、前記人数と前記通過時刻、及び前記移動方向から該人物形状画像の挙動を推定し、所定の場所または方向に対する人数分布を求める人物分布推定手段（例えば実施の形態の人物分布推定部２３）と、前記移動方向分類手段において分類された人物形状画像の移動方向を判定して、所定の移動方向へ進む人物形状画像を発見した場合に警報を発する警報手段（例えば実施の形態の警報発生部２２）と、前記人物分布推定手段と前記警報手段とを切り替えて作動させる切り替え手段とを備えることを特徴とする。以上の構成により、識別された人物形状画像がどの方向へ、いつ、何人移動したかを分類し、人物形状画像の挙動を推定して所定の場所または方向に対する人数分布を求める機能と、進入禁止場所への侵入者を発見した場合に、これを検出して知らせる機能とを切り替えて利用する。
【００１５】
本発明は、上述の人物検出システムにおいて、前記警報手段は、警報を発するとともに、警報の対象となった人物形状画像の人数または／及び画像を出力することを特徴とする。以上の構成により、警報を発するとともに、所定の移動方向へ進む人物形状画像の人数または／及び画像を出力する。
【００１６】
本発明は、上述の人物検出システムにおいて、前記人数、前記移動方向、前記通過時刻、前記人数分布のいずれか１つ以上の情報に基づいて、所定の情報を報知する情報報知手段（例えば実施の形態の情報報知部２４）を備えることを特徴とする。以上の構成により、求められた人数、移動方向、通過時刻、人数分布のいずれか１つ以上の情報に基づいて、周囲に対する警告や誘導、指示等の所定の情報を報知する。
【００１７】
本発明は、上述の人物検出システムにおいて、前記人数分布に基づいて、交通制御用信号を制御する交通制御手段を備えることを特徴とする。以上の構成により、求められた人数分布に基づいて、交通制御用信号を制御する。
【００１８】
本発明は、上述の人物検出システムにおいて、前記人物形状画像の移動方向を分類する移動方向分類手段と、所定の動作が実行され、かつ前記移動方向分類手段において判定された人物形状画像の移動方向が所定の方向であった場合に、その人物の入退場を許可する入退場制御手段（例えば実施の形態の入退場制御部）とを備えることを特徴とする。以上の構成により、例えば非接触ＩＤカードによるＩＤ番号の照合などの所定の動作と人物の移動方向によって、その人物の入退場の可否を判断する。
【００１９】
本発明は、上述の人物検出システムにおいて、前記人物形状画像の移動方向を分類する移動方向分類手段（例えば実施の形態の移動方向分類部２０）と、前記移動方向分類手段において分類された人物形状画像の移動方向を判定して、所定の移動方向へ進む人物形状画像を発見した場合に所定の情報を報知する情報報知手段（例えば実施の形態の情報報知部２４）とを備えることを特徴とする。以上の構成により、識別された人物形状画像がどの方向へ移動しているかを分類し、所定の方向へ進む人物が存在する場合、周囲に対する警告や誘導、指示等の所定の情報を報知する。
【００２１】
本発明は、異なる範囲を撮影する複数の撮像手段により撮影された時系列連続動画像中を、物体が移動することによって発生する前記時系列連続動画像の画素の輝度値の変化から、オプティカルフロー推定演算を用いて該画素の速度ベクトルを各時系列連続動画像毎に求めるベクトル計算処理と、前記速度ベクトルを持つ画素の数を、該速度ベクトルが示す所定の方向毎に計数することにより、前記速度ベクトルによって前記各時系列連続動画像中の計測空間範囲に形成される前記各時系列連続動画像毎の速度場の分布状況を求める分布状況判別処理と、前記速度場の分布状況が示す方向別の速度ベクトルを持つ画素の範囲から当該速度ベクトルに基づいて識別される画素領域である人物形状画像であって前記時系列連続動画像中を移動する人物形状画像とその移動方向を検出する移動人物検出処理と、前記人物形状画像の検出時刻と空間座標を比較して、前記各時系列連続動画像間において重複して検出した人物形状画像を排除する重複人物排除処理とをコンピュータに実行させるための人物検出プログラムである。
【００２２】
本発明は、上述の人物検出プログラムにおいて、前記計測空間範囲における前記人物形状画像の空間占有率を求め、該空間占有率から該人物形状画像に含まれる人数を推定する人物分離処理をコンピュータに実行させることを特徴とする。
【００２３】
本発明は、上述の人物検出プログラムにおいて、前記人物分離処理は、前記計測空間範囲における前記人物形状画像の空間占有率から前記人物形状画像に含まれる人数を推定する場合に、前記人物形状画像の空間占有率の比較対象とする人物１名あたりに必要な空間占有率を学習して更新する学習更新処理をコンピュータに実行させることを特徴とする。
【００２４】
本発明は、上述の人物検出プログラムにおいて、前記計測空間範囲内に設定された所定の計測断面を通過する前記人物形状画像の数を計数して人数を求める人数計数処理をコンピュータに実行させることを特徴とする。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態による人物検出システムの構成を示す概要図である。本発明の第１の実施の形態は、１つの撮像手段により撮影された画像から人物を検出して計数する基本の構成例である。
図１において、本実施の形態の人物検出システムは、撮像手段により撮影された画像から人物検出処理を行う処理装置１と、撮像手段として処理装置１へ計測空間範囲の時系列連続動画像を供給するカメラ２と、処理装置１を操作するとともに処理装置１の出力する警報や情報を表示するための操作表示端末３と、処理装置１が出力する警報や情報を表示する表示装置４とから構成されている。
【００２６】
ここで、カメラ２は、人物の往来する計測空間を上部から撮影し、平面空間における速度場ベクトルの分布状況を求めるために、天井に取り付け可能なドーム型カメラが用いられる。また、カメラ２で撮影された撮影画像の大きさは、例えば横方向が６４０画素（ライン）、縦方向が４８０画素（ドット）から構成される８ビット（２５６階調）のＲＧＢ画像である。なお、平面空間における速度場ベクトルの分布状況の求め方については詳細を後述する。
また、操作表示端末３は、処理装置１とのインタフェースと、処理装置１へ操作コマンドや設定データ等を入力できる入力操作部と、処理装置１から出力される警報や情報を音や画像によって表示する表示手段とが備えられた端末であればどのような端末であっても良い。
更に、表示装置４は、処理装置１から出力される警報や情報を、音や画像によって表示するものとする。但し、表示装置４は必ずしも設ける必要はない。
【００２７】
次に、処理装置１の構成について、図面を用いて詳細に説明する。図２は、カメラ２により撮影された時系列連続動画像から人物検出処理を行う処理装置１の細部構成を示すブロック図である。
図２において、処理装置１は、カメラ２で撮影された時系列連続動画像の輝度、コントラスト等の画質を調整する画質調整部１１と、画像を一時的に記憶する撮影画像記憶部１２と、カメラ２により撮影された時系列連続動画像中を物体が移動することによって発生する時系列連続動画像の画素の輝度値の変化から、オプティカルフロー推定演算を用いて該画素の速度ベクトルを求めるベクトル計算部１３とを備えている。
【００２８】
また、求められた速度ベクトルを持つ画素の数を、該速度ベクトルが示す所定の方向毎に計数することにより、この速度ベクトルによって時系列連続動画像中の計測空間範囲に形成される速度場の分布状況を求める分布状況判別部１４と、速度場の分布状況が示す方向別の速度ベクトルを持つ画素の範囲に基づいて、時系列連続動画像中を移動する人物形状画像とその移動方向を検出する移動人物検出部１５と、計測空間範囲における人物形状画像の空間占有率を求め、該空間占有率から該人物形状画像に含まれる人数を推定する人物分離部１６と、計測空間範囲内に設定された所定の計測断面を通過する人物形状画像の数を計数して人数を求める人数計数部１７と、人数計数部１７において計数された人数を操作表示端末３または／及び表示装置４へ表示する表示処理部１８とを備えている。
【００２９】
以上が、１つの撮像手段により撮影された画像から人物を検出して計数する本発明の第１の実施の形態の人物検出システムの構成であるが、第１の実施の形態の人物検出システムの詳細な動作の説明は、以下に示す本発明の第２の実施の形態の人物検出システムの動作の説明とともに後述する。
【００３０】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。
図３は、本発明の第２の実施の形態による人物検出システムの構成を示す概要図である。本発明の第２の実施の形態は、異なる範囲を撮影する複数の撮像手段により撮影された画像によって計測断面を拡張し、広範囲な計測空間範囲（パノラマ画像）から人物を検出して計数する構成例である。
図３において、本実施の形態の人物検出システムは、互いの画角をオーバラップさせながら異なる範囲を撮影する複数（本実施の形態では４台）のカメラ２ａ、２ｂ、２ｃ、２ｄと、カメラ２ａ、２ｂ、２ｃ、２ｄの撮影した時系列連続動画像を１つの画像に合成する非同期映像合成装置５と、非同期映像合成装置５が出力する画像から人物検出処理を行う処理装置６と、第１の実施の形態と同様の操作表示端末３及び表示装置４とから構成されている。
なお、非同期映像合成装置５は、例えば４台のカメラ２ａ、２ｂ、２ｃ、２ｄの撮影した時系列連続動画像を効率的に処理装置６へ伝送するために、図４に示すように、例えば横方向が６４０画素（ライン）、縦方向が４８０画素（ドット）から構成される８ビット（２５６階調）のＲＧＢ画像４つを、横方向が６４０画素（ライン）、縦方向が４８０画素（ドット）から構成されるＲＧＢ画像１つに合成する。
【００３１】
次に、処理装置６の構成について、図面を用いて詳細に説明する。図５は、カメラ２ａ、２ｂ、２ｃ、２ｄにより撮影された複数の時系列連続動画像から人物検出処理を行う処理装置６の細部構成を示すブロック図である。
図５において、処理装置６は、画質調整部１１と、撮影画像記憶部１２と、ベクトル計算部１３と、分布状況判別部１４と、移動人物検出部１５と、人物分離部１６と、人数計数部１７と、表示処理部１８と、重複人物排除部１９とを備えており、その構成は重複人物排除部１９を除いて、他は第１の実施の形態で説明した処理装置１と同一である。動作において異なる部分は、画質調整部１１と、撮影画像記憶部１２と、ベクトル計算部１３と、分布状況判別部１４と、移動人物検出部１５とが、入力される複数のカメラによる時系列連続動画像の数だけ、同じ処理を各画像毎に繰り返し行うことである。
また、重複人物排除部１９は、移動人物検出部１５において検出された人物形状画像の検出時刻と空間座標を比較して、各時系列連続動画像間において重複して検出した人物形状画像を排除する。
【００３２】
次に、図６に示すフローチャートを用いて、第１及び第２の実施の形態の人物検出システムの処理装置１及び処理装置６の動作を説明する。
すなわち、まず最初に移動する人物を検出するための計測空間範囲の時系列連続動画像が撮影される（ステップＳ１）。
カメラ２、またはカメラ２ａ、２ｂ、２ｃ、２ｄで撮影された撮影画像は、一画素が赤成分、青成分、緑成分の３つの情報を有するＲＧＢ画像である。このＲＧＢ画像は、次に画質調整部１１で色座標変換されて輝度情報だけからなる画像（以下、「Ｙ画像」と称す。）が作成される。Ｙ画像は、赤成分を３０パーセント、青成分を１１パーセント、緑成分を５９パーセントの割合で混合することによって得ることができる。
【００３３】
さらに、計測空間範囲において平均輝度とコントラストの幅等を求め、あらかじめ定められた標準画像と比較することによって、常に同一の画質を持つ画像に変換する（ステップＳ２）。この計測空間範囲は、人物検出システムを運用する前に利用者が操作表示端末３を用いてあらかじめ位置と大きさを設定しておくか、処理装置１または処理装置６に記憶させる処理プログラムにデータとして記憶させておく。
このようにして、測定場所の条件に左右されずに画質を同一にしたＹ画像を使用することで、人物検出のための処理を同一条件で行うことができる。
【００３４】
上述した手順で画質が調整されたＹ画像は撮影画像記憶部１２に一時的に保存される。
次に、保存されたＹ画像の微小時間Δｔの間の輝度値の変化から、ベクトル計算部１３において、オプティカルフロー推定演算を用いて画素の速度ベクトルを求める（ステップＳ３）。すなわち、Ｙ画像の微小時間Δｔの間の輝度値の変化は、時系列連続動画中を物体が移動することによって発生するのであって、この画素の輝度値の変化を利用して以下のように各画素毎の速度ベクトルを推定する。
【００３５】
オプティカルフロー推定とは、観測者が感じる画面上にある物質の見かけ速度分布を求めるもので、それを決定する基本式は２つの仮定から導出される。１つ目は「対象となる物理点の持つ輝度値が運動に際して一定に保たれる」ということである。時刻ｔにおける画面上にある点（ｘ，ｙ）の輝度値をＰ（ｘ，ｙ，ｔ）とし、微小時間Δｔ後に当該物理点が点（ｘ＋Δｘ，ｙ＋Δｙ）まで移動したときの、その輝度値をＰ（ｘ＋Δｘ，ｙ＋Δｙ，ｔ＋Δｔ）とする。このとき次式が成り立つ。
【数１】
0004607394.tif 000002
この式（１）をテイラー展開し、Δｔを０に限りなく近づけると次式が得られる。
【数２】
0004607394.tif 000003
ここで、（ｕ，ｖ）は見かけ速度ベクトルであり、Ｐｘ，Ｐｙ，Ｐｔはそれぞれｘ，ｙ，ｔに対する偏微分である。
【００３６】
もう一つの仮定は、「見かけ速度は滑らかに変化する」ことである。速度の滑らかさは、速度ベクトルのラプラシアンの和で評価され、次式のように表すことができる。
【数３】
0004607394.tif 000004
しかし、実際の計算においては、（２）式のＰｘ，Ｐｙ，Ｐｔは有限差分で近似するため誤差が発生する。また、（３）式も離散化する必要があるので、実際の計算においては、速度の滑らかさを次式で表す。
【数４】
0004607394.tif 000005
ここで、上部にバーを付したｕ，ｖは、近傍速度ベクトルの平均値であり、次式で表すことができる。
【数５】
0004607394.tif 000006
【００３７】
さらに、滑らかさの重み係数α2を導入して、（４）式と（５）式を用いて次式のような誤差評価式が得られる。
【数６】
0004607394.tif 000007
（８）式を用いることによって、誤差Ｅが最小値を取る条件で速度分布の計算式が得られる。そして、次式を反復して収束させることによって速度分布を求める。
【数７】
0004607394.tif 000008
但し、ｋは反復回数とする。
【００３８】
ベクトル計算部１３では、このような方法で連続する２枚のＹ画像の計測空間範囲内の全画素についての推定速度ベクトル（ｕ，ｖ）を求める。
【００３９】
なお、オプティカルフロー推定は、移動物体の完全剛性体と、移動に伴う輝度不変性で理想解とするが、通常の移動物体はあまり成立しない。また、該人物検出は、歩行者（移動する人物）の実速度の正確さを追求するのではなく、速度場の発生分布から人物の存在を判断する目的のため、厳密に速度ベクトルの信頼性解釈を必要としない。
【００４０】
また、前方に歩行する人物の実態で発生する局所速度ベクトルは、頭部、手足、体を見ても複雑な動きとなる。更に、歩行中の手足の反動で生じる進行方向と明らかに異なる（反する）速度ベクトルも存在しており、小領域に偏在した速度ベクトルを削除する方式も可能ではあるが、移動人物全体で発生する局所（画素）速度ベクトルを全て精査すると、明らかに移動方向の速度ベクトル成分が圧倒的に多く存在することがわかる。
そこで、具体的には、オプティカルフロー推定を収束させるための反復計算の回数を３０〜４０回と少なくし、演算コストの低減を計り、動き成分のローパスフィルタ的効果となる滑らかさの重み係数を８０〜１５０とする。更に、オプティカルフロー推定の速度ベクトルで小さい成分、すなわち低速度成分は削除する。
【００４１】
次に、ベクトル計算部１３において求められた推定速度ベクトルは、分布状況判別部１４に入力され、分布状況判別部１４は、推定速度ベクトルを持つ画素の数を、ベクトルのＸ方向及びＹ方向の２象限の方向へそれぞれ計数することによりヒストグラム化し、前記速度ベクトルによって時系列連続動画像中の計測空間範囲に形成される速度場の分布状況を求める（ステップＳ４）。
【００４２】
図７は、分布状況判別部１４による速度場の分布状況の求め方を示した図であって、図７（ａ）に示すように、まずベクトル計算部１３において計測空間範囲の画素速度演算点の推定速度ベクトルが求められているとする。このとき、分布状況判別部１４は、図７（ｂ）に示すように計測空間範囲に設定された計測断面に対して、推定速度ベクトルが右運動と左運動のどちらに属するベクトルかを判別する。例えばここでは、推定速度ベクトルの角度がθ１からθ２の範囲に含まれる場合は右運動、θ３からθ４の範囲に含まれる場合は左運動とする。
このように推定ベクトルを右運動と左運動に分類したら、それぞれ右運動と左運動のベクトル毎に、そのベクトルを持つ画素の数を計数して速度場の分布状況を求める。例えば、図７（ａ）は右運動の推定速度ベクトルを持つ画素の数を、それぞれＸ方向及びＹ方向へ計数して、右運動Ｘ軸投射面と右運動Ｙ軸投射面にそれぞれヒストグラムを求めた様子を示す。
【００４３】
次に、移動人物検出部１５は、分布状況判別部１４により求められた速度場の分布状況が示す方向別の速度ベクトルを持つ画素の範囲に基づいて、人物を示すと思われる画像に対する外接四角形を推定し、時系列連続動画像中を移動する人物形状画像とその移動方向を検出する（ステップＳ４）。
図８（ａ）は、分布状況判別部１４により求められた速度場の分布状況を示す図であって、移動している人物１０１、１０２、１０３による画素の輝度値変化によって、左運動Ｘ軸投射面に幅Ｗａ（画素）のヒストグラム、左運動Ｙ軸投射面に幅Ｗｂ（画素）のヒストグラム、右運動Ｘ軸投射面に幅Ｗｃ（画素）のヒストグラム、右運動Ｙ軸投射面に幅Ｗｄ（画素）のヒストグラムが形成されている。
【００４４】
従って、図８（ｂ）に示すように、それぞれのヒストグラムの幅を延長した閉領域を求め、これが予め記憶している人物１人あたりの領域の大きさ以上であれば、これを計測空間範囲を移動する人物の外接四角形を示す人物形状画像１０４、１０５として検出する。また、人物形状画像１０４は右運動の速度ベクトルを持つ画素のヒストグラムから求められたので右方向へ移動する人物の画像であって、人物形状画像１０５は左運動の速度ベクトルを持つ画素のヒストグラムから求められたので左方向へ移動する人物の画像であることがわかる。
【００４５】
なお、上述したように、画質調整部１１と、撮影画像記憶部１２と、ベクトル計算部１３と、分布状況判別部１４と、移動人物検出部１５は、第１の実施形態の人物検出システムの場合は入力される１つのカメラによる時系列連続動画像に対してのみ処理を行えば良いが、第２の実施形態の人物検出システムの場合は入力される複数のカメラによる時系列連続動画像の数だけ、同じ処理を各画像毎に繰り返し行う。
【００４６】
移動人物検出部１５において人物形状画像が検出されたら、次に第２の実施の形態の人物検出システムのみ、重複人物排除部１９が、複数の時系列連続動画像毎に検出した人物形状画像の検出時刻と空間座標を比較して、重複する人物形状画像があるか否かを判定する（ステップＳ６）。
ステップＳ６において、重複する人物形状画像がある場合は（ステップＳ６のＹＥＳ）、重複する人物形状画像の内の１つを残して他はすべて排除する（ステップＳ７）。
ステップＳ６において、重複する人物形状画像がない場合は（ステップＳ６のＮＯ）、何もせずに次のステップＳ８へ進む。
また、第１の実施の形態の人物検出システムの場合は、ステップＳ５において人物形状画像が検出されたら、何もせずに次のステップＳ８へ進む。
【００４７】
ステップＳ８では、人物分離部１６が、計測空間範囲における人物形状画像の空間占有率を求め、空間占有率が１人以上の人物形状画像があるか否かを判定する（ステップＳ８）。
ステップＳ８において、空間占有率が１人以上の人物形状画像がある場合（ステップＳ８のＹＥＳ）、該空間占有率と予め記憶している人物１人あたりの空間占有率との比較から該人物形状画像に含まれる人数を推定する（ステップＳ９）。例えば図８（ｂ）に示す例では、人物形状画像１０４は空間占有率が大きく、人物１０１、１０２の２人が含まれていることを推定できる。
ステップＳ８において、空間占有率が１人以上の人物形状画像がない場合（ステップＳ８のＮＯ）、何もせずに次のステップＳ１０へ進む。
【００４８】
ステップＳ１０では、人数計数部１７が、計測空間範囲に設定された計測断面を通過する人物形状画像の数を計数して人数を求める（ステップＳ１０）。
図９は、人数計数部１７における計数の方法を説明する図であって、人数計数部１７は、人物１０６や人物１０７のように計測断面に交わる方向へ移動する人物形状画像が計測断面を通過する際に計数を行い、人物１０８のように計測断面と交わらない方向（計測断面と平行）に移動する人物形状画像については計数を行わない。
なお、人物分離部１６において、含まれる人物の人数が複数と推定されている人物形状画像が計数断面を通過する際は、その推定されている人数分だけ人数の計数を行う。
そして、人数計数部１７において計数された人数は、表示処理部１８を介して操作表示端末３または／及び表示装置４へ表示される。
【００４９】
なお、上述の第１、第２の実施の形態において、人物分離部１６が、計測空間範囲における人物形状画像の空間占有率を求め、空間占有率が１人以上の人物形状画像があるか否かを判定する場合に、撮像手段であるカメラ２の設置場所や装着されているレンズの焦点距離によって、予め記憶している人物１人あたりの空間占有率を補正を必要とする場合がある。何故ならば、撮像手段であるカメラ２の設置場所や装着されているレンズの焦点距離によって撮影される画角、すなわち撮影面積が決定する。このことは、移動人物１名あたりの基準画像面積が、カメラ２の設置場所や装着されているレンズの焦点距離によって撮影される画角によって変化することにつながり、従って、混雑状況下において空間占有率から人数を推定するために必要な比較値である人物１人あたりの空間占有率を、設置場所や画角により補正する必要が生じる。
【００５０】
そこで、人物分離部１６に、計測前に学習校正を行うモードを設け、１名の人物が計測断面を何度か繰り返して通過し、その際に検出された人物形状画像の面積を平均し、その値を人物１人あたりの空間占有率とすると共に、計測中は、１名の人物と判断した人物形状画像の面積を移動平均演算し、随時比較値とする人物１人あたりの空間占有率を学習、更新する学習更新手段を設けても良い。
このようにすることで、前述の撮像手段であるカメラ２の設置場所や装着されているレンズの焦点距離による人物１人あたりの空間占有率の補正の他、屋外における日照角度の推移による移動人物の影の面積変化による空間占有率の変動にも追随できるようになる。
【００５１】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
本発明の第３の実施の形態は、第１、第２の人物検出システムに対して、更に人物の移動する方向毎に人数を計数する場合の構成例である。本発明の第３の実施の形態による人物検出システムの構成を示す概要図は、第１の実施の形態の概要図と第２の実施の形態の概要図のどちらでも良く、処理装置１または処理装置６が、以下に示す処理装置７に変更されれば良い。従って、概要図の説明はここでは省略する。
【００５２】
次に、処理装置７の構成について、図面を用いて詳細に説明する。図１０は、人物の移動する方向毎に人数を計数する処理装置７の細部構成を示すブロック図であって、ここでは第２の実施の形態のように複数のカメラにより撮影された時系列連続動画像から人数を計数する場合を一例として示す。
図１０において、処理装置７は、画質調整部１１と、撮影画像記憶部１２と、ベクトル計算部１３と、分布状況判別部１４と、移動人物検出部１５と、人物分離部１６と、人数計数部１７と、重複人物排除部１９と、移動方向分類部２０と、通過時刻測定部２１と、警報発生部２２とを備えている。その構成は、人数計数部１７において人数の計数が行われた人物形状画像の移動方向を、所定の角度毎に分類する移動方向分類部２０と、人物形状画像が計測空間範囲に設けられた計測断面を通過する際の通過時刻を測定する通過時刻測定部２１と、移動方向分類部２０において分類された人物形状画像の移動方向を判定して、所定の移動方向へ進む人物形状画像を発見した場合に、操作表示端末３または／及び表示装置４へ警報を発する警報発生部２２とを除いて、他は第２の実施の形態で説明した処理装置６と同一である。
【００５３】
次に、図１１に示すフローチャートを用いて、第３の実施の形態の人物検出システムの処理装置７の動作を説明する。
処理装置７の動作の中でステップＳ１からステップＳ１０までは、上述の第２の実施の形態の処理装置６と同一であるので、ここでは説明を省略する。
処理装置７では、ステップＳ１０において、人数計数部１７が、計測空間範囲に設定された計測断面を通過する人物形状画像の数を計数して人数を求めたら、通過時刻測定部２１が、計測空間範囲に設定された計測断面を人物形状画像が通過する時刻を測定する（ステップＳ１１）。
一方、移動方向分類部２０は、人数計数部１７が計数した人物形状画像の移動方向を、予め処理装置７に設定された所定の角度毎に分類する（ステップＳ１２）。
【００５４】
移動方向分類部２０において人物形状画像の移動方向の分類ができたら、警報発生部２２は、分類された人物形状画像の移動方向を判定して、所定の移動方向へ進む人物形状画像があるか否か、現在の時刻はその方向の移動を許可しているか否か等を判定し、警報を発する必要があるか否かを決定する（ステップＳ１３）。
ステップＳ１３において、警報を発する必要がある場合（ステップＳ１３のＹＥＳ）、警報発生部２２は、警報を発するとともに、警報の対象となった人物形状画像の人数または／及び画像を操作表示端末３または／及び表示装置４へ出力する（ステップＳ１４）。
【００５５】
第３の実施の形態の人物検出システムは、以上の構成において、例えば移動方向分類部２０における人物形状画像の移動方向の分類角度を、計数断面に対して０度から１８０度（例えば出入り口における入場を想定）と１８０度から３６０度（例えば出入り口における退場を想定）に設定し、どちらかの角度へ移動する人物形状画像を発見したときに警報を発するようにした場合、一方通行のみの出入り口や通路における人物の流れを監視して、流れに逆らう人物を発見することができるようになる。
また、大規模店舗や工場などの退出時間帯の従業員通路において、退出する従業員の流れは感知せずに、施設内に侵入しようとする人物のみを検知して警報を発するようにすることもできる。
【００５６】
なお、警報とともに警報の対象となった人数を報告する必要がなければ、人数計数部１７は具備しなくても良い。
また、人物検出対象の出入り口や通路において、時間によって通行の可否や通行を許可する方向を変更することがなければ、通過時刻測定部２１は具備しなくても良い。
更に、人数の計数結果に基づいて周囲に所定の情報を報知する情報報知手段を設けても良い。この場合、例えば人物検出対象の出入り口や通路毎に本実施の形態の人物検出システムを設置し、出入り口や通路毎の人数計測を行い、空いている出入り口や通路へ人を誘導することができるようになる。なお、空いている出入り口や通路への誘導は、出入り口や通路毎に設置される人物検出システムに予め出入り口や通路で一度に許容できる人数を設定し、計数された人数がそれ以下の場合には、この出入り口や通路は空いているという情報を周囲に報知しても良いし、すべての出入り口や通路に設置された人物計数システムの情報を集中管理して空いている出入り口や通路の情報を周囲へ報知しても良い。このような人物検出システムを利用すると、避難誘導等において非常口に対する効率的な人の誘導を行うことができる。
【００５７】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。
本発明の第４の実施の形態は、第１、第２の人物検出システムに対して、更に人物の移動する方向毎に人数を計数し、その方向や方向の先にある場所の人数分布を推定する場合の構成例である。本発明の第４の実施の形態による人物検出システムの構成を示す概要図は、第１の実施の形態の概要図と第２の実施の形態の概要図のどちらでも良く、処理装置１または処理装置６が、以下に示す処理装置８に変更されれば良い。従って、概要図の説明はここでは省略する。
【００５８】
次に、処理装置８の構成について、図面を用いて詳細に説明する。図１２は、人物の移動する方向毎に人数を計数し、その方向や方向の先にある場所の人数分布を推定する処理装置８の細部構成を示すブロック図であって、ここでは第２の実施の形態のように複数のカメラにより撮影された時系列連続動画像から人数を計数する場合を一例として示す。
図１２において、処理装置８は、画質調整部１１と、撮影画像記憶部１２と、ベクトル計算部１３と、分布状況判別部１４と、移動人物検出部１５と、人物分離部１６と、人数計数部１７と、重複人物排除部１９と、移動方向分類部２０と、通過時刻測定部２１と、人物分布推定部２３と、情報報知部２４とを備えている。その構成は、第３の実施の形態の処理装置７における警報発生部２２が、移動方向分類部２０によって分類された人物形状画像の移動方向と通過時刻測定部２１によって測定された人物形状画像の計測断面の通過時刻、更にはその人数とから該人物形状画像の挙動を推定し、所定の場所または方向に対する人数分布を求める人物分布推定部２３と、人数、移動方向、通過時刻、人数分布のいずれかの情報に基づいて、所定の情報を操作表示端末３または／及び表示装置４へ報知する情報報知部２４とに置き換わっているだけで、他は第３の実施の形態で説明した処理装置７と同一である。
【００５９】
次に、図１３に示すフローチャートを用いて、第４の実施の形態の人物検出システムの処理装置８の動作を説明する。
処理装置８の動作の中でステップＳ１からステップＳ１２までは、上述の第２、第３の実施の形態の処理装置６、７と同一であるので、ここでは説明を省略する。
処理装置８では、ステップＳ１２において、移動方向分類部２０が、計測空間範囲に設定された計測断面を通過する人物形状画像の移動方向を所定の角度毎に分類したら、人物分布推定部２３が、人数と通過時刻、及び移動方向から該人物形状画像の挙動を推定し、所定の場所または方向に対する人数分布を求める（ステップＳ１５）。
【００６０】
図１４は、人物分布推定部２３の動作を説明するための、人物検出システムを利用する応用例を示す図である。図１４（ａ）に示すように、例えば店舗の出入り口に本実施の形態の人物検出システムを設置し、移動方向分類部２０における人物形状画像の移動方向の分類角度を、計数断面に対して直進方向（直角方向）左手方向、右手方向の３種類に分類したときに、人物分布推定部２３は、図１４（ｂ）に示すように、各分類された方向毎の人数を集計して人数分布を作成する。これにより、例えば図１４（ａ）に示すように店舗の各売場Ａ、Ｂ、Ｃ毎の集客状況を把握することができるようになる。また、通過時刻測定部２１によって測定された人物形状画像の計測断面の通過時刻を併用することで、時間毎の人数分布を求めることもできる。従って、店舗の売場の集客情報等、比較的長い時間における人物分布の他に、避難誘導における避難状況（非常口に対する人の集中具合など）等、短時間における人物分布を求めることで、例えば非常口に対する避難誘導を効率的に行うことができるようになる。
【００６１】
そして、人物分布推定部２３により求められた人物分布に従って、情報報知部２４は、所定の情報を操作表示端末３または／及び表示装置４を介して報知する（ステップＳ１６）。なお、ここで報知する内容は、例えば店舗の各売場の集客情報であったり、集客情報に基づいて利用客を誘導するアナウンスであったり、避難誘導における警告や誘導、指示等の情報であり、それぞれ人物検出システムの利用方法によって異なる。
【００６２】
また、上述の第４の実施の形態の人物検出システムに、例えば横断歩道の歩行者のための交通制御用信号を接続し、処理装置８に人物分布推定部２３の推定する道路上の人物分布に基づいて、交通制御用信号を制御する交通制御手段を設けても良い。この場合、交通制御手段は、例えば横断歩道を渡ろうとする、あるいは渡っている歩行者の人物分布に従って、例えば歩行者が多い場合は信号の「青：横断可」の時間を長く、歩行者が少ない場合は信号の「青：横断可」の時間を短くするように制御する。
【００６３】
また、上述の第３の実施の形態の警報発生部２２と、第４の実施の形態の人物分布推定部２３とを両方備え、この２つの機能を例えば時間で切り替えて作動させる切り替え手段を設け、昼は店舗の売場毎の集客情報を収集し、夜は店舗への侵入者に対する侵入センサとして利用するようにしても良い。
【００６４】
（第５の実施の形態）
次に、本発明の第５の実施の形態を説明する。本発明の第５の実施の形態は、通行を許可された人物のみが出入りするために、条件が満たされた場合に出入り口の鍵を開錠する入退場制御装置であって、例えば非接触ＩＤカードによるＩＤ番号の照合などの所定の動作と人物の移動方向によって、その人物の入退場の可否を判断する入退場制御装置の構成例である。
上述の第４の実施の形態では、図１４（ａ）に示すように、計測空間範囲を（店舗）出入り口の内側に設定する場合を説明したが、第５の実施の形態では、計測空間範囲を出入り口の外側に設定し、図１２に示す処理装置８において、人物分布推定部２３の代わりに、例えば非接触ＩＤカードによるＩＤ番号の照合などの所定の動作と人物の移動方向によって、その人物の入退場の可否を判断する入退場制御部（図示せず）を設ける。
【００６５】
第５の実施の形態の人物検出システムは、以上の構成において、例えば移動方向分類部２０における人物形状画像の移動方向の分類角度を、図９に示したように、人物１０６や人物１０７のように計測断面に交わる方向と、人物１０８のように計測断面と交わらない方向（計測断面と平行）に移動する方向とに分類して設定する。
この場合、入退場制御部は、計測断面に交わる方向へ進む人物形状画像を検出し、かつ所定の時間内に非接触ＩＤカードによるＩＤ番号の照合などの所定の動作が行われた場合は、その人物の入退場を許可し出入り口の鍵を開錠する。また、計測断面に交わらない方向へ進む人物形状画像を検出し、かつ所定の時間内に非接触ＩＤカードによるＩＤ番号の照合などの所定の動作が行われた場合は、その人物に出入り口を通行する意志は無いもの（入退場制御装置の前を横切っただけ）として、出入り口の鍵は開錠しない。
なお、情報報知部２４は、人物の出入りを監視して、出入りした人数などの情報を操作表示端末３へ報告する。また、報告の必要がなければ、情報報知部２４は設けなくても良い。
【００６６】
従って、例えば非接触方式のＩＤカードを所持した人物が出入り口の前を横切っただけでＩＤ照合が実行され、入退場制御装置が入退場を許可する（入退場制御装置が出入り口の鍵を開錠してしまう）というような誤動作を防止することができるという効果が得られる。
【００６７】
（第６の実施の形態）
次に、本発明の第６の実施の形態を説明する。本発明の第６の実施の形態は、本発明の第３の実施の形態が、第１、第２の人物検出システムに対して、更に人物の移動する方向毎に人数を計数し、この結果を元に警報発生部２２から警報を発生させていたのに対し、人物の移動する方向毎に計数された人数を元に、周囲に対する警告や誘導、指示等の所定の情報を報知する場合の構成例である。
上述の第３の実施の形態では、図１０に示すように、警報発生部２２を備えた処理装置７を説明したが、第６の実施の形態では、処理装置７において、警報発生部２２の代わりに、第４の実施の形態で説明した人数、移動方向、通過時刻、のいずれかの情報に基づいて（第６の実施の形態では人数分布は用いない）、所定の情報を操作表示端末３または／及び表示装置４へ報知する情報報知部２４を設ける。
【００６８】
第６の実施の形態の人物検出システムは、以上の構成において、例えば大規模店舗の入り口において、移動方向分類部２０によって人物の進行方向を判断することで、入店する客と退店する客とをそれぞれ検知し、情報報知部２４はそれに応じた情報を表示装置４へ出力することで、表示装置４は入店する客には「いらっしゃいませ。」、退店する客には「ありがとうございました。」などのアナウンスを出力することができる。
更に、入店後の客に対しては、客の進行方向をそれぞれ検知して、進行方向に応じた情報を表示装置４へ出力することで、表示装置４は「そちらは被服売場です。」「そちらは玩具売場です。」等々、進行方向の先にある売場アナウンスを出力することもできる。
また、通過時刻測定部２１によって通行者の通過時刻を判断して、所定の情報を表示装置４へ出力することで、「おはようございます、いってらっしゃいませ。」「こんばんは。」等、時間の変化に応じたアナウンスを出力することができる。
【００６９】
なお、第３の実施の形態と同様に、情報報知とともに報知の対象となった人数を報告する必要がなければ、人数計数部１７は具備しなくても良い。また、人物検出対象の出入り口や通路において、時間によって報知する情報の内容を変更することがなければ、通過時刻測定部２１は具備しなくても良い。
【００７０】
なお、上述の第１から第６までの実施の形態では、処理装置１、６、７、８と操作表示端末３は直接接続されているように説明したが、例えば処理装置１を例にして図１５を用いて説明するように、処理装置１、６、７、８に通信装置５０を接続して、通信網５１を介して計数した人数、警報やその内容、更には報知する情報を操作表示端末３と送受信するようにしても良い。ここで、通信網５１は、例えばＷＡＰ（Wireless Application Protocol ）による無線通信、ＷＷＷ（World Wide Web）を利用したインターネット、あるいはＰＳＴＮ（Public Switch Telephone Network）やＩＳＤＮ（Integrated Services Digital Network）等の公衆回線網を介した有線通信により情報の送受信を行う通信網を含むものとする。また、１台の操作表示端末３に対して処理装置を複数台接続し、複数の処理装置を１台の操作表示端末３により制御するようにしても良い。
【００７１】
なお、上述の第１から第６の実施の形態における処理装置１、６、７、８の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより人物検出を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００７２】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００７３】
【発明の効果】
以上の如く、請求項１に記載の発明によれば、撮像手段により撮影された時系列連続動画像の計測空間範囲を物体が移動することによって発生する画素の速度ベクトルを求め、方向及び速度において所定の範囲の速度ベクトルを持つ画素の存在個数を、該速度ベクトルが示す所定の方向毎にヒストグラム化して速度場の分布状況とする。そして、この速度場の分布状況が示す方向別の速度ベクトルを持つ画素の範囲から、この方向へ移動する人物と推定できる画像範囲を人物形状画像として識別する。
従って、ヒストグラムによって表される画素の範囲から、計測空間範囲内の人物の存在範囲を移動方向別に正確に推定し、人物の識別精度を向上することができるという効果が得られる。
【００７４】
請求項２に記載の発明によれば、複数の撮像手段により撮影された各時系列連続動画像毎に、人物と推定できる画像範囲を人物形状画像として識別する。そして、各時系列連続動画像毎に識別された人物形状画像の識別時刻と空間座標を比較して、同じ識別時刻と空間座標を持つ人物形状画像を重複している人物形状画像と判断し、１つを残して他は排除する。
従って、複数の撮像手段を用いることにより、１つの撮像手段では得られなかったシームレスで広範囲な計測空間範囲（パノラマ画像）を得ることができるという効果が得られる。
【００７５】
請求項３に記載の発明によれば、速度場の分布状況が示す方向別の速度ベクトルを持つ画素の範囲の大きさの違いによって、検出された人物形状画像の空間占有率を判別する。そして、該空間占有率と予め見積もっている１人あたりの空間占有率との比較から、該人物形状画像に含まれる人数を推定する。
従って、従来、通行者によって混み合う交通状況下や通行者が交錯する交通状況下において、複数の人物が重なって移動していても、一人の人物が移動していると判断してしまうという問題を回避し、計測空間範囲を移動する人数の推定精度を向上することができるという効果が得られる。
【００７６】
請求項４に記載の発明によれば、撮像手段の撮影する画像の画角や撮影される人物の見え方が変化したとしても、いつでも人物形状画像の空間占有率の比較対象とする人物１名あたりに必要な空間占有率を正確に保持していることができる。
従って、撮像手段であるカメラ２の設置場所や装着されているレンズの焦点距離による人物１人あたりの空間占有率の補正の他、屋外における日照角度の推移による移動人物の影の面積変化による空間占有率の変動にも追随できるようになる。
請求項５に記載の発明によれば、計測空間範囲内に所定の計測断面を設定し、この計測断面を通過する人物形状画像の数を計数することで、所定の場所を通過した人物の数を求める。
従って、例えば建物等に出入りする人物を検出して、その人数の計測を正確に行うことができるという効果が得られる。
【００７７】
請求項６に記載の発明によれば、通信網に接続された操作表示手段に対して計数した人数を出力する。
従って、例えば遠方の建物等に出入りする人物を検出して、その人数を手元の操作表示手段において正確に把握することができるという効果が得られる。
請求項７に記載の発明によれば、識別された人物形状画像がどの方向へ移動しているかを分類し、所定の方向へ進む人物が存在する場合、警報を発する。
従って、例えば入り口専用や出口専用等、一方通行の通路を逆行して進もうとする人物や進入禁止場所への侵入者等を発見した場合に、これを検出して知らせることができるという効果が得られる。
【００７８】
請求項８に記載の発明によれば、識別された人物形状画像がどの方向へ移動しているかを分類し、所定の方向へ進む人物が存在する場合、その時間帯によって人物の進む方向が正しいか否かを判断し、正しくない場合に警報を発する。
従って、例えば時間別に通行方向の指定が変化する一方通行の通路を、指定に逆らって逆行して進もうとする人物等を発見した場合に、これを検出して知らせることができるという効果が得られる。
請求項９に記載の発明によれば、識別された人物形状画像がどの方向へ、いつ、何人移動したかを分類し、人物形状画像の挙動を推定して所定の場所または方向に対する人数分布を求める。
従って、例えば店舗における売り場毎の集客状況を集計したり、避難誘導において避難状況を把握したりすることができるという効果が得られる。
【００７９】
請求項１０に記載の発明によれば、識別された人物形状画像がどの方向へ、いつ、何人移動したかを分類し、人物形状画像の挙動を推定して所定の場所または方向に対する人数分布を求める機能と、進入禁止場所への侵入者を発見した場合に、これを検出して知らせる機能とを切り替えて利用する。
従って、例えば店舗の営業時間中は売り場の集客状況を集計し、店舗の営業時間外は店舗への侵入者を検出する侵入者センサとして利用することができるという効果が得られる。
請求項１１に記載の発明によれば、警報を発するとともに、所定の移動方向へ進む人物形状画像の人数または／及び画像を出力する。
従って、警報とともに、その警報の原因となった状況も同時に知らせることができるという効果が得られる。
【００８０】
請求項１２に記載の発明によれば、求められた人数、移動方向、通過時刻、人数分布のいずれかの情報に基づいて、周囲に対する警告や誘導、指示等の所定の情報を報知する。
従って、例えば避難誘導などにおいて、出入り口に殺到する人数を正確に把握し、適切な指示を発することができるという効果が得られる。
請求項１３に記載の発明によれば、求められた人数分布に基づいて、交通制御用信号を制御する。
従って、例えば交差点を横断する人数を正確に把握し、交通制御信号の横断許可時間や横断許可回数を制御して、円滑な交通制御を行うことができるという効果が得られる。
【００８１】
請求項１４に記載の発明によれば、例えば非接触ＩＤカードによるＩＤ番号の照合などの所定の動作と人物の移動方向によって、その人物の入退場の可否を判断する。
従って、例えば非接触方式のＩＤカードを利用してＩＤ番号を照合することで入退場の可否を判断する入退場制御装置の前を、ＩＤカードを所持した人物が横切っただけでＩＤ照合が実行され、入退場制御装置が入退場を許可するような誤動作を防止することができるという効果が得られる。
【００８２】
請求項１５に記載の発明によれば、識別された人物形状画像がどの方向へ移動しているかを分類し、所定の方向へ進む人物が存在する場合、周囲に対する警告や誘導、指示等の所定の情報を報知する。
従って、例えば通路の人物の移動方向に基づいて、適切な警告や誘導、指示等の所定の情報報知を行い、通路の人物の動作を制御することができるようなるという効果が得られる。
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態の人物検出システムの構成を示す概要図である。
【図２】  同実施の形態の人物検出システムの処理装置の細部構成を示すブロック図である。
【図３】  本発明の第２の実施の形態の人物検出システムの構成を示す概要図である。
【図４】  同実施の形態の人物検出システムの非同期映像合成装置の出力信号を説明する図である。
【図５】  同実施の形態の人物検出システムの処理装置の細部構成を示すブロック図である。
【図６】  第１及び第２の実施の形態の人物検出システムの処理装置の動作を示すフローチャートである。
【図７】  処理装置１または処理装置６の分布状況判別部の動作を説明するための図である。
【図８】  処理装置１または処理装置６の移動人物検出部の動作を説明するための図である。
【図９】  処理装置１または処理装置６の人数計数部の動作を説明するための図である。
【図１０】  本発明の第３の実施の形態の人物検出システムの処理装置の細部構成を示すブロック図である。
【図１１】  同実施の形態の人物検出システムの処理装置の動作を示すフローチャートである。
【図１２】  本発明の第４の実施の形態の人物検出システムの処理装置の細部構成を示すブロック図である。
【図１３】  同実施の形態の人物検出システムの処理装置の動作を示すフローチャートである。
【図１４】  同実施の形態の人物検出システムを利用する応用例を示す図である。
【図１５】  通信網を介して本発明の人物検出システムの遠隔操作を行う場合の構成を示す概要図である。
【符号の説明】
１    処理装置
２、２ａ、２ｂ、２ｃ、２ｄ    カメラ
３    操作表示端末
４    表示装置
５    非同期映像合成装置
６    処理装置
７    処理装置
８    処理装置
１１    画質調整部
１２    撮影画像記憶部
１３    ベクトル計算部
１４    分布状況判別部
１５    移動人物検出部
１６    人物分離部
１７    人数計数部
１８    表示処理部
１９    重複人物排除部
２０    移動方向分類部
２１    通過時刻測定部
２２    警報発生部
２３    人物分布推定部
２４    情報報知部
５０    通信装置
５１    通信網
【図１】
0004607394.tif 000009
【図２】
0004607394.tif 000010
【図３】
0004607394.tif 000011
【図４】
0004607394.tif 000012
【図５】
0004607394.tif 000013
【図６】
0004607394.tif 000014
【図７】
0004607394.tif 000015
【図８】
0004607394.tif 000016
【図９】
0004607394.tif 000017
【図１０】
0004607394.tif 000018
【図１１】
0004607394.tif 000019
【図１２】
0004607394.tif 000020
【図１３】
0004607394.tif 000021
【図１４】
0004607394.tif 000022
【図１５】
0004607394.tif 000023