(57)【要約】【課題】混雑度をより正確に把握することが可能な混雑検知装置を提供する。【解決手段】エスカレータ１０の乗降口等に、手すり１２や床面１４を含まない範囲で監視空間１６を設定し、上方に設置された２台のカメラ１８，２０で撮影された画像から、監視空間１６内の人物集団の三次元形状および／または人物集団の動きを表わす複数のベクトルを決定し、それに基いて体積占有率および／または三次元フローを算出して混雑度を判定する。【選択図】図１
2010117216.tif 000002
【特許請求の範囲】
【請求項１】
所定の監視空間を撮影する複数の撮像装置と、
複数の撮像装置によって得られた画像に対してステレオ画像処理を適用することにより監視空間内の人物集団の三次元形状を決定するステレオ画像処理手段と、
決定された三次元形状に基づき混雑度を決定する混雑度決定手段とを具備する混雑検知装置。
【請求項２】
前記ステレオ画像処理手段は、異なる時刻において前記複数の撮像装置によって得られた画像に基づき、前記監視空間内の人物集団の動きを表わす複数のベクトルをさらに決定し、
決定された複数のベクトルから、監視空間内の人物集団全体の動きの大きさ及び動きのばらつきの度合いの少なくとも１つを算出する手段をさらに具備し、
前記混雑度決定手段は、前記三次元形状と、前記算出された人物集団全体の動きの大きさ及び動きのばらつきの度合いの少なくとも一方とに基づき混雑度を決定する請求項１記載の混雑検知装置。
【請求項３】
所定の監視空間を撮影する複数の撮像装置と、
異なる時刻において複数の撮像装置によって得られた画像に基づき、監視空間内の人物集団の動きを表わす複数のベクトルを決定する手段と、
決定された複数のベクトルから、監視空間内の人物集団全体の動きの大きさ及び動きのばらつきの度合いの少なくとも１つを算出する手段と、
算出された人物集団全体の動きの大きさ及び動きのばらつきの度合いに基づき混雑度を決定する混雑度決定手段とを具備する混雑検知装置。
【請求項４】
前記混雑度決定手段が決定した混雑度が所定の閾値を超えるとき、警報を出力する手段をさらに具備する請求項１〜３のいずれか１項記載の混雑検知装置。
【請求項５】
前記監視空間は複数の部分空間に分割されており、前記混雑度決定手段は個々の部分空間ごとに混雑度を決定し、さらに個々の部分空間ごとに決定された混雑度に基づき混雑の偏りを判定する請求項１〜４のいずれか１項記載の混雑検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばエスカレータ乗降口やエレベータホール等の、人が集まる場所において、人の混雑状態を検知する装置に関する。
【背景技術】
【０００２】
下記特許文献１には、単眼カメラ画像における変化領域を人だけのアウトライン画像として抽出し、その画像上の面積から人の密集具合（密度）を算出するとともに、画像上での変化領域の移動量から移動速度を算出することが記載されている。なお、変化領域については、あらかじめ撮影しておいた無人の背景画像と入力画像とで差分処理し、変化のあった領域を抽出している。
【０００３】
エスカレータのステップなど背景物体が動いている場合や、日照変化などにより背景の輝度が見かけ上変化した場合、上記の手法ではそれらを変化領域として抽出してしまうことがある。この場合、人ではない領域が変化領域に含まれることから、人の密度や移動速度の計測値に誤差が生じ、混雑状態を正しく検知することはできない。
【０００４】
また、撮影される二次元画像は、三次元実空間内のものを放射状の平行ではない光線で二次元平面に写像したものであり、そのため、二次元の画像上での見かけの計測値は、実空間での物理量そのままではなく、混雑状態が正しく検知できるとは言えない。
【０００５】
下記特許文献２には、ステレオカメラで撮影された監視空間の画像を用いて、ステレオ画像処理により、カメラに写った物体の像を構成する各画像ブロックについて三次元空間における高さを算出し、算出された高さが所定の範囲内にある画像ブロックの合計の面積に基づいて混雑度を判定することが記載されている。さらに、そのようにして抽出された画像ブロックからなる領域を床面に平行な仮想平面に三次元的に投影し、投影された面積の大小から混雑度を判定することも記載されている。いずれも、二次元平面内の情報から混雑度を判定するもので、三次元空間における情報から直接、混雑度を判定するものではない。
【０００６】
【特許文献１】特開２００７−５５７２７号公報
【特許文献２】特開２００１−３４８８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、混雑度をより正確に把握することが可能な混雑検知装置を提供することにある。
【０００８】
前述の目的は、所定の監視空間を撮影する複数の撮像装置と、複数の撮像装置によって得られた画像に対してステレオ画像処理を適用することにより監視空間内の人物集団の三次元形状を決定するステレオ画像処理手段と、決定された三次元形状に基づき混雑度を決定する混雑度決定手段とを具備する混雑検知装置により達成される。
【０００９】
前述の目的は、所定の監視空間を撮影する複数の撮像装置と、異なる時刻において複数の撮像装置によって得られた画像に基づき、監視空間内の人物集団の動きを表わす複数のベクトルを決定する手段と、決定された複数のベクトルから、監視空間内の人物集団全体の動きの大きさ及び動きのばらつきの度合いの少なくとも１つを算出する手段と、算出された人物集団全体の動きの大きさ及び動きのばらつきの度合いに基づき混雑度を決定する混雑度決定手段とを具備する混雑検知装置によっても達成される。
【発明の効果】
【００１０】
複数の撮像装置を用いることによって得られる三次元空間の情報から直接、混雑度を判定するので、混雑度をより正確に判定することができる。
【００１１】
また、監視空間を適切に定めることにより、エスカレータのステップなどの変化する背景を検知対象から容易に除外することができる。
【発明を実施するための最良の形態】
【００１２】
図１は本発明の一実施形態に係る混雑検知装置における、カメラの配置と監視空間の設定の一例を示す図である。図示した例では、エスカレータ１０の乗降口に、エスカレータ１０の手すり１２や床面１４を含まない範囲で監視空間１６が設定される。監視空間１６の上方には２台のカメラ１８，２０が設置され、監視空間１６内の人物集団を撮影する。
【００１３】
図２は本発明の一実施形態に係る混雑検知装置の構成を示し、図３は図２中のコンピュータ２２における処理の概略フローチャートを示す。図２において、２台のカメラ１８，２０で撮影された画像はコンピュータ２２に取り込まれる（図３ステップ１０００）。コンピュータ２２は、取り込んだ画像にステレオ画像処理を適用し、すなわち、三角測量の原理に基づいてカメラ１８，２０からの距離を計算して監視空間１６内の人物集団の三次元形状を決定する（ステップ１００２）。
【００１４】
図４は、三角測量の原理に基づき三次元座標を得る原理を説明する図である。図４に示すように、被写体の１点Ｐ（Ｘ，Ｙ，Ｚ）を２台のカメラで撮影する。左側のカメラの撮像面に像ｐｌ（ｘｌ，ｙｌ）が結像し、右側の撮像装置の撮像面にｐｒ（ｘｒ，ｙｒ）が結像する。２つの撮像装置間での対応点を探索することにより点Ｐ（Ｘ，Ｙ，Ｚ）の位置を求める。このとき、両方の撮像装置の焦点距離をＦ、両撮像装置間の距離をＢとすると、点Ｐの三次元座標Ｘ，Ｙ，Ｚは以下の式により求まる。
【００１５】
Ｘ＝Ｂ（ｘｌ＋ｘｒ）／２ｄ
Ｙ＝Ｂ（ｙｌ＋ｙｒ）／２ｄ
Ｚ＝ＢＦ／ｄ
ただし、ｄ＝ｘｌ−ｘｒ
【００１６】
図４中の破線２６はエピポーラ線と呼ばれ、この線上にｐｌの対応点ｐｒが存在するので、この線上で対応点の探索が行なわれる。探索にあたっては、例えば、それぞれの点の近傍の領域における対応画素間の輝度の差の合計が最小となるものを対応点とする。
【００１７】
このようにして決定された三次元座標の集まりとして、監視空間１６を占める人物集団の三次元形状が決定されるので、それから人物集団の体積が決定される。人物集団の体積を監視空間１６の体積で除算することにより体積占有率が決定される（ステップ１００４）。なお、複数の人物を個別に分離する必要はないが、人物を個別に分離することにより監視空間内の人数を算出することもできる。また、体積に所定の密度を乗算することにより、監視空間１６を占める人物集団の重量を決定することもできる。カメラから見て裏側になる部分はカメラに写らないので三次元座標を得ることができないが、図１に示した例では監視空間１６の上方に（例えば天井に埋め込んで）カメラ１８，２０が配置されるので混雑度の判定には充分な情報が得られる。
【００１８】
三次元形状のデータが得られているので、体積占有率を計算する代わりに、床面１４に平行で床面１４から所定の高さにある仮想面による断面の面積を算出して、それを監視空間の底面積で除算して占有率としても良い。この場合であっても、放射状の平行でない光線で二次元平面に写像したものから求める従来手法よりも正確な値が得られる。カメラ１８，２０の台数は２台で充分であるが、対応付けの精度を高める、などのために、３台以上のカメラを用いても良い。
【００１９】
次に、時系列に沿った複数のステレオ画像から人物集団各点の三次元フローを算出する（ステップ１００６）。具体的には、上記のようにして決定された三次元形状を構成する各点を異なる時刻のものとの間で対応付けることで、三次元フローを求めることができる。なお、「関晃仁、奥富正敏、“ステレオ動画像を用いた動的シーンのモーションと奥行きの同時推定”、画像の認識・理解シンポジウムＭＩＲＵ２００６、ｐｐ．３５２−３５７」には、三次元座標とフローを同時に求める手法が記載されており、これに従って、三次元形状の算出（ステップ１００２）と三次元フローの算出（ステップ１００６）を同時に行っても良い。別個に行う場合でも、ステップ１００４の体積占有率の算出はステップ１００８の平均速度算出の後に行っても良い。
【００２０】
三次元フローは、図５に略図として示すように、基準となる三次元形状を構成する各点、または一定間隔に定められたその代表点を始点とし、その後の時刻の三次元形状における対応点を終点とする複数のベクトルで表わされる。ステップ１００８（図３）においては、それらベクトルの長さの平均値（または平均ベクトルの長さ）を、監視空間１６内の人物集団の平均速度とする。
【００２１】
ステップ１０１０においては、ステップ１００４において求めた占有率とステップ１００８において求めた平均速度から混雑状態を判定する。例えば、占有率が所定値以上あり、平均速度が所定値以下である場合は、人が多く、動きが遅いことから混雑状態であるとみなす。最も簡単には混雑状態と正常状態の２段階に判別すればよいが、図６に示すように、判定レベルを多段階に設定しても良い。また、その多段階の設定方法は図６に示したものに限るものではなく、占有率と平均速度の２次元座標系において任意に設定可能である。混雑度を数値で表わすこともできる。
【００２２】
本実施形態によれば、ステレオ視により所定の監視空間内の三次元形状を求めることにより、背景が変動している場合であっても、背景と人とを正確に分離することができ、その結果、背景に影響されることなく占有率や移動速度を正しく算出することができる。また、三次元形状を求めているため、監視空間に対して体積に基づいた占有率を求めることができるとともに、三次元フローにより実空間での物理的な動きを直接求めているため、混雑度が正しく計測できる。
【００２３】
上記のように占有率と平均速度の組み合わせで混雑度を判定することに代えて、占有率のみ、または平均速度のみに基いて混雑度を判定することもできる。また、人物集団の動きを表わす複数のベクトルから平均速度を算出する代わりに、或いはそれと共に、動きを表わすベクトルのばらつきの度合いを算出し、それに基いて、またはそれと占有率等との組み合わせで混雑度を判定することもできる。
【００２４】
速度ベクトルのばらつきの度合いは、例えば以下のようにして算出される。
【００２５】
【数１】
2010117216.tif 000003
【００２６】
ここで、λ1は監視空間内で最もばらつきの大きい方向（第１主成分の軸の方向）におけるばらつきを表わしているので、これを速度ベクトルのばらつきの度合いとする。速度ベクトルのばらつきが大きいことは、混雑していて人の流れがスムーズでないことを意味し、速度ベクトルのばらつきが小さいことは、逆に混雑していなくて人の流れがスムーズであることを意味するから、ばらつきの度合いが大きい程混雑度が高い、という判定になる。
【００２７】
動きを表わすベクトルの取扱いとしては、三次元ベクトルを使用する代わりに、水平方向の成分のみの二次元ベクトル、すなわち、三次元ベクトルを水平な面上に鉛直方向に投影したものを使用しても良い。
【００２８】
混雑度の判定は、上記に代えて、或いは上記に加えて、人物集団の体積に密度を乗じて算出される重量、人物集団に含まれる人物を個別に分離することにより算出される人数などに基いて行っても良い。
【００２９】
ステップ１０１０（図３）における混雑度の判定結果は表示器２４（図２）に表示される。混雑状態と判定されたときは、警報が出力または他の装置へ伝達される（ステップ１０１２）。
【００３０】
監視空間１０（図１）を複数の部分空間に分割し、それぞれの部分空間において上記のようにして混雑度を判定し、その結果に基づいて混雑の偏りを判定することもできる。
【図面の簡単な説明】
【００３１】
【図１】監視空間の設定の一例を示す図である。
【図２】本発明の一実施形態に係る混雑度検出装置の構成を示すブロック図である。
【図３】図２のコンピュータ２２における処理のフローチャートである。
【図４】ステレオ画像処理の原理を説明する図である。
【図５】人物集団の動きを表わす複数のベクトルを説明する図である。
【図６】占有率および平均速度に基づく混雑度の判定を説明する図である。
【図１】
2010117216.tif 000004
【図２】
2010117216.tif 000005
【図３】
2010117216.tif 000006
【図４】
2010117216.tif 000007
【図５】
2010117216.tif 000008
【図６】
2010117216.tif 000009