(57)【要約】【課題】所定の領域内に存在する人の数を計測することができるようにする。【解決手段】カメラ１００によって撮影された所定の領域の画像に対応する画像データは、制御部２００を介して静止画像ＤＢ２０として蓄積される。制御部２００は、背景画像ＤＢ３０から上記領域に対応する背景画像を読み出し、対応する画素毎に画素値を比較して画素値の差を求め、人間の存在する面積を求める。そして、重み付けテーブル５０に基づいてカメラ１００からの距離に応じた重み付けをこの面積に対して行い、面積（背景画像との差分）と人数推定ＤＢ４０とに基づいて上記領域内にいる人の人数を推定する。【選択図】      図１
2005025328.tif 000002
【特許請求の範囲】
【請求項１】
所定の領域の画像を撮像する撮像手段と、
前記撮像手段によって撮像された前記画像を記憶する第１の記憶手段と、
予め撮像された基準となる前記領域の基準画像を記憶する第２の記憶手段と、
前記画像を構成する各画素の値と、前記基準画像を構成する各画素の値とを対応するもの同士で比較し、画素値の差を計算する差分計算手段と、
前記差分計算手段によって計算された各画素毎の画素値の差が所定の基準値を越える画素の数をカウントするカウント手段と、
前記カウント手段によってカウントされた画素の数を各画素の位置に応じて重み付けする画素数補正手段と、
前記画素数補正手段によって重み付けされた前記画素の数に基づき、前記領域内にいる人の数を検出する推定手段と、
を備えることを特徴とする混雑監視システム。
【請求項２】
所定の領域の画像を撮像する撮像手段と、
前記撮像手段によって撮像された前記画像を記憶する第１の記憶手段と、
予め撮像された基準となる前記領域の基準画像を記憶する第２の記憶手段と、
前記画像を構成する各画素の値と、前記基準画像を構成する各画素の値とを対応するもの同士で比較し、画素値の差を計算する差分計算手段と、
前記差分計算手段によって計算された各画素毎の画素値の差が所定の基準値を越える画素の数をカウントするカウント手段と、
前記カウント手段によってカウントされた画素の数を前記撮像手段との間の距離に応じて重み付けする画素数補正手段と、
前記画素数補正手段によって重み付けされた前記画素の数に基づき、前記領域内にいる人の数を検出する推定手段と、
を備えることを特徴とする混雑監視システム。
【請求項３】
前記画素数補正手段は、前記領域を所定の大きさの小領域に分割し、各小領域毎に、重み付けが行われている
ことを特徴とする請求項１または請求項２に記載の混雑監視システム。
【請求項４】
所定の領域の画像を撮像する撮像手段と、
前記撮像手段によって撮像された前記画像を記憶する第１の記憶手段と、
予め撮像された基準となる前記領域の基準画像を記憶する第２の記憶手段と、
前記画像を構成する各画素の値と、前記基準画像を構成する各画素の値とを対応するもの同士で比較し、画素値の差を計算する差分計算手段と、
前記差分計算手段によって計算された各画素毎の画素値の差が所定の基準値を越える画素の数をカウントするカウント手段と、
コンピュータグラフィックスを用いて仮想的に作成された人を前記基準画像に重ね合わせて計算した前記画素の数と前記人の数とを対応付けて記憶する第３の記憶手段と、
前記カウント手段によってカウントされた前記画素の数と前記第３の記憶手段に記憶された検出基準値に基づいて、前記領域内にいる人の数を検出する推定手段と、
を備えることを特徴とする混雑監視システム。
【請求項５】
所定の領域の画像を撮像した画像データを取得するステップと、
取得した画像データの各画素の値と予め撮像された基準となる領域の基準画像の各画素の値とを対応する画素同士で比較し画素値の差を計算するステップと、
計算された各画素毎の画素値の差が所定の基準値を越える画素の数をカウントするステップと、
前記カウントされた画素の数を各画素の位置に応じて重み付けするステップと、
前記重み付けされた前記画素の数に基づき、前記領域内にいる人の数を検出するステップと、
をコンピュータに実行させることを特徴とする混雑監視プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、混雑監視システムおよび混雑監視プログラムに関し、特に、公共施設、道路、公園等の所定の領域内にいる人の数を測定して混雑の度合いを監視する混雑監視システムおよび混雑監視プログラムに関する。
【０００２】
【従来の技術】
例えば、エレベータの上方向から画像を撮影して人数を把握する際、エレベータ内の人数が増えると陰が濃くなり、人として誤認識するため、所定の補正を行うようにしたものがある（例えば、特許文献１参照）。
また、コンピュータグラフィックスを利用して、画像を検証するようにしたものがある（例えば、特許文献２参照）。
【０００３】
【特許文献１】
特開平１１−２５９６２５号公報
【特許文献２】
特開２０００−３４６９１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記特許文献１および特許文献２に記載の発明では、屋外において撮影用のカメラを使用する場合、撮影対象の範囲を真上から撮影することが望ましいが、設置場所が限られる場合が多いので、撮影対象の重心位置の真上から撮影可能な位置にカメラを設置することが困難であり、重心位置に対して斜め方向から撮影する場合がある。この場合、奥行きのある画像に基づいて人物を把握することが困難であった。即ち、カメラからの撮影距離が離れるほど、撮影された人物の大きさが異なってくるので、人としてカウントされない場合があり、誤差が生じてしまうという問題があった。また、斜め方向から撮影する場合、人の後ろに人が存在すると、奥の人が手前の人の後ろに隠れてしまい、カメラで撮影されない場合があるという問題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、斜め方向から撮影した場合でも、所定の領域内にいる人の数をより高精度で推定することができる混雑監視システムおよび混雑監視プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述した課題を解決するために、本発明は、所定の領域の画像を撮像する撮像手段と、前記撮像手段によって撮像された前記画像を記憶する第１の記憶手段と、予め撮像された基準となる前記領域の基準画像を記憶する第２の記憶手段と、前記画像を構成する各画素の値と、前記基準画像を構成する各画素の値とを対応するもの同士で比較し、画素値の差を計算する差分計算手段と、前記差分計算手段によって計算された各画素毎の画素値の差が所定の基準値を越える画素の数をカウントするカウント手段と、前記カウント手段によってカウントされた画素の数を各画素の位置に応じて重み付けする画素数補正手段と、前記画素数補正手段によって重み付けされた前記画素の数に基づき、前記領域内にいる人の数を検出する推定手段と、を備えることを特徴とする。
【０００７】
また、本発明は、所定の領域の画像を撮像する撮像手段と、前記撮像手段によって撮像された前記画像を記憶する第１の記憶手段と、予め撮像された基準となる前記領域の基準画像を記憶する第２の記憶手段と、前記画像を構成する各画素の値と、前記基準画像を構成する各画素の値とを対応するもの同士で比較し、画素値の差を計算する差分計算手段と、前記差分計算手段によって計算された各画素毎の画素値の差が所定の基準値を越える画素の数をカウントするカウント手段と、前記カウント手段によってカウントされた画素の数を前記撮像手段との間の距離に応じて重み付けする画素数補正手段と、前記画素数補正手段によって重み付けされた前記画素の数に基づき、前記領域内にいる人の数を検出する推定手段と、を備えることを特徴とする。
【０００８】
また、本発明は、上述の混雑監視システムにおいて、前記画素数補正手段は、前記領域を所定の大きさの小領域に分割し、各小領域毎に、重み付けが行われていることを特徴とする。
【０００９】
また、本発明は、所定の領域の画像を撮像する撮像手段と、前記撮像手段によって撮像された前記画像を記憶する第１の記憶手段と、予め撮像された基準となる前記領域の基準画像を記憶する第２の記憶手段と、前記画像を構成する各画素の値と、前記基準画像を構成する各画素の値とを対応するもの同士で比較し、画素値の差を計算する差分計算手段と、前記差分計算手段によって計算された各画素毎の画素値の差が所定の基準値を越える画素の数をカウントするカウント手段と、コンピュータグラフィックスを用いて仮想的に作成された人を前記基準画像に重ね合わせて計算した前記画素の数と前記人の数とを対応付けて記憶する第３の記憶手段と、前記カウント手段によってカウントされた前記画素の数と前記第３の記憶手段に記憶された検出基準値に基づいて、前記領域内にいる人の数を検出する推定手段と、を備えることを特徴とする。
【００１０】
また、本発明は、所定の領域の画像を撮像した画像データを取得するステップと、取得した画像データの各画素の値と予め撮像された基準となる領域の基準画像の各画素の値とを対応する画素同士で比較し画素値の差を計算するステップと、計算された各画素毎の画素値の差が所定の基準値を越える画素の数をカウントするステップと、前記カウントされた画素の数を各画素の位置に応じて重み付けするステップと、前記重み付けされた前記画素の数に基づき、前記領域内にいる人の数を検出するステップと、をコンピュータに実行させることを特徴とする。
【００１１】
【発明の実施の形態】
図１は、本発明の混雑監視システムの一実施の形態の構成例を示すブロック図である。同図に示すように、本実施の形態は、公共施設、道路や公園等の所定の領域を撮影するカメラ１００と、記憶装置によって構成される静止画像データベース（ＤＢ）２０と、記憶装置によって構成される背景画像ＤＢ３０と、記憶装置によって構成される人数推定ＤＢ４０と、記憶装置によって構成される重み付けテーブル５０と、カメラ１００および静止画像ＤＢ２０，背景画像ＤＢ３０，人数推定ＤＢ４０，重み付けテーブル５０を制御するとともに、後述する各種処理を実行する制御部２００等により構成されている。
【００１２】
図２は、本実施の形態の機能ブロック図である。制御部２００は、フレーム分割処理部２１０と、マッチング部２１１と、人数推定処理部２１２等から構成されている。フレーム分割処理部２１０は、カメラ１００から供給された画像データを各フレーム毎に分割して静止画を抽出し、静止画ＤＢ２０として記憶させるようになっている。この静止画像ＤＢ２０は、静止画像とその静止画像が撮影された撮影時刻とからなり、例えば、２５６階調のグレースケールによって画素値が表現される。マッチング部２１１は、静止画像ＤＢ２０から読み出した静止画像と、背景画像ＤＢ３０から読み出した背景画像とに基づいて、各画像を構成する画素単位で、対応する画素同士の各画素値を比較し、その差分を求めるようになっている。このとき、マスク領域情報（各画素に対応する位置座標や、重み付けの値など）に基づいて、撮影領域から有効な画像領域を切り出し、画素値の差分が所定値の基準値以上であった画素の数を補正（重み付け）するようになっている。この補正をすることにより、例えば、撮影位置から近い位置の画素においては、１０画素分で１人として検出されるが、撮影位置から遠い位置の画素においては、５画素分で１人とするなど、カメラからの距離に反比例して撮影される人物の大きさが小さくなることを考慮して人数の推定を行うことができる。人数推定処理部２１２は、画素値の差が所定の基準値を超えた画素数と人数推定ＤＢ４０とに基づいて上記領域内にいる人の数を推定するようになっている。
【００１３】
図３は、カメラ１００が所定の長方形領域ＡＢＣＤ（撮影画像ではマスク領域に相当する）を撮影する様子を示している。この領域の奥行きはＷ、幅はＬで表されている。また、カメラ１００が設置されている位置から長方形領域ＡＢＣＤを含む平面との間の距離（高さ）はＨで表されている。図４は、長方形領域ＡＢＣＤを格子状の小領域１から１６に分割したものである。小領域は、例えば、人一人が入る４０ｃｍ（センチメートル）×４０ｃｍの大きさとすることができる。
【００１４】
各領域における各小領域毎の重みＱｉは、各小領域の重心の位置からカメラ１００の位置までの距離ｄｉ（ｉは１から１６）を算出し、カメラ１００から最も遠い小領域までの距離ｄｍａｘとすると、重みＱｉは次式で表される。
Ｑｉ＝ｄｉ２  ／ｄｍａｘ２
この重みＱｉは、各小領域のそれぞれの距離に応じて算出され、図５に示すように、マスク領域情報として撮影画像の切り出し領域の各小領域に対応付けられて記憶される。なお、この重みＱｉによる重み付けは、画素の数に対して増加するようにあるいは減少するように重み付けをすることが可能である。
【００１５】
人数推定ＤＢのデータは、図６に示すように、仮想的に、長方形領域ＡＢＣＤの各小領域上に一人ずつコンピュータグラフィックスを用いて人物を配置した画像を作成し、人物を配置しないときの背景画像の各画素の値と、人物を配した画像の各画素の値との差分を対応する画素同士で求め、その画素値の差が所定の基準値以上である画素の数に、仮想的に配置した人物の数を対応付けて記憶される。ここでは、カメラ１００から遠い位置にいる人物から順に一人ずつまたは１列ずつ消して行き、それぞれ配置された人物の数と画素数とを対応付けて人数推定ＤＢ４０のデータとして記憶される。
【００１６】
仮想的に作成する人物は、カメラ１００からの距離に応じて大きさが調整されている。また、身長に応じて画素数が異なるため、人数推定ＤＢ４０は、身長に応じて作成される。例えば、仮想的に作成した人物の身長が１５０ｃｍの場合、３０人と推定され、身長が１７０ｃｍの場合、２０人と推定されるとき、推定人数は２０人から３０人とすることができる。
【００１７】
次に、図７のフローチャートを参照して、本実施の形態の動作について説明する。まず、ステップＳ１において、カメラ１００によって撮像された画像に対応する画像データが、制御部２００に供給される。ステップＳ２において、制御部２００は、記憶装置３０に記憶されている背景画像ＤＢ３０から、対応する背景画像を読み出す。次に、ステップＳ３において、マッチング処理が実行される。即ち、制御部２００のマッチング部２１１は、カメラ１００によって撮像された画像データを構成する各画素と、背景画像の各画素の対応するもの同士で画素値を比較する。
【００１８】
次に、ステップＳ４において、ステップＳ３において実行されたマッチング処理によって得られた各画素の画素値に対して、各小領域毎に設定された重み付けが行われる。次に、ステップＳ５において、重み付けされた各画素の画素値と、人数推定ＤＢ４０のデータから、長方形領域ＡＢＣＤ内にいる人の数を推定する。
【００１９】
次に、ステップＳ６において、推定された人数が混雑監視システムに接続された表示装置等に出力される。次に、ステップＳ７において、電源がオフされるなどして処理の終了が指示されたか否かが判定される。その結果、処理の終了が指示されていないと判定された場合、ステップＳ１に戻り、ステップＳ１以降の処理が繰り返し実行される。一方、処理の終了が指示されたと判定された場合、本処理を終了する。
【００２０】
また、推定した人数に応じて所定の警告を行うようにすることもできる。例えば、推定人数の結果について直前のデータと比較し、その差が所定の値を超えていた場合に、人数が急激に増加したことを検出し、アラームを放音したり、メッセージを表示させ管理者に警告を行うようにすることができる。これにより、管理者は、撮影された場所における人数増加によるトラブルの未然を防止する処置や、人数増加の原因の除去を行うことができる。
【００２１】
また、上述した実施形態において、人数推定テーブル４０は、その撮影対象の環境に存在すると推定される人物の身長に応じて作成するようにしてもよい。例えば、成人式の日における成人式会場付近の道路を撮影対象である場合、身長１５０ｃｍの場合（二十歳の女性を推定）の人数推定テーブル４０と、身長１７０ｃｍの場合（二十歳の男性を推定）の人数推定テーブル４０を作成しておく。そして、これら２つの人数推定テーブル４０を参照し、人数推定をするようにしてもよい。例えば、マッチング処理によって得られた画素数がＡであった場合、身長１５０ｃｍの場合の人数推定テーブル４０を参照した場合の推定人数が３０人であり、身長１７０ｃｍの場合の人数推定テーブル４０を参照した場合の推定人数が２０人である場合、推定人数が「２０人から３０人」であることが表示装置に出力される。なお、小学校の校庭などであれば、例えば、身長１３０ｃｍの場合および身長１５０ｃｍの場合の人数推定データベースが作成することも可能である。このように、撮影環境に応じた身長の人数推定データベースを作成することにより、その撮影場所に応じた推定される人数の推定幅を狭くでき、推定人数の信頼度を向上させることができる。
【００２２】
また、この人数推定テーブル４０は、例えば、俯角が大きい場所と俯角が小さい場所から撮影対象を撮影する場合とでは、人の陰に人が隠れてしまう度合いが異なるので、カメラの設置場所毎に設定される。
【００２３】
また、時刻、天候、季節等により日照状態が変化するので、時刻、天候、季節毎に背景画像を用意し、また、時刻、天候、季節毎に人数推定テーブル４０を作成するようにしておき、その撮影時の時刻、天気、季節に応じた背景画像、人数推定テーブル４０を参照して人数推定を行うようにしてもよい。これにより、時刻、天候、季節を考慮した人数推定を行うことができる。
【００２４】
以上説明したように、本実施の形態により、奥行きのある環境を考慮した人数の推定を行うことができ、推定人数の精度を向上させることができる。また、人物の後ろに隠れている人を考慮した人数の推定を行うことができる。さらに、コンピュータグラフィックスを用いて人数の推定を行うので、人の陰に隠れている人をも考慮した人数を推定することができる。
【００２５】
なお、上記実施の形態においては、重み付けは各小領域とカメラ１００との間の距離の二乗に応じて行ったが、これに限定されるものではない。例えば、カメラ１００によって撮影された画像の上方向を奥行き距離に対応させるようにしてもよい。また、画像のｙ軸方向の物体は遠くにあるとしてｙ軸方向にのみ比例した重み付けを行うようにしてもよい。
【００２６】
また、上述の実施形態において、撮影された人物の画像がマスク領域内の１つの小領域ではなく、複数の小領域にまたがっている場合については、人物の足元の小領域のマスク領域情報に設定された重みＱｉをその人物の画素全体に対して重み付けしてもよく、各小領域に設定された重みＱｉに従って重み付けしてもよい。
【００２７】
また、上述の実施形態においては、図７ステップＳ４に示すように、人数推定ＤＢ４０に記憶されたデータを参照することにより、重み付けされた画素数に応じた人数を推定するようにした。すなわち、コンピュータグラフィックスを用いて計算した画素の数と人の数とが対応付けられたデータを参照するようにしたが、人数の推定をするために参照するデータは、必ずしもコンピュータグラフィックスを用いて計算した画素の数でなくともよい。例えば、単に画素の数と人の数とが対応付けられたテーブルを参照することにより、人数を推定するようにしてもよい。また、画素の数から人数を算出するための式に基づいて算出するようにしてもよい。
【００２８】
また、図１におけるフレーム分割処理部２１０、マッチング部２１１、人数推定処理部２１２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより混雑監視を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００２９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００３０】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００３１】
【発明の効果】
以上説明したように、本発明に係る混雑監視システムおよび混雑監視プログラムによれば、公共施設、道路、公園等の所定の領域内にいる人の数を、奥行きのある環境や人の陰に隠れた人を考慮した人数の推定を行うことができ、これにより、推定人数の精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の混雑監視システムの一実施の形態の構成例を示すブロック図。
【図２】図１の実施の形態の機能ブロック図。
【図３】カメラが所定の長方形領域ＡＢＣＤ（マスク領域）を撮影する様子を示す図。
【図４】長方形領域ＡＢＣＤの格子状の小領域１から１６を示す図。
【図５】重みＱｉについて説明するための図面である。
【図６】長方形領域ＡＢＣＤの各小領域上に仮想的に人物を配置した画像を示す図。
【図７】本実施の形態の動作を説明するフローチャート。
【符号の説明】
２０  静止画像ＤＢ              ３０  背景画像ＤＢ
４０  人数推定ＤＢ              ５０  重み付けテーブル
１００  カメラ                  ２００  制御部
【図１】
2005025328.tif 000003
【図２】
2005025328.tif 000004
【図３】
2005025328.tif 000005
【図４】
2005025328.tif 000006
【図５】
2005025328.tif 000007
【図６】
2005025328.tif 000008
【図７】
2005025328.tif 000009