(57)【特許請求の範囲】
【請求項１】
平面に沿って該平面上の基準線を通過する通過物体の該平面からの高さと速度とから前記通過物体を計数する通過物体計数装置において；
前記通過物体を撮像する、前記平面に対向して設けられた、ステレオ画像を取得する撮像装置によって撮像された前記通過物体の画像Ａと、前記画像Ａの撮像時点より所定の時間だけ遅らせて前記撮像装置によって撮像された前記通過物体の画像Ｂを取得する画像処理部と；
前記画像Ａと前記画像Ｂから対応点を求める対応点探索部と；
前記対応点を用いて、前記通過物体の速度を算出する速度情報算出部と；
前記画像Ａのステレオ画像、または、前記画像Ａと前記画像Ｂのステレオ画像から、前記通過物体の高さを算出する奥行情報算出部と；
前記取得された高さに前記速度の重みを乗じた値を前記基準線に沿って速度の向き別に加算した値を時間積分する積分演算部と；
前記時間積分によって得られた値と予め設定された閾値とに基づいて前記基準線を通過した前記通過物体を計数する通過計数演算部とを備える；
通過物体計数装置。
【請求項２】
平面に沿って該平面上の基準線を通過する通過物体を撮像する、前記平面に対向して設けられた第１の撮像装置と；
前記第１の撮像装置と並列に、且つ前記平面に対向して設けられ、前記基準線を通過する前記通過物体を撮像する第２の撮像装置と；
第１の時点で、前記第１の撮像装置によって撮像された前記通過物体の第１の画像と前記第２の撮像装置によって撮像された前記通過物体の第２の画像と、前記第１の時点から所定の時間だけ遅らせて、前記第２の撮像装置によって撮像された前記通過物体の第３の画像を取得する画像処理部と；
前記第１の画像と前記第２の画像から対応点を求め、前記第２の画像と前記第３の画像から対応点を求める対応点探索部と；
前記第１の画像と前記第２の画像から求めた対応点を用いて、前記通過物体上の前記基準線に沿った複数の部位に関して、前記通過物体の前記平面からの高さを時系列的に取得する奥行情報算出部と；
前記第２の画像と前記第３の画像から求めた対応点を用いて、前記複数の部位のうち少なくとも１つの部位に関して、前記基準線に垂直で前記平面に平行な進行方向の速度を時系列的に取得する速度情報算出部と；
前記取得された高さに前記速度の重みを乗じた値を前記基準線に沿って速度の向き別に加算した値を時間積分する積分演算部とを備える；
通過物体計数装置。
【請求項３】
平面に沿って該平面上の基準線を通過する通過物体を撮像する、前記平面に対向して設けられた第１の撮像装置と；
前記第１の撮像装置と並列に、且つ前記平面に対向して設けられ、前記基準線を通過する前記通過物体を撮像する第２の撮像装置と；
前記第１の撮像装置によって撮像された前記通過物体の第１の画像と、前記第１の画像の撮像時点より所定の時間だけ遅らせて前記第２の撮像装置によって撮像された前記通過物体の第２の画像を取得する画像取得部と；
前記第１の画像と前記第２の画像から対応点を求める対応点探索部と；
前記対応点を用いて、前記通過物体上の前記基準線に沿った複数の部位に関して、前記第１と第２の画像間の視差を表す量から前記通過物体の前記平面からの高さを時系列的に取得する奥行情報算出部と；
前記対応点を用いて、前記複数の部位のうち少なくとも１つの部位に関して、前記基準線に垂直で前記平面に平行な進行方向の速度を時系列的に取得する速度情報算出部と；
前記取得された高さに前記速度の重みを乗じた値を前記基準線に沿って速度の向き別に加算した値を時間積分する積分演算部とを備える；
通過物体計数装置。
【請求項４】
前記積分演算部で時間積分して得られた値が予め設定された閾値を越えたときに、前記通過物体が１だけ通過したものとして計数する差算通過計数演算部を備える、
請求項２または請求項３に記載の通過物体計数装置。
【請求項５】
前記積分演算部で時間積分して得られた値を予め設定された閾値で除算した値を前記通過物体が通過した数として計数する除算通過計数演算部を備える、
請求項２または請求項３に記載の通過物体計数装置。
【請求項６】
平面に沿って該平面上の基準線を通過する通過物体を、前記平面に対向した第１の位置から、第１の時点に撮像して、第１の画像を取得する第１の撮像工程と；
前記基準線を通過する前記通過物体を、前記第１の時点および前記第１の時点から所定の時間だけ経過した第２の時点に、前記第１の位置と並列で、且つ前記平面に対向した第２の位置から撮像して、第２の画像および第３の画像を取得する第２の撮像工程と；
前記第１の画像、前記第２の画像、および前記第３の画像を取得する画像処理工程と；
前記第１の画像と前記第２の画像から対応点を求め、前記第２の画像と前記第３の画像から対応点を求める対応点探索工程と；
前記第１の画像と前記第２の画像から求めた対応点を用いて、前記通過物体上の前記基準線に沿った複数の部位に関して、前記通過物体の前記平面からの高さを時系列的に取得する奥行情報算出工程と；
前記第２の画像と前記第３の画像から求めた対応点を用いて、前記複数の部位のうち少なくとも１つの部位に関して、前記基準線に垂直で前記平面に平行な進行方向の速度を時系列的に取得する速度情報算出工程と；
前記取得された高さに前記速度の重みを乗じた値を前記基準線に沿って速度の向き別に加算した値を時間積分する積分演算工程とを備える；
通過物体計数方法。
【請求項７】
平面に沿って該平面上の基準線を通過する通過物体を、前記平面に対向した第１の位置から、第１の時点に撮像して、第１の画像を取得する第１の撮像工程と；
前記基準線を通過する前記通過物体を、前記第１の時点から所定の時間だけ経過した第２の時点に、前記第１の位置と並列で、且つ前記平面に対向した第２の位置から撮像して、第２の画像を取得する第２の撮像工程と；
前記第１の画像と前記第２の画像を取得する画像取得工程と；
前記第１の画像と前記第２の画像から対応点を求める対応点探索工程と；
前記対応点を用いて、前記通過物体上の前記基準線に沿った複数の部位に関して、前記第１と第２の画像間の視差を表す量から前記通過物体の前記平面からの高さを時系列的に取得する奥行情報算出工程と；
前記対応点を用いて、前記複数の部位のうち少なくとも１つの部位に関して、前記基準線に垂直で前記平面に平行な進行方向の速度を時系列的に取得する速度情報算出工程と；
前記取得された高さに前記速度の重みを乗じた値を前記基準線に沿って速度の向き別に加算した値を時間積分する積分演算工程とを備える；
通過物体計数方法。
【請求項８】
平均的な前記通過物体の１個分の体積を閾値として予め設定する工程と；
前記積分演算部で時間積分して得られた値が前記閾値を越えたときに、前記通過物体が１だけ通過したものとして計数する通過計数演算工程を備える、
請求項６または請求項７に記載の通過物体計数方法。
【請求項９】
平均的な前記通過物体の１個分の体積を閾値として予め設定する工程と；
前記積分演算部で時間積分して得られた値を前記閾値で除算した値を前記通過物体が通過した数として計数する除算通過計数演算工程を備える、
請求項６または請求項７に記載の通過物体計数方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、通過物体計数装置及び計数方法に関し、特にステレオ画像から通過物体を計数する通過物体計数装置及び計数方法に関するものである。
【０００２】
【従来の技術】
２台の撮像装置により得られた通過物体のステレオ画像から、計数線上での高さ情報と速度情報を算出し、３次元情報を得る。次に得られた３次元情報を一定の高さで輪切りにして、その高さについて通過物体を時間方向に一定時間並べた時の平面的な時空間画像を作成する。そして作成した平面的な時空間画像を用いて、前記一定の高さにおいて一定以上の幅×時間の面積を持つ物体であるかどうかで、通過物体を計数していた。
【０００３】
【発明が解決しようとする課題】
以上のような従来の通過物体計数装置によれば、次のような問題があった。一定時間の平面的な時空間画像で、一定の高さにおいて一定以上の幅×時間の面積を持つ物体であるかどうかで計数を行う方法では、計算に時間がかかり、また逐次処理ができなかった。
【０００４】
そこで本発明は、計算量を減らし高速処理でき、逐次処理が可能な通過物体計数装置及び計数方法を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、第１の態様の通過物体計数装置は、例えば図１に示すように、平面２に沿って平面２上の基準線１を通過する通過物体５の奥行情報と速度情報とから通過物体５を計数する通過物体計数装置１０において；前記取得された奥行情報に前記速度情報で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分する積分演算部２１（図２）と；前記時間積分によって得られた値と予め設定された閾値とに基づいて基準線１を通過した通過物体５を計数する通過計数演算部２２、２３（図２）とを備える。
【０００６】
このように構成すると、積分演算部２１と、通過計数演算部２２、２３とを備えるので、取得された奥行情報に速度情報で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分した値を取得することができ、通過計数演算部２２、２３を備えるので、時間積分によって得られた値と予め設定された閾値とに基づいて基準線１を通過した通過物体５を計数することができる。なお速度の向きは、同じ速度の方向について、正の向きと負の向きとがある。
【０００７】
前記目的を達成するために、第２の態様の通過物体計数装置は、例えば図１に示すように、平面２に沿って平面２上の基準線１を通過する通過物体５を撮像する、平面２に対向して設けられた複数の撮像装置１１、１２と；複数の撮像装置１１、１２によって撮像された通過物体５の画像同士を比較して、通過物体５上の基準線１に沿った複数の部位に関して、通過物体５の平面２に交差する奥行方向の奥行情報と前記複数の部位のうち少なくとも１つの部位に関して、基準線１に垂直で平面２に平行な進行方向の速度情報を、時系列的に取得する比較演算部２０（図２）と；前記取得された奥行情報に前記速度情報で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分する積分演算部２１（図２）とを備える。なお同じ進行方向について、進行の向きは正の向きと負の向きとがある。
【０００８】
このように構成すると、複数の撮像装置１１、１２と、比較演算部２０とを備えるので、奥行情報と速度情報を時系列的に取得することができ、積分演算部２１を備えるので、取得された奥行情報に速度情報で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分した値を取得することができる。積分演算部２１で計算されるのは結局通過物体５の体積である。
【０００９】
前記目的を達成するために、第３の態様の通過物体計数装置は、例えば図１に示すように、平面２に沿って平面２上の基準線１を通過する通過物体５を撮像する、平面２に対向して設けられた第１の撮像装置１１と；第１の撮像装置１１と並列に、且つ平面２に対向して設けられ、基準線１を通過する通過物体５を、第１の撮像装置１１の撮像時点より所定の時間だけ遅らせて撮像する第２の撮像装置１２と；第１の撮像装置１１によって撮像された前記通過物体５の画像Ａと前記所定の時間だけ遅らせて第２の撮像装置１２によって撮像された前記通過物体の画像Ｂとを比較して、通過物体５上の基準線１に沿った複数の部位に関して、通過物体５の平面２に交差する奥行方向の奥行情報と前記複数の部位のうち少なくとも１つの部位に関して、基準線１に垂直で平面２に平行な進行方向の速度情報を、時系列的に取得する比較演算部２０（図２）と；前記取得された奥行情報に前記速度情報で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分する積分演算部２１（図２）とを備える。
【００１０】
通過物体５が移動する面は、例えば図１２に示すように、水平な平面に限らず斜面や階段のように傾斜した面２’であってもよい。但し、必要に応じて例えば図１２（ａ）のような場合には、傾斜角度により奥行情報と速度情報を補正する。
【００１１】
また通過物体５の進行方向に交差する基準線１は、通過物体５の進行方向に垂直な線とするのがよい。また第１と第２の撮像装置は、並列に、基準線１と平行な方向に並べるのがよい。奥行方向は、典型的には平面に垂直な方向、又は鉛直方向である。
【００１２】
このように構成すると、第１の撮像装置１１によって撮像された通過物体５の画像Ａと所定の時間だけ遅らせて第２の撮像装置１２によって撮像された通過物体５の画像Ｂとを比較して、通過物体５上の基準線１に沿った複数の部位に関して、通過物体５の平面２に交差する奥行方向の奥行情報と前記複数の部位のうち少なくとも１つの部位に関して、基準線１に垂直で平面２に平行な進行方向の速度情報を、時系列的に取得する比較演算部２０と、前記取得された奥行情報に前記速度情報で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分する積分演算部２１とを備えるので、画像Ａと画像Ｂから通過物体５の位置情報と速度情報を得ることができる。
【００１３】
また第４の態様は、第２の態様または第３の態様の通過物体計数装置１０において、積分演算部２１で時間積分して得られた値が予め設定された閾値を越えたときに、通過物体５が１だけ通過したものとして計数する差算通過計数演算部２２を備えるとよい。
【００１４】
このように構成すると、通過物体５の計数は、通過物体の通過個数（自然数）に対する時間で把握することになる。又は一定時間に通過する個数で把握する。
【００１５】
また第５の態様は、第２の態様または第３の態様の通過物体計数装置１０において、積分演算部２１で時間積分して得られた値を予め設定された閾値で除算した値を通過物体５が通過した数として計数する除算通過計数演算部２３を備えるとよい。
【００１６】
このように構成すると、通過物体５の計数は、時刻で区切ってその間に通過した通過物体の個数を小数点まで求めることになる。
【００１７】
予め設定された閾値とは、典型的には通過物体１個分の体積値である。この体積値は通過物体、場所、時刻、季節等の条件によって、適切な値を定めるとよい。例えば、通過物体が人であり、場所が遊園地であれば子供が中心であり、子供対大人の平均的人数比率を考慮して定めるが体積値は小さめになる。ラッシュアワーの駅であれば、大人の男性が中心であり、冬季であればオーバーコートを着ているので、体積は大きく定める。これを場合毎に統計的に求めておくとよい。
【００１８】
前記目的を達成するために、第６の態様の通過物体計数方法は、例えば図４に示すように、平面に沿って該平面上の基準線を通過する通過物体を前記平面に対向する方向から撮像して、複数の画像を取得する撮像工程Ｓ１と；撮像工程Ｓ１で取得された複数の画像同士を比較して、前記通過物体上の前記基準線に沿った複数の部位に関して、前記通過物体の前記平面に交差する奥行方向の奥行情報と前記複数の部位のうち少なくとも１つの部位に関して、前記基準線に垂直で前記平面に平行な進行方向の速度情報を、時系列的に取得する比較演算工程Ｓ９、Ｓ１２と；前記取得された奥行情報に前記速度情報で重み付けした値を前記基準線に沿って速度の向き別に加算した値を時間積分する積分演算工程Ｓ１３とを備える。
【００１９】
前記目的を達成するために、第７の態様の通過物体計数方法は、例えば図５に示すように、平面に沿って該平面上の基準線を通過する通過物体を、前記平面に対向した第１の位置から、第１の時点に撮像して画像Ａを取得する第１の撮像工程Ｓ３２と；前記基準線を通過する前記通過物体を、前記第１の時点から所定の時間だけ経過した第２の時点に、前記第１の位置と並列で、且つ前記平面に対向した第２の位置から撮像して画像Ｂを取得する第２の撮像工程Ｓ３３と；前記画像Ａと前記画像Ｂとを比較して、前記通過物体上の前記基準線に沿った複数の部位に関して、前記通過物体の前記平面に交差する奥行方向の奥行情報と前記複数の部位のうち少なくとも１つの部位に関して、前記基準線に垂直で前記平面に平行な進行方向の速度情報を、時系列的に取得する比較演算工程Ｓ３８、Ｓ３９と；前記取得された奥行情報に前記速度情報で重み付けした値を前記基準線に沿って速度の向き別に加算した値を時間積分する積分演算工程Ｓ４０とを備える。
【００２０】
このように構成すると、画像Ａと画像Ｂとを比較して、通過物体の平面に交差する奥行方向の情報と基準線に交差し（典型的には垂直に交差し）平面に平行な進行方向の速度を演算する比較演算工程Ｓ３８、Ｓ３９を備えるので、通過物体５の位置情報と速度情報を得ることができる。
【００２１】
また第８の態様は、第６の態様または第７の態様の通過物体計数方法において、平均的な前記通過物体の１個分の体積を閾値として予め設定する工程Ｓ０と；前記積分演算部で時間積分して得られた値が前記閾値を越えたときに、前記通過物体が１だけ通過したものとして計数する通過計数演算工程Ｓ１５を備えるとよい。
【００２２】
また第９の態様は、第６の態様または第７の態様の通過物体計数方法において、平均的な前記通過物体の１個分の体積を閾値として予め設定する工程Ｓ０と；前記積分演算部で時間積分して得られた値を前記閾値で除算した値を前記通過物体が通過した数として計数する除算通過計数演算工程Ｓ２０を備えるとよい。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００２４】
図１は、本発明による実施の形態である通過物体計数装置１０（以下適宜「計数装置１０」という）の模式的斜視図である。図中通過物体５が平面である水平な通路２上を進行方向に移動している。ＸＹ軸を通路２内に置くように、直交座標系ＸＹＺがとられており、通路２はＹ軸と平行に延設されている。また通路２の延設方向と垂直即ちＸ軸と平行に基準線である計数線１がとられている。通過物体５の進行方向は、典型的には通路２の延設方向即ちＹ軸と平行である。通過物体５は、本実施の形態では人物である。また本実施の形態では、計数線１は通路２の延設方向と垂直としているが、特に垂直としなくてもよい。垂直でない場合は、Ｘ軸との角度で視差と速度を補正すればよい。計数線１は、この線を通過した通過物体５を計数するための基準線であり、仮想的な線であってもよく、実際に物理的に通路２に描く必要はない。
【００２５】
一方、図中通路２の計数線１の鉛直方向上方には、通過物体である人物５が通過するのに十分な高さに、通路２の計数線１を通過する通過物体５を撮像するための第１の撮像装置１１と第２の撮像装置１２が設置されている。第１の撮像装置１１と第２の撮像装置１２は、適切な間隔をあけて並列に、計数線１と平行で且つ光軸がＺ軸と平行になるように設置してある。ここでいう人物５が通過するのに十分な高さとは、例えば３０００ｍｍ程度である。また、適切な間隔とは、例えば５０ｍｍ程度である。
【００２６】
図２を参照して、通過物体計数装置１０の構成の一例を説明する。計数装置１０は、第１の撮像装置としての第１のＣＣＤカメラ１１、第２の撮像装置としての第２のＣＣＤカメラ１２、演算装置としてのパソコン１３を含んで構成される。
【００２７】
そして第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２は、パソコン１３に接続されており、パソコン１３は第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２によってそれぞれ撮像された画像を取得出来るように構成されている。
【００２８】
パソコン１３は、制御部１４を備えており、計数装置１０全体を制御している。制御部１４には、撮像装置用インターフェイス１５が接続されており、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２は、撮像装置用インターフェイス１５を介して制御部１４に接続され、制御されている。
【００２９】
また制御部１４内には、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２により取得したステレオ画像から、通過物体５の奥行情報である通過物体５の高さと、通過物体５の速度情報である通過物体５の速度を時系列的に取得する比較演算部２０、取得した通過物体５の高さに速度で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分する積分演算部２１、積分演算部２１で時間積分して得られた値である体積値が、予め設定された閾値を越えたときに通過物体５が１だけ通過したものとして計数する差算通過計数演算部２２、体積値を予め設定された閾値で除算した値を通過物体の通過した数として計数する除算通過計数演算部２３が備えられている。比較演算部２０は、高さを基準線１に沿って速度の向き別に加算した値に速度で重み付けするようにしてもよい。
【００３０】
また、本実施の形態では、差算通過計数演算部２２と除算通過計数演算部２３を共に備えるとしたが、どちらか一方を備えればよい。この時、差算通過計数演算部２２を備えた場合は、例えば、任意の自然数だけ通過物体５が通過した時間を得ることができ、除算通過計数演算部２３を備えた場合は、例えばある時刻で区切った任意の時間間隔における通過物体５の通過した数を小数（例えば１０．６）として逐次得ることができるので、目的や用途に合わせて差算通過計数演算部２２と除算通過計数演算部２３のいずれかを選択するとよい。
【００３１】
制御部１４には、記憶部１８が接続されており、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２で撮像された画像や算出された情報等のデータが記憶できる。
【００３２】
また制御部１４には、計数装置１０を操作するための情報を入力する入力装置１６、計数装置１０で処理された結果を出力する出力装置１７が接続されている。入力装置１６は例えばキーボードやマウスであり、出力装置１７は例えばディスプレイやプリンタである。本図では、入力装置１６、出力装置１７はパソコン１３に外付けするものとして図示されているが、内蔵されていてもよい。
【００３３】
さらに図３に示すように、比較演算部２０内には、ＣＣＤカメラにより撮像された画像を処理する画像処理部２５、第１のＣＣＤカメラにより撮像された画像と、第２のＣＣＤカメラにより撮像された画像から対応点を求める対応点探索部２６、通過物体５の奥行情報である高さを算出する奥行情報算出部２７、通過物体５の速度情報である速度を算出する速度情報算出部２８が備えられている。画像を処理するとは、例えば第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２からの撮像信号から画像Ａとしての第１の画像、第２の画像、画像Ｂとしての第３の画像を取得することをいう。
【００３４】
図４のフローを参照して、第１の実施の形態としての計数装置１０の作用の一例を説明する。ここで、第１のＣＣＤカメラ１１で撮像された画像を左画像、第２のＣＣＤカメラで撮像された画像を右画像として説明する。まず計数装置１０の使用者はパソコン１３に閾値を設定する（ステップ０（図中「Ｓ０」と表示。
以下同じ））。
【００３５】
次にパソコン１３の制御部１４は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２で撮像された左画像、右画像を、撮像装置インターフェイス１５を介してステレオ画像として取得する（ステップ１）。
【００３６】
制御部１４は、取得したステレオ画像から、制御部１４内の画像処理部１９によって、ある時間ｔに撮像された第１の画像であるｔフレームの左画像を取得し（ステップ２）、同時に第２の画像であるｔフレームの右画像を取得する（ステップ３）。また時点ｔよりΔｔ経過した時点ｔ＋Δｔに撮像された第３の画像であるｔ＋Δｔフレームの右画像を取得する（ステップ３）。
【００３７】
実際には同時並列的に一定間隔で撮像を行い、第１の画像、第２の画像として時点ｔの画像を、第３の画像として１フレーム以上ずらした時点ｔ＋Δｔの画像を採用するようにすればよい。このときΔｔは、計数装置１０の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。即ち１フレームだけずらしたフレームを採用する。この時、Δｔを１／３０秒とすると、例えば８０ｍ／ｍｉｎで歩く人を撮像した場合、フレームＮ＋１は、フレームＮと比べて撮像された人が約４．４ｃｍ進行方向に移動した画像となる。
【００３８】
次に、ｔフレームの右画像のエッジ抽出を行い（ステップ５）、細線化する（ステップ６）。そして、ｔフレームの右画像の計数線１上のエッジ点を用いてｔフレームの左画像の第１の対応点探索を行なう（ステップ７）。また、エッジ抽出、細線化、対応点探索については、図６を参照してあとで詳しく説明する。
【００３９】
第１の対応点探索により得られた対応点から奥行情報を算出する（ステップ８）。ここで、背景除去によってあらかじめ非背景部分を規定しておき、その部分に対して、エッジ点における値を反映させるための線形補間を行なう（ステップ９）。ここで線形補間とは、例えば１つのエッジ点と、それに隣接するエッジ点の３次元座標を用いて、両エッジ点を直線で結ぶことにより、両エッジ点の間の点の３次元座標を得るようにするものである。
【００４０】
また同時に、ｔフレームの右画像の計数線１上のエッジ点を用いてｔ＋Δｔフレームの右画像の第２の対応点探索を行ない（ステップ１０）、第２の対応点探索により得られた対応点から速度情報を算出する（ステップ１１）。そして、同様に線形補間を行なう（ステップ１２）。また、奥行情報及び速度情報を算出する方法は、図７、図８を参照してあとで説明する。
【００４１】
そして、算出された奥行情報に速度情報を乗じたものを時間方向に加え体積値を加算する（ステップ１３）。体積値を算出する方法は、図９、図１０を参照してあとで説明する。ここで奥行情報に速度情報を乗じて重み付けするのは、通過速度の速い通過物体は、通過速度と通過フレーム数は反比例するので、単に時空間像で計算すると体積値が小さくなるためである。また、通過物体の体積を算出するので、体積の無い通過物体の影を誤って計数してしまうことがない。
【００４２】
これにより得られた体積値と予め設定された閾値とを比較して（ステップ１５）、体積値が閾値より大きい場合は（ステップ１５がＹ）、通過物体５である人物が１人通過したと判断して計数し（ステップ１６）、体積値から閾値を差し引く（ステップＳ１８）。このとき、前述で算出した速度情報を、通過した通過物体５の進行の向きとして反映させる（ステップ１７）。体積値が閾値より小さい場合は（ステップ１５がＮ）、次のフレームを取得し、さらに体積値を加算する。また予め設定された閾値とは、典型的には通過物体の最小体積値である。
【００４３】
以上では、計数に差算通過計数演算部２２を用いた場合を説明したが、除算通過計数演算部２３を用いた場合は（図中破線で示す）、まず同様に算出された奥行情報に速度情報を乗じたものを時間方向に加え体積値を加算する（ステップ１３）。そして、これにより得られた体積値で計数するかを判断する（ステップ１９）。この判断は、例えば取得した画像のフレーム数を予め設定しておいて、設定したフレーム数になると自動的に計数する判断をするようにしてもよいし、使用者の判断で逐次計数する判断をするようにしてもよい。
【００４４】
計数する場合は（ステップ１９がＹ）、取得した体積値を予め設定された閾値で除算し（ステップ２０）、これにより得られた値を通過物体５である人物の通過人数として計数する（ステップ２１）。このとき、前述で算出した速度情報を、通過した通過物体５の進行の向きとして反映させる（ステップ１７）。計数しない場合は（ステップ１９がＮ）、次のフレームを取得し、さらに体積値を加算する。
【００４５】
図５のフローを参照して、第２の実施の形態としての計数装置１０の作用の一例を説明する。第１の実施の形態と同様にまず計数装置１０の使用者はパソコン１３に閾値を設定し（ステップ３０）、ステレオ画像を取得する（ステップ３１）。
【００４６】
制御部１４は、取得したステレオ画像から、制御部１４内の画像処理部１９によって、ある時間ｔに撮像された画像Ａとしての第１の画像であるｔフレームの左画像を取得する（ステップ３２）。また時点ｔよりΔｔ経過した時点ｔ＋Δｔに撮像された画像Ｂとしての第３の画像であるｔ＋Δｔフレームの右画像を取得する（ステップ３３）。
【００４７】
実際には、第１のＣＣＤカメラと第２のＣＣＤカメラとは同時並列的に各時点で撮像を行い、第１の画像として時点ｔの画像を、第３の画像として１フレーム以上ずらした時点ｔ＋Δｔの画像を採用するようにしてもよい。このときΔｔは、計数装置１０の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。
【００４８】
次に、ｔフレームの左画像のエッジ抽出を行い（ステップ３４）、細線化する（ステップ３５）。そして、ｔフレームの左画像の計数線１上のエッジ点を用いてｔ＋Δｔフレームの右画像の第３の対応点探索を行なう（ステップ３６）。
【００４９】
次に第３の対応点探索により得られた対応点から、奥行情報を算出する（ステップ３７）。ここで、背景除去によってあらかじめ非背景部分を規定しておき、その部分に対して、エッジ点における値を反映させるための線形補間を行なう（ステップ３８）。同時に速度情報も算出し（ステップ３９）、同様に線形補間も行なう（ステップ４０）。奥行情報及び速度情報を算出する方法は、図７、図８を参照してあとで説明する。そして算出された奥行情報に速度情報を乗じたものを時間方向に加え体積値を加算する（ステップ４１）。以下、第１の実施の形態と同様にして計数する。
【００５０】
図６を参照して、第３対応点探索についてさらに詳細に説明する。ここで、図示の各フレームでの通過物体として人物を、ハッチングにより表現しているが、これは断面を示しているものではなく、単に上方から撮像された人物を表現するものである。
【００５１】
ここでは奥行情報および速度情報を求めるために、２枚の画像の対応点を求める。まず、ｔフレームの左画像と、ｔ＋Δｔフレームの右画像での対応を求める。この際、近傍領域に特徴のない画素に関しては対応関係が明確に定まらない。
そこで、以下のような流れで探索を行う。
【００５２】
まず、ｔフレームの左画像のエッジ抽出を行い細線化した画像を求め、そのエッジ点においてのみ対応点探索を行う。エッジ抽出とは、濃淡で取得された画像から対象とする通過物体のエッジ点の集合である輪郭を抽出し、例えば座標で特定することをいう。また細線化とは、例えばエッジ抽出を行なった画像を、エッジ抽出で得られた通過物体の輪郭のみを細線で示した画像とするものである。
【００５３】
対応点探索を行うには、まずｔフレームの左画像の前記特定された輪郭上の点をエッジ点として選定し、濃淡画像上でそのエッジ点を含む近傍領域にウインドウを設定する。典型的には計数線上にあるエッジ点を選定する。エッジ点は典型的には前記細線と計数線との交点であり、通常は複数、典型的には１０〜２０点存在する。これら複数のエッジ点のうち、例えば最も左にある点をまず選定する。選定したエッジ点が中心になるようにウインドウを設定するとよい。そして前記設定されたウインドウを参照して、ｔ＋Δｔフレームの右画像にウインドウを設定する。
【００５４】
これらのウインドウについて、図１１に示す式１を用いてｔフレームの左画像とｔ＋Δｔフレームの右画像との濃淡値の相関をとる。ここで、ＩＬ（ｉ,ｊ）とＩＲ（ｉ,ｊ）はそれぞれ左右画像上のウインドウ内の濃淡値であり、μＬ, μＲ, σＬ, σＲはそれぞれ左右ウインドウの濃淡値の平均及び分散である。Ｃは−１から＋１までの範囲内の値をとる。選定された左画像のエッジ点に対して、右画像のウインドウを少しずつ、例えば計数線に平行に移動し、また計数線に直交する方向に移動しながら、各ウインドウでＣ値を計算する。このようにて求めたＣのうち最大値を与える右画像のウインドウを、選定された左画像のウインドウに対応する局所領域とみなす。
【００５５】
即ち、上記のように左右画像のウインドウの相関をとり、左画像で選定したエッジ点を含むウインドウと対応する（Ｃが最大となる）右画像のウインドウを探索する。この探索により得られた右画像のウインドウの中心が、先に選定した左画像のエッジ点に対応する右画像のエッジ点となる。
【００５６】
ウインドウの探索は、例えば計数線と平行方向（Ｘ軸方向）と垂直方向（Ｙ軸方向）に行う。例えば通過物体が人物である場合は、計数線と平行方向は後述のように左右画像間の視差と見るので、既に設定した左画像のウインドウを参照して、例えば高さが１ｍ〜２ｍと算出される視差の幅を探索すればよい。垂直方向は、後述のように人物の移動量と見るので、既に設定した左画像のウインドウを参照して、時間Δｔ間に人物が移動すると予想される移動量の幅を探索すればよい。またＣの値が、探索している方向に上昇傾向ならば、さらにＣの値が最大となり、下降傾向に移るまで同じ探索方向に探索を継続し、下降傾向ならば、探索方向を変えるか、既に探索した範囲でＣの値が最大となるウインドウを選択するようにしてもよい。
【００５７】
このようにウインドウの探索を行えば、明らかに探索不要な部分の左右画像のウインドウの相関をとらなくてよいので、さらに計算量を減らすことができる。以上のようにして左画像に存在する全てのエッジ点について対応点の探索を行い、左右画像の対応するエッジ点を得る。
【００５８】
以上では、第２の実施の形態の第３の対応点探索について説明したが、第１の実施の形態の第１の対応点探索、第２の対応点探索についても同様の対応点探索を行う。
【００５９】
図７を参照して、奥行情報と速度情報の算出についてさらに詳細に説明する。まず前述で得られた左右画像の対応するエッジ点同士を結ぶベクトルを考え、これを水平成分（Ｘ軸方向成分）と垂直成分（Ｙ軸方向成分）に分離する。水平成分は、左右画像間の視差を表す量と見ることができ、この視差を用いて対象とする通過物体までの距離を算出することができる。対して、垂直成分は、注目点の通路に沿う方向の移動量と見ることができ、これを基に対象とする通過物体の速度情報を得ることができる。こうして、エッジ点における奥行情報である３次元高さ、速度情報である速度を対の形で一括して得ることができる。
【００６０】
なお、１つの通過物体について得られた速度は、通常は等しいはずであるので、各エッジ点全てについて速度を求める必要はなく、例えば最も中心に近い点の速度を採用すればよい。または、各エッジ点の速度を求めて、突出した値を有するエッジ点は、探索に誤りがあったものとして再探索を行うか又はその点は不採用とするとよい。あるいは各エッジ点の速度を全て求めて、それらの平均値を計算し、その物体の速度として採用してもよい。
【００６１】
また、後で説明する速度による重み付けには、各点毎の速度を用いてもよいし、平均値で求めた通過物体の速度を各点共通に用いてもよい。
【００６２】
ここで左右画像は、Δｔだけ時間的にずれた画像ではあるが、Δｔが充分に小さい値であれば、左右画像には視差を求めるのに差支えるほどの差は生じない。逆にそのようにΔｔを定めることにしてもよい。即ち視差を求めるのに差支えず、且つ速度情報を得るのに充分な長さとする。例えば、対象とする通過物体が歩行者の場合は１／６０〜１／１０秒程度、特に１／４０〜１／２０秒、さらに好ましくは約１／３０秒とする。
【００６３】
このように第２の実施の形態によれば、第１の実施の形態では３枚の画像を使って高さ、速度を求めたのに対して、２枚の画像の処理のみで済むので、計算量を大幅に減らすことができ、処理の高速化が可能になる。
【００６４】
ここで、図８を参照して、対象とする通過物体の奥行情報としての平面からの高さｚの算出方法について説明する。対象とする通過物体５までの距離ａは、図１１に示す式２を用いて算出することができる。ここで、ｗはＣＣＤカメラ間距離（基線長）、ｆはＣＣＤカメラの結像レンズを単一レンズとしたときそのレンズの焦点距離、dはＣＣＤカメラの結像面上の視差である。ここでの焦点距離は、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離とする。また、ＣＣＤカメラの結像レンズから計数線１までの距離をｈとすると、対象とする通過物体５の高さｚは図１１に示す式３で算出する。
【００６５】
図９、図１０を参照して、前述の方法によって各フレームで算出した通過物体の高さおよび速度を用いて、計数を行う方法を説明する。ある位置ｘの、あるｔフレームにおける物体の高さをｚ（ｘ，ｔ）、同じ位置、同じフレームにおける速度をｖ（ｘ，ｔ）とする。前述の対応点探索により、ｚ（ｘ，ｔ）には高さ約０〜１８５ｃｍに対応させた０〜２５５の値が、ｖ（ｘ，ｔ）には速度約−１２〜１２ｋｍ／ｈに対応させた−５〜５の値が求められている（図９（ａ））。
【００６６】
次に、そのフレームの積ｚｖを、Ｘ軸方向へ加算する。この総和、すなわち図１１に示す式４は、あるフレームの奥行情報に、速度の重みを乗じた値（ある時点において単位時間に通過する体積）を意味している。直感的には、計数線を通過したときの人の時空間における断面積と見ることができるので、ここではこの値を「面積値」と呼ぶことにする（図９（ｂ））。後に速度の向き別に計測する必要があるため、この加算の作業も、ｖ（ｘ，ｔ）の正負すなわち通過する人の進行の向きによって、加算する変数を図１１に示す式５のように区別しておく。
【００６７】
次に、各ラインで算出された面積値を時間方向に加算していく（図１０−（ａ））。この和、すなわち図１１に示す式６は、通過した人の体積を表すことになる。これをここでは「体積値」と呼ぶことにする（図１０−（ｂ））。フレーム間隔を一定に保っている限り、通過速度と通過フレーム数は反比例するので、速度の重みを考慮したこの加算によって、一人一人の通過から算出される体積値がある程度正規化される。即ち、３次元空間における真の体積値が求められる。
【００６８】
図１２を参照して、通過物体５が斜面を移動する場合を説明する。例えば階段や坂道などの傾斜した面２’を通過物体５が移動している場合、平面２は基準線１と第１、第２の撮像装置１１、１２を結ぶ線に垂直な仮想平面２とするのがよい。
【００６９】
対象とする通過物体５が人物の場合は、斜面であっても鉛直方向に立つので、ＣＣＤカメラの光軸は鉛直方向に向ける（図１２（ａ））。この場合は、仮想平面２は水平面となる。この例では、例えば傾斜した面２’と仮想平面２とのなす角をθとすると、仮想平面２からの通過物体５の高さを得るには、斜面２’を移動する通過物体５の時間Δｔの移動量にｔａｎθを乗じた値を、斜面２’を移動する通過物体５の算出された高さから引けばよい。
【００７０】
また対象とする通過物体５が、例えば車の場合は、斜面をそのまま本発明の平面２としてよい。この場合、ＣＣＤカメラの光軸は斜面に垂直な方向に向ける（図１２（ｂ））。
【００７１】
次に、本発明の実施例を使用して、実際に行なわれた計数実験の結果について述べる。実験は、大学の校舎の仮設通路で、晴天の昼間に以下の条件で行なった。
実験１：１分あたり約４０人通過
実験２：１分あたり約８０人通過
実験３：１分あたり約１２０人通過
撮像装置の設定条件は、撮像装置としてＣＣＤカメラを使用し、カメラ高さ２９５ｃｍ、通路幅２００ｃｍ、カメラの基線長（カメラ間距離）４７ｍｍ、焦点距離４．８ｍｍである。また、実際の計数では、前述の除算通過計数演算部２３を用いて、３０ラインの処理が終了した時点で計数人数を算出する。３０ライン分の総体積値をあらかじめ別の入力画像によって決定しておいた１人分の体積値で割った値を通過人数とする。ここでラインとは、フレームの処理単位のことである。
【００７２】
６００フレーム、時間にして２０秒ごとの計数結果として、実験１の結果を図１３、実験２の結果を図１４、実験３の結果を図１５に示す。各図に示す通過人数に付された正負の符号は、互いに逆の向きに人物が進行したことを表すものである。また各図中の計数結果は、自然数として表示しているが、除算通過計数演算部２３を用いる場合であるので、小数点まで表示することもできる。
【００７３】
各実験の精度は、実験１で８７％、実験２で８９％、実験３で９０％であった。ただし、この精度は２０秒ごとで算出したものの平均値であり、計数を長時間にわたって継続して累積したデータで精度を算出すると、各実験とも、９５％を超える高い精度を示した。
【００７４】
図１６は、人がカウンターを持って行うマニュアル計数による計数結果と、本発明を使用して計数した計数結果とを比較したものである。マニュアル計数では、混み合いが少ない場合は正確に計数できるが、混み合いが激しくなるにつれて、精度が極端に落ちている。
【００７５】
それに対して、本発明を使用した計数では、混み合いによらず安定した精度を保っていることがわかる。
【００７６】
以上説明したように本発明の実施の形態によれば、２台のＣＣＤカメラより取得したステレオ画像から通過物体の高さ、速度が取得でき、取得した高さ、速度から通過物体の体積を速度別に取得できるので、従来と比較してより正確に通過物体を逐次計数することができる。
【００７７】
【発明の効果】
以上のように本発明によれば、複数の撮像装置によって撮像された通過物体の画像同士を比較して、通過物体上の基準線に沿った複数の部位に関して、通過物体の平面に交差する奥行方向の奥行情報と前記複数の部位のうち少なくとも１つの部位に関して、基準線に垂直で平面に平行な進行方向の速度情報を、時系列的に取得する比較演算部と、記取得された奥行情報に前記速度情報で重み付けした値を基準線に沿って速度の向き別に加算した値を時間積分する積分演算部とを備えるので、複数の撮像装置によって撮像された通過物体の奥行情報と速度情報を取得し、取得された奥行情報に速度情報で重み付けした値を基準線に沿って速度の向き別に加算した値を時間積分した値を取得でき、計算量を減らし高速処理でき、逐次処理が可能な通過物体計数装置及び計数方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である通過物体計数装置の概要を示す模式的斜視ブロック図である。
【図２】本発明の実施の形態である通過物体計数装置の構成例を示すブロック図である。
【図３】本発明の実施の形態で用いる比較演算部の構成例を示すブロック図である。
【図４】本発明の第１の実施の形態である通過物体計数装置の作用の一例あるいは本発明の実施の形態である通過物体計数方法を示すフローチャートである。
【図５】本発明の第２の実施の形態である通過物体計数装置の作用の一例あるいは本発明の実施の形態である通過物体計数方法を示すフローチャートである。
【図６】本発明の実施の形態で、第１の画像と第３の画像の第３の対応点探索を行う場合の処理例を説明する画像図である。
【図７】図６の場合における、第１の画像と第３の画像の対応点を結ぶベクトルを説明する画像図である。
【図８】本発明の実施の形態で、第１の撮像装置と第２の撮像装置の視差から、通過物体の高さを算出する方法を説明する様式的正面図である。
【図９】本発明の実施の形態で、計数を行う方法を説明する様式的斜視図である。
【図１０】図９の場合における、計数を行う方法を説明する様式的斜視図である。
【図１１】本発明の実施の形態の説明で用いられる計算式を示す図である。
【図１２】傾斜した面を移動する通過物体を計数する方法の例として、仮想平面で計数する場合（ａ）と斜面をそのまま本発明の平面とする場合（ｂ）を説明する図である。
【図１３】本発明の実施の形態による、実験１の計数実験の結果を示す図である。
【図１４】本発明の実施の形態による、実験２の計数実験の結果を示す図である。
【図１５】本発明の実施の形態による、実験３の計数実験の結果を示す図である。
【図１６】マニュアル計数の計数結果と本発明の実施の形態による通過物体計数装置を使用しての計数の計数結果との比較を示す図である。
【符号の説明】
１  計数線
２  通路
５  通過物体
１０  通過物体計数装置
１１  第１のＣＣＤカメラ
１２  第２のＣＣＤカメラ
１３  演算装置
１４  制御部
１５  撮像装置用インターフェイス
１６  入力装置
１７  出力装置
１８  記憶部
２０  比較演算部
２１  積分演算部
２２  差算通過計数演算部
２３  除算通過計数演算部
【図１】
0004825350.tif 000002
【図２】
0004825350.tif 000003
【図３】
0004825350.tif 000004
【図４】
0004825350.tif 000005
【図５】
0004825350.tif 000006
【図６】
0004825350.tif 000007
【図７】
0004825350.tif 000008
【図８】
0004825350.tif 000009
【図９】
0004825350.tif 000010
【図１０】
0004825350.tif 000011
【図１１】
0004825350.tif 000012
【図１２】
0004825350.tif 000013
【図１３】
0004825350.tif 000014
【図１４】
0004825350.tif 000015
【図１５】
0004825350.tif 000016
【図１６】
0004825350.tif 000017