(57)【特許請求の範囲】
【請求項１】
平面に沿って該平面上の基準線を通過する通過物体を計数する通過物体計数方法において；
前記通過物体の前記基準線における時空間画像であって、該時空間画像上の規則的に配列された複数の小領域に、前記通過物体の前記小領域に対応する部分の前記平面からの高さ情報が振り当てられた時空間画像を形成する画像形成工程と；
前記複数の小領域から、高さ極大の小領域を抽出する極大抽出工程と；
前記抽出された小領域を囲む小領域であって、前記極大高さから一定の高さ範囲にある小領域を集合した集合領域を求める集合領域決定工程と；
前記集合領域決定工程で求められた集合領域の面積を予め定められた第１の閾値と比較する比較工程と；
前記集合領域の面積が前記第１の閾値よりも大なるときに１カウントの計数を行なう加算工程とを備える；
通過物体計数方法。
【請求項２】
前記高さ情報に対応させて前記基準線に交差し前記平面に平行な進行方向の速度情報を取得する工程と；
前記集合領域の面積に前記速度情報で重み付けする工程を備え；
前記比較工程は、前記集合領域の面積に代えて、前記重み付けする工程で重み付けされた面積を予め定められた第２の閾値と比較し、
前記加算工程は、前記集合領域の面積に代えて、前記重み付けされた面積が前記第２の閾値よりも大なるときに１カウントの計数を行なう、
請求項１に記載の通過物体計数方法。
【請求項３】
前記複数の小領域の１つの小領域に注目し、高さ情報に基づき、前記注目小領域を取り囲む小領域の高さと該注目小領域の高さとを比較して、前記取り囲む小領域のいずれの高さよりも前記注目小領域の高さが高いか又は等しいときに、該注目小領域を前記極大の小領域とする、
請求項１または請求項２に記載の通過物体計数方法。
【請求項４】
前記複数の小領域は碁盤目状に配列され、前記注目小領域の４近傍の小領域を、前記取り囲む小領域とする、
請求項３に記載の通過物体計数方法。
【請求項５】
前記注目小領域の８近傍の小領域のうち、前記極大高さから一定の高さ範囲にある小領域を前記極大の小領域に所属する部分領域とし、該部分領域の輪郭の小領域の各々について８近傍の小領域のうち、前記極大高さから一定の高さ範囲にある小領域を前記部分領域に加える操作を、予め定められた回数だけ繰り返した後の部分領域を前記集合領域として確定する工程を備える、
請求項４に記載の通過物体計数方法。
【請求項６】
平面に沿って該平面上の基準線を通過する通過物体を計数する通過物体計数装置において；
前記通過物体の前記基準線における時空間画像と、前記時空間画像上の規則的に配列された複数の小領域に対応する部分の高さ情報とを取得する撮像装置を備え；
前記複数の小領域から、高さ極大の小領域を抽出する極大抽出手段と；
前記抽出された小領域を囲む小領域であって、前記極大高さから一定の高さ範囲にある小領域を集合した集合領域を求める集合領域決定手段と；
前記集合領域決定手段で求められた集合領域の面積を予め定められた閾値と比較する比較手段と；
前記集合領域の面積が前記閾値よりも大なるときに１カウントの計数を行なう加算手段とを備える；
通過物体計数装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、通過物体計数方法及び計数装置に関し、特に通過物体の高さの情報を含む時空間画像から通過物体を計数する通過物体計数方法及び計数装置に関するものである。
【０００２】
【従来の技術】
通過物体を計数する方法としては、従来から平面的な時空間画像を利用するものが知られている。すなわち、まず２台の撮像装置により得られた通過物体のステレオ画像から、計数線上での高さ情報と速度情報を算出し、３次元情報を得る。次に得られた３次元情報を一定の高さで輪切りにして、その高さについて通過物体を時間方向に一定時間並べた時の平面的な時空間画像を作成する。そして作成した平面的な時空間画像を用いて、前記一定の高さにおいて一定以上の幅×時間の面積を持つ物体であるかどうかで、通過物体を計数していた。また、前記一定の高さを変化させて、一定以上の幅×時間の面積を持つ物体であるかどうかで計数を行い、これを一定の高さ範囲内で繰り返す方法で、通過物体を計数していた。
【０００３】
【発明が解決しようとする課題】
以上のような従来の通過物体計数装置によれば、次のような問題があった。一定時間の平面的な時空間画像で、一定の高さにおいて一定以上の幅×時間の面積を持つ物体であるかどうかで計数を行う方法では、計数が不正確になってしまう。また、高さを変化させて、一定以上の幅×時間の面積を持つ物体であるかどうかで計数を行い、これを一定の高さ範囲内で繰り返す方法では、計数は正確になるが処理すべきデータ量が膨大となり、計算に時間がかかっていた。
【０００４】
そこで本発明は、高い計数精度を維持しながら、計算量を減らし高速処理が可能な通過物体計数装置及び計数方法を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による通過物体計数方法は、例えば図４に示すように、平面２に沿って平面２上の基準線１を通過する通過物体５を計数する通過物体計数方法において；通過物体５の基準線１における時空間画像であって、該時空間画像上の規則的に配列された複数の小領域に、平面２からの通過物体５の前記小領域に対応する部分の高さ情報が振り当てられた時空間画像を形成する画像形成工程Ｓ０と；前記複数の小領域から、高さ極大の小領域を抽出する極大抽出工程Ｓ１と；前記抽出された小領域を囲む小領域であって、前記極大高さから一定の高さ範囲にある小領域を集合した集合領域を求める集合領域決定工程Ｓ２と；集合領域決定工程Ｓ２で求められた集合領域の面積を予め定められた閾値と比較する比較工程Ｓ４と；前記集合領域の面積が前記閾値よりも大なるときに１カウントの計数を行なう加算工程Ｓ５とを備える。なお、集合領域は１に限らず複数であってもよい。
【０００６】
このように構成すると、画像形成工程Ｓ０と、極大抽出工程Ｓ１と、集合領域決定工程Ｓ２とを備えるので、高さ情報が振り当てられた時空間画像を取得でき、取得された時空間画像から高さ極大の小領域を抽出し、極大高さから一定の高さ範囲にある小領域を集合した集合領域を求めることができる。また、比較工程Ｓ４と、加算工程Ｓ５とを備えるので、求められた集合領域の面積を予め定められた閾値と比較し、閾値よりも大なるときに１カウントの計数を行なうことができる。
【０００７】
また請求項２に記載のように、請求項１に記載の通過物体計数方法では、前記高さ情報に対応させて前記基準線に交差し前記平面に平行な進行方向の速度情報を取得する工程Ｓ２４と；前記集合領域の面積に前記速度情報で重み付けする工程Ｓ７とを備えるとよい。なお速度の向きは、同じ速度方向について、正の向きと負の向きとがある。
【０００８】
このように構成すると、速度情報を取得する工程と、集合領域の面積に速度情報で重み付けする工程とを備えるので、通過物体の速度を取得することができ、取得した速度で重み付けをした集合領域の面積を得られる。
【０００９】
また請求項３に記載のように、請求項１または請求項２に記載の通過物体計数方法では、前記複数の小領域の１つの小領域に注目し、高さ情報に基づき、前記注目小領域を取り囲む小領域の高さと該注目小領域の高さとを比較して、前記取り囲む小領域のいずれの高さよりも前記注目小領域の高さが高いか又は等しいときに、該注目小領域を前記極大の小領域とするとよい。
【００１０】
また請求項４に記載のように、請求項３に記載の通過物体計数方法では、前記複数の小領域は碁盤目状に配列され、前記注目小領域の４近傍の小領域を、前記取り囲む小領域とするとよい。４近傍の小領域とは、例えば図５（ａ）に示すように、注目小領域Ｐ２２の上下左右の４小領域Ｐ１２、Ｐ３２、Ｐ２１、Ｐ２３をいう。このように構成すると、時空間画像上から、極大高さの小領域を容易に得ることができる。
【００１１】
また請求項５に記載のように、請求項４に記載の通過物体計数方法では、前記注目小領域Ｐ２２の８近傍の小領域Ｐ１１、Ｐ１２、Ｐ１３、Ｐ２１、Ｐ２３、Ｐ３１、Ｐ３２、Ｐ３３のうち（例えば図５（ａ）参照）、前記極大高さから一定の高さ範囲にある小領域を前記極大の小領域に所属する部分領域とし、該部分領域の輪郭の小領域の各々について８近傍の小領域のうち、前記極大高さから一定の高さ範囲にある小領域を前記部分領域に加える操作を、予め定められた回数だけ繰り返した後の部分領域を前記集合領域として確定する工程Ｓ２を備えるとよい（例えば図５（ｂ）参照）。
【００１２】
前記目的を達成するために、請求項６に係る発明による通過物体計数装置１０は、例えば図１及び図３（ｂ）に示すように、平面２に沿って平面２上の基準線１を通過する通過物体５を計数する通過物体計数装置１０において；通過物体５の基準線１における時空間画像と、前記時空間画像上の規則的に配列された複数の小領域に対応する部分の高さ情報とを取得する撮像装置１１，１２を備え；前記複数の小領域から、高さ極大の小領域を抽出する極大抽出手段３０と；前記抽出された小領域を囲む小領域であって、前記極大高さから一定の高さ範囲にある小領域を集合した集合領域を求める集合領域決定手段３１と；集合領域決定手段３１で求められた集合領域の面積を予め定められた閾値と比較する比較手段３２と；前記集合領域の面積が前記閾値よりも大なるときに１カウントの計数を行なう加算手段３２とを備える。典型的には、時空間画像は撮像装置１１、１２から処理装置２０を介して取得される。即ち処理装置により、撮像装置１１、１２からの撮像信号から時空間画像が作成される。
【００１３】
通過物体５が移動する面は、例えば図１２に示すように、水平な平面に限らず斜面や階段のように傾斜した面２’であってもよい。但し、必要に応じて例えば図１２（ａ）のような場合には、傾斜角度により高さ情報と速度情報を補正する。
【００１４】
また通過物体５の進行方向に交差する基準線１は、通過物体５の進行方向に垂直な線とするのがよい。奥行方向は、典型的には平面に垂直な方向、又は鉛直方向である。なお同じ進行方向について、進行の向きは正の向きと負の向きとがある。
【００１５】
このように構成すると、撮像装置１１，１２と、極大抽出手段３０とを備えるので、撮像装置１１，１２を使って時空間画像を取得し、時空間画像上の通過物体５の極大高さである高さ極大の小領域を抽出することができる。また、集合領域決定手段３１と、加算手段３２とを備えるので、極大高さから一定の高さ範囲にある小領域を集合した集合領域を求め、集合領域の面積が閾値よりも大なるときに１カウントの計数を行うことができる。
【００１６】
また請求項７に記載のように、請求項６に記載の通過物体計数装置１０では、前記撮像装置は、前記時空間画像を形成する、前記小領域に対応する複数の画素の配列された撮像素子を有するようにするとよい。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００１８】
図１は、本発明による実施の形態である通過物体計数装置１０（以下適宜「計数装置１０」という）の模式的斜視図である。図中通過物体５が平面である水平な通路２上を進行方向に移動している。ＸＹ軸を通路２内に置くように、直交座標系ＸＹＺがとられており、通路２はＹ軸と平行に延設されている。また通路２の延設方向と垂直即ちＸ軸と平行に基準線である計数線１がとられている。通過物体５の進行方向は、典型的には通路２の延設方向即ちＹ軸と平行である。通過物体５は、本実施の形態では人物である。また本実施の形態では、計数線１は通路２の延設方向と垂直としているが、特に垂直としなくてもよい。垂直でない場合は、Ｘ軸との角度で視差と速度を補正すればよい。計数線１は、この線を通過した通過物体５を計数するための基準線であり、仮想的な線であってもよく、実際に物理的に通路２に描く必要はない。
【００１９】
一方、図中通路２の計数線１の鉛直方向上方には、通過物体である人物５が通過するのに十分な高さに、通路２の計数線１を通過する通過物体５を撮像するための第１の撮像装置１１と第２の撮像装置１２が設置されている。第１の撮像装置１１と第２の撮像装置１２は、適切な間隔をあけて並列に、計数線１と平行で且つ光軸がＺ軸と平行になるように設置してある。ここでいう人物５が通過するのに十分な高さとは、例えば３０００ｍｍ程度である。また、適切な間隔とは、例えば５０ｍｍ程度である。
【００２０】
図２を参照して、通過物体計数装置１０の構成の一例を説明する。計数装置１０は、第１の撮像装置としての第１のＣＣＤカメラ１１、第２の撮像装置としての第２のＣＣＤカメラ１２、演算装置としてのパソコン１３を含んで構成される。
【００２１】
そして第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２は、パソコン１３に接続されており、パソコン１３は第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２によってそれぞれ撮像された画像を取得できるように構成されている。
【００２２】
パソコン１３は、制御部１４を備えており、計数装置１０全体を制御している。制御部１４には、撮像装置用インターフェイス１５が接続されており、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２は、撮像装置用インターフェイス１５を介して制御部１４に接続され、制御されている。
【００２３】
また制御部１４内には、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２により取得したステレオ画像から、通過物体５の高さ情報である通過物体５の高さを時系列的に取得し、時空間画像を作成する比較演算部２０、作成された通過物体５の時空間画像から通過物体５を計数する計数演算部２１が備えられている。比較演算部２０は、通過物体５の速度情報である通過物体５の速度を、高さ情報を取得する際に、高さ情報に対応させて時系列的に取得してもよい。
【００２４】
制御部１４には、記憶部１８が接続されており、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２で撮像された画像や算出された情報等のデータが記憶できる。
【００２５】
また制御部１４には、計数装置１０を操作するための情報を入力する入力装置１６、計数装置１０で処理された結果を出力する出力装置１７が接続されている。入力装置１６は例えばキーボードやマウスであり、出力装置１７は例えばディスプレイやプリンタである。本図では、入力装置１６、出力装置１７はパソコン１３に外付けするものとして図示されているが、内蔵されていてもよい。
【００２６】
さらに図３に示すように、比較演算部２０内には、ＣＣＤカメラにより撮像された画像を処理する画像処理部２５、第１のＣＣＤカメラにより撮像された画像と、第２のＣＣＤカメラにより撮像された画像から対応点を求める対応点探索部２６、通過物体５の高さ情報である高さを算出する高さ情報算出部２７、通過物体５の速度情報である速度を算出する速度情報算出部２８、算出された高さ情報を時間方向に並べて時空間画像を作成する時空間画像作成部２９が備えられている（図３（ａ））。画像を処理するとは、例えば第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２からの撮像信号から第１の画像、第２の画像を取得することを含む。また本実施の形態では、ＣＣＤカメラにより撮像された画像から得られる時空間画像は、碁盤目状に配列された、複数の小領域である複数の画素により表現されている。ここで時空間画像上の画素は、ＣＣＤカメラの撮像面の画素と１対１で対応している必要はなく、例えば前者の１画素が後者の４画素に対応していてもよい。
【００２７】
また、計数演算部２１内には、作成された時空間画像から高さ極大の小領域である極大高さの画素を抽出する極大抽出部３０、極大高さ領域を囲む画素で極大高さから一定の高さ範囲にある画素の集合である集合領域を求める領域算入部３１、集合領域の面積を閾値と比較して、その面積が閾値より大きい場合に通過物体５の計数を行う計数部３２を備えている。
【００２８】
図４のフローを参照して、実施の形態である計数装置１０の作用として本発明の通過物体計数方法の実施の形態を説明する。まず、パソコン１３の制御部１４内の比較演算部２０は、画像形成工程としての時空間画像形成を行う（ステップ０（図中「Ｓ０」と表示。以下同じ））。これにより、撮像装置１１，１２からの撮像信号から通過物体５の高さの情報を持った複数の画素で表現された時空間画像が作成される。本実施の形態では、この高さの情報を輝度で表現するものとする。この輝度は、高さ約０〜１８５ｃｍに対応させた０〜２５５の輝度値で表されている。また時空間画像はどのようにして取得してもよいが、後述の図４を参照して説明する時空間画像を取得する方法を用いるとよい。
【００２９】
次に計数演算部２１は、比較演算部２０より時空間画像を取得し、極大抽出部３０で、時空間画像上の極大高さ即ち極大輝度値を持った画素である極大画素を抽出する極大抽出工程としての高さ極大画素抽出を行なう（ステップ１）。抽出方法は、例えば図５（ａ）に示すように、まず時空間画像上の１つの画素Ｐ２２に注目する。注目画素Ｐ２２の４近傍の画素すべてが、注目画素の輝度値以下（等しい場合も含む）である場合、この注目画素を極大画素とする。注目画素の４近傍とは、例えば注目画素の上Ｐ１２（図中上）下Ｐ３２（図中下）右Ｐ２３（図中右）左Ｐ２１（図中左）の４つの画素をいう。なお１つの時空間画像上に、極大画素は複数存在してもよく、複数の極大画素は隣接もしくは接近していてもよく、互いに離れて点在していてもよい。
【００３０】
そして、抽出された極大画素は領域算入部３１により、集合領域決定工程としての膨張処理を行い（ステップ２）、集合領域を得る。なお、１つの時空間画像上に極大画素が複数存在する場合は、極大画素と同数の集合領域を得ることになる。特に複数の極大画素が隣接もしくは接近している場合は、これらの極大画素から得られる複数の集合領域を１つの集合領域としてもよい。
【００３１】
ここで図５（ｂ）を参照して膨張処理について説明する。まず抽出された１つの極大画素Ｐ２２の８近傍の画素Ｐ１１、Ｐ１２、Ｐ１３、Ｐ２１、Ｐ２３、Ｐ３１、Ｐ３２、Ｐ３３に注目し、８近傍の個々の注目画素が極大画素の輝度値の一定範囲以内にあればこの画素を部分領域に算入する（Ｐ１１〜Ｐ３３の符号は（ｂ）には不図示）。ここでいう一定範囲は、計数対象である通過物体の特性に沿って定めればよいが、対象が人物である場合は、極大画素の輝度値の１０％以内（極大画素の輝度値を１００％とすると９０％以上の範囲）とすることが望ましい。また、８近傍の注目画素の輝度値の平均値が極大画素の輝度値の一定範囲以内にあれば、８近傍の注目画素のすべてを部分領域に算入するようにしてもよい。
【００３２】
次に、この部分領域の輪郭の画素の個々について８近傍に注目し（例えば図５（ａ）の画素Ｐ３３について画素Ｐ２２、Ｐ２３、Ｐ２４、Ｐ３２、Ｐ３４、Ｐ４２、Ｐ４３、Ｐ４４）、８近傍の個々の注目画素がこの部分領域の極大画素の輝度値の一定範囲以内にあればこの画素を部分領域に算入する。そしてこの処理を予め定められた回数だけ繰り返す。予め定められた回数とは、典型的には５０回程度であるが、条件により適宜決めてよい。回数を多くすれば、一定の領域に収束する。収束した後は、それ以上回数を重ねても領域の広さは変わらない。
【００３３】
この膨張処理により、極大画素の輝度値の一定範囲以内の画素を算入した部分領域を集合領域として得ることができる。また、この処理でいう極大画素とは、１つの集合領域中の極大輝度値の画素（場合によっては複数存在）である。
【００３４】
以上の膨張処理は、図６に示すように、時空間画像上に存在する複数の通過物体５の極大高さから、一定の高さまで領域（集合領域）を求める処理である。得られた時空間画像は、通過物体の高さを輝度により表現された濃淡画像であるので、一定値以内の輝度の領域は、一定の高さまでの通過物体の最大断面積とすることができる。即ち膨張処理は、得られた時空間画像より通過物体である人物のおよそ頭部分の断面を抽出する処理である。人物の頭部分の断面を抽出することで、例えば２人の人物５が非常に近接してすれ違った場合でも、頭部の断面を得ることにより、２人の人物を区別することができる。
【００３５】
図４のフロー図に戻って説明する。次に前述の膨張処理で得られた集合領域をラベリングする（ステップ３）。ラベリングとは、それぞれの領域を識別するための例えば番号や符号を付けることをいう。そして、比較工程としてラベリングされた集合領域の面積値と予め設定された閾値とを比較して（ステップ４）、面積値が閾値より大きい場合は（ステップ４がＹ）、人物５が１人通過したものとして加算工程としての計数を行う（ステップ５）。またその集合領域が既に計数された集合領域であれば計数しない。このとき、予めその領域の進行の向き又は速度を求めておいて、その進行の向きにより、通過した人物５の進行の向きを区別して、それを計数に反映させてもよい。また面積値が閾値より小さい場合は（ステップ４がＮ）、人物５ではないと判断して計数しない（ステップ６）。
【００３６】
以上の実施の形態では、速度情報を取得しない場合で説明したが、この方法は、例えば遊園地の入場口のように、一方通行で移動速度がほぼ一定の場合に利用できる。この場合、速度情報を取得する方法に比べて計算量が少なくて済むので、高速処理が可能である。
【００３７】
また、膨張処理で得られた集合領域の面積値に、通過物体の速度を算出しておき、前述のラベリングした集合領域に対応する速度でその集合領域の面積値に重み付けをして面積値を算出してもよい（ステップ７（図中破線で表示））。ここで面積値に速度で重み付けするのは、例えば通過速度の速い人は、通過速度と通過フレーム数は反比例するので、単に時空間画像で計算すると面積値が小さくなるためである。時空間画像と言うときは、一般に少なくとも一つの次元に時間軸を含む画像を意味するが、ここでは時空間画像に速度で重み付けした結果、時間軸が消えた画像も便宜上時空間画像と呼ぶ。
【００３８】
さらに、進行の向きは正の向きと負の向きとがあるので、計数する際には、集合領域の面積値に重み付けをする速度情報に、通過物体の進行の向きの正負を符号として与えることで、面積値の正負によって通過物体の進行の向きを区別して計数することができる。速度情報の算出方法は、例えば図９を参照して後で説明する速度情報を取得する方法を用いるとよい。
【００３９】
このように、通過物体の速度情報を取得し、集合領域に対応する速度で集合領域の面積値に重み付けをしてその面積値を算出する方法を用いれば、例えば駅構内の通路のように、対面通行であり、それぞれの人物の移動速度が異なる場合でも、高い精度で計数を行うことが可能である。実際の計数には、こちらの方法を用いることが望ましい。
【００４０】
また予め設定された閾値とは、典型的には計数しようとする人物５のうち最小人物の頭部の最大断面積値である。頭部の断面積値は大人と子供とを比較しても大きな差がないので、例えば閾値として子供の頭部の断面積値を設定しておけば、通過物体である人物を、手荷物等を誤計数することなく大人も子供も正確に計数できる。
【００４１】
以上の計数方法では、集合領域の面積値が閾値より大ならば計数するとしたが、さらに集合領域の面積値が一定値以上ならば計数しないようにしてもよい。すなわち、第２の閾値として、大人のうち考え得る最大の人間の頭部の断面積を設定し、前記面積値が第２の閾値より小さいことを計数の条件として加えてもよい。このようにすると、断面積の大きい通過物体（例えば荷物等）を計数しないようにできるので、計数精度をより向上させることができる。
【００４２】
図７のフローを参照して、時空間画像を取得する方法の一例を説明する。ここで、第１のＣＣＤカメラ１１で撮像された画像を左画像、第２のＣＣＤカメラで撮像された画像を右画像として説明する。まずパソコン１３の制御部１４は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２で撮像された左画像、右画像を、撮像装置インターフェイス１５を介してステレオ画像として取得する（ステップ１０）。
【００４３】
制御部１４は、取得したステレオ画像から、制御部１４内の画像処理部２５によって、ある時間ｔに撮像された画像としての第１の画像であるｔフレームの左画像を取得する（ステップ１２）。また時点ｔよりΔｔ経過した時点ｔ＋Δｔに撮像された画像としての第２の画像であるｔ＋Δｔフレームの右画像を取得する（ステップ１３）。
【００４４】
実際には、第１のＣＣＤカメラと第２のＣＣＤカメラとは同時並列的に各時点で撮像を行い、第１の画像として時点ｔの画像を、第２の画像として１フレーム以上ずらした時点ｔ＋Δｔの画像を採用するようにしてもよい。このときΔｔは、計数装置１０の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。
【００４５】
次に、ｔフレームの左画像のエッジ抽出を行い（ステップ１４）、細線化する（ステップ１５）。そして、ｔフレームの左画像の計数線１上のエッジ点を用いてｔ＋Δｔフレームの右画像の対応点探索を行なう（ステップ１６）。エッジ抽出、細線化、対応点探索については、図８を参照してあとで説明する。
【００４６】
次に対応点探索により得られた対応点から、高さ情報を算出する（ステップ１７）。ここで、背景除去によってあらかじめ非背景部分を規定しておき、その部分に対して、エッジ点における値を反映させるための線形補間を行なう（ステップ１８）。高さ情報を算出する方法は、図９、図１０を参照してあとで説明する。
【００４７】
これにより得られた高さ情報を時間方向に並べて、人物５の高さ情報を含む時空間画像を作成する（ステップ１９）。
【００４８】
次に最初のフレームを取得してからの経過時間であるＴ１が、予め設定しておいた所定時間Ｔ０を経過したかを判断する（ステップ２０）。Ｔ１が所定時間Ｔ０を経過している場合は（ステップ２０がＹ）、所定時間Ｔ０の時空間画像を取得できる（ステップ２１）。Ｔ１が所定時間Ｔ０を経過していない場合は（ステップ２０がＮ）、次のフレームを取得し、さらに時空間画像を時間方向に並べる。また、ステップ２０の判断は、経過時間ではなく取得したフレーム数が所定のフレーム数に達した場合としてもよい。所定時間Ｔ０は、記憶装置の容量の制約で例えば２０秒程度とすることが適当であるが、容量の制約を受けなければ例えば１時間以上としてもよい。
【００４９】
また、前述の計数方法で、通過物体の速度が必要な場合は（集合領域の面積に速度で重み付けする場合など）、図中破線で表示しているように、前述の対応点探索により得られた対応点から、速度情報も算出する（ステップ２２）。そして、高さ情報と同様に線形補間を行なう（ステップ２３）。このようにして速度情報を取得する（ステップ２４）。速度情報を算出する方法は、図９を参照してあとで説明する。
【００５０】
図８を参照して、対応点探索についてさらに詳細に説明する。ここで、図示の各フレームでの通過物体として人物を、ハッチングにより表現しているが、これは断面を示しているものではなく、単に上方から撮像された人物を表現するものである。
【００５１】
ここでは高さ情報を求めるために、２枚の画像の対応点を求める。まず、ｔフレームの左画像と、ｔ＋Δｔフレームの右画像での対応を求める。この際、近傍領域に特徴のない画素に関しては対応関係が明確に定まらない。そこで、以下のような流れで探索を行う。
【００５２】
まず、ｔフレームの左画像のエッジ抽出を行い細線化した画像を求め、そのエッジ点においてのみ対応点探索を行う。エッジ抽出とは、濃淡で取得された画像から対象とする通過物体のエッジ点の集合である輪郭を抽出し、例えば座標で特定することをいう。また細線化とは、例えばエッジ抽出を行なった画像を、エッジ抽出で得られた通過物体の輪郭のみを細線で示した画像とするものである。
【００５３】
対応点探索を行うには、まずｔフレームの左画像の前記特定された輪郭上の点をエッジ点として選定し、濃淡画像上でそのエッジ点を含む近傍領域にウインドウを設定する。典型的には計数線上にあるエッジ点を選定する。エッジ点は典型的には前記細線と計数線との交点であり、通常は複数、典型的には１０〜２０点存在する。これら複数のエッジ点のうち、例えば最も左にある点をまず選定する。選定したエッジ点が中心になるようにウインドウを設定するとよい。そして前記設定されたウインドウを参照して、ｔ＋Δｔフレームの右画像にウインドウを設定する。
【００５４】
これらのウインドウについて、図１１に示す式１を用いてｔフレームの左画像とｔ＋Δｔフレームの右画像との濃淡値の相関をとる。ここで、ＩＬ（ｉ,ｊ）とＩＲ（ｉ,ｊ）はそれぞれ左右画像上のウインドウ内の濃淡値であり、μＬ, μＲ, σＬ, σＲはそれぞれ左右ウインドウの濃淡値の平均及び分散である。Ｃは−１から＋１までの範囲内の値をとる。選定された左画像のエッジ点に対して、右画像のウインドウを少しずつ、例えば計数線に平行に移動し、また計数線に直交する方向に移動しながら、各ウインドウでＣ値を計算する。このようにて求めたＣのうち最大値を与える右画像のウインドウを、選定された左画像のウインドウに対応する局所領域とみなす。
【００５５】
即ち、上記のように左右画像のウインドウの相関をとり、左画像で選定したエッジ点を含むウインドウと対応する（Ｃが最大となる）右画像のウインドウを探索する。この探索により得られた右画像のウインドウの中心が、先に選定した左画像のエッジ点に対応する右画像のエッジ点となる。
【００５６】
ウインドウの探索は、例えば計数線と平行方向（Ｘ軸方向）と垂直方向（Ｙ軸方向）に行う。例えば通過物体が人物である場合は、計数線と平行方向は後述のように左右画像間の視差と見るので、既に設定した左画像のウインドウを参照して、例えば高さが１ｍ〜２ｍと算出される視差の幅を探索すればよい。垂直方向は、後述のように人物の移動量と見るので、既に設定した左画像のウインドウを参照して、時間Δｔ間に人物が移動すると予想される移動量の幅を探索すればよい。またＣの値が、探索している方向に上昇傾向ならば、さらにＣの値が最大となり、下降傾向に移るまで同じ探索方向に探索を継続し、下降傾向ならば、探索方向を変えるか、既に探索した範囲でＣの値が最大となるウインドウを選択するようにしてもよい。
【００５７】
このようにウインドウの探索を行えば、明らかに探索不要な部分の左右画像のウインドウの相関をとらなくてよいので、さらに計算量を減らすことができる。以上のようにして左画像に存在する全てのエッジ点について対応点の探索を行い、左右画像の対応するエッジ点を得る。
【００５８】
図９を参照して、奥行情報と速度情報の算出についてさらに詳細に説明する。まず前述で得られた左右画像の対応するエッジ点同士を結ぶベクトルを考え、これを水平成分（Ｘ軸方向成分）と垂直成分（Ｙ軸方向成分）に分離する。水平成分は、左右画像間の視差を表す量と見ることができ、この視差を用いて対象とする通過物体までの距離を算出することができる。対して、垂直成分は、注目点の通路に沿う方向の移動量と見ることができ、これを基に対象とする通過物体の速度情報を得ることができる。こうして、エッジ点における奥行情報である３次元高さ、速度情報である速度を対の形で一括して得ることができる。
【００５９】
なお、１つの通過物体について得られた速度は、通常は等しいはずであるので、各エッジ点全てについて速度を求める必要はなく、例えば最も中心に近い点の速度を採用すればよい。または、各エッジ点の速度を求めて、突出した値を有するエッジ点は、探索に誤りがあったものとして再探索を行うか又はその点は不採用とするとよい。あるいは各エッジ点の速度を全て求めて、それらの平均値を計算し、その物体の速度として採用してもよい。
【００６０】
また、前述の速度による重み付けには、各点毎の速度を用いてもよいし、平均値で求めた通過物体の速度を各点共通に用いてもよい。
【００６１】
ここで左右画像は、Δｔだけ時間的にずれた画像ではあるが、Δｔが充分に小さい値であれば、左右画像には視差を求めるのに差支えるほどの差は生じない。逆にそのようにΔｔを定めることにしてもよい。即ち視差を求めるのに差支えず、且つ速度情報を得るのに充分な長さとする。例えば、対象とする通過物体が歩行者の場合は１／６０〜１／１０秒程度、特に１／４０〜１／２０秒、さらに好ましくは約１／３０秒とする。
【００６２】
ここで、図１０を参照して、対象とする通過物体の高さ情報としての平面からの高さｚの算出方法について説明する。対象とする通過物体５までの距離ａは、図１１に示す式２を用いて算出することができる。ここで、ｗはＣＣＤカメラ間距離（基線長）、ｆはＣＣＤカメラの結像レンズを単一レンズとしたときそのレンズの焦点距離、dはＣＣＤカメラの結像面上の視差である。ここでの焦点距離は、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離とする。また、ＣＣＤカメラの結像レンズから計数線１までの距離をｈとすると、対象とする通過物体５の高さｚは図１１に示す式３で算出する。
【００６３】
以上の実施の形態では、時点ｔの左画像と時点ｔ＋Δｔの右画像から高さ情報と速度情報を得るものとして説明したが、時点ｔの左画像及び右画像から高さ情報を取得し、時点ｔ＋Δｔの左又は右画像から速度情報を取得するものとしてもよい。
【００６４】
図１２を参照して、通過物体５が斜面を移動する場合を説明する。例えば階段や坂道などの傾斜した面２’を通過物体５が移動している場合、平面２は基準線１と第１、第２の撮像装置１１、１２を結ぶ線に垂直な仮想平面２とするのがよい。
【００６５】
対象とする通過物体５が人物の場合は、斜面であっても鉛直方向に立つので、ＣＣＤカメラの光軸は鉛直方向に向ける（図１２（ａ））。この場合は、仮想平面２は水平面となる。この例では、例えば傾斜した面２’と仮想平面２とのなす角をθとすると、仮想平面２からの通過物体５の高さを得るには、斜面２’を移動する通過物体５の時間Δｔの移動量にｔａｎθを乗じた値を、斜面２’を移動する通過物体５の算出された高さから引けばよい。
【００６６】
また対象とする通過物体５が、例えば車の場合は、斜面をそのまま本発明の平面２としてよい。この場合、ＣＣＤカメラの光軸は斜面に垂直な方向に向ける（図１２（ｂ））。
【００６７】
以上説明したように本発明の実施の形態によれば、従来の時空間画像を輪切りにする計数方法と比較して、例えば２０ｓｅｃ分（所定時間Ｔ０＝２０ｓｅｃ）の時空間画像を処理する時間が１６０ｓｅｃから２１ｓｅｃに短縮できるので、大幅な処理の高速化が可能になる。
【００６８】
【発明の効果】
以上のように本発明によれば、画像形成工程と、極大抽出工程と、集合領域決定工程とを備えるので、高さ情報が振り当てられた時空間画像を取得でき、取得された時空間画像から高さ極大の小領域を抽出し、極大高さから一定の高さ範囲にある小領域を集合した集合領域を求めることができ、また比較工程と、加算工程とを備えるので、求められた集合領域の面積を予め定められた閾値と比較し、閾値よりも大なるときに１カウントの計数を行なうことができるため、高い計数精度を維持しながら、計算量を減らし高速処理が可能な通過物体計数装置及び計数方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である通過物体計数装置の概要を示す模式的斜視ブロック図である。
【図２】本発明の実施の形態である通過物体計数装置の構成例を示すブロック図である。
【図３】本発明の実施の形態で用いる比較演算部の構成例（ａ）と計数演算部の構成例（ｂ）を示すブロック図である。
【図４】本発明の実施の形態である通過物体計数装置の作用の一例あるいは本発明の実施の形態である通過物体計数方法を示すフローチャートである。
【図５】本発明の実施の形態で、膨張処理を行う場合の処理例を説明する画像図である。
【図６】本発明の実施の形態で、膨張処理を説明する図である。
【図７】本発明の実施の形態で、時空間画像を取得する方法の一例あるいは本発明の実施の形態である通過物体計数装置の作用の一例を示すフローチャートである。
【図８】本発明の実施の形態で、第１の画像と第２の画像の対応点探索を行う場合の処理例を説明する画像図である。
【図９】図８の場合における、第１の画像と第２の画像の対応点を結ぶベクトルを説明する画像図である。
【図１０】本発明の実施の形態で、第１の撮像装置と第２の撮像装置の視差から、通過物体の高さを算出する方法を説明する様式的正面図である。
【図１１】本発明の実施の形態の説明で用いられる計算式を示す図である。
【図１２】傾斜した面を移動する通過物体を計数する方法の例として、仮想平面で計数する場合（ａ）と斜面をそのまま本発明の平面とする場合（ｂ）を説明する図である。
【符号の説明】
１  計数線
２  通路
５  通過物体
１０  通過物体計数装置
１１  第１のＣＣＤカメラ
１２  第２のＣＣＤカメラ
１３  演算装置
１４  制御部
１５  撮像装置用インターフェイス
１６  入力装置
１７  出力装置
１８  記憶部
２０  比較演算部
２１  計数演算部
２５  画像処理部
２６  対応点探索部
２７  高さ情報算出部
２８  速度情報算出部
２９  時空間画像作成部
３０  極大抽出部
３１  領域算入部
３２  計数部
【図１】
0004633942.tif 000002
【図２】
0004633942.tif 000003
【図３】
0004633942.tif 000004
【図４】
0004633942.tif 000005
【図５】
0004633942.tif 000006
【図６】
0004633942.tif 000007
【図７】
0004633942.tif 000008
【図８】
0004633942.tif 000009
【図９】
0004633942.tif 000010
【図１０】
0004633942.tif 000011
【図１１】
0004633942.tif 000012
【図１２】
0004633942.tif 000013