(57)【要約】【課題】通路を通行する通行人を高い精度で検出し、カメラを通行人の計数目的と監視目的とに兼ねること。【解決手段】通路を通行する通行人を検出するための通行人検出方法であって、２つのカメラ３１，３２を、通行エリアＴＥにおいて当該通行エリアＴＥを通行する通行人ＴＮをそれぞれ撮影可能なように、かつそれらの光軸が平面視において互いに対向する状態で、配置しておき、２つのカメラ３１，３２によって所定の時間毎に撮影を行い、２つのカメラ３１，３２によって互いにほぼ同時刻に撮影されて得られた２つの画像に基づいて通行人ＴＮを検出する。【選択図】      図２
2005135339.tif 000002
【特許請求の範囲】
【請求項１】
通路を通行する通行人を検出するための通行人検出方法であって、
２つのカメラを、前記通路の所定の領域において当該通路を通行する通行人をそれぞれ撮影可能なように、かつそれらの光軸が平面視において互いに対向する状態で、配置しておき、
前記２つのカメラによって所定の時間毎に撮影を行い、
前記２つのカメラによって互いにほぼ同時刻に撮影されて得られた２つの画像に基づいて前記通行人を検出する、
ことを特徴とする通行人検出方法。
【請求項２】
通路を通行する通行人を検出するための通行人検出装置であって、
前記通路の所定の領域において当該通路を通行する通行人をそれぞれ撮影可能なように、かつそれらの光軸が平面視において互いに対向する状態で配置された、２つのカメラと、
前記２つのカメラによって所定の時間毎に撮影を行うように制御する撮影制御手段と、  前記２つのカメラによって互いにほぼ同時刻に撮影されて得られた２つの画像に基づいて前記画像の中から通行人を抽出する抽出手段と、
を有することを特徴とする通行人検出装置。
【請求項３】
前記２つのカメラは、前記通路における通行方向に沿って異なる位置において、前記通路の所定の領域を互いに逆の方向から撮影するように配置されている、
請求項２記載の通行人検出装置。
【請求項４】
前記２つのカメラは、前記通路における幅方向の両側において、前記通路の所定の領域を互いに逆の方向から撮影するように配置されている、
請求項２記載の通行人検出装置。
【請求項５】
前記２つの画像における被写体の位置の相違によるサイズの異なりを修正するためのサイズ変更手段が設けられてなる、
請求項２ないし４のいずれかに記載の通行人検出装置。
【請求項６】
前記抽出手段は、前記２つの画像において左右反転位置にある形状領域の被写体を通行人として抽出する、
請求項５記載の通行人検出装置。
【請求項７】
前記抽出手段は、前記２つの画像において左右反転位置にある楕円形状の被写体を通行人として抽出する、
請求項５記載の通行人検出装置。
【請求項８】
前記抽出手段は、前記２つの画像において左右反転位置にある予め設定したサイズの同一色領域の被写体を通行人として抽出する、
請求項５記載の通行人検出装置。
【請求項９】
前記抽出手段は、前記２つの画像において、互いに同一のサイズの被写体であって移動方向が互いに逆である被写体を通行人として抽出する、
請求項５記載の通行人検出装置。
【請求項１０】
通路を通行する通行人を計数するための通行人計数装置であって、
前記通路の所定の領域において当該通路を通行する通行人をそれぞれ撮影可能なように、かつそれらの光軸が平面視において互いに対向する状態で配置された、２つのカメラと、
前記２つのカメラによって所定の時間毎に撮影を行うように制御する撮影制御手段と、  前記２つのカメラによって互いにほぼ同時刻に撮影されて得られた２つの画像に基づいて前記画像の中から通行人を抽出する抽出手段と、
抽出された通行人の数をカウントするカウント手段と、
を有することを特徴とする通行人計数装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各種の施設などに設けられた通路を通行する通行人を検出しまたは計数するための通行人検出方法および装置ならびに通行人計数装置に関する。
【背景技術】
【０００２】
従来において、商業施設や公共施設などにおいて、通路や施設に異常がないかどうかを監視するために、監視専用のカメラが設置されている。また、マーケティングを目的として、それらの施設の入場者数や通行人数を計数するための計数専用のカメラが監視専用のカメラとは別途に設置されることがある。
【０００３】
一般に、監視目的のためには、通行人（または施設への入場者）の顔が判別可能な角度で撮影できるようにカメラを設置する必要がある。他方、計数目的のためには、計数を正確に行うために天井から真下に向けて撮影を行うように、監視目的のカメラとは別個のカメラを設置することが一般的である。そのため、施設内でのカメラの設置総数が多くなり、これによってシステム全体の構成が複雑化したり、回線速度やサーバ端末数または記憶容量などに対する要求が高くなってしまうなどの問題がある。
【０００４】
このような問題に対処するために、計数用のカメラを、監視目的に使用可能な角度、つまり通行方向に沿った方向であって通行人の進行方向と逆向きに近い角度となるよう、カメラの光軸を設定することで、通行人の顔をほぼ正面から撮影できるように設置することが考えられる。
【０００５】
ところで、通行人の計数方法として、通路上に予め設定したラインを横切る背景差分領域サイズを一人分の面積で割ることでカウントする方法や、画像の中の楕円形状の領域を頭部として計数する方法が従来から提案されている。
【０００６】
後者の方法では、人の頭部を楕円によって近似できると見做し、通行人をほぼ正面から撮影して得た画像の中から、階層楕円テンプレートによるHough 変換投票処理によって顔領域を抽出する（特許文献１）。抽出された顔の数をカウントすることによって通行人の計数を行う。
【０００７】
しかし、人の頭部は、帽子の有無、髪形、顔輪郭の個人差などによって、一般的には完全な稽円とはいい難い。それ故、全ての人の顔の抽出を保証する楕円テンプレートを用意することは不可能である。つまり、楕円らしさの低い頭部楕円が存在することになるため、服装に付された模様や通行人の持ち物などによって検出されるエッジに対して抽出されてしまう楕円らしさの高い領域との区別が困難になる。撮影距離が特定できない場合にはより一層困難である。この点から顔の抽出精度に問題が残る。
【０００８】
さらには、正面からの撮影による画像を用いた場合に、人が重なって顔が隠れてしまい実際よりも少なくカウントされるという問題がある。また、通行人の移動とともに撮影距離が変化し、画像上でのサイズが一定ではないという問題がある。つまり、例えば、背景差分領域サイズが２人分の大きさであっても縦に大勢が重なっていたため実際には５人いたということも有り得る。
【０００９】
また、２つのカメラを用い、得られた画像による特徴量のステレオ対応結果の動線に基づいて移動体を検出する方法が提案されている（特許文献２）。この方法による場合には、ステレオ対応であるため、２つのカメラの光軸がほぼ同じ方向となるように配置され、２つのカメラから得られる情報の間の冗長度が高くなる。したがって、２つのカメラの使用による通行人検出性能の向上度合いは低くならざるを得ない。
【００１０】
また、複数のカメラと物体が一直線上に並ばないようにカメラを移動させ、各カメラで検出された物体位置に基づいて、実空間上での物体位置を特定する方法が提案されている（特許文献３）。しかし、この場合に、複数のカメラは物体の位置を特定するためのものであり、物体の抽出は各カメラ毎に行われている。つまり、物体の検出自体に複数のカメラで抽出された物体の対応を利用するものではないため、物体の数が多くなると誤検出し易いという問題がある。
【特許文献１】特開２００１−２２２７１９
【特許文献２】特開平１１−６６３１９
【特許文献３】特開２０００−２２８７６６
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、通路を通行する通行人を高い精度で検出することを可能とし、しかもカメラを通行人の計数目的と監視目的とに兼ねることを可能とし、システム全体のカメラの数を少なくしてシステムの構成を簡素化することを課題とする。
【課題を解決するための手段】
【００１２】
本発明に係る方法は、通路を通行する通行人を検出するための通行人検出方法であって、２つのカメラを、前記通路の所定の領域において当該通路を通行する通行人をそれぞれ撮影可能なように、かつそれらの光軸が平面視において互いに対向する状態で、配置しておき、前記２つのカメラによって所定の時間毎に撮影を行い、前記２つのカメラによって互いにほぼ同時刻に撮影されて得られた２つの画像に基づいて前記通行人を検出する。
【００１３】
本発明に係る装置は、通路の所定の領域において当該通路を通行する通行人をそれぞれ撮影可能なように、かつそれらの光軸が平面視において互いに対向する状態で配置された、２つのカメラと、前記２つのカメラによって所定の時間毎に撮影を行うように制御する撮影制御手段と、前記２つのカメラによって互いにほぼ同時刻に撮影されて得られた２つの画像に基づいて前記画像の中から通行人を抽出する抽出手段とを有する。
【００１４】
互いに対向する状態で配置した２つのカメラでほぼ同時刻に撮影されて得られた２つの画像に基づいて前記通行人を検出するので、通行人を高い精度で検出することが可能となる。
【００１５】
好ましくは、前記２つのカメラは、前記通路における通行方向に沿って異なる位置において、前記通路の所定の領域を互いに逆の方向から撮影するように配置する。
【００１６】
または、前記２つのカメラは、前記通路における幅方向の両側において、前記通路の所定の領域を互いに逆の方向から撮影するように配置する。
【００１７】
また、好ましくは、前記２つの画像における被写体の位置の相違によるサイズの異なりを修正するためのサイズ変更手段が設けられる。
【００１８】
また、前記抽出手段は、前記２つの画像において左右反転位置にある形状領域、例えば楕円形状の被写体、または予め設定したサイズの同一色領域の被写体を通行人として抽出する。また、互いに同一のサイズの被写体であって移動方向が互いに逆である被写体を通行人として抽出する。
【００１９】
本発明における通路とは、屋内または屋外の施設などにおいて人がそこへ行きまたはそこを通る部分をいう。通行とは、通路に行くことまたは通り抜けることをいう。
【発明の効果】
【００２０】
本発明によると、通路を通行する通行人を高い精度で検出することが可能であり、しかもカメラを通行人の計数目的と監視目的とに兼ねることが可能となり、システム全体のカメラの数を少なくしてシステムの構成を簡素化することが可能である。
【発明を実施するための最良の形態】
【００２１】
〔第１の実施形態〕
図１は本発明の第１の実施形態を示す管理システム１の全体の構成の例を示す図、図２は２つのカメラ３１，３２の設置状態を示す図、図３は２つの２つのカメラ３１，３２により同時に撮影して得られた画像の例を示す図、図４は管理システム１の概略の処理内容を示すブロック図である。
【００２２】
図１において、管理システム１は、サーバ２、複数のカメラ３、および通信回線４などによって構成される。サーバ２および各カメラ３は、通信回線４を介して互いに接続されている。通信回線４として、ＬＡＮ、公衆回線、専用線、またはインターネットなどが用いられる。
【００２３】
この管理システム１は、スーパーマーケットまたはデパートなどの大型店舗、多数の専門店などが集まった地下街、空港または駅などのターミナルビル、博物館、またはイベント会場などのような、多数の人が利用する施設などで使用される。
【００２４】
カメラ３は、設定された画角の範囲について、被写体（背景を含む）を撮影して画像（画像データ）を取得する。取得された画像は、通信回線４を介してサーバ２に順次送られる。カメラ３は、サーバ２からの指令により、撮影動作のオンおよびオフが制御される。通常は、常時において撮影動作を行うように制御されている。撮影動作がオンのときには、一定の時間間隔Ｔ１で撮影を行い、得られた画像を順次出力する。時間間隔Ｔ１として、例えば、３０分の１秒、１５分の１秒、１０分の１秒などが設定される。３０分の１秒に１回の撮影を行うように設定された場合には、３０フレーム／秒の画像が得られる。これは一般的な動画（ビデオ画像）に相当する。カメラ３として、デジタルカメラ、特にビデオ撮影の可能なデジタルカメラ、またはデジタルビデオカメラなどが用いられる。ＰＴＺ動作を行うための機構が設けられていてもよい。撮影動作における時間間隔Ｔ１ごとの撮影の制御は、カメラ３の内部回路で行ってもよく、またはサーバ２からの指令により行ってもよい。
【００２５】
カメラ３は、上に述べたような施設の出入口または通路などの通行人（歩行者）が通行する区域、つまり通路の所定の領域（以下、「通行エリア」と記載することがある）ＴＥごとに、それぞれ２台１組のカメラ３１，３２が割り当てられている。２台１組のカメラ３１，３２は、図２（ａ）（ｂ）に示すように、通行エリアＴＥの幅方向のほぼ中央位置であって、通行エリアＴＥにおける通行方向に沿って互いに異なる位置において、通行エリアＴＥの上方位置、例えば天井に、それぞれ取り付けられている。カメラ３１，３２は、通行エリアＴＥを通行する通行人ＴＮを互いに逆の方向から撮影可能なように、つまりそれらの光軸が平面視において互いに対向する状態で設置される。さらに詳しくは、これら２つのカメラ３１，３２は、通行エリアＴＥの中央のライン（基準ライン）ＬＣに対して、互いに対称な範囲が画角ＧＫに入って撮影されるように配置されている。したがって、カメラ３１，３２は、ラインＬＣを通る垂直面に対して、互いに対称な位置において、光軸および画角ＧＫが互いに対称となるように配置されている。
【００２６】
すなわち、一方のカメラ３１は、矢印Ｍ１方向に歩行する通行人ＴＮが通行エリアＴＥの中央のラインＬＣ上にきたときに、その通行人ＴＮが画角のほぼ中央に入って正面上方から撮影されるように配置され、他方のカメラ３２は、そのときの通行人ＴＮが画角のほぼ中央に入って背面上方から撮影されるように配置されている。
【００２７】
このように、カメラ３１，３２は、ラインＬＣの近辺において通行人ＴＮを撮影する。これら２つのカメラ３１，３２は、互いに同期して撮影が行われるよう、つまり互いに同時刻の画像が得られるように制御されている。これら２つのカメラ３１，３２の同期をとるために、カメラ間で同期信号の授受を行うようにしてもよいし、サーバ２からの指令または同期信号によって撮影を行うように制御してもよい。撮影により得られた各画像には、撮影の時刻を示す時刻データ（タイムスタンプ）が付される。
【００２８】
図３（ａ）に示すように、一方のカメラ３１により撮影された画像ＦＧ１には、通行エリアＴＥおよび通行人ＴＮの正面が写っている。図３（ｂ）に示すように、他方のカメラ３２によりカメラ３１と同時刻に撮影された画像ＦＧ２には、通行エリアＴＥおよび通行人ＴＮの後ろ姿が写っている。
【００２９】
サーバ２は、２つの画像ＦＧ１，２に基づいて、画像ＦＧ１，２の中から通行人ＴＮを抽出する処理を行う。抽出処理として、次に示す種々の処理またはその他の公知の処理を採用することが可能である。
（１）２つの画像ＦＧ１，２において、左右反転位置にある形状領域の被写体を通行人ＴＮとして抽出する。
（２）２つの画像ＦＧ１，２において、左右反転位置にある楕円形状の被写体を通行人ＴＮとして抽出する。
（３）２つの画像ＦＧ１，２において左右反転位置にある予め設定したサイズの同一色領域の被写体を通行人ＴＮとして抽出する。
（４）２つの画像ＦＧ１，２において、互いに同一のサイズの被写体であって移動方向が互いに逆である被写体を通行人ＴＮとして抽出する。
【００３０】
なお、抽出処理において、またはその前処理として、２つの画像ＦＧ１，２における被写体の位置の相違によるサイズの異なりを修正する処理が必要に応じて行われる。
【００３１】
図４において、各カメラ３１，３２は、画像撮影部４１および画像転送部４２を有する。画像撮影部４１は、ＣＣＤ、ＣＣＤ制御部、対物レンズ、ズーミング機構などからなり、撮影によって画像ＦＧを取得する。画像転送部４２は、取得した画像ＦＧをサーバ２に転送する。
【００３２】
サーバ２は、検出処理部４３および検出結果転送部４４を有する。検出処理部４３は、上に述べたように、カメラ３１，３２から送られてきた画像ＦＧの中から同時刻に撮影された画像ＦＧを選択し、その画像ＦＧの中から通行人ＴＮを抽出する処理を行う。また、抽出した通行人ＴＮをカウントする処理を行う。さらに、後で述べるように、画像のサイズを変更する処理を行う。検出結果転送部４４は、検出処理部４３による処理結果、つまり、抽出された通行人ＴＮのカウント数、および通行人ＴＮの画像をデータベース２ａに転送する。データベース２ａには検出結果記録部４５が設けられており、転送されてきた処理結果を記録する。
【００３３】
なお、検出処理部４３において、通行人ＴＮを抽出するために用いる２つの画像ＦＧは、全く同時刻に撮影されたものでなく多少の時間差があっても、実際上は十分正確に抽出を行えることがある。したがって、２つのカメラ３１，３２の撮影を同期させることなく、それぞれ独立して撮影を行うようにした場合であっても、互いに接近した時刻に撮影された２つの画像ＦＧを選択することによって通行人ＴＮを抽出することができる。例えば、３０フレーム／秒の場合には、１フレーム程度の差であれば、通常、被写体について位置の変更がほとんどないと見做すことも可能であるので、２つのカメラ３１，３２を同期させることなく、互いに独立して撮影を行っておき、タイムスタンプの近い画像を選択することによって通行人ＴＮを抽出することも可能である。また、カメラ３１，３２の撮影動作のオンおよびオフをサーバ２によって制御したが、サーバ２によってそのような制御を行うことなく、カメラ３１，３２を設置して電源を入れた後は撮影動作が行われる状態としてもよい。このようにすると、サーバ２からカメラ３１，３２へのそのための制御ラインまたは制御信号を省略することも可能である。
【００３４】
次に、検出処理部４３における通行人ＴＮの抽出処理の例について説明する。
【００３５】
図５は各階層楕円テンプレートを用いた頭部の抽出処理を説明する図である。ここに示す例では、階層楕円テンプレートを利用してHough 変換を行い、投票のピークを検出することによって、任意のサイズの頭部についてそのサイズと位置とを同時に検出する。なお、この方法の細部については特開２００１−２２２７１９を参照することができる。
【００３６】
図５（ａ）（ｂ）に示すように、まず、撮影して得られた画像ＦＧ、およびテンプレート（テンプレート画像）ＴＰを準備する。図５（ｃ）に示すように、画像ＦＧに基づいてエッジ画像ＧＥを生成する。図５（ｄ）に示すように、エッジ画像ＧＥのエッジＲＮ（輪郭線）上の任意の１つの画素（エッジ画素）Ｐに注目し（以下、注目した画素Ｐを「注目画素Ｐｆ」と記載する）、注目画素ＰｆとテンプレートＴＰの中心ＣＴとが一致するように、エッジ画像ＧＥの上にテンプレートＴＰを重ねる。そして、テンプレートＴＰのエッジ上の各画素Ｐｔを投票者として、エッジ画像ＧＥ上において各画素Ｐｔと重なった画素に対して各１票を投じる。つまり、投票された画素のカウンタに「１」を加算する。
【００３７】
図５（ｅ）に示すように、このような処理をエッジ画像ＧＥにおけるエッジＲＮ上の全ての画素Ｐについて行い、各画素Ｐについての投票数を通算する。その結果、図５（ｆ）に示すように、投票数が最大である投票ピークＰＰが得られる。
【００３８】
なお、通行人ＴＮの正面の画像ＦＧまたは後ろ姿の画像ＦＧにおいて人や移動物体を特徴付ける特徴量の検出方法であれば、ここに述べた方法以外の方法を採用することが可能である。
【００３９】
さて、通行人ＴＮを正面方向から撮影する場合に、通行人ＴＮの位置に応じて画像中での頭部のサイズが異なる。つまり、図６に示すように、通行エリアＴＥにおいて、ラインＬＣ１，ラインＬＣ，ラインＬＣ２の順にカメラ３１から遠ざかる。したがって、図７に示すように、得られた画像ＦＧ３においては、通行人ＴＮ１、通行人ＴＮ２、通行人ＴＮ３の順に、頭部のサイズが小さくなっていく。このような場合の頭部の検出には、上に述べた楕円検出方法が有効である。
【００４０】
しかし、その場合に、例えば近くにある小さい楕円模様なのか、または遠くにある頭部楕円なのかを区別することができない。この問題を解消するために、図８および図９に示すように、画像ＦＧ中における検出処理の対象範囲を限定する。
【００４１】
すなわち、図８および図９において、カメラ３１の画角のうち、ラインＬＣ上に通行人ＴＮがいる場合のその頭部の位置を含む狭い設定範囲ＨＡのみを抽出処理の対象とする。これによって、画像ＦＧ４における頭部のサイズと存在位置を限定することができ、不要な楕円のほとんどを排除することが可能となる。図９（ａ）に示す画像ＦＧ４において、通行人ＴＮ１は検出されるが、通行人ＴＮ２は検出されない。通行人ＴＮ２は、ラインＬＣの位置まできたときに頭部が設定範囲ＨＡに入り、そのときに頭部が検出されることとなる。これによって、不要な楕円による投票ピークを排除することが可能となる。なお、設定範囲ＨＡは、ラインＬＣ上に身長１３０〜２００ｃｍの通行人ＴＮがいるとした場合にその頭部を含むように設定される。この数値によると、小さな子供はカウントされずに済む。
【００４２】
しかし、通行人ＴＮの服の模様などに起因して不要な投票ピークが発生することが考えられる。すなわち、図９（ｂ）に示すように、設定範囲ＨＡの画像の中に、通行人ＴＮ１については本来の頭部の中心位置に投票ピークＰＰが発生するが、通行人ＴＮ２については、その服の模様などに起因してエッジが集中する位置に不要な投票ピークＰＰ２が発生する。このまま処理を行うと、服の模様を頭部であると誤抽出する可能性がある。
【００４３】
この問題を解消するために、図１０（ａ）（ｂ）に示すように、前後２つのカメラ３１，３２によって撮影した２つの画像ＦＧ４，５を用いる。これら２つの画像ＦＧ４，５の設定範囲ＨＡの部分の投票ピークＰＰが図１０（ｃ）（ｄ）に示されている。図１０（ｃ）（ｄ）において、互いに同じＹ座標（高さ位置）で、Ｘ座標（横位置）が左右対称である投票ピークＰＰ１のみを用いることにより頭部の検出を行う。これによって、服の模様などに起因する投票ピークＰＰ２が頭部として誤検出されることが防止される。
【００４４】
さらに、図１１（ａ）（ｂ）に示すように、設定範囲ＨＡ内で検出された頭部中心候補位置における移動方向を検出し、２つの画像ＦＧ４，５における移動方向が上下方向で互いに逆であるものを選択することにより、検出の正確さがさらに向上する。なお、そのような移動方向の検出のために、例えば特開平６−２０１７１５に示された方法を用いることができる。
【００４５】
上に述べた頭部の楕円という特徴量は、通行人ＴＮの前後から撮影した画像ＦＧの組み合わせにおいて頭部検出に利用可能な特徴量の一部である。これ以外にも、頭部領域の上端部の色や頭部下側の色を利用することで、髪色、または帽子や服などの色の一致情報を利用して頭部抽出を行うこともできる。また、オプティカルフローなどを利用することにより、移動の向きだけでなくその速さについての情報も利用することができる。また、 持ち物などを利用するために、移動領域の形状が２つの画像ＦＧ間で左右反転の位置にあって左右反転の形状領域であるか否かを利用して判定してもよい。
【００４６】
上に述べた実施形態では、２つのカメラ３１，３２によって前後から撮影して得た画像ＦＧにおいて対応付けがなされた物体領域を検出する場合について説明した。しかし、さらに、対応付けがなされた物体領域の検出の重みを上げるような構成にすることも可能である。
【００４７】
また、通行人ＴＮの検出の処理精度、処理速度、回路やシステム構成の簡略化などの観点からは、図２に示すように２つのカメラ３１，３２を結ぶ線の垂直二等分線に対して線対称である設置条件とすることが好ましいが、これに限られず、通行エリアＴＥを移動する通行人ＴＮに対して頭部（顔）の正面と頭部の背面とを同時に撮影可能なように、２つのカメラを設置すればよい。
【００４８】
例えば、図１２に示すように、通行エリアＴＥの出入口付近の通行人ＴＮを検知したい場合に、出て行く通行人ＴＮの顔の正面が十分に写る位置にカメラ３１を設置できない可能性が高い。しかし、そのような場合であっても、検出対象位置で２つの画像ＦＧの頭部が同じサイズとなるように２つのカメラ３１，３２の画角をそれぞれ設定し調整することによって、図９および図１０で説明したのと同様の処理を行うことが可能である。
【００４９】
つまり、図１２において、２つのカメラ３１，３２は、互いに非対称な位置において、光軸および画角が互いに非対称となるように配置されている。しかし、ラインＬＣ上の垂直面について同じ範囲が画角に入るように設定することによって、ラインＬＣ上の通行人ＴＮは２つのカメラ３１，３２で同じサイズで撮影されることとなり、頭部および通行人ＴＮの抽出が正確に行える。
【００５０】
また、カメラ３１，３２を設置する際に画角の調整をしなくても、得られた画像ＦＧを処理する段階で通行人ＴＮまたは頭部が同じサイズとなるように、画像ＦＧの切出しおよびサイズ変更を行うことで、図９および図１０で説明したのと同様の処理を行うことが可能である。
【００５１】
このように、２つのカメラ３１，３２を用いることにより、管理システム１の全体として、監視目的のための通行人ＴＮの検出とマーケティングを目的とした人数計数とを同時に行うことが可能であり、それらを正面からの１つのカメラで行う場合と比べて正確さを大幅に向上させることができる。また、通行人ＴＮを真上から撮影するのでなく、ある程度の角度、例えば２０度程度以上の角度をつけた前方から撮影するので、通行人ＴＮの顔を斜め上方の正面から撮影することができる。このように撮影して得た顔の画像は、計数のためのみならず、後々のために検出結果記録部４５に記録しておくことができる。
【００５２】
また、検出対象位置での頭部のサイズが前後から撮影した２つの画像ＦＧ間で一致するように検出対象領域を設定しない場合であっても、髪色の一致、移動の向きが逆か否か、画角と撮影距離から求まる画像ＦＧ上でのおおよその頭部のサイズは各カメラ毎に正常であるか否か（被写体に近い側のカメラでは大きく、遠い側のカメラでは小さいか否か）、片方のカメラの画像ＦＧにだけ顔が存在するかどうかなど、種々の情報を利用することにより、単一のカメラによる検出に比べて検出性能を向上させることが可能である。
【００５３】
なお、髪色の一致については、検出された頭部の上端部分の色を比較すればよいし、顔の存在については、従来から多くの顔検出や顔部位検出の方法が提案されており、それらを利用すればよい。
【００５４】
次に、管理システム１における処理をフローチャートを参照して説明する。
【００５５】
図１３は移動人物検出処理を示すフローチャート、図１４は頭部候補算出処理を示すフローチャート、図１５は頭部検出処理を示すフローチャート、図１６はエッジ画像作成処理を示すフローチャート、図１７は投票処理を示すフローチャートである。
【００５６】
図１３において、時刻ＴにＴ０を設定し（＃１１）、カメラ３１，３２からそれぞれフレームの画像ＦＧ１（Ｔ）、ＦＧ２（Ｔ）を入力する（＃１２）。一方の画像ＦＧ１（Ｔ）に対する頭部候補算出処理を行い（＃１３）、他方の画像ＦＧ２（Ｔ）に対する頭部候補算出処理を行い（＃１４）、頭部検出処理を行う（＃１５）。これらの処理を、所定の時間間隔ΔＴごとに繰り返す（＃１６，１７）。
【００５７】
図１４において、頭部候補算出処理では、エッジ画像作成処理を行い（＃２１）、投票処理を行い（＃２２）、楕円の中心を選択する（＃２３）。
【００５８】
図１５において、頭部検出処理では、画像ＦＧ１（Ｔ）に対する頭部候補と画像ＦＧ２（Ｔ）に対する頭部候補との組み合わせのうち、画像ＦＧの縦方向の中心線に対して線対称の位置にあるものを頭部として抽出する（＃３１）。
【００５９】
図１６において、エッジ画像作成処理では、画像ＦＧ（Ｔ）に対する明度画像を作成し（＃４１）、画像ＦＧ１（Ｔ）に対する明度画像と、その１フレーム前の画像ＦＧ１（Ｔ−１）に対する明度画像とを用い、これらのフレーム差分画像を作成する（＃４２）。画像ＦＧ（Ｔ）に対する明度画像を用いてＳＯＢＥＬ画像を作成し（＃４３）、フレーム差分画像とＳＯＢＥＬ画像との論理積画像を作成する（＃４４）。
【００６０】
なお、ステップ＃４２におけるフレーム差分画像およびステップ＃４３におけるＳＯＢＥＬ画像の作成方法は公知であるが、概略は次のとおりである。
【００６１】
すなわち、フレーム差分画像は、あるフレームの明度画像とその１フレーム前の明度画像との差分を求めることによる得る。得られたフレーム差分画像は、その１フレーム間に移動した部分を示す画像である。これによって移動する物体が検出される。
【００６２】
ＳＯＢＥＬ画像については、ステップ＃４１で作成された明度画像に対して、図１８に示す水平ＳＯＢＥＬフィルタＦＴＨおよび垂直ＳＯＢＥＬフィルタＦＴＶを適用し、それぞれ得られた画像の各画素の明度Ｆｓｈ、Ｆｓｖについて、次式、
Ｅ＝（Ｆｓｈ2 ＋Ｆｓｖ2 ）1/2  
によってエッジの強さＥを求める。得られたＥにより構成される画像がＳＯＢＥＬ画像である。
【００６３】
図１７において、投票処理では、ステップ＃４４で作成された論理積画像について、最初のエッジ画素を注目画素として設定する（＃５１）。設定されたエッジ画素を注目画素として、テンプレート位置を設定する（＃５２）。テンプレートをもとにして投票対象画素を選択し、対象画素の投票数を「１」増やす（＃５３）。次のエッジ画素を注目画素として設定し（＃５４）、最後のエッジ画素まで処理を繰り返す（＃５５）。投票処理については、上に述べた図５についての説明を参照すればよい。
【００６４】
上に述べた実施形態においては、通行エリアＴＥにおける通行人ＴＮの進行方向に沿って異なる位置に２つのカメラ３１，３２を設置した。しかし、これに限られず、２つのカメラを通行エリアＴＥにおける幅方向の両側に対向して設置してもよい。次にその例を説明する。
【００６５】
図１９は２つのカメラ３３，３４を通行エリアＴＥにおける幅方向の両側に設置した状態を示す図、図２０は２つのカメラ３３，３４により同時に撮影して得られた画像およびその後の処理の例を示す図である。
【００６６】
図１９（ａ）（ｂ）に示すように、カメラ３３，３４は、通行エリアＴＥの幅方向に沿って、その両側に、通行エリアＴＥの上方位置例えば側壁の上部に、それぞれ取り付けられている。カメラ３３，３４は、通行エリアＴＥを通行する通行人ＴＮを互いに逆の方向から撮影可能なように、つまりそれらの光軸が平面視において互いに対向する状態で設置される。さらに詳しくは、これら２つのカメラ３３，３４は、通行エリアＴＥの中央に沿ったラインＬＤを通る垂直面に対して、互いに対称な位置において、光軸および画角が互いに対称となるように配置されている。
【００６７】
図２０（ａ）（ｂ）に示すように、これらのカメラ３３，３４により撮影された画像ＦＧ１，２には、通行エリアＴＥおよび通行人ＴＮ１，２の側面が写っている。これら通行人ＴＮ１，２のサイズおよび遠近関係は、２つの画像ＦＧ１，２の間で互いに逆になっている。
【００６８】
そこで、図２０（ｃ）（ｄ）に示すように、画像ＦＧ１，２において、撮影距離に応じて、つまり画像ＦＧ１，２における上下位置に応じて、画像ＦＧ１，２をブロックに区分する。一方の画像ＦＧ１については、ブロックＡ１，Ａ２，Ａ３に区分し、他方の画像ＦＧ２については、ブロックＢ１，Ｂ２，Ｂ３に区分する。そして、２つの画像ＦＧ１，２の各ブロック間において、被写体のサイズが同じになるように変倍する。変倍の処理は、例えば図４における検出処理部４３において行われる。その場合の変倍率は、カメラ３３，３４の設置条件から算出することが可能である。
【００６９】
図２０（ｅ）（ｆ）に示すように、画像ＦＧ１についてのブロックＡ１，Ａ２，Ａ３と、画像ＦＧ２についてのブロックＢ１，Ｂ２，Ｂ３とが、互いに同じサイズになるように変倍された後、ブロックＡ１とＢ１、ブロックＡ２とＢ２、ブロックＡ３とＢ３とが、それぞれ比較される。そして、各ブロックの中心線に対して対称位置に同じサイズの形状領域、例えば楕円がある場合に、それを頭部としてまたは通行人ＴＮとして抽出する。また、図１１で説明したのと同様に、各ブロック（設定範囲ＨＡ）において頭部中心候補位置における移動方向を検出し、２つの画像ＦＧ１，２における移動方向が上下方向で互いに逆であるものを選択してもよい。
〔第２の実施形態〕
上に述べた第１の実施形態では、通行人ＴＮの前後から撮影した２つの画像ＦＧの間で対応のとれた物体領域を検出したが、第２の実施形態の管理システム１Ｂでは、人の重なりに対応するために、それら２つの画像ＦＧのいずれかで検出された物体領域を通行人ＴＮであるとして検出する。
【００７０】
第２の実施形態の管理システム１Ｂは、第１の実施形態の管理システム１の構成とほぼ同様である。しかし、その処理内容が若干異なる。以下、処理内容の相違点について主として説明する。
【００７１】
図２１は移動人物検出処理を示すフローチャート、図２２は頭部候補算出処理を示すフローチャート、図２３は計数処理を示すフローチャートである。
【００７２】
図２１において、時刻ＴにＴ０を設定し、カウント値に「０」を設定する（＃６１）。カメラ３１，３２からそれぞれフレームの画像ＦＧ１（Ｔ）、ＦＧ２（Ｔ）を入力する（＃６２）。一方の画像ＦＧ１（Ｔ）に対する頭部候補算出処理を行い（＃６３）、他方の画像ＦＧ２（Ｔ）に対する頭部候補算出処理を行い（＃６４）、計数処理を行う（＃６５）。これらの処理を、所定の時間間隔ΔＴごとに繰り返す（＃６６，６７）。
【００７３】
図２２において、頭部候補算出処理では、エッジ画像作成処理を行い（＃７１）、投票処理を行い（＃７２）、楕円の中心を選択する（＃７３）。
【００７４】
図２３において、計数処理では、画像ＦＧ１（Ｔ）に対する頭部候補と画像ＦＧ２（Ｔ）に対する頭部候補との組み合わせのうち、画像ＦＧの縦方向の中心線に対して線対称の位置にあるものを頭部として抽出する（＃８１）。ステップ＃８１で抽出された頭部の数をカウント値に加える（＃８２）。ステップ＃８１で抽出された以外に存在する頭部候補の数をカウント値に加える（＃８３）。
【００７５】
このようにして、２つの画像ＦＧ１，２のいずれかで検出された頭部を通行人ＴＮのカウント値に加算する。これによると、人が縦に重なっていた場合に、それを検出しないことによるカウント値の低さを是正することが可能である。
【００７６】
なお、全ての頭部候補をもれなく頭部検出結果としてカウントしたが、楕円の検出結果の信頼度や肌色度合いなど、他の情報も併用することで、特に頭部や人体として可能性の高いと思われる候補のみをカウントするようにすることもできる。さらに、２つのカメラ３１，３２で得られる画像ＦＧ１，２での対応付けを、他の情報と同様に、頭部や人体としての可能性の高さである、と位置付けて、仮に画像ＦＧ１，２間での対応付けができても他の特徴量での信頼度が低ければ頭部や人体として検出され難いよう、またはカウントされ難いように構成することも可能である。
【００７７】
上に述べた実施形態によると、通行エリアＴＥを通行する通行人ＴＮを高い精度で検出することが可能である。しかもカメラ３１，３２により得られる画像ＦＧ１，２には通行人ＴＮの顔がほぼ正面から写っているから、通行人ＴＮの計数目的のみでなく、監視目的をも兼ねることができる。したがって、システム全体のカメラの数を少なくしてシステムの構成を簡素化することが可能である。
【００７８】
上に述べた実施形態において、管理システム１，１Ｂの構造、構成、形状、寸法、機能、処理内容、処理順序などは、上に述べた以外の種々のものとすることができる。
【産業上の利用可能性】
【００７９】
商業施設や公共施設などにおいて、通路や施設に異常がないかどうかの監視および施設の入場者数や通行人数を計数するために利用される。
【図面の簡単な説明】
【００８０】
【図１】第１の実施形態を示す管理システムの全体の構成の例を示す図である。
【図２】２つのカメラの設置状態を示す図である。
【図３】２つのカメラにより同時に撮影して得られた画像の例を示す図である。
【図４】管理システムの概略の処理内容を示すブロック図である。
【図５】各階層楕円テンプレートを用いた頭部の抽出処理を説明する図である。
【図６】通行人の位置によるサイズの相違を説明する図である。
【図７】通行人の位置によるサイズの相違を説明する図である。
【図８】検出処理の対象範囲を限定するための設定範囲を示す図である。
【図９】画像中の設定範囲を示す図である。
【図１０】画像中の設定範囲に基づいて頭部が抽出される様子を説明する図である。
【００８１】
【図１１】画像中の設定範囲に基づいて頭部が抽出される様子を説明する図である。
【図１２】２つのカメラが対称でない状態に設置された例を示す図である。
【図１３】移動人物検出処理を示すフローチャートである。
【図１４】頭部候補算出処理を示すフローチャートである。
【図１５】頭部検出処理を示すフローチャートである。
【図１６】エッジ画像作成処理を示すフローチャートである。
【図１７】投票処理を示すフローチャートである。
【図１８】ＳＯＢＥＬフィルタの例を示すである。
【図１９】２つのカメラの設置状態を示す図である。
【図２０】２つのカメラの画像およびその後の処理の例を示す図である。
【図２１】移動人物検出処理を示すフローチャートである。
【図２２】頭部候補算出処理を示すフローチャートである。
【図２３】計数処理を示すフローチャートである。
【符号の説明】
【００８２】
１，１Ｂ  管理システム（通行人検出装置、通行人計数装置）
２  サーバ（撮影制御手段、抽出手段）
３  カメラ（撮影制御手段）
３１，３２  カメラ
３３，３４  カメラ
４３  検出処理部（抽出手段、サイズ変更手段、カウント手段）
ＴＮ  通行人
ＴＥ  通行エリア（通路の所定の領域）
【図１】
2005135339.tif 000003
【図２】
2005135339.tif 000004
【図３】
2005135339.tif 000005
【図４】
2005135339.tif 000006
【図５】
2005135339.tif 000007
【図６】
2005135339.tif 000008
【図７】
2005135339.tif 000009
【図８】
2005135339.tif 000010
【図９】
2005135339.tif 000011
【図１０】
2005135339.tif 000012
【図１１】
2005135339.tif 000013
【図１２】
2005135339.tif 000014
【図１３】
2005135339.tif 000015
【図１４】
2005135339.tif 000016
【図１５】
2005135339.tif 000017
【図１６】
2005135339.tif 000018
【図１７】
2005135339.tif 000019
【図１８】
2005135339.tif 000020
【図１９】
2005135339.tif 000021
【図２０】
2005135339.tif 000022
【図２１】
2005135339.tif 000023
【図２２】
2005135339.tif 000024
【図２３】
2005135339.tif 000025