(57)【要約】【課題】人を斜め方向から撮影した画像からでも人の通過を精度よく計数することを可能とし、カメラの種々の設置条件や店舗内のレイアウトに柔軟に対応することの可能な人数計数システムを提供すること。【解決手段】撮像装置から得られる画像に基づいて特定の領域を通過する人数の計数を行う計数システムであって、画像を表示面に表示する表示装置ＤＰと、操作入力を行うための入力装置ＮＳと、表示面上で指定された位置に指定された方向の移動検出方向を設定するための移動方向設定部２３と、画像に基づいて、設定された位置において移動検出方向に移動する人を検出する計数処理部２７と、検出された人の数を計数する計数部２８とを有して構成される。【選択図】    図４
2005148863.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から得られる画像に基づいて特定の領域を通過する人数の計数を行う人数計数システムであって、
前記画像を表示面に表示する表示手段と、
操作入力を行うための操作入力手段と、
前記操作入力手段により前記表示面上で指定された位置に指定された方向の移動検出方向を設定するための方向設定手段と、
前記画像に基づいて、前記方向設定手段により設定された位置において前記移動検出方向に移動する人を検出する移動検出手段と、
前記移動検出手段により検出された人の数を計数する計数手段と、
を有してなることを特徴とする人数計数システム。
【請求項２】
前記表示面上で指定された位置に、前記表示面における水平方向または垂直方向のいずれかの方向であってかつ前記方向設定手段により設定された移動検出方向とのなす角の大きな方向に沿って、人の通過を検出するための検出ラインを設定するライン設定手段を有する、
請求項１記載の人数計数システム。
【請求項３】
撮像装置から得られる画像に基づいて特定の領域を通過する人数の計数を行う人数計数システムであって、
前記画像を表示面に表示する表示手段と、
操作入力を行うための操作入力手段と、
前記操作入力手段により前記表示面上で指定された位置および方向に人の通過を検出するための検出ラインを設定するためのライン設定手段と、
前記操作入力手段により前記表示面上で指定された方向を移動検出方向として設定するための方向設定手段と、
前記画像に基づいて、前記ライン設定手段により設定された前記検出ラインを前記方向設定手段により設定された前記移動検出方向に横切る人を検出する移動検出手段と、
前記移動検出手段により検出された人の数を計数する計数手段と、
を有してなることを特徴とする人数計数システム。
【請求項４】
前記方向設定手段は、
前記表示面上において前記操作入力手段により始点および終点が指定されたときに、前記始点から前記終点に到る方向を前記移動検出方向として設定する、
請求項３記載の人数計数システム。
【請求項５】
前記ライン設定手段は、
前記表示面上において前記操作入力手段により始点および終点が指定されたときに、前記始点から前記終点に到る直線を前記検出ラインとして設定する、
請求項３または４記載の人数計数システム。
【請求項６】
前記ライン設定手段は、
前記表示面における水平方向または垂直方向のいずれかの方向であってかつ前記方向設定手段により設定された移動検出方向とのなす角の大きな方向に沿って、前記検出ラインを自動的に設定する、
請求項３または４記載の人数計数システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スーパーマーケットなどの店舗、その他の施設などにおいて、人の動きを測って顧客の動向を把握するためなどに用いられる人数計数システムに関する。
【背景技術】
【０００２】
従来より、マーケティング分野において、売り場内の顧客動線の把握のために、売り場内を撮影するカメラ（撮像装置）を設けておき、そのカメラから得られる画像に基づいて売り場内の種々の特定の領域を通過する人数の計数を行う、人数計数システムが導入されている。
【０００３】
従来の人数計数システムにおける計数方法では、人の通過を検出するための検出ライン（「通過検出ライン」ということがある）が画像内に設定され、その検出ラインを横切る人の数が計数される（特許文献１）。この特許文献１の人数計数システムでは、画像上で検出ラインが設定され、検出ライン上で取得された動画像を基にして、背景差分を利用して計数が行われる。
【０００４】
例えば、図１５に示すように、スーパーマーケットの出入口または通路など、人が通行する各領域をそれぞれ撮影するように、天井に計数用のカメラＣＡ，ＣＡ…が設置される。各カメラＣＡは、その下方に仮想的に設定された検出ラインＬＮを横切る人を真上から撮影する。この場合には、人を真上から撮影するので、人の重なりがなく、人の検出は比較的容易である。しかし、天井の高さには限度があるので、画像に大きな歪みのない程度の画角で撮影を行うと、その撮影範囲ＳＨは狭くなり、図１５に示すように検出ラインＬＮの個数に等しい数のカメラＣＡが必要となる。そのため、カメラＣＡの設置台数が増大し、それだけコストがかさむこととなる。
【特許文献１】特開平８−１２３９３５
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上に述べた問題を解消するには、計数用のカメラを、一般的な監視用カメラの場合と同様に光軸を斜め方向や水平方向に設定し、これによってカメラの撮影範囲ＳＨを広げて１台のカメラで店舗内の広い領域を撮影することが考えられる。その場合に、カメラによって撮影された画像上での位置毎に人の移動方向が異なることとなる。また、店舗のレイアウトやカメラの設置位置が変われば、画像上での人の移動方向も変化する。
【０００６】
しかし、上に述べた特許文献１の計数方法は、カメラで人を真上から撮影することを想定しており、人の移動方向が検出ラインに対して垂直であることを前提としている。そのため、ここに述べたように人を真上からではなく斜め方向から撮影した場合には、移動方向と検出ラインとが垂直になるとは限らないので、想定した移動方向と実際の移動方向とがずれた場合にミスカウントが生じることがあり、計数精度が低下するという問題がある。その上、複数の通路が画像上で重なることとなり、１つの検出ラインに対して複数の方向に移動する人を分離して検出することができないという問題も生じる。
【０００７】
本発明は、人を斜め方向から撮影した画像からでも人の通過を精度よく計数することを可能とし、カメラの種々の設置条件や店舗内のレイアウトに柔軟に対応することの可能な人数計数システムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明に係る人数計数システムは、撮像装置から得られる画像に基づいて特定の領域を通過する人数の計数を行う計数システムであって、前記画像を表示面に表示する表示手段と、操作入力を行うための操作入力手段と、前記操作入力手段により前記表示面上で指定された位置に指定された方向の移動検出方向を設定するための方向設定手段と、前記画像に基づいて、前記方向設定手段により設定された位置において前記移動検出方向に移動する人を検出する移動検出手段と、前記移動検出手段により検出された人の数を計数する計数手段とを有して構成される。
【０００９】
好ましくは、前記表示面上で指定された位置に、前記表示面における水平方向または垂直方向のいずれかの方向であってかつ前記方向設定手段により設定された移動検出方向とのなす角の大きな方向に沿って、人の通過を検出するための検出ラインを設定するライン設定手段を有する。
【００１０】
本発明において、ユーザは、操作入力手段を用いて表示面上で位置または方向を指定することによって、任意の位置および方向の移動検出方向を設定することが可能である。また、移動検出方向とは独立して、任意の位置に検出ラインを設定することが可能である。設定された位置または検出ラインにおいて、設定された移動検出方向に移動する人が検出される。したがって、計数のためのカメラを、人の真上からではなく、斜め方向から撮像するように設けることが可能となる。
【００１１】
なお、本発明において、「人」にはいわゆる人間のみでなく、動物その他の動物体が含まれる。「人数」についても同様であり、動物の数および動物体の数が含まれる。
【発明の効果】
【００１２】
本発明によると、人を斜め方向から撮影した画像からでも人の通過を精度よく計数することが可能となる。これによって、カメラの種々の設置条件や店舗内のレイアウトに柔軟に対応することが可能である。
【発明を実施するための最良の形態】
【００１３】
図１は本発明の実施形態を示す人数計数システム１の全体の構成の例を示す図、図２はカメラ３の設置状態の例を示す図、図３はカメラ３により撮影して得られた画像の例を示す図、図４は人数計数システム１の概略の機能構成を示すブロック図である。
【００１４】
図１において、人数計数システム１は、ホストコンピュータ２、複数のカメラ３、および通信回線４などによって構成される。ホストコンピュータ２および各カメラ３は、通信回線４を介して互いに接続されている。通信回線４として、ＬＡＮ、公衆回線、専用線、またはインターネットなどが用いられる。
【００１５】
この人数計数システム１は、スーパーマーケットまたはデパートなどの大型店舗、多数の専門店などが集まった地下街、空港または駅などのターミナルビル、博物館、またはイベント会場などのような、多数の人が利用する施設などで使用される。本実施形態ではスーパーマーケットＭＫで使用される人数計数システム１について説明する。
【００１６】
カメラ３は、ホストコンピュータ２からの指令によって動作し、被写体（背景を含む）を撮像（撮影）して画像（画像データ）を取得する。カメラ３には、パン（Ｐ）、チルト（Ｔ）、およびズーミング（Ｚ）の各機能が付いており、これらによるＰＴＺ動作によって撮像範囲（撮像領域）ＳＨの変更が可能である。撮像により取得された画像は、通信回線４を介してホストコンピュータ２に順次送られる。カメラ３は、一定の時間間隔Ｔ１で撮像を行い、得られた画像を順次出力する。時間間隔Ｔ１として、例えば、３０分の１秒、１５分の１秒、１０分の１秒などが設定される。３０分の１秒に１回の撮像を行うように設定された場合には、３０フレーム／秒の撮像速度の画像が得られる。これは一般的な動画（ビデオ画像）に相当する。カメラ３として、ＰＴＺ動作のための駆動装置が設けられたデジタルカメラ、特に動画撮像の可能なデジタルカメラ、またはデジタルビデオカメラなどが用いられる。
【００１７】
カメラ３は、図２に示すように、スーパーマーケットＭＫの清算カウンターＣＴ１のある奥の天井付近に設置されている。カメラ３は、全ての通路ＴＵ１〜５を含む店舗内のほぼ全領域が撮像領域ＳＲとなるよう、パン、チルト、およびズーミングが調整されている。なお、図２にはスーパーマーケットＭＫの売り場の一部が示されており、フロアーの異なる売り場にもそれぞれ同様のカメラ３が設置されている。
【００１８】
図１に戻って、ホストコンピュータ２は、コンピュータ本体ＰＣ、表示装置ＤＰ、ハードディスクＨＤ、および入力装置ＮＳなどからなる。ホストコンピュータ２は、スーパーマーケットＭＫの管理室または事務室などに設置されており、各カメラ３を制御し、主として売り場やその周辺の様子を示す画像（画像データ）ＦＧを取得し、取得した画像ＦＧに基づいてそれぞれの領域における通過人数を計数する。また、管理人または監視員などに対して種々の通知を行うために使用される。ホストコンピュータ２として、パーソナルコンピュータまたはワークステーションなどが用いられる。
【００１９】
図３に示すように、ホストコンピュータ２の表示装置ＤＰの表示面ＨＧには、カメラ３から得られる画像ＦＧ１が表示される。画像ＦＧ１には、店舗の壁ＫＢ１，２、出入口ＤＲ１、清算カウンターＣＴ１、商品の陳列棚ＴＡ１，２、通路ＴＵ１〜５、および顧客（人）ＴＮ１などが映っている。表示装置ＤＰには、また、コンピュータ本体ＰＣから出力される種々のデータまたは画像が表示される。例えば、各通路ＴＵ１〜５ごとまたは後で述べる検出ラインごとに計数された人数などが表示される。
【００２０】
人数計数システム１を用いると、１つのカメラ３によって、各通路ＴＵ１〜５における通過人数を計数することができる。ユーザ（オペレータ）は、通路ＴＵ１〜５において計数したい任意の位置および方向を指定することが可能である。ユーザが指定した位置において指定された方向に移動する顧客ＴＮを、その位置ごとに計数することが可能である。ユーザが人数の計数を行いたい領域または位置、例えば通路ＴＵ１〜５または通路ＴＵ１〜５における特定の領域が、本発明における「特定の領域」に相当する。
【００２１】
入力装置ＮＳは、ユーザが操作入力を行ってコンピュータ本体ＰＣに種々の指令を与え、データを入力するために用いられる。特に、本実施形態においては、後で述べる設定モードで検出ラインの設定や移動検出方向を設定するために、ユーザが入力装置ＮＳを操作して表示面ＨＧ上において画像ＦＧ１内での位置や方向を指定するために用いられる。
【００２２】
入力装置ＮＳとして、例えば、キーボード、マウス、ジョイスティック、またはタッチペンなどのポインティングデバイスが用いられる。表示装置ＤＰの表示面ＨＧにタッチパネルが用いられるときは、指や筆記具なども入力装置ＮＳとして機能することが可能である。
【００２３】
入力装置ＮＳは、本発明における「操作入力手段」に相当する。設定モードにおいては、ユーザの操作入力に応じて、検出ライン、移動検出方向、またはこれらの両方の設定が可能である。検出ラインおよび移動検出方向は、任意の位置において任意の方向の設定が可能であり、また、設定する検出ラインまたは移動検出方向の個数に制限はない。しかし、通常、例えば図３に示す画像ＦＧ１において、通路ＴＵ１〜５を通過する顧客ＴＮの人数を計数するように、各通路ＴＵ１〜５の出入り端部、通路ＴＵ１〜５内の適当な位置、または出入口ＤＲ１などに、検出ラインおよび移動検出方向が設定される。
【００２４】
例えば、表示面ＨＧ上において、入力装置ＮＳによって始点および終点を指定することにより、その始点から終点に到る方向を「方向」として指定することが可能である。その場合に、それら始点と終点との中間位置を「位置」として指定することが可能である。また、入力装置ＮＳによって表示面ＨＧ上に軌跡を描くことにより、その軌跡の示す平均的な方向を「方向」として指定することが可能である。その場合に、その軌跡の図形的な中心例えば重心などを「位置」として指定することが可能である。
【００２５】
また、入力装置ＮＳによって始点および終点を指定することにより、その始点から終点に到る直線または適当な曲線を「検出ライン」として設定することが可能である。また、移動検出方向が設定されることにより、表示面ＨＧにおける水平方向（Ｘ方向、横方向）または垂直方向（Ｙ方向、縦方向）のいずれかの方向であってかつその移動検出方向とのなす角の大きな方向に沿って、自動的に検出ラインを設定することも可能である。
【００２６】
計数モードでは、設定された検出ラインをその検出ラインに対して設定された移動検出方向に横切る人を検出し、該当する人を１人検出したときに、当該検出ラインに対して「１」をカウントする。各検出ラインについて、それぞれのカウント値（合計値）が人数の計数値となる。
【００２７】
入力装置ＮＳは、また、カメラ３のＰＴＺ動作のための操作入力を行い、カメラ３の撮像領域を任意に変更するためにも用いられる。
【００２８】
ハードディスクＨＤは、画像ＦＧおよび計数結果などを記録する。その際に、計数結果を、計数の対象となった検出ラインごとに日付時刻とともに記録する。
【００２９】
図４に示すように、ホストコンピュータ２のコンピュータ本体ＰＣには、制御部２０、画像入力部２１、位置取得部２２、移動方向設定部２３、検出ライン設定部２４、ライン自動設定部２５、ライン・方向記憶部２６、計数処理部２７、および計数部２８などの機能が設けられる。これらの機能は、ハードウエアまたはソフトウエア、またはこれらの組み合わせによって実現される。例えば、ＲＡＭまたはＲＯＭなどに記憶したプログラムをＣＰＵによって実行することによって実現される。
【００３０】
制御部２０は、ホストコンピュータ２の全体を制御し、また、カメラ３に対して制御のための指令を出力する。
【００３１】
画像入力部２１は、カメラ３が撮像した画像ＦＧを入力し、必要に応じて記憶する。位置取得部２２は、入力装置ＮＳから入力された操作信号ＳＳおよび表示装置ＤＰの制御信号ＳＣなどに基づいて、入力装置ＮＳにより指定された表示面ＨＧ上の位置（座標位置）ＰＳを取得する。その際に、必要に応じて、始点（始点位置）ＰＳｓおよび終点（終点位置）ＰＳｅを取得する。位置取得部２２は、また、入力装置ＮＳから入力された操作信号ＳＳおよび表示装置ＤＰの制御信号ＳＣなどに基づいて、表示面ＨＧ上の軌跡ＰＳｋを取得する。
【００３２】
移動方向設定部２３は、入力装置ＮＳにより指定された位置ＰＳなどに基づいて、移動検出方向ＨＫを設定する。その際に、例えば、始点ＰＳｓおよび終点ＰＳｅが指定されたときには、始点ＰＳｓから終点ＰＳｅに到る方向を移動検出方向ＨＫとして設定する。また、軌跡ＰＳｋが指定されたときには、軌跡ＰＳｋの示す平均的な方向またはその他の演算によって得られる方向を移動検出方向ＨＫとして設定する。
【００３３】
検出ライン設定部２４は、入力装置ＮＳにより指定された位置ＰＳなどに基づいて、人の通過を検出するための検出ラインＬを設定する。その際に、例えば、始点ＰＳｓおよび終点ＰＳｅが指定されたときには、始点ＰＳｓから終点ＰＳｅに到る直線または適当な曲線を検出ラインＬとして設定する。
【００３４】
ライン自動設定部２５は、ライン自動設定モードにおいて、移動検出方向ＨＫが設定されることによって、移動検出方向ＨＫに基づいて検出ラインＬを自動的に設定する。ライン自動設定モードにおいては、検出ラインＬは、表示面ＨＧにおける水平方向または垂直方向のいずれかの方向に沿って設定される。水平方向または垂直方向の選択に際しては、移動検出方向ＨＫとのなす角が大きな方向、つまり移動検出方向ＨＫとできるだけ直角に近い方向が選択される。その場合の検出ラインＬの長さは、通路ＴＵの幅などに応じて、他の検出ラインＬとできるだけ重ならないような長さとされる。但し、画像ＦＧにおいて顧客ＴＮが通過する通路ＴＵが他にない場合などでは、検出ラインＬの長さは画像ＦＧの端から端まで延びてもよい。
【００３５】
なお、通常、検出ラインＬは、移動検出方向ＨＫとセットで設定され、検出ラインＬのみが設定されることはない。しかし、移動検出方向ＨＫのみを設定することは可能である。つまり、移動検出方向ＨＫのみが設定され、それに対応する検出ラインＬが設定されない場合がある。
【００３６】
検出ライン設定部２４およびライン自動設定部２５の処理動作について、図５〜図１３を参照して説明する。
【００３７】
図５は通過人数を計数しようとする位置の例を示す図、図６は設定された検出ラインの例を示す図、図７は設定された検出ラインの他の例を示す図、図８は移動検出方向ＨＫおよび検出ラインＬの設定方法を説明する図、図９は検出ラインＬを自動的に設定する様子を示す図、図１０は３本の検出ラインによる人の通過を検出する方法を説明する図、図１１は３本の検出ラインによる人の通過を検出する場合の問題点を説明する図、図１２は３本の検出ラインの配置の例および変形動物体を説明する図、図１３は３本の検出ラインを変形動物体が通過する様子を説明する図である。
【００３８】
図５に示すように、各通路ＴＵ２〜４の両端、出入口ＤＲ１、および、通路ＴＵ５の陳列棚ＴＡ１，２の横の部分において、それぞれ通過人数を計数したいとする。この場合に、従来であれば、同図に示すように、それぞれの位置において検出ラインＬ１ｋ〜Ｌ９ｋを設定することとなる。これらの検出ラインＬ１ｋ〜Ｌ９ｋは、互いに平行であるかまたは垂直であり、表示面ＨＧ内において水平方向または垂直方向に沿っている。この場合に、上に述べたように、カメラで人を真上から撮影することを想定しており、人の移動方向は各検出ラインＬ１ｋ〜Ｌ９ｋに対して垂直である必要がある。
【００３９】
これに対して、本実施形態においては、カメラ３によって売り場や人を斜め方向から撮影するので、カメラ３から得られる画像ＦＧは、図３に示すように遠近法で描いたような画像、または斜視図に近い画像となる。そのため、人の移動方向は表示面ＨＧの平面内であらゆる方向を取り得ることとなる。
【００４０】
例えば、図５に示す検出ラインＬ１ｋ〜Ｌ９ｋを図３において示した場合には、検出ラインの方向（例えば水平方向に対する傾き角度）は水平や垂直などの特定の方向ではなくなり、しかも、同じ通路ＴＵ２〜４上であってもその手前側の端部と奥側の端部とでは方向が異なることとなる。
【００４１】
また、人は画像ＦＧ内において立体的に移動するので、人の移動によって複数の検出ラインＬを横切ってしまうことが起こり得る。例えば、検出ラインＬ４ｋと検出ラインＬ８ｋとはそれらの位置が接近するので、人が通路ＴＵ５から通路ＴＵ４に入ったときに、その人はこれら２つの検出ラインＬ４ｋ、Ｌ８ｋをほぼ同時に横切ってしまうこととなる。そのため、これら２つの検出ラインＬ４ｋ、Ｌ８ｋにおいて人の移動を検出してしまうことが起こり得る。
【００４２】
そこで、本実施形態においては、人の通過を検出したい画像上の位置ごとに、検出対象である人の移動方向と通過を検出するための検出ラインＬを別々に設定することが可能となっている。
【００４３】
図６および図７には設定された検出ラインＬの例が示されている。
【００４４】
図６に示す例では、画像ＦＧ１に対応して、９つの検出ラインＬ１ａ〜Ｌ９ａが設定されている。検出ラインＬ１ａ、Ｌ３ａ、Ｌ５ａは互いに同じ方向であり、検出ラインＬ２ａ、Ｌ４ａ、Ｌ６ａは互いに同じ方向である。しかも、検出ラインＬ２ａ、Ｌ４ａは、床面上では見えないので、陳列棚ＴＡ１，２の上面と同じ位置に設けられている。また、検出ラインＬ７ａ、Ｌ８ａは、床面上の位置とは異なった位置でかつ床面上の方向とは異なった方向に設けられている。                                                            
【００４５】
また、検出ラインＬ３ａおよび検出ラインＬ４ａについて、移動検出方向ＨＫ３ａ、ＨＫ４ａが示されている。これらの移動検出方向ＨＫ３ａ、ＨＫ４ａは、通路ＴＵ３に沿った方向であるが、それぞれの検出ラインＬ３ａ、Ｌ４ａとは垂直ではなく、任意の角度を取り得る。なお、他の検出ラインＬについても同様な移動検出方向ＨＫが設定されるが、図には示していない。
【００４６】
図７に示す例では、画像ＦＧ１に対応して、９つの検出ラインＬ１ｂ〜Ｌ９ｂが設定されている。検出ラインＬ１ｂ、Ｌ２ｂ、Ｌ４ｂは垂直方向に設定されており、検出ラインＬ７ｂ、Ｌ８ｂは通路ＴＵ５に沿った方向と垂直な方向となるように設定されている。
【００４７】
また、各検出ラインＬについて移動検出方向ＨＫ１ｂ〜ＨＫ９ｂが設定されている。これらの移動検出方向ＨＫ１ｂ〜ＨＫ９ｂは、それぞれの通路ＴＵに沿った方向である。
【００４８】
次に、移動検出方向ＨＫおよび検出ラインＬの設定方法について説明する。
【００４９】
移動検出方向ＨＫおよび検出ラインＬを設定するには、ユーザが、入力装置ＮＳの操作によって、メニュ−などの中から設定モードを選択する。移動検出方向ＨＫの設定を選択すると、移動検出方向ＨＫについて、「方向を指定して下さい」「始点および終点を指定して下さい」などのメッセージが表示面ＨＧに表示される。ユーザは、メッセージにしたがって入力装置ＮＳを操作する。
【００５０】
例えば、マウスを用いて表示面ＨＧ上でカーソルを移動させ、図８（ａ）に示すように、始点ＰＳｓと終点ＰＳｅとにおいてそれぞれクリックする。これによって、始点ＰＳｓから終点ＰＳｅに到る移動検出方向ＨＫが設定される。この場合に、検出位置として、始点ＰＳｓと終点ＰＳｅとの中間の位置を自動的に設定することが可能である。検出ラインを設定しない場合には、始点ＰＳｓおよび終点ＰＳｅの位置に基づく位置が検出位置として用いられる。
【００５１】
また、マウスを用いて表示面ＨＧ上でカーソルを移動させ、図８（ｂ）に示すような軌跡ＰＳｋを描く。これによって、軌跡ＰＳｋに基づいた方向が移動検出方向ＨＫとして設定される。
【００５２】
なお、移動検出方向ＨＫの設定に際し、検出の位置を指定する場合を除いて、その設定のための位置または方向を指定する表示面ＨＧ上での位置は任意である。つまり、例えば、検出ラインＬの位置とは全く異なる位置において、移動検出方向ＨＫのための位置または方向を入力してもよい。
【００５３】
また、検出ラインＬの設定を選択すると、検出ラインＬについて、「位置を指定して下さい」「始点および終点を指定して下さい」「長さを指定して下さい」などのメッセージが表示面ＨＧに表示される。ユーザは、メッセージにしたがって入力装置ＮＳを操作する。
【００５４】
例えば、マウスを用いて表示面ＨＧ上でカーソルを移動させ、図８（ｃ）に示すように、２つの点（始点ＰＳｓおよび終点ＰＳｅ）においてそれぞれクリックする。これによって、２つの点ＰＳｓ、ＰＳｅを結ぶ直線が検出ラインＬとして設定される。また、マウスを用いて表示面ＨＧ上でカーソルを移動させ、図８（ｄ）に示すような軌跡ＰＳｋを描く。これによって、軌跡ＰＳｋに近い直線が検出ラインＬとして設定される。なお、検出ラインＬを直線とするか、曲線とするか、また曲線とした場合にその種類や関数式などが、メニューに表示されるので、ユーザは入力装置ＮＳを操作してそれらの中から選択することができる。
【００５５】
このように、本実施形態においては、移動検出方向ＨＫおよび検出ラインＬは、互いに独立して設定することが可能であり、それぞれ任意の位置において任意の方向の設定が可能である。設定個数に特に制限はない。
【００５６】
また、ライン自動設定モードを選択することにより、移動検出方向ＨＫを設定することによって検出ラインＬを自動的に設定することも可能である。
【００５７】
ライン自動設定モードにおいては、移動検出方向ＨＫを設定すると、設定された移動検出方向ＨＫの表示面ＨＧ上の角度が検出され、その角度に応じて、水平方向または垂直方向の検出ラインＬが自動的に設定される。
【００５８】
図９において、移動検出方向ＨＫが設定されると、その移動検出方向ＨＫの水平方向に対する角度αが求められる。角度αの絶対値が４５度未満であれば、移動検出方向ＨＫは水平方向に近いので、検出ラインＬは垂直方向に設定される。角度αの絶対値が４５度以上であれば、移動検出方向ＨＫは垂直方向に近いので、検出ラインＬは水平方向に設定される。
【００５９】
または、移動検出方向ＨＫの設定のために指定された始点ＰＳｓおよび終点ＰＳｅの座標、または軌跡ＰＳｋの始点と終点の座標を用い、それらの座標の変位を比べることによって、検出ラインＬの方向を決定してもよい。例えば、水平方向（Ｘ方向）の変位量が垂直方向（Ｙ方向）の変位量よりも大きい場合には、通路ＴＵは水平方向（横向き）に近いので、検出ラインＬを垂直方向（縦方向）に設定する。
【００６０】
また、検出ラインＬの長さは、ユーザによって指定するか、または通路ＴＵの幅と同じとなるように自動的に設定してもよい。場合によっては表示面ＨＧの全長にわたってもよい。
【００６１】
このように、検出ラインＬを表示面ＨＧ上における水平方向または垂直方向のいずれかとすることにより、計数処理の際の演算速度を向上させることができる。しかも、ユーザは水平方向または垂直方向のいずれにするかを考える必要がなく、検出ラインＬの設定が容易である。
【００６２】
なお、検出ラインＬは、一箇所において１本であるが、計数処理の方法（人の検出方法または移動方向の検出方法）によっては一箇所に複数本の検出ラインＬを用いることがある。例えば、一箇所において互いに平行な３本の検出ラインＬを用いることがある。そのような場合には、上のように設定した１本の検出ラインＬに対して、必要な数だけの検出ラインを適当に配置することによって設定し、それらをセットにしておけばよい。
【００６３】
ライン・方向記憶部２６は、設定された移動検出方向ＨＫおよび検出ラインＬを記憶する。その際に、検出ラインＬは移動検出方向ＨＫとセットで記憶される。移動検出方向ＨＫのみが設定され、それに対応する検出ラインＬが設定されなかった場合には、移動検出方向ＨＫが設定された表示面ＨＧ上の位置ＰＳがセットで記憶される。
【００６４】
計数処理部２７は、計数モードにおいて、検出ラインＬをそれに対応して設定された移動検出方向ＨＫに横切る人を検出する。計数部２８は、各検出ラインＬについて、検出した人数をカウントして記憶する。
【００６５】
そのような計数処理のために、種々の公知の方法が適用可能である。例えば、特許文献１として挙げた特開平８−１２３９３５公報に記載の方法を用いることができる。ここで、当該方法を用いた場合の例を簡単に説明する。
【００６６】
カメラ３からは、売り場内の人が移動している様子を示す画像（連続フレーム画像）ＦＧが得られる。画像入力部２１から得られた画像ＦＧを用いて、設定された各検出ラインＬを構成する画素列の経時的に変化する画素値からなる動画像を取得し、各検出ラインＬを構成する画素列の画素値を、検出ラインＬ上を人が通過していない状態で逐次更新して、背景画像を取得する。取得した動画像と背景画像とを差分処理し、２値化処理することにより人領域（動物体領域）を抽出し、人領域を時間順に連結して人像（動物体像）を形成し、人像に基づいて通過する人数を計数する。連続した画像ＦＧの中で検出ラインＬの上下に方向判定領域を設定し、人像の形成開始又は終了時刻において、その上下の方向判定領域の何れに人が存在するかを判定することにより人の通過方向を判定する。
【００６７】
また、その変形例による方法では、一箇所当たり３本の検出ラインＬを設定しておく。画像入力部２１から得られた画像ＦＧを用いて、３本の検出ラインＬ上の画像情報を取り出し、３つのスリット状動画像を得る。また、画像ＦＧから、各検出ラインＬ用の背景差分のためのスリット背景画像を逐次更新しておく。背景差分処理および２値化処理により、各検出ラインＬにおける人領域（動物体領域）を示す差分・２値化画像を抽出する。画像ＦＧの各フレームにおける人領域を時刻順に連結（ラベリング）し、人像（動物体像）を得る。背景画像の更新方法として、特願平７−２９９２０に示される方法を適用することが可能である。中央の検出ラインＬに対して、人の通過ごとに計数部２８によるカウントを行う。そして、通過する人の方向（移動方向）を判定する。方向の判定のために、通過時刻における中央の検出ラインＬ上の差分・２値化画像に基づいて、その通過位置を算出する。それぞれの検出ラインＬ上の交点を中心とした人の標準的な幅程度の範囲について、上下の差分・２値化画像を参照して、中央の検出ラインＬの上下の何れに連続して人が存在するかどうかを判定し、人の存在する方に向かって通過したと判定する。
【００６８】
例えば、図１０に示すように、一箇所に３本の検出ラインＬ１１ａ〜ｃが設けられているとし、ある大きさを持った動物体（顧客）ＴＮ１１が下方から上方へ移動しているとする。動物体ＴＮ１１が中央の検出ラインＬ１１ｂにさしかかり、その後に中央の検出ラインＬ１１ｂから抜け出る。中央の検出ラインＬ１１ｂから抜け出た瞬間を、動物体ＴＮ１１が通過した時刻（通過時刻）ｔ０であるとする。通過時刻ｔ０において、上方の検出ラインＬ１１ａでは動物体ＴＮ１１が抽出され、下方の検出ラインＬ１１ｃでは動物体ＴＮ１１が抽出されないので、動物体ＴＮ１１は上方に移動中であると判定される。
【００６９】
また、移動検出方向ＨＫに沿った通過ラインＨＬ上で、下方の検出ラインＬ１１ｃで動物体ＴＮ１１の侵入が最初に検知され、中央の検出ラインＬ１１ｂを通り、最終的に上方の検出ラインＬ１１ａから消失した場合に、動物体ＴＮ１１が下から上へ通過したことを検出する。
【００７０】
なお、計数処理部２７に関して上に述べたスリット状画像の生成処理、動物体領域の抽出処理、背景差分処理、２値化処理、連結処理、または通過方向の判定処理などについては、公知の技術を適用することが可能である。特に、移動検出方向ＨＫと検出ラインＬとが垂直である場合には、上に述べた特開平８−１２３９３５公報に記載の技術をそのまま適用することが可能である。
【００７１】
しかし、本実施形態においては、移動検出方向ＨＫと検出ラインＬとが垂直であるとは限らない。そのため、従来の方法のみでは人の通過を正確に検出できない場合がある。
【００７２】
例えば、図６の検出ラインＬ４ａと移動検出方向ＨＫ４ａとのように、それらの方向が互いに平行に近くなった場合には、図１１に示すように、動物体ＴＮ１１の侵入時と消失時とで、同じ通過ラインＨＬ上には動物体ＴＮ１１が存在しない可能性がある。その場合には、従来の方法では動物体ＴＮ１１の通過を正確に検出できない。
【００７３】
そこで、本実施形態においては、移動検出方向ＨＫと検出ラインＬとが垂直でない場合には、検出ラインＬを同じ位置に揃えるのではなく、検出ラインＬを移動検出方向ＨＫに沿ってずれた位置に配置する。
【００７４】
すなわち、図１２（ａ）に示すように、３本の検出ラインＬ１１ａ〜ｃを、移動検出方向ＨＫに沿ってずらせる。その結果、動物体ＴＮ１１が移動検出方向ＨＫに沿って移動した場合に、その通過ラインＨＬはそれぞれの検出ラインＬ１１ａ〜ｃの同じ対応位置を通過する。
【００７５】
換言すれば、３本の検出ラインＬ１１ａ〜ｃを移動検出方向ＨＫに沿ってずらせることにより、図１２（ｂ）に示すように、動物体ＴＮが恰も左右にひっぱられて変形して変形動物体ＴＮａとなったと仮定し、このように仮定した変形動物体ＴＮａが従来の揃えられた３本の検出ラインＬ１１ａ〜ｃを垂直に通過すると見ることができる。この場合の変形動物体ＴＮａは、検出ラインＬと移動検出方向ＨＫとの垂直からのずれの角度に相当する分だけ変形されることになる。つまり、図１３に示すように、同じ位置に揃えられた３本の検出ラインＬ１１ａ〜ｃに対して、変形動物体ＴＮａが垂直に進行して通過するように置き換えることができる。
【００７６】
このように、３本の検出ラインＬ１１ａ〜ｃを移動検出方向ＨＫに沿ってずらせるか、または顧客ＴＮを検出ラインＬ１１ａ〜ｃと移動検出方向ＨＫとの垂直からのずれの角度に対応して変形することによって、上に述べた従来の方法を利用して顧客ＴＮの通過を検出することができる。
【００７７】
上に述べたように、本実施形態の計数処理部２７は、設定された各検出ラインＬをそれぞれに設定された移動検出方向ＨＫに通過する顧客ＴＮを検出する。したがって、検出ラインＬを通過する顧客ＴＮであっても、当該検出ラインＬに設定された移動検出方向ＨＫに沿って通過する顧客ＴＮでない場合は、当該顧客ＴＮの通過を検出することなく、人数のカウントも行わない。
【００７８】
したがって、例えば図７において検出ラインＬ４ｂと検出ラインＬ８ｂとが接近しているが、それぞれに設定された移動検出方向ＨＫ４ｂとＨＫ８ｂとが互いに異なっているので、顧客ＴＮ１が同時にこれら２つの検出ラインＬ４ｂ、Ｌ８ｂを通過しても、その移動方向によっていずれの検出ラインＬ４ｂ、Ｌ８ｂを正規に横切ったかを区別することができる。これによって、各検出ラインＬにおける顧客ＴＮの移動の検出が正確となり、人数の計数が正確に行われる。
【００７９】
なお、移動検出方向ＨＫのみが設定されている場合には、移動検出方向ＨＫの設定された位置において顧客ＴＮ１がその方向に沿って移動したか否かによって、その位置における顧客ＴＮの移動を検出して計数する。
【００８０】
次に、人数計数システム１における移動検出方向ＨＫおよび検出ラインＬの設定処理について、フローチャートを参照して説明する。
【００８１】
図１４は移動検出方向および検出ラインの設定処理を示すフローチャートである。
【００８２】
図１４において、表示装置ＤＰの表示面ＨＧに、カメラ３で撮像した画像ＦＧを表示する（＃１１）。ユーザは、設定モードにおいて、画像ＦＧを見ながら入力装置ＮＳを操作して必要な指定を行う。移動検出方向ＨＫの設定のために、位置および方向を指定するための操作入力を行う（＃１２）。指定された位置および方向に基づいて、移動方向設定部２３が移動検出方向ＨＫを設定する（＃１３）。
【００８３】
検出ラインＬの設定を行う場合に（＃１４でイエス）、ライン自動設定モードでない場合は（＃１５でノー）、ユーザは検出ラインＬの設定のための位置を指定する（＃１８）。指定された位置に基づいて、検出ライン設定部２４が検出ラインＬを設定する（＃１９）。ライン自動設定モードの場合は（＃１５でイエス）、移動検出方向ＨＫに基づいて、検出ラインＬの方向を水平方向（横方向）または垂直方向（縦方向）のいずれかに決定し（＃１６）、検出ラインＬを自動設定する（＃１７）。画像ＦＧにおいて必要な移動検出方向ＨＫおよび検出ラインＬが設定されるまで、それらの処理を繰り返す（＃２０）。
【００８４】
上に述べた実施形態の人数計数システム１によると、カメラ３によって顧客ＴＮを斜め方向から撮影した画像ＦＧからでも、顧客ＴＮの通過を精度よく計数することが可能である。したがって、例えば図１５に示すように従来においては１つの売り場に９台のカメラが必要であった場合でも、図２に示すように１台のカメラ３で対応することが可能となり、カメラ３の台数を低減することができる。また、従来のようにカメラによって必ずしも真上から撮像する必要がないので、カメラの種々の設置条件や店舗内のレイアウトに柔軟に対応することが可能である。
【００８５】
上に述べた実施形態において、カメラ３の設置場所や姿勢、撮像領域ＳＲの選択などは種々変更可能である。売り場に１台のカメラ３を用いたが、２台以上であってもよい。ホストコンピュータ２において顧客ＴＮの通過の検出および計数を行ったが、ホストコンピュータ２においては移動検出方向ＨＫおよび検出ラインＬの設定のみを行い、顧客ＴＮの通過の検出および計数はカメラ３の内部で行うようにしてもよい。
【００８６】
上に述べた実施形態において、カメラ３、ホストコンピュータ２、または人数計数システム１の全体または各部の構成、形状、寸法、機能、個数、処理内容、処理順序、表示内容などは、本発明の趣旨に沿って適宜変更することができる。
【産業上の利用可能性】
【００８７】
商業施設や公共施設などにおいて、通路や施設の入場者数や通行人数を計数するために利用される。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施形態を示す人数計数システムの構成の例を示す図である。
【図２】カメラの設置状態の例を示す図である。
【図３】カメラにより撮影して得られた画像の例を示す図である。
【図４】人数計数システムの概略の機能構成を示すブロック図である。
【図５】通過人数を計数しようとする位置の例を示す図である。
【図６】設定された検出ラインの例を示す図である。
【図７】設定された検出ラインの他の例を示す図である。
【図８】移動検出方向および検出ラインの設定方法を説明する図である。
【図９】検出ラインを自動的に設定する様子を示す図である。
【図１０】３本の検出ラインによる人の通過を検出する方法を説明する図である。
【図１１】揃えられた３本の検出ラインの問題点を説明する図である。
【図１２】３本の検出ラインの配置の例および変形動物体を説明する図である。
【図１３】３本の検出ラインを変形動物体が通過する様子を説明する図である。
【図１４】移動検出方向および検出ラインの設定処理を示すフローチャートである。
【図１５】従来におけるカメラの配置の例を説明する図である。
【符号の説明】
【００８９】
１  人数計数システム
２  ホストコンピュータ
３  カメラ（撮像装置）
２３  移動方向設定部（方向設定手段）
２４  検出ライン設定部（ライン設定手段）
２５  ライン自動設定部（ライン設定手段）
２７  計数処理部（移動検出手段）
２８  計数部（計数手段）
ＮＳ  入力装置（操作入力手段）
ＤＰ  表示装置（表示手段）
ＨＧ  表示面
Ｌ  検出ライン
ＨＫ  移動検出方向
ＦＧ  画像
ＰＳｓ  始点
ＰＳｅ  終点
ＰＳｋ  軌跡
【図１】
2005148863.tif 000003
【図２】
2005148863.tif 000004
【図３】
2005148863.tif 000005
【図４】
2005148863.tif 000006
【図５】
2005148863.tif 000007
【図６】
2005148863.tif 000008
【図７】
2005148863.tif 000009
【図８】
2005148863.tif 000010
【図９】
2005148863.tif 000011
【図１０】
2005148863.tif 000012
【図１１】
2005148863.tif 000013
【図１２】
2005148863.tif 000014
【図１３】
2005148863.tif 000015
【図１４】
2005148863.tif 000016
【図１５】
2005148863.tif 000017