(57)【要約】【課題】  テレビカメラで撮像した画像データに基づいて確実に人間を検知できる人間沈思装置を提供すること【解決手段】  光軸をほぼ平行にして所定の領域の上方に真下もしくは一定の俯角を持たせて設置された焦点距離がほぼ同じ２つのカメラ１と、この２つのカメラが同時に撮影した画像の２つを記憶する画像メモリ５ａと、この画像メモリに記憶されている同時撮像の画像の同一点同士を対応付けする特徴点抽出部５ｂと、この特徴点抽出部によって対応付けされた同一点の３次元座標を求める演算し、求めた３次元座標の高さ方向の違いによって人間を分類する分類手段５ｃとを備える。【選択図】        図９
2005259173.tif 000002
【特許請求の範囲】
【請求項１】
光軸をほぼ平行にして所定の領域の上方に真下もしくは一定の俯角を持たせて設置された焦点距離がほぼ同じ２つのカメラと、
この２つのカメラが同時に撮影した画像の２つを記憶する画像メモリと、
この画像メモリに記憶されている同時撮像の画像の同一点同士を対応付けする特徴点抽出手段と、
この特徴点抽出手段によって対応付けされた同一点の３次元座標を求める演算手段と、
この演算手段が求めた３次元座標の高さ方向の違いによって人間を分類する分類手段とを、
有することを特徴とする人間検知装置。
【請求項２】
前記特徴点抽出手段は、２つの画像の特徴点をそれぞれ抽出する特徴点抽出処理手段と、
この特徴点抽出処理手段が抽出した特徴点の２つの画像の同一場所の特徴点同士を対応付けする対応付け処理手段と、
からなることを特徴とする請求項１記載の人間検知装置。
【請求項３】
前記分類手段によって分類された人間の数を計数する計数手段を設けたことを特徴とする請求項１または２記載の人間検知装置。
【請求項４】
人間検知装置における検知方法であって、
光軸をほぼ平行にして所定の領域の上方に真下もしくは一定の俯角を持たせて設置された焦点距離がほぼ同じ２つのカメラが同時に撮影した画像を画像メモリに記憶させる処理と、
この画像メモリに記憶されている同時に撮像した画像の同一点同士を対応付けする特徴点抽出処理と、
この特徴点抽出処理によって対応付けされた同一点の３次元座標を演算して求める演算処理と、
この演算処理を実行して求めた３次元座標の高さ方向の違いによって人間を分類する分類処理を含む人間検知方法。
【請求項５】
光軸をほぼ平行にして所定の領域の上方に真下もしくは一定の俯角を持たせて設置された焦点距離がほぼ同じ２つのカメラが同時に撮影した画像を画像メモリに記憶させるステップ、
この画像メモリに記憶されている同時に撮像した画像の同一点同士を対応付けする特徴点抽出ステップ、
この特徴点抽出処理によって対応付けされた同一点の３次元座標を演算して求める演算ステップ、
この演算処理を実行して求めた３次元座標の高さ方向の違いによって人間を分類する分類ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間を検出する人間検知装置および人間検知方法ならびにプログラムに関するものである。
【背景技術】
【０００２】
従来、陳列棚並びにショーケース等におかれた商品や、展示品・広告等に対する注目度や集客力を計測しようとした場合には、その商品等の注目度を求めるエリアを直接または監視カメラを介して間接的に見ることのできる場所に監視員を配置する。そして、その監視員が上記エリア内を常時監視し、商品の前に立ち止まって見ている人間や、その商品を手に持ってみている人間の有無等を判断し、係る行為を行っている人間がいた場合には、その商品に対して注目していると判断し、注目している人数に１加算するようにしている。
【０００３】
また、自動的に注目の有無を計測する方法としては、通路や出入口を通行する人数を計測するためのセンサを設置し、注目対象の商品の前を通行した人数や、施設内の滞在者数を求め、それらの人数が多いと、注目している人も多いと推定する方法がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した従来のものでは、次のような問題点があった。すなわち、人手でカウントする方法では継続的な計測が困難である。
【０００５】
一方、通路や出入口を通行する人数を計測するためのセンサを設置した場合、左右前後方向の人間の重なりや、人同士が接近している場合に、複数の人がいても１人と判断されるおそれがある。
【０００６】
本発明は、上記した背景に鑑みてなされたもので、その目的とするところは、左右前後方向の人間の重なりや、接近している場合であっても、確実に個々の人間を抽出することのできる人間検知装置および人間検知方法ならびにプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記した目的を達成するために、本発明に係る人間検知装置は、光軸をほぼ平行にして所定の領域の上方に真下もしくは一定の俯角を持たせて設置された焦点距離がほぼ同じ２つのカメラと、この２つのカメラが同時に撮影した画像の２つを記憶する画像メモリと、この画像メモリに記憶されている同時撮像の画像の同一点同士を対応付けする特徴点抽出手段と、この特徴点抽出手段によって対応付けされた同一点の３次元座標を求める演算手段と、この演算手段が求めた３次元座標の高さ方向の違いによって人間を分類する分類手段とを、有するように構成した。
【０００８】
前記特徴点抽出手段は、２つの画像の特徴点をそれぞれ抽出する特徴点抽出処理手段と、この特徴点抽出処理手段が抽出した特徴点の２つの画像の同一場所の特徴点同士を対応付けする対応付け処理手段と、から構成するとよい。
【０００９】
そして、前記分類手段によって分類された人間の数を計数する計数手段を設けるとよい。
【００１０】
また、本発明に係る人間検知方法は、人間検知装置における検知方法であって、光軸をほぼ平行にして所定の領域の上方に真下もしくは一定の俯角を持たせて設置された焦点距離がほぼ同じ２つのカメラが同時に撮影した画像を画像メモリに記憶させる処理と、この画像メモリに記憶されている同時に撮像した画像の同一点同士を対応付けする特徴点抽出処理と、この特徴点抽出処理によって対応付けされた同一点の３次元座標を演算して求める演算処理と、この演算処理を実行して求めた３次元座標の高さ方向の違いによって人間を分類する分類処理を含むようにした。
【００１１】
また、本発明のプログラムは、光軸をほぼ平行にして所定の領域の上方に真下もしくは一定の俯角を持たせて設置された焦点距離がほぼ同じ２つのカメラが同時に撮影した画像を画像メモリに記憶させるステップ、この画像メモリに記憶されている同時に撮像した画像の同一点同士を対応付けする特徴点抽出ステップ、この特徴点抽出処理によって対応付けされた同一点の３次元座標を演算して求める演算ステップ、この演算処理を実行して求めた３次元座標の高さ方向の違いによって人間を分類する分類ステップをコンピュータに実行させるプログラム（アプリケーションプログラム）である。
【００１２】
本発明によれば、光軸がほぼ平行な複数の撮像手段（実施の形態では、水平に配置しているが、光軸がほぼ平行であれば、垂直に並べても、さらには斜め方向に並べても良い）を用い、同一のタイミングで同一の測定対象物（人間）を撮像して得られた各画像上での座標は異なる。そして、係る異なりである視差は、撮像面から被撮像物（撮像した測定対象物）までの距離が近いほど大きくなり、視差とレンズの焦点距離・撮像素子の大きさ・撮像体の間隔がわかれば被撮像物までの距離が計算でき、さらに撮像手段の設置高さ・設置角度がわかれば被撮像物の空間座標値（空間座標データ）が求められる。すなわち、１枚の画像上で重なっている場合であっても、空間座標値を求めることにより、それが、本当に同一人物であるか、或いは、たまたま重なって見えるが奥行き方向に離れた別の人物かを容易に分離特定できる。
【００１３】
このように、人間の通過人数を計測するに際し、複数の撮像手段で撮像して得られた複数の画像間の対応付けによって得られる空間座標データを利用することにより、
（１）照明や日照の変動の影響によって計測精度が低下することが無い；
（２）高さがわかるので影の影響を受けて計測精度が低下することが無い；
（３）計測範囲を撮像手段の設置位置の真下以外に設定した場合（所定の俯角を持たせる）に、前後左右方向に人間が重なったとしても個々の人間を精度良く分離することができる；
等の効果を得る。
【００１４】
＊用語の定義
「注目情報」とは、判定対象の人間が、ある注目対象に対して「注目しているか否か」の情報と、「注目度」の両者を含む。そして、注目度は、ある注目対象に対してどれくらい注目しているかの度合いを表すもので、請求項５〜７に示すように、注目した人数（注目者数）や総時間等により規定できる。さらに、それらの情報を適宜組み合わせて規定してももちろん良い。
【発明の効果】
【００１５】
以上のように、本発明では、光軸が概ね平行に設置された複数の撮像手段によって計測範囲を同期させて同一タイミングで撮像し、その撮像された画像間の対応付けによって得られる空間座標データを利用するようにしたため、たとえ接近して大人と子供がいる場合であっても、子供が大人の陰にかくれて大人一人と判断することがなく、大人と子供と判断でき、個々の人間同士を分離することができる。
【発明を実施するための最良の形態】
【００１６】
図１は、本発明の人間検知装置と一部共通する構成を持つ装置の構成図を示している。同図に示すように、撮像手段たるテレビカメラ１から出力されるビデオ信号をＡ／Ｄ変換器２を介してバスに接続している。このバスには、テレビカメラ１で撮像した画像データ中に存在する人間を抽出する抽出部５と、連続して与えられる画像データに基づいて、上記抽出部５で抽出した人間を追跡する追跡部６と、抽出した人間が、所定の注目対象を注目しているか否かを判定し、注目している人間の場合にはその注目人数等の注目度を求めることのできる判定部７が接続されている。そして、その判定結果等を出力する出力部８もさらに接続されている。
【００１７】
次に各部について説明する。テレビカメラ１は、本例では１個のカメラを用いており、注目対象周辺の人が通行する領域を撮像できるように、天井・壁等に設置して計測範囲の画像を撮像するようにしている。そして、隣接する人間同士を分離しやすくするため、計測範囲の真上にカメラを設置し、その真下を撮像するようにしている。これにより、例えば図２に示すように、撮像して得られた画像は、平面図のようになる。そして、テレビカメラ１で撮像された画像データは、Ａ／Ｄ変換器２でディジタル画像データに変換後、抽出部５を構成する画像メモリ５ａ内に格納される。
【００１８】
抽出部５は、撮像した画像データ等を格納する画像メモリ５ａと、その画像メモリ５ａに格納された画像データ中から、個々の人間の部分を相互に分離し抽出する分離部５ｃとを備えている。そして、この撮像された画像から人間を抽出する抽出部５の機能としては、例えば図２（Ａ）に示すように人間がいないときの背景画像を基本画像として画像メモリ５ａに格納しておく。そして、計測中にはテレビカメラ１で撮像した同図（Ｂ）に示すような画像（撮像画像）が、画像メモリ５ａに順次格納されてくるので、分離部５ｃでは、画像メモリ５ａに格納された基本画像と撮像画像とを読み出すとともに、両者の差分（背景差分）を求める。これにより例えば同図（Ｃ）に示す差分画像を得る。そして、その差が大きい部分を変化領域として抽出し、変化領域の大きさからその領域が一人か複数人かの判定をしてそれぞれの人の位置を決定する。
【００１９】
つまり、図示の場合には、Ｐ１は、独立しているため一人の人間と判定する。また、Ｐ２とＰ３は重なっているため、１人なのか複数人なのかを判別する必要があるが、本例では、大きさに基づいて判別しているため、図示の例では、２人分の面積があるので、２人（Ｐ２，Ｐ３）いるとし、それらを分離抽出するようになる。なお、このように面積に基づいて分離するようにしても、その後に追跡部６で追跡処理するため、最後まで形状等を変えずに移動した場合には、結局１人であったと判定し、注目人数に加算する場合に１加算するようにすれば問題がない。そして、個々の人間の位置情報を追跡部６に送るようになっている。
【００２０】
次に、追跡部６について説明する。ある時刻Ｔ１に撮像した画像データが、図３（Ａ）のようになっている場合に、上記したように抽出部５で個々の人間を分離抽出するので、その抽出した人間Ｐ１を含む所定領域Ｒを設定し、その領域Ｒ内の画像データを切り出してモデル画像として登録する。そして、このモデル画像の登録は、すべての人間Ｐ２，Ｐ３について行う。なお、領域Ｒの大きさは、撮像された人間の画像上での大きさはある程度わかっているので、係る大きさに合わせて設定する。
【００２１】
そして、次の時刻Ｔ２に撮像した画像データに対し、探索領域を設定し、その探索領域内を操作してモデル画像と最も違いの少ない領域を時刻Ｔ２における移動後の人間の位置として判定する。すなわち、時刻Ｔ２の画像データが図３（Ｂ）に示すようになっているとすると、時刻Ｔ１の時に存在していた位置を含み、人間の移動速度を考慮して比較的大きめに探索領域Ｒ′を設定する。そして、その探索領域Ｒ′に対して走査し、モデル画像と同一・類似する領域を探索する。この探索の手法としては、モデル画像と探索対象画像との画素ごとの差の絶対値の和を用いることが一般的に行われるが、画素ごとの差の自乗和や、正規化相互相関を用いても同じような結果が得られる。このように探索領域Ｒ′を走査することにより、探索時間を短くするとともに、精度の向上が図れる。
【００２２】
また、追跡部６の機能としては、上記したものに限らず、例えば、以下に示す手法を採っても良い。すなわち、ある時刻Ｔ１に撮像した画像データに基づいて抽出部５で抽出された結果（各人間の存在位置）が、図４（Ａ）中星印で示すようになっており、次の時刻Ｔ２における同様の抽出結果が同図（Ｂ）中の丸印のようになっている場合に、同図（Ｂ）中矢印で示すように、時刻Ｔ１の時の各代表値（星印）と対応する（移動先の）時刻Ｔ２の時の各代表値（丸印）とを関連付けるようにしている。
【００２３】
そして、係る処理を行うための追跡部６の機能としては、前回抽出位置と最も近いものを関連付け、軌跡として抽出する。また前回或いは前回までの追跡結果を用いて移動方向・速度を推定し関連付けの精度向上を図ることも考えられる。そして、サンプリング時間を短く（人間の移動速度に比べて十分早く）することにより、上記のような簡単な処理でもって、誤動作を可及的に抑制できる。
【００２４】
そして、一定距離以内で移動前後の関係を見つけられない場合は、計測範囲から退出した・計測範囲に進入してきたと考える。また移動前後の関係を決定するときに時刻Ｔ１以前の移動情報（方向・速度）から関係付けを補正することも考えられる。
【００２５】
上記した各種の手法により求めた各人間に対する移動軌跡を所定の記憶部に格納するようにする。なお、この移動軌跡に関する記憶するデータとしては、その移動軌跡をすべて記憶するようにしてももちろん良いが、本例では、後述する判定部７における判定機能との関係で、移動軌跡（動線）の始点と終点の座標を記憶保持するようにしている。これにより、記憶容量が削減でき、メモリの使用効率が増すばかりでなく、判定処理も容易に行える。さらに、本例では、内蔵する時計に基づいて、始点と終点のそれぞれの時刻データも関連づけて格納するようにしている。
【００２６】
次に、判定部６の機能について説明する。まず、図５を用いて注目判定を説明する。通路と注目対象が同図に示されたような位置関係にある場合に、計測範囲を破線に囲まれた領域と設定し、その中を通行する人間をそれぞれ追跡して抽出した動線と、通過中に一定時間以上同じ位置にいた場合を図中星印で表している。この場合は動線Ａ，Ｂの人間については注目対象に注目したと考え、動線Ｃの人間については単に通過しただけと考える。
【００２７】
そして、本例では、上記した原理に基づき、判定部７として図６に示すようなフローチャートを実行する機能を設けた。すなわち、まず追跡部６で得られた動線データを取得する（ＳＴ１）。この取得する動線データの具体的な内容としては、始点座標とその時刻及び終点座標とその時刻である。
【００２８】
次に、始点座標及び終点座標のそれぞれが計測範囲外の領域に存在しているか否かを判断し（ＳＴ２）、いずれか一方或いは双方が計測範囲内に存在する場合には、エラーとし、判定対象の動線から除外する。一方、ステップ２の分岐判断でＹｅｓとなった場合には、判定対象の動線（人間）となるので、ステップ３に進み、終点座標の時刻と始点座標の時刻との差を求める。つまり、その差が、計測範囲内に存在していた時間ｔとなる。
【００２９】
そして、その時間ｔが基準時間Ｔ以上か否かを判断し、Ｔ以上の時には、一定時間以上計測範囲内に滞在したため、その途中で注目対象の前で立ち止まったことがある（図５中星印）と推定できるので、注目した人の動線と認定し、注目人数を１加算する（ＳＴ４，５）。すなわち、このステップ５の判断を行うことにより、注目しているか否かの判断を行うことになる。
【００３０】
一方、滞在時間ｔがＴに満たない場合には、計測範囲を素通りしただけと考えられるので、通過人数を１加算するようにした（ＳＴ６）。なお、ステップ６で、通過人数を求めるようにしたのは、注目した人と注目しなかった人の比率等を求めたりする等の解析を行えるようにするためである。よって、必ずしもステップ６は設ける必要はなく、ステップ４の分岐判断でＮｏとなったならば、そのまま終了するようにしてももちろん良い。
【００３１】
なお、図示したフローチャートでは、人数を加算した後終了となっているが、これは、１つの動線に対する判定処理が終了したことを意味し、実際には抽出される動線データに対し、順次フローチャートに示す処理を実行するようになる。そして、当然のことながら、次の動線に対する判定処理に移行する際に、注目人数等はクリアしない。
【００３２】
そして、ステップ５で求めた注目人数が多いほど、注目対象に対する注目度は高いと判定できる。つまり、本例では、注目度の程度を注目人数に置き換えるようにしている。
【００３３】
また、判定部７の別の機能としては、図７に示すようなフローチャートを実行するようにしても良い。つまり、図６と図７を比較すると明らかなように、ステップ１〜ステップ４までの処理は同じで、ステップ４の分岐判断でＹｅｓになった場合に注目対象に注目している人間であると判断するまでは同じである。そして、本例では、注目していると判定後、その注目度を求める処理が異なる。つまり、ステップ７に示すように、一定時間Ｔ以上計測エリア内に滞在した人間の滞在時間の累計ｔ０を求め、その累計（滞在総時間）ｔ０が大きいほど注目度が高いと判断するようにしている。
【００３４】
そして、図６，図７のいずれの場合も、本例における判定部７は、注目対象に注目している人間か否かを判定する判定手段と、どれくらい注目しているかの注目度を求める手段の２つの機能を兼用している。
【００３５】
また、注目度を求めるに際し、例えば図６，図７を合体させ、例えばステップ７で求めた総時間ｔ０をステップ５で求めた注目人数で割ることにより、１人あたりの注目時間を求めることができ、係る値を注目度とすることもできる。
【００３６】
さらにまた、具体的な図示は省略するが、追跡部６において抽出する動線データとして、上記した例では始点と終点に関するものであったが、本発明はこれに限ることはなく、抽出部５で抽出した同一の人間が移動した際の各座標とその時刻を対にしたものを関連づけて記憶保持するようにしてもよい。その場合に、判定部７では、連続した移動軌跡とその各部での時刻データに基づいて、所定の場所に停止している時間が一定以上の場合に注目対象を注目している人間と判定するようにすることもできる。そして、注目度は、その注目した人の人数であったり、停止した時間の総和等により求めることができる。
【００３７】
さらに、出力部８は、モニタ，プリンタ等で構成され、上記判定部７で最終的に求めた注目情報（注目人数等の注目度）を出力するようになっている。また、必要に応じて、ビデオカメラ１で撮像した画像や、画像メモリに格納された画像データさらには、移動軌跡等各種の中間処理での画像も表示可能とすることができるようにしている。
【００３８】
図８は、図１に示す装置を用いた注目情報計測方法の一例を示している。本例は、上記した図１に示す装置を用いて実施した例である。まず、１つのテレビカメラを用いて計測範囲を撮像し、画像データを取得する（ＳＴ１１）。そして、その得られた画像データに基づいて、抽出部５にて画像データ中に存在する人間の部分を抽出するとともに、個々の人間同士の分離を行う（ＳＴ１２）。
【００３９】
次に、撮像して得られた画像から抽出された個々の人間の移動状況を追跡する（ＳＴ２５）。そして、この追跡処理は、それぞれの人間に対して画像中に出現してからいなくなるまで行われ、始点の座標と終点の座標及びそれらの時刻を関連づけて格納する。この処理が、追跡部６で行われる。
【００４０】
判定部７にて、各人間の移動した軌跡の始点と終点の座標及び時刻に基づいて計測範囲に一定の時間以上滞在していたか否かを判断し、滞在している場合には注目対象に注目していると判定する（ＳＴ１４）。さらに、注目している人間の人数を計数し、その注目対象に対する注目度を求める（ＳＴ１５）。なお、注目度の算出は、人数の積算に限らず、注目人間の滞在時間の総和などの他、各種の情報に基づいて評価・計測できる。
【００４１】
図９は、本発明の第１の実施の形態を示している。本実施の形態では、まず、撮像手段としてのテレビカメラを、図１０に示すように２個設けた点で図１に示す装置と相違する。そして、それら２個のカメラ１ａ，１ｂから得られるステレオ画像に基づいて、人間を抽出するようにしたため、抽出部５の構成も第１の実施の形態と相違する。そこで、その相違点のみ詳述すると、以下のようになっている。
【００４２】
テレビカメラ１は、実際には図１０に示すように、光軸をほぼ平行にした焦点距離ｆがほぼ同じの２つのカメラ１ａ，１ｂを備え、係る両カメラ１ａ，１ｂを、陳列棚等の注目対象を含む領域の上方に真下もしくは一定の俯角を持たせて設置する。そして、両カメラ１ａ，１ｂは同期信号により同期がとられ、同一のタイミングで計測領域を撮像するようにしている。そして、各カメラ１ａ，１ｂで撮像して得られた映像信号が、Ａ／Ｄ変換器２，バスを介して抽出部５内の画像メモリ５ａに格納されるようになっている。
【００４３】
両カメラ１ａ，１ｂを水平に並べた（カメラ１ａが左側）とした場合に、あるタイミングで両カメラ１ａ，１ｂで同一物を撮像したとする。すると、図１１に示すように、物体のある頂点Ｐ（ｘ，ｙ，ｚ：実空間上での三次元座標（空間座標）位置）は、一方のカメラ１ａ（Ｌ）で撮像した画像上では、座標ＰL 上に位置し、他方のカメラ１ｂ（Ｒ）で撮像した画像上では、座標ＰR 上に位置する。図から明らかなように、両カメラで撮像した同一物に対する画像上の座標は異なり、係る異なりを視差という。そして、この視差は、撮像面（図中Ｌ，Ｒの位置）から被撮像物の点Ｐが近いほど大きくなり、視差とレンズの焦点距離・撮像素子の大きさ・撮像体の間隔がわかれば点Ｐまでの距離が計算でき、さらに撮像体の設置高さ・設置角度がわかれば点Ｐの空間座標値が求められる。
【００４４】
そこで、抽出部５では、画像メモリ５ａに格納された２つのカメラ１ａ，１ｂで撮像して得られた２枚の画像データに基づいて、画像データ中に存在する各点の空間座標を求めるとともに、求めた各点を個々の人間を構成するもの同士をまとめることにより、人間同士を分離するとともに人間の存在位置を求めるようになっている。
【００４５】
特徴点抽出部５ｂでは、（１）まず、対応付けを行う２枚の画像データに対し、それぞれ所定の特徴量抽出処理を用いて、人間の候補点となる特徴点を抽出する。（２）次いで、２枚の画像データでそれぞれ抽出された特徴点（実際には、その周辺画素を含む画像パターン）同士を比較し、類似するものを同一の場所（図１１でいう点Ｐ）を撮像したものとして対応付ける。このように、特徴点抽出部５ｂは、上記した（１）と（２）の２つの処理を行うようになっており、各処理のより具体的な手法としては、以下のようになっている。
【００４６】
＊＊特徴点抽出処理
この抽出処理は、例えば、画像中の任意の範囲（４×４画素，８×８画素の局所領域等）でエッジ強度が強い点、背景（あらかじめ記憶されてある通行者がいないときの画像）との違いが大きい点、任意の時間間隔で撮像された複数の画像の差分の大きい点等を抽出する。この抽出方法は、上記した３つをすべて使用する必要がないのはもちろんで、１または複数の任意の特徴量抽出方式を選択して使用すれば良く、また、上記以外の他の方法を用いてももちろん良い。
【００４７】
＊＊対応付け処理
対応付けを行う手法としては、一方の画像データを基準とし、他方の画像データ中に対応するものがあるか否かを判断するようにしている。つまり、一方の画像に着目し、その画像中で前工程で抽出した特徴点を含みその周辺の任意の範囲（特徴点決定のための範囲と同じことが多い）の画像を基準画像として切り出し、他方の画像中で基準画像と最も違いの少ないところを抽出し、そこを対応点とする。そして、係る違いの少ない所を抽出するための手法としては、基準画像と対象画像の差分絶対値の和・差分の自乗和・正規化相互相関等を利用することができる。
【００４８】
さらに、本例のように、２つのカメラ１ａ，１ｂを水平に並べた場合には、図１１に示すように、同一の点Ｐを撮像して得られる画像上の座標ＰL ，ＰR の座標値のうち、カメラの配置方向と直交する縦方向の座標（ＸL とＸR ）はほぼ同じになる。よって、基準画像と比較する対応画像のサーチ対象を、基準画像のＸ座標値と同一あるはその近傍の領域とし、係る範囲について基準画像との比較を行うようにしても良い。係る構成にすると、より正確かつ短時間で対応付けを行うことができる。
【００４９】
上記した特徴点抽出・対応付け処理により、検出対象の人間を構成する部分の特徴点抽出及び対応付けが行われるが、人数を計測するためには、最終的に１人の人間について１つの特徴点（存在位置）を抽出・決定する必要がある。そこで、抽出された複数の特徴点は、同一の人間に対してのものか、別の人間に対してのものかを判別する必要がある。係る処理を行うのが、分離部５ｃである。
【００５０】
分離部５ｃは、２枚の画像間で対応付けされた２つの特徴点の各画像中の座標値等に基づいて、３次元の空間座標を求める。つまり、ステレオ画像による３次元計測により特徴点の３次元座標を求める。
【００５１】
そして、カメラ１ａ，１ｂに対し奥行き方向（Ｚ方向）と横方向（Ｘ方向）を座標軸系とした二次平面上（上方から見た平面図）に、求めた各特徴点をプロットする。この時、人間を抽出することから、高さ方向（Ｙ軸方向）については、分類分けをするとともに、一定の高さ以上のものを抽出するようにした。すなわち、抽出した特徴点のＹ軸座標が極端に低い物体は人間でない可能性が高いため、Ｙ座標が所定の高さ以上のもに限ることにより、不要な人間でないデータを抽出してしまう可能性を可及的に抑制するようにしている。
【００５２】
そして、上記したプロットの一例を示すと、図１２のようになる。人間の場合には、頭部が最も高いとともに、平面図で示すと係る頭部は中央に来る。よって、図示するように複数の特徴点がある範囲に纏まって存在するとともに、その一塊の特徴点の中で中央に位置する特徴点の高さが最も高い分類に属することがわかる。なお、本例では、１．５ｍ以上はすべて抽出するようにしているが、例えば上限を適宜の値に設定し、それ以上の高さを有する特徴点は、プロットから除外するようにしても良い。
【００５３】
次いで、求めた空間座標上の各特徴点に対し、クラスタリング処理を行い、同一の人間に基づいて抽出された特徴点を１つのクラスタとして、他の特徴点と分離し、一纏めとする。つまり、クラスタリングは各データ間の距離を計算し、距離の小さいものから一つのクラスタに統合していき、全てのデータについてそれ以上統合が発生しなくなれば終了し、それぞれのクラスタの位置を人の存在位置とし、そのクラスタの数を計測範囲内に存在する人数とする。
【００５４】
各データ間の距離を評価する方法としては、図１３のように座標値を採るとすると、
【００５５】
【数１】
2005259173.tif 000003
【００５６】
そして、すでに形成されたクラスタと、判定対象のデータの統合を行う（データをクラスタの仲間に入れる）かどうかを決定する方法は、以下のようにすることができる。すなわち、図１４に示すように、すでに存在するあるクラスタ（Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ）と、一つの計測点（Ｐｘ）との間で前記の距離を算出する際に、予め定めた以下のいずれかの距離を求め、その距離が一定以下の場合には、クラスタに加え、一定より離れている場合に別のクラスタと認定し、判定対象としたクラスタには加えないようにする。
【００５７】
【数２】
2005259173.tif 000004
【００５８】
上記のようにして、一定の基準以下の距離にある特徴点同士を一纏めにしてクラスタリングを行ったなら、その中の代表点を一つ選択し、人間の存在位置座標とする。この代表点の選択方法は、例えばＹ座標値が最も高い特徴点（頭部部分）を選んだり、複数の特徴点の中の重心や中心の座標値、或いは、１つのクラスタに属する複数の特徴点のうちの任意の一つを選択する等、種々の方式に基づいて代表点を選択すればよい。そして、少なくともその様にして得られた各代表点データを所定のメモリ内に格納するようになっている。
【００５９】
なお、上記のようにして各人間の代表位置が抽出されたならば、それを追跡部６に与え、所定の追跡処理を行う。そして、追跡部６での追跡処理は、本例では、すでに個々の人間に分離され、その代表位置がわかっているので、座標同士を比較する図４の方式を採用するとよい。なおまた、上記のように個々の人間の存在位置を抽出するまでが、第１の実施の形態と相違するため、その後の追跡部６及び判定部７の機能は、上記した第１の実施の形態のものと同様に行うことができる。よって、その各部の詳細な説明は省略する。
【００６０】
図１５は、本発明に係る人間検知方法を含む注目情報計測方法の実施の形態の他の例を示している。本例は、上記した図９に示す第１の実施の形態の装置を用いて実施した例である。まず、同期駆動する２つのカメラを用いて計測範囲を同一タイミングで撮像し、ステレオ画像データを取得する（ＳＴ２１）。
【００６１】
そして、その得られた２枚の画像データに基づいて、抽出部５にて各画素の特徴点の抽出及び抽出した特徴点同士の対応付けを行う（ＳＴ２２）。さらに、対応付けした２つの画像に存在する特徴点の座標に基づいて、空間座標系での座標値を求め（ＳＴ２３）、さらに、人間の分離を行う（ＳＴ２４）。つまり、空間座標系における座標値の近い特徴点同士を同一のクラスタに纏めることにより、個々の人間同士に分離するとともに、個々のクラスタ毎に代表の座標値をつける。そして、このステップ２２〜２４までの処理を、抽出部５で行う。
【００６２】
次に、撮像して得られ、各フレーム毎に上記した空間座標系での特徴点（人間）の位置を求めたものを蓄積し、個々の人間の移動状況を追跡する（ＳＴ２５）。そして、この追跡処理は、それぞれの人間に対して画像中に出現してからいなくなるまで行われ、始点の座標と終点の座標を対にして格納する。また、この時各座標が得られたときの時刻も関連づけて合わせて格納する。この処理が、追跡部６で行われる。
【００６３】
判定部７にて、各人間の移動した軌跡（動線）の始点と終点の座標及び時刻に基づいて計測範囲に一定の時間以上滞在していたか否かを判断し、滞在している場合には注目対象に注目していると判定する（ＳＴ２６）。さらに、注目している人間の人数を計数し、その注目対象に対する注目度を求める（ＳＴ２７）。なお、注目度の算出は、人数の積算に限らず、注目人間の滞在時間の総和などの他、各種の情報に基づいて評価・計測できる。
【００６４】
本例では、２つのカメラ１ａ，１ｂを用いて撮像し取得したステレオ画像に基づいて特徴点の空間座標値を求め、その空間座標値に基づいてクラスタリングして個々の人間に分離するようにしたため、たとえ奥行き方向（Ｚ軸方向）で重なっている人間が存在していても、それらを分離できるので、正確に人間を抽出し、注目情報を得るための各種の判定処理を行うことができる。
【００６５】
さらには、ステレオ画像処理を利用しているので日照変動や降雨時の水たまり等の影響を受けにくく、計測範囲から斜め方向にカメラを設置することで天井のない領域に対しても判定ラインを設定することが可能になり、設置条件を緩和することができる。
【００６６】
また、上記した実施の形態では、ビデオカメラ１として２個のカメラ１ａ，１ｂを用いた例を示したが、本発明はこれに限ることはなく、３個以上のカメラを用いてももちろん良い。すなわち、例えば図１６（Ａ）に示すように３個のカメラ１ａ〜１ｃを用いた場合には、仮に点線で示すようにカメラ１ａの撮像領域内に障害物１１があると、対象物Ｐをカメラ１ａで撮像できないので、上記した２個のカメラを用いる方式では、視差を求めることができず、人間を抽出できない。しかし、係る場合であっても、別の２つのカメラ１ｂと１ｃで対象物Ｐを撮像できるので、係る撮像された画像データから視差を求め、空間座標系での座標値を求めることができる。このように、死角が少なくなるので、より正確な計測が行えるようになる。
【００６７】
さらには、３つの画像の相関を採ることにより、空間座標値を求めることもできる。また、同図（Ｂ）に示すように、例えば任意の２つからなるカメラを複数組（カメラ１ａと１ｂ，カメラ１ｂと１ｃ）選択し、一方のカメラ組（１ａと１ｂ）で撮像したステレオ画像に基づいて特徴点Ｐ′の空間座標位置を特定するとともに、他方のカメラ組（１ｂと１ｃ）で撮像したステレオ画像に基づいて特徴点Ｐ′を求め、それぞれ求めた２つの座標値に基づいて空間座標値を求めるようにしてももちろん良い。そして、上記したように障害物による死角のみならず、追跡処理中に追跡不能となるおそれがあるが、２組のステレオ画像に基づいて特徴点の空間座標値を求めるようにすると、係る追跡不能となる可能性が可及的に抑制され、より精度の良い計測ができる。また、逆に２組のカメラ対から得られるステレオ画像からともに同一（近い）位置に空間座標値が抽出されたときに本物と判定するようにしても良い。
【００６８】
図１７は、本発明の第２の実施の形態を示している。本装置が設置されて注目情報を取得する箇所としては、例えば、コンビニエンスストアその他の各種商品を販売する小売店等がある。すると、係る小売店等では、一般に図１８に示すように通路９の両側にそれぞれ陳列棚１０ａ，１０ｂが設置され、各陳列棚に別々の商品（商品Ａ，商品Ｂ）が陳列されていることが多い（通路９に、両商品Ａ，Ｂが面している）。従って、上記した第１，第２の実施の形態に基づく注目度計測では、計測範囲に滞在した時間が一定時間の場合に、商品Ａまたは商品Ｂの少なくとも一方に着目したことは検出できるものの、商品Ａと商品Ｂのどちらに注目したのかを弁別することはできない。
【００６９】
そこで、本実施の形態では、動線Ａ〜Ｃのそれぞれの人がどちらの商品に注目したのかを分離して計測することができるようにしている。つまり、図１７に示すように、バスに対し、視線方向判定部１１を設けており、抽出部５で分離抽出された人間が、どちらの方向を向いているかを判断できるようにしている。これにより、例えば、判定部７における判定処理の際に、商品Ａに注目しているか商品Ｂに注目しているかを弁別し、それぞれを分けて積算処理等することにより、商品Ａ注目度と、商品Ｂ注目度を別々に計測できるようになり、計測結果の情報価値を高めることができる。
【００７０】
そして、具体的には、視線方向判定部１１は、頭部抽出部１ａと、視線方向推定部１１ｂとを備えて構成（厳密には、画像メモリ５ａも含む）できる。つまり、人間の場合には、頭部部分に着目すると、その後側は髪の毛が存在するため全体的に黒くなり、前側に存在する顔は、後側に比べて全体的に明るくなるとともに、目・口等の特徴がある。そして、顔の向いている方向にある商品を見ていると推定できる。
【００７１】
そこで、係る原理に基づき、頭部抽出部１１ａでは、人間の位置を特定した後、各特徴点の空間座標系のＹ座標値を取得し、その人間に分類された特徴点データの中でもっとも高い座標を持つあたりを頭部と推定し、例えば一方のカメラで撮像した画像データの頭部に対応する座標の周辺の所定の大きさの領域内に存在する画像データを抽出し、視線方向推定部１１ｂに与えるようになっている。
【００７２】
視線方向推定部１１ｂは、与えられた画像データに対し、所定の画像認識処理を行い、処理対象の人間が、カメラの方を向いているか反対側を向いているかを判断する。つまり、全体的に暗い場合には、髪の毛を撮像しており、カメラと反対側を向いていると判定し、処理対象の画像が、全体的に明るいとともに目・口等の特徴が得られる場合には、カメラの方を向いていると判定し、これにより視線方向を推定・決定する。すなわち、図１８に示すように、テレビカメラ１にて商品Ｂが設置された陳列棚１０ｂの後方より、陳列棚１０ａ側を撮像している場合に、カメラの方を向いていると判定した場合には、商品Ｂを注目しており、カメラと反対側を向いていると判定した場合には商品Ａを注目していると推定し、その結果を判定部７に送るようになる。
【００７３】
なお、上記した例では、人間を抽出するためのカメラと、人間の視線方向を判定するための画像を得るためのカメラを共通化したが、それらを別々のカメラで行うようにしてももちろん良い。
【００７４】
また、そのように画像処理により顔の向きを判定することにより視線方向を決定するのではなく、抽出された動線から移動方向の前方を視線方向と考えて処理を行うようにしてもよい。つまり、一例を示すと、図１８に示す動線Ｃの場合には、その移動軌跡を見ると、陳列棚１０ａ側に近づくように進んでいるので、商品Ａを注目していると判定するようになる。なお、その他の構成並びに作用効果は、上記した実施の形態と同様であるので、その詳細な説明を省略する。
【００７５】
図１９は、本発明の第３の実施の形態を示している。本実施の形態では、上記した第１の実施の形態を基本とし、さらに特定人物の排除機能を設けている。つまり、同図に示すように、バスに対し、排除部１５を設けており、抽出部５で分離抽出された人間のうち、所定の条件に合致する場合には、注目している人間と判定せず、注目人数等の注目度に関する値に加えないようにしている。これにより、例えば、店員が商品を陳列棚に置いたり、掃除等をすることにより、一定の時間以上計測範囲に滞在しても、注目していると判定しないことで、真の来客者に基づく注目人数等の注目情報を求めることができ、計測結果の情報価値を高めることができる。
【００７６】
そして、具体的には、例えば予め排除対象者には、目印になるものを着用させておき、人間を分離した場合に、その人間が存在する画像領域部分に対して所定の画像認識処理を行い、上記目印を有しているか否かの判断を行い、有している場合には、排除対象者と認定して人数の加算はしないようにする。そして、目印になるものとしては、例えば、特定の色柄の帽子やユニホーム等を選定することができる。
【００７７】
そして、係る処理を行うための排除部１５として頭部抽出部１５ａと、排除対象判定部１５ｂを備えている。本例では、例えば排除対象者に対しては、黄色い帽子を着用させておく。係る前提において、頭部抽出部１５ａでは、人間の位置を特定した後、各特徴点の空間座標系のＹ座標値を取得し、その人間に分類された特徴点データの中でもっとも高い座標を持つあたりを頭部と推定し、例えば一方のカメラで撮像した画像データの頭部に対応する座標の周辺の所定の大きさの領域内に存在する画像データを抽出し、排除対象判定部１５ｂに与えるようになっている。
【００７８】
排除対象判定部１５ｂは、与えられた画像データに対し、所定の画像認識処理を行い、排除対象となる目印がその画像データ（領域）に観測できた場合は排除フラグをＯＮして追跡の結果得られる動線データに付加するようになっている。一例を示すと、目印が黄色い帽子なため、黄色い画素を抽出し、その大きさ・面積・形状等の特徴量を抽出し、目印の基準データと比較することにより、その適否を判定できる。なお、判定処理自体は、従来公知の各種の認識処理を利用できる。
【００７９】
そして、本例の処理の一例を示すと図２０に示すフローチャートのようになる。つまり、上記した第１の実施の形態と同様の処理を行い、抽出部５で人間の分離を行う（ＳＴ３１）。次いで、排除部１５を動作させ、クラスタリングされた個々の人間を構成する特徴点の空間座標を取得し、目印となる頭部部分の座標を求め、画像メモリ５ａにアクセスして頭部周辺の画像データを取得する。そして、目印が存在するか否かを判断することにより、排除対象の人間か否かを判断する（ＳＴ３２）。
【００８０】
そして、排除対象となる目印が検出できない場合には、排除対処の人間ではないので、ステップ３４，３５を順次実行し注目度判定基準を満たしているか否かを判断する。そして、排除対象でない場合には、ステップ３６の分岐判断はＮｏとなるので、ステップ３７に進み注目人数を加算する。
【００８１】
一方、ステップ３２で排除対象と判定された場合には、排除フラグをＯＮして追跡の結果得られる動線データに付加する（ＳＴ３３）。そしてそのまま追跡処理及び注目判定処理を行うが、追跡が終了したあと排除フラグがＯＮであればステップ３６の分岐判断でＹｅｓとなるので、ステップ３７はスキップされて注目人数には加算されない。
【００８２】
なお、その他の構成並びに作用効果は、上記した第１の実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。また、注目人数計測処理（ＳＴ３７）に替えて、注目人間の滞在時間など他の注目情報を求めるようにしても良いのはもちろんである。さらには、第１の実施の形態（カメラを１個用いたもの）や、第３の実施の形態（注目商品を特定するもの）に対して本実施の形態のように排除機能を設けても良いのはもちろんである（以下の各実施の形態でも同じ）。
【００８３】
なおまた、本例では、追跡及び注目の判定は、排除対象か否かに関係なく行うようにし、最終的に人数を加算する際に排除するようにしたが、本発明はこれに限ることはなく、排除対象の人間とわかった時点で、以後の追跡を行わないようにしてももちろん良い。
【００８４】
また、別の方式としては、例えば入退場チェック用のカードリーダーを設置しておき、排除したい人間は通行するときにカードをリーダーに通すようにしてもよい。そして、判定部では、カードが入力された場合には、注目度を満たしていても通過人数に加算しないようにする。なお、カードは非接触式でも同じ効果が得られる。
【００８５】
図２１は、本発明の第４の実施の形態を示している。そして、図２２は本実施の形態のデータの流れを示している。本実施の形態では、図９に示す第１の実施の形態を基本とし、さらにバスに対してハードディスク、ビデオテープ等を用いた画像蓄積部１４を接続している。さらに、その画像蓄積部１４に蓄積された任意の画像データを呼び出し、画像表示手段たる出力部（モニタ）８に出力表示可能としている。
【００８６】
そして、上記した画像蓄積部１４に格納するデータは、判定部７の判定結果が、「注目している」場合に、その注目した人間が撮像されている画像データとしている。この時、撮像した画像データ全体を蓄積しても良く、或いは、注目人間の部分を切り出して格納するようにしても良い。
【００８７】
係る構成にすることにより、管理者等が蓄積されたデータを表示してチェックすることで、注目対象に注目した人間のデータ（年齢層・男女別・服装の傾向等）をより詳しく分析することが可能となる。しかも、係る注目した人間のデータを店員が継続して逐次監視している必要がなく、自動的に蓄積されるので、効率が良く、しかも、記録し忘れたり、他の仕事をしていて注目していた人間を見落とすおそれもなく、正確なデータを蓄積できる。なお、図２４中左側の縦のライン（データの流れ）は、第２の実施の形態と同様であるので、その詳細な説明を省略する（以下、同様）。
【００８８】
図２３は、本発明の第５の実施の形態を示している。そして、図２４は本実施の形態のデータの流れを示している。本実施の形態では、図９に示す第１の実施の形態を基本とし、さらにバスに対してハードディスク、光磁気ディスク等を用いたデータ蓄積部１６と、そのデータ蓄積部１６に蓄積されたデータに基づいて所定の解析を行うデータ解析部１７とを接続している。
【００８９】
そして、データ蓄積部１６には、単位時間あたりの注目者数やそれぞれの滞在時間、通過人数と計測時刻などを記録しておく。すなわち、上記したステレオ画像に基づく人間の分離を行い、注目対象を注目している人間の有無及び注目度などの注目情報を判定部７で求める。
【００９０】
ここで本例では、判定部７から出力される「注目者数（注目人数）等の注目情報」を出力部８とともに、データ蓄積部１６にも与えるようになっている。そして、データ蓄積部１６では、与えられた注目情報をコンピュータが内蔵するタイマ・時計の時刻データやカレンダー情報とともに併せて記憶する。
【００９１】
また、データ解析部１７では、データ蓄積部１６に格納されたデータに基づいて、例えば、一日の注目人数等の注目度の時間分布や、曜日・祝日（休日）や季節等の一定の期間ごとの注目者数の推移を求め、その解析結果を出力部８に送り、モニタ表示或いはプリンタアウト等するようになっている。また、その解析結果をさらに記憶装置に格納するようにしても良い。そして、係るデータ解析部１７は、一定のタイミングで定期的に行うようにしても良く、或いは外部からの指示に基づいて不定期的に行うようにしても良く、もちろん両者を併用しても良い。そして、外部からの指示は、例えば図示省略のキーボード・マウス等の入力装置を介して行われる。
【００９２】
係る構成にすると、例えば曜日や時間帯で各注目対象に対する注目度が大きい時期等を統計的に調べることができ、その後の販売計画・販売戦略に有効なデータが得られる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【００９３】
図２５は、本発明の第６の実施の形態の構成図を示している。そして、図２６が、そのデータの流れ図を示している。本実施の形態では、上記した第５の実施の形態を基本とし、さらに、注目者数等の注目度情報（以下、単に「注目者数」と称するが、滞在総時間等他の注目度の算出・計測処理を行ってももちろん良い）が変動する要因となる様々なデータを入力する変動要因入力部１８をバスに接続している。
【００９４】
そして、データ蓄積部１６には、判定部７より与えられる注目者数と、内蔵時計等から得られる時刻・カレンダー情報とともに、変動要因データも関連付けてデータ蓄積部１６に格納するようになっている。
【００９５】
ここで、変動要因とは、注目する人の数等に影響を与えるもので、例えば、温度・湿度・雨量等の天候情報や、祭り・遠足・修学旅行・試験等の地域のイベント情報や、広告を出す等の販促の情報等がある。そして、係るデータは、操作員の手動或いはセンサやデータベースからのオンラインを用いた自動で入力することができる。つまり、変動要因入力部１８は、キーボード等の操作員が手動によりデータを入力するための装置であったり、各種センサ出力や、他のデータベースから伝送されてくるデータを受信する装置であったりする。
【００９６】
そして、変動要因データの入力例としては、図２７（Ａ）に示すように、日時ごとに天候，湿度（及びまたは温度），販促状況並びに地域情報等を入力することができ、この例では、すべてキーボード等の入力装置を用いて操作員が手動により入力するようにしている。また、例えば湿度等は、湿度計（センサ）から出力を、一定の時刻が来た場合に自動的に取得するようにしても良い。
【００９７】
本形態におけるデータ解析部１７は、上記した第５の実施の形態と同様に、データ蓄積部１６に格納されたデータを、所定の基準で集計等して出力部８に出力するものである。そして、本例では、注目者数の情報に加えて、変動要因もデータ蓄積されているので、曜日による平均注目者数等を求めるとともに、各日時の注目者数と平均注目者数を比較し、その差が一定以上のものを抽出し、その差を変動要因とともに併せて出力するようになっている。また、操作員からの指示に基づいて変動要因との関係を解析できるようにもなっている。すなわち、雨との相関を求めたい場合には、「雨」をキーに解析し、雨の時の注目者数と平均値を比較することもできる。
【００９８】
出力の一例を示すと、図２７（Ｂ）のようになる。つまり、この例では、平日（月曜〜木曜）と、金曜，土曜，日曜というように、曜日ごとでしかも一定の時間帯ごとに注目者数の平均値を求め、それを表にして出力している。そして、解析した結果、雨の時が１５％程度人数が少ないことがわかったため、それも欄外に出力表示している。
【００９９】
なお、上記した平均値との「差」は、単純に人数の差（偏差）のみならず、図示した例のように比率等もある。これによって変動要因と注目者数の関係が把握できる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【０１００】
図２８は本発明の第７の実施の形態を示す構成図であり、図２９はそのデータの流れを示している。本実施の形態では、上記した第６の実施の形態を基本とし、さらに、注目者数予測部１９をバスに接続し、データ蓄積部１６に格納した過去の注目者数に基づいて、注目者数の予測をするようになっている。
【０１０１】
すなわち、注目者数予測部１９の機能を説明すると、例えばデータ蓄積部１６にアクセスし、過去数週間の同じ曜日（時間帯）の注目者数の平均値を求め、それを予測注目者数として出力するように構成する。また、過去数か月のデータから上旬／中旬／下旬別にそれぞれの曜日別平均を求め、予測する日時が月の上旬，中旬，下旬のいずれに属する曜日からを判断し、該当する曜日の平均を予測注目者数として出力するようにすると、より正確な予測が行える。
【０１０２】
さらにまた、過去のデータから変動要因が注目者数に与える影響を解析し、変動要因の予報・予定を反映させることで注目者数の予測精度を向上することができる。すなわち、例えば、天気予報等により予測する日時の天気を調べたり、販促・地域情報として特別なものがある場合にはそれらに該当する過去のデータを抽出し、その平均を求めることにより予測注目者数を求めることができる。さらには、該当するデータ数が少ない場合には、例えば雨の日は、１５％減少することが求められると、天候に関係なく該当する曜日の平均人数を求め、その値に１５％減したものを予測注目者数とするようにしても良い。
【０１０３】
さらに、各曜日ごとに平均値を求めるに際し、その偏差・標準偏差等を求めておき、予測注目者数を求める際に、その人数と誤差の範囲を併せて出力表示するようにしても良い等、種々の予測方式を採ることができる。そして、その予測結果の表示態様の一例としては、例えば図３０に示すようなものとすることができる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【０１０４】
図３１は、本発明の第８の実施の形態の構成図を示しており、図３２はそのデータの流れを示している。すなわち、本実施の形態では、上記した第７の実施の形態の構成に、さらに、売上データを入力するための売上データ入力部２０をバスに接続している。そして、売上データ入力部２０は、例えばＰＯＳに格納された売上データを転送して入力するようにしている。この売上データの入力例を示すと、図３３のように、各品物別に、しかも時間帯ごとに売上個数を入力するようにしている。そして、各品物は、いずれも注目対象のものである。そして、通常一つの陳列棚に、弁当，おにぎり，パン等が一緒に陳列されていることが多く、各品物ごとに売上を出すことにより、注目者数に応じてどの様な比率で各品物が売れたかを知ることができる。つまり、図１８に示した注目商品である商品Ａは、必ずしも１種類とは限らず、本例のように複数種類の場合もある。
【０１０５】
そして、図３２を見るとわかるように、判定部７で求めた注目者数と、変動要因入力部１８から与えられる変動要因データとともに、売上データ入力部２０から与えられる売上データをそれぞれ関連付けてデータ蓄積部１６に蓄積するようになっている。
【０１０６】
一方、データ解析部１７では、売上げデータと注目者数の関連を解析することにより、注目者数一日あたりの売上高や、注目者１人の一時間あたりの売上高等を求め、出力するようになっている。これにより、ＰＯＳによる売上管理からは得られなかったデータを収集することができる。すなわち、一例を挙げると一日ごと・時間ごと・フロアごと等の切り訳で「注目者数に比べて売上げが多い・少ない」というような情報が得られる。そしてその情報に基づいて広告・品揃え・陳列等の問題や効果を定量的に把握することができる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。また、図３１に示した例では、注目者数予測部１９をバスに接続しているが、売上データと注目者数その関係を解析するという本実施の形態では、係る予測部１９を設けなくても良い。
【０１０７】
図３４は、本発明の第９の実施の形態の構成図を示しており、図３５はそのデータの流れを示している。本実施の形態では、上記した第８の実施の形態（注目者数予測部１９付）を基本とし、さらに、売上予測部２１をバスに接続している。
【０１０８】
この売上予測部２１は、図３５から明らかなように、データ蓄積部１６に蓄積された過去の注目者数と、過去の売上データを取得し、さらに、注目者数予測部１９より売上予測を行う日時に関する予測注目者数を取得する。そして、過去の注目者数と売上データから、注目者数１人（或いは単位人数）に対する各商品の売上個数を求め、その値に売上予測をする日時の予想注目者数を掛けることにより、各商品の予想販売数を求める。そして、その様にして求めた予想販売数を、例えば図３６に示すような形式で出力部８に出力するようにしている。
【０１０９】
なお、係る予測をより正確に行うためには、予想注目者数を求める際に、変動要因データを有効に活用することである。これにより、予想販売数に応じた仕入量の決定や係員・店員の配置等を適切に行うことができる。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【０１１０】
図３７は、本発明の第１０の実施の形態の構成図を示しており、図３８はそのデータの流れを示している。本実施の形態では、上記した第９の実施の形態を基本とし、さらに、在庫データ入力部２２及び仕入支援部２３をバスに接続している。つまり、在庫データ入力部２２は、売上データ入力部２０と同様に、例えばＰＯＳ等に登録されている在庫データを転送し入力するようにしている。この在庫データの入力例を示すと、図３９のように、各品物別に、しかも時間帯ごとに売上個数を入力するようにしている。そして、図３３と比較すると明らかなように、対応する商品が販売される都度、リアルタイムで在庫データにも反映され、その在庫数が減少するようになっている。また、商品の搬入があると、当然のことながらその商品の在庫数が加算される。
【０１１１】
また、仕入支援部２３は、上記在庫データ入力部２２から与えられる現在の所定の商品の在庫数と、売上予測部２１から与えられる商品の今後の予測売上数（予測売上数の算出処理は、第９の実施の形態と同様）に基づいて、各商品の搬入時の納入個数を求める。これにより、次の商品納入時までにできるだけ在庫が少なくなるとともに、在庫切れにはならないように納入個数を設定することにより、効率の良い商品の仕入れができ、賞味期限等がある商品を無駄に廃棄処分にしたり、逆に品切れになって来客者に迷惑を掛けることがなくなる。また、賞味期限等がない商品の場合であっても必要以上の在庫を抱えることによる保管コストの増加をできるだけ低減することができる。よって、効率の良い商品管理ができる。
【０１１２】
そして、例えば図４０に示すように、各回の納入時に必要な商品の納入個数を関連付けて出力するようになる。なお、図中「−」は、その納入の際には、その商品が納入されないことを意味する。
【０１１３】
そして、図４０に示したように表形式で作成したのを、モニタ出力或いはプリントアウトすることにより、発注援助データとなり、仕入れ担当者に対するアドバイス・注意を行うことができる。さらには、係るデータをそのまま発注データとし、今後の仕入を自動的に求めるとともに、自動発注するようにしても良い。さらに、各商品の在庫がなくなる時期も予測できるので、それに対する対応も容易に行える。なお、その他の構成並びに作用効果は上記した各実施の形態と同様であるので、同一符号を付し、その詳細な説明を省略する。
【０１１４】
なお、本発明は、上記した各実施の形態に示したものに限られるものではなく、任意の実施の形態同士を適宜組み合わせて実施してももちろん良い。
【図面の簡単な説明】
【０１１５】
【図１】本発明と共通する構成を一部備えた装置の一例を示す図である。
【図２】その抽出部の作用を説明する図である。
【図３】追跡部の作用を説明する図である。
【図４】追跡部の作用を説明する図である。
【図５】判定部の作用を説明する図である。
【図６】判定部の機能を説明するフローチャートである。
【図７】判定部の別の機能を説明するフローチャートである。
【図８】本発明方法の実施の形態の一例を示すフローチャートである。
【図９】本発明の第１の実施の形態を示す図である。
【図１０】撮像手段たるカメラの一例を示す図である。
【図１１】２つのカメラから撮像点の空間座標を求める原理を説明する図である。
【図１２】抽出部の作用を説明する図である。
【図１３】分離部の作用を説明する図である。
【図１４】分離部の作用を説明する図である。
【図１５】本発明方法の実施の形態の他の例を示すフローチャートである。
【図１６】撮像部の変形例を示す図である。
【図１７】本発明の第２の実施の形態を示す図である。
【図１８】視線方向判定部の作用を説明する図である。
【図１９】本発明の第３の実施の形態を示す図である。
【図２０】排除部の機能を説明するフローチャートである。
【図２１】本発明の第４の実施の形態を示す図である。
【図２２】そのデータの流れを示す図である。
【図２３】本発明の第５の実施の形態を示す図である。
【図２４】そのデータの流れを示す図である。
【図２５】本発明の第６の実施の形態を示す図である。
【図２６】そのデータの流れを示す図である。
【図２７】（Ａ）は変動要因データの入力例を示す図である。  （Ｂ）は解析結果の一例を示す図である。
【図２８】本発明の第７の実施の形態を示す図である。
【図２９】そのデータの流れを示す図である。
【図３０】人数予測結果の一例を示す図である。
【図３１】本発明の第８の実施の形態を示す図である。
【図３２】そのデータの流れを示す図である。
【図３３】売上データの入力の一例を示す図である。
【図３４】本発明の第９の実施の形態を示す図である。
【図３５】そのデータの流れを示す図である。
【図３６】売上予測結果の一例を示す図である。
【図３７】本発明の第１０の実施の形態を示す図である。
【図３８】そのデータの流れを示す図である。
【図３９】在庫データの入力の一例を示す図である。
【図４０】発注データの一例を示す図である。
【符号の説明】
【０１１６】
１  テレビカメラ（撮像手段）
５  抽出部
５ａ  画像メモリ
５ｂ  特徴点抽出部
５ｃ  分離部（演算手段，分離手段）
６  追跡部
７  判定部（滞在時間計測手段，判定手段，注目度を求める手段）
８  出力部
１１  視線方向判定部
１４  画像蓄積部
１５  排除部
１６  データ蓄積部
１７  データ解析部
１８  変動要因入力部
１９  注目者数予測部
２０  売上データ入力部
２１  売上予測部
２２  在庫データ入力部
２３  仕入支援部
【図１】
2005259173.tif 000005
【図２】
2005259173.tif 000006
【図３】
2005259173.tif 000007
【図４】
2005259173.tif 000008
【図５】
2005259173.tif 000009
【図６】
2005259173.tif 000010
【図７】
2005259173.tif 000011
【図８】
2005259173.tif 000012
【図９】
2005259173.tif 000013
【図１０】
2005259173.tif 000014
【図１１】
2005259173.tif 000015
【図１２】
2005259173.tif 000016
【図１３】
2005259173.tif 000017
【図１４】
2005259173.tif 000018
【図１５】
2005259173.tif 000019
【図１６】
2005259173.tif 000020
【図１７】
2005259173.tif 000021
【図１８】
2005259173.tif 000022
【図１９】
2005259173.tif 000023
【図２０】
2005259173.tif 000024
【図２１】
2005259173.tif 000025
【図２２】
2005259173.tif 000026
【図２３】
2005259173.tif 000027
【図２４】
2005259173.tif 000028
【図２５】
2005259173.tif 000029
【図２６】
2005259173.tif 000030
【図２７】
2005259173.tif 000031
【図２８】
2005259173.tif 000032
【図２９】
2005259173.tif 000033
【図３０】
2005259173.tif 000034
【図３１】
2005259173.tif 000035
【図３２】
2005259173.tif 000036
【図３３】
2005259173.tif 000037
【図３４】
2005259173.tif 000038
【図３５】
2005259173.tif 000039
【図３６】
2005259173.tif 000040
【図３７】
2005259173.tif 000041
【図３８】
2005259173.tif 000042
【図３９】
2005259173.tif 000043
【図４０】
2005259173.tif 000044