(57)【特許請求の範囲】
【請求項１】
歩行者をモニタするシステムであって、
画像取り込み装置を含むデータ取り込みシステムと、
前記データ取り込みシステムに通信可能に結合され、少なくとも１つ以上の歩行者の足又は履物類の部分をそれぞれが含む一連の画像を表すデータを前記データ取り込みシステムから受け取るように構成されたコンピュータシステムと、
を備え、前記コンピュータシステムは、歩行者の足又は履物類を含む新たな画像の一部を識別することによって足又は履物類の新たな観察を識別し、前記新たな観察がされた足又は履物類を１つ以上のさらに観察された足又は履物類と比較して、前記一連の画像内のそれぞれの異なる複数の歩行者の存在を決定するために、前記観察された足又は履物類の方向及び位置を含む因子に基づいてこれらの観察結果が同じ歩行者に関連するものであるかどうかを決定し、前記歩行者の数を一定期間にわたってカウントする、
ことを特徴とするシステム。
【請求項２】
前記システムは、前記複数の歩行者の足又は履物類を表す前記データに基づいて前記複数の歩行者の人口学的特性を求める、
請求項１に記載のシステム。
【請求項３】
前記コンピュータシステムは、前記複数の歩行者の前記求められた人口学的特性を記憶するように構成された記憶装置を含む、
請求項２に記載のシステム。
【請求項４】
前記複数の歩行者の前記求められた人口学的特性をユーザに通信するように適合された報告システムをさらに備える、
請求項２又は３に記載のシステム。
【請求項５】
前記コンピュータシステムは、複数の足又は履物を表すデータを含む分類器データセットにアクセスすることができ、前記分類器データセットの各項目は、該項目が表す前記足又は履物の特性値と、前記項目に関連する前記人口学的特性の関連する分類とを含む、
請求項２から４のいずれか１項に記載のシステム。
【請求項６】
前記コンピュータシステムは、前記決定された人口学的特性の分類をユーザに通信するようにさらに構成される、
請求項２から５のいずれか１項に記載のシステム。
【請求項７】
前記システムは、前記複数の歩行者に関連する複数の異なる人口学的特性を求める、
請求項２から６のいずれか１項に記載のシステム。
【請求項８】
前記システムは、該システムによってモニタされる各歩行者に関連するモニタ時間を記録するように構成される、
請求項１から７のいずれか１項に記載のシステム。
【請求項９】
複数の観察が同じ歩行者に関連するものであるかどうかの前記決定が、モデルを使用することを含み、検出された時間、履物の形状、靴及び／又は脚の色又は質感を表すデータ、前記履物上で観察されるパターン又はロゴ、のうちの少なくとも１つにさらに基づくものである、請求項１から８のいずれか１項に記載のシステム。
【請求項１０】
前記画像取り込み装置は、３００ｍｍと１０００ｍｍの間、床面の高さから上方に位置する、請求項１から９のいずれか１項に記載のシステム。
【請求項１１】
歩行者をモニタする方法であって、
画像取り込み装置を用いて、複数の歩行者の複数の部分を含む一連の画像を表すデータを取り込むステップと、
少なくともそれぞれの歩行者の足又は履物類を含む前記複数の歩行者の前記複数の部分を表すデータをコンピュータシステムに通信するステップと、
歩行者の足又は履物類を含む新たな画像の一部を識別することによって足又は履物類の新たな観察を識別するステップと、
前記観察された足又は履物類を１つ以上のさらに観察された足又は履物類と比較して、前記一連の画像内のそれぞれの異なる複数の歩行者の存在を決定するために、前記観察された足又は履物類の方向及び位置を含む因子に基づいてこれらの観察結果が同じ歩行者に関連するものであるかどうかを決定するステップと、
前記コンピュータシステムを用いて、一定期間にわたって観察された歩行者の数をカウントするステップと、
を含むことを特徴とする方法。
【請求項１２】
足又は履物類の複数の観察が同じ歩行者に属するものであるかどうかを決定する前記ステップは、検出された時間、履物の形状、靴及び／又は脚の色又は質感を表すデータ、前記履物上で観察されるパターン又はロゴ、のうちの少なくとも１つにさらに基づくものである、請求項１１に記載の方法。
【請求項１３】
前記コンピュータシステムを用いて、前記複数の歩行者の前記足又は履物類を表す前記データに基づいて、前記複数の歩行者の人口学的特性を求めるステップをさらに含む、
請求項１１又は１２に記載の方法。
【請求項１４】
前記歩行者の人口学的特性を求める前記ステップは、前記歩行者に関連する複数の異なる人口学的特性を求めるステップを含む、
請求項１３に記載の方法。
【請求項１５】
前記コンピュータシステムによってモニタされる各歩行者に関連するモニタ時間を記録するステップを含む、
請求項１１から１４のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、定められた空間を通過する歩行者の数をカウントするシステム及び方法に関する。本発明は、具体的には、排他的な意味ではないが、出入口を通じて小売店に出入りする歩行者に関する人口統計情報（demographic information）を求めるシステムに関する。
【背景技術】
【０００２】
小売業者らは、顧客体験を改善して論理的かつ十分に妥当なビジネス上の決定を行うために、自社の小売店を利用する顧客に関するデータを収集する。このデータは、販売、収益、コスト、スタッフ数及び客足に関するデータと、個々の小売店及び／又は小売業全体に関する人口統計情報とを含むことができる。「客足（footfall）」は、小売店に入場及び／又は小売店から退場する人々の数を意味する。「人口統計値（demographics）」は、客足数でカウントされる人々の特性を意味し、通常は（限定するわけではないが）性別及び年齢を含む。
【０００３】
小売店の客足に関するデータを収集する既知の方法は複数存在するが、小売店に入る顧客に関する人口統計データを生成することはさらに困難である。小売業者らは、長年にわたって小売店の入口の客足カウンタを使用してきた。小売業者らは、店舗の敷居（すなわち、入口／出口）に客足カウンタを配置することにより、店舗が静かな時刻又は多忙な時刻に関するデータを記録することができる。このデータは、経営者が小売店の業績を理解するのに役立つことができる。経営者は、例えば店舗に引き付けられた顧客が過去の週／月／年と比べて多いか、それとも少ないかを理解する必要がある。店主は、スタッフ配置要件を計画したり、或いは異なる場所の小売店のコンバージョン成績（すなわち、客足対販売比レベル）を比較したりするために、一日のうちの最も多忙な時刻及び／又は最も静かな時刻を識別することに関心があると考えられる。
【０００４】
各小売店を利用する顧客に関する人口統計データを収集することは、店舗を訪問して利用する人々の「タイプ」を理解するのに役立つ。このようにして動向及びパターンを識別し、これらを用いて経営判断を行うことができる。例えば、成人男性は昼食時にフォーマルウェアを買い物し、成人女性は夕方にカジュアルウェアを買い物することが分かる。経営者らは、この情報を用いて業績を測り、新たな広告キャンペーンが予想人口統計を引き付けているかどうかを確認したり、又は異なる場所で買い物をする異なるタイプの顧客を理解したりすることなどができる。店主は、ターゲット広告又は製品プロモーションをほぼリアルタイムで提供することもでき、例えば現在店舗の８０％が正装した男性で占められている場合には、この顧客人口統計に適したプロモーション又は広告戦略を採用することができる。
【０００５】
単純な客足カウンタは広く利用可能であり、長年にわたり小売分析において使用されている。単純な形の客足カウンタは、出入口の敷居の片側に位置する赤外線ビーム（又は２つの平行ビーム）及び赤外線センサを使用する。ある人物がこのビームを横切ってビームを遮断すると、センサがこの遮断を検出して装置がそのカウンタを増分する。２つのビームを使用することにより、装置は、小売店に出入りする人々をビームが遮断された順番で検出することができる。他の客足カウント装置には、出入口の上方に下向きに配置された感熱検出器又はビデオカメラを含み、検出器又はカメラの下を通過する人数、すなわち店舗に歩いて出入りする人数をカウントするようなものもある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
人口統計データの収集は、対象のタイプ及び分類を確かめるために、画像又は検出された読み取り値からさらなるデータを抽出しなければならないので、客足のカウントよりも困難である。例えば、システムは、歩いて小売店に入る人々をカウントするだけでなく、これらの人々の特性、すなわち若いかそれとも年輩か、或いは男性かそれとも女性かなどを識別しなければならない。
【０００７】
大規模小売業者らは、ポイントカードスキームを用いて、自社の顧客の行動及び人口統計に関するさらに詳細な情報を上手く収集してきた。しかしながら、このようなシステムでは、買い物客の実際の潜在的行動を収集データで表そうとした場合、全ての顧客がこのスキームに登録する必要がある。顔検出システム及び顔認識システムも人口統計データを提供することができるが、これらは開発に費用がかかる。さらに、顧客の顔の画像を分析する必要があるシステムは、顧客のプライバシを侵害する恐れがあるという理由で反対もあるので商業利用が遅れている。
【課題を解決するための手段】
【０００８】
本発明は、撮像技術及び測定方法を用いて、小売店の場所に歩いて出入りする顧客から履物を分析することによって人口統計データを抽出するように客足カウントシステムを拡張したシステムに関する。実施形態では、顧客の下腿の一部も分析する。
【０００９】
本発明の態様によれば、歩行者をモニタするシステムであって、
データ取り込み装置を含むデータ取り込みシステムと、
データ取り込みシステムに通信可能に結合され、少なくとも歩行者の足又は履物類に関するデータを含む歩行者の一部を表すデータをデータ取り込みシステムから受け取るように構成されたコンピュータシステムと、
を備え、コンピュータシステムが、歩行者の存在を識別し、観察された歩行者の数を一定期間にわたってカウントするシステムが提供される。
【００１０】
本発明の別の態様によれば、歩行者をモニタする方法であって、
データ取り込み装置を用いて、歩行者の一部を表すデータを取り込むステップと、
少なくとも歩行者の足又は履物類を含む歩行者の一部を表すデータをコンピュータシステムに通信するステップと、
コンピュータを用いて、歩行者の存在と、一定期間にわたって観察された歩行者の数とを求めるステップと、
を含む方法が提供される。
【００１１】
本発明の上記態様のさらなる特徴については、添付の特許請求の範囲に記載する。
【００１２】
以下、添付図面を参照しながら本発明の実施形態をほんの一例として説明する。
【図面の簡単な説明】
【００１３】
【図１】ターゲットゾーンに関連して配置された画像取り込み装置を示す図である。
【図２】ターゲットゾーンを歩いて通過する歩行者を示す図である。
【図３】本発明の実施形態による方法を示すフロー図である。
【図４】歩行周期の一部の間の歩行者の足の相対位相動作（relative phase movement）を示す図である。
【図５】足と画像取り込み装置との間の距離の推定を示すための、ターゲットゾーンに関連して地面にぴったりと接した歩行者の足の図である。
【図６】足のサイズを示すための、図５の歩行者の足の図である。
【図７】本発明の実施形態のハードウェア要素の相互作用を示す図である。
【図８】本発明の実施形態による方法を示すフロー図である。
【発明を実施するための形態】
【００１４】
これらの図に関連して、歩行者をモニタするシステム１０を示す。図１には、歩行者が通過する「ターゲットゾーン」１２に関連して配置されたデータ取り込み装置１４を示す。通常、ターゲットゾーンは、小売店の入口又は出口となるように選択される。当然ながら、本発明のシステムは、歩行者に関する客足データ又は人口統計データの取得に関心がある、歩行者が通過するあらゆる環境での使用に適している。以下の説明を単純にするために、システム例の使用法を小売店の出入口に関連して説明する。「出入口（doorway）」は、建物又は小売店単位の入口点及び／又は出口点を単純に意味し、１又は２以上のドアが存在する必要はない。出入口は、例えば単純に屋内ショッピングモールからのアーチ形通路又は開放型通路とすることもできる。「客足」情報という用語は、ターゲットゾーン内で一定期間にわたって観察された歩行者の数に関する情報を意味する。
【００１５】
大まかに言えば、システム１０は、データ取り込み装置１４を含むデータ取り込みシステムと、データ取り込みシステムに通信可能に結合され、少なくとも歩行者の足又は履物類を含む歩行者の一部を表すデータをデータ取り込み装置１４から受け取るように構成されたコンピュータシステム３２とを含む。コンピュータシステム３２は、歩行者の存在を識別し、観察された歩行者の数を一定期間にわたってカウントする（すなわち、「客足」情報を取得する）。コンピュータシステム３２は、歩行者の足又は履物類を表すデータに基づいて、前記又は各歩行者の人口学的特性を求めることが好ましい。
【００１６】
好ましい実施形態では、データ取り込みシステムが画像取り込みシステムであり、データ取り込み装置１４が画像取り込み装置１４である（本明細書では、データ取り込み装置及び画像取り込みシステム／装置という用語を同義的に使用する）。データ取り込みシステムは、単一のデータ取り込み装置１４又は複数のデータ取り込み装置を含むことができる。好ましい実施形態では、データ取り込み装置１４が、静止画像及び／又はビデオ画像を記録できるカメラである。このカメラは、所定の間隔で画像（例えば、０．０５秒毎、０．１秒毎又は０．２秒毎などに１画像）を記録することができる。他の実施形態では、データ取り込み装置１４を、２次元又は３次元レーザ走査装置とすることができる。他の実施形態では、データ取り込み装置１４を、圧力を検出できる床下センサアレイとすることができ、或いはデータ取り込み装置１４が、光屈折を用いて床面上の足跡を検出することもできる。
【００１７】
データ取り込み装置１４という用語は、これらの全て、並びに歩行者の足又は履物類の外観を含む歩行者に関するデータを取り込むための他のあらゆる好適な装置及び関連方法を示すために使用される。しかしながら、説明を単純にするために、これ以降、画像取り込みシステム及び画像取り込み装置１４という用語は、データ取り込みシステム及びデータ取り込み装置を示すためにそれぞれ使用する。
【００１８】
通常、ターゲットゾーン１２は、両側を小売店の壁によって囲まれ、画像取り込み装置は、小売店の入口／出口又はその近くの壁に隣接して、壁上に、壁内に、或いは他の何らかの位置に存在する。例えば、小売店に入場及び／又は小売店から退場する歩行者の足の画像を取り込むようにカメラを配置することができる。これらの画像は、歩行者の靴及び足に加え、下腿を包む衣服の外観を含む歩行者の下腿の一部を含むことができる。実施形態では、画像取り込み装置１４が、床面の高さから３００ｍｍ〜１０００ｍｍ上方、好ましくは床面の高さから４００ｍｍ〜７００ｍｍ上方に位置し、出入口の敷居を横切って向けられる。
【００１９】
画像取り込み装置１４の位置及びその向きを考慮するようにデータ取り込みシステム又はコンピュータシステム３２を校正する校正ステップを行うこともできる。この校正ステップは、出入口の既知の位置に所定の投影又は形状が存在する画像を取り込み、取り込んだ画像内の形状又は投影の相対的位置を用いて、将来的な画像に取り込まれる物体の形状、向き及び／又は位置に関する相対的情報を提供できるようにすることを含むことができる。例えば、出入口の敷居を横切る位置に対する画像フィールド内の位置に関するデータをコンピュータシステム３２（又は画像取り込みシステム）に提供することにより、将来的な画像に取り込まれる物体のサイズ及び形状などの情報を計算することができる。
【００２０】
なお、画像処理ステップ、校正ステップ、識別ステップ及び分析ステップ（又は他のいずれかの計算）について説明する場合、これらの計算は、画像取り込みシステム又はコンピュータシステム３２を用いて局所的に行うことも、或いはコンピュータシステム３２のリモートコンポーネント又はさらなるリモートコンピュータ装置（例えば、リモートサーバなど）を用いて遠隔的に行うこともできる。本明細書では、説明を単純にするために、システムについての説明は、コンピュータシステム３２が処理及び／又は他の計算ステップの実行を担っているという観点で行う。
【００２１】
ほんの一例として、校正は、出入口を横切って配置された静的基準を用いて行うことができる。この基準を用いて、カメラの下向きの角度に関する情報を求めることができる（図５及び図６を参照）。これらのマークは、出入口を横切って幅方向及び／又は長さ方向に間隔を置いたマーキングからなる（図５及び図６をそれぞれ参照）。これらのマーキングは、黒色又は白色の絵の具、プロジェクタ、或いは反射体材料と、ＵＶカメラ、赤外線カメラ、又はマーキングの検出に適した他のカメラとを用いてターゲットゾーン内の地面に物理的に行うことができる。カメラは、出入口を横切って下向きに傾いているので、画像取り込み装置１４の視野内の高い位置では物体が遠くに離れて見える。これらのマーキングは、幅方向マーキング（図５）の場合には、カメラが所与の物体の距離を検出するための基準を提供し、或いは長さ方向マーキング（図６）を使用する場合には、物体のサイズに直接関連する基準を提供する。従って、物体のサイズを推定することができる。
【００２２】
当然ながら、画像取り込み装置を設定して校正したら、基準用の出入口マーキングは除去することができる。
【００２３】
実施形態では、システム１０が、画像取り込み装置１４に対してマーキングを投影し、これらの投影されたマーキングを用いて上述したような校正を実行することにより、自動的に校正を行うことができる。
【００２４】
コンピュータシステム３２は、プロセッサ及びメモリ素子を有するいずれかの好適なタイプの既知のコンピュータシステムとすることができる。コンピュータシステム３２は、画像取り込み装置１４によって取り込まれた前記又は各画像を受け取る。コンピュータシステム３２は、（例えば、特定の期間にわたって）観察された歩行者の数に関する情報を記憶するように構成された記憶装置３６を含む。また、記憶装置３６は、画像取り込み装置１４によって取り込まれた歩行者に関連する求められた人口学的特性を記憶するように構成することもできる。このデータは、コンピュータシステム３２に記憶して、一般にコンピュータシステム３２を介してアクセスすることも、或いはコンピュータシステム３２自体から離れた位置に記憶して、ローカルネットワーク又はリモート通信を介して（例えば、ＷＩＦＩ又はインターネットを介して）アクセスすることもできる。
【００２５】
実施形態では、システム１０が、求められた歩行者の人口学的特性をユーザに通信するように適合された報告システムをさらに含む。ユーザは、例えばリモートハンドヘルド装置４０を介して、或いは例えばパーソナルコンピュータ３８を用いてインターネット又はネットワーク接続を介して通信データにアクセスすることができる。
【００２６】
大まかに言えば、図３に示すように、システム１０は以下のように動作する。システム１０は、ターゲット出入口の画像２０を取り込み、そこから画像内の物体（すなわち靴）の特性を推定（２２）する。例えば、システム１０は、画像内で観察される靴のサイズ又は色を推定することができる。次に、以前に観察されたデータ又はシステム１０に提供されたデータセット（例えば、分類器データセット２６）との比較、或いはシステム１０が記憶している１又は２以上のルールによって物体を分類する。新たに観察された物体及びこれに関するデータは、観察データベース２８に記憶することができ、このデータを分析ソフトウェア及び／又は報告モジュール３０が使用して、ユーザにデータを提供することができる。
【００２７】
図面の図８を参照しながら、本発明の実施形態による動作方法についてさらに詳細に説明する。画像取り込みステップ１０２において、データ（すなわち、画像）を取り込む。次に、このデータを評価して、出入口の領域内で何らかの動きが生じたかどうかを判定する。この評価を行うために、「デフォルトの」背景図の知識を取得する。換言すれば、画像取り込み装置は、歩行者が出入口を通過していない時には同じ連続画像データを提供するので、システム１０は、この背景画像の知識を有することが有利である。このようにして、画像が変化した時には、視野を横切って動く歩行者に関連するのは画像のどの部分であるか、及び静止した背景にしか関連しないのは画像のどの部分であるかを評価することができる。
【００２８】
実施形態では、システム１０が、連続画像が背景の変化を示すかどうかを判定する（ステップ１０４）。例えば、歩行者が出入口にバッグを置いた場合には、画像取り込み装置１４によって取得された多くの連続画像内にこのバッグが現れることができる。画像取り込み装置１４によって取得された一連の画像が所定長のシーケンスにわたって同じである場合には、システム１０が記憶している背景情報が、この変化を反映するように更新される（ステップ１０６）。
【００２９】
画像取り込み装置１４から見た「背景」画像に関するデータを収集して背景データを更新する（ステップ１０６）ために、複数の画像をサンプルとして選択する。このサンプルは、所定の期間にわたって（例えば、２０個の画像などの）所定のサンプルサイズで取り込んだ１０番目毎の画像を含むことができる。この画像サンプルから画像の画素を分析し、フレームの各画素の中央値を計算する。結果として得られる中央値平均画像が背景図の推定をもたらす。例えば、サンプル取得期間中に歩行者が出入口を通過した場合には、一定期間にわたって取り込んだ画像の限られた割合のみが歩行者の靴及び脚を特徴として有する。各画素の中央値を取得するので、最も頻度の高い画素値は背景画像の値であり、サンプル内の少数の画像の特定の画素のみに歩行者が現れると仮定することが安全である。従って、中央値を取得することにより、視野を横切る前景物体が背景画像から除去され、背景に関するデータのみが記憶される。
【００３０】
次に、システム１０は、新たに取り込んだ画像を以前に取り込んだ画像と（又は、実施形態では記憶された背景画像と）比較することにより、動きが生じたかどうかを判定する（ステップ１０８）。これらの画像が異なる場合、動きが生じている。動きが生じた場合、システム１０は、動きが検知された画像又は一連の画像を分析して、画像内に存在する１又は２以上の物体（すなわち、靴）の詳細を特定することができる。動きが検知されない場合、システム１０は、最近分析されたデータを処理して、識別された物体から情報を抽出することにより、この情報を記憶し、及び／又はユーザに報告できるようにすることができる。
【００３１】
動きが検知された場合、システム１０は、最初に標準的な画像処理技術を用いて（ステップ１１２）、スケーリング、シフティング、センタリング、ノイズ低減、色補正、正規化及びレンズ歪みの補正などの１又は２以上の画像操作技術を使用して画像１１２を処理する。この予備画像処理ステップは、いずれかの動きの評価を行う前に行うことができ、或いは図８に示すように、動きが検知された場合にのみ適用することができる。
【００３２】
システム１０は、例えば歩行者の足又は履物類を示す取り込んだ画像データの一部を識別することができる。この識別を行うには、画像の前景を構築して（ステップ１１４）、関連する画像部分を背景から分離しなければならない。画像の前景に関するデータを取得するには、記憶されている背景情報を新たに取得したデータから差し引き、全ての非背景データ（すなわち、前景データ）を分析のために残すことができる。
【００３３】
このようにして、実施形態では、一連の画像にわたって画像内の画素毎に中央画素値を計算して背景画像を取得する。その後、将来的に観察される画像からこの画像を差し引いて、これらの画像の活性部分を識別する。
【００３４】
履物である物体を確実に検出するために（そしてそのサイズ及びその他の特徴を正確に推定するために）、物体の評価は、その鮮明な描写が得られるように視野内で比較的静止している時に行うことが好ましい。また、この評価は、画像内で靴が「水平に」配置されているかどうかに関わらず行われる可能性がある。歩行者が歩いてターゲットゾーンを通過すると、足又は靴は、図面の図４に示すような角運動で動く。最も単純なのは、足がその水平姿勢で地面に置かれている時（すなわち、連続画像のうちの画像３）に足のサイズを測定することである。コンピュータシステム３２は、一連の連続画像を比較することにより、推定される足の回転を考慮して、物体が視野を通過する際に物体をその「最も水平な」状態で表示している画像を特定することができる。
【００３５】
これを実現するために、実施形態ではフレーム平均化技術を使用する。フレーム平均化技術では、前景データの平均値を取得する（すなわち、画像データを重ね合わせるために）。このようにして、画像間で画素が一定のまま変化しない場合、画素の平均値はその一定値に偏る。例えば、歩行者が買い物用の台車／カートを押しながら視野を横切った場合、一連の画像を通じた台車の動きはほぼ規則的である。対照的に、歩行者の靴の動きは、上述したように不規則的である。靴が地面に対して水平に置かれた位置が存在し、その位置では、歩行者が地面から靴を持ち上げるまでの間、靴は（実質的に）静止したままである。一連の画像にわたって画像データを平均化する（すなわち、シーケンス内の各画素の平均値を画素毎に取得する）ことにより、前景画像の大部分は不鮮明になるが、靴が静止したままの部分は、シーケンス内の複数の画素を通じて繰り返されるこれらの画素を強化することによって強調される。実際には、画像の繰り返し部分を重ね合わせる。このようにして、比較的鮮明な靴の画像を取得することができ、前景内の他の物体は無視又は廃棄することができる。
【００３６】
このようにして、実施形態では、（通常は連続する）一連の画像にわたって画素毎に画素の値を平均化する。結果として得られる平均化画像では、画像の一部の鮮明度が高められ、一連の画像内の複数の画像にわたって画素値が一定（又は比較的一定）している。
【００３７】
システム１０は、この段階で、前景で観察される１又は２以上の物体の正体を検出する。特定の画像又は一連の画像は、靴を含まないことも、１つの靴を含むことも、或いは複数の靴を含むこともある。システム１０は、各々が靴の可能性がある１又は２以上の物体に関連するデータ部分を識別した時点で、この１又は複数の物体を識別する（ステップ１１６）。
【００３８】
実施形態では、コンピュータシステム３２が、それぞれの異なる歩行者の足又は履物類の少なくとも一部を各々が含む複数の画像部分を識別する。このようにして、システム１０は、所与の画像又は一連の画像内の複数の歩行者の存在を特定し、このデータを用いて正確な歩行者の数を取得することができる。また、これにより、画像の別個の部分を個別に分析して各それぞれの歩行者に関する人口統計情報を求めることもできるようになる。
【００３９】
任意に、識別された（単複の）画像部分は、上述したようなスケーリング、シフティング、センタリング又はノイズ低減などの画像操作技術を用いて処理し、画像の鮮明度を高めることもできる。
【００４０】
好ましい実施形態では、コンピュータシステム３２が、分類器データセット３４にアクセスすることができる。分類器データセット３４は、記憶装置３６に記憶することも、或いは（例えば、離れた場所に配置できるが、コンピュータシステム３２を介して通信可能にアクセスできる）別個の記憶装置に記憶することもできる。大まかに言えば、分類器データセット３４は、足又は靴の特性、足又は靴の観察結果、或いは足又は靴に関するデータを、これらの足又は履物の所有者に関連する人口統計情報の「最良推定値」に関連付ける情報を提供する。換言すれば、靴の観察結果（又はその靴に類似するデータ）に基づき、分類器データセットを用いて靴の着用者の性別及び年齢の最良推定値を求める。分類器データセット３４は、以前に収集／生成されたデータを含み、これらのデータと新たなデータ要素とを比較することができる。
【００４１】
実施形態では、分類器データセット３４が、以前に収集（又は別様に生成）されて機械学習アルゴリズム及び／又は人間のユーザによって分類されたデータを含むサンプルデータセットである。例えば、サンプルデータセットは、１万個の足及び／又は靴の画像を含むことができる。各画像について、靴の着用者の特性を詳述するサイズ、色、様式、形状、性別及び年齢などの特性を記録することができる。例えば、１つのデータレコードは、ピンク色のトレーニングシューズを着用した足の画像を含むことができ、関連する記録は、この靴がサイズ４（英国サイズ）であり、この靴がカジュアルシューズであり、靴の色がピンク色であるという特性を識別することができる。また、このデータ記録には、着用者の性別を女性とする記録、又は着用者の年齢を１３歳とする記録などの人口学的特性の分類も関連する。
【００４２】
通常、システム１０は、トレーニングされた分類器アルゴリズムを用いて前景画像内の靴の存在を検出するように動作する。分類器は、特定のデータを（例えば、上述したタイプの）特定の特徴又は特性と関連付けるように（既知の機械学習法を用いて）トレーニングされる。例えば、分類器は、靴の存在を一般的に検出するようにトレーニングすることも、或いは異なる形状を有する靴の特定のサブセットを検出するようにトレーニングすることもできる。
【００４３】
トレーニングされた分類器には、分類器が基づく特徴タイプ（すなわち、分類器内で物体がどのように「記述」されるか）、及び分類方法（すなわち、システムが、検出した特徴に基づいて何が靴であり、何が靴でないかをどのように判定するか）という２つの別個の要素が存在する。使用できる特徴タイプの例としては、（画像の一部における勾配方向の出現をカウントする）勾配方向ヒストグラム、又は（画像をセルに分割し、各画素をその隣接画素と比較してバイナリコードを生成し、結果として得られたデータ内の様々なコードの発生を調べる）ローカルバイナリパターン、及びこれら２つの変形例が挙げられる。（ハールウェーブレット又は同様のものを用いた）ウェーブレット解析、又は既知の物体検出システムにおいて現在使用されている他のいずれかの特徴検出機構を使用することもできる。
【００４４】
例えば、分類器は、カスケード型分類器技術（すなわち、分類が行われるまで一連の分類器を順に適用する技術）を用いてトレーニングすることも、或いは確率的分類器、サポートベクトルマシン、又はニューラルネットワークを用いてトレーニングすることもできる。
【００４５】
実施形態では、一般にデータが、左向きの靴及び右向きの靴に関する２つの異なる組に分類される。これらのデータセットは、例えば水平中間点に関して反射された同じ画像データを含めてミラーリングすることができる。このように、画像をデータセットの一方又は他方に属するものとして分類することによる靴の識別により、歩行者の移動方向に関する情報（すなわち、歩行者が小売店に入場しているか、それとも小売店から退出しているか）が得られる。
【００４６】
システム１０が、（分類器を用いて識別された）特定の特性を有する靴に関するものとして画像を分類すると、一次エラーチェックステップ（１１８）が行われる。このエラーチェックは、基本常識チェックを用いて、実際には靴が靴でない場合に分類器が誤って画像を靴として分類したか否かを判定するものである。例えば、フレーム内の相対的位置を所与として、検出された靴のサイズを調べる。カメラから最も離れた画像部分に非常に大きな画像が存在する時に、これが靴として分類された場合、この靴のサイズは非常に大きなものになる。同じサイズの画像がカメラの近くで検出された場合、遠近法による差分を所与とすると、このサイズが現実的なものと考えられる。特定のサイズを上回る靴は、誤って分類されたものとして廃棄することができる。
【００４７】
二次エラーチェック段階（ステップ１２０）としてのさらなるチェックは、連続画像にわたって生じるエラーのチェックを含む。連続画像間で分類エラーが続く可能性は、単独エラーとして生じるよりも低いので、この場合、分類が誤りであることに割り当てられる確率は低くなる。別のチェックは検出の局所性であり、すなわち画像のごく一部における複数の靴の分類は、同じ靴が識別されたことを示し、従って分類結果の比較及び／又は組み合わせを行うことができる。この時点でさらなる画像処理を行ってエラーの識別を支援することもできる。
【００４８】
コンピュータシステムは、（履物のサイズ、様式及び色、靴紐、及び／又は足首の周囲の衣服の様式などの）記録された特性値及び関連する人口統計情報を各々が含む実例データのデータセットにアクセスできることにより、観察された画像を適切に分類することによってこれらの画像の特性を推定し、及び／又は画像自体を用いて着用者に関する人口統計情報を推定できるようになる。
【００４９】
従って、換言すれば、コンピュータシステム３２は、上述した分類器を用いて歩行者の画像の足又は履物類の特性値を求める画像分類モジュールを含む。このようにして、分類された画像から特徴を識別する（ステップ１２２）。
【００５０】
対象の性別が何であるか、及び対象が子供であるか否か（このことは、家族単位が存在するかどうかを判断するために重要である）をより良く評価するには、足のサイズが重要な指標である。平均すると、女性は男性よりも足のサイズが小さく、従って対象の足のサイズの推定は、人物の性別を正確に評価する際の重要な入力である。
【００５１】
次に、靴／履物（物体）の１又は２以上の特性を求める。靴のサイズ及び向きは、靴の画像（すなわち、靴として識別された特定のインスタンスに制限される処理済みの前景データ）から背景画像データを差し引くことによって測定することができる。靴の後部、基部及び前部における観察された色の変化を示す、Ｘ軸及びＹ軸に沿った勾配の急な変化を識別する。実施形態では、縁部の遷移を強調して軸に沿った勾配を示すようにＳｏｂｅｌ演算子を実装する。画素で測定した靴の長さに従ってサイズを推定し、（校正ステップによって求められた）視野にわたる観察の深度の知識を所与として、このサイズを長さ測定値に変換することができる。
【００５２】
従って、ある例では、観察された足／靴のサイズが非常に大きな画像は男性のものである可能性が高い。観察された画像のサイズをサンプルデータセット内の靴のサイズと比較することにより、同様のサイズの靴の高い割合が、男性であることが分かっている歩行者に関連することが分かるようになる。システム３２は、これに基づいて、観察された画像は男性が着用した靴の画像である可能性が相応に高いと判定する。
【００５３】
別の例として、このデータセットは、「ピンク色」の色特性に関連する画像の６５％が、着用者が女性である人口学的特性に関連することを示すこともできる。データセットは、特定の大きさの靴サイズを有する男性の比率が女性に対して８０％であることを示すこともできる。この大きな靴サイズのピンク色の靴を含むと判定された画像が取り込まれた場合、コンピュータシステム３２は、利用可能な情報を用いて考えられる着用者の性別を推定しなければならない。この場合、コンピュータシステム３２は、サンプルデータセットの根拠に基づいて、この大きなピンク色の靴が女性ではなく男性のものである可能性が高いと判断する。従って、これに基づいて、取り込まれた画像によって識別された歩行者は男性であると判定される。
【００５４】
別の方法では、コンピュータシステム３２が、観察された画像をサンプルデータセットに記憶されている画像データと比較することができる。（例えば、各画像の画素データに基づいて各画像を高次元ベクトルアレイと見なし、ベクトルの近接性を比較することなどの）既知の画像比較方法を用いて、データセット内のサンプル画像の各々に対する観察された画像の近接性を判断することができる。次に、例えばＫ近傍法などの分類アルゴリズムを用いて、最も可能性の高い人口学的分類を識別し、この分類を用いて、取り込まれた画像に関連する歩行者にラベル付けすることができる。当然ながら、画像の類似性を計算する好適なアルゴリズム及び方法は多く知られており、本発明の文脈ではあらゆる好適な方法を使用できると予想される。
【００５５】
当然ながら、分類器データセット３４は、分類器をトレーニングする又はトレーニングした基礎となるデータではなく、トレーニングされた分類器に関する情報を含むことができる。従って、例えば、分類器データセット３４は、同じ分類情報を共有するデータサンプルが互いにどれほど類似しているかを定めるクラス境界値などの関連データを含む。
【００５６】
このような実施形態では、分類器データセット３４が、新たに観察されたデータの特性値に適用すべき分類器ルールを含む。例えば、観察サンプルの大規模データセットを分析すると、特定の値よりも大きな長さの靴は男性のものである可能性が最も高く、この値を下回る靴は女性のものである可能性が最も高いと判断することができる。このルールは、将来的な観察を迅速かつ容易に分類できるようにする。はるかに複雑な分類器ルールは、例えば着用者の年齢の推定値に履物の形状をマッピングする機能を提供することができる。
【００５７】
興味深い人口学的カテゴリに従って物体を分類したら、その観察結果をログに記録して（ステップ１２４）観察データベース２８に記憶することができる。その後、分析ソフトウェア３０及び報告システムは、観察データベース内の記憶データにアクセスし、照合結果をユーザに報告することができる。
【００５８】
システム１０は、検出された靴をログに記録した場合、歩行者の客足をカウントする。ターゲットゾーンを歩いて通過する歩行者の観察結果が取得されて人口学的カテゴリに分類されると、システムメモリ内のカウンタ、或いはメモリ又は記憶装置に記憶されたデータを増分して、関連するカテゴリ内の歩行者の数を追跡し続けることができる。
【００５９】
画像取り込み装置１４を通り過ぎる歩行者のカウントに個々の靴の分類データを加えるために、あるモデルを使用する。このモデルを用いて、複数の靴の観察結果が同じ歩行者のものであるか否かを認識する。このモデルは、以下に限定されるわけではないが、履物の方向、（単複の）歩みの位置、検出された時間、履物の形状、靴及び／又は脚の色又は質感を表す（色勾配などの）データ、履物上で観察されるパターン又はロゴのうちの少なくとも１つを含む因子に結果を基づかせる。これらのロゴは、例えばブランドロゴとすることができる。勾配照合では、異なる画素において靴の色をサンプリングし、画像の比較時に色の違いを特徴として使用することができる。このモデルは、例えば影に起因するカメラの視野内の異なる位置の異なる照明条件を考慮する。例えば、青いソックスと白い靴との間の色差の勾配は、明るい日光の下と影を落とした時とでほとんど変わらないが、実際に観察される色は大きく異なることがある。
【００６０】
カウントモデルは、１組の（又は、例えば３つ揃いの）靴が同じ歩行者のものである可能性を割り当てる確率モデルを含むことができる。この確率モデルを靴の観察結果データベース全体に適用して総歩行者数を予測することができ、またこの確率モデルは、数字の許容誤差及び予測精度を含むこともできる。
【００６１】
教師なし機械学習モデルを用いて、複数の靴の観察結果の入力（すなわち、分類器によって収集されたデータ）に基づいて、何人の歩行者が観察されたかを予測することもできる。このモデルは、クラスタリング技術を用いて一群の分類データ間のパターンを学習し、一連の画像内で何人の歩行者が観察されたか、すなわち複数の靴の画像が同じ靴に関連するものであるか、同じ歩行者（ただし場合によってはこれらの歩行者の他方の靴）に関連するものであるか、接近する複数の歩行者に関連するものであるか、それとも分類データの他の不規則性に起因するものであるかを評価することができる。これとは別に、又はこれに加えて、線形二次推定（すなわち、カルマンフィルタ）を再帰的に使用して、観察された歩行者の数に関するデータを推定することもできる。
【００６２】
また、「ｂｌｏｂトラッキング」、フレーム内の他の靴の観察結果と対象との（靴及び下腿の移動方向、移動パターン及び角度を含む）比較、及び靴又はその特徴のメモリへのローカルキャッシングなどの他のコンピュータビジョン技術を用いて物体検出を改善し、二重カウント（すなわち、１人の人物の両方の靴についてカウンタを２回増分すること）を防ぐこともできる。
【００６３】
システム１０は、画像又は一連の画像内で識別された歩行者の数をカウントすると、さらなる人口統計情報を抽出し、それまでの人口統計推定値を、各履物の観察結果及びこれらの組み合わせの特徴の評価による分類情報から更新する（ステップ１２８）。新たな情報は、歩長、歩行速度、及び歩行者の歩く方向を含むことができる。例えば、歩行者がカップルとして集まっているのか、家族として集まっているのか、それとも独身者として集まっているのかなどの、歩行者をどのようにグループ化するかなどのさらなる情報を推測することもできる。
【００６４】
分析モジュールは、コンピュータシステム３２自体の一部を形成することも、又はコンピュータシステム３２から離れて設けることもできる。分析モジュールは、決定された人口学的分類を、観察された歩行者毎にシステムのユーザに通信するように構成することができる。好ましい実施形態では、このモジュールがユーザと定期的に通信して、所与の期間内に観察され分類された照合データを提供する。例えば、このシステムは、１時間に１回、１日に１回、又は１週間に１回ユーザに報告を行うことができる。ユーザに伝えられるデータは、観察された歩行者の推定性別及び推定年齢、並びに他のいずれかの関連データを含む人口学的分類データを含むことができる（提供される特定のデータは、ユーザが指定することができる）。データは、ウェブサイト、ウェブポータル、又は（電子メール、ＳＭＳ、又は同様のものなどの）デジタルメッセージを介して提供することができる。他の実施形態では、システムがデータを照合し、この照合データを記憶装置３６に記憶することができる。
【００６５】
実施形態では、報告システム及び／又は分析ソフトウェアがウェブベースであり、「クラウド」内に存在する。データは、一定時間毎にインターネットを介してクラウドストレージプロバイダにアップロードされる。データが照合され、関連する業績指標が計算される。ユーザが、顧客の人口統計及び客足に関するデータを「消費」（すなわち、アクセス）したいと望む場合には、クラウドからデータをダウンロードして検討のためにユーザに提示するローカルウェブアプリケーションを使用する。このデータは、既存の管理情報システムとの互換性を実現するようにＡＰＩを介して利用することもできる。
【００６６】
別途記載していない限り、本明細書で説明した実施形態の特徴は、あらゆる組み合わせで使用することができると理解されたい。
【００６７】
本明細書及び特許請求の範囲において「備える（ｃｏｍｐｒｉｓｅｓ及びｃｏｍｐｒｉｓｉｎｇ）」という用語、並びにその変化形を用いている場合には、特定の特徴、ステップ又は整数が含まれることを意味する。これらの用語は、他の特徴、ステップ又は構成要素の存在を除外するものとして解釈すべきではない。
【００６８】
上記の説明、又は以下の特許請求の範囲、或いは添付図面に開示する特徴は、これらの特定の形で、或いは開示する機能を実行する手段、又は開示する結果を達成する方法又は処理の観点から示すものであり、本発明をこれらの様々な形態で実現するために、必要に応じて別個に利用することも、又はこのような特徴のあらゆる組み合わせで利用することもできる。
【符号の説明】
【００６９】
１０２  入力を取り込む
１０４  背景が変化したか？
１０６  背景を更新
１０８  動きを検出したか？
１１０  靴を処理するか？
１１２  一次画像処理
１１４  前景を構築
１１６  物体を識別
１１８  一次エラーチェック
１２０  物体の画像処理／二次エラーチェック
１２２  将来的識別
１２４  物体のインスタンス及び特性をログに記録
１２６  人々をカウント
１２８  人口統計情報を抽出
１３０  情報を出力／保存
１３２  情報を分析／報告
【図１】
0006517325.tif 000002
【図２】
0006517325.tif 000003
【図３】
0006517325.tif 000004
【図４】
0006517325.tif 000005
【図５】
0006517325.tif 000006
【図６】
0006517325.tif 000007
【図７】
0006517325.tif 000008
【図８】
0006517325.tif 000009