(57)【要約】【課題】個々の商品に対する買い物客の関心度合いの計測精度を高めて、関心度合いの集計結果に対する信頼性を高くするとともに、個々の商品に対する関心度合い、分布及びこれらの経時変化を定量的に把握できるようにする。【解決手段】商品関心度計測装置２は、撮像画像１上で個々の人を認識し当該人の仮想重心点Ｇの移動を追跡し、関心計測領域Ａ内での仮想重心点Ｇの滞在時間を計測する画像処理装置３、画像処理装置３からの滞在時間より、判別基準に基づいて人の商品に対する関心度を数段階に評価し、関心度を段階別に分別する関心度合い判別装置４、関心度合い判別装置４による関心度合い別データを登録する関心度合い別データ記憶装置５、関心度合い別データ記憶装置５に登録された関心度合い別データを読み出して加工するデータ加工処理装置６、データ加工処理装置６からの関心度情報を出力する出力装置８を備える。【選択図】図２
2009037459.tif 000002
【特許請求の範囲】
【請求項１】
商品を配置する領域を上方から常時撮像している撮像装置の撮像画像に基づいて、当該商品に対する買い物客の関心度合いを計測する商品関心度計測装置であって、
上記撮像画像上で個々の人を認識し、当該人の仮想重心点の移動を追跡し、上記商品の至近距離の範囲内として設定された関心計測領域内での当該仮想重心点の滞在時間を計測する画像処理装置と、
上記画像処理装置からの滞在時間より、判別基準に基づいて、上記人の上記商品に対する関心度を数段階に評価し、当該関心度を段階別に分別する関心度合い判別装置と、
上記関心度合い判別装置による関心度合い別データを登録する関心度合い別データ記憶装置と、
上記関心度合い別データ記憶装置に登録された関心度合い別データを読み出し、これを加工するデータ加工処理装置と、
上記データ加工処理装置からの関心度情報を出力する出力装置と、
を備える商品関心度計測装置。
【請求項２】
請求項１に記載の商品関心度計測装置において、
上記画像処理装置は、上記撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含む商品関心度計測装置。
【請求項３】
請求項１又は２に記載の商品関心度計測装置において、
上記商品の至近距離の範囲は、人が当該商品の情報を収集する行為を行うときに当該人が当該商品に接近する距離の範囲である商品関心度計測装置。
【請求項４】
請求項１乃至３のいずれかに記載の商品関心度計測装置において、
上記関心度合い判別装置における判別基準は、上記滞在時間と比較する時間基準であり、この時間基準を関心度が高い程、長くなるように多段階に設定する商品関心度計測装置。
【請求項５】
請求項４に記載の商品関心度計測装置において、
上記画像処理装置は、上記仮想重心点の上記関心計測領域内での瞬間移動速度をも計測することとし、
上記関心度合い判別装置は、上記判別基準として上記瞬間移動速度と比較する速度基準をも設け、この速度基準を人が商品に対して注意を注いでいるときの移動速度以下に設定し、上記瞬間移動速度がこの速度基準に当たるときに限り上記滞在時間の長短によって関心度を評価する商品関心度計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、展示商品、たとえばマネキンやショーケースなどに展示された商品に対する買い物客の関心度合いを推し量り、これを小計する装置、すなわち、商品関心度計測装置に関するものであり、展示された個々の商品に対する買い物客の関心度合いを定量化して集計することができるものである。
【背景技術】
【０００２】
従来、陳列棚やショーケースに展示された商品に対する買い物客の関心の有無、その程度を計って、その結果を営業に生かすことが必要であり、陳列棚やショーケース近辺での買い物客の挙動を、直接、間接に目視で観察し、関心度の高さを観察者が判断しているのが実情である。この観察者による判断では、客観性に乏しく、評価結果、あるいは集計データの内容の画一化が困難であり、したがって、複数の商品展示箇所での関心度合いのデータを共通にすることが困難であり、また、同データを共有することが困難である。
【０００３】
関心度合いについての評価が客観化されれば、複数の商品展示箇所での関心度合いのデータを共通化することができ、またデータを共有することができるので、その利用価値が高く、利用性が高くなる。したがって、商品に対する買い物客の関心度を客観的に観察し、評価結果が客観化されることが求められる。
【特許文献１】特許第３８００２５７号公報
【特許文献２】特許第３４０６５８７号公報
【特許文献３】特許第３３９０４２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
以上のことから、商品などに対する買い物客の関心度合いを、高信頼度で合理的、客観的に計測できる計測装置の実現が求められる。
また、関心度合いについての定量的な計測データ、およびその分布を的確に把握することが、個々の商品に対する買い物客の関心度合いの如何を詳細に分析する上で有効である。
【０００５】
そこで、個々の商品に対する買い物客の関心度合いの計測精度を高めて、関心度合いの集計結果に対する信頼性を高くするとともに、個々の商品に対する関心度合い、分布及びこれらの経時変化を定量的に把握できるようにすることが、この発明の課題である。
【課題を解決するための手段】
【０００６】
上記課題を解決するためのこの発明の手段は、商品の近傍を上方から常時撮影している撮像装置の撮像画像に基づいて、当該商品に対する買い物客の関心度合いを計測する商品関心度計測装置について、次の（イ）〜（ホ）によるものである。
（イ）上記撮像画像上で個々の人を認識し、当該人の仮想重心点の移動を追跡し、上記商品の至近距離の範囲内として設定された関心計測領域内での当該仮想重心点の滞在時間を計測する画像処理装置を有すること、
（ロ）上記画像処理装置からの滞在時間より、判別基準に基づいて、上記人の上記商品に対する関心度を数段階に評価し、当該関心度を段階別に分別する関心度合い判別装置と、
（ハ）上記関心度合い判別装置による関心度合い別データを登録する関心度合い別データ記憶装置を有すること、
（ニ）上記関心度合い別データ記憶装置に登録された関心度合い別データを読み出し、これを加工するデータ加工処理装置を有すること、
（ホ）上記データ加工処理装置からの関心度情報を出力する出力装置を有すること。
【０００７】
上記画像処理装置は、上記撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含むものでもよい。
上記商品の至近距離の範囲は、人が当該商品の情報を収集する行為を行うときに当該人が当該商品に接近する距離の範囲であることでもよい。
上記関心度合い判別装置における判別基準は、上記滞在時間と比較する時間基準であり、この時間基準を関心度が高い程、長くなるように多段階に設定することでもよい。
上記画像処理装置は、上記仮想重心点の上記関心計測領域内での瞬間移動速度をも計測することとし、上記関心度合い判別装置は、上記判別基準として上記瞬間移動速度と比較する速度基準をも設け、この速度基準を人が商品に対して注意を注いでいるときの移動速度以下に設定し、上記瞬間移動速度がこの速度基準に当たるときに限り上記滞在時間の長短によって関心度を評価することでもよい。
【０００８】
以上の手段によれば、展示された商品に対して特別の関心を示したと推定される買い物客を特定し、この買物客の関心度合いを、商品の観察に費やしたと推定される時間の長さにより（時間基準）、また、展示品の前で一旦停止したか（速度基準）等の所定の判断基準に基づいて評価して、この評価結果を関心度合いの段階別に集計して計測データとするから、収集された関心度合い別データが客観化され、かつ定量化される。
したがって、この関心度合いの集計結果に対する信頼性が高く、また、この関心度合い別のデータを加工し、これを定量的に出力することができる。
それゆえ、個々の商品に対する買い物客全体の関心度合いの程度、その分布及びこれらの経時変化を客観的なデータにより定量的に把握することができる。
【発明の効果】
【０００９】
本発明によれば、個々の商品に対する買い物客の関心度合いの計測精度を高めて、関心度合いの集計結果に対する信頼性を高くするとともに、個々の商品に対する関心度合い、分布及びこれらの経時変化を定量的に把握することができる。
【発明を実施するための最良の形態】
【００１０】
以下に、本発明の実施の形態について図面を参照しながら説明する。
（実施の形態１）
本実施の形態１は、商品関心度計測装置の単純な適用例として、マネキンディスプレイに対する商品関心度を計測する場合を一例として説明する。
【００１１】
図１は、デパート等の店内Ｓに衣料品（商品）をマネキンＭに着せてこれを通路Ｔに面して展示したマネキンディスプレイを行っている場所を、カメラ（撮像装置）９によって上方から常時撮像している撮像画像１を示している。そして、実施の形態１の商品関心度計測装置２は、当該マネキンＭに着せた商品の衣料品に対してこの通路Ｔを通行する買い物客がどの程度の関心度合いを示すかを計測するものである。
【００１２】
なお、図１中、Ａは、撮像画像１内に設定される関心計測領域であり、ｈは、上記通路Ｔを通行する買い物客の人物画像であり、Ｇは、人物画像ｈの仮想重心点であり、Ｒ１は、この人物画像ｈが関心計測領域Ａ内に一定時間（例えば、１０秒間）以上滞在していたときの人の挙動を示す移動軌跡であり、Ｒ２は、人物画像ｈが関心計測領域Ａ内に上記一定時間以上も滞在していなかったときの人の挙動を示す移動軌跡である。
【００１３】
図２は、商品関心度計測装置２の構成図を示し、この商品関心度計測装置２は、カメラ９、操作手段７、画像処理装置３、関心度合い判別装置４、関心度合い別データ記憶装置５、データ加工処理装置６、出力装置８によって構成される。
【００１４】
カメラ９は、例えば、１台のＣＣＤカメラ等で構成され、上方から商品と商品近傍の床面が見える角度で天井や壁面に設置されて商品の展示場所を上方から常時撮像し、その撮像画像１を連続的に画像処理装置３に送る。カメラ９を床面が映る角度に設置することで、人物画像ｈの移動軌跡Ｒを表示したときにその進路を把握しやすい情報が得られる。天井が低い場合などは、人物画像ｈの移動軌跡Ｒの範囲が狭まるため、広角レンズを装着したカメラ９を使用し、その撮影範囲を広げるようにしてもよい。
【００１５】
操作手段７は、例えば、キーボード、マウス等の入力装置で構成され、この操作手段７によって、画像処理装置３に対してカメラ９で撮像する撮像画像１上に関心計測領域Ａが設定される。また、この操作手段７は、関心度合い判別装置４に対して関心度の判別基準を設定したり、データ加工処理装置６に対して所定のデータ加工を実行させて出力装置８に出力させる指示をしたりする。
【００１６】
上記関心計測領域Ａは、実空間の商品の外周部から当該商品の至近距離の範囲内に設定される。商品の至近距離の範囲内とは、人が商品をのぞき込み、又は商品に触れ、あるいは、商品のにおいを嗅ぐなどの５感によって、商品からの情報を収集する行為を行うときに、当該商品に接近する程度の至近距離の範囲内である。例えば、上記マネキンＭに着せて衣料品を展示している場合は、衣類の特定の部分を凝視したり、生地に触れて確かめる等のときに接近する至近距離であり、例えば、マネキンＭの外周部から５０ｃｍ〜６０ｃｍ以内の範囲内である。また、食料品の場合は、食料品の鮮度を目視で確かめようとして接近し、あるいは商品表示等を確かめようとして接近する至近距離であり、例えば、展示棚の縁から３０ｃｍ程度以内の範囲内である。さらに、電化製品の場合は、電化製品を目視で確かめようとして接近し、あるいは触れて操作等しようとして接近する至近距離であり、例えば、展示棚の縁から３０ｃｍ程度以内の範囲内である。
【００１７】
画像処理装置３は、上記撮像画像１上で個々の人を認識し、当該人物の仮想重心点Ｇの移動を追跡し、上記関心計測領域Ａでの当該仮想重心点Ｇの挙動を分析するものである。この画像処理装置３は、人認識手段３１、滞在時間計測手段３２により構成される。
【００１８】
人認識手段３１は、上記撮像画像１において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各ピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像の仮想重心点Ｇを捉えるとともに、当該仮想重心点Ｇを経時的に追跡するいわゆるベクトル焦点法による画像処理技術（特許第３４０６５８７号、特許第３３９０４２６号）を備える手段である。
【００１９】
上記ベクトル焦点法の画像処理としては、まず、図５に示すように、撮像画像１内の物体像Ｂと背景像Ｗとの濃度差を利用して、撮像画像１上で等間隔に配置した各処理点Ｐについてその処理点Ｐを中心点とする円１１の円周上での各画素ｄ１〜ｄ１２のピクセル値に対し、下記式（１）に示す基本波フーリエ変換を実行していく（円形フーリエ法）。なお、基本波とは、上記処理点Ｐを中心点とする円周の１周期分の長さとなる正弦波および余弦波を意味する。
【００２０】
【数１】
2009037459.tif 000003
（式（１）中、ＳＶは画素のピクセル値にフーリエ変換の正弦波を積和した積和値、ＣＶは画素のピクセル値にフーリエ変換の余弦波を積和した積和値、ＡＴＡＮはアークタンジェント、ｓｉｔａはフーリエ変換で得られる位相値を示す。）
【００２１】
このフーリエ変換で得られる位相が、円周内に存在する画像の濃淡方向を示し、その中心点の処理点Ｐの画素における画像の濃淡方向となる。すなわち、この濃淡方向は、２次元の撮像画像１での物体Ｂとその周囲の背景Ｗとの境界、すなわち物体Ｂの輪郭部に対する法線ベクトルとして認識される。
【００２２】
例えば、図６（ａ）に示すように円１１が物体Ｂにかかった状態のとき、所定の基準位置から反時計方向に回転させて円形にフーリエ変換を実行し、正弦波および余弦波に円周上の各画素のピクセル値を積算すると、図６（ｂ）に示すように、９０度付近で波形のピークが現れる。その結果、上記の円形フーリエ法で得られた位相がちょうど物体Ｂの輪郭部に対する法線方向を示すものとなる。なお、図６（ｂ）において、ｓｉｎは正弦波、ｃｏｓは余弦波、ｓ・ｐは正弦波とピクセル値とを積算した波形、ｃ・ｐは余弦波とピクセル値とを積算した波形を示している。
【００２３】
但し、上記の円周内には物体像Ｂの輪郭部が入っておらず、円周内の画像がほとんど均一な濃度分布のところを除くため、下記式（２）に示す、前記ＳＶおよび前記ＣＶの二乗和の平方根の値（ｐｏｗ）が一定値以下のときはこの処理点Ｐには濃淡が無いとして扱う。
【００２４】
【数２】
2009037459.tif 000004
【００２５】
そして、人物画像ｈの抽出を行うには、図７（ａ）に示すように、まず、撮像画像１上の任意の配置点Ｑを基準に標準人型像ｏを配置し、上記円形フーリエ法により標準人型像ｏの輪郭部における法線ベクトル群ｂを求め、配置点Ｑから法線ベクトル群ｂまでの位置情報と法線ベクトル群ｂの角度情報を、当該配置点Ｑの標準データとして記憶する。
【００２６】
次に、図７（ｂ）に示すように、監視時に移動する人物画像ｈが映された撮像画像１に対して上記円形フーリエ法により人物画像ｈの輪郭部における法線ベクトル群ｂ’を求め、上記標準データに基づいてこれら法線ベクトル群ｂ’から上記配置点Ｑに相当する複数の正解点を求め、これら正解点が集まった所謂ベクトル焦点Ｇが一定値以上であれば、その人物画像ｈは人であると認識する。このベクトル焦点Ｇが、上記人の仮想重心点Ｇとなり、この重心点Ｇをカメラ９から送られてくる撮像画像１毎に追跡して行く。
【００２７】
なお、本実施の形態１では、上記仮想重心点Ｇは、好ましくは、人物画像ｈの前部（前身ごろ）、あるいは頭部中心等に配置される。これにより、人物画像ｈの関心計測領域Ａ内への進入、退出を確実に捉えることができ、関心度計測の信頼性を向上することができる。
【００２８】
以上のベクトル焦点法による画像処理技術によれば、カメラ９から送られてくる撮像画像１を連続的に処理し、処理毎に人物画像ｈをベクトル焦点という仮想重心点Ｇで規定することができ、この仮想重心点Ｇの移動を追跡することができ、さらに、この追跡により仮想重心点Ｇの瞬間移動速度を計測することができるという特性を備えている。
【００２９】
従って、上記人認識手段３１によれば、撮像画像１に現われる個々の人物を一人ひとり認識することができ、例えば、肩を組んでいる２人について、その個々人をそれぞれ一人ひとりに区別して認識し、それぞれの仮想重心点Ｇを認識することができる。そして、人認識手段３１は、当該人物画像ｈの仮想重心点Ｇの移動を、人物画像ｈの仮想重心点Ｇが撮像画像１内に現われてから撮像画像１外に消えるまで追跡線（移動軌跡）を描いて追跡し、記録する。
【００３０】
滞在時間計測手段３２は、人認識手段３１で特定する人物画像ｈの仮想重心点Ｇが関心計測領域Ａ内に進入してから関心計測領域Ａ外へ退出するまでの滞在時間を計測し、記録する。
そして、人認識手段３１で特定する人物画像ｈの仮想重心点Ｇが関心計測領域Ａ外へ出た時点、あるいは撮像画像１外に消えた時点で、上記の人認識手段３１、滞在時間計測手段３２でそれぞれ記録した情報が関心度合い判別装置４に出力される。
【００３１】
関心度合い判別装置４は、上記画像処理装置３から入力される滞在時間より、判別基準に基づいて、上記人物の上記商品に対する関心度合いを数段階に評価し、当該関心度合いを段階別に分別するものである。関心度合い判別装置４は、関心度合い判別手段４１、関心度合いパラメータ４２により構成される。
【００３２】
関心度合いパラメータ４２には、上記判別基準が登録されている。この判別基準は、関心度合いの程度を数段階のレベルに区別するためのものであり、各段階のレベルに応じた基準値が設定される。そして、この判別基準は、上記滞在時間と対比するための時間基準とする。この時間基準は、図８のテーブルに示すように、例えば、関心度合いを低い順に４段階で評価するときは、レベル０が０秒〜９秒、レベル１が１０秒〜２９秒、レベル２が３０秒〜５９秒、レベル３が６０秒以上等のように設定される。
【００３３】
なお、展示された商品の種類、大きさなどにより、関心を示す人物の商品に対する近づき加減、注視時間の程度が異なるから、判別基準をどのように設定するかは、対象とする商品の種類、大きさ、展示環境の如何などに応じて、買い物客の挙動を勘案して適宜決められるべきことである。
【００３４】
そして、関心度合い判別手段４１は、画像処理装置３から入力された滞在時間を、上記関心度合いパラメータ４２に設定された上記判別基準と対比して、個々の人物の関心度合いを数段階のレベルのいずれかにレベル分けする。
【００３５】
関心度合い別データ記憶装置５は、上記関心度合い判別装置４による関心度合い別データを登録するものである。この関心度合い別データ記憶装置５は、例えば、図９に示すように、日時及び時刻毎に、関心度、人数、総関心時間別の表形式のデータ構造にすることができる。そして、関心度合い別データ記憶装置５には、上記関心度合い判別装置４で判別された関心度合いに対応する図９の表中の関心度の該当レベルに、人数を１加算し、総関心時間に滞在時間を加算して、それぞれ累計値として記憶される。
【００３６】
データ加工処理装置６は、上記関心度合い別データ記憶装置５に登録された関心度合い別データを読み出し、これを加工するものである。このデータ加工処理装置６によって、上記関心度合い別データ記憶装置５に記憶しているデータが、出力装置８で出力するための所定の出力形式に加工され、例えば、特定の時間帯別の集計、あるいは１日単位の集計、表作成、グラフ作成がこれに当たる。
【００３７】
出力装置８は、上記データ加工処理装置６からの関心度情報を出力するものである。この出力装置８は、例えば、モニター、プリンター等で構成され、この出力装置８によって上記データ加工処理装置６で所定の出力形式に加工された商品関心度計測結果が出力される。例えば、この出力装置８は、図１０に示すような表、及びグラフとして出力される。
【００３８】
次に、この実施の形態１の商品関心度計測装置２によって、図１に示すマネキンディスプレイに対する商品関心度を計測する動作を説明する。
まず、操作手段７によって、画像処理装置３に対してカメラ９で撮像する撮像画像１上に関心計測領域Ａを設定すると共に、関心度合い判別装置４に対して関心度の判別基準を設定する。関心計測領域Ａとしては、図１に示すように、マネキンＭの外周部からこのマネキンＭに着せた商品に接触しうる至近距離（５０ｃｍ）の範囲内で、買い物客が接近可能なマネキンＭ前方の一定範囲が上記関心計測範囲となるように扇状に撮像画像１上に設定される。判別基準としては、時間基準が設定され、例えば、図８のテーブルに示すように４段階に設定され、レベル０には０秒〜９秒、レベル１には１０秒〜２９秒、レベル２には３０秒〜５９秒、レベル３には６０秒以上の時間基準がそれぞれ設定される。
以上の設定が完了すると、マネキンディスプレイに対する買い物客の当該商品の関心度度合いが次のようにして計測される。
【００３９】
図３に示す画像処理装置３の動作の流れ図を参照して、カメラ９から撮像画像１が画像処理装置３に連続的に入力されると（Ｓ１）、画像処理装置３では、撮像画像１内の人認識を行い、人の存在が認識されると、その人を仮想重心点Ｇで捉え（Ｓ２）、連続的に入力される撮像画像１上で当該仮想重心点Ｇを経時的に追跡する（Ｓ３）。なお、この人認識は、上述のとおりベクトル焦点法による画像処理技術が用いられる（図５〜図７を参照）。
そして、この仮想重心点Ｇが関心計測領域Ａ内に進入すると、仮想重心点Ｇが当該関心計測領域Ａに進入してから退出するまでの滞在時間を計測する（Ｓ４）。すなわち、実空間の人が商品を展示するマネキンＭに接近し、当該商品に注目している時間が計測される。
次いで、仮想重心点Ｇが関心計測領域Ａ外へ出て行った時点、すなわち、実空間の人が商品を展示するマネキンＭの至近距離から去った時点で、画像処理装置３は、計測した滞在時間を関心度合い判別装置４に出力する（Ｓ５）。
【００４０】
すると、この関心度合い判別装置４では、画像処理装置３から入力された滞在時間を判別基準としての時間基準と対比して、関心度レベルの判別を行う。すなわち、図４に示す関心度合い判別装置４の動作の流れ図を参照して、画像処理装置３から滞在時間が入力されると（Ｓ１０）、この滞在時間は、レベル０（０秒〜９秒）か、レベル１（１０秒〜２９秒）か、レベル２（３０秒〜５９秒）か、あるいはこれらに該当しないレベル３（６０秒以上）か、判別される（Ｓ１１〜Ｓ１３）。そして、関心度合い判別装置４は、関心度合い別データ記憶装置５に対して、判別した関心度の該当レベルに、人数を１加算し、総関心時間に上記滞在時間を加算して、それぞれ累計値として記憶させる（Ｓ１４〜Ｓ１７）。なお、関心度合い別データ記憶装置５は、上記滞在時間が計測された日時及び時刻に分けて記憶する。
【００４１】
以上の動作によってカメラ９から順次送られてくる撮像画像１を連続的に処理して関心度合いの計測が行われ、記録される。この関心度合い計測は、通常、マネキンディスプレイを行っている店舗の開店時間内に実施される。
そして、この関心度合い別データ記憶装置５に登録された関心度合い別データは、操作手段７を操作してデータ加工処理装置６によって所定の出力形式に加工され、出力装置８によって、図８に示すような表、グラフの形式で出力される。
【００４２】
以上のように、本実施の形態１による商品関心度計測装置２によれば、展示された商品に対して特別の関心を示したと推定される買い物客を特定し、この買物客の関心度合いを、商品の観察に費やしたと推定される時間の長さにより評価して、この評価結果を関心度合いの段階別に集計して計測データとするから、収集された関心度合い別データが客観化され、かつ定量化される。
すなわち、商品に対する買い物客の関心の有無だけでなく、関心度のレベルを多段階に判別するから、当該商品への関心の高さを容易に知ることができる。
したがって、この関心度合いの集計結果に対する信頼性が高く、また、この関心度合い別のデータを加工し、これを定量的に出力することができる。
それゆえ、個々の商品に対する買い物客全体の関心度合いの程度、その分布及びこれらの経時変化を客観的なデータにより定量的に把握することができる。
【００４３】
なお、上記関心度合いが高いと判別された買い物客の画像を記録して、これを後日の情報として利用することもできる。
また、関心度合いデータをどのように加工してどのような形態で表示するかは、商品の種類、客層などに応じて適宜工夫、選択されるべきことであり、関心度合い別の分布、径時変化、時刻別データなどの他に、関心度合い別割合で表示すること、あるいは、全買い物客数に対する割合で表示すること等は、全体の関心度合いの程度を分析し、把握する上で有効である。
【００４４】
（実施の形態２）
実施の形態２の商品関心度計測装置２は、上記実施の形態１をすべて含み、以下の点で相違するものである。
すなわち、この実施の形態２では、上記画像処理装置３に、仮想重心点Ｇの関心計測領域Ａ内での瞬間移動速度を計測する速度計測手段を設け、そして、上記関心度合い判別装置４は、関心度合いパラメータ４２に判別基準として上記瞬間移動速度と比較する速度基準を設け、この速度基準を遅い移動速度以下に設定し、上記瞬間移動速度がこの速度基準に当たるときに限り上記滞在時間の長短によって関心度を評価するように構成するものである。
【００４５】
上記速度計測手段は、人認識手段３１で特定する人物画像の仮想重心点Ｇが関心領域の計測領域内に位置している間の所定時間ごとの瞬間移動速度を計測し記録し、同仮想重心点Ｇの移動停止（ないしはほとんど停止）の有無を検知することができる。
また、関心度合いパラメータ４２の上記速度基準は、仮想重心点Ｇの平均移動速度ではなくて瞬間移動速度に対する基準であり、商品に対して特に注意を注いでいると推定されるときの移動速度以下、例えば、０．５ｍ／秒以下を規定する。
【００４６】
この実施の形態２によれば、仮想重心点Ｇで現す人の瞬間移動速度が速度基準に当るときに限り、関心計測領域Ａ、すなわち、商品の至近距離内に滞在していた滞在時間の長短によって関心度合いの程度が判別され、記録される。これにより、他の歩行者の回避行動等のためにたまたま当該商品に接近してしまった等の商品の関心行動とは無関係の人の挙動を排除することができる。したがって、この関心度合いの集計結果に対する信頼性が一層高くなる。
【００４７】
なお、上記速度基準を２段階（例えば、０．５ｍ／秒〜０．１ｍ／秒と、０．１ｍ／秒以下）などの多段階に規定してもよく、これによって、人の瞬間移動速度と滞在時間との組合せで、関心度合いの程度をより詳しく判別し分析することができる。
【００４８】
なお、本発明は、上記実施の形態のみに限定されず、各種の設計変更を施すことが可能である。
例えば、操作手段７、画像処理装置３、関心度合い判別装置４、関心度合い別データ記憶装置５、データ加工処理装置６、出力装置８は、それぞれ独立の専用ユニットで構成されてもよいし、また、これらの全部又は一部が一台のパーソナルコンピュータ等の汎用コンピュータによって構成されてもよい。
複数の商品を隣接して展示してあって、それぞれの商品についての関心度合いを計測する場合、上記関心計測領域Ａを個々の商品ごとに複数設定し、個々の商品ごとに関心度合いを計測するようにしてもよい。
関心計測領域Ａは、商品や商品を展示するマネキンＭ、陳列棚等の外形状に合わせて円形、四角形、多角形などの各種の形状に設定することができる。
買い物客個々人の関心度合いの程度を、滞在時間、又は滞在時間と移動速度に基づいて判別するほか、これに加えて、これら以外の他のデータ、例えば、買い物客の行動に関するデータ（進路方向等）をも考慮して判別することも可能である。
【図面の簡単な説明】
【００４９】
【図１】実施の形態１において、商品を展示するマネキンディスプレイの場所を上方から撮像した撮像画像を示す模式図である。
【図２】実施の形態１による商品関心度計測装置の構成を示すブロック図である。
【図３】実施の形態１による商品関心度計測装置の画像処理装置の動作を示す流れ図である。
【図４】実施の形態１による商品関心度計測装置の関心度合い判別装置の動作を示す流れ図である。
【図５】人認識の画像処理に際して用いられる円形フーリエ法を説明するための模式図である。
【図６】円形フーリエ法を実行することで画像の濃淡方向が示されることを説明するための図であり、同図（ａ）は人物画像の輪郭部に円形状に基本波フーリエ変換を実行する様子を示し、同図（ｂ）はその基本波フーリエ変換を実行したときの波形グラフを示す。
【図７】人認識の画像処理に際して用いられるベクトル焦点法を説明するための模式図であり、同図（ａ）は画像上に標準人型像を配置したときの様子を示し、同図（ｂ）は画像上に識別対象の人が映されているときの様子を示す。
【図８】実施の形態１の商品関心度計測装置における関心度合い判別装置の関心度合いパラメータを示す表である。
【図９】実施の形態１の商品関心度計測装置における関心度合い別データ記憶装置の関心度合い記憶データを示す表である。
【図１０】実施の形態１の商品関心度計測装置における出力装置の出力結果を示す表及びグラフである。
【符号の説明】
【００５０】
１  撮像画像
２  商品関心度計測装置
３  画像処理装置
４  関心度合い判別装置
５  関心度合い別データ記憶装置
６  データ加工処理装置
７  操作手段
８  出力装置
９  カメラ（撮像装置）
３１  人認識手段
３２  滞在時間計測手段
４１  関心度合い判別手段
４２  関心度合いパラメータ
Ａ  関心計測領域
ｈ  人物画像
Ｍ  マネキン
【図１】
2009037459.tif 000005
【図２】
2009037459.tif 000006
【図３】
2009037459.tif 000007
【図４】
2009037459.tif 000008
【図５】
2009037459.tif 000009
【図６】
2009037459.tif 000010
【図７】
2009037459.tif 000011
【図８】
2009037459.tif 000012
【図９】
2009037459.tif 000013
【図１０】
2009037459.tif 000014
【手続補正書】
【提出日】平成20年7月1日(2008.7.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
商品を配置する領域を一つのカメラで上方から常時撮像している撮像装置の撮像画像に基づいて、当該商品に対する買い物客の関心度合いを計測する商品関心度計測装置であって、 
上記撮像画像上で個々の人を認識し、当該人の仮想重心点の移動を追跡し、上記商品の至近距離の範囲内として設定された関心計測領域内での当該仮想重心点の滞在時間を計測するものであって、上記撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含む画像処理装置と、
上記画像処理装置からの滞在時間より、判別基準に基づいて、上記人の上記商品に対する関心度を数段階に評価し、当該関心度を段階別に分別する関心度合い判別装置と、
上記関心度合い判別装置による関心度合い別データを登録する関心度合い別データ記憶装置と、
上記関心度合い別データ記憶装置に登録された関心度合い別データを読み出し、これを加工するデータ加工処理装置と、
上記データ加工処理装置からの関心度情報を出力する出力装置とを備え、
上記関心度合い判別装置における判別基準は、上記滞在時間と比較する時間基準であり、この時間基準を関心度が高い程、長くなるように多段階に設定されている商品関心度計測装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
関心度合いについての評価が客観化されれば、複数の商品展示箇所での関心度合いのデータを共通化することができ、またデータを共有することができるので、その利用価値が高く、利用性が高くなる。したがって、商品に対する買い物客の関心度を客観的に観察し、評価結果が客観化されることが求められる。
【特許文献１】特許第３８００２５７号公報
【特許文献２】特許第３４０６５８７号公報
【特許文献３】特許第３３９０４２６号公報
【特許文献４】特表２００５−５０１３４８号公報
【特許文献５】特開２００６−８５３６６号公報
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記課題を解決するためのこの発明の手段は、商品の近傍を一つのカメラで上方から常時撮影している撮像装置の撮像画像に基づいて、当該商品に対する買い物客の関心度合いを計測する商品関心度計測装置について、次の（イ）〜（ト）によるものである。 
（イ）上記撮像画像上で個々の人を認識し、当該人の仮想重心点の移動を追跡し、上記商品の至近距離の範囲内として設定された関心計測領域内での当該仮想重心点の滞在時間を計測する画像処理装置を有すること、 
（ロ）上記画像処理装置は、上記撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含む画像処理装置であること、
（ハ）上記画像処理装置からの滞在時間より、判別基準に基づいて、上記人の上記商品に対する関心度を数段階に評価し、当該関心度を段階別に分別する関心度合い判別装置と、（ニ）上記関心度合い判別装置による関心度合い別データを登録する関心度合い別データ記憶装置を有すること、 
（ホ）上記関心度合い別データ記憶装置に登録された関心度合い別データを読み出し、これを加工するデータ加工処理装置を有すること、 
（ヘ）上記データ加工処理装置からの関心度情報を出力する出力装置を有すること、 
（ト）上記関心度合い判別装置における判別基準は、上記滞在時間と比較する時間基準であり、この時間基準を関心度が高い程、長くなるように多段階に設定されていること。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記商品関心度計測領域は、人が当該商品の情報を収集する行為を行うときに当該人が当該商品に接近する距離の範囲である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
上記速度計測手段は、人認識手段３１で特定する人物画像の仮想重心点Ｇが関心領域の計測領域内に位置している間の所定時間ごとの瞬間移動速度を計測し記録し、同仮想重心点Ｇの移動停止（ないしはほとんど停止）の有無を検知することができる。
また、関心度合いパラメータ４２の上記速度基準は、仮想重心点Ｇの平均移動速度ではなくて瞬間移動速度に対する基準であり、商品に対して特に注意を注いでいると推定されるときの移動速度以下を規定する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
なお、上記速度基準を２段階などの多段階に規定してもよく、これによって、人の瞬間移動速度と滞在時間との組合せで、関心度合いの程度をより詳しく判別し分析することができる。
【手続補正書】
【提出日】平成20年9月17日(2008.9.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
商品を配置する領域を一つのカメラで上方から常時撮像している撮像装置の撮像画像に基づいて、当該商品に対する買い物客の関心度合いを計測する商品関心度計測装置であって、
上記撮像画像上で個々の人を認識し、当該人の仮想重心点の移動を追跡し、上記商品の至近距離の範囲内として設定された関心計測領域内での当該仮想重心点の滞在時間を計測するものであって、上記撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像をベクトル焦点法による上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含む画像処理装置と、
上記画像処理装置からの滞在時間より、判別基準に基づいて、上記人の上記商品に対する関心度を数段階に評価し、当該関心度を段階別に分別する関心度合い判別装置と、
上記関心度合い判別装置による関心度合い別データを登録する関心度合い別データ記憶装置と、
上記関心度合い別データ記憶装置に登録された関心度合い別データを読み出し、これを加工するデータ加工処理装置と、
上記データ加工処理装置からの関心度情報を出力する出力装置とを備え、
上記関心度合い判別装置における判別基準は、上記滞在時間と比較する時間基準であり、この時間基準を関心度が高いほど、長くなるように多段階に設定されている商品関心度計測装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記課題を解決するための手段は、商品の近傍を一つのカメラで上方から常時撮像している撮像装置の撮像画像に基づいて、当該商品に対する買い物客の関心度合いを計測する商品関心度計測装置について、次の（イ）〜（ト）によるものである。
（イ）上記撮像画像上で個々の人を認識し、当該人の仮想重心点の移動を追跡し、上記商品の至近距離の範囲内として設定された関心計測領域内での当該仮想重心点の滞在時間を計測する画像処理装置を有すること、
（ロ）上記画像処理装置は、上記撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像をベクトル焦点法による上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含む画像処理装置であること、
（ハ）上記画像処理装置からの滞在時間より、判別基準に基づいて、上記人の上記商品に対する関心度を数段階に評価し、当該関心度を段階別に分別する関心度合い判別装置と、
（ニ）上記関心度合い判別装置による関心度合い別データを登録する関心度合い別データ記憶装置を有すること、
（ホ）上記関心度合い別データ記憶装置に登録された関心度合い別データを読み出し、これを加工するデータ加工処理装置を有すること、
（ヘ）上記データ加工処理装置からの関心度情報を出力する出力装置を有すること、
（ト）上記関心度合い判別装置における判別基準は、上記滞在時間と比較する時間基準であり、この時間基準を関心度が高いほど、長くなるように多段階に設定されていること。