(57)【要約】展示された製品(202)への関心を自動的に評価するのための方法が提供される。本方法は、前記展示された製品の所定の近接範囲内の画像データを取り込むステップと、前記取り込まれた画像データ内の人々を識別するステップと、前記識別された人々に基づいて前記展示された製品への関心を評価するステップとを含む。第1の実施例においては、前記識別ステップは、前記取り込まれた画像データ内の人々の数を識別し、前記評価ステップは、前記識別された人々の前記数に基づいて前記展示された製品への関心を評価する。第2の実施例においては、前記識別ステップは、前記取り込まれた画像データ内の人々の挙動を認識し、前記評価ステップは、前記人々の前記認識された挙動に基づいて前記展示された製品への関心を評価する。本方法は、更に、前記識別された人々の少なくとも1つの特性を認識するステップを含むことができる。
2005501348.tif 000002
【特許請求の範囲】
【請求項１】
展示された製品への関心を自動的に評価するための方法において、
前記展示された製品の所定の近接範囲内の画像データを取り込むステップと、
前記取り込まれた画像データ内の人々を識別するステップと、
前記識別された人々に基づいて前記展示された製品への関心を評価するステップと、
を有する方法。
【請求項２】
請求項1に記載の方法において、前記識別ステップは、前記取り込まれた画像データ内の人々の数を識別し、前記評価ステップは、前記識別された人々の前記数に基づいて前記展示された製品への関心を評価する、方法。
【請求項３】
請求項1に記載の方法において、前記識別ステップは、前記取り込まれた画像データ内の人々の挙動を認識し、前記評価ステップは、前記人々の前記認識された挙動に基づいて前記展示された製品への関心を評価する、方法。
【請求項４】
請求項3に記載の方法において、前記認識された挙動は、前記展示された製品の前記所定の近接範囲で費やされた平均時間と、前記展示された製品を見ていた平均時間と、前記展示された製品に触れていた平均時間と、前記識別された人々の表情とのうちの少なくとも1つである、方法。
【請求項５】
請求項1に記載の方法において、前記取り込まれた画像データ内の前記識別された人々の少なくとも1つの特性を認識するステップを更に有する方法。
【請求項６】
展示された製品への関心を評価するための装置において、
前記展示された製品の所定の近接範囲内の画像データを取り込むための少なくとも1つのカメラと、
前記取り込まれた画像データ内の人々を識別するための識別手段と、
前記識別された人々に基づいて前記展示された製品への関心を評価するための手段と、
を有する装置。
【請求項７】
請求項６に記載の装置において、前記識別手段は、前記取り込まれた画像データ内の人々の数を識別するための手段を有し、前記評価手段は、前記識別された人々の前記数に基づいて前記展示された製品への関心を評価する、装置。
【請求項８】
請求項６に記載の装置において、前記識別手段は、前記取り込まれた画像データ内の前記識別された人々の挙動を認識する手段を有し、前記評価手段は、前記認識された挙動に基づいて前記展示された製品への関心を評価する、装置。
【請求項９】
請求項６に記載の装置において、前記取り込まれた画像データ内の前記識別された人々の少なくとも1つの特性を認識するための認識手段を更に有する装置。
【請求項１０】
展示された製品への関心を自動的に評価するコンピュータ可読の媒体に組み込まれたコンピュータプログラムにおいて、
前記展示された製品の所定の近接範囲内の画像データを取り込むためのコンピュータ可読プログラムコード手段と、
前記取り込まれた画像データ内の人々を識別するためのコンピュータ可読プログラムコード手段と、
前記識別された人々に基づいて前記展示された製品への関心を評価するためのコンピュータ可読プログラムコード手段と、
を有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、コンピュータビジョンシステム及び他のセンサ技術に関し、より詳細には、展示された製品への関心をコンピュータビジョン及び他のセンサ技術を通じて自動的に評価するための方法及び装置に関する。
【背景技術】
【０００２】
従来技術において、展示された製品への関心を評価するための幾つかの方法が知られている。しかし、既知の方法は、全て、手動で実行される。例えば、展示された製品の近くでアンケートカードが入手可能であり、通行人がこれを取って記入することができる。代わりに、店員又は販売員が、展示された製品に関する一連の質問を人々にすることによって、展示された製品への人々の関心を募ることができる。しかし、いずれの方法でも、これらの人々は進んで質問に参加しなければならない。自発的であっても、手動の質問は、終わらせるのに時間がかかり、多くの場合、人々が費やそうとしている時間よりも長く掛かる。更に、手動の質問は、参加している人々の正直さに依存する。
【０００３】
加えて、展示された製品の製造業者及び販売業者は、多くの場合、性別及び人種等の特性といった、参加者に対して明らかにしたくないような情報も欲する。この種の情報は、製造業者及び販売業者にとって、自分の製品をマーケティングするのに非常に有用になり得る。しかし、製造業者は、参加者がそのような情報を供給したくない、又は、そのような質問によって不快感を覚えると理解しているため、製造業者及び販売業者は、製品アンケートでこのような質問をしない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、本発明の目的は、このような評価に参加することへの参加者の関心に関係なく、展示された製品への関心を自動的に評価するための方法及び装置を提供することである。
【０００５】
本発明の他の目的は、評価に参加する人々の時間を全く取ることのないような、展示された製品への関心を自動的に評価するための方法及び装置を提供することである。
【０００６】
本発明の更に他の目的は、参加している人々の正直さには依存しないような、展示された製品への関心を自動的に評価するための方法及び装置を提供することである。
【０００７】
本発明の更に他の目的は、展示された製品に関心を持つ人々に関するセンシティブなマーケティング情報を、押し付けがましくなることなく収集する方法及び装置を提供することである。
【課題を解決するための手段】
【０００８】
これに応じて、展示された製品への関心を評価するための方法が提供される。本方法は、一般に、前記展示された製品の所定の近接範囲内の画像データを取り込むステップと、前記取り込まれた画像データ内の人々を識別するステップと、前記識別された人々に基づいて前記展示された製品への関心を評価するステップとを有する。
【０００９】
本発明の方法の第1の実施例において、前記識別ステップは、前記取り込まれた画像データ内の人々の数を識別し、前記評価ステップは、前記識別された人々の数に基づいて前記展示された製品への関心を評価する。
【００１０】
好適には、本発明の方法は、前記取り込まれた画像データ内の前記識別された人々の少なくとも1つの特性を認識するステップを更に有する。このような特性は、好適には性別及び人種分類を含む。
【００１１】
また、展示された製品への関心を自動的に評価するための装置が提供される。この装置は、前記展示された製品の所定の近接範囲内の画像データを取り込むための少なくとも1つのカメラと、前記取り込まれた画像データ内の人々を識別するための識別手段と、前記識別された人々に基づいて前記展示された製品への関心を評価するための手段とを有する。
【００１２】
第1の実施例において、前記識別手段は、前記取り込まれた画像データ内の人々の数を識別するための手段を有し、前記評価手段は、前記識別された人々の前記数に基づいて前記展示された製品への関心を評価する。
【００１３】
第2の実施例において、前記識別手段は、前記取り込まれた画像データ内の前記識別された人々の挙動を認識する手段を有し、前記評価手段は、前記認識された挙動に基づいて前記展示された製品への関心を評価する。
【００１４】
好適には、前記装置は、前記取り込まれた画像データ内の識別された人々の少なくとも1つの特性を認識するための認識手段を更に有する。
【００１５】
更に他には、本発明の方法を実行するためのコンピュータプログラムが提供される。
【発明を実施するための最良の形態】
【００１６】
本発明の装置及び方法のこれらの及び他の特徴、側面及び利点は、以下の説明、添付の請求項及び添付の図面を参照してよりよく理解されるであろう。
【００１７】
まず図1を参照すると、展示された製品への関心を自動的に評価する方法の好適な実現例を示すフローチャートが示されており、この方法は、一般に参照番号100として参照される。ステップ102で、展示された製品の所定の近接範囲内の画像データが取り込まれる。ステップ104で、取り込まれた画像データ内の人々が識別される。
【００１８】
取り込まれた画像データ内で人々が識別された後、ステップ106で、この識別された人々に基づいて、展示された製品への関心が評価される。本発明の方法100の第1の好適な実現例において、識別ステップ104は、取り込まれた画像データ内の人々の数を識別するステップ(ステップ104aと示される)を有する。この場合、評価ステップ106は、識別された人々の数に基づいて、展示された製品への関心を評価する。本発明の方法100の第2の好適な実現例において、識別ステップ104は、取り込まれた画像データ内の人々の挙動を認識するステップ(ステップ104bと示される)を有する。この場合、評価ステップ106は、人々の認識された挙動に基づいて、展示された製品への関心を評価する。
【００１９】
代わりに、ステップ108で、本発明の方法100は、また、取り込まれた画像データ内の識別された人々の少なくとも1つの特性を認識することもできる。ステップ110で、これらの認識された特性を用いて、展示された製品又は製品種にこれら特性が関連しているデータベースを構築することが可能である。ステップ108及び110は、図1のフローチャートに示される他の方法ステップの代替物であって、他のステップとは独立して実行することもできる。但し、展示された製品の所定の近接範囲内の画像データが取り込まれ、その範囲内の人々が識別されるステップ102及び104は例外である。
【００２０】
図2をここで参照すると、展示された製品への関心を自動的に評価する方法の代替実現例を示すフローチャートが示されており、この方法は、一般に参照番号150として参照される。方法150は、ステップ152で、展示された製品の所定の近接範囲内の人々の言葉を認識するステップを含む。その後、ステップ156で、認識された音声に基づいて、展示された製品への関心の評価が実行される。好適には、ステップ154で、認識された音声は、データベースエントリと比較され、これらエントリは、対応する関心の程度の指示を有している。
【００２１】
ここで、本発明の方法100を実行する装置が、図3を参照して説明される。図3は、展示された製品への関心を自動的に評価する装置の好適な実現例を示しており、この装置は、一般に参照番号200として参照される。図3で、展示された製品202は、壁に支えられている積み重なった製品の半角錐として示されている。しかし、展示された製品202は、例示としてこのような構成で示されているに過ぎず、本発明の範囲又は精神を制限するものではない。例えば、展示された製品202は、如何なる形に積み重ねられていてもよく、支えなしで積み重ねられていてもよく、又は、棚若しくは台に展示されていてもよい。
【００２２】
装置200は、展示された製品の所定の近接範囲内の画像データを取り込むための少なくとも1つのカメラ204を含む。カメラ204という用語は、あらゆる画像取り込み装置を意味することが意図される。カメラ204は、スチルカメラであってもよく、又は、パン、ティルト及びズーム(PTZ)機能を有することができる。更に、カメラ204はビデオ画像データ又は一連の静止画像データフレームを取り込むことができる。展示された製品202が一方の側からアクセス可能である状況においては、展示された製品202に近づいている又はこれを見ている全ての人々が画像データに取り込まれるような充分な視野(FOV)には、一般的に1つのカメラ204しか必要でない。しかし、一部の製品展示の構成、例えば支えなしで立っている角錐又は塔は、複数のカメラ204を必要とし得る。このような場合に、1つ以上の画像データ取り込み装置からの画像データ間の重なりを除外又は無視するのに画像データを如何に処理するかは、当該技術分野において良く知られている。
【００２３】
画像データが取り込まれる所定の近接範囲206は、幾つの手段でも決定可能である。好適には、所定の近接範囲206はカメラ204のFOVとして決定される。しかし、所定の近接範囲206を決定するのに他の手段が提供されてもよい。例えば、展示された製品202の周辺の領域を「マッピングする」のに光センサ(示されない)が用いられることができる。
【００２４】
装置200は、更に、取り込まれた画像データ内の人々を識別するための識別モジュール208を含む。好適には、取り込まれた画像データは、中央処理装置(CPU)210を通じて識別モジュール208に入力されるが、識別モジュール208に直接入力されてもよい。取り込まれた画像データは、画像内の人々を「即座に(on the fly)」識別するようにリアルタイムで分析されることもでき、又は、CPUに動作的に接続されたメモリ212にまず記憶されることができる。取り込まれた画像データがアナログデータである場合、このデータはまず、アナログ−デジタル(A/D)コンバータ214を通じてデジタル化されなければならない。当然、取り込まれた画像データがデジタルデータである場合にはA/Dコンバータ214は必要ない。
【００２５】
人間を識別するための識別手段は、等技術分野でよく知られており、通常、歩調等の人間に固有な特徴を認識する。そのような識別手段の1つは、Journal of Computer Vision Research, Vol. 1(2), pp. 1-32, Winter, 1998のJ. J. Little及びJ. E. Boydによる「Recognizing People by their Gait: The Shape of Motion」に開示されている。
【００２６】
装置200は、取り込まれた画像データ内の識別された人々に基づいて展示された製品への関心202を評価するための手段を更に含む。取り込まれた画像データ内の(即ち、所定の近接範囲内の)人々の識別に基づいてこのような評価をするのに、多くの異なった基準が用いられることができる。
【００２７】
第1の好適な実施例において、識別手段208は、取り込まれた画像データ内の人々の数を識別するための手段を有する。この場合、評価手段は、識別された人々の数に基づいて展示された製品への関心202を評価する。このような実現例において、各人の識別の際に、カウンタがインクリメントされ、好適にはこの数が、メモリ212等のメモリに記憶される。評価手段は、好適にはCPU 210によって提供され、これに前記の数が入力され、関心の指示を出力するように処理される。最も単純な処理において、CPU210は、単に、経過時間あたり識別された人々の合計数を出力する。第1の実現例の背後にある考えは、展示された製品の近くにより多くの人々がいるほど、製品への関心がより高いはずであるということである。
【００２８】
第2の好適な実施例においては、上記第1の実施例の明らかな欠陥が対処される。例えば、上述の第1の実現例においては、所定の近接範囲内にいると識別される人々は、展示された製品202に関心を持っているはずであり、単に「通過」しているわけではないと仮定されている。よって、本発明の方法100の第2の好適な実施例においては、識別モジュール208は、取り込まれた画像データ内の識別された人々の挙動を認識するための挙動認識モジュール216を有する。この場合、評価手段は、展示された製品202への関心を、認識された挙動に全体的に又は部分的に基づいて評価する。
【００２９】
例えば、挙動認識モジュール216は、展示された製品202の所定の近接範囲206内で費やされる平均時間を認識することができる。従って、単に「通過」している人々は、展示された製品202への関心を決定する際に除外される又は異なった重み付けをされることができる。例えば、所定の近接範囲206の距離及び人間の平均歩行速度が与えられたら、この所定の近接範囲206を横断する平均時間が計算可能である。識別された人々で、計算された平均時間よりも長い時間を所定の近接範囲206内において費やす人々は、関心の評価において除外されるか又は低く重み付けされる。CPU 210は、また、適当な命令及び入力を与えられれば、このような評価をすることができる。
【００３０】
挙動の他の例として、挙動認識モジュール216は、展示された製品202を見ている平均の時間を認識することができる。識別された人々の「顔・頭のポーズ(facial head pose)」を認識する認識手段は、当技術分野で良く知られており、例えば、IEEE Transactions on Neural Networks, Vol. 11(4), pp. 948-960, July 2000のS. Gutta, J. Huang, P. J. Phillips及びH. Wechslerによる「Mixture of Experts for Classification of Gender, Ethnic Origin and Pose of Human Faces」に開示されている。
【００３１】
このような場合、取り込まれた画像データ内で識別される人々であって所定の近接範囲にいる間に製品を見ない人々は、展示された製品202への関心の評価の際に、除外又は低い重み付けをされる。更に、展示された製品202を見ている時間の長さは、製品への関心の評価をする際の重み係数として用いられることができる。この例の背後にある考えは、展示された製品202を充分な時間見る人々は、該製品を短時間見るに過ぎない人々又は該製品を全く見ない人々よりも該製品に関心があるというものである。上記のように、CPU210は、適切な命令及び入力を与えられれば、このような評価をすることも可能である。
【００３２】
挙動認識モジュール216により認識可能であり製品への関心の評価をするのに用いられることが可能な挙動の更に他の例は、展示された製品202に触れている平均時間である。識別された人々が他の識別された物体(即ち展示された製品)に触れているのを認識するための認識システムは、当技術分野において周知であり、例えば「接続された部品分析」を用いるものがある。このような場合、取り込まれた画像データ内で識別される人々であって製品に触れない人々は、展示された製品202への関心の評価の際に、除外又は低い重み付けをされる。
【００３３】
更に、展示された商品202に触れている(充分に長ければ製品を持っていると分類することも可能である)時間は、製品への関心の評価をする際の重み付け係数として用いられることが可能である。この例の背後にある考えは、実際に立ち止まって展示された製品202を充分な時間触る又は持つ人々は、製品に関心があるはずであるというものである。上記のように、CPU 210は、適切な命令及び入力を与えられれば、このような評価をすることも可能である。
【００３４】
挙動認識モジュール216により認識可能であり製品への関心の評価をするのに用いられることが可能な挙動の更に他の例は、取り込まれた画像データ内の識別された人々の顔の表情である。識別された人々の顔の表情を認識する認識システムは、当技術分野で良く知られており、例えば国際特許出願第02/37401号(整理番号PHUS000258)に開示されている。このような場合、特定の表情は、展示された製品202への関心の程度に対応することができる。例えば、驚きの表情は大きな関心に対応し、微笑は幾らかの関心に対応し、無表情はほとんど関心がないことに対応することができる。上記のように、CPU 210は、適切な命令及び入力を与えられれば、このような評価をすることも可能である。
【００３５】
図3は、展示された製品への関心を評価する代わりの実施例を示し、これは、上記の識別モジュール208及び挙動認識モジュール216と組み合わせて使用可能であり、又は、製品への関心を評価する単独の手段として使用可能である。好適には、装置200は、更に、少なくとも1つの適切に配置されたマイクロフォン222を通じて所定の近接範囲206内の人々の言葉を認識するための音声認識モジュール220を含む。ほとんどの場合には、単一のマイクロフォンで充分であるが、複数のマイクロフォンが用いられることもできる。音声認識においては、所定の近接範囲206は、好適には、少なくとも1つのマイクロフォン222のピックアップ範囲から決定される。好適には、認識された音声は、CPU 210によって、メモリ212内の知られた音声パターンのデータベースエントリと比較される。知られた音声パターンの各々は、好適には、該パターンと関連した関心の程度を持っている。認識された音声パターンがデータベースエントリにマッチする場合、対応する関心の程度が出力される。
【００３６】
製品への関心を評価するための手段は、上述のように非常に単純であってもよく、又は、幾つかの認識された挙動を用いて、各々に重み付け係数又は他の操作を割当てて製品への関心の最終評価を行うことにより複雑であってもよい。例えば、評価手段は、識別された人々の数、費やされた平均時間、製品を見ていた平均時間、製品を触っていた平均時間、評価の際の識別された人々の顔の表情、及び、知られた音声パターンの認識を用いることができ、前者から後者へ向かうにつれて増加する重みを割当てることができる。用いられる基準が何であれ、このとき評価手段は、製品への関心の指示を、非常に関心がある、関心がある、あまり関心がない、又はほとんど関心がない等として出力することができる。代わりに、評価手段は、例えば0〜100というスケールと比較可能な例えば90という数による指示を出力することができる。また、評価手段は、他の有名な製品への関心の指示と比較して用いられる指示を出力することができる。例えば、製品の以前のモデル又は類似した競業者のモデルの関心の指示が、展示された製品の関心の指示と比較可能である。
【００３７】
上記のように、本発明の方法は、取り込まれた画像データ内の識別された人々の少なくとも1つの特性を認識するための特性認識モジュール218により補うことができる。これも上述のように、取り込まれた画像データ内の識別された人々の特性の認識は、展示された製品202への関心を評価するシステムの一部ではなくて独立であってもよい。
【００３８】
特性認識モジュール218によって認識されることができる特性は、識別された取り込まれた画像データ内の人々の性別及び／又は人種分類を含む。他の特性は、更に、特性認識手段(髪の色、体型等)によって認識されることができる。このような特性の認識は、当技術分野で良く知られており、例えばIEEE Transactions on Neural Networks, Vol. 11(4), pp. 948-960, July 2000のS. Gutta, J. Huang, P. J. Phillips及びH. Wechslerによる「Mixture of Experts for Classification of Gender, Ethnic Origin and Pose of Human Faces」に開示されている。
【００３９】
上記のように、特性認識モジュール218からのデータは、データベースに集計されることができて、製造業者及び販売業者が自分の製品をマーケティングするのに用いられることができる。例えば、本発明の方法を通じて、ある人種の人々が展示された製品に興味を持つということが決定可能である。当該製品の製造業者及び／又は販売業者は、広告をその特定の人種に影響を及ぼすことができるように修正すると決定するか、又は、他の人種も関心を持つように広告を修正することができる。
【００４０】
識別認識モジュール208と同様に、挙動及び特性認識モジュール216、218は、取り込まれた画像データから直接に、又は、好適には、メモリ212に記憶された取り込まれた画像データへのアクセスを有するCPU 210を通じて、動作することができる。識別認識モジュール208、挙動認識モジュール216及び特性認識モジュール218は、また、自身用のプロセッサ及びメモリを有することができ、又は、これらをCPU 210及びメモリ212と共有してもよい。そのように図示してはいないが、CPU 210及びメモリ212は、好適には、ディスプレイ、入力手段及び出力手段を更に有しているコンピュータシステムの一部である。好適にはメモリ212は、本発明の方法100の、人々の識別、挙動認識及び特性認識を実行するためのプログラム命令を含む。
【００４１】
本発明の方法は、コンピュータソフトウェアプログラムによって実行されるのに特に適しており、このようなコンピュータソフトウェアプログラムは、好適には、本方法の個々のステップに対応するモジュールを含む。当然このようなソフトウェアは、コンピュータ可読の媒体(例えば集積チップ又は周辺機器)で実現されることができる。
【００４２】
本発明の好適な実施例と考えられるものが示され説明されたが、当然、形状又は詳細の種々の修正及び変化が、本発明の精神から逸脱することなく容易になされることができることが理解されるであろう。従って、本発明は、説明され図示された厳密な形に制限されるものではなく、添付の請求項の範囲に入る全ての変形例をカバーするように解釈されるべきである。
【図面の簡単な説明】
【００４３】
【図１】展示された製品への関心を評価するための本発明の方法の好適な実現例のフローチャートを示す。
【図２】展示された製品への関心を評価するための本発明の代替方法の好適な実現例のフローチャートを示す。
【図３】図1の好適な方法を実行するための装置の概略図を示す。
【国際公開パンフレット】
2005501348.tif 000003
2005501348.tif 000004
2005501348.tif 000005
2005501348.tif 000006
2005501348.tif 000007
2005501348.tif 000008
2005501348.tif 000009
2005501348.tif 000010
2005501348.tif 000011
2005501348.tif 000012
2005501348.tif 000013
2005501348.tif 000014
2005501348.tif 000015
2005501348.tif 000016
2005501348.tif 000017
【国際調査報告】
2005501348.tif 000018
2005501348.tif 000019
2005501348.tif 000020