(57)【要約】      （修正有）【課題】肌色情報に基づいて人間の顔を検出し、複数の顔を追跡する人流計測システムを提供する。【解決手段】第１時点における第１の顔情報を記録するステップと、カメラで前記第１時点の直後の第２時点に撮った影像に肌色区域の有無を判断するステップと、前記肌色区域が人間の顔であるかどうかを判断し、人間の顔と判断された場合に、正面顔または横顔かを判断して、判断の結果を仮の顔情報として記録するステップと、前記仮の顔情報と前記第１の顔情報との相似性を一対一に比較し、前記相似性が設定条件に達したら、前記第１の顔情報を前記仮の顔情報に更新され、前記相似性が設定条件に達せず、かつ、前記仮の顔情報が人間の顔と判断されると、前記仮の顔情報を、第２の顔情報として記録して前記第１の顔情報が遮蔽されたと判断するステップと、前記記録された顔によって、通過した人数を計測するステップとを含む。【選択図】図２
2010218550.tif 000002
【特許請求の範囲】
【請求項１】
人流計測システムであって、
第１時点における第１の顔情報を記録する物体追跡記録手段と、
カメラで前記第１時点の直後の第２時点に撮った影像に肌色区域があるかどうかを判断する肌色区域検出手段と、
前記肌色区域が人間の顔であるかどうかを判断し、人間の顔であると判断された場合に、正面顔または横顔かを判断して、判断の結果を仮の顔情報として記録する顔検出手段と、
前記仮の顔情報と前記第１の顔情報との相似性を１対１に比較し、前記相似性が所定条件に達した場合に、前記第１の顔情報を前記仮の顔情報に更新され、前記相似性が所定条件に達しなかった、かつ、前記仮の顔情報が人間の顔と判断された場合に、前記仮の顔情報を、第２の顔情報として物体追跡記録器に記録して前記第１の顔情報が遮蔽されたと判断する関連性比較手段と、
前記物体追跡記録手段に記録された顔によって、通過した人数を計測する計測手段と、
を含む人流計測システム。
【請求項２】
前記顔検出手段は、
前記仮の顔情報に含まれる表面特徴情報を記録する仮の顔情報表面特徴情報記録手段と、
前記仮の顔情報が正面顔であるかどうかを判断する正面顔判断手段と、
前記仮の顔情報が横顔であるかどうかを判断する横顔判断手段と、
を含む請求項１に記載の人流計測システム。
【請求項３】
前記物体追跡記録手段は、
人間の顔の表面特徴情報を記録する表面特徴情報記録手段と、
人間の顔が正面顔である数を計測する正面顔計測手段と、
人間の顔が横顔である数を計測する横顔計測手段と、
人間の顔と判断された仮の顔情報に標記する顔標記手段と、
人間の顔が遮蔽された数を計測する遮蔽計測手段と、
を含む請求項１に記載の人流計測システム。
【請求項４】
少なくとも、電子看板を含む請求項１に記載の人流計測システム。
【請求項５】
前記計測手段で計測した人数が前記電子看板に表示される請求項４に記載の人流計測システム。
【請求項６】
人流計測方法であって、
第１時点における第１の顔情報を記録するステップと、
カメラで前記第１時点の直後の第２時点に撮った影像に肌色区域があるかどうかを判断するステップと、
前記肌色区域が人間の顔であるかどうかを判断し、人間の顔であると判断された場合に、正面顔または横顔かを判断して、判断の結果を仮の顔情報として記録するステップと、
前記仮の顔情報と前記第１の顔情報との相似性を１対１に比較し、前記相似性が所定条件に達した場合に、前記第１の顔情報を前記仮の顔情報に更新され、前記相似性が所定条件に達しなかった、かつ、前記仮の顔情報が人間の顔と判断された場合に、前記仮の顔情報を、第２の顔情報として記録して前記第１の顔情報が遮蔽されたと判断するステップと、
前記記録された顔によって、通過した人数を計測するステップとを含む人流計測方法。
【請求項７】
前記仮の顔情報が同時に正面顔と横顔に判断された場合に、前記仮の顔情報が正面顔と認識する請求項６に記載の人流計測方法。
【請求項８】
人間の顔が遮蔽された数を計測するステップをさらに含み、
前記遮蔽された数が所定値を超えた場合に、前記第１の顔情報が前記カメラの撮影範囲から離れたと見なされる請求項６に記載の人流計測方法。
【請求項９】
前記仮の顔情報と前記第１の顔情報との相似性を１対１に比較するステップは、肌理、色、及びサイズの情報を含む表面特徴情報で比較する請求項６に記載の人流計測方法。
【請求項１０】
複数の異なる色の柱状グラフによって、広告の注目度を示す注目度柱状グラフと、
複数の異なる色によって、異なる時間帯に通過する人数を標記するラッシュ時間帯色彩標記と、
インタラクティブ型メディア伝言ボードと、
を含み、人数を表示する人流計測分析図を用いる請求項６に記載の人流計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人流計測システムに関し、特にカメラの撮影範囲を通過する人流を分析して計測する人流計測システムに関する。
【背景技術】
【０００２】
無線通信、コンピューター技術の進歩や、平面ディスプレイのコストの低減につれて、従来の広告看板の代わりに電子看板が使われるようになりつつある。このような電子看板は、駅や、空港、デパート、コンビニにおいて、公衆情報と商業広告のメディアとして使われており、広告市場にもたらす利益を無視できない存在になっている。
【０００３】
異なるメディアで広告を放送する場合、いろいろな方法で広告の視聴率が調査される。例えば、従来、クリックされる回数を計測してネット上の広告の視聴率を調査し、また、リモコンを操作されるときにデジカルテレビボックスを通じてテレビコマーシャルや番組の視聴率を調査する方法がある。また、アンケートや面談調査によってユーザーから商品に対する評価を調査する方法もある。しかしながら、アンケートや面談調査によって集められたサンプル数は調査員の数などに関係するため、コストと効果を考慮しなければならない。また、一般的に、人はじゃまされたくない傾向があって、アンケートで調査する場合に、調査員に邪魔されたりするので、アンケートの調査結果は多少に偏差がある。このため、視聴者に対して広告の好みを調査するには、調査員がいなく、一般の人にとってもっとも自然な状況で取ったデータは、外在的な要素の影響が低い、信頼性が高いと考えられる。
【０００４】
従来、出入り口の天井にカメラを設け、見下ろすように撮影し、独立で移動する物体を判断して通過する人数を計測する「出入り口の人流計測方法」が開示されている。しかしながら、この方法は、人間の顔を検出できないので、同時に広告を見ている人数の情報が取れない。また、他の従来技術において、人間の顔を検出できる装置によって、広告を見ている人数を計測する方法が開示されているが、所定の時間ごとに広告を見ている人数を計測する機能しかなく、更なる分析データを提供する機能がない。人流の計測だけでなく、異なる視聴者に対し、広告の好みを注目度によって分類して統計すれば、広告の効果を更に精確に見積もることができると考えられる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
そこで、本発明は、人流を分析し、広告の効果を評価することができ、肌色情報に基づいて人間の顔を検出し、複数の顔を追跡する人流計測システムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を達成するために、本発明に係る人流計測システムは、第１時点における第１の顔情報を記録する物体追跡記録手段と、カメラで前記第１時点の直後の第２時点に撮った影像に肌色区域があるかどうかを判断する肌色区域検出手段と、前記肌色区域が人間の顔であるかどうかを判断し、人間の顔であると判断された場合に、正面顔または横顔かを判断して、判断の結果を仮の顔情報として記録する顔検出手段と、前記仮の顔情報と前記第１の顔情報との相似性を１対１に比較し、前記相似性が所定条件に達した場合に、前記第１の顔情報を前記仮の顔情報に更新され、前記相似性が所定条件に達しなかった、かつ、前記仮の顔情報が人の顔と判断された場合に、前記仮の顔情報を、第２の顔情報として物体追跡記録器に記録して前記第１の顔情報が遮蔽されたと判断する関連性比較手段と、前記物体追跡記録手段に記録された顔によって、通過した人数を計測する計測手段と、を含む人流計測システムである。
【０００７】
前記顔検出手段は、前記仮の顔情報に含まれる表面特徴情報を記録する仮の顔情報表面特徴情報記録手段と、前記仮の顔情報が正面顔であるかどうかを判断する正面顔判断手段と、前記仮の顔情報が横顔であるかどうかを判断する横顔判断手段と、を含んでよい。
【０００８】
前記顔検出手段は、前記仮の顔情報が同時に正面顔と横顔に判断された場合に、前記仮の顔情報を正面顔と認識する。
【０００９】
前記物体追跡記録手段は、人間の顔の表面特徴情報を記録する表面特徴情報記録手段と、人間の顔が正面顔である数を計測する正面顔計測手段と、人間の顔が横顔である数を計測する横顔計測手段と、人間の顔と判断された仮の顔情報に標記する顔標記手段と、人間の顔が遮蔽された数を計測する遮蔽計測手段と、を含んでよい。
【００１０】
前記関連性比較手段は、前記仮の顔情報に含まれる表面特徴情報と前記第１時点における第１の顔情報との相似性を１対１に比較する。
【００１１】
前記表面特徴情報は、肌理（テクスチュア）、色、及びサイズの情報を含んでよく、第１時点における第１の顔情報は、複数の顔情報を含んでよい。
【００１２】
前記遮蔽された数が所定値を超えた場合に、前記第１の顔情報が前記カメラの撮影範囲から離れたと見なされる。
【００１３】
また、本発明に係る人流計測システムは、少なくとも、電子看板を含んでよく、前記計測手段で計測した人数が前記電子看板に表示されてよい。
【００１４】
また、前記課題を達成するために、本発明は、人流計測方法であって、第１時点における第１の顔情報を記録するステップと、カメラで前記第１時点の直後の第２時点に撮った影像に肌色区域があるかどうかを判断するステップと、前記肌色区域が人間の顔であるかどうかを判断し、人間の顔であると判断された場合に、正面顔または横顔かを判断して、判断の結果を仮の顔情報として記録するステップと、前記仮の顔情報と前記第１の顔情報との相似性を１対１に比較し、前記相似性が所定条件に達した場合に、前記第１の顔情報を前記仮の顔情報に更新され、前記相似性が所定条件に達しなかった、かつ、前記仮の顔情報が人の顔と判断された場合に、前記仮の顔情報を、第２の顔情報として記録して前記第１の顔情報が遮蔽されたと判断するステップと、前記記録された顔によって、通過した人数を計測するステップとを含む人流計測方法を提供する。
【００１５】
また、前記仮の顔情報が同時に正面顔と横顔に判断された場合に、前記仮の顔情報が正面顔と認識する。
【００１６】
また、本発明に係る人流計測方法は、人間の顔が遮蔽された数を計測するステップをさらに含む。
【００１７】
前記仮の顔情報と前記第１の顔情報との相似性を１対１に比較するステップは、前記仮の顔情報に含まれる表面特徴情報で比較し、前記表面特徴情報は、肌理、色、及びサイズの情報を含む。
【００１８】
前記遮蔽された数が所定値を超えた場合に、前記第１の顔情報が前記カメラの撮影範囲から離れたと見なされる。
【００１９】
複数の異なる色の柱によって、広告の注目度を示す注目度柱状グラフと、複数の異なる色によって、異なる時間帯に通過する人数を標記するラッシュ時間帯色彩標記と、インタラクティブ型メディア伝言ボードと、を含み、人数を表示する人流計測分析図を用いる。
【発明の効果】
【００２０】
本発明によれば、正面顔または横顔かを判断し、顔を追跡する技術と合わせて、精確に通過する人流を分析できる。また、顔が遮蔽された回数によって追跡されている人が遮蔽されたかカメラの撮影範囲から離れたかを判断できる。更に、広告業者が直接かつ正確に需要のある顧客に対するサービスやメッセージを提供することができ、その上、更なる応用を展開することができる。
【００２１】
下記図面の簡単な説明は、本発明の前記または他の目的、特徴、メリット、実施形態をより分かりやすくするためのものである。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る人流計測システムに用いられるサーバーを示すブロック図。
【図１ａ】本発明に係る人流計測システムに用いられる人相センサーを示すブロック図。
【図１ｂ】本発明に係る人流計測システムに用いられる追跡記録手段を示すブロック図。
【図２】本発明に係る人流計測方法を示すフローチャート。
【図３】本発明に係る人流計測システムによる人流計測の数量化分析図。
【発明を実施するための形態】
【００２３】
本発明に係る人流計測システムは、種々の電子装置に適用ができ、複数の人間の顔を追跡する演算法によって、人流の数量化分析を実現する。以下、本実施形態における方法は、特別に実行の順番が説明されるものを除き、必要に応じてステップの順番を調節して変えることができ、更に、ステップの一部又は全部を同時に実行することができる。
【００２４】
本発明に係る人流計測システムは、分離的にカメラやサーバーが設けられ、電子看板に応用できる。即ち、カメラやサーバーなどの装置を１つ以上設けてよく、これらをネットで接続して、大きいシステムになり、いろいろな機能に応用してもよい。また、カメラは、電子看板を見ている人間の顔を鮮明に撮ることができ、かつ、人を邪魔しない場所、例えば、電子看板の上側や、左側、右側などの位置に設けられるのが好ましい。
【００２５】
図１は、本発明の第１実施形態に係る人流計測システムに応用されるサーバー１００である。サーバー１００は、物体追跡記録手段１３０、肌色区域検出手段１１０、顔検出手段１２０、関連性比較手段１４０、及び計測手段１５０を含む。図１ａに示すように、顔検出手段１２０は、仮の顔情報表面特徴情報記録手段１２２、正面顔判断手段１２４ａ、及び横顔判断手段１２４ｂを含む。図１ｂに示すように、物体追跡記録手段１３０は、表面特徴情報記録手段１３２、正面顔計測手段１３４ａ、横顔計測手段１３４ｂ、顔標記手段１３６、及び遮蔽計測手段１３８を含む。
【００２６】
操作する場合、まず、カメラの撮影範囲を通過する人流の影像を撮って、肌色区域検出手段１１０で撮った影像から肌色区域を割り出す。肌色区域検出手段１１０は、例えば、影像の一部の区域における肌理や、色、サイズなどの情報を含む表面特徴情報を分析して、複数の肌色区域を得る従来技術による肌色区域を割り出す方法を用いてもよい。肌色区域検出手段１１０で肌色区域を割り出すとき、つながっている肌色区域が分割されることなく、例えば、顔の肌色区域が額の肌色区域や、鼻の肌色区域、頬の肌色区域に分割されなく、また、手の肌色区域が５本の指の肌色区域や、手の甲の肌色区域、掌の肌色区域に分割されない。
【００２７】
肌色区域を割り出した後、顔検出手段１２０は、例えば、肌色区域と人間の顔の特徴データベースに記録された五官の相対位置と比較し、又は、顔の特徴曲線を計算するなどの方法によって、肌色区域が人間の顔であるかどうかを判断する。その判断結果は仮の顔情報として記録される。そして、顔検出手段１２０は、例えば、仮の顔情報と人間の顔の特徴データベースに記録された五官の相対位置と比較して、カメラに対する仮の顔情報の撮影角度が得られるように、仮の顔情報が正面顔または横顔かを判断する。顔検出手段１２０による判断は、仮の顔情報が横顔でなく正面顔である状況、仮の顔情報が正面顔でなく横顔である状況、仮の顔情報が正面顔でも、横顔でもある状況、及び仮の顔情報が正面顔でも、横顔でもない状況の四種類の状況に分けられる。
【００２８】
仮の顔情報が人間の顔と判断された場合、顔検出手段１２０で仮の顔情報が正面顔または横顔かを判断して、判断の結果によって、仮の顔情報として判断された人が広告を見ているか又は見ていないかを判断する。例えば、仮の顔情報が人間の顔と判断され、そして、正面顔と判断された場合は、仮の顔情報として判断された人が広告を見ていると判断される。仮の顔情報が人間の顔と判断され、そして、横顔と判断された場合は、仮の顔情報として判断された人が広告を見ていないと判断される。仮の顔情報が人間の顔と判断されたが、正面顔と横顔両方としても判断されることができる場合は、自動的に仮の顔情報として判断された人の顔が正面顔と判断される。つまり、仮の顔情報が人間の顔と判断された場合に、正面顔または横顔のどちらかが判断されるが、仮の顔情報が正面顔でも、横顔でもないと判断された場合は、仮の顔情報の一部が遮蔽されると判断され、完全な情報がとれないので、人間の顔が検出されないと判断される。
【００２９】
顔検出手段１２０の仮の顔情報は、時点ｔにおいて、{Smt|m=1,...,M}に定義され、その中、Ｍは肌色区域検出手段１１０によって検出された肌色区域の数である。
【００３０】
また、顔検出手段１２０の各仮の顔情報(Smt)は、下記のように記録される。
appearance = texture, color, size,…
isFrontFace = {true|false}
isProfileFace = {true|false}
【００３１】
前記顔検出手段１２０は、時点ｔにおいて、１〜Ｍ個の仮の顔情報を記録する。各仮の顔情報には、顔の表面特徴情報と、正面顔または横顔と判断されたかどうかの情報が記録される。また、仮の顔情報が正面顔または横顔かを判断するために、仮の顔情報と人間の顔の特徴データベースに記録された五官の相対位置と比較して、仮の顔情報に対するカメラの撮影角度を割り出すことができる。
【００３２】
また、前記「appearance = texture, color, size,…」とは、顔検出手段１２０の表面特徴情報記録手段１２２に記録された表面特徴情報(appearance)であって、肌理(texture)や、色(color)、サイズ(size)などの情報が含まれる。また、前記「isFrontFace = {true|false}」とは、顔検出手段１２０の正面顔判断手段１２４ａによって仮の顔情報が正面顔であるかどうかを判断した結果であって、真(true)又は偽(false)の判断結果がある。真の場合は、仮の顔情報が正面顔と判断され、１の数値が与えられる。偽の場合は、仮の顔情報が正面顔でないと判断され、０の数値が与えられる。また、前記「isProfileFace = {true|false}」とは、顔検出手段１２０の横顔判断手段１２４ｂによって仮の顔情報が横顔であるかどうかを判断した結果であって、真(true)又は偽(false)の判断結果がある。真の場合は、仮の顔情報が横顔と判断され、１の数値が与えられる。偽の場合は、仮の顔情報が横顔でないと判断され、０の数値が与えられる。例えば、正面顔判断手段１２４ａの判断結果によって１が与えられ、かつ、横顔判断手段１２４ｂの判断結果によって０が与えられた場合は、仮の顔情報が正面顔であって、横顔でないと判断される。正面顔判断手段１２４ａの判断結果によって０が与えられ、かつ、横顔判断手段１２４ｂの判断結果によって１が与えられた場合は、仮の顔情報が横顔であって、正面顔でないと判断される。正面顔判断手段１２４ａの判断結果によって１が与えられ、かつ、横顔判断手段１２４ｂの判断結果によって１も与えられた場合は、仮の顔情報が正面顔でも、横顔でもあると判断される。正面顔判断手段１２４ａの判断結果によって０が与えられ、かつ、横顔判断手段１２４ｂの判断結果によって０も与えられた場合は、仮の顔情報が正面顔でも、横顔でもないと判断される。
【００３３】
物体追跡記録手段１３０は、複数の時点における複数の第１の顔情報を記録する。顔検出手段１２０の仮の顔情報と、物体追跡記録手段１３０の第１の顔情報を関連性比較手段１４０に入力して、人間の顔を追跡するための演算が行われる物体追跡記録手段１３０は、物体の移動可能な軌跡を推測して追跡する方法や、肌色区域の表面特徴情報が重複に現す程度を計測して追跡する方法を用いてもよいが、本実施形態では、下記のように、関連性比較する方法を用いて、複数の人間の顔を検出して追跡する。
【００３４】
物体追跡記録手段１３０の第１の顔情報は、時点ｔ−１において、{Tnt-1|n=1,...,N}に定義され、その中、Ｎは人間の顔の総数である。
【００３５】
また、物体追跡記録手段１３０の第１の顔情報(Tnt-1)は、下記のように定義される。
appearance = texture, color, size,…
numFrontFace = 0
numProfileFace = 0
FaceLabel = 0
numOccluded = 0
【００３６】
前記物体追跡記録手段１３０は、時点ｔ−１において、１〜Ｎ個の第１の顔情報を記録する。各第１の顔情報には、第１の顔の表面特徴情報、正面顔と検出された回数、横顔と検出された回数、人間の顔の標記、及び遮蔽された回数が記録される。
【００３７】
その中、「appearance = texture, color, size,…」とは、物体追跡記録手段１３０の表面特徴情報記録手段１３２に記録された表面特徴情報(appearance) であって、肌理(texture)や、色(color)、サイズ(size)などの情報が含まれる。「numFrontFace」とは、物体追跡記録手段１３０の正面顔計測手段１３４ａに記録された正面顔と検出されたた回数である。正面顔計測手段１３４ａの初期値は０であり、顔検出手段１２０の正面顔判断手段１２４ａによって正面顔と判断された回数の増加につれて加算される。「numProfileFace」とは、物体追跡記録手段１３０の横顔計測手段１３４ｂに記録された横顔と検出された回数である。横顔計算手段１３４ｂの初期値は０であり、顔検出手段１２０の横顔判断手段１２４ｂによって横顔と判断された回数の増加につれて加算される。「FaceLabel」とは、顔標記手段１３６によって追跡されている人間の顔に関連付けられる標記である。顔標記手段１３６の初期値は０であり、追跡されている人数の増加につれて加算される。２つの追跡されている物体が互に遮蔽された場合に、物体追跡記録手段１３０における人間の顔の標記が互に代わる場合はあるが、本発明の目的や効果には影響がない。「numOccluded」とは、遮蔽計測手段１３８によって計測された人間の顔が遮蔽された回数である。人間の顔を検出できない場合に、遮蔽されたと判断される。遮蔽された回数が所定値を超えた場合に、追跡されている人間の顔がカメラの撮影範囲から離れたと判断される。
【００３８】
関連性比較手段１４０は、第１時点において物体追跡記録手段１３０で定義された第１の顔情報と第１時点の直後の第２時点において顔検出手段１２０で定義された仮の顔情報との相似性を一対一に比較する。仮の顔情報と第１の顔情報との相似性の比較には、仮の顔情報の表面特徴情報と第１の顔情報の表面特徴情報とを比較する。この相似性はパーセント％で表示し、そして、所定値と比較して、仮の顔情報が第１の顔情報にマッチするかどうかを決める。前記仮の顔情報の表面特徴情報と第１の顔情報の表面特徴情報には肌理や、色、サイズなどの情報が含まれる。
【００３９】
この相似性が所定の条件に達した場合に、第１時点における第１の顔情報が第２時点の仮の顔情報に更新され、第２時点における第２の顔情報を得る。逆に、この相似性が所定の条件に達しなかった、かつ、仮の顔情報が人間の顔と判断された場合に、第２時点における仮の顔情報を第２時点における第２の顔情報として物体追跡記録手段１３０に記録して、第１の顔情報が遮蔽された回数を加算する。遮蔽された回数が所定値を超えた場合は、第１の顔情報がカメラの撮影範囲から離れたと判断される。前記第１の顔情報は複数の顔情報を含んでもよい。前記仮の顔情報と第１の顔情報との相似性によって、第２の顔情報を得る方法は、下記のように詳しく説明する。
【００４０】
相似性が所定の条件に達した場合に、第１時点における第１の顔情報が第２時点における仮の顔情報に更新され、下記のように演算される。
Tjt・appearance = Sit・appearance
Tjt・numFrontFace = Tjt-1・numFrontFace + Sit・isFrontFace
Tjt・numProfileFace = Tjt-1・numProfileFace + Sit・isProfileFace
Tjt・numOccluded = 0
【００４１】
相似性が所定の条件に達した場合に、関連性比較手段１４０で第１時点における第１の顔情報が第２時点における仮の顔情報に更新され、第２時点における第２の顔情報を得る。前記の演算により、まず、「Tjt・appearance = Sit・appearance」と演算され、第１時点における第１の顔の表面特徴情報(Tjt・appearance)が第２時点の仮の顔の表面特徴情報(Sit・appearance)に更新される。一般的に、第２秒と第１秒の表面特徴情報の差よりも、第１０秒と第１秒の表面特徴情報の差が大きいので、第２時点の仮の顔の表面特徴情報で第１時点における第１の顔の表面特徴情報を繰り返して更新することにより、第２時点における第２の顔情報(Tjt)の正確性を向上させる。
【００４２】
次に、「Tjt・numFrontFace = Tjt-1・numFrontFace + Sit・isFrontFace」と演算され、第２時点における仮の顔情報が正面顔(Sit・isFrontFace)であるかどうかが判断され、真(true)又は偽(false)の判断結果が出される。真の場合は、第２時点における仮の顔情報が正面顔と判断され、１の数値が与えられる。偽の場合は、第２時点における仮の顔は正面顔でないと判断され、０の数値が与えられる。第１時点における第１の顔情報が正面顔と判断された回数(Tjt-1・numFrontFace)足す第２時点における仮の顔情報が正面顔かどうかを判断した値と、第２時点における第２の顔情報が正面顔と判断される回数(Tjt・numFrontFace)になる。
【００４３】
次に、「Tjt・numProfileFace = Tjt-1・numProfileFace + Sit・isProfileFace」と演算され、第２時点における仮の顔情報が横顔(Sit・isProfileFace)であるかどうかが判断され、真(true)又は偽(false)の判断結果が出される。真の場合は、第２時点における仮の顔情報が横顔と判断され、１の数値が与えられる。偽の場合は、第２時点における仮の顔情報が横顔でないと判断され、０の数値が与えられる。第１時点における第１の顔情報が横顔と判断された回数(Tjt-1・numProfileFace)足す第２時点における仮の顔情報が横顔かどうかを判断した値と、第２時点における第２の顔情報が横顔と判断される回数(Tjt・numProfileFace)になる。
【００４４】
最後に、「Tjt・numOccluded = 0」と演算され、第２時点における第２の顔情報が遮蔽された回数を０に設定し、遮蔽された回数を新たに計測して、遮蔽された回数が所定値を超えたかどうかを判断して、正確にこの顔がカメラの撮影範囲から離れたかどうかを判断する。
【００４５】
また、相似性が所定条件に達しなかった、かつ、仮の顔情報が人間の顔と判断される場合、この仮の顔情報が新たな追跡物体として第２の顔情報に加え、本来の追跡物体が遮蔽されたと判断される。即ち、第２時点に第１の顔情報(Tjt-1)が遮蔽され、システムで遮蔽された回数を計測して、第２時点における第２の顔情報(Tjt)が更新され、下記のように演算される。
Tkt・appearance = Tkt-1・appearance
Tkt・numFrontFace = Tkt-1・numFrontFace
Tkt・numProfileFace = Tkt-1・numProfileFace
Tkt・numOccluded = Tkt-1・numOccluded + 1
【００４６】
前記の演算により、まず、「Tkt・appearance = Tkt-1・appearance」と演算され、新たな追跡物体が検出されなくても、本来の追跡物体が第２時点における仮の顔情報として認識して、この仮の顔情報の表面特徴情報(Tkt-1・appearance)をそのまま第２時点における第２の顔情報の表面特徴情報(Tkt・appearance)に持ち込む。
【００４７】
前記と同じように、数式「Tkt・numFrontFace = Tkt-1・numFrontFace」及び「Tkt・numProfileFace = Tkt-1・numProfileFace」において、本来の追跡物体が正面顔(Tkt-1・numFrontFace)を判断された回数及び横顔(Tkt-1・numProfileFace)と判断された回数もそのまま第２時点における第２の顔情報に持ち込む。また、「Tkt・numOccluded = Tkt-1・numOccluded + 1」と演算され、本来の追跡物体が遮蔽され、遮蔽された回数が所定値を超えた場合、第１の顔情報がカメラの撮影範囲から離れたと判断される。
【００４８】
物体追跡記録手段１３０に記録された第２時点における第２の顔情報が計測手段１５０に入力されて、人流の数(numPasser)及び広告を見ていた人流の数(numGaze)を統計する。システムは、第２の顔情報が新たな顔と判断された場合、第２の顔情報に１つの顔標記が付けられ、通過した人流の数を計測し、追跡されている顔が離れたと判断された場合、第２の顔情報に係る人は電子看板を見ていたかどうかを判断して、電子看板を見ていた人流の数を計測する。追跡されている顔が離れた判断方法は、遮蔽された回数が所定値(threshold)を超えたかどうかによって判断され、下記のように演算される。
input:numPasser, numGaze,Tnt,n = 1,...,N
output:numPasser', numGaze',Tnt,n = 1,...,N' 
while n ＜ N do
if ((Tnt・numFrontFace! = 0)||(Tnt・numProfileFace! = 0) and (Tnt・FaceLabel == 0)) then
Tnt・FaceLabel = numPasser
numPasser' ← numPasser + 1
if (Tnt・isOccluded ＞ threshold)
then
if (Tnt・numFrontFace! = 0))
then
numGaze' ← numGaze + 1
delete Tnt
N' ← N + 1
n' ← n + 1
【００４９】
また、本発明は、人流計測方法を提供する。図２に示すように、本発明に係る人流計測方法を示すフローチャート２００が開示される。まず、ステップ２０２において、第１時点における第１の顔情報を記録する。次に、ステップ２０４において、カメラで第１時点直後の第２時点に撮った映像に肌色区域があるかどうかを判断する。更に、ステップ２０６において、肌色区域が人間の顔であるかどうかを判断し、人間の顔と判断された場合に、正面顔または横顔かを判断し、判断の結果を仮の顔情報として記録する。そして、ステップ２０８において、仮の顔情報と第１の顔情報との相似性を一対一に比較する。最後に、ステップ２１０において、記録された顔によって、通過した人数を計測する。また、ステップ２０８においては、前記相似性が所定の条件に達した場合に、第１の顔情報を仮の顔情報に更新するステップ２０８ａが行われ、前記相似性が所定の条件に達しなかった場合に、仮の顔情報を第２の顔情報として記録し、そして、第１の顔情報が遮蔽されると判断するステップ２０８ｂが行われる。
【００５０】
更に詳しく説明すると、第１時点における第１の顔情報を記録するステップ２０２において、その後のステップで仮の顔情報と第１の顔情報との相似性を一対一に比較させるために、複数の第１時点における複数の第１の顔情報を記録する。複数の時点における同一の第１の顔情報を追跡するために、物体の移動可能な軌跡を推測して追跡する方法や、肌色区域の表面特徴情報が重複して現れる程度を計測して追跡する方法を用いてもよいが、本実施形態では、関連性比較方法を用いて、複数の人間の顔を検出して追跡する。
【００５１】
各第１の顔情報には、人間の顔の表面特徴情報、正面顔と検出された回数、横顔と検出された回数、人間の顔の標記、及び遮蔽された回数が記録される。その中、表面特徴情報は、肌理や、色、サイズなどの情報が含まれる。人間の顔の標記は、人間の顔と判断される仮の顔情報に付られる。人間の顔の標記の初期値は０であり、追跡されている人数の増加につれて加算される。２つの追跡されている物体を互に遮蔽された場合に、人間の顔の標記が互に代わる場合はあるが、本発明の目的や功能には影響がない。人間の顔を検出できない場合に、遮蔽されたと判断される。遮蔽された回数が所定値を超えた場合に、追跡されている人間の顔がカメラの撮影範囲から離れたと判断される。
【００５２】
次に、カメラで第１時点直後の第２時点に撮った映像に肌色区域があるかどうかを判断するステップ２０４において、例えば、影像の一部の区域における肌理や、色、サイズなどの情報を含む表面特徴情報を分析して、複数の肌色区域を得る従来技術による肌色区域を割り出す方法を用いてもよい。カメラが撮った影像から肌色区域を割り出すとき、つながっている肌色区域が分割されることなく、例えば、顔の肌色区域が額の肌色区域や、鼻の肌色区域、頬の肌色区域に分割されなく、また、手の肌色区域が５本の指の肌色区域や、手の甲の肌色区域、掌の肌色区域に分割されない。
【００５３】
肌色区域を割り出した後、肌色区域が人間の顔であるかどうかを判断し、人間の顔と判断された場合に、正面顔または横顔かを判断し、判断の結果を仮の顔情報として記録するステップ２０６において、仮の顔情報と人間の顔の特徴データベースに記録された五官の相対位置と比較し、又は、顔の特徴曲線を計算する。そして、仮の顔情報は正面顔または横顔かを判断し、仮の顔情報が横顔でなく正面顔である状況、仮の顔情報が正面顔でなく横顔である状況、仮の顔情報が正面顔でも、横顔でもある状況、及び仮の顔情報が正面顔でも、横顔でもない状況の四種類の状況に分けられる。
【００５４】
仮の顔情報が人間の顔と判断された場合に、前記四種類の状況は下記のように意味する。仮の顔情報が人間の顔と判断され、そして、正面顔と判断された場合は、仮の顔情報として判断された人が広告を見ていると判断される。仮の顔情報が人間の顔と判断され、そして、横顔と判断された場合は、仮の顔情報として判断された人が広告を見ていないと判断される。仮の顔情報が人間の顔と判断されたが、正面顔と横顔両方としても判断されることができる場合は、自動的に仮の顔情報として判断された人の顔が正面顔と判断される。つまり、仮の顔情報が人間の顔と判断された場合に、正面顔または横顔のどちらかが判断されるが、仮の顔情報が正面顔でも、横顔でもないと判断された場合は、仮の顔情報の一部が遮蔽されると判断され、完全な情報がとれないので、人間の顔が検出されないと判断される。
【００５５】
次に、第１時点の直後の第２時点における仮の顔情報と第１時点における第１の顔情報との相似性を一対一に比較するステップ２０８において、仮の顔情報と第１の顔情報との相似性の比較には、仮の顔情報の表面特徴情報と第１の顔情報の表面特徴情報とを比較する。この相似性はパーセント％で表示し、そして、所定値と比較して、仮の顔情報が第１の顔情報にマッチするかどうかを決める。前記仮の顔情報の表面特徴情報と第１の顔情報の表面特徴情報には肌理や、色、サイズなどの情報が含まれる。
【００５６】
前記相似性が所定の条件に達した場合に、第１の顔情報を仮の顔情報に更新するステップ２０８ａが行われ、第２時点の第２の顔情報が得られる。
【００５７】
前記相似性が所定の条件に達しなかった場合に、仮の顔情報を第２の顔情報として記録し、そして、第１の顔情報が遮蔽されると判断するステップ２０８ｂが行われる。なお、前記第１の顔情報は、複数の顔情報を含んでもよい。
【００５８】
最後に、記録された顔によって、通過した人数を計測するステップ２１０において、システムは、第２の顔情報が新たな顔と判断された場合、第２の顔情報に１つの顔標記が付けられ、通過した人流の数を計測し、追跡されている顔が離れたと判断された場合、第２の顔情報に係る人は電子看板を見ていたかどうかを判断して、電子看板を見ていた人流の数を計測する。追跡されている顔が離れた判断方法は、遮蔽された回数が所定値を超えたかどうかによって判断される。
【００５９】
本発明に係る複数の人間の顔を検出して追跡方法によって、正面顔または横顔かを検出し、肌色区域を短時間に割り出すことができ、そして割り出された肌色区域が人間の顔であるかどうかを判断する。顔を追跡している時に、システムは人間の顔が短時間に遮蔽されたことが許容されるので、判断エラーの発生を抑える。このような人流計測システムからは、カメラのまえに通過した人流数(numPasser)、や電子看板を見ていた人流数(numGaze)などの情報が得られる。各追跡されている人間の顔がカメラの撮影範囲から離れたとき、この人が広告を見ていた時間(numFrontFace)と見ていなかった時間(numProfileFace)も記録される。前記の情報によって、人流と広告の効果を分析できる。
【００６０】
図３に示すように、本発明に係る人流計測システムによる人流計測の数量化分析図３００が開示されている。
【００６１】
本発明の人流計測システムによれば、三種類の人流計測の量化分析方法とメディアのインタラクティブ応用の実施形態が提供される。人流計測の量化分析表示図３００には、ラッシュ時間帯色彩標記３０２ａ、注目度柱状グラフ３０４、広告注目指数３０６ａ、及びインタラクティブ型メディア伝言ボード３０８が含まれる。ラッシュ時間帯色彩標記３０２ａの他に、更に人流数段階表示３０２ｂを含み、広告注目指数３０６ａの他に、更に広告効果の評価３０６ｂを含む。
【００６２】
ラッシュ時間帯色彩標記３０２ａは、複数の色を用いて、異なる時間帯における通過した人流の数を標示し、また、複数の色を用いた人流数段階表示３０２ｂで、システムに設定されているラッシュ時間帯色彩標記３０２ａと合わせて人流数を示し、色ごとに異なる人流数が示される。段階表示と時間軸を合わせて、即時にラッシュ時間帯を判断できる。人流数段階表示３０２ｂは、付加の機能であって、システムのディスプレイに、表現されても、隠されてもよく、図３のように十色を用いて、０〜９の人流数を表示したが、これに限定されない。
【００６３】
注目度柱状グラフ３０４は、電子看板を通過した人流の注目度を表し、注目度によって、非常に注視され、やや注視され、普通、あまり注視されない、及びほとんど注視されないの５段階に設定されている。前記５段階は、人流が電子看板を見ている時間と見ていない時間の割合で、下記の数式によって数値化され、
numFrontFace／（numFrontFace + numProfile Face）
システムに設定されている所定値により、数値の代わりに、カラーヒストグラムで注目度が表現される。
【００６４】
広告注目指数３０６ａは、広告を放送している間に、通過した人で何人が広告に注目したかを示し、広告効果の評価３０６ｂと合わせて広告の効果を評価する。広告注目指数３０６ａは、所定の時間帯において、カメラの撮影範囲を通過する人流数、即ち、電子看板のまえの人流数(numPasser)と、電子看板を見ている人流数(numGaze)で、下記の数式によって演算される。
numGaze／numPasser
ある時間帯が所定の広告の放送時間と限定された場合、所定の広告の放送時間帯における広告注目指数が得られ、より客観的な広告効果の評価３０６ｂが提供される。さらに、電子看板は、連続に複数の広告を放送できるので、広告を放送する時間帯を区切って、広告効果の評価３０６ｂとラッシュ時間帯色彩標記３０２ａを対照して、ラッシュ時間帯と広告効果との関係を表示して、本発明の目的を達成する。
【００６５】
インタラクティブ型メディア伝言ボード３０８は、例えば、友達と待ち合わせる時、見つかないなどの場合に、写真や動画メッセージを伝えたい人に伝達したことができる。さらに、本発明が応用された電子看板に接続するシステムに、自分に合う条件を入力して、電子看板によって、電子看板の前にいる人流から一番マッチした人を割り出す恋人を発見する方法にも応用できる。また、集客のために、電子看板によってランダムで電子看板の前にいる人流から当選者を選ぶくじ引き活動にも応用できる。また、本発明が応用された電子看板に接続するシステムに、迷った老人の写真を入力して、システムで通過した人と老人の写真とを対照し、その迷った老人が発見された場合に、電子看板から通過人の協力を呼びかける音声を出して、又は、直接に警察に連絡する人を探す方法にも応用できる。前記のように、インタラクティブ型メディア伝言ボード３０８によって、地元において、様々なサービスが提供されるが、これらに限らず、例えば、人が電子看板を注目していることを検出する技術に基づいて、一般の携帯電話やコンピューターのインターネットサービスと区別し、このようなシステムは、他の身近な親しいサービスを提供することもできる。まず、インタラクティブ型メディア伝言ボード３０８に示すように、システムは、電子看板を見ている人の顔の映像を撮り、潜在的な顧客として画面の右側に表示する。この電子看板を見ている人が放送されている広告に興味を示した場合は、無線通信技術、例えばブルートゥースやメールを通じて、またはタッチパネルで自分の影像を選んで、資料を請求すると入力すれば、システムは、需要に応じて、顧客とやりとりして、インタラクティブの機能を発揮する。本発明は、全てのユーザーに対応でき、さらに、個人的なサービスを提供できる。前記の実施例は全て本発明からの応用であり、これらがもたらす商業利益は無視してはならない。
【００６６】
前記の実施形態によれば、本発明は下記のメリットがある。本発明は、電子看板を見る人の人流を数量化して分析する方法を提供し、複数の人間の顔の追跡情報をとった後、広告効果を評価できる。各時点において検出された人間の顔の数だけを計測する従来技術より、本発明は、顔の追跡情報が取り入れられ、また、前記機能の他、通過した人流が広告を見る情報が取り入れられて、分析して計測し、カラーヒストグラムなどで注目度などの情報を示す。そのうえ、本発明は、段階表示と時間軸を合わせてラッシュ時間帯と広告効果との関係を表示して、視覚的に広告業者に広告効果の評価を提供し、広告の放送時間帯の選択肢を提供する。
【００６７】
本発明は、電子看板に用いる産業用コンピューターに応用することができ、より客観かつ精確に広告効果の評価や広告の時間帯の選択肢を広告業者に提供し、参考させることができる。さらに、産業用コンピューターの付加価値を高める。
【００６８】
本発明は、ウェブカメラを採用し、長時間自動的に計測することができるので、展示会の監視システムにも対応しやすい。また、本発明は、斬新な技術であって、監視システムの他に、マルチメディアのインタラクティブにおいても、様々なビジネスサービスを提供できる。
【００６９】
また、本発明は、自動的に広告効果を評価するので、コストと効果が最適に配慮される。また、本発明は、視聴者を特定範囲に強制的に立たせる必要がなく、いかなる無線探知手段を身につける必要もないので、コストが低く、実用価値が高い。
【符号の説明】
【００７０】
１００：サーバー
１１０：肌色区域検出手段
１２０：顔検出手段
１２２：仮の顔情報の表面特徴情報記録手段
１２４ａ：正面顔判断手段
１２４ｂ：横顔判断手段
１３０：物体追跡記録手段
１３２：表面特徴情報記録手段
１３４ａ：正面顔計測手段
１３４ｂ：横顔計測手段
１３６：顔標記手段
１３８：遮蔽計測手段
１４０：関連性比較手段
１５０：計測手段
３００：人流計測の量化分析図。
３０２ａ：ラッシュ時間帯色彩標記
３０２ｂ：人流数カラー棒グラフ
３０４：注目度柱状グラフ
３０６ａ：広告注目指数
３０６ｂ：広告効果の評価
３０８：伝言ボード
【図１】
2010218550.tif 000003
【図１ａ】
2010218550.tif 000004
【図１ｂ】
2010218550.tif 000005
【図２】
2010218550.tif 000006
【図３】
2010218550.tif 000007