(57)【特許請求の範囲】
【請求項１】
人物を撮影するカメラと，前記カメラが撮影した映像に含まれる顔画像を検出し，顔画像の検出結果を分析する顔検出結果分析装置とから少なくとも構成される顔検出結果分析システムであって，前記顔検出結果分析装置は，前記カメラが撮影した映像のフレーム毎に顔画像を前記フレームから検出し，前記顔画像に該当する閲覧者の閲覧者ＩＤを付与して，前記フレーム内における前記顔画像の検出枠の位置及び矩形サイズを少なくとも顔検出結果としてログファイルに記憶する顔検出手段と，前記カメラの視点を中心とした円座標系の角度と撮影距離に設定された区分によって，前記カメラの視野範囲を複数のエリアに分割したエリアマップを記憶し，前記ログファイルに含まれる前記顔画像の検出枠の中心位置から前記円座標系の角度の区分を特定し，前記顔画像の検出枠の矩形サイズから前記円座標系の撮影距離の区分を特定することで，前記閲覧者がいたエリアを前記閲覧者ＩＤ毎に特定し，前記エリアにいた前記閲覧者の総数を前記エリア毎に算出した後，前記エリアにいた前記閲覧者の総数をエリアマップ上に表示する表示データを生成する分析手段とを備えていることを特徴とする顔検出結果分析システム。
【請求項２】
前記顔検出結果分析装置の前記分析手段は，前記閲覧者がいた前記エリアを前記閲覧者ＩＤ毎に特定する際に，前記閲覧者がいた前記エリアの頻度を求め，すべての前記閲覧者ＩＤの頻度の合計を前記エリア毎に算出することで，前記エリアにいた前記閲覧者の総数を前記エリア毎に算出することを備えていることを特徴とする，請求項１に記載の顔検出結果分析システム。
【請求項３】
前記顔検出結果分析装置の前記顔検出手段は，前記閲覧者ＩＤに関連付けて，前記顔画像が検出された前記フレームの撮影日時を前記顔検出結果に含ませ，前記顔検出結果分析装置の前記分析手段は，前記ログファイルに記憶されている前記顔検出結果を日付又は時間帯の区分毎に分類し，日付又は時間帯の区分毎に，前記エリアにいた前記閲覧者の総数を前記エリア毎に算出し，日付又は時間帯の区分毎の前記閲覧者の総数を示す表示データを生成することを特徴とする，請求項２に記載の顔検出結果分析システム。
【請求項４】
前記顔検出結果分析装置の前記分析手段は，前記顔画像が撮影されていた総時間を前記閲覧者ＩＤ毎に算出することで，前記顔画像に対応する前記閲覧者が前記カメラの視野範囲内に滞在した滞留時間を算出し，前記ログファイルに記憶されている前記顔検出結果を滞留時間の区分毎に分類し，滞留時間の区分毎に，前記エリアにいた閲覧者の総数を前記エリア毎に算出し，滞留時間の区分毎の前記閲覧者の総数を示す表示データを生成することを特徴とする，請求項２に記載の顔検出結果分析システム。
【請求項５】
前記顔検出結果分析装置の前記分析手段は，前記閲覧者ＩＤで識別される前記閲覧者がいたエリアを特定する前に，前記フレーム内における前記顔画像の検出枠の位置及び矩形サイズから前記円座標系における前記閲覧者の座標値を算出し，前後する前記フレームの前記円座標系における前記閲覧者の座標値から前記閲覧者の動線を求め，規定以下の長さの前記動線が所定回数以上連続している場合，前記閲覧者ＩＤで識別される前記閲覧者が前記カメラの視野範囲内に立ち止まりしたと判定し，規定以下の長さの人物の動線が所定回数以上連続している対応する箇所に対応する前記顔検出結果のみを利用して，前記エリアにいた前記閲覧者の総数を前記エリア毎に算出すること特徴とする，請求項２に記載の顔検出結果分析システム。
【請求項６】
請求項１から請求項５のいずれか一つに記載の顔検出結果分析システムを構成する顔検出結果分析装置。
【請求項７】
請求項１から請求項５のいずれか一つに記載の顔検出結果分析システムを構成する顔検出結果分析装置として，コンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，ディスプレイを用いて表示される広告や商品などを見ている人物の顔をカメラで撮影し，カメラで撮影した映像に含まれる顔を分析する技術に係わる。
【背景技術】
【０００２】
ディスプレイを用いて広告を表示する広告媒体であるデジタルサイネージ（Digital Signage）が様々な場所に設置され始めている。デジタルサイネージを用いることで，動画や音声を用いた豊かなコンテンツの提供が可能になるばかりか，デジタルサイネージの設置場所に応じた効率的な広告配信が可能になる。
【０００３】
既存のメディア（テレビ，新聞等）と同様に，デジタルサイネージにおいても広告効果を測定することが要求され， デジタルサイネージの広告効果の測定するとき，デジタルサイネージの前にいる人物をカメラで撮影し，非特許文献１，２で述べられているような，白黒のＨａａｒパターンを用いた顔検出技術などを用いて，カメラで撮影された映像のフレームに含まれる顔の位置及び矩形サイズを検出し，顔の位置及び矩形サイズを利用して，デジタルサイネージの広告効果に係わる様々な指標を算出する。
【０００４】
例えば，特許文献１には，広告媒体（特許文献１ではポスター）に顔の正面が向いている方が，広告媒体に対する注目度が高いことに着目し，顔の位置及び矩形サイズを利用して，広告媒体に対する顔の角度を広告媒体に対する注目度として算出する旨が記載されている。また，特許文献２には，顔の位置及び矩形サイズで特定される領域の画像を解析し，カメラで撮影された人物の属性（年齢・性別）を求め，人物の属性毎に視聴度を算出する旨が記載されている。
【０００５】
このように，デジタルサイネーなどの展示物の効果を測定するときなどは，デジタルサイネージなどの展示物の前にいる人物をカメラで撮影し，該カメラで撮影した映像に含まれる顔を検出し，顔画像の検出結果を分析することになるが，特許文献１及び特許文献２も含め，カメラで撮影した映像から検出した顔画像の分析に係わる技術として，デジタルサイネージなどの展示物を閲覧している人物の人数や位置を表示するマップを提供する技術は開示されていなかった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４１５９１５９号公報
【特許文献２】特開２００６-２５４２７４号公報
【非特許文献】
【０００７】
【非特許文献１】Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001.
【非特許文献２】Rainer Lienhart and Jochen Maydt, "An Extended Set of Haar-like Features for Rapid Object Detection", IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そこで，本発明は，デジタルサイネージや商品などの展示物を閲覧している人物の人数や位置を表示するマップを生成することのできる顔検出結果分析システム等を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決する第１の発明は，人物を撮影するカメラと，前記カメラが撮影した映像に含まれる顔画像を検出し，顔画像の検出結果を分析する顔検出結果分析装置とから少なくとも構成される顔検出結果分析システムであって，前記顔検出結果分析装置は，前記カメラが撮影した映像のフレーム毎に顔画像を前記フレームから検出し，前記顔画像に該当する閲覧者の閲覧者ＩＤを付与して，前記フレーム内における前記顔画像の検出枠の位置及び矩形サイズを少なくとも顔検出結果としてログファイルに記憶する顔検出手段と，前記カメラの視点を中心とした円座標系の角度と撮影距離に設定された区分によって，前記カメラの視野範囲を複数のエリアに分割したエリアマップを記憶し，前記ログファイルに含まれる前記顔画像の検出枠の中心位置から前記円座標系の角度の区分を特定し，前記顔画像の検出枠の矩形サイズから前記円座標系の撮影距離の区分を特定することで，前記閲覧者がいたエリアを前記閲覧者ＩＤ毎に特定し，前記エリアにいた前記閲覧者の総数を前記エリア毎に算出した後，前記エリアにいた前記閲覧者の総数をエリアマップ上に表示する表示データを生成する分析手段と，を備えていることを特徴とする顔検出結果分析システムである。
【００１０】
カメラからの撮影距離が遠くなる程，閲覧者の顔は小さく撮影されるため，前記顔画像の検出枠の矩形サイズから撮影距離を求めることができ，前記閲覧者のいた前記エリアを特定することができる。前記閲覧者のいた前記エリアが特定できれば，前記エリアにいた前記閲覧者の総数を前記エリア毎に算出することができ，デジタルサイネージや商品などの展示物を閲覧している人物の人数が記載され，該展示物の前にいる人物を撮影するカメラの撮影距離方向に広がったマップを生成することのできるようになる。
【００１２】
撮影距離に着目した場合，前記エリアマップは前記カメラの視点を中心とした円座標系に設定されることが望ましく，前記エリアマップを該円座標系に設定した場合，第１の発明のようにすれば，該エリアマップに含まれる一つの前記エリアを特定できる。
【００１３】
更に，第２の発明は，前記顔検出結果分析装置の前記分析手段は，前記閲覧者がいた前記エリアを前記閲覧者ＩＤ毎に特定する際に，前記閲覧者がいた前記エリアの頻度を求め，すべての前記閲覧者ＩＤの頻度の合計を前記エリア毎に算出することで，前記エリアにいた前記閲覧者の総数を前記エリア毎に算出することを備えていることを特徴とする第１の発明に記載の顔検出結果分析システムである。
【００１４】
前記エリアにいた前記閲覧者の総数は，前記閲覧者がいた頻度（割合）が考慮されることになる。前記閲覧者がいた頻度が大きい前記エリアは，デジタルサイネージや商品などの展示物を閲覧していた前記エリアと考えられるため，前記エリアにいた前記閲覧者の総数を前記エリア毎に算出する手法として，第２の発明を用いれば，該展示物を閲覧していた前記エリアをより明確にすることができる。
【００１５】
更に，第３の発明は，前記顔検出結果分析装置の前記顔検出手段は，前記閲覧者ＩＤに関連付けて，前記顔画像が検出された前記フレームの撮影日時を前記顔検出結果に含ませ，前記顔検出結果分析装置の前記分析手段は，前記ログファイルに記憶されている前記顔検出結果を日付又は時間帯の区分毎に分類し，日付又は時間帯の区分毎に，前記エリアにいた前記閲覧者の総数を前記エリア毎に算出し，日付又は時間帯の区分毎の前記閲覧者の総数を示す表示データを生成することを特徴とする第２の発明に記載の顔検出結果分析システムである。
【００１６】
更に，第４の発明は，前記顔検出結果分析装置の前記分析手段は，前記顔画像が撮影されていた総時間を前記閲覧者ＩＤ毎に算出することで，前記顔画像に対応する前記閲覧者が前記カメラの視野範囲内に滞在した滞留時間を算出し，前記ログファイルに記憶されている前記顔検出結果を滞留時間の区分毎に分類し，滞留時間の区分毎に，前記エリアにいた閲覧者の総数を前記エリア毎に算出し，滞留時間の区分毎の前記閲覧者の総数を示す表示データを生成することを特徴とする第２の発明に記載の顔検出結果分析システムである。
【００１７】
更に，第５の発明は，前記顔検出結果分析装置の前記分析手段は，前記閲覧者ＩＤで識別される前記閲覧者がいたエリアを特定する前に，前記フレーム内における前記顔画像の検出枠の位置及び矩形サイズから前記円座標系における前記閲覧者の座標値を算出し，前後する前記フレームの前記円座標系における前記閲覧者の座標値から前記閲覧者の動線を求め，規定以下の長さの前記動線が所定回数以上連続している場合，前記閲覧者ＩＤで識別される前記閲覧者が前記カメラの視野範囲内に立ち止まりしたと判定し，規定以下の長さの人物の動線が所定回数以上連続している対応する箇所に対応する前記顔検出結果のみを利用して，前記エリアにいた前記閲覧者の総数を前記エリア毎に算出すること特徴とする第２の発明に記載の顔検出結果分析システムである。
【００１８】
第３の発明のように，前記ログファイルに記憶されている前記顔検出結果を日付又は時間帯の区分毎に分類すれば，日付又は時間帯の傾向を示す前記表示データの生成が可能になる。
【００１９】
更に，第４の発明のように，前記ログファイルに記憶されている前記顔検出結果を滞留時間の区分毎に分類すれば，滞留時間の傾向を示す前記表示データの生成が可能になる。加えて，第５の発明のように，立ち止まりしたと判定した箇所の前記顔検出結果のみを利用することで，閲覧者が立ち止まりしたときの前記表示データの生成が可能になる。
【００２０】
なお，本発明では，顔検出結果分析装置及び顔検出結果分析装置としてコンピュータを機能させるコンピュータプログラムについても請求する。
【発明の効果】
【００２１】
このように，本発明は，デジタルサイネージや商品などの展示物を閲覧している人物の人数や位置を表示するマップを生成することのできる顔検出結果分析システム等を提供できる。
【図面の簡単な説明】
【００２２】
【図１】デジタルサイネージシステムの構成を説明する図。
【図２】広告効果分析装置に備えられたハードウェアを説明する図。
【図３】広告効果分析装置の機能ブロック図。
【図４】ログファイルの一例を示した図。
【図５】本実施形態におけるエリアマップを説明する図。
【図６】カメラの視野角が等間隔で区分される内容を説明する図。
【図７】表示データを生成するまでの手順を示したフロー図。
【図８】個別ログファイルの内容を説明する図。
【図９】角度・距離の区分が追加された個別エリアファイルを説明する図。
【図１０】エリア毎の出現頻度が記憶されたマトリックスデータを説明する図。
【図１１】個別頻度ファイルの内容を説明する図。
【図１２】閲覧者人数ファイルの内容を説明する図。
【図１３】表示データの第１例を説明する図。
【図１４】表示データの第２例を説明する図。
【図１５】日付や時間体毎の傾向を示す表示データを生成する手順を説明する図。
【図１６】覧時間の傾向を示す表示データを生成する手順を説明する図。
【図１７】閲覧者の立ち止まりの傾向を示す表示データを生成する手順を説明する図。
【発明を実施するための形態】
【００２３】
ここから，本願発明の実施形態について，本願発明の技術分野に係わる当業者が，本願発明の内容を理解し，本願発明を実施できる程度に説明する。
【００２４】
図１は，顔検出結果分析システム１の構成を説明する図である。図１で図示したように，顔検出結果分析システム１には，街頭や店舗などに設置され，ディスプレイ３ａを用いて広告を表示する広告媒体であるデジタルサイネージ３が展示物として設置されている。なお，デジタルサイネージ３には，広告映像を再生するディスプレイ３ａの他に，デジタルサイネージ３で再生する広告映像を制御するサーバが含まれるが，該サーバは図１には図示していない。
【００２５】
デジタルサイネージ３のディスプレイ３ａには，ディスプレイ３ａで再生されている広告映像を見ている人物の顔が撮影されるようにアングルが設定されたビデオカメラ４が設置され，このビデオカメラ４で撮影された映像は，ＵＳＢポートなどを利用して顔検出結果分析装置２に入力される。
【００２６】
顔検出結果分析システム１の顔検出結果分析装置２は，ビデオカメラ４から送信された映像に含まれるフレームを解析し，ディスプレイ３ａで再生されている広告映像を閲覧している人物の顔を検出し，デジタルサイネージ１の閲覧者の数をマップ上に表示する表示データを生成する装置である。
【００２７】
図１で図示した顔検出結果分析システム１を構成する装置において，デジタルサイネージ３及びビデオカメラ４は市販の装置を利用できるが，顔検出結果分析装置２は，従来技術にはない特徴を備えているため，ここから，顔検出結果分析装置２についてのみ詳細に説明する。
【００２８】
図２は，顔検出結果分析装置２に備えられたハードウェアを説明する図で，図３は，顔検出結果分析装置２の機能ブロック図である。
【００２９】
顔検出結果分析装置２は汎用のコンピュータを利用して実現することができ，汎用のコンピュータと同様なハードウェアを顔検出結果分析装置２は備え，図２では，該ハードウェアとして，ＣＰＵ２ａ（CPU: Central Processing Unit）と、ＢＩＯＳが実装されるＲＯＭ２ｂ（ROM: Read-Only Memory）と、コンピュータのメインメモリであるＲＡＭ２ｃ（RAM: Random Access Memory）と、外部記憶装置として大容量のデータ記憶装置２ｄ（例えば，ハードディスク）と，外部デバイスとデータ通信するための入出力インターフェース２ｅと、ネットワーク通信するためのネットワークインターフェース２ｆと、表示デバイス２ｇ（例えば，液晶ディスプレイ）と，文字入力デバイス２ｈ（例えば，キーボード）と，ポインティングデバイス２ｉ（例えば，マウス）を記載している。
【００３０】
顔検出結果分析装置２のデータ記憶装置２ｄには，ＣＰＵ２ａを動作させるためのコンピュータプログラムが実装され，このコンピュータプログラムによって，顔検出結果分析装置２には図３で図示した手段が備えられる。
【００３１】
図３で図示したように，顔検出結果分析装置２には，ビデオカメラ４が撮影した映像のフレームから，両眼が撮影されている顔画像をフレームから検出する顔検出手段２０と，ビデオカメラ４の視野範囲を複数のエリアに分割したエリアマップを記憶し，顔画像の検出枠の位置及び矩形サイズを利用して，閲覧者がいたエリアを閲覧者ＩＤ毎に特定し，エリアにいた閲覧者の総数をエリア毎に算出する分析手段２１とを備えている。
【００３２】
顔検出結果分析装置２の顔検出手段２０は，例えば，学習アルゴリズムにより白黒の複数のＨａａｒパターンを組み合わせて顔画像を検出する技術を用いて，ビデオカメラ４が撮影した映像のフレーム毎に，両眼が撮影されている顔画像をフレームから検出し，フレームから検出した顔画像に該当する閲覧者の閲覧者ＩＤを付与し，フレーム内における顔画像の検出枠の位置（ここでは，左上隅の座標）及び矩形サイズを少なくとも含む顔検出結果を，データ記憶装置２ｄに生成されたログファイルに記憶する
【００３３】
デジタルサイネージ３のディスプレイ３ａで再生されている広告映像を見ている人物の顔が撮影されるようにビデオカメラ４のアングルが設定されているため，ビデオカメラ４が撮影した映像から検出された顔画像は，デジタルサイネージを閲覧している人物（閲覧者）の顔として取り扱うことができる。
【００３４】
また，顔検出結果分析装置２の顔検出手段２０は，フレームから検出した顔画像との特徴量（例えば，ＳＵＲＦ特徴量）を記憶しておき，今回のフレームから検出した顔画像の特徴量と比較することで，今回のフレームから検出した顔画像が，これより前のフレームから検出されていないか確認し，これより前のフレームから検出した顔画像の特徴量とほぼ同一である特徴量の顔画像を今回のフレームから検出した場合、これより前のフレームに撮影された該顔画像に付与した閲覧者ＩＤを今回のフレームから検出した該顔画像の顔検出結果に付与する。
【００３５】
図４は，顔検出結果分析装置２の顔検出手段２０が生成するログファイルの一例を示した図である。図４で図示したログファイルには，閲覧者ＩＤ、ビデオカメラ４で撮影された映像のフレームが撮影された日時，フレーム上における顔画像の検出枠の左上隅みのＸ座標及びＹ座標，顔画像の検出枠のＸ軸方向及びＹ軸方向のサイズをそれぞれ記憶するカラムが設けられ，顔検出結果分析装置２の顔検出手段２０は、ビデオカメラ４で撮影された映像のフレームから顔画像を検出する毎に，該顔画像の検出枠に対応するレコードをログファイルに追加する。
【００３６】
顔検出結果分析装置２の分析手段２１は，ビデオカメラ４の視野範囲を複数のエリアに分割したエリアマップを記憶し，所定のアルゴリズムに従い，顔画像の検出枠の位置及び矩形サイズから閲覧者がいたエリアを閲覧者ＩＤ毎に特定し，エリアにいた閲覧者の総数をエリア毎に算出し、デジタルサイネージの閲覧者の人数をマップ上に表示する表示データを生成する手段である。
【００３７】
顔検出結果分析装置２の分析手段２１は，デジタルサイネージ３の閲覧者の人数を集計するために，予め，ビデオカメラ４の視点を中心とした円座標系の角度と撮影距離に設定された区分によって，ビデオカメラ４の視野範囲を複数のエリアに分割したエリアマップを記憶し、エリアマップに含まれるエリア毎に閲覧者の人数を算出する。
【００３８】
図５は，本実施形態におけるエリアマップを説明する図である。本実施形態では，エリアマップは，ビデオカメラ４の視点４ａを中心とした円座標系に設定され，図５に図示したように，エリアマップの角度の範囲はビデオカメラ４の視野角４ｂで，ビデオカメラ４の視野角４ｂはθ１〜θ１０の１０個に等間隔で区分され，更に，ビデオカメラ４の視野からの撮影距離はｒ１〜ｒ７の７個に区分され，一つのエリアは，角度及び撮影距離の区分の組み合わせで表現できる。
【００３９】
図６は，ビデオカメラ４の視野角が等間隔で区分される内容を説明する図である。図６に図示しているように，ビデオカメラ４の視野角４ｂを１０個に等間隔で区分することは，映像のフレーム４ｃにおいては，フレーム４ｃのＸ軸方向を１０個に等間隔で区分していることになり，顔検出結果から得られる顔画像の検出枠の中心座標のＸ軸の値から，顔画像の検出枠が属する角度の区分を特定できるため，分析手段２１には，ビデオカメラ４の視野角４ｂの区分に対応するＸ軸方向の画素数の範囲が記憶されている。
【００４０】
表１に，ビデオカメラ４の視野角４ｂの区分に対応するＸ軸方向の画素数の範囲の一例を示しておく。
【表１】
0005391951.tif 000002
【００４１】
表２は，本実施形態における撮影距離の区分を示した表である。視野範囲における距離の区分は等間隔でなく，表２では，デジタルサイネージ３を閲覧するのに適切と思われる距離間を細かく区分し，更に，ビデオカメラ４の撮影距離は無限遠方まで考えられるため，４．０ｍ以上を一つの区分としている。
【表２】
0005391951.tif 000003
【００４２】
ビデオカメラ４の視点から遠ざかるに連れて顔は小さく撮影されるため，本実施形態において，撮影距離の区分には，平均サイズの顔が撮影されたときの顔画像の検出枠の矩形サイズの範囲が対応付けられて分析手段２１に記憶されている。
【００４３】
表３は，本実施形態における撮影距離の区分と顔画像の検出枠の矩形サイズ（Ｘ軸方向のサイズ）の範囲を示す。なお，平均サイズの顔が撮影された時の顔画像の検出枠の矩形サイズは，数式１で求めることができ，顔画像の検出枠の矩形サイズは画素数（pixel）である。
【表３】
0005391951.tif 000004
【数１】
0005391951.tif 000005
【００４４】
ここから、顔検出結果分析装置２の分析手段２１の一連の動作について説明する。図７は，顔検出結果分析装置２の分析手段２１が表示データを生成するまでの手順を示したフロー図である。顔検出結果分析装置２の分析手段２１は，顔検出結果分析装置２の分析手段２１が表示データを生成するとき，まず，顔検出手段２０が生成したログファイルに含まれる閲覧者ＩＤ毎に繰り返し実行するループ処理Ｌ１を実行する。
【００４５】
このループ処理において，まず，顔検出結果分析装置２の分析手段２１は，ループ処理Ｌ１の対象となる閲覧者ＩＤが含まれるレコードを抽出し，該レコードを時系列にソートすることで，ループ処理Ｌ１の対象となる閲覧者ＩＤが含まれるレコードのみで構成される個別ログファイルを生成する（Ｓ１）。
【００４６】
図８は，ループ処理の対象となる閲覧者ＩＤが含まれるレコードのみで構成される個別ログファイルの内容を説明する図で，図８では，閲覧者ＩＤが「H00001」の個別ログファイルを例示し，図８の個別ログファイルに含まれるレコードの閲覧者ＩＤは全て「H00001」である。
【００４７】
ループ処理Ｌ１の対象となる閲覧者ＩＤが含まれるレコードのみで構成される個別ログファイルを生成すると，顔検出結果分析装置２の分析手段２１は，個別ログファイルに含まれるレコード毎に，レコードに含まれる顔画像の検出枠の位置及び矩形サイズから，エリアマップに含まれる一つのエリアを特定し，特定したエリアに対応する角度及び撮影距離の区分を個別ログファイルに追加した個別エリアファイルを生成する処理を実行する（Ｓ２）。
【００４８】
エリアに対応する角度の区分は，顔画像の検出枠の位置及び矩形サイズから顔画像の検出枠の中心座標を求め，角度の区分を示した表を参照し，顔画像の検出枠の中心座標（ここでは，Ｘ軸の座標値）が含まれる角度の区分になる。また，距離の区分は，撮影距離の区分を示した表を参照し，顔画像の検出枠の矩形サイズのＸ軸方向のサイズが含まれる区分になる。
【００４９】
図９は，角度・距離の区分が追加された個別エリアファイルを説明する図である。図９で図示した個別エリアファイルは，図８で図示した個別ログファイルに，角度・距離の区分が追加されたファイルで，図９で図示した個別エリアファイルにおいては，図８で図示した個別ログファイルに含まれるレコード毎に，レコードの顔画像の検出枠の位置及び矩形サイズから決定された角度・距離の区分が追加されている。
【００５０】
顔検出結果分析装置２の分析手段２１は，ループ処理Ｌ１の対象となる閲覧者ＩＤの個別エリアファイルを生成すると，ループ処理Ｌ１の対象となる閲覧者ＩＤの個別エリアファイルにおけるエリアの出現回数を記したマトリックスデータを生成する（Ｓ３）。
【００５１】
図１０は，エリア毎の出現頻度が記憶されたマトリックスデータを説明する図で，図１０で図示したマトリックスデータのカラムは角度の区分，ロウは撮影距離の区分で，図９で図示した個別エリアファイルのレコード毎に，該レコードの角度・撮影距離の区分で特定されるマトリックスデータの要素値を「１」だけ加算することで生成される。
【００５２】
例えば，図１０で図示した個別エリアファイルの最初のレコードにおいて，角度の区分は「θ５」で，撮影距離の区分は「ｒ５」であるため，角度の区分が「θ５」で，撮影距離の区分が「ｒ５」であるマトリックスデータの要素値に「１」が加算される。
【００５３】
顔検出結果分析装置２の分析手段２１は，ループ処理の対象となる閲覧者ＩＤの個別エリアファイルにおけるエリアの出現回数を記したマトリックスデータを生成すると，該マトリックスデータに含まれる出現回数を，該閲覧者ＩＤの個別エリアファイルに含まれるレコードの総数で除算することで，ループ処理Ｌ１の対象となる閲覧者ＩＤの個別エリアファイルにおけるエリアの頻度（単位はパーセント）を算出し，ループ処理Ｌ１の対象となる閲覧者ＩＤの個別エリアファイルにおけるエリアの頻度が記述されたマトリックスデータから個別頻度ファイルを生成し，ループ処理Ｌ１の対象となる閲覧者ＩＤを付与してデータ記憶装置２ｄに記憶する（Ｓ４）。
【００５４】
図１１は，個別頻度ファイルの内容を説明する図である。図１１で図示した個別頻度ファイルの各フィールドの値は，図１０で図示したマトリックスデータの各要素値を，ループ処理Ｌ１の対象となる閲覧者ＩＤの個別エリアファイルに含まれるレコードの数（ここでは，１０）で除算することで生成される。
【００５５】
例えば，図１０において，横方向の区分が「θ３」で，距離方向の区分が「ｒ４」のフィールドの値は「３」であるため，ループ処理Ｌ１の対象となる閲覧者ＩＤが含まれるレコードの数で除算することで，図１１において，角度の区分が「θ３」で，撮影距離の区分が「ｒ４」のフィールドの頻度は「０.３」になる。
【００５６】
個別頻度ファイルに含まれる頻度は，ループ処理Ｌ１の対象となる閲覧者ＩＤの個別エリアファイルに含まれるレコードの数で除算することで求められるため，個別頻度ファイルに含まれる頻度の合計は「１」になる。
【００５７】
顔検出結果分析装置２の分析手段２１は，エリアファイルに含まれる閲覧者ＩＤすべてについてループ処理Ｌ１を実行し，閲覧者ＩＤ毎の個別頻度ファイルを生成すると，エリアマップに含まれるエリア毎に，エリアに対応する個別頻度ファイルの頻度の合計値を算出することで，エリアにいた閲覧者の総数をエリア毎に求め，閲覧者の総数がエリア毎に記述された閲覧者人数ファイルを生成する（Ｓ５）。
【００５８】
図１２は，閲覧者人数ファイルの内容を説明する図である。上述しているように，一人の閲覧者において，個別頻度ファイルに含まれる頻度の合計は必ず「１．０」になり，頻度の値「１．０」は一人の人数を示すことになるため，エリアマップに含まれるエリア毎に，エリアに対応する個別頻度ファイルの頻度の合計値を算出することで，エリアにいた閲覧者の総数を求めることができる。
【００５９】
例えば，図１２において，角度の区分が「θ５」で，撮影距離の区分が「ｒ５」のフィールドの値は「１４７.０」であるため，角度の区分が「θ５」で，撮影距離の区分が「ｒ５」で特定されるエリアにいた閲覧者の総数は１４７．０人となる。
【００６０】
顔検出結果分析装置２の分析手段２１は，閲覧者の総数がエリア毎に記述された閲覧者人数ファイルを生成すると，閲覧者人数ファイルに記載されている閲覧者の総数をエリアマップ上に可視化して表示する表示データを生成し，この手順を終了する。
【００６１】
図１３は，顔検出結果分析装置２の分析手段２１が生成する表示データの第１例を説明する図である。図１３では，閲覧者人数ファイルのフィールドの値，すなわち，エリアにいた閲覧者の総数に応じた色で，エリアマップの各エリアが塗りつぶされて表示される。
【００６２】
例えば，図１３で示している区分Ａに該当するエリアを塗りつぶす色を赤色，区分Ｂに該当するエリアを塗りつぶす色を橙色，区分Ｃに該当するエリアを塗りつぶす色を黄色，区分Ｄに該当するエリアを塗りつぶす色を緑色，区分Ｄに該当するエリアを塗りつぶす色を青色にし，エリアマップの各エリアにいた人数が分かり易く表示される。
【００６３】
図１４は，顔検出結果分析装置２の分析手段２１が生成する表示データの第２例を説明するである。図１４では，閲覧者人数ファイルの各フィールドの値，すなわち，エリアにいた閲覧者の総数に応じた高さの棒グラフが，エリアマップの各エリアに表示されている。
【００６４】
このように，ビデオカメラ４からの撮影距離が遠くなる程，閲覧者の顔は小さく撮影されるため，顔画像の検出枠の矩形サイズから撮影距離を求めることができ，閲覧者がいたエリアを特定することができる。閲覧者がいた前記エリアが特定できれば，エリアにいた閲覧者の総数をエリア毎に算出することができ，デジタルサイネージを閲覧している人物の人数が記載され，デジタルサイネージの前にいる人物を撮影するビデオカメラ４の撮影距離方向に広がったマップを生成することのできるようになる。
【００６５】
本発明では、顔検出結果分析装置２の分析手段２１のアルゴリズムを変更することで，顔検出結果分析装置２の分析手段２１が生成する表示データが持つ意味を変更することが可能になる。
【００６６】
例えば，１日や所定間隔（例えば，１時間毎）など日付・時刻に係わる区分毎に閲覧者人数ファイルを生成するアルゴリズムに変更すると，日付や時間帯毎の傾向を示す表示データを生成することができるようになる。
【００６７】
図１５は，日付や時間体毎の傾向を示す表示データを生成する手順を説明する図である。日付や時間体毎の傾向を示す表示データを生成するとき，図７のＳ１において，顔検出結果分析装置２の分析手段２１は，ループ処理Ｌ１の対象となる閲覧者ＩＤが含まれるログファイルのレコードの日時を参照して，日付や時間帯毎に係わる区分に従い該レコードを分類し，日付や時間帯毎に係わる区分を属性値として持つ個別ログファイルを日付や時間帯毎に係わる区分毎に生成する。
【００６８】
図１５では，日付や時間帯毎に係わる区分を曜日とし，曜日を属性値として持つ個別ログファイルとして，曜日の属性値が月曜から日曜までの７つの個別ログファイルが生成される。なお，図１５では，日付や時間帯毎に係わる区分を曜日にしているが，日付や時間帯毎に係わる区分は日付や時間帯であっても構わない。
【００６９】
そして，顔検出結果分析装置２の分析手段２１は，日付や時間帯毎に係わる区分を属性値としてもつ個別ログファイルを生成すると，該個別ログファイル毎に図７のＳ１以降の手順を実行し，日付や時間帯毎に係わる区分を属性値にもつ個別頻度ファイルを生成し，日付や時間帯毎に係わる区分毎に個別頻度ファイルに含まれる頻度を集計し，日付や時間帯毎に係わる区分毎に閲覧者人数ファイルを生成し，日付や時間帯の傾向を示す表示データを生成する。
【００７０】
日付や時間帯の傾向を示す表示データは，日付や時間帯に係わる区分毎に図１３及び図１４のような表示データを生成してもよく，また，日付や時間帯に係わる区分毎の閲覧人数の割合を示す棒グラフをエリアマップに表示させてもよい。
【００７１】
更に，顔検出結果分析装置２の分析手段２１のアルゴリズムを，閲覧時間に係わる区分毎に閲覧者人数ファイルを生成するアルゴリズムに変更すると，閲覧時間の傾向を示す表示データを生成することができるようになる。
【００７２】
図１６は，閲覧時間の傾向を示す表示データを生成する手順を説明する図である。顔検出結果分析装置２の分析手段２１は，閲覧時間の傾向を示す表示データを生成するとき，図７のＳ１において，個別ログファイルを生成するときに，ループ処理の対象となる閲覧者ＩＤで識別される閲覧者の閲覧時間を求め，閲覧者の区分を属性値として個別ログファイルに付与する。
【００７３】
閲覧者ＩＤで識別される閲覧者がデジタルサイネージを閲覧していた閲覧時間は，個別ログファイルの内容から算出できる。例えば，個別ログファイルの最初と最後のレコードに含まれる日時の差から，閲覧者ＩＤで識別される一人の閲覧者がデジタルサイネージを閲覧していた閲覧時間を算出することができる。
【００７４】
そして，顔検出結果分析装置２の分析手段２１は，閲覧時間の区分を属性値に持つ個別ログファイルを生成すると，閲覧時間の区分を属性値に持つ個別頻度ファイルを生成し，同じ属性値を持つ個別頻度ファイルを集計することで，閲覧時間の区分毎の閲覧人数ファイルを生成する。
【００７５】
閲覧時間の傾向を示す表示データは，閲覧時間に係わる区分毎に図１３及び図１４のような表示データを生成してもよく，また，閲覧時間に係わる区分毎の閲覧人数の割合を示す棒グラフをエリアマップに表示させてもよい。
【００７６】
また，顔検出結果分析装置２の分析手段２１のアルゴリズムを，円座標系における閲覧者の座標を算出し閲覧者の移動速度を求め，閲覧者の立ち止まりを判定するアルゴリズムに変更すると，閲覧者の立ち止まりの傾向を示す表示データを生成することができるようになる。
【００７７】
図１７は，閲覧者の立ち止まりの傾向を示す表示データを生成する手順を説明する図である。閲覧者の立ち止まりの傾向を示す表示データを生成するとき，顔検出結果分析装置２の分析手段２１は，図７のＳ１において個別ログファイルを生成すると，個別ログファイルに含まれるレコード毎に，顔画像の検出枠の位置及び矩形サイズを利用して，円座標系における座標値を演算し，円座標系における座標値を個別ログファイルに含まれるレコードに付与する。
【００７８】
円座標系における角度は，映像のフレームのX軸上における顔画像の検出枠の中心座標の位置と，ビデオカメラ４の視野角とから算出できる。また，円座標系における撮影距離は数式１から算出できる。
【００７９】
個別ログファイルに含まれるレコード毎に円座標系における座標値を付与すると，顔検出結果分析装置２の分析手段２１は，該個別ログファイルの２番目以下のレコードについて，該レコードの位置に閲覧者が移動したときの移動速度を求め，移動速度をレコードに付与する。
【００８０】
なお，閲覧者の移動速度は，閲覧者の移動距離を移動時間で除算することで算出できる。閲覧者の移動距離及び移動時間は数式２から求められる。
【数２】
0005391951.tif 000006
【００８１】
顔検出結果分析装置２の分析手段２１は，閲覧者の移動速度を求めると，閲覧者の移動速度が所定速度以下であるレコードが連続している数をカウントし，該数が所定回数以上ある場合，この個別ログファイルに対応する閲覧者は立ち止まりしたと判定し，閲覧者の移動速度が所定速度以下であるレコードが連続している箇所に対応するレコードを抜き出して，閲覧者が立ち止まりしたときの個別ログファイルを生成する。
【００８２】
そして，顔検出結果分析装置２の分析手段２１は，閲覧者が立ち止まりしたときの個別ログファイルを利用して個別頻度ファイルを生成した後，閲覧者が立ち止まりしたときの閲覧者人数ファイルを生成し，閲覧者が立ち止まりしたときの傾向を示す表示データを生成する。
【００８３】
なお，閲覧者が立ち止まりしたときの傾向を示す表示データは，図１３及び図１４のような表示データを生成すればよい。
【００８４】
以上、デジタルサイネージのディスプレイに注目する人物をターゲットとした実施形態を説明したが、本願発明はこれ以外に商品そのものを陳列した商品棚や電子的なディスプレイを用いない看板やPOPに注目する人物をターゲットにして用いることもできる。
【符号の説明】
【００８５】
１    デジタルサイネージシステム
２    広告効果分析装置
２０  顔検出手段
２１  分析手段
３    デジタルサイネージ
３ａ  ディスプレイ
４    ビデオカメラ
４ａ  ビデオカメラの視点
４ｂ  ビデオカメラの視野角
【図１】
0005391951.tif 000007
【図２】
0005391951.tif 000008
【図３】
0005391951.tif 000009
【図４】
0005391951.tif 000010
【図５】
0005391951.tif 000011
【図６】
0005391951.tif 000012
【図７】
0005391951.tif 000013
【図８】
0005391951.tif 000014
【図９】
0005391951.tif 000015
【図１０】
0005391951.tif 000016
【図１１】
0005391951.tif 000017
【図１２】
0005391951.tif 000018
【図１３】
0005391951.tif 000019
【図１４】
0005391951.tif 000020
【図１５】
0005391951.tif 000021
【図１６】
0005391951.tif 000022
【図１７】
0005391951.tif 000023