(57)【要約】【課題】ディスプレイを閲覧した人数だけでなく、ディスプレイの前にいる人数も計測することにより、何人中何人見ていたかという視認率を精度よく測定することのできる広告効果測定装置を提供する。【解決手段】広告効果測定装置２は，ビデオカメラ４から送信された映像に含まれるフレームを所定の間隔で解析し，フレームから人体領域を検出し，更に，人体領域から顔領域を検出することで，デジタルサイネージ３の広告効果の指標として，デジタルサイネージ３の視認率を少なくとも出力する。【選択図】図１
2011210238.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイの前にいる人物を撮影するカメラが撮影した映像を構成するフレームから、人体矩形領域の位置・サイズを検出する人体検出手段と，前記人体矩形領域内の画像から顔矩形領域の位置・サイズを検出する顔検出手段と，前記人体矩形領域内の画像の特徴量を用いて前後の前記フレームにおける前記人体矩形領域を対応付けることで前記人体矩形領域をトラッキングし，前記人体矩形領域の位置・サイズ，前記フレームが撮影された日時及び前記顔矩形領域の検出結果を含むトラッキングログを，トラッキング対象としている前記人体矩形領域毎に記憶するトラッキング手段と，前記トラッキングログを集計することで，トラッキング対象となった前記人体矩形領域の総数と，前記顔矩形領域が検出された前記人体矩形領域の数を求め，広告効果に係わる指標として視認率を出力する広告効果測定手段を備えたことを特徴とする広告効果測定装置。
【請求項２】
前記トラッキング手段は，色特徴量を利用する第１のトラッキング手法及び局所特徴量を利用する第２のトラッキング手法に対応し，前記第１のトラッキング手法により前記人体矩形領域をトラッキングした後，前記第１のトラッキング手法によりトラッキングできなかった前記人体矩形領域を前記第２のトラッキング手法によりトラッキングすることを特徴とする，請求項１に記載の広告効果測定装置。
【請求項３】
前記フレームと背景画像の差分を求めることで，前記背景画像以外の前景領域を示す前景マスクを生成する前景マスク生成手段を備え，前記人体検出手段は，前記フレームから検出した前記人体矩形領域毎に，前記人体矩形領域に対応する前記前景マスクの領域内における前記前景領域の割合を求め，前記割合が閾値未満の前記人体矩形領域を誤検出として扱い，前記トラッキング手段は，前記前景マスクを用いてマスク処理した後の前記フレームから前記人体矩形領域内の画像の特徴量を算出することを特徴とする，請求項１又は請求項２に記載の広告効果測定装置。
【請求項４】
前記人体検出手段は、指定のクラスタリング手法により、誤検出として扱わない前記人体矩形領域をクラスタに切り分けて、同じクラスタに属する該人体矩形領域を一つに統合する統合処理を実行することを特徴とする、請求項３に記載の広告効果測定装置。
【請求項５】
前記顔検出手段は，前記人体矩形領域内の画像を所定のサイズに正規化した後に前記顔矩形領域を検出することを特徴とする，請求項１から請求項４のいずれか一つに記載の広告効果測定装置。
【請求項６】
前記顔検出手段は、前記人体矩形領域内の画像を所定のサイズに正規化した後、正規化した後の前記人体矩形領域のサイズに応じて、顔検出開始時の探索サイズを決定することを特徴とする、請求項５に記載の広告効果測定装置。
【請求項７】
前記広告効果測定手段は，前記トラッキングログを前記人体矩形領域毎に集計することで，前記人体矩形領域をトラッキングしていた時間を求め，広告効果に係わる指標として滞留時間を前記人体矩形領域毎に出力することを特徴とする，請求項１から請求項６のいずれか一つに記載の広告効果測定装置。
【請求項８】
前記広告効果測定手段は，前記トラッキングログを前記人体矩形領域毎に集計することで，前記人体矩形領域から前記顔矩形領域を検出できた時間を求め，広告効果に係わる指標として閲覧時間を前記人体矩形領域毎に出力することを特徴とする，請求項１から請求項７のいずれか一つに記載の広告効果測定装置。
【請求項９】
前記広告効果測定手段は，前記トラッキングログを前記人体矩形領域毎に集計することで，広告効果に係わる指標として前記人体矩形領域の位置を前記人体矩形領域毎に出力することを特徴とする，請求項１から請求項８のいずれか一つに記載の広告効果測定装置。
【請求項１０】
前記顔検出手段が検出した前記顔矩形領域から人物属性を特定する人物属性特定手段を備え，前記トラッキング手段は，前記顔矩形領域が検出できた前記人体矩形領域の前記トラッキングログに前記人物属性を含ませ，前記広告効果測定手段は，前記トラッキングログを前記人体矩形領域毎に集計することで，広告効果に係わる指標として人物属性を前記人体矩形領域毎に出力することを特徴とする，請求項１から請求項９のいずれか一つに記載の広告効果測定装置。
【請求項１１】
請求項１から請求項１０のいずれか一つに記載の広告効果測定装置として，コンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，ディスプレイの広告効果を測定するための技術に関する。なお，ディスプレイとは、液晶ディスプレイやプロジェクタを用いて広告を表示する広告媒体であるデジタルサイネージ（Digital Signage）の他、ショーウインドウ、広告看板、店舗内の特定の商品陳列棚などを含む。
【背景技術】
【０００２】
液晶ディスプレイやプロジェクタなどのディスプレイを用いて広告を表示する広告媒体であるデジタルサイネージ（Digital Signage）が，様々な場所に設置され始めている。デジタルサイネージを用いることで，動画や音声を用いた豊かなコンテンツの提供が可能になるばかりか，デジタルサイネージの設置場所に応じた効率的な広告配信が可能になるため，今後，デジタルサイネージのマーケット拡大が期待されている。
【０００３】
広告主がデジタルサイネージを導入するのにあたり，テレビの視聴率，新聞，雑誌の販売部数といったように，客観的な広告効果を広告主に提示することが必要になり，デジタルサイネージの広告効果に係わる発明としては，例えば，特許文献１及び特許文献２が開示されている。
【０００４】
特許文献１で開示されている発明では，デジタルサイネージが設置されているエリアの映像に存在する人物の顔矩形領域を認識し、認識した顔矩形領域から人物の視線方向を抽出することで，デジタルサイネージの広告効果として，広告表示装置を閲覧している閲覧者の人数と、認識した顔矩形領域から得られる閲覧者の属性（例えば，性別，年齢）が測定される。
【０００５】
特許文献２で開示されている発明は，閲覧者の顔矩形領域を認識することなく，デジタルサイネージが設置されているエリアにいた人物をトラッキングし，該エリア内に滞在した滞在時間から広告表示装置に注目した人数を計測する発明である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８-１１２４０１号公報
【特許文献２】特許第３８００２５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
広告効果の重要な指標の一つとして，ディスプレイの前にいる人のうち，ディスプレイを閲覧した人の割合を示す視認率が考えられるが，特許文献１で開示されている発明では，人物の顔のみを検出しているため視認率を測定することはできない。
【０００８】
また，特許文献２で開示されている発明では，人物を頭上から撮影し、髪の毛と顔の明るさや目・口の特徴から人物が向いている方向を推定しているため，人がうつむき加減になっていると，正確な閲覧者数を特定できず，広告効果として計測される視認率などの指標の信憑性がなくなってしまう問題がある。
【０００９】
そこで、本発明は、ディスプレイを閲覧した人数だけでなく、ディスプレイの前にいる人数も計測することにより、何人中何人見ていたかという視認率を精度よく測定することのできる広告効果測定装置及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決する第１の発明は， ディスプレイの前にいる人物を撮影するカメラが撮影した映像を構成するフレームから、人体矩形領域の位置・サイズを検出する人体検出手段と，前記人体矩形領域内の画像から顔矩形領域の位置・サイズを検出する顔検出手段と，前記人体矩形領域内の画像の特徴量を用いて前後の前記フレームにおける前記人体矩形領域を対応付けることで前記人体矩形領域をトラッキングし，前記人体矩形領域の位置・サイズ，前記フレームが撮影された日時及び前記顔矩形領域の検出結果を含むトラッキングログを，トラッキング対象としている前記人体矩形領域毎に記憶するトラッキング手段と，前記トラッキングログを集計することで，トラッキング対象となった前記人体矩形領域の総数と，前記顔矩形領域が検出された前記人体矩形領域の数を求め，広告効果に係わる指標として視認率を出力する広告効果測定手段を備えたことを特徴とする広告効果測定装置である。
【００１１】
第１の発明によれば，前記広告効果測定装置に前記人体検出手段と前記顔検出手段を備えさせることで，前記広告効果測定装置が，前記フレームに含まれる人物毎に，この人物が前記ディスプレイを閲覧したか否かを示す前記トラッキングログを記憶することができ，前記トラッキングログを集計すれば，前記ディスプレイを閲覧した人数だけでなく、前記ディスプレイの前にいる人数も計測することにより、何人中何人見ていたかという視認率を測定することができる。
【００１２】
また，前記人体矩形領域内の画像から正面の前記顔矩形領域を検出するようにすることで，背景画像の一部を正面の前記顔矩形領域として誤検出することを防止でき，視認率の精度を高められるばかりか，顔検出に必要な処理時間も短縮することができる。
【００１３】
更に，第２の発明は，第１の発明に記載の広告効果測定装置であって，前記トラッキング手段は，色特徴量を利用する第１のトラッキング手法及び局所特徴量を利用する第２のトラッキング手法に対応し，前記第１のトラッキング手法により前記人体矩形領域をトラッキングした後，前記第１のトラッキング手法によりトラッキングできなかった前記人体矩形領域を前記第２のトラッキング手法によりトラッキングすることを特徴とする。
【００１４】
第２の発明によれば，前記第２のトラッキング手法を用いることで物体の形状を認識できるため，オクルージョンが発生し前記第１のトラッキング手法により前記人体矩形領域をトラッキングができなくなっても，トラッキング手法を前記第２のトラッキング手法によりトラッキングすることで，前記人体矩形領域をトラッキングできるようになる。
【００１５】
更に，第３の発明は，第１の発明又は第２の発明に記載の広告効果測定装置であって，前記フレームと背景画像の差分を求めることで，前記背景画像以外の前景領域を示す前景マスクを生成する前景マスク生成手段を備え，前記人体検出手段は，前記フレームから検出した前記人体矩形領域毎に，前記人体矩形領域に対応する前記前景マスクの領域内における前記前景領域の割合を求め，前記割合が閾値未満の前記人体矩形領域を誤検出として扱い，前記トラッキング手段は，前記前景マスクを用いてマスク処理した後の前記フレームから前記人体矩形領域内の画像の特徴量を算出することを特徴とする。
【００１６】
ディスプレイの前にいる人物を撮影するカメラの位置・アングルは固定で，カメラが撮影した映像には，時間的に移動しない背景画像が含まれることになり，第３の発明のように，前記前景マスクを用いて前記フレームから背景画像を除去できれば，精度よく人体矩形領域や顔矩形領域を検出できるようになる。
【００１７】
更に、第４の発明は、第３の発明に記載の広告効果測定装置であって、前記人体検出手段は、指定のクラスタリング手法により、誤検出として扱わない前記人体矩形領域をクラスタに切り分けて、同じクラスタに属する該人体矩形領域を一つに統合する統合処理を実行することを特徴とする。
【００１８】
上述した第４の発明によれば、一人の人物に対して複数の人体矩形領域が検出された場合であっても、同一の人物と判定できる複数の人体矩形領域を一つの人体矩形領域に統合できる。なお、第３の発明では、前景マスクを用いて前記人体矩形領域をクラスタに切り分けているため、同じクラスタに属する該人体矩形領域を一つに統合しても、人物の形状と類似しているオブジェクト（例えば、脚立、柱等）を人物と誤検出した領域が統合されることはない。
【００１９】
更に，第５の発明は，第１の発明から第４の発明のいずれか一つに記載の広告効果測定装置であって，前記顔検出手段は，前記人体矩形領域内の画像を所定のサイズに正規化した後に前記顔矩形領域を検出することを特徴とする。
【００２０】
上述した第５の発明によれば，検出された前記顔矩形領域のサイズが小さい場合であっても，前記人体矩形領域内の画像を所定サイズに正規化することで、顔検出対象領域が小さい場合は拡大処理されるため前記顔矩形領域を検出しやすくなる。
【００２１】
更に、第６の発明は、第５の発明に記載の広告効果測定装置であって、前記顔検出手段は、前記人体矩形領域内の画像を所定のサイズに正規化した後、正規化した後の前記人体矩形領域のサイズに応じて、顔検出開始時の探索サイズを決定することを特徴とする。
【００２２】
更に、第６の発明によれば、正規化する前の人体矩形領域のサイズが分かるため、そのサイズに応じて顔検出開始時の探索サイズを決定するようにすると、顔検出の処理速度の向上や、顔検出の誤検出を防止する効果が得られる。
【００２３】
更に，第７の発明は，第１の発明から第６の発明のいずれか一つに記載の広告効果測定装置であって，前記広告効果測定手段は，前記トラッキングログを前記人体矩形領域毎に集計することで，前記人体矩形領域をトラッキングしていた時間を求め，広告効果に係わる指標として滞留時間を前記人体矩形領域毎に出力することを特徴とする。
【００２４】
更に，第８の発明は，第１の発明から第７の発明のいずれか一つに記載の広告効果測定装置であって，前記広告効果測定手段は，前記トラッキングログを前記人体矩形領域毎に集計することで，前記人体矩形領域から前記顔矩形領域を検出できた時間を求め，広告効果に係わる指標として閲覧時間を前記人体矩形領域毎に出力することを特徴とする。
【００２５】
更に，第９の発明は，第１の発明から第８の発明のいずれか一つに記載の広告効果測定装置であって，前記広告効果測定手段は，前記トラッキングログを前記人体矩形領域毎に集計することで，広告効果に係わる指標として前記人体矩形領域の位置を前記人体矩形領域毎に出力することを特徴とする。
【００２６】
更に，第１０の発明は，第１の発明から第９の発明のいずれか一つに記載の広告効果測定装置であって，前記顔検出手段が検出した前記顔矩形領域から人物属性を特定する人物属性特定手段を備え，前記トラッキング手段は，前記顔矩形領域が検出できた前記人体矩形領域の前記トラッキングログに前記人物属性を含ませ、前記広告効果測定手段は，前記トラッキングログを前記人体矩形領域毎に集計することで，広告効果に係わる指標として人物属性を前記人体矩形領域毎に出力することを特徴とする。
【００２７】
また，広告効果に係わる指標としては，視認率ばかりでなく，第８の発明から第１０の発明のように，滞留時間，閲覧時間，人体矩形領域の位置及びディスプレイを閲覧している人の人物属性（年齢・性別など）を出力できるようにすることが望ましい。
【００２８】
更に，第１１の発明は，第１の発明から第１０の発明のいずれか一つに記載の広告効果測定装置として，コンピュータを機能させるためのコンピュータプログラムである。
【００２９】
なお、第１１の発明は，コンピュータプログラムに係わる発明である。
【発明の効果】
【００３０】
上述した発明によれば，ビデオカメラが撮影した映像に含まれる人体や顔を精度良く検出することのできる広告効果測定装置及びコンピュータプログラムを提供できる。
【図面の簡単な説明】
【００３１】
【図１】広告効果測定システムの構成を説明する図。
【図２】広告効果測定装置のハードウェアブロック図。
【図３】広告効果測定装置の機能ブロック図。
【図４】広告効果測定装置がフレームを解析する処理を説明するフロー図。
【図５】前景マスクを模式的に説明する図。
【図６】人体矩形領域の誤検出を説明する図。
【図７】トラッキング処理の詳細を説明する図。
【図８】マスク処理を説明する図。
【図９】第２のトラッキング手法を説明する図。
【図１０】第２のトラッキング手法の説明を補足する図。
【図１１】変形例１における人体検出処理を説明するフロー図。
【図１２】変形例１の効果を説明する図。
【図１３】変形例２における顔検出処理のフローを説明する図。
【図１４】変形例２の効果を説明する図。
【発明を実施するための形態】
【００３２】
ここから，本願発明の実施形態について，本願発明の技術分野に係わる当業者が，本願発明の内容を理解し，本願発明を実施できる程度に説明する。
【００３３】
本実施形態は，街頭などに設置されるデジタルサイネージ３の広告効果の測定に本発明を適用した形態で，図１は，広告効果測定装置２が設置された広告効果測定システム１の構成を説明する図である。
【００３４】
図１で図示したように，広告効果測定システム１には，街頭や店舗などに設置され，ディスプレイ３ａ（図１ではディスプレイ）を用いて広告映像を表示する広告媒体であるデジタルサイネージ３が含まれる。なお，デジタルサイネージ３には，広告映像を再生するディスプレイ３ａの他に，デジタルサイネージ３で再生する広告映像を制御するサーバが含まれるが，該サーバは図１には図示していない。
【００３５】
デジタルサイネージ３のディスプレイ３ａ上には，ディスプレイ３ａで再生されている広告映像を見ている人物の顔が撮影されるようにアングルが設定されたビデオカメラ４が設置されている。
【００３６】
このビデオカメラ４で撮影された映像は，ＵＳＢポートなどを利用して広告効果測定装置２に入力され，広告効果測定装置２は，ビデオカメラ４から送信された映像に含まれるフレームを所定の間隔で解析し，フレームから人体矩形領域を検出し，更に，人体矩形領域から顔矩形領域を検出することで，デジタルサイネージ３の広告効果の指標（例えば，デジタルサイネージ３の視認率）を出力する。
【００３７】
図１で図示した広告効果測定システム１を構成する装置において，デジタルサイネージ３及びビデオカメラ４は市販の装置を利用できるが，広告効果測定装置２は，従来技術にはない特徴を備えているため，ここから，広告効果測定装置２について詳細に説明する。
【００３８】
図２は，広告効果測定システム１を構成する広告効果測定装置２のハードウェアブロック図，そして，図３は，広告効果測定装置２の機能ブロック図である。
【００３９】
広告効果測定装置２は汎用のコンピュータを利用して実現することができ，汎用のコンピュータと同様なハードウェアを広告効果測定装置２は備え，図２では，該ハードウェアとして，ＣＰＵ２ａ（CPU: Central Processing Unit）と、ＢＩＯＳが実装されるＲＯＭ２ｂ（ROM: Read-Only Memory）と、コンピュータのメインメモリであるＲＡＭ２ｃ（RAM: Random Access Memory）と、外部記憶装置として大容量のデータ記憶装置２ｄ（例えば，ハードディスク）と，外部デバイスとデータ通信するための入出力インターフェース２ｅと、ネットワーク通信するためのネットワークインターフェース２ｆと、表示デバイス２ｇ（例えば，液晶ディスプレイ）と，文字入力デバイス２ｈ（例えば，キーボード）と，ポインティングデバイス２ｉ（例えば，マウス）を記載している。
【００４０】
広告効果測定装置２のデータ記憶装置２ｄには，ＣＰＵ２ａを動作させるためのコンピュータプログラムが実装され，このコンピュータプログラムによって，広告効果測定装置２には図３で図示した手段が備えられる。
【００４１】
図３で図示したように，広告効果測定装置２の入力は，ビデオカメラ４によって撮影された映像で，広告効果測定装置２の出力は，デジタルサイネージの広告効果の指標が記憶されたログファイルになる。
【００４２】
広告効果測定装置２には，ビデオカメラ４が撮影した映像のフレームを解析する手段として，処理対象となるフレームから背景画像を除去することで，処理対象となるフレームと背景画像の差分を求め，背景画像以外の領域である前景領域を示す前景マスクを生成する前景マスク生成手段２０と，フレームから人体矩形領域を検出する人体検出手段２１と，人体検出手段２１が検出した人体矩形領域に含まれる正面の顔矩形領域を検出する顔検出手段２２と，人体矩形領域内の画像から得られる特徴量を用いて人体矩形領域をトラッキングし，トラッキングの結果を示すトラッキングログを記憶するトラッキング手段２３を備えている。
【００４３】
更に，本実施形態において，広告効果測定装置２は，デジタルサイネージ３を閲覧した人物の属性（年齢や性別）を得るために，顔矩形領域に含まれる画像から人物属性（年齢や性別）を推定する人物属性算出手段２４を備えている。
【００４４】
また，広告効果測定装置２には，デジタルサイネージ３の広告効果を測定するために，トラッキング手段２３が記憶したトラッキングログの結果を集計したログファイルを出力する広告効果測定手段２５を備えている。本実施形態では，広告効果測定装置２の広告効果測定手段２５は，トラッキングログの結果を集計したログファイルとして，デジタルサイネージ３の視認率が記される視認率ログファイルと，デジタルサイネージ３の閲覧時間が記される閲覧時間ログファイルと，人体矩形領域の位置の軌跡が記される位置ログファイルと，デジタルサイネージを閲覧した人物の人物属性（例えば，年齢・性別）が記される人物属性ログファイルを出力する。
【００４５】
まず，ビデオカメラ４から送信された映像のフレームを広告効果測定装置２が解析する処理を説明しながら，ビデオカメラ４が撮影した映像のフレームを解析するために広告効果測定装置２に備えられた各手段について説明する。
【００４６】
図４は，広告効果測定装置２がフレームを解析する処理を説明するフロー図である。広告効果測定装置２は，ビデオカメラ４の映像を一定間隔毎に解析する処理を実行し，広告効果測定装置２は，ビデオカメラ４の映像を解析するとき，まず，処理対象となるＮフレームにおける前景マスクを生成する前景マスク生成処理Ｓ１を実行する。
【００４７】
広告効果測定装置２は，前景マスク生成処理Ｓ１を実行すると，前景マスクを利用して，Ｎフレームから人体矩形領域を検出する人体検出処理Ｓ２を実行した後，人体検出処理Ｓ２で検出された人体矩形領域から顔矩形領域を検出する顔検出処理Ｓ３を実行する。
【００４８】
そして，広告効果測定装置２は，顔検出処理Ｓ３を実行すると，顔検出処理Ｓ３で検出した顔矩形領域の人物属性を求める人物属性算出処理Ｓ４を実行した後，前景マスクを利用して，Ｎフレームの人体検出結果に基づき人体矩形領域の位置・サイズを更新することで人体矩形領域をトラッキングし，トラッキング結果を示すトラッキングログを記憶するトラッキング処理Ｓ５を実行し，この手順を終了する。
【００４９】
まず，前景マスク生成処理Ｓ１について説明する。前景マスク生成処理Ｓ１を担う手段は，広告効果測定装置２の前景マスク生成手段２０である。広告効果測定装置２が前景マスク生成処理Ｓ１を実行するのは，図１に図示しているように，デジタルサイネージ３のディスプレイ３ａの上部に設けられたビデオカメラ４の位置・アングルは固定であるため，ビデオカメラ４が撮影した映像には，時間的に移動しない背景画像が含まれることになり，処理対象となるフレームから背景画像を除去できれば，精度よく人体矩形領域や顔矩形領域を検出できるようになるからである。
【００５０】
本実施形態において，広告効果測定装置２の背景除去手段２０は，既存の技術である動的背景差分法を利用してＮフレームと背景画像の差分を求めることで，Ｎフレームにおいて背景画像ではない前景領域が示された前景マスクを生成する。
【００５１】
図５は，前景マスクを模式的に説明する図で，図５（ａ）は背景画像の一例，図５（ｂ）はＮフレームの一例，そして，図５（ｃ）は前景マスクの一例である。図５（ｃ）で図示した前景マスク５ｃを生成する際，図５（ｂ）で図示したＮフレーム５ｂにおいて，図５（ａ）で図示した背景画像５ａではない領域が前景領域５ｄとして求められ，図５（ｃ）で図示した前景マスク５ｃが生成される。
【００５２】
次に，広告効果測定装置２の人体検出手段２１によって実行される人体検出処理S２について説明する。Ｎフレームから人体矩形領域を検出する人体検出方法としては様々な方法が考案されており，人体検出方法は任意に選択可能であるが，本実施形態では，一例として，人体検出手段２１が実施する人体検出方法に，ＨＯＧ（Histogram of Oriented Gradients）特徴量を用いたAdaboostアルゴリズムによる人体検出法を採用している。
【００５３】
ＨＯＧ特徴量を用いたAdaboostアルゴリズムによる人体検出法では，矩形の人体検出枠の位置や矩形サイズをNフレーム内で変更しながら，人体検出枠を複数に分割するセル毎にエッジの勾配方向ヒストグラムであるＨＯＧ特徴量を求め，弱識別器を組み合わせて構成される識別器にこのＨＯＧ特徴量を代入し，識別器のスコアが閾値以上になる人体検出枠の位置・矩形サイズが人体矩形領域として求められる。なお，弱い識別器としてＨＯＧ（Histogram of Oriented Gradients）特徴を用いたAdaboostアルゴリズムによる人体検出法については，「N. Dalal and B. Triggs，"Histograms of Oriented Gradientstional Conference on Computer Vision，pp. 734-741，2003．」で述べれられている。
【００５４】
なお，人体検出処理S２において，前景マスク生成処理Ｓ１によって得られた前景マスクは，広告効果測定装置２の人体検出手段２１が，背景の一部を人体矩形領域として誤検出していないか確認するために利用される。
【００５５】
広告効果測定装置２の人体検出手段２１は，背景の一部の画像を人体矩形領域として誤検出していないか確認するとき，前景マスク処理Ｓ１で得られた前景マスクを参照し，Ｎフレームから検出された人体矩形領域毎に，前景マスクと人体矩形領域が重なり合う領域である前景領域の割合を特定し，前景領域の割合が閾値未満の人体矩形領域は誤検出であったと判断し，前景領域の割合が閾値未満の人体矩形領域はこれ以降の処理で利用されない。
【００５６】
図６は，人体矩形領域の誤検出を説明する図である。図６（ａ）はＮフレームの一例で，図６（ａ）で図示したＮフレーム６ａには2本の柱６ｂが含まれ，柱６ｂの形状は人体の形状と似ているため，図６（ａ）で図示したＮフレーム６ａにおいて，広告効果測定装置２の人体検出手段２１はこの柱６ｂを人体矩形領域６ｃとして誤検出している。
【００５７】
図６（ｂ）は前景マスクの一例で，図６（ｂ）の前景マスク６ｄにおいて，Ｎフレーム６ａの柱６ｂの人体矩形領域６ｃに対応する領域６ｅには前景領域が含まれていないため，広告効果測定装置２の人体検出手段２１は，柱６ｂに対応する人体矩形領域柱６ｃを誤検出として取り扱うことになる。
【００５８】
次に，広告効果測定装置２の顔検出手段２２によって実行される顔検出処理Ｓ３について説明する。広告効果測定装置２の顔検出手段２２は，広告効果測定装置２の人体検出手段２１がＮフレームから得た人体矩形領域毎に，人体矩形領域内の画像から正面の顔矩形領域を検出する処理を実行し，検出した顔矩形領域毎に，顔矩形領域の位置・矩形サイズが得られる。
【００５９】
このように，人体矩形領域内の画像から正面の顔矩形領域を検出すると，背景の一部を正面の顔矩形領域として誤検出することを防止できるばかりか，顔検出処理Ｓ３に必要な処理時間も短縮することができる。
【００６０】
本実施形態では，広告効果測定装置２の顔検出手段２２が実施する顔検出方法に，弱い識別器として白黒のHaar-Like特徴を用いたAdaboostアルゴリズムによる顔検出法を採用し，広告効果測定装置２の顔検出手段２２は，人体矩形領域内の画像から顔矩形領域を検出する際，人体矩形領域の画像のサイズを所定のサイズ（画素数で定められるサイズ）に正規化する処理を実行した後、識別器を用いて顔を検出する領域のサイズである探索サイズを予め決定されたサイズから開始し、識別器を用いて探索サイズの領域内から顔を検出する処理を、正規化後の人体矩形領域内で探索サイズの領域の位置を移動させながら行うことで、正規化した画像から探索サイズに対応する大きさの顔矩形領域を検出し、さらに探索サイズを徐々に大きくして、探索サイズを所定の最大サイズとするまでこれを繰り返すことにより、正規化後の人体矩形領域から様々な大きさの顔矩形領域をもれなく検出するなお，弱い識別器として白黒のHaar-Like特徴を用いたAdaboostアルゴリズムによる顔検出法については，「Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001.」，「Rainer Lienhart and Jochen Maydt, "An Extended Set of Haar-like Features for Rapid Object Detection", IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002.」で述べられている。
【００６１】
人体矩形領域の画像を所定サイズに正規化するのは，顔検出の未検出を少なくするためである。ビデオカメラ４から遠くにいる人物の顔矩形領域のサイズは，ビデオカメラ４の近くにいる人物の顔矩形領域のサイズよりも小さくなるため，顔矩形領域を検出しにくいが，人体矩形領域内の画像を所定サイズに正規化することで，ビデオカメラ４から遠くにいる人物の顔矩形領域のサイズは大きくなり，顔矩形領域を検出しやすくなるし，また，人体矩形領域に対して、明らかに小さいサイズを顔の探索対象から除外することができるため，安定して顔矩形領域を検出できるようになる。
【００６２】
なお，広告効果測定装置２の顔検出手段２２は，人体矩形領域内から顔矩形領域を検出できたとき，この人体矩形領域に対応する人物はデジタルサイネージ３を閲覧していたと判断できるため，この人体矩形領域に閲覧フラグを関連付けておく。
【００６３】
次に，広告効果測定装置２に備えられた人物属性算出手段２４によって実行される人物属性算出処理Ｓ４ついて説明する。人物属性算出処理Ｓ４において，広告効果測定装置２に備えられた人物属性算出手段２４は，顔検出処理Ｓ３で得られた顔矩形領域毎に，所定のアルゴリズムに従い顔矩形領域内の画像を解析することで人物属性（年齢・性別）を算出し，算出した人物属性を顔画像が検出された人体矩形領域に関連付けておく。
【００６４】
顔矩形領域から人物属性（年齢・性別）を推定する手法は，タバコの自動販売機などでも広く採用されており，例えば，特開２００７―０８００５７号公報の技術を利用できる。
【００６５】
次に，広告効果測定装置２のトラッキング手段２３によって実行されるトラッキング処理Ｓ５について説明する。
【００６６】
人体矩形領域のトラッキング手法としては様々な手法が考案されているが，本実施形態において，広告効果測定装置２のトラッキング手段２３は，人体矩形領域内の画像から算出される特徴量として色特徴量を利用する第１のトラッキング手法と，局所特徴量を利用する第２のトラッキング手法を組み合わせて人体矩形領域のトラッキングを行う。
【００６７】
色特徴量を利用する第１のトラッキング手法と，局所特徴量を利用する第２のトラッキング手法を組み合わせて，人体矩形領域のトラッキングを行うのは，人体同士が重なり合うオクルージョンが発生すると人体矩形領域を検出することができないため，色特徴量を利用する第１のトラッキング手法のみでは，オクルージョンが発生すると人体矩形領域を見失ってしまうからである。
【００６８】
本実施形態において，前後のフレームにおける人体矩形領域を対応付けするために，広告効果測定装置２のトラッキング手段２３によって，トラッキング対象となる人体矩形領域毎にＨｕｍａｎオブジェクトが生成され， このＨｕｍａｎオブジェクトの属性値には，Ｈｕｍａｎオブジェクトを識別するために付与されるＨｕｍａｎＩＤと，Ｈｕｍａｎオブジェクトに対応する人体矩形領域の位置・サイズと，人体色特徴量が少なくとも含まれる。
【００６９】
図７は，トラッキング処理Ｓ４の詳細を説明する図である。処理対象となるＮフレームを処理するとき，広告効果測定装置２のトラッキング手段２３は，まず，前景マスク生成処理Ｓ１で得られたＮフレームの前景マスクを用いてＮフレームにマスクをかけるマスク処理（Ｓ１０）を実行する。
【００７０】
図８は，マスク処理（Ｓ１０）を説明する図である。図８（ａ）ではＮフレームを例示し，図８（ｂ）ではＮフレームの前景マスクを模式的に例示し，図８（ｃ）ではマスク処理後のＮフレームを例示している。
【００７１】
図８（ｂ）で図示した前景マスク７ｂを用いて，図８（ａ）で図示したＮフレーム７ａにマスク処理をかけることで，Ｎフレーム７ａの背景画像が除去され，人体画像のみが抽出され，図８で図示したマスク処理後のＮフレーム７ｃが得られる。なお，図８において点線で図示している矩形は人体矩形領域を示し，ビデオカメラ４で撮影された絵柄ではない。
【００７２】
広告効果測定装置２のトラッキング手段２３は，マスク処理（Ｓ１０）を実行すると，マスク処理後のNフレームを用いて，色特徴量を用いる第１のトラッキング手法による第１のトラッキング処理を実行する（Ｓ１１）。
【００７３】
色特徴量を用いる第１のトラッキング手法による第１のトラッキング処理では，Ｎフレームで検出された人体矩形領域内の画像から算出された色特徴量を用いて，Ｎフレームの時点で既に生成されているＨｕｍａｎオブジェクトにＮフレームで検出された人体矩形領域を対応付ける処理が行われる。
【００７４】
第１のトラッキング処理において，Ｎフレームで検出された人体矩形領域が対応付けられＨｕｍａｎオブジェクトに関しては，Ｈｕｍａｎオブジェクトに対応付けられた人体矩形領域の位置・サイズに，Ｈｕｍａｎオブジェクトの位置・サイズが更新され，更に，Ｈｕｍａｎオブジェクトに対応付けられた人体矩形領域の切り出し画像から得られる色特徴量に，Ｈｕｍａｎオブジェクトの色特徴量を更新する処理が実行される。
【００７５】
なお，色特徴量を用いて前後のフレームにおける人体矩形領域を対応付けするとき，人体矩形領域の色ヒストグラムを求めヒストグラムマッチングにより，前後のフレームにおける人体矩形領域を対応付けするとよい。ヒストグラムマッチングするときの指標としては，相関、カイ二乗、交差などが挙げられるが、数式１で示されるBhattacharyya距離をこの指標として採用すると，マッチング精度が高くなる。
【数１】
2011210238.tif 000003
【００７６】
Bhattacharyya距離を利用するとき，色特徴量として色ヒストグラムが用いられ，Ｎフレームの時点で既に生成されているＨｕｍａｎオブジェクト毎に，Ｎフレームから検出された人体矩形領域から算出された色ヒストグラムとＨｕｍａｎオブジェクトの色ヒストグラム間の類似度を表すBhattacharyya距離を求め，Bhattacharyya距離が最も小さいＨｕｍａｎオブジェクトに人体矩形領域を対応付けする。
【００７７】
色特徴量を用いた第１のトラッキング手法による第１のトラッキング処理（Ｓ１１）を行うと，広告効果測定装置２のトラッキング手段２３は，第１のトラッキング処理の結果を示すトラッキングログを記憶する（Ｓ１２）。
【００７８】
広告効果測定装置２のトラッキング手段２３は，第１のトラッキング処理の結果を示すトラッキングログを，第１のトラッキング処理において位置・サイズが更新されたＨｕｍａｎオブジェクト毎に生成し，このトラッキングログには，このＨｕｍａｎオブジェクトのＨｕｍａｎＩＤ，Ｎフレームが撮影された日時，更新後のＨｕｍａｎオブジェクトの位置・矩形サイズを含ませる。
【００７９】
また，第１のトラッキング処理において，Ｈｕｍａｎオブジェクトに対応付けられた人体矩形領域に閲覧フラグが関連付けられているとき，このＨｕｍａｎオブジェクトのトラッキングログに閲覧フラグと人物属性を含ませる。
【００８０】
第１のトラッキング処理の結果を示すトラッキングログを記憶すると，広告効果測定装置２のトラッキング手段２３は，  第１のトラッキング処理で位置・サイズが更新されなかったＨｕｍａｎオブジェクトがあるか確認し（Ｓ１３），第１のトラッキング処理で位置・サイズが更新されなかったＨｕｍａｎオブジェクトがあれば，広告効果測定装置２のトラッキング手段２３は，局所特徴量を用いる第２のトラッキング手法にトラッキング手法を切り替え，第１のトラッキング処理で位置・サイズが更新されなかったＨｕｍａｎオブジェクトを対象として，第２のトラッキング手法による第２のトラッキング処理を実行する（Ｓ１４）。
【００８１】
なお，第１のトラッキング処理で位置・サイズが更新されなかったＨｕｍａｎオブジェクトが無ければ，第２のトラッキング処理を実行することなく，図７のＳ１６に進む。
【００８２】
図９は，第２のトラッキング手法を説明する図で，図９（ａ）にＮ−１フレームの一例を図示し，図９（ｂ）にＮフレームの一例を図示している。なお，図９（ａ）で図示したＮ−１フレーム８ａでは５人の人物が人体検出されているが，図９（ｂ）で図示したＮフレーム８ｂでは，真ん中の人物がおじぎをしている格好になっているため，真ん中の人物が人体検出されていない。
【００８３】
局所特徴量を用いる第２のトラッキング手法としては，上述したＨＯＧ特徴量を用いたトラッキング手法を利用することが望ましい。ＨＯＧ特徴量を用いたトラッキング手法を第２のトラッキング手法に利用するとき，Ｎフレーム内において、第１のトラッキング処理で位置・サイズが更新されなかったＨｕｍａｎオブジェクトに対応する人体矩形領域は、Ｎフレームにおいては該Ｈｕｍａｎオブジェクトの位置の近傍にあるとの仮定に基づき、該Ｈｕｍａｎオブジェクトのサイズに等しい探索窓８ｅを設定し，該Ｈｕｍａｎオブジェクトの位置（図９（ａ），（ｂ）の位置８ｃ）を探索窓８ｅの始点として、探索窓８ｅの始点から得られる所定の探索領域８ｄ内で探索窓８ｅの位置を変更しながら，該Ｈｕｍａｎオブジェクトに対応する人体矩形領域を探索する。
【００８４】
図１０は，第２のトラッキング手法の説明を補足する図である。図１０（ａ）は，第１のトラッキング処理で位置・サイズが更新されなかったＨｕｍａｎオブジェクトに対応するＮ−１フレームの人体矩形領域から求められた輝度勾配９ａ，ＨＯＧ特徴量９ｂ及び勾配ヒストグラム９ｃを図示し，図１０（ｂ）は，該Ｈｕｍａｎオブジェクトの近傍にある探索窓８ｅ内から求められた輝度勾配９ｄ，ＨＯＧ特徴量９ｅ及び勾配ヒストグラム９ｆを図示している。
【００８５】
図１０（ａ），（ｂ）の輝度勾配９ａ，９ｄを比較すればわかるように，図１０（ａ），（ｂ）では人体の頭部では差があるものの，人体の胴部では差が少なく無く，人体の胴部のＨＯＧ特徴量９ｂ，９ｅ及び勾配ヒストグラム９ｃ，９ｆにも差は少ない。
【００８６】
そこで，探索領域８ｄ内で探索窓８ｅの位置を変更しながら，第１のトラッキング処理で位置・サイズが更新されなかったＨｕｍａｎオブジェクトに対応する人体矩形領域を探索するとき，広告効果測定装置２のトラッキング手段２３は，相関、カイ二乗、交差， Bhattacharyya距離などを指標として，探索窓８ｅに含まれるセルごとにＨＯＧ特徴量から得られる勾配ヒストグラムの類似度を求め、探索窓８ｅ内における類似度の値を合算した値が閾値を越える位置を探索とする。なお、探索窓８ｅ内における類似度の値を合算した値が閾値を越える位置が一つの場合は，その位置をＮフレーム８ｂにおける人体矩形領域の位置とし，また，探索範囲内にて閾値を越えた箇所が複数ある場合、その中で最も高い類似度が求められた位置をＮフレーム８ｂにおける人体矩形領域の位置とする。
【００８７】
そして，第２のトラッキング手法を用いてＮフレームにおける人体矩形領域の位置を検索できた場合は，広告効果測定装置２のトラッキング手段２３は，第１のトラッキング処理で位置・サイズが更新されなかったＨｕｍａｎオブジェクトの位置のみをこの検索窓の位置に更新し，Ｈｕｍａｎオブジェクトのサイズ及び色特徴量は更新しない。
【００８８】
局所特徴量を用いる第２のトラッキング手法による第２のトラッキング処理を行うと，広告効果測定装置２のトラッキング手段２３は，第２のトラッキング処理の結果を示すトラッキングログを記憶する（Ｓ１５）。
【００８９】
広告効果測定装置２のトラッキング手段２３は，第２のトラッキング処理の結果を示すトラッキングログを，第２のトラッキング処理において位置・サイズが更新されたＨｕｍａｎオブジェクト毎に生成し，このトラッキングログには，このＨｕｍａｎオブジェクトのＨｕｍａｎＩＤ，Ｎフレームが撮影された日時，更新後のＨｕｍａｎオブジェクトの位置・矩形サイズを含ませる。
【００９０】
また，第２のトラッキング処理において，Ｈｕｍａｎオブジェクトに対応付けられた人体矩形領域に閲覧フラグが関連付けられているとき，このＨｕｍａｎオブジェクトのトラッキングログに閲覧フラグと人物属性を含ませる。
【００９１】
なお，第１のトラッキング処理及び第２のトラッキング処理を実行しても，Ｎフレームの人体矩形領域が対応付けられなかったＨｕｍａｎオブジェクトがあれば，このＨｕｍａｎオブジェクトに対応する人体矩形領域は，ビデオカメラ４の撮影領域外に移動したと判断し，トラッキング対象外とする。
【００９２】
第２のトラッキング処理の結果を示すトラッキングログを記憶すると，Ｈｕｍａｎオブジェクトに対応付けられなかった人体矩形領域がＮフレームにあるか確認し（Ｓ１６），この人体矩形領域があれば，この人体矩形領域に対応するＨｕｍａｎオブジェクトを新規に生成し，この人体矩形領域をトラッキング対象に新規に追加する（Ｓ１７）。
【００９３】
なお，新規に生成したＨｕｍａｎオブジェクトの位置・矩形サイズには，新規に生成したＨｕｍａｎオブジェクトに対応付けられた人体矩形領域の位置・矩形サイズが用いられる。また，広告効果測定装置２のトラッキング手段２３は，Ｈｕｍａｎオブジェクトに対応付けられなかった人体矩形領域内の画像から色特徴量を求め，新規に生成したＨｕｍａｎオブジェクトに付与する。
【００９４】
広告効果測定装置２のトラッキング手段２３は，新規にＨｕｍａｎオブジェクトを生成すると，新規に生成したＨｕｍａｎオブジェクトのトラッキングログを記憶した後（Ｓ１８），図７の手順は終了する。
【００９５】
広告効果測定装置２のトラッキング手段２３は，新規に生成したＨｕｍａｎオブジェクト毎にトラッキングログを生成し，このトラッキングログには，このＨｕｍａｎオブジェクトのＨｕｍａｎＩＤ，Ｎフレームが撮影された日時，Ｈｕｍａｎオブジェクトの位置・矩形サイズを含ませる。
【００９６】
また，新規に生成したＨｕｍａｎオブジェクトに対応付けられた人体矩形領域に閲覧フラグが関連付けられているとき，このＨｕｍａｎオブジェクトのトラッキングログに閲覧フラグと人物属性を含ませる。
【００９７】
なお，図７のＳ１６において，第１のトラッキング処理で位置・サイズが更新されなかったＨｕｍａｎオブジェクトが無ければ，新規にＨｕｍａｎオブジェクトを生成することなく，図７の手順は終了する。
【００９８】
最後に，広告効果測定装置２の広告効果測定手段２５について説明する。広告効果測定装置２の広告効果測定手段２５は，トラッキング手段２３によって記憶されたトラッキングログを集計処理し，集計処理の結果を記したログファイルを出力する手段である。
【００９９】
本実施形態では，広告効果測定装置２の広告効果測定手段２５は，デジタルサイネージ３の視認率を出力する集計処理１と，デジタルサイネージ３の前にいる滞留時間を出力する集計処理２と，デジタルサイネージ３の閲覧時間を出力する集計処理３と，人体矩形領域の位置の軌跡を出力する集計処理４と，デジタルサイネージを閲覧した人物の人物属性（例えば，年齢・性別）を出力する集計処理５に対応している。
【０１００】
デジタルサイネージ３の視認率を出力する集計処理１は，一定期間（例えば，１時間）が経過する毎に実行され，広告効果測定装置２の広告効果測定手段２５は，日時が一定期間に含まれるトラッキングログを対象とし，デジタルサイネージ３の前にいた総人数と，デジタルサイネージ３の閲覧者の人数と，閲覧者の人数を総人数で除算した視認率を含む視認率ログファイルを出力する。
【０１０１】
デジタルサイネージ３の前にいた総人数は，対象となるトラッキングログに記されたＨｕｍａｎＩＤの数を，ＨｕｍａｎＩＤが重複することなくカウントすることで得られる。また，デジタルサイネージ３の閲覧者の人数は，閲覧フラグが含まれるトラッキングログのみを対象とし，トラッキングログに記されたＨｕｍａｎＩＤの数を，ＨｕｍａｎＩＤが重複することなくカウントすることで得られる。
【０１０２】
デジタルサイネージ３の前にいる滞留時間を出力する集計処理２は，トラッキング対象外となったＨｕｍａｎオブジェクトが発生する毎に実行され，広告効果測定装置２の広告効果測定手段２５は，トラッキング対象外となったＨｕｍａｎオブジェクトのＨｕｍａｎＩＤ，トラッキング開始日時及びトラッキング終了日時が含まれる滞留時間ログファイルを出力する。
【０１０３】
この集計処理２では，トラッキング対象外となったＨｕｍａｎオブジェクトのＨｕｍａｎＩＤを含むトラッキングログの日時が参照され，最も古い日時がトラッキング開始日時とし利用され，最も新しい日時がトラッキング終了日時として利用される。
【０１０４】
デジタルサイネージ３の閲覧時間を出力する集計処理３は，トラッキング対象外となったＨｕｍａｎオブジェクトが発生する毎に実行され，広告効果測定装置２の広告効果測定手段２５は，トラッキング対象外となったＨｕｍａｎオブジェクトのＨｕｍａｎＩＤ，閲覧開始日時及び閲覧終了日時が含まれる滞留時間ログファイルを出力する。
【０１０５】
この集計処理３では，トラッキング対象外となったＨｕｍａｎオブジェクトのＨｕｍａｎＩＤを含むトラッキングログの中から，閲覧フラグが含まれるトラッキングログが対象とされ，このトラッキングログに含まれる日時の中から，最も古い日時が閲覧開始日時とし利用され，最も新しい日時が閲覧終了日時とし利用される。
【０１０６】
人体矩形領域の位置の軌跡を出力する集計処理４は，トラッキング対象外となったＨｕｍａｎオブジェクトが発生する毎に実行され，広告効果測定装置２の広告効果測定手段２５は，トラッキング対象外となったＨｕｍａｎオブジェクトのＨｕｍａｎＩＤを含むトラッキングログを一つにまとめた位置ログファイルを出力する。
【０１０７】
デジタルサイネージを閲覧した人物の人物属性（例えば，年齢・性別）を出力する集計処理５は，一定期間（例えば，１日）が経過する毎に実行され，広告効果測定装置２の広告効果測定手段２５は，日時が一定期間に含まれるトラッキングログに含まれるＨｕｍａｎＩＤと人物属性の対を含む人物属性ログファイルを出力する。
【０１０８】
この集計処理５では，日時が一定期間に含まれるトラッキングログの中から，閲覧フラグを含むトラッキングログが対象とされ，このトラッキングログに含まれるＨｕｍａｎＩＤと人物属性の対が，ＨｕｍａｎＩＤが重複したものを除いて抽出される。
【０１０９】
（変形例１）
ここから、上述した実施形態の変形例について説明する。図４の人体検出処理Ｓ２において、一人の人物に対して複数の人体矩形領域が検出されるケースがあるため、変形例１は、同一の人物と判定できる複数の人体矩形領域を一つの人体矩形領域に統合するようにした実施形態である。
【０１１０】
同一の人物と判定できる複数の人体矩形領域を一つの人体矩形領域に統合するようにした変形例１においては、上述した実施形態と、図４の人体検出処理Ｓ２の内容が異なるため、変形例１における人体検出処理について説明する。
【０１１１】
まず、変形例１における人体検出処理について説明する。図１１は、変形例１における人体検出処理を説明するフロー図である。変形例１における人体検出処理において、変形例１に係る広告効果測定装置２の人体検出手段２１は、人体検出処理を実行する際、まず、上述した実施形態と同様に、ＨＯＧ特徴量を用いたAdaboostアルゴリズムによる人体検出法により、Ｎフレーム内における人体矩形領域を全て検出する（S２０）。
【０１１２】
次に、変形１に係る広告効果測定装置２の人体検出手段２１は、上述した実施形態と同様に、図４の前景マスク処理Ｓ１で得られた前景マスクを参照し，Ｎフレームから検出された人体矩形領域の中から、誤検出して扱う人体矩形領域を特定する処理を行い（Ｓ２１）、誤検出して扱う人体矩形領域はこれ以降の処理で利用しない。
【０１１３】
次に、変形例１に係る広告効果測定装置２の人体検出手段２１は、指定のクラスタリング手法により、誤検出して扱われない複数の人体矩形領域をクラスタに切り分けて、同じクラスタに属する該人体矩形領域を一つに統合する統合処理を実行して（Ｓ２２）、図１１のフローは終了する。
【０１１４】
統合処理において、変形例に係る広告効果測定装置２の人体検出手段２１は、同一の人物と判定できる複数の人体矩形領域をクラスタリングする手法として、数式２で示したMeanShiftクラスタリングを用い、誤検出と特定されなかった人体矩形領域それぞれについて、該人体矩形領域の中心座標からMeanShift Vectorを算出することで、該人体矩形領域をMeanShiftクラスタリングし、クラスタリングした後の該人体矩形領域それぞれの重心を求める。
【数２】
2011210238.tif 000004
【０１１５】
そして、変形例１に係る広告効果測定装置２の人体検出手段２１は、誤検出と特定されなかった人体矩形領域それぞれについてクラスタリングした後の重心を求めると、Nearest Neighbor法(最近傍決定則）により、該重心を統合する処理を行うことで、同一の人物と判定できる複数の人体矩形領域を一つの人体矩形領域に統合する。なお、統合された後の人体矩形領域の位置は、Nearest Neighbor法により重心が統合された位置になり、人体矩形領域の矩形サイズは、重心が統合された人体矩形領域の矩形サイズを統合した矩形サイズになる。
【０１１６】
図１１で図示したフローにおいて、誤検出として扱う人体矩形領域を特定する処理を行った後に、同一の人物と判定できる複数の人体矩形領域を一つの人体矩形領域に統合する統合処理を実行することで、人物の形状と類似しているオブジェクト（例えば、梯子、柱等）を人体矩形領域と誤検出した際、該オブジェクトに係る領域が統合されるのを防止できる効果が得られる。
【０１１７】
図１２は、変形例１の効果を説明する図である。図１２（ａ）は、図１１の人体検出処理において検出された人体矩形領域を図示している。図１２（ａ）では、人物の形状と類似しているオブジェクトとして脚立１０ｄを図示し、図１２（ａ）には、人物１０ａ〜ｃを検出した人体矩形領域１１ａ〜ｃと、脚立１０ｄを誤検出した人体矩形領域１１ｄが含まれている。
【０１１８】
図１２（ｂ）は、図１２（ａ）の状態で統合処理を行ったときの図で、図１２（ａ）の状態から統合処理を行うと、図１２の人物１０ｃに関しては、人物１０ｃと脚立１０ｄの距離が近いため、人物１０ｃに係る人体矩形領域１１ｃと脚立１０ｄに係る人体矩形領域１１ｄが含むように人体矩形領域が統合されてしまう。
【０１１９】
図１２（ｃ）は、誤検出として扱われない人体矩形領域を図示している。脚立１０ｄに係る人体矩形領域１１ｄにおいては、前景マスクと人体矩形領域が重なり合う領域である前景領域の割合が少なくなるため、脚立１０ｄに係る人体矩形領域１１ｄは誤検出として扱われることになり、誤検出として扱われない人体矩形領域は、人物１０ａ〜ｃを検出した人体矩形領域１１ａ〜ｃになるため、統合処理を行ったとしても、人物の形状と類似しているオブジェクトの影響を受けずに済むようになる。
【０１２０】
（変形例２）
次に、変形例２について説明する。変形例２は、正規化した後の人体矩形領域のサイズが分かるため、正規化した後の人体矩形領域のサイズに応じて、顔検出開始時の探索サイズを決定するようにした実施形態である。
【０１２１】
上述した実施形態では、人体矩形領域の画像を所定サイズに正規化してから顔検出を行い、顔検出開始時の探索サイズを大幅に変更する必要をなくしているが、システムを設置する際、システムの設置状況に合わせて正規化した後の人体矩形領域のサイズは調整されるため、正規化した後の人体矩形領域のサイズに応じて顔検出開始時の探索サイズを自動的に決定できるようにすると、顔検出の処理速度の向上や、顔検出の誤検出を防止する効果が期待できる。
【０１２２】
図１３は、変形例２における顔検出処理のフローを説明する図である。変形例２においても、上述した実施形態と同様に、変形例２に係る広告効果測定装置２の顔検出手段２２は、顔検出の対象となる人体矩形領域を所定サイズに正規化する処理を実行した後（Ｓ３０）、正規化した後の人体矩形領域のサイズに応じて、顔検出開始時の探索サイズを演算する（Ｓ３１）。例えば、正規化した後の人体矩形領域のサイズと顔検出開始時の探索サイズの比率を予め設定しておき、正規化した後の人体矩形領域のサイズに該比率を乗算することで、顔検出を開始する際の探索サイズの最低サイズを演算できる。そして、変形例２に係る広告効果測定装置２の顔検出手段２２は、顔検出開始時の探索サイズを演算すると、演算したサイズの探索サイズから開始して、正規化した人物矩形領域から顔矩形領域を検出する（Ｓ３２）。
【０１２３】
図１４は、変形例２の効果を説明する図で、顔検出開始時の識別器のサイズを演算する処理の有無に応じた処理速度を示している。図１４は、1280×280の画像中において、５名の被写体を等間隔に並ばせ、カメラより６ｍの位置から、徐々に近づいてくる映像に対して処理をした結果である。図１４に図示したように、正規化する前の人体矩形領域のサイズに応じて、顔検出開始時の探索サイズを演算することで、１秒間に処理できるフレーム数が約２倍になる効果が得られた。
【符号の説明】
【０１２４】
１    広告効果測定システム
２    広告効果測定装置
２０  背景除去手段
２１  人体検出手段
２２  顔検出手段
２３  トラッキング手段
２４  人物属性算出手段
２５  広告効果測定手段
３    デジタルサイネージ
３ａ  ディスプレイ
４    ビデオカメラ
【図１】
2011210238.tif 000005
【図２】
2011210238.tif 000006
【図３】
2011210238.tif 000007
【図４】
2011210238.tif 000008
【図５】
2011210238.tif 000009
【図６】
2011210238.tif 000010
【図７】
2011210238.tif 000011
【図８】
2011210238.tif 000012
【図９】
2011210238.tif 000013
【図１０】
2011210238.tif 000014
【図１１】
2011210238.tif 000015
【図１２】
2011210238.tif 000016
【図１３】
2011210238.tif 000017
【図１４】
2011210238.tif 000018