"ディスプレイの前にいる人物を撮影するカメラが撮影した映像を構成するフレームから、人体矩形領域の位置サイズを検出する人体検出手段と,前記人体矩形領域内の画像から顔矩形領域の位置サイズを検出する顔検出手段と,前記人体矩形領域内の画像の特徴量を用いて前後の前記フレームにおける前記人体矩形領域を対応付けることで前記人体矩形領域をトラッキングし,前記人体矩形領域の位置サイズ,前記フレームが撮影された日時及び前記顔矩形領域の検出結果を含むトラッキングログを,トラッキング対象としている前記人体矩形領域毎に記憶するトラッキング手段と,前記トラッキングログを集計することで,トラッキング対象となった前記人体矩形領域の総数と,前記顔矩形領域が検出された前記人体矩形領域の数を求め,広告効果に係わる指標として視認率を出力する広告効果測定手段を備えたことを特徴とする広告効果測定装置。前記トラッキング手段は,色特徴量を利用する第1のトラッキング手法及び局所特徴量を利用する第2のトラッキング手法に対応し,前記第1のトラッキング手法により前記人体矩形領域をトラッキングした後,前記第1のトラッキング手法によりトラッキングできなかった前記人体矩形領域を前記第2のトラッキング手法によりトラッキングすることを特徴とする,請求項1に記載の広告効果測定装置。前記フレームと背景画像の差分を求めることで,前記背景画像以外の前景領域を示す前景マスクを生成する前景マスク生成手段を備え,前記人体検出手段は,前記フレームから検出した前記人体矩形領域毎に,前記人体矩形領域に対応する前記前景マスクの領域内における前記前景領域の割合を求め,前記割合が閾値未満の前記人体矩形領域を誤検出として扱い,前記トラッキング手段は,前記前景マスクを用いてマスク処理した後の前記フレームから前記人体矩形領域内の画像の特徴量を算出することを特徴とする,請求項1又は請求項2に記載の広告効果測定装置。前記人体検出手段は、指定のクラスタリング手法により、誤検出として扱わない前記人体矩形領域をクラスタに切り分けて、同じクラスタに属する該人体矩形領域を一つに統合する統合処理を実行することを特徴とする、請求項3に記載の広告効果測定装置。前記顔検出手段は,前記人体矩形領域内の画像を所定のサイズに正規化した後に前記顔矩形領域を検出することを特徴とする,請求項1から請求項4のいずれか一つに記載の広告効果測定装置。前記顔検出手段は、前記人体矩形領域内の画像を所定のサイズに正規化した後、正規化した後の前記人体矩形領域のサイズに応じて、顔検出開始時の探索サイズを決定することを特徴とする、請求項5に記載の広告効果測定装置。前記広告効果測定手段は,前記トラッキングログを前記人体矩形領域毎に集計することで,前記人体矩形領域をトラッキングしていた時間を求め,広告効果に係わる指標として滞留時間を前記人体矩形領域毎に出力することを特徴とする,請求項1から請求項6のいずれか一つに記載の広告効果測定装置。前記広告効果測定手段は,前記トラッキングログを前記人体矩形領域毎に集計することで,前記人体矩形領域から前記顔矩形領域を検出できた時間を求め,広告効果に係わる指標として閲覧時間を前記人体矩形領域毎に出力することを特徴とする,請求項1から請求項7のいずれか一つに記載の広告効果測定装置。前記広告効果測定手段は,前記トラッキングログを前記人体矩形領域毎に集計することで,広告効果に係わる指標として前記人体矩形領域の位置を前記人体矩形領域毎に出力することを特徴とする,請求項1から請求項8のいずれか一つに記載の広告効果測定装置。前記顔検出手段が検出した前記顔矩形領域から人物属性を特定する人物属性特定手段を備え,前記トラッキング手段は,前記顔矩形領域が検出できた前記人体矩形領域の前記トラッキングログに前記人物属性を含ませ,前記広告効果測定手段は,前記トラッキングログを前記人体矩形領域毎に集計することで,広告効果に係わる指標として人物属性を前記人体矩形領域毎に出力することを特徴とする,請求項1から請求項9のいずれか一つに記載の広告効果測定装置。請求項1から請求項10のいずれか一つに記載の広告効果測定装置として,コンピュータを機能させるためのコンピュータプログラム。広告効果の重要な指標の一つとして,ディスプレイの前にいる人のうち,ディスプレイを閲覧した人の割合を示す視認率が考えられるが,特許文献1で開示されている発明では,人物の顔のみを検出しているため視認率を測定することはできない。また,特許文献2で開示されている発明では,人物を頭上から撮影し、髪の毛と顔の明るさや目口の特徴から人物が向いている方向を推定しているため,人がうつむき加減になっていると,正確な閲覧者数を特定できず,広告効果として計測される視認率などの指標の信憑性がなくなってしまう問題がある。そこで、本発明は、ディスプレイを閲覧した人数だけでなく、ディスプレイの前にいる人数も計測することにより、何人中何人見ていたかという視認率を精度よく測定することのできる広告効果測定装置及びコンピュータプログラムを提供することを目的とする。上述した課題を解決する第1の発明は,ディスプレイの前にいる人物を撮影するカメラが撮影した映像を構成するフレームから、人体矩形領域の位置サイズを検出する人体検出手段と,前記人体矩形領域内の画像から顔矩形領域の位置サイズを検出する顔検出手段と,前記人体矩形領域内の画像の特徴量を用いて前後の前記フレームにおける前記人体矩形領域を対応付けることで前記人体矩形領域をトラッキングし,前記人体矩形領域の位置サイズ,前記フレームが撮影された日時及び前記顔矩形領域の検出結果を含むトラッキングログを,トラッキング対象としている前記人体矩形領域毎に記憶するトラッキング手段と,前記トラッキングログを集計することで,トラッキング対象となった前記人体矩形領域の総数と,前記顔矩形領域が検出された前記人体矩形領域の数を求め,広告効果に係わる指標として視認率を出力する広告効果測定手段を備えたことを特徴とする広告効果測定装置である。第1の発明によれば,前記広告効果測定装置に前記人体検出手段と前記顔検出手段を備えさせることで,前記広告効果測定装置が,前記フレームに含まれる人物毎に,この人物が前記ディスプレイを閲覧したか否かを示す前記トラッキングログを記憶することができ,前記トラッキングログを集計すれば,前記ディスプレイを閲覧した人数だけでなく、前記ディスプレイの前にいる人数も計測することにより、何人中何人見ていたかという視認率を測定することができる。また,前記人体矩形領域内の画像から正面の前記顔矩形領域を検出するようにすることで,背景画像の一部を正面の前記顔矩形領域として誤検出することを防止でき,視認率の精度を高められるばかりか,顔検出に必要な処理時間も短縮することができる。更に,第2の発明は,第1の発明に記載の広告効果測定装置であって,前記トラッキング手段は,色特徴量を利用する第1のトラッキング手法及び局所特徴量を利用する第2のトラッキング手法に対応し,前記第1のトラッキング手法により前記人体矩形領域をトラッキングした後,前記第1のトラッキング手法によりトラッキングできなかった前記人体矩形領域を前記第2のトラッキング手法によりトラッキングすることを特徴とする。第2の発明によれば,前記第2のトラッキング手法を用いることで物体の形状を認識できるため,オクルージョンが発生し前記第1のトラッキング手法により前記人体矩形領域をトラッキングができなくなっても,トラッキング手法を前記第2のトラッキング手法によりトラッキングすることで,前記人体矩形領域をトラッキングできるようになる。更に,第3の発明は,第1の発明又は第2の発明に記載の広告効果測定装置であって,前記フレームと背景画像の差分を求めることで,前記背景画像以外の前景領域を示す前景マスクを生成する前景マスク生成手段を備え,前記人体検出手段は,前記フレームから検出した前記人体矩形領域毎に,前記人体矩形領域に対応する前記前景マスクの領域内における前記前景領域の割合を求め,前記割合が閾値未満の前記人体矩形領域を誤検出として扱い,前記トラッキング手段は,前記前景マスクを用いてマスク処理した後の前記フレームから前記人体矩形領域内の画像の特徴量を算出することを特徴とする。ディスプレイの前にいる人物を撮影するカメラの位置アングルは固定で,カメラが撮影した映像には,時間的に移動しない背景画像が含まれることになり,第3の発明のように,前記前景マスクを用いて前記フレームから背景画像を除去できれば,精度よく人体矩形領域や顔矩形領域を検出できるようになる。更に、第4の発明は、第3の発明に記載の広告効果測定装置であって、前記人体検出手段は、指定のクラスタリング手法により、誤検出として扱わない前記人体矩形領域をクラスタに切り分けて、同じクラスタに属する該人体矩形領域を一つに統合する統合処理を実行することを特徴とする。上述した第4の発明によれば、一人の人物に対して複数の人体矩形領域が検出された場合であっても、同一の人物と判定できる複数の人体矩形領域を一つの人体矩形領域に統合できる。なお、第3の発明では、前景マスクを用いて前記人体矩形領域をクラスタに切り分けているため、同じクラスタに属する該人体矩形領域を一つに統合しても、人物の形状と類似しているオブジェクト例えば、脚立、柱等を人物と誤検出した領域が統合されることはない。更に,第5の発明は,第1の発明から第4の発明のいずれか一つに記載の広告効果測定装置であって,前記顔検出手段は,前記人体矩形領域内の画像を所定のサイズに正規化した後に前記顔矩形領域を検出することを特徴とする。上述した第5の発明によれば,検出された前記顔矩形領域のサイズが小さい場合であっても,前記人体矩形領域内の画像を所定サイズに正規化することで、顔検出対象領域が小さい場合は拡大処理されるため前記顔矩形領域を検出しやすくなる。更に、第6の発明は、第5の発明に記載の広告効果測定装置であって、前記顔検出手段は、前記人体矩形領域内の画像を所定のサイズに正規化した後、正規化した後の前記人体矩形領域のサイズに応じて、顔検出開始時の探索サイズを決定することを特徴とする。更に、第6の発明によれば、正規化する前の人体矩形領域のサイズが分かるため、そのサイズに応じて顔検出開始時の探索サイズを決定するようにすると、顔検出の処理速度の向上や、顔検出の誤検出を防止する効果が得られる。更に,第7の発明は,第1の発明から第6の発明のいずれか一つに記載の広告効果測定装置であって,前記広告効果測定手段は,前記トラッキングログを前記人体矩形領域毎に集計することで,前記人体矩形領域をトラッキングしていた時間を求め,広告効果に係わる指標として滞留時間を前記人体矩形領域毎に出力することを特徴とする。更に,第8の発明は,第1の発明から第7の発明のいずれか一つに記載の広告効果測定装置であって,前記広告効果測定手段は,前記トラッキングログを前記人体矩形領域毎に集計することで,前記人体矩形領域から前記顔矩形領域を検出できた時間を求め,広告効果に係わる指標として閲覧時間を前記人体矩形領域毎に出力することを特徴とする。更に,第9の発明は,第1の発明から第8の発明のいずれか一つに記載の広告効果測定装置であって,前記広告効果測定手段は,前記トラッキングログを前記人体矩形領域毎に集計することで,広告効果に係わる指標として前記人体矩形領域の位置を前記人体矩形領域毎に出力することを特徴とする。更に,第10の発明は,第1の発明から第9の発明のいずれか一つに記載の広告効果測定装置であって,前記顔検出手段が検出した前記顔矩形領域から人物属性を特定する人物属性特定手段を備え,前記トラッキング手段は,前記顔矩形領域が検出できた前記人体矩形領域の前記トラッキングログに前記人物属性を含ませ、前記広告効果測定手段は,前記トラッキングログを前記人体矩形領域毎に集計することで,広告効果に係わる指標として人物属性を前記人体矩形領域毎に出力することを特徴とする。また,広告効果に係わる指標としては,視認率ばかりでなく,第8の発明から第10の発明のように,滞留時間,閲覧時間,人体矩形領域の位置及びディスプレイを閲覧している人の人物属性年齢性別などを出力できるようにすることが望ましい。更に,第11の発明は,第1の発明から第10の発明のいずれか一つに記載の広告効果測定装置として,コンピュータを機能させるためのコンピュータプログラムである。なお、第11の発明は,コンピュータプログラムに係わる発明である。上述した発明によれば,ビデオカメラが撮影した映像に含まれる人体や顔を精度良く検出することのできる広告効果測定装置及びコンピュータプログラムを提供できる。ここから,本願発明の実施形態について,本願発明の技術分野に係わる当業者が,本願発明の内容を理解し,本願発明を実施できる程度に説明する。本実施形態は,街頭などに設置されるデジタルサイネージ3の広告効果の測定に本発明を適用した形態で,図1は,広告効果測定装置2が設置された広告効果測定システム1の構成を説明する図である。図1で図示したように,広告効果測定システム1には,街頭や店舗などに設置され,ディスプレイ3a図1ではディスプレイを用いて広告映像を表示する広告媒体であるデジタルサイネージ3が含まれる。なお,デジタルサイネージ3には,広告映像を再生するディスプレイ3aの他に,デジタルサイネージ3で再生する広告映像を制御するサーバが含まれるが,該サーバは図1には図示していない。デジタルサイネージ3のディスプレイ3a上には,ディスプレイ3aで再生されている広告映像を見ている人物の顔が撮影されるようにアングルが設定されたビデオカメラ4が設置されている。このビデオカメラ4で撮影された映像は,USBポートなどを利用して広告効果測定装置2に入力され,広告効果測定装置2は,ビデオカメラ4から送信された映像に含まれるフレームを所定の間隔で解析し,フレームから人体矩形領域を検出し,更に,人体矩形領域から顔矩形領域を検出することで,デジタルサイネージ3の広告効果の指標例えば,デジタルサイネージ3の視認率を出力する。図1で図示した広告効果測定システム1を構成する装置において,デジタルサイネージ3及びビデオカメラ4は市販の装置を利用できるが,広告効果測定装置2は,従来技術にはない特徴を備えているため,ここから,広告効果測定装置2について詳細に説明する。図2は,広告効果測定システム1を構成する広告効果測定装置2のハードウェアブロック図,そして,図3は,広告効果測定装置2の機能ブロック図である。広告効果測定装置2は汎用のコンピュータを利用して実現することができ,汎用のコンピュータと同様なハードウェアを広告効果測定装置2は備え,図2では,該ハードウェアとして,CPU2aCPUCentralProcessingUnitと、BIOSが実装されるROM2bROMReadOnlyMemoryと、コンピュータのメインメモリであるRAM2cRAMRandomAccessMemoryと、外部記憶装置として大容量のデータ記憶装置2d例えば,ハードディスクと,外部デバイスとデータ通信するための入出力インターフェース2eと、ネットワーク通信するためのネットワークインターフェース2fと、表示デバイス2g例えば,液晶ディスプレイと,文字入力デバイス2h例えば,キーボードと,ポインティングデバイス2i例えば,マウスを記載している。広告効果測定装置2のデータ記憶装置2dには,CPU2aを動作させるためのコンピュータプログラムが実装され,このコンピュータプログラムによって,広告効果測定装置2には図3で図示した手段が備えられる。図3で図示したように,広告効果測定装置2の入力は,ビデオカメラ4によって撮影された映像で,広告効果測定装置2の出力は,デジタルサイネージの広告効果の指標が記憶されたログファイルになる。広告効果測定装置2には,ビデオカメラ4が撮影した映像のフレームを解析する手段として,処理対象となるフレームから背景画像を除去することで,処理対象となるフレームと背景画像の差分を求め,背景画像以外の領域である前景領域を示す前景マスクを生成する前景マスク生成手段20と,フレームから人体矩形領域を検出する人体検出手段21と,人体検出手段21が検出した人体矩形領域に含まれる正面の顔矩形領域を検出する顔検出手段22と,人体矩形領域内の画像から得られる特徴量を用いて人体矩形領域をトラッキングし,トラッキングの結果を示すトラッキングログを記憶するトラッキング手段23を備えている。更に,本実施形態において,広告効果測定装置2は,デジタルサイネージ3を閲覧した人物の属性年齢や性別を得るために,顔矩形領域に含まれる画像から人物属性年齢や性別を推定する人物属性算出手段24を備えている。また,広告効果測定装置2には,デジタルサイネージ3の広告効果を測定するために,トラッキング手段23が記憶したトラッキングログの結果を集計したログファイルを出力する広告効果測定手段25を備えている。本実施形態では,広告効果測定装置2の広告効果測定手段25は,トラッキングログの結果を集計したログファイルとして,デジタルサイネージ3の視認率が記される視認率ログファイルと,デジタルサイネージ3の閲覧時間が記される閲覧時間ログファイルと,人体矩形領域の位置の軌跡が記される位置ログファイルと,デジタルサイネージを閲覧した人物の人物属性例えば,年齢性別が記される人物属性ログファイルを出力する。まず,ビデオカメラ4から送信された映像のフレームを広告効果測定装置2が解析する処理を説明しながら,ビデオカメラ4が撮影した映像のフレームを解析するために広告効果測定装置2に備えられた各手段について説明する。図4は,広告効果測定装置2がフレームを解析する処理を説明するフロー図である。広告効果測定装置2は,ビデオカメラ4の映像を一定間隔毎に解析する処理を実行し,広告効果測定装置2は,ビデオカメラ4の映像を解析するとき,まず,処理対象となるNフレームにおける前景マスクを生成する前景マスク生成処理S1を実行する。広告効果測定装置2は,前景マスク生成処理S1を実行すると,前景マスクを利用して,Nフレームから人体矩形領域を検出する人体検出処理S2を実行した後,人体検出処理S2で検出された人体矩形領域から顔矩形領域を検出する顔検出処理S3を実行する。そして,広告効果測定装置2は,顔検出処理S3を実行すると,顔検出処理S3で検出した顔矩形領域の人物属性を求める人物属性算出処理S4を実行した後,前景マスクを利用して,Nフレームの人体検出結果に基づき人体矩形領域の位置サイズを更新することで人体矩形領域をトラッキングし,トラッキング結果を示すトラッキングログを記憶するトラッキング処理S5を実行し,この手順を終了する。まず,前景マスク生成処理S1について説明する。前景マスク生成処理S1を担う手段は,広告効果測定装置2の前景マスク生成手段20である。広告効果測定装置2が前景マスク生成処理S1を実行するのは,図1に図示しているように,デジタルサイネージ3のディスプレイ3aの上部に設けられたビデオカメラ4の位置アングルは固定であるため,ビデオカメラ4が撮影した映像には,時間的に移動しない背景画像が含まれることになり,処理対象となるフレームから背景画像を除去できれば,精度よく人体矩形領域や顔矩形領域を検出できるようになるからである。本実施形態において,広告効果測定装置2の背景除去手段20は,既存の技術である動的背景差分法を利用してNフレームと背景画像の差分を求めることで,Nフレームにおいて背景画像ではない前景領域が示された前景マスクを生成する。図5は,前景マスクを模式的に説明する図で,図5aは背景画像の一例,図5bはNフレームの一例,そして,図5cは前景マスクの一例である。図5cで図示した前景マスク5cを生成する際,図5bで図示したNフレーム5bにおいて,図5aで図示した背景画像5aではない領域が前景領域5dとして求められ,図5cで図示した前景マスク5cが生成される。次に,広告効果測定装置2の人体検出手段21によって実行される人体検出処理S2について説明する。Nフレームから人体矩形領域を検出する人体検出方法としては様々な方法が考案されており,人体検出方法は任意に選択可能であるが,本実施形態では,一例として,人体検出手段21が実施する人体検出方法に,HOGHistogramofOrientedGradients特徴量を用いたAdaboostアルゴリズムによる人体検出法を採用している。HOG特徴量を用いたAdaboostアルゴリズムによる人体検出法では,矩形の人体検出枠の位置や矩形サイズをNフレーム内で変更しながら,人体検出枠を複数に分割するセル毎にエッジの勾配方向ヒストグラムであるHOG特徴量を求め,弱識別器を組み合わせて構成される識別器にこのHOG特徴量を代入し,識別器のスコアが閾値以上になる人体検出枠の位置矩形サイズが人体矩形領域として求められる。なお,弱い識別器としてHOGHistogramofOrientedGradients特徴を用いたAdaboostアルゴリズムによる人体検出法については,NDalalandBTriggs,HistogramsofOrientedGradientstionalConferenceonComputerVision,pp734741,2003.で述べれられている。なお,人体検出処理S2において,前景マスク生成処理S1によって得られた前景マスクは,広告効果測定装置2の人体検出手段21が,背景の一部を人体矩形領域として誤検出していないか確認するために利用される。広告効果測定装置2の人体検出手段21は,背景の一部の画像を人体矩形領域として誤検出していないか確認するとき,前景マスク処理S1で得られた前景マスクを参照し,Nフレームから検出された人体矩形領域毎に,前景マスクと人体矩形領域が重なり合う領域である前景領域の割合を特定し,前景領域の割合が閾値未満の人体矩形領域は誤検出であったと判断し,前景領域の割合が閾値未満の人体矩形領域はこれ以降の処理で利用されない。図6は,人体矩形領域の誤検出を説明する図である。図6aはNフレームの一例で,図6aで図示したNフレーム6aには2本の柱6bが含まれ,柱6bの形状は人体の形状と似ているため,図6aで図示したNフレーム6aにおいて,広告効果測定装置2の人体検出手段21はこの柱6bを人体矩形領域6cとして誤検出している。図6bは前景マスクの一例で,図6bの前景マスク6dにおいて,Nフレーム6aの柱6bの人体矩形領域6cに対応する領域6eには前景領域が含まれていないため,広告効果測定装置2の人体検出手段21は,柱6bに対応する人体矩形領域柱6cを誤検出として取り扱うことになる。次に,広告効果測定装置2の顔検出手段22によって実行される顔検出処理S3について説明する。広告効果測定装置2の顔検出手段22は,広告効果測定装置2の人体検出手段21がNフレームから得た人体矩形領域毎に,人体矩形領域内の画像から正面の顔矩形領域を検出する処理を実行し,検出した顔矩形領域毎に,顔矩形領域の位置矩形サイズが得られる。このように,人体矩形領域内の画像から正面の顔矩形領域を検出すると,背景の一部を正面の顔矩形領域として誤検出することを防止できるばかりか,顔検出処理S3に必要な処理時間も短縮することができる。本実施形態では,広告効果測定装置2の顔検出手段22が実施する顔検出方法に,弱い識別器として白黒のHaarLike特徴を用いたAdaboostアルゴリズムによる顔検出法を採用し,広告効果測定装置2の顔検出手段22は,人体矩形領域内の画像から顔矩形領域を検出する際,人体矩形領域の画像のサイズを所定のサイズ画素数で定められるサイズに正規化する処理を実行した後、識別器を用いて顔を検出する領域のサイズである探索サイズを予め決定されたサイズから開始し、識別器を用いて探索サイズの領域内から顔を検出する処理を、正規化後の人体矩形領域内で探索サイズの領域の位置を移動させながら行うことで、正規化した画像から探索サイズに対応する大きさの顔矩形領域を検出し、さらに探索サイズを徐々に大きくして、探索サイズを所定の最大サイズとするまでこれを繰り返すことにより、正規化後の人体矩形領域から様々な大きさの顔矩形領域をもれなく検出するなお,弱い識別器として白黒のHaarLike特徴を用いたAdaboostアルゴリズムによる顔検出法については,PaulViolaandMichaelJJonesRapidObjectDetectionusingaBoostedCascadeofSimpleFeaturesIEEECVPR2001,RainerLienhartandJochenMaydtAnExtendedSetofHaarlikeFeaturesforRapidObjectDetectionIEEEICIP2002Vol1pp900903Sep2002で述べられている。人体矩形領域の画像を所定サイズに正規化するのは,顔検出の未検出を少なくするためである。ビデオカメラ4から遠くにいる人物の顔矩形領域のサイズは,ビデオカメラ4の近くにいる人物の顔矩形領域のサイズよりも小さくなるため,顔矩形領域を検出しにくいが,人体矩形領域内の画像を所定サイズに正規化することで,ビデオカメラ4から遠くにいる人物の顔矩形領域のサイズは大きくなり,顔矩形領域を検出しやすくなるし,また,人体矩形領域に対して、明らかに小さいサイズを顔の探索対象から除外することができるため,安定して顔矩形領域を検出できるようになる。なお,広告効果測定装置2の顔検出手段22は,人体矩形領域内から顔矩形領域を検出できたとき,この人体矩形領域に対応する人物はデジタルサイネージ3を閲覧していたと判断できるため,この人体矩形領域に閲覧フラグを関連付けておく。次に,広告効果測定装置2に備えられた人物属性算出手段24によって実行される人物属性算出処理S4ついて説明する。人物属性算出処理S4において,広告効果測定装置2に備えられた人物属性算出手段24は,顔検出処理S3で得られた顔矩形領域毎に,所定のアルゴリズムに従い顔矩形領域内の画像を解析することで人物属性年齢性別を算出し,算出した人物属性を顔画像が検出された人体矩形領域に関連付けておく。顔矩形領域から人物属性年齢性別を推定する手法は,タバコの自動販売機などでも広く採用されており,例えば,特開2007―080057号公報の技術を利用できる。次に,広告効果測定装置2のトラッキング手段23によって実行されるトラッキング処理S5について説明する。人体矩形領域のトラッキング手法としては様々な手法が考案されているが,本実施形態において,広告効果測定装置2のトラッキング手段23は,人体矩形領域内の画像から算出される特徴量として色特徴量を利用する第1のトラッキング手法と,局所特徴量を利用する第2のトラッキング手法を組み合わせて人体矩形領域のトラッキングを行う。色特徴量を利用する第1のトラッキング手法と,局所特徴量を利用する第2のトラッキング手法を組み合わせて,人体矩形領域のトラッキングを行うのは,人体同士が重なり合うオクルージョンが発生すると人体矩形領域を検出することができないため,色特徴量を利用する第1のトラッキング手法のみでは,オクルージョンが発生すると人体矩形領域を見失ってしまうからである。本実施形態において,前後のフレームにおける人体矩形領域を対応付けするために,広告効果測定装置2のトラッキング手段23によって,トラッキング対象となる人体矩形領域毎にHumanオブジェクトが生成され,このHumanオブジェクトの属性値には,Humanオブジェクトを識別するために付与されるHumanIDと,Humanオブジェクトに対応する人体矩形領域の位置サイズと,人体色特徴量が少なくとも含まれる。図7は,トラッキング処理S4の詳細を説明する図である。処理対象となるNフレームを処理するとき,広告効果測定装置2のトラッキング手段23は,まず,前景マスク生成処理S1で得られたNフレームの前景マスクを用いてNフレームにマスクをかけるマスク処理S10を実行する。図8は,マスク処理S10を説明する図である。図8aではNフレームを例示し,図8bではNフレームの前景マスクを模式的に例示し,図8cではマスク処理後のNフレームを例示している。図8bで図示した前景マスク7bを用いて,図8aで図示したNフレーム7aにマスク処理をかけることで,Nフレーム7aの背景画像が除去され,人体画像のみが抽出され,図8で図示したマスク処理後のNフレーム7cが得られる。なお,図8において点線で図示している矩形は人体矩形領域を示し,ビデオカメラ4で撮影された絵柄ではない。広告効果測定装置2のトラッキング手段23は,マスク処理S10を実行すると,マスク処理後のNフレームを用いて,色特徴量を用いる第1のトラッキング手法による第1のトラッキング処理を実行するS11。色特徴量を用いる第1のトラッキング手法による第1のトラッキング処理では,Nフレームで検出された人体矩形領域内の画像から算出された色特徴量を用いて,Nフレームの時点で既に生成されているHumanオブジェクトにNフレームで検出された人体矩形領域を対応付ける処理が行われる。第1のトラッキング処理において,Nフレームで検出された人体矩形領域が対応付けられHumanオブジェクトに関しては,Humanオブジェクトに対応付けられた人体矩形領域の位置サイズに,Humanオブジェクトの位置サイズが更新され,更に,Humanオブジェクトに対応付けられた人体矩形領域の切り出し画像から得られる色特徴量に,Humanオブジェクトの色特徴量を更新する処理が実行される。なお,色特徴量を用いて前後のフレームにおける人体矩形領域を対応付けするとき,人体矩形領域の色ヒストグラムを求めヒストグラムマッチングにより,前後のフレームにおける人体矩形領域を対応付けするとよい。ヒストグラムマッチングするときの指標としては,相関、カイ二乗、交差などが挙げられるが、数式1で示されるBhattacharyya距離をこの指標として採用すると,マッチング精度が高くなる。Bhattacharyya距離を利用するとき,色特徴量として色ヒストグラムが用いられ,Nフレームの時点で既に生成されているHumanオブジェクト毎に,Nフレームから検出された人体矩形領域から算出された色ヒストグラムとHumanオブジェクトの色ヒストグラム間の類似度を表すBhattacharyya距離を求め,Bhattacharyya距離が最も小さいHumanオブジェクトに人体矩形領域を対応付けする。色特徴量を用いた第1のトラッキング手法による第1のトラッキング処理S11を行うと,広告効果測定装置2のトラッキング手段23は,第1のトラッキング処理の結果を示すトラッキングログを記憶するS12。広告効果測定装置2のトラッキング手段23は,第1のトラッキング処理の結果を示すトラッキングログを,第1のトラッキング処理において位置サイズが更新されたHumanオブジェクト毎に生成し,このトラッキングログには,このHumanオブジェクトのHumanID,Nフレームが撮影された日時,更新後のHumanオブジェクトの位置矩形サイズを含ませる。また,第1のトラッキング処理において,Humanオブジェクトに対応付けられた人体矩形領域に閲覧フラグが関連付けられているとき,このHumanオブジェクトのトラッキングログに閲覧フラグと人物属性を含ませる。第1のトラッキング処理の結果を示すトラッキングログを記憶すると,広告効果測定装置2のトラッキング手段23は,第1のトラッキング処理で位置サイズが更新されなかったHumanオブジェクトがあるか確認しS13,第1のトラッキング処理で位置サイズが更新されなかったHumanオブジェクトがあれば,広告効果測定装置2のトラッキング手段23は,局所特徴量を用いる第2のトラッキング手法にトラッキング手法を切り替え,第1のトラッキング処理で位置サイズが更新されなかったHumanオブジェクトを対象として,第2のトラッキング手法による第2のトラッキング処理を実行するS14。なお,第1のトラッキング処理で位置サイズが更新されなかったHumanオブジェクトが無ければ,第2のトラッキング処理を実行することなく,図7のS16に進む。図9は,第2のトラッキング手法を説明する図で,図9aにN-1フレームの一例を図示し,図9bにNフレームの一例を図示している。なお,図9aで図示したN-1フレーム8aでは5人の人物が人体検出されているが,図9bで図示したNフレーム8bでは,真ん中の人物がおじぎをしている格好になっているため,真ん中の人物が人体検出されていない。局所特徴量を用いる第2のトラッキング手法としては,上述したHOG特徴量を用いたトラッキング手法を利用することが望ましい。HOG特徴量を用いたトラッキング手法を第2のトラッキング手法に利用するとき,Nフレーム内において、第1のトラッキング処理で位置サイズが更新されなかったHumanオブジェクトに対応する人体矩形領域は、Nフレームにおいては該Humanオブジェクトの位置の近傍にあるとの仮定に基づき、該Humanオブジェクトのサイズに等しい探索窓8eを設定し,該Humanオブジェクトの位置図9a,bの位置8cを探索窓8eの始点として、探索窓8eの始点から得られる所定の探索領域8d内で探索窓8eの位置を変更しながら,該Humanオブジェクトに対応する人体矩形領域を探索する。図10は,第2のトラッキング手法の説明を補足する図である。図10aは,第1のトラッキング処理で位置サイズが更新されなかったHumanオブジェクトに対応するN-1フレームの人体矩形領域から求められた輝度勾配9a,HOG特徴量9b及び勾配ヒストグラム9cを図示し,図10bは,該Humanオブジェクトの近傍にある探索窓8e内から求められた輝度勾配9d,HOG特徴量9e及び勾配ヒストグラム9fを図示している。図10a,bの輝度勾配9a,9dを比較すればわかるように,図10a,bでは人体の頭部では差があるものの,人体の胴部では差が少なく無く,人体の胴部のHOG特徴量9b,9e及び勾配ヒストグラム9c,9fにも差は少ない。そこで,探索領域8d内で探索窓8eの位置を変更しながら,第1のトラッキング処理で位置サイズが更新されなかったHumanオブジェクトに対応する人体矩形領域を探索するとき,広告効果測定装置2のトラッキング手段23は,相関、カイ二乗、交差,Bhattacharyya距離などを指標として,探索窓8eに含まれるセルごとにHOG特徴量から得られる勾配ヒストグラムの類似度を求め、探索窓8e内における類似度の値を合算した値が閾値を越える位置を探索とする。なお、探索窓8e内における類似度の値を合算した値が閾値を越える位置が一つの場合は,その位置をNフレーム8bにおける人体矩形領域の位置とし,また,探索範囲内にて閾値を越えた箇所が複数ある場合、その中で最も高い類似度が求められた位置をNフレーム8bにおける人体矩形領域の位置とする。そして,第2のトラッキング手法を用いてNフレームにおける人体矩形領域の位置を検索できた場合は,広告効果測定装置2のトラッキング手段23は,第1のトラッキング処理で位置サイズが更新されなかったHumanオブジェクトの位置のみをこの検索窓の位置に更新し,Humanオブジェクトのサイズ及び色特徴量は更新しない。局所特徴量を用いる第2のトラッキング手法による第2のトラッキング処理を行うと,広告効果測定装置2のトラッキング手段23は,第2のトラッキング処理の結果を示すトラッキングログを記憶するS15。広告効果測定装置2のトラッキング手段23は,第2のトラッキング処理の結果を示すトラッキングログを,第2のトラッキング処理において位置サイズが更新されたHumanオブジェクト毎に生成し,このトラッキングログには,このHumanオブジェクトのHumanID,Nフレームが撮影された日時,更新後のHumanオブジェクトの位置矩形サイズを含ませる。また,第2のトラッキング処理において,Humanオブジェクトに対応付けられた人体矩形領域に閲覧フラグが関連付けられているとき,このHumanオブジェクトのトラッキングログに閲覧フラグと人物属性を含ませる。なお,第1のトラッキング処理及び第2のトラッキング処理を実行しても,Nフレームの人体矩形領域が対応付けられなかったHumanオブジェクトがあれば,このHumanオブジェクトに対応する人体矩形領域は,ビデオカメラ4の撮影領域外に移動したと判断し,トラッキング対象外とする。第2のトラッキング処理の結果を示すトラッキングログを記憶すると,Humanオブジェクトに対応付けられなかった人体矩形領域がNフレームにあるか確認しS16,この人体矩形領域があれば,この人体矩形領域に対応するHumanオブジェクトを新規に生成し,この人体矩形領域をトラッキング対象に新規に追加するS17。なお,新規に生成したHumanオブジェクトの位置矩形サイズには,新規に生成したHumanオブジェクトに対応付けられた人体矩形領域の位置矩形サイズが用いられる。また,広告効果測定装置2のトラッキング手段23は,Humanオブジェクトに対応付けられなかった人体矩形領域内の画像から色特徴量を求め,新規に生成したHumanオブジェクトに付与する。広告効果測定装置2のトラッキング手段23は,新規にHumanオブジェクトを生成すると,新規に生成したHumanオブジェクトのトラッキングログを記憶した後S18,図7の手順は終了する。広告効果測定装置2のトラッキング手段23は,新規に生成したHumanオブジェクト毎にトラッキングログを生成し,このトラッキングログには,このHumanオブジェクトのHumanID,Nフレームが撮影された日時,Humanオブジェクトの位置矩形サイズを含ませる。また,新規に生成したHumanオブジェクトに対応付けられた人体矩形領域に閲覧フラグが関連付けられているとき,このHumanオブジェクトのトラッキングログに閲覧フラグと人物属性を含ませる。なお,図7のS16において,第1のトラッキング処理で位置サイズが更新されなかったHumanオブジェクトが無ければ,新規にHumanオブジェクトを生成することなく,図7の手順は終了する。最後に,広告効果測定装置2の広告効果測定手段25について説明する。広告効果測定装置2の広告効果測定手段25は,トラッキング手段23によって記憶されたトラッキングログを集計処理し,集計処理の結果を記したログファイルを出力する手段である。本実施形態では,広告効果測定装置2の広告効果測定手段25は,デジタルサイネージ3の視認率を出力する集計処理1と,デジタルサイネージ3の前にいる滞留時間を出力する集計処理2と,デジタルサイネージ3の閲覧時間を出力する集計処理3と,人体矩形領域の位置の軌跡を出力する集計処理4と,デジタルサイネージを閲覧した人物の人物属性例えば,年齢性別を出力する集計処理5に対応している。デジタルサイネージ3の視認率を出力する集計処理1は,一定期間例えば,1時間が経過する毎に実行され,広告効果測定装置2の広告効果測定手段25は,日時が一定期間に含まれるトラッキングログを対象とし,デジタルサイネージ3の前にいた総人数と,デジタルサイネージ3の閲覧者の人数と,閲覧者の人数を総人数で除算した視認率を含む視認率ログファイルを出力する。デジタルサイネージ3の前にいた総人数は,対象となるトラッキングログに記されたHumanIDの数を,HumanIDが重複することなくカウントすることで得られる。また,デジタルサイネージ3の閲覧者の人数は,閲覧フラグが含まれるトラッキングログのみを対象とし,トラッキングログに記されたHumanIDの数を,HumanIDが重複することなくカウントすることで得られる。デジタルサイネージ3の前にいる滞留時間を出力する集計処理2は,トラッキング対象外となったHumanオブジェクトが発生する毎に実行され,広告効果測定装置2の広告効果測定手段25は,トラッキング対象外となったHumanオブジェクトのHumanID,トラッキング開始日時及びトラッキング終了日時が含まれる滞留時間ログファイルを出力する。この集計処理2では,トラッキング対象外となったHumanオブジェクトのHumanIDを含むトラッキングログの日時が参照され,最も古い日時がトラッキング開始日時とし利用され,最も新しい日時がトラッキング終了日時として利用される。デジタルサイネージ3の閲覧時間を出力する集計処理3は,トラッキング対象外となったHumanオブジェクトが発生する毎に実行され,広告効果測定装置2の広告効果測定手段25は,トラッキング対象外となったHumanオブジェクトのHumanID,閲覧開始日時及び閲覧終了日時が含まれる滞留時間ログファイルを出力する。この集計処理3では,トラッキング対象外となったHumanオブジェクトのHumanIDを含むトラッキングログの中から,閲覧フラグが含まれるトラッキングログが対象とされ,このトラッキングログに含まれる日時の中から,最も古い日時が閲覧開始日時とし利用され,最も新しい日時が閲覧終了日時とし利用される。人体矩形領域の位置の軌跡を出力する集計処理4は,トラッキング対象外となったHumanオブジェクトが発生する毎に実行され,広告効果測定装置2の広告効果測定手段25は,トラッキング対象外となったHumanオブジェクトのHumanIDを含むトラッキングログを一つにまとめた位置ログファイルを出力する。デジタルサイネージを閲覧した人物の人物属性例えば,年齢性別を出力する集計処理5は,一定期間例えば,1日が経過する毎に実行され,広告効果測定装置2の広告効果測定手段25は,日時が一定期間に含まれるトラッキングログに含まれるHumanIDと人物属性の対を含む人物属性ログファイルを出力する。この集計処理5では,日時が一定期間に含まれるトラッキングログの中から,閲覧フラグを含むトラッキングログが対象とされ,このトラッキングログに含まれるHumanIDと人物属性の対が,HumanIDが重複したものを除いて抽出される。変形例1ここから、上述した実施形態の変形例について説明する。図4の人体検出処理S2において、一人の人物に対して複数の人体矩形領域が検出されるケースがあるため、変形例1は、同一の人物と判定できる複数の人体矩形領域を一つの人体矩形領域に統合するようにした実施形態である。同一の人物と判定できる複数の人体矩形領域を一つの人体矩形領域に統合するようにした変形例1においては、上述した実施形態と、図4の人体検出処理S2の内容が異なるため、変形例1における人体検出処理について説明する。まず、変形例1における人体検出処理について説明する。図11は、変形例1における人体検出処理を説明するフロー図である。変形例1における人体検出処理において、変形例1に係る広告効果測定装置2の人体検出手段21は、人体検出処理を実行する際、まず、上述した実施形態と同様に、HOG特徴量を用いたAdaboostアルゴリズムによる人体検出法により、Nフレーム内における人体矩形領域を全て検出するS20。次に、変形1に係る広告効果測定装置2の人体検出手段21は、上述した実施形態と同様に、図4の前景マスク処理S1で得られた前景マスクを参照し,Nフレームから検出された人体矩形領域の中から、誤検出して扱う人体矩形領域を特定する処理を行いS21、誤検出して扱う人体矩形領域はこれ以降の処理で利用しない。次に、変形例1に係る広告効果測定装置2の人体検出手段21は、指定のクラスタリング手法により、誤検出して扱われない複数の人体矩形領域をクラスタに切り分けて、同じクラスタに属する該人体矩形領域を一つに統合する統合処理を実行してS22、図11のフローは終了する。統合処理において、変形例に係る広告効果測定装置2の人体検出手段21は、同一の人物と判定できる複数の人体矩形領域をクラスタリングする手法として、数式2で示したMeanShiftクラスタリングを用い、誤検出と特定されなかった人体矩形領域それぞれについて、該人体矩形領域の中心座標からMeanShiftVectorを算出することで、該人体矩形領域をMeanShiftクラスタリングし、クラスタリングした後の該人体矩形領域それぞれの重心を求める。そして、変形例1に係る広告効果測定装置2の人体検出手段21は、誤検出と特定されなかった人体矩形領域それぞれについてクラスタリングした後の重心を求めると、NearestNeighbor法最近傍決定則により、該重心を統合する処理を行うことで、同一の人物と判定できる複数の人体矩形領域を一つの人体矩形領域に統合する。なお、統合された後の人体矩形領域の位置は、NearestNeighbor法により重心が統合された位置になり、人体矩形領域の矩形サイズは、重心が統合された人体矩形領域の矩形サイズを統合した矩形サイズになる。図11で図示したフローにおいて、誤検出として扱う人体矩形領域を特定する処理を行った後に、同一の人物と判定できる複数の人体矩形領域を一つの人体矩形領域に統合する統合処理を実行することで、人物の形状と類似しているオブジェクト例えば、梯子、柱等を人体矩形領域と誤検出した際、該オブジェクトに係る領域が統合されるのを防止できる効果が得られる。図12は、変形例1の効果を説明する図である。図12aは、図11の人体検出処理において検出された人体矩形領域を図示している。図12aでは、人物の形状と類似しているオブジェクトとして脚立10dを図示し、図12aには、人物10a~cを検出した人体矩形領域11a~cと、脚立10dを誤検出した人体矩形領域11dが含まれている。図12bは、図12aの状態で統合処理を行ったときの図で、図12aの状態から統合処理を行うと、図12の人物10cに関しては、人物10cと脚立10dの距離が近いため、人物10cに係る人体矩形領域11cと脚立10dに係る人体矩形領域11dが含むように人体矩形領域が統合されてしまう。図12cは、誤検出として扱われない人体矩形領域を図示している。脚立10dに係る人体矩形領域11dにおいては、前景マスクと人体矩形領域が重なり合う領域である前景領域の割合が少なくなるため、脚立10dに係る人体矩形領域11dは誤検出として扱われることになり、誤検出として扱われない人体矩形領域は、人物10a~cを検出した人体矩形領域11a~cになるため、統合処理を行ったとしても、人物の形状と類似しているオブジェクトの影響を受けずに済むようになる。変形例2次に、変形例2について説明する。変形例2は、正規化した後の人体矩形領域のサイズが分かるため、正規化した後の人体矩形領域のサイズに応じて、顔検出開始時の探索サイズを決定するようにした実施形態である。上述した実施形態では、人体矩形領域の画像を所定サイズに正規化してから顔検出を行い、顔検出開始時の探索サイズを大幅に変更する必要をなくしているが、システムを設置する際、システムの設置状況に合わせて正規化した後の人体矩形領域のサイズは調整されるため、正規化した後の人体矩形領域のサイズに応じて顔検出開始時の探索サイズを自動的に決定できるようにすると、顔検出の処理速度の向上や、顔検出の誤検出を防止する効果が期待できる。図13は、変形例2における顔検出処理のフローを説明する図である。変形例2においても、上述した実施形態と同様に、変形例2に係る広告効果測定装置2の顔検出手段22は、顔検出の対象となる人体矩形領域を所定サイズに正規化する処理を実行した後S30、正規化した後の人体矩形領域のサイズに応じて、顔検出開始時の探索サイズを演算するS31。例えば、正規化した後の人体矩形領域のサイズと顔検出開始時の探索サイズの比率を予め設定しておき、正規化した後の人体矩形領域のサイズに該比率を乗算することで、顔検出を開始する際の探索サイズの最低サイズを演算できる。そして、変形例2に係る広告効果測定装置2の顔検出手段22は、顔検出開始時の探索サイズを演算すると、演算したサイズの探索サイズから開始して、正規化した人物矩形領域から顔矩形領域を検出するS32。図14は、変形例2の効果を説明する図で、顔検出開始時の識別器のサイズを演算する処理の有無に応じた処理速度を示している。図14は、1280×280の画像中において、5名の被写体を等間隔に並ばせ、カメラより6mの位置から、徐々に近づいてくる映像に対して処理をした結果である。図14に図示したように、正規化する前の人体矩形領域のサイズに応じて、顔検出開始時の探索サイズを演算することで、1秒間に処理できるフレーム数が約2倍になる効果が得られた。"