(57)【要約】      （修正有）【課題】同一人物のダブルカウントを解消し、注視度合を正確に算出する技術を提供する。【解決手段】顔領域検出部１２は、入力された各フレームから顔領域を検出し、検出顔の検出位置等の検出顔データを取得する。顔姿勢推定部１３は顔姿勢のパラメータを推定する。状態判別部１４は、前フレームと現フレームの間でパラメータをもって顔領域を対応付け、その状態を判別する。検出ＩＤ等付与部は、現フレームの顔領域に検出ＩＤ・注視時間を付与し、顔特徴量を記憶部に記憶させる。照合処理部１６は、現フレームと過去フレームとで特徴量が合致すれば、現フレームの検出ＩＤを置換え、注視時間を加算し、記憶手段の記憶データを更新する。注目者数集計部２０は、検出顔データ・記憶データのログから注目者数を求め、各注視者の平均注視時間を算出する。【選択図】図１
2010211485.tif 000002
【特許請求の範囲】
【請求項１】
注視対象物の周囲を撮像した画像から、該注視対象物の注視度合を測定する装置であって、
前記撮像装置から時系列に入力されたフレーム中、顔の存在する領域を順次に検出し、検出顔データとして検出位置・大きさ・顔らしさの類似度・検出時刻を取得する顔領域検出手段と、
前記顔領域検出手段の検出した顔領域の顔姿勢を表すパラメータを推定する顔姿勢推定手段と、
連続する前フレームと現フレームとの間で顔領域を、前記検出顔データおよび前記パラメータをもって対応付けて、現フレームの顔領域の状態を判別する状態判別手段と、
前記状態判別手段にて判別された顔領域の検出ＩＤ・注視時間を、対応付けられた前フレームでの検出ＩＤ・注視時間に基づき付与し、該顔領域の顔特徴量を記憶手段に記憶させる検出ＩＤ等付与手段と、
現フレームの顔特徴量が、現フレームと不連続の過去フレームの顔特徴量に合致すれば、該顔特徴量を持つ顔領域の検出ＩＤを過去フレームの検出ＩＤに置換え、置換えた検出ＩＤの注視時間を現フレームの顔領域の注視時間に加算し、前記記憶手段の記憶データを更新させる照合処理手段と、
前記検出顔データおよび前記記憶データのログから注目者数を求め、該各注視者の平均注視時間を算出する注目者数集計手段と、
を備えることを特徴とする注視度合測定装置。
【請求項２】
前記照合処理手段は、両フレーム間の顔領域において前記パラメータの差が指定範囲内のときに顔特徴量が合致すると判定し、
前記判定は、いずれかの過去フレームにおける顔領域の顔特徴量と一度合致すれば以後行われない
ことを特徴とする請求項１記載の注視度合測定装置。
【請求項３】
前記検出ＩＤ等付与手段は、顔領域の前記パラメータが指定範囲内のときに限り、顔特徴量を前記記憶手段に記憶させる
ことを特徴とする請求項１または２のいずれか１項に記載の注視度合測定装置。
【請求項４】
前記検出ＩＤ等付与手段は、前記パラメータの表す顔姿勢が最も正面に近い顔領域の顔特徴量を前記記憶憶手段に記憶させる
ことを特徴とする請求項１〜３のいずれか１項に記載の注視度合測定装置。
【請求項５】
注視対象物の周囲を撮像した画像から、該注視対象物の注視度合を測定する方法であって、
顔領域検出手段が、前記撮像装置から時系列に入力されたフレーム中、顔の存在する領域を順次に検出し、検出顔データとして検出位置・大きさ・顔らしさの類似度・検出時刻を取得する第１ステップと、
顔姿勢推定手段が、前記顔領域検出手段の検出した顔領域の顔姿勢を表すパラメータを推定する第２ステップと、
状態判別部が、連続する前フレームと現フレームとの間で顔領域を、前記検出顔データおよび前記パラメータをもって対応付けて、現フレームの顔領域の状態を判別する第３ステップと、
検出ＩＤ等付与手段が、前記第３ステップにて判別された顔領域の検出ＩＤ・注視時間を、対応付けられた前フレームでの検出ＩＤ・注視時間に基づき付与し、該顔領域の顔特徴量を記憶手段に記憶させる第４ステップと、
照合処理手段が、現フレームの顔特徴量と現フレームに不連続の過去フレームの顔特徴量とが合致すれば、該顔特徴量を持つ顔領域の検出ＩＤを過去フレームの検出ＩＤに置換え、置換えた検出ＩＤの注視時間を現フレームの顔領域の注視時間に加算し、前記記憶手段の記憶データを更新させる第５ステップと、
注目者数集計手段が、前記検出顔データおよび前記記憶データのログから注目者数を求め、該各注視者の平均注視時間を算出する第６ステップと、
を有することを特徴とする注視度合測定方法。
【請求項６】
前記第５ステップにおいて、両フレーム間の顔領域において前記パラメータの差が指定範囲内のときに顔特徴量が合致すると判定し、
前記判定は、いずれかの過去フレームにおける顔領域の顔特徴量と一度合致すれば以後行われない
ことを特徴とする請求項５記載の注視度合測定方法。
【請求項７】
前記第４ステップにおいて、顔領域の前記パラメータが指定範囲内のときに限り、顔特徴量を前記記憶手段に記憶させる
ことを特徴とする請求項５または６のいずれか１項に記載の注視度合測定方法。
【請求項８】
前記第４ステップにおいて、前記パラメータの表す顔姿勢が最も正面に近い顔領域の顔特徴量を前記記憶憶手段に記憶させる
ことを特徴とする請求項５〜７のいずれか１項に記載の注視度合測定方法。
【請求項９】
請求項１〜４のいずれか１項に記載の注視度合測定装置の各手段としてコンピュータを機能させるための注視度合測定プログラム。
【請求項１０】
請求項９に記載された注視度合測定プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物顔検出・姿勢推定技術を応用して撮像画像から注視対象物の注視度合いを測定する技術に関する。
【背景技術】
【０００２】
周知のように、広告、画像、絵画、工芸品（彫刻、陶器など）、人物（芸能人や政治家など）、風景などの分野では人物の注視度合を測定して、大衆の趣向・興味を調査することが少なくない。
【０００３】
特に、近年“ディジタルサイネージ”と呼ばれる、屋外や店頭でエレクトリックな表示機器を用いて映像を発信する広告メディアが急速に普及し、様々な注目度合の測定技術が提案されている。
【０００４】
この新しい広告形態は、ネットワークと連携することで広告主が最新情報をリアルタイムに発信・更新できるため、従来の広告メディアより費用対効果が高いと考えられている。
【０００５】
広告効果を客観的に測定する方法として、特許文献１の広告効果確認システムが知られている。この測定方法は、メディア側にカメラを設置し、カメラに映った人物を輪郭情報等に基づき抽出して、その抽出された人数をメディアへの注目度合いとして評価しその評価値を集計するものである。この測定方法に非特許文献１の顔検出技術などを組み合わせることで、より精確な注視度合いを計測できる。その際の注視度合として、“一定時間内に広告を注視した人数”や“各人が広告を注視した時間（以下、注視時間とする。）の平均値”などが考えられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−１５３９７７
【非特許文献】
【０００７】
【非特許文献１】三田雄志，金子敏充，堀修，”個体差のある対象の画像照合に適した確率的増分符号相関”  電子情報通信学会論文誌  Ｄ−ＩＩ  Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ  Ｎｏ．８  ｐｐ．１６１４−１６２３，（社）電子情報通信学会  ２００５
【非特許文献２】安藤慎吾，草地良規，鈴木章，荒川賢一，”サポートベクトル回帰を用いた三次元物体の姿勢推定法”，電子情報通信学会論文誌  Ｄ  Ｖｏｌ．Ｊ８９−Ｄ  Ｎｏ．８  ｐｐ．１８４０−１８４７，（社）電子情報通信学会  ２００６
【非特許文献３】堀田一弘，三島健稔，栗田多喜男，梅山伸二  ”Ｇａｂｅｒ特徴の情報量による重みづけマッチングを用いた顔認識”，信学技報  ＨＩＰ２０００−５（２０００−５），社団法人電子情報通信学会
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、カメラに対して正面を向いていた顔が一時的に後ろを向いてまた正面を向き直した場合に、同一人物の顔であるにもかかわらず別の人物として判断されるおそれがある。これでは同一人物がダブルカウントされてしまうため、精確な注視度合の計測が困難である。
【０００９】
また、同一人物が広告を見てから一時的にその場所から離れ、その後に再び広告を見るケースも生じうる。この場合も、やはり同一人物であるにもかかわらずダブルカウントされてしまう。
【００１０】
本発明は、上述のような問題点を解決するためになされたものであり、同一人物のダブルカウントを解消し、注視度合を正確に算出する技術を提供することを解決課題とする。
【課題を解決するための手段】
【００１１】
そこで、本発明は、前記課題を解決すべく、追跡している人物顔がロスト後に新たに検出されると、検出された人物顔の顔特徴量と過去フレームの顔特徴量とを照合する。この照合の結果、顔特徴量が合致すれば同一人物と認識し、ダブルカウントを防止する。
【００１２】
本発明の一態様は、注視対象物の周囲を撮像した画像から、該注視対象物の注視度合を測定する装置であって、前記撮像装置から時系列に入力されたフレーム中、顔の存在する領域を順次に検出し、検出顔データとして検出位置・大きさ・顔らしさの類似度・検出時刻を取得する顔領域検出手段と、前記顔領域検出手段の検出した顔領域の顔姿勢を表すパラメータを推定する顔姿勢推定手段と、連続する前フレームと現フレームとの間で顔領域を、前記検出顔データおよび前記パラメータをもって対応付けて、現フレームの顔領域の状態を判別する状態判別手段と、前記状態判別手段にて判別された顔領域の検出ＩＤ・注視時間を、対応付けられた前フレームでの検出ＩＤ・注視時間に基づき付与し、該顔領域の顔特徴量を記憶手段に記憶させる検出ＩＤ等付与手段と、現フレームの顔特徴量が、現フレームと不連続の過去フレームの顔特徴量に合致すれば、該顔特徴量を持つ顔領域の検出ＩＤを過去フレームの検出ＩＤに置換え、置換えた検出ＩＤの注視時間を現フレームの顔領域の注視時間に加算し、前記記憶手段の記憶データを更新させる照合処理手段と、前記検出顔データおよび前記記憶データのログから注目者数を求め、該各注視者の平均注視時間を算出する注目者数集計手段と、を備える。
【００１３】
本発明の他の態様は、注視対象物の周囲を撮像した画像から、該注視対象物の注視度合を測定する方法であって、顔領域検出手段が、前記撮像装置から時系列に入力されたフレーム中、顔の存在する領域を順次に検出し、検出顔データとして検出位置・大きさ・顔らしさの類似度・検出時刻を取得する第１ステップと、顔姿勢推定手段が、前記顔領域検出手段の検出した顔領域の顔姿勢を表すパラメータを推定する第２ステップと、状態判別部が、連続する前フレームと現フレームとの間で顔領域を、前記検出顔データおよび前記パラメータをもって対応付けて、現フレームの顔領域の状態を判別する第３ステップと、検出ＩＤ等付与手段が、前記第３ステップにて判別された顔領域の検出ＩＤ・注視時間を、対応付けられた前フレームでの検出ＩＤ・注視時間に基づき付与し、該顔領域の顔特徴量を記憶手段に記憶させる第４ステップと、照合処理手段が、現フレームの顔特徴量と現フレームに不連続の過去フレームの顔特徴量とが合致すれば、該顔特徴量を持つ顔領域の検出ＩＤを過去フレームの検出ＩＤに置換え、置換えた検出ＩＤの注視時間を現フレームの顔領域の注視時間に加算し、前記記憶手段の記憶データを更新させる第５ステップと、注目者数集計手段が、前記検出顔データおよび前記記憶データのログから注目者数を求め、該各注視者の平均注視時間を算出する第６ステップと、を有する。
【００１４】
なお、本発明は、前記装置としてコンピュータを機能させる注視度合測定プログラムの態様としてもよく、また該プログラムを記録した記録媒体の態様で提供してもよい。
【発明の効果】
【００１５】
本発明によれば、同一人物のダブルカウントが解消されるため、注視度合が正確に算出される。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る装置の概略構成図。
【図２】同  検出ＩＤ等付与・顔特徴量記憶部の詳細図。
【図３】（ａ）は注目者ログを記録する処理フロー図、（ｂ）は注目者ログを集計・出力する処理フロー図。
【図４】同  状態判別処理の説明図。
【図５】（ａ）は前フレームの検出結果例を示す図、（ｂ）は状態判別前における現フレームの検出結果例を示す図、（ｃ）は状態判別後における現フレームの検出結果例を示す図。
【発明を実施するための形態】
【００１７】
本発明によれば、注視対象物の注視度合を測定するときに人物の顔をロストしてから一定時間は、その顔の特徴量が記憶装置に記憶される。ここでは注視対象物は、広告、画像、絵画、工芸品（彫刻、陶器など）、建物、人物（芸能人、政治家など）、風景など注視度合の測定を必要とする各種対象を含むものとする。
【００１８】
そして、新たに人物の顔が検出されたときに該検出顔から抽出された特徴量と、記憶装置に現在記憶している検出顔の特徴量（過去の検出顔から抽出したもの）とが合致すれば同一人物と認識する（以下、この処理を照合処理とする。）。この照合処理をもって同一人物のダブルカウントを防止している。
【００１９】
もっとも、検出された顔の特徴量を全て保存していくと記憶装置の容量を圧迫し、破綻を招くおそれがあるので、追跡している一つの検出顔に対し特徴量は一つに限定する態様が望ましい。
【００２０】
また、顔の特徴量は一般に顔の向きに対し変動が激しいことから、追跡している顔の中で最も正面向きに近い顔画像から特徴量を抽出して、記憶装置に記憶する態様がさらに望ましい。顔特徴量を記憶装置に記憶する際には、その顔向きの角度（ｙａｗ角，ｐｉｔｃｈ角）情報も一緒に記憶する。
【００２１】
前記照合処理は、好ましくは照合する二つの顔の顔向き角度の差が指定範囲内に収まっているときだけ実行される。これにより全体の処理が効率化され、照合処理が安定的に行える。
【００２２】
ここでは新たに顔が検出されたときに、その検出顔が過去の検出顔のいずれかと合致したか否かを示すフラグ（初期値ＯＦＦ）を割り当て、該フラグを適宜確認することで照合処理を実行するか否かを決めてもよい。すなわち、過去の検出顔と一度合致すれば前記フラグをＯＮに切り替え、その検出顔は以後の照合処理を行わないことで全体処理が一層効率化される。
【００２３】
また、検出顔の向き角度が一度も指定範囲内に入らなかった場合は記憶装置に特徴量を記憶させない設定にすれば、さらに全体の処理を効率化させることができる。こられは顔検出処理、顔姿勢推定処理、照合処理を画像処理から行うことで全て実現することができる。以下、本発明の実施形態を図面に基づき具体的に説明する。
【００２４】
（１）実施形態の構成例
図１は、本発明の実施形態の構成例を示している。ここでは本発明の注視度合測定装置は、広告メディアの注視度合を測定する広告効果測定装置１０に応用されている。この広告効果測定装置１０は、注視度合を”一定時間内に広告メディアを見た人数”と”注視時間の平均値”として事後集計している。
【００２５】
前記広告効果測定装置１０は、広告メディアの周囲を撮像する図外の撮像装置（例えばデジタルカメラやビデオカメラなど）とネットワーク経由で接続されているものとする。この撮像装置は、広告メディア掲示位置の近傍（例えばディスプレイの上部など）に設置されているものとする。なお、広告メディアには、ディジタルサイネージ以外にも通常のポスター広告や一般家庭テレビ放送のＣＭ（コマーシャル）も含まれる。
【００２６】
具体的には、前記広告効果測定装置１０は、コンピュータにより構成され、通常のコンピュータのハードウェア資源、即ちＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ），メモリ（ＲＡＭ）やハードディスクドライブ装置などの記憶装置，通信インタフェース，ディスプレイなどの表示手段，キーボード・マウスなどの入力手段を備えている。
【００２７】
このハードウェア資源とソフトウェアとの協働の結果、前記広告効果測定装置１０は、画像入力部１１，顔検出部１２，顔姿勢推定手段１３，状態判別部１４，検出ＩＤ等付与・顔特徴量記憶部１５，顔特徴量照合部１６，顔特徴量削除部１７，前検出状態記憶部１８，注目者ログ記憶部１９，注目者数集計部２０，結果出力部２１として機能している。ここでは前記画像入力部１１は、前記通信インタフェースをもって実現されている。
【００２８】
ずなわち、前記画像入力部１１には、前記撮像装置で撮像されたデジタルデータの画像がネットワーク経由で時系列に入力されている。前記顔検出部１２は前記入力画像から人物の顔領域を検出し、前記顔姿勢推定部１３は検出された顔領域をもとに顔の姿勢を表す顔姿勢パラメータを推定する。
【００２９】
前記状態判別部１４は、連続する前フレームと現フレームとの間で顔領域を、前記顔姿勢パラメータなどを利用して対応付け、現フレームの顔領域の状態を事前に用意したタイプに応じて判別する。
【００３０】
前記検出ＩＤ等付与・顔特徴量記憶部１５は、図２に示すように、前記顔領域に検出ＩＤを付与する検出ＩＤ等付与部１５ａと、該検出ＩＤを付与された現フレームの顔領域から顔特徴量を抽出する特徴量抽出部１５ｂと、前記検出ＩＤおよび前記顔特徴量を記憶する顔特徴量記憶部１５ｃとを有する。この顔特徴量記憶部１５ｃには、検出ＩＤを付与されたフレーム毎に顔領域の顔特徴量が順次に記憶され、各過去フレームの顔特徴量が蓄積されている。
【００３１】
前記顔特徴量照合部１６は、現フレームの顔領域の顔特徴量と、前記顔特徴量記憶部１５ｃに記憶された過去フレームの顔領域の顔特徴量とを照合する。ここで照合される過去フレームは、現フレームと不連続のフレームが該当する。照合の結果、顔特徴量が合致すれば現フレームの検出ＩＤを欠番ＩＤログとして前記注目者ログ記録部１９に記録する。
【００３２】
この記録後に現フレームの顔領域の検出ＩＤを過去フレームの検出ＩＤに置換え、該置換えた検出ＩＤの注視時間を現フレームの顔領域の注視時間に加算する。これにより前記顔特徴量記憶部１５ｃの記録データが更新される。ここで過去フレームの顔特徴量に合致した現フレームの顔特徴量は、次フレーム以降の照合処理にあたっては照合対象とはならない。
【００３３】
前記顔特徴量削除部１７は、前記特徴量記憶部１５ｃに記憶されている顔特徴量を一定時間経過後に削除する。ここでは併せて顔特徴量の関連情報（検出ＩＤ，注視時間，姿勢パラメータ，消失時刻など）を削除する。
【００３４】
前記前検出状態記憶部１８には、次フレーム以降の処理に利用するために、前記各部１２．１４．１５ａの処理結果が記録される。前記注目者ログ記憶部１９には、前記顔検出部１２の検出データおよび前記顔特徴量記憶部１５ｃの記憶データが注目者ログとして蓄積される。
【００３５】
前記注目者数集計部２０は、前記注視者ログ記録部１９の記録データから対象期間内の注視者数を計数し、該各注視者の平均注視時間を算出する。ここでは前記欠番ＩＤログを参照し、欠番ＩＤを除外して平均注視時が算出される。前記結果出力部２１は、前記注目者数集計部２０の計測結果を出力する。なお、前記各記憶部１５ｃ．１８．１９は、メモリ（ＲＡＭ）やハードディスクドライブ装置などの記憶装置をもって実現されている。
【００３６】
以下、前記各機能ブロック１１〜２１の具体的な処理内容を、図３の処理フローに基づき説明する。この処理内容は、図３（ａ）の前記撮像装置に映った注目者ログを取得するステップ（Ｓ１１〜Ｓ１９）と、図３（ｂ）の注目者ログを集計出力するステップ（Ｓ２０．Ｓ２１）とに大別される。
【００３７】
（２）注目者ログの取得ステップ
図３（ａ）中、Ｓ１１〜Ｓ２０の処理ステップは、前記撮像装置から画像フレームが入力されている限り繰り返して行われる。
【００３８】
Ｓ１１：前記画像入力部１１は、前記撮像装置から連続的に入力される画像フレームを受け付ける（Ｓ１１）。ここで入力された画像フレームは、前記顔検出部１２に伝送される。
【００３９】
Ｓ１２：前記顔検出部１２では、前記画像入力部１１から伝送された各画像フレームから顔のある領域を検出する。ここでは例えば非特許文献１に記載された確率的増分符号相関などの統計的手法を利用して高速に検出することが可能である。
【００４０】
このとき検出に用いられた照合評価値、即ち顔らしさを示す類似度は状態判定部１４の処理に使用される。また、顔検出部１２は、前記類似度と併せて顔領域の検出位置・大きさ・検出時刻などを検出顔情報として測定・取得する。
【００４１】
Ｓ１３：前記顔姿勢推定部１３では、Ｓ１２で検出された顔領域（以下、検出顔とする。）の明度パターンを入力として、顔の姿勢を高精度に推定する。ここでは例えば非特許文献２に記載の主成分分析とサポートベクトル回帰を組み合わせたパラメータ推定法などが適用可能である。
【００４２】
この顔の姿勢を表すパラメータには、ｙａｗ角（左右方向の角度），ｐｉｔｃｈ角（上下方向の角度）の２種類が用いられている。なお、前記撮像装置から見て正面向きをｙａｗ角＝０度，ｐｉｔｃｈ各＝０度とする。
【００４３】
Ｓ１４：前記状態判別部１４では、前記前検出状態記憶部１６を参照して前フレームにおける検出顔の検出位置・大きさとその状態を読み込み、現フレームでの各検出顔の状態を判別する。ここでは現フレームをフレーム（ｎ：ｎ＝１．２．３．．．ｋ）とし、前フレームをフレーム（ｎ−１）とする。このＳ１４で判別する検出顔の状態は以下の３種類とプログラムに定義されているものとする。
【００４４】
状態１：仮検出結果
状態２：正検出結果
状態３：正検出結果、且つ注視状態
具体的には、まず、現フレームの各検出顔を、顔らしさを表す類似度でソートする。つぎに、類似度の高いものから順番に、検出位置と大きさとを用いて、前フレームの検出顔と対応付けていく。この対応付けは１対１に行われ、以下の２条件を両方満たすものと対応付けられるものとする。
【００４５】
条件１：現フレームにおける検出顔の大きさを「ｓ」とした場合、前フレーム検出顔の大きさ「ｓpre」が以下の式（１）に当てはまること。
【００４６】
【数１】
2010211485.tif 000003
【００４７】
条件２：現フレームにおける検出顔の中心位置を（ｘ，ｙ）とした場合、前フレームにおける検出顔の中心位置（ｘpre，ｙpre）が以下の式（２）に当てはまること。
【００４８】
【数２】
2010211485.tif 000004
【００４９】
式（１）（２）において「ｋmin」，「ｋmax」，「ｌmin」，「ｌmax」，「ｍmin」，「ｍmax」は、あらかじめ与えられる定数である。また、該当するものが２個以上ある場合、中心位置どうしの距離が最も小さいものを採用することとする。そして、現フレームの全ての検出顔が前フレームの検出顔と対応付けられた後に、図４に示す処理に基づいてそれらの状態を決定する。なお、式（１）（２）はプログラムに定義されているものとする。
【００５０】
図４中、前フレームの検出結果（検出顔の判別結果）が“状態１”のときは、現フレームに対応付けられた検出結果、即ち式（１）（２）の条件を満たす前フレームの検出結果が存在するか否かを判別し（Ｓ１４ａ）、存在しない場合は現フレームの検出結果を“検出なし”とする。
【００５１】
前フレームの検出結果が“状態２”あるいは“状態３”のときも、同様に現フレームに対応付けられた検出結果、即ち式（１）（２）の条件を満たす前フレームの検出顔が存在するか否かを判別する（Ｓ１４ｂ）。存在しない場合は現フレームの検出結果を“状態１”とする。この場合は、前フレームの検出位置、大きさを継承して現フレームの検出結果に反映する。
【００５２】
ステップＳ１４ａ．Ｓ１４ｂにおいて、対応付けられた検出結果が存在する場合は、姿勢が指定範囲内であるか否かを判別する（Ｓ１４ｃ）。判別結果が指定範囲内ではない場合は、現フレームの検出結果を“状態２”とする一方、指定範囲内である場合は“状態３”とする。ここで指定範囲内とは、現フレームにおける検出顔の姿勢パラメータ（ｙａｗ角，ｐｉｔｃｈ角）が以下の式（３）を満たす場合を指す。
【００５３】
【数３】
2010211485.tif 000005
【００５４】
式（３）中、「ｙmin」，「ｙmax」，「ｐmin」，「ｐmax」は、あらかじめ与えられる定数である。これらの定数値を適切に設定することで、前記撮像装置と広告メディアとの相対的な位置関係にある程度の自由度を持たせることができる。例えば、ななめ横から撮像するような状態にも対応可能である。なお、式（３）もプログラムに定義されているものとする。
【００５５】
前フレームの検出結果が“検出なし”のときは、現フレームに前フレームのどの結果とも対応付けられなかったものが残存するか否かを判別し（ステップＳ１４ｄ）、残存する場合は現フレームの検出結果を“状態１”とする。ここで検出された現フレームの検出結果は、前記前検出状態記憶部１８に記録される。なお、状態判別の結果例を、図５（前フレーム−現フレーム：１ｓｅｃ）に示しておく。
【００５６】
Ｓ１５：前記検出ＩＤ等付与部１５ａでは、それぞれの検出顔の状態と対応付けられた前フレームの検出顔が持つ検出ＩＤ情報および注視時間情報に基づき、現フレームでの検出ＩＤ等の情報を付与する。
【００５７】
このとき顔特徴量抽出部１５ｂが、所定の条件に応じて検出顔の顔特徴量を抽出し、前記顔特徴量記憶部１５ｃに記憶させる。なお、前記顔特徴量記憶部１５ｃには、検出ＩＤを付与されたフレーム毎に顔領域の顔特徴量が順次に記憶されている。この意味で前記顔特徴量記憶部１５ｃには各過去フレームの検出顔の顔特徴量が蓄積されている。具体的な処理方法を以下に示す。
【００５８】
現フレームの検出顔が”状態１”であり、かつ前フレームに対応する検出顔が存在しない場合は、新規の検出ＩＤが発行・付与され、注視時間０秒とする。例えば図５（ｃ）中の検出顔（ＩＤ：１４）が該当する。
【００５９】
ここでは、ｙ’min，ｙ’max，ｐ’min，ｐ’maxのそれぞれに指定した数値を代入する（これらは、顔特徴量を前記顔特徴量記憶部１５ｃに保存するか否か判定する際に使用し、以後更新の可能性もあるため、検出ＩＤごとに固有に持つものとする）。例えば前述した定数を利用して、
ｙ’min←ｙmin，ｙ’max←ｙmax，ｐ’min←ｐmin，ｐ’max←ｐmax
と指定してもよく、全く異なる数値を入れてもよい。また、”状態２”あるいは”状態３”と判別されたか否かを示すフラグＦｌｇ１、および過去フレームの顔特徴量と合致したか否かを示すフラグＦｌｇ２をＯＦＦにする（これらも検出ＩＤごとに固有に持つ）。ここでは過去フレームはフレーム（ｎ−２．３．４．．．ｋ）とする。
【００６０】
現フレームの検出顔が”状態１”であり、かつ前フレームに対応する検出顔が存在する場合は、検出ＩＤおよび注視時間情報を対応する前フレーム検出顔からそのまま継承する。例えば図５（ｃ）中の検出顔（ＩＤ：１０）が該当する。
【００６１】
そして、前フレームの検出顔のＦｌｇ１がＯＮの場合には、前記特徴量記憶部１５ｃに記憶された同一ＩＤの顔特徴量の属性情報として消失時刻を記録する（ＯＦＦの場合は、一度も記憶していないため、同一ＩＤの顔特徴量が存在しない）。その際、顔がフレームから消失した否かを示すＦｌｇ’１をＯＮにする。この点も前記消失時刻と同様、前記特徴量記憶部１５ｃに記憶された顔特徴量の属性情報とする。
【００６２】
”状態２”の場合には、検出ＩＤおよび注視時間情報を対応する前フレームの検出顔からそのまま継承する。例えば図５（ｃ）中の検出顔（ＩＤ：１１）が該当する。ここでは現フレームの検出顔の姿勢パラメータ（ｙａｗ角、ｐｉｔｃｈ角）が式（４）の条件を満たすとき、顔特徴量を前記顔特徴量記憶部１５ｃに記憶する処理を実行する。
【００６３】
【数４】
2010211485.tif 000006
【００６４】
ここではｙ’min、ｙ’max、ｐ’min、ｐ’maxの値を、以下のように順次更新していくものとする。
【００６５】
ｙ’min←−｜ｙａｗ｜，ｙ’max←｜ｙａｗ｜
ｐ’min←−｜ｐｉｔｃｈ｜，ｐ’max←｜ｐｉｔｃｈ｜
顔特徴量は照合に適したものが選択され、代表例としては非特許文献３のｇａｂｏｒ特徴が挙げられる。検出顔の顔特徴量の抽出後に、検出ＩＤ・注視時間・姿勢パラメータ（ｙａｗ角，ｐｉｔｃｈ角）とともに前記顔特徴量記憶部１５ｃに記憶し、フラグＦｌｇ１をＯＮにする。また、検出顔がフレームから消失したか否かを示すＦｌｇ’１をＯＦＦにする。ここでは前記顔特徴量記憶部１５ｃ内に同じ検出ＩＤが存在する場合は以前のものを上書きする。以上の更新処理を行うことで、同一検出ＩＤについては、より正面向きに近い顔の特徴量が記憶部１５に記憶され、顔の向き変動に柔軟に対応している。
【００６６】
”状態３”の場合には、検出ＩＤを前フレームからそのまま継承し、注視時間を、（対応する前フレームの検出顔が持つ注視時間情報）＋（前フレーム−現フレーム間の経過時間）とする。例えば図５（ｃ）の検出顔（ＩＤ：１３）が該当する。この検出顔（ＩＤ：１３）の注視時間は３ｓｅｃと算出されている。
【００６７】
ここでは”状態２”の場合と同様に所定の条件を満たす場合は顔特徴量・検出ＩＤ・注視時間・姿勢パラメータ（ｙａｗ角，ｐｉｔｃｈ角）を前記顔特徴量記憶部１５ｃに記憶する。併せてＦｌｇ１をＯＮに、Ｆｌｇ’１をＯＦＦにする。
【００６８】
Ｓ１６：前記顔特徴量照合部１６は、数フレーム間で未検出の顔領域が現フレームにおいて新たに検出された場合、前記顔特徴量記憶部１５ｃに記憶された過去フレームの顔特徴量との照合処理を行う。
【００６９】
例えば、過去フレーム（ｎ−４）で”状態２”あるいは”状態３”の検出顔は、過去フレーム（ｎ−３）で未検出の場合に、図４中のＳ１４ｂ．Ｓ１４ｃに示すように”状態１”と判別される。この検出顔は、過去フレーム（ｎ−２）で未検出の場合、Ｓ１４ａに示すように、”検出なし”と判別され、該検出顔をロストする。
【００７０】
ところが、前フレーム（ｎ−１）で同一の顔領域が新たに検出された場合には、Ｓ１４ｄに示すように、新規ＩＤが付与され、ダブルカウントが生じる。この検出顔は、さらに現フレーム（ｎ）では、Ｓ１４ｂ．Ｓ１４ｃに従って”状態２”あるいは”状態３”と判定されるおそれがある。
【００７１】
そこで、前記顔特徴量照合部１６では、過去フレームの顔特徴量と合致するか否かを示すＦｌｇ２を参照し、ＯＦＦの場合に前記顔特徴量記憶部１５ｃに記憶された過去フレームの顔特徴量との照合処理を行う。具体的には、まず、現フレームの検出位置から切出された顔画像から特徴量を抽出する（前記顔特徴量記憶部１５ｃで既に抽出された顔特徴量があればそれを流用してもよい。）。
【００７２】
つぎに前記顔特徴量記憶部１５ｃに記憶された顔特徴量（検出顔がフレームから消失したか否かを示すフラグＦｌｇ’１がＯＮであるもの限る。）と、現フレームの検出顔から抽出された特徴量の照合を行う。ここでは前記顔特徴量記憶部１５ｃに記憶された顔特徴量の姿勢パラメータと、現フレーム検出顔の姿勢パラメータとの差が指定範囲内の場合にのみ照合を行うものとする。
【００７３】
照合の結果、特徴量が合致した場合は、現フレーム検出顔の検出ＩＤを、欠番ＩＤログとして前記注目者ログ記憶部１９に記録する（欠番ＩＤログは追記方式で記録される。）。ここで記録した検出ＩＤに該当する顔特徴量が前記顔特徴量記憶部１５に存在する場合は、その特徴量と関連する情報（検出ＩＤ、注視時間、姿勢パラメータ、消失時刻、Ｆｌｇ’１）を該記憶部１５から除外する。
【００７４】
そして、現フレームの検出顔の検出ＩＤを、先程合致した前記顔特徴量記憶部１５ｃ内の顔特徴量が持つ検出ＩＤに置き換える。これにより同一の検出顔は、顔特徴量などが一つに限定され、前記顔特徴量記憶部１５ｃの記憶容量の圧迫が抑制される。このとき先程合致した前記顔特徴量記憶部１５ｃ内の顔特徴量が持つ注視時間を現フレームの検出顔の注視時間に加算する。すなわち、現フレームの検出顔の注視時間は、前記顔特徴量記憶部１５ｃ内の顔特徴量が持つ注視時間を加算した数値に更新される。
【００７５】
また、検出顔がフレームから消失したか否か示すフラグＦｌｇ’１をＯＦＦに切り替え、過去フレームの顔特徴量と合致したか否かを示すフラグＦｌｇ２をＯＮに切り替える。したがって、過去フレームの検出顔の顔特徴と一度でも合致した場合、その顔特徴の照合処理は再度行われない。これらの処理を現フレームで検出された”状態２”あるいは”状態３”の検出顔に対しそれぞれ適用する。
【００７６】
Ｓ１７：前記顔特徴量削除部１７では、前記顔特徴量記憶部１５ｃの記憶データのうち、検出顔がフレームから消失したか否かを示すフラグＦｌｇ’１がＯＮで、かつ消失時刻が現在時刻より一定時間以前（あらかじめプログラムに設定しておく。）の顔特徴量をピックアップする。
【００７７】
ここでピックアップされた顔特徴量に関する情報（顔特徴量、検出ＩＤ、注視時間、姿勢パラメータ、消失時刻、Ｆｌｇ’１）を顔特徴量記憶部１５ｃから除外する。
【００７８】
Ｓ１８：前検出状態記録部１８には、Ｓ１２．Ｓ１４．Ｓ１５の処理結果、即ち現フレーム中のすべての検出顔について、顔検出時刻、位置、大きさ、状態、検出ＩＤ、注視時間、ｙ’min、ｙ’max、ｐ’min、ｐ’max、Ｆｌｇ１、Ｆｌｇ２が記録される。その際、前回記録した分は消去する。
【００７９】
Ｓ１９：注目者ログ記憶部１９には、Ｓ１２．Ｓ１５．Ｓ１６の処理結果、即ち顔検出部１２の検出した現フレームのすべての検出顔の検出時刻、前記顔特徴量記憶部１５ｃに記憶された検出ＩＤおよび注視時間（Ｓ１５〜Ｓ１７の処理後のもの）が注目者ログとして時系列に記録される。その際に前回記録した分は消去せず、追記のかたちで蓄積される。
【００８０】
なお、Ｓ１９の処理後にも画像フレームが入力されている場合にはＳ１１に戻って次フレームの処理を開始する。この場合には前検出状態記録部１８の記録情報は前フレームの検出顔情報として状態判別部１４．検出ＩＤ等付与部・顔特徴量記憶部１５に伝送される。一方、画像フレームの入力が無い場合には注目者ログの取得工程を終了する。
【００８１】
（３）出力ステップ
Ｓ２０：前記注目指標集計部２０では、注目者ログ記憶部１９に記録された注目者ログ，ユーザ指定の対象期間，ユーザ指定の注視時間しきい値を入力とし、”一定時間内に広告メディアを注視した人数”を計測する。
【００８２】
具体的には、まず前記注目者ログ記憶部２０から対象期間内の注目者ログを読み込む。このとき対象期間は、ユーザが入力手段などをもって指定するものであるが、ディジタルサイネージやテレビコマーシャル等では対象広告が一部時間帯に限定されている場合もありうる。その場合は、対象広告メディアのタイムスケジュール情報を入力し、広告表示されている時間帯でさらに絞り込む。
【００８３】
つぎに検出時刻が最も遅いものから順に参照しつつ、検出ＩＤの異なる検出顔情報（ここでは検出時刻，検出ＩＤ，注視時間）を一つずつピックアップしていく。この操作により、同一検出ＩＤの検出顔情報は注視時間情報が最大のものだけが唯一つ残されることになる。しかし、この中には途中から同一人物として認識された顔のログも混ざっている。そこで、前述した欠番ＩＤログを参照し、欠番ＩＤのものを除外する。
【００８４】
さらに、注視時間情報が注視時間しきい値より小さいものを除外する（この処理は省略してもよい）。最終的に残った検出顔数を集計して、”一定時間内に広告を注視した人数”が求められる。また、最終的に残った検出顔の注視時間の合計を検出顔数で割れば”注視時間の平均値”が算出される。
【００８５】
Ｓ２１：前記結果出力部２１では、Ｓ２０で得られた集計結果を出力する。この出力はディスプレイなどの表示手段に映してもよく、またプリンタなどで出力してもよい。
【００８６】
このように広告効果測定装置１０によれば、数フレーム分間で未検出の顔領域が現フレームで検出された場合に、顔特徴量記憶部１５に記憶された過去フレームの顔特徴量との照合処理が行われ、同一人物のダブルカウントが防止される。
【００８７】
このとき照合処理は、両フレーム間で検出顔の姿勢パラメータ差が指定範囲内の場合に限定されていることから、照合対象が限られ、全体の処理が効率化し、処理が安定化する。
【００８８】
また、両フレーム間で顔特徴量が合致するとフラグＦｌｇ’１がＯＦＦに切り替えられ、フラグＦｌｇ２がＯＮに切り替えられることから、過去フレームの検出顔の顔特徴と一度でも合致したフレームの顔特徴量は、以後の照合処理に利用されることがなく、照合処理の処理対象がさらに限定され、全体の処理効率が向上する。さらに、各フレームの特徴量は、顔姿勢パラメータが式（４）の条件満たさない場合には顔特徴量記憶部１５ｃに記憶されないことから、この点でも照合対象が限定されている。
【００８９】
なお、本発明は、前記広告効果測定装置としてコンピュータを機能させるプログラムとしても構築することができる。このプログラムは、Ｓ１１〜Ｓ２１の全てのステップをコンピュータに実行させるものでもよく、あるいはＳ１１〜Ｓ１９などの一部のステップのみを実行させるものでもよい。
【００９０】
このプログラムは、Ｗｅｂサイトや電子メールなどネットワークを通じて提供することができる。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ  Ｄｉｓｋ（登録商標）などの記録媒体１０に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置（光学ドライブなど）を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。
【符号の説明】
【００９１】
１０…広告効果測定装置（注視度合測定装置）
１１…画像入力部
１２…顔検出部（顔検出手段）
１３…顔姿勢推定部（顔姿勢推定手段）
１４…状態判別部（状態判別手段）
１５…検出ＩＤ等・顔特徴量記憶部
１５ａ…検出ＩＤ等付与部（検出ＩＤ等付与手段）
１５ｂ…顔特徴量抽出部
１５ｃ…顔特徴量記憶部（記憶手段）
１６…顔特徴量照合部（照合処理手段）
１７…顔特徴量削除部
１８…前検出状態記憶部
１９…注目者ログ記憶部
２０…注目者数集計部（注視者数集計手段）
２１…結果出力部
【図１】
2010211485.tif 000007
【図２】
2010211485.tif 000008
【図３】
2010211485.tif 000009
【図４】
2010211485.tif 000010
【図５】
2010211485.tif 000011