(57)【要約】【課題】  撮像機器で撮影した画像中から、対象物を注目する人物の顔のみを検出し、注目度を計測することができる注目度計測技術を提供する。【解決手段】  画像入力部１１、識別器１４、識別結果統合部１５、および注目度算出部１３から構成される注目度計測装置１０の識別器１４および識別結果統合部１５を、人物の顔を含む複数の画像を蓄積する画像データ蓄積部２１、注目度計測条件を入力する注目時計測条件入力部２５、識別器使用テーブルを作成する識別器使用テーブル作成部２４、記憶する識別器仕様テーブル２３、並びに識別器仕様テーブルに記憶された識別器仕様情報および画像データ蓄積部２１に蓄積された画像に基づいて複数の識別器および識別結果統合部１５を設定する統合識別器設定部２２から構成される識別器設定装置２０により設定する。【選択図】  図１
2006065447.tif 000002
【特許請求の範囲】
【請求項１】
計測対象である画像を入力する画像入力手段と、
前記入力された画像から人物の顔を識別する複数の識別器と、
前記複数の識別器を統合し、所定範囲の方向を向いた人物の顔を検出する識別結果統合手段と、
前記検出結果から注目度を算出する注目度算出手段と、を有する注目度計測装置の前記複数の識別器および前記識別結果統合手段を設定する識別器設定装置であって、
人物の顔を含む複数の画像を蓄積する画像データ蓄積手段と、
前記複数の識別器および前記識別結果統合手段を設定する識別器仕様情報を入力する識別器仕様情報入力手段と、
前記入力された識別器仕様情報を記憶する識別器仕様テーブルと、
前記識別器仕様テーブルに記憶された識別器仕様情報および前記画像データ蓄積手段に蓄積された画像に基づいて前記複数の識別器および前記識別結果統合手段を設定する統合識別器設定手段と、を有することを特徴とする識別器設定装置。
【請求項２】
計測対象である画像を入力する画像入力手段と、
前記入力された画像から人物の顔を識別する複数の識別器と、
前記複数の識別器を統合し、所定範囲の方向を向いた人物の顔を検出する識別結果統合手段と、
前記検出結果から注目度を算出する注目度算出手段と、を有する注目度計測装置の前記複数の識別器および前記識別結果統合手段を設定する識別器設定装置であって、
人物の顔を含む複数の画像、並びに該画像における人物の顔の位置および被写状態を示す被写体情報を蓄積する画像データ蓄積手段と、
注目度計測条件を入力する注目度計測条件入力手段と、
前記注目度計測条件および前記画像データ蓄積手段に蓄積された被写体情報に基づいて識別器仕様テーブルを作成する識別器仕様テーブル作成手段と、
前記作成された識別器仕様テーブルを記憶する識別器仕様テーブルと、
前記識別器仕様テーブルに記憶された識別器仕様情報および前記画像データ蓄積手段に蓄積された画像に基づいて前記複数の識別器および前記識別結果統合手段を設定する統合識別器設定手段と、を有することを特徴とする識別器設定装置。
【請求項３】
前記識別器仕様テーブルは、
前記複数の識別器の利用個数を示す識別器利用個数と、
利用する前記複数の識別器の各種類を表す識別器種別と、
利用する前記複数の識別器をそれぞれ構成するための変数の情報である識別器構成変数情報と、
前記識別結果統合手段において用いられる、利用する前記複数の識別器を統合する関数の情報である識別結果統合関数情報と、を記憶することを特徴とする請求項１または２に記載の識別器設定装置。
【請求項４】
前記識別器設定装置が、
前記識別器種別に基づいて前記識別器を構成するための情報を記憶する識別器設定情報記憶手段を有することを特徴とする請求項３に記載の被写体識別器設定装置。
【請求項５】
前記複数の識別器は、
それぞれが、人物の顔の画像に基づく学習データ、または人物の顔の画像および人物の顔以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別器であり、
前記識別器構成変数情報は、
前記複数の識別器のそれぞれに対応する、人物の顔の画像に基づく学習データ、または人物の顔以外の画像であって前記識別器毎に互いに異なる画像を含む１つ以上の画像に基づく学習データに関する情報であり、
前記統合識別器設定手段は、
前記識別器構成変数情報に対応する学習データを前記画像データ蓄積手段から読出し当該識別器に学習させることを特徴とする請求項１〜４いずれかに記載の識別器設定装置。
【請求項６】
計測対象である画像を入力する画像入力手段と、
前記入力された画像中から人物の顔を識別する複数の識別器と、
前記複数の識別器の識別結果を統合して所定の方向を向いた人物の顔を検出する識別結果統合手段と、
前記検出結果から注目度を算出する注目度算出手段と、を有することを特徴とする注目度計測装置。
【請求項７】
前記複数の識別器は、
それぞれが、人物の顔の画像に基づく学習データ、または人物の顔の画像および人物の顔以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別器であり、
それぞれが、人物の顔の画像に基づく学習データ、または人物の顔以外の画像であって前記識別器毎に互いに異なる画像を含む１つ以上の画像に基づく学習データを学習することにより構成される、ことを特徴とする請求項６に記載の注目度測定装置。
【請求項８】
前記複数の識別器は、
それぞれが、人物の顔の画像であって、前記識別器毎に互いに撮影角度が異なる画像を含む１つ以上の画像に基づく学習データを学習することにより構成される、ことを特徴とする請求項７に記載の注目度計測装置。
【請求項９】
前記複数の識別器は、
それぞれが、人物の顔の画像に基づく学習データ、または人物の顔以外の画像であって、前記識別器毎に互いに画像サイズが異なる画像を含む１つ以上の画像に基づく学習データを学習することにより構成される、ことを特徴とする請求項７または８に記載の注目度計測装置。
【請求項１０】
前記複数の識別器および前記識別結果統合手段は、前記請求項１〜５いずれかの識別器設定装置によって設定されることを特徴とする請求項６〜９いずれかに記載の注目度計測装置。
【請求項１１】
前記注目度算出手段は、
前記識別結果統合手段で注目しているとして検出された顔の人物に関して、前記入力画像から当該人物の特徴を抽出する顔検出手段と、
前記抽出結果と前記入力画像とを関連付けてを蓄積する追跡画像蓄積手段と、
前記蓄積された前記入力画像中の人物を抽出し、当該抽出された人物の動きを追跡する人物追跡手段と、
前記人物追跡結果に基づいて前記注目度を演算する注目度演算手段と、を有することを特徴とする請求項６〜１０いずれかに記載の注目度計測装置。
【請求項１２】
画像入力手段が計測対象である画像を入力するステップと、
複数の識別器が前記入力された画像から人物の顔を識別するステップと、
識別結果統合手段が前記複数の識別器を統合し、所定範囲の方向を向いた人物の顔を検出するステップと、
注目度算出手段が前記検出結果から注目度を算出するステップと、を有する注目度計測方法における前記複数の識別器および前記識別結果統合手段を設定する識別器設定方法であって、
画像データ蓄積手段が人物の顔を含む複数の画像を蓄積するステップと、
識別器仕様情報入力手段が前記複数の識別器および前記識別結果統合手段を設定する識別器仕様情報を入力するステップと、
識別器仕様テーブルが前記入力された識別器仕様情報を記憶するステップと、
統合識別器設定手段が前記識別器仕様テーブルに記憶された識別器仕様情報および前記画像データ蓄積手段に蓄積された画像に基づいて前記複数の識別器および前記識別結果統合手段を設定するステップと、を有することを特徴とする識別器設定方法。
【請求項１３】
画像入力手段が計測対象である画像を入力するステップと、
複数の識別器が前記入力された画像から人物の顔を識別するステップと、
識別結果統合手段が前記複数の識別器を統合し、所定範囲の方向を向いた人物の顔を検出するステップと、
注目度算出手段が前記検出結果から注目度を算出するステップと、を有する注目度計測方法における前記複数の識別器および前記識別結果統合手段を設定する識別器設定方法であって、
画像データ蓄積手段が人物の顔を含む複数の画像、並びに該画像における人物の顔の位置および被写状態を示す被写体情報を蓄積するステップと、
注目度計測条件入力手段が注目度計測条件を入力するステップと、
識別器仕様テーブル作成手段が前記注目度計測条件および前記画像データ蓄積手段に蓄積された被写体情報に基づいて識別器仕様テーブルを作成するステップと、
識別器仕様テーブルが前記作成された識別器仕様テーブルを記憶するステップと、
統合識別器設定手段が前記識別器仕様テーブルに記憶された識別器仕様情報および前記画像データ蓄積手段に蓄積された画像に基づいて前記複数の識別器および前記識別結果統合手段を設定するステップと、を有することを特徴とする識別器設定方法。
【請求項１４】
前記識別器仕様テーブルは、
前記複数の識別器の利用個数を示す識別器利用個数と、
利用する前記複数の識別器の各種類を表す識別器種別と、
利用する前記複数をそれぞれ構成するための変数の情報である識別器構成変数情報と、
前記識別結果統合手段において用いられる、利用する前記複数の識別器を統合する関数の情報である識別結果統合関数情報と、を記憶することを特徴とする請求項１２または１３に記載の識別器設定方法。
【請求項１５】
前記識別器設定方法において、
識別器設定情報記憶手段が前記識別器種別に基づいて前記識別器を構成するための情報を記憶しており、当該情報を前記統合識別器設定手段に提供することを特徴とする請求項１４に記載の被写体識別器設定方法。
【請求項１６】
前記複数の識別器は、
それぞれが、人物の顔の画像に基づく学習データ、または人物の顔の画像および人物の顔以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別器であり、
前記識別器構成変数情報は、
前記複数の識別器のそれぞれに対応する、人物の顔の画像に基づく学習データ、または人物の顔以外の画像であって前記識別器毎に互いに異なる画像を含む１つ以上の画像に基づく学習データに関する情報であり、
前記統合識別器設定手段は、
前記識別器構成変数情報に対応する学習データを前記画像データ蓄積手段から読出し当該識別器に学習させることを特徴とする請求項１２〜１５いずれかに記載の識別器設定方法。
【請求項１７】
画像入力手段が計測対象である画像を入力するステップと、
複数の識別器が前記入力された画像中から人物の顔を識別するステップと、
識別結果統合手段が前記複数の識別器の識別結果を統合して所定の方向を向いた人物の顔を検出するステップと、
注目度算出手段が前記検出結果から注目度を算出するステップと、を有することを特徴とする注目度計測方法。
【請求項１８】
前記複数の識別器は、
それぞれが、人物の顔の画像に基づく学習データ、または人物の顔の画像および人物の顔以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別器であり、
それぞれが、人物の顔の画像に基づく学習データ、または人物の顔以外の画像であって前記識別器毎に互いに異なる画像を含む１つ以上の画像に基づく学習データを学習することにより構成される、ことを特徴とする請求項１７に記載の注目度測定方法。
【請求項１９】
前記複数の識別器は、
それぞれが、人物の顔の画像であって、前記識別器毎に互いに撮影角度が異なる画像を含む１つ以上の画像に基づく学習データを学習することにより構成される、ことを特徴とする請求項１８に記載の注目度計測方法。
【請求項２０】
前記複数の識別器は、
それぞれが、人物の顔の画像に基づく学習データ、または人物の顔以外の画像であって、前記識別器毎に互いに画像サイズが異なる画像を含む１つ以上の画像に基づく学習データを学習することにより構成される、ことを特徴とする請求項１８または１９に記載の注目度計測方法。
【請求項２１】
前記複数の識別器および前記識別結果統合手段は、前記請求項１２〜１６いずれかの識別器設定方法によって設定されることを特徴とする請求項１７〜２０いずれかに記載の注目度計測方法。
【請求項２２】
前記注目度算出手段は、
顔検出手段が前記識別結果統合手段で注目しているとして検出された顔の人物に関して、前記入力画像から当該人物の特徴を抽出するステップと、
追跡画像蓄積手段が前記抽出結果と前記入力画像とを関連付けてを蓄積するステップと、
人物追跡手段が前記蓄積された前記入力画像中の人物を抽出し、当該抽出された人物の動きを追跡するステップと、
注目度演算手段が前記人物追跡結果に基づいて前記注目度を演算するステップと、を有することを特徴とする請求項１７〜２１いずれかに記載の注目度計測方法。
【請求項２３】
前記請求項１〜２２のいずれか１項に記載の識別器設定装置、注目度計測装置、識別器設定方法、または、注目度計測方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の注目度を計測対象範囲を撮影した画像から計測する注目度計測技術に関する。
【背景技術】
【０００２】
広告や商品の注目度を計測し、広告効果を計ったり、販売促進に役立てたりすることは重要である。こうした注目度は、従来より、人手により１日中現場でのデータ収集に努めたり、街頭アンケート等により広告の効果を計るということが行われている。しかし、人手による手法では、注目度計測の負担が大きい。
【０００３】
これに対し、広告メディア側にカメラを取り付け撮影画像中の人物の顔を検出し、人物の顔の輪郭と両目の距離から人物の顔の向きを計測し、カメラと広告メディアの位置関係を鑑み、広告メディアを注目している人物を検出する手法が提案されている（例えば、特許文献１参照。）。
また、同様に撮影された画像から人物の視線を検出して、注目している人物を検出する手法も提案されている（例えば、特許文献２参照。）。
【特許文献１】特開２０００−２０９５７８号公報
【特許文献２】特開２００２−２６９２９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、顔の輪郭と両目の距離から人物の顔の向きを計測する手法では、カメラの設置位置は注目している人物を正面に近い角度から撮影しなければならない。また、視線を検出するためには、画像中の人物の目を撮影するため、高解像度の撮影機器が求められる。さらに、いずれの手法においても、カメラの設置位置ごとに注目している人物の識別器をシステム提供者が設置場所に応じて構成する必要があった。
【０００５】
すなわち、撮像機器機材の種類によらず提示物付近に自由に設置した撮像機器により撮影した画像からユーザが注目している人物の定義となる顔の角度と大きさを入力するだけで、対象物を注目している人物を検出し注目度を計測することのできる顔検出器を自動的に構成し注目度を計測する技術はなかった。
【０００６】
本発明は、ユーザが自由に設置した撮像機器で撮影した画像中から、対象物を注目する人物の顔のみを検出し、注目度を計測することができる注目度計測技術を提供することにある。
【課題を解決するための手段】
【０００７】
そこで、上記課題を解決するために、請求項１は、計測対象である画像を入力する画像入力手段と、前記入力された画像から人物の顔を識別する複数の識別器と、前記複数の識別器を統合し、所定範囲の方向を向いた人物の顔を検出する識別結果統合手段と、前記検出結果から注目度を算出する注目度算出手段と、を有する注目度計測装置の前記複数の識別器および前記識別結果統合手段を設定する識別器設定装置であって、人物の顔を含む複数の画像を蓄積する画像データ蓄積手段と、前記複数の識別器および前記識別結果統合手段を設定する識別器仕様情報を入力する識別器仕様情報入力手段と、前記入力された識別器仕様情報を記憶する識別器仕様テーブルと、前記識別器仕様テーブルに記憶された識別器仕様情報および前記画像データ蓄積手段に蓄積された画像に基づいて前記複数の識別器および前記識別結果統合手段を設定する統合識別器設定手段と、を有することを特徴とする。
【０００８】
また、請求項２は、計測対象である画像を入力する画像入力手段と、前記入力された画像から人物の顔を識別する複数の識別器と、前記複数の識別器を統合し、所定範囲の方向を向いた人物の顔を検出する識別結果統合手段と、前記検出結果から注目度を算出する注目度算出手段と、を有する注目度計測装置の前記複数の識別器および前記識別結果統合手段を設定する識別器設定装置であって、人物の顔を含む複数の画像、並びに該画像における人物の顔の位置および被写状態を示す被写体情報を蓄積する画像データ蓄積手段と、注目度計測条件を入力する注目度計測条件入力手段と、前記注目度計測条件および前記画像データ蓄積手段に蓄積された被写体情報に基づいて識別器仕様テーブルを作成する識別器仕様テーブル作成手段と、前記作成された識別器仕様テーブルを記憶する識別器仕様テーブルと、前記識別器仕様テーブルに記憶された識別器仕様情報および前記画像データ蓄積手段に蓄積された画像に基づいて前記複数の識別器および前記識別結果統合手段を設定する統合識別器設定手段と、を有することを特徴とする。
【０００９】
また、請求項３は、前記識別器仕様テーブルは、前記複数の識別器の利用個数を示す識別器利用個数と、利用する前記複数の識別器の各種類を表す識別器種別と、利用する前記複数の識別器をそれぞれ構成するための変数の情報である識別器構成変数情報と、前記識別結果統合手段において用いられる、利用する前記複数の識別器を統合する関数の情報である識別結果統合関数情報と、を記憶することを特徴とする。
【００１０】
また、請求項４は、前記識別器設定装置が、前記識別器種別に基づいて前記識別器を構成するための情報を記憶する識別器設定情報記憶手段を有することを特徴とする。
【００１１】
また、請求項５は、前記複数の識別器は、それぞれが、人物の顔の画像に基づく学習データ、または人物の顔の画像および人物の顔以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別器であり、前記識別器構成変数情報は、前記複数の識別器のそれぞれに対応する、人物の顔の画像に基づく学習データ、または人物の顔以外の画像であって前記識別器毎に互いに異なる画像を含む１つ以上の画像に基づく学習データに関する情報であり、前記統合識別器設定手段は、前記識別器構成変数情報に対応する学習データを前記画像データ蓄積手段から読出し当該識別器に学習させることを特徴とする。
【００１２】
また、請求項６は、計測対象である画像を入力する画像入力手段と、前記入力された画像中から人物の顔を識別する複数の識別器と、前記複数の識別器の識別結果を統合して所定の方向を向いた人物の顔を検出する識別結果統合手段と、前記検出結果から注目度を算出する注目度算出手段と、を有することを特徴とする。
【００１３】
また、請求項７は、前記複数の識別器は、それぞれが、人物の顔の画像に基づく学習データ、または人物の顔の画像および人物の顔以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別器であり、それぞれが、人物の顔の画像に基づく学習データ、または人物の顔以外の画像であって前記識別器毎に互いに異なる画像を含む１つ以上の画像に基づく学習データを学習することにより構成される、ことを特徴とする。
【００１４】
また、請求項８は、前記複数の識別器は、それぞれが、人物の顔の画像であって、前記識別器毎に互いに撮影角度が異なる画像を含む１つ以上の画像に基づく学習データを学習することにより構成される、ことを特徴とする。
【００１５】
また、請求項９は、前記複数の識別器は、それぞれが、人物の顔の画像に基づく学習データ、または人物の顔以外の画像であって、前記識別器毎に互いに画像サイズが異なる画像を含む１つ以上の画像に基づく学習データを学習することにより構成される、ことを特徴とする。
【００１６】
また、請求項１０は、前記複数の識別器および前記識別結果統合手段は、前記請求項１〜５いずれかの識別器設定装置によって設定されることを特徴とする。
【００１７】
また、請求項１１は、前記注目度算出手段は、前記識別結果統合手段で注目しているとして検出された顔の人物に関して、前記入力画像から当該人物の特徴を抽出する顔検出手段と、前記抽出結果と前記入力画像とを関連付けてを蓄積する追跡画像蓄積手段と、前記蓄積された前記入力画像中の人物を抽出し、当該抽出された人物の動きを追跡する人物追跡手段と、前記人物追跡結果に基づいて前記注目度を演算する注目度演算手段と、を有することを特徴とする。
【００１８】
また、請求項１２は、画像入力手段が計測対象である画像を入力するステップと、複数の識別器が前記入力された画像から人物の顔を識別するステップと、識別結果統合手段が前記複数の識別器を統合し、所定範囲の方向を向いた人物の顔を検出するステップと、注目度算出手段が前記検出結果から注目度を算出するステップと、を有する注目度計測方法における前記複数の識別器および前記識別結果統合手段を設定する識別器設定方法であって、画像データ蓄積手段が人物の顔を含む複数の画像を蓄積するステップと、識別器仕様情報入力手段が前記複数の識別器および前記識別結果統合手段を設定する識別器仕様情報を入力するステップと、識別器仕様テーブルが前記入力された識別器仕様情報を記憶するステップと、統合識別器設定手段が前記識別器仕様テーブルに記憶された識別器仕様情報および前記画像データ蓄積手段に蓄積された画像に基づいて前記複数の識別器および前記識別結果統合手段を設定するステップと、を有することを特徴とする。
【００１９】
また、請求項１３は、画像入力手段が計測対象である画像を入力するステップと、複数の識別器が前記入力された画像から人物の顔を識別するステップと、識別結果統合手段が前記複数の識別器を統合し、所定範囲の方向を向いた人物の顔を検出するステップと、注目度算出手段が前記検出結果から注目度を算出するステップと、を有する注目度計測方法における前記複数の識別器および前記識別結果統合手段を設定する識別器設定方法であって、画像データ蓄積手段が人物の顔を含む複数の画像、並びに該画像における人物の顔の位置および被写状態を示す被写体情報を蓄積するステップと、注目度計測条件入力手段が注目度計測条件を入力するステップと、識別器仕様テーブル作成手段が前記注目度計測条件および前記画像データ蓄積手段に蓄積された被写体情報に基づいて識別器仕様テーブルを作成するステップと、識別器仕様テーブルが前記作成された識別器仕様テーブルを記憶するステップと、統合識別器設定手段が前記識別器仕様テーブルに記憶された識別器仕様情報および前記画像データ蓄積手段に蓄積された画像に基づいて前記複数の識別器および前記識別結果統合手段を設定するステップと、を有することを特徴とする。
【００２０】
また、請求項１４は、前記識別器仕様テーブルは、前記複数の識別器の利用個数を示す識別器利用個数と、利用する前記複数の識別器の各種類を表す識別器種別と、利用する前記複数の識別器をそれぞれ構成するための変数の情報である識別器構成変数情報と、前記識別結果統合手段において用いられる、利用する前記複数の識別器を統合する関数の情報である識別結果統合関数情報と、を記憶することを特徴とする。
【００２１】
また、請求項１５は、前記識別器設定方法において、識別器設定情報記憶手段が前記識別器種別に基づいて前記識別器を構成するための情報を記憶しており、当該情報を前記統合識別器設定手段に提供することを特徴とする。
【００２２】
また、請求項１６は、前記複数の識別器は、それぞれが、人物の顔の画像に基づく学習データ、または人物の顔の画像および人物の顔以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別器であり、前記識別器構成変数情報は、前記複数の識別器のそれぞれに対応する、人物の顔の画像に基づく学習データ、または人物の顔以外の画像であって前記識別器毎に互いに異なる画像を含む１つ以上の画像に基づく学習データに関する情報であり、前記統合識別器設定手段は、前記識別器構成変数情報に対応する学習データを前記画像データ蓄積手段から読出し当該識別器に学習させることを特徴とする。
【００２３】
また、請求項１７は、画像入力手段が計測対象である画像を入力するステップと、複数の識別器が前記入力された画像中から人物の顔を識別するステップと、識別結果統合手段が前記複数の識別器の識別結果を統合して所定の方向を向いた人物の顔を検出するステップと、注目度算出手段が前記検出結果から注目度を算出するステップと、を有することを特徴とする。
【００２４】
また、請求項１８は、前記複数の識別器は、それぞれが、人物の顔の画像に基づく学習データ、または人物の顔の画像および人物の顔以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型識別器であり、それぞれが、人物の顔の画像に基づく学習データ、または人物の顔以外の画像であって前記識別器毎に互いに異なる画像を含む１つ以上の画像に基づく学習データを学習することにより構成される、ことを特徴とする。
【００２５】
また、請求項１９は、前記複数の識別器は、それぞれが、人物の顔の画像であって、前記識別器毎に互いに撮影角度が異なる画像を含む１つ以上の画像に基づく学習データを学習することにより構成される、ことを特徴とする。
【００２６】
また、請求項２０は、前記複数の識別器は、それぞれが、人物の顔の画像に基づく学習データ、または人物の顔以外の画像であって、前記識別器毎に互いに画像サイズが異なる画像を含む１つ以上の画像に基づく学習データを学習することにより構成される、ことを特徴とする。
【００２７】
また、請求項２１は、前記複数の識別器および前記識別結果統合手段は、前記請求項１２〜１６いずれかの識別器設定方法によって設定されることを特徴とする。
【００２８】
また、請求項２２は、前記注目度算出手段は、顔検出手段が前記識別結果統合手段で注目しているとして検出された顔の人物に関して、前記入力画像から当該人物の特徴を抽出するステップと、追跡画像蓄積手段が前記抽出結果と前記入力画像とを関連付けてを蓄積するステップと、人物追跡手段が前記蓄積された前記入力画像中の人物を抽出し、当該抽出された人物の動きを追跡するステップと、注目度演算手段が前記人物追跡結果に基づいて前記注目度を演算するステップと、を有することを特徴とする。
【００２９】
また、請求項２３は、前記請求項１〜２２のいずれか１項に記載の識別器設定装置、注目度計測装置、識別器設定方法、または、注目度計測方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００３０】
本発明では、以上のような特徴的構成によって、撮像機器機材の種類によらず、自由に設置した撮像機器により撮影した画像から、注目している人物を定義するための顔の向きの角度と大きさを入力するだけで、対象物を注目している人物を検出し、注目度を計測することのできる顔検出器を自動的に構成することができる。
【００３１】
また、本手法により構成された検出器を有し、人物の顔を検出する装置は、ネットワークを介して処理を行うことも可能である。
【００３２】
さらに、計測結果を記憶媒体に保存することにより、注目度の継続監視を行うことも可能である。
【発明の効果】
【００３３】
以上説明したように本発明によれば、入力画像中から、ある範囲の変動をもつ人物の顔のみを検出する識別器を自動的に構成することができる。
【００３４】
これにより、対象物を注目している人物の定義となる顔の角度と大きさを入力するだけで、撮像機器の種類によらず、対象物付近にユーザが自由に設置した撮像機器により撮影した画像から対象物を注目している人物を検出し、注目度を計測することのできる顔検出器を自動的に構成し、注目度を計測することが可能となる。
【発明を実施するための最良の形態】
【００３５】
図１は、注目度計測システムの構成の概略を示す図である。注目度計測システムは、注目度計測装置１０と識別器設定装置２０とから構成されている。
【００３６】
注目度計測装置１０は、画像入力部１１、統合識別器１２、および注目度算出部１３から構成され、統合識別器１２は、複数の識別器１４および識別結果統合部１５から構成される。統合識別器１２における複数の識別器１４−１〜１４−Ｎおよび識別結果統合部１５は、識別器設定装置２０からの出力によって設定される。
【００３７】
画像入力部１１は、計測領域を撮影した画像を入力する。
【００３８】
統合識別器１２は、入力された画像の中から掲示物などの対象物を見ている人物の顔を検出し、その人数および画像中での位置を出力する。
【００３９】
注目度算出部１３は、統合識別器１２の出力に基づいて注目度の値を算出する。例えば、注目度を「注目している人数」と定義する場合は、対象物を見ている人物の人数をそのまま出力する。また、注目度を「計測領域に存在する人物に対する、対象物を見ている人物の割合」と定義する場合には、別途、画像中に存在する全人物の人数を計測し、その結果を用いて注目度を算出する。この計測には、別途、計測領域内の人物を全員検出できる識別器を設定して利用してもよいし、センサ等の別手段を利用してもよい。さらに、検出された顔の情報をもとに該人物の追跡を行い、人物が対象物を注目していた時間を計測してその値を注目度と定義してもよい。
【００４０】
また、解像度により可能であれば、男女識別、年齢推定、個人認識に用いることのできる部位特徴を抽出し、抽出された人物の特徴を注目度に反映させてもよい。例えば、「瀧川えりな、細井聖、"顔画像による自動性別・年代推定"、オムロン、センシング論文集１ ユビキタスネットワーク社会のセンシング特集、ｐ．３７−４１」を用いて、性別、年齢別の注目度を算出してもよい。
【００４１】
なお、注目度は上記の例に限るものではなく、上記のような種々の定義の中から選択できたり、別の注目度の定義をユーザが自由に設定できたりするものとしてもよい。
【００４２】
ここで、図２を用いて識別器設定装置２０の構成例を説明する。
【００４３】
識別器設定装置２０は、画像データ蓄積部２１、識別器仕様テーブル２３、識別器設定情報記憶部２６、注目度計測条件入力部２５、識別器仕様テーブル作成部２４、および統合識別器設定部２２から構成される。
【００４４】
画像データ蓄積部２１には、検出したい被写体の画像および画像中の被写体に関する情報を蓄積する。
【００４５】
注目度計測条件入力部２５は、注目している人物として判定する条件を注目度計測条件として入力する。ここで、注目している人物として判定する条件は、具体的には、検出すべき人物の顔の向きの角度、顔領域の大きさ等である。
【００４６】
識別器仕様テーブル作成部２４は、入力された注目度計測条件に基づき、識別器仕様テーブル２３を自動で作成する。
【００４７】
統合識別器設定部２２は、識別器仕様テーブル２３に基づき、目的の向き、大きさの人物の顔を識別する統合識別器１２を自動設定する。
【００４８】
識別器仕様テーブル２３には、人物の顔を識別する複数の識別器１４を組み合わせて統合した統合識別器１２を構成するために必要な情報を記憶する。
【００４９】
ここで、識別器仕様テーブル２３の例を詳しく説明するために、以下に具体的な例を述べる。
【００５０】
識別器仕様テーブル２３には、統合識別器設定部２２で組み合わせる個々の識別器１４の種類を示す識別器種別、組み合わせる識別器１４の利用個数を示す識別器利用個数、および識別器１４を構成する変数を示す識別器構成変数情報、識別器１４を統合する関数を示す識別結果統合関数情報が記憶されている。
【００５１】
識別器種別は、具体的には、テンプレートマッチングや学習判別法等の識別器１４の種類を示す識別器の種別である。
【００５２】
識別器利用個数は、統合識別器１２を構成する際に組み合わせる識別器１４の利用個数である。
【００５３】
識別器構成変数情報は、テンプレートマッチングのテンプレートや学習判別法の学習データセット等の識別器１４を構成する変数の情報である。
【００５４】
識別結果統合関数情報は、識別器１４を統合する関数の情報である。
【００５５】
識別器仕様テーブル２３には、これらの値がデフォルトとしてあらかじめ設定されており、これらの値は注目度計測条件により再設定したりユーザにより可変であるものとする。
【００５６】
画像データ蓄積部２１は、人物の顔を含む画像群、および画像中の人物の顔の被写状態を示すパラメータ（以下、被写体情報と記す）を蓄積している。
【００５７】
例えば、画像中での人物の顔や、顔の部位の位置、大きさ、色、形状、向き、特徴点等の情報をテーブル化した被写体情報テーブルを画像と関連付けてあらかじめ蓄積してあるものとする。
【００５８】
また、被写体情報は、順序関係をなすインデクスとなるような状態を表すパラメータ、具体的には、撮影された角度や画像中での大きさといったパラメータを含んでいるものとする。
【００５９】
蓄積されている画像群および被写体情報は、人物の顔のとり得る連続的な変動をカバーできるものであるとする。例えば、回転変動に対しては一定の回転角度毎の画像および被写体情報を蓄積してあるものとする。
【００６０】
さらに、識別器種別、識別器構成変数毎に対応できる変動許容範囲を記録した図３に示すような識別器利用個数決定テーブルを有し、識別器種別、識別器構成変数が決定された場合、注目度計測条件にあわせて構成する識別器の個数が決定されるものであってもよい。
【００６１】
注目度計測条件入力部２５は、入力された画像中から目的とする人物の顔をどのように検出するかの条件を示す注目度計測条件を入力する。具体的には、注目している人物の定義となる顔の向きの角度範囲、画像中の顔領域の大きさを指定する。
【００６２】
また、注目度計測条件として、識別器種別、識別器利用個数、識別器構成変数情報、識別結果統合関数情報を合わせて指定できてもよい。
【００６３】
なお、こうした注目度計測条件は、予め初期値を設定しておきユーザが目的に応じて可変なものとしてもよい。
【００６４】
識別器仕様テーブル作成部２４は入力された注目度計測条件に従い、画像データ蓄積部２１に蓄積されているデータを使用して識別器仕様テーブル２３の作成を行う。例えば、正面向きから右３０度までの顔を検出したい場合、正面向きから右３０度までの顔を検出することのできる特徴（以下、共通特徴と記す）を画像データ蓄積部２１の画像群のうち、該当する角度の顔画像を抽出することによって作成する。ただし、この設定は自動で行われてもよいし、ユーザによって設定できるものとしてもよい。
【００６５】
統合識別器設定部２２では、作成された識別器仕様テーブル２３を元に識別器１４を設定し、統合して、注目度計測条件を満たす識別器１４を設定する。識別器１４は、識別器仕様テーブル２３の識別器種別に従い、同じく識別器仕様テーブル２３の識別器構成変数情報から設定する。また、識別器１４をその利用個数、識別結果統合関数情報に従って組み合わせ統合識別器１２とする。
【００６６】
ここで、識別器種別の情報を元に識別器１４を構成するための情報は識別器設定情報記憶部２６に記憶されているものする。例えば、学習識別器で判別関数を設定し被写体であるか否かを判断する場合、学習識別器により判別関数を設定するための処理手順もしくはプログラムなどの情報は識別器設定情報記憶部２６に記憶されているものとする。
【００６７】
ここで、図４を用いて注目度計測装置１０の注目度算出へ向けた処理の流れを説明する。具体的な処理の流れは、以下の通りである。
ステップ４１：画像入力部１１に識別対象となる画像を入力する、
ステップ４２：注目度計測条件入力部２５に注目度計測条件を入力する、
ステップ４３：識別器仕様テーブル作成部２４が、入力された注目度計測条件に基づき識別器仕様テーブル２３を作成する、
ステップ４４：統合識別器設定部２２が、識別器仕様テーブル２３の設定値と画像データ蓄積部２１の画像データに基づき識別器１４を設定する、
ステップ４５：統合識別器設定部２２が、識別器仕様テーブル２３の設定値に基づき識別結果統合部１５を設定する、
ステップ４６：各識別器１４が、入力された画像の中から人物の顔を識別する、
ステップ４７：識別結果統合部１５が、各識別器１４の識別結果を統合する、
ステップ４８：各識別器１４および識別結果統合部１５の再調整を行う場合はステップ４３へ、それ以外はステップ４９へ、
ステップ４９：注目度算出部１３が、統合識別器１２の識別結果に基づき注目度を算出する。
【００６８】
後述の図５の例では、識別結果により識別器仕様テーブル２３の再調整を行う場合を想定しているが（ステップ４８）、識別器仕様テーブル２３の再調整を行わない場合には、ステップ４１とステップ４２〜４５とを入れ替えて識別器１４および識別結果統合部１５の設定を終えた後で識別対象となる画像を入力するようにしても構わない。
【００６９】
ここで、図６を用いて注目度計測装置１０の注目度算出部１３の構成の一例を説明する。
【００７０】
注目度計測装置１０では、まず、ユーザが入力した入力画像から、同じくユーザにより入力された注目度計測条件をもとに設定された統合識別器１２を用いて、顔検出を行なう。
【００７１】
次に、顔識別部６１では統合識別器１２で注目しているとして検出された顔の人物に関して、入力画像から該人物の特徴を抽出する。
【００７２】
抽出した結果入力は画像と関連付けて追跡画像蓄積部６２に保存し、注目度演算部６５で使用できるものとする。例えば、前述したように、性別情報や年齢情報を抽出したり、検出された顔領域の大きさやセンサ等別手段によって、提示物からの距離を特徴として抽出してもよい。さらに、ここで抽出した特徴は、該人物の追跡のための情報として用いてもよい。
【００７３】
次に、人数計測部６３は、統合識別器１２で注目しているとして検出された顔領域に基づき、計測領域において提示物を注目している人物の人数をカウントする。
【００７４】
ここでカウントされた注目人数は、そのまま注目度としてユーザに提示してもよいし、注目度演算部６５において、本発明による手法で別途設定した識別器１４やセンサ等別手段によってカウントされた計測領域にいる人物全員の人数を分母に注目人数を分子にして、計測範囲にいた人物のうちのどのくらいの割合の人物が対象物を注目していたかを計算してその結果を注目度としてユーザに提示してもよい。
【００７５】
また、注目している人物の注目時間は、追跡画像蓄積部６２に蓄積された人物の画像を、人物追跡部６４において追跡することにより計測する。人物追跡部６４の追跡手法としては、例えば、特開平７−192136号公報に開示された、提示物と該人物の間を通行する人物による遮蔽が生じた場合にも該人物の追跡が行なえる手法を適用することができる。
【００７６】
ここで、図７を用いて注目度計測条件の一例を説明する。
【００７７】
システムの利用者は、注目度計測条件として、入力画像中で提示物を注目していると判断できる人物の顔の向きと大きさを設定する。例えば、提示物として、駅貼ポスターの注目度を計測したい場合、撮像機器をポスターの左横に設定すると、注目している人物はカメラに対して正面向きから右向きの人物となる。このときの角度を注目度計測条件として入力する。また、人物は正面向きの人物であってもポスターから離れている人物はポスターを眺めているとはいえない。よって、検出したい顔領域の大きさも指定できるものとする。ただし、注目度計測条件は上記のものに限るものでなくてよい。
【００７８】
また、さらに詳しく設定してもよい。例えば、図８に示すように注目度計測条件として、計測空間パラメータ（図８中のa〜f）、追跡時間等を入力する。この条件を、テーブル化して統合識別器設定部２２で使用できるようにしてもよいし、そのまま識別器仕様テーブル作成部２４において識別器仕様テーブル２３を作成するのに用いてもよい。
【００７９】
ここで、注目している人物の顔の向きの角度範囲は計測空間パラメータより算出し、この情報を元に識別器仕様テーブル作成部２４が識別器仕様テーブル２３を作成する。顔の横向き角度は、例えば、図８の計測領域を上からに見た計測領域の地点Ａ（掲示物寄り前方左地点）に立っている人物は、線分ＡＯと線分ＡＩのなす角以上、線分ＡＯと線分ＡＪのなす角以下の範囲（例えば、右向き３０度から４５度の範囲）、地点Ｄ（掲示物寄り後方左地点）に立っている人物は、線分ＤＯと線分ＤＩのなす角以上、線分ＤＯと線分ＤＪのなす角以下の範囲、というように求められる。４点の８角度のうち、もっとも大きな角度が上限となり、小さな角度が下限となる。識別器仕様テーブル作成部２４では、この向きを検出できる識別器１４を構成するための識別器仕様テーブル２３を作成する。
【００８０】
ここで、図９を用いて識別器設定装置２０の識別器仕様テーブル作成部２４で自動作成される識別器仕様テーブル２３の一例を説明する。
【００８１】
識別器仕様テーブル２３には、識別する被写体、識別器利用個数、識別器構成変数情報、識別器種別、および識別結果統合関数情報が記憶されているものとする。これらの項目を既定とし、その値を可変なものとする。
【００８２】
識別器利用個数は、最終的な識別器である統合識別器１２を設定するために組み合わせる識別器１４の個数を示す。
【００８３】
識別器構成変数情報は、被写体を識別する際に用いる検出したい被写体のうち、被写体識別条件に適合するものに共通する特徴（以下、共通特徴と記す）を示す。識別器１４としてテンプレートマッチングを用いる場合には被写体テンプレートとなり、学習判別型識別器を用いる場合には被写体学習データのサイズ、または学習する特徴量となる。
【００８４】
識別器種別は、識別器１４の種類を示す。具体例としては、テンプレートマッチングによる判別やサポートベクターマシンによる学習判別手法（以下、ＳＶＭと記す）が挙げられる。（サポートベクターマシンについては、文献 "数理化学  NO.444, JUNE 2000 赤穂ら" に詳しいので、詳細はこの文献を参照。）
ここで、指定する識別器１４は学習による手法とマッチングによる手法のように別種の組み合わせであってもよい。また識別器１４は、識別系の認識手法であればどのような手法を用いてもよく、これらの識別器１４を設定する処理手順もしくはプログラム等の情報は識別器設定情報記憶部２６に記憶されているものとする。
【００８５】
識別結果統合関数情報は、複数の識別器１４をどのように組み合わせるかの方法を示す。例えば、識別器利用個数が２つの場合、この２つの識別器１４の組み合わせ方を指定する。具体的には、２つの識別器１４の検出結果の論理積を取りどちらの識別器１４からも検出された被写体のみを最終的な識別結果とする等の方法を指定する。識別器利用個数が３つの場合には、２つの識別器１４の検出結果の論理和から別の識別器１４の検出結果を引き、前の２つの識別器１４どちらかから検出された結果から後の１つの識別器１４で検出された結果を除いた被写体を最終的な検出結果とする等、３つの識別器１４の組み合わせ方を指定する。ここで、組み合わせ方は、各識別器１４からの結果の論理積、論理和、排他的論理和、論理差（否定）、あるいは論理演算以外の関数であってもよい。また、各識別器１４からの結果をそのまま用いてもよいし、識別器１４ごとの結果を重み付けして用いてもよい。
【００８６】
また、識別器利用個数の値をＮ個とした場合には識別器構成変数情報、識別器種別もＮ個となり、識別結果統合関数はＮ個の識別器１４を組み合わせる関数となる。
【００８７】
また、初期設定として、識別器種別をＳＶＭ、識別器利用個数を１個、識別器構成変数情報を被写体の正面向きのものを検出できる特徴とするテーブルをあらかじめ用意しておき、注目度計測条件によりテーブルの各項目を自動的に書き換えるものとしてもよい。
【００８８】
ここで、図１０を用いて画像データ蓄積部２１に蓄積される画像群および被写体情報の一例を説明する。
【００８９】
画像データ蓄積部２１には、蓄積画像群として人物の画像をその被写体情報とともに蓄積しているものとする。また、識別器種別が人物の顔とそれ以外の２クラスを学習する学習型判別手法である場合など、人物の顔以外のデータが必要な場合には人物以外の風景等の画像を蓄積していてもよい。さらに、検出対象となる人物の顔領域については、その被写体情報を合わせて記録しているものとする。
【００９０】
なお、ここで記録されている人物の被写体情報は、画像中での顔領域全体の位置、目鼻口等の部位の位置情報や端点等の特徴点（以下、部位特徴と記す）の位置情報等を併せて記録する。目や口の開閉状態、眼鏡の有無やマスク等一部遮蔽の有無、前髪の有無や形状、顔の輪郭情報等を併せて記録されていてもよい。また、これらは、画像そのものであってもよいし、画像から抽出される特徴量であってもよい。
【００９１】
さらに、識別器種別、識別器構成変数情報により１つの共通特徴で対応できる変動の量等をテーブル化して蓄積しておいてもよい。
【００９２】
ここで、図１１を用いて識別器仕様テーブル２３の識別器構成変数情報の一例を説明する。
【００９３】
識別器構成変数情報は、あらかじめ設定されているか、識別器仕様テーブル作成部２４により自動的に設定されるか、ユーザにより設定可能なものとする。例えば、検出したい被写体の個々により変化しない特徴または変化の少ない特徴を利用してもよい。例えば、被写体が人物である場合には個人によらない部位特徴（濃淡情報や形状、配置）を利用する。
【００９４】
しかし、被写体によっては形状は同じでも撮影角度によって見え方が一定の形状のものと、撮影角度により大きく見え方が異なるものがある。
【００９５】
前者の場合、全領域のもつ特徴をそのまま使用できるが、後者の場合には見え方が連続的に変化する特徴を利用する。検出角度を拡大する際には、こうした連続的に変化する特徴を段階的に使用する。
【００９６】
３次元物体が回転運動をするとき、回転軸が画像平面に平行な場合には回転により見え方の変化量が少ない領域が存在する。よって、画像そのものを特徴として使用する場合には、画像中の被写体の領域のうち撮影角度により輝度値の変動が小さい領域を使用することができる。
【００９７】
具体的には、検出対象が顔画像である場合は左半面の目や口の形の形状は多少の右回転変動による変動が小さい。また、頬の輝度値を基準としたときの目や口、鼻の輝度値の大きさも変化が少ない。よって、画像データ蓄積部２１の顔画像において目と口の位置で正規化した顔の左半面領域を切り出して大きさや輝度分布による正規化を行い、作成したテンプレートは前記特徴となる。したがって、例えば正面向きから右３０度までの顔を検出したい場合には被写人物の目、鼻、口を含む左反面をその特徴としてもよい。
【００９８】
こうした顔領域の大きさは、大きさの正規化の基準となり得る特徴点、例えば、目、眉、鼻、口の端点（以下、大きさを正規化することのできる特徴点と記述）等の存在を調べ、共通する特徴点のみが含まれるように決定してもよいし、画像データ蓄積部２１にあらかじめ１つの共通特徴で識別できる変動量をテーブル化して用意しておきテーブルを参照することによって決定してもよい。
【００９９】
ここで、被写体識別条件に示された範囲の変動の全てに対応できる共通特徴が存在しない場合には、当該範囲を複数に分割する。例えば、当該範囲を２分し、各範囲内で共通特徴を探すことを共通特徴が見つかるまで繰り返したり、当該領域が正面向き（０度）をはさんで、−１５度〜３０度という場合には、０度で分割し、−１５度〜０度、０度〜３０度というように分割する。
【０１００】
なお、ここでは顔の部位の端点を利用した特徴点を例に説明したが、顔の領域輝度の空間周波数により領域を決定するなど別の共通する特徴を抽出し利用してもよい。
【０１０１】
ここで、図１２を用いて識別器仕様テーブル作成部２４での識別器構成変数情報決定の流れを説明する。なお、学習判別の識別器、ＳＶＭを用いて識別器１４を構成するために、学習データとして共通の特徴に画像中の顔領域の輝度値を利用する場合を例に説明する。
【０１０２】
はじめに、識別器仕様テーブル２３から識別器１４を構成する流れについて説明する。
【０１０３】
なお、図１３に示すように、識別器仕様テーブル２３は予め被写体の一般的なものを検出できる識別器１４を設定するための値が初期値として入っているものとする。この初期値は可変とし、例えば図１４に示すオーダーによる初期設定のように変更可能なものとする。識別器構成時には、初期値、または、例えば、図１４に示すオーダーによる初期設定を読み込む。ここでは、図１４に示すオーダーによる初期設定を元に構成する手順を説明する。
【０１０４】
まず、識別器仕様テーブル２３より、顔の向きが正面から右３０度（Ｙ軸を回転軸とし、Ｘ軸方向の回転−３０度）であること、使用する識別器がＳＶＭであること、共通特徴として部位特徴点を利用して切り出された顔領域画像を用いること、という条件を読み込む(Ｓ１２１)。
【０１０５】
次に読み込まれたテーブルのうち、対応すべき変動に着目し、使用する特徴の個数を決定する(Ｓ１２２)。ここでは、０度から−３０度までの顔を検出対象とする。画像データ蓄積部の０度顔画像と−３０度顔画像を比較することにより、その部位特徴点の個数から識別器利用個数、すなわち共通特徴の個数を定めてもよいし（例えば、図１１の左下図の場合には共通特徴の個数は４個となる。）、画像データ蓄積部２１にあらかじめ１つの共通特徴で識別できる変動量をテーブル化して用意しておき、これを利用して共通特徴の個数を決定してもよい。
【０１０６】
さらに、識別器仕様テーブル２３を参照し、識別器１４をいくつ組み合わせるかの設定により、必要な特徴の個数を決定する(Ｓ１２３)。ここでは、２つのＳＶＭによる識別器１４を組み合わせ、どちらからも検出されたもののみ顔として検出（２つの結果の論理積をとる）するために、２つの識別器１４を構成する２つの特徴が必要となる。その２つは、識別器仕様テーブル２３での規定に従い決定するものとする。
【０１０７】
例えば、図１５の学習データサイズ１の画像から異なる２つのサイズで切り出した学習データサイズ２および３の画像ように、２つの学習データセットを用意することにより、１つ目は、大きさの部位特徴点の数が最大に含まれる領域の大きさ、すなわち学習データサイズ２を用い、２つ目は、その特徴点の個数が１つ少なくなるように幅を狭めた領域の大きさ、すなわち学習データサイズ３を用いる等とする。
【０１０８】
このように決定されたサイズで、画像データ蓄積部２１にある画像から学習データセットを設定する。そして、統合識別器設定部２２が、この学習データセットをそれぞれの識別器に学習をさせることにより、所望の識別器１４を構成する(Ｓ１２４)。
【０１０９】
さらに、識別器種別、識別器構成変数情報毎に、対応できる変動許容範囲を記録した識別器利用個数決定テーブル（図３に記載）を画像データ蓄積部２１内に有し、識別器種別、識別器構成変数が決定された場合、被写体識別条件にあわせて構成する識別器の個数が決定されるものであってもよい。例えば、図３の識別器利用個数決定テーブルにおいて、識別器種別がＳＶＭ、識別器構成変数情報が学習データセットサイズとして構成する識別器の個数を決定する場合、識別器１４、および学習データセットのアスペクト比に応じて、１種類の学習データセットで対応できる顔向きの角度範囲をテーブルを参照して判断し、検出したい角度範囲が１種類の学習データセットで対応し得るものであるかで、構成する識別器１４の個数を決定する。
【０１１０】
ここで、図１６を用いて統合識別器設定部２２で複数の識別器の組み合わせ方を設定する手法について説明する。
【０１１１】
被写体識別条件として、正面向き（０度）を含まない範囲の角度の顔を検出したい場合（例：図中a）において、eが検出可能な共通特徴で構成した１つの識別器１４のみでは、正面向き（０度）を含むaの範囲が検出されてしまう。これは、図１１の方法により共通特徴を抽出した場合、右１０度では、例えば図１５におけるデータサイズ２、右３０度では同じくデータサイズ３を用いるため、双方の共通特徴は、データサイズ１にも含まれるものとなってしまい、データサイズ１により検出できる顔も検出されるからである。
【０１１２】
そこで、正面向きから回転角度の絶対値が大きい向きの顔までを検出できる識別器（図中a）の検出結果から、正面向きから回転角度の絶対値が小さい向きの顔を検出できる識別器（図中c）の検出結果を引き算する（論理差、否定を求める）関数を設定する。
【０１１３】
このとき、aを検出する識別器１４として、正面向きから右３０度までの共通特徴により識別器１４を構成してもよいし、右１０度から右３０度までの共通特徴により識別器１４を構成してもよい。
【０１１４】
具体的には、正面向きから右３０度までの共通特徴により識別器１４を構成する場合には、３０度右横向きの顔の顔領域の画像と、この顔領域の大きさに一致させて正面向きの顔から切り出した顔領域の画像（図１５の学習データサイズ３に切り出した正面向きの顔に相当）とを学習データセットとして学習させた識別器１４を構成すればよい。また、右１０度から右３０度までの共通特徴により識別器を構成する場合には、３０度右横向きの顔の顔領域の画像と、この顔領域の大きさに一致させて１０度右横向きの顔から切り出した顔領域の画像（図１５の学習データサイズ３に切り出した１０度右横向きの顔に相当）とを学習データセットとして学習させた識別器１４を構成すればよい。
【０１１５】
また、被写体識別条件として、正面向き（０度）を含む範囲の角度の顔を検出したい場合（例：図中f）において、全範囲をカバーできる共通特徴が見つからない場合には、正面向きから角度が負の角度の顔を検出できる識別器１４（図中c）の検出結果と、正面向きから正の角度の顔を検出できる識別器１４（図中d）の検出結果を足し算する（論理和を求める）関数を設定する。（例えば、図１５のデータサイズ３の画像と、データサイズ３の左右逆向き画像からの共通特徴を得ることはできない。）このような場合には、cを検出する識別器１４として、正面向きから右１０度までの共通特徴により構成した識別器１４と、dを検出する識別器１４として、正面向きから左１５度までの共通特徴により構成した識別器１４の２つの識別器１４から検出された領域全てを顔とする統合識別器１２を構成すればよい。
【０１１６】
さらに、横向きの変動のみならず、縦方向の変動に対応させるためには、同様に複数の識別器を１４組み合わせ、最終的には、横向きと縦向きの変動を含む顔を検出できる統合識別器１２を構成することができる。
【０１１７】
ここで、図１７を用いて本発明による注目度計測システムの統合識別器設定部２２における識別器１４の設定の例を説明する。
【０１１８】
顔画像を検出したい場合、例えば、学習により顔と非顔を分離する識別面を生成することにより、判別を行う識別器１４を設定するために、識別面を生成する方法としてサポートベクターマシーンによる手法を用いることを一例に説明する。
【０１１９】
学習データとして、識別器仕様テーブル２３により決定された特徴をもつ顔画像あるいはその被写体情報を学習顔データとし、それ以外の領域から学習非顔データを作成することによって識別面を生成するとし、顔と判別する特徴量の閾値として０以上の正の値を定義し、特徴量がこの閾値以上であれば顔と判定し、閾値未満であれば非顔と判定する。この閾値を大きくすると顔の検出率は下がる（再現率の低下）が、誤検出は減る（適合率の向上）。逆に小さくすれば再現率が向上し、適合率は低下する。よって、この閾値は既定値としてもよいし装置の使用目的により可変としてユーザが調整できるようにしてもよい。
【０１２０】
また、ここで用いる学習データは画像データ蓄積部２１に予め蓄積されている画像を用いる。この画像データは後で追加できるようなものであってもよい。このとき、画像データ蓄積部２１に蓄積された画像データから顔検出を行い検出された領域の正誤を判断した上でそれぞれの領域を再学習データとして使用し、より検出精度の高い識別器１４を構成する手段を複数回講じてもよい。
【０１２１】
また、学習には画像そのものを用いてもよいし画像から得られる特徴量を利用してもよい。例えば、学習データとして学習画像の輝度値を平均０、分散１になるように正規化した後、その正規化した輝度値をベクトル化したものを用いてもよいし、学習画像の顔データと非顔データの集合に対して主成分分析を行い固有値と固有ベクトルとを求めた後に固有値の大きい方からその固有値に対応する固有ベクトルを複数選択しその選択された固有値に対応する固有ベクトルを特徴として学習データとしてもよい。
【０１２２】
また、ここではＳＶＭを用いた識別における説明を行ったが、識別器１４については、別の学習型の識別器を用いてもよいしテンプレートマッチング等、別の識別器を用いてもよい。テンプレートマッチングの場合には、学習データセットの代わりに顔のテンプレートを１枚以上作成する。また、顔以外のテンプレートは作成しない。
【０１２３】
ここで、図１８を用いて識別器設定装置２０の統合識別器設定部２２において、ＳＶＭを例として識別器１４を構成する時の学習の流れを説明する。
ステップ１８１：画像データ蓄積部２１に蓄積された顔と非顔の画像を学習データとした学習により識別器１４を構成、
ステップ１８２：再学習により識別精度を向上させる場合はステップ１８３へ、それ以外は終了、
ステップ１８３：ステップ１８１で構成した識別器１４により、画像データ蓄積部２１に蓄積された画像から顔領域を検出、
ステップ１８４：ステップ１８３で検出された領域を画像データ蓄積部２１に蓄積された被写体情報に基づき顔と非顔とに正しく再分類し、分類された画像を学習データとし、ステップ１８１へ。
【０１２４】
ここで、再学習を行う回数は規定していてもよいし、可変としてもよい。また、再学習に使う画像は予め画像データ蓄積部２１にある画像を学習用と再学習用に分けておき、学習用とは異なる画像を使用するようにしてもよいし、同一の画像を複数回利用してもよい。
【０１２５】
ここで、前述の図５を用いて注目度計測装置１０の統合識別器１２の処理の流れを説明する。具体的なステップは以下の通りである。
ステップ５１：識別器１４で検出された領域の、他の識別器１４における判別関数の値を算出する。
ステップ５２：各識別器１４の判別関数の値の、最終的な判別値に対する寄与率に基づき、識別結果統合関数の値を求める、
ステップ５３：識別結果統合関数の値が所定の閾値以上であればステップ５４へ、閾値未満であればステップ５５へ、
ステップ５４：当該検出領域は顔であると判定し、検出結果とする、
ステップ５５：当該検出領域は非顔であると判定し、検出結果とする。
【０１２６】
ここで、ステップ５２で求める識別結果統合関数 ｆ(ｘ，ｙ) は、２つの識別器１４により得られた識別関数の値ｘ、ｙから最終的な判別値を求める関数であり、例えば、
ｆ(ｘ，ｙ)＝ａｘ＋ｂｙ
のように表される。このとき、
ｆ(ｘ，ｙ)≧Ｔ１    （Ｔ１：所定の閾値）
であれば、顔領域と判定する。
【０１２７】
ここで、ａ、ｂはｘ、ｙの重み付けを決定する係数とし、識別結果統合関数情報としてユーザにより調整できる値であるとする。この重み付けは、各識別器１４の判別関数の値の、最終的な判別値に対する寄与率であるとする。この値は、入力された注目度計測条件に基づいて識別結果統合関数として自動的に設定してもよいし、初期設定として、あるいはデフォルトで自動設定して後刻ユーザ設定により可変なものとしてもよい。
また、顔領域と判定するための条件としては、
ｆ(ｘ，ｙ)≧Ｔ１  かつ  ｘ≧Ｔ２、  ｙ≧Ｔ３    
（Ｔ１、Ｔ２、Ｔ３：それぞれ所定の閾値）
というように、ｘ、ｙに対する条件を追加してもよい。
さらに、識別結果統合関数ｆ(ｘ，ｙ)は、２次以上の関数であってもよい。
【０１２８】
ここで、図１９〜２２を用いて識別器設定装置２０における統合識別器設定部２２で識別器１４を組み合わせる際に２つの識別器１４を用いた場合の組み合わせ方の例を示し、図９の識別結果統合関数をさらに詳しく説明する。
【０１２９】
図１９〜２２の分布図は、学習テンプレートサイズが異なる２つの識別器１４による顔検出の結果である。
【０１３０】
学習テンプレートサイズが異なる２つの識別器１４では、共通特徴の違いのため再学習の過程において再学習画像データとして追加される画像データが異なる結果となる。そこで、再学習用画像データとして顔を含まないデータを用意することにより、再学習における非顔の学習データセットが異なる２つの識別器１４を構成することができる。このような学習データセットから構成した２つの識別器１４では、顔領域はどちらの識別器１４からも検出されるが、顔領域として誤って検出される非顔領域は識別器１４ごとに異なるものとなる。このような性質を利用することにより、検出したい顔の角度範囲を制御するだけでなく、以下で説明するように誤検出を低減させることもできるようになる。
【０１３１】
図１９において、白◇点は検出したい顔領域を示し、白◇点及び黒■は識別器１４−１により検出された誤検出領域、白◇点及び濃灰色▲は識別器１４−２により検出された誤検出領域であるとする。このように検出された領域のうち、できるだけ多くの白◇点を識別結果とできるような検出結果統合処理を行う。
【０１３２】
各識別器では、顔として検出する判別関数の最低値（以後閾値）は予め設定しておくものとする。設定の方法としては、例えばテスト画像を用いて作成した顔と非顔のサンプルの分布を調べ、ＫＬ展開した主軸に投影させる等の手段により２種類を分類するために適当な閾値をデフォルトの値として定めておく。例えば、図１９中のｘ軸およびｙ軸をデフォルトの値としてもよい。ただし、識別結果統合関数としてユーザ可変のものとしてもよい。
【０１３３】
ここで、使用する識別器１４を識別器１４−１、識別器１４−２とし、２つの識別器での判別関数からの値をそれぞれ、ｘ、ｙとする。このとき、識別器１４−１で検出された領域と識別器１４−２で検出された領域において、ある一定の条件を満たした領域のみを検出領域として出力する。例えば、論理積をとり図２０に示したように、ｙの閾値１以上、かつｘの閾値２以上である領域のみを顔としてもよい。
【０１３４】
また、図２１に示したように、識別器１４−１で検出された領域の分布する主軸（ＫＬ展開した主軸：直線１）と識別器１４−２で検出された領域の分布する主軸（ＫＬ展開した主軸：直線２）が、それぞれの閾値で直交する直線を定義し、直線３、直線４とした場合、直線３と直線４の線分の組み合わせにより、識別境界（識別結果統合関数 ｆ(ｘ，ｙ) ）を作成（図２１の例：点線）してもよいし、これらの線分を漸近線とする曲線により識別境界（図２１の例：破線）としてもよい。
【０１３５】
さらには、図２１で示したような識別境界（識別結果統合関数 ｆ(ｘ，ｙ) ）を作成し、一定値以上を示した領域を検出領域としてもよい。
【０１３６】
以上の処理によって、図２２で示したような単一の識別器使用時には検出漏れをしていた顔領域を検出したり、誤検出していた領域を削減したりすることができるようになる。
【０１３７】
ここで、図２３を用いて注目度計測装置１０における２つの識別器１４の組み合わせにより、人物の顔の検出を行った場合の結果の一例を説明する。
【０１３８】
なお、２つの識別器１４の組み合わせにより顔の向きを限定して検出を行う場合の例を、ＳＶＭによる学習判別型の識別器１４を用いて示す。
【０１３９】
２つの識別器１４は識別器構成変数が異なると遮蔽や顔の向きに対するロバスト性が異なる。学習データに用いる共通特徴としての大きさが大きいと遮蔽に強く、小さいと弱い。また、学習データが大きいと顔の向きに対する許容度が狭く、小さいと広い。
【０１４０】
よって、遮蔽の少ない正面向きの顔のみを検出したい場合、正面向きの顔のみ検出できる識別器１４（図２３）と顔が横向き３０度まで検出可能な識別器１４（図２４）とを組み合わせ、論理積をとることにより実現できる（図２５）。
同様に、遮蔽があっても横向きであっても取りたい場合には、同様の識別器１４で論理和を取ればよい（図２５）。
【０１４１】
また、識別器１４を３つ以上組み合わせることにより、前髪や人物同士の重なり合い等で遮蔽された顔を検出するか否か等、さらに細かい検出条件も設定可能である。
【０１４２】
ここで、図２６を用いて本発明による注目度計測装置１０の人物追跡部６４が人物追跡を行うときの注目時間計測の流れの一例を説明する。具体的な処理の流れは次の通りである。
ステップ２６１：時刻Ｎ（Ｎフレーム目）で提示物を注目している人物の顔を検出、
ステップ２６２：Ｎフレーム目で検出された人物がＮ＋１フレーム目でも検出された場合には、ステップ２６３へ、それ以外は終了、
ステップ２６３：Ｎフレーム目で提示物を注目していた人物の顔の向きに変動がない場合はステップ２６４へ、変動がある場合はステップ２６５へ、
ステップ２６４：Ｎ＋１フレーム目でも注目していると判断し、該人物の注目時間に１フレーム時間を加算、
ステップ２６５：Ｎ＋１フレーム目では注目していないと判断し、該人物の注目時間に加算せず。
【０１４３】
ここで、図２７を用いて本発明による注目度計測装置１０の利用の一例を説明する。入力画像は、駅貼広告や掲示板を眺める人物を撮影した画像でもよいし、美術館や商店等で監視用に設置したカメラからの画像等でもよい。
【０１４４】
掲示物や展示物の中央やすぐ傍にカメラを設置した場合等、正面向きで写っている人物のみを抽出したい場合には検出条件として顔の向き０度を、ポスターなどを眺めている人物の場合にはカメラとポスターの位置関係から検出したい顔のおおよその角度を設定する。
【０１４５】
また、識別器仕様テーブル２３は、注目度計測条件中の撮像機器設置パラメータを入力することによって自動設定されてもよいし、ユーザによってあらかじめ設定できるようにしてもよい（画面１）し、自動設定された後にユーザが調整できるようにしてもよい。
【０１４６】
また、前述の図８に見られる計測空間が広い場合には複数の領域に分けて識別器仕様テーブル２３を個々に作成してもよい。例えば、図８のａの領域を２分し、ポスターに向かって左右に分けた場合、左の領域では右３０から右６０度の顔を検出する識別器１４を設定し、右の領域では正面向きから右３０度の顔を検出する識別器１４を設定するようにしてもよい。ここで、計測空間の広さによって、いくつの識別器１４を設定するかといった情報は、テーブル化して識別器仕様テーブル作成部２４に記録しておくものであってもよいし、ユーザが判断して注目度計測条件入力時に入力するものであってもよい。
【０１４７】
以上により、検出条件を満たす人物に関する検出結果は、図２７中の画面２のように顔画像検出結果をサムネイル表示したり、画面３のように各画像から算出された注目度を画像と共に個々に表示したり、画面４のように注目度をリストもしくはグラフ表示したりしてユーザに提示する。
【０１４８】
注目度を自動計測する場合は、すべての顔画像を検出した上で、正面向きの顔のみを抽出し、人数をカウントしたり、
【０１４９】
【数１】
2006065447.tif 000003
【０１５０】
のように定義式を定めて、注目度を算出してもよい。
【０１５１】
さらに、注目している人物を時刻を追って追跡し、注目時間を計測して注目時間を注目度の定義に加えてもよいし、検出された人物の情報を抽出して注目人物の男女比や年齢比等を算出する注目度に加えてもよい。
【０１５２】
また、識別器設定にあたり詳細を調整できるように数枚の画像の検出結果をサンプルとして示し、ユーザが確認後全ての画像の処理を行えるものとしてもよい。例えば、識別器調整のために再度画面１の設定を行えるよう予め１枚以上の画像を指定し、その画像における検出結果を確認することによって識別器仕様テーブル２３を再作成する等、識別器１４の調整を行っていき最終決定された識別器１４を用いて全画像の処理を行うようにしてもよい（画面５）。
【０１５３】
ここで、図２８を用いて本発明による注目度計測装置１０で算出された注目度の一例を説明する。
【０１５４】
本発明により、算出された注目度は一定時間ごとに場所、日時、検出人数、注目人数、注目人物から抽出された人物情報、注目度等を画像データと共に保存していくものとする。保存はネットワークを介して別の記憶手段に保存してもよいし、本発明の注目度計測装置に内蔵した記憶手段に保存してもよい。これらの注目度を、場所−時刻を対応させてテーブル化し提示したり、時刻−男女比、男女比、年齢比等をグラフ化して提示したりできるものであってもよい。
【０１５５】
ここで、図２９〜３１を用いて識別器使用テーブル２３の内容をマニュアルで設定する注目度計測システムについて説明する。
【０１５６】
図２９は注目度計測システムの構成の概略を示す図である。注目度計測装置１０については図１の注目度計測システムと同様である。
【０１５７】
識別器設定装置２９０は、画像データ蓄積部２９１、識別器仕様情報入力部９２９４、識別器仕様テーブル２９３、および統合識別器設定部２９２から構成される。
【０１５８】
画像データ蓄積部２９１は、検出したい被写体の画像を蓄積する。識別器仕様情報入力部２９４は、注目度計測装置１０における複数の識別器１４および識別結果統合部１５を設定するための情報である識別器仕様情報を入力し、入力された識別器仕様情報に基づき、識別器仕様テーブル２９３を書き換える。統合識別器設定部２９２は、識別器仕様テーブル２９３に基づき、目的の被写体を識別する統合識別器１２を設定する。
【０１５９】
識別器仕様テーブル２９３には、被写体を識別する複数の識別器１４を組み合わせて、統合した統合識別器１２を設定するために必要な情報を記憶する。
【０１６０】
画像データ蓄積部２９１は、検出したい被写体を含む画像群を蓄積している。
蓄積されている画像群は、順序関係をなすインデクスとなるような状態を表すパラメータで規定される変動について、検出したい被写体の取り得る変動の範囲を連続的にカバーした複数の画像を含んでいるものとする。
【０１６１】
このパラメータは、具体的には、撮影された角度や画像中での大きさといったものであるとし、例えば、回転変動に対しては、検出したい被写体の一定の回転角度毎の画像を、取り得る回転変動の範囲をカバーできる枚数だけ蓄積してあるものとする。
【０１６２】
識別器仕様情報は、入力された画像中から、目的とする被写体をどのように検出するかを示す情報であり、具体的には、識別器種別、識別器利用個数、識別器構成変数情報、識別結果統合関数情報等である。これらの識別器仕様情報に基づき、予め、識別器仕様テーブル２９３を作成しておく。なお、こうした識別器仕様情報は、予め初期値を設定しておき、目的に応じて変更するものとしてもよい。
【０１６３】
統合識別器設定部２９２では、作成された識別器仕様テーブル２９３を元に識別器を設定し、統合して、目的とする被写体を検出する統合識別器１２を設定する。識別器１４は、識別器仕様テーブル２９３の識別器種別に従い、同じく識別器仕様テーブル２９３の識別器構成変数情報から設定する。また、識別器１４をその利用個数、識別結果統合関数情報に従って組み合わせ、統合識別器１２とする。
【０１６４】
ここで、図３０を用いて注目度計測装置１０の注目度算出へ向けた処理の流れを説明する。具体的な処理の流れは、以下の通りである。
ステップ３０１：画像入力部１１に識別対象となる画像を入力する、
ステップ３０２：識別器仕様情報入力部２９４に入力された識別器仕様情報に基づき、識別器仕様テーブル２９３を作成する、
ステップ３０３：統合識別器設定部２９２が、識別器仕様テーブル２９３の設定値と画像データ蓄積部２１の画像データに基づき、識別器１４を設定する、
ステップ３０４：統合識別器設定部２９２が、識別器仕様テーブル２９３の設定値に基づき、識別結果統合部１５を設定する、
ステップ３０５：各識別器１４が、入力された画像の中から被写体を識別する、
ステップ３０６：識別結果統合部１５が、各識別器１４の識別結果を統合する、
ステップ３０７：各識別器１４、および識別結果統合部１５の再調整を行う場合はステップ３０２へ、それ以外はステップ３０８へ移る、
ステップ３０８：注目度算出部１３が注目度の算出を行う。
【０１６５】
図３０の例では、識別結果により識別器仕様テーブル２９３の再調整を行う場合を想定しているが（ステップ３０７）、識別器仕様テーブル２９３の再調整を行わない場合には、ステップ３０１とステップ３０２〜３０４とを入れ替え、識別器１４および統合識別器１２の設定を終えた後で、識別対象となる画像を入力するようにしても構わない。
【０１６６】
本発明の実施の形態によれば、このように、識別器仕様情報に基づき、所望の識別器１４と統合識別器１２とを設定することにより、検出したい被写体として、「カメラに向かって正面向きの人物のみを検出する」、「ある一定の大きさ以上の被写体領域のみを検出する」、等の検出条件を設定することができる。
【０１６７】
図３１は、識別器設定装置２９０の概略構成を示し、図２９による識別器設定装置２９０における識別器仕様テーブル２９３を元に識別器１４を設定する構成についてさらに詳しく説明した構成説明図である。
【０１６８】
統合識別器設定部２９２では、この識別器仕様テーブル２９３を元に統合識別器１２を設定する。ここで、識別器種別の情報を元に識別器１４を設定するための情報は、識別器設定情報記憶部２９５に記憶されているものとする。例えば、学習識別器で判別関数を設定し、被写体であるか否かを判断する場合、学習識別器により判別関数を設定するための処理手順もしくはプログラムなどの情報は、識別器設定情報記憶部２９５に記憶されているものとする。
【０１６９】
上述した、本発明の装置や方法は、コンピュータのプログラムで構成したり、あるいはフローチャートの処理ステップをコンピュータのプログラムで構成したりして、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータでその処理ステップを実行させるためのプログラムを、そのコンピュータが読み取りできる記録媒体、例えば、フレキシブルディスクや、ＣＤ，ＤＶＤ，ＭＯ，ＲＯＭ、メモリカード、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。
【０１７０】
また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。これらの記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。
【図面の簡単な説明】
【０１７１】
【図１】注目度計測システムの構成の概略を示す図。
【図２】識別器設定装置の構成図。
【図３】識別器利用個数決定テーブルの説明図。
【図４】注目度計測装置の注目度算出フローチャート。
【図５】統合識別器の処理のフローチャート。
【図６】注目度算出部の構成図。
【図７】注目度計測条件の説明図。
【図８】注目度計測条件の説明図。
【図９】識別器仕様テーブルの説明図。
【図１０】画像データ蓄積部に蓄積される画像群および被写体情報の説明図。
【図１１】識別器仕様テーブルの識別器構成変数情報の説明図。
【図１２】識別器仕様テーブル作成部での識別器構成変数情報決定のフローチャート。
【図１３】識別器仕様テーブルの説明図。
【図１４】識別器仕様テーブルの説明図。
【図１５】学習データサイズの説明図。
【図１６】統合識別器設定部で複数の識別器の組み合わせ説明図。
【図１７】統合識別器設定部における識別器の設定説明図。
【図１８】統合識別器設定部における識別器構成時の学習フローチャート。
【図１９】学習テンプレートサイズが異なる２つの識別器による顔検出の結果説明図。
【図２０】学習テンプレートサイズが異なる２つの識別器による顔検出の結果説明図。
【図２１】学習テンプレートサイズが異なる２つの識別器による顔検出の結果説明図。
【図２２】学習テンプレートサイズが異なる２つの識別器による顔検出の結果説明図。
【図２３】注目度計測装置における２つの識別器の組み合わせにより人物の顔の検出を行った場合の結果説明図。
【図２４】注目度計測装置における２つの識別器の組み合わせにより人物の顔の検出を行った場合の結果説明図。
【図２５】注目度計測装置における２つの識別器の組み合わせにより人物の顔の検出を行った場合の結果説明図。
【図２６】人物追跡部における人物追跡の注目時間計測フローチャート。
【図２７】注目度計測装置の利用説明図。
【図２８】注目度計測装置で算出された注目度の説明図。
【図２９】注目度計測システムの構成図。
【図３０】注目度計測装置の注目度算出フローチャート。
【図３１】識別器設定装置の構成図。
【符号の説明】
【０１７２】
１０…注目度計測装置
１１…画像入力部
１２…統合識別器
１３…注目度算出部
１４…識別器
１５…識別結果統合部
２０…識別器設定装置
２１…画像データ蓄積部
２２…統合識別器設定部
２３…識別器仕様テーブル
２４…識別器仕様テーブル作成部
２５…注目度計測条件入力部
２６…識別器設定情報記憶部
２９０…識別器設定装置
２９１…画像データ蓄積部
２９２…統合識別器設定部
２９３…識別器仕様テーブル
２９４…識別仕様情報入力部
２９５…識別器設定情報記憶部
【図１】
2006065447.tif 000004
【図２】
2006065447.tif 000005
【図３】
2006065447.tif 000006
【図４】
2006065447.tif 000007
【図５】
2006065447.tif 000008
【図６】
2006065447.tif 000009
【図７】
2006065447.tif 000010
【図８】
2006065447.tif 000011
【図９】
2006065447.tif 000012
【図１０】
2006065447.tif 000013
【図１１】
2006065447.tif 000014
【図１２】
2006065447.tif 000015
【図１３】
2006065447.tif 000016
【図１４】
2006065447.tif 000017
【図１５】
2006065447.tif 000018
【図１６】
2006065447.tif 000019
【図１７】
2006065447.tif 000020
【図１８】
2006065447.tif 000021
【図１９】
2006065447.tif 000022
【図２０】
2006065447.tif 000023
【図２１】
2006065447.tif 000024
【図２２】
2006065447.tif 000025
【図２３】
2006065447.tif 000026
【図２４】
2006065447.tif 000027
【図２５】
2006065447.tif 000028
【図２６】
2006065447.tif 000029
【図２７】
2006065447.tif 000030
【図２８】
2006065447.tif 000031
【図２９】
2006065447.tif 000032
【図３０】
2006065447.tif 000033
【図３１】
2006065447.tif 000034