(57)【特許請求の範囲】
【請求項１】
画像情報を基にして、複数の利用者に含まれる第１の利用者の視線位置を検出する視線検出部と、
前記第１の利用者の周辺に前記第１の利用者以外の第２の利用者が存在する場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であるか否かを判定する判定部と、
前記判定部の判定結果と、前記第１の利用者の視線位置とを対応付けて記憶する記憶部と、
を有することを特徴とする関心度判定装置。
【請求項２】
前記判定部は、複数フレームの画像情報を基にして、前記第２の利用者の領域が閾値以上増加した場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする請求項１に記載の関心度判定装置。
【請求項３】
前記判定部は、複数フレームの画像情報を基にして、前記第２の利用者の手領域が閾値以上移動し、かつ、前記第１の利用者の視界に前記第２の利用者の手領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする請求項１に記載の関心度判定装置。
【請求項４】
前記判定部は、複数フレームの画像情報を基にして、前記第２の利用者の手領域が閾値以上変化し、かつ、前記第１の利用者の視界に前記第２の利用者の手領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする請求項１に記載の関心度判定装置。
【請求項５】
前記判定部は、画像情報を基にして、前記第２の利用者の手領域の形状が所定の形状であり、かつ、前記第１の利用者の視界に前記第２の利用者の手領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする請求項１に記載の関心度判定装置。
【請求項６】
前記判定部は、複数フレームの画像情報を基にして、前記第２の利用者の顔領域の縦横比が閾値以上減少し、かつ、前記第２の利用者の目領域が閾値以上減少し、かつ、前記第１の利用者の視界に前記第２の利用者の顔領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする請求項１に記載の関心度判定装置。
【請求項７】
前記判定部は、複数フレームの画像情報に含まれる前記第１の利用者の口領域と、前記第２の利用者の口領域とを基にして、前記第１の利用者の口と前記第２の利用者の口とが交互に開いた場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする請求項１に記載の関心度判定装置。
【請求項８】
前記視線検出部は、前記第２の利用者の視線位置を更に検出し、前記判定部は、前記第２の利用者の視線位置を含む所定範囲内に、前記第１の利用者の視線位置が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする請求項１に記載の関心度判定装置。
【請求項９】
コンピュータが実行する関心度判定方法であって、
画像情報を基にして、複数の利用者に含まれる第１の利用者の視線位置を検出し、
前記第１の利用者の周辺に前記第１の利用者以外の第２の利用者が存在する場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であるか否かを判定し、
判定した判定結果と、前記第１の利用者の視線位置とを対応付けて記憶装置に記憶する
処理を実行することを特徴とする関心度判定方法。
【請求項１０】
コンピュータに、
画像情報を基にして、複数の利用者に含まれる第１の利用者の視線位置を検出し、
前記第１の利用者の周辺に前記第１の利用者以外の第２の利用者が存在する場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であるか否かを判定し、
判定した判定結果と、前記第１の利用者の視線位置とを対応付けて記憶装置に記憶する
処理を実行させることを特徴とする関心度判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関心度判定装置等に関する。
【背景技術】
【０００２】
顧客の視線を検出することにより、顧客が興味を抱いている商品を検知し、商品のマーケティングデータを取得する従来技術がある。
【０００３】
例えば、上記の従来技術は、顧客の視線が商品販売装置の筐体外面上で交わる位置の位置データを取得し、取得した位置データを一旦記憶部装置に蓄積した上で、適宜、位置データを販売管理センター装置等に送信する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−９４４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、ある人物が関心のある対象を適切に判定することができないという問題がある。
【０００６】
例えば、人がある対象に対して視線を向ける場合に、元々、その対象に関心があって視線を向ける場合と、周りの人の影響によって視線を向ける場合がある。
【０００７】
１つの側面では、本発明は、ある対象物に向けられた関心が、他の者の影響で向けられた関心か否かを区別することができる関心度判定装置、関心度判定方法および関心度判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の案では、関心度判定装置は、視線検出部と、判定部と、記憶部とを有する。視線検出部は、画像情報を基にして、複数の利用者に含まれる第１の利用者の視線位置を検出する。判定部は、第１の利用者の周辺に第１の利用者以外の第２の利用者が存在する場合に、第１の利用者の視線位置が、第２の利用者の影響を受けた視線位置であるか否かを判定する。記憶部は、判定部の判定結果と、第１の利用者の視線位置とを対応付けて記憶する。
【発明の効果】
【０００９】
ある対象物に向けられた関心が、他の者の影響で向けられた関心か否かを区別することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施例にかかるシステムの構成を示す図である。
【図２】図２は、本実施例にかかる関心度判定装置の構成を示す機能ブロック図である。
【図３】図３は、画像データベースのデータ構造の一例を示す図である。
【図４】図４は、視線対象位置データベースのデータ構造の一例を示す図である。
【図５】図５は、仮想空間の一例を示す図である。
【図６】図６は、人物移動状態確認データベースのデータ構造の一例を示す図である。
【図７】図７は、ジェスチャ確認データベースのデータ構造の一例を示す図である。
【図８】図８は、指領域変化確認データベースのデータ構造の一例を示す図である。
【図９】図９は、把持状態確認データベースのデータ構造の一例を示す図である。
【図１０】図１０は、顔向き変化確認データベースのデータ構造の一例を示す図である。
【図１１】図１１は、口の動き状態確認データベースのデータ構造の一例を示す図である。
【図１２】図１２は、視線の動き状態確認データベースのデータ構造の一例を示す図である。
【図１３】図１３は、判定結果データベースのデータ構造の一例を示す図である。
【図１４】図１４は、人物の視界範囲の一例を説明するための図である。
【図１５】図１５は、本実施例にかかる関心度判定装置の処理手順を示すフローチャート（１）である。
【図１６】図１６は、本実施例にかかる関心度判定装置の処理手順を示すフローチャート（２）である。
【図１７】図１７は、第１の自発性判定処理の処理手順を示すフローチャートである。
【図１８】図１８は、第２の自発性判定処理の処理手順を示すフローチャートである。
【図１９】図１９は、第３の自発性判定処理の処理手順を示すフローチャートである。
【図２０】図２０は、第４の自発性判定処理の処理手順を示すフローチャートである。
【図２１】図２１は、第５の自発性判定処理の処理手順を示すフローチャートである。
【図２２】図２２は、第６の自発性判定処理の処理手順を示すフローチャートである。
【図２３】図２３は、第７の自発性判定処理の処理手順を示すフローチャートである。
【図２４】図２４は、関心度判定プログラムを実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【００１１】
以下に、本願の開示する関心度判定装置、関心度判定方法および関心度判定プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１２】
図１は、本実施例にかかるシステムの構成を示す図である。図１に示すように、このシステムは、カメラ５０と、関心度判定装置１００とを有する。また、棚５には、商品α、商品β、商品γ、商品δが陳列されており、カメラ５０は、棚５から商品を選ぶ人物が撮像範囲に含まれるように、設置されているものとする。なお、棚５には、商品α〜δ以外の商品が陳列されていても良い。
【００１３】
カメラ５０は、撮像範囲の画像を撮影するカメラである。カメラ５０は、撮影した画像の情報を、関心度判定装置１００に送信する。以下の説明では、画像の情報を、画像データと表記する。画像データには、連続する複数のフレームが含まれているものとする。
【００１４】
関心度判定装置１００は、カメラ５０の画像データを基にして、人物の視線位置を検出し、人物の視線位置が、他の人物の影響を受けた視線位置なのか、自発的な視線位置なのかを判定する。関心度判定装置１００は、人物の視線位置と、判定結果とを対応付けて、判定結果データベースに登録する。
【００１５】
例えば、関心度判定装置１００は、人物１０ａの視線位置が自発的な視線位置か否かを判定する場合において、人物１０ｂの視線位置、移動状態、ジェスチャ、把持状態、顔の向き、口の動きのうち何れか一つまたは複数を組み合わせて利用する。
【００１６】
次に、本実施例にかかる関心度判定装置１００の構成について説明する。図２は、本実施例にかかる関心度判定装置の構成を示す機能ブロック図である。図２に示すように、この関心度判定装置１００は、カメラ５０に接続される。関心度判定装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。
【００１７】
通信部１１０は、他の外部装置とネットワークを介してデータ通信を実行する処理部である。例えば、通信部１１０は、通信装置に対応する。
【００１８】
入力部１２０は、各種の情報を関心度判定装置１００に入力する入力装置である。例えば、入力部１２０は、キーボードやマウス、タッチパネル、入力ボタン等に対応する。
【００１９】
表示部１３０は、制御部１５０からの情報を表示する表示装置である。例えば、表示部１３０は、タッチパネルや液晶ディスプレイ等に対応する。
【００２０】
記憶部１４０は、画像データベース１４１、視線対象位置データベース１４２、確認データベース１４３、判定結果データベース１４４を有する。記憶部１４０は、例えば、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子などの記憶装置に対応する。
【００２１】
画像データベース１４１は、画像データに関する情報を保持するデータベースである。図３は、画像データベースのデータ構造の一例を示す図である。図１３に示すように、画像データベース１４１は、フレーム番号、時刻、検出人数、人物ＩＤ、人物領域、重心座標、フレーム、複数フラグ、単数フラグ、成功フラグをそれぞれ対応付ける。フレーム番号は、画像データに含まれる各フレームを識別する番号である。時刻は、フレームの時刻である。
【００２２】
検出人数は、フレームから検出された人物の人数である。人物ＩＤは、フレームから検出された人物を識別する情報である。複数フレームにわたって同一の人物が検出された場合には、かかる人物には同一の人物ＩＤが割り振られる。人物領域は、人物の領域を示すものである。例えば、縦幅と横幅により、人物領域を示す。重心座標は、フレームから検出された人物の人物領域の重心を示すものである。
【００２３】
フレームは、フレーム番号に対応するフレームの画像である。複数フラグは、フレームから複数の人物が検出されたか否かを示すフラグである。複数の人物が検出された場合には複数フラグが「オン」となり、複数の人物が検出されない場合には複数フラグが「オフ」となる。
【００２４】
単数フラグは、フレームから単数の人物が検出されたか否かを示すフラグである。単数の人物が検出された場合には単数フラグが「オン」となり、単数の人物が検出されない場合には単数フラグが「オフ」となる。
【００２５】
成功フラグは、人物の視線位置の検出に成功したか否かを示すフラグである。人物の視線位置の検出に成功した場合には成功フラグが「オン」となり、視線位置の検出に失敗した場合には成功フラグが「オフ」となる。
【００２６】
視線対象位置データベース１４２は、仮想空間の画像領域と、画像領域に含まれる商品とを対応付ける情報を保持する。図４は、視線対象位置データベースのデータ構造の一例を示す図である。図４に示すように、この視線対象位置データベース１４２は、仮想空間の画像領域と、商品とを対応付ける。
【００２７】
図５は、仮想空間の一例を示す図である。例えば、商品αは、仮想空間（Ｘ１，Ｙ１）〜（Ｘ２，Ｙ１）、（Ｘ１，Ｙ２）〜（Ｘ２，Ｙ２）に位置する。商品βは、仮想空間（Ｘ２，Ｙ１）〜（Ｘ３，Ｙ１）、（Ｘ２，Ｙ２）〜（Ｘ３，Ｙ２）に位置する。商品γは、仮想空間（Ｘ１，Ｙ２）〜（Ｘ２，Ｙ２）、（Ｘ１，Ｙ３）〜（Ｘ２，Ｙ３）に位置する。商品δは、仮想空間（Ｘ２，Ｙ２）〜（Ｘ３，Ｙ２）、（Ｘ２，Ｙ３）〜（Ｘ３，Ｙ３）に位置する。
【００２８】
例えば、人物の視線位置が、仮想区間の画像領域（Ｘ１，Ｙ１）〜（Ｘ２，Ｙ１）、（Ｘ１，Ｙ２）〜（Ｘ２，Ｙ２）に含まれる場合には、人物が商品αを見ていると言える。
【００２９】
確認データベース１４３は、複数種類の確認データベース１４３を含む。例えば、確認データベース１４３は、人物移動状態確認データベース１４３ａ、ジェスチャ確認データベース１４３ｂ、指領域変化確認データベースは１４３ｃを有する。また、確認データベース１４３は、把持状態確認データベース１４３ｄ、顔向き変化確認データベース１４３ｅ、口の動き状態確認データベース１４３ｆ、視線の動き状態確認データベース１４３ｇを有する。以下では、各確認データベース１４３ａ〜１４３ｇのデータ構造の一例について順に説明する。
【００３０】
人物移動状態確認データベース１４３ａは、人物が商品に近づいたか否かの情報を保持する。図６は、人物移動状態確認データベースのデータ構造の一例を示す図である。図６に示すように、この人物移動状態確認データベース１４３ａは、人物ＩＤ毎に、テーブルを有する。ここでは一例として、人物ＩＤ「１ａａａ」のテーブル２０ａと、人物ＩＤ「１ｂｂｂ」のテーブル２０ｂを示す。
【００３１】
テーブル２０ａ，２０ｂは、時刻と、移動と、視対象とを対応付ける。移動は、人物ＩＤに対応する人物が、視対象となる商品に近づいたか否かを示す情報である。視対象に人物が近づいた場合には、移動が「ｙｅｓ」となり、近づいていない場合には、移動が「ｎｏ」となる。視対象は、人物ＩＤに対応する人物が見ている商品を示すものである。例えば、テーブル２０ａの１行目のレコードについて説明すると、人物ＩＤ「１ａａａ」の人物は、時刻ｔｎ１において、商品αを見ており、商品αに近づいていないことを示す。
【００３２】
ジェスチャ確認データベース１４３ｂは、人物が大きなジェスチャを行ったか否かの情報を保持する。図７は、ジェスチャ確認データベースのデータ構造の一例を示す図である。図７に示すように、このジェスチャ確認データベース１４３ｂは、人物ＩＤ毎に、テーブルを有する。ここでは一例として、人物ＩＤ「１ａａａ」のテーブル２１ａと、人物ＩＤ「１ｂｂｂ」のテーブル２０ｂを示す。
【００３３】
テーブル２１ａ，２１ｂは、時刻と、ジェスチャと、視対象とを対応付ける。ジェスチャは、人物ＩＤに対応する人物が、大きなジェスチャを行ったか否かを示す情報である。大きなジェスチャを行った場合には、ジェスチャが「ｙｅｓ」となり、大きなジェスチャを行っていない場合には、ジェスチャが「ｎｏ」となる。視対象は、人物ＩＤに対応する人物が見ている商品を示すものである。例えば、テーブル２１ａの１行目のレコードについて説明すると、人物ＩＤ「１ａａａ」の人物は、時刻ｔｎ１において、商品αを見ており、大きなジェスチャを行っていないことを示す。
【００３４】
指領域変化確認データベースは１４３ｃは、人物の指領域が変化したか否かの情報を保持する。図８は、指領域変化確認データベースのデータ構造の一例を示す図である。図８に示すように、この指領域変化確認データベース１４３ｃは、人物ＩＤ毎に、テーブルを有する。ここでは一例として、人物ＩＤ「１ａａａ」のテーブル２２ａと、人物ＩＤ「１ｂｂｂ」のテーブル２２ｂを示す。
【００３５】
テーブル２２ａ，２２ｂは、時刻と、指領域変化と、視対象とを対応付ける。指領域変化は、人物ＩＤに対応する人物の指領域が変化したか否かを示す情報である。人物の指領域が変化した場合には、指領域変化が「ｙｅｓ」となり、人物の指領域が変化していない場合には、指領域変化が「ｎｏ」となる。視対象は、人物ＩＤに対応する人物が見ている商品を示すものである。例えば、テーブル２２ａの１行目のレコードについて説明すると、人物ＩＤ「１ａａａ」の人物は、時刻ｔｎ１において、商品αを見ており、指領域が変化していないことを示す。
【００３６】
把持状態確認データベース１４３ｄは、人物がある商品を把持しているか否かの情報を保持する。図９は、把持状態確認データベースのデータ構造の一例を示す図である。図９に示すように、この把持状態確認データベース１４３ｄは、人物ＩＤ毎に、テーブルを有する。ここでは一例として、人物ＩＤ「１ａａａ」のテーブル２３ａと、人物ＩＤ「１ｂｂｂ」のテーブル２３ｂを示す。
【００３７】
テーブル２３ａ，２３ｂは、時刻と、把持状態と、視対象とを対応付ける。把持状態は、人物ＩＤに対応する人物が把持状態であるか否かを示す情報である。人物が把持状態である場合には、把持状態が「ｙｅｓ」となり、人物が把持状態でない場合には、把持状態が「ｎｏ」となる。視対象は、人物ＩＤに対応する人物が見ている商品を示すものである。例えば、テーブル２３ａの１行目のレコードについて説明すると、人物ＩＤ「１ａａａ」の人物は、時刻ｔｎ１において、商品αを見ており、把持状態でないことを示す。
【００３８】
顔向き変化確認データベース１４３ｅは、人物の顔の向きに変化があるか否かの情報を保持する。図１０は、顔向き変化確認データベースのデータ構造の一例を示す図である。図１０に示すように、この顔向き変化確認データベース１４３ｅは、人物ＩＤ毎に、テーブルを有する。ここでは一例として、人物ＩＤ「１ａａａ」のテーブル２４ａと、人物ＩＤ「１ｂｂｂ」のテーブル２４ｂを示す。
【００３９】
テーブル２４ａ，２４ｂは、時刻と、顔向き変化と、視対象とを対応付ける。顔向き変化は、人物ＩＤに対応する人物の顔の向きが変化したか否かを示す情報である。人物の顔の向きが変化した場合には、顔向き変化が「ｙｅｓ」となり、人物の顔の向きが変化していない場合には、顔向き変化が「ｎｏ」となる。視対象は、人物ＩＤに対応する人物が見ている商品を示すものである。例えば、テーブル２４ａの１行目のレコードについて説明すると、人物ＩＤ「１ａａａ」の人物は、時刻ｔｎ１において、商品αを見ており、人物の顔の向きが変化していないことを示す。
【００４０】
口の動き状態確認データベース１４３ｆは、人物の口の状態に関する情報を保持する。図１１は、口の動き状態確認データベースのデータ構造の一例を示す図である。図１１に示すように、この口の動き状態確認データベース１４３ｆは、人物ＩＤ毎に、テーブルを有する。ここでは一例として、人物ＩＤ「１ａａａ」のテーブル２５ａと、人物ＩＤ「１ｂｂｂ」のテーブル２５ｂを示す。
【００４１】
テーブル２５ａ，２５ｂは、時刻と、距離と、口の状態とを対応付ける。距離は、人物ＩＤに対応する人物と、この人物に最も近い他の人物との距離を示す。口の状態は、人物ＩＤに対応する人物の口が開いているのか閉じているのかを示す情報である。例えば、テーブル２４ａの１行目のレコードについて説明すると、人物ＩＤ「１ａａａ」の人物は、時刻ｔｎ１において、他の人物との距離が「５０ｃｍ」であり、口の状態が「閉」であることを示す。
【００４２】
視線の動き状態確認データベース１４３ｇは、人物の視線検出に関する情報を保持する。図１２は、視線の動き状態確認データベースのデータ構造の一例を示す図である。図１２に示すように、この視線の動き状態確認データベース１４３ｇは、人物ＩＤ毎に、テーブルを有する。ここでは一例として、人物ＩＤ「１ａａａ」のテーブル２６ａと、人物ＩＤ「１ｂｂｂ」のテーブル２６ｂとを示す。
【００４３】
テーブル２６ａ，２６ｂは、時刻と、視線検出と、視対象とを対応付ける。視線検出は、人物ＩＤに対応する人物の視線検出が可能であるか否かを示す情報である。例えば、人物の視線を検出可能である場合には、視線検出が「ｙｅｓ」となり、視線を検出可能でない場合には、視線検出が「ｎｏ」となる。視対象は、人物ＩＤに対応する人物が見ている商品を示すものである。例えば、テーブル２６ａの２行目のレコードについて説明すると、人物ＩＤ「１ａａａ」の人物は、時刻ｔｎ２において、商品αを見ており、人物の視線を検出することが可能である旨が示される。
【００４４】
図２の説明に戻る。判定結果データベース１４４は、人物が商品を見た際に、人物が自発的に商品を見たのか、自発的に見ていないのかを示す情報を保持する。図１３は、判定結果データベースのデータ構造の一例を示す図である。図１３に示すように、この判定結果データベース１４４は、時刻と、人数と、人物ＩＤと、視対象商品と、自発性フラグとを対応付ける。人数は、自発性の有無を判定した人物の人数を示す。視対象商品は、人物が見た商品を示す。自発性フラグは、人物が自発的に商品を見たか否かを示す。
【００４５】
例えば、判定結果データベース１４４の１行目のレコードでは、時刻ｔ１において、人物ＩＤ「１ａａａ」の人物は、商品αを自発的に見ている旨が示される。２行目のレコードでは、時刻ｔ２において、人物ＩＤ「１ａａａ」の人物は、商品αを自発的に見ている旨が示される。また、時刻ｔ２において、人物ＩＤ「１ｂｂｂ」の人物は、商品βを自発的に見ていない旨が示される。
【００４６】
図２の説明に戻る。制御部１５０は、取得部１５１と、人物検出部１５２と、視線検出部１５３と、自発性判定部１５４とを有する。制御部１５０は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）や、ＦＰＧＡ（Field  Programmable  Gate  Array）などの集積装置に対応する。また、制御部１５０は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等の電子回路に対応する。自発性判定部１５４は、判定部の一例である。
【００４７】
取得部１５１は、カメラから画像データを取得する処理部である。取得部１５１は、画像データを、図３に示した画像データベース１４１に登録する。例えば、取得部１５１は、フレーム番号と、時刻と、フレームとを対応付けて、画像データベース１４１に登録する。なお、画像データベース１４１の検出人数、人物ＩＤ、人物領域、重心座標、複数フラグ、単数フラグ、成功フラグの情報は、後述する人物検出部１５２によって設定される。
【００４８】
人物検出部１５２は、画像データベース１４１を参照し、画像データの各フレームから人物を検出する処理部である。例えば、人物検出部１５２は、複数種類の人物の形状を定義したテンプレートを有しており、このテンプレートと、画像データのフレームとを比較して、人物を検出する。
【００４９】
人物検出部１５２は、フレームから人物を検出した場合には、フレーム番号と対応付けて、人物領域および重心座標を、画像データベース１４１に登録する。人物検出部１５２は、検出した人物の検出人数を、フレーム番号と対応付けて、画像データベース１４１に登録する。
【００５０】
人物検出部１５２は、複数の人物を検出した場合には、複数フラグを「オン」にし、単数フラグを「オフ」に設定する。人物検出部１５２は、単数の人物を検出した場合には、複数フラグを「オフ」、単数フラグを「オン」に設定する。人物検出部１５２は、人物を検出できなかった場合には、複数フラグを「オフ」、単数フラグを「オフ」に設定する。
【００５１】
人物検出部１５２は、人物を検出した場合には、検出した人物に対してユニークな人物ＩＤを割り当て、フレーム番号と対応付けて、人物ＩＤを画像データベース１４１に登録する。複数のフレームから検出された同一人物については、同一の人物ＩＤを割り当てる。例えば、人物検出部１５２は、あるフレームから検出した人物の人物領域と、次のフレームから検出した人物の人物領域との重複面積が所定面積以上である場合に、各フレームから検出した人物を同一人物であると判定する。
【００５２】
人物検出部１５２は、フレームから複数の人物を検出した場合には、各人物にユニークな人物ＩＤを割り当て、フレーム番号と対応付けて、人物ＩＤを画像データベース１４１に登録する。例えば、図３の画像データベース１４１のフレーム番号「００４」のフレームからは複数の人物が検出されており、一方の人物の人物ＩＤが「１ａａａ」となり、他方の人物の人物ＩＤが「１ｂｂｂ」となっている。
【００５３】
人物検出部１５２は、新たな人物ＩＤを検出すると、確認データベース１４３に、各人物ＩＤに対応するテーブルを生成しても良いし、他の処理部が、人物ＩＤに対応するテーブルを生成しても良い。
【００５４】
なお、人物検出部１５２は、テンプレートマッチングにより、画像データのフレームから人物を検出する場合について説明したが、これに限定されるものではなく、他の従来技術を用いて、人物を検出しても良い。例えば、人物検出部１５２は、特開２０１４−９２８８６号公報に記載された技術を用いて人物を検出しても良い。人物検出部１５２は、非特許文献（佐藤雄隆,  金子俊一,  丹羽義典,  山本和彦：“Radial  Reach  Filter(RR  F)によるロバストな物体検出”,  信学論(D-II),  Vol.  J86-D-II  No.5,pp  616-624,  2003）に記載された技術を用いて、人物を検出しても良い。また、人物検出部１５２が、フレームに含まれる人物の人数を計測する場合には、特開昭６３−０８５８９０号公報に記載された技術を用いて人物の人数を計測しても良い。
【００５５】
視線検出部１５３は、画像データベース１４１の画像データのフレームを参照して、人物の視線位置を検出する処理部である。視線検出部１５３は、どのような従来技術を用いて、人物の視線位置を検出しても良い。例えば、視線検出部１５３は、フレームを画像解析し、人物の目の基準点と、動点とを特定し、基準点と動点との関係から、人物の視線位置を検出する。基準点と動点との組は、人物の目に関する目頭と虹彩、または、人物の目に関する角膜反射と瞳孔となる。視線検出部１５３は、特開２０１２−１８７１９０号公報に記載された技術を用いて、視線位置を検出しても良い。
【００５６】
視線検出部１５３は、人物の目に関する基準点と動点とを検出でき、人物の視線検出に成功した場合には、視線検出に成功した人物ＩＤに対応付けて、成功フラグを「オン」に設定する。一方、視線検出部１５３は、人物の目に関する基準点または動点を検出できず、人物の視線検出に失敗した場合には、視線検出に失敗した人物ＩＤに対応付けて、成功フラグを「オフ」に設定する。
【００５７】
視線検出部１５３は、人物の視線検出に成功した場合には、人物の視線位置と、視線対象位置データベース１４２とを比較して、人物の視対象となる商品を特定する。視線検出部１５３は、確認データベース１４３に含まれる各人物ＩＤのテーブル２０ａ〜２４ａ，２６ａ，２０ｂ〜２４ｂ，２６ｂに、視線を検出したフレームの時刻と、視対象とを対応付けて登録する。
【００５８】
自発性判定部１５４は、ある人物が商品を見た場合に、自発的に商品を自発的に見たのか否かを判定する処理部である。自発性判定部１５４は、判定結果を、判定結果データベース１４４に登録する。
【００５９】
まず、自発性判定部１５４は、画像データベース１４１を参照し、単数フラグが「オン」、かつ、成功フラグが「オン」となるレコードを検出する。単数フラグが「オン」で、成功フラグが「オン」とは、例えば、人物が１人で商品を見ていることを意味し、自発性があると言える。自発性判定部１５４は、検出したレコードに含まれる人物ＩＤの人物は、自発的に、視対象をみたと判定し、判定結果を判定結果データベース１４４に登録する。
【００６０】
例えば、フレーム番号「００２」のレコードでは、単数フラグが「オン」、かつ、成功フラグが「オン」となる。自発性判定部１５４は、フレーム番号「００２」のレコードの人物ＩＤ「１ａａａ」の人物は、時刻「ｔ２」において、視対象を自発的に見ていると判定する。自発性判定部１５４は、時刻「ｔ２」、人数「１」、人物ＩＤ「１ａａａ」、視対象「商品α」、自発性フラグ「オン」を対応付けて、判定結果データベース１４４に登録する。
【００６１】
続いて、自発性判定部１５４は、画像データベース１４１を参照し、複数フラグが「オン」、かつ、成功フラグが「オン」となるレコードを検出する。自発性判定部１５４は、レコードに含まれる各人物ＩＤの各人物について、下記に説明する第１の自発性判定処理〜第７の自発性判定処理の何れか一つまたは複数を実行することで、人物が自発的に商品を見たのか否かを判定する。また、以下では、説明の便宜上、人物１０ａ、人物１０ｂが存在するとし、人物１０ａが自発的に商品を見たか否かの自発性を判定するものとする。
【００６２】
自発性判定部１５４が実行する「第１の自発性判定処理」について説明する。自発性判定部１５４は、第１の自発性判定処理を実行する場合に、図６に示した人物移動状態確認データベース１４３ａを参照して処理を行う。
【００６３】
自発性判定部１５４は、人物１０ｂが視対象に近づく方向に移動し、かつ、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と同じ場合に、人物１０ａは、視対象を自発的に見ていないと判定する。
【００６４】
一方、自発性判定部１５４は、人物１０ｂが視対象に近づく方向に移動していない場合には、人物１０ａは、視対象を自発的に見ていると判定する。また、自発性判定部１５４は、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と異なる場合に、人物１０ａは、視対象を自発的に見ていると判定する。
【００６５】
ここで、自発性判定部１５４が、人物が、視対象に近づく方向に移動しているか否かを判定する処理の一例について説明する。自発性判定部１５４は、画像データベース１４１を参照して、人物の人物領域を取得する。自発性判定部１５４は、各人物領域の輪郭線に囲まれた面積をフレーム毎に求めて変化量を算出する。例えば、自発性判定部１５４は、特開２０１４−９２８８６号公報に記載された技術を用いて、人物領域の輪郭線を特定する。
【００６６】
自発性判定部１５４は、人物の人物領域がＮフレーム期間に閾値以上増加する場合に、人物が視対象に近づく方向に移動していると判定する。自発性判定部１５４は、人物の人物領域がＮフレーム期間に閾値以上増加しない場合に、人物が視対象に近づく方向に移動していないと判定する。自発性判定部１５４は、判定結果を人物移動状態確認データベース１４３ａに登録する。
【００６７】
例えば、自発性判定部１５４は、時刻ｔｎ１〜ｔｎ３のフレーム期間に、人物の人物領域が閾値以上増加した場合には、該当の人物ＩＤのテーブルについて、時刻「ｔｎ３」のレコードに、移動「ｙｅｓ」を登録する。時刻ｔｎ１〜ｔｎ３のフレーム期間に、人物の人物領域が閾値以上増加していない場合には、該当の人物ＩＤのテーブルについて、時刻「ｔｎ３」のレコードに、移動「ｎｏ」を登録する。
【００６８】
自発性判定部１５４は、人物移動状態確認データベース１４３ａに情報を登録した後に、上記第１の自発性判定処理を実行する。
【００６９】
自発性判定部１５４が実行する「第２の自発性判定処理」について説明する。自発性判定部１５４は、第２の自発性判定処理を実行する場合に、図７に示したジェスチャ確認データベース１４３ｂを参照して処理を行う。
【００７０】
自発性判定部１５４は、人物１０ｂのジェスチャが大きく、かつ、人物１０ａの視界に人物１０ｂのジェスチャが含まれており、かつ、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と同じ場合に、人物１０ａは、視対象を自発的に見ていないと判定する。
【００７１】
一方、自発性判定部１５４は、人物１０ｂのジェスチャが小さい場合には、人物１０ａは、視対象を自発的に見ていると判定する。また、自発性判定部１５４は、人物１０ｂのジェスチャが大きい場合でも、人物１０ｂのジェスチャが人物１０ａの視界に含まれていない場合には、人物１０ａは、視対象を自発的に見ていると判定する。また、自発性判定部１５４は、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と異なる場合に、人物１０ａは、視対象を自発的に見ていると判定する。
【００７２】
ここで、自発性判定部１５４が、人物のジェスチャが大きいか否かを判定する処理の一例について説明する。自発性判定部１５４は、画像データベース１４１を参照して、人物の人物領域を特定し、更に、人物領域から手領域を抽出する。例えば、自発性判定部１５４は、人物領域の肌色領域を、手領域として抽出する。
【００７３】
自発性判定部１５４は、Ｋフレームの期間に手領域が閾値（ｍピクセル）以上移動した場合には、人物のジェスチャが大きいと判定する。自発性判定部１５４は、Ｋフレームの期間に手領域が閾値以上移動していない場合には、人物のジェスチャが大きく無いと判定する。例えば、画像データのフレームが６４０×４８０ピクセルの場合には、閾値を９５ピクセルとする。自発性判定部１５４は、判定結果をジェスチャ確認データベース１４３ｂに登録する。
【００７４】
例えば、自発性判定部１５４は、時刻ｔｎ１〜ｔｎ３のフレーム期間に、人物の手領域が閾値以上増加した場合には、該当の人物ＩＤのテーブルについて、時刻「ｔｎ３」のレコードに、ジェスチャ「ｙｅｓ」を登録する。時刻ｔｎ１〜ｔｎ３のフレーム期間に、人物の手領域が閾値以上増加していない場合には、該当の人物ＩＤのテーブルについて、時刻「ｔｎ３」のレコードに、ジェスチャ「ｎｏ」を登録する。
【００７５】
なお、自発性判定部１５４は、他の従来技術を用いて、ジェスチャが大きいか否かを判定しても良い。例えば、自発性判定部１５４は、特開２０１３−２０３１１号公報に記載された技術を用いて、ジェスチャを検出し、ジェスチャが大きいか否かを判定しても良い。
【００７６】
自発性判定部１５４は、ジェスチャ確認データベース１４３ｂに情報を登録した後に、上記第２の自発性判定処理を実行する。
【００７７】
続いて、自発性判定部１５４が、人物１０ａの視界に、人物１０ｂのジェスチャが含まれているか否かを判定する処理の一例について説明する。例えば、自発性判定部１５４は、人物１０ａの視界範囲に、人物１０ｂが入っている場合に、人物１０ａの視界に、人物１０ｂのジェスチャが含まれていると判定する。
【００７８】
図１４は、人物の視界範囲の一例を説明するための図である。図１４において、人物１０ａの視線位置を視線位置１１ａとすると、人物１０ａの視界範囲は、視界範囲１２となる。例えば、視界範囲１２の線分１２ａと線１２ｂとのなす角度を２０度とする。この２０度の根拠は、「光学42巻9号（2013）P473有効視野の特性とその測定手法に記載の有効視野（直径20°以内）」を根拠としている。自発性判定部１５４は、視野範囲１２に人物１０ｂが含まれている場合には、人物１０ａの視界に、人物１０ｂのジェスチャが含まれていると判定する。自発性判定部１５４は、視野範囲１２に人物１０ｂが含まれていない場合に、人物１０ａの視界に、人物１０ｂのジェスチャが含まれていないと判定する。図１４に示す例では、視野範囲１２に人物１０ｂが含まれていない場合を示している。
【００７９】
自発性判定部１５４は、人物の位置をどのように特定しても良い。例えば、自発性判定部１５４は、画像データのフレームに含まれる人物の大きさと、カメラ５０から各距離までの人物の画像上の大きさを定義しテンプレートを用いて、カメラ５０から人物までの距離を特定することで、人物の位置を推定する。自発性判定部１５４は、その他の従来技術を用いて、人物の位置を特定しても良い。
【００８０】
自発性判定部１５４が実行する「第３の自発性判定処理」について説明する。自発性判定部１５４は、第３の自発性判定処理を実行する場合に、図８に示した指領域変化確認データベース１４３ｃを参照して処理を行う。
【００８１】
自発性判定部１５４は、人物１０ｂの指領域が閾値以上変化し、かつ、人物１０ａの視界に人物１０ｂの指領域が含まれており、かつ、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と同じ場合に、人物１０ａは、視対象を自発的に見ていないと判定する。
【００８２】
一方、自発性判定部１５４は、人物１０ｂの指領域の変化が閾値以上変化していない場合には、人物１０ａは視対象を自発的に見ていると判定する。また、自発性判定部１５４は、人物１０ｂの指領域の変化が閾値以上変化している場合でも、人物１０ｂの指領域が人物１０ａの視界に含まれていない場合には、人物１０ａは、視対象を自発的に見ていると判定する。また、自発性判定部１５４は、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と異なる場合に、人物１０ａは、視対象を自発的に見ていると判定する。
【００８３】
ここで、自発性判定部１５４が、人物の指領域の変化が閾値以上変化しているか否かを判定する処理の一例について説明する。自発性判定部１５４は、画像データベース１４１を参照して、人物の人物領域を特定し、更に、人物領域から指領域を抽出する。例えば、自発性判定部１５４は、人物領域の肌色領域を、指領域として抽出する。
【００８４】
自発性判定部１５４は、Ｌフレームの期間に指領域が閾値（ｐピクセル）以上移動した場合には、人物の指領域の変化が閾値以上であると判定する。自発性判定部１５４は、Ｌフレームの期間に指領域が閾値以上移動していない場合には、人物の指領域の変化が閾値以上でないと判定する。例えば、画像データのフレームが６４０×４８０ピクセルの場合には、閾値を９５（４８０ピクセルの２０％に相当）ピクセルとする。自発性判定部１５４は、判定結果を指領域変化確認データベース１４３ｃに登録する。
【００８５】
例えば、自発性判定部１５４は、時刻ｔｎ１〜ｔｎ３のフレーム期間に、人物の指領域が閾値以上増加した場合には、該当の人物ＩＤのテーブルについて、時刻「ｔｎ３」のレコードに、指領域変化「ｙｅｓ」を登録する。自発性判定部１５４は、時刻ｔｎ１〜ｔｎ３のフレーム期間に、人物の指領域が閾値以上増加していない場合には、該当の人物ＩＤのテーブルについて、時刻「ｔｎ３」のレコードに、指領域変化「ｎｏ」を登録する。
【００８６】
自発性判定部１５４は、指領域変化確認データベース１４３ｃに情報を登録した後に、上記第３の自発性判定処理を実行する。なお、自発性判定部１５４が、人物１０ａの視界に、人物１０ｂの指領域が含まれているか否かを判定する処理は、第２の自発性判定処理で説明した処理と同様である。
【００８７】
なお、自発性判定部１５４は、他の従来技術を用いて、指領域の変化が閾値以上か否かを判定しても良い。例えば、自発性判定部１５４は、特開２０１３−２０３１１号公報に記載された技術を用いて、指領域を検出し、指領域の変化が閾値以上か否かを判定しても良い。
【００８８】
自発性判定部１５４が実行する「第４の自発性判定処理」について説明する。自発性判定部１５４は、第４の自発性判定処理を実行する場合に、図９に示した把持状態確認データベース１４３ｄを参照して処理を行う。
【００８９】
自発性判定部１５４は、人物１０ｂの手の状態が把持状態であるか否かを判定する。そして、自発性判定部１５４は、人物１０ａの視界に人物１０ｂの把持状態の手が含まれており、かつ、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と同じ場合に、人物１０ａは、視対象を自発的に見ていないと判定する。
【００９０】
一方、自発性判定部１５４は、人物１０ｂの手の状態が把持状態でない場合には、人物１０ａは視対象を自発的に見ていると判定する。また、自発性判定部１５４は、人物１０ｂの手の状態が把持状態であっても、人物１０ｂの手の状態が人物１０ａの視界に含まれていない場合には、人物１０ａは、視対象を自発的に見ていると判定する。また、自発性判定部１５４は、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と異なる場合に、人物１０ａは、視対象を自発的に見ていると判定する。
【００９１】
ここで、自発性判定部１５４が、人物の手の状態が把持状態であるか否かを判定する処理の一例について説明する。自発性判定部１５４は、画像データベース１４１を参照して、人物の人物領域を特定し、更に、人物領域から手領域を抽出する。例えば、自発性判定部１５４は、人物領域の肌色領域を、手領域として抽出する。
【００９２】
自発性判定部１５４は、例えば、手領域と、把持状態の手のテンプレートとを比較して、手領域がテンプレートと一致する場合に、人物の手の状態が把持状態であると判定する。
【００９３】
例えば、自発性判定部１５４は、時刻ｔｎ３のフレームにおいて、人物の手領域が把持状態である場合には、該当の人物ＩＤのテーブルについて、時刻「ｔｎ３」のレコードに、把持状態「ｙｅｓ」を登録する。自発性判定部１５４は、時刻ｔｎ３のフレームにおいて、人物の手領域が把持状態でない場合には、該当の人物ＩＤのテーブルについて、時刻「ｔｎ３」のレコードに、把持状態「ｎｏ」を登録する。
【００９４】
自発性判定部１５４は、把持状態確認データベース１４３ｄに情報を登録した後に、上記第４の自発性判定処理を実行する。なお、自発性判定部１５４が、人物１０ａの視界に、人物１０ｂの把持状態が含まれているか否かを判定する処理は、第２の自発性判定処理で説明した処理と同様である。
【００９５】
自発性判定部１５４が実行する「第５の自発性判定処理」について説明する。自発性判定部１５４は、第５の自発性判定処理を実行する場合に、図１０に示した顔向き変化確認データベース１４３ｅを参照して処理を行う。
【００９６】
自発性判定部１５４は、人物１０ｂの顔の向きが変化したか否かを判定する。そして、自発性判定部１５４は、人物１０ａの視界に人物１０ｂの顔が含まれており、かつ、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と同じ場合に、人物１０ａは、視対象を自発的に見ていないと判定する。
【００９７】
一方、自発性判定部１５４は、人物１０ｂの顔の向きが変化していない場合には、人物１０ａは、視対象を自発的に見ていると判定する。また、自発性判定部１５４は、人物１０ｂの顔の向きが変化している場合でも、人物１０ｂの顔が人物１０ａの視界に含まれていない場合には、人物１０ａは、視対象を自発的に見ていると判定する。また、自発性判定部１５４は、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と異なる場合に、人物１０ａは、視対象を自発的に見ていると判定する。
【００９８】
ここで、自発性判定部１５４が、人物の顔の向きが変化したか否かを判定する処理の一例について説明する。自発性判定部１５４は、画像データベース１４１を参照して、人物の人物領域を特定し、更に、人物領域から顔領域および目領域を抽出する。例えば、自発性判定部１５４は、人物領域の肌色領域を、顔領域として抽出する。または、自発性判定部１５４は、人物の顔の構成を定義したテンプレートを用いて、人物領域から顔領域および目領域を抽出しても良い。また、自発性判定部１５４は、特開２０１２−１８７１９０号公報に記載された処理を用いて、顔領域および目領域を抽出しても良い。
【００９９】
自発性判定部１５４は、Ｐフレームの期間の顔領域の縦横比が第１閾値以上変化し、かつ、目領域の面積の割合が第２閾値以上減少する場合に、人物の顔の向きが変化したと判定する。例えば、自発性判定部１５４は、顔領域の縦横比が２０％以上変化し、また、領域の面積の割合が２０％以上減少した場合に、人物の顔の向きが変化したと判定する。一方、自発性判定部１５４は、Ｐフレームの期間の顔領域の縦横比が第１閾値以上変化しない場合、または、目領域の面積の割合が第２閾値以上減少しない場合に、人物の顔の向きが変化していないと判定する。自発性判定部１５４は、判定結果を顔向き変化確認データベース１４３ｅに登録する。
【０１００】
例えば、自発性判定部１５４は、時刻ｔｎ１〜ｔｎ３のフレーム期間に、人物の顔領域の縦横比が第１閾値以上変化し、かつ、目領域の面積の割合が第２閾値以上減少した場合には、該当の人物ＩＤのテーブルについて、時刻「ｔｎ３」のレコードに、顔向き変化「ｙｅｓ」を登録する。時刻ｔｎ１〜ｔｎ３のフレーム期間に、人物の顔領域の縦横比が第１閾値以上変化していない場合、または、自発性判定部１５４は、目領域の面積の割合が第２閾値以上減少していない場合には、該当の人物ＩＤのテーブルについて、時刻「ｔｎ３」のレコードに、顔向き変化「ｎｏ」を登録する。
【０１０１】
自発性判定部１５４は、顔向き変化確認データベース１４３ｅに情報を登録した後に、上記第５の自発性判定処理を実行する。なお、自発性判定部１５４が、人物１０ａの視界に、人物１０ｂの顔が含まれているか否かを判定する処理は、第２の自発性判定処理で説明した処理と同様である。
【０１０２】
自発性判定部１５４が実行する「第６の自発性判定処理」について説明する。自発性判定部１５４は、第６の自発性判定処理を実行する場合に、図１１に示した口の動き状態確認データベース１４３ｆを参照して処理を行う。
【０１０３】
自発性判定部１５４は、人物１０ａと人物１０ｂとの距離が閾値以下であり、人物１０ａの口と人物１０ｂとの口が交互に開くという条件を満たすか否かを判定する。そして、自発性判定部１５４は、かかる条件を満たし、かつ、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と同じ場合に、人物１０ａは、視対象を自発的に見ていないと判定する。
【０１０４】
自発性判定部１５４は、人物１０ａと人物１０ｂとの距離が閾値以下であり、人物１０ａの口と人物１０ｂとの口が交互に開くという条件を満たさない場合には、人物１０ａは、視対象を自発的に見ていると判定する。また、自発性判定部１５４は、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と異なる場合に、人物１０ａは、視対象を自発的に見ていると判定する。
【０１０５】
ここで、自発性判定部１５４が、人物と他の人物との距離が閾値以下であるか否かを判定する処理の一例について説明する。自発性判定部１５４は、例えば、上記の第２の自発性判定処理と同様にして、各人物の位置を推定し、各人物間の距離が閾値以下であるか否かを判定する。自発性判定部１５４は、上記処理を各フレームで実行することで、図１１に示すテーブル２５ａ，２５ｂに距離の情報を登録していく。人物の距離は、他の人物との距離のうち、最小となる距離でよい。
【０１０６】
自発性判定部１５４が、人物の口と他の人物の口とが交互に開いたか否かを判定する処理の一例について説明する。自発性判定部１５４は、画像データベース１４１を参照して、人物の人物領域を特定し、更に、人物領域から顔領域を抽出する。例えば、自発性判定部１５４は、人物領域の肌色領域と、顔領域とを特定し、顔領域から口領域を抽出する。
【０１０７】
自発性判定部１５４は、各フレーム前後における口領域の重心間距離および口領域の上下方向の変化量を算出し、この変化量が閾値以上である場合に、口が開いていると判定する。また、自発性判定部１５４は、変化量が閾値未満である場合には、口が閉じていると判定する。自発性判定部１５４は、上記処理を各フレームで実行することで、図１１に示すテーブル２５ａ，２５ｂの口の状態を登録していく。
【０１０８】
自発性判定部１５４は、口の動き状態確認データベース１４３ｆの各レコードを走査して、人物１０ａの口の状態と、人物１０ｂの口の状態とを比較し、人物１０ａの口と人物１０ｂとの口とが交互に開いたか否かを判定する。例えば、自発性判定部１５４は、同じ時刻において、一方の人物の口の状態が「開」となり、他方の人物の口の状態が「閉」となる場合に、口が交互に開いたと判定しても良い。
【０１０９】
自発性判定部１５４が実行する「第７の自発性判定処理」について説明する。自発性判定部１５４は、第７の自発性判定処理を実行する場合に、図１２に示した視線の動き状態確認データベース１４３ｇを参照して処理を行う。
【０１１０】
自発性判定部１５４は、人物１０ｂの視線を検出可能で、人物１０ａの視界に人物１０ｂが含まれており、かつ、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と同じ場合に、人物１０ａは、視対象を自発的に見ていないと判定する。
【０１１１】
一方、自発性判定部１５４は、人物１０ｂの視線を検出可能でない場合には、人物１０ａは自発的に視対象を見ていると判定する。自発性判定部１５４は、人物１０ａの視界に人物１０ｂが含まれていない場合には、人物１０ａは自発的に視対象を見ていると判定する。また、自発性判定部１５４は、現在の人物１０ａの視対象が、所定時間前から現在までの人物１０ｂの視対象と異なる場合に、人物１０ａは、視対象を自発的に見ていると判定する。
【０１１２】
ここで、自発性判定部１５４が、人物の視線を検出可能か否かを判定する処理の一例について説明する。自発性判定部１５４が視線を検出する処理は、上記の視線検出部１５３と同様の処理を実行して、人物の視線を検出可能か否かを判定する。
【０１１３】
例えば、自発性判定部１５４は、時刻ｔｎ１のフレームにおいて、人物の視線を検出可能である場合には、該当の人物ＩＤのテーブルについて、時刻「ｔｎ１」のレコードに、視線検出「ｙｅｓ」を登録する。時刻ｔｎ１のフレームにおいて、人物の視線を検出可能でない場合には、該当の人物ＩＤのテーブルについて、時刻「ｔｎ１」のレコードに、視線検出「ｎｏ」を登録する。
【０１１４】
自発性判定部１５４は、視線の動き状態確認データベース１４３ｇに情報を登録した後に、上記第７の自発性判定処理を実行する。なお、自発性判定部１５４が、人物１０ａの視界に、人物１０ｂの顔が含まれているか否かを判定する処理は、第２の自発性判定処理で説明した処理と同様である。
【０１１５】
自発性判定部１５４は、上述した第１〜第７の自発性判定処理の何れか一つまたは複数を実行する。自発性判定部１５４は、各自発性判定処理の判定結果を集計し、「自発性あり」、「自発性なし」の多数決によって、最終的に、人物が自発的に視対象を見たのか否かを判定する。自発性判定部１５４は、各フレームについて、自発性のありなしを判定し、判定結果を、判定結果データベース１４４に登録する。
【０１１６】
例えば、自発性判定部１５４は、時刻ｔ１において、人物ＩＤ「１ａａａ」の人物が視対象商品「商品α」を自発的に見ていると判定した場合には、図１３の１行目のレコードに示すような情報を登録し、自発性フラグを「オン」に設定する。
【０１１７】
次に、本実施例にかかる関心度判定装置１００の処理手順について説明する。図１５および図１６は、本実施例にかかる関心度判定装置の処理手順を示すフローチャートである。図１５に示すように、関心度判定装置１００の取得部１５１は、カメラから画像データを取得する（ステップＳ１０１）。関心度判定装置１００の人物検出部１５２は、画像データから人物を検出する（ステップＳ１０２）。
【０１１８】
人物検出部１５２は、検出した人物が複数であるか否かを判定する（ステップＳ１０３）。人物検出部１５２は、検出した人物が複数でない場合には（ステップＳ１０３，Ｎｏ）、画像データベース１４１の単数フラグをオンに設定し（ステップＳ１０４）、ステップＳ１０６に移行する。
【０１１９】
一方、人物検出部１５２は、検出した人物が複数である場合には（ステップＳ１０３，Ｙｅｓ）、画像データベース１４１の複数フラグをオンに設定する（ステップＳ１０５）。人物検出部１５２は、前フレームの人物ＩＤと、現フレームの人物ＩＤとを対応付ける（ステップＳ１０６）。
【０１２０】
人物検出部１５２は、対応しない人物ＩＤが存在するか否かを判定する（ステップＳ１０７）。人物検出部１５２は、対応しない人物ＩＤが存在しない場合には（ステップＳ１０７，Ｎｏ）、図１６のステップＳ１０９に移行する。
【０１２１】
人物検出部１５２は、対応しない人物ＩＤが存在する場合には（ステップＳ１０７，Ｙｅｓ）、新規に人物ＩＤを生成し（ステップＳ１０８）、図１６のステップＳ１０９に移行する。
【０１２２】
図１６の説明に移行する。関心度判定装置１００の視線検出部１５３は、人物の視線を検出する（ステップＳ１０９）。視線検出部１５３は、視線検出に成功したか否かを判定する（ステップＳ１１０）。視線検出部１５３は、視線検出に失敗した場合には（ステップＳ１１０，Ｎｏ）、ステップＳ１１３に移行する。
【０１２３】
視線検出部１５３は、視線検出に成功した場合には（ステップＳ１１０，Ｙｅｓ）、視線検出に成功した人物ＩＤの成功フラグをオンに設定する（ステップＳ１１１）。視線検出部１５３は、視線位置と視線対象位置データベースとを基にして、視対象を特定する（ステップＳ１１２）。
【０１２４】
関心度判定装置１００の自発性判定部１５４は、画像データベース１４１を参照し、複数フラグおよび成功フラグがオンであるか否かを判定する（ステップＳ１１３）。自発性判定部１５４は、複数フラグおよび成功フラグがオンである場合には（ステップＳ１１３，Ｙｅｓ）、ステップＳ１１６に移行する。一方、自発性判定部１５４は、複数フラグがオフまたは成功フラグがオフである場合には（ステップＳ１１３，Ｎｏ）、ステップＳ１１４に移行する。
【０１２５】
ステップＳ１１４について説明する。自発性判定部１５４は、成功フラグがオンであるか否かを判定する（ステップＳ１１４）。自発性判定部１５４は、成功フラグがオンである場合には（ステップＳ１１４，Ｙｅｓ）、自発性有りと判定し（ステップＳ１１５）、ステップＳ１１７に移行する。
【０１２６】
自発性判定部１５４は、成功フラグがオフである場合には（ステップＳ１１４，Ｎｏ）、処理を終了する。
【０１２７】
ステップＳ１１６について説明する。自発性判定部１５４は、自発性判定処理を実行する（ステップＳ１１６）。自発性判定部１５４は、自発性ありか否かを判定する（ステップＳ１１７）。自発性判定部１５４は、自発性ありの場合には（ステップＳ１１７，Ｙｅｓ）、自発性フラグをオンに設定する（ステップＳ１１８）。自発性判定部１５４は、自発性なしの場合には（ステップＳ１１７，Ｎｏ）、自発性フラグをオフに設定する（ステップＳ１１９）。
【０１２８】
続いて、図１６のステップＳ１１６に示した自発性判定処理の処理手順について説明する。以下では、自発性判定処理として、第１の自発性判定処理〜第７の自発性判定処理について順に説明する。
【０１２９】
図１７は、第１の自発性判定処理の処理手順を示すフローチャートである。図１７に示すように、自発性判定部１５４は、画像データから各人物の人物領域を抽出する（ステップＳ２０１）。自発性判定部１５４は、各人物の人物領域の面積の変化量を算出する（ステップＳ２０２）。
【０１３０】
自発性判定部１５４は、Ｎフレームの期間に人物の人物領域が閾値以上増加していない場合には（ステップＳ２０３，Ｎｏ）、人物が近づく方向に移動していないと判定し（ステップＳ２０４）、ステップＳ２０６に移行する。
【０１３１】
一方、自発性判定部１５４は、Ｎフレームの期間に人物の人物領域が閾値以上増した場合には（ステップＳ２０３，Ｙｅｓ）、人物が近づく方向に移動していると判定する（ステップＳ２０５）。
【０１３２】
自発性判定部１５４は、人物移動状態確認データベース１４３ａに判定結果を保存する（ステップＳ２０６）。自発性判定部１５４は、相手が近づく方向に移動していない場合には（ステップＳ２０７，Ｎｏ）、自発性であると判定する（ステップＳ２０８）。
【０１３３】
自発性判定部１５４は、相手が近づく方向に移動している場合には（ステップＳ２０７，Ｙｅｓ）、相手の視線が現在の視対象に以前から存在しているか否かを判定する（ステップＳ２０９）。自発性判定部１５４は、相手の視線が現在の視対象に以前から存在している場合には（ステップＳ２０９，Ｙｅｓ）、自発性でないと判定する（ステップＳ２１０）。
【０１３４】
自発性判定部１５４は、相手の視線が現在の視対象に以前から存在していない場合には（ステップＳ２０９，Ｎｏ）、ステップＳ２０８に移行する。
【０１３５】
図１８は、第２の自発性判定処理の処理手順を示すフローチャートである。図１８に示すように、自発性判定部１５４は、画像データから各人物の人物領域を抽出する（ステップＳ３０１）。自発性判定部１５４は、各人物の手領域を抽出する（ステップＳ３０２）。
【０１３６】
自発性判定部１５４は、Ｋフレームの期間に手領域が閾値以上移動していない場合には（ステップＳ３０３，Ｎｏ）、ジェスチャが小さいと判定し（ステップＳ３０４）、ステップＳ３０６に移行する。
【０１３７】
一方、自発性判定部１５４は、Ｋフレームの期間に手領域が閾値以上移動した場合には（ステップＳ３０３，Ｙｅｓ）、ジェスチャが大きいと判定する（ステップＳ３０５）。自発性判定部１５４は、ジェスチャ確認データベース１４３ｂに判定結果を保存する（ステップＳ３０６）。
【０１３８】
自発性判定部１５４は、相手のジェスチャが大きくない場合には（ステップＳ３０７，Ｎｏ）、自発性であると判定する（ステップＳ３０８）。
【０１３９】
一方、自発性判定部１５４は、相手のジェスチャが大きい場合には（ステップＳ３０７，Ｙｅｓ）、相手のジェスチャが視界に入っているか否かを判定する（ステップＳ３０９）。自発性判定部１５４は、相手のジェスチャが視界に入っていない場合には（ステップＳ３０９，Ｎｏ）、ステップＳ３０８に移行する。
【０１４０】
一方、自発性判定部１５４は、相手のジェスチャが視界に入っている場合には（ステップＳ３０９，Ｙｅｓ）、相手の視線が現在の視対象に以前から存在しているか否かを判定する（ステップＳ３１０）。自発性判定部１５４は、相手の視線が現在の視対象に以前から存在している場合には（ステップＳ３１０，Ｙｅｓ）、自発性でないと判定する（ステップＳ３１１）。
【０１４１】
自発性判定部１５４は、相手の視線が現在の視対象に以前から存在していない場合には（ステップＳ３１０，Ｎｏ）、ステップＳ３０８に移行する。
【０１４２】
図１９は、第３の自発性判定処理の処理手順を示すフローチャートである。図１９に示すように、自発性判定部１５４は、画像データから各人物の人物領域を抽出する（ステップＳ４０１）。自発性判定部１５４は、各人物の手領域を抽出する（ステップＳ４０２）。
【０１４３】
自発性判定部１５４は、Ｌフレームの期間に手領域が閾値以上移動していない場合には（ステップＳ４０３，Ｎｏ）、指領域変化なしと判定し（ステップＳ４０４）、ステップＳ４０６に移行する。
【０１４４】
一方、自発性判定部１５４は、Ｌフレームの期間に手領域が閾値以上移動している場合には（ステップＳ４０３，Ｙｅｓ）、指領域変化ありと判定する（ステップＳ４０５）。自発性判定部１５４は、指領域変化確認データベース１４３ｃに判定結果を保存する（ステップＳ４０６）。
【０１４５】
自発性判定部１５４は、相手の指領域の変化が閾値以上でない場合には（ステップＳ４０７，Ｎｏ）、自発性であると判定する（ステップＳ４０８）。
【０１４６】
自発性判定部１５４は、相手の指領域の変化が閾値以上である場合には（ステップＳ４０７，Ｙｅｓ）、相手の指領域が視界に入っているか否かを判定する（ステップＳ４０９）。自発性判定部１５４は、相手の指領域が視界に入っている場合には（ステップＳ４０９，Ｙｅｓ）、相手の視線が現在の視対象に以前から存在しているか否かを判定する（ステップＳ４１０）。自発性判定部１５４は、相手の視線が現在の視対象に以前から存在している場合には（ステップＳ４１０，Ｙｅｓ）、自発性でないと判定する（ステップＳ４１１）。
【０１４７】
自発性判定部１５４は、相手の視線が現在の視対象に以前から存在していない場合には（ステップＳ４１０，Ｎｏ）、ステップＳ４０８に移行する。なお、相手の指領域が視界に入っていない場合には（ステップＳ４０９，Ｎｏ）、ステップＳ４０８に移行する。
【０１４８】
図２０は、第４の自発性判定処理の処理手順を示すフローチャートである。図２０に示すように、自発性判定部１５４は、画像データから各人物の人物領域を抽出する（ステップＳ５０１）。自発性判定部１５４は、各人物の手領域を抽出する（ステップＳ５０２）。
【０１４９】
自発性判定部１５４は、握っている手の状態を検出していない場合には（ステップＳ５０３，Ｎｏ）、把持状態なしと判定し（ステップＳ５０４）、ステップＳ５０６に移行する。
【０１５０】
自発性判定部１５４は、握っている手の状態を検出した場合には（ステップＳ５０３，Ｙｅｓ）、把持状態ありと判定する（ステップＳ５０５）。自発性判定部１５４は、把持状態確認データベース１４３ｄに判定結果を保存する（ステップＳ５０６）。
【０１５１】
自発性判定部１５４は、相手が把持状態でない場合には（ステップＳ５０７，Ｎｏ）、自発性であると判定する（ステップＳ５０８）。
【０１５２】
一方、自発性判定部１５４は、相手が把持状態である場合には（ステップＳ５０７，Ｙｅｓ）、相手の把持状態が視界に入っているか否かを判定する（ステップＳ５０９）。自発性判定部１５４は、相手の把持状態が視界に入っていない場合には（ステップＳ５０９，Ｎｏ）、ステップＳ５０８に移行する。
【０１５３】
一方、自発性判定部１５４は、相手の把持状態が視界に入っている場合には（ステップＳ５０９，Ｙｅｓ）、相手の視線が現在の視対象に以前から存在しているか否かを判定する（ステップＳ５１０）。自発性判定部１５４は、相手の視線が現在の視対象に以前から存在している場合には（ステップＳ５１０，Ｙｅｓ）、自発性でないと判定する（ステップＳ５１１）。
【０１５４】
自発性判定部１５４は、相手の視線が現在の視対象に以前から存在していない場合には（ステップＳ５１０，Ｎｏ）、ステップＳ５０８に移行する。
【０１５５】
図２１は、第５の自発性判定処理の処理手順を示すフローチャートである。図２１に示すように、自発性判定部１５４は、画像データから各人物の人物領域を抽出する（ステップＳ６０１）。自発性判定部１５４は、各人物の顔領域を抽出し（ステップＳ６０２）、各人物の目領域を抽出する（ステップＳ６０３）。
【０１５６】
自発性判定部１５４は、Ｐフレームの期間に顔領域の縦横比と目領域の面積の割合が閾値以上減少していない場合には（ステップＳ６０４，Ｎｏ）、顔向き変化なしと判定し（ステップＳ６０５）、ステップＳ６０７に移行する。
【０１５７】
自発性判定部１５４は、Ｐフレームの期間に顔領域の縦横比と目領域の面積の割合が閾値以上減少した場合には（ステップＳ６０４，Ｙｅｓ）、顔向き変化ありと判定する（ステップＳ６０６）。自発性判定部１５４は、顔向き変化確認データベース１４３ｅに判定結果を保存する（ステップＳ６０７）。
【０１５８】
自発性判定部１５４は、相手の顔向きに変化がない場合には（ステップＳ６０８，Ｎｏ）、自発性であると判定する（ステップＳ６０９）。
【０１５９】
自発性判定部１５４は、相手の顔向きに変化がある場合には（ステップＳ６０８，Ｙｅｓ）、相手の顔向きが視界に入っているか否かを判定する（ステップＳ６１０）。自発性判定部１５４は、相手の顔向きが視界に入っていない場合には（ステップＳ６１０，Ｎｏ）、ステップＳ６０９に移行する。
【０１６０】
一方、自発性判定部１５４は、相手の顔向きが視界に入っている場合には（ステップＳ６１０，Ｙｅｓ）、相手の視線が現在の視対象に以前から存在しているか否かを判定する（ステップＳ６１１）。自発性判定部１５４は、相手の視線が現在の視対象に以前から存在している場合には（ステップＳ６１１，Ｙｅｓ）、自発性でないと判定する（ステップＳ６１２）。
【０１６１】
自発性判定部１５４は、相手の視線が現在の視対象に以前から存在していない場合には（ステップＳ６１１，Ｎｏ）、ステップＳ６０９に移行する。
【０１６２】
図２２は、第６の自発性判定処理の処理手順を示すフローチャートである。図２２に示すように、自発性判定部１５４は、各人物の顔領域から口領域を検出し（ステップＳ７０１）、各人物の口領域の重心間距離を算出する（ステップＳ７０２）。
【０１６３】
自発性判定部１５４は、各人物の口領域の上下方向の変化を算出する（ステップＳ７０３）。自発性判定部１５４は、変化量が閾値以上でない場合には（ステップＳ７０４，Ｎｏ）、口が閉じていると判定し（ステップＳ７０５）、ステップＳ７０７に移行する。
【０１６４】
一方、自発性判定部１５４は、変化量が閾値以上である場合には（ステップＳ７０４，Ｙｅｓ）、口が開いていると判定し（ステップＳ７０６）、口の動き状態確認データベース１４３ｆに判定結果を保存する（ステップＳ７０７）。
【０１６５】
自発性判定部１５４は、相手との距離が閾値以下でない場合には（ステップＳ７０８，Ｎｏ）、自発性であると判定する（ステップＳ７０９）。
【０１６６】
一方、自発性判定部１５４は、相手との距離が閾値以下である場合には（ステップＳ７０８，Ｙｅｓ）、交互に口を開いたか否かを判定する（ステップＳ７１０）。自発性判定部１５４は、交互に口を開いていない場合には（ステップＳ７１０，Ｎｏ）、ステップＳ７０９に移行する。
【０１６７】
自発性判定部１５４は、交互に口を開いた場合には（ステップＳ７１０，Ｙｅｓ）、相手の視線が現在の視対象に以前から存在しているか否かを判定する（ステップＳ７１１）。自発性判定部１５４は、相手の視線が現在の視対象に以前から存在している場合には（ステップＳ７１１，Ｙｅｓ）、自発性でないと判定する（ステップＳ７１２）。
【０１６８】
自発性判定部１５４は、相手の視線が現在の視対象に以前から存在していない場合には（ステップＳ７１１，Ｎｏ）、ステップＳ７０９に移行する。
【０１６９】
図２３は、第７の自発性判定処理の処理手順を示すフローチャートである。図２３に示すように、自発性判定部１５４は、各人物の顔領域を抽出し（ステップＳ８０１）、各人物の視線検出が可能であるか否かを判定する（ステップＳ８０２）。
【０１７０】
自発性判定部１５４は、各人物の視線検出が可能でない場合には（ステップＳ８０２，Ｎｏ）、視線検出不可と判定し（ステップＳ８０３）、ステップＳ８０５に移行する。
【０１７１】
一方、自発性判定部１５４は、各人物の視線検出が可能である場合には（ステップＳ８０２，Ｙｅｓ）、視線検出可能と判定する（ステップＳ８０４）。自発性判定部１５４は、視線の動き状態確認データベース１４３ｇに判定結果を保存する（ステップＳ８０５）。
【０１７２】
自発性判定部１５４は、相手が視線範囲内でない場合には（ステップＳ８０６，Ｎｏ）、自発性であると判定する（ステップＳ８０７）。
【０１７３】
一方、自発性判定部１５４は、相手が視線範囲内である場合には（ステップＳ８０６，Ｙｅｓ）、相手の視線が現在の視対象に以前から存在しているか否かを判定する（ステップＳ８０８）。自発性判定部１５４は、相手の視線が現在の視対象に以前から存在している場合には（ステップＳ８０８，Ｙｅｓ）、自発性でないと判定する（ステップＳ８０９）。
【０１７４】
自発性判定部１５４は、相手の視線が現在の視対象に以前から存在していない場合には（ステップＳ８０８，Ｎｏ）、ステップＳ８０７に移行する。
【０１７５】
次に、本実施例にかかる関心度判定装置１００の効果について説明する。関心度判定装置１００は、人物の周辺に他の人物が存在する場合に、人物の視線位置が他の人物の影響を受けた視線位置であるか否かを判定し、判定結果と人物の視線位置とを対応付けて記憶する。このため、関心度判定装置１００によれば、人物の視線位置が自発的なものであるか否かを区別することが可能となる。すなわち、ある対象物に向けられた関心が、他の者の影響で向けられた関心か否かを区別することができる。
【０１７６】
関心度判定装置１００は、複数フレームの画像情報を基にして、例えば、他の人物が商品の方向に移動した場合に、人物の視線位置が、他の人物に影響を受けた視線位置であると判定する。例えば、相手の人物の移動につられて、視線位置を移動させる場合があるため、他の人物の移動方向を用いて、人物の視線位置が自発的なものであるか否かを区別することが可能となる。
【０１７７】
関心度判定装置１００は、複数フレームの画像情報を基にして、他の人物のジェスチャが大きく、このジェスチャが人物の視界に入っている場合に、人物の視線位置が、他の人物に影響を受けた視線位置であると判定する。相手のジェスチャにつられて、視線位置を移動させる場合があるため、他の人物のジェスチャを用いることで、人物の視線位置が自発的なものであるか否かを区別することが可能となる。
【０１７８】
関心度判定装置１００は、複数フレームの画像情報を基にして、他の人物の指が変化し、かつ、この指が人物の視界に入っている場合に、人物の視線位置が、他の人物の影響を受けた視線位置であると判定する。相手の指さしなどにつられて、視線位置を移動させる場合があるため、他の人物の指変化を用いることで、人物の視線位置が自発的なものであるか否かを区別することが可能となる。
【０１７９】
関心度判定装置１００は、画像情報を基にして、他の手領域の形状が把持状態等の所定の形状であり、かつ、人物の視界に他の人物の手領域が含まれる場合に、人物の視線位置が、他の人物の影響を受けた視線位置であると判定する。例えば、他の人物が商品などをつかんだ場合に、かかる商品に人物の視線位置が移動する場合があるため、他の人物の手の形状が所定の形状であるか否かを用いることで、人物の視線位置が自発的なものであるか否かを区別することが可能となる。
【０１８０】
関心度判定装置１００は、複数フレームの画像情報を基にして、他の人物の顔の向きが変化し、かつ、人物の視界に他の人物の顔領域が含まれる場合に、人物の視線位置が、他の人物の影響を受けた視線位置であると判定する。たとえば、他の人物の顔の向きが変化すると、他の人物が人物に話しかけ、人物の視線位置が他の人物に影響を受ける場合があるため、他の人物の顔の向きの変化を用いることで、人物の視線位置が自発的なものであるか否かを区別することが可能となる。
【０１８１】
関心度判定装置１００は、複数フレームの画像情報に含まれる人物の口領域と、他の人物の口領域とを基にして、人物の口と他の人物の口とが交互に開いた場合に、人物の視線位置が、他の人物の影響を受けた視線位置であると判定する。例えば、人物の他の人物との口が交互に開いた場合には、互いに会話をした可能性があり、この会話により、人物の視線位置が影響を受ける場合がある。このため、口領域を用いることで、人物の視線位置が自発的なものであるか否かを区別することが可能となる。また、画像処理で、会話をしたか否かを推定するため、マイク等の必要性をなくし、コストを削減することもできる。
【０１８２】
関心度判定装置１００は、他の人物の視線位置を更に検出し、他の人物の視線位置を含む所定範囲内に、人物の視線位置が含まれる場合に、人物の視線位置が、他の人物の影響を受けた視線位置であると判定することを特徴とする。他の人物の視線位置につられて、人物の視線位置が移動する場合があるため、他の人物の視線位置を用いることで、人物の視線位置が自発的なものであるか否かを区別することが可能となる。
【０１８３】
次に、上記実施例に示した関心度判定装置１００と同様の機能を実現する関心度判定プログラムを実行するコンピュータの一例について説明する。図２４は、関心度判定プログラムを実行するコンピュータの一例を示す図である。
【０１８４】
図２４に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１〜２０７は、バス２０８に接続される。
【０１８５】
ハードディスク装置２０８は、視線検出プログラム２０７ａおよび判定プログラム２０７ｂを有する。ＣＰＵ２０１は、視線検出プログラム２０７ａおよび判定プログラム２０７ｂを読み出してＲＡＭ２０６に展開する。視線検出プログラム２０７ａは、視線検出プロセス２０６ａとして機能する。判定プログラム２０７ｂは、判定プロセス２０６ｂとして機能する。例えば、視線検出プロセス２０６ａの処理は、視線検出部１５３の処理に対応する。判定プロセス２０６ｂの処理は、自発性判定部１５４の処理に対応する。
【０１８６】
なお、視線検出プログラム２０７ａおよび判定プログラム２０７ｂについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が視線検出プログラム２０７ａおよび判定プログラム２０７ｂを読み出して実行するようにしてもよい。
【０１８７】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１８８】
（付記１）画像情報を基にして、複数の利用者に含まれる第１の利用者の視線位置を検出する視線検出部と、
前記第１の利用者の周辺に前記第１の利用者以外の第２の利用者が存在する場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であるか否かを判定する判定部と、
前記判定部の判定結果と、前記第１の利用者の視線位置とを対応付けて記憶する記憶部と、
を有することを特徴とする関心度判定装置。
【０１８９】
（付記２）前記判定部は、複数フレームの画像情報を基にして、前記第２の利用者の領域が閾値以上増加した場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１に記載の関心度判定装置。
【０１９０】
（付記３）前記判定部は、複数フレームの画像情報を基にして、前記第２の利用者の手領域が閾値以上移動し、かつ、前記第１の利用者の視界に前記第２の利用者の手領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１に記載の関心度判定装置。
【０１９１】
（付記４）前記判定部は、複数フレームの画像情報を基にして、前記第２の利用者の手領域が閾値以上変化し、かつ、前記第１の利用者の視界に前記第２の利用者の手領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１に記載の関心度判定装置。
【０１９２】
（付記５）前記判定部は、画像情報を基にして、前記第２の利用者の手領域の形状が所定の形状であり、かつ、前記第１の利用者の視界に前記第２の利用者の手領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１に記載の関心度判定装置。
【０１９３】
（付記６）前記判定部は、複数フレームの画像情報を基にして、前記第２の利用者の顔領域の縦横比が閾値以上減少し、かつ、前記第２の利用者の目領域が閾値以上減少し、かつ、前記第１の利用者の視界に前記第２の利用者の顔領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１に記載の関心度判定装置。
【０１９４】
（付記７）前記判定部は、複数フレームの画像情報に含まれる前記第１の利用者の口領域と、前記第２の利用者の口領域とを基にして、前記第１の利用者の口と前記第２の利用者の口とが交互に開いた場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１に記載の関心度判定装置。
【０１９５】
（付記８）前記視線検出部は、前記第２の利用者の視線位置を更に検出し、前記判定部は、前記第２の利用者の視線位置を含む所定範囲内に、前記第１の利用者の視線位置が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１に記載の関心度判定装置。
【０１９６】
（付記９）コンピュータが実行する関心度判定方法であって、
画像情報を基にして、複数の利用者に含まれる第１の利用者の視線位置を検出し、
前記第１の利用者の周辺に前記第１の利用者以外の第２の利用者が存在する場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であるか否かを判定し、
判定した判定結果と、前記第１の利用者の視線位置とを対応付けて記憶装置に記憶する
処理を実行することを特徴とする関心度判定方法。
【０１９７】
（付記１０）前記判定する処理は、複数フレームの画像情報を基にして、前記第２の利用者の領域が閾値以上増加した場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記９に記載の関心度判定方法。
【０１９８】
（付記１１）前記判定する処理は、複数フレームの画像情報を基にして、前記第２の利用者の手領域が閾値以上移動し、かつ、前記第１の利用者の視界に前記第２の利用者の手領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記９に記載の関心度判定方法。
【０１９９】
（付記１２）前記判定する処理は、複数フレームの画像情報を基にして、前記第２の利用者の手領域が閾値以上変化し、かつ、前記第１の利用者の視界に前記第２の利用者の手領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記９に記載の関心度判定方法。
【０２００】
（付記１３）前記判定する処理は、画像情報を基にして、前記第２の利用者の手領域の形状が所定の形状であり、かつ、前記第１の利用者の視界に前記第２の利用者の手領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記９に記載の関心度判定方法。
【０２０１】
（付記１４）前記判定する処理は、複数フレームの画像情報を基にして、前記第２の利用者の顔領域の縦横比が閾値以上減少し、かつ、前記第２の利用者の目領域が閾値以上減少し、かつ、前記第１の利用者の視界に前記第２の利用者の顔領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記９に記載の関心度判定方法。
【０２０２】
（付記１５）前記判定する処理は、複数フレームの画像情報に含まれる前記第１の利用者の口領域と、前記第２の利用者の口領域とを基にして、前記第１の利用者の口と前記第２の利用者の口とが交互に開いた場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記９に記載の関心度判定方法。
【０２０３】
（付記１６）前記視線を検出する処理は、前記第２の利用者の視線位置を更に検出し、前記判定する処理は、前記第２の利用者の視線位置を含む所定範囲内に、前記第１の利用者の視線位置が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記９に記載の関心度判定方法。
【０２０４】
（付記１７）コンピュータに、
画像情報を基にして、複数の利用者に含まれる第１の利用者の視線位置を検出し、
前記第１の利用者の周辺に前記第１の利用者以外の第２の利用者が存在する場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であるか否かを判定し、
判定した判定結果と、前記第１の利用者の視線位置とを対応付けて記憶装置に記憶する
処理を実行させることを特徴とする関心度判定プログラム。
【０２０５】
（付記１８）前記判定する処理は、複数フレームの画像情報を基にして、前記第２の利用者の領域が閾値以上増加した場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１７に記載の関心度判定プログラム。
【０２０６】
（付記１９）前記判定する処理は、複数フレームの画像情報を基にして、前記第２の利用者の手領域が閾値以上移動し、かつ、前記第１の利用者の視界に前記第２の利用者の手領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１７に記載の関心度判定プログラム。
【０２０７】
（付記２０）前記判定する処理は、複数フレームの画像情報を基にして、前記第２の利用者の手領域が閾値以上変化し、かつ、前記第１の利用者の視界に前記第２の利用者の手領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１７に記載の関心度判定プログラム。
【０２０８】
（付記２１）前記判定する処理は、画像情報を基にして、前記第２の利用者の手領域の形状が所定の形状であり、かつ、前記第１の利用者の視界に前記第２の利用者の手領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１７に記載の関心度判定プログラム。
【０２０９】
（付記２２）前記判定する処理は、複数フレームの画像情報を基にして、前記第２の利用者の顔領域の縦横比が閾値以上減少し、かつ、前記第２の利用者の目領域が閾値以上減少し、かつ、前記第１の利用者の視界に前記第２の利用者の顔領域が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１７に記載の関心度判定プログラム。
【０２１０】
（付記２３）前記判定する処理は、複数フレームの画像情報に含まれる前記第１の利用者の口領域と、前記第２の利用者の口領域とを基にして、前記第１の利用者の口と前記第２の利用者の口とが交互に開いた場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１７に記載の関心度判定プログラム。
【０２１１】
（付記２４）前記視線を検出する処理は、前記第２の利用者の視線位置を更に検出し、前記判定する処理は、前記第２の利用者の視線位置を含む所定範囲内に、前記第１の利用者の視線位置が含まれる場合に、前記第１の利用者の視線位置が、前記第２の利用者の影響を受けた視線位置であると判定することを特徴とする付記１７に記載の関心度判定プログラム。
【符号の説明】
【０２１２】
１００  関心度判定装置
１５０  制御部
１５１  取得部
１５２  人物検出部
１５３  視線検出部
１５４  自発性判定部
【図１】
0006561639.tif 000002
【図２】
0006561639.tif 000003
【図３】
0006561639.tif 000004
【図４】
0006561639.tif 000005
【図５】
0006561639.tif 000006
【図６】
0006561639.tif 000007
【図７】
0006561639.tif 000008
【図８】
0006561639.tif 000009
【図９】
0006561639.tif 000010
【図１０】
0006561639.tif 000011
【図１１】
0006561639.tif 000012
【図１２】
0006561639.tif 000013
【図１３】
0006561639.tif 000014
【図１４】
0006561639.tif 000015
【図１５】
0006561639.tif 000016
【図１６】
0006561639.tif 000017
【図１７】
0006561639.tif 000018
【図１８】
0006561639.tif 000019
【図１９】
0006561639.tif 000020
【図２０】
0006561639.tif 000021
【図２１】
0006561639.tif 000022
【図２２】
0006561639.tif 000023
【図２３】
0006561639.tif 000024
【図２４】
0006561639.tif 000025