(57)【要約】【課題】  事前に情報登録などが行えない不特定多数の人物に対して、その人物の顔・視線方向を高精度に計測することで、人物が注目している位置を計測する注目位置推定装置を提供する。【解決手段】  注目位置推定装置において、得られた顔画像に対して画像認識処理を行うことで、その顔の年齢や性別などの属性情報を推定し、推定された属性情報に従って顔方向計測のためのモデルを選択・修正する。このモデルを用いて顔方向を計測することで人物ごとの個人差の影響を抑制して顔・視線方向を計測し、注目位置を計測する。【選択図】図３
2012022538.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像から画像処理にて撮像画像中の人物が注目している位置を推定する注目位置推定方法において、
前記撮像画像中の人物の顔位置を計測するステップと、
前記撮像画像中の人物の顔画像を抽出するステップと、
前記撮像画像中の人物の属性を推定するステップと、
記憶装置に、人間の属性と関連付けて保持されている顔方向推定モデルの中から、前記抽出した属性に対応した顔方向推定モデルを選択するステップと、
前記顔画像と前記選択した顔方向推定モデルとに基づいて、前記撮像画像中の人物の注目方向を推定するステップと、
前記注目方向と前記撮像画像中の人物の顔位置とに基づいて、撮像画像中の人物の注目位置を推定することを特徴とする注目位置推定方法。
【請求項２】
請求項１において、
複数の撮像装置から撮像画像が入力される場合、各撮像画像から同じ人物の顔画像があるかを判定し、
同じ人物の顔画像があった場合には、個々の撮像画像に基づいて個々の注目位置を推定し、
推定した個々の注目位置に重み付けをして、前記人物が注目する位置を推定することを特徴とする注目位置推定方法。
【請求項３】
請求項１において、
出力装置へ推定した注目位置を出力することを特徴とする注目位置推定方法。
【請求項４】
請求項１の注目位置推定方法によって推定された注目位置が画像表示面内にあるか否か検出し、
前記画像表示面内に注目位置がある場合、前記画像表示画面内の注目位置に応じて、コンテンツの内容や表示態様を変えることを特徴とする画像表示方法。
【請求項５】
請求項１の注目位置推定方法によって推定された注目位置が画像表示面内にあるか否か検出し、
前記画像表示面内に注目位置がある場合、前記画像表示画面内の注目位置に表示させるコンテンツ毎に、前記推定された人物の注目位置と属性情報を対応づけて統計をとった視聴状況データを記録することを特徴とする画像表示方法。
【請求項６】
請求項５において、
前記人物の属性情報と前記視聴状況データとを照合することで、前記属性に対応付けられたコンテンツを表示することを特徴とする画像表示方法。
【請求項７】
画像表示面上に複数のコンテンツを表示し、画像表示面前の画像を撮像し、撮像した画像から注目される表示コンテンツを特定するコンテンツ特定方法において、
画像を撮像している位置との距離に応じて異なった表示間隔で前記表示コンテンツが表示されていることを特徴とするコンテンツ特定方法。
【請求項８】
撮像画像から画像処理にて撮像画像中の人物が注目している位置を推定する注目位置推定装置において、
距離計測部と、顔検出部と、属性推定部と、モデル選択部と、モデル記憶部と、注目位置演算部とを備え、
前記距離測定部は、前記人物の位置を求め、
前記顔検出部は、前記撮像画像から被写体の顔画像を検出し、
前記属性推定部は、前記顔検出部で検出した顔画像から前記被写体の属性を推定し、
前記モデル選択部は、モデル記憶部から、前記属性推定部で推定された属性に関連付けられたモデルを選択し、
前記注目位置演算部は、前記顔画像と前記選択した顔方向推定モデルとに基づいて前記被写体となった人物の注目方向を推定し、前記注目方向と前記被写体となった人物の位置とに基づいて、前記撮像画像中の人物の注目位置を推定することを特徴とする注目位置推定装置。
【請求項９】
請求項８において、
前記注目位置演算部は、
複数の撮像装置から撮像画像が入力される場合、各撮像画像から同じ人物の顔画像があるかを判定し、同じ人物の顔画像があった場合には、個々の撮像画像に基づいて個々の注目位置を推定し、推定した個々の注目位置に重み付けをして、前記人物が注目する位置を推定することを特徴とする注目位置推定方法。
【請求項１０】
請求項８において、
出力装置へ推定した注目位置を出力する注目位置出力部を備えることを特徴とする注目位置推定装置。
【請求項１１】
請求項１の注目位置推定装置と、人物毎画像提示装置を備え、
前記注目位置推定装置の推定結果が前記画像表示面内に注目位置がある場合、人物毎画像提示装置は前記画像表示画面内の注目位置に応じて、コンテンツの内容や表示態様を変えることを特徴とする画像表示装置。
【請求項１２】
請求項８の注目位置推定装置と、人物毎画像提示装置を備え、
前記注目位置推定装置の推定結果が前記画像表示面内に注目位置がある場合、人物毎画像提示装置は、前記画像表示画面内の注目位置に表示させるコンテンツ毎に、前記推定された人物の注目位置と属性情報を対応づけて統計をとった視聴状況データを記録することを特徴とする画像表示装置。
【請求項１３】
請求項１の注目位置推定装置と、人物毎画像提示装置を備え、
前記注目位置推定装置の推定結果が前記画像表示面内に注目位置がある場合、人物毎画像提示装置は前記人物の属性情報と前記視聴状況データとを照合することで、前記属性に対応付けられたコンテンツを表示することを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に映った人物が実空間上のどこの位置に注目していたかを推定する注目位置推定技術に関する。
【背景技術】
【０００２】
画像中に映った人物の顔および視線方向を推定することで人物が注目したい位置を推定し、人物の心理状態を推定できる。人物の顔および視線方向を推定する一手法として、顔方向と目方向をそれぞれ別々に推定して、それらを合成することで視線方向を推定する手法があった［特開２００９-１０４５２４号公報（特許文献１）］。
【０００３】
特許文献１では、画像中にある顔の目や頭部領域などの顔器官の位置を、事前に用意した頭部シルエットと眼球のモデルに当てはめることで顔と目の方向をそれぞれ推定する。モデルを用意することで各顔器官位置の変化と顔方向の関係を定義することができ、事前校正不要で顔方向を推定することができる。さらには、目や鼻などの顔内のパーツのみを用いる手法に比べて、頭部シルエット全体を用いることにより個人差を吸収し、不特定多数の人物に対しても高精度に推定可能であるという特長があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９-１０４５２４号公報
【非特許文献】
【０００５】
【非特許文献１】Xin他、 “Automatic Age Estimation Based on Facial Aging Patterns”, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 29, NO. 12, DECEMBER 2007
【非特許文献２】細井他、“ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム”, 第8回画像センシングシンポジウム講演論文集,pp243-246,2002
【非特許文献３】細井他、“顔画像による自動人種推定技術”, OMRON TECHNICS Vol.44 No.1, 2004
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１は、ある平均的な頭部シルエットをモデルとして用いて顔方向と視線方向を推定するため、平均的なモデルから外れるほど顔方向と視線方向の推定結果に誤差が生じ、注目位置の推定精度が低くなるという問題があった。
【０００７】
つまり、本発明の目的は、事前に情報登録などが行えない不特定多数の人間の注目位置を推定可能な注目位置推定方法における推定精度を向上させることにある。
【課題を解決するための手段】
【０００８】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【０００９】
すなわち、代表的なものの概要は、性別、年齢といった顔方向推定モデルに大きな影響を与える人間に関する属性情報と関連付けられた顔方向推定モデルを複数保持しておき、入力された顔画像から属性情報を推定し、この属性情報に応じて顔方向と視線方向の推定に用いる顔方向推定モデルを変更（修正）するようにする。
【００１０】
これにより、入力された顔画像に適した顔方向と視線方向の推定に用いる顔方向推定モデルが使用できるので、高精度に顔方向と視線方向の推定を行うことができ、注目位置の推定精度も高めることができる。これは、汎用的な単一のモデルで顔方向と視線方向を推定する場合よりも、はるかに精度がアップする。
【発明の効果】
【００１１】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００１２】
すなわち、代表的なものによって得られる効果は、事前に情報登録などが行えない不特定多数の人間の注目度を推定可能な注目度推定方法における推定精度を向上させることができるである。
【図面の簡単な説明】
【００１３】
【図１】実施例１に係る注目位置推定装置の構成を示す構成図である。
【図２】実施例１に係る注目位置推定装置の推定する属性の内容を示すテーブルである。
【図３】実施例１に係る注目位置推定装置が用いる顔方向推定モデルの一例の図である。
【図４】実施例１に係る注目位置推定装置の顔方向推定モデル選択の流れを示すフローチャートである。
【図５】実施例１に係る注目位置推定装置の注目位置演算の構成を示す構成図である。
【図６】実施例１に係る注目位置推定装置の注目位置算出の流れを示すフローチャートである。
【図７】実施例１に係る注目位置推定装置で得られる注目位置の内容を示す一例の図である。
【図８】実施例２に係る注目位置推定装置の複数カメラによる人物撮影の一例を示す図である。
【図９】実施例２に係る注目位置推定装置の複数カメラで撮影された同一人物の注目位置推定の流れを示すフローチャートである。
【図１０】実施例３に係る注目位置推定装置の構成を示す構成図である。
【図１１】実施例４に係る注目位置推定装置を用いた画像表示装置の例を示す図である。
【図１２】実施例４に係る注目位置推定装置を用いた画像表示装置の構成を示す構成図である。
【図１３】実施例４に係る注目位置推定装置を用いた画像表示装置にて記録する視聴状況情報テーブルの一例の図である。
【図１４】実施例５に係る注目位置推定装置を用いた棚の一例の図である。
【図１５】実施例６に係る注目位置推定装置を用いた自動販売機の一例の図である。
【図１６】実施例６に係る注目位置推定装置を用いた自動販売機における商品表示方法を示す一例の図である。
【発明を実施するための形態】
【００１４】
以下、実施例を図面に基づいて詳細に説明する。なお、実施例を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【実施例１】
【００１５】
図１により、実施例１に係る注目位置推定装置の構成について説明する。図１は実施例１に係る注目位置推定装置の構成を示す構成図である。
【００１６】
図１において、注目位置推定装置は、注目位置推定部１００、撮像部１０１、距離計測部１１１を備えている。注目位置推定部１００は、顔検出部１０２、属性推定部１０３、モデル選択部１０４、注目位置演算部１０５、注目位置出力部１０６、モデル記憶部１０７を備えている。
【００１７】
撮像部１０１はカメラに代表される撮像装置であり、バス・ＬＡＮなどの通信回線を通じて撮影した画像データを顔検出部１０２に出力する機能を有する。本実施例では、撮像部の撮像装置は１台としたが、複数台でもよい。
【００１８】
距離計測部１１１は、撮像部１０１で撮影される人物の距離情報を計測する。レーザセンサやTOF（Time of Flight）法を用いた3次元カメラであり、撮像部１０１で撮影される人物の距離情報を計測する。バス・ＬＡＮなどの通信回線を通じて撮影した画像データを顔検出部１０２に出力する機能を有する。本実施例では、距離計測部は１つだけでもよいが、複数台あってもよい。なお、別途、距離計測部１１１を設けない場合は、検出した顔のサイズや顔器官間の位置関係から推定する方法を採用してもよい。
【００１９】
顔検出部１０２は、撮像部１０１から入力された画像中の顔を検出する。
【００２０】
属性推定部１０３では、顔検出部１０２において検出された顔の画像を取得し、前記顔の画像に対する属性情報の推定を行う。属性情報とは、検出された顔の人物を分類する情報である。特に、年齢、性別、人種、体格、メガネの有無、帽子の有無は、顔方向推定モデルに有意な差が現れやすいため、顔方向推定モデルに対応付ける属性情報として好ましい情報である。この推定された属性情報は、属性情報テーブル２００としてモデル選択部１０４に出力される。顔の画像は、注目位置演算部１０５に出力される。
【００２１】
モデル記憶部１０７は、属性情報と顔方向推定モデルが関連付けられて記憶されている。
【００２２】
モデル選択部１０４では、属性推定部１０３から入力される属性情報テーブルの各項目をキーにして、その属性情報に関連付けられた顔方向推定モデルをモデル記憶部１０７から選択する。これにより、顔画像から顔・視線方向を推定するのに適する顔方向推定モデルが選択される。
【００２３】
注目位置演算部１０５では、入力された顔の画像と、モデル選択部１０４で選択された顔方向推定モデルと、を用いて入力画像中の人物の顔方向と視線方向を推定することで注目方向を推定し、距離計測部１１１で得られた人物の位置と、推定した注目方向から３次元空間上における注目位置を推定する。
【００２４】
注目位置出力部１０６では、注目位置演算部１０５で推定した一人または複数人物の注目位置の情報を外部機器に出力する。外部機器として、たとえばディスプレイなどの表示デバイスや、メモリやＨＤＤなどの記録媒体に出力する。
【００２５】
以上の構成により、人物ごとの属性に応じた最適な顔方向推定モデルを用いて顔・視線方向を推定することで、事前に登録していない不特定多数の人物に対しても、精度良く、その人物の注目位置を推定できる。
【００２６】
図２に、属性推定部１０３で推定する属性情報テーブル２００の例を示す。属性推定部１０３では、顔検出部１０２で得られた顔に対して画像認識処理を行い、年齢、性別、人種、メガネの有無、帽子の有無、体格を推定する。推定する属性は、これらの一つだけでも複数でも良い。年齢の推定は、例えば非特許文献１、２などを用いることで推定することが可能である。性別の推定は、例えば非特許文献２などを用いることで推定できる。人種の推定は、非特許文献３などを用いることで推定できる。また、体格は距離計測部１１１で計測した3次元画像情報を基に人物領域を抽出し、その人物領域の縦、横、奥行きの３次元形状から、その人物の身長や体重を推定することで得られる。
【００２７】
図３にモデル選択部１０４において選択する顔方向推定モデルの例を示す。顔方向推定モデルは、注目位置演算部１０５における顔・視線方向の推定に用いられる。図３の顔方向推定モデルは、頭部のシルエットとして楕円体を用いた場合の例であり、この楕円体の顔方向推定モデルは、ｘ軸方向に対する径の半分の長さ、ｙ軸方向に対する径の半分の長さ、z軸方向に対する径の半分の長さをそれぞれ、a,b,cで表し、式１のように定義されるモデルとなる。
【００２８】
【数１】
2012022538.tif 000003
【００２９】
ここで、基本モデル３００を、例えばa：ｂ：ｃ= 1：1.45：1.25の値を持つモデルと定義する。この基本モデル３００は、属性推定部１０３で属性推定を行なった結果、判別困難だった場合などに用いる一般形状のモデルである。モデル選択部１０４では、属性推定部１０３で推定された年齢・性別・体格などの情報からパラメータa、b、cの値を変更し、属性推定部１０３で得られた属性に適した顔方向推定モデルを、モデル記憶部１０７から選択する。例えば、年齢が１０歳以下の子供の場合は、子供用の顔方向推定モデルである子供モデル３０１のようなa：ｂ：ｃがほぼ１：１：１に近い顔方向推定モデルになり、成人男性であれば男性用の顔方向推定モデルである男性モデル３０２のように基本モデル３００より面長な顔方向推定モデル、女性であれば女性用の顔方向推定モデルである女性モデル３０３のように基本モデル３００よりも少し丸みをおびた顔方向推定モデルとなる。
【００３０】
図４にモデル選択部１０４における顔方向推定モデルの選択、およびパラメータ調整のフローを示す。ステップ４０１において、まず年齢と性別の属性を基に、顔方向推定モデルを選択する。ここで選択するのは、子供モデル３０１や男性モデル３０２などのである。なお、属性推定部１０３において属性推定を行った結果、推定結果の確信度が低く、あらかじめ定めた閾値以下の場合には基本モデル３００を用いることにする。
【００３１】
次に、ステップ４０２において、属性情報として体格が推定されている場合には、体格に応じた顔方向推定モデルの形状パラメータの調整を行う。これは、楕円体モデルにおける形状パラメータa、b、cを体格の数値に応じて微調整することで実現できる。例えば、身長が高い場合には相対的に bの値を増加することで面長なモデルにし、体重が多い場合にはaの値を増加し、丸いモデルになるように調整する。具体的には、体格を規定する慎重と体重を変数とする関数を備えておけばよい。
【００３２】
以上の流れによって、属性に応じた顔方向推定モデルを選択することができる。また、属性情報に体格が含まれる場合、個人の体格に応じて修正した顔方向推定モデルを用意することができる。
【００３３】
図５に、注目位置演算部１０５の構成を示す。注目位置演算部１０５には、顔検出部１０２で撮影された顔画像、距離計測部１１１で得られた距離情報、属性推定部１０３で推定された属性情報、モデル選択部１０４で選択された顔方向推定モデルが入力される。
【００３４】
入力された顔画像と、距離情報と、属性情報と、顔方向推定モデルとを用いて、顔方向推定部５１０と視線方向推定部５２０は、特許文献１に記載の方法で顔方向および視線方向を推定する。そして、注目位置算出部５４０において、顔方向推定部と視線方向推定部とで推定した顔方向および視線方向と、顔位置推定部５３０で推定した人物の顔の3次元位置とからその顔の人物の注目位置を推定する。あくまでもここで、重要なのは顔方向推定モデルを属性単位で備え、顔方向推定前に顔画像から属性を抽出し、好適な顔方向推定モデルを選択している点である。
【００３５】
はじめに、顔水平方向推定部２０１で顔画像中から顔器官の検出を行い、顔器官の位置を顔方向推定モデルに当てはめることで水平方向における顔方向推定を行う。本実施例では、入力として距離計測部１１１からの距離情報があるので、顔器官の検出に距離情報を用いる。これにより、人が複数いる場合でも頭部輪郭を正確に検出できる。
【００３６】
顔垂直変位推定部２０２では、顔水平方向推定部２０１で得られる頭部輪郭の情報を利用して、顔の上下の変化に対する基準となる顔基準位置を求め、さらに顔基準位置に対する上下変位量を推定する。
【００３７】
顔垂直方向推定部２０３では、顔垂直変位推定部２０２で推定した顔基準位置に対する上下変位量から、垂直方向における顔方向を推定する。
【００３８】
最後に、顔方向決定部２０４では、得られた垂直方向の変化と、水平方向の変化とを基に、推定角度に対して補正を行い、最終的な顔方向を決定する。
【００３９】
これらの詳細は動作は、特許文献１に詳述されているので、さらに詳細な説明は省略する。
【００４０】
視線方向推定部１０４では、まず、視線水平方向推定部２０５で、顔方向決定部２０４で決定した最終的な顔方向の情報を基に特許文献１記載の方法を用いて水平方向の視線方向を推定する。
【００４１】
次に、視線垂直変位推定部２０６では、視線水平方向推定部２０５で得られた眼球の情報を基に視線垂直方向推定に必要な基準位置を求める。
【００４２】
視線垂直方向推定部２０７で、前記情報を基に垂直方向の視線方向を推定する。上記視線方向推定の処理は左右両目に関して行われる。
【００４３】
そして、視線方向決定部２０８で、左右両目の視線方向を統合し、最終的な視線方向を決定する。これらの動作の詳細は、特許文献１に詳述されているので、さらに詳細な説明は省略する。
【００４４】
次に、顔位置推定部５３０において顔が存在する3次元空間上の位置を推定する。
【００４５】
本実施例では距離計測部１１１で得られる顔の距離値を顔位置としているが、距離計測部１１１が無い場合には、検出した顔のサイズや顔器官間の位置関係などから推定する。
【００４６】
以上のようにして得られた顔方向と視線方向と3次元空間上の顔位置を基に、注目位置算出部５４０にて、人物が注目している位置を算出する。
【００４７】
このようなフローにすることで、モデル選択部１０４で選択した顔方向推定モデルを用いて正しく顔方向が推定できる。
【００４８】
顔方向情報を元にして眼球の形状が推定でき、推定された眼球の様子から視線方向が推定できる。
【００４９】
これらの動作の詳細は、特許文献１に詳述されているので、さらに詳細な説明は省略する。
【００５０】
また、人間の行動上、顔の動きと視線の動きには密接な関係があるため、顔方向を推定することで、視線の動きの範囲を限定することができ、推定精度を高められる。
【００５１】
図６に、注目位置算出部５４０における注目位置算出のフローを示す。注目位置算出部５４０には、まずステップ６０１にて、顔方向計測部５１０、視線方向推定部５２０で推定した顔方向と視線方向の情報と、属性情報、人物の顔位置の情報が入力される。
【００５２】
ステップ６０２では、顔属性情報の中からメガネなどによる目の遮蔽があるかの判定を行う。遮蔽がある場合には、視線が正しく推定されていないと考えられるため、ステップ６０４へと遷移して、人物の注目している方向として顔方向の情報を用いることにする。それ以外は、ステップ６０３に移行する。
【００５３】
ステップ６０３では、視線方向推定部５２０において推定した視線方向の確からしさの値をあらかじめ用意した閾値と比較し、閾値未満であればステップ６０４に移行して注目方向として顔方向を用い、それ以外は、ステップ６０５に移行し、注目方向として視線方向を用いることにする。
【００５４】
ステップ６０６では、上記フローで決定した注目方向と顔位置を基にして、人物の注目位置を算出する。
【００５５】
上記の流れで処理を行うことで、計測対象である顔の状態に応じて、顔方向と視線方向のどちらかの情報を用いて注目位置を推定することができる。これにより、人物の状態に応じて、推定した注目位置に大きく誤差が生じたり、推定できない状態が断続的に発生したりすることを抑制することができる。
【００５６】
図７は、注目位置演算部１０５から出力される注目位置の例を示している。注目位置演算部１０５から注目位置情報として、注目点の位置と誤差範囲の情報が出力される。注目点は、図７において注目方向を示す矢印の先端で注目位置を示す円の中心である。誤差範囲は、円の半径となる。誤差範囲は、ステップ６０４とステップ６０５において、注目方向として顔方向を用いたか視線方向を用いたかによって決まる。図７(a)は、注目方向＝顔方向とした場合の注目位置７０１を示している。この場合は顔が向いている位置に対して実際に見ている位置はその周辺であると考えられるため誤差範囲が広くなる。一方、図７（ｂ）は、注目方向を視線方向にした場合の注目位置７０２を示しており、注目位置７０１に比べて誤差範囲が狭くなる。
【実施例２】
【００５７】
図８により、実施例２に係る注目位置推定装置の説明をする。図８は、実施例２に係る撮像部１０１としてカメラを複数台用いるときの人物撮影の様子である。カメラを複数台配置することで、１台しか用いない場合に比べて、より広い範囲の人物に対して注目位置の推定が可能となる。しかし、図８のように、カメラ１とカメラ２のどちらにも同じ人物が映る場合が生じる。
【００５８】
この際の注目位置算出部５４０における注目位置算出のフローは図９のようになる。ステップ９０１〜９０６までは、図６のステップ６０１〜６０６と同様である。ステップ９０７において、入力画像が複数ある場合に画像間で同じ人物の顔が無いかどうかを確認する。これは、カメラAとカメラBそれぞれで撮られた画像の顔の位置とサイズから判定できる。また、それぞれ顔の特徴量などを抽出して同じ顔かどうか判定してもよい。ステップ９０７において同じ顔が無いと判定されれば、それは別画像中には現れない顔と判断し、ステップ９０９に遷移する。ステップ９０９では、算出した注目位置をその新たな顔の注目位置として出力する。一方、既に注目位置を推定した同じ顔があれば、ステップ９０８に遷移して、別画像で得られた同じ顔の注目位置との重み和を、その顔の新たな注目位置とする。具体的には、カメラ１で得られた注目位置をＰ１、カメラ２で得られた注目位置をＰ２とすると、注目方向Ｐは以下の式２で得られる。
【００５９】
【数２】
2012022538.tif 000004
【００６０】
ここで、ω1、ω2はそれぞれカメラ１、２の顔から得られた注目位置に対する重みであり、ω1＋ω2＝１である。重みωは注目位置がその注目位置を推定したカメラに近いほど大きくなる。つまり、図８のように人物がカメラ２の周辺位置を注目しているときは、重みω2を相対的に大きくし、カメラ２の画像から算出した注目位置の情報を主にを用いる。これは、注目方向の推定精度が０度周辺だと誤差が小さく、カメラに対して遠い方向を向くほど誤差が大きくなることに由来する。
【００６１】
上記の流れで複数台のカメラを用いて計測することで、広い範囲の注目位置判定を精度良く行うことができる。
【実施例３】
【００６２】
図１０により、実施例３に係る注目位置推定装置の構成について説明する。図１０は実施例３に係る注目位置推定装置の構成を示す構成図である。
【００６３】
図１０において、注目位置推定装置１０００は、画像入力部１００１、画像メモリ１００２、ＣＰＵ１００３、ＲＡＭ１００４、ＲＯＭ１００５、計測結果記録部１００６出力装置１００７から構成されている。
【００６４】
本実施例の注目位置推定装置１０００では、撮像部１０１であるカメラで得られた画像中の人物の注目位置を推定する。本実施例の注目位置推定装置１０００におけるＣＰＵ１００３が、実施例１の図１に示す注目位置推定部１００に相当し、注目位置推定部１００の各演算処理を、プログラムとして実行しＣＰＵ１００３により演算処理することにより実現している。
【００６５】
本実施例では、注目位置推定部１００における推定方法に従ってＣＰＵ１００３において演算処理が行われ、視線方向が推定される。
【００６６】
人物、人物の属性情報、シーケンス毎の注目位置推定結果は、推定結果記録部１００６に記録されることとなる。推定結果は、インタフェース１００７を通じて適切な形にデータ変換され、出力装置１００８に出力される。ここで、出力装置としてはディスプレイや、プリンタ、ＰＣなどが考えられる。
【００６７】
本実施例では、コンピュータなどの情報処理装置により、注目位置推定装置としての演算処理を行うことが可能である。
【００６８】
また、実施例１だけでなく、実施例２についても、本実施例のハードウェア構成を採用しうる。また、後述する実施例４乃至６の注目位置推定装置および人物毎映像提示装置も、本実施例のハードウェア構成を採用しうることはいうまでもない。
【実施例４】
【００６９】
図１１に、実施例４に係る人物の属性・顔方向・視線方向に応じた画像表示装置の例を示す。画像表示装置は、撮像部１０１、注目位置推定装置１０００、画像表示部１１００、人物毎画像提示装置１１１０から構成される。画像表示部１１００を見ている人物がいるか、その人物がどこを見ているかを注目位置推定装置１０００によって推定する。人物毎画像提示装置１１１０では、注目位置推定装置１０００で推定された人物が注目している位置に応じた画像を画像表示部１１００に出力する。
【００７０】
例えば、人物が広告Ａに対して一定時間以上見ている場合には、広告Ａのみ表示内容を切り替えてより詳細な内容を表示する、または画像表示部１１００の画面全体に広告Ａを表示する。つまり、人物の注目度に応じて画像表示内容を切り替えることができる。特に、表示コンテンツの表示態様の変化で見やすさを変えること（表示サイズや強調表示等）や表示コンテンツの内容（詳細度等）を変えることは有効である。これにより、人物の興味度合いに基づいて、さらに人物の関心を高める画像表示を可能にする。
【００７１】
図１２に、人物の属性・視線に応じた画像表示装置の構成を示す。人物毎画像提示装置１１１０は表示制御部１１１１と、記録部１１１２から構成される。表示制御部１１１１には注目位置出力部１０６から、人物の注目位置や属性情報が入力され、これらの情報を基に表示するコンテンツを決定する。例えば、人物が子供の場合にはおもちゃの画像を流すなどする。記録部１１１２は、注目位置推定装置１０００から得られる注目位置と属性の情報と、表示制御部１１１１で表示した内容を関連付けて記録する。これにより、表示したコンテンツに対して、どのような人物がどれくらい注目したかという統計データを収集することが可能となる。表示制御部１１１１は、この統計データを基に、人物の属性に応じて最も効果が高いと思われる内容の画像を選択して表示する。
【００７２】
図１３に、記録部１１０２に記録される人物ごとの視聴状況情報テーブル１３００の例を示す。人物番号は画像表示装置を見た人を分類するための番号である。その次に、性別や年齢などの人物の属性情報を格納される。提示画像は、表示制御部１１１１で選択して人物番号の人物に表示した画像コンテンツである。最後に注目時間は、それぞれの画像に対して、どれくらい注目して見ていたかであり、注目位置出力部１０６のデータを集計することでこれを得ることができる。
【００７３】
以上の構成によって、人物の属性に応じて最適と思われる内容を選択して、画像を表示できる。さらには、注目位置推定の結果から人物が実際にその画像にどれくらい興味を持っていたかの検証を行える。この検証結果をフィードバックして次の画像表示内容の選択に用いることで、より人物毎の好みに合った画像を提示することができる。
【実施例５】
【００７４】
図１４に実施例５に係る注目位置推定装置を内蔵した棚１４００に用いた例を示す。画像表示部１１００は例えば、棚の前面に設置されたLEDや電子ペーパなどである。この棚は、小売店（コンビニエンスストアやスーパー）における棚やタバコの什器などに利用できるものである。注目位置推定装置１０００により、撮像部１０１に撮影された顧客が注目している棚１４００上の商品を推定できる。次に、画像提示装置１１１０にて顧客が注目している位置にある画像表示部に画像を表示することで、店員などの別の人物が顧客の見ている商品を確認することができ、顧客と店員との情報伝達をスムーズにすることが可能となる。また、注目している位置の商品に対する広告情報を提示することも可能となる。
【実施例６】
【００７５】
図１５に実施例６に係る注目位置推定装置を内蔵した自動販売機１５００の一例を示す。自動販売機１５００は、商品ディスプレイの位置に画像表示部１０００を用いており、撮像部１０１と注目位置推定装置１０００、人物毎画像提示装置１１００、販売機管理部１５１０を有することを特徴とする。画像表示部１０００には、自動販売機１５００が販売する商品情報や広告などを表示する。撮像部１０１で顧客を撮影し、注目位置推定装置１０００で顧客の注目位置を推定する。人物ごと画像提示装置１１１０では、顧客が注目している商品を把握し、注目している商品を動かしたり、商品の情報を表示したりする。また顧客の属性に応じて表示する内容を切り替える。販売機管理部１５１０は、販売機内で売られている製品の情報管理をする部分であり、商品の在庫数や今まで売れた商品の個数、売り上げなどを管理している。販売機管理部１５１０の売り上げ情報と注目位置推定装置で得られた注目位置の情報を人物毎画像提示装置で管理することで、どの属性の人物にどの商品が売れているか詳細に管理することが可能となる。さらには、表示内容に応じて売り上げが変化するかを確認することが可能となる。
【００７６】
以上のような構成にすることで、人物が注目している商品に対して販促効果を促す画像提示が可能になるとともに、それに対する実際の売上げ効果を推定できる。
【００７７】
図１５に、自動販売機１５００内に設置された画像表示部１１００における商品表示方法の一例を示す。注目位置推定装置１０００で推定される注目位置は撮像部１０１周辺を見ているときが最も精度が高く、一方で撮像部から離れている位置を見ているときほど精度が低くなるという特性を持っている。これは、撮像部１０１から遠い位置を人物が見ているときには推定誤差の範囲が大きいため、隣の違う商品に注目していると判定しまう恐れがあることを意味する。そこで、商品１６００を画像表示部１１００に複数表示する場合、想定される注目位置推定誤差に合わせて商品１６００の表示位置を変え、撮像部１０１から遠くなるほど商品間の距離を広くなるようにする。これにより、注目している商品を誤判定することを抑制できる。
【００７８】
これまで説明した注目位置推定方法及び装置は、カメラを用いたシステムとして広く応用可能である。例えば、広告の注目度計測や自販機における商品注目度計測、監視システムにおける不審者検知など、様々なシーンへと利用可能である。
【符号の説明】
【００７９】
１００…注目位置推定部、  １０１…撮像部、１０２…顔検出部、１０３…属性推定部、１０４…モデル選択部、１０５…注目位置演算部、１０６…注目位置出力部、１１１…距離計測部、２００…属性テーブル、３００…基本モデル、３０１…子供モデル、３０２…男性モデル、３０３…女性モデル、５１０…顔方向推定部、５１１…顔水平方向推定部、５１２…顔垂直変異推定部、５１３…顔垂直方向推定部、５１４…顔方向決定部、５２０…視線方向推定部、５２１…視線水平方向推定部、５２２…視線垂直変異推定部、５２３…視線垂直方向推定部、５２４…視線方向決定部、５３０…顔位置推定部、５４０…注目位置算出部、７０１…注目方向として顔方向を用いた場合の注目位置、７０２…注目方向として視線方向を用いた場合の注目位置、１０００…注目位置推定装置、１００１…画像入力部、１００２…画像メモリ、１００３…ＣＰＵ、１００４…ＲＡＭ、１００５…ＲＯＭ、１００６…推定結果記録部、１００７…インタフェース、１００８…出力装置、
１１００…画像表示部、１１１０…人物毎画像提示装置、１１１１…表示制御部、１１１２…記録部、１３００…視聴状況情報テーブル、１４００…棚、１５００…自動販売機、１５１０…販売機管理部、１６００…商品
【図１】
2012022538.tif 000005
【図２】
2012022538.tif 000006
【図３】
2012022538.tif 000007
【図４】
2012022538.tif 000008
【図５】
2012022538.tif 000009
【図６】
2012022538.tif 000010
【図７】
2012022538.tif 000011
【図８】
2012022538.tif 000012
【図９】
2012022538.tif 000013
【図１０】
2012022538.tif 000014
【図１１】
2012022538.tif 000015
【図１２】
2012022538.tif 000016
【図１３】
2012022538.tif 000017
【図１４】
2012022538.tif 000018
【図１５】
2012022538.tif 000019
【図１６】
2012022538.tif 000020