(57)【要約】【課題】  顔が一定の大きさ以下でも、講義等の内容に興味を持っているか否かを判定することが可能になる。【解決手段】  注目対象に対するユーザの関心度を計測する関心度計測システムであって、ユーザの状態を撮影する撮像装置からのカラー画像を入力として得る演算装置を備え、演算装置は、カラー画像中にあるユーザの顔を認識し、顔の数をカウントする第１モードと、カラー画像中の所定のＲＧＢ値を持つ画素の面積を算出し、面積に基づいて顔の数を推定する第２モードと、を切替可能に構成される。【選択図】  図４
2019086912.tif 000002
【特許請求の範囲】
【請求項１】
注目対象に対するユーザの関心度を計測する関心度計測システムであって、
前記ユーザの状態を撮影する撮像装置からのカラー画像を入力として得る演算装置を備え、
前記演算装置は、
前記カラー画像中にある前記ユーザの顔を認識し、顔の数をカウントする第１モードと、
前記カラー画像中の所定のＲＧＢ値を持つ画素の面積を算出し、該面積に基づいて顔の数を推定する第２モードと、
を切替可能に構成される、
関心度計測システム。
【請求項２】
前記演算装置は、
入力されるパラメータを閾値と比較し、
比較結果に基づいて、前記第１モードと前記第２モードを切り替える、
請求項１記載の関心度計測システム。
【請求項３】
前記演算装置は、
前記注目対象と前記ユーザの存在が想定される会場の大きさ、および、前記会場にいると想定される前記ユーザの数の少なくとも一つの情報を格納する管理データベースからの情報を入力とし、
前記会場の大きさ、および、前記ユーザの数の少なくとも一つの情報を前記パラメータとして、前記第１モードと前記第２モードを切り替える、
請求項２記載の関心度計測システム。
【請求項４】
前記演算装置は、
前記カラー画像中にある前記ユーザの顔の認識結果に基づいて、
前記第１モードと前記第２モードを切り替える、
請求項１記載の関心度計測システム。
【請求項５】
前記演算装置は、
前記カラー画像中にある前記ユーザの顔の数のカウント結果に基づいて、
前記第１モードと前記第２モードを切り替える、
請求項１記載の関心度計測システム。
【請求項６】
演算装置、記憶装置、入力装置、出力装置を備える計算機を用いて、会場における注目対象に対するユーザの関心度を計測する関心度計測方法であって、
前記入力装置により前記ユーザの状態を撮影した撮像装置からのカラー画像を取得し、
前記演算装置は、
前記カラー画像中にある前記ユーザの顔をパターン認識し、認識結果により関心度を算出する第１モードと、
前記カラー画像中の所定の色の面積を算出し、該面積に基づいて関心度を算出する第２モードと、
を切替可能とする、
関心度計測方法。
【請求項７】
前記第１モードと前記第２モードは、
前記会場の規模に基づいて選択される、
請求項６記載の関心度計測方法。
【請求項８】
前記会場の規模が所定閾値未満の場合、前記第１モードを選択し、
前記会場の規模が所定閾値以上の場合、前記第２モードを選択する、
請求項７記載の関心度計測方法。
【請求項９】
前記第１モードと前記第２モードは、
前記ユーザの顔のパターン認識結果に基づいて選択される、
請求項６記載の関心度計測方法。
【請求項１０】
前記ユーザの顔のパターン認識が成功した場合、前記第１モードを選択し、
前記ユーザの顔のパターン認識が成功しなかった場合、前記第２モードを選択する、
請求項９記載の関心度計測方法。
【請求項１１】
前記ユーザの顔のパターン認識が成功した場合、パターン認識した顔領域をカウントし、カウント結果が所定閾値未満の場合には前記第１モードを選択し、カウント結果が所定閾値以上の場合には前記第２モードを選択し、
前記ユーザの顔のパターン認識が成功しなかった場合、前記第２モードを選択する
請求項９記載の関心度計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、講義等の内容に興味を持っているか否かを判定する、関心度計測技術に関する。
【背景技術】
【０００２】
会議参加者の視認領域の重なりを検知して注目情報(注目領域、注目時間)を検出する技術が知られている。
【０００３】
注目情報の作成方法としては、例えば特許文献１に記載の技術が知られている。特許文献１には、「注目情報処理部１０８は、会議参加者の視認領域の重なりを検知する。図３（Ｃ）中の符号２４０は、視認領域が重なった領域（重複領域）を示す。重複領域２４０は、左上原点の２次元の座標値（ｘ，ｙ）と、領域の幅と高さ（ｗ，ｈ）を持ち、場所の特定とサイズ計算が可能である。注目情報処理部１０８は、重複領域の検知結果に基づいて、注目情報を作成する。注目情報は、会議参加者の注目を集めたシーンに関する情報である。
【０００４】
具体的には、注目情報は、少なくとも、注目領域と、注目を集めた時間（注目時間）とを含む。注目領域は、会議参加者の注目を集めた領域である。注目領域は、会議データにおいて、視認領域の重なりが検出されたフレーム同士の重なりが連続する場合に、当該連続するフレーム間での視認領域の論理和演算により得られる（ＯＲ領域である）。注目時間は、会議データにおいて、視認領域の重なりが検出されるフレームの連続数に対応する。」ことが記載されている。特許文献１に記載の検出方法は、会議において参加者の注目を集めた内容に絞って再生する仕組みを提供できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−２０４４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術では、参加者の瞳の位置、及び、顔の向きに基づいて予測することで、視認領域を抽出するため、顔が一定の大きさ以上でないと顔を検出できず、人数をカウントできない、という課題があった。
【課題を解決するための手段】
【０００７】
本発明の一側面は、注目対象に対するユーザの関心度を計測する関心度計測システムであって、ユーザの状態を撮影する撮像装置からのカラー画像を入力として得る演算装置を備え、演算装置は、カラー画像中にあるユーザの顔を認識し、顔の数をカウントする第１モードと、カラー画像中の所定のＲＧＢ値を持つ画素の面積を算出し、面積に基づいて顔の数を推定する第２モードと、を切替可能に構成される。
【０００８】
本発明の他の一側面は、演算装置、記憶装置、入力装置、出力装置を備える計算機を用いて、会場における注目対象に対するユーザの関心度を計測する関心度計測方法であって、入力装置によりユーザの状態を撮影した撮像装置からのカラー画像を取得し、演算装置は、カラー画像中にあるユーザの顔をパターン認識し、認識結果により関心度を算出する第１モードと、カラー画像中の所定の色の面積を算出し、面積に基づいて関心度を算出する第２モードと、を切替可能とする。
【発明の効果】
【０００９】
本発明によれば、顔が一定の大きさ以下でも、講義等の内容に興味を持っているか否かを判定することが可能になる。上記以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の計算機システムの構成の一例を示すブロック図である。
【図２】実施例１の人数カウント装置のハードウェア構成及びソフトウェア構成を示す機能ブロック図である。
【図３】実施例１の画像ＤＢに含まれる会場と人数のデータ構造の一例を示す表図である。
【図４】実施例１の人数カウント処理の一例を説明するフローチャートである。
【図５】実施例の関心度測定の概念を示す概念図である。
【図６】実施例２の人数カウント処理の一例を説明するフローチャートである。
【図７】実施例３の人数カウント処理の一例を説明するフローチャートである。
【図８】実施例３の表示の一例を説明する概念図である。
【図９】実施例４の人数カウント処理の一例を説明するフローチャートである。
【図１０】実施例４のデータ構造の一例を示す概念図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
【００１２】
以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。
【００１３】
本明細書における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。
【００１４】
図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。
【００１５】
以下の実施例の代表的な一例を示せば以下の通りである。すなわち、講義等の参加者が、話の内容に興味を持っているか否かを計測する計算機システムであって、計算機システムは、狭い会場では顔検出の可否で、広い会場では顔の輝度や色情報から関心を持っている人の層を検出する演算装置を備える。また、計算機システムは、撮像装置、演算装置、演算装置に接続される記憶装置、及び演算装置に接続されるインタフェースを有し、インタフェースを介して、撮像装置が取得したカラー画像を用いた人数カウント処理に使用する画像を格納するデータベースと接続する。演算装置は、顔検出ができるか否かで人数をカウントし、顔検出ができる場合は顔領域の個数から人数をカウントする。
【実施例１】
【００１６】
図１は、実施例１の関心度計測システム１００の構成の一例を示す図である。関心度計測システム１００は、計算機システム１０１、及びマザーブレイン計算機システム１０２から構成される。また、計算機システム１０１は、ネットワーク１０３を介してマザーブレイン計算機システム１０２に接続する。図１に示す計算機システム１０１は一つであるが、複数あってもよい。計算機システム１０１とマザーブレイン計算機システム１０２は、ともに通常のコンピュータで構成することができる。
【００１７】
本実施例では、計算機システム１０１は講義やイベントが行なわれる１または複数の会場１０４に設置されることを想定している。計算機システム１０１は、会場１０４においてプレゼンテーションや展示の状況を表すデータを取得する。例えば、映像、音声、あるいは、入場者数など、入力装置を介して取得される各種データである。計算機システム１０１は、その他、会場の運営を補助する表示機能や入力機能等を備えても良い。
【００１８】
また、マザーブレイン計算機システム１０２は、遠隔地にあって情報を管理し、１または複数の会場１０４全体を統括する。もっとも、計算機システム１０１とマザーブレイン計算機システム１０２を一体として構成し、会場１０４に設置することも可能である。
【００１９】
なお、会場１０４には計算機システム１０１の代わりに、ディスプレイ、集音マイク、及びスピーカから構成される機器のみを置き、ネットワーク１０３を介してデータを送受信することで、計算機システム１０１の機能をマザーブレイン計算機システム１０２に分担させてもよい。
【００２０】
実施例１の関心度計測システム１００は、会場１０４において取得された、プレゼンテーションや展示の状況を表すデータに基づいて、プレゼンテーションや展示に参加した人々（以下ユーザという）の関心度を計測する。
【００２１】
図２は、実施例１の計算機システム１０１のハードウェア構成及びソフトウェア構成を示す図である。計算機システム１０１は、例えば一般的なコンピュータで構成することができ、演算装置２０１、記憶装置２０２、通信装置２０３、撮像装置２０４、音声再生装置２０５、集音装置２０６を有する。撮像装置２０４および集音装置２０６は入力装置の一種であり、音声再生装置２０５は出力装置の一種である。この他にも公知の入出力装置を備えてよい。各ハードウェアは、内部バス等を介して互いに接続される。
【００２２】
演算装置２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の装置である。演算装置２０１は、記憶装置２０２に格納されるプログラムを実行する。演算装置２０１がプログラムにしたがって処理を実行することによって、特定の機能を実現するモジュールとして動作する。以下の説明では、モジュールを主語に処理を説明する場合、演算装置２０１が当該モジュールを実現するプログラムを実行していることを表す。
【００２３】
記憶装置２０２は、メモリ等の装置であり、演算装置２０１が実行するプログラム及びプログラムの実行に必要な情報を格納する。また、記憶装置２０２は、プログラムが使用するワークエリアを含む。なお、計算機システム１０１は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶装置を有してもよい。
【００２４】
本実施例では、記憶装置２０２は、制御モジュール２１１を実現するプログラムを格納し、また、画像ＤＢ２１２を格納する。通信装置２０３は、ネットワークインタフェース等の装置であり、ネットワーク１０３を介して他の装置と接続する。撮像装置２０４は、カメラ等の装置であり、所定の範囲のカラー画像を取得する。後述するように、本実施例では撮像装置は例えば講師やスクリーンの位置に設置して、ユーザの様子を撮影する。音声再生装置２０５は、スピーカ等の装置であり、発話内容を音声として再生する。集音装置２０６は、集音マイク等の装置であり音声を取得する。
【００２５】
本実施例では、撮像装置２０４が取得した画像を用いて関心度が計測される。関心度の計測は、ユーザの顔が所定の方向を向いているかどうかを判定して行なう。例えば、１００名のユーザが参加している場合、その内の５０名が所定の方向を向いている場合、その５０人は所定の方向を注目しているものとして、関心度は５０％と判定される。
【００２６】
例えば、講義における出席者の関心度を計測する場合には、講師あるいはモニター画面の位置に撮像装置２０４であるカメラを備え付け、カメラ方向を向いている出席者の顔を検出して関心度を算出する。すなわち、下や横を向いていたり別の方向を向いている人は、カメラ方向に顔を向けていない（注目していない）ので、関心がないものと判定する。本実施例では、顔の検出手法として、パターン認識を用いた顔数のカウントによる第１の手法（第１モード）と、色情報（肌色）を用いた顔部分の面積割合による第２の手法（第２モード）を切り替えて用いることにより、会場の特性によらず正確な関心度の計測を可能とする。
【００２７】
顔数のカウントによる第１の手法では、デジタルカメラなどで公知となっている顔パターンの認識により、顔の数をカウントする。色情報顔部分の面積割合による第２の手法では、カラー画像信号の各画素のＲＧＢ要素が、肌色を示す所定の色の範囲か否かを判定し、画像中の肌色の面積が顔部分の面積を示すものとする。第２の手法では色のほか、輝度の情報を用いても良い。
【００２８】
図３は、実施例１の関心度計測システム１００が利用する管理データベース３００のデータ構造の一例を示す図である。図３のデータの例では、複数の会場１０４のデータを一括して管理しており、マザーブレイン計算機システム１０２が管理するものとしている。ただし、会場ごとのデータを其々各会場１０４の計算機システム１０１が管理していても良い。
【００２９】
図３を用いて管理データベース３００に格納される情報について説明する。管理データベース３００は、ユーザ１１０をカウントした際の人数を保持するため等に使用するデータベースである。管理データベース３００は、会場１０４のＩＤである会場ＩＤ３０１、会場名３０２、人数３０３、座席数３０４、注目人数３０５、日時３０６から構成されるエントリを含む。一つのエントリが一つのデータベースのグループ（部分グループ）に対応する。
【００３０】
会場ＩＤ３０１は、会場ごとの識別情報を格納するフィールドである。会場名３０２は会場名を格納するフィールドである。人数３０３は、入場者数を格納するフィールドである。入場者数は、例えばユーザが入場するたびにカウントし、計算機システム１０１の入力手段から入力することができる。あるいは、入場チケットの販売数が入場者数と等しいと推定し、チケット数をもとにして入力してもよい。座席数３０４は座席がある場合には座席数であり、会場の定員に相当する数を格納するフィールドである。注目人数３０５は、上述の第１の手法あるいは第２の手法により測定された、注視している人数を格納するフィールドである。
【００３１】
上記のフィールドは一例であり、他のフィールドを持っていても良いし、一部を省略しても良い。人数３０３や座席数３０４は、関心度を測定する際の母数となる全ユーザ数を設定するために利用される。例えば、母数として人数３０３をそのまま利用することができる。あるいは、全席指定でチケット完売の場合には、座席数３０４を母数とすることができる。これらは一例であって、他の方法で母数を推定してもよい。例えば、管理データベース３００の情報を使用しない場合には、顔のパターン認識と同様に、人の体のパターン認識を行なって、母数を推定することも可能である。
【００３２】
図４は、実施例１の計算機システム１０１が実行する処理の概要を示す図である。計算機システム１０１は、周期的又はイベントの発生を検知した場合、撮像装置２０４を用いて画像を取得する（ステップＳ４０１）。
【００３３】
次に、計算機システムの制御モジュール２１１は、管理データベース３００から、関心度測定のための第１の手法あるいは第２の手法を切り替えるためのパラメータを取得する（ステップＳ４０２）。
【００３４】
図５により、第１の手法あるいは第２の手法を切り替える概念を説明する。本実施例では、関心度を所定方向を向いているユーザの顔をもとにして測定する。この場合、会場にはスタジアムや公会堂のような広い会場（例えば３００ｍ四方）と、教室や会議室のような狭い会場（１０ｍ四方）がある。広い会場では、撮像装置２０４で撮像した画像中の顔部分の大きさが小さく、かつ、顔の数が多くなり、解像度が不足、あるいは、処理量が多くなりすぎる場合がある。この場合、顔パターン認識による第１の手法では、広い会場の顔認識ができず、測定が困難あるいは不正確となる場合がある。そこで、本実施例では、会場の広さにより第１の手法と第２の手法を切り替える。ここで広さとは、大きさ、面積、収容人数と言い換えることもできる。以降これらを「規模」ということがある。
【００３５】
このための規模のパラメータとして、例えば管理データベース３００の人数３０３や座席数３０４を用いることができる。例えば、閾値を３００（人）としてパラメータと比較し、閾値未満であれば第１の手法（顔パターン認識）、閾値以上であれば第２の手法（肌色面積検出）とする（ステップＳ４０３）。
【００３６】
すなわち、図４に示すようにパラメータが閾値以上であれば、広い会場と判断して、ＲＧＢ信号を元に顔の肌色面積を算出する。これは所定のＲＧＢ値を有する画素数をカウントすることで行なうことができる（ステップＳ４０４）。さらに肌色面積から顔領域の個数を算出するために、顔１個あたりの面積で肌色面積を除する（ステップＳ４０５）。顔１個あたりの面積は予め規定値を設定しておくか、人数３０３や座席数３０４と撮像装置２０４の撮像範囲から推定を行なって求める。
【００３７】
なお、上記では人数３０３や座席数３０４を元に会場の広さを判定しているが、他の方法でもよい。例えば、予め管理データベース３００に会場の広さのデータを格納しておき、会場の広さを閾値と比較しても良い。あるいは、第１の手法と第２の手法のどちらを用いるかを会場ごとに設定しておいても良い。例えば、図３の例で会場名３０２が「会議室」の場合は第１の手法で、「展示場」の場合は第２の手法で行なうようにすることが考えられる。
【００３８】
一方、パラメータが閾値未満であれば、狭い会場と判断して、顔領域の個数算出をパターン認識により実行する（ステップＳ４０６）。制御モジュール３１１は、受信した画像から顔領域を検出する。顔領域を検出する処理は公知の技術があり、例えば顔のパターンと画像中のパターンを照合することにより可能である。
【００３９】
ステップＳ４０５あるいはＳ４０６の結果、特定方向を向いている人、すなわち注目している人の数が算出できる。制御モジュール３１１は、顔領域の個数算出結果から注目人数をカウントする（ステップＳ４０７）。
【００４０】
次に、制御モジュール３１１は、管理データベース３００から母数となる人数３０３や座席数３０４を取得する。そして、ステップＳ４０７のカウント結果を母数で割り算することで、関心度（％）を得る（ステップＳ４０８）。
【実施例２】
【００４１】
実施例１では、管理データベース３００の情報を利用し、予め会場の広さが既知である場合を例にした。しかし、例えば会場が仮設会場であり、予め会場の広さが不明の場合もある。実施例２ではこの場合にも対応可能な例を説明する。基本的な構成は実施例１と同じであるが、管理データベース３００のデータからは会場の広さを示すパラメータが得られない場合を想定している。
【００４２】
図６は、実施例２の計算機システム１０１が実行する処理の概要を示す図である。計算機システム１０１は、周期的又はイベントの発生を検知した場合、撮像装置２０４を用いて画像を取得する。
【００４３】
まず、計算機システムの制御モジュール２１１は、受信した画像を用いて、画像の解像度を算出する（ステップＳ５０１）。
【００４４】
次に顔検出個数の上限値（閾値）を算出する（ステップＳ５０２）。すなわち、一般的にパターン認識による顔個数の検出には処理速度による制約があり、あまりに顔の数が多い場合にはカウントが行なえない場合がある。これは主にソフトウェアによる処理量に依存する。したがって、上限値を超えた場合には顔数のカウントができない。このとき、制御モジュール３１１は、ステップＳ５０１で算出された画像の解像度から上限値を自動で算出する。また、上限値を規定値あるいは手動で与えても良い。
【００４５】
制御モジュール３１１は、受信した画像から顔領域を検出する（ステップＳ５０３）。顔領域を検出する処理は公知の技術があり、例えばリファレンスとなる顔のパターンと画像中のパターンを照合することにより可能である。
【００４６】
制御モジュール３１１は、顔領域が検出できているか否かを判定する。すなわちパターン認識が成功したかを判定する。会場が広く、あまりに画像中の顔の大きさが小さい場合には、解像度が不足しパターン認識ができない場合がある（ステップＳ５０４）。
【００４７】
顔領域が検出できていないと判定された場合、制御モジュール３１１は、顔の肌色面積を算出する処理を実行する（ステップＳ４０４）。顔の肌色面積の算出には、肌色領域の面積を時系列に連続または断続的に計測してもよい。制御モジュール３１１は、顔の肌色面積算出結果から顔領域の個数算出処理を実行する（ステップＳ４０５）。制御モジュール３１１は、顔領域の個数算出結果から人数をカウントする（ステップＳ４０７）。これらの処理は実施例１と同様である。
【００４８】
ステップＳ５０４で顔領域が検出できていると判定された場合、制御モジュール３１１は、顔領域の検出結果から顔領域の個数算出処理を実行する（ステップＳ４０６）。制御モジュール３１１は、顔個数のカウント中、算出された顔領域の個数が閾値以上か否かを判定している（ステップＳ５０６）。検出された顔領域の個数が閾値（上限）を超えた場合には、それ以降のカウントはできないあるいは不正確と判定する。
【００４９】
そこで、顔領域の個数が閾値以上と判定された場合、制御モジュール３１１は、顔の肌色面積を算出する処理を実行する（ステップＳ４０４）。顔の肌色面積の算出には、肌色領域の面積を時系列に連続または断続的に計測してもよい。制御モジュール３１１は、顔の肌色面積算出結果から顔領域の個数算出処理を実行する（ステップＳ４０５）。
【００５０】
顔領域の個数が値未満であると判定された場合、制御モジュール３１１は、顔領域の個数算出結果から人数をカウントする（ステップＳ４０７）。
【００５１】
基幹業務システムに実施例２の計算機システムを適用した場合、会場についての情報がない場合であっても、狭い会場では、顔を検出できるか否かで人数をカウントし、広い会場では、肌色輝度領域の面積を時系列に連続または断続的に計測することにより、顔が一定の大きさ以下でも、講義等の内容に興味を持っているか否かを判定することが可能になる。
【実施例３】
【００５２】
実施例３では、プレゼンテーションや授業を見ているユーザの状況を演者にフィードバックする点が実施例１と異なる。以下、実施例１との差異を中心に実施例３について説明する。実施例３の計算機システムの構成は、実施例１の計算機システムの構成と同一である。実施例３の計算機システム１０１、及びマザーブレイン計算機システム１０２の構成は、実施例１の各装置の構成と同一である。また、各装置が保持するデータベースのデータ構造は、実施例１のデータベースのデータ構造と同一である。実施例３で特に説明する部分以外は、実施例１あるいは２と同様と考えてよい。
【００５３】
図７で、実施例３の注視人数算出処理について説明する。制御モジュール３１１は、管理データベース３００から母数となるユーザ数（全出席者数）を取得する（ステップＳ７０１）。そして、時系列に連続または断続的に計測することにより、実施例１あるいは２と同様に注目人数を算出する（ステップＳ４０７）。ついで、母数と算出された注視人数との割合により、関心度（注目度）を算出する（ステップＳ４０８）。
【００５４】
次に母数と注目人数、注目度を画面に表示する（ステップＳ７０２）。また、フィードバックは画面に表示するだけでなく、アラームなどの音声でフィードバックしてもよい。
他の処理は実施例１あるいは２と同一である。ただし本実施例では、注視人数や関心度が時系列的に表示され、時間的変化を知ることができる。
【００５５】
図８には、母数と注視人数、注目度を画面１０１０に表示する例を示している。注目度メータとして注目している人の人数の割合（％）が表示される。
【００５６】
実施例３によれば、プレゼンテーションや授業を見ているユーザの状況を演者にリアルタイムにフィードバックするため、演者が説明内容を工夫することにより、ユーザの理解度向上が期待できる。
【実施例４】
【００５７】
実施例４では、プレゼンテーションや商品を見ているユーザの状況を記録する点が実施例１と異なる。以下、実施例１との差異を中心に実施例４について説明する。
【００５８】
実施例４の計算機システムの構成は、実施例１の計算機システムの構成と同一である。実施例４の計算機システム１０１、及びマザーブレイン計算機システム１０２の構成は、実施例４の各装置の構成と同一である。また、各装置が保持するデータベースのデータ構造は、実施例４のデータベースのデータ構造と同一である。
【００５９】
図９により実施例４の処理の流れを説明する。実施例４で特に説明する部分以外は、実施例１あるいは２と同様と考えてよい。まず、実施例４の注視人数算出処理について説明する。制御モジュール３１１は、母数となる人数をカウントする（ステップＳ７０１）。
【００６０】
次に、注目対象を特定する。例えば、講義においてスクリーンにスライドが順次表示されており、各スライドに対するユーザの関心度を測定する場合を考える。その場合には、表示されるスライドに対応して、注目対象が設定される。注目対象は例えば現在表示しているスライドの番号で識別される（ステップＳ１１０１）。注目対象はプレゼンテーション資料などの電子データや商品などの実物でもよい。
【００６１】
注目対象ごとに時系列に連続または断続的に計測することにより、注目人数を算出する（ステップＳ４０７）。算出された注目対象ごとの注目人数と母数との割合により、関心度を算出する（ステップＳ４０８）。算出された注目対象ごとの関心度を、例えば画像ＤＢ２１２に記録する（ステップＳ１１０４）。他の処理は実施例１または２と同一である。
【００６２】
図１０は画像ＤＢに記録されたデータの概念図である。注目対象であるスライドの番号に対応して、関心度が記録される。実施例４によれば、プレゼンテーションや商品を見ているユーザの注目度を記録するため、注目度の高い資料や商品の陳列などが期待できる。
【００６３】
上記説明した実施例によれば、狭い会場では、顔を検出できるか否かで人数をカウントし、広い会場では、肌色輝度領域の面積を時系列に連続または断続的に計測することにより、顔が一定の大きさ以下でも、講義等の内容に興味を持っているか否かを判定することが可能になる
【符号の説明】
【００６４】
１００  関心度計測システム
１０１  計算機システム
１０２  マザーブレイン計算機システム
１０３  ネットワーク
１０４  会場
【図１】
2019086912.tif 000003
【図２】
2019086912.tif 000004
【図３】
2019086912.tif 000005
【図４】
2019086912.tif 000006
【図５】
2019086912.tif 000007
【図６】
2019086912.tif 000008
【図７】
2019086912.tif 000009
【図８】
2019086912.tif 000010
【図９】
2019086912.tif 000011
【図１０】
2019086912.tif 000012