(57)【要約】【課題】人との位置関係が正確に把握できない状況下において、顔向きを検出して、発生イベントとの組み合わせで何に注目しているかを判定する。【解決手段】注目対象判定装置は、周囲状況と注目対象とを関連付けた注目対象判定ルールを記憶する注目対象判定ルール記憶部７と、周囲状況検出部２と、顔向き検出部１と、周囲状況と顔向きとの連動性の度合いを算出する動作連動性算出部３と、注目対象リスト記録部６と、周囲状況、顔向き、注目対象と顔向きとの連動性の度合い、および、注目対象判定ルールに基づいて注目対象の方向を算出する対象方向算出部４と、注目対象の方向を記録する対象方向記録部５と、顔向き、注目対象の方向、および注目対象リスト記録部に記録された注目対象に基づいて、注目対象を判定する注目対象判定部８と、を有する。【選択図】図１
2009026190.tif 000002
【特許請求の範囲】
【請求項１】
出席者が出席している状況のなかで前記出席者が注目している注目対象を判定するための注目対象判定装置であって、
前記注目対象と、前記注目対象が注目されるときの前記注目対象の周囲状況とを関連付けた注目対象判定ルールを記憶する注目対象判定ルール記憶部と、
前記注目対象判定ルールに基づいて、入力された状況が前記注目対象が注目されるときの周囲状況に該当する場合、前記注目対象を検出する周囲状況検出部と、
前記出席者の顔向きを検出する顔向き検出部と、
前記周囲状況検出部による周囲状況の検出結果および前記顔向き検出部による顔向きの検出結果に基づいて、前記周囲状況と前記顔向きとの連動性の度合いを算出する動作連動性算出部と、
前記注目対象を記録する注目対象リスト記録部と、
前記周囲状況検出部により検出された前記周囲状況の検出結果、前記顔向き検出部により検出された前記顔向きの検出結果、前記動作連動性算出部により算出された周囲状況と顔向きとの前記連動性の度合い、前記注目対象リスト記録部に記録された注目対象、および、前記注目対象判定ルールに基づいて、前記顔向きによって定義される前記注目対象の方向を算出する対象方向算出部と、
前記対象方向算出部で得られた前記注目対象の方向を記録する対象方向記録部と、
前記顔向き検出部により検出された前記顔向きの検出結果、前記対象方向記録部に記録された注目対象の方向、および前記注目対象リスト記録部に記録された注目対象に基づいて、前記周囲状況によって当該注目対象が注目されたか否かを判定する注目対象判定部と、
を有することを特徴とする注目対象判定装置。
【請求項２】
前記注目対象判定ルール記憶部は前記注目対象判定ルールのほかに各注目対象に対して決められた注目確信度閾値も記憶するものであって、
前記注目対象判定部によって判定された注目対象の注目確信度を算出し、この算出された前記注目確信度が前記注目確信度閾値を超えた場合で、かつ、前記周囲状況検出部により周囲状況が検出された場合に限って、前記対象の方向を算出し、その対象の方向を記録する手段を有すること、
を特徴とする請求項１に記載の注目対象判定装置。
【請求項３】
前記顔向き検出部は、顔に取り付けられて顔とともに動く方位センサーを含むことを特徴とする請求項１または請求項２に記載の注目対象判定装置。
【請求項４】
前記顔向き検出部は、外部から顔の動きを光学的に監視する監視装置を含むことを特徴とする請求項１または請求項２に記載の注目対象判定装置。
【請求項５】
前記顔向き検出部は、顔の動きを検出するセンサーを含むことを特徴とする請求項１ないし請求項４のいずれか一項に記載の注目対象判定装置。
【請求項６】
前記顔向き検出部は、複数人の顔の向きを検出するものであって、
前記注目対象判定部は、複数人の顔の向きが連動して変化した場合には、当該複数人が同一の対象に注目したと仮定して注目対象を判定すること、
を特徴とする請求項１ないし請求項５のいずれか一項に記載の注目対象判定装置。
【請求項７】
出席者が出席している状況のなかで前記出席者が注目している注目対象を判定するための注目対象判定方法であって、
前記注目対象の周囲状況を検出する周囲状況検出ステップと、
前記出席者の顔向きを検出する顔向き検出ステップと、
前記周囲状況検出ステップによる周囲状況の検出結果および顔向き検出ステップによる顔向きの検出結果に基づいて、周囲状況と顔向きとの連動性の度合いを算出する動作連動性算出ステップと、
前記周囲状況検出ステップにより検出された前記周囲状況の検出結果に基づいて注目対象を記録する注目対象リスト記録ステップと、
前記周囲状況検出ステップにより検出された前記周囲状況の検出結果、前記顔向き検出ステップにより検出された前記顔向きの検出結果、および、前記動作連動性算出ステップによって得られた注目対象と顔向きとの連動性の度合いに基づいて、前記顔向きによって定義される注目対象の方向を算出する対象方向算出ステップと、
前記対象方向算出ステップで得られた前記注目対象の方向を記録する対象方向記録ステップと、
前記顔向き検出ステップにより検出された前記顔向きの検出結果、前記対象方向記録ステップにより記録された注目対象の方向、および前記注目対象リスト記録ステップにより記録された注目対象に基づいて、当該注目対象が注目されたか否かを判定する注目対象判定ステップと、
を有することを特徴とする注目対象判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単数または複数の人が何に注目しているかを判定する装置および方法に関する。
【背景技術】
【０００２】
従来、人が何を見ているのかという注目対象を外部から判定する手法は多数考案されている。
【０００３】
眼球の動きを外部から検出し、眼球の向きと対象者と対象の位置関係から見ているを判定する技術も存在する。ただし眼球のわずかな向きの差で見ている対象が変わるためその判定は容易ではなく、眼球に近接した位置に装置を設置せねばならないなど、視線検出技術を使用するためにはいくつかの条件があった。
【０００４】
また、視線の先にある対象を判定するのみではなく、その推移から視線を送る視認者の状態を推定することも考案されている。特許文献１には、視線方向の配分から、その視認者の状態を推定する方式の例が開示されている。
【０００５】
その他の注目対象判定方法として、コミュニケーション時の視線変化から、対話における役割や話し手に対応する受け手を推定する方法も知られている。
【０００６】
さらに、その他の注目対象判定方法として、機器の稼働状況から推定する手法も知られている。たとえばテレビの視聴率は、テレビ受像器が稼働状態にある場合にはその機器を使用している、すなわちテレビを見ているだろうという推定に基づいて算出される。
【特許文献１】特開２００６−４８１７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
視線認識については一般的な会議や生活の場で実用的な精度を実現することが困難であり、かつ視認者と視線の対象の位置関係を把握する必要があった。また、画面などに表示された内容を記録するだけでは、視認者がそれを見ているかどうかを判定することはできなかった。
【０００８】
本発明は、視線の検出ができない状況下や、視認者と対象の位置関係が不明な場合においても、視認者が何に注目しているかを判定できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る注目対象判定装置は、出席者が出席している状況のなかで前記出席者が注目している注目対象を判定するための注目対象判定装置であって、前記注目対象と、前記注目対象が注目されるときの前記注目対象の周囲状況とを関連付けた注目対象判定ルールを記憶する注目対象判定ルール記憶部と、前記注目対象判定ルールに基づいて、入力された状況が前記注目対象が注目されるときの周囲状況に該当する場合、前記注目対象を検出する周囲状況検出部と、前記出席者の顔向きを検出する顔向き検出部と、前記周囲状況検出部による周囲状況の検出結果および前記顔向き検出部による顔向きの検出結果に基づいて、前記周囲状況と前記顔向きとの連動性の度合いを算出する動作連動性算出部と、前記注目対象を記録する注目対象リスト記録部と、前記周囲状況検出部により検出された前記周囲状況の検出結果、前記顔向き検出部により検出された前記顔向きの検出結果、前記動作連動性算出部により算出された周囲状況と顔向きとの前記連動性の度合い、前記注目対象リスト記録部に記録された注目対象、および、前記注目対象判定ルールに基づいて、前記顔向きによって定義される前記注目対象の方向を算出する対象方向算出部と、前記対象方向算出部で得られた前記注目対象の方向を記録する対象方向記録部と、前記顔向き検出部により検出された前記顔向きの検出結果、前記対象方向記録部に記録された注目対象の方向、および前記注目対象リスト記録部に記録された注目対象に基づいて、前記周囲状況によって当該注目対象が注目されたか否かを判定する注目対象判定部と、を有することを特徴とする。
【００１０】
また、本発明に係る注目対象判定方法は、出席者が出席している状況のなかで前記出席者が注目している注目対象を判定するための注目対象判定方法であって、前記注目対象の周囲状況を検出する周囲状況検出ステップと、前記出席者の顔向きを検出する顔向き検出ステップと、前記周囲状況検出ステップによる周囲状況の検出結果および顔向き検出ステップによる顔向きの検出結果に基づいて、周囲状況と顔向きとの連動性の度合いを算出する動作連動性算出ステップと、前記周囲状況検出ステップにより検出された前記周囲状況の検出結果に基づいて注目対象を記録する注目対象リスト記録ステップと、前記周囲状況検出ステップにより検出された前記周囲状況の検出結果、前記顔向き検出ステップにより検出された前記顔向きの検出結果、および、前記動作連動性算出ステップによって得られた注目対象と顔向きとの連動性の度合いに基づいて、前記顔向きによって定義される注目対象の方向を算出する対象方向算出ステップと、前記対象方向算出ステップで得られた前記注目対象の方向を記録する対象方向記録ステップと、前記顔向き検出ステップにより検出された前記顔向きの検出結果、前記対象方向記録ステップにより記録された注目対象の方向、および前記注目対象リスト記録ステップにより記録された注目対象に基づいて、当該注目対象が注目されたか否かを判定する注目対象判定ステップと、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、視線の検出ができない状況や、視線者（視認者）と注目される対象の位置関係が不明な場合においても、周囲の状況変化と視線者の顔の向きの変化に基づいて、注目される対象を検出することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明に係る注目対象判定装置の実施形態を説明する。図１は本実施形態の注目対象判定装置の構成を示す機能ブロック図である。また、図２は本実施形態の注目対象判定装置を適用する会議の状況例を模式的に示す平面図であり、図３は本実施形態の注目対象判定装置における顔向き検出用方位センサーおよびその設置例を示す斜視図である。さらに、図４は本実施形態の注目対象判定装置における注目対象判定ルールの例を示す表であり、図５は本実施形態の注目対象判定装置における注目対象リストの例を示す表である。図６は本実施形態の注目対象判定装置における対象方向記録部のデータの例を示す表であり、図７は本実施形態の注目対象判定装置における注目対象判定ルールに付随した注目確信度の例を示す表である。さらに、図８は本実施形態の注目対象判定装置における全体の処理を示す流れ図である。
【００１３】
図２において、スクリーン２１、電子ホワイトボード２２、マイク２３がコンピュータ（たとえばパーソナルコンピュータ）２４に接続されており、これらの機器を使用した会議が行なわれる。
【００１４】
出席者Ａ，Ｂ，Ｃはそれぞれ、その頭部の向きまたはその変化を検出するための方位センサー２５を頭部に取り付けている。方位センサー２５は、会議の出席者Ａ、Ｂ、Ｃの顔の向きまたはその向きの変化を検出するもので、たとえば図３に示すように対象者の耳を利用して頭部に取り付ける。会議出席者Ａ、Ｂ、Ｃは、注目判定装置において、注目される対象となる存在であり、注目するほうの視認者となる存在でもある。方位センサー２５としては、たとえば地磁気センサーおよびジャイロにより構成される方位センサーを用いるものとし、これにより顔の向きの絶対的な方位を検出することが可能である。顔の向きの絶対的な方位を検出せず、ジャイロなどによって顔の向きの「変位」のみを検出するやり方も可能である。
【００１５】
ここに示す実施形態はあくまでも典型的な一例であり、人が一人であってもよい。
【００１６】
図１を参照して、本実施形態に係る注目対象判定装置の各機能ブロックの処理について説明する。注目対象判定装置は、顔向き検出部１と、周囲状況検出部２と、動作連動性算出部３と、対象方向算出部４と、対象方向記録部５と、注目対象リスト記録部６と、注目対象判定ルール記録部７と、注目対象判定部８と、注目対象記録部９とを備えている。
【００１７】
顔向き検出部１は、図２に示す方位センサー２５の出力に基づいて、出席者Ａ、Ｂ、Ｃの顔の向きまたはその変化を検出するものである。顔向き検出部１は、出席者Ａ、Ｂ、Ｃの顔向きを定期的に検出し、その結果は動作連動性算出部３と対象方向算出部４に出力される。
【００１８】
周囲状況検出部２は、出席者Ａ、Ｂ、Ｃの外界の状況を検出する機能ブロックである。本実施形態においては、会議を行なっている場において、マイク２３による音声入力や、その場のコンピュータ２４の動作、またコンピュータ２４に接続されたスクリーン２１や電子ホワイトボード２２で発生する動作を入力として受け、たとえばスクリーン２１への表示内容が大きく変化したという「スクリーン表示切替」イベントや、出席者Ａ、Ｂ、Ｃ或いはその他の誰かが発話を新たに開始したという「発話開始」イベント、電子ホワイトボード２２への書き込みの発生により検出される「白板への書き込み」など、周囲で発生する事象、すなわち周囲状況を検出する。
【００１９】
この周囲状況検出部２の具体的な実現形態は多岐にわたり、図２〜図７などに示された本実施形態の他の例としては、たとえばテレビ画面の変化、スピーカーからの出力音量の変化、近づいた人の検出、動作を開始した機器の検出などが挙げられる。
【００２０】
周囲状況検出部２で検出された状況情報は、動作連動性算出部３と対象方向算出部４に出力される。また、周囲状況検出部２は、あらかじめ決められ、注目対象判定ルール記録部７に記録された注目対象判定ルールに基づいて、各状況が発生した際に注目される対象となる注目対象を判定し、注目対象リスト記録部６に出力する。
【００２１】
注目対象判定ルール記録部７に記録される注目対象判定ルールの例を図４に示す。これはたとえば、「発話開始」というイベントを周囲状況として検出した場合には、「発話者」が注目対象となる可能性が高いということを意味したルールセットである。周囲状況検出部２は、「出席者Ａの発話開始」というイベントが検出された場合には「出席者Ａ」を注目対象リスト記録部６に出力し、注目対象リスト記録部６は注目対象リストに「出席者Ａ」を追加する。
【００２２】
注目対象リスト記録部６に記録されている注目対象リストは、注目対象として判定され得るもののリストであり、本実施形態においてはたとえば図５のようになる。
【００２３】
動作連動性算出部３は、顔向き検出部１から入力された顔向き情報と、周囲状況検出部２から入力された周囲状況情報を基に、周囲状況の変化のタイミングと顔向きの変化のタイミングが連動した度合いを算出する機能ブロックである。たとえばスクリーン２１の画面に新たな表示が行なわれるとともに、出席者Ａ、Ｂ、Ｃ全員の顔の向きが一斉に変化した（周辺状況の変化のタイミングと顔向きの変化のタイミングが一致）場合は連動性の度合いが高いといえ、このことからスクリーン２１の画面を見るために顔の向きが変化した可能性が高いと考えられる。本実施形態における動作連動性の算出方式は以下の通りである。
【００２４】
顔向き検出者総数：    ｎ
出席者番号：    ｉ    （１≦ｉ≦ｎ）
顔向き変化時刻：    timeface（ｉ）
顔向き変化角度：    degface（ｉ）
状況変化時刻：    timeenv
連動時間差：    Δｔｉ＝|timeenv − timeface（ｉ）|
顔向き変化有無：    moveｉ  ＝１    （degface（ｉ）＞１５の場合）
moveｉ  ＝０    （その他の場合）
連動性：    ｒ  ＝（Σｉ（（１／（１＋Δｔｉ））＊ moveｉ））／ｎ
ただし、ここで「Σｉ」はｉを１からｎまで変化させていったときの合計を意味するものとする（以下同様）。
【００２５】
顔向き検出総数は顔向きを検出している人の数であり、出席者番号は各々の検出装置に割り振った識別番号（ＩＤ）である。それぞれの顔向き検出装置からの顔向きが、一定以上、ここでは１５度以上変化した場合に、それを顔向き変化として検出し、その際の時刻を顔向き変化時刻timeface（ｉ）、その前後での顔の向きの変化量（変化の絶対値）を顔向き変化角度degface（ｉ）とする。
【００２６】
一方で、周囲状況検出部２から入力された状況データが変化した時刻を状況変化時刻timeenvとする。各状況変化時刻について、各人の顔向き変化時刻の中でもっとも時刻が近い顔向き変化との関係から、各人の連動時間差Δｔｉを上記のとおり算出する。最終的にその場で検出される連動性ｒは、顔向き変化有無moveｉを用いて、上記の式により算出される。この連動性は人数で正規化していることにより、周囲状況変化と同時に全員が顔向きを１５度以上変化させた場合に、最大の１となる。また、誰も顔向きを変化させなかった、あるいは１５度以上の顔向き変化が無かった場合には最小の０となる。
【００２７】
対象方向算出部４は、顔向き検出部１から入力された顔向き情報と、周囲状況検出部２から入力された周囲状況情報と、動作連動性算出部３から入力された連動性情報と、注目対象リスト記録部６に記録された注目対象データを得て、事前に定められた注目対象判定ルールに基づいて算出された注目対象に対して、出席者Ａ、Ｂ、Ｃの誰がどの方向を向いたかを対象方向記録部５に出力する機能ブロックである。この処理は以下のように実現される。
【００２８】
周囲状況の変化が発生した際には、周囲状況検出部２により、注目対象判定ルールに基づいて注目対象が判定されることは前記の通りである。そのタイミングで対象方向算出部４は算出を開始し、設定した方位センサーを用いて、顔の向きを頭部に、北を0度として１５度の倍数で最も近い角度に近似し、その時点での顔の向きとして記録する。これは各人の方位センサーについて算出および記録が行なわれる。ここで同時に、各注目対象が総計何回注目対象となり、またその総計の中で該当する顔の向きになった回数と、その際の確信度を記録する。確信度は、該当項目に関する連動性ｒの平均値である。これを対象方向記録データとして対象方向記録部５に出力する。この例を図６に示す。
【００２９】
顔向き発生数：ｎ
確信度ｓ  ＝  Σｉ（ｒｉ）
この例において、対象方向記録データは逐次更新されるものであり、該当する対象に関するデータが既に対象方向記録部５に蓄積されていれば、それも対象方向算出部４で累積的に用いて更新するものである。たとえば新たにスクリーン２１の画面表示内容が一新した場合には、新たにスクリーン２１が注目対象となることが周囲状況検出部２により検出され、ここで対象方向算出部４が各人の頭部の方位を検出し、該当する顔向きの項目データを対象方向記録部５から読み取り、回数データを増加させ、連動性ｒを用いて確信度を算出して記録する。
【００３０】
なお、図６において、注目対象が出席者Ａの場合に出席者Ａ自身の顔向きの検出結果が何を意味するかは必ずしも明確でない。たとえば図２に示すような会議の状況で、出席者Ａが発言しているとき、出席者Ｂおよび出席者Ｃは出席者Ａに顔を向ける可能性が高い。しかし、このとき出席者Ａがどこに顔を向ける可能性が高いかは一概に言えない。したがって、このときの出席者Ａの顔向きについては計算上無視してもよい。しかし、出席者Ａが発言しているとき、出席者Ａ自身は出席者Ｂまたは出席者Ｃのいずれかに顔を向ける可能性が高いとも考えられる。このような観点から、発言している出席者Ａ自身の顔向き検出結果も注目対象判定の際に利用することは可能である。注目対象が出席者Ｂの場合の出席者Ｂ自身の顔向き、注目対象が出席者Ｃの場合の出席者Ｃ自身の顔向きについても同様である。
【００３１】
つぎに、周囲状況変化がどのようなものであったかにより、確信度を変化させる処理も実現可能である。図７のように注目対象判定ルールに注目確信度ｖを付加しておき、確信度ｓの算出時に、単に連動性ｒを用いるのではなく、連動性ｒ×注目確信度ｖの値を用いる。
【００３２】
確信度ｓ  ＝  Σｉ（連動性ｒｉ×注目確信度ｖｉ）
この注目確信度ｖの意味は、たとえば極端に大きい音が鳴った場合や、表示画面が一新した場合など、人が注目する可能性が高い事象と、単に誰かが動いた、というだけの注目する可能性が比較的低い事象を、相応にランク付けして扱うことができることである。このようにすることで、より精度の高い検出が実現可能となる。
【００３３】
ここまでの処理は、周囲状況変化に伴い誰がどのような顔の向きになっているかを記録する処理であった。ここまでの処理においても、注目対象判定ルールに基づいて誰が何に注目しているかを推定する処理は存在したが、これは周囲状況変化に伴う推定であった。ここから先の処理においては、上述で出力したデータを用いて、周囲状況変化の有無にかかわらず、また累積されたデータを用いた精度の高い注目対象の判定を行なうものである。
【００３４】
注目対象判定部８は、顔向き検出部１から入力された出席者Ａ、Ｂ、Ｃの顔向き情報を受け、対象方向記録部５から入力されたデータを参照し、随時の注目対象が何（或いは誰）であるかを判定する機能ブロックである。ある時点でのｎ人の顔向き情報を用いて、注目対象は以下のように判定される。
【００３５】
顔向き検出者総数：    ｎ
出席者番号：    ｉ      （１≦ｉ≦ｎ）
顔向き方位：    degface（ｉ）
注目対象総数：    ｍ
注目対象番号：    ｊ    （１≦ｊ≦ｎ）
注目総回数：    ｐ
顔向き発生数：    ｃ
顔向き確信度：    ｓ
注目確信度：    ａｉｊ  ＝ｓ×ｃ／ｐ
最終的な注目対象は、ａｉｊの全顔向き検出者の総和（Σｉａｉｊ）が最大になるようなｊとして算出される。また、そのときの注目対象である確信度は、（Σｉａｉｊ）となる。通常は、確信度に閾値を設けて、確信度が一定値以上にならなければ有効な注目対象として扱わないことにより、断続的に注目対象が検出されることとなる。
【００３６】
この処理の意味は、対象方向記録部５に記録された各対象に注目していると思われる際の各人の顔の向きおよびその確信度を用いて、過去に何に注目していたときに現在の顔の向きに近かったかを算出している。
【００３７】
以上、各機能ブロックの処理を順に述べた。全体の処理の流れを図８に示す。注目対象判定処理（ステップＳ１）は、随時行なうことが可能であり、処理の流れとしては常に呼び出すことが可能である。ただし、対象方向記録部５にデータが記録されていなければ判定は事実上無意味な処理となる。そのため通常は上記のとおり、確信度が一定以上とならない場合は無視し、一定以上の確信度のときにはじめて注目対象を検出したこととなる（ステップＳ２）。そうでない場合は、周囲の状況変化が伴わなければ特に処理は不要である。周囲状況検出部２により周囲の状況変化が検出された場合には、その際の注目対象と顔の向きを記録するための処理を行なう（ステップＳ３）。
【００３８】
上記実施形態においては、頭部にセンサーを装備する方式を示した。これはイヤホン型や、眼鏡型などの装置が考えられる。しかしそういったものを身に着けずに実施する方式として、たとえば図９に示す例が考えられる。すなわち、外部カメラ３０により、顔の輪郭と目の位置を画像処理により検出し、顔の向きを算出する方式が挙げられる。この場合も顔向き検出部１において顔の向きが検出できれば、同様に注目対象を判定することが可能である。
【００３９】
また、上記実施形態において、顔の向きについては絶対的な方位が検出できる方位センサーを用いた場合について述べたが、この限りではない。すなわち、絶対的な方位については算出時に活用しておらず、相対的な角度さえ検出できれば良い。つまり頭部につけるセンサーは便宜上方位センサーとしたが、角速度を検出するジャイロのみがあれば実現可能である。この場合、各人が向いている絶対的な方位は不明であるものの、たとえば画面の表示が切り替わるたびに連動して各人が一定の方角を向くことが記録されたとする。その場合は、それがどの方位かは不明でありながら、再度その角度に各人が向いた際には、画面の表示が切り替わっていない場合についても皆がその画面に注目していることが推定できる。これが本実施形態の特徴的部分である。
【００４０】
上記実施形態によれば、顔の向きの検出と外部イベントの検出に基づいて、たとえば画面表示が切り替わったなどのイベントが発生した際に、それとほぼ同時に連動して顔の向きが変化した場合には、その顔の向きのときに画面を見ていると推定できる。この顔向き変化とイベント発生の連動性を継続的に検出することにより、推定精度は向上する。特に、複数人の顔の向きが一斉に変化した場合には同じ方向を向いた可能性が高いという性質から、その際の顔の向きについては同一の対象を向いていると推定して、注目対象判定の精度を向上することができる。
【００４１】
本発明の適用範囲は上述の実施形態に限らない。たとえばテレビジョン受像機においてその音量や画面変化と連動して顔の向きが変位したか否かを検出することにより、画面を見ているか否かを判定することもできる。応用としてはたとえば視聴率の判定や、広告のマーケティング、電源を切ることによる省電力促進や、チャンネルの変更などが考えられる。
【００４２】
また、マルチウィンドウシステムを用いたコンピュータをスクリーンやモニタに表示している際に、どこに注目しているかを判定することにも活用できる。
【００４３】
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【図面の簡単な説明】
【００４４】
【図１】本発明に係る注目対象判定装置の一実施形態の構成を示す機能ブロック図。
【図２】本発明に係る注目対象判定装置の一実施形態を適用する会議の状況例を模式的に示す平面図。
【図３】本発明に係る注目対象判定装置の一実施形態における顔向き検出用方位センサーの設置例を示す斜視図。
【図４】本発明に係る注目対象判定装置の一実施形態における注目対象判定ルールの例を示す表。
【図５】本発明に係る注目対象判定装置の一実施形態における注目対象リストの例を示す表。
【図６】本発明に係る注目対象判定装置の一実施形態における対象方向記録部のデータの例を示す表。
【図７】本発明に係る注目対象判定装置の一実施形態における注目対象判定ルールに付随した注目確信度の例を示す表。
【図８】本発明に係る注目対象判定装置の一実施形態における全体の処理を示す流れ図。
【図９】本発明に係る注目対象判定装置の一実施形態を適用する会議の状況例を模式的に示す平面図であって、図２および図３の実施形態とは異なる例を示す図。
【符号の説明】
【００４５】
１：顔向き検出部
２：周囲状況検出部
３：動作連動性算出部
４：対象方向算出部
５：対象方向記録部
６：注目対象リスト記録部
７：注目対象判定ルール記録部
８：注目対象判定部
９：注目対象記録部
２１：スクリーン
２２：電子ホワイトボード
２３：マイク
２４：コンピュータ
２５：方位センサー
【図１】
2009026190.tif 000003
【図２】
2009026190.tif 000004
【図３】
2009026190.tif 000005
【図４】
2009026190.tif 000006
【図５】
2009026190.tif 000007
【図６】
2009026190.tif 000008
【図７】
2009026190.tif 000009
【図８】
2009026190.tif 000010
【図９】
2009026190.tif 000011