(57)【要約】【課題】表示するコンテンツを閲覧者の興味に応じた表示内容とすることのできる表示情報制御装置を得る。【解決手段】撮像部２は、閲覧者の画像を撮影し、正面顔検出部３は、撮像部２で撮影した閲覧者が正面顔であるかを検出する。正面顔であった場合は顔追跡部４で追跡を行い、連続的に正面顔が検出された場合、閲覧者は表示部１に表示されているコンテンツを注視しているとして表示内容制御部５は、内容を関連度の高いコンテンツを表示部１に表示する。一方、それ以外の場合、表示内容制御部５は関連度の低いコンテンツを切り替えて表示する。【選択図】図１
2008282102.tif 000002
【特許請求の範囲】
【請求項１】
情報を表示する表示部と、
前記表示部を閲覧する閲覧者の画像を、当該表示部の方向から撮影する撮像部と、
前記撮像部で撮影した閲覧者が正面顔であるかを検出する正面顔検出部と、
前記正面顔検出部で正面顔が検出された場合、当該正面顔を追跡する顔追跡部と、
前記顔追跡部で、連続的に所定時間正面顔を追跡した場合は、内容の関連度の高いコンテンツを前記表示部に表示し、それ以外の場合は、関連度の低いコンテンツを切り替えて表示する表示内容制御部とを備えた表示情報制御装置。
【請求項２】
情報を表示する表示部と、
前記表示部を閲覧する閲覧者の画像を撮影する撮像部と、
前記撮像部で撮影した閲覧者の画像から当該閲覧者の顔画像を検出する顔検出部と、
前記顔検出部で検出した閲覧者の顔画像の顔方向を推定する顔方向推定部と、
前記顔方向推定部で前記閲覧者が前記表示部を向いていると推定された場合、当該表示部を向いていると推定された閲覧者の顔を追跡する顔追跡部と、
前記顔追跡部で、連続的に所定時間、前記閲覧者の顔を追跡した場合は、内容の関連度の高いコンテンツを前記表示部に表示し、それ以外の場合は、関連度の低いコンテンツを切り替えて表示する表示内容制御部とを備えた表示情報制御装置。
【請求項３】
情報を表示する表示部と、
前記表示部を閲覧する閲覧者の画像を撮影する撮像部と、
前記撮像部で撮影した閲覧者の画像から当該閲覧者の顔画像を検出する顔検出部と、
前記顔検出部で検出された顔画像から顔器官を検出する顔器官検出部と、
前記顔器官検出部で検出された顔器官の位置情報を用いて前記閲覧者の顔方向を推定する顔方向推定部と、
前記顔方向推定部で前記閲覧者が前記表示部を向いていると推定された場合、当該表示部を向いていると推定された閲覧者の顔を追跡する顔追跡部と、
前記顔追跡部で、連続的に所定時間、前記閲覧者の顔を追跡した場合は、内容の関連度の高いコンテンツを前記表示部に表示し、それ以外の場合は、関連度の低いコンテンツを切り替えて表示する表示内容制御部とを備えた表示情報制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、閲覧者の興味に応じて表示部に表示する内容を制御する表示情報制御装置に関するものである。
【背景技術】
【０００２】
表示部への表示内容を閲覧者の興味に応じて制御する従来の表示情報制御装置では、閲覧者の状態を検知する方法として、画像から閲覧者の頭部領域を推定し、その部分の重心位置を推定して、その重心位置の移動量から、興味のある表示内容を推定していた（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００１−３４３８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の表示情報制御装置では、撮像された画像から抽出される特定の画像は、あくまでも頭部や顔と推定される身体の一部を検出するだけであり、必ずしもディスプレイの使用者が画面を見ているかどうかを推測することはできなかった。つまり、ディスプレイの使用者が存在すべき位置に人がいれば、ディスプレイを見ているかどうかに関係なく、人の移動にあわせて、画面の切り替え操作が行われてしまう。
【０００５】
このように、ディスプレイの表示内容を、ディスプレイ使用者の興味あわせて更新しようとする場合、ディスプレイの使用者が、真にディスプレイを見ているかどうかを確認する方法が必要であるが、従来技術ではディスプレイ使用者の注視行動を検出できず、ディスプレイ使用者の意図に反して画面の切り替えや変更が行われてしまうといった問題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、表示するコンテンツを閲覧者の興味に応じた表示内容とすることのできる表示情報制御装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る表示情報制御装置は、表示部を閲覧する閲覧者の画像を撮影する撮像部と、撮像部で撮影した閲覧者が正面顔であるかを検出する正面顔検出部と、正面顔検出部で正面顔が検出された場合、その正面顔を追跡する顔追跡部と、顔追跡部で、連続的に所定時間正面顔を追跡した場合は、内容の関連度の高いコンテンツを表示部に表示し、それ以外の場合は、関連度の低いコンテンツを切り替えて表示する表示内容制御部とを備えたものである。
【発明の効果】
【０００８】
この発明の表示情報制御装置は、閲覧者の正面顔を検出した場合に内容の関連度の高いコンテンツを表示部に表示するようにしたので、表示するコンテンツを閲覧者の興味に応じた表示内容とすることができる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１は、この発明の実施の形態１による表示情報制御装置を示す構成図である。
図において、表示情報制御装置は、表示部１、撮像部２、正面顔検出部３、顔追跡部４、表示内容制御部５、コンテンツ保持部６を備えている。
表示部１は、表示内容制御部５によって表示内容が制御され、コンテンツ保持部６で保持されているコンテンツを表示するためのディスプレイである。撮像部２は、表示部１を閲覧している人物（閲覧者）の顔画像を撮影するためのもので、表示部１の方向から閲覧者の顔画像を撮影できる位置に配置される。例えば、撮像部２がピンホールカメラのような小型カメラであれば、表示部１の中央の表示部背面側に設置することも可能であるし、通常のカメラであれば、表示部１の上下左右の周辺部分に設置することができる。正面顔検出部３は、撮像部２で撮影された画像に基づいて閲覧者の正面顔を検出するものである。顔追跡部４は、正面顔検出部３で閲覧者の正面顔が検出された場合、その正面顔が連続的に検出されるかを追跡するものである。表示内容制御部５は、顔追跡部４で、連続的に所定時間、閲覧者の顔を追跡した場合は、コンテンツ保持部６より内容の関連度の高いコンテンツを取り出して表示部１に表示し、それ以外の場合は、関連度の低いコンテンツを切り替えて表示させる制御部である。また、コンテンツ保持部６は、表示部１で表示するための種々のコンテンツを格納するための記憶部である。
【００１０】
尚、表示情報制御装置は、コンピュータを用いて実現され、正面顔検出部３〜表示内容制御部５は、それぞれの機能に対応したソフトウェアと、これらのソフトウェアを実行するためのＣＰＵやメモリ等のハードウェアから構成されている。
【００１１】
次に、実施の形態１の表示情報制御装置の動作について説明する。
図２は、実施の形態１の表示情報制御装置の動作を示すフローチャートである。
撮像部２は、閲覧者の方向である表示部１の前面側を撮影しており（ステップＳＴ１）、撮影された画像は正面顔検出部３に入力される。また、表示部１には、表示内容制御部５によってコンテンツ保持部６に保持されている所定のコンテンツが表示されているとする。
【００１２】
正面顔検出部３は、画像中から人物の顔画像を検出し、かつ、その顔画像が正面顔であるかを判定する（ステップＳＴ２）。ここで、正面顔が検出されたということは、その閲覧者が表示部１を注視していると判断することができるため、次に、顔追跡部４で、閲覧者の正面顔を追跡する（ステップＳＴ３）。そして、正面顔が連続して検出されるかを監視し（ステップＳＴ４）、表示内容制御部５は、顔追跡部４で正面顔が連続的に検出されている間は、閲覧者が表示部１に表示されている内容に対して興味を示していると判断し、表示中のコンテンツを継続して表示するよう制御を行う（ステップＳＴ５）。もし、閲覧者の注視状態が続いている最中に表示中のコンテンツが終了した場合、表示内容制御部５は、コンテンツ保持部６に記録されているコンテンツの中から、それまで表示中だったコンテンツと最も関係の深いコンテンツを選択し、表示部１に表示する内容を切り替える。具体的には、ある商品の案内を表示部１に表示している最中に、閲覧者がこれを注視し続けた場合、この商品の案内終了後は、この商品と最も関係の深い情報の表示を行う、といったように表示内容を切り替える。
【００１３】
一方、ステップＳＴ２において、正面顔検出部３が閲覧者の正面顔を検出できなかった場合や閲覧者を検出できなかった場合、あるいは、ステップＳＴ４において、閲覧者が短時間で注視状態を終了した場合、即ち、閲覧者の正面顔が連続して検出される場合以外では、表示内容制御部５は、表示されていた情報に興味を持つ閲覧者が存在しなかったと判断し、当該情報の表示終了後は、それまでの表示内容と関連の薄い別の内容を表示する（ステップＳＴ６）。
【００１４】
以上のように、実施の形態１の表示情報制御装置によれば、情報を表示する表示部と、表示部を閲覧する閲覧者の画像を、表示部の方向から撮影する撮像部と、撮像部で撮影した閲覧者が正面顔であるかを検出する正面顔検出部と、正面顔検出部で正面顔が検出された場合、正面顔を追跡する顔追跡部と、顔追跡部で、連続的に所定時間正面顔を追跡した場合は、内容の関連度の高いコンテンツを表示部に表示し、それ以外の場合は、関連度の低いコンテンツを切り替えて表示する表示内容制御部とを備えたので、閲覧者にとって、興味のある情報は次々と関連の深い情報が表示され続け、興味ない情報が表示された場合は、興味のある情報が表示されるまで、次々と表示内容を切り替わることになる。このように、表示するコンテンツを閲覧者の興味に応じた表示内容とすることができる。
【００１５】
実施の形態２．
図３は、実施の形態２の表示情報制御装置の構成図である。
図示の表示情報制御装置は、表示部１、撮像部２、顔追跡部４、表示内容制御部５、コンテンツ保持部６、顔検出部７、顔方向推定部８を備えている。顔検出部７は、撮像部２で撮影された画像から顔画像を検出する機能部である。顔方向推定部８は、顔検出部７で検出された顔画像を基づいて、閲覧者の顔方向を推定する機能部である。例えば、表示部１と撮像部２が離れた位置にあった場合、撮像部２で撮影された閲覧者の顔画像は、斜め向きの顔画像となる。そのため、検出された顔画像から顔の方向を推定し、顔方向が表示部１の方向を向いているかどうかを推定する。顔追跡部４は、顔方向推定部８で、閲覧者が表示部１方向を向いていると判定された場合に、その閲覧者の顔を追跡するよう構成されており、それ以外は実施の形態１と同様である。また、表示部１、撮像部２および表示内容制御部５、コンテンツ保持部６についても実施の形態１と同様であるため、ここでの説明は省略する。
【００１６】
次に、実施の形態２の表示情報制御装置の動作について説明する。
図４は、実施の形態２の動作を示すフローチャートである。
実施の形態２の表示情報制御装置では、撮像部２で所定の方向の画像が取得されると（ステップＳＴ１）、顔検出部７で、撮像部２の画像から閲覧者の顔画像を検出し（ステップＳＴ２１）、顔方向推定部８で、その顔画像の方向を推定する（ステップＳＴ２２）。このステップＳＴ２２において、顔方向推定部８で閲覧者の顔が表示部１方向を向いていると推定された場合は、顔追跡部４で、その状態が連続するかを追跡する（ステップＳＴ３）。ステップＳＴ３において、連続して表示部１方向を向いている顔を検出した場合、表示内容制御部５は、実施の形態１と同様に関連する内容のコンテンツを表示部１に表示する（ステップＳＴ５）。一方、ステップＳＴ２１において、顔検出部７が顔画像を検出しない場合や、ステップＳＴ２２において、顔方向推定部８で推定した顔の方向が表示部１方向ではない場合、およびステップＳＴ４において、所定時間、連続して検出できなかった場合は、表示内容を切り替えて表示する（ステップＳＴ６）。
【００１７】
以上のように、実施の形態２の表示情報制御装置によれば、情報を表示する表示部と、表示部を閲覧する閲覧者の画像を撮影する撮像部と、撮像部で撮影した閲覧者の画像から閲覧者の顔画像を検出する顔検出部と、顔検出部で検出した閲覧者の顔画像の顔方向を推定する顔方向推定部と、顔方向推定部で閲覧者が表示部を向いていると推定された場合、表示部を向いていると推定された閲覧者の顔を追跡する顔追跡部と、顔追跡部で、連続的に所定時間、閲覧者の顔を追跡した場合は、内容の関連度の高いコンテンツを表示部に表示し、それ以外の場合は、関連度の低いコンテンツを切り替えて表示する表示内容制御部とを備えたので、表示部と撮像部が離れている場合や、表示部が大きく、表示部の周辺に取り付けた撮像部では閲覧者の顔を正面顔として検出できない場合でも、閲覧者の注視状態を正確に検出することが可能になる。
【００１８】
実施の形態３．
図５は、実施の形態３の表示情報制御装置の構成図である。
図示の表示情報制御装置は、表示部１、撮像部２、顔追跡部４、表示内容制御部５、コンテンツ保持部６、顔検出部７、顔方向推定部８ａ、顔器官検出部９を備えている。顔器官検出部９は、顔検出部７で検出された顔画像から、目、鼻、口などの顔の各器官部分の位置情報を検出する機能部である。また、顔方向推定部８ａは、顔器官検出部９で検出された各器官の位置情報に基づいて顔方向を推定するよう構成されている。それ以外の構成は実施の形態２と同様であるため、対応する部分に同一符号を付してその説明を省略する。
【００１９】
次に、実施の形態３の表示情報制御装置の動作について説明する。
実施の形態３において、顔方向を推定するために顔器官を用いる点以外は実施の形態２と同様であるため、顔器官検出部９と顔方向推定部８ａの動作についてのみ説明する。
顔検出部７で撮像部２における撮影画像から顔画像が検出されると、顔器官検出部９は、顔画像から顔の各器官部分を検出する。顔方向推定部８ａでは、これらの各器官の位置関係を用いて顔の方向を推定する。例えば、表示部１と撮像部２が離れた位置にあった場合、撮像部２で撮影された閲覧者の顔画像は、斜め向きの顔画像となる。そのため、検出された顔画像から顔の方向を推定し、顔方向が表示部１の方向を向いているかどうかを、顔方向推定部８ａにより推定する。
【００２０】
顔の各器官から顔方向を推定するには、人間の顔の大きさの平均値を用いる。例えば、人の頭頂部からあごの先端部までの長さや、両目の間隔、目と口の距離などは、多数の人の顔を実測することで平均値を得ることができる。更に、これらの平均値を用いて、人の顔を回転楕円体としたモデル顔を想定しておく。図６は、このモデル顔を示す説明図であり、（ａ）は正面顔、（ｂ）は横向き顔を示している。このようなモデル顔と顔器官検出部９で検出された各器官の位置関係とを比較することにより、各器官の位置関係から顔の向きは容易に算出できる。このような顔器官による顔方向の算出以外の動作は実施の形態１，２と同様である。
【００２１】
以上のように、実施の形態３の表示情報制御装置によれば、情報を表示する表示部と、表示部を閲覧する閲覧者の画像を撮影する撮像部と、撮像部で撮影した閲覧者の画像から閲覧者の顔画像を検出する顔検出部と、顔検出部で検出された顔画像から顔器官を検出する顔器官検出部と、顔器官検出部で検出された顔器官の位置情報を用いて閲覧者の顔方向を推定する顔方向推定部と、顔方向推定部で閲覧者が表示部を向いていると推定された場合、表示部を向いていると推定された閲覧者の顔を追跡する顔追跡部と、顔追跡部で、連続的に所定時間、閲覧者の顔を追跡した場合は、内容の関連度の高いコンテンツを表示部に表示し、それ以外の場合は、関連度の低いコンテンツを切り替えて表示する表示内容制御部とを備えたので、表示部と撮像部が離れている場合や、表示部が大きく、表示部の周辺に取り付けた撮像部では閲覧者の顔を正面顔として検出できない場合でも、閲覧者の注視状態を正確に検出することが可能になる。
【図面の簡単な説明】
【００２２】
【図１】この発明の実施の形態１による表示情報制御装置を示す構成図である。
【図２】この発明の実施の形態１による表示情報制御装置の動作を示すフローチャートである。
【図３】この発明の実施の形態２による表示情報制御装置を示す構成図である。
【図４】この発明の実施の形態２による表示情報制御装置の動作を示すフローチャートである。
【図５】この発明の実施の形態３による表示情報制御装置の構成図である。
【図６】この発明の実施の形態３による表示情報制御装置のモデル顔の説明図である。
【符号の説明】
【００２３】
１  表示部、２  撮像部、３  正面顔検出部、４  顔追跡部、５  表示内容制御部、６  コンテンツ保持部、７  顔検出部、８，８ａ  顔方向推定部、９  顔器官検出部。
【図１】
2008282102.tif 000003
【図２】
2008282102.tif 000004
【図３】
2008282102.tif 000005
【図４】
2008282102.tif 000006
【図５】
2008282102.tif 000007
【図６】
2008282102.tif 000008