(57)【要約】【課題】非視聴者には騒音にならず、視聴者には見るタイミングに合わせて音声を流すことにより、注目度が向上し、情報伝達力に優れた情報提示装置を得る。【解決手段】顔画像検出部６は、人物検出カメラ５によって撮影された画像を用い、画像情報提示部１を向いている顔画像を検出して当該人物の位置を推定する。提示内容制御部４は、顔画像検出部６からの位置情報に基づき、狭指向性スピーカを用いた音声情報提示部２を制御して当該位置に向けて音声情報を提示する。【選択図】図１
2009111833.tif 000002
【特許請求の範囲】
【請求項１】
提示情報記録部に記録された情報を表示する画像情報提示部と、
人物を検出する人物検出カメラと、
前記人物検出カメラの画像から、前記画像情報提示部を向いている顔画像を検出するとともに当該人物の位置を推定する顔画像検出部と、
前記顔画像検出部からの位置情報に基づき、狭指向性スピーカを用いた音声情報提示部を制御し、当該位置に向けて音声情報を提示する提示内容制御部とを備えた情報提示装置。
【請求項２】
画像情報提示部を動かすディスプレイ雲台と、音声情報提示部を動かすスピーカ雲台のうち少なくとも一つを備えた請求項１記載の情報提示装置。
【請求項３】
音声情報提示部が視聴エリアをブロック分けし、ブロック毎に設けた狭指向性スピーカを備えた請求項１記載の情報提示装置。
【請求項４】
画像情報提示部を向いている顔画像の経過時間、視線の動き、まばたきの回数の少なくとも１つのデータに基づき、情報提示内容を変更することを特徴とする請求項１記載の情報提示装置。
【請求項５】
音声情報提示部が複数の狭指向性スピーカで構成され、音声の波長の位相を制御し、特定の人物に音声情報を提示するものであることを特徴とする請求項１記載の情報提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラ映像から検出された顔画像の情報を用いて、ディスプレイへの画像情報とスピーカへの音声情報を制御する機能を備えた情報提示装置に関するものである。
【背景技術】
【０００２】
従来の情報表示装置及び情報収集装置では、表示装置への視聴者の視線をカメラ画像によって検出し、視線に合わせて表示内容を制御している。しかし視聴者ごとに音声を流す事はできないため、音声を流さないか、もしくは、表示装置付近全体に同じ音声を流していた。（例えば、特許文献１参照）。
【０００３】
【特許文献１】特許第３５７９２１８号公報（第２図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の情報表示装置は、表示を見ない人にとっては、表示装置付近全体に音声を流すと騒音になるという欠点があった。また、表示を見ている人にとっては、音声が無いか、あるいはあっても音声のタイミングがずれているため、情報伝達力に欠けるといった問題点があった。
【０００５】
この発明は、上述のような問題を解決するためになされたもので、非視聴者には騒音にならず、視聴者には見るタイミングに合わせて音声を流すことにより、注目度が向上し、情報伝達力に優れた情報提示装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る情報提示装置では、顔画像検出部は、人物検出カメラによって撮影された画像を用い、画像情報提示部を向いている顔画像を検出して当該人物の位置を推定し、提示内容制御部は、顔画像検出部からの位置情報に基づき、狭指向性スピーカを用いた音声情報提示部を制御して当該位置に向けて音声情報を提示するものである。
【発明の効果】
【０００７】
この発明に係る情報提示装置は、画像情報提示部を見るタイミングに合わせて狭指向性のスピーカで音声情報を提示するので、注目度が向上し情報伝達力に優れた情報提示装置を得る事ができると共に、非視聴者にとっては騒音とならず静寂を保つことができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、この発明を実施するための実施の形態１における情報提示装置のブロック図である。情報提示装置は、画像情報を表示する画像情報提示部１、音声情報を提示する音声情報提示部２、画像および音声の提示内容が記録されている提示情報記録部３、提示情報記録部３から画像情報提示部１及び音声情報提示部２への提示内容を読み出すとともにこれらを制御する提示内容制御部４、画像情報提示部１を注視している人物の顔が撮影可能な位置に設置された人物検出カメラ５、人物検出カメラ５によって撮影された映像から、視聴者の顔画像を検出する顔画像検出部６から構成される。
【０００９】
なお、音声情報提示部２は、強い超音波が空気中を伝搬する過程で発生するひずみ成分を利用して可聴帯域の音を得るパラメトリックスピーカーの原理を利用しており、限られた狭い範囲内でのみ聞こえる狭指向性スピーカから成り立っている。例えば、このスピーカは、スピーカの向いている方向に対して約±１０°にしか音は広がらない（約２０°の角度で広がる）。
【００１０】
次に本発明の動作内容について説明する。提示情報記録部３の何らかの情報が画像情報提示部１に表示されているとき、この情報を注視している人が存在するかを調べるため、顔画像検出部６は、人物検出カメラ５で撮影された画像の中から、画像情報提示部１を向いている顔画像を探索する。顔画像の検出には、種々の方法が提案されているが、例えば、特開２００４−２５２９４０号公報や、Ｐａｕｌ  Ａ．  Ｖｉｏｌａ、Ｍｉｃｈａｅｌ  Ｊ．  Ｊｏｎｅｓ、「Ｆａｓｔ  ａｎｄ  Ｒｏｂｕｓｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｕｓｉｎｇ  Ａｓｙｍｍｅｔｒｉｃ  ＡｄａＢｏｏｓｔ  ａｎｄ  ａ  Ｄｅｔｅｃｔｏｒ  Ｃａｓｃａｄｅ．」  Ａｄｖａｎｃｅｓ  ｉｎ  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ  １４、ｐ１３１１−１３１８、２００１、ＭＩＴ  Ｐｒｅｓｓ等で開示されている画像処理の手法を使う事ができる。人物検出カメラ５が画像情報提示部１の中央部の直上に設置されている場合、例えば、顔画像検出部６は、この人物検出カメラ５で撮影された画像に映っている人物の顔の左右の輪郭からの口や目等までの距離を求める。この左右の距離が等しい場合、中心を見ている顔画像と推定できるため（正面顔画像）、当該人物は人物検出カメラ５及び画像情報提示部１の中心方向を見ていることになる。このような手法で、顔画像検出部６では、人物検出カメラ５で撮影された画像の中央や端等に写っている人物の中から画像情報提示部１の中心を向いている顔画像を検出し、画像中の顔の位置、および顔の大きさから、当該人物の立ち位置をカメラからの相対位置で推定し、提示内容制御部４に伝達する。提示内容制御部４では、顔画像検出部６から受け取った視聴者の位置情報に基づき、音声情報提示部２を制御し、当該位置に向けて音声情報を提示する。このとき、画像情報提示部１には、当初の情報や一般的な情報を流しつづけても良いし、視聴者が注視するタイミングに合わせ、音声にリンクした画像を最初から再生しても良い。
【００１１】
なお、画像を最初から再生する場合、画像情報提示部１を向いていた顔画像が、画像情報提示部を向かなくなった時、つまり、画面を見なくなったときや、移動等で居なくなった時に、提示内容制御部４は、音声情報提示部２からの情報提示を中止すると共に、提示情報記録部３からの読み出し制御をする。例えば、画像情報提示部１には初期画面や一般情報に切替えても良い。その後、再度、同一顔画像が画像情報提示部１を向いた時、つまり、再度画面を見たり、移動等で戻ってきた際には、先程の情報提示を中止した所から再開してもよい。
【００１２】
また、外部マイクを備えて情報提示装置近辺の騒音レベルを測定し、それに合わせて音声情報提示部２で狭指向性スピーカの音量を調整してもよい。なお、あらかじめ人物検出カメラ５内の人数と情報提示装置近辺の騒音レベルの関係を測定しておき、その結果に基づいて、人物検出カメラ５内の人数に合わせて音声情報提示部２で狭指向性スピーカの音量を調整してもよい。
【００１３】
また、画像情報提示部１を向いている顔画像の経過時間、視線の動き、まばたきの回数の少なくとも１つのデータに基づき、提示内容制御部４は、情報提示内容を変更してもよい。例えば、視線がふらふらと頻繁に移動する時は、提示情報に興味が薄いと思われるので、提示情報の内容を変えたり、容易な内容に切り替えると良い。一方、画像情報提示部１を注視している時間が長かったり、まばたきの回数が少なくなってきた時は、提示情報の内容に興味を示していると思われるので、情報を追加提示したり、専門的な内容に切り替えると良い。
【００１４】
このような構成によれば、画像情報提示部１を見るタイミングに合わせて狭指向性のスピーカで音声情報を提示するので、視聴者の注目度が向上し情報伝達力に優れた情報提示装置が得られると共に、視聴者以外の人物に音声情報を提示することが無くなるため、視聴者以外の人物にとって騒音とならず静寂を保てるという効果がある。
【００１５】
また、一度視聴を止めた後、再度視聴を始めた視聴者に先程の中断したところから再生するので、同じ内容の情報を再度視聴する必要が無く、効率的に情報を伝達する事が可能となる。
【００１６】
また、情報提示装置近辺の人数や騒音レベルに応じて狭指向性のスピーカの音量を調整するので、音声情報が聞きやすくなり、情報伝達力が向上する。
【００１７】
また、経過時間、視線の動き、まばたきの回数といった注視動作に応じて情報提示内容を変更するので、個人の興味に合った効率的な情報を伝達する事ができ、よりいっそう注目度を向上させることができるといった効果もある。
【００１８】
実施の形態２．
図２乃至４は、この発明を実施するための実施の形態２における情報提示装置のブロック図である。これらの図は、実施の形態１における構成に加え、視聴者の立ち位置に応じてディスプレイの向きを変更できるディスプレイ雲台部７を備えたもの（図２）、狭指向性スピーカの向きを変更出来るスピーカ雲台部８を備えたもの（図３）、ディスプレイ雲台部７と狭指向性スピーカの向きを変更出来るスピーカ雲台部８を共に備えたもの（図４）を示す。
【００１９】
次に本発明の動作内容について説明する。例えば人物検出カメラ５が画像情報提示部１の中央部の直上に固定され、画像情報提示部１と同時に動くとする。画像情報提示部１の中心を見ている人が画面の中心に相対する位置に居るとすると、当該人物は人物検出カメラ５の撮影画像の中央部に写っていることになる。また、画像情報提示部１の中心を見ている人が画面の隅に相対する位置に居るとすると、当該人物は人物検出カメラ５の撮影画像の隅に写っていることになる。つまり、画像情報提示部１の中心を見ている人に対し画面を正対させるには、人物検出カメラ５の撮影画像の中央部に当該人物が写るようにディスプレイ雲台部７が画像情報提示部１を回転させると良い。
【００２０】
また、他の方法としては、人物検出カメラ５の画像中の顔の位置、および顔の大きさから、当該人物の立ち位置の座標を求める。この座標と、画像情報提示部１の中央部の位置座標より、画像情報提示部１から当該人物への位置ベクトルが計算できる。また、画像情報提示部１の画面に垂直な法線ベクトルはディスプレイ雲台部７の動きから計算できる。この２つのベクトルの成す角度を計算し、その角度に相当する量だけディスプレイ雲台部７が画像情報提示部１を回転させると、画像情報提示部１を見ている人に対し画面を正対させることができる。
【００２１】
また、スピーカ雲台部８の動きから狭指向性のスピーカが向いている方向ベクトルが計算できる。一方、スピーカの位置座標と当該人物の位置座標より、スピーカから当該人物への位置ベクトルが計算できる。これら２つのベクトルの成す角度を計算し、その角度に相当する量だけスピーカ雲台部８が音声情報提示部２の向きを変更すると、狭指向性スピーカは当該人物に向く事になる。
【００２２】
このような構成によれば、画像情報提示部１を注視している視聴者に対して、画像情報をより見やすい状態にディスプレイの向きを変更することができるため、注視動作を始めた視聴者に対して、よりいっそう注目度を向上させることができる。また、狭指向性スピーカの向きを変更し、音声情報をより聞きやすい状態にすることができるため、注視動作を始めた視聴者に対して、よりいっそう注目度を向上させることができる。
【００２３】
実施の形態３．
図５と図６は、それぞれこの発明を実施するための実施の形態３における情報提示装置のブロック図と、システム構成を示すイメージ図である。視聴エリアを複数のブロックに分割し、各ブロックごとに音声情報を提示するのに必要な数の狭指向性スピーカからなる音声情報提示部２によって構成されている。
【００２４】
次に本発明の動作内容について説明する。顔画像検出部６は、人物検出カメラ５で撮影された画像を元に、画像情報提示部１を向いている人物の位置を推定する。その位置に応じ、提示内容制御部４は、音声情報を提示する狭指向性スピーカを選択し、視聴者が注視を開始したタイミングにあわせて音声情報の提示を開始する。また、複数の人間が異なるブロックにいる場合で異なるタイミングで視聴を開始した際にも、各々のタイミングに合わせて音声情報提示部２を制御し音声情報を提示する。また、画像情報提示部を見ながら移動する人がいるときは、その人物の移動にあわせて、エリアごとにスピーカを切り替える。
【００２５】
なお、画像情報提示部１として、見る角度によって複数の情報を表示できるディスプレイを用いたり、１台の画像情報提示部を複数区画に分割したり、画像情報提示部を複数台設置しても良い。このときは、画面を見ている人の視線に応じ、どの画面を見ているかを推定し、当該人物が見ている画面ごとに情報表示を行うと良い。
【００２６】
また、複数の画像情報提示部１ごとにディスプレイ雲台を取り付けたり、音声情報提示部２にスピーカ雲台を取り付けてもよい。
【００２７】
このような構成によれば、注視者の位置に応じて音声情報を提示する狭指向性スピーカを選択することができるので、注視動作を始めた視聴者に対して、よりいっそう注目度を向上させることができる。また、複数人が同時に注視している場合でも、各視聴者に合わせた音声情報の提示が可能になる。また、画面を見ながら移動している人物にも適切に音声情報を提供できるため、情報伝達力が向上するという効果がある。
【００２８】
また、見る角度によって複数の情報を表示できるディスプレイを用いたり、画像情報提示部を複数区画に分割したり、複数台設置すると、複数の人に合わせて個別に画像と音声情報を提示できるので、より情報伝達力が向上する。
【００２９】
また、ディスプレイ雲台をつけると特定の視聴者が見やすくなるので、より情報伝達力が向上する。また、スピーカ雲台を備えると、同一ブロックにいる複数の人が別々のタイミングで視聴を始めても、隣接ブロックにあるスピーカの向きを変えて当該ブロックに音声情報を提示できるので、ブロックに限られずに複数の人に情報を提示できると共に、聞きやすい音声となるので、情報伝達力が向上する。
【００３０】
実施の形態４．
実施の形態３までは、複数の人が近接位置にいる場合、視聴していない隣の人にも音声情報が提示される可能性があるが、ここでは、複数の人物が近接位置にいる場合でも、当該人物のみに音声情報を提示する装置を示す。
【００３１】
例えば図７に示すようにＡ〜Ｃの３人が並んでいる時に、中央のＢ氏が画像情報提示部１への注視を開始したとする。複数の人の距離が近い場合、狭指向性のスピーカでも複数の人物に音声情報を提示する場合がある。スピーカ２１はＢ氏とＣ氏に音声情報を流す事になり、視聴していないＣ氏にとっては騒音となる。そのような時は隣接する狭指向性のスピーカ２２の音声の波長の位相を半波長ずらせはよい。その結果、Ｃ氏のいるエリアでは音の干渉のため音を消す事ができる。
【００３２】
このような構成としたことにより、複数の人物が近接位置にいても、視聴を始めた当該人物のみに音声情報を提示できるため、当該人物には情報伝達力が向上すると共に、近接する人に対しても騒音とはならず、快適にする事が可能となる。
【図面の簡単な説明】
【００３３】
【図１】この発明の実施の形態１を示す情報提示装置のブロック図である。
【図２】この発明の実施の形態２を示す情報提示装置のブロック図である。
【図３】この発明の実施の形態２を示す情報提示装置のブロック図である。
【図４】この発明の実施の形態２を示す情報提示装置のブロック図である。
【図５】この発明の実施の形態３を示す情報提示装置のブロック図である。
【図６】この発明の実施の形態３を示す情報提示装置のシステム構成を示すイメージ図である。
【図７】この発明の実施の形態４を示すイメージ図である。
【符号の説明】
【００３４】
１  画像情報提示部
２  音声情報提示部
３  提示情報記録部
４  提示内容制御部
５  人物検出カメラ
６  顔画像検出部
７  ディスプレイ雲台部
８  スピーカ雲台部
２１、２２  狭指向性スピーカ
【図１】
2009111833.tif 000003
【図２】
2009111833.tif 000004
【図３】
2009111833.tif 000005
【図４】
2009111833.tif 000006
【図５】
2009111833.tif 000007
【図６】
2009111833.tif 000008
【図７】
2009111833.tif 000009