(57)【要約】【課題】ユーザが最も見やすい画面の位置を拡大領域として表示できる映像表示装置を提供する。【解決手段】画像表示部１０１は、映像情報を表示する。画像取得部１０２は、映像情報を視認しているユーザの画像情報を取得する。視線検出部１０３は、画像取得部で取得されたユーザの画像情報から、ユーザの視線を検出する。姿勢検出部１０４は、画像取得部で取得されたユーザの画像情報から、ユーザの姿勢を検出する。注視領域判定部１０５は、検出されたユーザの視線から、ユーザの注視領域を判定する。拡大領域判定部１０６は、検出されたユーザの姿勢から、拡大領域を判定する。映像処理部１０７は、注視領域に表示されていた画像を拡大して拡大領域に表示させる。【選択図】図６
2017156665.tif 000002
【特許請求の範囲】
【請求項１】
映像情報を表示する画像表示部と、
前記映像情報を視認しているユーザの画像情報を取得する画像取得部と、
前記画像取得部で取得されたユーザの画像情報から、前記ユーザの視線を検出する視線検出部と、
前記画像取得部で取得されたユーザの画像情報から、前記ユーザの姿勢を検出する姿勢検出部と、
前記検出されたユーザの視線から、前記ユーザの注視領域を判定する注視領域判定部と、
前記検出されたユーザの姿勢から、拡大領域を判定する拡大領域判定部と、
前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させる映像処理部と、
を備えることを特徴とする映像表示装置。
【請求項２】
前記映像処理部は、指示入力装置からの入力に基づいて、前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させることを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記拡大領域は、前記ユーザの両肩を結んだ線分の中心と交わる該線分の法線と、前記画像表示部が交わる点を心として選定されることを特徴とする請求項１又は２に記載の映像表示装置。
【請求項４】
前記画像取得部の台数及び設置間隔は、前記画像表示部の表示画面の横幅及び前記画像取得部の画角に応じて決められることを特徴とする請求項１乃至３の何れかに記載の映像表示装置。
【請求項５】
画像表示部の映像情報を視認しているユーザの画像情報を取得し、
当該取得されたユーザの画像情報から、前記ユーザの視線を検出し、
当該取得されたユーザの画像情報から、前記ユーザの姿勢を検出し、
前記検出されたユーザの視線から、前記ユーザの注視領域を判定し、
前記検出されたユーザの姿勢から、拡大領域を判定し、
前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させる
ことを特徴とする映像表示方法。
【請求項６】
画像表示部の映像情報を視認しているユーザの画像情報を取得するステップと、
当該取得されたユーザの画像情報から、前記ユーザの視線を検出するステップと、
当該取得されたユーザの画像情報から、前記ユーザの姿勢を検出するステップと、
前記検出されたユーザの視線から、前記ユーザの注視領域を判定するステップと、
前記検出されたユーザの姿勢から、拡大領域を判定するステップと、
前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させるステップと、
を含むコンピュータにより実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示装置、映像表示方法、及びプログラムに関する。
【背景技術】
【０００２】
大画面の表示パネルを備えた映像表示装置では、ユーザの目線の方向にある画面に、有用なコンテンツを表示することが効果的である。このことから、ユーザの目線を検出し、このユーザの目線の方向に応じて、表示領域を選定することが提案されている。また、特許文献１には、画像から検出された人の頭部と肩周りの領域の輪郭線の画像特徴から人体の向きを求めるものが記載されている。また、特許文献２には、ユーザの注視点を識別して、コンピュータ操作を行うものが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−９２８８６号公報
【特許文献２】特表２０１４−５１４６６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
多数の人が集まる場所に大画面の映像表示装置を設置し、この映像表示装置に広告コンテンツの映像を表示するような、デジタルサイネージが注目されている。大画面で高解像度の表示パネルを備えた映像表示装置を使ってデジタルサイネージを構築した場合、商品の広告宣伝のコンテンツに、その商品についての各種の詳細情報を表示できる。例えば、旅行会社の広告のコンテンツなら、その旅行会社の広告コンテンツとともに、旅行プラン毎の宿泊先のホテル、料金等の詳細情報を表示できる。
【０００５】
しかしながら、このような詳細情報は、ユーザからは読み難い。そこで、ユーザの注視領域を判定し、ユーザの注視領域に表示されているコンテンツを拡大して表示することが考えられる。例えば、旅行会社のコンテンツなら、その旅行会社の広告コンテンツとともに、旅行プラン毎の宿泊先のホテル、料金等の詳細情報が映像表示装置に表示される。ユーザは、この旅行会社のコンテンツを見ていて、興味のある旅行プランがあれば、その旅行プランに関する部分の画面領域のコンテンツを注視することになる。ここで、そのユーザが注視している画面領域を拡大表示させれば、その旅行プランに含まれる宿泊先のホテルや料金等のコンテンツを拡大表示してユーザに見せることができる。
【０００６】
ここで、拡大領域は、ユーザが最も見やすい画面の位置に選定することが望まれる。ユーザが画面に正対していれば、ユーザが最も見やすい画面の位置は、ユーザの正面となる。そこで、ユーザの正面を拡大領域に選定することが考えられる。しかしながら、最も見やすい画面の位置は、常に、ユーザの正面であるとは限らない。ユーザが斜め方向から画面を見ているような姿勢であれば、ユーザが最も見やすい画面の位置はユーザの正面にはならない。また、ユーザの視線の方向を拡大領域に選定することが考えられる。しかしながら、ユーザが横を向きながら映像表示装置を見ているような姿勢であれば、ユーザが最も見やすい画面の位置は、ユーザの視線の方向とはならなくなる。
【０００７】
上述の課題を鑑み、本発明は、ユーザが最も見やすい画面の位置を拡大領域として、ユーザの注視領域のコンテンツを拡大表示できる映像表示装置、映像表示方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を解決するために、本発明の一態様に係る映像表示装置は、映像情報を表示する画像表示部と、前記映像情報を視認しているユーザの画像情報を取得する画像取得部と、前記画像取得部で取得されたユーザの画像情報から、前記ユーザの視線を検出する視線検出部と、前記画像取得部で取得されたユーザの画像情報から、前記ユーザの姿勢を検出する姿勢検出部と、前記検出されたユーザの視線から、前記ユーザの注視領域を判定する注視領域判定部と、前記検出されたユーザの姿勢から、拡大領域を判定する拡大領域判定部と、前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させる映像処理部と、を備えることを特徴とする。
【０００９】
本発明の一態様に係る映像表示方法は、画像表示部の映像情報を視認しているユーザの画像情報を取得し、当該取得されたユーザの画像情報から、前記ユーザの視線を検出し、当該取得されたユーザの画像情報から、前記ユーザの姿勢を検出し、前記検出されたユーザの視線から、前記ユーザの注視領域を判定し、前記検出されたユーザの姿勢から、拡大領域を判定し、前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させることを特徴とする。
【００１０】
本発明の一態様に係るプログラムは、画像表示部の映像情報を視認しているユーザの画像情報を取得するステップと、当該取得されたユーザの画像情報から、前記ユーザの視線を検出するステップと、当該取得されたユーザの画像情報から、前記ユーザの姿勢を検出するステップと、前記検出されたユーザの視線から、前記ユーザの注視領域を判定するステップと、前記検出されたユーザの姿勢から、拡大領域を判定するステップと、前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させるステップと、を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ユーザの視線を検出してユーザの注視領域を判定し、ユーザの姿勢を検出して、拡大領域を決定している。これにより、ユーザが最も見やすい画面の位置を拡大領域として、ユーザの注視領域のコンテンツを拡大表示できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る映像表示装置の概要の説明図である。
【図２】ユーザの視線及び姿勢と注視領域及び拡大領域との関係の説明図である。
【図３】本発明の第１の実施形態に係る映像表示装置の構成を示すブロック図である。
【図４】本発明の第１の実施形態に係る映像表示装置での処理を示すフローチャートである。
【図５】本発明の第２の実施形態の概要の説明図である。
【図６】本発明の基本構成のブロック図である。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の第１の実施形態に係る映像表示装置１の概要を示すものである。
【００１４】
図１に示すように、本発明の第１の実施形態に係る映像表示装置１は、大型で高解像度の表示パネル１１を備えている。なお、複数のディスプレイを並べたマルチディスプレイにより、大型で高解像度の表示パネル１１を構成するようにしても良い。
【００１５】
また、本発明の第１の実施形態に係る映像表示装置１には、カメラ（画像取得装置）２が備えられている。カメラ２は、ユーザ３の視線と姿勢を検出するために、ユーザ３の画像情報を取得する。ユーザ３の目線は、カメラ２で撮影されたユーザ３の画像から、例えば目の虹彩の位置に基づいて検出できる。また、ユーザ３の姿勢は、カメラ２で撮影されたユーザ３の画像から、例えば肩の位置に基づいて検出できる。カメラ２は、映像表示装置１のベゼル等に設けても良いし、映像表示装置１に外付けしても良い。
【００１６】
指示入力装置４は、例えばリモートコントローラであり、映像表示装置１の操作を行う。なお、指示入力装置４としてマイクロホンを用い、音声認識により、所望の操作入力を行えるようにしても良い。
【００１７】
図１（Ａ）は、ユーザ３が表示パネル１１に正対して座り、表示パネル１１のほぼ中央を注視している状態を示している。ここで、ユーザ３が指示入力装置４を操作して、拡大表示開始の指示の入力を与えたとする。この場合、映像表示装置１は、カメラ２の画像を解析して、ユーザ３の視線を検出し、このユーザの視線の検出情報から、ユーザ３の注視領域Ａ１を判定する。また、映像表示装置１は、カメラ２の画像を解析して、ユーザ３の姿勢を検出し、このユーザの姿勢の検出情報から、拡大領域Ｂ１を選定する。ユーザ３の視線から注視領域Ａ１が判定され、ユーザ３の姿勢から拡大領域Ｂ１が選定されると、映像表示装置１は、注視領域Ａ１に表示されていたコンテンツを拡大して、拡大領域Ｂ１に表示する。
【００１８】
これに対して、図１（Ｂ）は、ユーザ３が表示パネル１１に対して横を向いて座りながら、表示パネル１１を注視している状態を示している。ここで、ユーザ３が指示入力装置４を操作して、拡大表示開始の指示の入力を与えたとする。この場合、映像表示装置１は、カメラ２の画像を解析して、ユーザ３の視線を検出し、このユーザ３の視線の検出情報から、ユーザ３の注視領域Ａ１を判定する。
【００１９】
この例では、ユーザ３は首を曲げて画像を見ているが、ユーザ３の視線から注視領域を判定することで、ユーザ３は首を曲げている場合でも注視領域Ａ１を確実に判定できる。また、映像表示装置１は、カメラ２の画像を解析して、ユーザ３の姿勢を検出し、このユーザの姿勢の検出情報から、拡大領域Ｂ１を選定する。この例では、ユーザ３は横を向いて座っているが、ユーザ３の姿勢から拡大領域Ｂ１を決定することで、ユーザ３が首を曲げずに、拡大領域Ｂ１を見ることができる。
【００２０】
このように、本発明の第１の実施形態に係る映像表示装置１では、カメラ２の画像を解析して、ユーザ３の視線を検出し、このユーザの視線の検出情報から、ユーザ３の注視領域Ａ１を判定している。また、本発明の第１の実施形態に係る映像表示装置１では、カメラ２の画像を解析して、ユーザ３の姿勢を検出し、このユーザ３の姿勢から、拡大領域Ｂ１を決定している。これにより、ユーザ３の姿勢を考慮した最適な画面の位置に、ユーザが注視していたコンテンツを拡大して表示できる。
【００２１】
図２は、ユーザ３の視線及び姿勢と、注視領域及び拡大領域との関係を示している。
図２において、カメラ２の撮影画像から、ユーザ３の視線と姿勢とが検出される。図２に示すように、注視領域Ａ１は、ユーザ３の視線方向を延長した直線Ｌ１と、表示パネル１１の表示面とが交わる領域に設定される。また、拡大領域Ｂ１は、ユーザ３の両肩を結ぶ直線に対して垂直な方向を延長した直線Ｌ２と、表示パネル１１の表示面とが交わる領域に設定される。
【００２２】
次に、本発明の第１の実施形態に係る映像表示装置１の構成について説明する。図３は、本発明の第１の実施形態に係る映像表示装置１の構成を示すブロック図である。
図３に示すように、本発明の第１の実施形態に係る映像表示装置１は、画像入力部２１と、映像処理部２２と、表示駆動部２３と、表示パネル１１と、制御部２５と、記憶部２６と、指示入力部２７と、視線検出部２８と、姿勢検出部２９とから構成される。
【００２３】
画像入力部２１は、外部からの映像信号を入力する。画像入力部２１は、例えば、ＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ；デジタルビジュアルインターフェース）、またはＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ；高精細度マルチメディアインターフェース）である。
映像処理部２２は、画像入力部２１から入力された映像信号の処理を行う。また、映像処理部２２は、制御部２５の制御の下に、注視領域として判定された画像を拡大して、拡大領域に表示させる処理を行う。
表示駆動部２３は、表示パネル１１を駆動する。
【００２４】
制御部２５は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；中央演算処理装置）等からなり、映像表示装置１を構成する各部を制御する。本実施形態では、制御部２５は、視線検出部２８で検出されたユーザの視線から、ユーザの注視領域を判定する注視領域判定部として機能する。また、制御部２５は、姿勢検出部２９で検出されたユーザの姿勢から、拡大領域を判定する拡大領域判定部として機能する。
記憶部２６は、画像の拡大／縮小処理や、画像の位置を変更する処理を行う際の作業領域として使用される。指示入力部２７は、指示入力装置４からの入力を受け取り、制御部２５に出力する。
【００２５】
視線検出部２８は、カメラ２で撮影されたユーザの画像を解析し、例えば目の虹彩の位置に基づいて、ユーザの視線を検出する。姿勢検出部２９は、カメラ２で撮影されたユーザの画像を解析し、例えば肩の位置に基づいて、ユーザの姿勢を検出する。
【００２６】
図３において、画像入力部２１には、外部から映像信号が入力される。この映像信号は、映像処理部２２で処理された後、表示駆動部２３を介して、表示パネル１１に送られる。表示パネル１１には、画像入力部２１からの映像信号に基づく画像が表示される。
【００２７】
指示入力装置４から拡大表示開始の指示の入力が与えられると、この指示入力が指示入力部２７を介して、制御部２５に送られる。制御部２５は、拡大表示開始の指示入力を受け取ると、視線検出部２８から視線検出情報を受け取り、この視線検出情報に基づいて、ユーザの注視領域を判定する。
また、制御部２５は、拡大表示開始の指示入力を受け取ると、姿勢検出部２９から姿勢検出情報を受け取り、この姿勢検出情報に基づいて、拡大領域を判定する。そして、制御部２５は、映像処理部２２を制御して、注視領域として判定された画像を拡大して、拡大領域に表示させる処理を行う。
【００２８】
図４は、本発明の第１の実施形態に係る映像表示装置１での処理を示すフローチャートである。
図４において、制御部２５は、指示入力部２７から拡大表示開始の指示が入力されたか否かを判定する（ステップＳ１０１）。
【００２９】
制御部２５は、指示入力部２７から拡大表示開始の指示が入力されたと判定すると（ステップＳ１０１：Ｙｅｓ）、視線検出部２８の情報に基づいて、ユーザの視線を検出する（ステップＳ１０２）。
【００３０】
ユーザの視線が検出されたら、制御部２５は、ユーザの視線から、ユーザの注視領域を判定する（ステップＳ１０３）。
【００３１】
次に、制御部２５は、姿勢検出部２９の検出情報に基づいて、ユーザの姿勢を検出する（ステップＳ１０４）。
【００３２】
ユーザの視線が検出されたら、制御部２５は、ユーザの姿勢から、拡大表示領域を選定する（ステップＳ１０５）。
【００３３】
拡大表示領域が選定されたら、制御部２５は、映像処理部２２を制御し、注視領域の画像を拡大して、拡大表示領域に表示させる（ステップＳ１０６）。
【００３４】
制御部２５は、指示入力部２７から拡大表示終了の指示が入力されたか否かを判定する（ステップＳ１０７）。
【００３５】
指示入力部２７から拡大表示終了の指示が入力されたと判定すると（ステップＳ１０７：Ｙｅｓ）、制御部２５は、拡大表示処理を終了させ（ステップＳ１０８）、処理をステップＳ１０１にリターンする。
【００３６】
以上説明したように、本発明の第１の実施形態では、ユーザ３の視線の検出情報から、注視領域を判定し、ユーザ３の姿勢の検出情報から、拡大領域を選定している。これにより、ユーザ３の姿勢を考慮した最適な画面の位置に、ユーザが注視していたコンテンツを拡大して表示できる。
【００３７】
＜第２の実施形態＞
図５は、本発明の第２の実施形態の概要を示すものである。上述の第１の実施形態では、１台のカメラ２で、ユーザ３の視線及び姿勢を検出している。これに対して、この第２の実施形態では、図５に示すように、複数のカメラ２ａ、２ｂ、２ｃ、…を設置して、ユーザ３の視線及び姿勢を検出している。
【００３８】
すなわち、図５に示すように、カメラ２ａ、２ｂ、２ｃ、…の画角αが例えば８０度であり、映像表示装置１の横方向の長さが３ｍであるとする。この場合、１台のカメラ、例えばカメラ２ｂが映像表示装置１の横方向の全てを撮像領域としてカバーするためには、ユーザ３と映像表示装置１との間の距離を約１．８ｍ離す必要がある。
【００３９】
そこで、この第２の実施形態では、例えば、１．１９ｍ毎に、複数のカメラ２ａ、２ｂ、２ｃ、…を配置するようにしている。このように、複数のカメラ２ａ、２ｂ、２ｃ、…を設置すれば、例えば、画像表示装置からの距離が常に約１ｍ以上の距離でも、複数のカメラ２ａ、２ｂ、２ｃ、…により、映像表示装置１の横方向の全てで、ユーザ３をカバーできる。
このように、カメラの必要台数やカメラ間の距離は、映像表示装置１の画面の横幅及びカメラの画角に応じて決められる。
【００４０】
図６は、本発明による映像表示装置の基本構成を示す概略ブロック図である。本発明による映像表示装置は、画像表示部１０１と、画像取得部１０２と、視線検出部１０３と、姿勢検出部１０４と、注視領域判定部１０５と、拡大領域判定部１０６と、映像処理部１０７とを備える。
画像表示部１０１は、映像情報を表示する。
画像取得部１０２は、映像情報を視認しているユーザの画像情報を取得する。
視線検出部１０３は、画像取得部で取得されたユーザの画像情報から、ユーザの視線を検出する。
姿勢検出部１０４は、画像取得部で取得されたユーザの画像情報から、ユーザの姿勢を検出する。
注視領域判定部１０５は、検出されたユーザの視線から、ユーザの注視領域を判定する。
拡大領域判定部１０６は、検出されたユーザの姿勢から、拡大領域を判定する。
映像処理部１０７は、注視領域に表示されていた画像を拡大して拡大領域に表示させる。
【００４１】
なお、映像表示装置１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００４２】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００４３】
１：画像表示装置，
２：カメラ，
４：指示入力装置，
１１：表示パネル，
２１：画像入力部，
２２：映像処理部，
２３：表示駆動部，
２５：制御部，
２６：記憶部，
２７：指示入力部，
２８：視線検出部，
２９：姿勢検出部
【図１】
2017156665.tif 000003
【図２】
2017156665.tif 000004
【図３】
2017156665.tif 000005
【図４】
2017156665.tif 000006
【図５】
2017156665.tif 000007
【図６】
2017156665.tif 000008