(57)【要約】      （修正有）【課題】広い範囲で視聴者の視線方向を検出する。【解決手段】視線検出装置は、駆動制御部３１１と、検出部３１２と、を備える。駆動制御部３１１は、表示部の表示画面に対面する外部環境を撮像する撮像部１５１の光軸方向を、駆動系を用いて移動させる。検出部３１２は、駆動制御部３１１で光軸方向が移動する毎に撮像部１５１により撮像される画像情報に視聴者の顔が含まれていた場合に、当該視聴者の視線方向を検出する。【選択図】図３
2015011579.tif 000002
【特許請求の範囲】
【請求項１】
表示部の表示画面に対面する外部環境を撮像する撮像部の光軸方向を、駆動系を用いて移動させる駆動制御部と、
前記駆動制御部で前記光軸方向が移動する毎に前記撮像部により撮像される画像情報に視聴者の顔が含まれていた場合に、当該視聴者の視線方向を検出する検出部と、
を備える視線検出装置。
【請求項２】
前記検出部は、さらに、前記画像情報から前記視聴者の顔を検出し、
前記検出部が前記視聴者の顔を検出した場合に、前記画像情報から当該視聴者の目を含む表示領域を切り出した部分画像情報を送信するように前記撮像部に指示する制御部を、
さらに備える請求項１に記載の視線検出装置。
【請求項３】
前記制御部は、さらに、前記撮像部から前記画像情報を第１のフレームレートで転送されている場合に、前記検出部が前記視聴者の顔を検出したことを条件に、前記部分画像情報を、前記第１のフレームレートより高い第２のフレームレートで転送するよう指示し、
前記検出部は、前記第１のフレームレートで転送される前記画像情報から前記視聴者の顔を検出し、前記第２のフレームレートで転送される前記部分画像情報から、前記視聴者の前記視線方向を検出する、
請求項２に記載の視線検出装置。
【請求項４】
前記外部環境に対して、赤外線を照射する照射部と、をさらに備え、
前記検出部は、前記画像情報における、前記視聴者の目が検出された表示領域内の、前記照射部により照射された前記赤外線が反射した位置情報を基準に、前記視聴者の視線方向を検出する、
請求項１乃至３のいずれか一つに記載の視線検出装置。
【請求項５】
前記駆動制御部は、前記撮像部と共に前記照射部を、前記駆動系を用いて移動させる、
請求項４に記載の視線検出装置。
【請求項６】
前記照射部は、水平方向に複数個設けられている、
請求項４又は５に記載の視線検出装置。
【請求項７】
前記検出部は、前記複数個から前記赤外線の照射を行う前記照射部を切り替えて、前記視聴者の視線方向を検出する、
請求項６に記載の視線検出装置。
【請求項８】
表示部を表示制御する表示制御装置で実行される視線検出方法であって、
表示部の表示画面に対面する外部環境を撮像する撮像部の光軸方向を、駆動系を用いて移動させる駆動制御ステップと、
前記駆動制御ステップで前記光軸方向が移動する毎に前記撮像部により撮像される画像情報に視聴者の顔が含まれていた場合に、当該視聴者の視線方向を検出する検出ステップと、
を含む視線検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、視線検出装置、及び視線検出方法に関する。
【背景技術】
【０００２】
従来から、ユーザの視線方向を認識し、当該視線方向に応じたサービスを提供する技術が提案されている。単眼のカメラを用いてユーザの視線方向を検出する場合、ユーザの目が映し出された領域について、予め定められた基準以上の解像度が必要である。
【０００３】
視線方向の認識技術が適用されているＰＣやタブレット端末では、端末から操作者の位置が常に一定で有り且つ操作者と（撮像部が近傍に設けられた）画面との間の距離が近い（例えば２０ｃｍ〜１ｍ以内）ため、固定画角による撮像部で、ユーザの目が映し出された領域について予め定められた基準以上の解像度で取得することが容易である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−３８１０６号公報
【非特許文献】
【０００５】
【非特許文献１】“小型カメラとＬＥＤを用いたＰＣに内蔵可能な視線検出技術を開発”、[online]、２０１２年１０月２日、株式会社富士通研究所、[２０１３年６月１８日検索]、インターネット<URL:http://pr.fujitsu.com/jp/news/2012/10/2-1.html>
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、テレビジョン受像器などの映像出力装置においては、ユーザが画面から所定の距離以上離れている場合や、ユーザが画面の正面から視聴しない場合も多い。このため、映像出力装置に、従来の視線方向を検出する技術を適用するのは難しい。
【０００７】
本発明は、上記に鑑みてなされたものであって、ユーザの視線方向の検出する範囲を広くする視線検出装置、及び視線検出方法を提供する。
【課題を解決するための手段】
【０００８】
実施形態の視線検出装置は、駆動制御部と、検出部と、を備える。駆動制御部は、表示部の表示画面に対面する外部環境を撮像する撮像部の光軸方向を、駆動系を用いて移動させる。検出部は、駆動制御部で光軸方向が移動する毎に撮像部により撮像される画像情報に視聴者の顔が含まれていた場合に、当該視聴者の視線方向を検出する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施形態にかかるテレビジョン表示装置の構成例を示した図である。
【図２】図２は、実施形態にかかるテレビジョン表示装置が配置された環境の例を示した図である。
【図３】図３は、実施形態にかかるテレビジョン表示装置における、視線方向を検出するために用いられる構成を示した図である。
【図４】図４は、実施形態にかかる駆動撮像部の水平方向の回転例を示した図である。
【図５】図５は、実施形態にかかる駆動制御部による駆動撮像部の回転制御により撮像される範囲の遷移を示した図である。
【図６】図６は、実施形態にかかる検出部により視聴者の顔が検出された例を示した図である。
【図７】図７は、実施形態にかかる駆動制御部により微少な移動制御が行われた後に撮像部により撮像される範囲を示した図である。
【図８】図８は、実施形態にかかる撮像部により、視聴者の目を含む表示領域が切り出された部分画像データの例を示した図である。
【図９】図９は、実施形態にかかる検出部による視線方向の検出の概念を示した図である。
【図１０】図１０は、実施形態にかかるテレビジョン表示装置における、視聴者の視線方向の検出処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に示す実施形態では、視線方向検出装置をテレビジョン表示装置に適用した例について説明する。なお、本実施形態は、テレビジョン表示装置に適用することに制限するものではなく、画面等に視線を向けるユーザの視線方向を検出する技術であれば良い。例えば、プロジェクタ装置や、表示部を表示制御する表示制御装置に適用しても良いし、テレビジョン表示装置とは別構成の装置で、当該テレビジョン受信装置に向けられる視線方向を検出しても良い。
【００１１】
図１は、本実施形態にかかるテレビジョン表示装置１００の構成例を示した図である。図１に示されるように、テレビジョン表示装置１００は、支持部１０１と、筐体１０２とを備える。筐体１０２には、表示部１０３の少なくとも一部を収納する。
【００１２】
さらに、本実施形態においては、テレビジョン表示装置１００の筐体１０２の下側には、赤外線を照射する右側ＩＲエミッタ１６１と、左側ＩＲエミッタ１６２と、視線方向を検出するための駆動撮像部１５０と、を備えている。右側ＩＲエミッタ１６１及び左側ＩＲエミッタ１６２は、筐体１０２の下側の中心に設けられた駆動撮像部１５０を基準に水平方向に所定の距離（例えば３０ｃｍ〜５０ｃｍ）離れたところに設けられている。このように、本実施形態にかかるテレビジョン表示装置１００は、筐体１０２の表面に、水平方向に複数個のＩＲエミッタ（右側ＩＲエミッタ１６１及び左側ＩＲエミッタ１６２）が設けられている。
【００１３】
駆動撮像部１５０には、ＩＲエミッタ１５２と、撮像部１５１とが設けられている。そして、右側ＩＲエミッタ１６１及び左側ＩＲエミッタ１６２、及び駆動撮像部１５０に設けられたＩＲエミッタ１５２は、テレビジョン表示装置１００の表示部１０３の表示画面に対面する外部環境に対して、赤外線を照射する。
【００１４】
さらには、駆動撮像部１５０に設けられた撮像部１５１が、テレビジョン表示装置１００の表示部１０３の表示画面に対面する外部環境を撮像する。本実施形態にかかる撮像部１５１では、可視光をカットするフィルタを設けても良い。可視光をカットするフィルタを設けた場合、ＩＲエミッタ１５２、右側ＩＲエミッタ１６１及び左側ＩＲエミッタ１６２から照射された赤外線で外部環境を撮像すると、テレビ視聴時の（他の照明、太陽光等による）照度、波長変化などの環境の違いに拘わらず視線方向を高い精度で検出できる。
【００１５】
図２は、本実施形態にかかるテレビジョン表示装置１００が配置された環境の例を示した図である。
【００１６】
ところで、従来のＰＣや携帯情報端末（例えばタブレット端末）のように、当該端末に対する操作者の相対的な位置が一定の場合、固定画角のカメラセンサーで視線方向を検出可能であった。
【００１７】
これに対して、図２に示される環境においては、ユーザがＰＣや携帯情報端末（例えばタブレット端末）を利用する場合（例えば数十ｃｍでユーザが当該端末に設けられた撮像部と正対していた場合）と比べて、視聴者が複数存在したり、視聴者とテレビジョン表示装置１００との間の距離が長くなる傾向にある。さらには、視聴者が番組視聴中に移動したり、視聴者がテレビジョン表示装置１００の正面から視聴しないことも多い。このような環境の違いのため、テレビジョン表示装置１００で固定画角のカメラセンサーで視聴者の視線方向を検出するのは難しい。
【００１８】
さらに、視聴者の視線方向を検出するためには、検出アルゴリズムの性質上、高解像度の撮像部を用いる必要がある。撮像部には、例えば数メガ〜十数メガピクセルのセンサーが必要となる。さらに、検出アルゴリズムの性質上、画像データを少なくとも３０ｆｐｓ以上のフレームレートで転送し、解析する必要がある。
【００１９】
しかしながら、テレビジョン表示装置１００においては、数十メガピクセルの画像データを３０ｆｐｓ以上のフレームレートでキャプチャー可能なインターフェースを有していない。このため、テレビジョン表示装置１００においては、高性能なＬＳＩを搭載しない限りは、検出対象となる画像データあたりの画素数を低下させるか、フレームレートを低下させる必要がある。この場合、視聴者の視線方向を高い精度で検出するのは難しい。
【００２０】
さらには、視聴者の目の表示領域にある程度の解像度が割り当てられるように設定する必要がある。つまり、テレビジョン表示装置１００と視聴者との間の距離が離れていた場合に撮像された画像データにおいて、視聴者の目の領域にある程度の解像度が割り当てられるようにするためには、従来のＰＣや携帯情報端末と比べて、撮像部に望遠レンズを搭載する必要がある。
【００２１】
このように、撮像部に望遠レンズを搭載すると、外部環境の被撮像領域が狭くなる。しかしながら、視聴者は外部環境において様々な位置からテレビジョン表示装置１００からの映像データを視聴する可能性がある。この場合に、撮像部が固定されていると、視聴者を撮像することが難しくなる。
【００２２】
そこで、本実施形態は、望遠レンズを搭載した撮像部１５１が設けられた駆動撮像部１５０を、駆動系を用いて駆動制御を行い、撮像部１５１の光軸方向を移動させることとした。これにより、外部環境の広い範囲（例えば図２の範囲２０１）で視聴者の検出が可能とする。さらに、本実施形態は、従来技術と比べて望遠レンズを撮像部１５１が搭載しているため、テレビジョン表示装置１００から離れた位置に存在する視聴者の視線方向を検出可能とする。
【００２３】
撮像部１５１は、内部に設けられているカメラセンサーとして５〜８メガピクセル程度の一般的なセンサーを搭載する。さらに、本実施形態にかかる撮像部１５１では、画角１０°程度の望遠レンズを用いる例とする。画角は、テレビジョン表示装置１００の視聴最短距離（例えば１ｍ）において、視聴者の顔全体が過不足なく撮像可能な範囲として設定される。なお、本実施形態は、画角１０°程度の例について説明するが、画角を制限するものではなく、実施態様等に応じて適切な画角の望遠レンズが用いられるものとする。
【００２４】
図３は、本実施形態にかかるテレビジョン表示装置１００における、視線方向を検出するために用いられる構成を示した図である。図３に示されるように、テレビジョン表示装置１００は、ＣＰＵ３０１と、駆動撮像部１５０と、右側ＩＲエミッタ１６１と、左側ＩＲエミッタ１６２と、垂直回転機構３０３と、水平回転機構３０４と、モータドライブ回路３０５と、を備えている。
【００２５】
モータドライブ回路３０５は、位置センサー３２１を備え、ＣＰＵ３０１からの指示に従って、垂直回転機構３０３及び水平回転機構３０４の制御を行う。これにより、駆動撮像部１５０の水平方向及び垂直方向について独立した回転制御を実現する。なお、モータドライブ回路３０５に搭載されるモータは、ステッピングモータやＤＣモータなど一般的なモータであれば可能であり、種類を限定するものではない。なお、モータドライブ回路３０５による回転制御可能な範囲は、テレビジョン表示装置１００が視聴保障する視聴角度を満たす範囲とする。
【００２６】
位置センサー３２１は、駆動撮像部１５０の位置を検出する。
【００２７】
水平回転機構３０４は、駆動撮像部１５０の水平方向の回転制御を行う。図４は、本実施形態にかかる駆動撮像部１５０の水平方向の回転例を示した図である。図４に示されるように水平回転機構３０４が水平方向の回転制御を行うことで、水平方向においては、図４の（Ａ）に示される光軸方向４０１から、図４の（Ｂ）に示される光軸方向４０２まで回転制御を行うことができる。なお、回転角は、実施の態様等に応じて適切な角度が定められるものとする。
【００２８】
垂直回転機構３０３は、駆動撮像部１５０の垂直方向の回転制御を行う。なお、回転制御の手法は、水平回転機構３０４と同様とする。
【００２９】
ＣＰＵ３０１は、テレビジョン表示装置１００全体の制御を行う。また、ＣＰＵ３０１は、図示しないＲＯＭに格納されている制御プログラムを読み込むことで、駆動制御部３１１と、検出部３１２と、制御部３１３と、を実現する。
【００３０】
また、ＣＰＵ３０１には、駆動撮像部１５０の撮像部１５１で撮像された画像データが、ＵＳＢ等の伝送路を介して転送される。
【００３１】
駆動制御部３１１は、駆動撮像部１５０を、モータドライブ回路３０５を用いて回転移動させる。本実施形態では、駆動撮像部１５０を回転移動させることで、表示部１０３の表示画面に対面する外部環境を撮像する撮像部１５１の光軸方向を移動させる。さらに、駆動撮像部１５０を回転移動させることで、撮像部１５１と共に、ＩＲエミッタ１５２を移動させる。
【００３２】
図５は、本実施形態にかかる駆動制御部３１１による駆動撮像部１５０の回転制御により撮像される範囲の遷移を示した図である。図５に示されるように、駆動制御部３１１は、駆動撮像部１５０を、初期の撮像範囲５０１から、水平方向に移動しながら撮像部１５１が撮像を行うように制御する。そして、駆動撮像部１５０がこれ以上水平方向に移動できなくなった位置５０２まで来た場合に、駆動制御部３１１が、駆動撮像部１５０を垂直方向に移動させ、再び水平方向に移動しながら撮像部１５１が撮像を行うように制御する。当該制御を繰り返すことで、テレビジョン表示装置１００を視聴可能な外部環境に存在する全ての視聴者の顔の検出が可能となる。
【００３３】
検出部３１２は、駆動制御部３１１で光軸方向が移動する毎に、撮像部１５１により撮像された画像データから、視聴者の顔を検出する。図６は、検出部３１２により視聴者の顔が検出された例を示した図である。図６に示す例では、撮像部１５１が表示領域６０１に対応する外部の環境を撮像している際に、視聴者６０２の顔を検出したものとする。そして、検出部３１２は、視聴者の顔を検出した場合に、当該視聴者の視線方向を検出する。
【００３４】
本実施形態では、検出部３１２が視聴者の顔を検出した場合に、駆動制御部３１１が、検出部３１２による検出結果に基づいて、当該視聴者の目の位置が、画像データの中心となるように、微少な移動制御を行う。図７は、駆動制御部３１１により微少な移動制御が行われた後に撮像部１５１により撮像される範囲を示した図である。図７に示されるように、目の位置が表示領域の中心に存在するよう移動制御が行われている、視聴者の目が表示されている領域７０１で、撮像部１５１に備えられたレンズ等により歪みが生じるのを抑止できる。
【００３５】
その後、制御部３１３は、検出部３１２が視聴者の視線方向を検出できるように制御を行う。例えば、検出部３１２が視線方向を検出する際に、制御部３１３が複数個のＩＲエミッタ１５２、１６１、１６２から赤外線の照射を行うものを切り替える。当該切り替えに基づいて、検出部３１２は、当該視聴者の視線方向を検出する。
【００３６】
つまり、制御部３１３が、本実施形態では、赤外線の照射の切り替えを行うことで、視聴者の目に反射している光源から、当該赤外線が反射している位置を特定できる。そして、検出部３１２は、画像データにおける、検出された視聴者の顔のうち、目が検出された表示領域で、赤外線が反射している位置を基準に、視聴者の視線方向を検出する。
【００３７】
さらには、制御部３１３は、検出部３１２が視聴者の顔を検出した場合に、撮像された画像データから、視聴者の目を含む表示領域を切り出した部分画像データを送信するように撮像部１５１に指示する。
【００３８】
図８は、撮像部１５１により、視聴者の目を含む表示領域が切り出された部分画像データの例を示した図である。図８に示される例では、目を含む表示領域のみ切り出されているため、全ての撮像領域を含む画像データを転送する場合と比べて、高フレームレートを実現できる。
【００３９】
そこで、本実施形態では、制御部３１３が、検出開始時の段階で、全画素の画像データを１〜５ｆｐｓ（第１のフレームレート）で転送するよう撮像部１５１に指示する。そして、検出部３１２が視聴者の顔を検出した場合に、視聴者の目を含む表示領域を切り出した部分画像データを、第１のフレームレートより高い３０〜６０ｆｐｓ（第２のフレームレート）で転送するよう指示する。
【００４０】
これにより、検出部３１２は、１〜５ｆｐｓ（第１のフレームレート）で転送される全画素の画像データから視聴者の顔を検出し、３０〜６０ｆｐｓ（第２のフレームレート）で転送される部分画像データから、視聴者の視線方向を検出することになる。これにより、目が表示された表示領域の画素数を所定の基準以上保持しつつ、高フレームレートによる転送を実現できる。
【００４１】
このように、本実施形態にかかるテレビジョン表示装置１００は、画像の転送モードとして、撮像部１５１による撮像領域全体を転送するモードと、撮像領域全体から切り出された任意の矩形領域のみを転送するモードと、の２つのモードを有する。転送形式は、ＹＵＶ等の非圧縮でもよいし、又はＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ等のように圧縮してもよい。
【００４２】
そして、検出部３１２は、３０〜６０ｆｐｓで転送される部分画像データを解析して、視聴者の視線方向を検出する。図９は、本実施形態にかかる検出部３１２による視線方向の検出の概念を示した図である。図９に示される部分画像データから、ＩＲエミッタ１５２により照射された赤外線の眼球反射（角膜反射）の位置９０２を特定できる。本実施形態では、赤外線を照射することで、視線方向の影響を受けず、テレビジョン表示装置１００に正対する角膜反射の位置９０２を特定できる。さらに、検出部３１２は、ＩＲエミッタ１５２の赤外線照射による、視線方向の影響を受ける、瞳孔の網膜反射が生じた領域９０１を特定できる。そして、検出部３１２は、眼球反射の位置９０１と、瞳孔の網膜反射が生じた領域９０１との間の角度、距離差から視線方向を検出する。
【００４３】
また、テレビジョン表示装置１００では、複数人の視聴者が存在した場合に、予め登録されている操作者に限り、視線で操作できるよう設定可能とする。このため、本実施形態にかかるテレビジョン表示装置１００は、図示しない記憶部に、当該テレビジョン表示装置１００を視線方向による操作を許可する操作者の顔の特徴量が予め登録されている。
【００４４】
そして、検出部３１２が撮像部１５１により撮像された画像データから、視聴者の顔を検出した場合に、制御部３１３が、検出された視聴者の顔が、記憶部に登録されている操作者の顔の特徴量と一致するか否かを判定する。そして、検出部３１２が、操作者の顔の特徴量と一致すると判定した場合に、テレビジョン表示装置１００は、操作者と判定された視聴者の視線方向に従って、様々な制御を実現する。
【００４５】
次に、本実施形態にかかるテレビジョン表示装置１００における、視聴者の視線方向の検出処理について説明する。図１０は、本実施形態にかかるテレビジョン表示装置１００における上述した処理の手順を示すフローチャートである。
【００４６】
まず、テレビジョン表示装置１００が起動した際に、駆動制御部３１１が、位置センサー３２１により検出された駆動撮像部１５０の位置に基づいて、駆動撮像部１５０の位置を初期化する（ステップＳ１００１）。つまり、視線検出のために、位置センサー３２１で、水平/垂直方向で、駆動撮像部１５０がどの座標に位置しているか認識した後、検出開始の位置（例えば図５で撮像範囲５０１が撮像できる位置）に移動させる。また、初期化手法としては、モータドライブ回路３０５にステッピングモータを使用した場合、フォトインタラプタなどで初期化位置まで強制移動させ、位置を認識する必要がある。また、機構部品により駆動範囲内に強制当てつけ部分を設け、モータ駆動により当該箇所に故意にあてつけ初期化位置としても良い。
【００４７】
次に、駆動制御部３１１が、モータドライブ回路３０５を介して、垂直回転機構３０３及び水平回転機構３０４を制御して、駆動撮像部１５０の（回転）移動制御を開始する（ステップＳ１００２）。つまり、駆動制御部３１１は、外部環境のうち、テレビジョン表示装置１００の有効視聴範囲内を撮像部１５１が全範囲撮像できるように、駆動撮像部１５０の移動制御を開始する。
【００４８】
そして、駆動撮像部１５０に設けられた撮像部１５１が、外部環境の撮像を開始する（ステップＳ１００３）。
【００４９】
そして、撮像部１５１は、撮像された全画素の画像データを、１〜５ｆｐｓ（第１のフレームレート）でＣＰＵ３０１に転送開始する（ステップＳ１００４）。つまり、ステップＳ１００３では、撮像部１５１は、撮像領域全体を転送する代わりに低フレームレートで画像データを転送する。
【００５０】
次に、検出部３１２が、転送されてきた画像データから、視聴者の顔を検出する（ステップＳ１００５）。顔を検出できなかった場合（ステップＳ１００５：Ｎｏ）、ステップＳ１００２から処理を開始する。なお、顔を検出する際に、顔の向き等を検出しても良い。なお、顔の検出には、目のおおよその位置の検出も含まれるものとする。なお、顔及び目の検出手法は、従来から用いられている手法を用いても良く、説明を省略する。
【００５１】
一方、検出部３１２が、視聴者の顔を検出した場合（ステップＳ１００５：Ｙｅｓ）、操作者の顔の特徴量が格納されている記憶部を参照して、検出された顔が操作者として登録されているか否かを判定する（ステップＳ１００６）。操作者として登録されていないと判定した場合（ステップＳ１００６：Ｎｏ）、ステップＳ１００２から処理を開始する。なお、操作者として登録されているか否かの判定は、検出部３１２が、複数の顔を検出した場合に限り行うことにしても良い。
【００５２】
検出部３１２が、検出された顔が操作者として登録されていると判定した場合（ステップＳ１００６：Ｙｅｓ）、駆動制御部３１１が、撮像部１５１が操作者を撮像可能な位置まで駆動撮像部１５０の移動制御を行う（ステップＳ１００７）。さらに、駆動制御部３１１は、画像データにおいて、操作者の目が表示されている領域が中央に配置されるように、駆動撮像部１５０に対して微少な移動制御を行う（ステップＳ１００８）。中央に配置されるように制御を行うことで、高精度画像解析を必要とする視線方向の検出技術において、レンズ周辺ひずみの影響を低減することができる。
【００５３】
そして、制御部３１３は、撮像部１５１に対して転送する画像データの切り出し要求と、３０〜６０ｆｐｓ（第２フレームレート）に切り替え要求とを行う（ステップＳ１００９）。
【００５４】
さらに、制御部３１３は、視線方向を検出するために、ＩＲエミッタ１５２、右側ＩＲエミッタ１６１、左側ＩＲエミッタ１６２に対して、切り替え開始を要求する（ステップＳ１０１０）。なお、切り替え手法は、実施の態様に依存するものとして説明を省略する。赤外線を照射するＩＲエミッタを、ＩＲエミッタ１５２、右側ＩＲエミッタ１６１、及び左側ＩＲエミッタ１６２から切り替える毎に、赤外線の眼球反射の位置が切り替わる。これにより、検出部３１２は、他の環境光による眼球反射と、ＩＲエミッタ１５２、右側ＩＲエミッタ１６１、及び左側ＩＲエミッタ１６２から照射される赤外線による眼球反射と、の違いを認識できる。これにより、他の環境強による眼球反射の影響を取り除いた上で、視線方向の検出が可能となるため、視線方向の検出精度が向上する。
【００５５】
そして、撮像部１５１が、操作者の目が表示されている領域を切り出した部分画像データを、ＣＰＵ３０１に転送開始する（ステップＳ１０１１）。その後、検出部３１２が、３０〜６０ｆｐｓ（第２フレームレート）で転送されてきた部分画像データから、操作者の視線方向を検出する（ステップＳ１０１２）。
【００５６】
そして、ＣＰＵ３０１が、検出された視線方向に従って、アプリケーション等の制御を行う（ステップＳ１０１３）。視線方向による制御対象としては、テレビジョン表示装置１００のチャンネル操作、音声のボリューム操作、電源オン／オフ操作の他、テレビジョン表示装置１００に搭載されているブラウザ等のアプリケーション等が含まれる。
【００５７】
検出部３１２は、転送された画像データの解析する際に、視線検出アルゴリズムに基づいて、視聴者の視線方向を検出する。視線方向とは、少なくとも視聴者がテレビジョン表示装置１００の表示画面のうち、どの位置を見ているか特定可能な情報とする。つまり、視線方向の検出で、リモートコントローラ等のインターフェース機器を使用しないユーザインターフェースを実現できる。さらには、視線方向は、テレビジョン表示装置１００の表示画面内の位置に制限するものではなく、撮像部１５１により目を含む領域が撮像されていることを前提として、テレビジョン表示装置１００を含めた、どの座標を見ているかを検出可能な技術とする。例えば、操作者が、家庭内に設けられたエアコンや照明に向けている視線方向を検出しても良い。この場合に、テレビジョン表示装置１００のＣＰＵ３０１が、エアコンや照明を含む家庭内の機器を制御しても良い。
【００５８】
その後、検出部３１２が、転送されてきた部分画像データから、目の表示されている領域が移動したか否かを判定する（ステップＳ１０１４）。移動していないと判定した場合（ステップＳ１０１４：Ｎｏ）、ステップＳ１０１１から処理を開始する。
【００５９】
一方、検出部３１２が、転送されてきた部分画像データから、目の表示されている領域が移動したと判定した場合（ステップＳ１０１４：Ｙｅｓ）、制御部３１３は、撮像部１５１に対して、撮像された全画素の画像データの転送要求と、１〜５ｆｐｓ（第１フレームレート）に切り替え要求とを行う（ステップＳ１０１５）。
【００６０】
そして、検出部３１２は、転送されてきた、全画素の画像データに、操作者の顔の検出を行う（ステップＳ１０１６）。操作者の顔を検出した場合（ステップＳ１０１６：Ｙｅｓ）、ステップＳ１００８から処理を開始する。一方、操作者の顔を検出できなかった場合（ステップＳ１０１６：Ｎｏ）、操作者は移動したものとして、ステップＳ１００２から処理を開始する。
【００６１】
上述した処理手順により、視聴者の視線方向に応じたテレビジョン表示装置１００等の操作が実現できる。また、本実施形態にかかる単眼カメラセンサーを使用した視線検出技術は、赤外線波長の光源を操作者に放出し、カメラの赤目現象を利用した『瞳孔の網膜反射』と赤外線光点の眼球反射の位置、角度差をカメラセンサーからの画像データを解析することで視線を検出するものであるがこのような視線の検出手法に制限するものではなく、他の態様でも良い。
【００６２】
また、視線を検出するアルゴリズムは、テレビジョン表示装置１００の表示画面のうち、どの位置を見ているか特定可能な程度の精度を出すためには、撮像する画像データにおいて、操作者の眼球部を鮮明にとらえる必要がある。このため、本実施形態では、赤外線を照射した上で、撮像部１５１に画角１０°程度の望遠レンズを用い且つ５〜８メガピクセルのセンサーを用いることとした。その上で、テレビジョン表示装置１００が、ＰＣ等と比べて処理能力が低いＣＰＵでも高フレームレートの画像キャプチャーを実現できるように、目が含まれた表示領域を切り出した部分画像データの転送を行うこととした。
【００６３】
さらに、テレビジョン表示装置１００を視聴可能な外部環境の範囲が広い場合でも、駆動撮像部１５０を水平、垂直方向に回転移動させることで、視聴者の把握、追尾を可能としている。
【００６４】
このように、単眼カメラを用いた視線検出技術では、目を高解像度で撮像する必要があったため、視聴者が遠距離に存在するテレビジョン表示装置に適用することが難しかった。しかしながら、本実施形態にかかるテレビジョン表示装置１００においては、上述した構成を備えることで、テレビジョン特有の視聴環境においても、視聴者の視線検出が可能となる。これにより、視線検出による、手を使用しない様々なユーザインターフェースの提供や、高画質応用、テレビジョン表示装置１００以外の様々な機器の視線操作が可能となる。
【００６５】
本実施形態にかかるテレビジョン表示装置１００においては、赤外線を放射して、視聴者の視線方向を検出することとした。つまり、従来からテレビを視聴する環境としては多岐にわたっていることを考慮する必要があった。つまり、視線方向を検出可能な程度に照度が高い場合もあれば、テレビを視聴するために照明を暗くして、視聴する等の環境もある。低照度の場合、センサー感度不足によるＳ／Ｎ比の低下、感度上昇のために長時間電荷蓄積による、残像現象などが発生する。最悪時は被写体が映らない状況となる。このような状況が生じた場合、視線検出が不可能となる。
【００６６】
本実施形態にかかるテレビジョン表示装置１００においては、視線検出のために顔領域の向き、及び目の向きを画像解析で検出することとした。さらに、顔を検出した後は、目が表示されている領域を切り出しことした。目が表示されている領域の画像データで視線を検出する際、当該画像データの画素数は少ないため、分析処理の軽減によるリアルタイム性の向上が図れる。
【００６７】
本実施形態では、駆動撮像部１５０を水平及び垂直方向に駆動させることで、テレビジョン表示装置１００の表示画面を視聴可能な広い範囲（外部環境）で、視聴者が存在するか否かを検出することが可能となる。さらには、視聴者が移動した場合に追従することも可能としている。
【００６８】
さらには、本実施形態においては、複数の視聴者（顔）を検出した場合に、あらかじめ登録した顔画像とのマッチング行うことで、顔認識による操作者特定を行っている。これにより、複数の視聴者の顔を検出した場合でも、視線による操作を提供することができる。
【００６９】
本実施形態では、目の表示された領域を切り出した部分画像データを転送する際に、画像データと比べて画素数が低減している。このため、フレームレートを向上させたとしても、部分画像データを転送する際の転送画素数は、全画素の画像データを転送している場合より低下している。これにより、ＣＰＵ処理の負担を軽減できる。これにより、テレビジョン表示装置１００において、ＰＣ等より低い処理能力のＣＰＵを搭載した場合でも、適切に視聴者の視線の方向を検出することが可能となる。
【００７０】
本実施形態においては、上述した構成により視線の方向の検出技術をテレビの視聴に適用することができる。また、視線方向による操作の対象を、テレビジョン表示装置１００以外の機器（例えばセットトップボックス、照明、エアコン）とすることで、利便性を向上させることができる。
【００７１】
また、本実施形態では、駆動系により撮像部１５１を駆動させて、撮像部１５１の光学系にズーム機構を設けない例について説明した。これにより、コストを削減することができる。しかしながら、撮像部１５１の光学レンズにズーム機構を設けない例に制限するものではない。撮像部１５１が光学レンズにズーム機構を備えた場合に、例えば、外部環境から視聴者の顔を検出する際に、広角側で撮像し、視聴者の顔を検出した後、視線方向を検出する際に、望遠側で撮像してもよい。
【００７２】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７３】
１００…テレビジョン表示装置、１０１…支持部、１０２…筐体、１０３…表示部、１５０…駆動撮像部、１５１…撮像部、１５２…ＩＲエミッタ、１６１…右側ＩＲエミッタ、１６２…左側ＩＲエミッタ、３０１…ＣＰＵ、３０３…垂直回転機構、３０４…水平回転機構、３０５…モータドライブ回路、３１１…駆動制御部、３１２…検出部、３１３…制御部、３２１…位置センサー
【図１】
2015011579.tif 000003
【図２】
2015011579.tif 000004
【図３】
2015011579.tif 000005
【図４】
2015011579.tif 000006
【図５】
2015011579.tif 000007
【図６】
2015011579.tif 000008
【図７】
2015011579.tif 000009
【図８】
2015011579.tif 000010
【図９】
2015011579.tif 000011
【図１０】
2015011579.tif 000012