(57)【要約】【課題】視聴者が表示画像を意識的に注目していない場合にも表示画像がスクロールされてしまう。【解決手段】番組情報を受信する受信部１３と、受信した番組情報を表示する表示部１６と、視聴者を撮像し、撮像した視聴者の画像から視聴者の眼球位置を検出する撮像部１１と、検出した視聴者の眼球位置の移動に基づき、表示した番組情報に対する注目状態を判定する注目状態判定部１２と、検出した視聴者の眼球位置の移動と受信した番組情報とに基づき、表示した番組情報における注視位置を特定する注視位置特定部１４と、注目状態の判定結果と注視位置の特定結果に基づき、視聴者が表示した番組情報の未表示箇所に注目している場合、未表示箇所を表示部１６に表示させる表示制御部１５と、からなる表示制御装置１。【選択図】図１
2014077814.tif 000002
【特許請求の範囲】
【請求項１】
番組情報を受信する受信部と、
前記受信した番組情報を表示する表示部と、
視聴者を撮像し、前記撮像した視聴者の画像から視聴者の眼球位置を検出する撮像部と、
前記検出した視聴者の眼球位置の移動に基づき、前記表示した番組情報に対する注目状態を判定する注目状態判定部と、
前記検出した視聴者の眼球位置の移動と前記受信した番組情報とに基づき、前記表示した番組情報における注視位置を特定する注視位置特定部と、
前記注目状態の判定結果と前記注視位置の特定結果に基づき、視聴者が前記表示した番組情報の未表示箇所に注目している場合、前記未表示箇所を前記表示部に表示させる表示制御部と、
からなる表示制御装置。
【請求項２】
前記注目状態判定部は、
さらに、前記検出した視聴者の眼球位置の移動に基づき、前記表示した番組情報の文章情報に対する注目状態を判定し、
前記表示制御部は、さらに、前記文章情報に対する注目状態の判定結果に基づき、視聴者が前記表示した番組情報の文章情報に注目しかつ番組情報の未表示箇所に注目している場合、前記未表示箇所を前記表示部に表示させる
ことを特徴とする請求項１記載の表示制御装置。
【請求項３】
前記注目状態判定部は、
前記表示した番組情報の文章情報が横書きである場合、
前記番組情報に対する注目状態が継続され、かつ
前記検出した視聴者の眼球位置の移動が水平方向に第一閾値以上であり、前記検出した視聴者の眼球位置の移動が垂直方向に第二閾値以下である場合、視聴者が前記表示した番組情報の文章情報に注目していると判定する
ことを特徴とする請求項２記載の表示制御装置。
【請求項４】
番組情報を受信する受信ステップと、
前記受信した番組情報を表示する表示ステップと、
視聴者を撮像し、前記撮像した視聴者の画像から視聴者の眼球位置を検出する撮像ステップと、
前記検出した視聴者の眼球位置の移動に基づき、前記表示した番組情報に対する注目状態を判定する注目状態判定ステップと、
前記検出した視聴者の眼球位置の移動と前記受信した番組情報とに基づき、前記表示した番組情報における注視位置を特定する注視位置特定ステップと、
前記注目状態の判定結果と前記注視位置の特定結果に基づき、視聴者が前記表示した番組情報の未表示箇所に注目している場合、前記未表示箇所を表示させる表示制御ステップと、
からなる表示制御方法。
【請求項５】
前記注目状態判定ステップは、
さらに、前記検出した視聴者の眼球位置の移動に基づき、前記表示した番組情報の文章情報に対する注目状態を判定し、
前記表示制御ステップは、さらに、前記文章情報に対する注目状態の判定結果に基づき、視聴者が前記表示した番組情報の文章情報に注目しかつ番組情報の未表示箇所に注目している場合、前記未表示箇所を表示させる
ことを特徴とする請求項４記載の表示制御方法。
【請求項６】
前記注目状態判定ステップは、
前記表示した番組情報の文章情報が横書きである場合、
前記番組情報に対する注目状態が継続され、かつ
前記検出した視聴者の眼球位置の移動が水平方向に第一閾値以上であり、前記検出した視聴者の眼球位置の移動が垂直方向に第二閾値以下である場合、視聴者が前記表示した番組情報の文章情報に注目していると判定する
ことを特徴とする請求項５記載の表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置および表示制御方法に関し、特に、視聴者の注視位置と注目状態に基づいた表示制御に関するものである。
【背景技術】
【０００２】
従来のスクロール制御装置は、ある表示画像上での視聴者の視線位置を検出し、視聴者の視線位置が表示画像の端部に到達した場合に、スクロール処理を提供している（例えば、特許文献１参照）。
【０００３】
以下図面を参照しながら従来のスクロール制御装置について説明を行う。
【０００４】
図１１は、特許文献１に記載された従来のスクロール制御装置の構成を示すブロック図である。
【０００５】
従来のスクロール制御装置１１０において、表示部１１６は、所定の文書を表示するためのもので、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等のモニタにより構成される。文書メモリ１１２は、表示部１１６に表示する文書情報を格納するものである。移動量検出部１１４は表示画像上を視線が移動する量を検出し、時間測定処理部１１５は表示画像上を視線が移動する時間を測定するものである。スクロール処理部１１３は表示画像をスクロールさせるものであり、文書編集処理部１１７からのスクロール制御情報に従い表示画像をスクロールする機能を有する。また、視線検知処理部１１１は、視聴者を撮影するカメラにより撮影された画像に基づき視聴者の視線検出を行うものである。
【０００６】
以上のように構成された従来のスクロール制御装置１１０について、図１１から図１３を用いてその動作を説明する。
【０００７】
文書メモリ１１２に読むべき文書の文書情報が格納されており、文書の内容は具体的には図１２に示すような内容であるとする。視聴者がこの文書を画面上で読んでいる際、視聴者の顔の画像が視線検知処理部１１１に入力され、視聴者の顔を検出した後、視聴者の視線方向を検出する。次に検出された視線方向と視聴者の目の空間座標位置から視線の空間位置を検出し、視聴者の視線が表示部１１６のどの位置にあるかを検出する。この視線の検出においては、視線が一定時間停留している場合に視線が検出されたと判断しており、視線が表示部１１６の方向を向いていたとしても、視線が一定時間停留しない場合には、表示画像を見ている状態とはしない。視線が検出されたら、表示画像上での視線の位置と共に視線の移動量と移動時間が測定され、視線の表示画像上の座標位置の移動速度が算出される。そして図１２のように視線の位置が表示画像の最端部に到達した場合、そのときの視線の移動速度に応じて図１３に示すように表示画像をスクロールさせることで視聴者にとって適切なスクロールを行うことができるスクロール制御装置を提供している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−８５４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、前記従来のスクロール制御装置のように、表示画像上で視線が一定時間停留している場合に表示画像を見ている状態であると判別し、視線の位置が表示画像の最端部に到達した場合に表示画像をスクロールさせる方法は、表示画像を意識的に注目していない場合にもスクロールされてしまうという課題を有している。例えば、無意識的に表示画像の最端部を見ている場合、視聴者はその内容を把握していないのに関わらず表示画像がスクロールされてしまう。
【００１０】
本発明は、前記従来の課題を解決するもので、視聴者の眼球位置の移動および番組情報から視聴者の注目状態を判定するとともに注視位置を特定し、注目状態の判定結果と注視位置の特定結果に基づき、視聴者が番組情報の未表示箇所に注目している場合、未表示箇所を表示させることにより、視聴者へ快適な表示制御を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記従来の課題を解決するために、本発明の表示制御装置は、番組情報を受信する受信部と、前記受信した番組情報を表示する表示部と、視聴者を撮像し、前記撮像した視聴者の画像から視聴者の眼球位置を検出する撮像部と、前記検出した視聴者の眼球位置の移動に基づき、前記表示した番組情報に対する注目状態を判定する注目状態判定部と、前記検出した視聴者の眼球位置の移動と前記受信した番組情報とに基づき、前記表示した番組情報における注視位置を特定する注視位置特定部と、前記注目状態の判定結果と前記注視位置の特定結果に基づき、視聴者が前記表示した番組情報の未表示箇所に注目している場合、前記未表示箇所を前記表示部に表示させる表示制御部と、からなる。
【００１２】
また、本発明の表示制御方法は、番組情報を受信する受信ステップと、前記受信した番組情報を表示する表示ステップと、視聴者を撮像し、前記撮像した視聴者の眼球位置を検出する撮像ステップと、前記検出した視聴者の眼球位置の移動に基づき、前記表示した番組情報に対する注目状態を判定する注目状態判定ステップと、前記検出した視聴者の眼球位置の移動と前記受信した番組情報とに基づき、前記表示した番組情報における注視位置を特定する注視位置特定ステップと、前記注目状態の判定結果と前記注視位置の特定結果に基づき、視聴者が前記表示した番組情報の未表示箇所に注目している場合、前記未表示箇所を表示させる表示制御ステップと、からなる。
【００１３】
本発明の表示制御装置および表示制御方法によれば、視聴者の眼球位置の移動および番組情報から視聴者の注目状態を判定するとともに注視位置を特定し、注目状態の判定結果と注視位置の特定結果に基づき、視聴者が番組情報の未表示箇所に注目している場合、未表示箇所を表示させることにより、視聴者へ快適な表示制御を提供することが可能となる。
【００１４】
また、本発明の表示制御装置の注目状態判定部は、さらに、前記検出した視聴者の眼球位置の移動に基づき、前記表示した番組情報の文章情報に対する注目状態を判定し、前記表示制御部は、さらに、前記文章情報に対する注目状態の判定結果に基づき、視聴者が前記表示した番組情報の文章情報に注目しかつ番組情報の未表示箇所に注目している場合、前記未表示箇所を前記表示部に表示させる。
【００１５】
また、本発明の表示制御方法における注目状態判定ステップは、さらに、前記検出した視聴者の眼球位置の移動に基づき、前記表示した番組情報の文章情報に対する注目状態を判定し、前記表示制御ステップは、さらに、前記文章情報に対する注目状態の判定結果に基づき、視聴者が前記表示した番組情報の文章情報に注目しかつ番組情報の未表示箇所に注目している場合、前記未表示箇所を表示させる。
【００１６】
また、本発明の表示制御装置の注目状態判定部は、前記表示した番組情報の文章情報が横書きである場合、前記番組情報に対する注目状態が継続され、かつ、前記検出した視聴者の眼球位置の移動が水平方向に第一閾値以上であり、前記検出した視聴者の眼球位置の移動が垂直方向に第二閾値以下である場合、視聴者が前記表示した番組情報の文章情報に注目していると判定する。
【００１７】
また、本発明の表示制御方法における注目状態判定ステップは、前記表示した番組情報の文章情報が横書きである場合、前記番組情報に対する注目状態が継続され、かつ、前記検出した視聴者の眼球位置の移動が水平方向に第一閾値以上であり、前記検出した視聴者の眼球位置の移動が垂直方向に第二閾値以下である場合、視聴者が前記表示した番組情報の文章情報に注目していると判定する。
【００１８】
本発明の表示制御装置および表示制御方法によれば、視聴者の眼球位置の移動および番組情報から視聴者の番組情報の文章情報への注目状態を判定するとともに注視位置を特定し、番組情報の文章情報への注目状態の判定結果と注視位置の特定結果に基づき、視聴者が番組情報の文章情報に注目しかつ番組情報の未表示箇所に注目している場合、未表示箇所を表示させることにより、例えば、視聴者が偶然最初に未表示箇所に視線を合わせた場合に注目状態と判定されかつ注視位置が特定された場合に表示制御されてしまうことがなく、視聴者へより快適な表示制御を提供することが可能となる。
【発明の効果】
【００１９】
本発明の表示制御装置および表示制御方法によれば、視聴者の眼球位置の移動および番組情報から視聴者の注目状態を判定するとともに注視位置を特定し、注目状態の判定結果と注視位置の特定結果に基づき、視聴者が番組情報の未表示箇所に注目している場合、未表示箇所を表示させることにより、視聴者へ快適な表示制御を提供することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施例１における表示制御装置の構成を示すブロック図
【図２】本発明の実施例１における表示制御装置の表示部に表示される番組情報の一例を示す図
【図３】本発明の実施例１における表示制御装置の表示部に表示される番組詳細情報の一例を示す図
【図４】本発明の実施例１における表示制御装置の撮像部が有するカメラで検出されたカメラにおける視聴者の瞳孔の中心座標を示す図
【図５】本発明の実施例１における表示制御装置の注目状態判定部が視聴者の注目状態を判定する様子を示す図
【図６】本発明の実施例１における表示制御装置の表示部における注視点の座標を示す図
【図７】本発明の実施例１における表示制御装置における番組情報の番組概要の未表示箇所が表示された状態を示す図
【図８】本発明の実施例１における表示制御装置の表示制御にかかわる動作を示すフローチャート
【図９】本発明の実施例２における表示制御装置の構成を示すブロック図
【図１０】本発明の実施例２における表示制御装置の表示制御にかかわる動作を示すフローチャート
【図１１】従来のスクロール制御装置の構成を示すブロック図
【図１２】従来のスクロール制御装置の表示部に表示される文書内容を示す図
【図１３】従来のスクロール制御装置のスクロール制御動作を示す図
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための一実施形態について、図面を参照しながら説明する。
【実施例１】
【００２２】
図１は、本発明の実施例１における表示制御装置１の構成を示すブロック図である。
【００２３】
表示制御装置１は、撮像部１１と、注目状態判定部１２と、受信部１３と、注視位置特定部１４と、表示制御部１５と、表示部１６とからなる。
【００２４】
撮像部１１は、視聴者の画像を撮像する例えばＣＣＤ等のカメラを有しており、カメラにより撮像された視聴者の画像からカメラにおける視聴者の眼球位置（瞳孔の中心座標）を検出する。撮像部１１により検出されたカメラにおける視聴者の瞳孔の中心座標は、注目状態判定部１２と注視位置特定部１４に出力される。
【００２５】
注目状態判定部１２は、撮像部１１から入力されたカメラにおける視聴者の瞳孔の中心座標に基づき、視聴者が何かに注目している状態（本実施例では、視聴者が番組情報に注目している状態をいう。以降、単に注目状態と称することもある）であるか否かを判定し、注目状態の判定結果を表示制御部１５へ渡す。
【００２６】
受信部１３は、放送信号を受信し、放送信号の中から映像信号、音声信号、ＳＩ（Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ）等のデータを抽出する。さらに受信部１３は、ＳＩから番組情報（例えば、放送番組の番組名、放送日、放送開始・終了時間、番組概要、番組詳細内容、表示部１６に番組情報を表示する際の番組構成情報等）を抽出する。受信部１３は、抽出した番組情報を注視位置特定部１４へ渡す。
【００２７】
番組情報は、ＳＩとして放送波に多重されており、視聴者が見たい番組を簡単に選択できるためのガイドであり、視聴者には新聞の番組表のような形で提供される。番組情報により視聴者に提供（または表示）される情報は、例えば、放送番組の番組名、放送日、放送開始・終了時間、番組概要、番組詳細内容等である。
【００２８】
図２は、本発明の実施例１における表示制御装置１の表示部１６に表示される番組情報の一例を示す図である。
【００２９】
番組情報２０は、番組表表示領域２１と選択番組情報表示領域２２とから構成される。番組表表示領域２１の縦軸２０１は各番組の放送開始時間および終了時間、横軸２０２は各番組の放送チャンネルを示しており、１４時から１７時までに放送される０６１、０８１、１０１チャンネルの番組の番組名および番組概要が表示されている。選択番組情報表示領域２２は、番組表表示領域２１においてカーソル２０３により選択されている番組の放送日時、番組名および番組概要が表示されている。また番組表表示領域２１は、スクロールバー２０４を含み、視聴者のリモコン等によるスクロールバー２０４操作により、現在、番組表表示領域２１に表示されている時間とは異なる時間に各チャンネルで放送される番組の番組名および番組概要を表示することが可能である。
【００３０】
また、通常、表示制御装置１は、番組表表示領域２１および選択番組情報表示領域２２に表示する文字数、行数等の制約を設けているため、情報量（文字数）が多い番組は番組名や番組概要の情報（文字）が全て表示されない場合がある。この場合、番組情報として表示しきれない情報（文字）に関しては、例えば、該当する番組枠内に表示している番組概要の最終文の文末に「・・・」（未表示箇所２０５）のような表示を行い、表示できない情報（文字）の存在を示す。視聴者はリモコン等によるカーソル２０３操作により、該当する番組を選択し決定することで、表示されていない情報（文字）やその他番組詳細内容や出演者等を含む番組詳細情報を閲覧することが可能である。図３は、本発明の実施例１における表示制御装置１の表示部１６に表示される番組詳細情報３０の一例を示す図である。
【００３１】
注視位置特定部１４は、撮像部１１からカメラにおける視聴者の瞳孔の中心座標と、受信部１３から番組情報を受け取る。受け取ったカメラにおける瞳孔の中心座標から表示部１６における視聴者の視線の座標（注視点）を算出する。算出した注視点と受信部１３から受け取った番組情報に基づき注視位置の特定を行い、注視位置の特定結果を表示制御部１５へ渡す。
【００３２】
表示制御部１５は、注目状態判定部１２から受け取った注目状態の判定結果と、注視位置特定部１４から受け取った注視位置の特定結果に基づき、表示部１６に表示された番組情報の非表示箇所の表示制御を行う。
【００３３】
以上のように構成された表示制御装置１における注目状態の判定方法、注視位置の特定方法、表示制御方法および表示制御の全体の流れについて説明する。
＜注目状態の判定方法＞
初めに、表示制御装置１における注目状態の判定方法について説明する。
【００３４】
撮像部１１は、カメラに入力された視聴者の画像から時刻ｔにおけるカメラにおける視聴者の瞳孔の中心座標（ｘ（ｔ）、ｙ（ｔ）)を検出する。カメラは視聴者の顔を撮影するように撮像部１１に設置されている。撮像部１１は、視聴者の瞳孔の中心座標を検出する際、視聴者の顔から得られた眼球画像の二値化処理、瞼の除去等を行い、視聴者の瞳孔の中心座標を高い精度で検出することが可能である。
【００３５】
図４は、本発明の実施例１における表示制御装置１の撮像部１１が有するカメラで検出されたカメラにおける視聴者の瞳孔の中心座標４１を示す図であり、Ｃｘ、Ｃｙはそれぞれ、カメラの水平、垂直解像度の値であり、水平方向をｘ軸、垂直方向をｙ軸、左下を原点としている。撮像部１１により検出されたカメラにおける視聴者の瞳孔の中心座標（ｘ（ｔ）、ｙ（ｔ）)は、注目状態判定部１２と注視位置特定部１４に出力される。
【００３６】
注目状態判定部１２は、撮像部１１から入力されたカメラにおける視聴者の瞳孔の中心座標（ｘ（ｔ）、ｙ（ｔ）)に基づき、視聴者の注目状態を判定し、注目状態の判定結果を表示制御部１５へ渡す。
【００３７】
ここで、人間は静止物体に注目しているとき、人間の眼球は約３００ミリ秒間の固視状態と約３０ミリ秒間に発生する跳躍運動とを頻繁に繰り返すことが知られている。
【００３８】
注目状態判定部１２は、撮像部１１から入力されたカメラにおける視聴者の瞳孔の中心座標の移動距離から、前述の固視状態と跳躍運動とを連続して発生しているかどうかを判断し、一定回数以上連続して発生している場合にその状態を注目状態として判定する。
【００３９】
例えば、注目状態判定部１２は、３００ミリ秒間（０．３秒間）の瞳孔の中心座標の移動距離がある閾値ｉ以下で、その直後の３０ミリ秒間（０．０３秒間）の瞳孔の中心座標の移動距離がある閾値ｊ以上の場合に固視状態と跳躍運動が１回発生したと判断する。ｔ（時刻、フレーム）ごとの瞳孔の中心座標の移動距離ｄ（ｔ）は、以下の式に基づいて算出される。
ｄ（ｔ）＝√（ｘ（ｔ）−ｘ（ｔ−１））２＋（ｙ（ｔ）−ｙ（ｔ−１））２  （式１）
ここで、撮像部１１のカメラから入力される画像のフレーム速度をｆ（フレーム／秒）とすると、固視状態はｆ×０．３フレームの間、常に、
ｄ（ｔ）≦ｉ  （式２）
を満たすときに、跳躍運動はその直後のｆ×０．０３フレームの間のｄ（ｔ）の合計移動距離ｄｓｕｍが、
ｄｓｕｍ≧ｊ  （式３）
を満たすとき、注目状態判定部１２は、固視状態と跳躍運動が発生したと判断する。この固視状態と跳躍運動が連続してある一定回数以上発生した場合、注目状態判定部１２は、視聴者が番組情報に注目している状態、つまり注目状態として判定し、注目状態の判定結果を表示制御部１５に渡す。
【００４０】
図５は、本発明の実施例１における表示制御装置１の注目状態判定部１２が視聴者の注目状態を判定する様子を示す図である。注目状態判定部１２は、ｆ×０．３フレームの間（３００ミリ秒間）、視聴者の瞳孔の中心座標５１のフレームごとの移動距離が常に閾値i以下の場合に固視状態と判定し、その直後のｆ×０．０３フレームの間（３０ミリ秒間）、視聴者の瞳孔の中心座標５１の合計移動距離が閾値ｊ以上の場合に跳躍運動と判定し、この固視状態と跳躍状態が連続してある一定回数以上発生した場合、視聴者が注目状態であると判定する。
【００４１】
なお、撮像部１１のカメラから入力される画像のフレーム速度は、カメラの解像度や性能、表示制御装置１の処理能力によって変化するため、フレーム速度によっては固視状態・跳躍運動を判別するフレーム数に小数点が発生してしまう。そのときは、適宜四捨五入等を行って適当なフレーム数を設定する。また、フレーム速度によっては、２フレーム間で跳躍運動が発生する時間である３０ミリ秒を超えてしてしまう場合がある。例えば、フレーム速度が１０フレーム／秒のときは、１フレームが１００ミリ秒となり、３０ミリ秒を超えてしまう。このような場合は、固視状態を検出したフレームとその直後のフレーム間での瞳孔の中心の移動距離ｄ（ｔ）をもとめ、ｄ（ｔ）がｊ以上の場合、跳躍運動が発生したと判断する。視聴者が番組情報に注目している場合（固視状態と跳躍運動が連続して発生している状態）は、固視状態・跳躍運動の直後に、再び３００ミリ秒間の固視状態が発生するため、２フレーム間で３０ミリ秒を超えていても、跳躍運動が検出できる。例えば、フレーム速度が１０フレーム／秒のときは、１、２、３フレーム（３００ミリ秒）で固視状態を検出し、３フレームと４フレーム間の瞳孔の中心の移動距離ｄ（ｔ）がｊ以上のとき、跳躍運動が発生していると判断する。ただし、２フレーム間で３００ミリ秒を超える場合は固視状態を正確に検出することができないため、フレーム速度が６フレーム毎秒（１フレーム≒１６７ミリ秒）より遅い場合は注目状態の検出ができない。また、フレーム速度によってはフレームごとの移動距離が変化するため、固視状態を判定するための閾値ｉはその都度、カメラの解像度、性能、表示制御装置１の処理能力を考慮し、適切な値を予め算出しておく。
＜注視位置の特定方法＞
次に、表示制御装置１における注視位置の特定方法について説明する。
【００４２】
前述の通り、注視位置特定部１４は、撮像部１１からカメラにおける視聴者の瞳孔の中心座標、受信部１３から番組情報を受け取る。受信部１３から注視位置特定部１４に出力される番組情報には、番組構成情報が含まれている。ここで番組構成情報とは、例えば、表示部１６の番組表表示領域２１および選択番組情報表示領域２２における、番組情報の文字や未表示箇所が配置（表示）されている位置やスクロールバーや矢印が配置（表示）されている位置を示す情報である。注視位置特定部１４は、受け取ったカメラにおける視聴者の瞳孔の中心座標から表示部１６における視聴者の視線の座標（注視点）を算出する。具体的には、注視位置特定部１４は、時刻ｔにおける注視点の座標を（ｕ（ｔ）、ｖ（ｔ）)とし、以下の式に基づいて算出する。
ｕ（ｔ）＝Ｔｕ／２−（ｘ（ｔ）−Ｃｘ／２）×Ａ  （式４）
ｖ（ｔ）＝Ｔｖ／２−（ｙ（ｔ）−Ｃｙ／２）×Ｂ  （式５）
ｘ（ｔ）、ｙ（ｔ）は、時刻ｔにおけるカメラにおける視聴者の瞳孔の中心座標である。図６は、本発明の実施例１における表示制御装置１の表示部１６における注視点の座標６１を示す図であり、Ｔｕ、Ｔｖは、それぞれ表示部１６の水平、垂直解像度の値であり、水平方向をｕ軸、垂直方向をｖ軸、左下を原点としている。また、ＡとＢは、カメラにおける視聴者の瞳孔の中心座標の移動距離（水平、垂直方向）に対する、表示部１６における注視点の移動距離との比であり、予めキャリブレーション（調整）を行うことで算出しておく。本式は視聴者の瞳孔の中心座標がカメラの中心に位置するときに、視聴者の注視点が表示部１６の中心に位置するということから決定したが、あくまで一例であり、他の算出方法でも構わない。なお、注視点は、視聴者が表示部１６上で注視している箇所であり、その箇所に注目しているか否かは問わない。
【００４３】
次に、注視位置特定部１４は、算出された表示部１６における注視点と受信部１３から受け取った番組構成情報とに基づき、注視位置の特定を行うことで視聴者が番組情報のどこを見ているかを特定する。注視位置の特定とは、表示部１６上の注視点が番組情報上のどこに位置しているか、どの文字上に位置しているか等を特定することであり、例えば、番組情報のある番組枠内の番組概要における最終行の最終文字である未表示箇所上に注視点が位置していることを特定することである。注視位置特定部１４は、注視位置の特定結果を表示制御部１５へ渡す。
＜表示制御方法＞
表示制御部１５は、注目状態判定部１２から受け取った注目状態の判定結果と、注視位置特定部１４から受け取った注視位置の特定結果に基づき、視聴者が表示部１６上の番組情報の未表示箇所に注目している場合、番組情報の表示制御を行い、表示されてない情報（文字）を表示させる。図７は、本発明の表示制御装置１における番組情報の番組概要の未表示箇所が表示された状態を示す図であり、図２のチャンネル０８１の１４時から放送される「自然のめぐみ」の番組概要において、未表示箇所２０５の「・・・」が表示制御により表示されている。なお、表示制御は例えば、１行シフト表示でも、次頁表示でも構わない。１行シフトは、表示している文章全体を１行上にシフトすることで未表示文章を表示させ、次頁表示は、現在表示している内容を全て消去し、続く文章を表示させるといった表示手法である。なお、図７に示す例では、表示制御後も番組名を表示しているが、番組名も含めて表示制御しても構わない。
＜表示制御の全体の流れ＞
最後に、表示制御装置１の表示制御の全体の流れについて、図１および図８を用いて説明する。
【００４４】
図８は、本発明の実施例１における表示制御装置１の表示制御にかかわる動作を示すフローチャートである。
【００４５】
撮像部１１は、視聴者によるリモコン等の操作に基づき番組情報が表示されると（ステップＳ８１でＹｅｓ）、カメラに入力された視聴者の画像からカメラにおける視聴者の瞳孔の中心座標を検出する（ステップＳ８２）。
【００４６】
注目状態判定部１２は、撮像部１１から受け取ったカメラにおける視聴者の瞳孔の中心座標から視聴者の注目状態を検出する。視聴者の注目状態は、約３００ミリ秒間の固視状態と約３０ミリ秒間に発生する跳躍運動を頻繁に繰り返すという人間の眼球の特性を用いて検出する。注目状態判定部１２は、瞳孔の中心座標の３００ミリ秒間の移動距離がある閾値以下で、その直後の３０ミリ秒間の瞳孔の中心座標の移動距離がある閾値以上の場合に固視状態と跳躍運動が１回発生したと判断し、この固視状態と跳躍運動が連続してある一定回数以上発生した場合に注目状態と判定し、表示制御部１５に判定結果を渡す（ステップＳ８３）。
【００４７】
また、注視位置特定部１４は、撮像部１１から受け取ったカメラにおける視聴者の瞳孔の中心座標から表示部１６における視聴者の注視点を算出し、算出した注視点と受信部１３から入力される番組情報に基づき、注視位置の特定を行う。注視位置特定部１４は、注視位置の特定結果を表示制御部１５に伝える（ステップＳ８３）。
【００４８】
表示制御部１５は、注目状態判定部１２から受け取った注目状態の判定結果と、注視位置特定部１４から受け取った注視位置の特定結果に基づき、視聴者が表示部１６上の番組情報の未表示箇所に注目している場合（ステップＳ８４）、未表示箇所の表示制御を行い、表示されてない情報（文字）を表示させる（ステップＳ８５）。
【００４９】
本発明の実施例１における表示制御装置および表示制御方法によれば、視聴者の眼球位置の移動および番組情報から視聴者の注目状態を判定するとともに注視位置を特定し、注目状態の判定結果と注視位置の特定結果に基づき、視聴者が番組情報の未表示箇所に注目している場合、未表示箇所を表示させることにより、視聴者へ快適な表示制御を提供することが可能となる。
【実施例２】
【００５０】
実施例１における表示制御装置１は、視聴者の眼球位置の移動および番組情報から視聴者の注目状態を判定するとともに注視位置を特定し、注目状態の判定結果と注視位置の特定結果に基づき、視聴者が番組情報の未表示箇所に注目している場合、未表示箇所を表示させる表示制御を行う。
【００５１】
実施例１における表示制御装置１によれば、例えば、視聴者が偶然最初に未表示箇所に視線を合わせた場合に注目状態と判定されかつ注視位置が特定された場合に表示制御されてしまうので、未だ番組情報を読んでいない視聴者にとって不都合である。
【００５２】
実施例２における表示制御装置は、視聴者の眼球位置の移動および番組情報から視聴者の番組情報の文章情報への注目状態を判定するとともに注視位置を特定し、番組情報の文章情報への注目状態の判定結果と注視位置の特定結果に基づき、視聴者が番組情報の文章情報に注目しかつ番組情報の未表示箇所に注目している場合、未表示箇所を表示させることにより、視聴者へより快適な表示制御装置および表示制御方法を提供する。
【００５３】
図９は、本発明の実施例２における表示制御装置９の構成を示すブロック図である。図９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。表示制御装置９は、撮像部１１と、文章情報注目状態判定部９２と、受信部１３と、注視位置特定部１４と、表示制御部１５と、表示部１６とからなる。
＜文章情報への注目状態の判定方法＞
文章情報注目状態判定部９２は、撮像部１１から入力されたカメラにおける視聴者の瞳孔の中心座標（ｘ（ｔ）、ｙ（ｔ）)に基づき、視聴者の番組情報の文章情報への注目状態を判定し、視聴者の番組情報の文章情報への注目状態の判定結果を表示制御部１５へ渡す。
【００５４】
ここで、人間が通常、横書きの文章に注目しているとき、視聴者の眼球は文章に沿うような形で左から右へ、約３００ミリ秒間の固視状態と約３０ミリ秒間に発生する跳躍運動を繰り返しながら視線を移動させ、文章の右端まで視線が移動した後、一気に視線を次の行に移し、また文章に沿うような形で左から右へ固視状態と跳躍運動を繰り返す。
【００５５】
文章情報注目状態判定部９２は、撮像部１１から入力されたカメラにおける視聴者の瞳孔の中心座標の移動距離から、実施例１に記載した注目状態が継続されながら、カメラにおける視聴者の瞳孔の中心座標が所定の移動を行った場合にその状態を文章情報への注目状態と判定する。
【００５６】
例えば、文章情報注目状態判定部９２は、実施例１に記載した注目状態が継続されながら、カメラにおける視聴者の瞳孔の中心座標がｘ軸方向（水平方向）への大きな跳躍運動が１回以上であり、かつ、ｙ軸方向（垂直方向）に大きな跳躍運動がない場合、その状態を横書きの文章情報への注目状態として判定する。横書きの文章情報への注目状態は、以下の式に基づいて検出する。実施例１に記載した注目状態が継続されながら、
α≦｜ｘ（ｔ）−ｘ（ｔ−１）｜  （式６）
を１回以上満たし、かつ、
｜ｙ（ｔ）−ｙ（ｔ−１）｜≦β  （式７）
を満たしているときに、文章情報注目状態判定部９２は、視聴者が横書きの文章情報に注目している状態、つまり横書きの文章情報への注目状態として判定し、横書きの文章情報への注目状態の判定結果を表示制御部１５に渡す。αは、ｘ軸方向への大きな跳躍運動（横書き文章への注目時の改行）を判別するための閾値であり、βは、ｙ軸方向に大きな跳躍運動がないことを判別するための閾値である。α、βの値も、前記ｉ同様、撮像部１１のカメラから入力される画像のフレーム速度によりフレームごとの移動距離が変化するため、適宜適切な値を予め算出しておく。  表示制御部１５は、文章情報注目状態判定部９２から受け取った横書きの文章情報への注目状態の判定結果と、注視位置特定部１４から受け取った注視位置の特定結果に基づき、視聴者が表示部１６上の番組情報の文章情報に注目し、かつ番組情報の未表示箇所に注目している場合、番組情報の表示制御を行い、表示されてない情報（文字）を表示させる。
＜表示制御の全体の流れ＞
表示制御装置９の表示制御の全体の流れについて、図９および図１０を用いて説明する。
【００５７】
図１０は、本発明の実施例２における表示制御装置９の表示制御にかかわる動作を示すフローチャートである。図８と同じ動作については同じ符号を用い、説明を省略する。
【００５８】
文章情報注目状態判定部９２は、撮像部１１から受け取ったカメラにおける視聴者の瞳孔の中心座標から視聴者の横書きの番組情報への注目状態を判定し、視聴者の番組情報への注目状態が継続されながらカメラにおける視聴者の瞳孔の中心座標がｘ軸方向（水平方向）への大きな跳躍運動が１回以上であり、かつ、ｙ軸方向（垂直方向）に大きな跳躍運動がない場合に、視聴者の横書きの文章情報への注目状態と判定し、表示制御部１５に判定結果を渡す（ステップＳ１０３）。
【００５９】
本発明の実施例２における表示制御装置によれば、視聴者の眼球位置の移動および番組情報から視聴者の横書きの番組情報の文章情報への注目状態を判定するとともに注視位置を特定し、番組情報の横書きの文章情報への注目状態の判定結果と注視位置の特定結果に基づき、視聴者が番組情報の横書きの文章情報に注目しかつ番組情報の未表示箇所に注目している場合、未表示箇所を表示させることにより、例えば、視聴者が偶然最初に未表示箇所に視線を合わせた場合に注目状態と判定されかつ注視位置が特定された場合に表示制御されてしまうことがなく、視聴者へより快適な表示制御装置および表示制御方法を提供することが可能となる。
【００６０】
なお、本実施例においては、番組情報の未表示箇所を表示制御する例をとって説明したが、これに限定されるものではなく、本発明の未表示箇所への表示制御をスクロールバー等に適用することも可能である。
【産業上の利用可能性】
【００６１】
本発明にかかる表示制御装置および表示制御方法は、視聴者の眼球位置の移動および番組情報から視聴者の注目状態を判定するとともに注視位置を特定し、注目状態の判定結果と注視位置の特定結果に基づき、視聴者が番組情報の未表示箇所に注目している場合、未表示箇所を表示させることにより、視聴者へ快適な表示制御を提供することが可能となるので、表示制御技術等として有用である。
【符号の説明】
【００６２】
１、９    表示制御装置
１１    撮像部
１２    注目状態判定部
１３    受信部
１４    注視位置特定部
１５    表示制御部
１６    表示部
２０    番組情報
２１    番組表表示領域
２２    選択番組情報表示領域
３０    番組詳細情報
４１、５１    瞳孔の中心座標
６１    注視点の座標
９２    文章情報注目状態判定部
１１０    スクロール制御装置
１１１    視線検知処理部
１１２    文書メモリ
１１３    スクロール処理部
１１４    移動量検出部
１１５    時間測定処理部
１１６    表示部
１１７    文書編集処理部
２０１    縦軸
２０２    横軸
２０３    カーソル
２０４    スクロールバー
２０５    未表示箇所
【図１】
2014077814.tif 000003
【図２】
2014077814.tif 000004
【図３】
2014077814.tif 000005
【図４】
2014077814.tif 000006
【図５】
2014077814.tif 000007
【図６】
2014077814.tif 000008
【図７】
2014077814.tif 000009
【図８】
2014077814.tif 000010
【図９】
2014077814.tif 000011
【図１０】
2014077814.tif 000012
【図１１】
2014077814.tif 000013
【図１２】
2014077814.tif 000014
【図１３】
2014077814.tif 000015