(57)【要約】【課題】動きのある映像を表示している際に利用者が見易い状態で表示することにより、利用者の利便性を向上させる、映像表示システムを提供する。【解決手段】本発明の映像表示システムは、映像を出力する映像出力部と、映像出力部で出力している映像に対する利用者の視線方向を検出する視線検出部と、映像出力部で出力している映像のうち視線検出部で検出した視線方向に対応した所定エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う映像生成部と、映像出力部で出力している映像が動画である場合に、利用者の視線の移動方向を予測する視線予測部と、映像出力部で出力している映像が動画である場合に、所定エリア内の映像に加えて視線予測部で予測した視線方向に対応した予測エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う拡張映像生成部と、を備える。【選択図】図７
2018004950.tif 000002
【特許請求の範囲】
【請求項１】
映像を出力する映像出力部と、
前記映像出力部で出力している映像に対する利用者の視線方向を検出する視線検出部と、
前記映像出力部で出力している映像のうち前記視線検出部で検出した視線方向に対応した所定エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う映像生成部と、
前記映像出力部で出力している映像が動画である場合に、利用者の視線の移動方向を予測する視線予測部と、
前記映像出力部で出力している映像が動画である場合に、前記所定エリア内の映像に加えて前記視線予測部で予測した視線方向に対応した予測エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う拡張映像生成部と、
を備える映像表示システム。
【請求項２】
前記拡張映像生成部は、
前記所定エリアに隣接して前記予測エリアが位置するように映像処理を行う、
ことを特徴とする請求項１に記載の映像表示システム。
【請求項３】
前記拡張映像生成部は、
前記所定エリアと一部を共有した状態で前記予測エリアが位置するように映像処理を行う、
ことを特徴とする請求項１又は請求項２に記載の映像表示システム。
【請求項４】
前記拡張映像生成部は、
前記所定エリアの形状に基づく面積よりも大きい前記予測エリアとなるように映像処理を行う、
ことを特徴とする請求項１から請求項３のいずれか１の請求項に記載の映像表示システム。
【請求項５】
前記拡張映像生成部は、
前記所定エリアと前記予測エリアとを一つの拡張エリアとして映像処理を行う、
ことを特徴とする請求項１から請求項４のいずれか１の請求項に記載の映像表示システム。
【請求項６】
前記視線予測部は、
前記映像出力部で出力している映像の映像データのうち利用者の認識上の動体に対応する映像データに基づいて利用者の視線を予測する、
ことを特徴とする請求項１から請求項５のいずれか１の請求項に記載の映像表示システム。
【請求項７】
前記視線予測部は、
前記映像出力部で出力している映像に対する過去の時系列で変化する蓄積データに基づいて利用者の視線を予測する、
ことを特徴とする請求項１から請求項６のいずれか１の請求項に記載の映像表示システム。
【請求項８】
前記視線予測部は、
前記映像出力部で出力している映像中の輝度レベルの変化量が所定値以上である場合に利用者の視線が動くであろうと予測する、
ことを特徴とする請求項１から請求項６のいずれか１の請求項に記載の映像表示システム。
【請求項９】
前記映像出力部は、
利用者が頭部に装着するヘッドマウントディスプレイに配置した
ことを特徴とする請求項１から請求項８のいずれか１の請求項に記載の映像表示システム。
【請求項１０】
映像を出力する映像出力ステップと、
前記映像出力ステップで出力している映像に対する利用者の視線方向を検出する視線検出ステップと、
前記映像出力ステップで出力している映像のうち前記視線検出ステップで検出した視線方向に対応した所定エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う映像生成ステップと、
前記映像出力ステップで出力している映像が動画である場合に、利用者の視線の移動方向を予測する視線予測ステップと、
前記映像出力ステップで出力している映像が動画である場合に、前記所定エリア内の映像に加えて前記視線予測ステップで予測した視線方向に対応した予測エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う拡張エリア映像生成ステップと、
を含む映像表示方法。
【請求項１１】
コンピュータに、
映像を出力する映像出力機能と、
前記映像出力機能で出力している映像に対する利用者の視線方向を検出する視線検出機能と、
前記映像出力機能で出力している映像のうち前記視線検出機能で検出した視線方向に対応した所定エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う映像生成機能と、
前記映像出力機能で出力している映像が動画である場合に、利用者の視線の移動方向を予測する視線予測機能と、
前記映像出力機能で出力している映像が動画である場合に、前記所定エリア内の映像に加えて前記視線予測機能で予測した視線方向に対応した予測エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う拡張エリア映像生成機能と、
を実現させる映像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像表示システム、映像表示方法、映像表示プログラムに関し、特に、利用者が装着した状態でディスプレイに映像を表示するようにした映像表示システム、映像表示方法、映像表示プログラムに関する。
【背景技術】
【０００２】
従来から、ディスプレイに映像を表示する映像表示器には、ヘッドマウントディスプレイやスマートグラスと称されるように、利用者が装着した状態でディスプレイに映像を表示するようにした映像表示システムが開発されている。この際、映像データは、数値データとして与えられた物体等に関する情報を計算によって画像化するレンダリングを実行する。これにより、利用者の視点の位置、光源の数や位置、物体の形状、材質を考慮して陰面消去や陰影付けなどを行うことができる。
【０００３】
このようなヘッドマウントディスプレイやスマートグラスにおいては、利用者の視線を検出するとともに、検出した視線からディスプレイ上のどの部分を注視しているのかを特定する技術も開発されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】"GOOGLE'S PAY PER GAZE PATENT PAVES WAY FOR WEARABLE AD TECH"、URL(2016年3月16日現在)http://www.wired.com/insights/2013/09/how-googles-pay-per-gaze-patent-paves-the-way-for-wearable-ad-tech/
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、非特許文献１では、例えば、動画のように動きがある映像を表示している場合、利用者の視線も大きく動く可能性が高い。したがって、このような動きのある映像を表示している際に利用者が見易い状態で表示することができれば、利用者にとって利便性を向上させることができる。ここで、動画の種類や場面によって利用者の視線の動きが早くなる場合がある。このような場合に、画像データを処理する関係で、移動した視線先の画像の解像度が粗いと見栄えや見易さが低減されてしまう。そこで、レンダリング処理として、視線の動きを予測して画面全体又は一部の見掛け上の解像度を上げることによって見易さを向上することができれば、見栄えや見易さといった観点から発生する利用者の不快感を軽減することができる。この際、画像の解像度を単に上げるだけでは、画像データの伝送量や処理量が重くなるため、できるだけデータは軽いのが望ましい。したがって、利用者の注視部分を含む所定エリアを高解像とし、それ以外の部分を低解像度として画像データの伝送量や処理量を軽減するのが望ましい。
【０００６】
そこで、本発明は、ディスプレイに映像を表示する映像表示システムにおいて、動きのある映像を表示している際に利用者が見易い状態で表示することにより、利用者の利便性を向上させることができる映像表示システム、映像表示方法、映像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係る映像表示システムは、映像を出力する映像出力部と、映像出力部で出力している映像に対する利用者の視線方向を検出する視線検出部と、映像出力部で出力している映像のうち視線検出部で検出した視線方向に対応した所定エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う映像生成部と、映像出力部で出力している映像が動画である場合に、利用者の視線の移動方向を予測する視線予測部と、映像出力部で出力している映像が動画である場合に、所定エリア内の映像に加えて視線予測部で予測した視線方向に対応した予測エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う拡張エリア映像生成部と、を備える。
【０００８】
また、拡張エリア映像生成部は、所定エリアに隣接して予測エリアが位置するように映像処理を行ってもよいし、所定エリアと一部を共有した状態で予測エリアが位置するように映像処理を行ってもよいし、所定エリアの形状に基づく面積よりも大きい予測エリアとなるように映像処理を行ってもよいし、所定エリアと予測エリアとを一つの拡張エリアとして映像処理を行ってもよい。
【０００９】
また、視線予測部は、映像出力部で出力している映像の映像データのうち利用者の認識上の動体に対応する映像データに基づいて利用者の視線を予測してもよいし、映像出力部で出力している映像に対する過去の時系列で変化する蓄積データに基づいて利用者の視線を予測してもよい。さらに、視線予測部は、映像出力部で出力している映像中の輝度レベルの変化量が所定値以上である場合に利用者の視線が動くであろうと予測してもよい。
【００１０】
なお、映像出力部は、利用者が頭部に装着するヘッドマウントディスプレイに設けることができる。
【００１１】
また、本発明に係る映像表示方法は、映像を出力する映像出力ステップと、映像出力ステップで出力している映像に対する利用者の視線方向を検出する視線検出ステップと、映像出力ステップで出力している映像のうち視線検出ステップで検出した視線方向に対応した所定エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う映像生成ステップと、映像出力ステップで出力している映像が動画である場合に、利用者の視線の移動方向を予測する視線予測ステップと、映像出力ステップで出力している映像が動画である場合に、所定エリア内の映像に加えて視線予測ステップで予測した視線方向に対応した予測エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う拡張エリア映像生成ステップと、を含む。
【００１２】
また、本発明に係る映像表示プログラムは、コンピュータに、映像を出力する映像出力機能と、映像出力機能で出力している映像に対する利用者の視線方向を検出する視線検出機能と、映像出力機能で出力している映像のうち視線検出機能で検出した視線方向に対応した所定エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う映像生成機能と、映像出力機能で出力している映像が動画である場合に、利用者の視線の移動方向を予測する視線予測機能と、映像出力機能で出力している映像が動画である場合に、所定エリア内の映像に加えて視線予測機能で予測した視線方向に対応した予測エリア内の映像を他のエリアよりも利用者の認識が高くなるように映像処理を行う拡張エリア映像生成機能と、を実現させる。
【発明の効果】
【００１３】
本発明によれば、動きのある映像を表示している際に利用者が見易い状態で表示することにより、利用者の利便性を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】ヘッドマウントディスプレイを利用者が装着した様子を示す外観図である。
【図２】（Ａ）はヘッドマウントディスプレイの映像出力部を模式的に示す斜視図、（Ｂ）はヘッドマウントディスプレイの映像出力部を模式的に示す側面図である。
【図３】映像表示システム構成のブロック図である。
【図４】（Ａ）は視線方向を検出するためのキャリブレーションを説明する説明図、（Ｂ）は利用者の角膜の位置座標を説明する模式図である。
【図５】映像表示システムの動作を示すフローチャートである。
【図６】（Ａ）は映像表示システムが表示する映像処理前の映像表示例の説明図、（Ｂ）は映像表示システムが表示する視線検出状態の映像表示例の説明図である。
【図７】（Ａ）は映像表示システムが表示する映像処理状態の映像表示例の説明図、（Ｂ）は所定エリアの一部と予測エリアの一部とを重ね合わせた状態の拡張エリアの説明図、（Ｃ）は所定エリアと予測エリアとを一つの拡張エリアとした状態の説明図、（Ｄ）は所定エリアの外側に異形の予測エリアを隣接させた状態の拡張エリアの説明図、（Ｅ）は所定エリアに重ならずに予測エリアを隣接させた状態の拡張エリアの説明図である。
【図８】映像データのダウンロードから画面表示に至る説明図である。
【図９】映像表示システムの回路構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
次に、本発明の一実施の形態に係る映像表示システムについて、図面を参照して説明する。なお、以下に示す実施の形態は本発明の映像表示システムにおける好適な具体例であり、技術的に好ましい種々の限定を付している場合もあるが、本発明の技術範囲は、特に本発明を限定する記載がない限り、これらの態様に限定されるものではない。また、以下に示す実施の形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、かつ、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下に示す実施の形態の記載をもって、特許請求の範囲に記載した発明の内容を限定するものではない。
【００１６】
また、以下に示す実施の形態では、利用者が装着した状態で、その利用者に映像を表示する映像表示器としてヘッドマウントディスプレイに適用した場合で説明するが、これに限定されず、例えば、スマートグラス等でもよい。
【００１７】
＜構成＞
図１において、映像表示システム１は、利用者Ｐが頭部に装着した状態で映像出力及び音声出力が可能なヘッドマウントディスプレイ１００と、利用者Ｐの視線を検出するための視線検出装置２００と、を含む。ヘッドマウントディスプレイ１００と視線検出装置２００とは、電気通信回線を通じて相互通信可能となっている。なお、図１に示す例では、ヘッドマウントディスプレイ１００と視線検出装置２００とは、無線通信回線Ｗを通じて接続しているが、有線通信回線であってもよい。ヘッドマウントディスプレイ１００と視線検出装置２００との無線通信回線Ｗによる接続方式としては、既知の近距離無線通信、例えば、Ｗｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。
【００１８】
なお、図１に示す例では、ヘッドマウントディスプレイ１００と視線検出装置２００とを別々の装置とした場合の例を示しているが、例えば、視線検出装置２００をヘッドマウントディスプレイ１００に内蔵してもよい。
【００１９】
視線検出装置２００は、ヘッドマウントディスプレイ１００を装着した利用者Ｐの右眼及び左眼の少なくとも一方の視線方向を検出し、利用者Ｐの焦点位置を特定する。すなわち、視線検出装置２００は、ヘッドマウントディスプレイ１００に表示している二次元映像又は三次元映像に対して、利用者Ｐが注視している位置を特定する。また、視線検出装置２００は、ヘッドマウントディスプレイ１００に表示する二次元映像又は三次元映像を生成する映像生成装置としても機能する。
【００２０】
限定はしないが、一例として、視線検出装置２００は、据え置き型のゲーム機、携帯型のゲーム機、パーソナルコンピュータ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビジョン等の映像を再生可能な装置である。この際、限定はしないが、ヘッドマウントディスプレイ１００と視線検出装置２００との間における映像の伝送は、一例として、Ｍｉｒａｃａｓｔ（登録商標）やＷｉＧｉｇ（登録商標）、ＷＨＤＩ（Wireless Home Digital Interface：登録商標）等の規格に則って実行し得る。また、それ以外の電気通信回線技術を用いてもよく、例えば、音波通信技術や光伝送技術を利用してもよい。視線検出装置２００は、インターネット通信回線等の電気通信回線ＮＴを通じて、インターネット（クラウド３００）を経由してサーバ３１０から映像データ（動画データ）をダウンロードすることができる。
【００２１】
ヘッドマウントディスプレイ１００は、本体部１１０、装着部１２０、及びヘッドフォン１３０を備える。
【００２２】
本体部１１０は、樹脂等の一体成型により、筐体部１１０Ａと、筐体部１１０Ａから装着状態において利用者Ｐの左右後方に延びるウイング部１１０Ｂと、左右の各ウイング部１１０Ｂの中途部から利用者Ｐの上方に立ち上がるフランジ部１１０Ｃと、を含む。なお、ウイング部１１０Ｂとフランジ部１１０Ｃとは、先端側に向けて互いに接近するように屈曲している。
【００２３】
筐体部１１０Ａの内部には、利用者Ｐに映像を提示するための映像出力部１４０に加え、図示しないＷｉ−Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）の近距離無線通信用の無線伝送モジュール等を収容している。筐体部１１０Ａは、利用者Ｐがヘッドマウントディスプレイ１００を装着したときに、利用者Ｐの両眼付近全体（顔の上半分程度）を覆う位置にある。これにより、本体部１１０は、利用者Ｐがヘッドマウントディスプレイ１００を装着したときに、利用者Ｐの視界を遮る。
【００２４】
装着部１２０は、利用者Ｐが頭部にヘッドマウントディスプレイ１００を装着する際に、利用者Ｐの頭部にヘッドマウントディスプレイ１００を安定させるものである。装着部１２０は、例えば、ベルトや伸縮性の帯等で実現できる。図１に示す例では、装着部１２０は、左右のウイング部１１０Ｂに跨って利用者Ｐの後頭部付近を回り込むように支持する後装着部１２１と、左右のフランジ部１１０Ｃに跨って利用者Ｐの頭頂部付近を回り込むように支持する上装着部１２２と、を備える。これにより、装着部１２０は、利用者Ｐの頭部の大きさ等に拘らず、安定してヘッドマウントディスプレイ１００を装着することができる。なお、図１に示す例では、ヘッドフォン１３０は、汎用品を用いているため、利用者Ｐの頭頂部をフランジ部１１０Ｃと上装着部１２２とで支持する構成を採用しているが、ヘッドフォン１３０のヘッドバンド１３１をウイング部１１０Ｂにアタッチメント方式で着脱可能とし、フランジ部１１０Ｃ及び上装着部１２２を廃止してもよい。
【００２５】
ヘッドフォン１３０は、視線検出装置２００が再生する映像の音声を音声出力部（スピーカ）１３２から出力する。ヘッドフォン１３０は、ヘッドマウントディスプレイ１００に固定しなくてもよい。これにより、利用者Ｐは、装着部１２０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１３０を自由に着脱することができる。この際、ヘッドフォン１３０は、視線検出装置２００と無線通信回線Ｗを通じて音声データを直接受信するようにしてもよいし、ヘッドマウントディスプレイ１００と無線若しくは有線の電気通信回線を通じて音声データを間接的に受信するようにしてもよい。
【００２６】
図２に示すように、映像出力部１４０は、凸レンズ１４１、レンズ保持部１４２、光源１４３、ディスプレイ１４４、波長制御部材１４５、カメラ１４６、及び第１通信部１４７を備える。
【００２７】
図２（Ａ）に示すように、凸レンズ１４１は、利用者Ｐがヘッドマウントディスプレイ１００を装着したときに、本体部１１０のうち利用者Ｐの角膜Ｃを含む両眼の前眼部に対向する左眼用凸レンズ１４１ａと右眼用凸レンズ１４１ｂとを有する。
【００２８】
図２（Ａ）に示す例では、左眼用凸レンズ１４１ａは、利用者Ｐがヘッドマウントディスプレイ１００を装着したときに、利用者Ｐの左眼の角膜ＣＬと対向する位置となるように配置している。同様に、右眼用凸レンズ１４１ｂは、利用者Ｐがヘッドマウントディスプレイ１００を装着したときに、利用者Ｐの右眼の角膜ＣＲと対向する位置となるように配置している。左眼用凸レンズ１４１ａと右眼用凸レンズ１４１ｂとは、それぞれレンズ保持部１４２の左眼用レンズ保持部１４２ａと右眼用レンズ保持部１４２ｂとで保持している。
【００２９】
凸レンズ１４１は、波長制御部材１４５に対して、ディスプレイ１４４の反対側に配置している。言い換えると、凸レンズ１４１は、利用者Ｐがヘッドマウントディスプレイ１００を装着したときに、波長制御部材１４５と利用者Ｐの角膜Ｃとの間に位置するように配置している。すなわち、凸レンズ１４１は、ヘッドマウントディスプレイ１００を利用者Ｐが装着したときに、利用者Ｐの角膜Ｃに対向する位置に配置している。
【００３０】
凸レンズ１４１は、ディスプレイ１４４から波長制御部材１４５を透過する映像表示光を利用者Ｐに向けて集光する。このため、凸レンズ１４１は、ディスプレイ１４４が生成する映像を拡大して利用者Ｐに提示する映像拡大部として機能する。なお、説明の便宜上、図２では左右各々について凸レンズ１４１を一つのみで示しているが、凸レンズ１４１は、種々のレンズを組み合わせて構成したレンズ群であってもよいし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。
【００３１】
なお、以下の説明において、利用者Ｐの左眼の角膜ＣＬと利用者Ｐの右眼の角膜ＣＲとを特に区別する場合を除いて、単に「角膜Ｃ」と称する。また、左眼用凸レンズ１４１ａ及び右眼用凸レンズ１４１ｂにおいても、特に区別する場合を除いて、単に「凸レンズ１４１」と称する。さらに、左眼用レンズ保持部１４２ａ及び右眼用レンズ保持部１４２ｂにおいても、特に区別する場合を除いて、単に「レンズ保持部１４２」と称する。
【００３２】
光源１４３は、レンズ保持部１４２の端面付近であって凸レンズ１４１の周囲に沿うように配置するとともに不可視光を含む照明光として近赤外光を照射する。光源１４３は、利用者Ｐの左眼用の複数の光源１４３ａと利用者Ｐの右眼用の複数の光源１４３ｂとを設けている。なお、以下の説明において、利用者Ｐの左眼用の光源１４３ａと利用者Ｐの右眼の光源１４３ｂとを特に区別する場合を除いて、単に「光源１４３」と称する。図２（Ａ）に示す例では、左眼用レンズ保持部１４２ａには６つの光源１４３ａを配置している。同様に、右眼用レンズ保持部１４２ｂには６つの光源１４３ｂを配置している。このように、光源１４３を凸レンズ１４１に直接配置せず、凸レンズ１４１を把持するレンズ保持部１４２に配置することにより、レンズ保持部１４２に対する凸レンズ１４１及び光源１４３の取り付けが容易となる。一般にレンズ保持部１４２は樹脂等で形成するため、ガラス等から構成した凸レンズ１４１よりも光源１４３を取り付けるための加工が容易だからである。
【００３３】
上述したように、光源１４３は、凸レンズ１４１を把持する部材であるレンズ保持部１４２に配置している。したがって、光源１４３は、レンズ保持部１４２に設けた凸レンズ１４１の周囲に沿って配置することになる。なお、ここでは、利用者Ｐのそれぞれの眼に対して近赤外光を照射する光源１４３を６つとしているが、この数はこれに限定されるものではなく、それぞれの眼に対応して少なくとも１個あればよく、２個以上配置するのがより望ましい。さらに、光源１４３を４個以上（特に偶数個）配置した場合には、凸レンズ１４１の中心を通るレンズ光軸Ｌと直行する利用者Ｐの上下左右方向で対称に配置するのがさらに望ましい。なお、レンズ光軸Ｌは利用者Ｐの左右眼の角膜頂点を通る視軸と同軸となるのが望ましい。
【００３４】
光源１４３は、近赤外の波長帯域の光を照射可能な発光ダイオード（ＬＥＤ）やレーザダイオード（ＬＤ）を用いることにより実現できる。光源１４３は、近赤外ビーム光（平行光）を照射する。この際、光源１４３は、その殆どが平行光束であるが、一部の光束は拡散光となる。また、光源１４３が照射した近赤外光は、マスクや絞り、或は、コリメートレンズ等の光学部材を用いて平行光とする必要はなく、全光束をそのまま照明光として利用する。
【００３５】
近赤外光は、一般に、利用者Ｐの肉眼では視認することができない非可視光領域のうち、近赤外領域の波長の光である。なお、近赤外領域の具体的な波長の基準は各国或は各種団体によって異なるが、本実施の形態においては、可視光領域寄りの近赤外領域付近（例えば、７００ｎｍ前後）の波長を用いている。光源１４３から照射する近赤外光の波長は、カメラ１４６によって受光しかつ利用者Ｐの眼に対して負担を強いることのない波長を用いる。例えば、光源１４３から照射した光は、利用者Ｐに視認できてしまうとディスプレイ１４４に表示した映像の視認性が妨げられてしまうため、利用者Ｐには視認できない程度の波長とするのが望ましい。したがって、特許請求の範囲における不可視光とは、個人差や各国等によって異なる厳密な基準に基づいて具体的に限定されるものではない。すなわち、上述した利用形態に即して、利用者Ｐには視認できない、若しくは視認し難い、とされる７００ｎｍよりも可視光領域側の波長（例えば、６５０ｎｍ〜７００ｎｍ）を含ませることができる。
【００３６】
ディスプレイ１４４は、利用者Ｐに提示するための映像を表示する。ディスプレイ１４４が表示する映像は、後述する視線検出装置２００の映像生成部２１４が生成する。ディスプレイ１４４は、例えば、既知の液晶表示器（ＬＣＤ）や有機エレクトロルミネッセンスディスプレイ（有機ＥＬ）等を用いて実現できる。これにより、ディスプレイ１４４は、例えば、クラウド３００の各種サイト上のサーバ３１０からダウンロードした動画データに基づく映像を出力する映像出力部として機能する。したがって、ヘッドフォン１３０は、これら各種映像に被系列で紐付いて音声を出力する音声出力部として機能する。この際、動画データは、サーバ３１０から逐次ダウンロードして表示してもよいし、各種記憶メディア等に一時的に格納したうえで再生することも可能である。
【００３７】
波長制御部材１４５は、利用者Ｐがヘッドマウントディスプレイ１００を装着したときに、ディスプレイ１４４と利用者Ｐの角膜Ｃとの間に配置する。波長制御部材１４５には、ディスプレイ１４４が表示する可視光領域の波長の光束を透過し、不可視光領域の波長の光束を反射する光学特性を有する光学部材を用いることができる。なお、波長制御部材１４５としては、可視光透過・不可視光反射特性を有していれば、光学フィルタ、ホットミラーやダイクロイックミラー、ビームスプリッタ等を用いることができる。具体的には、光源１４３から照射する近赤外光を反射し、ディスプレイ１４４が表示する映像である可視光を透過する。
【００３８】
図示はしないが、映像出力部１４０は、ディスプレイ１４４を利用者Ｐの左右の計二つ備えており、利用者Ｐの右眼に提示するための映像と、利用者Ｐの左眼に提示するための映像とを独立して生成することができる。このため、ヘッドマウントディスプレイ１００は、利用者Ｐの右眼と左眼とに、それぞれ右眼用の視差映像と左眼用の視差映像とを提示することができる。これにより、ヘッドマウントディスプレイ１００は、利用者Ｐに対して奥行き感を持った立体映像（３Ｄ映像）を提示することができる。
【００３９】
上述したように、波長制御部材１４５は、可視光を透過し、近赤外光を反射する。したがって、ディスプレイ１４４が表示する映像に基づく可視光領域の光束は、波長制御部材１４５を透過して利用者Ｐの角膜Ｃに到達する。また、光源１４３から照射した近赤外光のうち、上述した殆どの平行光束は、利用者Ｐの前眼部における輝点像となるように点状（ビーム状）となって前眼部に到達し、利用者Ｐの前眼部で反射して凸レンズ１４１に到達する。一方、光源１４３から照射した近赤外光のうち、拡散光束は、利用者Ｐの前眼部における全体の前眼部像となるように拡散して前眼部に到達し、利用者Ｐの前眼部で反射して凸レンズ１４１に到達する。利用者Ｐの前眼部で反射して凸レンズ１４１に到達した輝点像用の反射光束は、凸レンズ１４１を透過した後、波長制御部材１４５で反射してカメラ１４６が受光する。同様に、利用者Ｐの前眼部で反射して凸レンズ１４１に到達した前眼部像用の反射光束も、凸レンズ１４１を透過した後、波長制御部材１４５で反射してカメラ１４６が受光する。
【００４０】
カメラ１４６は可視光を遮断するカットフィルタ（図示せず）を備えており、波長制御部材１４５で反射した近赤外光を撮像する。すなわち、カメラ１４６は、光源１４３から照射し、利用者Ｐの前眼部で反射した近赤外光の輝点像の撮像と、利用者Ｐの前眼部で反射した近赤外光の前眼部像の撮像とが可能な赤外カメラにより実現することができる。
【００４１】
カメラ１４６が撮像する画像としては、利用者Ｐの角膜Ｃで反射した近赤外光に基づく輝点像と、近赤外の波長帯域で観察する利用者Ｐの角膜Ｃを含む前眼部像とを撮像する。したがって、カメラ１４６は、ディスプレイ１４４で映像を表示している間、光源１４３を照明光として常時又は一定間隔ごとに点灯させることにより、輝点像並びに前眼部像を取得することができる。これにより、ディスプレイ１４４で表示中の映像変化等に起因する利用者Ｐの時系列で変化する視線検出用としてのカメラとすることができる。
【００４２】
なお、図示はしないが、カメラ１４６は二つ、すなわち、利用者Ｐの右眼の角膜ＣＲの周辺を含む前眼部で反射した近赤外光の画像を撮像する右眼用と、利用者Ｐの左眼の角膜ＣＬの周辺を含む前眼部で反射した近赤外光を含む画像を撮像する左眼用とを備える。これにより、利用者Ｐの右眼及び左眼の双方の視線方向を検出するための画像を取得することができる。
【００４３】
カメラ１４６が撮像した輝点像と前眼部像とに基づく画像データは、利用者Ｐの視線方向を検出する視線検出装置２００に出力する。視線検出装置２００による視線方向検出機能の詳細については後述するが、視線検出装置２００の制御部（ＣＰＵ）が実行する映像表示プログラムによって実現する。この際、ヘッドマウントディスプレイ１００が制御部（ＣＰＵ）やメモリ等の計算リソース（コンピュータとしての機能）を持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線方向検出機能を実現するプログラムを実行してもよい。
【００４４】
以上は、映像出力部１４０のうち主に利用者Ｐの左眼に映像を提示するための構成について説明したが、利用者Ｐの右眼に映像を提示するための構成は、立体映像を提示する場合には視差を考慮する必要があること以外は、上記と同様である。
【００４５】
図３は、映像表示システム１に係るヘッドマウントディスプレイ１００と視線検出装置２００とのブロック図である。
【００４６】
ヘッドマウントディスプレイ１００は、電気回路部品として、光源１４３、ディスプレイ１４４、カメラ１４６、及び第１通信部１４７に加え、制御部（ＣＰＵ）１５０、メモリ１５１、近赤外光照射部１５２、表示部１５３、撮像部１５４、画像処理部１５５、傾き検出部１５６、を含む。
【００４７】
一方、視線検出装置２００は、制御部（ＣＰＵ）２１０、記憶部２１１、第２通信部２１２、視線検出部２１３、映像生成部２１４、音声生成部２１５、視線予測部２１６、拡張映像生成部２１７、を含む。
【００４８】
第１通信部１４７は、視線検出装置２００の第２通信部２１２と通信を実行する機能を有する通信インターフェースである。第１通信部１４７は、有線通信又は無線通信により第２通信部２１２と通信を実行する。なお、使用可能な通信規格の例は上述した通りである。第１通信部１４７は、撮像部１５４又は画像処理部１５５から伝送した視線検出に用いる映像データを第２通信部２１２に送信する。第１通信部１４７は、カメラ１４６が撮像した輝点像と前眼部像とに基づく画像データを第２通信部２１２に送信する。また、第１通信部１４７は、視線検出装置２００から送信した映像データやマーカ像を表示部１５３に伝達する。視線検出装置２００から送信する映像データは、一例として、動きのある人や物の映像を含む動画等を表示するためのデータである。また、映像データは、三次元映像を表示するための右眼用視差映像と、左眼用視差映像とからなる視差映像対であってもよい。
【００４９】
制御部１５０は、メモリ１５１に格納したプログラムにより上述した電気回路部品を制御する。したがって、ヘッドマウントディスプレイ１００の制御部１５０がメモリ１５１に格納したプログラムにしたがって視線方向検出機能を実現するプログラムを実行してもよい。
【００５０】
メモリ１５１は、上述したヘッドマウントディスプレイ１００を機能させるためのプログラムを格納しているほか、必要に応じてカメラ１４６で撮像した画像データ等を一時的に格納することも可能である。
【００５１】
近赤外光照射部１５２は、光源１４３の点灯状態を制御し、光源１４３から利用者Ｐの右眼又は左眼に近赤外光を照射させる。
【００５２】
表示部１５３は、第１通信部１４７が伝達した映像データをディスプレイ１４４に表示させる機能を有する。表示部１５３は、例えば、クラウド３００の動画サイトからダウンロードした各種動画等の映像データ、クラウド３００のゲームサイトからダウンロードしたゲーム等の映像データに加え、視線検出装置２００に優先接続した記憶再生装置（図示せず）で再生するビデオ映像・ゲーム映像・写真映像等の各種映像データ、を表示することができる。また、表示部１５３は、映像生成部２１４が出力したマーカ像を表示部１５３の指定している座標に表示する。
【００５３】
撮像部１５４は、カメラ１４６を用いて、利用者Ｐの左右眼で反射した近赤外光を含む画像を撮像する。また、撮像部１５４は、後述するディスプレイ１４４に表示したマーカ像を注視する利用者Ｐの輝点像及び前眼部像を撮像する。撮像部１５４は、撮像して得た画像データを、第１通信部１４７又は画像処理部１５５に伝達する。
【００５４】
画像処理部１５５は、必要に応じて、撮像部１５４が撮像した画像に画像処理を行い、第１通信部１４７に伝達する。
【００５５】
傾き検出部１５６は、ヘッドマウントディスプレイ１００の傾きを、例えば、加速度センサやジャイロセンサ等の傾斜センサ１５７からの検出信号に基づいて利用者Ｐの頭部の傾きをヘッドマウントディスプレイ１００の傾きとして算出する。傾き検出部１５６は、逐次、ヘッドマウントディスプレイ１００の傾きを算出し、その算出結果である傾き情報を第１通信部１４７に伝達する。
【００５６】
制御部（ＣＰＵ）２１０は、記憶部２１１に格納したプログラムにより上述した視線検出を実行する。制御部２１０は、記憶部２１１に記憶したプログラムにしたがって第２通信部２１２、視線検出部２１３、映像生成部２１４、音声生成部２１５、視線予測部２１６、拡張映像生成部２１７、を制御する。
【００５７】
記憶部２１１は、視線検出装置２００が動作上必要とする各種プログラムやデータを記憶する記録媒体である。記憶部２１１は、例えば、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）などにより実現可能である。記憶部２１１は、映像データに対応して映像中の各登場人物に対応したディスプレイ１４４の外面上での位置情報や各登場人物の音声情報を記憶している。
【００５８】
第２通信部２１２は、ヘッドマウントディスプレイ１００の第１通信部１４７と通信を実行する機能を有する通信インターフェースである。上述したとおり、第２通信部２１２は、有線通信又は無線通信により第１通信部１４７と通信を実行する。第２通信部２１２は、映像生成部２１４が伝達した人物等の動きのある画像を含む映像を表示するための映像データや、キャリブレーションのために用いるマーカ像などをヘッドマウントディスプレイ１００に送信する。また、ヘッドマウントディスプレイ１００が伝達した撮像部１５４により撮像したマーカ像を注視する利用者Ｐの輝点像、映像生成部２１４が出力した映像データに基づいて表示した映像を見る利用者Ｐの前眼部像、傾き検出部１５６が算出した傾き情報を視線検出部２１３に伝達する。また、第２通信部２１２は、外部のネットワーク（例えば、インターネット）にアクセスして、映像生成部２１４で指定した動画ウェブサイトの映像情報を取得して、映像生成部２１４に伝達することも可能である。また、第２通信部２１２は、音声生成部２１５が伝達した音声情報を、直接又は第１通信部１４７を経由してヘッドフォン１３０に送信する。
【００５９】
視線検出部２１３は、カメラ１４６で撮像した前眼部像を解析して利用者Ｐの視線方向を検出する。具体的には、第２通信部２１２から利用者Ｐの右眼の視線検出用の映像データを受け付けて、利用者Ｐの右眼の視線方向を検出する。視線検出部２１３は、後述する手法を用いて、利用者Ｐの右眼の視線方向を示す右眼視線ベクトルを算出する。同様に、第２通信部２１２から利用者Ｐの左眼の視線検出用の映像データを受け付けて、利用者Ｐの左眼の視線方向を示す左眼視線ベクトルを算出する。そして、算出した視線ベクトルを用いて、利用者Ｐが表示部１５３に表示している映像の注視している箇所を特定する。視線検出部２１３は、特定した注視点を映像生成部２１４に伝達する。
【００６０】
映像生成部２１４は、ヘッドマウントディスプレイ１００の表示部１５３に表示させる映像データを生成し、第２通信部２１２に伝達する。映像生成部２１４は、視線検出のためのキャリブレーションのためのマーカ像を生成し、その表示座標位置と共に、第２通信部２１２に伝達して、ヘッドマウントディスプレイ１００に送信させる。また、映像生成部２１４は、視線検出部２１３が検出した利用者Ｐの視線方向に応じて、映像の表示態様を変えた映像データを生成する。映像の表示態様の変更方法の詳細については後述する。映像生成部２１４は、視線検出部２１３が伝達した注視点に基づき、利用者Ｐが特定の動きのある人や物（以下、単に「人物」と称する。」を注視しているか否かを判定し、特定の人物を注視していた場合に、その人物が何であるかを特定する。
【００６１】
映像生成部２１４は、利用者Ｐの視線方向に基づいて、特定した人物の少なくとも一部を含む所定エリア内の映像が所定エリア以外の映像よりも注視し易くなるように映像データを生成することができる。例えば、所定エリア内の映像を鮮明化するとともに、所定エリア以外のその他のエリアの映像をぼかしたりスモークを掛けたりといった強調が可能となっている。なお、所定エリア内の映像は鮮明化せずにそのままの解像度としてもよい。また、映像の種類に応じて、特定の人物がディスプレイ１４４の中央に位置するように移動する、特定の人物をズームアップする、特定の人物が移動している際に追尾する、といった付加機能を付与することも可能である。なお、映像の鮮明化（以下、「鮮明化処理」とも称する）とは、単に解像度をあげるということだけではなく、利用者の現在の視線方向及び後述する予測した視線方向を含む画像の見掛け上の解像度を上げることによって見易さを向上することができれば限定されるものではない。すなわち、所定エリア内の映像の解像度はそのままにその他のエリアの解像度を下げても、利用者から見た場合には見掛け上の解像度は上がっていることとなる。また、このような鮮明化処理としての上げ下げには、単位時間あたりに処理するフレーム数であるフレームレートを上げ下げしてもよいし、単位時間あたりに処理又は伝送するデータのビット数である画像データの圧縮のビットレートを上げ下げしてもよい。これにより、データの伝送量を軽くしたまま、利用者にとって見掛け上の解像度を上げ（下げ）することができ、所定エリア内の映像を鮮明化することができる。なお、データの電動には、所定エリア内の映像に対応した映像データと、所定エリア外の映像に対応した映像データと、を別々に伝送して合成してもよいし、予め合成して伝送してもよい。
【００６２】
音声生成部２１５は、ヘッドフォン１３０から映像データと時系列で対応した音声データを出力するように音声データを生成する。
【００６３】
視線予測部２１６は、視線検出部２１３で特定した人物が映像データに基づくディスプレイ１４４上でどのように動くのかを予測する。なお、視線予測部２１６は、ディスプレイ１４４で出力している映像の映像データのうち利用者Ｐの認識上の動体（特定した人物）に対応する映像データに基づいて利用者Ｐの視線を予測してもよいし、ディスプレイ１４４で出力している映像に対する過去の時系列で変化する蓄積データに基づいて利用者Ｐの視線を予測してもよい。この際、蓄積データには、時系列で変化する映像データと視線位置（ＸＹ座標）とをテーブル方式で関連付けしたデータである。この蓄積データは、例えば、クラウド３００の各位サイトにフィードバックすることができ、映像データのダウンロードと同時にダウンロードが可能である。また、同一の利用者Ｐが同一の映像を見ている場合には、好んで同一の場面等を視聴する可能性が高いため、前回以前の時系列で変化する映像データと視線位置（ＸＹ座標）とをテーブル方式で関連付けしたデータとして記憶部２１１又はメモリ１５１に格納することも可能である。
【００６４】
拡張映像生成部２１７は、ディスプレイ１４４で出力している映像が動画である場合に、所定エリア内の映像に加えて視線予測部２１６で予測した視線方向に対応した予測エリア内の映像を他のエリアよりも利用者Ｐの認識が高くなる（見易くなる）ように映像処理を行う。なお、所定エリアと予測エリアとによる拡張エリアの詳細は後述する。
【００６５】
次に、実施の形態に係る視線方向の検出について説明する。
【００６６】
図４は、実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。利用者Ｐの視線方向は、撮像部１５４が撮像し第１通信部１４７が視線検出装置２００に出力した映像を、視線検出装置２００内の視線検出部２１３が解析することにより実現可能である。
【００６７】
図４（Ａ）に示すように、映像生成部２１４は、例えば、点Ｑ１〜Ｑ９までの９つの点（マーカ像）を生成し、ヘッドマウントディスプレイ１００のディスプレイ１４４に表示させる。この際、映像生成部２１４は、例えば、点Ｑ１から開始して点Ｑ９に到るまでを順番として利用者Ｐに注視させる。利用者Ｐは、首や頭を動かすことなく、できる限り眼球の動きのみで各点Ｑ１〜Ｑ９を注視する。カメラ１４６は、利用者Ｐが点Ｑ１〜Ｑ９までの９つの点を注視しているときの利用者Ｐの角膜Ｃを含む前眼部像と輝点像とを撮像する。
【００６８】
図４（Ｂ）に示すように、視線検出部２１３は、カメラ１４６が撮像した輝点像を含む前眼部像を解析して近赤外光に由来する各輝点像を検出する。利用者Ｐが眼球の動きのみで各点を注視しているときは、利用者Ｐがいずれの点Ｑ１〜Ｑ９を注視している場合であっても、輝点Ｂ１〜Ｂ６の位置は動かないと考えられる。そこで視線検出部２１３は、検出した輝点Ｂ１〜Ｂ６をもとに、撮像部１５４が撮像した前眼部像に対して２次元座標系を設定する。
【００６９】
視線検出部２１３はまた、撮像部１５４が撮像した前眼部像を解析することにより、利用者Ｐの角膜Ｃの頂点ＣＰを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、視線検出部２１３は、設定した２次元座標系における利用者Ｐの角膜Ｃの頂点ＣＰの座標を取得できる。
【００７０】
図４（Ａ）において、ディスプレイ１４４の表示画面に設定した２次元座標系における点Ｑ１〜Ｑ９の座標をそれぞれＱ１（ｘ１，ｙ１）Ｔ，Ｑ２（ｘ２，ｙ２）Ｔ・・・，Ｑ９（ｘ９，ｘ９）Ｔとする。各座標は、例えば、各点Ｑ１〜Ｑ９の中心に位置する画素の番号とする。また、利用者Ｐが点Ｑ１〜Ｑ９を注視しているときの、利用者Ｐの角膜Ｃの頂点ＣＰを、それぞれ点Ｐ１〜Ｐ９とする。このとき、２次元座標系における点Ｐ１〜Ｐ９の座標をそれぞれＰ１（Ｘ１，Ｙ１）Ｔ，Ｐ２（Ｘ２，Ｙ２）Ｔ，・・・，Ｐ９（Ｚ９，Ｙ９）Ｔとする。なお、Ｔはベクトル又は行列の転置を表す。
【００７１】
いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。
【００７２】
【数１】
2018004950.tif 000003
【００７３】
このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍは利用者Ｐの視線方向をディスプレイ１４４の表示画面に射影する行列となる。
ＰＮ＝ＭＱＮ  （Ｎ＝１，・・・，９）    式（２）
【００７４】
上記式（２）を具体的に書き下すと以下の式（３）のようになる。
【００７５】
【数２】
2018004950.tif 000004
式（３）を変形すると以下の式（４）を得る。
【００７６】
【数３】
2018004950.tif 000005
ここで、
【００７７】
【数４】
2018004950.tif 000006
とおくと、以下の式（５）を得る。
ｙ＝Ａｘ    （５）
【００７８】
式（５）において、ベクトルｙの要素は視線検出部２１３がディスプレイ１４４に表示させる点Ｑ１〜Ｑ９の座標であるため既知である。また、行列Ａの要素は利用者Ｐの角膜Ｃの頂点ＣＰの座標であるため取得できる。したがって、視線検出部２１３は、ベクトルｙ及び行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。
【００７９】
式（５）は、未知数の数（すなわち、ベクトルｘの要素数４）よりも式の数（すなわち、視線検出部２１３がキャリブレーション時に利用者Ｐに提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。
【００８０】
ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ−Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘｏｐｔは、以下の式（６）で求められる。
ｘｏｐｔ＝（ＡＴＡ）−１ＡＴｙ    （６）
ここで「−１」は逆行列を示す。
【００８１】
視線検出部２１３は、求めたベクトルｘｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、視線検出部２１３は、利用者Ｐの角膜Ｃの頂点ＣＰの座標と行列Ｍとを用いることで、式（２）にしたがい、利用者Ｐの右眼がディスプレイ１４４に表示している映像のどこを注視しているかを推定できる。ここで、視線検出部２１３は、更に、利用者Ｐの眼とディスプレイ１４４との間の距離情報をヘッドマウントディスプレイ１００から受信し、その距離情報に応じて、推定した利用者Ｐが注視している座標値を修正する。なお、利用者Ｐの眼とディスプレイ１４４との間の距離による注視位置の推定のずれは誤差の範囲として無視してもよい。これにより、視線検出部２１３は、ディスプレイ１４４上の右眼の注視点と利用者Ｐの右眼の角膜の頂点とを結ぶ右眼視線ベクトルを算出することができる。同様に、視線検出部２１３は、ディスプレイ１４４上の左眼の注視点と利用者Ｐの左眼の角膜の頂点とを結ぶ左眼視線ベクトルを算出することができる。なお、片目だけの視線ベクトルで２次元平面上での利用者Ｐの注視点を特定することができ、両眼の視線ベクトルを得ることで利用者Ｐの注視点の奥行き方向の情報まで算出することができる。視線検出装置２００はこのようにして利用者Ｐの注視点を特定することができる。なお、ここに示した注視点の特定方法は一例であって、上記以外の手法を用いて利用者Ｐの注視点を特定してもよい。
【００８２】
＜映像データ＞
ここで、具体的な映像データについて説明する。例えば、動画としてのカーレースにおいては、コース上のカメラの設置位置により、どのコースの映像データであるのかを特定することができる。また、コース上を走行するマシン（レース車）は、基本的にコース上を走行するため、走行ルートはある程度特定（予測）することができる。さらに、レース中は多数のマシンがコース上を走行しているが、マシン番号やカラーリングによりマシンの特定も可能である。
【００８３】
なお、映像上では、観客席上の観衆等も動いてはいるが、レース動画の観点からすれば利用者がレース観戦という目的上で認識することがほとんどない動体であるため、利用者Ｐの認識上の動体として視線予測を行う対象からは外すことができる。これにより、ディスプレイ１４４に表示している各コース上で走行しているマシンごとに、どのような動きをしているかをある程度予測することができる。また、このような「利用者Ｐの認識上の動体」とは、映像上では動いており、かつ、利用者Ｐが意識的に認識する動態を意味するものとする。換言すれば、特許請求の範囲における「利用者の認識上の動体」とは、視点検出並びに視線予測の対象となり得る映像上で動きのある人や物を意味する。
【００８４】
なお、リアルタイム映像ではない編集によるカーレースの映像データにおいて、各マシンがディスプレイ１４４に写っているのかいないのかを含み、時系列で各マシンとディスプレイ１４４の位置とをテーブル方式で対応させることが可能である。これにより、特定した人物として利用者Ｐがどのマシンを見ているのかを特定することができるとともに、単なる予測ではなく特定したマシンがどのように動くのかを特定することも可能である。
【００８５】
また、後述する所定エリアの形状や大きさも各マシンの走行位置（遠近感）に応じて変更することができる。
【００８６】
なお、カーレース動画は映像データの一例であって、その他の動画、例えば、ゲーム動画等であっても、ゲームの種類に応じて人物の特定や所定エリアの設定が可能である。この際、例えば、バトルゲームの種類や場面、囲碁や将棋等のゲーム、クラッシックコンサート等のように、全体の映像を均一に表示させたい場合は、例え何らかの動きがある映像であったとしても、視線予測としての動画には含ませないことができる。
【００８７】
＜動作＞
次に、図５のフローチャートに基づいて、映像表示システム１の動作を説明する。なお、以下の説明では、視線検出装置２００の制御部２１０が音声データを含む映像データを第２通信部２１２から第１通信部１４７へと送信したものとして説明する。
【００８８】
（ステップＳ１）
ステップＳ１において、制御部１５０は、表示部１５３及び音声出力部１３２を動作させ、ディスプレイ１４４に映像を表示出力させるとともにヘッドフォン１３０の音声出力部１３２から音声出力させてステップＳ２へと移行する。
【００８９】
（ステップＳ２）
ステップＳ２において、制御部２１０は、映像データが動画であるか否かを判定する。制御部２１０は、映像データが動画であると判定した（Ｙｅｓ）場合には、ステップＳ３へと移行する。制御部２１０は、映像データが動画であると判定しなかった（Ｎｏ）場合には、視線検出並びに視線予測は不要であるため、ステップＳ７へと移行する。なお、視線検出は必要であるが視線予測は不要である動画の場合には、制御部２１０は、以下に示す視線予測を行い、必要に応じて他の処理を行う。また、ここでの動画とは、上述したように「利用者の認識上の動体」としてなり得るか否かを基準とする。したがって、単に歩いている人の動きような動画は対象としなくてよい。また、このような動画であるか否かは、映像データの種類等が予めわかっているため、映像データを再生する際に、その種類等に応じた初期設定がなされているか否かで判定するようにしてもよい。さらに、動画であるか否かには、複数の静止画を一定のタイミングで表示切り替えするスライド方式を含ませることができる。したがって、このステップＳ２においては、通常の動画である場合を含めてシーンが切り替わる場面における「所定エリア内の映像を鮮明化する必要がある動画」であるか否かを判定する判定ステップとすることができる。
【００９０】
（ステップＳ３）
ステップＳ３において、制御部２１０は、カメラ１４６で撮像した画像データに基づいて、視線検出部２１３により利用者Ｐがディスプレイ１４４の注視点（視線位置）を検出させ、その位置を特定させ、ステップＳ４へと移行する。なお、このステップＳ３において、利用者の注視点を特定するにあたり、例えば、上述したシーンの切り替えがあった場合には、利用者が注視する部分が特定されない、すなわち、利用者自身がどこを注視するかを画面上で探す動作（視線が動き回る動作）が含まれる。このため、利用者がどこを注視すれば良いかを探し易くするために、画面全体の解像度を上げる或は既に設定していた所定エリアを解除するなど、画面を見易くしたうえで注視点を検出してもい。
【００９１】
（ステップＳ４）
ステップＳ４において、制御部２１０は、利用者Ｐが特定の人物を注視しているか否かを判定する。具体的には、制御部２１０は、時系列で変化する映像中の人物が移動等をしている場合に、時間軸で変化する検出した注視点におけるＸＹ座標軸の変化が、最初に特定したＸＹ座標軸を起点として所定時間（例えば、１秒間）、タイムテーブルに沿う映像上のＸＹ座標軸と一致して変化しているか否かによって利用者Ｐが特定の人物を注視しているか否かを判定する。制御部２１０は、特定の人物を注視していると判定した場合（Ｙｅｓ）には、利用者Ｐが注視している人物を特定し、ステップＳ５へと移行する。制御部２１０は、特定の人物を注視していると判定しなかった場合（Ｎｏ）には、ステップＳ８へと移行する。なお、特定の人物が移動していない場合であっても、上記特定手順は同じである。また、例えば、カーレースのように、レース全体として特定の１台（若しくは特定のチーム）のマシンを対象として特定したいが、表示上の場面（コース）によってもマシンを特定する場合もある。すなわち、カーレース動画などでは特定の１台（若しくは特定のチーム）のマシンが画面上に必ずしも存在しているとは限らず、場面によって全体的に見たり、ライバルチームの走行を見たりといった様々な楽しみ方がある。したがって、特定の１台（人物）を設定する必要がない場合には、このルーチンをスキップすることも可能である。また、特定の注視点は、利用者が現在見ている視線位置を検出するアイトラッキング検出の場合に限らない。すなわち、パノラマ映像を画面表示している場合のように、利用者の頭の動き、すなわち、上下左右の回転や前後左右の傾きといった頭位置を検出するポジショントラッキング（モーショントラッキング）検出の場合を含ませることができる。
【００９２】
（ステップＳ５）
ステップＳ５において、制御部２１０は、実際には上記ステップＳ６のルーチンと並行して、映像生成部２１４により、利用者Ｐが注視していた人の識別が容易となるように、新たな映像データを生成させ、その生成後の新たな映像データを第２通信部２１２から第１通信部１４７に送信し、ステップＳ６へと移行する。これにより、ディスプレイ１４４には、例えば、図６（Ａ）に示した通常の映像表示状態から、図６（Ｂ）に示すように、特定の人物としてのマシンＦ１を含む周囲の映像はそのまま（若しくは解像度を上げて）見えるように所定エリアＥ１とし、その他のエリア（画面全体を対象）は映像がぼやけた状態で表示する。すなわち、映像生成部２１４は、所定エリアＥ１の映像がその他のエリアの映像よりも注視し易くなるように映像データを新たに生成する強調処理を実行する。
【００９３】
（ステップＳ６）
ステップＳ６において、制御部２１０は、視線予測部２１６により利用者Ｐの現在の視線位置（注視点）を基準として特定の人物（マシンＦ１）が予測可能な移動体であるか否かを判定する。制御部２１０は、特定の人物（マシンＦ１）が予測可能な移動体であると判定した場合（Ｙｅｓ）にはステップＳ７へと移行する。制御部２１０は、制御部２１０は、特定の人物（マシンＦ１）が予測可能な移動体であると判定しなかった場合（Ｎｏ）にはステップＳ８へと移行する。なお、この注視点に対する移動先の予測には、例えば、動画コンテンツの内容に応じて変更することができる。具体的には、移動体の動きベクトルに基づいて予測することも可能である。また、音声の発生や人の顔といった利用者が注視するであろう場面を画面表示している場合には、そのような音声を発している人物、顔が見える人物に対して視線を移動させる可能性が高い。したがって、予測可能な移動体には、このような現在注視している特定の人物から注視位置が切り替わるような場合を含ませることができる。同様に、上述したポジショントラッキング検出を含む場合には、頭又は身体全体が動いている動きの延長上の場面（シーン）を予測対象とすることができる。また、例えば、上述したレース動画のようにある程度の範囲で画面が切れる、すなわち、パノラマ角度が決まっている場合、利用者は頭を逆方向に戻すため、その戻しを予測含ませることも可能である。
【００９４】
（ステップＳ７）
ステップＳ７において、制御部２１０は、拡張映像生成部２１７により、図７（Ａ）に示すように、所定エリアＥ１内の映像に加えて視線予測部２１６で予測した視線方向に対応した予測エリアＥ２を設定するとともに、その予測エリアＥ２内の映像を他のエリアよりも利用者Ｐの認識が高くなるように映像処理を行い、ステップＳ８へと移行する。この際、拡張映像生成部２１７は、所定エリアＥ１に隣接するように特定の人物（マシンＦ１）の予測移動方向であって、少なくとも特定の人物（マシンＦ１）の一部を含む周辺の映像がその他のエリアの映像よりも鮮明化となるように予測エリアＥ２を設定する。すなわち、ヘッドマウントディスプレイ１００で表示する映像は、映像データを転送する際のデータ量の関係から、低解像度としている場合が多い。したがって、利用者Ｐが注視している特定の人物を含む周辺である所定エリアＥ１の解像度を上げて鮮明化することにより、その部分に関して見易い映像を見ることができる。
【００９５】
なお、拡張映像生成部２１７は、図７（Ｂ）に示すように、所定エリアＥ１と予測エリアＥ２とを別々に設定したうえで、所定エリアＥ１と一部を共有した状態で予測エリアＥ２が位置する拡張エリアＥ３となるように映像処理を行う。これにより、所定エリアＥ１と予測エリアＥ２の設定を容易とすることができる。
【００９６】
この際、拡張映像生成部２１７は、所定エリアＥ１の形状（図示例では横長の楕円）に基づく面積よりも大きい形状の予測エリアＥ２となるように映像処理を行う。これにより、特定の人物がマシンＦ１である場合のように、移動するにしたがってディスプレイ１４４での表示サイズが大きくなるような場合に、マシンＦ１の全体を的確に表示することができるうえ、実際にマシンＦ１が移動した際には、予測エリアＥ２をそのまま次の所定エリアＥ１として利用することができる。なお、図７（Ｂ）において、所定エリアＥ１及び予測エリアＥ２の枠は形状を示すためのものであって、実際のエリア設定においてディスプレイ１４４には表示されない。
【００９７】
また、拡張映像生成部２１７は、図７（Ｃ）に示すように、所定エリアＥ１と予測エリアＥ２とを合成した一つの拡張エリアＥ３として映像処理を行ってもよい。これにより、映像処理の鮮明化処理を容易に行うことができる。
【００９８】
さらに、拡張映像生成部２１７は、図７（Ｄ）に示すように、所定エリアＥ１の形状に対して予測エリアＥ２が重ならない異形とした拡張エリアＥ３として映像処理を行ってもよい。これにより、重なり合う部分の映像処理の鮮明化を廃止することができる。
【００９９】
なお、拡張映像生成部２１７は、図７（Ｅ）に示すように、所定エリアＥ１と予測エリアＥ２とが単に隣接するだけでもよい。また、各エリアの形状や大きさ等は任意である。
【０１００】
（ステップＳ８）
ステップＳ８において、制御部２１０は、映像データの再生が終了したか否かを判定する。制御部２１０は、映像データの生成が終了したと判定した場合（Ｙｅｓ）には、このルーチンを終了する。制御部２１０は、映像データの生成が終了したと判定しなかった場合（Ｎｏ）には、ステップＳ３へとループし、以降、映像データの再生が終了するまで、上記各ルーチンを繰り返す。したがって、利用者Ｐは、例えば、強調状態の映像出力を注視したい場合には、注視していた特定の人の注視をやめるだけで特定の人物を注視していると判定しない（ステップＳ３でＮｏ）こととなり、強調表示は中止となる。なお、制御部２１０は、上述したステップＳ２において、動画であるか否かに替えて、所定エリア内の映像を鮮明化する必要がある動画であるか否かの判定を行った場合には、ステップＳ３ではなく、次のシーン等を対象とて所定エリア及び視線予測を実行するために、ステップＳ２にループしてもよい。
【０１０１】
ところで、映像表示システム１は、視線検出部２１３で検出した利用者Ｐの視線方向にディスプレイ１４４から出力している映像中に画面上で移動する人物が存在している場合に、その人物を特定しかつ特定した人物に対応して音声出力部１３２から出力する音声（楽器演奏等を含む）の出力状態を他の音声の出力状態と異ならせて利用者に識別可能となるように音声データを生成してもよい。
【０１０２】
図８は、上述した映像表示システム１におけるサーバ３１０から映像データをダウンロードしてディスプレイ１４４に映像保表示するまでに至る一例の説明図である。この図８に示すように、ヘッドマウントディスプレイ１００から現在の利用者Ｐの視線検出のための画像データが視線検出装置２００に送信される。視線検出装置２００は、その画像データに基づいて利用者Ｐの視線位置を検出し、サーバ３１０に視線検出データをサーバ３１０送信する。サーバ３１０は、視線検出データに基づいてダウンロードする映像データに所定エリアＥ１と予測エリアＥ２とを合成した拡張エリアＥ３を含む圧縮データを生成して視線検出装置２００に送信する。視線検出装置２００は、この圧縮データに基づいて３次元の立体画像を生成（レンダリング）してヘッドマウントディスプレイ１００に送信する。これを逐次繰り返すことによって、利用者Pは所望の見易い映像を見ることができる。なお、視線検出装置２００からヘッドマウントディスプレイ１００に３次元の立体画像を送信する際には、例えば、高精細度マルチメディアインターフェース（ＨＤＭＩ（登録商標））ケーブルを用いてもよい。したがって、拡張映像生成部は、サーバ３１０の機能（圧縮データの生成）と、視線検出装置２００の拡張映像生成部２１７による機能（３次元の立体映像データのレンダリング）と、で分けることもできる。同様に、拡張映像生成部は、サーバ３１０で全て行ってもよいし、視線検出装置２００ですべて行ってもよい。
【０１０３】
＜補足＞
なお、映像表示システム１は、上記実施の形態に限定されるものではなく、他の手法により実現してもよい。以下、その他の例について説明する。
【０１０４】
（１）  上記実施の形態においては、実際に撮影したビデオ映像を対象として説明したが、仮想現実空間内において疑似の人物等を表示した場合に適用することとしてもよい。
【０１０５】
（２）  上記実施の形態においては、利用者Ｐの視線を検出するために、利用者Ｐの眼を撮像する手法として、波長制御部材１４５で反射させた映像を撮像しているが、これは、波長制御部材１４５を通さずに直接利用者Ｐの眼を撮像してもよい。
【０１０６】
（３）上記実施の形態における視線検出に係る手法は、一例であり、ヘッドマウントディスプレイ１００及び視線検出装置２００による視線検出方法は、これに限られるものではない。
【０１０７】
まず、非可視光として近赤外光を照射する近赤外光照射部を複数設ける例を示しているが、近赤外光を利用者Ｐの眼に照射する手法はこれに限られない。例えば、ヘッドマウントディスプレイ１００のディスプレイ１４４を構成する画素について、近赤外光を発光するサブ画素を有する画素を設ける構成とし、それらの近赤外光を発光するサブ画素を選択的に発光させて、利用者Ｐの眼に近赤外光を照射することとしてもよい。また、あるいは、ディスプレイ１４４に換えて、ヘッドマウントディスプレイ１００に網膜投影ディスプレイを備えるとともに、当該網膜投影ディスプレイで表示して、利用者Ｐの網膜に投影する映像の中に、近赤外光色で発光する画素を含ませることで、近赤外光の照射を実現する構成としてもよい。ディスプレイ１４４の場合にしても、網膜投影ディスプレイの場合にしても、近赤外光を発光させるサブ画素は、定期的に変更することとしてもよい。
【０１０８】
また、視線検出のアルゴリズムも上記手法に限定されるものではなく、視線検出を実現できるのであれば、その他のアルゴリズムを用いてもよい。
【０１０９】
（４）上記実施の形態においては、ディスプレイ１４４で出力している映像が動画である場合に、利用者Ｐが所定時間以上注視した人物がいるか否かに応じて、特定の人物の移動予測を行う例を示した。当該処理においては、更に、以下の処理を追加してもよい。すなわち、撮像部１５４を用いて利用者Ｐの眼を撮像し、視線検出装置２００は、利用者Ｐの瞳孔の動き（開き具合の変化）を特定する。そして、視線検出装置２００は、その瞳孔の開き具合に応じて、利用者Ｐの感情を特定する感情特定部を備えてもよい。そして、映像生成部２１４は、感情特定部が特定した感情に応じて各エリアの形状や大きさを変更することとしてもよい。より具体的には、例えば、あるマシンが他のマシンを追い抜いた場合のように利用者Ｐの瞳孔が大きく開いた場合には、利用者Ｐが見たマシンの動きが特殊であったと判定し、利用者Ｐがそのマシンに興味を引かれたと推定することができる。同様に、映像生成部２１４は、その際の映像の強調をさらに強調する（例えば、周囲のぼかしを濃くする）ように変化させることができる。
【０１１０】
（５）上記実施の形態においては、音声生成部２１５による音声態様の変更と同時に映像生成部２１４による強調等の表示態様の変更を行うとして例示したが、表示態様の変更には、例えば、注視しているマシンに関連するグッズや他の映像をインターネット販売するＣＭ映像に切り替えてもよい。
【０１１１】
（６）上記実施の形態においては、視線予測部２１６は、特定の人物のその後の動きを対象として予測する場合で説明したが、ディスプレイ１４４で出力している映像中の輝度レベルの変化量が所定値以上である場合に利用者Ｐの視線が動くであろうと予測してもよい。したがって、映像中で表示対象のフレームと当該フレーム以降において表示されるフレームとの間で輝度レベルの変化量が所定値以上となる画素を含む所定範囲を予測エリアとして特定してもよい。また、フレーム間で複数の箇所において輝度レベルの変化量が所定値以上となる場合には、検出した視線位置に最も近い箇所を含む所定範囲を予測エリアとして特定することとしてもよい。具体的には、利用者Ｐの視線検出により所定エリアＥ１を特定している状態で、ディスプレイ１４４に新たな動体がフレームインしてきた場合が想定できる。すなわち、その新たな動体の輝度レベルはフレームインする前の同一部分の輝度レベルよりも高い可能性があり、利用者Ｐの視線もその新たな動体に向き易い。したがって、このような新たにフレームインしてきた動体がある場合に、その動体を見易くすれば動体の種類等を容易に識別することができる。このような視線誘導的な視線予測は、シューティングゲーム等のゲーム動画に特に有用である。
【０１１２】
（７）また、映像表示システム１を、ヘッドマウントディスプレイ１００及び視線検出装置２００のプロセッサがプログラム等を実行することにより、実現することとしているが、これは視線検出装置２００に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成した論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１又は複数の集積回路により実現してもよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現することとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称することもある。
【０１１３】
すなわち、図９に示すように、ヘッドマウントディスプレイ１００は、音声出力回路１３３、第１通信回路１４７、制御回路１５０、メモリ回路１５１、近赤外光照射回路１５２、表示回路１５３、撮像回路１５４、画像処理回路１５５、傾き検出回路１５６、とから構成してもよく、それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。また、視線検出装置２００は、制御回路２１０、第２通信回路２１２、視線検出回路２１３、映像生成回路２１４、音声生成回路２１５、視線予測回路２１６、拡張映像生成回路２１７、から構成してもよく、それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。
【０１１４】
また、上記映像表示プログラムは、プロセッサが読み取り可能な記録媒体に記録していてもよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、検索プログラムは、当該検索プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給してもよい。なお、映像表示プログラムが電子的な伝送によって具現化した、搬送波に埋め込まれたデータ信号の形態でも実現し得る。
【０１１５】
なお、上記視線検出プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Java（登録商標）などのコンパイラ言語などを用いて実装できる。
【０１１６】
（８）上記実施の形態に示した構成並びに各（補足）を適宜組み合わせることとしてもよい。
【産業上の利用可能性】
【０１１７】
この発明は、ディスプレイに映像を表示する映像表示システムにおいて、動きのある映像を表示している際に利用者が見易い状態で表示することにより、利用者の利便性を向上させることができる効果を有し、利用者が装着した状態でディスプレイに映像を表示するようにした映像表示システム、映像表示方法、映像表示プログラム全般に適用可能である。
【符号の説明】
【０１１８】
１  映像表示システム
１００  ヘッドマウントディスプレイ
１４０  映像出力部
１４３  光源（照明部）
１４４  ディスプレイ（映像出力部）
１５４  撮像部
２００  視線検出装置
２１３  視線検出部
２１４  映像生成部
２１５  音声生成部
２１６  視線予測部
２１７  拡張映像生成部
【図１】
2018004950.tif 000007
【図２】
2018004950.tif 000008
【図３】
2018004950.tif 000009
【図４】
2018004950.tif 000010
【図５】
2018004950.tif 000011
【図６】
2018004950.tif 000012
【図７】
2018004950.tif 000013
【図８】
2018004950.tif 000014
【図９】
2018004950.tif 000015