(57)【要約】【課題】状況に応じてストーリーの展開を切り替える際に、自然に動画像を切り替える。【解決手段】動画像を表示する表示部と、表示部が表示する動画像を視認するユーザの動きを取得する取得部と取得部で取得されたユーザの動きが、表示部に表示する動画像を第１の動画像データから当該第１の動画像とは異なる第２の動画像データに切り替えたとしても当該ユーザが画像の切り替えを認識しないとされる所定の切替条件を満たすか否かを判定する判定部と、判定部で切替条件を満たすと判定されると、表示部が表示する動画像を第１の動画像データから第２の動画像データに切り替える切替部とを備える。【選択図】図４
2019066618.tif 000002
【特許請求の範囲】
【請求項１】
動画像を表示する表示部と、
前記表示部が表示する動画像を視認するユーザの動きを取得する取得部と、
前記取得部で取得されたユーザの動きが、前記表示部が表示する動画像を第１の動画像データから当該第１の動画像とは異なる第２の動画像データに切り替えたとしても当該ユーザが画像の切り替えを認識しないとされる所定の切替条件を満たすか否かを判定する判定部と、
前記判定部で前記切替条件を満たすと判定されると、前記表示部が表示する動画像を第１の動画像データから第２の動画像データに切り替える切替部と、を備える画像表示システム。
【請求項２】
前記表示部が表示する動画像を視認するユーザの眼の画像を撮像する撮像部と、
前記取得部が、前記撮像部で取得された撮像されたユーザの眼の画像を取得すると、当該ユーザの動きとして当該ユーザの視線を検出する視線検出部をさらに備え、
前記判定部は、前記視線検出部で検出された視線の動きが前記切替条件を満たすか否かを判定する、請求項１に記載の画像表示システム。
【請求項３】
前記判定部は、ユーザが第１の動画像において特定の場所を視認すると、前記切替条件を満たすか否かを判定する、請求項２記載の画像表示システム。
【請求項４】
ユーザの頭の動きを検出する動きセンサをさらに備え、
前記判定部は、前記取得部が、前記動きセンサで検出されたユーザの頭の動きを取得すると、当該ユーザの頭の動きが前記切替条件を満たすか否かを判定する、請求項１乃至３のいずれか１に記載の画像表示システム。
【請求項５】
ユーザの頭の位置を検出する位置センサをさらに備え、
前記判定部は、前記取得部が、前記位置センサで検出されたユーザの頭の位置を取得すると、当該ユーザの頭の位置が前記切替条件を満たすか否かを判定する、請求項１乃至４のいずれか１に記載の画像表示システム。
【請求項６】
第１の動画像データと第２の動画像データとの差分を求める差分演算部をさらに備え、
前記判定部は、前記差分演算部で演算された差分が、前記表示部に表示する動画像を第１の動画像データから当該第１の動画像とは異なる第２の動画像データに切り替えたとしてもユーザが画像の切り替えを認識しないとされる規定の切替条件に一致するか否かを判定する、請求項１乃至５のいずれか１に記載の画像表示システム。
【請求項７】
判定条件と関連付けられる複数パターンのストーリーの動画像データを記憶する動画像記憶部をさらに備え、
前記判定部は、前記表示部が表示する動画像のシーンが規定期間の範囲である場合に前記判定条件を満たすか否かを判定し、
前記切替部は、前記動画像記憶部に記憶される動画像データから、前記判定部で判定された判定条件と関連付けられるパターンの動画像に切り替える、請求項１乃至６のいずれか１に記載の画像表示システム。
【請求項８】
前記切替条件は、所定時間内に、ユーザの視線の動きによる総移動距離が所定値以上であるとき、又は、所定時間内に、当該ユーザの視線が、所定以上離れた複数の箇所を視認していることを検出したものであるとき、切り替えると判定する条件である請求項２に記載の画像表示システム。
【請求項９】
前記切替条件は、所定時間内における、ユーザの移動量が、所定値を超えたとき、切り替えると判定する条件である請求項４又は５に記載の画像表示システム。
【請求項１０】
動画像を表示部で表示する表示ステップと、
前記表示ステップにおいて表示される動画像を視認するユーザの動きを取得する取得ステップと、
前記取得ステップで取得されたユーザの動きが、前記表示部で表示する動画像を第１の動画像データから当該第１の動画像とは異なる第２の動画像データに切り替えたとしても当該ユーザが画像の切り替えを認識しないとされる所定の切替条件を満たすか否かを判定する判定ステップと、
前記判定ステップで前記切替条件を満たすと判定されると、前記表示部で表示する動画像を第１の動画像データから第２の動画像データに切り替える切替ステップと、を有する画像表示方法。
【請求項１１】
コンピュータを、
動画像を表示部で表示する表示機能と、
前記表示機能により表示する動画像を視認するユーザの動きを取得する取得機能と、
前記取得機能で取得されたユーザの動きが、前記表示部で表示する動画像を第１の動画像データから当該第１の動画像とは異なる第２の動画像データに切り替えたとしても当該ユーザが画像の切り替えを認識しないとされる所定の切替条件を満たすか否かを判定する判定機能と、
前記判定機能で前記切替条件を満たすと判定されると、前記表示部で表示する動画像を第１の動画像データから第２の動画像データに切り替える切替機能と、して機能させる画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示システム、画像表示方法及び画像表示プログラムに関し、特に、ヘッドマウントディスプレイを用いた画像表示システム、画像表示方法及び画像表示プログラムに関する。
【背景技術】
【０００２】
近年、動画像の撮影技術や記録媒体の発達に伴い、その再生方法についても柔軟性が求められている。例えば、複数のストーリーやシーンのデータを記録する場合に、幹ストーリーの分岐部から複数の枝シーンに分岐する際の、再生映像のとぎれや乱れが生じるのを抑制する技術も開発されている（特許文献１、２参照）。
【０００３】
ところで、複数のシーンの映像を予め用意し、ユーザの視聴状況に応じてストーリーの展開を切り替えて進めることで、ユーザは自身に合うストーリーを楽しむことができる。ここで、ストーリーの展開を切り替える際に、動画像の切り替えが自然な場合には、ユーザは、動画像が切り替えられたことがわかる。動画像の切り替えが分かると、ユーザはストーリーへの集中力が欠ける等、十分に楽しむことができなくなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２７４６１号公報
【特許文献２】特開平１０−２５５４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記問題に鑑みてなされたものであり、複数のシーンの映像を予め用意し、状況に応じてストーリーの展開を切り替える際に、自然に動画像を切り替えることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る画像表示システムは、動画像を表示する表示部と、表示部で表示する動画像を視認するユーザの動きを取得する取得部と、取得部で取得されたユーザの動きが、表示部に表示する動画像を第１の動画像データから第１の動画像とは異なる第２の動画像データに切り替えたとしてもユーザが画像の切り替えを認識しないとされる所定の切替条件を満たすか否かを判定する判定部と、判定部で切替条件を満たすと判定されると、表示部に表示する動画像を第１の動画像データから第２の動画像データに切り替える切替部とを備える。
【発明の効果】
【０００７】
本発明によれば、状況に応じてストーリーの展開を切り替える際に、自然に動画像を切り替えることができる。
【図面の簡単な説明】
【０００８】
【図１】ヘッドマウントディスプレイをユーザが装着した様子を示す外観図である。
【図２】ヘッドマウントディスプレイの画像表示系の概観を模式的に示す斜視図である。
【図３】ヘッドマウントディスプレイの画像表示系の光学構成を模式的に示す図である。
【図４】画像表示システムの構成を示すブロック図である。
【図５】視線方向の検出のためのキャリブレーションを説明する模式図である。
【図６】ユーザの角膜の位置座標を説明する模式図である。
【図７】画像表示システムで利用するデータの構成を説明するデータ構成図である。
【図８】画像表示システムの動作を示すフローチャートである。
【図９】画像表示システムで表示する画像を説明する画像例である。
【図１０】画像表示システムにおける動画像の切り替えタイミングを説明するタイムチャートである。
【図１１】画像表示システムの回路構成を示す回路図である。
【発明を実施するための形態】
【０００９】
＜構成＞
図１は、画像表示システム１の概観を模式的に示す図である。画像表示システム１は、ヘッドマウントディスプレイ１００と視線検出装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。
【００１０】
視線検出装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの右目及び左目の少なくとも一方の視線方向を検出し、ユーザの焦点、すなわち、ユーザがヘッドマウントディスプレイに表示されている三次元画像において注視している箇所を特定する。また、視線検出装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する映像生成装置としても機能する。限定はしないが、一例として、視線検出装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。視線検出装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図１に示す例では、視線検出装置２００はヘッドマウントディスプレイ１００と無線で接続している。視線検出装置２００がヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と視線検出装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則って実行される。
【００１１】
なお、図１は、ヘッドマウントディスプレイ１００と視線検出装置２００とが異なる装置である場合の例を示している。しかしながら、視線検出装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。
【００１２】
ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、およびヘッドフォン１７０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。
【００１３】
ヘッドフォン１７０は、視線検出装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。
【００１４】
図２は、ヘッドマウントディスプレイ１００の画像表示系１３０の概観を模式的に示す斜視図である。より具体的に、図２は、筐体１５０のうち、ヘッドマウントディスプレイ１００を装着したときにユーザ３００の角膜３０２に対向する領域を示す図である。
【００１５】
図２に示すように、左目用凸レンズ１１４ａは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の左目の角膜３０２ａと対向する位置となるように配置される。同様に、右目用凸レンズ１１４ｂは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の右目の角膜３０２ｂと対向する位置となるように配置される。左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとは、それぞれ左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとに把持されている。
【００１６】
以下本明細書において、左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとを特に区別する場合を除いて、単に「凸レンズ１１４」と記載する。同様に、ユーザ３００の左目の角膜３０２ａとユーザ３００の右目の角膜３０２ｂとを特に区別する場合を除いて、単に「角膜３０２」と記載する。左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとも、特に区別する場合を除いて「レンズ保持部１５２」と記載する。
【００１７】
レンズ保持部１５２には、複数の赤外光源１０３が備えられている。煩雑となることを避けるために、図２においてはユーザ３００の左目の角膜３０２ａに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ａで示し、ユーザ３００の右目の角膜３０２ｂに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ｂで示す。以下、赤外光源１０３ａと赤外光源１０３ｂとを特に区別する場合を除いて「赤外光源１０３」と記載する。図２に示す例では、左目用レンズ保持部１５２ａには６つの赤外光源１０３ａが備えられている。同様に、右目用レンズ保持部１５２ｂにも６つの赤外光源１０３ｂが備えられている。このように、赤外光源１０３を凸レンズ１１４に直接配置せず、凸レンズ１１４を把持するレンズ保持部１５２に配置することにより、赤外光源１０３の取り付けが容易となる。一般にレンズ保持部１５２は樹脂等で構成されるため、ガラス等から構成される凸レンズ１１４よりも赤外光源１０３を取り付けるための加工が容易だからである。
【００１８】
上述したように、レンズ保持部１５２は凸レンズ１１４を把持する部材である。したがって、レンズ保持部１５２に備えられた赤外光源１０３は、凸レンズ１１４の周囲に配置されることになる。なお、ここでは、それぞれの眼に対して赤外光を照射する赤外光源１０３を６つとしているが、この数はこれに限定されるものではなく、それぞれの眼に対応して少なくとも１つあればよく、２以上配されているのが望ましい。
【００１９】
図３は、筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図であり、図２に示す筐体１５０を左目側の側面から見た場合の図である。画像表示系１３０は、赤外光源１０３、画像表示素子１０８、ホットミラー１１２、凸レンズ１１４、カメラ１１６、および第１通信部１１８を備える。
【００２０】
赤外光源１０３は、近赤外（７００ｎｍ〜２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３００の肉眼では観測ができない非可視光の波長帯域の光である。
【００２１】
画像表示素子１０８は、ユーザ３００に提示するための画像を表示する。画像表示素子１０８が表示する画像は、視線検出装置２００から提供される。画像表示素子１０８は、例えば既知の液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機エレクトロルミネッセンスディスプレイ（ＯＥＬＤ：Organic Electro Luminescence Display）等を用いて実現できる。
【００２２】
ホットミラー１１２は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の角膜３０２との間に配置される。ホットミラー１１２は、画像表示素子１０８が生成する可視光は透過するが、近赤外光は反射する性質を持つ。
【００２３】
凸レンズ１１４は、ホットミラー１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ホットミラー１１２とユーザ３００の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３００に装着されたときに、ユーザ３００の角膜３０２に対向する位置に配置される。
【００２４】
凸レンズ１１４はホットミラー１１２を透過する画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図２では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよいし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。
【００２５】
複数の赤外光源１０３は、凸レンズ１１４の周囲に配置されている。赤外光源１０３は、ユーザ３００の角膜３０２に向けて赤外光を照射する。
【００２６】
図示はしないが、ヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、ヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、ヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。
【００２７】
ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、ホットミラー１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、ホットミラー１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、赤外光源１０３から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。
【００２８】
なお、図示はしないが、ヘッドマウントディスプレイ１００の画像表示系１３０は、カメラ１１６を二つ、すなわち、右目で反射された赤外光を含む画像を撮像する第１撮像部と、左目で反射された赤外光を含む画像を撮像する第２撮像部とを備える。これにより、ユーザ３００の右目及び左目の双方の視線方向を検出するための画像を取得することができる。
【００２９】
第１通信部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出装置２００に出力する。具体的には、第１通信部１１８は、カメラ１１６が撮像した画像を視線検出装置２００に送信する。視線方向検出部として機能する視線検出部２０２の詳細については後述するが、視線検出装置２００の中央処理装置（ＣＰＵ：Central Processing Unit）が実行する画像表示プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線方向検出部を実現するプログラムを実行してもよい。
【００３０】
詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の角膜３０２で反射された近赤外光に起因する輝点と、近赤外の波長帯域で観察されるユーザ３００の角膜３０２を含む眼の画像とが撮像されている。
【００３１】
以上は、画像表示系１３０のうち主にユーザ３００の左目に画像を提示するための構成について説明したが、ユーザ３００の右目に画像を提示するための構成は上記と同様である。
【００３２】
図４は、画像表示システム１に係るヘッドマウントディスプレイ１００と視線検出装置２００とのブロック図である。図４に示すように、また、上述したとおり、画像表示システム１は、互いに通信を実行するヘッドマウントディスプレイ１００と視線検出装置２００とを含む。
【００３３】
図４に示すようにヘッドマウントディスプレイ１００は、第１通信部１１８と、表示部１２１と、赤外光照射部１２２と、画像処理部１２３と、撮像部１２４と、動きセンサ１２５と、位置センサ１２６とを備える。
【００３４】
第１通信部１１８は、視線検出装置２００の第２通信部２２と通信を実行する機能を有する通信インターフェースである。上述したとおり、第１通信部１１８は、有線通信又は無線通信により第２通信部２２と通信を実行する。使用可能な通信規格の例は上述した通りである。第１通信部１１８は、撮像部１２４または画像処理部１２３から伝送された視線検出に用いる画像データを第２通信部２２に送信する。また、第１通信部１１８は、視線検出装置２００から送信された画像データやマーカー画像を表示部１２１に伝達する。画像データは、一例として、ストーリーをもつ動画像データである。例えば、映画のような動画像であってもよいし、ビデオゲームのような動画像であってもよいし、風景映像のような動画像であってもよい。また、画像データは、三次元画像を表示するための右目用視差画像と、左目用視差画像とからなる視差画像対であってもよい。さらに、画像データは、３６０°の全天画像の動画像データであってもよい。
【００３５】
表示部１２１は、第１通信部１１８から伝達された画像データを画像表示素子１０８に表示する機能を有する。また、表示部１２１は、表示処理部２０１から出力されたマーカー画像を画像表示素子１０８の指定されている座標に表示する。
【００３６】
赤外光照射部１２２は、赤外光源１０３を制御し、ユーザの右目又は左目に赤外光を照射する。
【００３７】
画像処理部１２３は、必要に応じて、撮像部１２４が撮像した画像に画像処理を行い、第１通信部１１８に伝達する。
【００３８】
（００３５からここまでは、従来の原稿でご確認いただいた内容と同一です。）
撮像部１２４は、カメラ１１６を用いて、それぞれの目で反射された近赤外光を含む画像を撮像する。また、撮像部１２４は、画像表示素子１０８に表示されたマーカー画像を注視するユーザの眼を含む画像を撮像する。撮像部１２４は、撮像して得た画像を、第１通信部１１８又は画像処理部１２３に伝達する。
【００３９】
動きセンサ１２５は、ヘッドマウントディスプレイ１００の傾き、すなわち、ユーザの頭の傾きを検出するセンサである。動きセンサ１２５は、例えば、加速度センサやジャイロセンサにより実現される。動きセンサ１２５は、逐次、ヘッドマウントディスプレイ１００の傾きを検出し、第１通信部１１８に伝達する。例えば、動きセンサ１２５がジャイロセンサである場合、動きセンサ１２５は、ヘッドマウントディスプレイ１００の回転角度（ロール、ピッチ、ヨー）を第１通信部１１８に伝達する。なお、回転角度は、第１通信部１１８を介して視線検出装置２００に送信される。
【００４０】
位置センサ１２６は、ヘッドマウントディスプレイ１００の位置、すなわち、ヘッドマウントディスプレイ１００を装着するユーザの頭の位置を検出するセンサである。位置センサ１２６は、逐次、ヘッドマウントディスプレイ１００の位置として、三次元座標（ｘ、ｙ、ｚ）を検出し、第１通信部１１８に伝達する。なお、三次元座標は、第１通信部１１８を介して視線検出装置２００に送信される。
【００４１】
以上がヘッドマウントディスプレイ１００の構成の説明である。
【００４２】
図４に示すように視線検出装置２００は、中央処理装置（ＣＰＵ）２０と、記憶装置２１と、第２通信部２２と、入力装置２３と、出力装置２４とを備える。
【００４３】
記憶装置２１は、視線検出装置２００が動作上必要とする各種プログラムやデータを記憶する記録媒体である。具体的には、記憶装置２１は、ヘッドマウントディスプレイ１００に提供する画像データ２１１と、画像切り替えのための判定を実行するか否かの判定条件データ２１２と、画像の切り替える条件である切替条件データ２１３と、視線検出装置２００を実現する画像表示プログラムＰを記憶する。
【００４４】
記憶装置２１には、切替条件と関連付けられる複数パターンのストーリーの画像データ２１１が記憶される。また、記憶装置２１に記憶される画像表示プログラムＰが読み出されて実行されることで、ＣＰＵ２０が表示処理部２０１、視線検出部２０２、判定部２０３、切替部２０４及び差分演算部２０５としての処理を実行する。なお、記憶装置２１は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disc Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）などにより実現される。
【００４５】
次に、視線方向の検出について説明する。
【００４６】
図５は、視線方向の検出のためのキャリブレーションを説明する模式図である。ユーザ３００の視線方向は、カメラ１１６が撮像し第１通信部１１８が視線検出装置２００に出力した映像を、視線検出装置２００内の視線検出部２０２が解析することにより実現される。
【００４７】
表示処理部２０１は、図５に示すような点Ｑ１〜Ｑ９までの９つの点（マーカー画像）を、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる。視線検出装置２００は、点Ｑ１〜点Ｑ９に到るまで順番にユーザ３００に注視させる。このとき、ユーザ３００は首を動かさずに極力眼球の動きのみで各点を注視するように求められる。カメラ１１６は、ユーザ３００が点Ｑ１〜Ｑ９までの９つの点を注視しているときのユーザ３００の角膜３０２を含む画像を撮像する。
【００４８】
図６は、ユーザ３００の角膜３０２の位置座標を説明する模式図である。視線検出装置２００内の視線検出部２０２は、カメラ１１６が撮像した画像を解析して赤外光に由来する輝点１０５を検出する。ユーザ３００が眼球の動きのみで各点を注視しているときは、ユーザがいずれの点を注視している場合であっても、輝点１０５の位置は動かないと考えられる。そこで視線検出部２０２は、検出した輝点１０５をもとに、カメラ１１６が撮像した画像中に２次元座標系３０６を設定する。
【００４９】
視線検出部２０２はまた、カメラ１１６が撮像した画像を解析することにより、ユーザ３００の角膜３０２の中心Ｐを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、視線検出部２０２は、設定した２次元座標系３０６におけるユーザ３００の角膜３０２の中心Ｐの座標を取得できる。
【００５０】
図５において、画像表示素子１０８が表示する表示画面に設定された２次元座標系における点Ｑ１〜点Ｑ９の座標をそれぞれＱ１（ｘ１，ｙ１）Ｔ，Ｑ２（ｘ２，ｙ２）Ｔ・・・，Ｑ９（ｘ９，ｙ９）Ｔとする。各座標は、例えば各点の中心に位置する画素の番号となる。また、ユーザ３００が点Ｑ１〜点Ｑ９を注視しているときの、ユーザ３００角膜３０２の中心Ｐを、それぞれ点Ｐ１〜Ｐ９とする。このとき、２次元座標系３０６における点Ｐ１〜Ｐ９の座標をそれぞれＰ１（Ｘ１，Ｙ１）Ｔ，Ｐ２（Ｘ２，Ｙ２）Ｔ，・・・，Ｐ９（Ｘ９，Ｙ９）Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。
【００５１】
いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。
【００５２】
【数１】
2019066618.tif 000003
このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３００の視線方向を画像表示素子１０８が表示する画像面に射影する行列となる。
ＱＮ＝ＭＰＮ  （Ｎ＝１，・・・，９）    （２）
【００５３】
上記式（２）を具体的に書き下すと以下の式（３）のようになる。
【００５４】
【数２】
2019066618.tif 000004
式（３）を変形すると以下の式（４）を得る。
【００５５】
【数３】
2019066618.tif 000005
ここで、
【００５６】
【数４】
2019066618.tif 000006
とおくと、以下の式（５）を得る。
ｙ＝Ａｘ    （５）
【００５７】
式（５）において、ベクトルｙの要素は視線検出部２０２が画像表示素子１０８に表示させる点Ｑ１〜Ｑ９の座標であるため既知である。また、行列Ａの要素はユーザ３００の角膜３０２の頂点Ｐの座標であるため取得できる。したがって、視線検出部２０２は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。
【００５８】
式（５）は、未知数の数（すなわちベクトルｘの要素数４）よりも式の数（すなわち、視線検出部２０２がキャリブレーション時にユーザ３００に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。
【００５９】
ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ−Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘｏｐｔは、以下の式（６）で求められる。
ｘｏｐｔ＝（ＡＴＡ）-1ＡＴｙ    （６）
ここで「-1」は逆行列を示す。
【００６０】
視線検出部２０２は、求めたベクトルｘｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、視線検出部２０２は、ユーザ３００の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３００の右目が画像表示素子１０８に表示される動画像上のどこを注視しているかを推定できる。ここで、視線検出部２０２は、更に、ユーザの眼と、画像表示素子１０８間の距離情報をヘッドマウントディスプレイ１００から受信し、その距離情報に応じて、推定したユーザが注視している座標値を修正する。なお、ユーザの眼と画像表示素子１０８との間の距離による注視位置の推定のずれは誤差の範囲として無視してもよい。これにより、視線検出部２０２は、画像表示素子１０８上の右目の注視点と、ユーザの右目の角膜の頂点とを結ぶ右目視線ベクトルを算出することができる。同様に、視線検出部２０２は、画像表示素子１０８上の左目の注視点と、ユーザの左目の角膜の頂点とを結ぶ左目視線ベクトルを算出することができる。なお、片目だけの視線ベクトルで２次元平面上でのユーザの注視点を特定することができ、両眼の視線ベクトルを得ることでユーザの注視点の奥行き方向の情報まで算出することができる。視線検出装置２００はこのようにしてユーザの注視点を特定することができる。なお、ここに示した注視点の特定方法は一例であり、上記以外の手法を用いて、ユーザの注視点を特定してもよい。
【００６１】
判定部２０３は、ヘッドマウントディスプレイ１００から第２通信部２２を介して取得したユーザの動きが、表示部１２１に表示する動画像を第１の動画像データから第１の動画像とは異なり、第１の動画像からのストーリーが展開する第２の動画像データに切り替えたとしてもユーザが画像の切り替えを認識しないとされる所定の『切替条件』を満たすか否かを判定する。「ストーリーが展開」とは、ここでは、動画像の話の流れが異なるものに変更することをいう。
【００６２】
ここで、判定部２０３は、所定の『判定条件』を充足した場合に、『切替条件』を満たすか否かを判定してもよい。判定部２０３は、ユーザが表示部１２１に表示する動画像において特定の場所を視認すると、判定処理を開始する『判定条件』を充足したとして、『切替条件』を満たすか否かを判定する。例えば、特定の場所を所定時間以上連続して見ていた場合や、特定の場所を一定時間内に合計所定時間以上見ていた場合、『判定条件』を充足したという。「特定の場所」とは、座標や複数の座標で識別される範囲である。
【００６３】
図７（ａ）は、判定条件に関する判定条件データ２１２の一例である。例えば、画像表示システム１において、表示部１２１に、ある第１の動画像データを表示中、ユーザが「領域Ａを視た」という条件を従属すると、その後、第２の動画像データとして画像Ａに切り替わる。また、画像表示システム１において、表示部１２１に、第１の動画像データを表示中、ユーザが「領域Ｂを視た」という条件を従属すると、その後、第２の動画像データとして動画像Ｂに切り替わる。なお、図７（ａ）では、第２の動画像として、動画像Ａに切り替える場合と、動画像Ｂに切り替える場合との２パターンがあるが、これに限定されない。例えば、切り替えられる第２の動画像は、動画像Ａのみの１パターンであってもよいし、更に多数のパターンがあってもよい。
【００６４】
また、画像表示システム１では、領域Ａ又は領域Ｂを視た直後に第２の動画像データに切り替えるのではなく、第１の動画像データから第２の動画像データに切り替えたとしてもユーザがその画像の切り替えを認識することないと判定される『切替条件』を満たすと判定されたタイミングで、第１の動画像データから第２の動画像データに切り替える。
【００６５】
その他、図７（ａ）には示していないが、複数の条件を満たした場合に、『切替条件』を満たすと判定してもよい。例えば、画像表示システム１は、ユーザが、領域Ａを視るとともに、領域Ｂを視た場合、その後、動画像Ｃに切り替えるようにしてもよい。この場合、画像表示システム１は、領域Ａを視た後で領域Ｂを視た場合には、動画像Ｃに切り替えるが領域Ｂを視た後で領域Ａを視た場合には、動画像Ｄに切り替えるようにしてもよい。
【００６６】
例えば、判定部２０３は、視線検出部２０２で検出された視線の動きが『切替条件』を満たすか否かを判定する。すなわち、ユーザは、一点を凝視している場合には、画像を切り替えたことを気づきやすい。一方、ユーザは、視線の位置が定まっていない場合には、画像を切り替えたことを気づきにくい。そのため、視線検出装置２００は、ユーザの視線の動きの程度に応じて、画像を切り替えるか否かを判定する。
【００６７】
したがって、例えば、『切替条件』は、所定時間内に、視線検出部２０２で検出されたユーザの視線の動きによる総移動距離が所定値以上であるとき、又は、所定時間内に、ユーザの視線が、所定以上離れた複数の箇所を視認していることを検出したものであるとき、表示部１２１に表示する動画像を第１の動画像データから第２の動画像データに切り替えると判定する条件である。
【００６８】
具体的には、視線検出装置２００は、
（１）ある時間ｔ０において、ユーザが動画像中で注視する座標を検出すると、その座標Ｃ０を記憶する。
（２）ｔ０から所定時間後であるｔ１において、ユーザが動画中で注視する新たな座標を検出すると、その座標Ｃ１を記憶する。
（３）座標Ｃ０から座標Ｃ１の移動量Ｍを求め、ｔ０とｔ１の差分時間（ｔ１−ｔ０）を用いることで、ユーザの視線の移動の移動速度Ｓ[°/sec]を次式のように求める。
【００６９】
【数５】
2019066618.tif 000007
ここで、Lはディスプレイと眼球との光学上の距離である。
（４）速度Ｓが所定値を超えた場合、ｔ１−ｔ０の時間を移動時間Ｔiとして加算値Ｔａに加算し、超えなかった場合には、移動時間Ｔiを０にクリアする。
（５）（１）〜（４）をシーンチェンジを行う期間として予め定められる所定の『切替期間』中に繰り返し、移動時間Ｔiの加算値Ｔａが、所定の閾値を超えた場合、ユーザの視線が定まっていないとして、シーンチェンジを行う。すなわち、動画像を切り替える。
【００７０】
例えば、60°/secの速度で視線が移動している場合には動体視野が十分狭くなっているとして、この速度が0.5秒連続で続いているタイミングで動画像を切り替えることを考える。切替期間を3.3秒間として、ユーザの注視座標の検出を60Hzで行えるとすると、およそ200回のサンプリングが可能である(3.3sec/(1/60Hz)=198回)。このサンプリング時に、視線速度がS≧60°/secと30回連続で検出されれば(0.5sec/(1/60Hz)=30回)、移動時間の合計Taが0.5となり、本条件を満たすとして切替条件を充足すると判定できる。
【００７１】
また例えば、判定部２０３は、ヘッドマウントディスプレイ１００から第２通信部２２を介して、動きセンサ１２５で検出されたユーザの頭の動きを取得すると、ユーザの頭の動きが『切替条件』を満たすか否かを判定する。すなわち、ユーザは、自身が静止している場合には、画像を切り替えたことを気づきやすい。一方、ユーザは、自身の動きがある程度激しい場合には、画像を切り替えたことを気づきにくい。そのため、視線検出装置２００は、ヘッドマウントディスプレイ１００で検出可能なユーザの頭の動きに応じて、画像を切り替えるか否かを判定する。
【００７２】
したがって、例えば、『切替条件』は、所定時間内における、ユーザの移動量、すなわち、ユーザ頭の動きが、所定値を超えたとき、表示部１２１に表示する動画像を第１の動画像データから第２の動画像データに切り替えると判定する条件である。
【００７３】
具体的には、視線検出装置２００は、
（１）ある時間ｔ０において、ヘッドマウントディスプレイ１００から、動きセンサ１２５で検出された、ユーザの頭に装着されるヘッドマウントディスプレイ１００の姿勢である回転角度（ロール、ピッチ、ヨー）が入力されると、その姿勢Ｒ０を記憶する。R0は3次元のベクトル量となる。
（２）ｔ０から所定時間後であるｔ１において、ヘッドマウントディスプレイ１００からヘッドマウントディスプレイ１００の新たな姿勢が入力されると、その姿勢Ｒ１を記憶する。R1は3次元のベクトル量となる。
（３）姿勢Ｒ０から姿勢Ｒ１の移動量である３次元ベクトルＭを求め、ｔ０とｔ１の差分時間（ｔ１−ｔ０）で除算することで、ユーザに装着されるヘッドマウントディスプレイ１００の回転の角速度Ｓ（Ｍ／（ｔ１−ｔ０））を求める。もしくは、ヘッドマウントディスプレイ１００にジャイロセンサが備えられている場合は、ジャイロセンサから取得できる角速度をそのままSの値にもできる。
（４）角速度ベクトルＳの大きさをL2ノルム||S||などで1次元の量とし、その値が所定値を超えた場合、ｔ１−ｔ０の時間を移動時間Ｔiとして加算値Ｔａに加算し、超えなかった場合には、移動時間Ｔiを０にクリアする。
（５）（１）〜（４）を所定の『切替期間』中に繰り返し、移動時間Ｔiの加算値Ｔａが、所定の閾値を超えた場合、ユーザの視線が定まっていないとして、シーンチェンジを行う。すなわち、動画像を切り替える。
【００７４】
例えば、60°/secの速度でユーザの頭が移動している場合には動体視野が十分狭くなっているとして、この速度が0.5秒連続で続いているタイミングで動画像を切り替えることを考える。切替期間を3.3秒間として、ヘッドマウントディスプレイ１００の角速度の検出を60Hzで行えるとすると、およそ200回のサンプリングが可能である(3.3sec/(1/60Hz)=198回)。このサンプリング時に、角速度の大きさ||S||≧60°/secと30回連続で検出されれば(0.5sec/(1/60Hz)=30回)、移動時間の合計Taが0.5となり、本条件を満たすとして切替条件を充足すると判定できる。ここで、||S||はロール、ピッチ、ヨーの角速度をそれぞれ２乗して平方根を取った値として計算できる。
【００７５】
さらに例えば、判定部２０３は、ヘッドマウントディスプレイ１００から第２通信部２２を介して、位置センサ１２６で検出されたユーザの頭の位置を取得すると、ユーザの頭の位置が『切替条件』を満たすか否かを判定する。すなわち、上述したように、すなわち、ユーザは、自身が静止している場合には、画像を切り替えたことを気づきやすい。一方、ユーザは、自身の動きがある程度激しい場合には、画像を切り替えたことを気づきにくい。そのため、視線検出装置２００は、ヘッドマウントディスプレイ１００で検出可能なユーザの頭の動きに応じて、画像を切り替えるか否かを判定する。
【００７６】
したがって、例えば、『切替条件』は、所定時間内における、ユーザの移動量、すなわち、ユーザの頭の動きが、所定値を超えたとき、表示部１２１に表示する動画像を第１の動画像データから第２の動画像データに切り替えると判定する条件である。
【００７７】
具体的には、視線検出装置２００は、
（１）ある時間ｔ０において、ヘッドマウントディスプレイ１００から、位置センサ１２６で検出された、ユーザの頭に装着されるヘッドマウントディスプレイ１００の位置である三次元座標位置（ｘ，ｙ，ｚ）が入力されると、その座標位置Ｒ０を記憶する。R0は3次元のベクトル量となる。
（２）ｔ０から所定時間後であるｔ１において、ヘッドマウントディスプレイ１００からヘッドマウントディスプレイ１００の新たな位置が入力されると、その座標位置Ｒ１を記憶する。R1は3次元のベクトル量となる。
（３）座標位置Ｒ０から座標位置Ｒ１の移動量Ｍを求め、ｔ０とｔ１の差分時間（ｔ１−ｔ０）で除算することで、ユーザに装着されるヘッドマウントディスプレイ１００の位置の移動速度の３次元ベクトルＳ（Ｍ／（ｔ１−ｔ０））を求める。
（４）移動速度Ｓの大きさをL2ノルム||S||などで1次元の量とし、その値が所定値を超えた場合、ｔ１−ｔ０の時間を移動時間Ｔiとして加算値Ｔａに加算し、超えなかった場合には、移動時間Ｔiを０にクリアする。
（５）（１）〜（４）を所定の『切替期間』中に繰り返し、移動時間Ｔiの加算値Ｔａが、所定の閾値を超えた場合、ユーザの視線が定まっていないとして、シーンチェンジを行う。すなわち、動画像を切り替える。
【００７８】
例えば、10cm/secの速度でユーザの頭が移動している場合には動体視野が十分狭くなっているとして、この速度が0.5秒連続で続いているタイミングで動画像を切り替えることを考える。切替期間を3.3秒間として、ヘッドマウントディスプレイ１００の角速度の検出を60Hzで行えるとすると、およそ200回のサンプリングが可能である(3.3sec/(1/60Hz)=198回)。このサンプリング時に、速度の大きさ||S||≧10cm/secと30回連続で検出されれば(0.5sec/(1/60Hz)=30回)、移動時間の合計Taが0.5となり、本条件を満たすとして切替条件を充足すると判定できる。ここで、||S||は三次元座標空間における(x, y, z)それぞれの速度を２乗して平方根を取った値として計算できる。
【００７９】
このとき、判定部２０３は、表示部１２１に表示する動画像のシーンが所定の『切替期間』である場合に『切替条件』を満たすか否かを判定する。すなわち、第１の動画像データから第２の動画像データに切り替え可能であるタイミングは、そのストーリーによって予め決められる。したがって、判定部２０３は、常時『切替条件』を判定する必要はなく、第１の動画像データから第２の動画像データに切り替え可能なタイミングである『切替期間』にのみ『切替条件』を判定すればよい。
【００８０】
切替部２０４は、判定部２０３で『切替条件』を満たすと判定されると、表示部１２１に表示する動画像を第１の動画像データから第２の動画像データに切り替える。このとき、切替部２０４は、記憶装置２１に記憶される画像データ２１１から、判定部２０３で判定された判定結果と関連付けられるパターンの動画像に切り替える。
【００８１】
差分演算部２０５は、第１の動画像データと、第２の動画像データとの差分を求める。ここで、差分演算部２０５は、第１の動画像データから第２の動画像データに切り替え可能な間、第１の動画像データと第２の動画像データとの差分を求める。
【００８２】
ここで、判定部２０３によって『判定条件』が充足したと判定されると、表示処理部２０１は、バックグラウンドで第２の動画像データの再生を開始する。したがって、差分演算部２０５は、ヘッドマウントディスプレイ１００で表示中の第１の動画像データと、バックグラウンドで再生中の第２の動画像データとを比較して差分を求める。
【００８３】
判定部２０３は、差分演算部２０５で演算された差分が、表示部１２１に表示する動画像を第１の動画像データから当該第１の動画像とは異なる第２の動画像データに切り替えたとしても当該ユーザが画像の切り替えを認識しないとされる『切替条件』に一致するか否かを判定する。この場合の『切替条件』は、差分が所定の範囲である場合、第１の動画像を第２の動画像に切り替えてもユーザは気付きにくいとして、画像を切り替えると判定する条件である。例えば、動画像の変化がある程度小さい場合、ユーザは一定の場所を注視するのではなく、視線が動くとして動画像を切り替える。また、動画像の変化がある程度大きい場合、ユーザは一定の場所を注視するのではなく、変化に応じて視線が激しく動くとして動画像を切り替える。
【００８４】
具体的には、視線検出装置２００は、
（１）第１の動画像の特徴量と、第２の動画像の特徴量を計算する。
特徴量の求め方には、例えば、（ａ）第１の動画像と第２の動画像について、ある時間ｔ０の画像と所定時間後であるｔ１の画像の輝度値を足し合わせる、（ｂ）第１の動画像と第２の動画像について、ORB (Oriented FAST and Rotated BRIEF)、AKAZE (Accelerated KAZE)等のアルゴリズムを利用して特徴点を求めて、ある時間ｔ０の画像から所定時間後であるｔ１までの特徴点の移動量の二乗平均平方根の総和を求める、（ｃ）第１の動画像と第２の動画像について、ある時刻ｔ０から所定時間後である時刻ｔ１までのオプティカルフローから移動量を求める、等の方法を用いる。
（２）求めた値Ｖが所定値を超えない場合、ｔ１−ｔ０の時間を移動時間Ｔiとして加算値Ｔａに加算し、超えた場合にはＴiをクリアする。
（３）（１）〜（２）を所定の『切替期間』中に繰り返し、移動時間Ｔiの加算値Ｔａが、所定の上限閾値を超えた場合、または下限閾値を下回った場合にシーンチェンジを行う。すなわち、動画像を切り替える。上限閾値を超えた場合は、動画内のオブジェクトの変化が極端に大きい状態であり、オブジェクトがユーザの眼に追えないほど激しく変化している場合は、切り替えを行ってもユーザが把握しにくいことを意味する。また、下限閾値を下回った場合は、動画内のオブジェクトの変化が少ない状態であり、オブジェクトがほぼ静止していることを意味する。
【００８５】
例えば、0.5秒連続で映像が大きく変化しているタイミングで動画像を切り替えることを考える。切替期間を3.3秒間として、特徴量の計算を60Hzで行えるとすると、およそ200回の計算が切替期間中に可能である(3.3sec/(1/60Hz)=198回)。この期間中に、特徴量の変化量が30回連続で閾値を超えたと検出されれば(0.5sec/(1/60Hz)=30回)、移動時間の合計Taが0.5となり、本条件を満たすとして切替条件を充足すると判定できる。
【００８６】
例えば、上述の切替条件は、図７（ｂ）に一例を示すような切替条件データ２１３として記憶装置２１に記憶される。具体的には、切替条件データ２１３は、切り替え可能な「タイミング」と、切替条件として使用する「閾値」とを含む。図７（ｂ）に示す例では、切り替え可能なタイミングは、「期間α」である。また、切替条件としては、視線検出部２０２で検出される視線の動きの判定に利用する「第１閾値」と、動きセンサ１２５で検出されたユーザの頭の動き又は位置センサ１２６で検出された位置から求めた頭の動きの判定に利用する「第２閾値」と、差分演算部２０５で求められた画像変化量の判定に利用する「第３閾値」とがある。
【００８７】
視線検出装置２００では、上述したように、『切替条件』として、「１．ユーザの視線の動きや頭の動きが激しい場合に切り替える」、「２．動画の差分が極端に大きかったり小さかったりする場合に切り替える」等と定めることができる。また、視線検出装置２００では、「３．上記条件の１及び２の組み合わせにより切り替える」と『切替条件』を定めることができる。
【００８８】
＜動作＞
以下、図８に示すフローチャートを用いて、画像表示システム１の動作を説明する。画像表示システム１では、まず、第１の動画像を再生表示する（Ｓ０１）。
【００８９】
第１の動画像データの再生中、判定部２０３は、判定条件を充足するか否かを判定する（Ｓ０２）。例えば、図７（ａ）に示す判定条件データ２１２の例では、動画像のある時間範囲において、「領域Ａを視た」場合、又は、「領域Ｂを視た」場合に条件を充足したものと判定する。図９（ａ）に、表示部１２１に表示される動画像の一例を示す。図９（ａ）の例では、ドアの上側の領域が領域Ａとして設定され、ドアの下側の領域が領域Ｂとして設定される。図７（ａ）の判定条件データ２１２及び図９（ａ）の動画像データの例では、ユーザがドアの上側の領域（領域Ａ）を視た場合に、動画像Ａが第２の動画像データとして選択される。一方、ユーザがドアの下側の領域（領域Ｂ）を視た場合に、動画像Ｂが第２の動画像データとして選択される。
【００９０】
画像表示システム１は、判定条件が充足したと判定すると（Ｓ０２でＹＥＳ）、バックグラウンドで第２の動画像の再生を開始する（Ｓ０３）。具体意的には、画像表示システム１は、図１０（ａ）のタイムチャートに示すように、切替期間の開始に伴い、バックグラウンドで第２の動画像の再生を開始する。図７（ａ）及び図９（ａ）を用いて上述した例では、ユーザが領域Ａを視た場合、動画像Ａを第２の動画像としてバックグラウンド再生を開始する。一方、ユーザが領域Ｂを視た場合、動画像Ｂを第２の動画像としてバックグラウンド再生を開始する。切替期間は、例えば、切替条件データ２１３に記憶される。図７（ｂ）に示す切替条件データ２１３の例では、期間αが切替期間として設定される。
【００９１】
また、画像表示システム１は、切替期間が開始すると（Ｓ０４でＹＥＳ）、切替条件を充足するか否かとして、ユーザの視線の動きが閾値以上であるか、又は、ユーザの頭の動きが閾値以上であるか否かを判定する（Ｓ０５）。
【００９２】
ユーザの視線の動きが閾値以上でなく、かつ、ユーザの頭の動きも閾値以上でない場合、画像表示システム１は、切替条件を充足するか否かとして、第１の動画像と第２の動画像の差分が閾値の範囲外であるか否かを判定する（Ｓ０６）。
【００９３】
ユーザの視線の動きが閾値以上である場合、ユーザの頭の動きが閾値以上である場合、又は、第１の動画像と第２の動画像の差分が閾値の範囲外である場合（Ｓ０５でＹＥＳ又はＳ０６でＹＥＳ）、表示部１２１への表示を第１の動画像から第２の動画像に切り替え、第１の動画像の再生を停止する（Ｓ０７）。例えば、図７（ａ）及び図９（ａ）に示す例で第２の画像として動画像Ａが選択された場合、図９（ｂ）に示すような動画像Ａが第２の画像として表示される。また、第２の画像として動画像Ｂが選択された場合、図９（ｃ）に示すような動画像Ｂが第２の画像として表示される。
【００９４】
なお、第１の動画像と第２の動画像が閾値の範囲内である場合（Ｓ０７でＮＯ）、切替期間が終了するまで、ステップＳ０５〜Ｓ０６の処理を繰り返す。
【００９５】
また、図７（ｃ）の切替条件データ２１３及び図１０（ｂ）のタイムチャートは、第１切替期間（期間α）と第２切替期間（期間β）の２回設定されている例である。このように、切替期間複数設定されている場合、ステップＳ０４〜Ｓ０６の処理を繰り返す。切替期間が複数回設定されている場合、図１０（ｂ）に示すように、第１切替期間で切替条件が充足されなかった場合でも、第２切替期間で切替条件が充足された場合、第２切替期間に画像が切り替えられる。
【００９６】
なお、上述した例では、視線の動きが閾値以上であるとき又は頭の動きが閾値以上であるとき、第2の動画像を表示に切り替え、第1の動画像の再生を停止にするものとして説明した。ここで、例えば、視線を検出部するための撮像部１２４を有さないヘッドマウントディスプレイ１００について、又は、動きを検出するための動きセンサ１２５や位置センサ１２６を有さないヘッドマウントディスプレイ１００についても実現可能とすることが好ましい。したがって、判定部２０３における判定は、ヘッドマウントディスプレイ１００の構成に応じて、決定される。すなわち、画像表示システム１００は、視線検出をすることができない場合、視線の動きは判定に利用されない。また、画像表示システム１００は、動き検出や位置検出をすることができない場合、頭の動きは判定に利用されない。
【００９７】
このように、実施形態に係る画像表示システム１では、ユーザの状況に応じて、複数のパターンのストーリーから選択されたストーリーが展開される。これにより、ユーザは、ユーザに合ったストーリーを楽しむことができる。また、ストーリーが切り替わる場合、ユーザの視線の状態、頭の動きの状態、画像の状態等に応じ、ユーザが画像の切り替えに気づくことのないように切り替える。これにより、ユーザは画像の切り替えによるストレスを感じることなく、画像表示システム１で表示される動画像を集中して楽しむことが可能となる。
【００９８】
（０１０１までは、従来の原稿でご確認いただいた内容と同一です。）
＜補足＞
画像表示システム１は、上述した構成等に限定されるものではなく、その発明の思想を実現するための他の手法により実現されてもよいことは言うまでもない。以下、その他、本発明の思想として含み得る実施例について説明する。
【００９９】
（１）画像表示素子１０８は、１つとしているが、これはその限りではない。ヘッドマウントディスプレイ１００に、ユーザ３００の左目に相対する画像表示素子と、ユーザ３００の右目に相対する画像表示素子との２つの画像表示素子を備え、それぞれを別々に駆動させることとしてもよい。これにより、ユーザ３００の左右の眼の視力に応じた焦点調整のような細やかな制御を行うことができるようになる。
【０１００】
（２）ユーザ３００の視線を検出するために、ユーザ３００の眼を撮像する手法として、ホットミラー１１２で反射させた映像を撮像しているが、これは、ホットミラー１１２を通さずに直接ユーザ３００の眼を撮像してもよい。
【０１０１】
（３）視線検出に係る手法は、一例であり、上記ヘッドマウントディスプレイ１００及び視線検出装置２００による視線検出方法は、これに限られるものではない。
【０１０２】
まず、非可視光として近赤外光を照射する赤外光源を複数設ける例を示しているが、近赤外光をユーザの眼に照射する手法はこれに限られない。例えば、ヘッドマウントディスプレイ１００の画像表示素子１０８を構成する画素について、近赤外光を発光するサブ画素を有する画素を設ける構成とし、それらの近赤外光を発光するサブ画素を選択的に発光させて、ユーザの眼に近赤外光を照射することとしてもよい。また、あるいは、画像表示素子１０８に換えて、ヘッドマウントディスプレイ１００に網膜投影ディスプレイを備えるとともに、当該網膜投影ディスプレイで表示して、ユーザの網膜に投影する画像の中に、近赤外光色で発光する画素を含ませることで、近赤外光の照射を実現する構成としてもよい。画像表示素子１０８の場合にしても、網膜投影ディスプレイの場合にしても、近赤外光を発光させるサブ画素は、定期的に変更することとしてもよい。
【０１０３】
また、上述した視線検出のアルゴリズムも上述した手法に限定されるものではなく、視線検出を実現できるのであれば、その他のアルゴリズムを用いてもよい。
【０１０４】
（４）また、ヘッドマウントディスプレイ１００に表示される広告の変更を、ヘッドマウントディスプレイ１００及び視線検出装置２００のプロセッサが画像表示プログラムＰ等を実行することにより、実現することとしているが、これは視線検出装置２００に集積回路（ＩＣ（Integrated Circuit）チップ、大規模集積回路（ＬＳＩ：Large Scale Integration）等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上述した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。すなわち、図１１に示すように、ヘッドマウントディスプレイ１００は、第１通信回路１１０ａと、第１通信回路１１８ａと、表示回路１２１ａと、赤外光照射回路１２２ａと、画像処理回路１２３ａと、撮像回路１２４ａ、動き検出回路１２５ａと、位置検出回路１２６ａとから構成されてよく、それぞれの機能は、上述した同様の名称を有する各部と同様である。また、視線検出装置２００は、第２通信回路２２ａと、入力回路２３ａと、出力回路２４ａと、表示処理回路２０１ａと、視線検出回路２０２ａと、判定回路２０３ａと、切替回路２０４ａと、差分演算回路２０５ａとから構成されてよく、それぞれの機能は、上述した同様の名称を有する各部と同様である。
【０１０５】
また、画像表示プログラムＰは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、画像表示プログラムＰは、画像表示プログラムＰを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、画像表示プログラムＰが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１０６】
なお、画像表示プログラムＰは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Java（登録商標）などのコンパイラ言語などを用いて実装できる。
【０１０７】
（００９２からここまでは、従来の原稿でご確認いただいた内容と同一です。）
（５）上述した各構成並びに各（補足）を適宜組み合わせることとしてもよい。
【産業上の利用可能性】
【０１０８】
この発明は、ユーザに合わせたストーリー展開の動画像を提供することができるという効果を備え、各種の画像表示装置やヘッドマウントディスプレイ等に利用可能である。
【符号の説明】
【０１０９】
１ 画像表示システム
１００ ヘッドマウントディスプレイ
１１８ 第１通信部
１２１ 表示部
１２２ 赤外光照射部
１２３ 画像処理部
１２４ 撮像部
１２５ 動きセンサ
１２６ 位置センサ
２００ 視線検出装置
２０１ 表示処理部
２０２ 視線検出部
２０３ 判定部
２０４ 切替部
２０５ 差分演算部
２１ 記憶装置
２１１ 画像データ
２１２ 判定条件データ
２１３ 切替条件データ
２２ 第２通信部（取得部）
２３ 入力装置
２４ 出力装置
【図１】
2019066618.tif 000008
【図２】
2019066618.tif 000009
【図３】
2019066618.tif 000010
【図４】
2019066618.tif 000011
【図５】
2019066618.tif 000012
【図６】
2019066618.tif 000013
【図７】
2019066618.tif 000014
【図８】
2019066618.tif 000015
【図９】
2019066618.tif 000016
【図１０】
2019066618.tif 000017
【図１１】
2019066618.tif 000018