(57)【要約】【課題】複数のヘッドマウントディスプレイに映像を表示し、複数ユーザを管理する。【解決手段】複数のヘッドマウントディスプレイシステムが、サーバと接続され、サーバは、接続される前記ヘッドマウントディスプレイシステムに画像データを送信する第１通信制御部と、当該画像データに応じてヘッドマウントディスプレイシステムから送信されたユーザの視線に関する情報に応じた新たな画像データを生成し、第１通信制御部に出力する生成部と、を備え、ヘッドマウントディスプレイシステムは、サーバから供給される画像データを表示する表示部と、表示部に表示される画像データを視認するユーザの視線を検出する検出部と、検出部で検出される視線に関する情報をサーバに送信する第２通信制御部と、を備える。【選択図】図１
2017216667.tif 000002
【特許請求の範囲】
【請求項１】
複数のヘッドマウントディスプレイシステムが、サーバと接続される画像提供システムであって、
前記サーバは、
接続される前記ヘッドマウントディスプレイシステムに画像データを送信する第１通信制御部と、
当該画像データに応じて前記ヘッドマウントディスプレイシステムから送信されたユーザの視線に関する情報に応じた新たな画像データを生成し、前記第１通信制御部に出力する生成部と、を備え、
前記ヘッドマウントディスプレイシステムは、
前記サーバから供給される画像データを表示する表示部と、
前記表示部に表示される画像データを視認するユーザの視線を検出する検出部と、
前記検出部で検出される視線に関する情報を前記サーバに送信する第２通信制御部と、を備える画像提供システム。
【請求項２】
前記生成部は、画像データに複数のヘッドマウントディスプレイシステムで検出された視線に関する情報を含む画像データを生成し、
前記第１通信制御部は、前記視線を含む画像データを送信する、請求項１記載の画像提供システム。
【請求項３】
前記複数のヘッドマウントディスプレイシステムのうち少なくとも１つがホストシステムであって、他のヘッドマウントディスプレイシステムはクライアントシステムであって、
前記生成部は、画像データに複数のクライアントシステムで検出された視線に関する情報を含む画像データを生成し、
前記第１通信制御部は、前記ホストシステムに、前記視線に関する情報を含む画像データを送信する、請求項１記載の画像提供システム。
【請求項４】
前記ホストシステムは、
画像データに含まれる視線に応じた情報を追加した画像データの生成を要求するリクエストの入力をユーザから受け付ける入力部をさらに備え、
前記ホストシステムの前記第２通信制御部は、前記入力部に入力されたリクエスト信号を前記サーバに送信し、
前記生成部は、前記ホストシステムから送信されるリクエスト信号に応じた新たな画像データを生成する請求項３に記載の画像提供システム。
【請求項５】
前記生成部は、複数のヘッドマウントディスプレイシステムのうち、選択されたヘッドマウントディスプレイシステムで検出された視線に関する情報のみを追加して新たな画像データを生成する請求項２〜４の何れか１項に記載の画像提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像提供システムに関し、特にヘッドマウントディスプレイを用いた映像表示技術に関する。
【背景技術】
【０００２】
従来から、ヘッドマウントディスプレイを用いた映像表示システムが開発されている。また、そのようなヘッドマウントディスプレイにおいて視線検出を行って、視線に基づく入力を行う技術も開発されている（例えば、特許文献１参照）。
【０００３】
ヘッドマウントディスプレイでは、個人で映像を鑑賞するものの他、複数人で同時に同一の映像を鑑賞することもできる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−３２５６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、一般的な映画鑑賞のように同一のスクリーンに表示される映像を複数人で同時に鑑賞する場合と比較し、各々が異なるヘッドマウントディスプレイで映像を鑑賞する場合、他人と映像を共有する利益が得られにくい。また、各ヘッドマウントディスプレイを利用する複数のユーザを管理することは困難である。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、複数のヘッドマウントディスプレイに映像を表示し、複数ユーザを管理することができる画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る画像提供システムは、複数のヘッドマウントディスプレイシステムが、サーバと接続され、サーバは、接続されるヘッドマウントディスプレイシステムに画像データを送信する第１通信制御部と、当該画像データに応じてヘッドマウントディスプレイシステムから送信されたユーザの視線に関する情報に応じた新たな画像データを生成し、第１通信制御部に出力する生成部と、を備え、ヘッドマウントディスプレイシステムは、サーバから供給される画像データを表示する表示部と、表示部に表示される画像データを視認するユーザの視線を検出する検出部と、検出部で検出される視線に関する情報をサーバに送信する第２通信制御部と、を備える。
【０００８】
生成部は、画像データに複数のヘッドマウントディスプレイシステムで検出された視線に関する情報を含む画像データを生成し、第１通信制御部は、視線を含む画像データを送信してもよい。
【０００９】
複数のヘッドマウントディスプレイシステムのうち少なくとも１つがホストシステムであって、他のヘッドマウントディスプレイシステムはクライアントシステムであって、生成部は、画像データに複数のクライアントシステムで検出された視線に関する情報を含む画像データを生成し、第１通信制御部は、ホストシステムに、視線に関する情報を含む画像データを送信してもよい。
【００１０】
ホストシステムは、画像データに含まれる視線に応じた情報を追加した画像データの生成を要求するリクエストの入力をユーザから受け付ける入力部をさらに備え、ホストシステムの第２通信制御部は、入力部に入力されたリクエスト信号をサーバに送信し、生成部は、ホストシステムから送信されるリクエスト信号に応じた新たな画像データを生成してもよい。
【００１１】
生成部は、複数のヘッドマウントディスプレイシステムのうち、選択されたヘッドマウントディスプレイシステムで検出された視線に関する情報のみを追加して新たな画像データを生成してもよい。
【００１２】
サーバは、画像データにおいて視線の位置が所定の条件であるユーザのグループとして複数のユーザを分類する分類部をさらに備え、生成部は、分類部に分類されたグループに属するユーザ毎に画像データを生成してもよい。
【００１３】
サーバは、視線で注視する位置が目的位置と異なるユーザを抽出する抽出部をさらに備え、生成部は、抽出部に抽出されたユーザに目的位置を誘導する画像データを生成してもよい。
【００１４】
リクエスト信号は、分類されたユーザのグループに関するグループ情報を含み、生成部は、グループ情報を含む画像データを生成してもよい。
【００１５】
リクエスト信号は、視線を誘導する誘導情報を含み、生成部は、誘導情報を含む画像データを生成してもよい。
【００１６】
また、本発明の一態様に係るサーバは、複数のヘッドマウントディスプレイシステムと接続され、画像提供システムで利用されるサーバであって、接続されるヘッドマウントディスプレイシステムに画像データを送信する第１通信制御部と、当該画像データに応じてヘッドマウントディスプレイシステムから送信されたユーザの視線に関する情報に応じた新たな画像データを生成し、第１通信制御部に出力する生成部とを備える。
【００１７】
また、本発明の一態様に係る画像提供方法は、サーバと複数のヘッドマウントディスプレイシステムとが接続される画像提供システムにおける画像提供方法であって、サーバが、接続されるヘッドマウントディスプレイシステムに画像データを送信するステップと、ヘッドマウントディスプレイシステムが、サーバから供給される画像データを表示するステップと、ヘッドマウントディスプレイシステムが、表示部に表示される画像データを視認するユーザの視線を検出するステップと、ヘッドマウントディスプレイシステムが、検出される視線に関する情報をサーバに送信するステップと、サーバが、ヘッドマウントディスプレイシステムから送信されたユーザの視線に関する情報に応じた新たな画像データを生成し、ヘッドマウントディスプレイシステムに送信するステップとを含む。
【００１８】
また、本発明の一態様に係る画像提供プログラムは、画像提供サーバと複数のヘッドマウントディスプレイシステムとが接続される画像提供システムにおいて、サーバに、接続されるヘッドマウントディスプレイシステムに画像データを送信するステップと、当該画像データに応じてヘッドマウントディスプレイシステムから送信されたユーザの視線に関する情報に応じた新たな画像データを生成し、ヘッドマウントディスプレイシステムに送信するステップと、を実現させる。
【発明の効果】
【００１９】
本発明によれば、複数のヘッドマウントディスプレイに映像を表示し、複数ユーザを管理することができる。
【図面の簡単な説明】
【００２０】
【図１】第１実施形態に係る画像提供システムを表す概略図である。
【図２】（ａ）は、第１実施形態に係る画像提供システムのサーバの構成を示すブロック図である。（ｂ）は、第１実施形態に係る画像提供システムのヘッドマウントディスプレイシステムの構成を表すブロック図である。
【図３】第１実施形態に係るヘッドマウントディスプレイをユーザが装着した様子を示す外観図である。
【図４】第１実施形態に係るヘッドマウントディスプレイの画像表示系の概観を模式的に示す斜視図である。
【図５】第１実施形態に係るヘッドマウントディスプレイの画像表示系の光学構成を模式的に示す図である。
【図６】第１実施形態に係るヘッドマウントディスプレイシステムの視線方向の検出のためのキャリブレーションを説明する模式図である。
【図７】ユーザの角膜の位置座標を説明する模式図である。
【図８】第１実施形態に係る画像提供システムのサーバにおける処理を説明するフローチャートである。
【図９】第１実施形態に係る画像提供システムのヘッドマウントディスプレイシステムにおける処理を説明するフローチャートである。
【図１０】（ａ）〜（ｃ）は、第１実施形態に係る画像提供システムのヘッドマウントディスプレイシステムで表示される画面データの一例である。
【図１１】第１実施形態に係る画像提供システムのサーバにおける他の処理を説明するフローチャートである。
【図１２】（ａ）、（ｂ）は、第１実施形態に係る画像提供システムのヘッドマウントディスプレイシステムで表示される画面データの他の例である。
【図１３】第１実施形態に係る画像提供システムのサーバにおける他の処理を説明するフローチャートである。
【図１４】（ａ）〜（ｃ）は、第１実施形態に係る画像提供システムのヘッドマウントディスプレイシステムで表示される画面データの他の例である。
【図１５】（ａ）〜（ｃ）は、第１実施形態に係る画像提供システムのヘッドマウントディスプレイシステムで表示される画面データの他の例である。
【図１６】第２実施形態に係る画  像提供システムを表す概略図である。
【図１７】（ａ）〜（ｃ）は、第２実施形態に係る画像提供システムのホストシステムで表示される画面データの一例である。
【図１８】第２実施形態に係る画像提供システムのホストシステムにおける処理を説明するフローチャートである。
【図１９】（ａ）は、サーバの回路構成を示すブロック図である。（ｂ）は、ヘッドマウントディスプレイシステムの回路構成を示すブロック図である。
【図２０】第３実施形態に係るヘッドマウントディスプレイシステムの構成を示すブロック図である。
【図２１】（ａ）、（ｂ）は、第３実施形態に係るヘッドマウントディスプレイシステムにおける処理を説明するフローチャートである。
【図２２】（ａ）、（ｂ）は、第３実施形態に係るヘッドマウントディスプレイシステムで表示される可視化の一例である。
【図２３】（ａ）〜（ｃ）は、第３実施形態に係るヘッドマウントディスプレイシステムで表示される可視化の他の例である。
【図２４】第４実施形態に係る映像表示システムを示し、映像表示システム構成のブロック図である。
【図２５】第４実施形態に係る映像表示システムを示し、映像表示システムの動作を示すフローチャートである。
【図２６】第４実施形態に係る映像表示システムを示し、映像表示システムが表示する映像処理前の映像表示例の説明図である。
【図２７】第４実施形態に係る映像表示システムを示し、映像表示システムが表示する映像処理状態の映像表示例の説明図である。
【発明を実施するための形態】
【００２１】
本発明に係る画像提供システム、サーバ、画像提供方法及び画像提供プログラムは、複数のヘッドマウントディスプレイへ提供する画像を管理するものである。以下、図面を用いて本発明の各実施形態について説明する。なお、以下の説明において、同一の構成については同一の符号を用いて説明を省略する。
【００２２】
〈第１実施形態〉
図１に示すように、第１実施形態に係る画像提供システムＩは、サーバ４００と複数のヘッドマウントディスプレイシステム１（１Ａ〜１Ｃ）とがネットワーク５００を介して接続される。
【００２３】
《サーバ》
サーバ４００は、図２（ａ）に示すように、中央処理装置（ＣＰＵ）４０、記憶装置４１及び通信インタフェース（通信Ｉ／Ｆ）４２等を備える情報処理装置である。サーバ４００の記憶装置４１は、画像データｄ１及び画像提供プログラムＰ１を記憶する。このサーバ４００は、画像データｄ１をヘッドマウントディスプレイ１００に提供する。このとき、画像提供プログラムＰ１の実行により、ＣＰＵ４０が、第１通信制御部４０１、生成部４０２、分類部４０３及び抽出部４０４として処理を実行する。
【００２４】
画像データｄ１は静止画データに限られず、動画データであってもよい。以下の説明では、画像データｄ１は、動画データであって、具体的には、音声データを含む映像データであるものとする。
【００２５】
第１通信制御部４０１は、接続されるヘッドマウントディスプレイシステム１に画像データを通信Ｉ／Ｆ４２を介して送信する。例えば、第１通信制御部４０１は、記憶装置４１に記憶される画像データ４１１を送信する。または、第１通信制御部４０１は、生成部４０２で生成された画像データを送信する。
【００２６】
生成部４０２は、第１通信制御部４０１が送信した画像データに応じてヘッドマウントディスプレイシステム１から送信されたユーザの視線に応じて新たな画像データを生成し、第１通信制御部４０１に出力する。
【００２７】
例えば、生成部４０２は、記憶装置４１に記憶される画像データ４１１に複数のヘッドマウントディスプレイシステム１から受信した視線データに基づく画像を追加して新たな画像データを生成する。視線データを追加するとき、生成部４０２は、各ヘッドマウントディスプレイシステム１から受信した全ての視線データを追加して新たな画像データを生成してもよい。または、生成部４０２は、一部の選択されたヘッドマウントディスプレイシステム１から受信した視線データのみ追加して新たな画像データを追加してもよい。
【００２８】
また、生成部４０２は、記憶装置４１に記憶される画像データ４１１に後述する分類部４０３により分類されたグループのデータに基づく画像を追加して新たな画像データを生成することができる。グループのデータを追加するとき、グループ毎に新たな画像データを生成してもよい。すなわち、生成部４０２は、グループ毎に異なる画像データを生成し、各ヘッドマウントディスプレイシステム１は、属するグループ用に生成された画像データが提供される。
【００２９】
さらに、生成部４０２は、記憶装置４１に記憶される画像データ４１１に後述する抽出部４０４に分類されたユーザに、誘導データに基づく画像を追加して新たな画像データを生成することができる。誘導データに基づく画像は、ユーザに画像中の目的位置、すなわち、見るべき位置を誘導するものである。具体的には、誘導データに基づく画像は、目的位置に目立つように配されたアイコン（例えば、矢印や「注目」と書かれたポップアップ）、枠等により表現される。
【００３０】
分類部４０３は、視線データが所定条件であるユーザをグループとして分類する。分類部４０３における分類方法としては、例えば、下記のような方法が考えられる。
【００３１】
１．視線データを用いた分類
（１）同一のオブジェクトを注視するユーザのグループ
分類部４０３は、視線が同一のオブジェクト上に存在するユーザを同一のグループに分類してもよい。このとき、分類部４０３は、視線が対象のオブジェクト上に存在するユーザを抽出するだけでなく、ある点（例えば、対象のオブジェクトの中心点）から所定の距離内に視線が存在するユーザを抽出してもよい。また、分類部４０３は、対象のオブジェクトから所定の距離内に視線が存在するユーザを抽出してもよい。
【００３２】
（２）視線が所定の範囲内にあるグループ
分類部４０３は、視線が所定の範囲内にあるユーザを同一のグループに分類してもよい。例えば、分類部４０３は、視線が画像の中心にあるグループ、視線が画像の右側にあるグループ等のようにユーザのグループを分類することもできる。またこのとき、分類部４０３は、視線が所定の距離内であるユーザを同一のグループに分類することもできる。
【００３３】
（３）クラスタリング処理で分類されたグループ
分類部４０３は、視線情報から特定される注視座標位置をクラスタリングし、各グループのユーザを分類してもよい。
【００３４】
（４）視線が同一のエリアにあるグループ
分類部４０３は、予め画像を複数のエリアに分割し、視線が同一のエリアに存在するユーザを同一のグループに分類してもよい。
【００３５】
（５）その他
また、上述したように、視線に応じてユーザのグループを分類する場合、ユーザの視線が同一の時刻に上記のような関係にあったユーザのみではなく、所定の期間に上記のような関係にあったユーザを同一のグループに分類することができる。具体的には、上記（１）の例において、対象のオブジェクトを見ていた時刻が完全に一致しない場合であっても、特定の期間に、対象のオブジェクトを所定時間以上みているユーザを同一グループに分類してもよい。例えば、特定の画像が表示される３分間に少なくとも１５秒以上、対象のオブジェクトを注視しているユーザを同一のグループに分類する。
【００３６】
２．視線データ及びユーザの行動を用いた分類
また、分類部４０３は、視線データに加え、下記に示すようなユーザの行動を利用してグループを分類してもよい。
【００３７】
（１）ユーザの動作
分類部４０３は、視線が上述したような所定の条件であるとともに、その時点で、特定の行動をとったユーザを、同一のグループに分類することができる。例えば、視線が所定条件であるのに加え、頭を右に動かしたユーザを同一のグループに分類してもよい。また、視線が所定条件であるのに加え、左右に揺れるユーザを同一のグループに分類してもよい。これにより、感情や考え方のちかいユーザを、同一グループとして分類することが出来る。ユーザの行動は、例えば、ヘッドマウントディスプレイ１００においてジャイロセンサ等のセンサで検出され、ヘッドマウントディスプレイシステム１からサーバ４００に送信される。
【００３８】
（２）ユーザによる信号入力
分類部４０３は、視線が上述したような所定の条件であるとともに、その時点で、所定の操作信号を入力したユーザを、同一のグループに分類することができる。例えば、ヘッドマウントディスプレイシステム１に提供される画像が、ビデオ授業の画像である場合、操作信号により、質問に対して同一の解答を入力したユーザを、同一グループに分類することができる。これにより、同一の考えのユーザを、グループワーク等を行うグループとして分類することができる。また例えば、ヘッドマウントディスプレイシステム１に提供される画像が、ビデオゲームの画像である場合、操作信号により、キャラクターを同一の方向に動かす操作をしたユーザを、同一グループに分類することができる。これにより、同一の考えのユーザを、グループとして分類することができる。ここで利用される操作信号は、ヘッドマウントディスプレイシステム１において入力装置２３を利用して入力され、サーバ４００に送信される。
【００３９】
（３）ユーザの行動履歴
分類部４０３は、視線が上述したような所定の条件であるとともに、過去に所定の行動をとったユーザを、同一のグループに分類することができる。過去の行動とは、例えば、イベントへの参加や、操作信号の入力等が考えられる。例えば、ヘッドマウントディスプレイシステム１に提供される画像が、ビデオ授業の画像である場合、過去に、特定の講座を受けたことのあるユーザ又は受けたことのないユーザを、同一のグループに分類することができる。これにより、特定の知識のあるユーザ又は知識のないユーザを、グループワーク等を行うグループとして分類することができる。また例えば、ヘッドマウントディスプレイシステム１に提供される画像が、ビデオゲームの画像である場合、過去に同一の行動をとったユーザを、同一グループに分類することができる。これにより、同一の考えのユーザを、グループとして分類することができる。ここで、例えば、ユーザの行動履歴は、行動履歴データとして、サーバ４００の記憶装置で記憶される。この行動履歴データは、ユーザが過去に行ったことのある行動、行ったことのない行動を特定するオンオフのフラグ等で構成されてもよい。
【００４０】
抽出部４０４は、視線で注視する位置が目的位置と異なるユーザを抽出する。例えば、抽出部４０４は、視線の位置が予め定められる目的位置の座標から所定距離離れたユーザを抽出する。また、抽出部４０４は、視線データに加え、ユーザの行動を利用してユーザを抽出してもよい。ユーザの行動としては、上述したように、ユーザの動作、ユーザによる信号入力、ユーザの行動履歴等である。
【００４１】
《ヘッドマウントディスプレイシステム》
各ヘッドマウントディスプレイシステム１（１Ａ〜１Ｃ）は、ヘッドマウントディスプレイ１００（１００Ａ〜１００Ｃ）と、視線検出装置２００（２００Ａ〜２００Ｃ）とを有する。
【００４２】
図２（ｂ）に示すように、視線検出装置２００は、ＣＰＵ２０、記憶装置２１、通信Ｉ／Ｆ２２、入力装置２３及び出力装置２４を備える。記憶装置２１には視線検出プログラムＰ２が記憶される。この視線検出プログラムＰ２が実行されることで、ＣＰＵ２０が、第２通信制御部２０１、検出部２０２、画像生成部２０３及び画像出力部２０４として処理を実行する。ここでは、通信Ｉ／Ｆ２２は、ネットワーク５００を介してサーバ４００との間での通信に利用される他、ヘッドマウントディスプレイ１００との間での通信に利用されるものとして説明するが、各通信において別のインタフェースを利用してもよい。
【００４３】
第２通信制御部２０１は、サーバ４００から送信された画像データを通信Ｉ／Ｆ２２を介して受信する。また、第２通信制御部２０１は、検出部２０２で検出される視線データを通信Ｉ／Ｆ２２を介してサーバ４００に送信する。
【００４４】
検出部２０２は、表示部１２１に表示される画像データを視認するユーザの視線を検出する。
【００４５】
画像生成部２０３は、例えば、図６を用いて後述する方法で、ヘッドマウントディスプレイ１００に表示する画像を生成する。
【００４６】
画像出力部２０４は、サーバから受信した画像データを、通信Ｉ／Ｆ２２を介してヘッドマウントディスプレイに出力する。
【００４７】
また、ヘッドマウントディスプレイ１００は、通信Ｉ／Ｆ１１０、第３通信制御部１１８、表示部１２１、赤外線照射部１２２、画像処理部１２３、撮像部１２４等を備える。
【００４８】
図４は、実施形態に係るヘッドマウントディスプレイシステム１の構成を説明するブロック図である。図４に示すように、ヘッドマウントディスプレイシステム１のヘッドマウントディスプレイ１００は、通信インタフェース（Ｉ／Ｆ）１１０、第３通信制御部１１８、表示部１２１、赤外線照射部１２２、画像処理部１２３及び撮像部１２４を有する。
【００４９】
表示部１２１は、第３通信制御部１１８から伝達された画像データを画像表示素子１０８に表示する機能を有する。表示部１２１は、画像データとして、テスト画像を表示する。また、表示部１２１は、画像生成部２０３から出力されたマーカー画像を画像表示素子１０８の指定されている座標に表示する。
【００５０】
赤外線照射部１２２は、赤外光源１０３を制御し、ユーザの右目又は左目に赤外光を照射する。
【００５１】
画像処理部１２３は、必要に応じて、撮像部１２４が撮像した画像に画像処理を行い、第３通信制御部１１８に伝達する。
【００５２】
撮像部１２４は、カメラ１１６を用いて、それぞれの目で反射された近赤外光を含む画像を撮像する。また、撮像部１２４は、画像表示素子１０８に表示されたマーカー画像を注視するユーザの眼を含む画像を撮像する。撮像部１２４は、撮像して得た画像を、第３通信制御部１１８又は画像処理部１２３に伝達する。
【００５３】
図３は、実施形態に係るヘッドマウントディスプレイシステム１の概観を模式的に示す図である。図３に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。
【００５４】
視線検出装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの右目及び左目の少なくとも一方の視線方向を検出し、ユーザの焦点、すなわち、ユーザがヘッドマウントディスプレイに表示されている三次元画像において注視している箇所を特定する。また、視線検出装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する映像生成装置としても機能する。限定はしないが、一例として、視線検出装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。視線検出装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図３に示す例では、視線検出装置２００はヘッドマウントディスプレイ１００と無線で接続している。視線検出装置２００がヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と視線検出装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則って実行される。また、それ以外の通信技術を利用してもよく、例えば、音波通信技術や光伝送技術を利用してもよい。
【００５５】
なお、図３は、ヘッドマウントディスプレイ１００と視線検出装置２００とが異なる装置である場合の例を示している。しかしながら、視線検出装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。
【００５６】
ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、およびヘッドフォン１７０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。
【００５７】
ヘッドフォン１７０は、視線検出装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。なお、ヘッドフォン１７０は、必須の構成ではない。
【００５８】
図４は、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０の概観を模式的に示す斜視図である。より具体的に、図４は、実施の形態に係る筐体１５０のうち、ヘッドマウントディスプレイ１００を装着したときにユーザ３００の角膜３０２に対向する領域を示す図である。
【００５９】
図４に示すように、左目用凸レンズ１１４ａは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の左目の角膜３０２ａと対向する位置となるように配置される。同様に、右目用凸レンズ１１４ｂは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の右目の角膜３０２ｂと対向する位置となるように配置される。左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとは、それぞれ左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとに把持されている。
【００６０】
以下本明細書において、左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとを特に区別する場合を除いて、単に「凸レンズ１１４」と記載する。同様に、ユーザ３００の左目の角膜３０２ａとユーザ３００の右目の角膜３０２ｂとを特に区別する場合を除いて、単に「角膜３０２」と記載する。左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとも、特に区別する場合を除いて「レンズ保持部１５２」と記載する。
【００６１】
レンズ保持部１５２には、複数の赤外光源１０３が備えられている。煩雑となることを避けるために、図４においてはユーザ３００の左目の角膜３０２ａに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ａで示し、ユーザ３００の右目の角膜３０２ｂに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ｂで示す。以下、赤外光源１０３ａと赤外光源１０３ｂとを特に区別する場合を除いて「赤外光源１０３」と記載する。図４に示す例では、左目用レンズ保持部１５２ａには６つの赤外光源１０３ａが備えられている。同様に、右目用レンズ保持部１５２ｂにも６つの赤外光源１０３ｂが備えられている。このように、赤外光源１０３を凸レンズ１１４に直接配置せず、凸レンズ１１４を把持するレンズ保持部１５２に配置することにより、赤外光源１０３の取り付けが容易となる。一般にレンズ保持部１５２は樹脂等で構成されるため、ガラス等から構成される凸レンズ１１４よりも赤外光源１０３を取り付けるための加工が容易となる。
【００６２】
上述したように、レンズ保持部１５２は凸レンズ１１４を把持する部材である。したがって、レンズ保持部１５２に備えられた赤外光源１０３は、凸レンズ１１４の周囲に配置されることになる。なお、ここでは、それぞれの眼に対して赤外光を照射する赤外光源１０３を６つとしているが、この数はこれに限定されるものではなく、それぞれの眼に対応して少なくとも１つあればよく、２以上配されているのが望ましい。
【００６３】
図５は、実施の形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図であり、図５に示す筐体１５０を左目側の側面から見た場合の図である。画像表示系１３０は、赤外光源１０３、画像表示素子１０８、光学装置１１２、凸レンズ１１４、カメラ１１６、および第３通信制御部１１８を備える。
【００６４】
赤外光源１０３は、近赤外（７００ｎｍ〜２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３００の肉眼では観測ができない非可視光の波長帯域の光である。
【００６５】
画像表示素子１０８は、ユーザ３００に提示するための画像を表示する。画像表示素子１０８が表示する画像は、サーバ４００内の生成部４０２または視線検出装置２００内の画像生成部２０３が生成する。なお、生成部４０２及び画像生成部２０３により、画像を生成してもよい。画像表示素子１０８は、例えば既知のＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro Luminescence Display）等を用いて実現できる。
【００６６】
光学装置１１２は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の角膜３０２との間に配置される。光学装置１１２は、画像表示素子１０８が生成する可視光は透過するが、近赤外光は反射する性質を持つ。この光学装置１１２は、特定の周波数帯域の光を反射する特徴を持つものであり、例えば、透明な平板や、ホットミラー、プリズムなどがある。
【００６７】
凸レンズ１１４は、光学装置１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、光学装置１１２とユーザ３００の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３００に装着されたときに、ユーザ３００の角膜３０２に対向する位置に配置される。
【００６８】
凸レンズ１１４は光学装置１１２を透過する画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図５では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよいし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。
【００６９】
複数の赤外光源１０３は、凸レンズ１１４の周囲に配置されている。赤外光源１０３は、ユーザ３００の角膜３０２に向けて赤外光を照射する。
【００７０】
図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。
【００７１】
上述したように、光学装置１１２は、可視光を透過し、近赤外光を反射または一部反射、あるいはある特定の周波数の光を反射する。したがって、画像表示素子１０８が照射する画像光は光学装置１１２を透過してユーザ３００の角膜３０２まで到達する。また赤外光源１０３から照射され、凸レンズ１１４の内部の反射領域で反射された赤外光は、ユーザ３００の角膜３０２に到達する。
【００７２】
ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、光学装置１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、光学装置１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、赤外光源１０３から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。
【００７３】
なお、図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は、カメラ１１６を二つ、すなわち、右目で反射された赤外光を含む画像を撮像する第１撮像部と、左目で反射された赤外光を含む画像を撮像する第２撮像部とを備える。これにより、ユーザ３００の右目及び左目の双方の視線方向を検出するための画像を取得することができる。
【００７４】
第３通信制御部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出装置２００に出力する。具体的には、第３通信制御部１１８は、通信Ｉ／Ｆ１１０を介してカメラ１１６が撮像した画像を視線検出装置２００に送信する。視線方向検出部として機能する検出部２０２の詳細については後述するが、視線検出装置２００のＣＰＵ（Central Processing Unit）が実行する映像表示プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線方向検出部を実現するプログラムを実行してもよい。
【００７５】
詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の角膜３０２で反射された近赤外光に起因する輝点と、近赤外の波長帯域で観察されるユーザ３００の角膜３０２を含む眼の画像とが撮像されている。
【００７６】
以上は、実施の形態に係る画像表示系１３０のうち主にユーザ３００の左目に画像を提示するための構成について説明したが、ユーザ３００の右目に画像を提示するための構成は上記と同様である。
【００７７】
次に、実施の形態に係る視線方向の検出について説明する。
【００７８】
図６は、実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。ユーザ３００の視線方向は、カメラ１１６が撮像し第３通信制御部１１８が視線検出装置２００に出力した映像を、視線検出装置２００内の検出部２０２が解析することにより実現される。
【００７９】
画像生成部２０３は、図６に示すような点Ｑ１〜Ｑ９までの９つの点（マーカー画像）を生成し、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる。視線検出装置２００は、点Ｑ１〜点Ｑ９に到るまで順番にユーザ３００に注視させる。このとき、ユーザ３００は首を動かさずに極力眼球の動きのみで各点を注視するように求められる。カメラ１１６は、ユーザ３００が点Ｑ１〜Ｑ９までの９つの点を注視しているときのユーザ３００の角膜３０２を含む画像を撮像する。
【００８０】
図７は、ユーザ３００の角膜３０２の位置座標を説明する模式図である。視線検出装置２００内の検出部２０２は、カメラ１１６が撮像した画像を解析して赤外光に由来する輝点１０５を検出する。ユーザ３００が眼球の動きのみで各点を注視しているときは、ユーザがいずれの点を注視している場合であっても、輝点１０５の位置は動かないと考えられる。そこで検出部２０２は、検出した輝点１０５をもとに、カメラ１１６が撮像した画像中に２次元座標系３０６を設定する。
【００８１】
検出部２０２はまた、カメラ１１６が撮像した画像を解析することにより、ユーザ３００の角膜３０２の中心Ｐを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、検出部２０２は、設定した２次元座標系３０６におけるユーザ３００の角膜３０２の中心Ｐの座標を取得できる。
【００８２】
図６において、画像表示素子１０８が表示する表示画面に設定された２次元座標系における点Ｑ１〜点Ｑ９の座標をそれぞれＱ１（ｘ１，ｙ１）Ｔ，Ｑ２（ｘ２，ｙ２）Ｔ・・・，Ｑ９（ｘ９，ｘ９）Ｔとする。各座標は、例えば各点の中心に位置する画素の番号となる。また、ユーザ３００が点Ｑ１〜点Ｑ９を注視しているときの、ユーザ３００角膜３０２の中心Ｐを、それぞれ点Ｐ１〜Ｐ９とする。このとき、２次元座標系３０６における点Ｐ１〜Ｐ９の座標をそれぞれＰ１（Ｘ１，Ｙ１）Ｔ，Ｐ２（Ｘ２，Ｙ２）Ｔ，・・・，Ｐ９（Ｚ９，Ｙ９）Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。
【００８３】
いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。
【００８４】
【数１】
2017216667.tif 000003
【００８５】
このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３００の視線方向を画像表示素子１０８が表示する画像面に射影する行列となる。
ＰＮ＝ＭＱＮ  （Ｎ＝１，・・・，９）    （２）
【００８６】
上記式（２）を具体的に書き下すと以下の式（３）のようになる。
【００８７】
【数２】
2017216667.tif 000004
式（３）を変形すると以下の式（４）を得る。
【００８８】
【数３】
2017216667.tif 000005
ここで、
【００８９】
【数４】
2017216667.tif 000006
とおくと、以下の式（５）を得る。
ｙ＝Ａｘ    （５）
【００９０】
式（５）において、ベクトルｙの要素は検出部２０２が画像表示素子１０８に表示させる点Ｑ１〜Ｑ９の座標であるため既知である。また、行列Ａの要素はユーザ３００の角膜３０２の頂点Ｐの座標であるため取得できる。したがって、検出部２０２は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。
【００９１】
式（５）は、未知数の数（すなわちベクトルｘの要素数４）よりも式の数（すなわち、検出部２０２がキャリブレーション時にユーザ３００に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。
【００９２】
ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ−Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘｏｐｔは、以下の式（６）で求められる。
ｘｏｐｔ＝（ＡＴＡ）−１ＡＴｙ    （６）
ここで「−１」は逆行列を示す。
【００９３】
検出部２０２は、求めたベクトルｘｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、検出部２０２は、ユーザ３００の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３００の右目が画像表示素子１０８に表示される動画像上のどこを注視しているかを推定できる。ここで、検出部２０２は、更に、ユーザの眼と、画像表示素子１０８間の距離情報をヘッドマウントディスプレイ１００から受信し、その距離情報に応じて、推定したユーザが注視している座標値を修正する。なお、ユーザの眼と画像表示素子１０８との間の距離による注視位置の推定のずれは誤差の範囲として無視してもよい。これにより、検出部２０２は、画像表示素子１０８上の右目の注視点と、ユーザの右目の角膜の頂点とを結ぶ右目視線ベクトルを算出することができる。同様に、検出部２０２は、画像表示素子１０８上の左目の注視点と、ユーザの左目の角膜の頂点とを結ぶ左目視線ベクトルを算出することができる。なお、片目だけの視線ベクトルで２次元平面上でのユーザの注視点を特定することができ、両眼の視線ベクトルを得ることでユーザの注視点の奥行き方向の情報まで算出することができる。視線検出装置２００はこのようにしてユーザの注視点を特定することができる。なお、ここに示した注視点の特定方法は一例であり、本実施の形態に示した以外の手法を用いて、ユーザの注視点を特定してもよい。
【００９４】
《画像にユーザの視線情報が表示される例》
図８及び図９を用いて、画像にユーザの視線情報が表示される場合の処理の一例を説明する。図８は、サーバ４００における処理を示すフローチャートである。
【００９５】
まず、サーバ４００は、ネットワーク５００を介して接続される各ヘッドマウントディスプレイシステム１に、記憶装置４１に記憶される画像データｄ１を送信する（Ｓ０１）。
【００９６】
その後、サーバ４００は、各ヘッドマウントディスプレイシステム１から、画像データｄ１を視認したユーザの視線データを受信する（Ｓ０２）。
【００９７】
また、サーバ４００は、受信した各ヘッドマウントディスプレイシステム１の視線データを含む新たな画像データを生成する（Ｓ０３）。
【００９８】
続いて、サーバ４００は、新たな画像データを各ヘッドマウントディスプレイシステム１に送信する（Ｓ０４）。
【００９９】
サーバ４００は、終了リクエストを受信するまで、ステップＳ０２〜Ｓ０４の処理を継続する（Ｓ０５）。
【０１００】
図９は、ヘッドマウントディスプレイシステム１における処理を示すフローチャートである。ヘッドマウントディスプレイシステム１は、サーバ４００から画像データを受信すると（Ｓ１１）、受信した画像データを表示する（Ｓ１２）。
【０１０１】
また、ヘッドマウントディスプレイシステム１は、表示した画像データを視認するユーザの視線データを検出する（Ｓ１３）。
【０１０２】
その後、ヘッドマウントディスプレイシステム１は、検出した視線データをサーバ４００に送信する（Ｓ１４）。
【０１０３】
ヘッドマウントディスプレイシステム１は、終了リクエストを受信するまで、ステップＳ１１〜Ｓ１４の処理を繰り返す（Ｓ１５）。
【０１０４】
図１０（ａ）は、サーバ４００においてステップＳ０１で送信され、ヘッドマウントディスプレイシステム１においてステップＳ１２で表示される画像の一例である。
【０１０５】
また、図１０（ｂ）は、視線データを含む画像の一例である。これは、ヘッドマウントディスプレイシステム１おいてステップＳ１３で視線データが検出され、ステップＳ０３で生成された視線データを含む画像データである。ここで、ユーザの視線データを、識別子Ａ〜Ｋとして画像データに追加した一例である。
【０１０６】
さらに、図１０（ｃ）は、視線データを含む画像の他の例である。図１０（ｂ）は、同一の画像データを視認する全てのユーザ、すなわち、識別子Ａ〜Ｋの１１人の視線を含む例であった。これに対し、図１０（ｃ）は、一部のユーザのみの視線を含む画像データの例である。
【０１０７】
サーバ４００の生成部４０２は、視線データを含む画像データを生成する場合、図１０（ｂ）に示すように、全てのユーザの視線を含む画像データを生成してもよい。また、生成部４０２は、図１０（ｃ）に示すように、一部のユーザの視線を含む画像データを生成してもよい。
【０１０８】
《視線情報からユーザをグルーピングする例》
図１１を用いて、ユーザの視線情報を利用して、ユーザをグルーピングする場合の処理の一例を説明する。図１１は、サーバ４００における処理を示すフローチャートである。
【０１０９】
まず、サーバ４００は、ネットワーク５００を介して接続される各ヘッドマウントディスプレイシステム１に、記憶装置４１に記憶される画像データｄ１を送信する（Ｓ２１）。
【０１１０】
その後、サーバ４００は、各ヘッドマウントディスプレイシステム１から、画像データｄ１を視認したユーザの視線データを受信する（Ｓ２２）。
【０１１１】
次に、サーバ４００は、視線が所定条件のユーザを抽出する（Ｓ２３）。例えば、サーバ４００は、上述したように、視線が同一のオブジェクトにあるグループ、視線が所定の範囲にあるグループ、クラスタリング処理により特定されるグループ、視線が同一エリアにあるグループ等を抽出する。このとき、サーバ４００は、ユーザの視線に加え、ユーザの行動を抽出条件に利用してもよい。
【０１１２】
サーバ４００は、抽出したユーザ毎にグループを生成する（Ｓ２４）。抽出条件とユーザの視線データに応じて、グループの数や各グループに含まれるユーザの数は異なる。
【０１１３】
また、サーバ４００は、ステップＳ２２で受信した各ヘッドマウントディスプレイシステム１の視線データと、ステップＳ２４で生成したグループデータを含む新たな画像データを生成する（Ｓ２５）。
【０１１４】
続いて、サーバ４００は、新たな画像データを各ヘッドマウントディスプレイシステム１に送信する（Ｓ２６）。
【０１１５】
サーバ４００は、終了リクエストを受信するまで、ステップＳ２２〜Ｓ２６の処理を継続する（Ｓ２７）。
【０１１６】
この場合のヘッドマウントディスプレイシステム１における処理は、図９を用いて上述した処理と同一である。なお、グループデータを含む新たな画像データは、例えば、図１２（ａ）に含まれるように、ユーザの識別子がグループ毎に区別できるような画像である。
【０１１７】
具体的には、図１２（ａ）に示す例では、グループ１には、識別子Ｃ及びＨのユーザが含まれる。グループ２には、識別子Ｄ、Ｅ及びＪのユーザが含まれる。グループ３には、識別子Ｆ、Ｋのユーザが含まれる。グループ４には識別子Ａ及びＢのユーザが含まれる。グループ５には、識別子Ｇ及びＩのユーザが含まれる。
【０１１８】
《視線情報が異なるユーザを誘導する例》
図１３を用いて、ユーザの視線が目的位置とは異なる場合、視線を目的位置に誘導する場合の処理の一例を説明する。図１３は、サーバ４００における処理を示すフローチャートである。
【０１１９】
まず、サーバ４００は、ネットワーク５００を介して接続される各ヘッドマウントディスプレイシステム１に、記憶装置４１に記憶される画像データｄ１を送信する（Ｓ３１）。
【０１２０】
その後、サーバ４００は、各ヘッドマウントディスプレイシステム１から、画像データｄ１を視認したユーザの視線データを受信する（Ｓ３２）。
【０１２１】
次に、サーバ４００は、視線が目的位置以外のユーザを抽出する（Ｓ３３）。例えば、サーバ４００は、目的位置の座標から所定距離を外れた位置に視線があるユーザを抽出する。このとき、サーバ４００は、ユーザの視線に加え、ユーザの行動を抽出条件に利用してもよい。
【０１２２】
サーバ４００は、誘導データを含む新たな画像データを生成する（Ｓ３４）。
【０１２３】
続いて、サーバ４００は、新たな画像データを各ヘッドマウントディスプレイシステム１に送信する（Ｓ３５）。
【０１２４】
サーバ４００は、終了リクエストを受信するまで、ステップＳ３２〜Ｓ２５の処理を継続する（Ｓ２６）。
【０１２５】
この場合のヘッドマウントディスプレイシステム１における処理は、図９を用いて上述した処理と同一である。例えば、図１２（ｂ）に含まれるように、画像データに含まれる誘導データは、目的位置を指し示すものであり、記号や符号等である。例えば、記号の一例としては、ポインタがあげられる。なお、図１２（ｂ）に示す例において、破線で囲まれた部分が目的位置である。
【０１２６】
図１４（ａ）〜（ｃ）は、誘導データが表示される画像の他の例である。図１４（ａ）に示す例では、画像には、誘導データにより、目的位置（破線部分）と、ユーザの視点（Ｈ部分）を含むマークＦ１が付される。このマークＦ１が、目的位置を中心に図１４（ｂ）及び（ｃ）に示すように、徐々に小さくなり、ユーザの視線を誘導する。なお、マークＦ１の形状は、図１４（ａ）〜（ｃ）に示す形状に限定されない。
【０１２７】
図１５（ａ）〜（ｃ）は、誘導データが表示される画像のさらに他の例である。図１５（ａ）に示す例では、画像には、誘導データにより、ユーザの視点（Ｈ部分）を含むマークＦ２が付される。このマークＦ２が、ユーザの視点から、目的位置（破線部分）に向かって徐々に大きくなりながら移動することで、ユーザの視線を誘導する。図１５（ｂ）は、マークＦ２が移動する過程の画像例である。また、図１５（ｃ）は、マークＦ２が目的位置まで移動された画像例である。なお、図１５（ｂ）において、破線の円は、図１５（ａ）のマークＦ２の位置を示すものである。また、図１５（ｃ）において、破線の円は、図１５（ａ）のマークＦ２の位置及び図１５（ｂ）のマークＦ２の位置を示すものである。
【０１２８】
また、目的位置を指し示すために表示される記号や符号は、所定の時間間隔で点滅したり、点滅するようにサイズを変化するものであってもよい。記号や符号が点滅したり、サイズを変化することで、ユーザにその目的位置を把握させやすくする。
【０１２９】
上述した構成の第１実施形態に係る画像提供システムIによれば、複数のユーザのヘッドマウントディスプレイに画像データを提供する場合、ユーザの視線データに応じて生成される画像データを提供することができる。例えば、画像データには、視線データに応じたグループデータ、誘導データを含めることができる。これにより、画像提供システムIを利用して、複数のユーザを管理することができる。
【０１３０】
〈第２実施形態〉
図１６に示すように、第２実施形態に係る画像提供システムII、サーバ４００に、少なくとも１台のホスト端末であるヘッドマウントディスプレイシステム１Ｘ（以下、必要に応じて「ホスト端末１X」とする）と、クライアントシステムである複数のヘッドマウントディスプレイシステム１（１Ａ〜１Ｃ）とが接続される。
【０１３１】
第２実施形態に係る画像提供システムII では、ホスト端末１Ｘの入力装置２３から、グループを指定することができる。または、画像提供システムIIでは、ホスト端末１Ｘの検出部２０２で検出される視線データから、グループを指定することができる。さらに、画像提供システムIIでは、ホスト端末１Ｘからユーザの視線を誘導することができる。
【０１３２】
《サーバ》
第２実施形態に係る画像提供システムIIのサーバ４００も、図２（ａ）を用いて上述したサーバ４００と同一の構成である。なお、第２実施形態に係る画像提供システムIIでは、ホスト端末１Ｘにおいて、グループ分けやユーザの視線を誘導することができる。そのため、サーバ４００の分類部４０３や抽出部４０４は必須の構成ではない。
【０１３３】
また、画像提供システムIIのサーバ４００の生成部４０２は、ヘッドマウントディスプレイシステム１から提供されるグループデータや誘導データを含めて新たな画像データを生成することができる。
【０１３４】
《ヘッドマウントディスプレイシステム》
第２実施形態に係る画像提供システムIIのヘッドマウントディスプレイシステム１の第２通信制御部２０１は、視線検出装置２００の入力装置２３を介して入力されるグループデータや誘導データを、検出部２０２で検出される視線データとともに、通信Ｉ／Ｆ２２を介してサーバ４００に提供する。なお、ホストシステム１Xの視線検出装置２００Xと、サーバ４００とは、一体に構成されていてよい。
【０１３５】
図１６及び図１７を用いて、ホスト端末１Ｘにおける処理を説明する。図１７は、ホスト端末１Ｘで表示される画像の一例である。また、図１８は、ホスト端末１Ｘにおける処理を説明するフローチャートである。
【０１３６】
図１８に示すように、ホスト端末１Ｘは、サーバ４００から画像データを受信する（Ｓ４１）。また、ホスト端末１Ｘは、受信した画像データを表示する（Ｓ４２）。
【０１３７】
ここで、ユーザの視線データが取得される前は、ホスト端末１Ｘでは、図１７（ａ）に示すように視線データを含まない画像が表示される。また、ユーザの視線データが取得後、ホスト端末１Ｘでは、図１７（ｂ）に示すように、ユーザの視線データ（例えば、ユーザの識別子）を含む画像が表示される。
【０１３８】
その後、ホスト端末１Ｘは、表示される画像に対して、グループの指定が入力されると（Ｓ４３でＹＥＳ）、このグループデータを含むリクエスト信号をサーバ４００に送信する（Ｓ４４）。リクエスト信号は、視線に応じた情報であるグループデータを含む画像データの生成を要求するものである。ここで、リクエスト信号は、グループ毎に画像データの生成をするように要求するものであってもよい。このグループの指定は、例えば、マウス、タッチパネル等の入力装置２３装置を利用して入力される。具体的には、図１７（ｃ）に示すように、ユーザの識別子が入力装置２３により囲まれることで、グループが指定される。または、例えば、検出部２０２がホスト端末１Xを利用するユーザの視線を検出し、グループを指定することができる。具体的には、図１７（ｃ）に示すように、ホスト端末１Xを利用するユーザが、表示部１２１に表示される画像を視認し、画像中の識別子を囲むように視線を動かすことで、グループを指定することができる。
【０１３９】
また、ホスト端末１Ｘは、表示される画像に対して、入力装置２３を介して誘導データが入力されると（Ｓ４５でＹＥＳ）、この誘導データを含むリクエスト信号をサーバ４００に送信する（Ｓ４６）。このリクエスト信号は、視線を誘導する誘導データを含む画像データの生成を要求するものである。
【０１４０】
ホスト端末１Ｘは、終了リクエストを受信するまで、ステップＳ４１〜Ｓ４６の処理を継続する（Ｓ２６）。
【０１４１】
上述した構成の第２実施形態に係る画像提供システムIIによれば、複数のユーザのヘッドマウントディスプレイに画像データを提供する場合、ユーザの視線データに応じて生成される画像データを提供することができる。例えば、画像データには、視線データに応じたグループデータ、誘導データを含めることができる。これにより、画像提供システムIIを利用して、複数のユーザを管理することができる。
【０１４２】
上記実施の形態における視線検出に係る手法は、一例であり、上記ヘッドマウントディスプレイ１００及び視線検出装置２００による視線検出方法は、これに限られるものではない。
【０１４３】
まず、上記実施の形態においては、非可視光として近赤外光を照射する赤外光源を複数設ける例を示しているが、近赤外光をユーザの眼に照射する手法はこれに限られない。例えば、ヘッドマウントディスプレイ１００の画像表示素子１０８を構成する画素について、近赤外光を発光するサブ画素を有する画素を設ける構成とし、それらの近赤外光を発光するサブ画素を選択的に発光させて、ユーザの眼に近赤外光を照射することとしてもよい。また、あるいは、画像表示素子１０８に換えて、ヘッドマウントディスプレイ１００に網膜投影ディスプレイを備えるとともに、当該網膜投影ディスプレイで表示して、ユーザの網膜に投影する画像の中に、近赤外光色で発光する画素を含ませることで、近赤外光の照射を実現する構成としてもよい。画像表示素子１０８の場合にしても、網膜投影ディスプレイの場合にしても、近赤外光を発光させるサブ画素は、定期的に変更することとしてもよい。
【０１４４】
また、上記実施形態において示した視線検出のアルゴリズムも上記実施の形態に示した手法に限定されるものではなく、視線検出を実現できるのであれば、その他のアルゴリズムを用いてもよい。
【０１４５】
上述した実施形態においては、画像提供システムにおける各処理を、サーバ４００、ヘッドマウントディスプレイ１００及び視線検出装置２００のＣＰＵが画像提供プログラム等を実行することにより、実現するものとして説明した。一方、サーバ４００、ヘッドマウントディスプレイ１００及び視線検出装置２００において、ＣＰＵに代えて、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））、ＦＰＧＡ（Field Programmable gate array）、ＣＰＬＤ（Complex Programmable Logic Device）等に形成された論理回路（ハードウェア）や専用回路によって各処理を実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。
【０１４６】
すなわち、図１９（ａ）に示すように、サーバ４００は、通信Ｉ／Ｆ４２と、第１通信制御回路４０１ａ、生成回路４０２ａ、分類回路４０３ａ及び抽出回路４０４ａを有する第１通信制御回路４０１ａと、画像データ４１１及び画像提供プログラムＰ１を記憶する記憶装置４１から構成されてもよい。第１通信制御回路４０１ａ、生成回路４０２ａ、分類回路４０３ａ及び抽出回路４０４ａは、画像提供プログラムＰ１によって制御される。それぞれの機能は、上記実施形態に示した同様の名称を有する各部と同様である。
【０１４７】
また、図１９（ｂ）に示すように、ヘッドマウントディスプレイ１００は、通信Ｉ／Ｆ１１０と、第３通信制御回路１１８ａと、表示回路１２１ａと、赤外光照射回路１２２ａと、画像処理回路１２３ａと、撮像回路１２４ａとから構成されてもよい。それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。
【０１４８】
さらに、図１９（ｂ）に示すように、視線検出装置２００は、第２通信制御回路２０１ａ、検出回路２０２ａ、画像生成回路２０３ａ及び画像出力回路２０４ａを有する制御回路２０ａと、視線検出プログラムＰ２を記憶する記憶装置２１と、通信Ｉ／Ｆ２２と、入力装置２３と、出力装置２４とから構成されてもよい。第２通信制御回路２０１ａ、検出回路２０２ａ、画像生成回路２０３ａ及び画像出力回路２０４ａは、視線検出プログラムＰ２によって制御される。それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。
【０１４９】
また、上記記憶装置２１，４１としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記検索プログラムは、当該検索プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記映像表示プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１５０】
なお、上記プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Java（登録商標）などのコンパイラ言語、アセンブリ言語、ＲＴＬ（Register Transfer Level）などを用いて実装できる。
【０１５１】
〈第３実施形態〉
図２０は、第３実施形態に係るヘッドマウントディスプレイシステム１ｂの構成を説明するブロック図である。図２０に示すように、ヘッドマウントディスプレイシステム１ｂのヘッドマウントディスプレイ１００は、通信インタフェース（Ｉ／Ｆ）１１０、通信制御部１１８、表示部１２１、赤外線照射部１２２、画像処理部１２３及び撮像部１２４を有する。
【０１５２】
通信制御部１１８は、通信Ｉ／Ｆ１１０を介して視線検出装置２００と通信を制御する。通信制御部１１８は、撮像部１２４または画像処理部１２３から伝送された視線検出に用いる画像データを視線検出装置２００に送信する。また、通信制御部１１８は、視線検出装置２００から送信された画像データやマーカー画像を表示部１２１に伝達する。画像データは、一例として、テストを表示するためのデータである。また、画像データは、三次元画像を表示するための右目用視差画像と、左目用視差画像とからなる視差画像対であってもよい。
【０１５３】
表示部１２１は、通信制御部１１８から伝達された画像データを画像表示素子１０８に表示する機能を有する。表示部１２１は、画像データとして、テスト画像を表示する。また、表示部１２１は、映像生成部２２２から出力されたマーカー画像を画像表示素子１０８の指定されている座標に表示する。
【０１５４】
赤外線照射部１２２は、赤外光源１０３を制御し、ユーザの右目又は左目に赤外光を照射する。
【０１５５】
画像処理部１２３は、必要に応じて、撮像部１２４が撮像した画像に画像処理を行い、通信制御部１１８に伝達する。
【０１５６】
撮像部１２４は、カメラ１１６を用いて、それぞれの目で反射された近赤外光を含む画像を撮像する。また、撮像部１２４は、画像表示素子１０８に表示されたマーカー画像を注視するユーザの眼を含む画像を撮像する。撮像部１２４は、撮像して得た画像を、通信制御部１１８又は画像処理部１２３に伝達する。
【０１５７】
また、図２０に示すように、視線検出装置２００は、中央処理装置（ＣＰＵ）２０と、画像データ２１１及びデータ生成プログラムＰ３を記憶する記憶装置２１と、通信Ｉ／Ｆ２２と、操作ボタン、キーボード又はタッチパネル等の入力装置２３と、ディスプレイ又はプリンタ等の出力装置２４とを備える情報処理装置である。視線検出装置２００は、記憶装置２１に記憶されるデータ生成プログラムＰ３が実行されることで、ＣＰＵ２０が、通信制御部２０１ｂ、検出部２０２ｂ、解析部２０３ｂ、タイマ２０４ｂ、操作取得部２０５ｂ、属性取得部２０６ｂ、生成部２０７ｂ及び出力部２０８ｂとしての処理を実行する。
【０１５８】
画像データ２１１は、ヘッドマウントディスプレイ１００に表示するデータである。画像データ２１１は、二次元画像であっても、三次元画像であってもよい。また、画像データ２１１は、静止画像であっても動画像であってもよい。
【０１５９】
例えば、画像データ２１１は、ビデオゲームの動画像データである。画像データ２１１がビデオゲームの画像であるとき、表示される画像は、ユーザにより入力される操作信号に応じて変更される。また例えば、画像データ２１１は、映画の動画像データである。画像データ２１１は、ユーザの操作にしたがって、接続される外部のサーバ装置等（図示せず）から、購入することができる。
【０１６０】
通信制御部２０１ｂは、通信Ｉ／Ｆ２２を介してヘッドマウントディスプレイ１００との通信を制御する。
【０１６１】
検出部２０２ｂは、ユーザの視線を検出し、視線データを生成する。
【０１６２】
解析部２０３ｂは、視線データを用いて、ユーザの視線を解析する。ここで、解析部２０３ｂは、必要に応じて、タイマ２０４ｂ、操作取得部２０５ｂ、属性取得部２０６ｂから入力されるデータを利用する。
【０１６３】
タイマ２０４ｂは、画像データ２１１がゲームの動画像データであるとき、ユーザのゲームのプレイ時間を計測する。また、タイマ２０４ｂは、計時したデータを解析部２０３ｂに出力する。例えば、タイマ２０４ｂは、ゲームの開始から終了（ゲームクリア）までの達成時間を計測する。ここで、ユーザが複数回、同一のゲームをプレイする場合、タイマ２０４ｂは、１回目のゲームの開始から終了までの達成時間を計測する。また例えば、タイマ２０４ｂは、ゲームの総プレイ時間を計測する。ここで、ユーザが複数回、同一のゲームをプレイする場合、タイマ２０４ｂは、複数回のプレイ時間の合計を総プレイ時間（トータル時間）として計測する。
【０１６４】
操作取得部２０５ｂは、画像データ２１１の表示に関して入力された種々の操作信号を入力する。また、操作取得部２０５ｂは、操作信号に関するデータを、解析部２０３ｂに出力する。例えば、画像データ２１１がゲームのデータであるとき、このゲーム内で実行されたユーザによる操作の情報を取得する。ここで、ユーザによる操作は、入力ボタンを利用して入力される操作や音声信号の入力による操作の他、検出部２０２ｂで検出することができる視線の動きに応じた操作であってもよい。
【０１６５】
属性取得部２０６ｂは、画像データ２１１を利用するユーザの属性データを取得する。また、属性取得部２０６ｂは、取得したデータを解析部２０３ｂに出力する。属性データは、例えば、ユーザの性別、年齢、職業等に関するデータである。例えば、この属性データは、ヘッドマウントディスプレイシステム１が管理サーバ等に接続されており、その管理サーバにユーザ登録されている場合、その登録情報から取得することができる。または、視線検出装置２００の記憶装置２１にユーザの属性データが記憶されていてもよい。
【０１６６】
生成部２０７ｂは、検出部２０２ｂの検出結果、解析部２０３ｂの解析結果を含む可視化データを生成する。例えば、解析部２０３ｂで特定の視線が解析された場合、生成部２０７ｂは、画像とこの画像に対応する視線で特定されるデータ（座標を表す点や視線の軌跡）を含む可視化データを生成する。可視化データとは、ヒートマップデータ、分析結果をグラフで表すデータ等が考えられる。ここで、画像データが動画像データであるとき、可視化データは、画像におけるユーザの視点と画像データにおける一画像の時間軸との関係を特定する時間軸表示部を含んでもよい。また、解析部で解析された結果を棒グラフ等で表すことができるとき、棒グラフを含むデータを可視化データとして生成する。
【０１６７】
出力部２０８ｂは、生成部２０７ｂが生成した可視化データを出力装置２４等に出力する。
【０１６８】
なお、上述した視線検出装置２００の各部のうち、解析部２０３ｂ、タイマ２０４ｂ、操作取得部２０５ｂ、属性取得部２０６ｂ及び生成部２０７ｂは、外部のサーバ等の情報処理装置で実現することも可能である。また、これらの処理部２０３ｂ〜２０７ｂを外部の情報処理装置で実現する場合、ヘッドマウントディスプレイシステム１の検出部２０２ｂで検出される視線データを取得する取得部を情報処理装置で有し、解析部２０３ｂは、この取得部が取得した視線データを用いてデータの解析処理を実行する。
【０１６９】
《可視化データ生成処理１》
図２１（ａ）に示すフローチャートを用いて、ヘッドマウントディスプレイシステム１ｂにおいて、可視化データを生成して出力する場合の処理について説明する。
【０１７０】
ヘッドマウントディスプレイシステム１ｂは、まず対象の画像データ２１１を表示する（Ｓ５１）。
【０１７１】
ヘッドマウントディスプレイシステム１ｂは、画像を表示すると、表示した画像データ２１１を視認するユーザの視線を検出する（Ｓ５２）。
【０１７２】
また、ヘッドマウントディスプレイシステム１ｂは、ユーザの視線を検出すると、検出されたユーザの視線を解析する（Ｓ５３）。
【０１７３】
ヘッドマウントディスプレイシステム１ｂは、視線を解析すると、可視化データを生成する（Ｓ５４）。
【０１７４】
ヘッドマウントディスプレイシステム１ｂは、生成した可視化データを出力する（Ｓ５５）。
【０１７５】
ここで、図２０は、１台の視線検出装置２００に１台のヘッドマウントディスプレイ１００が接続される例を示す。しかしながら、１台の視線検出装置２００に複数台のヘッドマウントディスプレイ１００が接続されてもよい。この場合、各ヘッドマウントディスプレイ１００に画像データ２１１を表示してそれぞれのユーザから視線データを検出するため、ステップＳ０１及びＳ０２の処理を複数回繰り返す。また、複数ユーザから検出された視線データを利用して、ステップＳ５３〜Ｓ５５の処理を繰り返す。
【０１７６】
図２２（ａ）及び図２２（ｂ）は、ある静止画像を一定時間表示した場合の複数ユーザの視線データを用いて生成された可視化データの一例である。図２２（ａ）に示す例は、各ユーザの視線の軌跡Ｓ１〜Ｓ４を含む可視化データＷ１である。また、図２２（ｂ）に示す例は、ユーザが所定時間以上注視した位置を表す棒グラフを含む可視化Ｗ２である。
【０１７７】
図２３（ａ）乃至図２３（ｃ）は、動画像を表示した場合のユーザの視線データを用いて生成された可視化データの一例である。図２３（ａ）及び図２３（ｂ）は、動画像の進行状況を表すタイムスライダＴを有する可視化データＷ３である。図２３（ａ）と図２３（ｂ）とでは、図２３（ａ）の画像が先に表示され、その後、図７（ｂ）の画像が表示される。ここで、図２３（ａ）及び図２３（ｂ）において、黒丸部分が、ユーザの視線の位置である。
【０１７８】
《可視化データ生成処理２》
図２１（ｂ）に示すフローチャートを用いて、ヘッドマウントディスプレイシステム１ｂにおいて、可視化データを生成して出力する場合の処理について説明する。
【０１７９】
ヘッドマウントディスプレイシステム１ｂは、ユーザの視線データを取得する（Ｓ６１）。
【０１８０】
また、ヘッドマウントディスプレイシステム１ｂは、ユーザの視線データを取得すると、取得したユーザの視線を解析する（Ｓ６２）。
【０１８１】
ヘッドマウントディスプレイシステム１ｂは、視線を解析すると、可視化データを生成する（Ｓ６３）。
【０１８２】
ヘッドマウントディスプレイシステム１ｂは、生成した可視化データを出力する（Ｓ６４）。
【０１８３】
このステップＳ１１〜Ｓ１４の処理は、ヘッドマウントディスプレイシステム１ｂではなく、検出部２０２ｂで検出された結果を取得する取得部、解析部２０３ｂ、タイマ２０４ｂ、操作取得部２０５ｂ、属性取得部２０６ｂ及び生成部２０７ｂ等を備える外部のサーバ等の情報処理装置で実行されてもよい。
【０１８４】
画像データ２１１がビデオゲームのデータであるとき、解析部２０３ｂは、例えば、以下の（１−１）〜（１−６）の内容を解析することができる。
【０１８５】
（１−１）視線が目標位置に移動するまでのユーザの視点
ユーザの視線が目標位置に移動するまでのユーザの視線の軌跡やユーザの視線が目標位置に移動するまでに要した時間を解析する。ユーザの視線が目標位置に移動するまでに要する時間は、例えば、タイマ２０４ｂから入力する時間から特定することができる。これにより、例えば、表示される画像における目標位置の探しやすさを把握することができる。また、生成部２０７ｂは、ユーザの視線が目標位置に到達するまでに要した時間のグラフを可視化データとして生成する。
【０１８６】
また、複数のユーザのデータを収集し、解析することで、解析部２０３ｂは、ユーザが目標位置を見つけやすい画像データの傾向を解析することができる。さらに、ユーザの属性を合わせて解析することで、解析部２０３ｂは、視線が目標位置に移動するまでに要する時間と、ユーザの属性の傾向を解析することもできる。ユーザの属性は、属性取得部２０６ｂから入力される。
【０１８７】
（１−２）視線が目標位置からずれたユーザの視点
ユーザの視線が目標位置にない場合、解析部２０３ｂは、その時点のユーザの視線の座標（視点）を解析する。これにより、表示される画像において、ユーザがどこに引き付けられて迷ったかを特定することができる。例えば、生成部２０７ｂは、ユーザの視点の座標を可視化データとして生成する。
【０１８８】
また、複数のユーザのデータを収集し、解析することで、解析部２０３ｂは、ユーザが迷いやすい画像データの傾向を解析することができる。さらに、ユーザの属性を合わせて解析することで、解析部２０３ｂは、迷いやすいユーザの属性の傾向を解析することもできる。ユーザの属性は、属性取得部２０６ｂから入力される。
【０１８９】
（１−３）視線が目標位置からずれた場合の原因
ユーザの視線が目標位置にない場合、解析部２０３ｂは、その状態に至るまでの所定時間に表示された画像におけるユーザの視線の軌跡を求める。これにより、ある状態に至るまでに表示された画像において、ユーザが何に引き付けられて迷うのかの原因を予測することができる。例えば、生成部２０７ｂは、ユーザの視点の軌跡を可視化データとして生成する。
【０１９０】
また、複数のユーザの視線の軌跡のデータを収集し、解析することで、解析部２０３ｂは、ユーザが迷いやすい画像データを解析することができる。さらに、ユーザの属性を合わせて解析することで、解析部２０３ｂは、迷いやすいユーザの傾向を解析することもできる。
【０１９１】
（１−４）初期画面でのユーザの注目位置
解析部２０３ｂは、ゲームの初期画面でのユーザの視線の座標を検出する。これにより、解析部２０３ｂは、ユーザが初期画面において、どこに注目したのかを解析する。すなわち、解析部２０３ｂは、初期画面で注目した場所を解析することで、初期画面においてユーザが引き付けられた場所を把握することができる。例えば、生成部２０７ｂは、ユーザの視点の座標を可視化データとして生成する。
【０１９２】
また、複数のユーザの視線データを収集し、解析することで、解析部２０３ｂは、多くのユーザを引き付ける画像構成について解析することができる。さらに、ユーザの属性を合わせて解析することで、解析部２０３ｂは、各画像構成が引き付けるユーザの傾向を解析することもできる。
【０１９３】
さらに、ユーザの総プレイ時間を合わせて解析することで、解析部２０３ｂは、ユーザが引き付けられやすいデータと、ゲームに対するユーザの興味の度合いの傾向を解析することができる。例えば、総プレイ時間が長いユーザは、対象のゲームを好むユーザである場合が多く、総プレイ時間が短いユーザは、対象のゲームに興味を持たなかったユーザである場合が多い。したがって、例えば、ユーザを引き付けたデータと、そのユーザのプレイ時間を合わせて解析することで、ゲームに興味を持つユーザと持たないユーザの視点の違いを解析することができる。ユーザの総プレイ時間は、タイマ２０４ｂから入力される。
【０１９４】
（１−５）特定操作を実行するユーザの傾向
解析部２０３ｂは、ゲームの際に特定の操作を実行したユーザの視線の座標（視点）を検出する。これにより、各操作を実行したユーザの興味や関心を特定することができる。この操作は、ゲームのプレイに関する操作であってもよいし、それ以外の操作であってもよい。解析部２０３ｂは、操作取得部２０５ｂから操作の実行に関するデータを入力する。例えば、生成部２０７ｂは、ユーザの視点の座標を可視化データとして生成する。
【０１９５】
例えば、ゲームのプレイに関する操作と、その操作を実行したときのユーザの視点を確認することで、ユーザの操作と視線との関係を把握することができる。ユーザの操作としては、例えば、得点を得るゲームの場合には、高い得点をとる操作をしたユーザの視線が考えられる。また、ゲームのプレイ以外の操作としては、例えば、ゲームにおいてコンテンツを購入する操作である。コンテンツを購入する操作である。例えば、コンテンツを購入するユーザは、どのような点に興味を持ってコンテンツを購入するのかを解析することで、どのようなゲーム展開にするとユーザがコンテンツを購入するかや、コンテンツを購入することが多いユーザが好む画像構成を特定することができる。
【０１９６】
また、複数のユーザの視線のデータと操作の実行に関するデータを収集し、解析することで、解析部２０３ｂは、ユーザの操作と画像データの関連を解析することができる。さらに、ユーザの属性を合わせて解析することで、解析部２０３ｂは、各操作を実行するユーザの傾向を解析することもできる。
【０１９７】
さらに、ユーザの総プレイ時間を合わせて解析することで、解析部２０３ｂは、特定の操作をするユーザと、ユーザゲームに対するユーザの興味の度合いの傾向を解析することができる。例えば、総プレイ時間が長いユーザは、対象のゲームを好むユーザである場合が多く、総プレイ時間が短いユーザは、対象のゲームに興味を持たなかったユーザである場合が多い。したがって、例えば、ゲームに興味を持つユーザと持たないユーザの特定の操作の実行の関係を解析することができる。
【０１９８】
（１−６）ユーザのレベル
解析部２０３ｂは、（１）〜（４）における解析に、ゲームで獲得する得点等からユーザのレベルを求めることのできるゲームの場合、そのレベルを考慮してもよい。すなわち、ユーザのレベル毎に、視線が目標位置からずれたユーザの視点、視線が目標位置からずれた場合の原因、初期画面でのユーザの注目位置、特定操作を実行するユーザの傾向を解析することができる。
【０１９９】
画像データ２１１が映画のデータであるとき、例えば、以下の（２−１）〜（２−３）の内容を解析することができる。
【０２００】
（２−１）ユーザの注目位置
解析部２０３ｂは、画像中のユーザの視線の座標（視点）を検出する。これにより、表示される画像において、ユーザがどこに引き付けられるかを特定することができる。また、複数のユーザのデータを収集し、解析することで、複数のユーザが引き付けられる画像の構成を特定することができる。
（２−２）ユーザの属性
解析部２０３ｂは、上記（２−１）のユーザの注目位置とともに、ユーザの属性を合わせて解析してもよい。これにより、各画像の構成を好むユーザの属性の傾向も合わせて解析することもできる。このユーザの属性は、属性取得部２０６ｂから入力される。
【０２０１】
（２−３）コンテンツの購入履歴
解析部２０３ｂは、上記（２−１）のユーザの注目位置及び（２−２）ユーザの属性とともに、ユーザにより映画コンテンツの購入履歴を合わせて解析してもよい。購入履歴としては、例えば、映画コンテンツの価格、オンライン購入した場合には、購入日時等があげられる。これにより、コンテンツの購入に関する傾向も合わせて解析することができる。
【０２０２】
このように、解析部２０３ｂは、特定のユーザの視点、ユーザの複数の視点の傾向を解析する。
【０２０３】
〈第４実施形態〉
図２４は、第４実施形態に係る映像表示システム１ｃのヘッドマウントディスプレイ１００と視線検出装置２００とのブロック図である。
【０２０４】
ヘッドマウントディスプレイ１００は、電気回路部品として、赤外光源１０３、画像表示素子１０８（以下、「ディスプレイ１０８」とする）、カメラ１１６、及び通信Ｉ／Ｆ１１０に加え、制御部（ＣＰＵ）１５０、メモリ１５１、赤外線照射部１２２、表示部１２１、撮像部１２４、画像処理部１２３、傾き検出部１５６と、を含む。
【０２０５】
一方、視線検出装置２００は、制御部（ＣＰＵ）２０と、記憶装置２１と、通信Ｉ／Ｆ２２と、視線検出部２１３と、映像生成部２１４と、音声生成部２１５と、を含む。
【０２０６】
通信Ｉ／Ｆ１１０は、視線検出装置２００の通信Ｉ／Ｆ２２と通信を実行する機能を有する通信インターフェースである。通信Ｉ／Ｆ１１０は、有線通信又は無線通信により通信Ｉ／Ｆ２２と通信を実行する。なお、使用可能な通信規格の例は上述した通りである。通信Ｉ／Ｆ１１０は、撮像部１２４又は画像処理部１２３から伝送した視線検出に用いる映像データを通信Ｉ／Ｆ２２に送信する。また、通信Ｉ／Ｆ１１０は、視線検出装置２００から送信した映像データやマーカ像を表示部１２１に伝達する。視線検出装置２００から送信する映像データは、一例として、上述したＰＶなどのように、一人以上の人間の映像を含む動画等を表示するためのデータである。また、映像データは、三次元映像を表示するための右眼用視差映像と、左眼用視差映像とからなる視差映像対であってもよい。
【０２０７】
制御部１４０は、メモリ１５１に格納したプログラムにより上述した電気回路部品を制御する。したがって、ヘッドマウントディスプレイ１００の制御部１４０がメモリ１５１に格納したプログラムにしたがって視線方向検出機能を実現するプログラムを実行してもよい。
【０２０８】
メモリ１５１は、上述したヘッドマウントディスプレイ１００を機能させるためのプログラムを格納しているほか、必要に応じてカメラ１１６で撮像した画像データ等を一時的に格納することも可能である。
【０２０９】
赤外線照射部１２２は、赤外光源１０３の点灯状態を制御し、赤外光源１０３からユーザ３００の右眼又は左眼に近赤外光を照射させる。
【０２１０】
表示部１２１は、通信Ｉ／Ｆ１１０が伝達した映像データをディスプレイ１０８に表示させる機能を有する。表示部１２１は、映像データとして、アイドルグループ等のプロモーションビデオ（ＰＶ）、各種コンサート等のライブビデオ、トークショー等の各種講演ビデオのように、一人以上の人物を含む映像を表示する。また、表示部１２１は、映像生成部２１４が出力したマーカ像を表示部１２１の指定している座標に表示する。
【０２１１】
撮像部１２４は、カメラ１１６を用いて、ユーザ３００の左右眼で反射した近赤外光を含む画像を撮像する。また、撮像部１２４は、後述するディスプレイ１０８に表示したマーカ像を注視するユーザ３００の輝点像及び前眼部像を撮像する。撮像部１２４は、撮像して得た画像データを、通信Ｉ／Ｆ１１０又は画像処理部１２３に伝達する。
【０２１２】
画像処理部１２３は、必要に応じて、撮像部１２４が撮像した画像に画像処理を行い、通信Ｉ／Ｆ１１０に伝達する。
【０２１３】
傾き検出部１５６は、ヘッドマウントディスプレイ１００の傾きを、例えば、加速度センサやジャイロセンサ等の傾斜センサ１５７からの検出信号に基づいてユーザ３００の頭部の傾きをヘッドマウントディスプレイ１００の傾きとして算出する。傾き検出部１５６は、逐次、ヘッドマウントディスプレイ１００の傾きを算出し、その算出結果である傾き情報を通信Ｉ／Ｆ１１０に伝達する。
【０２１４】
制御部（ＣＰＵ）２１０は、記憶装置２１に格納したプログラムにより上述した視線検出を実行する。制御部２１０は、記憶装置２１に記憶したプログラムにしたがって映像生成部２１４及び音声生成部２１５を制御する。
【０２１５】
記憶装置２１は、視線検出装置２００が動作上必要とする各種プログラムやデータを記憶する記録媒体である。記憶装置２１は、例えば、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）などにより実現可能である。記憶装置２１は、映像データに対応して映像中の各登場人物に対応したディスプレイ１０８の外面上での位置情報や各登場人物の音声情報を記憶している。
【０２１６】
通信Ｉ／Ｆ２２は、ヘッドマウントディスプレイ１００の通信Ｉ／Ｆ１１０と通信を実行する機能を有する通信インターフェースである。上述したとおり、通信Ｉ／Ｆ２２は、有線通信又は無線通信により通信Ｉ／Ｆ１１０と通信を実行する。通信Ｉ／Ｆ２２は、映像生成部２１４が伝達した一人以上の人物を含む映像を表示するための映像データや、キャリブレーションのために用いるマーカ像などをヘッドマウントディスプレイ１００に送信する。また、ヘッドマウントディスプレイ１００が伝達した撮像部１２４により撮像したマーカ像を注視するユーザ３００の輝点像、映像生成部２１４が出力した映像データに基づいて表示した映像を見るユーザ３００の前眼部像、傾き検出部１５６が算出した傾き情報を視線検出部２１３に伝達する。また、通信Ｉ／Ｆ２２は、外部のネットワーク（例えば、インターネット）にアクセスして、映像生成部２１４で指定した動画ウェブサイトの映像情報を取得して、映像生成部２１４に伝達することも可能である。また、通信Ｉ／Ｆ２２は、音声生成部２１５が伝達した音声情報を、直接又は通信Ｉ／Ｆ１１０を経由してヘッドフォン１７０に送信する。
【０２１７】
視線検出部２１３は、カメラ１１６で撮像した前眼部像を解析してユーザ３００の視線方向を検出する。具体的には、通信Ｉ／Ｆ２２からユーザ３００の右眼の視線検出用の映像データを受け付けて、ユーザ３００の右眼の視線方向を検出する。視線検出部２１３は、後述する手法を用いて、ユーザ３００の右眼の視線方向を示す右眼視線ベクトルを算出する。同様に、通信Ｉ／Ｆ２２からユーザ３００の左眼の視線検出用の映像データを受け付けて、ユーザ３００の左眼の視線方向を示す左眼視線ベクトルを算出する。そして、算出した視線ベクトルを用いて、ユーザ３００が表示部１２１に表示している映像の注視している箇所を特定する。視線検出部２１３は、特定した注視点を映像生成部２１４に伝達する。
【０２１８】
映像生成部２１４は、ヘッドマウントディスプレイ１００の表示部１２１に表示させる映像データを生成し、通信Ｉ／Ｆ２２に伝達する。映像生成部２１４は、視線検出のためのキャリブレーションのためのマーカ像を生成し、その表示座標位置と共に、通信Ｉ／Ｆ２２に伝達して、ヘッドマウントディスプレイ１００に送信させる。また、映像生成部２１４は、視線検出部２１３が検出したユーザ３００の視線方向に応じて、映像の表示態様を変えた映像データを生成する。映像の表示態様の変更方法の詳細については後述する。映像生成部２１４は、視線検出部２１３が伝達した注視点に基づき、ユーザ３００が特定の一人を注視しているか否かを判定し、特定の一人を注視していた場合に、その一人がどの人物であるかを特定する。
【０２１９】
音声生成部２１５は、視線検出部２１３で検出したユーザ３００の視線方向にディスプレイ１０８で出力している映像中に一人以上の人物が存在している場合に、その人物を特定しかつ特定した人物に対応してヘッドフォン１７０から出力する音声の出力状態を他の音声の出力状態と異ならせてユーザ３００に識別可能となるように音声データを生成する。
【０２２０】
例えば、音声生成部２１５は、特定した人物の声の大きさをその他の音声の大きさよりも大きくするように、特定した人物の声を大きくする、又は、特定した人物以外の声を小さくする、ことによってユーザ３００に識別可能となるように音声データを生成する。
【０２２１】
また、音声生成部２１５は、特定した人物の声の大きさをその他の音声の大きさよりも大きくしたうえで、例えば、変調する、テンポを早く（又は遅く）する、音声強調するといった付加機能を音声データに付与することも可能である。音声生成部２１５は、歌謡音楽ビデオ（ＰＶ）などの間奏中は演奏等の音楽をミュートにするといった付加機能を音声データに付与することも可能である。なお、詳細は後述するが、映像生成部２１４は、音声生成部２１５により間奏中に音楽をミュートにした場合には、特定した人物の振り付け等をゆっくりと見るために映像をスローにするといった付加機能を付与することも可能である。
【０２２２】
映像生成部２１４は、ユーザ３００の視線方向に基づいて、特定した人物の少なくとも一部を含む所定エリアの映像が所定エリア以外の映像よりも注視し易くなるように映像データを生成することができる。例えば、特定の人物以外にスモークを掛けるといった強調、特定の人物がディスプレイ１０８の中央に位置するように移動する、例えば、顔や楽器等の特定の人物一部をズームアップにする、といった付加機能を付与することも可能である。また、例えば、近年のプロモーションビデオ等では、同じ楽曲であっても、登場人物、撮影風景や場所（天然・人工を問わない）、振り付けや衣装等を異ならせた複数パターンの映像を組み合わせて一つの楽曲として構成している。このため、同じメロディー部分であっても、異なる映像パターンを選択可能としている場合もある。このため、例えば、特定の人物がより多く登場している映像パターンに切り替えたり、特定の人物が移動している際に追尾したり、といった付加機能を付与することも可能である。
【０２２３】
＜データ＞
ここで、具体的な映像データについて説明する。例えば、アイドルグループ等のプロモーションビデオは、映像の撮影や作成と音声（歌唱及び演奏）の録音とは別々に制作されるのが一般的である。
【０２２４】
この際、歌唱は、全員が歌うパートと個人が歌うパート（ソロパート）とに関係なく、個人個人で行われる。したがって、声や演奏は個人別に容易に特定することができ、既知の情報として利用することができる。
【０２２５】
一方、映像に関しても、全員が屋外或はスタジオにおいて全員で撮影する場合と個人で撮影する場合とがあり、最終的には背景加工等の画像処理を行うことが通常として行われる。したがって、音声と合体（紐付け）することから、映像と時間軸との関係も既知の情報として利用することができる。また、画面上における各個人が振り付け等で移動しているときにおいても、予め設定した画面サイズ（縦横比）に対して、例えば、顔を基準として時間軸に応じた位置は容易に既知の情報とすることができる。
【０２２６】
これにより、上述したディスプレイ１０８の表示画面において、映像上の各個人（登場人物）に関し、声（演奏）と位置とを時間軸に関連させて映像データに組み込む、或は、映像データに対応したテーブル方式の演者データとすることができる。
【０２２７】
したがって、制御部２１０は、視線検出部２１３によってユーザ３００の視線位置を検出したとき、そのＸＹ座標とタイムテーブルとから、ユーザ３００が映像中の誰を集中的に見ているのかを特定することができる。
【０２２８】
＜動作＞
次に、図２５のフローチャートに基づいて、映像表示システム１ｃの動作を説明する。なお、以下の説明では、視線検出装置２００の制御部２１０が音声データを含む映像データを通信Ｉ／Ｆ２２から通信Ｉ／Ｆ１１０へと送信したものとして説明する。
【０２２９】
（ステップＳ７１）
ステップＳ７１において、制御部１４０は、表示部１２１及び音声出力部１３２を動作させ、ディスプレイ１０８に映像を表示出力させるとともにヘッドフォン１７０の音声出力部１３２から音声出力させてステップＳ７２へと移行する。
【０２３０】
（ステップＳ７２）
ステップＳ７２において、制御部２１０は、カメラ１１６で撮像した画像データに基づいて、視線検出部２１３によりユーザ３００がディスプレイ１０８の注視点（視線位置）を検出させ、その位置を特定させる。
【０２３１】
（ステップＳ７３）
ステップＳ７３において、制御部２１０は、ユーザ３００が特定の一人の人を注視しているか否かを判定する。具体的には、制御部２１０は、時系列で映像中の人が移動等をしている場合であっても、時間軸で変化する検出した注視点におけるＸＹ座標軸の変化が、最初に特定したＸＹ座標軸を起点として所定時間（例えば、２秒間）、タイムテーブルに沿う映像上のＸＹ座標軸と一致しているか否かによってユーザ３００が特定の一人の人を注視しているか否かを判定する。制御部２１０は、特定の一人の人を注視していると判定した場合（Ｙｅｓ）には、ステップＳ４へと移行する。制御部２１０は、特定の一人を注視していると判定しなかった場合（Ｎｏ）には、ステップＳ７８へと移行する。なお、特定の一人の人が移動していない場合であっても、上記特定手順は同じである。
【０２３２】
（ステップＳ７４）
ステップＳ７４において、制御部２１０は、ユーザ３００が注視している人を特定し、ステップＳ７５へと移行する。
【０２３３】
（ステップＳ７５）
ステップＳ７５において、制御部２１０は、特定した人の音声データを特定してステップＳ７６へと移行する。
【０２３４】
（ステップＳ７６）
ステップＳ７６において、制御部２１０は、音声生成部２１５により特定した人の音声データと、その他の人（演奏は含ませても除いてもよい）の音声データとを生成させ、その生成後の新たな音声データを通信Ｉ／Ｆ２２から通信Ｉ／Ｆ１１０に送信し、ステップＳ７へと移行する。これにより、例えば、ユーザ３００が注視していた人の歌唱音の音量が他の人の歌唱音の音量よりも結果的に高くした状態でヘッドフォン１７０から出力される。なお、音声生成部２１５は、ユーザ３００が注視していた人の歌唱音のボリュームのみを高く上げたり、逆にユーザ３００が注視していた人以外の歌唱音のボリュームを下げたりすることにより、特定した人の音声を他の人の音声よりも際立たせ、ユーザ３００に特定の一人の歌唱を容易に識別可能とする。
【０２３５】
（ステップＳ７７）
ステップＳ７７において、制御部２１０は、実際には上記ステップＳ７６のルーチンと並行して、映像生成部２１４により、ユーザ３００が注視していた人の識別が容易となるように、新たな映像データを生成させ、その生成後の新たな映像データを通信Ｉ／Ｆ２２から通信Ｉ／Ｆ１１０に送信し、ステップＳ７へと移行する。これにより、ディスプレイ１０８には、例えば、図２６に示した通常の映像表示状態から、図２７に示すように、特定の人（例えば、センター位置で歌唱している女性）の映像はそのままに、その他の周囲の人の映像がぼやけた状態で表示する。すなわち、映像生成部２１４は、所定エリア（センター位置の女性）の映像が所定エリア以外の映像よりも注視し易くなるように映像データを新たに生成する強調処理を実行する。
【０２３６】
（ステップＳ７８）
ステップＳ７８において、制御部２１０は、映像データの再生が終了したか否かを判定する。制御部２１０は、映像データの生成が終了したと判定した場合（Ｙｅｓ）には、このルーチンを終了する。制御部２１０は、映像データの生成が終了したと判定しなかった場合（Ｎｏ）には、ステップＳ２へとループし、以降、映像データの再生が終了するまで、上記各ルーチンを繰り返す。したがって、ユーザ３００は、例えば、強調状態の映像出力を注視したい場合には、注視していた特定の人の注視をやめるだけで特定の一人を注視していると判定しない（ステップＳ７３でＮｏ）ことなり、強調表示や音声制御は中止となる。
【０２３７】
＜まとめ＞
このように、映像表示システム１ｃは、音声生成部２１５により、視線検出部２１３で検出したユーザ３００の視線方向にディスプレイ１０８から出力している映像中に一人以上の人物が存在している場合に、その人物を特定しかつ特定した人物に対応して音声出力部１３２から出力する音声（楽器演奏等を含む）の出力状態を他の音声の出力状態と異ならせて利用者に識別可能となるように音声データを生成する。
【０２３８】
例えば、好みのアイドルグループのうち、自身が推薦するメンバーの歌声を他のメンバーの歌声よりも際立つように、推薦するメンバーの歌声の音量を他のメンバーの歌声の音量よりも結果的に大きくすることができる。
【０２３９】
これにより、ユーザ３００は、どの声が推薦するメンバーの歌声（パートなのか）といったことを容易に認識することができ、プロモーションビデオの視聴を楽しむことができる。
【０２４０】
また、特定の人物とは、アイドルグループのメンバー等に限定されず、コンサートのライブビデオにおけるバックバンドの演奏者等を対象とすることも可能である。
【０２４１】
このような場合には、その演奏者を特定し、その演奏音（例えば、メインギター音やベースギター音）の音量を上げれば、どのような弾き方をしているのかやアレンジをしているのかなどの勉強用として提供することができる。
【０２４２】
この際、上述したプロモーションビデオ作製のように、映像と音声とを別々に収録するのではなく、同時期に映像と音声とを収録したような場合でも、ビデオ編集時には使用マイクの特定さえ可能であれば、映像と音声との紐付けは容易である。また、例えマイクを使用していないような場合であっても、楽器や声には固有の周波数等を有しているため、人物とサンプル音声（コーディック等）とをテーブル方式でデータベース化していれば、映像上の人物を音声とを対応付けすることができる。
【０２４３】
その他、映像データには、複数の人物が登場する映像全般、例えば、各種演劇や歌劇、或は、トークショー等の各種講演、のように映像化されたもので複数の登場人物が含まれるもの全般に適用可能であり、特に音声が混成するような場合に有用である。
【０２４４】
このように、現実的な利用形態に応じて出力を変化させることができ、汎用性を向上することができる。
【０２４５】
ここで、音声生成部２１５は、ユーザ３００による音声の識別性を向上させる手法として、
・特定の人物の音声の音量を上げる
・特定の人物の音声の音量はそのままにして他の人物の音声の音量を下げる
などがある。
【０２４６】
また、音声生成部２１５は、このような特定の人物の音声の音量を他の人物の音声の音量よりも結果的に高くした状態で、さらに、特定的或は全体的に変調を加える、テンポを変える、音声強調をするといった付加機能を加えてもよい。
【０２４７】
さらに、音声生成部２１５は、歌謡曲のように間奏があるような場合、間奏中は音（楽器音等）をミュートしてもよい。これにより、映像生成部２１４の機能を利用して、特定の人物の振り付け（ダンス）映像等をスローで再生するなどの映像協調と併用し、特定の人物の振り付けを覚えるといった場合にも利用することができる。
【０２４８】
また、音声生成部２１５による音声制御に加えて映像生成部２１４を併用する場合、例えば、視線検出部２１３によって検出したユーザ３００の視線方向に基づいて、特定した人物の少なくとも一部を含む所定エリアの映像を所定エリア以外の映像よりも注視し易くなるように表示態様を変更してもよい。
【０２４９】
音声生成部２１５による音声制御に加えて映像生成部２１４を併用する場合の具体例としては、上述した図７のように、特定の人物全体を所定エリアとして他のエリアに比べて強調した表示態様とするほか、
・特定の人物の映像が画面上の中央付近に表示されていない場合に、特定の人物を外面上の中央付近に移動する
・特定の人物の顔や楽器演奏者の手元の楽器（弾いている様子等）をズームアップする
・同一曲に対して複数の映像パターンが存在する場合に、特定の人物が登場する映像データ（カメラ）に切り替える
といった態様とすることができる。
【０２５０】
＜補足＞
なお、映像表示システムは、上記実施の形態に限定されるものではなく、他の手法により実現してもよい。以下、その他の例について説明する。
【０２５１】
（１）  上記実施の形態においては、プロモーションビデオやライブビデオ等の映像を用いるものとし、併用を含む現実空間上の映像の例を示したが、仮想現実空間内において疑似の人物、楽器或は譜面等を表示した場合に適用することとしてもよい。
【０２５２】
（２）上記実施の形態においては、特定の人物そのものの音声を他の音声よりも結果的高くする例を説明したが、例えば、特定の人物が所謂メインボーカルでない場合に、メインボーカルの声と入れ替えて、あたかもメインボーカルであるかのようにしてもよい。
【０２５３】
（３）  上記実施の形態においては、ユーザ３００の視線を検出するために、ユーザ３００の眼を撮像する手法として、波長制御部材等の光学装置１１２で反射させた映像を撮像しているが、これは、光学装置１１２を通さずに直接ユーザ３００の眼を撮像してもよい。
【０２５４】
（４）上記実施の形態における視線検出に係る手法は、一例であり、上記ヘッドマウントディスプレイ１００及び視線検出装置２００による視線検出方法は、これに限られるものではない。
【０２５５】
まず、非可視光として近赤外光を照射する赤外線照射部を複数設ける例を示しているが、近赤外光をユーザ３００の眼に照射する手法はこれに限られない。例えば、ヘッドマウントディスプレイ１００のディスプレイ１０８を構成する画素について、近赤外光を発光するサブ画素を有する画素を設ける構成とし、それらの近赤外光を発光するサブ画素を選択的に発光させて、ユーザ３００の眼に近赤外光を照射することとしてもよい。また、あるいは、ディスプレイ１０８に換えて、ヘッドマウントディスプレイ１００に網膜投影ディスプレイを備えるとともに、当該網膜投影ディスプレイで表示して、ユーザ３００の網膜に投影する映像の中に、近赤外光色で発光する画素を含ませることで、近赤外光の照射を実現する構成としてもよい。ディスプレイ１０８の場合にしても、網膜投影ディスプレイの場合にしても、近赤外光を発光させるサブ画素は、定期的に変更することとしてもよい。
【０２５６】
また、視線検出のアルゴリズムも上記手法に限定されるものではなく、視線検出を実現できるのであれば、その他のアルゴリズムを用いてもよい。
【０２５７】
（５）上記実施の形態においては、ユーザ３０が所定時間以上注視した人物がいるか否かに応じて、特定の人物の音声態様を変更する例を示した。当該処理においては、更に、以下の処理を追加してもよい。すなわち、撮像部１２４を用いてユーザ３００の眼を撮像し、視線検出装置２００は、ユーザ３００の瞳孔の動き（開き具合の変化）を特定する。そして、視線検出装置２００は、その瞳孔の開き具合に応じて、ユーザ３００の感情を特定する感情特定部を備えてもよい。そして、映像生成部２１４は、感情特定部が特定した感情に応じて音声を変更することとしてもよい。より具体的には、例えば、ユーザ３００の瞳孔が大きく開いた場合には、ユーザ３００が見た人物が好みの表情や振り付けをしたと判定し、ユーザ３００がその人物に興味を引かれたと推定する。そして、音声生成部２１５は、ユーザ３００が興味を引いた表情や振り付けをした映像と同傾向の映像を表示する場合（例えば、楽曲の１回目のサビメロディに対する２回目のサビメロディ）に、特定の人物の音声の音量を他の人物の音声の音量との差が大きくなるように高くすることで、ユーザ３００の興味を引く映像を含めた強調効果を促進することができる。同様に、映像生成部２１４は、その際の映像の強調をさらに強調する（例えば、周囲のぼかしを濃くする）ように変化させることができる。
【０２５８】
（６）上記実施の形態においては、音声生成部２１５による音声態様の変更と同時に映像生成部２１４による強調等の表示態様の変更を行うとして例示したが、表示態様の変更には、例えば、注視しているアイドルに関連するグッズや他のＰＶをインターネット販売するＣＭ映像に切り替えてもよい。
【０２５９】
《その他の適用例》
本発明に係る画像提供システムは、サーバは、画像データにおいて視線の位置が所定の条件であるユーザのグループとして複数のユーザを分類する分類部をさらに備え、生成部は、分類部に分類されたグループに属するユーザ毎に画像データを生成する画像提供システムであってもよい。
【０２６０】
また、画像提供システムは、サーバは、視線で注視する位置が目的位置と異なるユーザを抽出する抽出部をさらに備え、記生成部は、抽出部に抽出されたユーザに目的位置を誘導する画像データを生成する画像提供システムであってもよい。
【０２６１】
また、画像提供システムは、リクエスト信号は、分類されたユーザのグループに関するグループ情報を含み、生成部は、グループ情報を含む画像データを生成する画像提供システムであってもよい。
【０２６２】
また、画像提供システムは、リクエスト信号は、視線を誘導する誘導情報を含み、生成部は、誘導情報を含む画像データを生成する画像提供システムであってもよい。
【０２６３】
本発明に係るサーバは、複数のヘッドマウントディスプレイシステムと接続され、画像提供システムで利用されるサーバであって、接続されるヘッドマウントディスプレイシステムに画像データを送信する第１通信制御部と、当該画像データに応じてヘッドマウントディスプレイシステムから送信されたユーザの視線に関する情報に応じた新たな画像データを生成し、第１通信制御部に出力する生成部とを備えるサーバであってもよい。
【０２６４】
本発明に係る画像提供方法は、サーバと複数のヘッドマウントディスプレイシステムとが接続される画像提供システムにおける画像提供方法であって、サーバが、接続されるヘッドマウントディスプレイシステムに画像データを送信するステップと、ヘッドマウントディスプレイシステムが、サーバから供給される画像データを表示するステップと、ヘッドマウントディスプレイシステムが、表示部に表示される画像データを視認するユーザの視線を検出するステップと、ヘッドマウントディスプレイシステムが、検出される視線に関する情報をサーバに送信するステップと、サーバが、ヘッドマウントディスプレイシステムから送信されたユーザの視線に関する情報に応じた新たな画像データを生成し、ヘッドマウントディスプレイシステムに送信するステップと、を含む画像提供方法であってもよい。
【０２６５】
本発明に係る画像提供プログラムは、サーバと複数のヘッドマウントディスプレイシステムとが接続される画像提供システムにおいて、サーバに、接続されるヘッドマウントディスプレイシステムに画像データを送信するステップと、当該画像データに応じてヘッドマウントディスプレイシステムから送信されたユーザの視線に関する情報に応じた新たな画像データを生成し、ヘッドマウントディスプレイシステムに送信するステップと、を実現させる画像提供プログラムであってもよい。
【０２６６】
本発明に係るヘッドマウントディスプレイは、画像を表示する表示部と、表示部に表示された画像を目視するユーザの視線データを検出する検出部と、検出された１以上のユーザの視線データに応じた可視化データを生成する生成部とを備えるヘッドマウントディスプレイシステムであってもよい。
【０２６７】
また、ヘッドマウントディスプレイシステムの生成部は、検出部で検出された視線データで特定されるユーザの視点の座標位置を含む可視化データを生成してもよい。
【０２６８】
また、ヘッドマウントディスプレイシステムは、検出部で検出された視線データから、表示部に表示された画像を目視するユーザの複数の視点の傾向を解析する解析部をさらに備え、生成部は、解析部の解析結果を含む可視化データを生成してもよい。
【０２６９】
また、ヘッドマウントディスプレイシステムは、検出部で検出された視線データにおいて、表示部に表示される画像中における所定の目的位置にユーザの視線がない場合、ユーザの視点を解析する解析部をさらに備え、生成部は、解析部の解析結果を含む可視化データを生成してもよい。
【０２７０】
また、ヘッドマウントディスプレイシステムは、検出部で検出された視線データにおいて、表示部に表示される画像中における所定の目的位置にユーザの視線がない場合、当該画像が表示されるまでの所定時間のユーザの視線の軌跡を解析する解析部をさらに備え、生成部は、解析部の解析結果を含む可視化データを生成してもよい。
【０２７１】
また、ヘッドマウントディスプレイシステムで、画像を表示させる画像データは、ビデオゲームの動画像データであって、ゲームの達成時間を計測するタイマをさらに備え、解析部は、タイマで計測された達成時間と、ユーザの視線とを解析してもよい。
【０２７２】
また、ヘッドマウントディスプレイシステムの解析部は、ユーザの視線データについて、達成時間で特定されるレベル毎の、ユーザの視線を解析してもよい。
【０２７３】
また、ヘッドマウントディスプレイシステムで、画像を表示させる画像データは、ユーザにより入力される操作信号に応じて表示される画像が変更されるビデオゲームの動画像データであって、解析部は、ゲーム開始時のユーザの視線を解析してもよい。
【０２７４】
また、ヘッドマウントディスプレイシステムは、ユーザが当該ゲームをプレイするトータル時間を計測するタイマをさらに備え、解析部は、タイマで計測されたトータル時間が所定範囲時間のユーザの視線を解析してもよい。
【０２７５】
また、ヘッドマウントディスプレイシステムで、画像を表示させる画像データは、ユーザにより入力される操作信号に応じて表示される画像が変更されるビデオゲームの動画像データであって、ユーザにより、ゲーム内で所定操作が実行された情報を取得する操作取得部をさらに備え、解析部は、操作取得部で所定操作の実行を取得した場合、ユーザの視線を解析してもよい。
【０２７６】
また、ヘッドマウントディスプレイシステムで、所定操作は、コンテンツを購入する操作であってもよい。
【０２７７】
また、ヘッドマウントディスプレイシステムで、画像を表示させる画像データは、動画像データであって、ユーザの属性を取得する属性取得部をさらに備え、解析部は、属性毎に、検出部で検出された視点の傾向を解析し、生成部は、解析部で解析された視点で特定されるデータを含む可視化データを生成してもよい。
【０２７８】
また、ヘッドマウントディスプレイシステムで、画像を表示させる画像データは、ユーザによって購入された画像データであって、解析部は、属性及び画像データの価格毎に、検出部で取得された視点の傾向を解析してもよい。
【０２７９】
また、ヘッドマウントディスプレイシステムの生成部は、画像に、検出部で取得されたユーザの視点の位置を追加したデータを可視化データとして生成してもよい。
【０２８０】
また、ヘッドマウントディスプレイシステムで、画像を表示させる画像データは、動画像データであって、可視化データは、画像データにおける各ユーザの視点と画像データの時間軸との関係を特定する時間軸表示部を含んでもよい。
【０２８１】
また、ヘッドマウントディスプレイシステムの生成部は、解析部で解析された結果を含む棒グラフを追加したデータを可視化データとして生成してもよい。
【０２８２】
また、ヘッドマウントディスプレイシステムは、生成された可視化データを出力する出力部をさらに備えてもよい。
【０２８３】
本発明に係るデータ表示方法は、表示部に画像を表示するステップと、表示部に表示された画像を目視するユーザの視線データを検出するステップと、検出された１以上のユーザの視線データに応じた可視化データを生成するステップとを有するデータ表示方法であってもよい。
【０２８４】
本発明に係るデータ生成プログラムは、ヘッドマウントディスプレイシステムに、表示部に画像を表示する表示機能と、表示部に表示された画像を目視するユーザの視線データを検出する検出機能と、検出された１以上のユーザの視線データに応じた可視化データを生成する生成機能とを実現させるデータ生成プログラムであってもよい。
【０２８５】
本発明に係る映像表示システムは、一人以上の人物を含む映像を出力する映像出力部と、一人以上の人物に対応した声を含む音声を出力する音声出力部と、利用者の前眼部に向けて不可視光を含む照明光を照射する照明部と、利用者の前眼部を含む前眼部像を撮像する撮像部と、眼部像を解析して利用者の視線方向を検出する視線検出部と、視線検出部で検出した利用者の視線方向に映像出力部で出力している映像中に一人以上の人物が存在している場合に、その人物を特定しかつ特定した人物に対応して前記音声出力部から出力する音声の出力状態を他の音声の出力状態と異ならせて利用者に識別可能となるように音声データを生成する音声生成部とを備える映像表示システムであってもよい。
【０２８６】
また、映像表示システムの音声生成部は、特定した人物の声の大きさをその他の音声の大きさよりも大きくすることで利用者に識別可能となるように音声データを生成してもよい。
【０２８７】
また、映像表示システムの音声生成部は、特定した人物の声の大きさを前記その他の音声の大きさよりも大きくしたうえで、付加機能を付与してもよい。
【０２８８】
また、映像表示システムは、視線検出部で検出した利用者の視線方向に前記映像出力部で出力している映像中に前記一人以上の人物が存在している場合に、その人物を特定しかつ特定した人物の少なくとも一部を含む所定エリアの映像が前記所定エリア以外の映像よりも注視し易くなるように表示態様を変更する映像生成部を有してもよい。
【０２８９】
また、映像表示システムの映像出力部は、利用者が頭部に装着するヘッドマウントディスプレイに設けられていてもよい。
【０２９０】
また、本発明に係る映像表示方法は、一人以上の人物を含む映像を出力する映像出力ステップと、一人以上の人物に対応した声を含む音声を出力する音声出力ステップと、利用者の前眼部に向けて不可視光を含む照明光を照射する照明ステップと、利用者の前眼部を含む前眼部像を撮像する撮像ステップと、前眼部像を解析して利用者の視線方向を検出する視線検出ステップと、視線検出ステップで検出した利用者の視線方向に、出力している映像中に前記一人以上の人物が存在している場合に、その人物を特定しかつ特定した人物に対応して出力する音声の出力状態を他の音声の出力状態と異ならせて利用者に識別可能となるように音声データを生成する音声生成ステップとを含む映像表示方法であってもよい。
【０２９１】
また、本発明に係る映像表示プログラムは、コンピュータに、一人以上の人物を含む映像を出力する映像出力機能と、一人以上の人物に対応した声を含む音声を出力する音声出力機能と、利用者の前眼部に向けて不可視光を含む照明光を照射する照明機能と、利用者の前眼部を含む前眼部像を撮像する撮像機能と、前眼部像を解析して利用者の視線方向を検出する視線検出機能と、視線検出機能で検出した利用者の視線方向に、出力している映像中に一人以上の人物が存在している場合に、その人物を特定しかつ特定した人物に対応して出力する音声の出力状態を他の音声の出力状態と異ならせて利用者に識別可能となるように音声データを生成する音声生成機能とを実現させる映像表示プログラムであってもよい。
【産業上の利用可能性】
【０２９２】
この発明は、ヘッドマウントディスプレイに利用可能である。
【符号の説明】
【０２９３】
I、II  画像提供システム
１、１ｂ  ヘッドマウントディスプレイシステム
１ｃ  映像表示システム
１００  ヘッドマウントディスプレイ
１１０  通信Ｉ／Ｆ
１０３  赤外光源（照明部）
１１８  第３通信制御部
１２１  表示部
１２２  赤外線照射部
１２３  画像処理部
１２４  撮像部
１３０  画像表示系（映像出力部）
１３２  音声出力部（スピーカ）
２００  視線検出装置
２０  ＣＰＵ
２０１  第２通信制御部
２０２  検出部
２０３  画像生成部
２０４  画像出力部
２０１ｂ  通信制御部
２０２ｂ  検出部
２０３ｂ  解析部
２０４ｂ  タイマ
２０６ｂ  属性取得部
２０７ｂ  生成部
２０８ｂ  出力部
２１３  視線検出部
２１４  映像生成部
２１５  音声生成部
２１  記憶装置
Ｐ２  視線検出プログラム
Ｐ３  データ生成プログラム
２２  通信Ｉ／Ｆ
２３  入力装置
２４  出力装置
４００  サーバ
４０  ＣＰＵ
４０１  第１通信制御部
４０２  生成部
４０３  分類部
４０４  抽出部
４１  記憶装置
Ｐ１  画像提供プログラム
４２  通信Ｉ／Ｆ
【図１】
2017216667.tif 000007
【図２】
2017216667.tif 000008
【図３】
2017216667.tif 000009
【図４】
2017216667.tif 000010
【図５】
2017216667.tif 000011
【図６】
2017216667.tif 000012
【図７】
2017216667.tif 000013
【図８】
2017216667.tif 000014
【図９】
2017216667.tif 000015
【図１０】
2017216667.tif 000016
【図１１】
2017216667.tif 000017
【図１２】
2017216667.tif 000018
【図１３】
2017216667.tif 000019
【図１４】
2017216667.tif 000020
【図１５】
2017216667.tif 000021
【図１６】
2017216667.tif 000022
【図１７】
2017216667.tif 000023
【図１８】
2017216667.tif 000024
【図１９】
2017216667.tif 000025
【図２０】
2017216667.tif 000026
【図２１】
2017216667.tif 000027
【図２２】
2017216667.tif 000028
【図２３】
2017216667.tif 000029
【図２４】
2017216667.tif 000030
【図２５】
2017216667.tif 000031
【図２６】
2017216667.tif 000032
【図２７】
2017216667.tif 000033