(57)【要約】ゲーム等の３次元映像の視聴を中断することなく、視聴者の視覚疲労度を正確に測定することができる視覚疲労度測定装置を提供する。３次元映像を提示する映像提示部（１２０）と、視覚疲労度を測定する検査のための時間区間を２つ以上決定する検査区間決定部（１９０）と、提示された映像に対するプレーヤー（１００）の左右の眼球運動を示すデータを取得する眼球運動取得部（２００）と、取得された眼球運動を示すデータから、検査区間決定部（１９０）で決定された２つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出部（２２０）と、抽出されたデータに基づいて、２つ以上の時間区間での眼球運動を比較する眼球運動比較部（２３０）と、比較結果からプレーヤー（１００）の視覚疲労度を判定する疲労度判定部（２４０）とを備える。
2012160741.tif 000002
【特許請求の範囲】
【請求項１】
３次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定装置であって、
前記３次元映像を構成する左目用映像と右目用映像とを前記ユーザに提示する映像提示部と、
提示された映像に対する前記ユーザの操作を受け付ける操作入力部と、
前記操作入力部が所定の操作を受け付けた場合に、記憶部から、前記映像の中の視覚対象物を特定する情報と前記視覚対象物が前記映像提示部で提示される時刻を示す情報とを含む対象物領域情報を取得し、取得した前記対象物領域情報を参照することで、前記所定の操作を受け付けた時刻に前記映像提示部で提示されていた映像の中の前記視覚対象物を前記ユーザが注視していたと判断する注視対象物特定部と、
前記記憶部から、前記映像における前記視覚対象物の奥行きを示す対象物奥行き情報を取得し、取得した前記対象物奥行き情報を参照することで、前記注視対象物特定部で特定された視覚対象物の奥行きの変化に基づいて、前記視覚疲労度を測定する検査のための時間区間を２つ以上決定する検査区間決定部と、
前記映像提示部で提示された映像に対する前記ユーザの左右の眼球運動を示すデータを取得する眼球運動取得部と、
取得された前記眼球運動を示すデータを蓄積する眼球運動蓄積部と、
前記眼球運動蓄積部に蓄積されているデータから、前記検査区間決定部で決定された２つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出部と、
前記眼球運動抽出部で抽出されたデータに基づいて、前記２つ以上の時間区間での眼球運動を比較する眼球運動比較部と、
前記眼球運動比較部での比較結果から前記ユーザの視覚疲労度を判定する疲労度判定部と
を備える視覚疲労度測定装置。
【請求項２】
前記注視対象物特定部は、前記操作入力部が前記所定の操作を受け付けた場合に、前記映像提示部で提示されていた複数の視覚対象物から１つを選択し、選択した１つの視覚対象物を前記ユーザが注視していたと判断する
請求項１記載の視覚疲労度測定装置。
【請求項３】
前記映像提示部は、前記ユーザが視覚対象物に対して照準を合わせて射撃を行うゲームを構成する左目用映像と右目用映像とを前記ユーザに提示し、
前記操作入力部は、前記ユーザが射撃を行うために照準を合わせる操作を受け付け、
前記注視対象物特定部は、前記操作入力部が受け付けた前記操作から、前記ユーザが注視している視覚対象物を特定する
請求項２記載の視覚疲労度測定装置。
【請求項４】
前記検査区間決定部は、前記注視対象物特定部で特定された視覚対象物の奥行きの変化のうち、同一の奥行きの変化をもつ異なる２つ以上の時間区間を、前記視覚疲労度を測定する検査のための時間区間として、決定する
請求項１記載の視覚疲労度測定装置。
【請求項５】
前記疲労度判定部は、前記２つの時間区間における眼球運動の差が大きいほど疲労度が大きいと判定する
請求項１記載の視覚疲労度測定装置。
【請求項６】
前記注視対象物特定部は、前記映像提示部によって同時に提示される複数の視覚対象物を前記ユーザが注視していたと判断し、
前記検査区間決定部では、前記注視対象物特定部で特定された複数の視覚対象物のうち、奥行きの変化の量が大きい視覚対象物が提示されている時間区間を前記検査のための時間区間の一部と特定する
請求項１記載の視覚疲労度測定装置。
【請求項７】
前記注視対象物特定部は、前記映像提示部によって同時に提示される複数の視覚対象物を前記ユーザが注視していたと判断し、
前記検査区間決定部は、前記複数の視覚対象物のうち、奥行き方向の変化の速度または変化の量が大きい視覚対象物が提示されている時間区間を前記検査のための時間区間として特定する
請求項１記載の視覚疲労度測定装置。
【請求項８】
前記眼球運動比較部は、眼球運動の成分のうち視覚対象物の奥行き方向の動きに追随する眼球運動の成分を比較する
請求項１記載の視覚疲労度測定装置。
【請求項９】
前記眼球運動比較部は、左目の瞳孔中心の位置と右目の瞳孔中心の位置との差について、前記比較を行う
請求項８記載の視覚疲労度測定装置。
【請求項１０】
前記注視対象物特定部はさらに、前記ユーザが前記視覚対象物を注視していた時間区間である検査可能区間を示す情報を生成し、
前記視覚疲労度測定装置は、さらに、
前記注視対象物特定部で生成された検査可能区間を示す情報を蓄積する検査可能区間蓄積部と、
前記検査可能区間蓄積部で蓄積されている検査可能区間を示す情報に基づき、視覚対象物を含む映像を生成する対象映像情報生成部とを備え、
前記映像提示部はさらに、前記対象映像情報生成部によって生成された映像を提示する
請求項１記載の視覚疲労度測定装置。
【請求項１１】
前記対象映像情報生成部は、
前記検査可能区間蓄積部で蓄積されている前記情報が示す検査可能区間における視覚対象物の奥行きの変化と同等の奥行きの変化を持つ視覚対象物を含む映像を生成する
請求項１０記載の視覚疲労度測定装置。
【請求項１２】
前記対象映像情報生成部は、
前記検査可能区間蓄積部で蓄積されている前記情報が示す検査可能区間における視覚対象物と背景映像とのコントラストと同等のコントラストを持つ映像を生成する
請求項１０記載の視覚疲労度測定装置。
【請求項１３】
前記対象映像情報生成部は、
前記検査可能区間蓄積部で蓄積されている情報が示す検査可能区間における視覚対象物と隣接する背景映像中の水平面を示す線分の量と同等の水平面を示す線分を持つ背景映像を生成する
請求項１０記載の視覚疲労度測定装置。
【請求項１４】
３次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定方法であって、
前記３次元映像を構成する左目用映像と右目用映像とを前記ユーザに提示する映像提示ステップと、
提示された映像に対する前記ユーザの操作を受け付ける操作入力ステップと、
前記映像の中の視覚対象物を特定する情報と前記視覚対象物が前記映像提示ステップで提示される時刻を示す情報とを含む対象物領域情報を記憶している対象物領域情報記憶部を参照することで、前記操作入力ステップが所定の操作を受け付けた場合に、前記所定の操作を受け付けた時刻に前記映像提示ステップで提示されていた映像の中の前記視覚対象物を前記ユーザが注視していたと判断する注視対象物特定ステップと、
前記映像における前記視覚対象物の奥行きを示す対象物奥行き情報を記憶している対象物奥行き情報記憶部を参照することで、前記注視対象物特定ステップで特定された視覚対象物の奥行きの変化に基づいて、前記視覚疲労度を測定する検査のための時間区間を２つ以上決定する検査区間決定ステップと、
前記映像提示ステップで提示された映像に対する前記ユーザの左右の眼球運動を示すデータを取得する眼球運動取得ステップと、
取得された前記眼球運動を示すデータを眼球運動蓄積部に蓄積する眼球運動蓄積ステップと、
前記眼球運動蓄積部に蓄積されているデータから、前記検査区間決定ステップで決定された２つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出ステップと、
前記眼球運動抽出ステップで抽出されたデータに基づいて、前記２つ以上の時間区間での眼球運動を比較する眼球運動比較ステップと、
前記眼球運動比較ステップでの比較結果から前記ユーザの視覚疲労度を判定する疲労度判定ステップと
を含む視覚疲労度測定方法。
【請求項１５】
３次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定装置のためのプログラムであって、
請求項１４記載の視覚疲労度測定方法に含まれるステップをコンピュータに実行させる
プログラム。
【請求項１６】
左目に提示する画像及び右目に提示する画像を含む３次元映像を視聴するための３次元メガネであって、
前記ユーザの眼球運動を計測する眼球運動取得部と、
前記眼球運動取得部から前記ユーザの眼球運動情報を受信し、前記ユーザの眼球運動情報を用いて、前記ユーザの視覚疲労度を判定する疲労度判定部と
を備えた３次元メガネ。
【請求項１７】
３次元映像を表示する画像表示装置と、前記３次元映像を視聴するための３次元メガネとを備えた視覚疲労度測定システムであって、
前記３次元メガネは、
ユーザの眼球運動を計測する眼球運動取得部と、
前記眼球運動取得部が計測した眼球運動情報を、前記３次元映像を表示する映像提示部を有する画像表示装置に送信する眼球運動情報送信部とを備え、
前記画像表示装置は、
視聴者の左目に提示する画像及び右目に提示する画像を蓄積している画像蓄積部と、
前記画像蓄積部に蓄積された前記画像を表示する映像提示部と、
前記３次元メガネから送信されてきた前記ユーザの眼球運動情報を用いて前記ユーザの視覚疲労度を判定する疲労度判定部と
を備えた視覚疲労度測定システム。
【請求項１８】
左目に提示する画像及び右目に提示する画像を含む３次元映像を視聴するための３次元メガネであって、
左目に提示する画像及び右目に提示する画像の切換に関する信号を同期受信する同期信号受信部と、
前記同期信号に基づいて、右目のシャッタと左目のシャッタによる映像の遮蔽を切り替えるシャッタ制御部と、
前記３次元メガネの眼球運動を計測する眼球運動取得部と、
前記眼球運動取得部が計測した眼球運動情報を、前記３次元映像を表示する映像提示部を有する画像表示装置に送信する眼球運動情報送信部と
を備えた３次元メガネ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゲーム等の３次元映像を視聴するプレーヤーの視覚的疲労の状態（視覚疲労度）を測定する視覚疲労度測定装置および方法に関する。
【背景技術】
【０００２】
３次元映像は、映画のみでなく、家庭用の３次元表示可能なテレビやコンピュータディスプレイの普及とともにテレビコンテンツやゲームの映像として広まりつつある。３次元映像は右目に提示する画像と左目に提示する画像との間に視差を設けることで、視聴者に奥行きがあるように錯覚させる。このような３次元映像により、奥行きをより立体的に知覚でき、より現実感を伴った迫力のある映像を楽しむことができ、特にゲームにおいては、プレーヤーはより没入して楽しむことができる。しかしながら、３次元映像はこれまでの２次元の映像より、視覚性の疲労が大きいといわれている。原因のひとつとして、３次元映像で仮想的に表示される奥行き方向の位置に視線が動き、両眼の成す角度から仮想の位置までの距離が知覚されるにも関わらず、目のピント調節は、映像に焦点を合わせるために映像が提示される画面位置に合わせる動きとなり、両眼の角度とピント調節とが矛盾することがあげられている。また、映像における極端な奥行き方向の動きやシーン転換による急な奥行きの変化は激しい眼球運動を伴い、２次元の映像とは異なる疲労を招くとされている。【０００３】
そのため、３次元映像の視聴においては、視聴後の極端な疲労を避けるため、特許文献１のように、視聴途中で検査用の映像を提示し、画面上を移動する注視点を視線が追いかける際の眼球運動を計測して、疲労を測定する方法が提案されている。【０００４】
また、特許文献２のように、視聴内容を利用して、視聴中の映像の情報を用いて視聴者の疲労を計測する方法も提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−２１８３７５号公報
【特許文献２】特許第４１２１８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、視聴者の視覚疲労度を測定するために、ゲーム等の３次元映像の視聴を中断しなければならないという課題がある。【０００７】
また、特許文献２の技術では、年齢等による視覚の機能の個人差に適応しておらず、視聴者の疲労を正確に計測することができないという課題がある。【０００８】
そこで、本発明は、このような課題を解決するためになされたものであり、ゲーム等の３次元映像の視聴を中断することなく、かつ、年齢等による視覚の機能の個人差に依存しないで、視聴者の視覚疲労度を正確に測定することができる視覚疲労度測定装置等を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る視覚疲労度測定装置の一態様は、３次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定装置であって、前記３次元映像を構成する左目用映像と右目用映像とを前記ユーザに提示する映像提示部と、提示された映像に対する前記ユーザの操作を受け付ける操作入力部と、前記操作入力部が所定の操作を受け付けた場合に、記憶部から、前記映像の中の視覚対象物を特定する情報と前記視覚対象物が前記映像提示部で提示される時刻を示す情報とを含む対象物領域情報を取得し、取得した前記対象物領域情報を参照することで、前記所定の操作を受け付けた時刻に前記映像提示部で提示されていた映像の中の前記視覚対象物を前記ユーザが注視していたと判断する注視対象物特定部と、前記記憶部から、前記映像における前記視覚対象物の奥行きを示す対象物奥行き情報を取得し、取得した前記対象物奥行き情報を参照することで、前記注視対象物特定部で特定された視覚対象物の奥行きの変化に基づいて、前記視覚疲労度を測定する検査のための時間区間を２つ以上決定する検査区間決定部と、前記映像提示部で提示された映像に対する前記ユーザの左右の眼球運動を示すデータを取得する眼球運動取得部と、取得された前記眼球運動を示すデータを蓄積する眼球運動蓄積部と、前記眼球運動蓄積部に蓄積されているデータから、前記検査区間決定部で決定された２つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出部と、前記眼球運動抽出部で抽出されたデータに基づいて、前記２つ以上の時間区間での眼球運動を比較する眼球運動比較部と、前記眼球運動比較部での比較結果から前記ユーザの視覚疲労度を判定する疲労度判定部とを備える。【００１０】
なお、本発明は、このような視覚疲労度測定装置として実現できるだけでなく、視覚疲労度測定方法として実現したり、その方法をコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記録媒体として実現したり、半導体集積回路として実現したり、視覚疲労度測定システムとして実現したり、３次元メガネとして実現したりすることもできる。
【発明の効果】
【００１１】
本発明の視覚疲労度測定装置等によれば、ゲーム等の３次元映像の視聴を中断することなく、かつ、視聴者の年齢等による視覚機能の個人差に依存しないで、３次元映像の視聴による視覚疲労度を正確に測定することができる。【００１２】
よって、テレビおよびゲーム等の３次元映像が普及してきた今日における本発明の実用的価値は極めて大きい。
【図面の簡単な説明】
【００１３】
【図１】図１は、３次元映像の視聴による視覚性の疲労と眼球運動の関係を検証する実験を説明する図である。
【図２】図２は、図１に示される実験によって得られた結果を示す図である。
【図３】図３は、本発明の実施の形態１における視覚疲労度測定装置を含むゲーム機の全体構成の一例を示すブロック図である。
【図４】図４は、図３に示される映像情報蓄積部に蓄積された映像情報の一例を示す図である。
【図５】図５は、図３に示される検査可能区間蓄積部が蓄積する検査可能区間を示す情報の一例を示す図である。
【図６】図６は、図３に示される対象物奥行き情報記憶部が記憶する対象物奥行き情報の一例を示す図である。
【図７】図７は、図３に示される対象物領域情報記憶部が記憶する対象物領域情報の一例を示す図である。
【図８】図８は、図３に示される操作履歴蓄積部が蓄積する操作履歴の一例を示す図である。
【図９】図９は、図３に示される眼球運動蓄積部が蓄積する眼球運動データの一例を示す図である。
【図１０】図１０は、本実施の形態における視覚疲労度測定装置の処理部をソフトウェアで実現する場合に用いられるハードウェア構成を示すブロック図である。
【図１１】図１１は、図３に示される注視対象物特定部の詳細な構成の一例を示すブロック図である。
【図１２】図１２は、図３に示される検査区間決定部の詳細な構成の一例を示すブロック図である。
【図１３】図１３は、図３に示される眼球運動取得部の詳細な構成の一例を示すブロック図である。
【図１４】図１４は、図３に示される眼球運動抽出部の詳細な構成の一例を示すブロック図である。
【図１５】図１５は、図３に示される眼球運動比較部の詳細な構成の一例を示すブロック図である。
【図１６】図１６は、図１５に示された右目データ蓄積部と左目データ蓄積部とに蓄積されるデータの例を示す図である。
【図１７】図１７は、映像とプレーヤーの操作とプレーヤーの眼球運動の計測結果との時間的関係を示した模式図である。
【図１８】図１８は、本発明の実施の形態１における視覚疲労度測定装置を含むゲーム機の動作の一例を示すフローチャートである。
【図１９】図１９は、本発明の実施の形態１における対象物特定ステップ（図１８のステップＳ１０７０）の詳細な処理の流れの一例を示すフローチャートである。
【図２０】図２０は、本発明の実施の形態１における対象物特定ステップの出力映像と操作入力との関係の一例を示す模式図である。
【図２１】図２１は、本発明の実施の形態１における比較可能区間抽出ステップ（図１８のステップＳ１０９０）の詳細な処理の流れの一例を示すフローチャートである。
【図２２】図２２は、仮想位置を説明する図である。
【図２３】図２３は、本発明の実施の形態１における眼球運動比較ステップ（図１８のステップＳ１１１０）の詳細な処理の流れの一例を示すフローチャートである。
【図２４】図２４は、本発明の実施の形態１における疲労度の判定方法の一例を説明するための図である。
【図２５】図２５は、図３に示される眼球運動取得部の詳細な構成の別の一例を示すブロック図である。
【図２６】図２６は、図３に示される眼球運動取得部の詳細な構成の別の一例を示すブロック図である。
【図２７】図２７は、眼球運動取得部で取得される水平方向の眼電位の一例を示したグラフである。
【図２８】図２８は、本発明の実施の形態１における視覚疲労度測定装置を含むゲーム機の別の構成の一例を示すブロック図である。
【図２９】図２９は、本発明の実施の形態１における視覚疲労度測定装置を含むゲーム機の別の構成の一例を示すブロック図である。
【図３０】図３０は、本発明の実施の形態１の変形例１における対象物特定ステップの出力映像と操作入力との関係の一例を示す模式図である。
【図３１】図３１は、本発明の実施の形態１の変形例１における視覚疲労度測定装置を含むゲーム機の動作の一例を示すフローチャートである。
【図３２】図３２は、本発明の実施の形態１の変形例１における対象物特定ステップ（図３１のステップＳ２０７０）の詳細な処理の流れの一例を示すフローチャートである。
【図３３】図３３は、本発明の実施の形態１の変形例１における検査可能区間の情報の一例を示す図である。
【図３４】図３４は、本発明の実施の形態１の変形例１における比較可能区間抽出ステップ（図３１のステップＳ２０９０）の詳細な処理の流れの一例を示すフローチャートである。
【図３５】図３５は、本発明の実施の形態１の変形例１における眼球運動比較ステップ（図３１のステップＳ２１１０）の詳細な処理の流れの一例を示すフローチャートである。
【図３６】図３６は、本発明の実施の形態１の変形例１における疲労度の判定方法の一例を説明するための図である。
【図３７】図３７は、本発明の実施の形態１の変形例２における視覚疲労度測定装置を含むゲーム機の詳細な構成（実施の形態１と相違する箇所）の一例を示すブロック図である。
【図３８】図３８は、本発明の実施の形態１の変形例２における眼球運動比較ステップ（ステップＳ３１１０）の詳細な処理の流れの一例を示すフローチャートである。
【図３９】図３９は、図３７に示される左右差データ蓄積部に蓄積された左右差データの一例を示す図である。
【図４０】図４０は、本発明の実施の形態１の変形例２における疲労度の判定方法の一例を説明するための図である。
【図４１】図４１は、本発明の実施の形態２における視覚疲労度測定装置を含むゲーム機の全体構成の一例を示すブロック図である。
【図４２】図４２は、図４１に示される検査区間決定部の詳細な構成の一例を示すブロック図である。
【図４３】図４３は、図４１に示される対象映像情報生成部の詳細な構成の一例を示すブロック図である。
【図４４】図４４は、本発明の実施の形態２における視覚疲労度測定装置を含むゲーム機の動作の一例を示すフローチャートである。
【図４５】図４５は、本発明の実施の形態２における検査用映像生成ステップ（図４４のステップＳ５０２０）の詳細な処理の流れの一例を示すフローチャートである。
【図４６Ａ】図４６Ａは、本発明の実施の形態３における視覚疲労度測定装置の全体構成の一例を示すブロック図である。
【図４６Ｂ】図４６Ｂは、視覚疲労度測定装置を構成する３次元映像ゲーム機と３Ｄメガネとの間の通信手順を示す図である。
【図４７】図４７は、図４６Ａおよび図４６Ｂにおける通信１のデータフォーマットを示す図である。
【図４８】図４８は、図４６Ａおよび図４６Ｂにおける通信２のデータフォーマットを示す図である。
【図４９】図４９は、本発明の実施の形態３の変形例における視覚疲労度測定装置の全体構成の一例を示すブロック図である。
【図５０】図５０は、図４９における通信１２および通信１４のデータフォーマットを示す図である。
【図５１】図５１は、本発明の実施の形態３における視覚疲労度測定装置の一部の構成要素を実現するコンピュータシステムの構成図である。
【発明を実施するための形態】
【００１４】
（背景技術における課題の詳細）
本発明者は、「背景技術」の欄において記載した特許文献１および特許文献２の技術に関し、以下の問題が生じることを見出した。
【００１５】
特許文献１では、３次元映像の視聴においては、視聴後の極端な疲労を避けるため、視聴途中で検査用の映像を提示し、画面上を移動する注視点を視線が追いかける際の眼球運動を計測して、疲労を測定する方法が提案されている。しかしながら、このように視聴途中で視聴内容と関係の無い検査用映像を見て検査を行うことは、映像視聴やゲームの楽しみを損なう。また、映像視聴やゲームを中断する不便のために、視聴者が検査モードを回避してしまい、視聴による疲労を検査する機会を失うことになる可能性がある。
【００１６】
そこで、特許文献２のように、視聴内容を利用して、視聴中の映像の情報を用いて視聴者の疲労を計測する方法が提案されている。特許文献２では、視聴内容である３次元映像が提示する視覚対象物の仮想位置から、その仮想位置を見るための眼球の位置や水晶体調節の状態を計算し、視聴者の目が映像を見るための眼球の状態とどの程度ずれているかによって疲労の度合いを計測する方法が提案されている。
【００１７】
しかしながら、一般に、水晶体の調節は、３次元映像視聴時には眼球の輻輳角との乖離があるとされている。水晶体は視覚対象物の仮想位置には調節されず、ピントを合わせるために、むしろ実際に映像が提示されている表示画面位置に調節されているといわれている。さらに、水晶体の調節能力は、年齢により大きく異なり、調節能力が衰えた高齢者では、疲労による調節の変化は抽出することが困難である。また、立体視の能力や立体視可能な範囲は個人差が大きいことが知られている。
【００１８】
そのため、特許文献２のように視線から求めた注視点と映像の仮想位置とのずれに基づいて疲労を判断すると、立体視可能な範囲が狭い人については、疲労していなくても疲労と判断されてしまう可能性がある。よって、特許文献２の技術では、年齢等による視覚の機能の個人差に適応しておらず、視聴者の疲労を正確に計測することができないという課題を有している。
【００１９】
（課題を解決するための態様）
そこで、本発明者らは、ゲーム等の３次元映像の視聴を中断することなく、かつ、年齢等による視覚の機能の個人差に依存しないで、視聴者の視覚疲労度を正確に測定することができる視覚疲労度測定装置等を考案した。
【００２０】
つまり、本発明に係る視覚疲労度測定装置の一態様は、３次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定装置であって、前記３次元映像を構成する左目用映像と右目用映像とを前記ユーザに提示する映像提示部と、提示された映像に対する前記ユーザの操作を受け付ける操作入力部と、前記操作入力部が所定の操作を受け付けた場合に、記憶部から、前記映像の中の視覚対象物を特定する情報と前記視覚対象物が前記映像提示部で提示される時刻を示す情報とを含む対象物領域情報を取得し、取得した前記対象物領域情報を参照することで、前記所定の操作を受け付けた時刻に前記映像提示部で提示されていた映像の中の前記視覚対象物を前記ユーザが注視していたと判断する注視対象物特定部と、前記記憶部から、前記映像における前記視覚対象物の奥行きを示す対象物奥行き情報を取得し、取得した前記対象物奥行き情報を参照することで、前記注視対象物特定部で特定された視覚対象物の奥行きの変化に基づいて、前記視覚疲労度を測定する検査のための時間区間を２つ以上決定する検査区間決定部と、前記映像提示部で提示された映像に対する前記ユーザの左右の眼球運動を示すデータを取得する眼球運動取得部と、取得された前記眼球運動を示すデータを蓄積する眼球運動蓄積部と、前記眼球運動蓄積部に蓄積されているデータから、前記検査区間決定部で決定された２つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出部と、前記眼球運動抽出部で抽出されたデータに基づいて、前記２つ以上の時間区間での眼球運動を比較する眼球運動比較部と、前記眼球運動比較部での比較結果から前記ユーザの視覚疲労度を判定する疲労度判定部とを備える。
【００２１】
これにより、３次元映像の視聴中における眼球運動に基づいて視覚疲労度が測定されるので、ゲーム等の３次元映像の視聴を中断することなく視覚疲労度が測定される。また、２つ以上の検査区間における眼球運動を比較する相対評価によって視覚疲労度が測定されるので、視聴者の年齢等による視覚機能の個人差に依存しにくい正確な視覚疲労度が測定される。
【００２２】
つまり、３次元映像の視聴中における眼球運動に基づいて視覚疲労度が測定されるとともに、２つ以上の検査区間における眼球運動を比較する相対評価によって視覚疲労度が測定されるので、ゲーム等の３次元映像の視聴中における立体視に伴う眼球運動の相対的変化を観察して、ユーザの疲労度合いを計測することができ、ゲーム等の３次元映像の視聴とは関係の無いキャリブレーションやゲーム等の３次元映像の視聴の中断を行うことなくユーザの疲労を正確に計測することができる。
【００２３】
ここで、前記注視対象物特定部は、前記操作入力部が前記所定の操作を受け付けた場合に、前記映像提示部で提示されていた複数の視覚対象物から１つを選択し、選択した１つの視覚対象物を前記ユーザが注視していたと判断してもよい。これにより、複数の視覚対象物からユーザが注視していた視覚対象物を適切に選択することができるので、３次元映像の視聴中における眼球運動の相対比較を正確に行うことができ、ゲームの内容を利用して精度よく疲労度の計測をすることができる。
【００２４】
なお、前記映像提示部は、前記ユーザが視覚対象物に対して照準を合わせて射撃を行うゲームを構成する左目用映像と右目用映像とを前記ユーザに提示し、前記操作入力部は、前記ユーザが射撃を行うために照準を合わせる操作を受け付け、前記注視対象物特定部は、前記操作入力部が受け付けた前記操作から、前記ユーザが注視している視覚対象物を特定するのが好ましい。これにより、ユーザが射撃を行うために照準を合わせる操作に基づいて、ユーザが注視している視覚対象物が特定されるので、より確実に、ユーザが注視している視覚対象物を利用した正確な視覚疲労度が測定される。
【００２５】
また、前記検査区間決定部は、前記注視対象物特定部で特定された視覚対象物の奥行きの変化のうち、同一の奥行きの変化をもつ異なる２つ以上の時間区間を、前記視覚疲労度を測定する検査のための時間区間として、決定するのが好ましい。これにより、同一の奥行きの変化をもつ異なる２つ以上の時間区間が視覚疲労度を測定する検査のための時間区間として決定されるので、映像の違いによる測定誤差の発生が回避される。
【００２６】
また、前記疲労度判定部は、前記２つの時間区間における眼球運動の差が大きいほど疲労度が大きいと判定するのが好ましい。これにより、２つの時間区間における眼球運動の差が大きいほど疲労度が大きいと判定されるので、同一ユーザの異なる時間における相対比較により、視覚疲労度が正確に判定される。
【００２７】
また、前記注視対象物特定部は、前記映像提示部によって同時に提示される複数の視覚対象物を前記ユーザが注視していたと判断し、前記検査区間決定部では、前記注視対象物特定部で特定された複数の視覚対象物のうち、奥行きの変化の量が大きい視覚対象物が提示されている時間区間を前記検査のための時間区間の一部と特定してもよい。これにより、注視対象物特定部で特定された複数の視覚対象物のうち、奥行きの変化の量が大きい視覚対象物が提示されている時間区間が検査のための時間区間の一部と特定されるので、２つの時間区間における眼球運動の差が検出され易くなり、正確に視覚疲労度が測定される。
【００２８】
また、前記注視対象物特定部は、前記映像提示部によって同時に提示される複数の視覚対象物を前記ユーザが注視していたと判断し、前記検査区間決定部は、前記複数の視覚対象物のうち、奥行き方向の変化の速度または変化の量が大きい視覚対象物が提示されている時間区間を前記検査のための時間区間として特定してもよい。これにより、奥行き方向の変化の速度または変化の量が大きい視覚対象物が提示されている時間区間が検査のための時間区間として特定されるので、より疲労が現れやすい状況で疲労度を計測することができ、疲労度が少ない状態から精度よく計測することができる。
【００２９】
また、前記眼球運動比較部は、眼球運動の成分のうち視覚対象物の奥行き方向の動きに追随する眼球運動の成分を比較してもよい。これにより、眼球運動の成分のうち視覚対象物の奥行き方向の動きに追随する眼球運動の成分が比較されるので、特に立体視による疲労を精度よく計測することができる。
【００３０】
また、前記眼球運動比較部は、左目の瞳孔中心の位置と右目の瞳孔中心の位置との差について、前記比較を行ってもよい。これにより、左目の瞳孔中心の位置と右目の瞳孔中心の位置との差に基づいて眼球運動が比較されるので、両目を用いた正確な視覚疲労度が測定される。
【００３１】
また、前記注視対象物特定部はさらに、前記ユーザが前記視覚対象物を注視していた時間区間である検査可能区間を示す情報を生成し、前記視覚疲労度測定装置は、さらに、前記注視対象物特定部で生成された検査可能区間を示す情報を蓄積する検査可能区間蓄積部と、前記検査可能区間蓄積部で蓄積されている検査可能区間を示す情報に基づき、視覚対象物を含む映像を生成する対象映像情報生成部とを備え、前記映像提示部はさらに、前記対象映像情報生成部によって生成された映像を提示してもよい。これにより、検査可能区間蓄積部で蓄積されている検査可能区間を示す情報に基づいて視覚対象物を含む映像が生成され提示されるので、ゲーム等の３次元映像の視聴中に検査用の映像を自然に挿入することができ、検査の機会を失うことで、疲労を蓄積することを防止できる。
【００３２】
また、前記対象映像情報生成部は、前記検査可能区間蓄積部で蓄積されている前記情報が示す検査可能区間における視覚対象物の奥行きの変化と同等の奥行きの変化を持つ視覚対象物を含む映像を生成してもよい。これにより、検査可能区間蓄積部で蓄積されている情報が示す検査可能区間における視覚対象物の奥行きの変化と同等の奥行きの変化を持つ視覚対象物を含む映像が生成されるので、立体視の条件がそろった検査用映像を生成することができ、精度の高い疲労度の計測ができる。
【００３３】
また、前記対象映像情報生成部は、前記検査可能区間蓄積部で蓄積されている前記情報が示す検査可能区間における視覚対象物と背景映像とのコントラストと同等のコントラストを持つ映像を生成してもよい。これにより、検査可能区間蓄積部で蓄積されている前記情報が示す検査可能区間における視覚対象物と背景映像とのコントラストと同等のコントラストを持つ映像が生成されるので、立体視の行いやすさの条件がそろった検査用映像を生成することができ、制度の高い疲労度の計測ができる。
【００３４】
また、前記対象映像情報生成部は、前記検査可能区間蓄積部で蓄積されている情報が示す検査可能区間における視覚対象物と隣接する背景映像中の水平面を示す線分の量と同等の水平面を示す線分を持つ背景映像を生成してもよい。これにより、検査可能区間蓄積部で蓄積されている情報が示す検査可能区間における視覚対象物と隣接する背景映像中の水平面を示す線分の量と同等の水平面を示す線分を持つ背景映像が生成されるので、立体視の行いやすさの条件がそろった検査用映像を生成することができ、制度の高い疲労度の計測ができる。
【００３５】
なお、本発明は、左目に提示する画像及び右目に提示する画像を含む３次元映像を視聴するための３次元メガネであって、前記ユーザの眼球運動を計測する眼球運動取得部と、前記眼球運動取得部から前記ユーザの眼球運動情報を受信し、前記ユーザの眼球運動情報を用いて、前記ユーザの視覚疲労度を判定する疲労度判定部とを備えた３次元メガネとして実現してもよい。
【００３６】
同様に、本発明は、３次元映像を表示する画像表示装置と、前記３次元映像を視聴するための３次元メガネとを備えた視覚疲労度測定システムであって、前記３次元メガネは、ユーザの眼球運動を計測する眼球運動取得部と、前記眼球運動取得部が計測した眼球運動情報を、前記３次元映像を表示する映像提示部を有する画像表示装置に送信する眼球運動情報送信部とを備え、前記画像表示装置は、視聴者の左目に提示する画像及び右目に提示する画像を蓄積している画像蓄積部と、前記画像蓄積部に蓄積された前記画像を表示する映像提示部と、前記３次元メガネから送信されてきた前記ユーザの眼球運動情報を用いて前記ユーザの視覚疲労度を判定する疲労度判定部と備えた視覚疲労度測定システムとして実現してもよい。
【００３７】
さらに、本発明は、左目に提示する画像及び右目に提示する画像を含む３次元映像を視聴するための３次元メガネであって、左目に提示する画像及び右目に提示する画像の切換に関する信号を同期受信する同期信号受信部と、前記同期信号に基づいて、右目のシャッタと左目のシャッタによる映像の遮蔽を切り替えるシャッタ制御部と、前記３次元メガネの眼球運動を計測する眼球運動取得部と、前記眼球運動取得部が計測した眼球運動情報を、前記３次元映像を表示する映像提示部を有する画像表示装置に送信する眼球運動情報送信部とを備えた３次元メガネとして実現してもよい。
【００３８】
以下、図面を用いて、本発明に係る視覚疲労度測定装置およびその方法の実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成する任意の構成要素として説明される。
【００３９】
（本発明者らが得た知見）
まず、本発明の実施の形態を具体的に説明する前に、本願発明者らが発見した、視覚性の疲労と立体視特有の眼球運動との関係を説明する。
【００４０】
本願発明者らは、視覚対象物の仮想位置の奥行きが大きく変動して、視覚性の疲労を起こした際の眼球運動を記録し、視覚性の疲労が眼球運動から計測可能であることを実験により発見した。
【００４１】
図１は、３次元映像の視聴による視覚性の疲労と眼球運動の関係を検証するための実験を説明する図である。この実験では、ディスプレイ９０４に表示された実験用の３次元映像を視聴している被験者の眼球を、映像の視聴を妨げることなく、ハーフミラー９０１を用いて赤外線カメラ９０２にて被験者の眼球画像を取得し、その画像より、瞳孔中心を求めて瞳孔中心の水平方向位置を求めた。図１は実験に用いたハーフミラー９０１、赤外線カメラ９０２、立体視用液晶シャッタ９０３およびディスプレイ９０４の配置を模式的に示したものである。被験者の目から約４ｃｍ離れた位置で、被験者の目の上方に被験者の目を撮像する赤外線カメラ９０２を設置し、被験者の目の正面で、赤外線カメラ９０２の直下に、被験者の目の画像を写すためのハーフミラー９０１を設置した。立体視用液晶シャッタ９０３は被験者の目から約７ｃｍはなれた位置に設置した。被験者の目からディスプレイ９０４までの距離は９０ｃｍとした。被験者は近視以外に眼科的疾患のない成人で、実験時には必要に応じて近視用のコンタクトレンズを使用した。実験用の３次元映像は、図示された仮想位置を被験者の目から９０ｃｍすなわちディスプレイ９０４上と被験者の目から３０ｃｍの位置とに設定した単純な幾何学図形（図示された「＋」）を３から５秒ごとに交互に表示するもので、この奥行き差の変動（つまり、６０ｃｍの奥行き変動）は通常の３Ｄ映画やゲームの映像コンテンツに比べて非常に負荷の高い条件である。
【００４２】
図２の（ａ）〜（ｃ）は、図１に示される実験によって得られた結果の一例を示すグラフである。ここでは、４０代女性被験者が実験用の３次元映像を視聴している最中の瞳孔中心の水平方向位置を示したものである。図２の（ａ）は被験者が視聴を開始した直後、２０秒後から５０秒間の疲労のない状態での瞳孔中心の位置を示し、図２の（ｂ）は視聴開始後４００秒経過し、疲労を感じ始めたころの５０秒間の瞳孔中心の位置を示す。図２の（ｃ）は視聴開始後６５０秒が経過し、疲労により立体視が困難な状態での５０秒間の瞳孔中心の位置を示している。図２の（ｄ）は眼球の運動方向を示すための目と鼻の位置関係を示した模式図である。向かって左側がプレーヤーの右目、向かって右側がプレーヤーの左目である。図２の（ｄ）において、ａは左目の目尻、ｂは左目の目頭、ｃは右目の目頭、ｄは右目の目尻を示す。図２の（ａ）、（ｂ）、（ｃ）それぞれのグラフは、実線が被験者の左目の位置で、上向きが被験者の左側すなわち左目の目じり側（図２の（ｄ）のａ側）を示し、下向きが左目の目頭側（図２の（ｄ）のｂ側）を示している。点線は被験者の右目で、上向きが被験者の左側すなわち右目の目頭側（図２の（ｄ）のｃ側）を示し、下向きが右目の目じり側（図２の（ｄ）のｄ側）を示している。図２の（ａ）中の左に、輻輳時の眼球と視覚対象物の関係を模式的に示し、図２の（ａ）中の右に、開散時の眼球と視覚対象物の関係を模式的に示す。視覚対象物の仮想位置の奥行きが小さく、つまり、被験者に近づいて見えるときには、被験者の目は輻輳し、瞳孔中心は目頭側へ寄る。図２の（ａ）〜（ｃ）のグラフでは、右目のグラフ（点線）と左目のグラフ（実線）が近づくことになる。視覚対象物の仮想位置の奥行きが大きく、つまり、被験者から遠い位置に見えるときには、被験者の目は開散し、瞳孔位置は眼球の正面に近づく。瞳孔位置が眼球正面になる場合は、左右の眼球の視線は交わることなく平行に無限遠を見ている状態となる。図２の（ａ）より、視聴開始直後の疲労がない間では視覚対象物が一定の奥行きへ移動するたびに、一定の位置へ眼球が正確に動いている（奥行きの移動に追随している）ことがわかる。図２の（ｂ）より、グラフが矩形から少し崩れた形状になっていることから分かるように、視聴を続けて被験者が視覚性の疲労を感じている段階では一定の奥行きへ移動する視覚対象物に対して正確に追随できなくなることがわかる。眼球が一定の位置にとどまっていなかったり、奥行きに対応する位置まで眼球が動かなかったりする。さらに図２の（ｃ）より、グラフが矩形から更に崩れた形状になっていることから分かるように、視覚性疲労のために奥行きの小さい、近接位置での立体視ができなくなると、奥行き３０ｃｍへの輻輳運動が見られなくなる。このように映像視聴中の眼球運動を経時的に比較することで、３次元視聴中の視聴者の視覚性の疲労度を観察することができる。
【００４３】
（実施の形態１）
図３は、本実施形態による視覚疲労度測定装置１の構成図である。
【００４４】
視覚疲労度測定装置１は、図１および図２で説明した実験結果を利用して、３次元映像を視聴しているユーザの視覚疲労度を測定する装置であり、映像情報蓄積部１１０、対象物奥行き情報記憶部１８０および対象物領域情報記憶部１３０から構成される記憶部１０と、注視対象物特定部１６０と、検査可能区間蓄積部１７０と、検査区間決定部１９０と、映像提示部１２０と、操作入力部１４０と、操作履歴蓄積部１５０と、眼球運動取得部２００と、眼球運動蓄積部２１０と、眼球運動抽出部２２０と、出力部２５０と、疲労度判定部２４０と、眼球運動比較部２３０とを備える。
【００４５】
映像情報蓄積部１１０は、左目用映像と右目用映像から構成される３次元映像用の映像情報を蓄積しているハードディスク等であり、ここでは、ゲームをプレーするプレーヤー（ユーザ）１００に提示する３次元映像情報を蓄積している。
【００４６】
映像提示部１２０は、プレーヤー１００に、映像情報蓄積部１１０に蓄積されている映像情報に基づいて３次元映像（左目用映像および右目用映像）を提示するディスプレイ装置等である。
【００４７】
対象物領域情報記憶部１３０は、映像情報蓄積部１１０に蓄積されている映像情報が示す３次元映像の中の視覚対象物を特定する情報とその視覚対象物が映像提示部１２０で提示される時刻を示す情報とを含む対象物領域情報を記憶しているハードディスク等であり、ここでは、映像情報蓄積部１１０が蓄積する映像情報に含まれる視覚対象物について、映像内での時間位置の情報と画面上の領域の情報とを記憶している。
【００４８】
操作入力部１４０は、提示された３次元映像に対するプレーヤー１００の操作を受け付ける入力用コントローラ等であり、ここでは、プレーヤー１００が、提示された３次元映像に対して行う操作を入力するための機器である。
【００４９】
操作履歴蓄積部１５０は、操作入力部１４０により取得された操作入力の履歴を示す情報（操作履歴）を蓄積しているハードディスク等である。
【００５０】
注視対象物特定部１６０は、操作入力部１４０が所定の操作を受け付けた場合に、対象物領域情報記憶部１３０に記憶されている対象物領域情報を参照することで、その所定の操作を受け付けた時刻に映像提示部１２０で提示されていた映像の中の視覚対象物をプレーヤー１００が注視していたと判断する処理部であり、ここでは、操作履歴蓄積部１５０に蓄積されたプレーヤー１００の一連の操作入力の情報（操作履歴）と、対象物領域情報記憶部１３０に記憶された視覚対象物の時間および領域の情報（対象物領域情報）とから、操作入力時にプレーヤー１００が注視していた映像内の視覚対象物を特定する。そのために、この注視対象物特定部１６０は、プレーヤー１００が視覚対象物を注視していた時間区間である検査可能区間を示す情報を生成する。
【００５１】
検査可能区間蓄積部１７０は、注視対象物特定部１６０で特定された映像内の視覚対象物とプレーヤー１００が注視していた時間区間（検査可能区間）とを示す情報を蓄積するハードディスク等である。
【００５２】
対象物奥行き情報記憶部１８０は、映像情報蓄積部１１０に蓄積されている映像情報が示す３次元映像内の視覚対象物の奥行きを示す奥行き情報を記憶しているハードディスク等である。
【００５３】
検査区間決定部１９０は、対象物奥行き情報記憶部１８０に記憶されている対象物奥行き情報を参照することで、注視対象物特定部１６０で特定された視覚対象物の奥行きの変化に基づいて、視覚疲労度を測定する検査のための時間区間（検査区間）を２つ以上決定する処理部であり、ここでは、検査可能区間蓄積部１７０に記憶された視覚対象物を特定する情報と対象物奥行き情報記憶部１８０に記憶された視覚対象物の奥行き情報とから、眼球運動による視覚性の疲労の計測に用いる眼球運動データの時間区間（検査区間）を決定する。より詳しくは、この検査区間決定部１９０は、注視対象物特定部１６０で特定された視覚対象物の奥行きの変化のうち、同一の奥行きの変化をもつ異なる２つ以上の時間区間を、検査区間として、決定する。
【００５４】
眼球運動取得部２００は、映像提示部１２０で提示された映像に対するプレーヤー１００の左右の眼球の運動（眼球運動）を示すデータを取得する処理部であり、ここでは、プレーヤー１００のゲームプレー中における眼球運動を取得する。
【００５５】
眼球運動蓄積部２１０は、眼球運動取得部２００で取得したプレーヤー１００の眼球運動を示すデータ（眼球運動データ）を蓄積するハードディスク等である。
【００５６】
眼球運動抽出部２２０は、眼球運動蓄積部２１０に蓄積されているデータから、検査区間決定部１９０で決定された２つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する処理部であり、ここでは、検査区間決定部１９０から出力された視覚性疲労の計測に用いる眼球運動データの時間区間に基づき眼球運動蓄積部２１０から当該区間の眼球運動を示すデータを抽出する。
【００５７】
眼球運動比較部２３０は、眼球運動抽出部２２０で抽出されたデータに基づいて、２つ以上の時間区間での眼球運動を比較する処理部であり、ここでは、眼球運動抽出部２２０で抽出した複数区間の眼球運動を比較する。
【００５８】
疲労度判定部２４０は、眼球運動比較部２３０での比較結果からプレーヤー１００の視覚疲労度を判定する処理部であり、ここでは、眼球運動比較部２３０から出力された、複数区間の眼球運動を比較した結果に基づいて、現在のプレーヤー１００の視覚性疲労を判定する。より詳しくは、この疲労度判定部２４０は、２つの検査区間における眼球運動の差が大きいほど疲労度が大きいと判定する。
【００５９】
出力部２５０は、疲労度判定部２４０で判定された視覚疲労度を出力するディスプレイ装置または音声出力装置等であり、ここでは、疲労度判定部２４０で判定されたプレーヤー１００の視覚性疲労の状態をプレーヤー１００に出力する。
【００６０】
なお、映像情報蓄積部１１０、対象物領域情報記憶部１３０、操作履歴蓄積部１５０、検査可能区間蓄積部１７０、対象物奥行き情報記憶部１８０、眼球運動蓄積部２１０は、１つ以上のメモリ等の記憶媒体（例えば、上述したハードディスク等の不揮発性記憶装置）で実現される。また、出力部２５０は、例えば、ランプ等によるインジケータや警告音を出力するスピーカ等や、映像提示部１２０に提示する警告メッセージを生成する信号生成部である。
【００６１】
また、図３において点線枠で示された構成要素（映像情報蓄積部１１０、対象物領域情報記憶部１３０、対象物奥行き情報記憶部１８０、操作履歴蓄積部１５０、検査可能区間蓄積部１７０、出力部２５０）は、本発明の目的を達成する観点からは、必ずしも視覚疲労度測定装置１が備える必要はない。映像情報蓄積部１１０、対象物領域情報記憶部１３０、対象物奥行き情報記憶部１８０については、視覚疲労度測定装置１が電話回線やインターネット等を介して外部から映像情報、対象物領域情報、および、対象物奥行き情報を取得することができればよいので、必ずしも必要な構成要素ではない。同様に、操作履歴蓄積部１５０については、注視対象物特定部１６０が操作入力部１４０からの出力を受け取り、視覚対象物をプレーヤー１００が注視しているか否かをリアルタイムに判断していくことでプレーヤー１００の注視を判断できるので、操作履歴蓄積部１５０は必ずしも必要な構成要素ではない。同様に、検査可能区間蓄積部１７０については、検査区間決定部１９０が注視対象物特定部１６０からの出力を受け取り、検査区間として採用できるか否かをリアルタイムに判断していくことで検査区間が決定されるので、検査可能区間蓄積部１７０は必ずしも必要な構成要素ではない。同様に、出力部２５０については、疲労度判定部２４０によってプレーヤー１００の疲労度が正確に判定され、本願発明の目的が達成されるので、出力部２５０は必ずしも必要な構成要素ではない。以上のことは、後述する実施の形態および変形例（図４１、図４３、図４６Ａ、図４９）についても同様である。
【００６２】
図４は映像情報蓄積部１１０に蓄積された映像情報１１０ａの例を示す図である。映像情報蓄積部１１０は、本図に示されるように、映像情報１１０ａとして、例えば、映像の開始時間を起点とした時間情報と、その時間に対応する画像情報と、その画像が左右どちらの目に提示されるべき画像であるかを示す情報とを蓄積する。
【００６３】
図５は、検査可能区間蓄積部１７０が蓄積するデータ１７０ａ、つまり、検査可能区間を示す情報の一例を示す図である。本図に示されるように、このデータ１７０ａには、例えば、視覚対象物を特定する対象物ＩＤと、プレーヤー１００が照準を合わせていた、すなわち、その対象物を注視していた時間区間と、プレーヤー１００が照準を合わせていた区間の照準位置の軌道とが含まれている。
【００６４】
図６は対象物奥行き情報記憶部１８０が記憶する対象物奥行き情報１８０ａの一例を示す図である。本図に示されるように、この対象物奥行き情報１８０ａには、例えば、ある時間に画面に表示されていた対象物ＩＤと対象物の３次元での仮想位置とが含まれている。
【００６５】
図７は、対象物領域情報記憶部１３０が記憶する対象物領域情報１３０ａの一例を示す図である。本図に示されるように、この対象物領域情報１３０ａには、例えば、映像の開始時間を起点とした時間情報と、その時間の画像に含まれる対象物のＩＤと、右目用画面におけるその対象物の中心座標と、左目用画面におけるその対象物の中心座標と、右目用画面におけるその対象物の境界線の座標列と、左目用画面におけるその対象物の境界線の座標列とが含まれている。
【００６６】
図８は、操作履歴蓄積部１５０が蓄積するデータ（操作履歴１５０ａ）の一例を示す図である。本図に示されるように、この操作履歴１５０ａには、例えば、映像の開始時間を起点とした時間情報と、その時間のプレーヤー１００の操作内容と、その時間の照準位置等の操作対象の画面上の位置とが含まれている。
【００６７】
図９は、眼球運動蓄積部２１０が蓄積するデータ（眼球運動データ２１０ａ）の一例を示す図である。本図に示されるように、この眼球運動データ２１０ａには、例えば、映像の開始時間を起点とした時間情報と、左右の眼球の瞳孔中心の座標とが含まれている。
【００６８】
注視対象物特定部１６０、検査区間決定部１９０、眼球運動抽出部２２０、眼球運動比較部２３０、疲労度判定部２４０等の処理部は１つ以上のＣＰＵと１つ以上のメモリとによって実現されてもよい。つまり、これらの処理部は、専用の電子回路（半導体集積回路）等のハードウェアで実現されてもよいし、ＣＰＵによって実行されるプログラム等のソフトウェアで実現されてもよい。
【００６９】
図１０は、本実施の形態における視覚疲労度測定装置１の処理部をソフトウェアで実現する場合に用いられるハードウェア構成を示すブロック図である。本実施の形態における視覚疲労度測定装置１の処理部をソフトウェアで実現する場合には、図１０に示されるように、キーボード、マウス等の入力部１１、ハードディスク等の記憶部１２と、ディスプレイ装置等の出力部１３、ＣＰＵ１４、ＲＯＭ１５、ＲＡＭ１６、および、外部機器との間で信号の入出力をする入出力Ｉ／Ｆ１７で構成されるコンピュータ２０と、図１、後述する図１３、または、図２５に示されるような眼球運動取得機能を有する３Ｄメガネ１８とによって本実施の形態における視覚疲労度測定装置１を実現することができる。つまり、図３における操作入力部１４０は主にコンピュータ２０が備える入力部１１で実現され、図３における映像提示部１２０および出力部２５０は主にコンピュータ２０が備える出力部１３で実現され、図３における操作入力部１４０は主に３Ｄメガネ１８およびコンピュータ２０が備える入出力Ｉ／Ｆ１７で実現され、図３における記憶部１０は主にコンピュータ２０が備える記憶部１２で実現され、他の処理部（注視対象物特定部１６０、検査区間決定部１９０、眼球運動抽出部２２０、眼球運動比較部２３０、疲労度判定部２４０）は、コンピュータ２０が備えるＲＯＭ１５または記憶部１２に格納されたプログラムに従ってＲＡＭ１６を一時的な記憶エリアとして利用しながらＣＰＵ１４が実行することによって実現される。
【００７０】
図１１は、本実施の形態による注視対象物特定部１６０の詳細な構成を示す。
【００７１】
本実施の形態ではゲームの一例として射撃のシーンを含むゲームを例に視覚疲労度測定装置１を説明する。注視対象物特定部１６０は、図１１に示されるように、操作履歴蓄積部１５０に蓄積された一連の操作入力（操作履歴１５０ａ）より射撃情報を取得する射撃情報取得部１６１と、射撃情報取得部１６１で取得された射撃情報のうち、射撃の時間区間情報を取得する時間区間情報取得部１６２と、時間区間情報取得部１６２から出力される時間区間にしたがって対象物領域情報記憶部１３０から視覚対象物の領域情報（対象物領域情報１３０ａ）を抽出する領域情報取得部１６３と、射撃情報取得部１６１で取得された射撃情報からプレーヤー１００が射撃操作を行った際の照準位置を示す情報を生成する照準位置生成部１６４と、照準位置生成部１６４から出力された照準位置を示す情報と領域情報取得部１６３により抽出された視覚対象物の領域情報とからプレーヤー１００が照準を定めた視覚対象物を特定する対象物特定部１６５と、対象物特定部１６５が特定した視覚対象物とその視覚対象物にプレーヤー１００が照準を合わせていた時間区間を検査可能区間として決定する検査可能区間決定部１６６とから成る。検査可能区間決定部１６６は、検査可能区間蓄積部１７０に、検査可能区間に対応する時間区間と、プレーヤー１００が照準を合わせていた対象物の対象物ＩＤ、照準位置軌道を示す情報を、検査可能区間を示すデータ１７０ａとして、出力する。
【００７２】
図１２は、図３に示される検査区間決定部１９０の詳細な構成を示す。
【００７３】
検査区間決定部１９０は、検査可能区間蓄積部１７０に記憶されたデータ１７０ａが示す検査可能区間のうち最新の検査可能区間におけるプレーヤー１００が注視していた視覚対象物を特定する情報（ＩＤ）と、注視していた時間区間を示す情報とを取得するＩＤ・時間区間取得部１９１と、ＩＤ・時間区間取得部１９１が取得した視覚対象物のＩＤとその時間区間を示す情報に従って、対象物奥行き情報記憶部１８０からプレーヤー１００が注視していた視覚対象物の３次元での仮想位置の軌道を示す情報（対象物奥行き情報１８０ａ）を取得する３次元軌道取得部１９２と、３次元軌道取得部１９２で取得された情報が示す最新の検査可能区間の視覚対象物の軌道と同一の軌道を持つ検査可能な視覚対象物を特定する情報を対象物奥行き情報記憶部１８０と検査可能区間蓄積部１７０とから抽出する同一軌道検索部１９３と、同一軌道検索部１９３で抽出された情報が示す同一の軌道を持つ検査可能な複数個の区間のうち眼球運動の比較に用いる区間（比較区間）を、検査区間として、決定する比較区間決定部１９４とからなる。
【００７４】
図１３は、図３に示される眼球運動取得部２００の詳細な構成を示す。
【００７５】
眼球運動取得部２００は、プレーヤー１００の左右の眼球の画像を取得するカメラ２０１と、カメラ２０１で取得した画像を蓄積する画像蓄積部２０２と、画像蓄積部２０２に蓄積された眼球の画像を処理して左右眼球の瞳孔中心位置を計算する画像処理部２０３とから成る。なお、この図１３には一方の目のみを模式的に示したが、カメラ２０１は左右おのおのの目に１つずつ設置し、右目画像と左目画像とを記録するものとしてもよいし、単一のカメラで左右両眼の画像を記録し、おのおのの眼球画像を画像処理部２０３で分割して処理するものとしても良い。カメラ２０１は立体視用のシャッタめがねのフレームに設置されていてもよいし、表示画面のフレーム等に設置されていても良い。
【００７６】
図１４は、図３に示される眼球運動抽出部２２０の詳細な構成を示す。
【００７７】
眼球運動抽出部２２０は、検査区間決定部１９０から出力される複数の検査用の時間区間（検査区間）の情報を取得する時間区間取得部２２１と、眼球運動蓄積部２１０に蓄積された眼球運動データ２１０ａから時間区間取得部２２１で取得した時間区間の情報に基づいて眼球運動データを抽出するデータ抽出部２２２とから成る。
【００７８】
図１５は、図３に示される眼球運動比較部２３０の詳細な構成を示す。
【００７９】
眼球運動比較部２３０は、眼球運動抽出部２２０で取得された検査のための時間区間に対応する眼球運動データを取得して、左右の眼球情報に分割するデータ分割部２３１と、データ分割部２３１での分割によって得られた右目の眼球運動データを蓄積する右目データ蓄積部２３２と、データ分割部２３１での分割によって得られた左目の眼球運動データを蓄積する左目データ蓄積部２３３と、右目データ蓄積部２３２に蓄積された眼球運動データに基づいて眼球運動を検査区間同士で比較する右目データ比較部２３４と左目データ蓄積部２３３に蓄積された眼球運動データに基づいて眼球運動を検査区間同士で比較する左目データ比較部２３５とから成る。
【００８０】
図１６は、図１５に示された右目データ蓄積部２３２と左目データ蓄積部２３３とに蓄積されるデータの例を示す図である。図１６の（ａ）は、眼球運動抽出部２２０（より詳しくは、データ抽出部２２２）で抽出された眼球運動データの一例を示し、ここでは、検査のための時間区間に基づいて眼球運動蓄積部２１０から抽出した、時間区間開始から終了までの、ゲーム開始からの経過時間と各時間に対応する両目の瞳孔中心座標を示している。データ分割部２３１は、このような眼球運動データを、左右のそれぞれの目のデータに分割する。右目データ蓄積部２３２は経過時間と右目のデータのみ、左目データ蓄積部２３３は経過時間と左目データのみに、それぞれ、分割して蓄積する。瞳孔中心の座標は眼球運動蓄積部２１０に蓄積された眼球運動データ２１０ａと同様にピクセル単位で表現されている。このような眼球運動データは、決定された時間区間の数だけ、右目データ蓄積部２３２および左目データ蓄積部２３３に蓄積される。
【００８１】
図１７は、映像（プレーヤーに提示される３次元映像）とプレーヤー１００の操作とプレーヤー１００の眼球運動の計測結果との時間的関係を示した模式図である。最上段にゲーム開始時からの経過時間を示し、次に経過時間に対応する画像（図中の「映像」）を示し、その下に、経過時間に対応するプレーヤー１００の操作を示す。ここでは、操作の例として、射撃における照準の移動を下向き矢印で示し、移動結果の座標を示している。さらに、操作として射撃の実行を下向き三角で示す。最下段には眼球運動を瞳孔中心の水平位置と垂直位置として示す。水平位置については図２と同様横軸を時間とし、縦軸を眼球画像の座標のうち水平軸上の位置とする。垂直位置についても水平位置と同様に横軸を時間とし、縦軸を眼球画像の座標のうち垂直軸上の位置とする。
【００８２】
この図１７では、以下の履歴が示されている。つまり、ゲーム開始後２分で、映像Ａが表示され、その際にプレーヤー１００は照準を視覚対象物にあわせ、連続で射撃を行った。ゲーム開始後７分では映像Ｂが表示され、プレーヤー１００は照準を視覚対象物のうち最も奥行きの小さい視覚対象物にあわせ、何度か照準の合わせなおしをして射撃を行った。ゲーム開始後３５分が経過した時点で、映像Ｂが再度提示され、プレーヤー１００は再度、照準を視覚対象物のうち最も奥行きの小さい視覚対象物に合わせて射撃を行った。なお、映像Ｂにおける視覚対象物の軌跡は、経過時間７分のときも、経過時間３５分のときも同じである。この視覚疲労度測定装置１は、同じ軌跡をたどる視覚対象物に照準を合わせて連射、すなわち注視する際の眼球の運動を抽出して、ゲーム開始後７分での眼球運動とゲーム開始後３５分での眼球運動とを比較する。視覚対象物の軌跡が同じであり、かつ、視覚対象物への注視が照準と射撃との操作より確認できることで、眼球運動を比較することができる。眼球運動はゲーム開始直後より常に蓄積されており、任意の経過時間における眼球運動を比較することができる。図１７の例では、さらに、経過時間５０分で映像Ａが再度提示されており、プレーヤー１００は視覚対象物に照準を合わせて連射している。これにより、経過時間２分での眼球運動と経過時間５０分での眼球運動を比較することができる。図１７の例における「眼球運動」から分かるように、映像Ｂの視覚対象を注視した経過時間７分での眼球運動と、経過時間３５分での眼球運動とを比較すると、経過時間３５分での水平眼球運動が小さく、視覚対象物の奥行き方向の軌道に追随しきれなくなってきている。また、映像Ａを注視している経過時間２分での眼球運動と経過時間５０分での眼球運動を比較すると、経過時間５０分では、水平眼球運動は不安定な動きを示し、視覚対象物の奥行き方向の軌道に対して追随が不可能になっている。このように、ゲーム開始直後の眼球運動と、ゲーム開始から時間が経過してからの眼球運動を比較することで、プレーヤー１００の疲労を検出することができる。
【００８３】
図１８は、本実施の形態による視覚疲労度測定装置１の処理手順を示すフローチャートである。図１９、図２１、図２３は視覚疲労度測定装置１の処理手順の一部を詳細に示したものである。以下、処理手順を図１８から図２１に従って説明する。
【００８４】
まず、プレーヤー１００が、図示しない入力部よりゲーム開始を指示する入力を行い、ゲームを開始する（Ｓ１０１０）。ゲームの開始に伴い、眼球運動取得部２００は両目の眼球運動の計測を開始し、計測結果を、眼球運動データ２１０ａとして、眼球運動蓄積部２１０に蓄積する（Ｓ１０２０）。
【００８５】
眼球運動取得部２００は、図示しない入力部よりゲーム終了を指示する入力の有無を確認する（Ｓ１０３０）。ステップＳ１０３０において、ゲーム終了を指示する入力がある場合には（Ｓ１０３０でｙｅｓ）、ステップＳ１１５０へ進み、眼球運動取得部２００は眼球運動の記録を終了する（Ｓ１１５０）。そして、眼球運動記録の終了後にゲームを終了する（Ｓ１１６０）。
【００８６】
一方、ステップＳ１０３０において、ゲーム終了を指示する入力がない場合は（Ｓ１０３０でｎｏ）、ステップＳ１０４０へ進む。Ｓ１０４０では映像情報蓄積部１１０に蓄積された映像情報１１０ａに基づく映像を映像提示部１２０よりプレーヤー１００に提示する（Ｓ１０４０）。ステップＳ１０４０で提示した映像に対して、操作入力部１４０は、プレーヤー１００が操作をしたか否かを確認する（Ｓ１０５０）。ステップＳ１０５０において、プレーヤー１００の操作がない場合は（Ｓ１０５０でｎｏ）、ステップＳ１０３０へ戻る。一方、ステップＳ１０５０においてプレーヤー１００の操作がある場合は（Ｓ１０５０でｙｅｓ）、操作入力部１４０は、ステップＳ１０５０で入力された一連の操作（操作履歴１５０ａ）を操作履歴蓄積部１５０に保存する（Ｓ１０６０）。操作履歴１５０ａとしては、図８に示されるように、操作の種類と操作の状態と操作の時間情報を含む。例えば、操作の種類として「射撃」、操作の状態として「照準位置」、時間情報として「ゲーム開始からの経過時間」である。本実施の形態では射撃シーンを含むゲームを例に説明している。ここでは、一連の操作の例として、連射の操作を例に説明する。連射は射撃操作が連続する状態を指し、射撃操作と次の射撃操作との間が例えば５００ｍｓ未満の場合を連射とする。注視対象物特定部１６０は連射した際に提示されていた映像中の視覚対象物の表示領域と、ステップＳ１０６０で操作履歴蓄積部１５０に蓄積された連射の操作（操作履歴１５０ａ）の照準の情報から、視覚対象物の特定を行う。すなわち、プレーヤー１００が１つの視覚対象物に対して一定時間以上、例えば２秒以上、照準を合わせ続けている、ということは、注視し続けていることを意味する。そして、注視対象物特定部１６０では、プレーヤー１００が一定時間以上注視し続けている対象物を特定できるか否かが判断される（Ｓ１０７０）。
【００８７】
ステップＳ１０７０において、プレーヤー１００が一定時間以上注視し続けている対象物が特定できる場合（Ｓ１０７０でｙｅｓ）、検査可能区間蓄積部１７０は、プレーヤー１００が注視し続けた視覚対象物を特定するＩＤとその視覚対象物を注視していた時間区間を示す情報とを、検査可能区間を示すデータ１７０ａとして、記憶する（Ｓ１０８０）。一方、ステップＳ１０７０において、プレーヤー１００が一定時間以上注視し続けている対象物が特定できない場合は（Ｓ１０７０でｎｏ）、ステップＳ１０３０へ戻る。
【００８８】
続いて、検査区間決定部１９０は、ステップＳ１０８０で検査可能区間蓄積部１７０に蓄積されているデータ１７０ａにおける直近のプレーヤー１００が注視し続けた視覚対象物の仮想位置の軌道（対象物奥行き情報１８０ａ）を対象物奥行き情報記憶部１８０より抽出し、抽出した直近の検査可能区間での軌道と同一の軌道を持つ視覚対象物をプレーヤー１００が注視していた時間区間を検査可能区間蓄積部１７０より検索する。本実施の形態ではゲーム開始時には疲労はなかったものとして、ゲーム開始から一定時間以内の時間区間の眼球運動と直近の眼球運動を比較することで、疲労を検出する。そこで、検査区間決定部１９０は、直近の検査可能区間での軌道と同一の軌道を持つ視覚対象物をプレーヤー１００が注視していた時間区間を検査可能区間蓄積部より検索する際に、例えばゲーム開始後２０分間で蓄積された検査可能区間より検索する。そして、検査区間決定部１９０では、直近の検査可能区間での軌道と同一の軌道を持つ視覚対象物をプレーヤー１００が注視していた時間区間があるか否かが判断される（Ｓ１０９０）。
【００８９】
その結果、直近の検査可能区間での軌道と同一の軌道を持つ視覚対象物をプレーヤー１００が注視していた時間区間がある場合（Ｓ１０９０でｙｅｓ）、眼球運動抽出部２２０は直近の検査可能区間と、直近の検査可能区間での軌道と同一の軌道を持つ視覚対象物をプレーヤー１００が注視していた時間区間とについて、複数の時間区間の眼球運動データを眼球運動蓄積部２１０から抽出する（Ｓ１１００）。一方、ステップＳ１０９０で直近の検査可能区間での軌道と同一の軌道を持つ視覚対象物をプレーヤー１００が注視していた時間区間がない場合は（Ｓ１０９０でｎｏ）、ステップＳ１０３０へ戻る。
【００９０】
そして、眼球運動比較部２３０はステップＳ１１００で抽出した眼球運動データについて、直近の眼球運動と、ゲーム開始後２０分以内での眼球運動とを比較する（Ｓ１１１０）。疲労度判定部２４０はステップＳ１１１０での直近の眼球運動と、ゲーム開始後２０分以内での眼球運動との差に基づいて疲労度を判定する（Ｓ１１２０）。
【００９１】
続いて、出力部２５０は、ステップＳ１１２０において判定された疲労度が一定の値を超えているか否かを判定する（Ｓ１１３０）。例えば疲労度を、疲労無し、疲労兆候、疲労の３段階で判定した場合、疲労兆候以上である場合（Ｓ１１３０でｙｅｓ）、出力部２５０は、図示しない表示画面および音声提示用ヘッドホンあるいはスピーカより、プレーヤー１００に視覚性の疲労が起こっている旨を示す警告を与え（Ｓ１１４０）、ステップＳ１０３０へ戻る。一方、ステップＳ１１３０において疲労度が一定の値を超えていなければ（Ｓ１１３０でｎｏ）、ステップＳ１０３０にもどる。なお、ゲームのプレー中は、ステップＳ１０３０からＳ１１４０が繰り返される。
【００９２】
ここで、図１９に従って、図１８におけるステップＳ１０７０（プレーヤー１００が注視している対象物を特定する手順）の詳細を説明する。射撃情報取得部１６１は、ステップＳ１０６０で操作履歴蓄積部１５０に蓄積された操作履歴１５０ａから、直近の一連の射撃操作を取得する（Ｓ１０７１）。射撃情報取得部１６１は、一連の射撃操作が連射、すなわち、複数回の射撃操作の時間間隔がいずれも５００ｍｓ未満である区間を含むか否かを判定する（Ｓ１０７２）。ステップＳ１０７２で取得した操作中に連射区間がなかった場合は（Ｓ１０７２でｎｏ）、図１８のステップＳ１０３０へ戻る。ステップＳ１０７２でプレーヤー１００の操作中に連射区間があった場合は（Ｓ１０７２でｙｅｓ）、照準位置生成部１６４はステップＳ１０７１で取得された射撃情報から連射区間の照準情報を抽出する。さらに、照準位置生成部１６４は、連射区間の連続する射撃の照準位置が一定以上離れていない（照準ぶれがないかどうか）、例えば画面の横幅の１／４以上離れていないかどうかを判定する（Ｓ１０７３）。図２０に射撃シーンの例を示す。４つの図は上から下へ時間が進むにつれて映像が変化する様子を模式的に示している。４つの図は、ステップＳ１０７２で特定された連続の射撃操作が行われている区間を示している。画面１に示した破線は、画面の幅を４等分する線分である。画面１では、プレーヤー１００の照準は視覚対象物２に合わされている。画面２では、照準は視覚対象物１に合わされており、画面１から画面２の間では、照準が画面の横幅の１／４以上離れているため、画面１と画面２は連射とみなさない。なお、操作入力は例えば５０ｍｓに１回とりこまれており、横幅の１／４は、照準の位置を変えたとみなす値の一例である。
【００９３】
画面２から画面３、画面３から画面４のそれぞれの照準は、視覚対象物１の移動に伴って移動してはいるが、画面横幅の１／４未満の移動であるため、画面２から画面４までの射撃操作を連射とみなされる。連射区間の連続する射撃の照準位置が一定以上離れていない場合は照準のブレがなく１つの視覚対象物を注視しているものとして（Ｓ１０７３でｙｅｓ）、ステップＳ１０７４へ進む。一方、ステップＳ１０７３で連続する照準位置が一定以上離れており、複数の視覚対象物の間を注視位置が頻繁に移動していると判断された場合は（Ｓ１０７３でｎｏ）、図１８のステップＳ１０３０へ戻る。
【００９４】
ステップＳ１０７４では、時間区間情報取得部１６２は、Ｓ１０７２で射撃情報取得部１６１が特定した連射区間に対応する時間区間を特定する（Ｓ１０７４）。このとき、ステップＳ１０７２で特定された射撃操作の時間間隔がいずれも５００ｍｓ未満である区間の、最初の射撃操作の時間と最後の射撃操作の時間との間を連射の時間区間とする。そして、領域情報取得部１６３はＳ１０７４で特定された連射の時間区間にプレーヤー１００に提示されていた映像中の視覚対象物とその表示画面上での領域を対象物領域情報記憶部１３０に記憶されている対象物領域情報１３０ａから抽出する（Ｓ１０７５）。対象物領域情報記憶部１３０には、図７で示されるように、対象物領域情報１３０ａとして、視覚対象物を特定するＩＤと、映像内での時間位置の情報と、画面上の領域の情報が含まれている。連射の時間区間で提示されていた視覚対象物が図２０の画面２のように複数個ある場合は、複数の視覚対象物とその画面上の領域が抽出される。
【００９５】
続いて、対象物特定部１６５は、Ｓ１０７５で抽出した視覚対象物の領域のうち、連射区間として特定された時間区間の照準の画面上の位置と重なる領域を持つ視覚対象物を特定できるか否かを判定する（Ｓ１０７６）。このとき、対象物特定部１６５は、照準と１つの視覚対象物の領域が重なる場合は、その視覚対象物をプレーヤー１００が射撃操作中注視していた視覚対象物として特定する。一方、照準といずれの視覚対象物の領域が重ならない場合、または照準が複数の視覚対象物の領域に重なる場合には、１つの視覚対象物を特定することができない。ステップＳ１０７６において１つの視覚対象物を特定できない場合は（Ｓ１０７６でｎｏ）、図１８のステップＳ１０３０へ戻る。一方、ステップＳ１０７６において１つの視覚対象物を特定できた場合は（Ｓ１０７６でｙｅｓ）、検査可能区間決定部１６６はステップＳ１０７６で特定された視覚対象物と連射区間のうち照準と当該の視覚対象物の画面上の領域が重なっていた時間区間を検査可能区間として決定し、検査可能区間蓄積部１７０に蓄積するデータ１７０ａを生成する（Ｓ１０７７）。図５は検査可能区間蓄積部１７０が蓄積する検査可能区間を示すデータ１７０ａの一例である。このデータ１７０ａには、例えば、視覚対象物を特定する対象物ＩＤと、プレーヤー１００が照準を合わせていた、すなわち、その対象物を注視していた時間区間と、プレーヤー１００が照準を合わせていた区間の照準位置の軌道とが含まれている。
【００９６】
つぎに、図２１に従って、図１８におけるステップＳ１０９０（比較可能区間の検索手順）の詳細を説明する。
【００９７】
ＩＤ・時間区間取得部１９１は、検査可能区間蓄積部１７０を参照することで、直近の検査可能区間を抽出する（Ｓ１０９１）。次に、３次元軌道取得部１９２は、ステップＳ１０９１で取得した直近の検査可能区間における視覚対象物のＩＤと時間区間との情報に基づいて、当該対象物の検査可能区間の３次元の仮想位置の座標を抽出する（Ｓ１０９２）。図６は対象物奥行き情報記憶部１８０が記憶する対象物奥行き情報１８０ａの一例である。この対象物奥行き情報１８０ａには、例えば、ある時間に画面に表示されていた対象物ＩＤと視覚対象物の３次元での仮想位置とが含まれている。ここで、時間は、例えば、ゲーム開始からの経過時間である。また、仮想位置は、例えば、対象物の重心位置を、図２２に示すような画面中心の正面９００ｍｍの距離の標準位置から見るプレーヤーの顔中心を原点として水平方向をｘ軸、上下方向をｙ軸、奥行き方向をｚ軸として表現される。図６に示される対象物奥行き情報１８０ａの例では、距離単位はｍｍである。据え置き型のゲーム機である場合には、ディスプレイと椅子の位置を固定することにより、プレーヤーの顔中心とディスプレイの位置を固定することができる。また、ディスプレイと操作入力が一体になった持ち運び用ゲーム機や家庭のテレビに接続する方式のものや、パーソナルコンピュータの場合には、ゲーム開始時にプレーヤー１００の位置について、ディスプレイからの距離を指示する表示を出すことで、プレーヤー１００の眼球の動きを計測できる位置にプレーヤー１００の顔面を誘導することができる。なお、複数のプレーヤー１００が１つのディスプレイをみてゲームを行う場合は、操作入力部１４０に赤外線や無線による位置センサを付け、ディスプレイとプレーヤー１００との相対位置を取得して、眼球運動の計測結果に対する補正を行うとしても良い。
【００９８】
ｘ軸はプレーヤー１００の右方向を正、左方向を負とし、ｙ軸はプレーヤー１００の上方向を正とする。ｚ軸はプレーヤー１００から遠ざかる方向を正とする。同一軌道検索部１９３は、ステップＳ１０９２で抽出された直近の検査可能区間でプレーヤー１００が注視していた視覚対象物の仮想位置の軌道と同一の軌道を含む視覚対象物をプレーヤー１００が注視していた検査可能区間を検索する（Ｓ１０９３）。より具体的には、ステップＳ１０９３では、同一軌道検索部１９３は、検査可能区間蓄積部１７０に蓄積されたデータ１７０ａが示す各検査可能区間の対象物ＩＤと時間区間に対応する視覚対象物の仮想位置の軌道（対象物奥行き情報１８０ａ）を対象物奥行き情報記憶部１８０から抽出し、直近の検査可能区間でプレーヤー１００が注視していた視覚対象物の仮想位置の軌道と同一の軌道を持つ視覚対象物を、ゲーム開始から２０分以内の検査可能区間から検索する。これにより、ゲーム開始直後のプレーヤー１００が疲労していない状態と、直近の状態とを比較することができる。同一軌道検索部１９３は、ステップＳ１０９３の検索の結果、直近の検査可能区間と同一軌道の検査可能区間とがゲーム開始から２０分以内の時間範囲内にあるか否かを判断する（Ｓ１０９４）。
【００９９】
その結果、ステップＳ１０９４においてゲーム開始から２０分以内の同一軌道の検査可能区間がない場合（Ｓ１０９４でｎｏ）、図１８のステップＳ１０３０に戻る。一方、ステップＳ１０９４においてゲーム開始から２０分以内の同一軌道の検査可能区間がある場合は（Ｓ１０９４でｙｅｓ）、比較区間決定部１９４は、検索されたゲーム開始から２０分以内の同一軌道の検査可能区間と、直近の検査可能区間とを、眼球運動を比較する２つの区間として決定する。そして、比較区間決定部１９４は、２つの検査区間の視覚対象物の軌道が同一である区間を切り出し、おのおのの検査可能区間中で検査に用いる時間区間を決定する（Ｓ１０９５）。ゲーム開始から２０分以内の同一軌道の検査可能区間が複数件抽出された場合は、比較区間決定部１９４は直近の検査可能区間の視覚対象物の軌道と、視覚対象物の軌道が同一である時間が最も長い検査可能区間を比較区間として決定する。
【０１００】
なお、ここでは、ステップＳ１０９３において、同一軌道検索部１９３は直近の検査可能区間でプレーヤー１００が注視していた視覚対象物の仮想位置の軌道と同一の軌道を持つ視覚対象物を検索したが、軌道の類似度を設定して、類似度一定以上の区間を検索するとしても良い。類似度は、例えば、２つの視覚対象物の軌道の始点から終点までについて、仮想位置の差すなわち、仮想位置間の距離の総和を求め、総和の値を軌道の時間長で割った値の逆数とし、軌道が一致する場合は無限大に設定される。類似とみなす類似度は、例えば、１／５０（秒／ｍｍ）以上とする。この値は画面の大きさや視聴時の画面からの距離によって調節される。あるいは、類似度は、２つの視覚対象物の軌道の始点から終点までについて、仮想位置の差すなわち、仮想位置間の距離の総和を求め、どちらか一方、例えばゲーム開始から２０分以内の軌道の移動距離で割った値の逆数、すなわち、移動距離に対する仮想位置の差の総和の比としても良い。例えば、移動距離が差の総和の１０倍以上である場合を類似とみなす。この値は画面の大きさや視聴時の画面からの距離によって調節される。
【０１０１】
また、ここでは、ステップＳ１０９３において、同一軌道検索部１９３は直近の検査可能区間でプレーヤー１００が注視していた視覚対象物の仮想位置の軌道と同一の軌道を持つ視覚対象物を検索したが、視覚対象物の奥行き方向の移動のみを抽出し、奥行き方向の移動ベクトルが同一である視覚対象物を検索するものとしても良い。
【０１０２】
また、ここでは、ステップＳ１０９３において、同一軌道検索部１９３は直近の検査可能区間でプレーヤー１００が注視していた視覚対象物の仮想位置の軌道と同一の軌道を持つ視覚対象物を検索したが、検査可能区間にプレーヤー１００が操作した、照準位置の軌道が同一または類似している時間区間を検索するものとしても良い。照準位置は左右画面上位置として蓄積されている。そこで、類似度は、例えば、２つの照準位置の軌道の始点から終点までについて、左右画面の照準座標の差すなわち、照準位置間の距離の総和を求め、総和の値を軌道の時間長で割った値の逆数とし、軌道が一致する場合は無限大に設定される。照準位置間の距離はピクセル単位であらわされる。類似とみなす類似度は、例えば、１／３０（秒／ピクセル）以上とする。この値は画面の大きさや解像度によって調節される。
【０１０３】
また、ステップＳ１０９４において、同一軌道の検査可能区間が複数件抽出された場合は、比較区間決定部１９４は直近の検査可能区間の視覚対象物の軌道と、視覚対象物の軌道が同一である時間が最も長い検査可能区間を比較区間として決定するものとしたが、奥行き方向の移動量が最も大きいまたは奥行き方向の移動速度が最も大きい区間を選択するものとしても良い。
【０１０４】
また、ステップＳ１０９４において、同一軌道の検査可能区間が複数件抽出された場合は、比較区間決定部１９４は直近の検査可能区間の視覚対象物の軌道と、視覚対象物の軌道が同一である時間が最も長い検査可能区間を比較区間として決定するものとしたが、視覚対象と背景との色のコントラスト比が同等である区間を選択するものとしても良い。コントラスト比は、非特許文献である“Ｔｅｃｈｎｉｑｕｅｓ  Ｆｏｒ  Ａｃｃｅｓｓｉｂｉｌｉｔｙ  Ｅｖａｌｕａｔｉｏｎ  Ａｎｄ  Ｒｅｐａｉｒ  Ｔｏｏｌｓ”  Ｗ３Ｃ  Ｗｏｒｋｉｎｇ  Ｄｒａｆｔ，  ２６  Ａｐｒｉｌ  ２０００の“  Ｔｅｃｈｎｉｑｕｅ  ２．２．１  ［ｐｒｉｏｒｉｔｙ  ３］  Ｔｅｓｔ  ｔｈｅ  ｃｏｌｏｒ  ａｔｔｒｉｂｕｔｅｓ  ｏｆ  ｔｈｅ  ｆｏｌｌｏｗｉｎｇ  ｅｌｅｍｅｎｔｓ  ｆｏｒ  ｖｉｓｉｂｉｌｉｔｙ”に従って計算し、同等とみなす範囲は、例えば、コントラスト比の差が±５％以下である場合とする。
【０１０５】
これにより、立体視に影響する要因をそろえて比較できる。
【０１０６】
また、ステップＳ１０９４において、同一軌道の検査可能区間が複数件抽出された場合は、比較区間決定部１９４は直近の検査可能区間の視覚対象物の軌道と、視覚対象物の軌道が同一である時間が最も長い検査可能区間を比較区間として決定するものとしたが、背景画像中の水平面を示す線分の量が同等である区間を選択するものとしても良い。背景画像についてはコンピュータグラフィックスの場合、基本の構成として、多くは一点透視法（ｏｎｅ−ｐｏｉｎｔ  ｐｅｒｓｐｅｃｔｉｖｅ）、二点透視法（ｔｗｏ−ｐｏｉｎｔ  ｐｅｒｓｐｅｃｔｉｖｅ）、あるいは三点透視法（３−ｐｏｉｎｔ  ｐｅｒｓｐｅｃｔｉｖｅ）を用いる。水平面を示す線分の量を比較するには、当該の背景画像を構成する透視法での投射線（ｔｒａｊｅｃｔｏｒｙ  ｌｉｎｅｓ）のうち、３点透視法の垂直方向の投射線以外の投射線に沿って描かれた線分の長さの総和を比較する。線分は例えば屋内であれば家具や建具の輪郭であり、屋外であれば建物の屋根、窓や扉の輪郭である。同等とみなす範囲は例えば、線分の総和の差がどちらか一方、例えばゲーム開始から２０分以内の映像の背景画像での線分の総和の±５％以下である場合とする。
【０１０７】
これにより、立体視に影響する要因をそろえて比較できる。
【０１０８】
次に、図２３に従って、図１８におけるステップＳ１１１０（眼球運動の比較手順）の詳細を説明する。
【０１０９】
ステップＳ１１００で、眼球運動抽出部２２０において、時間区間取得部２２１は、ステップＳ１０９５で決定された２つの時間区間を取得し、データ抽出部２２２はゲーム開始直後から眼球運動蓄積部２１０に蓄積されている眼球運動データ２１０ａより、時間区間取得部２２１が取得した時間区間に従って、眼球運動データを抽出する。
【０１１０】
眼球運動データ２１０ａには、図９に示すように、右目の瞳孔の中心座標と左目の瞳孔の中心座標とが、座標を決定された時間と供に蓄積されている。ここで、時間は、ゲーム開始時からの経過時間で示されており、例えば、５０ミリ秒ごとに両眼の瞳孔中心の座標が測定され、蓄積されている。ステップＳ１１００では、２つの時間区間について、ゲーム開始時からの経過時間によって示される、おのおのの時間区間の開始点から終了点までの各サンプル点での両眼の瞳孔中心の座標を抽出する。
【０１１１】
図１６に示すとおり、データ分割部２３１は、ステップＳ１１００で眼球運動抽出部２２０が抽出した２つの時間区間の眼球データを、右目のデータと左目のデータに分割して２つの右目のデータを右目データ蓄積部２３２へ、２つの左目のデータを左目データ蓄積部２３３へ保存する（Ｓ１１１１）。右目データ比較部２３４は、ステップＳ１１１１で分割され右目データ蓄積部２３２へ保存された直近の検査可能区間内の右目の眼球運動データと、その直近の視覚対象物の状況に対応するゲーム開始後２０分以内の右目の眼球運動データとの差分を計算する（Ｓ１１１２）。以下は差分の計算方法の一例である。眼球運動はカメラ２０１で取得され、画像処理部２０３でサンプル点ごとの瞳孔中心の画像内の位置を求めて記録されている。比較区間として抽出した２つの時間区間においては視覚対象物の仮想位置の軌道は一致している。そこで、右目データ比較部２３４は、直近の眼球運動データとゲーム開始後２０分以内の眼球運動データとの差分すなわち差の絶対値を求める。
【０１１２】
ここで直近の右眼球運動データの各時間サンプル点における座標を、
【数１】
2012160741.tif 000003
とおき、ゲーム開始後２０分以内の眼球運動データの各時間サンプル点における座標を、
【数２】
2012160741.tif 000004
とおく。ただしｉは各時間区間の開始点を０として各サンプル点を時間区間の開始点からの相対サンプル間隔で示した値とする。ｉの最大値は時間区間中に含まれるサンプル点の数である。２つの時間区間においては視覚対象物の仮想位置の軌道が一致している。すなわち、２つの時間区間の時間長は同一であり、従って２つの時間区間に含まれるサンプル点の数は同一である。ｉが同一である場合、視覚対象物の仮想位置が同一であることを意味している。
【０１１３】
直近の眼球運動データとゲーム開始後２０分以内の眼球運動データとの差分は、
【数３】
2012160741.tif 000005
と表せる。これは、同一仮想位置にある視覚対象物を注視している際の瞳孔中心の位置ずれの時間区間内総和である。
【０１１４】
左目データ比較部２３５は、ステップＳ１１１１で分割され左目データ蓄積部２３３へ保存された直近の検査可能区間内の左目の眼球運動データと、その直近の視覚対象物の状況に対応するゲーム開始後２０分以内の左目の眼球運動データとの差分を計算する（Ｓ１１１３）。左目のデータについても右目と同様に計算する。
【０１１５】
つまり、左目データ比較部２３５は、図１６に示すような眼球運動データについて直近の検査可能区間の眼球運動データと直近の視覚対象物の状況に対応する区間との、時間区間の開始点から終了点までの各時間点における瞳孔中心の座標を比較する。そして、左目データ比較部２３５は、直近の検査可能区間と直近の視覚対象物の状況に対応する区間とに対して時間区間開始からの時間が等しい時間点での瞳孔中心の座標位置の差を求める。差の時間区間内での総和を眼球運動データの差分とする。
【０１１６】
図１８におけるステップＳ１１２０での疲労度の判定方法の一例を以下に示す。疲労度判定部２４０は、ステップＳ１１１２で求められた右目の眼球運動の差分と左目の眼球運動の差分とを取得する。ゲーム開始後２０分以内は疲労がないものとし、ゲーム開始後２０分以内との眼球運動の差は視覚性の疲労によるものと考える。
【０１１７】
ステップＳ１１１２で求められた両眼の眼球運動データの差分を時間区間の時間長（ミリ秒）で割ることで、時間に対して標準化された眼球位置のずれ量となる。
【０１１８】
【数４】
2012160741.tif 000006
【０１１９】
あらかじめ定められた基準、例えば、１０ピクセル／ミリ秒未満であれば眼球運動の差はないものとし、さらに１０ピクセル／ミリ秒以上であれば眼球運動に差があると判断するものとする。疲労度判定部２４０は、ステップＳ１１１２で求められた右目の眼球運動の差分を時間区間の時間長で除した結果と、ステップＳ１１１３で求められた左目の眼球運動の差分を時間区間の時間長で除した結果とをあわせ、視覚対象物の移動速度を加味して３段階の疲労度を判定する。
【０１２０】
図２４は、疲労度判定部２４０が左右の眼球運動の差と視覚対象物の移動速度から全体の視覚性疲労を判断するための表の一例である。視覚対象物の移動速度については、あらかじめ、速い、中程度、遅い、の３段階の基準を設けておく。例えば、１０００ｍｍ／１ｓ以上は速い、５００ｍｍ／１ｓ以上１０００ｍｍ／１ｓ未満を中程度、５００ｍｍ／１ｓ未満を遅いとする。比較区間の視覚対象物の移動速度が速いほど疲労が眼球運動の差として現れやすく、移動速度が遅いほど疲労が現れにくい。例えば、比較区間の視覚対象物が１０５０ｍｍ／１ｓの速度で移動していた場合、疲労度判定部２４０は、図２４の表に基づき、両目ともに眼球運動に差がなかった場合は疲労なしと判断する。一方、右目または左目のどちらか一方の眼球運動に差があった場合には、疲労度判定部２４０は、疲労兆候があると判断する。両目に眼球運動の差があった場合には疲労と判断する。
【０１２１】
以上のように、本実施の形態における視覚疲労度測定装置１を備えたゲーム機では、視覚対象物に対する操作入力によりプレーヤー１００が注視している視覚対象物を特定し、ゲーム開始直後の疲労のない状態で視覚対象物を注視しているときの眼球運動と、ゲームを続けている現状で、視覚対象物を注視しているときの眼球運動との比較を、ゲームの映像のみを利用して行うことができる。ゲームの映像中には、同一映像を用いる等、同一の軌道を持つ視覚対象物を、ゲームのストーリーの中で時間をおいて違和感なく提示することができ、視覚性疲労の計測のためにゲームを中断したり、ゲームを始める前にキャリブレーションをしたりする必要がない。これにより、ゲームの楽しみを妨げることがない視覚疲労度測定装置１を提供することができる。さらに、ゲーム開始直後との比較に基づいて疲労を判定するため、立体視能力の個人差や慣れの程度の影響を受けることなく、プレーヤー１００個人の疲労度合いを判定することができる。
【０１２２】
なお、本実施の形態１では、眼球撮像用のカメラ２０１で直接眼球を撮像するものとしたが、図２５に示すとおり、眼球の前にハーフミラー２１１を設置し、眼球の下または上に赤外線カメラ２１２と赤外線光源２１３とを設置してハーフミラー２１１で反射される赤外線により眼球を撮像するものとしても良い。これにより、立体視用シャッタめがねにカメラを設置する場合に、目の前方にカメラを設置することなく眼球を撮像できる。すなわち、カメラが視野に入ることがなく、快適な視界で映像を楽しむことができる。
【０１２３】
また、本実施の形態１では、眼球運動取得部２００は眼球の画像から眼球運動を取得するものとしたが、眼球の電気的特性により眼球周辺から眼球の動きを捉えることのできる眼電位を利用して眼球運動を取得するものとしても良い。例えば、図２６に示すとおり、プレーヤー１００の目の周辺に少なくとも４個の計測用の電極２５１、電極２５２、電極２５３、電極２５４と、基準電位とするための電極１個（電極２５９）を耳たぶまたは耳の後ろまたは額の皮膚に接触させる。４個の電極２５１〜２５４は目の水平方向の動きを計測するための電極であり、両眼の目じりと目頭の皮膚に接触させる。図２６では、さらに、両眼の垂直方向の動きを計測するための、眉毛の上の額に接触させる電極２５５と電極２５７、目の下に接触させる電極２５６と電極２５８とを備える。生体信号アンプ２６０は、各電極２５１〜２５８で取得された電位を取得し増幅する。信号処理部２６１は、フィルタリング等により生体信号アンプ２６０で増幅された信号中のノイズを低減、除去し、計測電極である電極２５１から電極２５８の電位から基準電極である電極２５９の電位を減じることにより、計測電極の電位を標準化する。さらに、電極２５１での電位と電極２５２での電位との差分により右目水平方向の動きを示す電位を抽出し、電極２５３での電位と電極２５４での電位との差分により左目水平方向の動きを示す電位を抽出する。電極２５５での電位と電極２５６での電位との差分により右目垂直方向の動きを示す電位を抽出し、電極２５７での電位と電極２５８での電位との差分により左目垂直方向の動きを示す電位を抽出する。これらの電位を示すデータを、眼球運動データ２１０ａとして、眼球運動蓄積部２１０に蓄積する。この場合、眼球運動比較部２３０では、ステップＳ１１１０において、眼球の位置情報の比較ではなく、各目の水平方向の眼電位同士、垂直方向の眼電位同士を比較する。図２７は、水平方向の眼電位の一例を示したグラフである。視聴条件は図２と同様であり、仮想距離が被験者から９０ｃｍと３０ｃｍの視覚対象物を交互に注視した場合の眼電位を記録したものである。用いた３次元映像は、一般的映像コンテンツより視覚系に対する負荷が高い。そのため、疲労は一般的映像コンテンツより短い時間で眼電位に現れる。図２７の（ａ）は被験者が視聴を開始した直後２０秒から７０秒の疲労のない状態での眼電位を示し、図２７の（ｂ）は視聴開始後４００秒経過し、疲労を感じ始めたころの５０秒間の眼電位を示す。図２７の（ｃ）は視聴開始後６５０秒が経過し、疲労により立体視が困難な状態での５０秒間の眼電位を示している。
【０１２４】
それぞれのグラフは、横軸は視聴実験開始からの経過時間を秒で示しており、縦軸は左右の目の目尻と目頭に置いた電極から取得した電位の差分として得た眼電位をマイクロボルトで示している。すべてのグラフにおいて、実線が被験者の左目の眼電位で、正の電位が被験者の左側、すなわち目尻側へ目が動いたことを示す電位であり、負の電位が目頭側への動きを示している。点線は被験者の右目の眼電位で、正の電位が被験者の左側すなわち右目の目頭側への動きを示す電位で、負の電位が目じり側への動きを示している。視覚対象物の仮想位置の奥行きが小さくなり被験者に近づいてくるときには、被験者の目は輻輳し、左右の眼球が目頭側へ寄る動きを行う。図２７のグラフでは、左目のグラフは負の電位を示し、右目のグラフが正の電位を示す。図２７に示した眼電位は交流記録で、電位変化を記録しているため、眼球が移動する瞬間の電位変化を記録するが、眼球が移動した後その位置で停止している場合には、電位は減衰して０に近づく。そのため、図２のように眼球がとどまっている位置を観察するのは困難だが、眼球が視覚対象物の奥行きの変動に合わせて動く動作を記録することができる。
【０１２５】
図２７の（ａ）に示した視聴開始直後の疲労がない状態では視覚対象物の奥行き変化に伴って、左右の眼球が逆向きに動き、輻輳と開散を繰り返している。図２７の（ｂ）に示した視聴を続けて被験者が視覚性の疲労を感じている段階では、被験者から９０ｃｍと３０ｃｍとの間の移動を繰り返す視覚対象物に対して、輻輳と開散が正確に行われる場合と、輻輳あるいは開散が行われず、両眼の同相への動きや複数回の動作が見られ、奥行き方向の動きに追随できない場合が観察できる。さらに図２７の（ｃ）に示した視覚性疲労のために近接位置での立体視ができない状態では、両眼はほとんど同相に動いており、輻輳と開散の正確な運動は見られなくなる。輻輳あるいは開散の両眼逆相の動きが見られる場合も動きが小さい。このように映像視聴中の眼電位を経時的に比較することでも、３次元視聴中の視聴者の視覚性の疲労を観察することができる。
【０１２６】
また、本実施の形態１では、映像情報蓄積部１１０と対象物領域情報記憶部１３０と対象物奥行き情報記憶部１８０とはあらかじめ定められた情報が記憶されているものとしたが、ロールプレイイングゲームのように、ゲームの進行によって出力シーンが変わる場合には、図２８に示すように、ゲームの進行に合わせてプレーヤー１００に提示した映像に対応する視覚対象物の領域情報と奥行き情報とを記憶していく構成としてもよい。図２８に示される構成では、ゲームの進行により、シーン制御部１１２はシーンごとの映像情報とその映像情報に伴う視覚対象物の領域情報（対象物領域情報）と視覚対象物の奥行き情報等を蓄積した映像情報蓄積部１１１から、出力すべき映像を指定する。映像情報蓄積部１１１は、シーン制御部１１２の指示に従って、映像情報を映像提示部１２０へ出力し、対応する視覚対象物の領域情報（対象物領域情報１３０ａ）を対象物領域情報記憶部１３０へ出力する。さらに、映像情報蓄積部１１１は、出力した映像に対応する視覚対象物の奥行き情報（対象物奥行き情報１８０ａ）を対象物奥行き情報記憶部１８０へ出力する。対象物領域情報記憶部１３０は、映像情報蓄積部１１１から出力された情報と計時部１１３によって決定された時間情報とをあわせて視覚対象物の領域情報（対象物領域情報１３０ａ）として記憶する。同様に、対象物奥行き情報記憶部１８０は、映像情報蓄積部１１１から出力された情報と計時部１１３によって決定された時間情報とをあわせて視覚対象物の奥行き情報（対象物奥行き情報１８０ａ）として記憶する。
【０１２７】
また、本実施の形態１では、検査区間決定部１９０は直近の眼球の状態と比較する区間として、ゲーム開始から２０分以内の検査可能区間から選択するものとしたが、さらに、ゲーム開始直後はあまり疲労しないものとして、ゲーム開始後一定時間以上、例えば３０分以上、経過した後に、直近の検査可能区間を決定して、より早い時間区間の眼球運動と比較するとしても良い。また、ゲーム中で奥行き方向の動きの大きい映像を見ていると疲労しやすいことから、図２９に示す構成のように、奥行き変動量総和計算部１８５を追加してもよい。この奥行き変動量総和計算部１８５は、対象物奥行き情報記憶部１８０より、プレーヤー１００に提示した映像に含まれる全視覚対象物の奥行き情報（対象物奥行き情報１８０ａ）を抽出し、奥行き変動の指標として、奥行き情報の総和を出力する。ゲーム開始から時間が経過するにつれて、奥行き情報の総和は加算され増加していく。あらかじめ定められた基準を超え、プレーヤー１００が疲労している可能性がある量まで、奥行き変動量総和が増加した時点以降で、直近の検査可能区間を決定して、奥行き変動量総和があらかじめ定められた別の基準、すなわち疲労を起こさない範囲の奥行き変動量総和の値を下回っている時間区間の眼球運動と比較するとしても良い。そのときの基準の値は、プレーヤー１００が画面から９０ｃｍはなれてゲームをしている場合、例えば奥行き変動量の総和が４０００ｃｍを超えた場合を疲労の可能性がある量の基準とし、奥行き変動量の総和が２０００ｃｍを下回っている時間区間を疲労を起こさない範囲とする。なお、これらの値は画面の大きさやプレーヤー１００の画面からの距離等によって調整されるべきである。
【０１２８】
（実施の形態１の変形例１）
次に、本実施の形態１の変形例１について説明する。なお、本実施の形態１の変形例１の基本構成は実施の形態１と同じであるため、その説明を省略する。
【０１２９】
本実施の形態１の変形例１では、検査可能区間として、プレーヤー１００が１つの視覚対象物を注視している区間ではなく、プレーヤー１００が奥行きの異なる仮想位置に配置された視覚対象物を交互に見る区間を検査可能区間として抽出する。図３０は、複数の視覚対象物を交互に見る場合を模式的に示した図である。視覚対象物１は最も手前にあり、視覚対象物２は最も奥にある。画面１において、プレーヤー１００は最も奥に位置する視覚対象物２に照準を合わせて射撃操作を行っているが、画面２の時点ではプレーヤー１００は最も手前に位置する視覚対象物１に照準を合わせて射撃操作を行っている。画面３の時点では、また、最も奥の視覚対象物２に照準を合わせ、画面４では、また、最も手前の視覚対象物１に照準を合わせている。本変形例１では、図３０に示される例のように、奥行きの異なる仮想位置に配置された視覚対象物を交互に見ている区間を検査可能な時間区間として抽出し、比較区間として、照準が合わされた視覚対象物の奥行きの変動が同一である区間を比較区間として決定する。
【０１３０】
図３１は、本実施の形態１の変形例１における視覚疲労度測定装置の処理手順を示すフローチャートである。
【０１３１】
本実施の形態１の変形例１における視覚疲労度測定装置の処理手順はステップＳ１０７０がステップＳ２０７０に入れ替わり、ステップＳ１０９０がステップＳ２０９０に入れ替わり、ステップＳ１１１０がステップＳ２１１０に入れ替わり、ステップＳ１１１０がステップＳ２１２０に入れ替わった以外は、実施の形態１と同様であるので、実施の形態１と同様の部分については説明を省略する。
【０１３２】
図３２と、図３４と、図３５は、本変形例１における視覚疲労度測定装置の処理手順の一部を詳細に示すフローチャートである。図３２は、図３１におけるステップＳ２０７０のプレーヤー１００が注視している視覚対象物を特定する手順の詳細を示す。図３２に従って、ステップＳ２０７０の詳細を説明する。図１９と同一の処理については適宜説明を省略する。
【０１３３】
射撃情報取得部１６１は、ステップＳ１０６０で操作履歴蓄積部１５０に蓄積された操作履歴１５０ａから、直近の一連の射撃操作を取得する（Ｓ１０７１）。射撃情報取得部１６１は、一連の射撃操作が連射すなわち、複数回の射撃操作の時間間隔がいずれも５００ｍｓ未満である区間を含むか否かを判定する（Ｓ１０７２）。その結果、ステップＳ１０７２で取得した操作中に連射区間がなかった場合は（Ｓ１０７２でｎｏ）、図３１のステップＳ１０３０へ戻る。一方、ステップＳ１０７２でプレーヤー１００の操作中に連射区間があった場合は（Ｓ１０７２でｙｅｓ）、時間区間情報取得部１６２は、Ｓ１０７２で射撃情報取得部１６１が特定した連射区間に対応する時間区間として連射区間の、最初の射撃操作の時間と最後の射撃操作の時間との間を連射の時間区間を特定する（Ｓ１０７４）。領域情報取得部１６３は、ステップＳ１０７４で特定された連射の時間区間にプレーヤー１００に提示されていた映像中の視覚対象物とその表示画面上での領域を対象物領域情報記憶部１３０から抽出する（Ｓ１０７５）。連射の時間区間で提示されていた視覚対象物が図３０のように複数個ある場合には、複数の視覚対象物とその画面上の領域が抽出される。対象物特定部１６５は、Ｓ１０７５で抽出した視覚対象物の領域のうち、連射区間として特定された時間区間の照準の画面上の位置と重なる領域を持つ視覚対象物を複数特定できるか否かを判定する（Ｓ２０７６）。
【０１３４】
その結果、連射区間において照準といずれの視覚対象物の領域も重ならない場合、または、照準と重なる視覚対象物が１つしか特定されない場合は（Ｓ２０７６でｎｏ）、図３１のステップＳ１０３０へ戻る。さらに照準が同時に複数の視覚対象物の領域と重なる場合は視覚対象物を特定することができないため図３１のステップＳ１０３０へ戻る。一方、連射区間において照準と重なる領域を持つ視覚対象物として特定される視覚対象物が時間経過に伴って入れ替わる場合に、つまり、照準と重なる視覚対象物が複数特定される場合は（Ｓ２０７６でｙｅｓ）、ステップＳ２０７７に進む。図３０の例では、画面１から画面４までが連射区間であり、画面１では視覚対象物２が照準と重なる視覚対象物すなわち注視点として特定される。画面２では視覚対象物１が注視点として特定され、画面３では再び視覚対象物２が注視点として特定される。画面４では視覚対象物３が注視点として特定される。このように、ステップＳ２０７６では一連の連射区間の中で注視された視覚対象物が入れ替わる状態を抽出する。検査可能区間決定部１６６は、ステップＳ２０７６で視覚対象物が複数特定された連射区間のうち照準の画面位置が１つの視覚対象物から他の視覚対象物へ移動する区間をはさんだ時間区間を検査可能区間として決定し、検査可能区間蓄積部１７０に蓄積するデータ１７０ａを生成する（Ｓ２０７７）。図３３は検査可能区間が蓄積するデータ１７０ａの一例である。このデータ１７０ａには、例えば、照準がどの視覚対象物からどの視覚対象物に移ったかを示す２つの対象物ＩＤと、照準が移動する前の視覚対象物と照準が重なっていた時間区間１と、照準が移動した後の視覚対象物と重なっていた時間区間２、さらに照準位置の軌道とが含まれる。図３３に示される検査可能区間データ１は、画面１から画面２への変化を記述する検査可能区間データの例であり、一方、検査可能区間データ２は画面２から画面３への変化を記述する検査可能区間データの例である。対象物ＩＤは左に示されたＩＤが移動前の照準と重なる視覚対象物であり、右に示されたＩＤが移動後の照準と重なる視覚対象物を示す。検査可能区間データ１と検査可能区間データ２はともに画面２の区間を含んでおり、検査可能区間データ１の時間区間２と、検査可能区間データ２の時間区間１とは重なっている。
【０１３５】
図３４は、図３１におけるステップＳ２０９０（比較可能区間の検索手順）の詳細を示す。図３４に従ってステップＳ２０９０の手順の詳細を説明する。
【０１３６】
まず、ＩＤ・時間区間取得部１９１は、検査可能区間蓄積部１７０から新規に蓄積された検査可能区間を示すデータ１７０ａを全件抽出する（Ｓ２０９１）。３次元軌道取得部１９２は、ステップＳ２０９１で取得した検査可能区間全件の比較可能区間の検索が終了したか否かを判定する（Ｓ２０９２）。ステップＳ２０９２で全件の検索が終了している場合は（Ｓ２０９２でｙｅｓ）、ステップＳ２１０１に進む。一方、ステップＳ２０９２で検索が終了していない検査可能区間がある場合は（Ｓ２０９２でｎｏ）、ステップＳ２０９３に進む。ステップＳ２０９３では、３次元軌道取得部１９２は、ステップＳ２０９１で取得した新規に蓄積された検査可能区間のうち比較可能区間の検索が終了していない１つの検査可能区間について、照準、すなわち注視点が移動する前の視覚対象物である視覚対象物１の３次元の仮想位置座標（対象物奥行き情報１８０ａ）を対象物奥行き情報記憶部１８０より取得する（Ｓ２０９３）。
【０１３７】
そして、３次元軌道取得部１９２は、ステップＳ２０９３で取得した３次元の仮想位置座標より、視覚対象物１の奥行き方向の座標を抽出する。具体的には、照準が視覚対象物１の領域と重なっていた時間区間内の奥行き方向の座標平均を求め、照準すなわち注視点が移動する前の奥行き位置とする（Ｓ２０９４）。次に、３次元軌道取得部１９２は、Ｓ２０９３での処理と同一の検査可能区間について、照準、すなわち注視点が移動した後の視覚対象物である、視覚対象物２の３次元の仮想位置座標を取得する（Ｓ２０９５）。３次元軌道取得部１９２は、ステップＳ２０９５で取得した３次元の仮想位置座標より、視覚対象物２の奥行き方向の座標を抽出する。具体的には、照準が視覚対象物２の領域と重なっていた時間区間内の奥行き方向の座標平均を求め、照準すなわち注視点が移動する前の奥行き位置とする（Ｓ２０９６）。さらに、３次元軌道取得部１９２は、視覚対象物１の奥行き位置平均から視覚対象物２の奥行き位置平均への移動を当該検索可能区間の奥行き方向移動として算出する（Ｓ２０９７）。
【０１３８】
続いて、同一軌道検索部１９３は、ステップＳ２０９７で計算された奥行き方向の移動と同一の奥行き方向の移動を含む検査可能区間を検索する（Ｓ２０９８）。なお、同一軌道検索部１９３は過去の検査可能区間に対して、ステップＳ２０９３からステップＳ２０９７と同等の処理を行うとしても良いが、ステップＳ２０９７において、３次元軌道取得部１９２は当該検査可能区間の奥行き方向移動の情報を、検査可能区間蓄積部１７０に蓄積されたデータ１７０ａが示す検査可能区間に対応付けて記憶し、ステップＳ２０９８では、同一軌道検索部１９３は対象物奥行き情報記憶部１８０を参照することなく、検査可能区間蓄積部１７０に記憶されたデータ１７０ａから奥行き方向移動の情報を検索するとしても良い。そして、同一軌道検索部１９３は、当該の検査可能区間での奥行き方向移動と同一の奥行き方向移動を持つ検査可能区間の有無を判定する（Ｓ２０９９）。その結果、ステップＳ２０９９で、当該の検査可能区間と同一の奥行き方向移動を持つ検査可能区間が無い場合は（Ｓ２０９９でｎｏ）、ステップＳ２０９２へ戻る。一方、ステップＳ２０９９で当該の検査可能区間と同一の奥行き方向移動を持つ検査可能区間が１つ以上ある場合は（Ｓ２０９９でｙｅｓ）、ステップＳ２１００へ進む。
【０１３９】
そして、比較区間決定部１９４は当該の検査可能区間と、ステップＳ２０９８で検索された当該の検査可能区間と同一の奥行き方向移動を持つ１つ以上の検査可能区間の組を比較区間として決定し（Ｓ２１００）、ステップＳ２０９２へ戻る。ステップＳ２０９２において、ステップＳ２０９２で全件の検索が終了している場合は（Ｓ２０９２でｙｅｓ）、ステップＳ２１０１に進む。ステップＳ２１０１では、新規に決定された全検査可能区間のうち１つ以上の検査可能区間で比較区間が決定できたか否かを判断する（Ｓ２１０１）。比較区間が決定された新規の検査可能区間が１つ以上ある場合は（Ｓ２１０１でｙｅｓ）、図３１のステップＳ１１００へ進む。一方、比較区間が決定された新規の検査可能区間が無い場合は（Ｓ２１０１でｎｏ）、図３１のステップＳ１０３０へ戻る。
【０１４０】
図３５は、図３１におけるステップＳ２１１０（眼球運動の比較手順）の詳細を示す。図３５に従ってＳ２１１０の手順を説明する。
【０１４１】
時間区間取得部２２１は、図３４におけるステップＳ２１００で決定された複数個の検査可能区間について時間区間を取得する。そして、検査可能区間の時間区間１と時間区間２をあわせた時間区間を各検査可能区間の時間区間として、各検査可能区間の時間区間に対応する眼球運動データを抽出する。データ分割部２３１は、抽出した眼球運動データを右目のデータと左目のデータに分割し、左右のデータをそれぞれ右目データ蓄積部２３２と左目データ蓄積部２３３へ保存する（Ｓ２１１１）。右目データ比較部２３４は、ゲーム開始時点に最も近い時間の検査可能区間の右目の眼球運動データと各比較区間の右目のデータとの差分を計算する（Ｓ２１１２）。それと並行して、左目データ比較部２３５はゲーム開始時点に最も近い時間の検査可能区間の左目の眼球運動データと各比較区間の左目のデータとの差分を計算する（Ｓ２１１３）。
【０１４２】
ステップＳ２１２０での疲労度の判定方法の一例を以下に示す。疲労度判定部２４０は、ステップＳ２１１２で求められた右目の眼球運動の差分とステップＳ２１１３で求められた左目の眼球運動の差分とを取得する。図３６のグラフは、検査可能区間の時間区間の先頭時間をゲーム開始時点からの経過時間として横軸にとり、縦軸に奥行きの移動量で正規化した、ゲーム開始時点に最も近い時間の眼球運動データと各比較区間のデータとの差分を縦軸にとったものである。図３６の例では、比較区間の組が決定された新規の検査可能区間が３組あり、それぞれ、奥行き方向の移動が、プレーヤー１００に近づく方向に３７０ｍｍ移動するもの（白抜き丸のプロット）と、プレーヤー１００から遠ざかる方向に１５０ｍｍ移動するもの（白抜き三角のプロット）と、プレーヤー１００に近づく方向に２２０ｍｍ移動するもの（白抜きひし形のプロット）である。白抜き丸で示されたプレーヤー１００に近づく方向に３７０ｍｍ移動する区間には比較可能な区間が２箇所あり、白抜き三角で示されたプレーヤー１００から遠ざかる方向に１５０ｍｍ移動するものは、比較可能な区間が１箇所あったことを示している。さらに白抜きひし形で示されたプレーヤー１００に近づく方向に２２０ｍｍ移動する区間には比較可能な区間が３箇所あったことを示している。白抜き丸で示した、視覚対象物がプレーヤー１００に近づく方向に３７０ｍｍ移動する区間における疲労の指標の値として、ゲーム開始時点に最も近い時間での疲労の指標をａ０、次に検査可能な区間の疲労の指標をａ２、３回目の検査可能な区間の疲労の指標をａ３とする。白抜き三角で示された視覚対象物がプレーヤー１００から遠ざかる方向に１５０ｍｍ移動する区間では、ゲーム開始時点に最も近い時間での疲労の指標をｂ０、次の検査可能な区間の疲労の指標をｂ１とする。白抜きひし形で示されたプレーヤー１００に近づく方向に２２０ｍｍ移動する区間における疲労の指標は、ゲーム開始時点に最も近い時間での疲労の指標をｃ０、以降を経過時間に沿ってｃ１、ｃ２、ｃ３とする。ステップＳ２１１２とＳ２１１３で、眼球運動の差分としてゲーム開始時に最も近い比較可能区間を基準値とするため、ゲーム開始時にもっとも近い時点の縦軸の値は０である。奥行き方向の移動量が大きいほど眼球運動の負荷が大きいため、ステップＳ２１１２とＳ２１１３で求められた時間当たりの眼球運動の差をさらに奥行き方向の移動量で除して疲労の指標とする。図３６のａ２の例では、疲労度判定部２４０は、ａ２の区間での右目の瞳孔中心の位置とａ０の区間での右目の瞳孔中心の位置との各時間点での差の絶対値を求め、その総和をゲーム開始時に最も近い検査可能区間と比較区間との右目の眼球運動の差分とする。左目の眼球運動についても右目と同様に求める。右目の眼球運動の差分と左目の眼球運動の差分とを加算して、比較区間の時間長で除す。例えば、ａ２とａ０とのの眼球運動の差は左右の総和で８００ピクセルであり、比較区間の時間長０．４秒で除すと、２０００（ピクセル／秒）となる。これをさらに奥行き方向の移動量３７０ｍｍで除して、５．４（ピクセル・ｍｍ／秒）となる。同様にして、疲労度判定部２４０は、他の比較区間の眼球運動に対しても疲労の指標を求める。求められた複数個の疲労指標のうち、あらかじめ定められた疲労基準を超えたものの比率を求め、疲労度とする（Ｓ２１２０）。疲労基準は、例えば４．８（ピクセル・ｍｍ／秒）である。この値は、実験的にもとめられるものである。図３６の例では、ａ０、ｂ０、ｃ０以外の比較区間において疲労の指標が疲労基準を超えた比較区間はａ２、とｃ３である。疲労度判定部２４０は、現在の経過時間Ｔｐでの疲労度は新規検査区間の比較区間の疲労の指標のうち疲労基準を超えた比較区間の比によって疲労度を決定する。図３６の例では新規検査区間３つのうち２つの比較区間において疲労の指標が疲労基準を超えたため、現在の経過時間Ｔｐの時点での疲労は６７％の疲労度となる。
【０１４３】
図３１を参照して、ステップＳ２１２０で求められた疲労度に基づき、出力部２５０は、警告すべき疲労か否かを判断する（Ｓ１１３０）。例えば、疲労度が５０％以上の場合に（Ｓ１１３０でｙｅｓ）、表示画面および音声提示用ヘッドホンあるいはスピーカより、プレーヤー１００に視覚性の疲労が起こっている旨を示す警告を与え（Ｓ１１４０）、ステップＳ１０３０へ戻る。一方、ステップＳ１１３０において疲労度が所定の値を超えていなければ（Ｓ１１３０でｎｏ）、ステップＳ１０３０にもどる。ゲームのプレー中、ステップＳ１０３０からＳ１１４０を繰り返す。
【０１４４】
本実施の形態１の変形例１では、図３６のようにゲーム開始後の時間経過に伴って変化する疲労度を求めることができる。従って、疲労度が急激に上昇した場合に警告を出力する等の処理も可能である。
【０１４５】
以上のように、本変形例における視覚疲労度測定装置を備えたゲーム機では、視覚対象物に対する操作入力によりプレーヤー１００が注視している視覚対象物を特定し、ゲーム開始直後の疲労のない状態で視覚対象物を注視しているときの眼球運動と、ゲームを続ける過程で、視覚対象物を注視しているときの眼球運動との比較を、時間を追って行うことができる。ゲーム内のストーリーにあわせて、同一あるいは類似軌道をもつ視覚対象物を、時間を置いて映像中に提示することで、ゲームの映像のみを利用して眼球運動の比較を行うことができ、視覚性疲労の計測のためにゲームを中断したり、ゲームを始める前にキャリブレーションをしたりする必要がない。これにより、ゲームの楽しみを妨げることがない視覚疲労度測定装置を提供することができる。
【０１４６】
さらに、本変形例のようにプレーヤー１００が照準を１つの視覚対象物から他の視覚対象物へ移動させる際の眼球運動を疲労の計測に利用することで、より疲労の影響が出やすい、速い眼球運動の状態の変化を計測するため、プレーヤー１００の視覚性疲労をより早く検出することができる。
【０１４７】
（実施の形態１の変形例２）
次に、本実施の形態１の変形例２について説明する。なお、本実施の形態１の変形例２は、図３７の構成図に示されるように、実施の形態１の眼球運動比較部２３０が眼球運動比較部３３０に入れ替わり、疲労度判定部２４０が疲労度判定部３４０に入れ替わった以外は実施の形態１と同様であるので、眼球運動比較部３３０、疲労度判定部３４０の構成と、これらの構成が関わる処理手順についてのみ詳細に説明をする。
【０１４８】
実施の形態１では、眼球運動を比較する際に右目の眼球運動の比較と左目の眼球運動の比較をそれぞれに行い、左右それぞれの比較結果に基づいて、疲労度を判定した。本変形例２は、左右の目の位置情報の差、すなわち立体視することによる両眼の角度の違いを求め、両眼間の差の値の変化から疲労を判定する。
【０１４９】
図３７は、本変形例における眼球運動比較部３３０の詳細な構成図である。眼球運動比較部３３０は、左目の瞳孔中心の位置と右目の瞳孔中心の位置との差を用いて眼球運動を比較する処理部であり、左右差データ生成部３３１と、左右差データ蓄積部３３２と、左右差データ比較部３３３とからなる。疲労度判定部３４０は、検査区間決定部１９０より比較区間における視覚対象物の移動軌道を取得する。
【０１５０】
実施の形態１におけるステップＳ１０１０からステップＳ１１００までの動作は、本変形例でも同様である。実施の形態１におけるステップＳ１１１０は、本変形例２では、ステップＳ３１１０に置き換わる。図３８は、ステップＳ３１１０（眼球運動の比較手順）の詳細を示すフローチャートである。
【０１５１】
図３８に従ってステップＳ３１１０の詳細を説明する。実施の形態１と同様に、注視対象物特定部１６０は、視覚対象物に対する操作入力によりプレーヤー１００が注視している視覚対象物を特定する。眼球運動抽出部２２０は、ステップＳ１０９０で決定された直近の検査可能区間とその区間と比較可能な過去の検査可能区間の、２つの比較可能な時間区間に従って、眼球運動蓄積部２１０に蓄積された眼球運動データ２１０ａより、比較区間に対応する眼球運動を抽出する（Ｓ１１００）。左右差データ生成部３３１は、ステップＳ１１００で取得された眼球運動のうち、直近の時間区間について、左右の眼球運動の差を求め、左右差データとして、左右差データ蓄積部３３２に記憶する（Ｓ３１１１）。
【０１５２】
ここで、眼球運動は、瞳孔中心の位置を座標として表したデータである。差分は左右の瞳孔中心位置の差を２次元で表したものとなる。図３９は、左右差データ蓄積部３３２に蓄積された左右差データ３３２ａの一例を示す図である。左右差データ３３２ａには、ゲーム開始からの経過時間とその時間における、水平方向の左右の眼球位置の差と垂直方向の左右の眼球位置の差とを含まれる。左右差データ３３２ａは、時間区間ごとに記録される。具体的には、左右差データ３３２ａは、以下のようにして求められる。
【０１５３】
直近の時間区間における右目瞳孔中心の座標を、
【数５】
2012160741.tif 000007
とおき、左目瞳孔中心の座標を、
【数６】
2012160741.tif 000008
とおくと、左右の瞳孔中心位置の差は、
【数７】
2012160741.tif 000009
と表せる。図３９の「水平軸左右差」は上記の
【数８】
2012160741.tif 000010
であり、「垂直軸左右差」は
【数９】
2012160741.tif 000011
である。
【０１５４】
なお、３次元映像は、両眼の水平方向の画像の違い、すなわち視差角によって立体視を実現している。立体視に特有の眼球運動は左右の眼球運動の水平方向の差として現れる。そこで、ステップＳ３１１１で左右眼球運動の差として水平方向の瞳孔中心位置の差のみを計算しても良い。
【０１５５】
さらに、左右差データ生成部３３１は、ゲーム開始後２０分以内の時間区間について、Ｓ３１１１での処理と同様に、左右の眼球運動の差分を求め、左右差データ蓄積部３３２に記憶する（Ｓ３１１２）。
【０１５６】
ゲーム開始後２０分以内の時間区間の右目瞳孔中心の座標を、
【数１０】
2012160741.tif 000012
とおき、左目瞳孔中心の座標を、
【数１１】
2012160741.tif 000013
とおくと、左右の瞳孔中心位置の差は、
【数１２】
2012160741.tif 000014
と表せる。
【０１５７】
左右差データ比較部３３３は、ステップＳ３１１１とＳ３１１２で求められた直近の眼球運動の左右差のデータとゲーム開始後２０分以内の眼球運動の左右差のデータとの差分を求める（Ｓ３１１３）。
【０１５８】
このとき、左右差データ比較部３３３は、各サンプル点での左右の瞳孔中心位置の差について、２つの時間区間で、時間区間の開始点を０とするサンプル点ｉごとに差分、すなわち差の絶対値を求める。時間区間内の全サンプル点について、以下の式のようにして、上記の差分の総和を求める。
【０１５９】
【数１３】
2012160741.tif 000015
【０１６０】
これを直近の眼球運動とゲーム開始後２０分以内の眼球運動との差分とする。
【０１６１】
疲労度判定部３４０は、検査区間決定部１９０から取得した比較に用いる時間区間の視覚対象物の軌道情報より、視覚対象物の移動速度を計算する。視覚対象物の軌道情報は、図６のようにゲーム開始からの経過時間ごとに、各視覚対象物の仮想位置をプレーヤー１００の頭部位置を基準とした３次元の座標位置として記憶されている。疲労度判定部３４０は、時間区間における照準と重なる領域を持つ対象物の３次元空間内での移動距離（ｃｍ）を求め、時間区間の時間長（秒）で除すことで、視覚対象物の移動速度を求める。そして、疲労度判定部３４０は、ステップＳ３１１３で求められた直近の眼球運動の左右差とゲーム開始後２０分以内の眼球運動の左右差との差分を視覚対象物の移動速度で除し、疲労度の指標を算出する。図４０は、疲労度指標である「左右差の変化量総和／視覚対象物移動速度」と疲労との関係を模式的に示したものである。
【０１６２】
得られた疲労度に対して、疲労度判定部３４０は、例えば３つの領域に分割し、疲労なし、疲労兆候、疲労状態を判定する。
【０１６３】
以上のように、本変形例における視覚疲労度測定装置を備えたゲーム機では、視覚対象物に対する操作入力によりプレーヤー１００が注視している視覚対象物を特定し、ゲーム開始直後の疲労のない状態で視覚対象物を注視しているときの眼球運動と、ゲームを続けている現状での視覚対象物を注視しているときの眼球運動とを比較する。ゲーム内のストーリーにあわせて、同一あるいは類似軌道をもつ視覚対象物を、時間を置いて映像中に提示することで、ゲームの映像のみを利用して視覚性疲労の計測を行うことができ、計測のためにゲームを中断したり、ゲームを始める前にキャリブレーションをしたりする必要がない。これにより、ゲームの楽しみを妨げることがない視覚疲労度測定装置を提供することができる。
【０１６４】
さらに、本変形例のように、プレーヤー１００が注視している視覚対象物の移動速度に応じて疲労度を計算することで、眼球が視覚対象物の動きに追随する場合に、視覚対象物の速度によって疲労の現れやすさが異なることに対応できる。つまり、眼球が視覚対象物の速い動きに追随する際には疲労が現れやすく、遅い動きに追随する際には疲労が現れにくいが、直近の眼球運動の左右差とゲーム開始後２０分以内の眼球運動の左右差との差分を視覚対象物の移動速度で除して疲労度の指標とすることで、視覚対象物の動きの早さにかかわらず、プレーヤー１００の視覚性疲労を判断することができる。これにより、プレーヤー１００の視覚性疲労度をより正確に検出することができる。
【０１６５】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図４１は、本実施の形態２による視覚疲労度測定装置２の構成図である。実施の形態１の図３と同一の部分に同一の符号を付し、説明を省略する。
【０１６６】
本実施の形態における視覚疲労度測定装置２は、実施の形態１の視覚疲労度測定装置１の注視対象物特定部１６０が注視対象物特定部５６０に置き換わり、検査可能区間蓄積部１７０が検査可能区間蓄積部５７０に置き換わり、検査区間決定部１９０が検査区間決定部５９０に置き換わり、対象映像情報生成部５１０が付け加わった以外は、図３の実施の形態１の視覚疲労度測定装置１と同様の構成である。
【０１６７】
この視覚疲労度測定装置２は、映像情報蓄積部１１０と、プレーヤー１００に３次元映像を提示する映像提示部１２０と、対象物領域情報記憶部１３０と、操作入力部１４０と、操作履歴蓄積部１５０と、対象映像情報生成部５１０と、注視対象物特定部５６０と、検査可能区間蓄積部５７０と、対象物奥行き情報記憶部１８０と、検査区間決定部５９０と、眼球運動取得部２００と、眼球運動蓄積部２１０と、眼球運動抽出部２２０と、眼球運動比較部２３０と、疲労度判定部２４０とを備えている。
【０１６８】
対象映像情報生成部５１０は、検査可能区間蓄積部５７０で蓄積されている検査可能区間を示す情報に基づいて視覚対象物を含む映像を生成する処理部であり、ここでは、検査区間決定部５９０が、検査が可能な比較区間を決定できなかった場合に、検査可能区間蓄積部５７０に蓄積された検査可能区間の視覚対象物の軌道情報に合わせて、映像情報蓄積部１１０に蓄積された映像情報１１０ａを利用して検査に利用可能な映像を生成する。
【０１６９】
図４２、図４３は、それぞれ、本実施の形態による視覚疲労度測定装置１が備える検査区間決定部５９０、対象映像情報生成部５１０の詳細な構成図の一部である。
【０１７０】
図４２は、図４１における検査区間決定部５９０の詳細な構成図である。実施の形態１の図１２と同一の構成には同一の符号を付し、説明を省略する。
【０１７１】
検査区間決定部５９０は、ＩＤ・時間区間取得部１９１と、疲労度検査の実施なしにゲームを続けている時間を計測する計時部５９１と、疲労度検査の実施なしにゲームを続けている時間に従って疲労度検査の実行を決定する検査実行決定部５９２と、３次元軌道取得部１９２と、同一軌道検索部１９３と、比較区間決定部１９４と、直近の検査可能区間と同一軌道の検査可能区間が無い場合や、ゲーム開始直後の比較可能な区間が無い場合等、比較区間が設定できない場合に検査不能の判定を行う検査不能判定部５９３とから成る。
【０１７２】
図４３は、図４１における対象映像情報生成部５１０の詳細な構成図である。対象映像情報生成部５１０は、ゲーム開始直後の検査可能区間から視覚対象物の情報を取得する検査対象物抽出部５１１と、ゲーム開始直後の検査区間に含まれる視覚対象物の情報を取得する対象物情報検索部５１２と、検査用の視覚対象物の映像を取得する映像データ取得部５１３と、検査用視覚対象物を含む映像を生成する映像生成部５１４と、検査用視覚対象物の軌道情報を蓄積する検査用対象物奥行き情報蓄積部５１５と、検査用視覚対象物の画面上の領域と時間区間の情報とを蓄積する検査用対象領域情報蓄積部５１６とから成る。
【０１７３】
以上のように構成された実施の形態２における視覚疲労度測定装置２の動作を図４４に従って説明する。
【０１７４】
図４４は、実施の形態２における視覚疲労度測定装置２の動作を示すフローチャートである。実施の形態１のステップＳ１０４０以降の動作をステップＳ５０００通常処理動作として説明を省略する。実施の形態１の図１８と同一の動作については同一の符号を付して適宜説明を省略する。
【０１７５】
まず、プレーヤー１００が、ゲームを開始する（Ｓ１０１０）。ゲームの開始に伴い、眼球運動取得部２００は、両目の眼球運動の計測を開始し、計測結果を、眼球運動データ２１０ａとして、眼球運動蓄積部２１０に蓄積する（Ｓ１０２０）。眼球運動取得部２００は、ゲーム終了を指示する入力の有無を確認する（Ｓ１０３０）。ステップＳ１０３０において、ゲーム終了を指示する入力がある場合には（Ｓ１０３０でｙｅｓ）、ステップＳ１１５０へ進み、眼球運動取得部２００は、眼球運動の記録を終了する（Ｓ１１５０）。そして、眼球運動記録の終了後にゲームを終了する（Ｓ１１６０）。
【０１７６】
一方、ステップＳ１０３０において、ゲーム終了を指示する入力がない場合は（Ｓ１０３０でｎｏ）、ステップＳ５０１０へ進む。Ｓ５０１０では、検査区間決定部５９０が疲労度の検査を行わずにゲームを継続している時間長があらかじめ定められた基準の時間長を超過しているか否かを判定する（Ｓ５０１０）。そして、検査区間決定部５９０の計時部５９１は、ゲーム開始からの経過時間または直近の疲労度検査の実行からの経過時間を計測する。その結果、検査区間決定部５９０の検査実行決定部５９２は、計時部５９１で計測された時間があらかじめ定められた基準例えば３０分を超えた場合（Ｓ５０１０でｙｅｓ）、検査の実行を決定する。一方、ステップＳ５０１０において未検査の時間長が基準時間長を超えていない場合は（Ｓ５０１０でｎｏ）、ステップＳ５０００の通常動作へ進む。なお、ステップＳ５０００の通常動作において、直近の検査可能区間と同一の軌道の視覚対象物が記録されていない、あるいはゲーム開始後２０分以内の検査可能区間に対応するデータが無い等で直近の検査可能区間に対して検査を実施できない場合に、実施の形態１ではステップＳ１０３０に戻ったが、検査区間決定部５９０の検査不能判定部５９３へ検査不能の情報を出力する。
【０１７７】
ステップＳ５０１０において、未検査の時間が基準値を超えたと判断された場合は（Ｓ５０１０でｙｅｓ）、検査不能判定部５９３から未検査情報が出力され、ステップＳ５０２０へ進む。対象映像情報生成部５１０は、検査用映像を生成し、検査用視覚対象物の軌道情報を検査用対象物奥行き情報蓄積部５１５に蓄積し、検査用視覚対象物の領域情報と時間情報とを検査用対象領域情報蓄積部５１６に記憶する（Ｓ５０２０）。そして、映像提示部１２０は、ステップＳ５０２０で生成された検査用映像をプレーヤー１００に提示する（Ｓ５０３０）。このとき、操作入力部１４０は、ステップＳ５０３０で提示した映像に対してプレーヤー１００が操作入力部１４０を操作したか否かを確認する（Ｓ１０５０）。ステップＳ１０５０において、プレーヤー１００の操作がない場合は（Ｓ１０５０でｎｏ）、ステップＳ５０２０へ戻る。一方、ステップＳ１０５０においてプレーヤー１００の操作がある場合は（Ｓ１０５０でｙｅｓ）、操作入力部１４０は、入力された一連の操作を、操作履歴１５０ａとして、操作履歴蓄積部１５０に保存する（Ｓ１０６０）。
【０１７８】
続いて、注視対象物特定部５６０はプレーヤー１００が検査用視覚対象物を注視し続けているか否かを判定する（Ｓ５０７０）。その結果、ステップＳ５０７０においてプレーヤー１００が検査用視覚対象物を注視していない場合は（Ｓ５０７０でｎｏ）、ステップＳ５０２０へ戻る。一方、ステップＳ５０７０においてプレーヤー１００が検査用視覚対象物を注視している場合は（Ｓ５０７０でｙｅｓ）、ステップＳ５０８０に進む。ステップＳ５０８０では、検査可能区間蓄積部５７０は、対象映像情報生成部５１０が検査用視覚対象物を特定するＩＤとその視覚対象物を注視していた時間区間とを検査可能区間として記憶する（Ｓ５０８０）。そして、検査区間決定部５９０は、ステップＳ５０８０で検査可能区間蓄積部５７０に記憶した検査用視覚対象物の仮想位置の軌道を検査用対象物奥行き情報蓄積部５１５より抽出し、検査用視覚対象物設定の基となった検査可能区間を抽出し、検査用視覚対象物に対する注視時間区間と対応する時間区間を決定する（Ｓ５０９０）。これにより、２つの時間区間が設定される。以降の処理は、実施の形態１のステップＳ１１００以降と同一の処理手順であるので、説明を省略する。
【０１７９】
以下に、対象映像情報生成部５１０が検査用映像を生成するステップＳ５０２０の手順の詳細を、図４５を用いて、説明する。ステップＳ５０１０で検査不能により未検査時間長が基準値を超えている場合（Ｓ５０１０でｙｅｓ）、まず、検査対象物抽出部５１１は、検査可能区間蓄積部５７０のうちゲーム開始後疲労が起こっていないとみなせる時間内、例えばゲーム開始後２０分以内の時間区間を持つ検査可能区間を抽出する（Ｓ５０２１）。そして、対象物情報検索部５１２は、該当の検査可能区間の視覚対象物の移動軌道（対象物奥行き情報１８０ａ）を対象物奥行き情報記憶部１８０より抽出する（Ｓ５０２２）。次に、対象物情報検索部５１２は、該当の検査可能区間が多数ある場合は眼球運動が大きく疲労が検出しやすい、奥行き方向の移動が大きい軌道を持つ視覚対象物を持つ検査可能区間を比較区間として選択する（Ｓ５０２３）。さらに、対象物情報検索部５１２は、比較区間の視覚対象物と同一の軌道を持つ視覚対象物を対象物奥行き情報記憶部１８０より検索する。比較区間の視覚対象物と同一の軌道を持つ視覚対象物または、比較区間の視覚対象物以外に同一の軌道を持つ視覚対象物が無い場合は比較区間の視覚対象物を、利用視覚対象物として決定する（Ｓ５０２４）。なお、同一の軌道を持つ視覚対象物が複数個ある場合は、視覚対象物が含まれるシーンの明度情報あるいはコントラスト情報が比較区間に近いものを選択する。そして、対象物情報検索部５１２は、ステップＳ５０２４で決定された利用視覚対象物の移動軌道を検査用対象物奥行き情報蓄積部５１５に蓄積する。さらに、対象物情報検索部５１２は、利用視覚対象物の領域情報と検査用映像内での相対的な時間位置情報とを検査用対象領域情報蓄積部５１６に記憶する（Ｓ５０２５）。
【０１８０】
続いて、映像データ取得部５１３は、利用視覚対象物のＩＤと時間区間と領域情報とに基づいて、利用視覚対象物の映像情報１１０ａを映像情報蓄積部１１０から抽出する（Ｓ５０２６）。そして、映像データ取得部５１３は、比較区間のコントラストと同等となる背景画像を映像情報蓄積部１１０から抽出する（Ｓ５０２７）。最後に、映像生成部５１４はステップＳ５０２７で抽出された背景画像にステップＳ５０２６で抽出された映像情報１１０ａが示す視覚対象物の映像を重ねて合成する（Ｓ５０２８）。なお、映像情報蓄積部１１０から抽出する映像情報１１０ａが示す映像は３次元映像であり、画像処理は右目用映像と左目用映像の２つが合成されるものとする。
【０１８１】
以上のように、本実施の形態における視覚疲労度測定装置２によれば、ゲームの進行の中で、同一または類似の軌道を持つ視覚対象物が長時間に渡って提示されないために、ゲーム中のプレーヤー１００の操作のみでは検査が不可能で、疲労度の検査が長時間にわたって行われない場合に、ゲームコンテンツの中に確実に検査を実施するための検査用映像を作成して挿入することで、ゲームを中断せずに、必要に応じて疲労度を計測することができる。これにより、ゲームの楽しみを妨げることがない視覚疲労度測定装置２を提供することができる。特にロールプレイイングゲームのように、ゲームのストーリーがプレーヤー１００の選択によって変わり、眼球運動を比較できる視覚対象物が提示される時間区間のペアが作れない場合には、ゲームのストーリーを絞り、蓄積された検査可能区間とペアになる映像を提示して確実に検査をおこなう。これにより、疲労度の計測をしないままにプレーヤー１００が長時間ゲームを続け、疲労を蓄積させてしまうことを防ぐことができる。
【０１８２】
（実施の形態３）
本実施の形態では、３Ｄメガネ（３Ｄ眼鏡）１８と画像を表示する装置を含む３次元映像ゲーム機２６１０とが双方向の通信を行う視覚疲労度測定装置３の構成について説明する。図４６Ａに、視覚疲労度測定装置３の構成の一例を示す。図４６Ａにおいては、実施の形態３で説明したブロックに関しては、同一の番号を付与している。３次元映像ゲーム機２６１０は、３次元映像を表示する画像表示装置の一例である。
【０１８３】
視覚疲労度測定装置３は、図１の視覚疲労度測定装置１の構成に加えて、眼球運動送信情報生成部２６００と、眼球運動情報送信部２６０１と、眼球運動情報受信部２６０２と、同期信号送信部２６０３と、同期信号受信部２６０４と、シャッタ制御部２６０５とを備える。
【０１８４】
眼球運動送信情報生成部２６００は、眼球運動取得部２００で測定されたプレーヤー１００の眼球運動のデータを所定の送信フォーマットに加工する。
【０１８５】
眼球運動情報受信部２６０２は、眼球運動送信情報生成部２６００で生成されたプレーヤー１００の眼球運動の情報を送信する。
【０１８６】
同期信号送信部２６０３は、映像提示部１２０で提示される画像に対して、左目用画像と右目用画像の切替制御の同期信号を送信する。
【０１８７】
同期信号受信部２６０４は、３次元映像ゲーム機２６１０の同期信号送信部２６０３から送信された信号を受信する。
【０１８８】
シャッタ制御部２６０５は、同期信号受信部２６０４で受信した信号に基づき、３Ｄメガネ１８の右目のシャッタ及び左目のシャッタを制御する。右目のシャッタは、右目に画像が提示されないように右目への映像を遮蔽する。左目のシャッタは、左目に画像が提示されないように左目への映像を遮蔽する。
【０１８９】
なお、図４６Ａおよび後述する図４９において、点線の枠で囲まれた構成要素は、ソフトウェアで実現する場合には、典型的には、その点線の枠内に記載されているように、図５１に示されるコンピュータシステムにおけるプログラム３３を格納したメモリ３１およびＣＰＵ３０によって実現される。
【０１９０】
上記のように構成されたシステムにおいては、実施の形態１で説明した構成要素については、同様の動作を行う。
【０１９１】
本実施の形態においては、３Ｄメガネ１８と３次元映像ゲーム機２６１０との通信内容をさらに説明する。本システムでの３Ｄメガネ１８と３次元映像ゲーム機２６１０との通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＺｉｇＢｅｅ（登録商標）、無線ＬＡＮ等に代表されるような近距離の無線通信を想定している。図４６Ｂは、３次元映像ゲーム機２６１０と３Ｄメガネ１８の通信手順を示す。
【０１９２】
３Ｄメガネ１８の電源が入力されると同時に、３Ｄメガネ１８は自らのＩＤを発信し（通信１）、３次元映像ゲーム機２６１０に対して所定ＩＤのメガネの電源が入力されたことを知らせる。
【０１９３】
その信号を３次元映像ゲーム機２６１０側で受信し、３Ｄメガネ１８のＩＤが登録される。その後、登録された３Ｄメガネ１８に対して、３Ｄメガネ１８の液晶シャッタの開閉に関する制御信号が送信される（通信２）。
【０１９４】
このとき、眼球運動取得部２００で測定されたプレーヤー１００の眼球運動のデータを所定のタイミングで３次元映像ゲーム機２６１０側に発信する（通信３）。
【０１９５】
眼球運動送信情報生成部２６００は、図４７に示す通信１のデータフォーマットのように、眼鏡ＩＤ、送信日時、送信時刻、送信先表示機器ＩＤ、眼球運動データを含む送信情報を生成する。
【０１９６】
眼球運動情報送信部２６０１では、眼球運動送信情報生成部２６００で生成された、図４７の情報を３次元映像ゲーム機２６１０に向けて送信する。
【０１９７】
図４７に示すように、送信するデータについては、図４７に示すようにバイナリデータやテキストデータ、または、ＸＭＬフォーマットで記述されているデータを送信する（通信３）。
【０１９８】
また、３次元映像ゲーム機２６１０は、映像提示部１２０の左目用画像、右目用画像の表示と同期させるためのタイミング信号を同期信号送信部２６０３から３Ｄメガネ１８に対して送信する。
【０１９９】
また、図４８の通信２のデータフォーマットに示すように、３次元映像ゲーム機２６１０が３Ｄメガネ１８に送信する信号は、送信元のゲーム機ＩＤ、送信日時、送信時刻、送信先眼鏡ＩＤ、シャッタの制御信号を含む。図４８に示すように、バイナリデータ、テキストデータ、または、ＸＭＬフォーマットで記述されているデータとして送信する。このようにして、３Ｄメガネ１８と３次元映像ゲーム機２６１０との双方向の無線通信を利用することで、プレーヤーの眼球運動の情報に応じた３次元映像ゲーム機２６１０の画像の制御が可能になる。
【０２００】
なお、３次元映像ゲーム機２６１０をプレーするプレーヤーは、一人とは限らない。複数人がプレイする場合もある。そのときは、図４９の実施の形態３の変形例に示すように、３Ｄメガネ１（１８ｂ）と３Ｄメガネ２（１８ａ）がそれぞれ、３次元映像ゲーム機２６１０と双方向通信（通信１１〜１４）を行うことになる。プレーヤーの眼球運動により、疲労度に応じた出力をする。しかしながら、複数のプレーヤーがゲームをプレイしている場合には、一人のプレーヤーの眼球運動がから疲労が判定された場合に、そのプレーヤーに応じて警告等を出力すると、他のプレーヤーのプレイの妨げになる。
【０２０１】
そこで、本実施の形態においては、例えば、３Ｄメガネ２（１８ａ）からの眼球運動情報（通信１３）から、疲労が判定された場合には、３Ｄメガネ２（１８ａ）に対して、左目用の画像を提供しているときに、左目、右目のシャッタを開き、右目用の画像を提供しているときに、左目、右目のシャッタを閉じることで（通信１４）、２Ｄ映像を提供するようにする。そのときの通信内容（通信１２、通信１４）を図５０に示す。図５０で示すように、３Ｄメガネ１（１８ｂ）に対しては、左右のシャッタを交互に開くように３次元映像ゲーム機が送信する一方、３Ｄメガネ２（１８ａ）に対しては、左右のシャッタを同期させて開閉するような内容の送信を行う。一方、３Ｄメガネ１（１８ｂ）、３Ｄメガネ２（１８ａ）ともに同じくらいの疲労と判定される場合には、警告表示等の出力を行う。これにより、複数のプレーやーがプレイしている場合でも、プレーヤーの疲労度に合わせて処理を行うことができる。
【０２０２】
以上のように、本実施の形態における視覚疲労度測定装置は、３次元映像を表示する画像表示装置（例えば、３次元映像ゲーム機）と、前記３次元映像を視聴するための３次元メガネとを備えた視覚疲労度測定システムとして構成され、前記３次元メガネが、ユーザの眼球運動を計測する眼球運動取得部と、前記眼球運動取得部が計測した眼球運動情報を、前記３次元映像を表示する映像提示部を有する画像表示装置に送信する眼球運動情報送信部とを備え、前記画像表示装置が、視聴者の左目に提示する画像及び右目に提示する画像を蓄積している画像蓄積部と、前記画像蓄積部に蓄積された前記画像を表示する映像提示部と、前記３次元メガネから送信されてきた前記ユーザの眼球運動情報を用いて前記ユーザの視覚疲労度を判定する疲労度判定部とを備えるように構成される。こにより、画像表示装置と３次元メガネとを組み合わせたシステムにより、本発明に係る視覚疲労度測定装置が実現される。
【０２０３】
なお、本実施の形態では、３次元メガネが画像表示装置に眼球運動情報を送信し、画像表示装置において視覚疲労度を判定したが、本発明は、このような形態に限定されない。画像表示装置において得られた視覚疲労度の判定に必要な情報を３次元メガネに送信し、３次元メガネにおいて視覚疲労度を判定してもよい。その場合の３次元メガネは、左目に提示する画像及び右目に提示する画像を含む３次元映像を視聴するための３次元メガネであって、前記ユーザの眼球運動を計測する眼球運動取得部と、前記眼球運動取得部から前記ユーザの眼球運動情報を受信し、前記ユーザの眼球運動情報を用いて、前記ユーザの視覚疲労度を判定する疲労度判定部とを備えてもよい。これにより、３次元メガネにおいて視覚疲労度が算出される。
【０２０４】
以上、本発明に係る視覚疲労度測定装置およびその方法について、実施の形態１〜３、その変形例を用いて説明したが、本発明は、これらの実施の形態および変形例に限定されるものではない。本発明の主旨を逸脱しない範囲で、各実施の形態および変形例に対して当業者が思いつく各種変形を施して得られる形態や、各実施の形態および変形例における構成要素を任意に組み合わせて得られる形態も、本発明に含まれる。
【０２０５】
たとえば、上記実施の形態および変形例において複数人数のプレーヤー１００がプレーする場合、プレーヤー１００ごとに疲労度を判定するとしてもよい。
【０２０６】
また、実施の形態１〜３において、ゲーム開始から終了までの処理を説明したが、プレーヤー１００ごとに視覚性疲労の状態を蓄積する記憶部を備え、過去のゲーム実施時の疲労の状態よりプレーヤー１００ごとに学習して個人適応する個人適応部を備えても良い。これにより、個人内での疲労状態の変化に、より高い精度で対応することができる。
【０２０７】
また、上記実施の形態および変形例では、眼球運動より疲労状態を定量的に計測した。ここで、定量化された疲労度合と、その経過時間を利用することで、ユーザごとに、連続してゲームができる時間を予測することも可能になる。特に、ストーリー性のあるゲームを行う場合には、システムからの疲労に関するメッセージをだされても、中断することが困難な場合がある。そこで、ゲームの進行度合と、ユーザの眼球の疲労度合から、中断できそうな時点を推定し、その時点でユーザに対してアドバイスすることが考えられる。
【０２０８】
例えば、疲労の兆候が検出され、あと３０分程度すると、疲労状態になると判断されるときに、ちょうどゲームの切れ目になったときには、あと少しはゲームを継続できるが、その時点で、一旦セーブすることをシステムが提案することが考えられる。このように、ゲームの進行度合と、ユーザの疲労度合とを加味して、ゲームを中断する時点を、ユーザに提案することも可能になる。
【０２０９】
なお、実施の形態および変形例において、射撃シーンを例に説明したが、車やバイクのレースを題材にしたゲームの場合に障害物を避ける等の操作に基づいて視覚対象物を特定して眼球運動を比較しても良い。また、サッカーのような集団で行うスポーツを題材にしたゲームの場合に操作しようとする選手の切り替え指示や、パスやシュートの操作に基づいて視覚対象物を特定して眼球運動を比較しても良い。
【０２１０】
また、上記ブロック図（図３、図４３など）の各機能ブロックは、半導体集積回路であるＬＳＩで実現されてもよい。そのＬＳＩは、機能ブロックごとに１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されるものが含まれる。
【０２１１】
また、集積回路化の手法としては、ＬＳＩ化に限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用して集積回路化をしてもよい。
【０２１２】
また、上記実施の形態における視覚疲労度測定装置は、図１０を用いて説明したように、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現されてもよい。ここで、ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサがそのコンピュータプログラムにしたがって動作することにより、視覚疲労度測定装置はその機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０２１３】
すなわち、そのようなプログラムは、コンピュータ（あるいは、プロセッサ）に、３次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定方法であって、前記３次元映像を構成する左目用映像と右目用映像とを前記ユーザに提示する映像提示ステップと、提示された映像に対する前記ユーザの操作を受け付ける操作入力ステップと、前記映像の中の視覚対象物を特定する情報と前記視覚対象物が前記映像提示ステップで提示される時刻を示す情報とを含む対象物領域情報を記憶している対象物領域情報記憶部を参照することで、前記操作入力ステップが所定の操作を受け付けた場合に、前記所定の操作を受け付けた時刻に前記映像提示ステップで提示されていた映像の中の前記視覚対象物を前記ユーザが注視していたと判断する注視対象物特定ステップと、前記映像における前記視覚対象物の奥行きを示す対象物奥行き情報を記憶している対象物奥行き情報記憶部を参照することで、前記注視対象物特定ステップで特定された視覚対象物の奥行きの変化に基づいて、前記視覚疲労度を測定する検査のための時間区間を２つ以上決定する検査区間決定ステップと、前記映像提示ステップで提示された映像に対する前記ユーザの左右の眼球運動を示すデータを取得する眼球運動取得ステップと、取得された前記眼球運動を示すデータを眼球運動蓄積部に蓄積する眼球運動蓄積ステップと、前記眼球運動蓄積部に蓄積されているデータから、前記検査区間決定ステップで決定された２つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出ステップと、前記眼球運動抽出ステップで抽出されたデータに基づいて、前記２つ以上の時間区間での眼球運動を比較する眼球運動比較ステップと、前記眼球運動比較ステップでの比較結果から前記ユーザの視覚疲労度を判定する疲労度判定ステップとを実行させてもよい。
【０２１４】
また、上記実施の形態における視覚疲労度測定装置を構成する構成要素の一部または全部は、脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、超多機能ＬＳＩを含んでもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。
【０２１５】
また、本発明は、上記実施の形態におけるフローチャートに示す方法として実現してもよい。また、その方法をコンピュータにより実現するコンピュータプログラムとして実現してもよいし、そのコンピュータプログラムを表すデジタル信号として実現してもよい。さらに、そのコンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録した記録媒体として実現してもよい。
【０２１６】
また、上記コンピュータプログラムまたはデジタル信号は、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送することができるのは言うまでもない。
【０２１７】
また、上記コンピュータプログラムまたはデジタル信号を記録媒体に記録して移送することにより、または、上記コンピュータプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより、本発明に係る視覚疲労度測定装置またはその方法を実施してもよい。
【産業上の利用可能性】
【０２１８】
本発明にかかる視覚疲労度測定装置は、ゲーム等の３次元映像を視聴しているユーザの視覚疲労度を測定する装置として、つまり、３次元映像に対して視聴者が操作を行う場合に広く利用可能であり、特に、ゲームのシステムを構築する際に有用である。また、遠隔作業や遠隔手術あるいは教育、訓練用のバーチャルリアリティによる体験システム等の用途にも応用できる。
【符号の説明】
【０２１９】
１、２、３  視覚疲労度測定装置
１０、１２    記憶部
１１    入力部
１３    出力部
１４、３０    ＣＰＵ
１５    ＲＯＭ
１６    ＲＡＭ
１７    入出力Ｉ／Ｆ
１８、１８ａ、１８ｂ    ３Ｄメガネ
２０    コンピュータ
３１    メモリ
３３    プログラム
１００  プレーヤー
１１０、１１１  映像情報蓄積部
１１２  シーン制御部
１１３、５９１  計時部
１２０  映像提示部
１３０  対象物領域情報記憶部
１４０  操作入力部
１５０  操作履歴蓄積部
１６０、５６０  注視対象物特定部
１６１  射撃情報取得部
１６２  時間区間情報取得部
１６３  領域情報取得部
１６４  照準位置生成部
１６５  対象物特定部
１６６  検査可能区間決定部
１７０、５７０  検査可能区間蓄積部
１８０  対象物奥行き情報記憶部
１８５  奥行き変動量総和計算部
１９０、５９０  検査区間決定部
１９１  ＩＤ・時間区間取得部
１９２  ３次元軌道取得部
１９３  同一軌道検索部
１９４  比較区間決定部
２００  眼球運動取得部
２０１  カメラ
２０２  画像蓄積部
２０３  画像処理部
２１０  眼球運動蓄積部
２１１、９０１  ハーフミラー
２１２、９０２  赤外線カメラ
２１３  赤外線光源
２２０  眼球運動抽出部
２２１  時間区間取得部
２２２  データ抽出部
２３０、３３０  眼球運動比較部
２３１  データ分割部
２３２  右目データ蓄積部
２３３  左目データ蓄積部
２３４  右目データ比較部
２３５  左目データ比較部
２４０、３４０  疲労度判定部
２５０  出力部
２５１〜２５９  電極
２６０  生体信号アンプ
２６１  信号処理部
３３１  左右差データ生成部
３３２  左右差データ蓄積部
３３３  左右差データ比較部
５１０  対象映像情報生成部
５１１  検査対象物抽出部
５１２  対象物情報検索部
５１３  映像データ取得部
５１４  映像生成部
５１５  検査用対象物奥行き情報蓄積部
５１６  検査用対象領域情報蓄積部
５９２  検査実行決定部
５９３  検査不能判定部
９０３  立体視用液晶シャッタ
９０４  ディスプレイ
２６００  眼球運動送信情報生成部
２６０１  眼球運動情報送信部
２６０２  眼球運動情報受信部
２６０３  同期信号送信部
２６０４  同期信号受信部
２６０５  シャッタ制御部
２６１０  ３次元映像ゲーム機
【図１】
2012160741.tif 000016
【図２】
2012160741.tif 000017
【図３】
2012160741.tif 000018
【図４】
2012160741.tif 000019
【図５】
2012160741.tif 000020
【図６】
2012160741.tif 000021
【図７】
2012160741.tif 000022
【図８】
2012160741.tif 000023
【図９】
2012160741.tif 000024
【図１０】
2012160741.tif 000025
【図１１】
2012160741.tif 000026
【図１２】
2012160741.tif 000027
【図１３】
2012160741.tif 000028
【図１４】
2012160741.tif 000029
【図１５】
2012160741.tif 000030
【図１６】
2012160741.tif 000031
【図１７】
2012160741.tif 000032
【図１８】
2012160741.tif 000033
【図１９】
2012160741.tif 000034
【図２０】
2012160741.tif 000035
【図２１】
2012160741.tif 000036
【図２２】
2012160741.tif 000037
【図２３】
2012160741.tif 000038
【図２４】
2012160741.tif 000039
【図２５】
2012160741.tif 000040
【図２６】
2012160741.tif 000041
【図２７】
2012160741.tif 000042
【図２８】
2012160741.tif 000043
【図２９】
2012160741.tif 000044
【図３０】
2012160741.tif 000045
【図３１】
2012160741.tif 000046
【図３２】
2012160741.tif 000047
【図３３】
2012160741.tif 000048
【図３４】
2012160741.tif 000049
【図３５】
2012160741.tif 000050
【図３６】
2012160741.tif 000051
【図３７】
2012160741.tif 000052
【図３８】
2012160741.tif 000053
【図３９】
2012160741.tif 000054
【図４０】
2012160741.tif 000055
【図４１】
2012160741.tif 000056
【図４２】
2012160741.tif 000057
【図４３】
2012160741.tif 000058
【図４４】
2012160741.tif 000059
【図４５】
2012160741.tif 000060
【図４６Ａ】
2012160741.tif 000061
【図４６Ｂ】
2012160741.tif 000062
【図４７】
2012160741.tif 000063
【図４８】
2012160741.tif 000064
【図４９】
2012160741.tif 000065
【図５０】
2012160741.tif 000066
【図５１】
2012160741.tif 000067
【手続補正書】
【提出日】平成24年10月4日(2012.10.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定装置であって、
前記３次元映像を構成する左目用映像と右目用映像とを前記ユーザに提示する映像提示部と、
提示された映像に対する前記ユーザの操作を受け付ける操作入力部と、
前記操作入力部が所定の操作を受け付けた場合に、記憶部から、前記映像の中の視覚対象物を特定する情報と前記視覚対象物が前記映像提示部で提示される時刻を示す情報とを含む対象物領域情報を取得し、取得した前記対象物領域情報を参照することで、前記所定の操作を受け付けた時刻に前記映像提示部で提示されていた映像の中の前記視覚対象物を前記ユーザが注視していたと判断する注視対象物特定部と、
前記記憶部から、前記映像における前記視覚対象物の奥行きを示す対象物奥行き情報を取得し、取得した前記対象物奥行き情報を参照することで、前記注視対象物特定部で特定された視覚対象物の奥行きの変化に基づいて、前記視覚疲労度を測定する検査のための時間区間を２つ以上決定する検査区間決定部と、
前記映像提示部で提示された映像に対する前記ユーザの左右の眼球運動を示すデータを取得する眼球運動取得部と、
取得された前記眼球運動を示すデータを蓄積する眼球運動蓄積部と、
前記眼球運動蓄積部に蓄積されているデータから、前記検査区間決定部で決定された２つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出部と、
前記眼球運動抽出部で抽出されたデータに基づいて、前記２つ以上の時間区間での眼球運動を比較する眼球運動比較部と、
前記眼球運動比較部での比較結果から前記ユーザの視覚疲労度を判定する疲労度判定部と
を備える視覚疲労度測定装置。
【請求項２】
前記注視対象物特定部は、前記操作入力部が前記所定の操作を受け付けた場合に、前記映像提示部で提示されていた複数の視覚対象物から１つを選択し、選択した１つの視覚対象物を前記ユーザが注視していたと判断する
請求項１記載の視覚疲労度測定装置。
【請求項３】
前記映像提示部は、前記ユーザが視覚対象物に対して照準を合わせて射撃を行うゲームを構成する左目用映像と右目用映像とを前記ユーザに提示し、
前記操作入力部は、前記ユーザが射撃を行うために照準を合わせる操作を受け付け、
前記注視対象物特定部は、前記操作入力部が受け付けた前記操作から、前記ユーザが注視している視覚対象物を特定する
請求項２記載の視覚疲労度測定装置。
【請求項４】
前記検査区間決定部は、前記注視対象物特定部で特定された視覚対象物の奥行きの変化のうち、同一の奥行きの変化をもつ異なる２つ以上の時間区間を、前記視覚疲労度を測定する検査のための時間区間として、決定する
請求項１記載の視覚疲労度測定装置。
【請求項５】
前記疲労度判定部は、前記２つの時間区間における眼球運動の差が大きいほど疲労度が大きいと判定する
請求項１記載の視覚疲労度測定装置。
【請求項６】
前記注視対象物特定部は、前記映像提示部によって同時に提示される複数の視覚対象物を前記ユーザが注視していたと判断し、
前記検査区間決定部では、前記注視対象物特定部で特定された複数の視覚対象物のうち、奥行きの変化の量が大きい視覚対象物が提示されている時間区間を前記検査のための時間区間の一部と特定する
請求項１記載の視覚疲労度測定装置。
【請求項７】
前記注視対象物特定部は、前記映像提示部によって同時に提示される複数の視覚対象物を前記ユーザが注視していたと判断し、
前記検査区間決定部は、前記複数の視覚対象物のうち、奥行き方向の変化の速度または変化の量が大きい視覚対象物が提示されている時間区間を前記検査のための時間区間として特定する
請求項１記載の視覚疲労度測定装置。
【請求項８】
前記眼球運動比較部は、眼球運動の成分のうち視覚対象物の奥行き方向の動きに追随する眼球運動の成分を比較する
請求項１記載の視覚疲労度測定装置。
【請求項９】
前記眼球運動比較部は、左目の瞳孔中心の位置と右目の瞳孔中心の位置との差について、前記比較を行う
請求項８記載の視覚疲労度測定装置。
【請求項１０】
前記注視対象物特定部はさらに、前記ユーザが前記視覚対象物を注視していた時間区間である検査可能区間を示す情報を生成し、
前記視覚疲労度測定装置は、さらに、
前記注視対象物特定部で生成された検査可能区間を示す情報を蓄積する検査可能区間蓄積部と、
前記検査可能区間蓄積部で蓄積されている検査可能区間を示す情報に基づき、視覚対象物を含む映像を生成する対象映像情報生成部とを備え、
前記映像提示部はさらに、前記対象映像情報生成部によって生成された映像を提示する
請求項１記載の視覚疲労度測定装置。
【請求項１１】
前記対象映像情報生成部は、
前記検査可能区間蓄積部で蓄積されている前記情報が示す検査可能区間における視覚対象物の奥行きの変化と同等の奥行きの変化を持つ視覚対象物を含む映像を生成する
請求項１０記載の視覚疲労度測定装置。
【請求項１２】
前記対象映像情報生成部は、
前記検査可能区間蓄積部で蓄積されている前記情報が示す検査可能区間における視覚対象物と背景映像とのコントラストと同等のコントラストを持つ映像を生成する
請求項１０記載の視覚疲労度測定装置。
【請求項１３】
前記対象映像情報生成部は、
前記検査可能区間蓄積部で蓄積されている情報が示す検査可能区間における視覚対象物と隣接する背景映像中の水平面を示す線分の量と同等の水平面を示す線分を持つ背景映像を生成する
請求項１０記載の視覚疲労度測定装置。
【請求項１４】
３次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定方法であって、
前記３次元映像を構成する左目用映像と右目用映像とを前記ユーザに提示する映像提示ステップと、
提示された映像に対する前記ユーザの操作を受け付ける操作入力ステップと、
前記映像の中の視覚対象物を特定する情報と前記視覚対象物が前記映像提示ステップで提示される時刻を示す情報とを含む対象物領域情報を記憶している対象物領域情報記憶部を参照することで、前記操作入力ステップが所定の操作を受け付けた場合に、前記所定の操作を受け付けた時刻に前記映像提示ステップで提示されていた映像の中の前記視覚対象物を前記ユーザが注視していたと判断する注視対象物特定ステップと、
前記映像における前記視覚対象物の奥行きを示す対象物奥行き情報を記憶している対象物奥行き情報記憶部を参照することで、前記注視対象物特定ステップで特定された視覚対象物の奥行きの変化に基づいて、前記視覚疲労度を測定する検査のための時間区間を２つ以上決定する検査区間決定ステップと、
前記映像提示ステップで提示された映像に対する前記ユーザの左右の眼球運動を示すデータを取得する眼球運動取得ステップと、
取得された前記眼球運動を示すデータを眼球運動蓄積部に蓄積する眼球運動蓄積ステップと、
前記眼球運動蓄積部に蓄積されているデータから、前記検査区間決定ステップで決定された２つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出ステップと、
前記眼球運動抽出ステップで抽出されたデータに基づいて、前記２つ以上の時間区間での眼球運動を比較する眼球運動比較ステップと、
前記眼球運動比較ステップでの比較結果から前記ユーザの視覚疲労度を判定する疲労度判定ステップと
を含む視覚疲労度測定方法。
【請求項１５】
３次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定装置のためのプログラムであって、
請求項１４記載の視覚疲労度測定方法に含まれるステップをコンピュータに実行させる
プログラム。
【国際調査報告】
2012160741.tif 000068
2012160741.tif 000069