(57)【特許請求の範囲】
【請求項１】
ユーザの顔の動画像である顔画像を撮像して前記顔画像のデータである顔画像データを生成する撮像装置と、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記撮像装置から前記顔画像データを受付ける入力手段と、前記ディスプレイ装置に表示される画像を制御する表示制御手段を備えたコンピュータであって、
前記入力手段により受付けた前記顔画像データに対して画像処理を行うことにより、ユーザの瞬目を検出する検出手段と、
前記検出手段によって検出されたユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、
前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記検出手段がユーザの瞬目を検出した場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、
を備えており、
前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようになっている、
コンピュータ。
【請求項２】
前記第１制御手段は、前記検出手段が、一定の時間前記ユーザの瞬目を検出しなかった場合に、ユーザの瞬目の回数が所定の基準より少なくなっていると判定するようになっている、
請求項１記載のコンピュータ。
【請求項３】
前記第１制御手段は、前記検出手段が、予め定められた基準時間ユーザの瞬目を検出しなかった場合に、ユーザの瞬目の回数が所定の基準より少なくなっていると判定するようになっている、
請求項１記載のコンピュータ。
【請求項４】
前記第１制御手段は、前記検出手段が検出したユーザの瞬目の回数が、予め決められた単位時間あたりの基準瞬目回数を下回った場合に、ユーザの瞬目の回数が所定の基準より少なくなっていると判定するようになっている、
請求項１記載のコンピュータ。
【請求項５】
前記表示制御手段は、前記第１制御データを受付けた場合、前記ディスプレイ装置に表示する画像を、その少なくとも一部が、通常時よりも明度を下げるように変化させられた状態で前記ディスプレイ装置に表示させるようになっている、
請求項１記載のコンピュータ。
【請求項６】
前記表示制御手段は、前記第１制御データを受付けた場合、前記ディスプレイ装置に表示する画像を、その少なくとも一部が、通常時よりも明度を上げるように変化させられた状態で前記ディスプレイ装置に表示させるようになっている、
請求項１記載のコンピュータ。
【請求項７】
前記表示制御手段は、前記第１制御データを受付けた場合、前記ディスプレイ装置に表示する画像を、その少なくとも一部が、通常時の画像に歪みを与えるように変化させられた状態で前記ディスプレイ装置に表示させるようになっている、
請求項１記載のコンピュータ。
【請求項８】
前記表示制御手段は、前記第１制御データを受付けた場合、前記ディスプレイ装置に表示する画像を、その少なくとも一部が、通常時の画像に曇りをかけたように変化させられた状態で前記ディスプレイ装置に表示させるようになっている、
請求項１記載のコンピュータ。
【請求項９】
前記表示制御手段は、前記第１制御データを受付けてから前記第２制御データを受付けるまでの間に、前記変化の程度を大きくする処理を実行するようになっている、
請求項５〜８のいずれかに記載のコンピュータ。
【請求項１０】
前記表示制御手段は、前記第１制御データを受付けてから前記第２制御データを受付けるまでの間に、前記変化の程度を漸増させる処理を実行するようになっている、
請求項９記載のコンピュータ。
【請求項１１】
前記表示制御手段は、前記第１制御データを受付けてから前記第２制御データを受付けるまでの間に、前記変化の程度を段階的に大きくする処理を実行するようになっている、
請求項９記載のコンピュータ。
【請求項１２】
前記表示制御手段は、前記第１制御データを受付けた場合、前記ディスプレイ装置に表示する画像を、通常時の画像の上に通常時の画像を隠す所定のオブジェクトが重ねられたものとして表示するようになっている、
請求項１記載のコンピュータ。
【請求項１３】
前記表示制御手段は、前記オブジェクトを、通常時の画像の上で動くものとして表示するようになっている、
請求項１２記載のコンピュータ。
【請求項１４】
前記表示制御手段は、前記オブジェクトを、通常時の画像の上で、その位置、その大きさ、その形状の少なくとも１つが変化するものとして表示するようになっている、
請求項１３記載のコンピュータ。
【請求項１５】
ユーザの顔の動画像である顔画像を撮像して前記顔画像のデータである顔画像データを生成する撮像装置と、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記撮像装置から前記顔画像データを受付ける入力手段と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、情報処理を行う制御手段と、を備えたコンピュータが実行する方法であって、
前記制御手段が、
前記入力手段により受付けた前記顔画像データに対して画像処理を行うことにより、ユーザの瞬目を検出する過程と、
ユーザの瞬目を検出する前記過程で検出されたユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程と、
前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記入力手段により受付けた顔画像データに画像処理を行った結果ユーザの瞬目を検出した場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程と、
を含んでおり、
前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、
前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようにする、
方法。
【請求項１６】
ユーザの顔の動画像である顔画像を撮像して前記顔画像のデータである顔画像データを生成する撮像装置と、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記撮像装置から前記顔画像データを受付ける入力手段と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、情報処理を行う制御手段と、を備えたコンピュータの前記制御手段に、
前記入力手段により受付けた前記顔画像データに対して画像処理を行うことにより、ユーザの瞬目を検出する過程と、
ユーザの瞬目を検出する前記過程で検出されたユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程と、
前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記入力手段により受付けた顔画像データに画像処理を行った結果ユーザの瞬目を検出した場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程と、
を実行させることにより、
前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようにするための、
プログラム。
【請求項１７】
ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データを出力する手段と、を有する瞬目検出装置と、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記瞬目検出装置から前記瞬目データを受付ける入力手段と、前記ディスプレイ装置に表示される画像を制御する表示制御手段を備えたコンピュータであって、
前記入力手段により受付けた前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、
前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記瞬目データを前記入力手段を介して受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、
を備えており、
前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようになっている、
コンピュータ。
【請求項１８】
ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データを出力する手段と、を有する瞬目検出装置と、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記瞬目検出装置から前記瞬目データを受付ける入力手段と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、情報処理を行う制御手段と、を備えたコンピュータで実行される方法であって、
前記制御手段が、
前記入力手段により受付けた前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程と、
前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記瞬目データを前記入力手段を介して受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程と、
を含んでおり、
前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようにする、
方法。
【請求項１９】
ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データを出力する手段と、を有する瞬目検出装置と、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記瞬目検出装置から前記瞬目データを受付ける入力手段と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、情報処理を行う制御手段と、を備えたコンピュータの前記制御手段に、
前記入力手段により受付けた前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程と、
前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記瞬目データを前記入力手段を介して受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程と、
を実行させることにより、
前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようにするための、
プログラム。
【請求項２０】
請求項１７記載のコンピュータと組合わせて用いられる瞬目検出装置であって、
ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、
前記瞬目データを前記コンピュータに出力する手段と、
を有する瞬目検出装置。
【請求項２１】
前記瞬目検出手段は、ユーザが瞬目を行ったことにより生じる所定の物理量の変化を測定可能な検出部を備えているとともに、
前記瞬目検出手段のうちの少なくとも検出部を眼鏡に対して着脱自在に固定することのできる固定手段を備えている、
請求項２０記載の瞬目検出装置。
【請求項２２】
画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記ディスプレイ装置に表示される画像を制御する表示制御手段を備えたコンピュータであって、
ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、前記第１制御データと前記第２制御データを前記コンピュータに出力する出力手段と、を有する瞬目検出装置と、更に組合わせて用いられるものであり、
前記瞬目検出装置から前記第１制御データ及び前記第２制御データを受付ける入力手段を備えており、
前記表示制御手段は、前記第１制御データ、又は前記第２制御データを受付けた場合に、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようになっている、
コンピュータ。
【請求項２３】
画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、情報処理を実行する制御手段と、を備えたコンピュータであり、
ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、前記第１制御データと前記第２制御データを前記コンピュータに出力する出力手段と、を有する瞬目検出装置と、更に組合わせて用いられるものとされ、且つ前記第１制御データを前記瞬目検出装置から受付ける手段と、前記第２制御データを前記瞬目検出装置から受付ける手段とを備えたものとされているもので、実行される方法であって、
前記制御手段が、
前記瞬目検出装置から、前記第１制御データを、前記第１制御データを前記瞬目検出装置から受付ける前記手段を介して受付ける過程、
前記瞬目検出装置から、前記第２制御データを、前記第２制御データを前記瞬目検出装置から受付ける前記手段を介して受付ける過程、
前記第１制御データ、又は前記第２制御データを受付けた場合に、前記表示制御手段に、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させる過程、
を含む方法。
【請求項２４】
画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、情報処理を実行する制御手段と、を備えたコンピュータであり、
ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、前記第１制御データと前記第２制御データを前記コンピュータに出力する出力手段と、を有する瞬目検出装置と、更に組合わせて用いられるものとされ、且つ前記第１制御データを前記瞬目検出装置から受付ける手段と、前記第２制御データを前記瞬目検出装置から受付ける手段とを備えたものとされているものの前記制御手段に、
前記瞬目検出装置から、前記第１制御データを、前記第１制御データを前記瞬目検出装置から受付ける前記手段を介して受付ける過程、
前記瞬目検出装置から、前記第２制御データを、前記第２制御データを前記瞬目検出装置から受付ける前記手段を介して受付ける過程、
前記第１制御データ、又は前記第２制御データを受付けた場合に、前記表示制御手段に、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させる過程、
を実行させるためのプログラム。
【請求項２５】
請求項２２記載のコンピュータと組合わせて用いられる瞬目検出装置であって、
ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、
前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、
前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、
前記第１制御データと前記第２制御データを前記コンピュータに出力する出力手段と、
を有する瞬目検出装置。
【請求項２６】
画像を表示するディスプレイ装置と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、
ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、
前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、
前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、
を備えているとともに、
前記表示制御手段は、前記第１制御手段が前記第１制御データを生成した場合に前記第１制御手段から前記第１制御データを、前記第２制御手段が前記第２制御データを生成した場合に前記第２制御手段から前記第２制御データを、それぞれ受付けるようになっているとともに、前記第１制御データ、又は前記第２制御データを受付けた場合に、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようになっており、
且つ、前記ディスプレイ装置と、前記瞬目検出手段とが、取付けられている、ユーザの頭部に装着されるヘッドマウント手段を備えてなる、
ヘッドマウントディスプレイ。
【請求項２７】
画像を表示するディスプレイ装置と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、
ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、
情報処理を行う制御手段と、
前記ディスプレイ装置と、前記瞬目検出手段とが、取付けられている、ユーザの頭部に装着されるヘッドマウント手段と、
を備えているヘッドマウントディスプレイの前記制御手段で実行される方法であって、
前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっているか判定する過程、
ユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程、
前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程、
前記第１制御データが生成された場合にはそれを、前記第２制御データが生成された場合にはそれを、前記表示制御手段に出力する過程、
を含んでおり、
前記第１制御データ、又は前記第２制御データを受付けた前記表示制御手段が、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようにする、
方法。
【請求項２８】
画像を表示するディスプレイ装置と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、
ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、
前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、
前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、
を備えているとともに、
前記表示制御手段は、前記第１制御手段が前記第１制御データを生成した場合に前記第１制御手段から前記第１制御データを、前記第２制御手段が前記第２制御データを生成した場合に前記第２制御手段から前記第２制御データを、それぞれ受付けるようになっているとともに、前記第１制御データ、又は前記第２制御データを受付けた場合に、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようになっており、
且つ、前記ディスプレイ装置と、前記瞬目検出手段とが、取付けられている、ユーザが身につけている眼鏡に装着される固定手段を備えてなる、
ヘッドマウントディスプレイ。
【請求項２９】
画像を表示するディスプレイ装置と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、
ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、
情報処理を行う制御手段と、
前記ディスプレイ装置と、前記瞬目検出手段とが、取付けられている、ユーザが身につけている眼鏡に装着される固定手段と、
を備えているヘッドマウントディスプレイの前記制御手段で実行される方法であって、
前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっているか判定する過程、
ユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程、
前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程、
前記第１制御データが生成された場合にはそれを、前記第２制御データが生成された場合にはそれを、前記表示制御手段に出力する過程、
を含んでおり、
前記第１制御データ、又は前記第２制御データを受付けた前記表示制御手段が、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようにする、
方法。
【請求項３０】
ユーザの瞬目を検出して瞬目データを生成する検出手段と、画像を表示するディスプレイと、前記ディスプレイに表示される画像を制御する表示制御手段と、情報処理を行う制御手段と、を備えるディスプレイ装置であって、
前記制御手段は、
前記検出手段から前記瞬目データを受付ける入力手段と、
前記入力手段により受付けた前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイに表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイに表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、
前記第１制御データにより、前記ディスプレイの表示がそれまでより見づらくなっているときに前記瞬目データを前記入力手段を介して受付けた場合に、前記ディスプレイに画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、
を備えており、
前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイに表示させられるようになっている、
ディスプレイ装置。
【請求項３１】
ユーザの瞬目を検出して瞬目データを生成する検出手段と、画像を表示するディスプレイと、前記ディスプレイに表示される画像を制御する表示制御手段と、情報処理を行うものであり前記検出手段から前記瞬目データを受付ける入力手段を有する制御手段と、を備えるディスプレイで実行される方法であって、
前記制御手段が、
前記入力手段により受付けた前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイに表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイに表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程と、
前記第１制御データにより、前記ディスプレイの表示がそれまでより見づらくなっているときに前記瞬目データを前記入力手段を介して受付けた場合に、前記ディスプレイに画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程と、
を含んでおり、
前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイに表示させられるようにする、
方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示するディスプレイ装置に対して画像表示についての制御を行うコンピュータに、主に関する。
【背景技術】
【０００２】
オフィスのＩＴ化が進んだ昨今、デスクワークを行う労働者は、ディスプレイ装置の前にいる時間が長時間に及ぶようになっている。長時間ディスプレイ装置を見ていると様々な弊害が生じることは広く知られている。例えば、その１つに、ディスプレイ装置を凝視することにより、労働者の瞬目の回数が極度に減るということがある。
瞬目の回数の減少は、目の乾きによる目の痛み、疲れを生じ、また、視力の低下を招くおそれもあるため、避けるべきものであると周知されている。
瞬目の回数が減った場合の対処療法は、目薬を差す、目の周りのマッサージを行う等、様々なものが提案されている。
しかしながら、瞬目を減らさないようにするための実用的な技術は提案されていない。
そのような技術が存在すれば、デスクワークを行う労働者以外にも、様々な者が恩恵を被ることができる。
例えば、パーソナルコンピュータは、学校や家庭にも多く進出しているので、そのような場でパーソナルコンピュータのディスプレイ装置を見ることになる者、或いは、ゲーム専用機その他のエンタテインメントマシンにより例えばテレビ受像機を用いてビデオゲームを楽しむ者などは、瞬目を減らさないようにするための技術があれば、大きな利益を享受できる。
また、瞬目の減少は、ヘッドマウントディスプレイを用いる者にも生じ易い。ヘッドマウントディスプレイを用いてヘッドマウントディスプレイに内蔵されているディスプレイ装置を見る者に疲労が生じ易いことは広く知られているが、本願発明者の研究によれば、瞬目の減少はヘッドマウントディスプレイを用いる者の疲労の原因の１つとなっているため、ヘッドマウントディスプレイを使用している者に瞬目を促すことができれば、ヘッドマウントディスプレイを用いる者の疲労軽減に繋がる。
本発明は、画像を表示するディスプレイ装置を見る者に、瞬目を自発的に行わせるための技術を提案することを課題とする。
【発明の概要】
【０００３】
かかる課題を解決するため、本願発明者は、以下の発明を提案する。
本願発明は、以下の第１から第５発明に大別できる。
第１発明は、ユーザの顔の動画像である顔画像を撮像して前記顔画像のデータである顔画像データを生成する撮像装置と、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記撮像装置から前記顔画像データを受付ける入力手段と、前記ディスプレイ装置に表示される画像を制御する表示制御手段を備えたコンピュータである。
そして、このコンピュータは、前記入力手段により受付けた前記顔画像データに対して画像処理を行うことにより、ユーザの瞬目を検出する検出手段と、前記検出手段によって検出されたユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記検出手段がユーザの瞬目を検出した場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、を備えており、前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようになっている。
第１発明のコンピュータは、ディスプレイ装置で行われる画像の表示の制御を行う表示制御手段を備えている。表示制御手段は、第１制御手段と、第２制御手段が生成した第１制御データと、第２制御データを受付け、それに基づく制御をディスプレイ装置に対して行うようになっている。第１制御手段は、ユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に第１制御データを生成するようになっており、また、それを受付けた表示制御手段は、通常時にディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくしてディスプレイ装置に表示させる。他方、第２制御手段は、前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記検出手段がユーザの瞬目を検出した場合に第２制御データを生成するようになっており、また、それを受付けた表示制御手段は、前記ディスプレイ装置に表示させる画像を通常時のものに戻すようにする。
このようなコンピュータに制御されているディスプレイ装置を用いると、ユーザの瞬目の回数が少なくなった場合ディスプレイ装置に表示される画像が見づらくなる（例えば、ディスプレイ装置に表示される画像が、ユーザが本来の画像から取得できた意味合いを取得できなくされるか又はそのような意味合いを取得するのが少なくとも難くされる、或いはユーザが不快感を感じるようにされる等、本来の画像とは異なるものとされる。）ため、それを疎ましく感じるユーザに、自発的に瞬目を行うための動機付けを与えられるようになる。これにより、ユーザの瞬目の回数をある程度の数以上に保てるようになる。
第１発明の第１制御手段は、検出手段が検出した瞬目の状態によってユーザの瞬目の回数が所定の基準より少なくなったという判定を行うようになっていれば、判定の仕方の詳細は不問である。
例えば、前記第１制御手段は、前記検出手段が、一定の時間前記ユーザの瞬目を検出しなかった場合に、ユーザの瞬目の回数が所定の基準より少なくなっていると判定するようになっていても構わない。この一定の時間は、例えば、ユーザの性別、年齢等を考慮して可変に設定できるようにすることも可能である。
或いは、前記第１制御手段は、前記検出手段が、予め定められた基準時間ユーザの瞬目を検出しなかった場合に、ユーザの瞬目の回数が所定の基準より少なくなっていると判定するようになっていてもよい。この場合の『基準時間』は、必ずしも一定である必要はない。例えば、初期設定では瞬目が３０秒生じない場合にユーザの瞬目の回数が所定の基準より少なくなっていると第１制御手段が判定するようになっていた場合であって、瞬目が３０秒生じないことが頻発した場合には、瞬目が２０秒生じない場合にユーザの瞬目の回数が所定の基準より少なくなっているという判定を行うようにして、ユーザに瞬目をより積極的に促せるようにすることも可能である。
或いは、前記第１制御手段は、前記検出手段が検出したユーザの瞬目の回数が、予め決められた単位時間あたりの基準瞬目回数を下回った場合に、ユーザの瞬目の回数が所定の基準より少なくなっていると判定するようになっていてもよい。例えば、１分に２０回を基準瞬目回数とし、ユーザの瞬目の回数がこれを下回った場合に、ユーザの瞬目の回数が所定の基準より少なくなっていると判定するようにすることができる。
第１発明の表示制御手段は、第１制御データを受付けた場合、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を行う。画像を通常時よりも見づらくする処理は、その目的が達成されるのであれば、どのようなものであってもよい。
例えば、前記表示制御手段は、前記第１制御データを受付けた場合、前記ディスプレイ装置に表示する画像を、その少なくとも一部が、通常時よりも明度を下げるように変化させられた状態で前記ディスプレイ装置に表示させるようになっていてもよい。例えば、画像の明度を全体的に落とすとか、画像の周囲に黒い枠を設けその枠の幅を徐々に大きくする場合などがこれに相当する。
或いは、前記表示制御手段は、前記第１制御データを受付けた場合、前記ディスプレイ装置に表示する画像を、その少なくとも一部が、通常時よりも明度を上げるように変化させられた状態で前記ディスプレイ装置に表示させるようになっていてもよい。例えば、画像の明度を全体的に上げるとか、画像の周囲に白い枠を設けその枠の幅を徐々に大きくする場合などがこれに相当する。
或いは、前記表示制御手段は、前記第１制御データを受付けた場合、前記ディスプレイ装置に表示する画像を、その少なくとも一部が、通常時の画像に歪みを与えるように変化させられた状態で前記ディスプレイ装置に表示させるようになっていてもよい。画像の一部或いは全部をレンズを通して画面を見た場合の如くに歪めたり、或いは画像を例えば水面の波紋のように揺らがせることにより、画像を見づらくすることができる。
或いは、前記表示制御手段は、前記第１制御データを受付けた場合、前記ディスプレイ装置に表示する画像を、その少なくとも一部が、通常時の画像に曇りをかけたように変化させられた状態で前記ディスプレイ装置に表示させるようになっていてもよい。全体的に画像をぼんやりとさせることにより、画像を見づらくすることができる。具体的には、通常時の画像の前に、グレーの画像をおいてαブレンディングを行い、且つ通常時の画像の輪郭をぼんやりさせるような処理を行うことでこれは容易に実現できる。
見づらくした画像は、上述したように、通常時の画像に与えられる以上に説明した如き変化が動的に変化するものであっても構わない。また、前記表示制御手段は、前記第１制御データを受付けてから前記第２制御データを受付けるまでの間に、前記変化の程度を大きくする処理を実行するようになっていてもよい。このようにすれば、第１制御データが表示制御手段に受付けられた後、画像の見づらさは増していくことになるので、ユーザが瞬目を早く行うことの動機付けが大きくなる。
この場合、前記表示制御手段は、前記第１制御データを受付けてから前記第２制御データを受付けるまでの間に、前記変化の程度を漸増させる処理を実行するようになっていてもよい。或いは、前記表示制御手段は、前記第１制御データを受付けてから前記第２制御データを受付けるまでの間に、前記変化の程度を段階的に大きくする処理を実行するようになっていてもよい。
前記表示制御手段は、また、前記第１制御データを受付けた場合、前記ディスプレイ装置に表示する画像を、通常時の画像の上に通常時の画像を隠す所定のオブジェクトが重ねられたものとして表示するようになっていてもよい。オブジェクトは、通常時の画像を見たいと欲するユーザにとって疎ましく感じられるようなものとすることができ、そうすることによりユーザが瞬目を行うことの動機付けをより強化できることになる。
オブジェクトを表示する場合、前記表示制御手段は、前記オブジェクトを、通常時の画像の上で動くものとして表示するようになっていてもよい。オブジェクトを表示する場合、前記表示制御手段は、前記オブジェクトを、通常時の画像の上で、その位置、その大きさ、その形状の少なくとも１つが変化するものとして表示するようになっていてもよい。いずれの場合も、オブジェクトを疎わしいとユーザに感じさせるに有用である。
第１発明のコンピュータによるのと同様の作用効果を、例えば、以下の如き方法によっても得ることができる。
その方法の一例は、ユーザの顔の動画像である顔画像を撮像して前記顔画像のデータである顔画像データを生成する撮像装置と、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記撮像装置から前記顔画像データを受付ける入力手段と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、情報処理を行う制御手段と、を備えたコンピュータが実行する方法である。この方法は、前記制御手段が、前記入力手段により受付けた前記顔画像データに対して画像処理を行うことにより、ユーザの瞬目を検出する過程と、ユーザの瞬目を検出する前記過程で検出されたユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程と、前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記入力手段により受付けた顔画像データに画像処理を行った結果ユーザの瞬目を検出した場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程と、を含んでおり、前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようにする。
第１発明のコンピュータによるのと同様の作用効果を、例えば、以下の如きプログラムによっても得ることができる。以下の如きプログラムを用いれば、汎用的なコンピュータによっても以上のコンピュータによるのと同様の作用効果を得られるようになる。
そのプログラムの一例は、ユーザの顔の動画像である顔画像を撮像して前記顔画像のデータである顔画像データを生成する撮像装置と、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記撮像装置から前記顔画像データを受付ける入力手段と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、情報処理を行う制御手段と、を備えたコンピュータの前記制御手段に、以下の過程を実行させるためのプログラムである。このプログラムは、前記制御手段に、前記入力手段により受付けた前記顔画像データに対して画像処理を行うことにより、ユーザの瞬目を検出する過程と、ユーザの瞬目を検出する前記過程で検出されたユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程と、前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記入力手段により受付けた顔画像データに画像処理を行った結果ユーザの瞬目を検出した場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程と、を実行させることにより、前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようにするためのものである。
第２発明は、ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データを出力する手段と、を有する瞬目検出装置と、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記瞬目検出装置から前記瞬目データを受付ける入力手段と、前記ディスプレイ装置に表示される画像を制御する表示制御手段を備えたコンピュータである。
そしてこのコンピュータは、前記入力手段により受付けた前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記瞬目データを前記入力手段を介して受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、を備えており、前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようになっている。
このコンピュータは、第１発明のコンピュータから検出手段を除いたものとなっている。第２発明のコンピュータは、第１発明のコンピュータから検出手段を除いたものであるため、第２発明のコンピュータを用いる場合には、その外部に第１発明の検出手段に相当する検出手段を配する必要がある。第２発明では瞬目検出装置に第１発明の検出手段に相当する瞬目検出手段を配することとしている。
第２発明は、第１発明と比較した場合、第１発明における撮像装置に、第１発明における検出手段を移動させたものに過ぎないと捉えることができる。瞬目検出装置が、それが備える、或いはその外部に設けられた撮像手段が生成した顔画像データを用いてユーザの瞬目を検出する場合には、第２発明の瞬目検出手段は第１発明の検出手段と同じものとすることができる。しかしながら、注意すべきは、第２発明における瞬目検出手段は、必ずしもユーザの顔を撮像して得た顔画像データに基づいてユーザの瞬目を判定するとは限らないという点である。
瞬目の検出の仕方には、画像処理によるものの他、例えば以下のようなものがある。例えば、ユーザの眼の周囲に電極を当接させておき、瞬目を行うことで運動した筋肉が発生させた微弱な電流をその電極で検出することで瞬目を検出する方法がある。また、ユーザの眼の近辺のユーザの瞼と干渉しない位置であり、且つ瞬目が生じたときにそれらからの電気力線を瞼が横切るような位置にそれらの間で電気力線が形成されるようにされた２つの電極を設け、瞬目によって電気力腺を瞼が横切ったときに生じる２つの電極間の静電容量の変化を検出することでユーザの瞬目を検出する方法がある。また、ユーザの眼の周辺に赤外線を照射する赤外線光源と、ユーザの眼の周辺からの赤外線の反射光の量又は強さを測定する赤外線センサとを配し、瞬目によって生じるユーザの眼の周辺からの赤外線の反射光の量又は強さの変化を赤外線センサで捉えることで、ユーザの瞬目を検出する方法がある。瞬目検出手段は、これらの原理、或いはその他の原理により、瞬目が検出できるようになっていればそれでよい。
第２発明のコンピュータは、検出手段がない分第１発明のコンピュータよりもその内部で実行しなければならない処理が少なくなる。これは、第２発明のコンピュータに要求されるスペックを低くできることを意味し、また、同じスペックのコンピュータであればユーザに瞬目を自発的に行わせる以外の他の処理に与える負担を小さくできることに繋がる。
第２発明における第１制御手段、第２制御手段、及び表示制御手段は、第１発明におけるそれらとそれぞれ同じものとすることができる。
第２発明のコンピュータと同様の作用効果を、例えば、以下の方法によっても得ることができる。
その方法は、ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データを出力する手段と、を有する瞬目検出装置と、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記瞬目検出装置から前記瞬目データを受付ける入力手段と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、情報処理を行う制御手段と、を備えたコンピュータで実行される方法である。
そして、この方法は、前記制御手段が、前記入力手段により受付けた前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程と、前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記瞬目データを前記入力手段を介して受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程と、を含んでおり、前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようにする。
第２発明のコンピュータと同じ作用効果を、例えば、以下のプログラムを用いれば、汎用のコンピュータによっても得ることができる。
そのプログラムは、ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データを出力する手段と、を有する瞬目検出装置と、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記瞬目検出装置から前記瞬目データを受付ける入力手段と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、情報処理を行う制御手段と、を備えたコンピュータの前記制御手段に、前記入力手段により受付けた前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程と、前記第１制御データにより、前記ディスプレイ装置の表示がそれまでより見づらくなっているときに前記瞬目データを前記入力手段を介して受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程と、を実行させることにより、前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようにするための、プログラムである。
本願発明者は、第２発明の瞬目検出装置をも本願に含まれるべき発明として提案する。
この瞬目検出装置は、第２発明のコンピュータと組合わせて用いられるものであり、ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データを前記コンピュータに出力する手段と、を備えている。
この瞬目検出装置の前記瞬目検出手段は、ユーザが瞬目を行ったことにより生じる所定の物理量の変化を測定可能な検出部を備えているとともに、前記瞬目検出手段のうちの少なくとも検出部を眼鏡に対して着脱自在に固定することのできる固定手段を備えているものであってもよい。
第３発明は、以下のようなものである。
第３発明は、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記ディスプレイ装置に表示される画像を制御する表示制御手段を備えたコンピュータであって、ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、前記第１制御データと前記第２制御データを前記コンピュータに出力する出力手段と、を有する瞬目検出装置と、更に組合わせて用いられるものであり、前記瞬目検出装置から前記第１制御データ及び前記第２制御データを受付ける入力手段を備えており、前記表示制御手段は、前記第１制御データ、又は前記第２制御データを受付けた場合に、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようになっている、コンピュータである。
このコンピュータは、第１発明のコンピュータから検出手段と第１制御手段と、第２制御手段とを除いたものとなっている。第３発明のコンピュータは、第１発明のコンピュータから検出手段と第１制御手段と、第２制御手段とを除いたものであるため、第３発明のコンピュータを用いる場合には、その外部に第１発明の検出手段に相当する瞬目検出手段と、第１制御手段と、第２制御手段とを配する必要がある。第３発明では、瞬目検出装置に第１発明の検出手段に相当する瞬目検出手段を配するとともに、第１発明における第１制御手段と、第２制御手段と同じ機能を有する第１制御手段と、第２制御手段をも瞬目検出装置に配することとしている。
第３発明は、第１発明と比較した場合、第１発明における撮像装置に、第１発明における検出手段と、第１制御手段と、第２制御手段とを移動させたものに過ぎないと捉えることができる。瞬目検出装置が、それが備える、或いはその外部に設けられた撮像手段が生成した顔画像データを用いてユーザの瞬目を検出する場合には、第３発明の瞬目検出手段は第１発明の検出手段と同じものとすることができる。しかしながら、注意すべきは、第３発明における瞬目検出手段は、第２発明の場合と同様、必ずしもユーザの顔を撮像して得た顔画像データに基づいてユーザの瞬目を判定するとは限らないという点である。
第３発明における瞬目の検出の仕方は、第２発明の場合と同様、多様な検出方法の中から適宜選択することができる。
第３発明のコンピュータは、第２発明のコンピュータから更に第１制御手段と、第２制御手段とを除いたものとなっているため、第１発明のコンピュータよりもその内部で実行しなければならない処理が少なくなるだけでなく、第２発明の場合よりも更に少なくなる。これは、第３発明のコンピュータに要求されるスペックを第２発明の場合よりも更に低くできることを意味し、また、同じスペックのコンピュータであればユーザに瞬目を自発的に行わせる以外の他の処理に与える負担を第２発明のコンピュータの場合よりも更に小さくできることを意味する。
第３発明における第１制御手段、第２制御手段、及び表示制御手段は、第１発明におけるそれらとそれぞれ同じものとすることができる。
第３発明のコンピュータと同様の作用効果を、以下の方法によっても得ることができる。
その方法は、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、情報処理を実行する制御手段と、を備えたコンピュータであり、ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、前記第１制御データと前記第２制御データを前記コンピュータに出力する出力手段と、を有する瞬目検出装置と、更に組合わせて用いられるものとされ、且つ前記第１制御データを前記瞬目検出装置から受付ける手段と、前記第２制御データを前記瞬目検出装置から受付ける手段とを備えたものとされているもので、実行される方法である。
この方法は、前記制御手段が、前記瞬目検出装置から、前記第１制御データを、前記第１制御データを前記瞬目検出装置から受付ける前記手段を介して受付ける過程、前記瞬目検出装置から、前記第２制御データを、前記第２制御データを前記瞬目検出装置から受付ける前記手段を介して受付ける過程、前記第１制御データ、又は前記第２制御データを受付けた場合に、前記表示制御手段に、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させる過程、を含む。
第３発明のコンピュータと同様の作用効果を、以下のプログラムによって、汎用のコンピュータによっても得ることができる。
そのプログラムは、画像を表示するディスプレイ装置と組合わせて用いられるものであり、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、情報処理を実行する制御手段と、を備えたコンピュータであり、ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、前記第１制御データと前記第２制御データを前記コンピュータに出力する出力手段と、を有する瞬目検出装置と、更に組合わせて用いられるものとされ、且つ前記第１制御データを前記瞬目検出装置から受付ける手段と、前記第２制御データを前記瞬目検出装置から受付ける手段とを備えたものとされているものの前記制御手段に、前記瞬目検出装置から、前記第１制御データを、前記第１制御データを前記瞬目検出装置から受付ける前記手段を介して受付ける過程、前記瞬目検出装置から、前記第２制御データを、前記第２制御データを前記瞬目検出装置から受付ける前記手段を介して受付ける過程、前記第１制御データ、又は前記第２制御データを受付けた場合に、前記表示制御手段に、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させる過程、を実行させるためのプログラムである。
本願発明者は、第３発明の瞬目検出装置をも本願に含まれるべき発明として提案する。
その瞬目検出装置は、第３発明のコンピュータと組合わせて用いられる。そして、この瞬目検出装置は、ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、前記第１制御データと前記第２制御データを前記コンピュータに出力する出力手段と、を有する。
第４発明は、以下のようなものである。要約すれば、第４発明は、第１発明〜第３発明をヘッドマウントディスプレイに応用したものといえる。
第４発明のヘッドマウントディスプレイは、画像を表示するディスプレイ装置と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、を備えている。そして、前記表示制御手段は、前記第１制御手段が前記第１制御データを生成した場合に前記第１制御手段から前記第１制御データを、前記第２制御手段が前記第２制御データを生成した場合に前記第２制御手段から前記第２制御データを、それぞれ受付けるようになっているとともに、前記第１制御データ、又は前記第２制御データを受付けた場合に、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようになっており、且つ、ヘッドマウントディスプレイは、前記ディスプレイ装置と、前記瞬目検出手段とが、取付けられている、ユーザの頭部に装着されるヘッドマウント手段を備えてなる。
第４発明の瞬目検出手段は、第２発明及び第３発明における瞬目検出手段と同様のものすることができる。第４発明における瞬目検出手段は、第２発明及び第３発明の場合と同様、多様な検出方法の中から適宜選択した方法で瞬目を検出するものとすることができる。
ヘッドマウント手段には、ディスプレイ装置と瞬目検出手段とが備えられていれば足りる。表示制御手段、第１制御手段、第２制御手段は、ヘッドマウント手段に取付けられていてもよいが、ヘッドマウント手段外に設けられていてもよい。例えば、ヘッドマウントディスプレイを、ヘッドマウント手段と、ヘッドマウント手段に含まれたディスプレイ装置における画像の表示の指示を行うためのものであり、ヘッドマウント手段と有線又は無線で接続されるコントロールユニットという２つの大きな要素により構成することができる。このような場合においては、表示制御手段、第１制御手段、第２制御手段は、そのコントロールユニットに取付けることができる。
このヘッドマウントディスプレイと同様の作用効果を、例えば、以下の方法によっても得ることができる。
その方法は、画像を表示するディスプレイ装置と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、情報処理を行う制御手段と、前記ディスプレイ装置と、前記瞬目検出手段とが、取付けられている、ユーザの頭部に装着されるヘッドマウント手段と、を備えているヘッドマウントディスプレイの前記制御手段で実行される方法である。そして、この方法は、前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっているか判定する過程、ユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程、前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程、前記第１制御データが生成された場合にはそれを、前記第２制御データが生成された場合にはそれを、前記表示制御手段に出力する過程、を含んでおり、それにより、前記第１制御データ、又は前記第２制御データを受付けた前記表示制御手段が、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようにするものである。
上述のヘッドマウントディスプレイは、ヘッドマウント手段を備えており、そのヘッドマウント手段をユーザの頭部に取付けるように構成されている。他方、ヘッドマウントディスプレイは、ユーザが装着した眼鏡に取付けるようなものとされていてもよい。
そのようなヘッドマウントディスプレイは、画像を表示するディスプレイ装置と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、を備えている。そして、前記表示制御手段は、前記第１制御手段が前記第１制御データを生成した場合に前記第１制御手段から前記第１制御データを、前記第２制御手段が前記第２制御データを生成した場合に前記第２制御手段から前記第２制御データを、それぞれ受付けるようになっているとともに、前記第１制御データ、又は前記第２制御データを受付けた場合に、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようになっており、且つ、ヘッドマウントディスプレイは、前記ディスプレイ装置と、前記瞬目検出手段とが、取付けられている、ユーザが身につけている眼鏡に装着される固定手段を備えてなる。
このヘッドマウントディスプレイと同様の作用効果を、例えば、以下の方法によっても得ることができる。
その方法は、画像を表示するディスプレイ装置と、前記ディスプレイ装置に表示される画像を制御する表示制御手段と、ユーザの瞬目を検出して瞬目データを生成する瞬目検出手段と、情報処理を行う制御手段と、前記ディスプレイ装置と、前記瞬目検出手段とが、取付けられている、ユーザが身につけている眼鏡に装着される固定手段と、を備えているヘッドマウントディスプレイの前記制御手段で実行される方法である。そして、この方法は、前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっているか判定する過程、ユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイ装置に表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイ装置に表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程、前記第１制御データが生成された後前記瞬目データを最初に受付けた場合に、前記ディスプレイ装置に画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程、前記第１制御データが生成された場合にはそれを、前記第２制御データが生成された場合にはそれを、前記表示制御手段に出力する過程、を含んでおり、それにより、前記第１制御データ、又は前記第２制御データを受付けた前記表示制御手段が、前記第１制御データ、又は前記第２制御データに基づく画像を前記ディスプレイ装置に表示させられるようにするものである。
第５発明は、ディスプレイ装置である。要約すれば、第５発明は、第１発明におけるディスプレイ装置に、第１発明におけるコンピュータと第１発明における撮像装置とを一体としたものであるが、第５発明においてはユーザの瞬目を検出するために必要なデータは必ずしも撮像装置を介して得られるわけではない。
第５発明のディスプレイ装置は、ユーザの瞬目を検出して瞬目データを生成する検出手段と、画像を表示するディスプレイと、前記ディスプレイに表示される画像を制御する表示制御手段と、情報処理を行う制御手段と、を備えるディスプレイ装置である。
そして、このディスプレイ装置の前記制御手段は、前記検出手段から前記瞬目データを受付ける入力手段と、前記入力手段により受付けた前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイに表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイに表示させる処理を前記表示制御手段に行わせるための第１制御データを生成するようになっている第１制御手段と、前記第１制御データにより、前記ディスプレイの表示がそれまでより見づらくなっているときに前記瞬目データを前記入力手段を介して受付けた場合に、前記ディスプレイに画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成するようになっている第２制御手段と、を備えており、前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイに表示させられるようになっている。
第５発明の検出手段は、第１発明〜第３発明における検出手段または瞬目検出手段と同様のものすることができる。第５発明における検出手段は、第１〜第３発明の場合と同様、多様な検出方法の中から適宜選択した方法で瞬目を検出するものとすることができる。
このディスプレイ装置と同様の作用効果を、例えば、以下の方法によっても得ることができる。
その方法は、ユーザの瞬目を検出して瞬目データを生成する検出手段と、画像を表示するディスプレイと、前記ディスプレイに表示される画像を制御する表示制御手段と、情報処理を行うものであり前記検出手段から前記瞬目データを受付ける入力手段を有する制御手段と、を備えるディスプレイで実行される方法である。
そして、この方法は、前記制御手段が、前記入力手段により受付けた前記瞬目データが示すユーザの瞬目に基づいてユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合に、それまでの通常時に前記ディスプレイに表示されていた画像をそれまでの状態よりも見づらくして前記ディスプレイに表示させる処理を前記表示制御手段に行わせるための第１制御データを生成する過程と、前記第１制御データにより、前記ディスプレイの表示がそれまでより見づらくなっているときに前記瞬目データを前記入力手段を介して受付けた場合に、前記ディスプレイに画像を通常時の状態で表示させる処理を前記表示制御手段に行わせるための第２制御データを生成する過程と、を含んでおり、それにより、前記第１制御データと、前記第２制御データとを受付けた前記表示制御手段が、前記第１制御データと、前記第２制御データに基づく画像を前記ディスプレイに表示させられるようにする。
【図面の簡単な説明】
【０００４】
図１は、本発明の第１実施形態に係るコンピュータ及びその周辺機器の全体構成を示す斜視図である。
図２は、図１に示したコンピュータのハードウエア構成図である。
図３は、図１に示したコンピュータ内に生成される機能ブロックを示すブロック図である。
図４は、図１に示したコンピュータで実行される処理の流れを示す流れ図である。
図５は、第２実施形態のコンピュータ及びデジタルカメラの内部に生成される機能ブロックを示すブロック図である。
図６は、変形例４で用いられる瞬目検出器の構成を概略的に示す斜視図である。
図７は、図６に示した瞬目検出器における検出センサの一例の構成を概略的に示す図である。
図８は、第３実施形態のコンピュータ及びデジタルカメラの内部に生成される機能ブロックを示すブロック図である。
図９は、第４実施形態のヘッドマウントディスプレイ装置を眼鏡に取付けた状態を示す図である。
図１０は、図９に示したヘッドマウントディスプレイ装置の眼鏡への取付け方法の説明図である。
図１１は、図９に示したヘッドマウントディスプレイ装置のケースの上面図である。
図１２は、図９に示したヘッドマウントディスプレイ装置のケースの内部構成を示す一部断面図である。
図１３は、図９に示したヘッドマウントディスプレイ装置の移動機構の動作説明図である。
図１４は、図９に示したヘッドマウントディスプレイ装置の調整機構の詳細な構成図である。
図１５は、図９に示したヘッドマウントディスプレイ装置の調整機構の動作説明図である。
図１６は、図９に示したヘッドマウントディスプレイ装置の自由曲面プリズム内の導光路の説明図である。
図１７は、図９に示したヘッドマウントディスプレイ装置を後方から見た図である。
図１８ａは、図９に示したヘッドマウントディスプレイ装置を取付けた状態の眼鏡を前方から見た図である。
図１８ｂは、図９に示したヘッドマウントディスプレイ装置を取付けた状態の眼鏡を前方から見た図である。
図１９は、第１実施形態のコンピュータとデジタルカメラとをディスプレイ装置に内蔵させたものの外観の一例を示す正面図である。
図２０は、変形例４の瞬目検出器の更なる変形例である瞬目検出オプションを眼鏡である本体に取付けた状態を示す斜視図である。
【発明を実施するための形態】
【０００５】
以下、本発明の好ましい第１〜第４実施形態を、図面を参照しながら詳細に説明する。
なお、各実施形態の説明において、重複する対象には同じ符号を付すものとし、重複する説明は場合により省略するものとする。
≪第１実施形態≫
図１における１０が、第１実施形態におけるコンピュータである。このコンピュータ１０は、ディスプレイ装置２０、デジタルカメラ３０、及び入力装置４０と接続されている。本実施形態のコンピュータ１０は、汎用のパーソナルコンピュータである。もっとも、コンピュータ１０は、汎用のパーソナルコンピュータでなくても構わず、例えば、デジタルカメラを内蔵した携帯電話であってもよい。
ディスプレイ装置２０は、その画面に所定の画像を表示するものである。ディスプレイ装置２０の画面に表示される画像は、後述のように、コンピュータ１０に制御される。ディスプレイ装置２０は、この実施形態では、液晶ディスプレイ装置である。もっとも、ディスプレイ装置２０は、ＣＲＴ、有機ＥＬ、プラズマ等、適当なものにより構成することができる。この実施形態のディスプレイ装置２０は、コンピュータ１０と組合わせて用いられるディスプレイ装置であるものとして以下の説明を行うが、ディスプレイ装置２０はこれには限られず、後述するように例えばテレビジョン受像機であってもよい。
なお、ノート型パーソナルコンピュータのように、ディスプレイ装置２０は、コンピュータ１０と一体にされている場合もありうるが、この実施形態では、コンピュータ１０とディスプレイ装置２０が別体とされている例について説明する。
デジタルカメラ３０は、コンピュータ１０を使用しているユーザの顔の動画像である顔画像を撮像して顔画像のデータである顔画像データを生成するものである。デジタルカメラ３０は、図示を省略のＣＣＤ、ＭＯＳ等の撮像素子によりユーザの顔を撮像することにより顔画像データを生成するようになっている。
デジタルカメラ３０からの出力は、ケーブル３１を介してコンピュータ１０に入力されるようになっている。この実施形態では、有線のＵＳＢ接続により、デジタルカメラ３０とコンピュータ１０の接続がなされるようになっている。もっとも、デジタルカメラ３０とコンピュータ１０の接続はこれには限られず、例えば、他の方式の有線接続、或いは電波や赤外線を用いた無線接続によりデジタルカメラ３０とコンピュータ１０が接続されていても構わない。
デジタルカメラ３０は、顔画像の撮像が行えるような適当な位置に配置される。この実施形態では、これには限られないが、ディスプレイ装置２０の上にデジタルカメラ３０は載置されている。
デジタルカメラ３０はユーザの顔の動画像である顔画像を撮像して顔画像のデータである顔画像データを生成できれば、汎用のもので構わない。最近は、インターネットを介して顔画像を送信する際に用いられるウェブカメラが広く使用されている。このようなウェブカメラは、インターネットを介しての顔画像の送信に先立って、まず、コンピュータへの顔画像の取込みを実行する。そのようなウェブカメラは、デジタルカメラ３０として用いるのに好適である。
なお、近年のパーソナルコンピュータ、特にノート型のパーソナルコンピュータには、ディスプレイ装置の一部例えば、画面を囲む枠の一部にデジタルカメラが埋め込まれているものが存在する。そのような場合、デジタルカメラ３０は、ディスプレイ装置２０と、或いはコンピュータ１０と一体となる。このような事情は、携帯電話の場合でも同様であり、携帯電話も、ディスプレイ装置とデジタルカメラを備えている。但し、この実施形態では、コンピュータ１０及びディスプレイ装置２０と、デジタルカメラ３０とが別体とされている例について説明を行うものとする。
入力装置４０は、ユーザがコンピュータ１０に対して入力を行うための機器である。これには限られないが、この実施形態における入力装置４０は、例えば、汎用のキーボード、マウスなどを含んでいる。
次に、コンピュータ１０の構成について説明する。
コンピュータ１０は、図２に示したようなハードウエアを備えている。コンピュータ１０は、この実施形態では、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１１２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１１３、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）１１４、インタフェイス１１５、及びこれらを接続するバス１１６を備えている。
ＣＰＵ１１１は、コンピュータ１０全体の制御を行う。ＣＰＵ１１１は、プログラムを実行することで、以下に説明するような種々の処理を実行する。
ＲＯＭ１１２は、ＣＰＵ１１１を動作させるためのプログラム、コンピュータ１０を制御する際に必要なデータなどを記憶している。
ＲＡＭ１１３は、ＣＰＵ１１１がデータ処理を行うためのワーク領域を提供する。
ＨＤＤ１１４にもまた、ＣＰＵ１１１を動作させるためのプログラム、データを記録している。例えば、ＣＰＵ１１１を動作させるためのＯＳがＨＤＤ１１４に記録されている。本発明のプログラムは、ＲＯＭ１１２か、或いはＨＤＤ１１４に記録されている。なお、本発明のプログラムは、コンピュータ１０の出荷時からコンピュータ１０にインストールされていてもよく、コンピュータ１０の出荷後に、例えばユーザによりコンピュータ１０にインストールされたものであっても構わない。コンピュータ１０の出荷後にインストールされる場合、本発明のプログラムは、ＣＤ−ＲＯＭ等の記録媒体からコンピュータ１０に記録されてもよく、また、インターネット等の所定のネットワークからのダウンロードを経てコンピュータ１０に記録されたものであってもよい。本発明のプログラムは、それ単独で後述する処理をＣＰＵ１１１に実行させるものとなっていてもよく、ＯＳその他の他のプログラムとの協働により後述の処理をＣＰＵ１１１に実行させるものとなっていても構わない。
インタフェイス１１５は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、ＨＤＤ１１４と外部とを繋ぐ窓口となるものであり、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、ＨＤＤ１１４は、インタフェイス１１５を介して外部とデータ交換を行えるようになっている。例えば、インタフェイス１１５は、ＵＳＢ端子と接続されており、それを介して、ケーブル３１に接続されたデジタルカメラ３０と接続されている。インタフェイス１１５は、デジタルカメラ３０から顔画像データを受付ける。インタフェイス１１５は、また、入力装置４０と接続されており、ユーザが入力装置４０を操作することにより生成されたデータを受付ける。インタフェイス１１５は、また、ディスプレイ装置２０と接続されており、ディスプレイ装置２０に画像を表示するための画像データを出力するようになっている。
本発明のプログラムをＣＰＵ１１１が実行することにより、コンピュータ１０の内部には、図３に示した如き機能ブロックが生成される。
コンピュータの内部には、入力部１２１、情報処理部１２２、出力部１２３が生成される。
入力部１２１は、外部からの入力を受付けるものである。この実施形態では、入力部１２１は、デジタルカメラ３０から顔画像データを受付け、また、入力装置４０から後述するデータを受付ける。入力部１２１は、デジタルカメラ３０から受付けた顔画像データ、及び入力装置４０から受付けたデータを情報処理部１２２に送るようになっている。
情報処理部１２２は、デジタルカメラ３０から受付けた顔画像データ、及び入力装置４０から受付けたデータに基づく情報処理を実行するものである。この情報処理は、後述するような方法でユーザに瞬目を促すものとなる。
情報処理部１２２には、主制御部１２２Ａ、瞬目検出部１２２Ｂ、瞬目判定部１２２Ｃ、画像処理部１２２Ｄ、画像処理データ記録部１２２Ｅが含まれている。
主制御部１２２Ａは、ユーザに瞬目を促すのとは関係のない情報処理、例えば、入力装置４０から受付けたデータに基づくワードプロセッサソフトに関する情報処理、表計算ソフトに関する情報処理、ゲームソフトに関する情報処理、インターネットブラウザに関する情報処理、電子メールソフトに関する情報処理等のうちの必要な処理を実行するものである。主制御部１２２Ａは、これらの情報処理を行った結果ディスプレイ装置２０に表示される通常時の画像についての通常時画像データを生成し、それを画像処理部１２２Ｄに送るようになっている。主制御部１２２Ａは、また、後述するようにして画像処理部１２２Ｄで行われる画像処理の種類を特定する特定データを入力装置４０から受付けた入力の内容に基づいて生成し、それを画像処理部１２２Ｄに送るようになっている。
瞬目検出部１２２Ｂは、入力部１２１を介してデジタルカメラ３０から受付けた顔画像データに基づいて、必ずしもこの限りではないがこの実施形態では略リアルタイムで、ユーザの瞬目を検出するものである。
瞬目検出部１２２Ｂは、顔画像の動画に対して画像処理を行うことにより、ユーザの瞬目を検出する。画像処理の内容には特に制限がないが、この実施形態の瞬目検出部１２２Ｂは、顔画像データによって特定される顔画像を明度についての所定の閾値に基づいて２値化して顔画像に映っている眼球の中の黒目を検出することにより瞬目の検出を行う。閾値は、眼球の黒目の色、ユーザの肌の色等に基づいて、適当に決定することができ、例えば入力装置４０からの入力により、可変とすることができる。
この場合、瞬目検出部１２２Ｂは、黒目を顔画像の中から検出することができているときにはユーザは瞬目をしていないと、黒目を顔画像の中から検出することができていないときにはユーザは瞬目をしていると、それぞれ判定することによりユーザの瞬目を検出する。黒目を顔画像の中から検出できているか否かの判定は、例えば、顔画像中の黒目に相当する部分の画素数がある所定の値よりも大きいか小さいかということにより行うことができる。この場合には、所定の値よりも黒目に相当する部分の画素数が大きいときには、黒目を顔画像の中から検出できていると、所定の値よりも黒目に相当する部分の画素数が小さいときには、黒目を顔画像の中から検出できていないと判定することができる。
瞬目検出部１２２Ｂは、ユーザの瞬目を検出する度に瞬目を検出したことを示す瞬目データを生成し、それを瞬目判定部１２２Ｃに送るようになっている。
瞬目判定部１２２Ｃは、ユーザの瞬目回数が所定の基準より少なくなっているか否かの判定を行うものとされている。瞬目判定部１２２Ｃは、瞬目検出部１２２Ｂから瞬目データを受取り、その瞬目データに基づいて上述の判定を行うようになっている。必ずしもこの限りではないが、この実施形態では、瞬目判定部１２２Ｃは、瞬目検出部１２２Ｂから受付けた瞬目データが、前回のユーザの瞬目から現時点までに予め定めた固定の時間を経過したことを示した場合（即ち、前回瞬目データを受付けてから現時点までに予め定めた固定の時間が経過した場合）に、ユーザの瞬目回数が所定の基準より少なくなっていると判定する。この場合の固定の時間は、ユーザの性別、年齢、体調等に基づいて適当に決定することが可能であるが、例えば３〜６秒の間の適当な時間とすることができる。瞬目判定部１２２Ｃは、ユーザの瞬目回数が所定の基準より少なくなっていると判定した場合、第１データを生成するようになっている。
瞬目判定部１２２Ｃは、また、上述の第１データが生成された後初めて瞬目検出部１２２Ｂがユーザの瞬目を検出した場合（上述の第１データが生成された後初めて瞬目検出部１２２Ｂから瞬目データを受付けた場合）、第２データを生成するようになっている。
瞬目判定部１２２Ｃは、第１データ又は第２データを生成した場合、それを、画像処理部１２２Ｄに送るようになっている。
画像処理部１２２Ｄは、主制御部１２２Ａから受付けた通常時画像データに対し、必要に応じて画像処理を行う機能を有している。画像処理部１２２Ｄで必要に応じて画像処理を行われた画像データは、出力部１２３に送られるようになっている。
画像処理部１２２Ｄは、通常時（第１データを受取っていない場合、又は、第１データを受取った後第２データを受取りその後第１データを受取っていない場合。）においては、主制御部１２２Ａから受取った通常時画像データをそのまま出力部１２３に送るようになっている。
画像処理部１２２Ｄは、異常時（第１データを受取った後第２データを未だ受取っていない場合。）においては、主制御部１２２Ａから受取った通常時画像データを、それに後述するような画像処理を行ってから、出力部１２３に送るようになっている。
画像処理部１２２Ｄは、通常時画像データに対して１通りの画像処理を行えるようになっていれば足りるが、この実施形態では必ずしもこの限りではないが、複数通りの画像処理の中から１つを選択して通常時画像データに対して画像処理を行えるようになっている。画像処理データ記録部１２２Ｅには、その複数種類の画像処理の仕方が記録されている。上述した特定データを受付けた画像処理部１２２Ｄは、その特定データによって特定された画像処理の仕方のデータを画像処理データ記録部１２２Ｅから読出し、読出したそのデータにしたがって、特定データによって特定された仕方で通常時画像データに画像処理を行う。
画像処理部１２２Ｄが行うようになっている画像処理の仕方は、必ずしもこの限りではないが、以下の（Ａ）〜（Ｅ）の５つである。したがって、この実施形態における上述の特定データは、以下の（Ａ）〜（Ｅ）のいずれかを特定するものとなる。
（Ａ）〜（Ｅ）による画像処理の仕方について、それぞれ説明する。
［（Ａ）の場合］
この場合、画像処理部１２２Ｄは、ディスプレイ装置２０に表示される画像が、その少なくとも一部の明度が通常時画像の当該一部よりも明度を落とすように変化させられたものとなるように、通常時画像データに画像処理を行う。
例えば、画像処理部１２２Ｄは、矩形である通常時画像の４辺から所定幅の範囲等の所定の範囲を指定し、その範囲の通常時画像に割当てられた色の明度を落とす処理を行うことで、上述の画像処理を実現できる。
画像処理部１２２Ｄが（Ａ）の画像処理を行う場合、画像処理によって通常時画像に与えられる変化の程度は、画像処理部１２２Ｄが第２データを次に受付けるまでの間、動的に変化させることができ、例えば、漸増的に、或いは段階的に大きくなるようにすることができる。この実施形態では実際にそうされている。この場合における『変化の程度』には、変化を与える画像の範囲を大きくする場合と、通常時画像のある部分に与える明度の低下の割合を大きくする場合の双方が含まれる。
（Ａ）の画像処理が行われる場合、画像処理部１２２Ｄがこの処理を極限まで通常時画像に行うと、ディスプレイ装置２０はブラックアウトすることになる。
［（Ｂ）の場合］
この場合、画像処理部１２２Ｄは、ディスプレイ装置２０に表示される画像が、その少なくとも一部の明度が通常時画像の当該一部よりも明度を上げるように変化させられたものとなるように、通常時画像データに画像処理を行う。
例えば、画像処理部１２２Ｄは、矩形である通常時画像の４辺から所定幅の範囲等の所定の範囲を指定し、その範囲の通常時画像に割当てられた色の明度を上げる処理を行うことで、上述の画像処理を実現できる。
画像処理部１２２Ｄが（Ｂ）の画像処理を行う場合、画像処理によって通常時画像に与えられる変化の程度は、画像処理部１２２Ｄが第２データを次に受付けるまでの間、動的に変化させることができ、例えば、漸増的に、或いは段階的に大きくなるようにすることができる。この実施形態では実際にそうされている。この場合における『変化の程度』には、変化を与える画像の範囲を大きくする場合と、通常時画像のある部分に与える明度の増大の割合を大きくする場合の双方が含まれる。
（Ｂ）の画像処理が行われる場合、画像処理部１２２Ｄがこの処理を極限まで通常時画像に行うと、ディスプレイ装置２０はホワイトアウトすることになる。
［（Ｃ）の場合］
この場合、画像処理部１２２Ｄは、ディスプレイ装置２０に表示される画像が、その少なくとも一部が通常時画像の当該一部を歪めたように変化させられたものとなるように、通常時画像データに画像処理を行う。
例えば、画像処理部１２２Ｄは、通常時画像の中央の所定径の円形の範囲等の所定の範囲を指定し、その範囲の通常時画像に対してレンズを通してその部分の通常時画像を見たような歪みを与える処理を行うことで、上述の画像処理を実現できる。或いは、画像処理部１２２Ｄは、通常時画像の全範囲等の所定の範囲を指定し、通常時画像の所定の位置から波紋が広がったような画像処理を通常時画像に行うことで、上述の画像処理を実現できる。
画像処理部１２２Ｄが（Ｃ）の画像処理を行う場合、画像処理によって通常時画像に与えられる変化の程度は、画像処理部１２２Ｄが第２データを次に受付けるまでの間、動的に変化させることができ、例えば、漸増的に、或いは段階的に大きくなるようにすることができる。この実施形態では実際にそうされている。この場合における『変化の程度』には、変化を与える画像の範囲を大きくする場合と、通常時画像のある範囲に与える歪みの度合いを大きくする場合の双方が含まれる。例えば、通常時画像をそれを透過して見るための仮想のレンズの度を時間の経過に連れて強くしたり、時間の経過に連れて通常時画像の上を伝わる上述の波紋の振幅を大きくしたり、波長を小さくすることが、通常時画像の歪みの度合いを大きくする場合の例となる。
［（Ｄ）の場合］
この場合、画像処理部１２２Ｄは、ディスプレイ装置２０に表示される画像が、その少なくとも一部が通常時画像の当該一部に曇りをかけたように変化させられたものとなるように、通常時画像データに画像処理を行う。
例えば、画像処理部１２２Ｄは、通常時画像の中央の所定径の円形の範囲等の所定の範囲を指定し、その範囲の通常時画像に対して曇りをかけたような処理を行うことで、上述の画像処理を実現できる。これは、通常時画像のうちの上述の所定の範囲の前に適当な色の画像を置いて、その画像を通して通常時画像を見ている画像をαブレンディングの画像処理技術を用いて生成することにより、容易に実現できる。この場合、通常時画像に含まれている物の輪郭を弱めるような処理を行ってもよい。
画像処理部１２２Ｄが（Ｄ）の画像処理を行う場合、画像処理によって通常時画像に与えられる変化の程度は、画像処理部１２２Ｄが第２データを次に受付けるまでの間、動的に変化させることができ、例えば、漸増的に、或いは段階的に大きくなるようにすることができる。この実施形態では実際にそうされている。この場合における『変化の程度』には、変化を与える画像の範囲を大きくする場合と、通常時画像のある部分に与える曇りの濃さを大きくする場合の双方が含まれる。
［（Ｅ）の場合］
この場合、画像処理部１２２Ｄは、ディスプレイ装置２０に表示される画像を、通常時画像の上に通常時画像を隠す所定のオブジェクトが重ねられたものとして表示させられたものとなるように、通常時画像データに画像処理を行う。
例えば、この場合、オブジェクトは、円形、矩形等の無機的なものでもよいし、自動車、魚、飛行機等を模した絵柄、漫画・アニメ等のキャラクタなどのどのようなものでもよい。オブジェクトは、不透明であってもよいし、半透明であってもよい。オブジェクトは、通常時画像の上で移動するように表示されるようになっていてもよいし、その位置、その大きさ、その形状の少なくとも１つが変化するようになっていてもよい。
上述したように、必要に応じて画像処理の行われた通常時画像のデータは、出力部１２３に送られるようになっている。
出力部１２３は、ディスプレイ装置２０に、ディスプレイ装置２０で表示される画像のデータを送るものである。出力部１２３は、画像処理部１２２Ｄから受付けた必要に応じて画像処理の行われた通常時画像データをディスプレイ装置２０に送る。これを受付けたディスプレイ装置２０は、必要に応じて画像処理の行われた通常時画像データに基づく画像を表示するようになっている。
次いで、このコンピュータ１０で実行される処理の流れについて説明する。
この実施形態では、必ずしもこの限りではないが、電源を入れコンピュータ１０を立上げることにより、本発明のプログラムが実行され以下の処理に続く開始処理が自動的に始まる（Ｓ００１）。
次に（もっとも、プログラムの開始処理（Ｓ００１）との先後は問わないが）、通常時画像のディスプレイ装置２０での表示が実行される（Ｓ００２）。例えば、入力装置４０から入力部１２１を介して入力されたデータに基づいて、情報処理部１２２の主制御部１２２Ａが通常時画像データを生成する。この通常時画像データは、画像処理部１２２Ｄ、出力部１２３を経てディスプレイ装置２０に送られる。これによりディスプレイ装置２０には通常時画像が表示されることになる。
この状態で、ユーザは、異常時における画像処理の種類を上述した（Ａ）〜（Ｅ）の中から特定する（Ｓ００３）。具体的には、ユーザは、入力装置４０を操作して、（Ａ）〜（Ｅ）のいずれかを選択する。ユーザが入力装置４０を操作することによって生成されたデータが、入力部１２１を介して情報処理部１２２の主制御部１２２Ａに到ると主制御部１２２Ａが上述の特定データを生成し、それを画像処理部１２２Ｄに送る。これを受付けた画像処理部１２２Ｄは、特定データによって特定された（Ａ）〜（Ｅ）のいずれかの画像処理を行うために必要なデータ、プログラム等を画像処理データ記録部１２２Ｅから読み出す。
その後、コンピュータ１０は、デジタルカメラ３０から顔画像データを受付け、顔画像データによりユーザの瞬目の検出を行う（Ｓ００４）。瞬目の検出は、デジタルカメラ３０から入力部１２１を介して顔画像データを受付けた情報処理部１２２の瞬目検出部１２２Ｂが、上述のように顔画像データに画像処理を行うことによって行う。
瞬目検出部１２２Ｂがユーザの瞬目を検出する度に、瞬目検出部１２２Ｂは瞬目データを生成しそれを瞬目判定部１２２Ｃに送る。
瞬目判定部１２２Ｃは、前回瞬目データを受取ってから予め定められた固定の時間が経過したか否かをモニタし、ユーザの瞬目の回数が所定の基準より少なくなっているか否か継続的に判定する（Ｓ００５）。
固定の時間が経過していない場合（Ｓ００５：Ｎｏ）には、瞬目判定部１２２Ｃは、前回瞬目データを受取ってから予め定められた固定の時間が経過したか否かを検出するＳ００５の処理を継続する。
固定の時間が経過した場合（Ｓ００５：Ｙｅｓ）には、瞬目判定部１２２Ｃは、上述した第１データを生成する（Ｓ００６）。第１データは、瞬目判定部１２２Ｃから、画像処理部１２２Ｄに送られる。
第１データを受け取った画像処理部１２２Ｄは、Ｓ００３で特定された種類の画像処理を通常時画像データに対して行う（Ｓ００７）。画像処理の実行された通常時画像データは、画像処理部１２２Ｄから出力部１２３を介してディスプレイ装置２０に送られる。
ディスプレイ装置２０には、上述した（Ａ）〜（Ｅ）のいずれかの画像処理が行われた後の通常時画像が表示されることになる。
この状態でも、瞬目検出部１２２Ｂはユーザの瞬目を検出し続けている。また、瞬目判定部１２２Ｃは、新たなユーザの瞬目があったか否かを、瞬目検出部１２２Ｂからの瞬目データの受付けがあったか否かによりモニタしている（Ｓ００８）。
ユーザは、画像処理された通常時画像が見づらいので、通常時画像に対する画像処理を終了させるために積極的に瞬目を行うようになる。通常時画像に対する画像処理を終了させディスプレイ装置２０に表示されている画像を見易くするためには瞬目が必要であるということをユーザに認識させておけば、ユーザに瞬目を行うことの動機付けを与えるのは容易である。
ユーザの新たな瞬目がない場合（Ｓ００８：Ｎｏ）、画像処理部１２２Ｄは、通常時画像データに対する画像処理を継続する。この場合、ディスプレイ装置２０に表示されている画像は相変わらず見づらいままであるから、ユーザの瞬目を誘発し易い状態は継続される。しかも、この実施形態では、特に、（Ａ）〜（Ｄ）の画像処理が実行されている場合には、画像処理の程度が時間経過とともに大きくなっていくので、ユーザに与えられる瞬目を行うことに対する動機付けは益々大きくなっていく。
ユーザの新たな瞬目があった場合（Ｓ００８：Ｙｅｓ）、つまり、瞬目判定部１２２Ｃが瞬目検出部１２２Ｂから瞬目データを受付けた場合、瞬目判定部１２２Ｃは第２データを生成する（Ｓ００９）。第２データは、瞬目判定部１２２Ｃから画像処理部１２２Ｄに送られる。
第２データを受付けた画像処理部１２２Ｄは、主制御部１２２Ａから受付け続けている通常時画像データに対する画像処理を終了する（Ｓ０１０）。これによりディスプレイ装置２０に表示される画像は、画像処理のされていない見易い（又は普通の状態の）通常時画像に戻ることになる。
第２データが生成された後、或いは第２データが生成されるのと同時に、Ｓ００５の処理でモニタされていた瞬目データの受付けから経過した時間はリセットされ、第２データが生成された時間が固定時間が経過したか否かモニタするための新たな始点として設定される（Ｓ０１１）。
本発明のプログラムを終了させる操作、例えば、本発明のプログラムの実行を停止するか、或いはコンピュータ１０の電源を落とす操作が入力装置４０により行われたか否かの判定は常に行われているが（Ｓ０１２）、このような操作が特に行われていない場合（Ｓ０１２：Ｎｏ）には、上述のＳ０１１の処理が行われた後、Ｓ００４以下の処理が再度繰り返される。
本発明のプログラムを終了させる操作が行われた場合（Ｓ０１２：Ｙｅｓ）には、すべての処理が終了する。
＜変形例１＞
変形例１におけるコンピュータ１０は、基本的に上述の実施形態のものと同一である。
変形例１におけるコンピュータ１０が上述の実施形態のコンピュータ１０と唯一異なるのは、瞬目判定部１２２Ｃが、ユーザの瞬目回数が所定の基準より少なくなっているか否かの判定を行う場合における、その判定方法である。
変形例１におけるコンピュータ１０における瞬目判定部１２２Ｃは、上述の実施形態のコンピュータ１０における瞬目判定部１２２Ｃの場合と同様、瞬目検出部１２２Ｂから瞬目データを受取り、その瞬目データに基づいて上述の判定を行うようになっている。
しかしながら、変形例１における瞬目判定部１２２Ｃは、上述の実施形態の場合と異なり、前回瞬目データを受付けてから現時点までに予め定めた固定の時間が経過した場合に、ユーザの瞬目回数が所定の基準より少なくなっていると判定するのではなく、以下のような基準でかかる判定を行う。即ち、変形例１では、瞬目データを受付けてから２０秒以内に次の瞬目データを受付けなかった場合にユーザの瞬目回数が所定の基準より少なくなっていると判定するということを基本とするとともに、例えば、過去３分間に第１データが３回以上発生されている場合には、瞬目データを受付けてから１５秒以内に次の瞬目データを受付けなかった場合にユーザの瞬目回数が所定の基準より少なくなっていると判定し、例えば、過去３分間に第１データが６回以上発生されている場合には、瞬目データを受付けてから１０秒以内に次の瞬目データを受付けなかった場合にユーザの瞬目回数が所定の基準より少なくなっていると判定するなどして、ユーザの瞬目回数が所定の基準より少なくなっていると判定する場合における瞬目データを受付けてから次の瞬目データを受付けるまでの基準となる時間を変化させる。ちなみに、上述のような基準となる時間の変化は、直近の単位時間当たりのユーザの瞬目の回数が少ない程、瞬目の間隔が短くとも第１データが生成されることになるため、直近の単位時間当たりのユーザの瞬目の回数が少なくなればなるほど、ディスプレイ装置２０に表示される画像がより頻繁に見づらいものとなる。これは、直近の単位時間当たりのユーザの瞬目の回数が少ない場合、それに応じてユーザにより強く瞬目を行うための動機付けを与えられることを意味する。
＜変形例２＞
変形例２におけるコンピュータ１０も、変形例１の場合と同様、瞬目判定部１２２Ｃが、ユーザの瞬目回数が所定の基準より少なくなっているか否かの判定を行う場合におけるその判定方法のみが、上述の実施形態の場合と異なる。
変形例２におけるコンピュータ１０における瞬目判定部１２２Ｃは、上述の実施形態のコンピュータ１０における瞬目判定部１２２Ｃの場合と同様、瞬目検出部１２２Ｂから瞬目データを受取り、その瞬目データに基づいて上述の判定を行う。
ここで、変形例２における瞬目判定部１２２Ｃは、ユーザの瞬目から瞬目までの時間間隔でなく、直近の過去の単位時間あたりの瞬目の回数に基づいて、上述の判定を行う。変形例２における瞬目判定部１２２Ｃは、どのタイミングで瞬目検出部１２２Ｂから瞬目データを受付けたかということについての直近の過去の単位時間分のデータを記録している。そして、瞬目判定部１２２Ｃは、常に、直近の過去の単位時間あたりの瞬目の回数が予め定めた基準となる瞬目の回数を下回ったかをモニタする。瞬目判定部１２２Ｃは、直近の過去の単位時間あたりの瞬目の回数が予め定めた基準となる瞬目の回数を下回った場合、ユーザの瞬目回数が所定の基準より少なくなっていると判定する。例えば、瞬目判定部１２２Ｃは、直近の過去の１分あたりの瞬目の回数が２０回を下回った場合、ユーザの瞬目の回数が所定の基準より少なくなっていると判定するようになっている。
なお、瞬目判定部１２２Ｃは、必ずしも常に、直近の過去の単位時間あたりの瞬目の回数が予め定めた基準となる瞬目の回数を下回ったかをモニタする必要はない。瞬目判定部１２２Ｃは、単位時間毎に、その単位時間あたりの瞬目の回数が予め定めた基準となる瞬目の回数を下回ったかを判定するようにすることができる。例えば、瞬目判定部１２２Ｃは、１分毎に、その直前の１分間に生じたユーザの瞬目の回数が２０回を下回ったか判定するようにすることができ、そう判定された場合に、ユーザの瞬目の回数が予め定めた基準となる瞬目の回数を下回ったと判定するようなものにすることができる。
＜変形例３＞
上述の実施形態におけるコンピュータ１０は、汎用のコンピュータであり、上述の実施形態におけるディスプレイ装置２０は、汎用のコンピュータ用のディスプレイ装置であったが、コンピュータ１０は、ゲーム専用機その他のエンタテインメントマシンとすることができ、ディスプレイ装置２０は、テレビジョン受像機とすることができる。
この場合の入力装置４０は、上述の実施形態の場合と異なり、エンタテインメントマシンが備える公知のコントローラにより構成され得る。このことは当業者には明らかであろう。
なお、コンピュータ１０がエンタテインメントマシンである場合、本発明におけるプログラムは、エンタテインメントマシンであるコンピュータ１０にインストールされてコンピュータ１０に実行されるものであっても良いし、コンピュータ１０でゲームその他のエンタテインメント処理を実行するためのＤＶＤ−ＲＯＭその他の記録媒体に記録されていて、記録媒体から実行されるものであっても構わない。
エンタテインメントマシンを用いて実行されるゲームにより、特に子供の視力が低下するということは大きな問題とされている。本発明によれば、それを効果的に防止できることになる。プログラムが記録媒体から実行される場合には、既に出回っている既存のエンタテインメントマシンを本発明のコンピュータとして機能させられるので非常に有用である。
また、ディスプレイ装置２０がテレビジョン受像機である場合、コンピュータ１０は、ディスプレイ装置２０に内蔵されていても構わない。テレビジョン受像機によりテレビ放送を見る視聴者、特に子供の視聴者の視力が低下することを、コンピュータ１０を内蔵したテレビジョン受像機により効果的に防止できる可能性がある。
なお、コンピュータ１０とデジタルカメラ３０は、既に述べたように、その双方がディスプレイ装置２０と一体とされていてもよい。この場合のディスプレイ装置２０の一例はテレビジョン受像機となる。このようなディスプレイ装置２０であれば、ユーザは、テレビジョン受像機であるディスプレイ装置２０を買うだけで、配線やセッティングの煩雑さから逃れつつ、ディスプレイ装置を見る場合における瞬目の回数の低減を避けられるようになるという本発明による恩恵を享受できる。
この場合のディスプレイ装置２０の全体構成を図１９に示す。ディスプレイ装置２０の正面には、デジタルカメラのレンズ２０Ｌが覗いている。ディスプレイ装置２０の内部には、第１実施形態のコンピュータ１０に含まれていたハードウエアが必要に応じて含まれることになり、また、第１実施形態のコンピュータ１０の内部に形成された機能ブロックが必要に応じて含まれることになるが、これらがどのようなものであるかは当業者には明らかであろうから、それについての説明は省略するものとする。なお、第１実施形態のコンピュータ１０もそのようなものとすることができるが、このディスプレイ装置２０は、それが内蔵するデジタルカメラで撮像するユーザを複数人とすることができ、且つその複数のユーザのいずれかの者に瞬目の減少が生じたと判定した場合に第１データを、当該ユーザがその後再び瞬目を行なった場合に第２データをそれぞれ生成するようなものとされている。そうすることにより、複数のユーザの瞬目の低減をまとめて防ぐことができるようになる。
≪第２実施形態≫
次に、本発明の第２実施形態について説明する。
第２実施形態のコンピュータ１０は、第１実施形態の場合と同様に、ディスプレイ装置２０、デジタルカメラ３０、及び入力装置４０と接続されている。第２実施形態におけるコンピュータ１０、ディスプレイ装置２０、及び入力装置４０のハードウエア構成は、第１実施形態の場合と変わらない。
簡単にいえば、第２実施形態は、第１実施形態ではコンピュータ１０内に生成されることになっていた瞬目検出部１２２Ｂを、第１実施形態におけるデジタルカメラ３０の内部に移動させたものとなっている。第２実施形態のデジタルカメラ３０は、第１実施形態の場合と同様の瞬目検出部１２２Ｂをその内部に生成することができ、且つデジタルカメラ３０内に生成された瞬目検出部１２２Ｂにおいて、第１実施形態のコンピュータ１０内で瞬目検出部１２２Ｂが行っていたのと同様の情報処理を実行できるようにされている。つまり、デジタルカメラ３０は、この意味で、インテリジェントなものとされている。
第２実施形態におけるデジタルカメラ３０は、その内部に、コンピュータ１０が備えるのと同様のＣＰＵ、ＲＯＭ、ＲＡＭ、インタフェイス、バスを備えている。ＣＰＵがＲＯＭに記録されていたプログラムを実行することにより、デジタルカメラ３０の中に瞬目検出部１２２Ｂが生成されることになる。
なお、瞬目検出部１２２Ｂは、必ずしもデジタルカメラ３０の中に存在する必要はなく、デジタルカメラ３０、コンピュータ１０以外の他の機器の中に存在していても構わない。この場合には、デジタルカメラ３０と当該他の機器を組合わせたものが、第２発明における瞬目検出装置となる。
デジタルカメラ３０と、コンピュータ１０の内部に生成される機能ブロックを、概略的に図５に示す。
デジタルカメラ３０の中には、図５に示したように、瞬目検出部１２２Ｂと、出力部１３１が生成される。出力部１３１は、瞬目検出部１２２Ｂが生成した瞬目データを、コンピュータ１０に送出する機能を有している。
コンピュータ１０の内部に生成される機能ブロックは、第１実施形態のコンピュータ１０の内部に生成される機能ブロックから瞬目検出部１２２Ｂを除いたものである。第２実施形態のコンピュータ１０の内部に生成される機能ブロックの機能は、第１実施形態のコンピュータ１０の内部に生成される機能ブロック（同じ名称のもの）の機能と変わらない。異なる点があるとすれば、入力部１２１がデジタルカメラから受付けるデータが、顔画像データではなく瞬目データである点くらいである。
次いで、第２実施形態のコンピュータ１０で実行される処理の流れについて説明する。
第２実施形態でも、必ずしもこの限りではないが、電源を入れコンピュータ１０を立上げることにより、本発明のプログラムが実行され、開始処理が自動的に始まる。
次に、通常時画像のディスプレイ装置２０での表示が実行される。ディスプレイ装置２０には、情報処理部１２２の主制御部１２２Ａが生成した通常時画像データに基づく通常時画像が表示される。
この状態で、ユーザは、異常時における画像処理の種類を上述した（Ａ）〜（Ｅ）の中から特定する。
その後ずっと、デジタルカメラ３０の瞬目検出部１２２Ｂは、デジタルカメラ３０の撮像素子から顔画像データを受付けている。瞬目検出部１２２Ｂは、その顔画像データから、ユーザの瞬目の有無を常時判定している。第２実施形態の瞬目検出部１２２Ｂの瞬目検出の仕方は、第１実施形態の場合と同じでよい。瞬目検出部１２２Ｂが瞬目データを生成すると、瞬目データは、出力部１３１を介してコンピュータ１０の入力部１２１に送られるようになっている。
コンピュータ１０が、入力部１２１を介して受取った瞬目データは、情報処理部１２２の瞬目判定部１２２Ｃに送られる。コンピュータ１０は、この瞬目データを用いて、ユーザの瞬目の回数が所定の基準より少なくなっているか否か継続的に判定する。この判定は、第１実施形態及びその変形例で述べた方法で行えばよい。
瞬目判定部１２２Ｃが、ユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合（例えば、固定の時間が経過した場合）には、瞬目判定部１２２Ｃは、第１実施形態の場合と同様の第１データを生成する。第１データは、瞬目判定部１２２Ｃから、画像処理部１２２Ｄに送られる。
第１データを受け取った画像処理部１２２Ｄは、ユーザによって特定された種類の画像処理を通常時画像データに対して行う。画像処理の実行された通常時画像データは、画像処理部１２２Ｄから出力部１２３を介してディスプレイ装置２０に送られる。ディスプレイ装置２０には、（Ａ）〜（Ｅ）のいずれかの画像処理が行われた後の通常時画像が表示される。
この状態でも、デジタルカメラ３０内の瞬目検出部１２２Ｂはユーザの瞬目を検出し続けている。そして、新たに瞬目があったことにより生成された瞬目データは、出力部１３１、入力部１２１を介して、瞬目判定部１２２Ｃに供給され続けている。通常時画像データに画像処理が継続されている間に、ユーザが新たな瞬目を行うことによって生成された瞬目データを瞬目判定部１２２Ｃが受取ると、瞬目判定部１２２Ｃは第２データを生成する。第２データは、瞬目判定部１２２Ｃから、画像処理部１２２Ｄに送られる。第２データを受付けた画像処理部１２２Ｄは、主制御部１２２Ａから受付け続けている通常時画像データに対する画像処理を終了する。これにより、ディスプレイ装置２０に表示される画像は、画像処理のされていない通常時画像に戻ることになる。
これ以降の処理は、第１実施形態の場合の（Ｓ０１１）以降の処理と同様である。
＜変形例４＞
第２実施形態では、瞬目を検出する機能が与えられたデジタルカメラ３０が本願でいう瞬目検出装置として機能していた。
瞬目検出装置としてのデジタルカメラ３０は、例えば、図６に示したようなものとすることができる。
変形例４では、ユーザの瞬目を、図６に示した如き、眼鏡形状の瞬目検出器３００にて検出することとしている。
瞬目検出器３００は、全体として眼鏡のフレーム形状とされた本体３１０を備えている。本体３１０は、通常の眼鏡と同様に、フレーム、テンプル、ブリッジ、レンズ（度が入っていてもそうでなくてもよい。）、ノーズパッド等を備えたものとすることができる。本体３１０のテンプルをユーザの耳に掛けることにより、ユーザは、瞬目検出器３００を眼鏡のような状態で装着できる。
本体３１０の左右いずれかの眼に対応するフレームの内側（瞬目検出器３００を装着したユーザの顔に対向する側）には、検出センサ３２０が設けられている。検出センサ３２０は、ユーザが瞬目をしたことによって生じる物理的な変化を検出するセンサである。検出センサ３２０の詳細については後述する。
本体３１０は、制御回路３３０を備えている。制御回路３３０は、検出センサ３２０と接続線３２１で接続されている。制御回路３３０は、この限りではないが、この変形例４では、本体３１０の一部であるテンプルの中に埋め込まれている。制御回路３３０のハードウエア構成は、第２実施形態のデジタルカメラ３０が備えていたのと同様のものである。制御回路３３０の内部には、制御回路３３０のＣＰＵが制御回路３３０中のＲＯＭに記録されていたプログラムを実行することにより、例えば第２実施形態の場合と同様の機能ブロック（これには、出力部１３１と瞬目検出部１２２Ｂが含まれる。）が形成される。瞬目検出部１２２Ｂは、接続線３２１を介して検出センサ３２０から受付けたデータに基づいて、ユーザの瞬目を検出し、瞬目データを生成するようになっている。生成された瞬目データは、例えば、制御回路３３０に含まれている無線通信装置が、コンピュータ１０に送る。なお、瞬目検出器３００がコンピュータ１０に送るデータは、必ずしも瞬目を検出したことを示すデータである必要ななく、コンピュータ１０が瞬目の検出を行なうために必要なデータそのものであってもよい。この場合には、第２実施形態の瞬目検出部１２２Ｂは、瞬目検出器３００ではなくコンピュータ１０の内部に生成されることになる。
検出センサ３２０は、例えば、図７に示した如き２つの電極３１１を備えるものとすることができる。この場合２つの電極３１１には、適当な電位差が与えられる。２つの電極３１１は、ユーザが瞬目した場合にユーザの瞼が、２つの電極３１１の間に形成された電気力線Ｄを横切るような位置に設けられている。ユーザが瞬目をした場合、２つの電極３１１間の電気力線Ｄ上に瞼が存在することにより、２つの電極３１１間の静電容量が大きくなる。この場合の瞬目検出部１２２Ｂは、２つの電極３１１間の静電容量をモニタしており、２つの電極３１１間の静電容量が、ある閾値を超えた場合にユーザが瞬目をしたと判定し瞬目データを生成するようになっている。
検出センサ３２０は、或いは、赤外線センサと赤外線光源の組合わせとすることができる。この場合、赤外線光源は、ユーザの眼の周辺に赤外線を照射する。赤外線センサはユーザの眼の周辺で反射された赤外線の量或いは強さを測定する。赤外線は不可視であるからユーザがそれを感じることはない。赤外線は、虹彩（黒目）の黒色によく吸収される。したがって、ユーザが瞬目していない場合には、赤外線センサが捉える赤外線量は小さくなる。他方、ユーザが瞬目を行った場合、ユーザの眼を覆った瞼によって反射される赤外線光源からの赤外線の量は多くなるので、赤外線センサが捉える赤外線の量は増える。この場合の瞬目検出部１２２Ｂは、赤外線センサが捉える赤外線の量をモニタしており、赤外線センサが捉えた赤外線の量が、ある閾値を超えた場合にユーザが瞬目をしたと判定し瞬目データを生成するようになっている。
なお、変形例４における本体３１０は、既存の眼鏡とすることができる。この場合、変形例４における瞬目検出器３００の構成のうち、眼鏡である本体３１０以外の部分は、眼鏡である本体３１０に対し、好ましくは着脱自在に後付けする瞬目検出オプション３００Ｘとして構成することができる。本体３１０として機能する眼鏡は、ユーザのうちの多くの者がそれを所有しているが、上述の如き瞬目検出オプション３００Ｘを用いれば、ユーザの所有する既存の眼鏡を変形例４で説明したような瞬目検出器３００として機能させられることになり便利である。瞬目検出オプション３００Ｘは全体として一体とすることができるが、そのようにした場合には瞬目検出オプション３００Ｘの眼鏡（本体３１０）への一回の取付けで眼鏡を瞬目検出器３００として機能させられることになる。
瞬目検出オプション３００Ｘを眼鏡である本体３１０に取付けた状態を図２０に示す。
瞬目検出オプション３００Ｘは、オプション本体３１０Ｘを備えている。オプション本体３１０Ｘは、眼鏡である本体３１０に対する着脱自在な固定を行えるように構成されている。オプション本体３１０Ｘの本体３１０に対する固定は、クリップによる挟持、磁石による吸着、粘着剤による接着など適当な技術を用いて実現すればよい。この実施形態では、オプション本体３１０Ｘは図示を省略のクリップを備えており、クリップで本体３１０のフレームの一部を挟み込むことで本体３１０に対して固定できるようにされている。
オプション本体３１０Ｘには、瞬目検出器３００が備えていたのと同様の検出センサ３２０が設けられており、また、瞬目検出器３００が備えていたのと同様の制御回路３３０（図示を省略する。）が内蔵されている。
≪第３実施形態≫
次に、本発明の第３実施形態について説明する。
第３実施形態のコンピュータ１０は、第２実施形態の場合と同様に、ディスプレイ装置２０、デジタルカメラ３０、及び入力装置４０と接続されている。第３実施形態におけるコンピュータ１０、ディスプレイ装置２０、及び入力装置４０のハードウエア構成は、第１実施形態の場合と変わらない。
簡単にいえば、第３実施形態は、第１実施形態ではコンピュータ１０内に生成されることになっていた瞬目検出部１２２Ｂと瞬目判定部１２２Ｃを、第１実施形態におけるデジタルカメラ３０の内部に移動させたものとなっている。第３実施形態のデジタルカメラ３０は、第１実施形態の場合と同様の瞬目検出部１２２Ｂと瞬目判定部１２２Ｃをその内部に生成することができ、且つデジタルカメラ３０内に生成された瞬目検出部１２２Ｂと瞬目判定部１２２Ｃにおいて、第１実施形態のコンピュータ１０内で瞬目検出部１２２Ｂと瞬目判定部１２２Ｃとが行っていたのと同様の情報処理を実行できるようにされている。つまり、第３実施形態のデジタルカメラ３０は、この意味で、第２実施形態のデジタルカメラ３０と同様にインテリジェントなものとされている。
なお、瞬目検出部１２２Ｂと瞬目判定部１２２Ｃ、または、瞬目判定部１２２Ｃは、デジタルカメラ３０内に必ずしも存在する必要はなく、デジタルカメラ３０とコンピュータ１０以外の他の機器の中に存在してもよい。この場合には、デジタルカメラ３０と当該他の機器を組合わせたものが、第３発明における瞬目検出装置となる。
第３実施形態におけるデジタルカメラ３０は、第２実施形態のデジタルカメラ３０が備えるのと同様のＣＰＵ、ＲＯＭ、ＲＡＭ、インタフェイス、バスを備えている。ＣＰＵがＲＯＭに記録されていたプログラムを実行することにより、デジタルカメラ３０の中に瞬目検出部１２２Ｂと瞬目判定部１２２Ｃが生成されることになる。
デジタルカメラ３０と、コンピュータ１０の内部に生成される機能ブロックを、概略的に図８に示す。
デジタルカメラ３０の中には、図８に示したように、瞬目検出部１２２Ｂと、瞬目判定部１２２Ｃと、出力部１３１が生成される。出力部１３１は、瞬目判定部１２２Ｃが生成した第１データ及び第２データを、コンピュータ１０に送出する機能を有している。
コンピュータ１０の内部に生成される機能ブロックは、第１実施形態のコンピュータ１０の内部に生成される機能ブロックから瞬目検出部１２２Ｂと瞬目判定部１２２Ｃを除いたものである。第３実施形態のコンピュータ１０の内部に生成される機能ブロックの機能は、第１実施形態のコンピュータ１０の内部に生成される機能ブロック（同じ名称のもの）の機能と変わらない。異なる点があるとすれば、入力部１２１がデジタルカメラ３０から受付けるデータが、顔画像データではなく第１データと第２データである点くらいである。
次いで、第３実施形態のコンピュータ１０で実行される処理の流れについて説明する。
第３実施形態でも、必ずしもこの限りではないが、電源を入れコンピュータ１０を立上げることにより、本発明のプログラムが実行され、開始処理が自動的に始まる。
次に、通常時画像のディスプレイ装置２０での表示が実行される。ディスプレイ装置２０には、情報処理部１２２の主制御部１２２Ａが生成した通常時画像データに基づく通常時画像が表示される。
この状態で、ユーザは、異常時における画像処理の種類を上述した（Ａ）〜（Ｅ）の中から特定する。
その後ずっと、デジタルカメラ３０の瞬目検出部１２２Ｂは、デジタルカメラ３０の撮像素子から顔画像データを受付けている。瞬目検出部１２２Ｂは、その顔画像データから、ユーザの瞬目の有無を常時判定している。第３実施形態の瞬目検出部１２２Ｂの瞬目検出の仕方は、第１実施形態の場合と同じでよい。瞬目検出部１２２Ｂが瞬目データを生成すると、瞬目データは、瞬目判定部１２２Ｃに送られるようになっている。
瞬目判定部１２２Ｃは、その瞬目データに基づいて、ユーザの瞬目の回数が所定の基準より少なくなっているか否かを判定する。かかる判定の仕方は、第１実施形態及びその変形例の場合と同じようにすることができる。瞬目判定部１２２Ｃが、ユーザの瞬目の回数が所定の基準より少なくなっていると判定した場合（例えば、固定の時間が経過した場合）には、瞬目判定部１２２Ｃは、第１実施形態の場合と同様の第１データを生成する。第１データは、瞬目判定部１２２Ｃから、出力部１３１に送られ、コンピュータ１０に送られる。コンピュータ１０は、入力部１２１を介してこれを受取る。入力部１２１は、第１データを、情報処理部１２２の画像処理部１２２Ｄに送る。
第１データを受け取った画像処理部１２２Ｄは、ユーザによって特定された種類の画像処理を通常時画像データに対して行う。画像処理の実行された通常時画像データは、画像処理部１２２Ｄから出力部１２３を介してディスプレイ装置２０に送られる。ディスプレイ装置２０には、（Ａ）〜（Ｅ）のいずれかの画像処理が行われた後の通常時画像が表示される。
この状態でも、デジタルカメラ３０内の瞬目検出部１２２Ｂはユーザの瞬目を検出し続けている。そして、新たに瞬目があったことにより生成された瞬目データは、瞬目判定部１２２Ｃに供給され続けている。通常時画像データに画像処理が継続されている間に、ユーザが新たな瞬目を行うことによって生成された瞬目データを瞬目判定部１２２Ｃが受取ると、瞬目判定部１２２Ｃは第２データを生成する。第２データは、出力部１３１、入力部１２１を介して情報処理部１２２の画像処理部１２２Ｄに送られる。第２データを受付けた画像処理部１２２Ｄは、主制御部１２２Ａから受付け続けている通常時画像データに対する画像処理を終了する。これにより、ディスプレイ装置２０に表示される画像は、画像処理のされていない通常時画像に戻ることになる。
これ以降の処理は、第１実施形態の場合の（Ｓ０１１）以降の処理と同様である。
なお、第３実施形態のデジタルカメラは、第２実施形態の変形例４で述べたのと同じ瞬目検出器３００に置き換えることができる。
≪第４実施形態≫
以下、第４実施形態について説明する。
第４実施形態は、本願発明をヘッドマウントディスプレイに応用したものである。
この実施形態のヘッドマウントディスプレイは、図９に示したような眼鏡フレームの形状をした眼鏡６００に取付けて用いる取付けタイプのＨＭＤである。この実施形態では、ヘッドマウントディスプレイ装置５００が眼鏡６００の後方に取付けられる。使用時には、ヘッドマウントディスプレイ装置５００は、使用者の顔と眼鏡６００との間の空間に位置する。そのために、使用者以外からはヘッドマウントディスプレイ装置５００の存在がわかりづらくなっている。
眼鏡６００は、眼鏡フレーム６０１に眼鏡レンズ６０２がはめ込まれた、通常の眼鏡と同様の構成とされている。眼鏡６００は市販のものでもよい。眼鏡レンズ６０２は、度が入っていても入っていなくてもよく、また、無色透明でも有色透明でもよい。眼鏡フレーム６０１は、左右のつる６０３と、左右のリム６０４と、左右のリム６０４をつなぐブリッジ６０５と、を備えている。左右のつる６０３はそれぞれ左右のリム６０４にヒンジ接続されており、つる６０３をリム６０４に対して平行になるような向きで折畳めるようになっている。つる６０３の先端を使用者の両耳にそれぞれ係止するか、或いは２本のつる６０３により使用者の頭部を挟み込むことで、使用者の頭部に眼鏡６００が固定される。
この実施形態では、眼鏡６００にヘッドマウントディスプレイ装置５００を取付けたとき、取付けられたヘッドマウントディスプレイ装置５００が眼鏡６００の後方に位置することになり、そのとき使用者の顔から眼鏡６００が前方に移動せざるを得なくなるため、その状態でもつる６０３を使用者の耳にかけられるように、つる６０３の長さが通常の眼鏡フレームよりも幾らか長めになっている。
なお、図９に示した例では、つる６０３の先端が使用者の耳に係止し易いように下方向に曲折されているが、つる６０３の先端は直線状であってもよい。つまり、つる６０３はストレートテンプルであってもよい。つる６０３をストレートテンプルとした方が、ヘッドマウントディスプレイ装置５００を眼鏡６００に取付けているか否かによらず、使用者のつる６０３に対する感覚を一定に維持できる。ストレートテンプルとした変形例によるつる６０３の例を、図９中に、６０３Ｓとして示す。
ヘッドマウントディスプレイ装置５００は、ディスプレイを内部に有するケース５１０と、ケース５１０に可動部５１６を介して接続される左右の自由曲面プリズム５２０と、ケース５１０に接続されるノーズパッド５３０と、を備えている。
ケース５１０は、必ずしもその限りではないがこの実施形態では眼鏡６００のブリッジ６０５に取付けられるようになっている。ケース５１０は、それが眼鏡６００に取付けられたときに、眼鏡６００の後方に位置するようになっている。自由曲面プリズム５２０は、使用者が眼鏡６００を装着したときに使用者から見てケース５１０の横方向に並ぶように、ケース５１０に接続される。ノーズパッド５３０は、ケース５１０のさらに後方に位置するように取付けられる。ノーズパッド５３０は、ヘッドマウントディスプレイ装置５００が取付けられた眼鏡６００を使用者が頭部に装着したときに、使用者の鼻に当接して眼鏡６００のずれを防止する。ディスプレイ（後述する。）に表示される画像は、自由曲面プリズム５２０により所定の倍率で拡大されて、自由曲面プリズム５２０から後方に出力される。後方に出力された画像は、眼鏡６００を装着した使用者の眼に入ることになる。画像は、この実施形態では、自由曲面プリズム５２０の点線で囲まれた領域（図１７参照のこと。）から出力される。
２つの自由曲面プリズム５２０の一方の上面には検出センサ３２０が設けられている。検出センサ３２０は、ユーザの瞬目を検出するものであればどのようなものでもよい。この実施形態の検出センサ３２０は、第２実施形態で説明したものと同様のものとされている。
検出センサ３２０は後述するインタフェイスに接続されている。検出センサ３２０は、瞬目によって生じる物理量の変化を検出した場合にデータを生成し、インタフェイスに送るようになっている。
ヘッドマウントディスプレイ装置５００は、図１０に示すようにして、眼鏡６００に取付けられる。
それを可能とするため、この実施形態の眼鏡６００のブリッジ６０５には、第１取付部材６４０が形成されている。この実施形態の第１取付部材６４０は、その基端がブリッジ６０５に接続される第１軸部６４０ａ及び第１軸部６４０ａの先端に設けられる第１ボール部６４０ｂにより構成される。第１取付部材６４０は、眼鏡６００と一体に形成されていてもよい。眼鏡６００に汎用の眼鏡フレームを使用する場合には、第１取付部材６４０は当然に眼鏡６００とは別部材となり、眼鏡６００に後から取付けられることになる。この場合、第１取付部材６４０は、例えば接着剤で眼鏡６００に取付けられる。
ヘッドマウントディスプレイ装置５００のケース５１０には、より詳細には、眼鏡６００に取付けられたときに眼鏡６００に対向する側の面には、第１嵌合孔５１０ａが形成されている。ヘッドマウントディスプレイ装置５００を眼鏡６００へ取付けるときには、第１嵌合孔５１０ａに第１取付部材６４０の第１ボール部６４０ｂが嵌合される。これらはいわゆるボールジョイントを構成する。
またケース５１０の第１嵌合孔５１０ａが設けられる面とは反対側の面には、第１取付部材６４０と同じ構成、大きさの第２取付部材５５０が形成されている。この実施形態の第２取付部材５５０は、ケース５１０にその基端が接続される第２軸部５５０ａ、及び第２軸部５５０ａの先端に設けられる第２ボール部５５０ｂにより構成される。第２取付部材５５０は、ケース５１０と一体に形成されていてもよいが、接着剤等でケース５１０に取付けるようにしてもよい。
ノーズパッド５３０のケース５１０に接続される側には、第２嵌合孔５３０ａが形成されている。第２嵌合孔５３０ａは、第１嵌合孔５１０ａと同じ大きさである。ノーズパッド５３０のケース５１０への取付け時には、第２嵌合孔５３０ａに第２取付部材５５０の第２ボール部５５０ｂが嵌合される。これらはいわゆるボールジョイントを構成する。
第１取付部材６４０と第２取付部材５５０、第１嵌合孔５１０ａと第２嵌合孔５３０ａは、それぞれ同じ形状、大きさで形成される。そのために、第１取付部材６４０の第１ボール部６４０ｂを第２嵌合孔５３０ａに嵌合することも可能である。これにより、ケース５１０、可動部５１６、及び自由曲面プリズム５２０を取り除いて、ノーズパッド５３０のみを眼鏡６００に直接取付けることが可能である。眼鏡６００とノーズパッド５３０を組合わせたものは、通常の眼鏡と同様に用いることができる。
次いで、ヘッドマウントディスプレイ装置５００について、詳細に説明する。
図１１は、ヘッドマウントディスプレイ装置５００を図９中の上側から見た図である。
ケース５１０は、略矩形の中空である。ケース５１０は、必ずしもそうである必要はないが、本実施形態では樹脂製である。ケース５１０の上面には、視度を調整するための視度調整つまみ５１２と、自由曲面プリズム５２０の位置を調整するためのプリズム位置調整つまみ５１３とが設けられている。
視度調整つまみ５１２は、これを操作することで、ケース５１０内部のディスプレイを画像の光軸方向に進退動させるものである。本実施形態では、左右の眼のそれぞれの視度を個別に調整できるように、視度調整つまみ５１２は２つ設けられている。
プリズム位置調整つまみ５１３は、これを操作することで、ケース５１０に対する自由曲面プリズム５２０の位置を所定の範囲で移動させるものである。プリズム位置調整つまみ５１３の近傍には目盛りが設けてあり、プリズム位置調整つまみ５１３の操作量に対する自由曲面プリズム５２０の移動量が直感的にわかるようになっている。
図１２は、ケース５１０の内部を示す、ケース５１０を上面からみた一部断面図である。
ケース５１０の内部には、視度調整つまみ５１２と、視度調整板５１１と、ディスプレイ５１４と、制御基板５１５と、視度調整つまみ５１２、視度調整板５１１、ディスプレイ５１４および制御基板５１５を内包し自由曲面プリズム５２０に連結される可動部５１６と、ピニオン部５１７とが設けられている。
本実施形態においては、可動部５１６及び自由曲面プリズム５２０は２つずつ設けられているものとして説明するが、必ずしもそうである必要はなく、これらは１つずつであってもよい。つまりヘッドマウントディスプレイ装置５００は、必ずしも両眼用である必要はなく、右眼用或いは左眼用の可動部５１６及び自由曲面プリズム５２０のみを備える、右眼用或いは左眼用のものであってもよい。
ディスプレイ５１４は、画像を表示するものであり、必ずしもその限りではないが、この実施形態では、矩形の液晶ディスプレイとされている。ディスプレイ５１４は、使用者が眼鏡６００を装着した場合に、その短辺方向が使用者から見て縦方向になり、眼鏡レンズ６０２の幅方向に対して斜めとなるようにして、且つ自由曲面プリズム５２０の一面に所定の角度で画像を入射するようにして、可動部５１６に取付けられている。
制御基板５１５は、ディスプレイ５１４に表示される画像を制御するものである。
制御基板５１５は、画像を表示するためのデータをディスプレイ５１４に送り、ディスプレイ５１４に適切な画像を表示させる。この画像は、後述するように、ユーザに瞬目を促すものである場合がある。制御基板５１５は、図示しない外部装置から画像についてのデータを受けてそれをディスプレイ５１４に表示させる。制御基板５１５は、図示しない外部装置から有線または無線により画像についてのデータを受け取るようになっている。制御基板５１５が有するインタフェイスは、画像についてのデータを受付けられるように、外部装置から有線で画像についてのデータが受付けられる場合にはそれに用いられるケーブルと、外部装置から無線で画像についてのデータが受付けられる場合には制御基板５１５内外に設けられたアンテナと、接続されている。
外部装置には、例えば、ハードディスクプレイヤ、ＤＶＤプレイヤ、テレビジョン放送用のチューナ、パーソナルコンピュータ、携帯電話、コンピュータゲームを実行するためのゲーム装置、画像処理機能を有したＭＰ３プレイヤなどを用いることができる。
制御基板５１５は、図示を省略するが、第１実施形態で説明したのと同様のＣＰＵ、ＲＯＭ、ＲＡＭ、インタフェイス及びこれらを接続するバスを備えている。これらは、ＲＯＭに記録されていたプログラムにより、第１実施形態の場合と同様の機能ブロックを形成する。
第４実施形態の場合と第１実施形態の場合で異なるのは、第４実施形態における瞬目検出部１２２Ｂは、変形例４の場合と同様に、検出センサ３２０から入力部１２１を介して受付けたデータに基づいて瞬目データを生成すること、第４実施形態における画像処理データ記録部１２２Ｅには、第１実施形態の場合であれば（Ａ）〜（Ｅ）の５種類あった画像処理の仕方についてのデータが、それらのうちの１種類しか記録されておらず、画像処理部１２２Ｄが通常時画像データに対して行う画像処理の仕方が１種類だけとなっている点である。
可動部５１６には、ディスプレイ５１４と自由曲面プリズム５２０が、ディスプレイ５１４に表示される画像からの像光が自由曲面プリズム５２０の一面に一定の角度で画像を入射するような状態で取付けられている。
可動部５１６には、ピニオン部５１７と接触するようにラック部５１６ａが形成されている。各ラック部５１６ａは、ピニオン部５１７に対向している面に歯が形成されている。
ピニオン部５１７は、プリズム位置調整つまみ５１３と連結されており、プリズム位置調整つまみ５１３を回転させるとピニオン部５１７がそれに伴って回転するようになっている。ピニオン部５１７は、円柱形であり、側面に円柱の軸方向に平行な歯が形成されている。ピニオン部５１７の歯とラック部５１６ａの歯は噛み合うようになっている。ピニオン部５１７が回転すると、その回転の量と向きに対応して、ラック部５１６ａがラック部５１６ａの長さ方向に沿って移動するようになっている。
図１３に示すように、プリズム位置調整つまみ５１３を左向きに回転させると、ラック部５１６ａの基端がピニオン部５１７から離れる方向に移動して、２つの可動部５１６が離れる方向にスライドする。逆に、プリズム位置調整つまみ５１３を右向きに回転させると、ラック部５１６ａの基端がピニオン部５１７に近づく方向に移動して、２つの可動部５１６が近づく方向にスライドする。可動部５１６と自由曲面プリズム５２０は連結されているので、このような可動部５１６のスライドに伴って、自由曲面プリズム５２０も同様にスライドする。このように、プリズム位置調整つまみ５１３を回転させることで、ケース５１０を眼鏡６００に取付けた後においても、可動部５１６に取付けられた自由曲面プリズム５２０をブリッジ６０５と眼鏡６００の智との間でスライドさせることができるようになっている。自由曲面プリズム５２０がスライドすることで、自由曲面プリズム５２０から出力される画像の位置も左右方向で平行移動する。これにより、使用者の眼の位置に、画像が出力される位置を合わせることができる。この実施形態では、上述の機構により、一つのプリズム位置調整つまみ５１３の動作により、２つの自由曲面プリズム５２０（導光手段）の移動を、左右対称で、同時に行えるようになっている。目幅に合わせて導光手段を左右対称で同時に移動させられるのは、上述の機構によらないでも実現できるが、いずれにせよ便利である。
なお、ピニオン部５１７は、プリズム位置調整つまみ５１３と一体的に構成されていてもよい。
可動部５１６に内包される視度調整つまみ５１２及び視度調整板５１１は、ディスプレイ５１４から自由曲面プリズム５２０までの距離を変動させて使用者の視力に合わせた画像を提供するための調整機構を構成する。図１４は、可動部５１６を拡大して調整機構を詳細に説明するための図である。図１５は、調整機構の動作を説明するための図である。
視度調整つまみ５１２は、ケース５１０の外部に突出する頭部に溝が形成されており、中程がクランク状に折れ曲がったクランク部５１２ａを有する構成になっている。頭部の溝に平板を差し込んで回転させると、クランク部５１２ａが回転中心の周りを回転する。
視度調整板５１１は、一辺が制御基板５１５に接続されており、該一辺に対向する辺の近傍に、該一辺の延びる方向に長辺が設けられた、面取りされた矩形状の調整穴５１１ａが設けられる。調整穴５１１ａには、視度調整つまみ５１２のクランク部５１２ａが貫通して設けられる。調整穴５１１ａの短辺は、このクランク部５１２ａの大きさに応じた長さで形成される。
図１５の状態で視度調整つまみ５１２を回転させると、クランク部５１２ａが回転中心の周りを回転する。調整穴５１１ａは、クランク部５１２ａが貫通しているので、クランク部５１２ａが回転すると、調整穴５１１ａはその動きに応じて制御基板５１５の方向へ付勢される。それにより、視度調整板５１１は制御基板５１５を付勢する方向に移動する。制御基板５１５が移動すると、ディスプレイ５１４が自由曲面プリズム５２０に近づく方向に移動する。ディスプレイ５１４と自由曲面プリズム５２０との間の距離を変化させることで、使用者の視力に合わせて画像の視度を調整することができる。
視度調整つまみ５１２は回転するので、視度調整板５１１の動きはピストン状になる。そのために、ディスプレイ５１４が動きすぎて自由曲面プリズム５２０に衝突し、お互いが破損することはない。使用者は、使用時に視度調整つまみ５１２を回転させてディスプレイ５１４の位置を自身の眼の視度に最適な位置に調整することができる。
図１６は、自由曲面プリズム５２０による導光路を説明する図である。自由曲面プリズム５２０は、ディスプレイ５１４からの光を使用者の少なくとも一方の眼に導くと共に、ディスプレイ５１４に表示された画像を拡大するものである。
自由曲面プリズム５２０は、それぞれ自由曲面である第１面Ｓ１、第２面Ｓ２、第３面Ｓ３という３つの面を備えた断面略三角形状に構成される。
第１面Ｓ１は、ディスプレイ５１４に臨まされており、ディスプレイ５１４に表示された画像についてのディスプレイ５１４からの光を通過させて自由曲面プリズム５２０の内部に導く。ディスプレイ５１４からの光は、第１面Ｓ１を通過するときに屈折しディスプレイ５１４に表示された画像が拡大されるように変化する。
第２面Ｓ２は、第１面Ｓ１を通過した光を反射（通常は全反射である。）するようにされている。第１面Ｓ１を通過した光は、第２面Ｓ２で反射されることによりその方向を大きく変え、また、ディスプレイ５１４に表示された画像が拡大されるように変化する。第２面Ｓ２は、また、第３面Ｓ３で反射された光を通過させる。これについては、後述する。
第３面Ｓ３は、第２面Ｓ２で反射された光を反射させるようになっている。第２面Ｓ２で反射された光は、第３面Ｓ３で反射されることによりその方向を大きく変え、また、ディスプレイ５１４に表示された画像が拡大されるように変化する。なお、第３面Ｓ３で行われる反射は、全反射であっても、金属による反射であっても構わない。第３面Ｓ３で行われる反射が全反射である場合には、第２面Ｓ２で反射された光が第３面Ｓ３に至る場合の入射角が全反射角以下となるように第３面Ｓ３の曲面が設計される。第３面Ｓ３で行われる反射が金属による反射である場合には、第３面Ｓ３の外側に、金属が、例えば蒸着によって付着されている。なお第３面Ｓ３の外側に、金属を付着させる代わりに、誘電体多層膜を形成することができる。この場合の反射は、誘電体多層膜によりなされる。
上述したように第３面Ｓ３で反射された光は、第２面Ｓ２に再び向い、第２面Ｓ２を通過する。第２面Ｓ２を通過する光は、第２面Ｓ２を通過するときに屈折しディスプレイ５１４に表示された画像が拡大されるように変化する。ディスプレイ５１４に表示された画像は、図１７に示すように、自由曲面プリズム５２０の点線部分に表示されることとなる。
以上のような自由曲面プリズム５２０は、ケース５１０を眼鏡６００に取付けた際、少なくともその一部がヘッドマウントディスプレイ装置５００の使用時に使用者の少なくとも一方の眼の前に位置するものとされ、ディスプレイ５１４からの光を使用者の眼に射出するように、ケース５１０に接続されている。
自由曲面プリズム５２０は、眼鏡６００を装着した使用者から見てケース５１０に縦方向に接続されるのではなく、横方向に接続されて配置される。すなわち、ヘッドマウントディスプレイ装置５００全体の形状は、横方向に伸びた形状となっている。
図１８ａ、図１８ｂは、それぞれヘッドマウントディスプレイ装置５００を取付けた眼鏡６００を前方から見た状態を示す図である。図１８ｂの眼鏡６００は、これまでに説明したものとは異なり、左右のレンズ６０２が一連となったタイプのものである。
これらの図に示すように、ヘッドマウントディスプレイ装置５００を取付けた状態の眼鏡６００を前方から見た場合、ヘッドマウントディスプレイ装置５００は、眼鏡レンズ６０２の後方にほぼ隠れるようになる。
本実施形態のヘッドマウントディスプレイ装置５００は、本体１０と自由曲面プリズム５２０が横方向に並ぶように接続されるために、ケース５１０を眼鏡６００の後方に取付けると、ヘッドマウントディスプレイ装置５００の大部分が眼鏡６００の前方から見えないようにすることができる。すなわち、ヘッドマウントディスプレイ装置５００の眼鏡６００からのはみ出し量を極力少なくすることができ、デザイン性を損なうことがない。
また、本実施形態のヘッドマウントディスプレイ装置５００は、使用者の上下方向の視野を遮るものではないので、自由曲面プリズム５２０に表示された画像を見ている状態であっても、自由曲面プリズム５２０の周囲は、多少ぼやけることはあるが見える状態にある。よって、視線を自由曲面プリズム５２０に向けている状態でも簡単な作業を行うことができ、便利である。また、視線を自由曲面プリズム５２０に向けている状態でも足元を見ることができ、歩くことも可能である。さらに、視線を自由曲面プリズム５２０から外せば、周囲をより良く見ることができるようになる。
次に、このヘッドマウントディスプレイ装置５００の使用方法について説明する。
このヘッドマウントディスプレイ装置５００を使用するには、ヘッドマウントディスプレイ装置５００を取付けた状態の眼鏡６００を使用者の頭部へ固定する。ヘッドマウントディスプレイ装置５００の眼鏡６００への取付けは、ヘッドマウントディスプレイ装置５００のケース５１０に設けられた第１嵌合孔５１０ａに、眼鏡６００に取付けられた第１取付部材６４０が有する第１ボール部６４０ｂを嵌合させることにより行う。また、ヘッドマウントディスプレイ装置５００を取付けた状態の眼鏡６００の使用者の頭部への固定は、上述したように、眼鏡６００のつる６０３を、使用者の耳へ係止するか、眼鏡６００のつる６０３で使用者の頭部を挟み込むことで行う。
なお、眼鏡６００を使用者の頭部へ固定する前に、ヘッドマウントディスプレイ装置５００にノーズパッド５３０を取付けておく。ノーズパッド５３０のヘッドマウントディスプレイ装置５００への取付けは、ノーズパッド５３０に設けられた第２嵌合孔５３０ａに、ヘッドマウントディスプレイ装置５００のケース５１０が有する第２ボール部５５０ｂを嵌合させることで行う。
この状態で使用者は、上記の外部装置を操作して、ヘッドマウントディスプレイ装置５００で表示すべき画像についてのデータを、ヘッドマウントディスプレイ装置５００に入力する。制御基板５１５は、画像についてのデータによりディスプレイ５１４に画像を表示する。
ディスプレイ５１４に表示された画像の光は、ディスプレイ５１４から出て、自由曲面プリズム５２０の第１面Ｓ１に入力される。自由曲面プリズム５２０内では、光が図１６に示すようにして第２面Ｓ２から射出される。射出された光により、使用者は、両眼で、適当な大きさになった画像を見ることになる。
必要であれば、使用者は、視度調整つまみ５１２を操作することで、ディスプレイ５１４からの光の自由曲面プリズム５２０に対する入射角を変化させないようにしながら、自由曲面プリズム５２０に対してディスプレイ５１４を近づけたり遠ざけたりすることができる。すなわち、ディスプレイ５１４を、ディスプレイ５１４からの光の出射方向（光軸方向）で進退動させることができる。これにより、使用者の視力に合った画像を表示することができるように調整することができる。
また、使用者は、プリズム位置調整つまみ５１３を操作することで、自由曲面プリズム５２０の位置を使用者の目幅に応じた適当な位置に動かして、自由曲面プリズム５２０の位置を使用者が画像を見やすい位置に調整することができる。
また、使用者は、図示しないイヤホンを耳に着用することにより、画像に合わせた音を聴くことができる。
ヘッドマウントディスプレイ装置５００が使用されている間、瞬目検出部１２２Ｂは、検出センサ３２０からのデータに基づいて、ユーザが瞬目を行う度に瞬目データを生成する。瞬目判定部１２２Ｃは、瞬目検出部１２２Ｂが生成した瞬目データを瞬目検出部１２２Ｂから受取り、ユーザの瞬目の状態をモニタする。そして、瞬目判定部１２２Ｃは、第１実施形態の場合と同様の基準で第１データ及び第２データを生成しそれを画像処理部１２２Ｄに送る。
画像処理部１２２Ｄは、外部装置から送られて来た画像データ（通常時画像データ）を、第１データを受取るまではそのまま出力部１２３を介してディスプレイ５１４に送る。ユーザはこれにより通常時画像を見ることができる。画像処理部１２２Ｄは、また、第１データを受取った後でありその後第２データを受取るまでは、画像処理データ記録部１２２Ｅに記録されていたデータに基づいて通常時画像データに対して画像処理を行う。このときディスプレイ５１４には、画像処理の施された画像が表示されることになる。この画像は通常時画像を見難くするものであり、ユーザに瞬目を行うことに対する動機付けを与えるものとされる。ユーザが瞬目を行い第２データが生成された場合、それを受取った画像処理部１２２Ｄは画像処理を中止する。その後再び第１データを画像処理部１２２Ｄが受取るまでは、ディスプレイ５１４には通常時画像が表示されることになる。
使用者は、ヘッドマウントディスプレイ装置５００を使用しなくなった場合には、眼鏡６００からヘッドマウントディスプレイ装置５００を取外す。また、眼鏡６００から取り外したヘッドマウントディスプレイ装置５００から取外したノーズパッド５３０を、眼鏡６００に取付ける。これにより、使用者は、眼鏡６００を通常の眼鏡として用いることができる。
なお、ノーズパッド５３０の眼鏡６００への取付けは、眼鏡６００に取付けられた第１取付部材６４０が有する第１ボール部６４０ｂを、ノーズパッド５３０に設けられた第２嵌合孔５３０ａに嵌合させることで行う。
以上で説明したヘッドマウントディスプレイ装置５００は、眼鏡６００に対して着脱自在とされていた。眼鏡６００に取付けた状態のヘッドマウントディスプレイ装置５００、又は眼鏡６００の如きヘッドマウント装置に取外しできないように固定されたヘッドマウントディスプレイ装置５００は、全体としてヘッドマウント手段を備えた本願発明のヘッドマウントディスプレイとなる。
【図１】
0005398081.tif 000002
【図２】
0005398081.tif 000003
【図３】
0005398081.tif 000004
【図４】
0005398081.tif 000005
【図５】
0005398081.tif 000006
【図６】
0005398081.tif 000007
【図７】
0005398081.tif 000008
【図８】
0005398081.tif 000009
【図９】
0005398081.tif 000010
【図１０】
0005398081.tif 000011
【図１１】
0005398081.tif 000012
【図１２】
0005398081.tif 000013
【図１３】
0005398081.tif 000014
【図１４】
0005398081.tif 000015
【図１５】
0005398081.tif 000016
【図１６】
0005398081.tif 000017
【図１７】
0005398081.tif 000018
【図１８ａ】
0005398081.tif 000019
【図１８ｂ】
0005398081.tif 000020
【図１９】
0005398081.tif 000021
【図２０】
0005398081.tif 000022