(57)【要約】【課題】  外部の景色が暗く見えることを避けながら、外部の景色の様子が変化しても、使用者の集中力がそちらに向きにくいような映像表示装置を提供する。【解決手段】  頭部装着部１には、画像処理装置４から出力される画像をＬＣＤに表示して、それを光学系を介して使用者の目に投影する表示部５の他に、輝度センサ６が設けられている。輝度センサ６が感度を有する領域は、使用者の目に画像が表示される領域とほぼ一致するようにされている。この輝度センサ６の出力により、片方の目に画像が表示されている領域において、他の目が感じている外界の明るさの変化を検出する。輝度センサ６の出力の変化があったとき、その変化に応じて、表示する画像のコントラストを変化させたり、表示位置を変化させて、使用者の注意を引き、注意が外界の変化に移らないようにする。【選択図】  図１
2006139103.tif 000002
【特許請求の範囲】
【請求項１】
片眼に映像を表示する映像表示装置であって、映像を表示しない目に入射する光量、又は外界の変化を検出する検出部を有し、当該検出部で検出された変化量に基づいて、表示する映像を変化させ、前記検出部の出力する変化量が大きいほど、段階的あるいは連続的に表示する映像の変化量を大きくする機能を有することを特徴とする映像表示装置。
【請求項２】
請求項１に記載の映像表示装置であって、前記検出部はユーザの視線方向に感度分布を持つ輝度センサであり、当該輝度センサの出力する輝度値に基づいて前記映像を変化させる機能を有することを特徴とする映像表示装置。
【請求項３】
請求項１に記載の映像表示装置であって、前記検出部はユーザの視線方向に光軸を持つ２次元撮像素子であり、当該２次元撮像素子で撮影された撮像の変化に基づいて前記映像を変化させる機能を有することを特徴とする映像表示装置。
【請求項４】
請求項３に記載の映像表示装置であって、表示する映像の変化は、前記２次元撮像素子で撮影された撮像中の変化の大きかった部分と、ユーザの視界内で重なる部分の変化量が大きくなるものであることを特徴とする映像表示装置
【請求項５】
請求項１から請求項４に記載の映像表示装置であって、表示する映像の変化は、コントラストの変化、画面内における表示映像の表示位置の変化、表示映像の一部又は全部の点滅、表示映像の一部又は全部の画面表示範囲に対する平行移動、表示映像の一部又は全部の拡大縮小のいずれか、又はこれらの可能な組み合わせであることを特徴とする映像表示装置。
【請求項６】
請求項５に記載の映像表示装置であって、前記表示映像の一部又は全部の画面表示範囲に対する平行移動、又は表示映像の一部又は全部の拡大縮小は、周期的な動作であることを特徴とする映像表示装置。
【請求項７】
請求項６に記載の映像表示装置であって、前記周期的な動作の振幅と周波数の少なくとも一方は、前記輝度センサの出力又は２次元撮像素子で撮影された撮像の変化量に基づいて決定されることを特徴とする映像表示装置。
【請求項８】
請求項１から請求項４のうちいずれか１項に記載の映像表示装置であって、表示する映像の変化は、カラー映像を白黒２値映像に変更するものであることを特徴とする映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部に装着され、片目に映像を表示する機能を有するヘッドマウントディスプレイ等、片目のみに映像を表示する機能を有する映像表示装置に関するものである。
【背景技術】
【０００２】
近年、液晶パネル（ＬＣＤ）等の表示デバイス上に表示された映像を、接眼レンズやハーフミラー等を有する光学系を介して拡大した虚像として観察する眼鏡タイプ等、人体に装着して使用されるの映像表示装置が種々提案され、ウエアラブルディスプレイと呼ばれている。そのうち、頭部に装着して使用されるものは、特にヘッドマウントディスプレイと呼ばれている。
【０００３】
ヘッドマウントディスプレイは、多くの場合、頭に巻いた形で頭部に装着する構成とされ、両目に対応する位置に映像表示系を形成した両目タイプと左右目の一方の目に対応する位置に映像表示系を形成した片目タイプとがある。このうち、両目タイプのものは、主として映像を楽しむための目的に使用される。片目タイプのものは、例えばウエアラブルパソコン等の表示装置等や、作業者に指示を表示する表示装置としての使用方法が期待されている。その例として、特開平８−３０５２９８号公報（特許文献１）、特開２００４−２０７８４７号公報（特許文献２）に記載されるような方式のものが公知となっている。
【０００４】
【特許文献１】特開平８−３０５２９８号公報
【特許文献２】特開２００４−２０７８４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように片目のみに映像を表示する映像表示装置における問題点の一つに、映像を表示していない目で見えている外部の景色の様子（外界）が変化すると注意がそちらに向き、画面に集中できなくなるということがある。このような問題点を解決する方法として、特開平１１−２８１９２２号公報には、映像を表示していない目の前にフィルタをおいて減光する方法が開示されている。しかしながら、この方法では外部の景色が暗く見えることによる危険性の問題が別に発生する。
【０００６】
本発明はこのような事情に鑑みてなされたもので、外部の景色が暗く見えることを避けながら、外部の景色の様子（外界）が変化しても、使用者の集中力がそちらに向きにくいような映像表示装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するための第１の手段は、片眼に映像を表示する映像表示装置であって、映像を表示しない目に入射する光量、又は外界の変化を検出する検出部を有し、当該検出部で検出された変化量に基づいて、表示する映像を変化させ、前記検出部の出力する変化量が大きいほど、段階的あるいは連続的に表示する映像の変化量を大きくする機能を有することを特徴とする映像表示装置（請求項１）である。
【０００８】
本手段においては、映像を表示しない目に入射する光量ないしは映像の変化量が大きい程、段階的あるいは連続的に表示する映像の変化量を大きくするようにしているので、映像を表示しない目に入射する光量ないしは外界の変化があった場合にも、使用者の集中力がそちらの方に向き、映像から離れることを少なくすることができる。
【０００９】
前記課題を解決するための第２の手段は、前記第１の手段であって、前記検出部はユーザの視線方向に感度分布を持つ輝度センサであり、当該輝度センサの出力する輝度値に基づいて前記映像を変化させる機能を有することを特徴とするもの（請求項２）である。
【００１０】
前記課題を解決するための第３の手段は、前記第１の手段であって、前記検出部はユーザの視線方向に光軸を持つ２次元撮像素子であり、当該２次元撮像素子で撮影された撮像の変化に基づいて前記映像を変化させる機能を有することを特徴とするもの（請求項３）である。
【００１１】
前記課題を解決するための第４の手段は、前記第３の手段であって、表示する映像の変化は、前記２次元撮像素子で撮影された撮像中の変化の大きかった部分と、ユーザの視界内で重なる部分の変化量が大きくなるものであることを特徴とするもの（請求項４）である。
【００１２】
２次元撮像素子で撮影された撮像中の変化の大きかった部分と、ユーザの視界内で重なる部分の変化量が大きくなるように映像を変化させることにより、使用者の集中力が外界の方に向き、映像から離れることを、より効果的に少なくすることができる。
【００１３】
前記課題を解決するための第５の手段は、前記第１の手段から第４の手段のいずれかであって、表示する映像の変化は、コントラストの変化、画面内における表示映像の表示位置の変化、表示映像の一部又は全部の点滅、表示映像の一部又は全部の画面表示範囲に対する平行移動、表示映像の一部又は全部の拡大縮小のいずれか、又はこれらの可能な組み合わせであることを特徴とするもの（請求項５）である。
【００１４】
前記課題を解決するための第６の手段は、前記第５の手段であって、前記表示映像の一部又は全部の画面表示範囲に対する平行移動、又は表示映像の一部又は全部の拡大縮小は、周期的な動作であることを特徴とするもの（請求項６）である。
【００１５】
前記課題を解決するための第７の手段は、前記第６の手段であって、前記周期的な動作の振幅と周波数の少なくとも一方は、前記輝度センサの出力又は２次元撮像素子で撮影された撮像の変化量に基づいて決定されることを特徴とするもの（請求項７）である。
【００１６】
前記課題を解決するための第８の手段は、前記第１の手段から第４の手段であって、表示する映像の変化は、カラー映像を白黒２値映像に変更するものであることを特徴とするもの（請求項８）である。
【発明の効果】
【００１７】
本発明によれば、外部の景色が暗く見えることを避けながら、外部の景色の様子（外界）が変化しても、使用者の集中力がそちらに向きにくいような映像表示装置を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態の例を、図を用いて説明する。図１は、本発明の実施の形態の第１の例であるヘッドマウントディスプレイの概略構成を示すブロック図である。このヘッドマウントディプレイは、頭部に装着されて、使用者の片目に画像を表示する頭部装着部１と、人体の他の部分（例えば腰）に装着される制御部２とを有している。
【００１９】
制御部２には、全体の制御をつかさどるＣＰＵ３と、表示する画像に変形を加える等の画像処理を行う画像処理装置４とを有している。画像処理装置４は、ＣＰＵ３と共用するようにしてもよい。
【００２０】
頭部装着部１には、画像処理装置４から出力される画像をＬＣＤに表示して、それを光学系を介して使用者の目に投影する表示部５の他に、輝度センサ６が設けられている。輝度センサ６が感度を有する領域は、使用者の目に画像が表示される領域とほぼ一致するようにされている。この輝度センサ６の出力により、片方の目に画像が表示されている領域に対応する領域において、他の目が感じている外界の明るさの変化を検出する。
【００２１】
時間ｔにおける輝度センサ６の出力、則ち外界の輝度をＢ（ｔ）とする。このＢ（ｔ）のデータにＦＦＴをかけ、周波数領域で明るさの分布に変換する。変換された周波数領域で明るさの分布をＸ（ωｉ）とする。ωｉは周波数であり、所定の間隔でサンプリングする。
【００２２】
ところで、人間の目に感じる明るさの変化は、周波数によって感度が異なる。則ち、周波数が高くなるほど感度が落ち、６０Hz以上の周波数の変化は知覚できない。従って、人間の目に感じる輝度の変化に近い評価値を得るために、以下のように各周波数毎に重みｗｉをつけて加算したものを、変化の評価値ａとする。すなわち、
【００２３】
【数１】
2006139103.tif 000003
【００２４】
図１においては、この計算は画像処理装置４において行うようになっているが、ＣＰＵ３で行うようにしてもよい。画像処理装置４は、ａの値に応じて、表示部５に表示する画像のコントラストを変化させる。すなわち、ａの値が大きくなるにつれて、標準のコントラストに比べてコントラストを大きくして表示する。
【００２５】
コントラストの増加は、単純にａに比例させてもよいが、例えば、図２に示されるようなコントラストにしてもよい。図２において、横軸は各画素における源画像の明るさを示し、縦軸は、実際に表示部５に表示される、その画素の明るさを示す。破線は、外界の明るさの変化のない場合（すなわちａ＝０）の場合を示し、源画像の明るさと実際に表示部５に表示されるその画像の明るさは一致している。
【００２６】
ａが大きくなったとき、これらの関係を実線のように変化させる。すなわち、源画像の明るさがＰ１以下の画素については表示画像の明るさを０％とし、源画像の明るさがＰ２以上の画素については、表示画像の明るさを１００％とする。そして、源画像の明るさがＰ１からＰ２までの範囲においては、表示画像の明るさを直線的に変化させる。
【００２７】
そして、このＰ１とＰ２の値を、ａの大きさに応じて変化させる。例えば、ａが大きくなるに従ってＰ１の値を大きく、Ｐ２の値を小さくしていく。又、ａがある値を超えたとき、Ｐ１＝Ｐ２としても良い。このようにすると、ａがある値を超えたとき、表示される画像は、白黒の２値画像となる（源画像が持つカラー情報は、自然に削除される）。
【００２８】
以上説明した例においては、輝度センサ６として単色のものを使用していたが、輝度センサ６として、Ｒ、Ｇ、Ｂの３色について、それぞれの輝度を測定することができるものを用いることもできる。この場合には、Ｒ、Ｇ、Ｂの各色について、それぞれ、以上に説明したような処理を行うようにすればよい。
【００２９】
すなわち、時間ｔにおける輝度センサ６の出力、則ち外界のＲ、Ｇ、Ｂ各色の輝度を、それぞれＢＲ（ｔ）、ＢＧ（ｔ）、ＢＢ（ｔ）とする。これらのデータにＦＦＴをかけ、周波数領域で明るさの分布に変換する。変換された周波数領域で明るさの分布を、それぞれＸＲ（ωｉ）、ＸＧ（ωｉ）、ＸＢ（ωｉ）とする。ωｉは周波数であり、所定の感覚でサンプリングする。
【００３０】
そして、人間の目に感じる輝度の変化に近い評価値を得るために、以下のように各周波数毎に重みｗＲｉ、ｗＧｉ、ｗＢｉ、をつけて加算したものを、それぞれ、変化の評価値ａＲ、ａＧ、ａＢとする。すなわち、
【００３１】
【数２】
2006139103.tif 000004
【００３２】
以上の説明においては、評価値ａ、ａＲ、ａＧ、ａＢが変化すれば、それに応じて表示画像のコントラストの変化が発生する。しかし、輝度センサ６で検出される輝度が常に少し変化しているような場合には、表示画像のコントラストをむやみに変化させると、かえって違和感を与えるような場合がある。このような場合には、輝度の変化が所定値を超えたとき、例えば、評価値ａ、ａＲ、ａＧ、ａＢのうち適当なもの（複数の場合を含む）が所定値を超えたような場合にのみ、表示画像のコントラストを変化させ、超えない場合には、源画像のコントラストをそのまま使用するようにすればよい。
【００３３】
以上の処理の例は、表示部５に表示される画像のコントラストを、源画像のコントラストに比して強調することにより、外界の輝度が変化しても、人間の注意が画像からそれにくいようにする方法であったが、この方法では、画像のコントラストが変化するので、ある程度違和感を与えることが避けられない。これに対し、画像のコントラストは変化させず、画像の表示位置を変化させる方法は、同じように、人間の注意が画像からそれにくいようにすることができ、しかも、画像そのものを変化させるわけではないので、違和感を与えることがより少ないと考えられる。
【００３４】
輝度センサ６の出力に応じて、画像の表示位置を変化させる方法について、以下に説明する。前述のような方法により、Ｂ（ｔ）のデータにＦＦＴをかけ、周波数領域で明るさの分布Ｘ（ωｉ）を求める。そして、人間の目に感じる明るさの変化の周波数に応じた感度を補正するため、補正された明るさの分布ｈｉを求める。すなわち、
ｈｉ＝ｗｉ・Ｘ（ωｉ）
とする。ｗｉは前述のｗｉと同じである。
【００３５】
そして、ｈｉが最も大きくなる周波数ｆｋとその振幅ｈｋを求める。そして、表示される画像の一部又は全部を、上下又は左右に、周波数ｆｋと振幅ｈｋの関数である周波数Ｆ（ｆｋ，ｈｋ）と振幅Ｈ（ｆｋ，ｈｋ）で変化させる。図３は、画像の一部である樹木を、左右方向に位置変化させる場合を示した図である。
【００３６】
又、画像の位置を変化させる代わりに、源画像を縮小又は拡大して表示するようにしてもよく、この場合には、縮小又は拡大率を、周波数ｆｋと振幅ｈｋの関数である周波数Ｆ（ｆｋ，ｈｋ）と振幅Ｈ（ｆｋ，ｈｋ）で変化させるようにしてもよい。
【００３７】
さらに、これら位置変化、拡大・縮小率の変更は、前述の変化の評価値ａの関数として行い、周波数、振幅、拡大・縮小率の少なくとも一つを、変化の評価値ａの関数としてもよい。
【００３８】
以上の説明においては、表示される画像の一部又は全部の位置や、画像の拡大・縮小率を、周波数ｆｋと振幅ｈｋの関数である周波数Ｆ（ｆｋ，ｈｋ）と振幅Ｈ（ｆｋ，ｈｋ）で変化させていた。しかし、輝度センサ６で検出される輝度が常に少し変化しているような場合には、表示画像の位置や拡大・縮小率をむやみに変化させると、かえって違和感を与えるような場合がある。このような場合には、輝度の変化が所定値を超えたとき、例えば、前述の評価値ａが所定値を超えたような場合、振幅Ｈ（ｆｋ，ｈｋ）が所定値を超えたような場合にのみ、表示画像の位置や拡大・縮小率を変化させ、超えない場合には、源画像をそのまま使用するようにすればよい。
【００３９】
この他、例えば、評価値ａ、ａＲ、ａＧ、ａＢのうち適当なもの（複数の場合を含む）が所定値を超えたような場合にのみ、表示される画像の全部又は一部を点滅させるようにしてもよい。
【００４０】
図４は、本発明の実施の形態の第１の例であるヘッドマウントディスプレイの概略構成を示すブロック図である。図４において、図１に示された構成要素と同じ構成要素には、同じ符号を付して、その説明を省略する。
【００４１】
図４においては、図１における輝度センサ６の代わりに２次元撮像素子であるＣＣＤを使用したＣＣＤカメラ７を使用し、その信号を２つのフレームメモリ８ａ、８ｂに、所定時間毎に交互に取り込んでいる。
【００４２】
画像処理装置４では、２つのフレームメモリ８ａ、８ｂの各画素毎の輝度の差分をとり、その差が所定の閾値を超えた画素を識別する。そして、その差が閾値を超えた画素について、その差の絶対値の平均値を算出する。そして、この平均値を図１の説明において示した変化の評価値ａの代わりに使用して、前述の、差が閾値を超えた画素と、使用者の視野において重なる表示画像の画素について、図１の説明において示したように、画像のコントラストを変化させる。実際に両方の画素が重なっているかどうかは、使用状況によっても異なるので、これらの画素の重なりは、設計上重なることをもって重なるとすることにする（以下同じ）。
【００４３】
又は、差が閾値を超えた画素を包含するような矩形又は円形等の所定の領域について、それと使用者の視野において重なる画像のコントラストを変化させるようにしてもよい。又、以上の処理を、図１の説明において説明したように、Ｒ、Ｇ、Ｂの各色毎に行ってもよい。
【００４４】
さらに、前述の、差が閾値を超えた画素と使用者の視野において重なる表示画像の画素を含むような単位図形（例えば図３における樹木）の表示位置や大きさを変化させて表示するようにしてもよい。この場合、その表示位置の変化の振幅、周波数、拡大・縮小率は、前述の平均値の関数となるようにしてもよい。
【００４５】
画像の表示位置を変化させる場合には、一般的なオプティカルフロー技術を用いる。すなわち、二枚の画像間で移動した物体位置を計算し、その移動量および移動方向に基づいて、表示画像を移動させる。一般に複数のエリアで別々の方向にオプティカルフローが計算されるが、その際は、最も移動する面積の大きなエリアを対象として画像処理を行う。
【００４６】
なお、ＣＣＤカメラ７で撮像された映像の輝度を平均化して使用することで、ＣＣＤカメラ７を輝度センサとして使用し、図１の説明において示したような処理を行うことができることは言うまでもない。
【００４７】
又、差が閾値を超えた画素と、使用者の視野において重なる表示画像の画素や、差が閾値を超えた画素を包含するような矩形又は円形等の所定の領域と使用者の視野において重なる画像や、差が閾値を超えた画素と使用者の視野において重なる表示画像の画素を含むような単位図形を、カラー表示から白黒の２値表示にしてもよく、点滅表示させてもよい。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施の形態の第１の例であるヘッドマウントディスプレイの概略構成を示すブロック図である。
【図２】コントラストの変化の付け方の例を示す図である。
【図３】画像の一部を、左右方向に位置変化させる場合を示した図である。
【図４】本発明の実施の形態の第１の例であるヘッドマウントディスプレイの概略構成を示すブロック図である。
【符号の説明】
【００４９】
１…頭部装着部、２…制御部、３…ＣＰＵ、４…画像処理装置、５…表示部、６…輝度センサ、７…ＣＣＤカメラ、８ａ，８ｂ…フレームメモリ
【図１】
2006139103.tif 000005
【図２】
2006139103.tif 000006
【図３】
2006139103.tif 000007
【図４】
2006139103.tif 000008