(57)【要約】【課題】作業性を損なわずに、オブジェクトとコンテンツとの焦点フリーを実現すること。【解決手段】ＨＭＤ１００の画像補正器１３０が、表示器１１０とユーザとの間に配置されたピンホール板１２０に存在するピンホールの間隔Ｗに応じて、表示器１１０の表示領域を分割した複数のセルを生成する。また、画像補正器１３０は、表示器１１０とピンホール板１２０との配置関係を基にして、表示器１１０の各セルに表示する画像の表示サイズを補正し、補正した画像を各セルに表示させる。【選択図】図１６
2016122159.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが実行する表示方法であって、
表示器とユーザとの間に配置されたピンホール板に存在するピンホールの間隔に応じて、前記表示器の表示領域を分割した複数の分割領域を生成し、
前記表示器と前記ピンホール板との配置関係を基にして、オブジェクトに関連する情報の表示サイズを補正し、補正した情報を前記複数の分割領域に表示させる
処理を実行することを特徴とする表示方法。
【請求項２】
前記ピンホール板は、所定の波長の光を反射する光学フィルタであることを特徴とする請求項１に記載の表示方法。
【請求項３】
前記表示器には、第１偏向フィルムが配置され、前記ピンホール板は第２偏向フィルムであり、前記ピンホール板は、前記ピンホールを通過する以外の光について、前記第１偏向フィルムにより偏向された光を遮断するように、所定角度回転して配置されていることを特徴とする請求項１に記載の表示方法。
【請求項４】
前記表示器は、所定の波長の光を反射する反射板と画像を表示する表示装置とを有し、前記表示器は、前記表示装置が表示させる画像を、前記反射板で反射させることを特徴とする請求項１に記載の表示方法。
【請求項５】
前記コンピュータは、前記ユーザの瞳孔のサイズまたは環境光の明るさを基にして、前記表示器が表示させる画像の輝度を調整する処理を更に実行することを特徴とする請求項１に記載の表示方法。
【請求項６】
前記コンピュータは、ネットワークを介してユーザの位置に関連する画像情報を取得した場合に、取得した前記画像情報を前記複数の分割領域に表示させる処理を更に実行することを特徴とする請求項１に記載の表示方法。
【請求項７】
コンピュータに、
表示器とユーザとの間に配置されたピンホール板に存在するピンホールの間隔に応じて、前記表示器の表示領域を分割した複数の分割領域を生成し、
前記表示器と前記ピンホール板との配置関係を基にして、オブジェクトに関連する情報の表示サイズを補正し、補正した情報を前記複数の分割領域に表示させる
処理を実行することを特徴とする表示プログラム。
【請求項８】
表示器とユーザとの間に配置されたピンホール板に存在するピンホールの間隔に応じて、前記表示器の表示領域を分割した複数の分割領域を生成し、前記表示器と前記ピンホール板との配置関係を基にして、オブジェクトに関連する情報の表示サイズを補正し、補正した情報を前記複数の分割領域に表示させる画像補正部
を有することを特徴とする表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示方法等に関する。
【背景技術】
【０００２】
近年、ユーザの頭部に装着するＨＭＤ（Head  Mounted  Display）が普及している。例えば、ＨＭＤには、実環境のオブジェクトの他に、拡張現実情報等のコンテンツをディスプレイに重畳させるＡＲ（Augmented  Reality）を用いるものがある。図２０は、従来のＨＭＤの一例を示す図である。例えば、ユーザ５はＨＭＤ１０を装着して、ＨＭＤ１０を介して実環境のオブジェクトを見つつ、ＡＲによりディスプレイに重畳されるコンテンツを見る。
【０００３】
ここで、コンテンツを表示するディスプレイとユーザとの焦点距離は固定されているが、ユーザの着目する実環境のオブジェクトとユーザとの焦点距離はオブジェクト毎に異なる。このため、例えば、ユーザが作業しながら、コンテンツを見ようとすると、高い頻度で焦点を調節するための眼球運動を行うことになる。
【０００４】
図２１は、実環境のオブジェクトと拡張現実情報との焦点の不一致を説明するための図である。画像１１は、オブジェクト１１ａに焦点が合っておらず、コンテンツ１１ｂに焦点が合っている例を示す。画像１２は、オブジェクト１２ａに焦点が合っており、コンテンツ１２ｂに焦点が合っていない例を示す。
【０００５】
これに対して、ビデオシースルー方式のＨＭＤ、網膜照射方式のＨＭＤ、コンタクトレンズ方式のＨＭＤは、焦点フリーを実現したＨＭＤである。ビデオシースルー方式のＨＭＤは、カメラで取得した実環境のオブジェクトとコンテンツとをディスプレイに表示させるものである。網膜照射方式のＨＭＤは、網膜に直接レーザ光を照射して、コンテンツをユーザに見せるものである。コンタクトレンズ方式のＨＭＤは、ピンホールが形成されたコンタクトレンズをユーザが装着し、焦点深度を深くするものである。上記の焦点フリーの各ＨＭＤでは、利用者がオブジェクトに焦点を合わせている場合でも、コンテンツと焦点を合わせることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２１５１９４号公報
【特許文献２】特開２００４−１５７１７３号公報
【特許文献３】特開２０１１−１４５６０７号公報
【特許文献４】特開２００５−８４５６９号公報
【特許文献５】特開２０１１−８５８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来技術では、作業性を損なわずに、オブジェクトとコンテンツとの焦点フリーを実現することができないという問題がある。
【０００８】
例えば、ビデオシースルー方式のＨＭＤでは、電源ＯＦＦ時に視界が遮断される問題や、映像提示遅延による、身体動作と視覚の不一致が発生する。網膜照射方式のＨＭＤでは、注視範囲が狭く、作業に伴う眼球運動によりコンテンツが見えなくなる。コンタクトレンズ方式のＨＭＤでは、眼球に直接装着することへの抵抗感や、作業現場で簡単に着脱できないという問題がある。
【０００９】
１つの側面では、作業性を損なわずに、オブジェクトとコンテンツとの焦点フリーを実現することができる表示方法、表示プログラムおよび表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の案では、コンピュータが下記の処理を実行する。コンピュータは、表示器とユーザとの間に配置されたピンホール板に存在するピンホールの間隔に応じて、表示器の表示領域を分割した複数の分割領域を生成する。コンピュータは、表示器と前記ピンホール板との配置関係を基にして、オブジェクトに関連する情報の表示サイズを補正し、補正した情報を複数の分割領域に表示させる。
【発明の効果】
【００１１】
本発明の１実施態様によれば、作業性を損なわずに、オブジェクトとコンテンツとの焦点フリーを実現することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、眼球光学系を説明するための図である。
【図２】図２は、焦点フリーを実現する仕組みを示す図である。
【図３】図３は、本実施例に係るＨＭＤの外観図である。
【図４】図４は、ピンホール板に用いる光学フィルタの波長と反射率との関係を示す図である。
【図５】図５は、表示器の一例を示す図である。
【図６】図６は、ピンホール径と投影光の大きさとの関係を説明するための図である。
【図７】図７は、ピンホールの直径Ｄと、大きさＳ、Ａ、Ｓ０との関係を示す図である。
【図８】図８は、ピンホールの間隔と死角との関係を説明するための図である。
【図９】図９は、ピンホールの間隔と重なりとの関係を説明するための図である。
【図１０】図１０は、瞳孔の大きさおよび水晶体の屈折率による影響を説明するための図である。
【図１１】図１１は、ピンホールの間隔の算出を説明するための図である。
【図１２】図１２は、表示器に表示される画像の課題を説明するための図である。
【図１３】図１３は、画像補正器の処理を説明するための図（１）である。
【図１４】図１４は、画像補正器の処理を説明するための図（２）である。
【図１５】図１５は、画像補正器の処理を説明するための図（３）である。
【図１６】図１６は、本実施例に係るＨＭＤの構成を示す機能ブロック図である。
【図１７】図１７は、本実施例に係るＨＭＤの処理手順の一例を示すフローチャートである。
【図１８】図１８は、ＨＭＤとプレイスサーバとを用いたサービスの一例を説明するための図である。
【図１９】図１９は、表示プログラムを実行するコンピュータの一例を示す図である。
【図２０】図２０は、従来のＨＭＤの一例を示す図である。
【図２１】図２１は、実環境のオブジェクトと拡張現実情報との焦点の不一致を説明するための図である。
【発明を実施するための形態】
【００１３】
以下に、本願の開示する表示方法、表示プログラムおよび表示装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１４】
本実施例に係るＨＭＤ（Head  Mounted  Display）を説明する前に、眼球光学系について説明する。図１は、眼球光学系を説明するための図である。図１において、２０は眼球を示し、２１ａは瞳孔を示し、２１ｂは水晶体を示し、２１ｃは網膜を示す。例えば、オブジェクト３０ａに焦点が合っている場合には、オブジェクト３０ａの像３１ａが網膜２１ｃに投影される。また、オブジェクト３０ａに焦点が合っている状態で、コンテンツ３０ｂを見ると、コンテンツ３０ｂの像３１ｂが網膜２１ｃにぼやけた状態で投影される。これに対して、ピンホール板３５を介して、コンテンツ３０ｂを見ると、コンテンツ３０ｂからの一部の光がピンホール板３５のピンホールを通過して網膜２１ｃに投影され、像３１ｃとなる。ピンホールを通過した光は、網膜２１ｃの一点で結像するため、焦点距離に関わらず、常にピントが合う。
【００１５】
続いて、本実施例に係るＨＭＤが焦点フリーを実現する仕組みの一例について説明する。図２は、焦点フリーを実現する仕組みを示す図である。利用者の前方にはオブジェクト３６が存在し、オブジェクト３６と利用者との間には、コンテンツを表示する表示器１１０と、ピンホール板１２０とが存在するものとする。
【００１６】
（１）利用者が前方のオブジェクト３６を見ると、オブジェクト３６と焦点が合い、利用者の網膜２１ｃにオブジェクト３６の像が投影される。
【００１７】
（２）ピンホール板１２０は、複数のピンホールが形成された板であり、利用者の眼球２０の前方近距離に配置される。ピンホール板１２０の前方には、表示器１１０が配置される。表示器１１０からの光のうち、ピンホールを通過した光のみが、眼球２０に入る。ピンホールを通過した光は、網膜２１ｃの一点で結像するため、焦点距離に関わらず、常にピントが合う。
【００１８】
（３）オブジェクト３６に焦点が合っている場合には、水晶体２１ｂの屈折率により、表示器１１０により表示されるコンテンツが拡大された状態で見える。このため、本実施例に係るＨＭＤは、画像の補正を行う。ＨＭＤが行う画像の補正については後述する。
【００１９】
（４）ピンホール板１２０の材料には、表示器１１０からの光を遮断するが、外界光を透過させる光学フィルタを用いる。ピンホール板１２０に関する詳細な説明は後述する。
【００２０】
（５）表示器１１０に外界光を通す透過型の表示器を用いれば、オブジェクト３６と表示器１１０とが重複した領域を利用者は見ることができる。表示器１１０に関する詳細な説明は後述する。
【００２１】
続いて、本実施例に係るＨＭＤの外観図について説明する。ＨＭＤは、表示装置の一例である。図３は、本実施例に係るＨＭＤの外観図である。図３に示すように、このＨＭＤ１００は、表示器１１０と、ピンホール板１２０と、画像補正器１３０とを有する。表示器１１０およびピンホール板１２０は、図２に示した表示器１１０およびピンホール板１２０に対応する。画像補正器１３０は、表示器１１０に画像を表示する装置である。
【００２２】
次に、図２および図３に示したピンホール板１２０に用いる光学フィルタについて説明する。例えば、ピンホール板１２０には、所定の波長の光を反射する光学フィルタを用いる。以下適宜、ピンホール板を光ファイルと表記する。図４は、ピンホール板に用いる光学フィルタの波長と反射率との関係を示す図である。図４の横軸は波長（ｎｍ）を示し、縦軸は反射率（％）を示す。図４に示す例では、波長が３５０ｎｍ、４５０ｎｍ、５５０ｎｍ、６５０ｎｍとなる近辺において、反射率がほぼ１００％となる。このため、図４に示す特性の光学フィルタを用いることで、表示器１１０から出力されるＲ（Red）、Ｇ（Green）、Ｂ（Blue）の光を遮断することができる。また、ピンホール板１２０の光学フィルタは、３５０ｎｍ、４５０ｎｍ、５５０ｎｍ、６５０ｎｍ近辺以外の光を透過させるため、利用者は、光学フィルタを介して、光学フィルタ１２０の先にあるオブジェクトを見ることができる。
【００２３】
なお、光学フィルタの代わりに、偏向フィルムを用いてもよい。例えば、表示器１１０に第１偏向フィルムを配置し、ピンホール板１２０に第２偏向フィルムを配置する。第２偏向フィルムは、第１偏向フィルムにより偏向された光を遮断するように、所定角度回転して、ピンホール板１２０に配置される。例えば、第２偏向フィルムは、表示器１１０の第１偏向フィルムに対して、９０度回転した状態で、ピンホール板１２０に配置される。
【００２４】
次に、図２および図３に示した表示器１１０について説明する。表示器１１０は、汎用の液晶ディスプレイと反射板とを組み合わせたものとなる。図５は、表示器の一例を示す図である。図５に示すように、表示器１１０は、反射板１１０ａと、液晶ディスプレイ１１０ｂとを有する。
【００２５】
反射板１１０ａは、図４に示した光学フィルタと同じ特性を持つものである。すなわち、反射板１１０ａは、波長が３５０ｎｍ、４５０ｎｍ、５５０ｎｍ、６５０ｎｍとなる近辺において、反射率がほぼ１００％となる。このため、反射板１１０ａは、液晶ディスプレイ１１０ｂから出力されるＲ、Ｇ、Ｂの光を反射することで、液晶ディスプレイ１１０ｂの光をピンホール板１２０の方向に向ける。
【００２６】
また、反射板１１０ａは、３５０ｎｍ、４５０ｎｍ、５５０ｎｍ、６５０ｎｍ近辺以外の反射を透過させるため、利用者は、反射板１１０ａを介して、反射板１１０ａの先にあるオブジェクトを見ることができる。
【００２７】
液晶ディスプレイ１１０ｂは、図３に示した画像補正器１３０から出力されるコンテンツを表示するディスプレイである。例えば、液晶ディスプレイ１１０ｂの表示画面は、ユーザの視線方向に対して平行となり、表示画面に表示したコンテンツを、反射板１１０ａで反させて、ユーザに見せる。
【００２８】
なお、反射板１１０ａおよび液晶ディスプレイ１１０ｂの代わりに、透明ディスプレイ（See-Through  OLED）を用いてもよい。
【００２９】
次に、図２および図３に示したピンホール板１２０のピンホール径について説明する。図６は、ピンホール径と投影光の大きさとの関係を説明するための図である。図６に示すようにオブジェクト３６の点Ｐの光が、ピンホール１２０ａを通過して、網膜２１ｃ（スクリーン）に投影されたときの大きさ「Ｓ」は、式（１）によって定義される。また、光の強度（intensity）は、ピンホール板１２０の中心位置ほど、大きくなる。
【００３０】
Ｓ＝Ａ＋Ｓ０・・・（１）
【００３１】
式（１）に含まれる「Ａ」は、回折による光の広がりを示すものであり、式（２）によって定義される。式（１）に含まれる「Ｓ０」は、幾何学的な光の広がりを示すものであり、式（３）によって定義される。
【００３２】
Ａ＝２．４４λＭ／Ｄ・・・（２）
【００３３】
Ｓ０＝Ｄ（Ｌ＋Ｍ）／Ｌ≒Ｄ・・・（３）
【００３４】
式（２）に含まれる「λ」は、可視光の中心波長を示す。例えば、λの値は「５５０ｎｍ」となる。式（２）に含まれる「Ｍ」は、ピンホール板１２０から網膜２１ｃまでの距離を示す。式（３）に含まれる「Ｌ」は、ピンホール板１２０からオブジェクト３６までの距離を示す。Ｄは、ピンホール１２０ａの直径を示す。式（３）に含まれるＬ、Ｍ、Ｄに関する説明は、式（２）で説明したものと同じである。
【００３５】
図７は、ピンホールの直径Ｄと、大きさＳ、Ａ、Ｓ０との関係を示す図である。図７のグラフについて、横軸はピンホール１２０ａの直径Ｄを示し、縦軸は大きさを示す。線分５Ａは、ピンホール１２０ａの直径Ｄと、式（２）のＡとの関係を示す線分である。線分５Ｓ０は、ピンホール１２０ａの直径Ｄと、式（３）のＳ０との関係を示す線分である。線分５Ｓは、ピンホール１２０ａの直径Ｄと、式（１）のＳとの関係を示す線分である。
【００３６】
ここで、ピンホール１２０ａの直径Ｄの最適値は、大きさＳの値が極小値となる場合の値となる。図７に示す例では、直径Ｄの最適値は、Ｄｍとなる。なお、大きさＳが極小値を取る場合の直径Ｄは、式（４）で定義される。
【００３７】
Ｄｍ＝（２．４４λＭ）１／２・・・（４）
【００３８】
例えば、λの値を「５５０ｎｍ」とし、Ｍの値を「４５ｍｍ」とすると、式（４）に基づき、ピンホール１２０ａの最適値Ｄｍは「０．２５ｍｍ」となる。このため、例えば、図３に示した本実施例に係るＨＭＤのピンホール板１２０に配置される各ピンホールの直径を「０．２５ｍｍ」とする。なお、各ピンホールの直径は「０．２５ｍｍ」に限定されるものではなく、式（４）に含まれるＭの値に基づいて、適宜変更してもよい。
【００３９】
次に、ピンホールの間隔とその影響について説明する。図８は、ピンホールの間隔と死角との関係を説明するための図である。図８の通過光６ａは、ピンホール１２０ａを通過した光を示す。通過光６ｂは、ピンホール１２０ｂを通過した光を示す。例えば、ピンホール１２０ａと１２０ｂとの間隔Ｗを大きくすると、死角７が発生する。領域６Ａは、通過光６ａにより投影される網膜２１ｃ上の領域である。領域６Ｂは、通過光６ｂにより投影される網膜２１ｃ上の領域である。
【００４０】
図９は、ピンホールの間隔と重なりとの関係を説明するための図である。図９の通過光６ａは、ピンホール１２０ａを通過した光を示す。通過光６ｂは、ピンホール１２０ｂを通過した光を示す。例えば、ピンホール１２０ａと１２０ｂとの間隔Ｗを小さくすると、重なり８が発生し、二重に見える。領域６Ａは、通過光６ａにより投影される網膜２１ｃ上の領域である。領域６Ｂは、通過光６ｂにより投影される網膜２１ｃ上の領域である。領域６Ｃは、領域６Ａと領域６Ｂとが重なる領域である。
【００４１】
次に、瞳孔の大きさおよび水晶体の屈折率による影響について説明する。図１０は、瞳孔の大きさおよび水晶体の屈折率による影響を説明するための図である。図１０の５０Ａは、死角が発生していない場合を示している。瞳孔２１ａが閉じると、５０Ｂに示すものとなり、死角９ａが発生する。また、水晶体２１ｂの屈折率が大きくなると、５０Ｃに示すものとなり、死角９ｂが発生する。一般的に、ユーザが近くのオブジェクトに焦点を合わせると、遠くのオブジェクトに焦点を合わせる場合と比較して、屈折率が大きくなる。
【００４２】
ここで、死角を発生させないで、重なりを最小限に抑えるピンホールの間隔Ｗの一例について説明する。図１１は、ピンホールの間隔の算出を説明するための図である。最適なピンホールの間隔Ｗは、瞳孔径が最小となり、かつ、屈折率が最大となる場合において、異なるピンホールを透過する光の輪郭が接するときの値となる。例えば、死角を発生させないで、重なりを最小限に抑えるピンホールの間隔Ｗは、式（５）により定義される。
【００４３】
Ｗ＝ｄ（Ｌ０−Ｅ）／Ｌ０・・・（５）
【００４４】
式（５）において、ｄは、瞳孔径の最小値を示す。一般的に、成人の瞳孔径は、３〜８ｍｍとなる。このため、例えば、ｄの値は「３ｍｍ」となる。Ｌ０は、オブジェクト３６から、眼球２０までの距離を示す。Ｅは、ピンホール板１２０から眼球２０までの距離を示す。例えば、Ｌ０の値を「１００ｍｍ」、Ｅの値を「２０ｍｍ」とすると、最適なピンホールの間隔Ｗは、「２．４ｍｍ」となる。ピンホールの間隔が最適であると、オブジェクト３６上の点Ｐからピンホール１２０ａを介して網膜２１ｃに投影される点と、点Ｐからピンホール１２０ｂを介して網膜２１ｃに投影される点とが点Ｑで一致する。これにより、死角を発生させないで、重なりを最小限に抑えることができる。例えば、図３に示した実施例に係るＨＭＤのピンホール板１２０に配置される各ピンホールの間隔を「２．４ｍｍ」とする。
【００４５】
次に、表示器１１０に表示される画像の課題について説明する。図１２は、表示器に表示される画像の課題を説明するための図である。図１２において、ユーザの焦点が、ピンホール板１２０からＬ２の距離にあるオブジェクト３６に合っているものとする。また、表示器１１０上の点Ａ、Ｂの光は、ピンホール１２０ａを介して、網膜２１ｃ上に結像し、それぞれを点Ａ’、Ｂ’とする。表示器１１０上の点Ｃ、Ｄの光は、ピンホール１２０ｂを介して、網膜２１ｃ上に結像し、それぞれを点Ｃ’、Ｄ’とする。
【００４６】
図１２に示す例では、表示器１１０の点Ｂと点Ｃからの光が網膜２１ｃ上の一点Ｐ’に結像されるため、ユーザは、表示器１１０上の点ＢＣ間の画像を見ることができない。また、点Ｂ、Ｃが網膜２１ｃの一点で結像されるため、ユーザは、相対的に、点ＡＢ間、点ＢＤ間の画像が拡大されて見える。
【００４７】
画像の拡大率αは、式（６）で定義される。式（６）について、Ｌ１は、表示器１１０とピンホール板１２０との距離を示す。Ｌ２は、オブジェクト３６とピンホール板１２０との距離を示す。Ｅは、ピンホール板１２０と眼球２０との距離を示す。
【００４８】
画像の拡大率α＝１＋Ｅ／Ｌ１×（Ｌ２−Ｌ１）／（Ｌ２＋Ｅ）・・・（６）
【００４９】
ここで、Ｌ２の値を「∞」であると仮定すると、画像の拡大率αは、式（７）で定義される。
【００５０】
画像の拡大率α＝１＋Ｅ／Ｌ１・・・（７）
【００５１】
例えば、Ｅの値を「２０ｍｍ」とし、Ｌ１の値を「２０ｍｍ」とすると、画像の拡大率αの値は「２」となる。すなわち、ユーザは、表示器１１０に表示される画像が「２」倍に拡大されて見えることを意味する。
【００５２】
なお、式（６）について、Ｌ１の値とＬ２の値とが等しいと仮定し、Ｅの値を「２０ｍｍ」とすると、画像の拡大率αの値は「１」となる。しかしながら、Ｌ１の値を「２０ｍｍ」とすると、Ｌ２の値も「２０ｍｍ」となることを意味し、現実的に、２０ｍｍ先のオブジェクトに利用者が焦点を合わせることは難しい。例えば、Ｌ２の最短距離を「４００ｍｍ」とすると、画像の拡大率αの値は「１．９」となる。このため、本実施例では、画像の拡大率αの値を「２」と定義する。
【００５３】
次に、図３に示した画像補正器１３０の処理について説明する。図１３〜図１５は、画像補正器の処理を説明するための図である。図１５に示すように、画像補正器１３０は、表示器１１０の画面をピンホールの間隔Ｗに応じた６角形のセル７０に分割する。例えば、各セル７０の縦の長さを、ピンホールの間隔Ｗに対応させる。なお、画像補正器１３０は、各セル７０の大きさを同一にしてもよいし、ピンホールから離れるにつれて、セル７０の大きさを大きくしてもよい。例えば、セル７０の縦の長さをβ×Ｗとする。ここで、βは、ピンホールからセル７０までの距離が大きくなるにつれて大きくなる値である。
【００５４】
図１４の画像６０Ａは、ピンホール越しにユーザに見せる画像の一例である。画像補正器１３０は、画像６０Ａを各セル７０に合わせて分割し、分割した画像を「１／α」倍にする補正を行った後に、各セル７０に画像を表示させる。
【００５５】
画像補正器１３０は、仮想的に各セル７０ａ，７０ｂ，７０ｃの一部を重ね合わせ、重ね合わせた各セル７０ａ〜７０ｃと、画像６０Ａとを比較して、各セル７０ａ〜７０ｃに表示させる画像を特定する。例えば、画像補正器１３０は、画像６０Ａのうち、領域７Ａの画像を、１／α倍して、セル７０ａに表示させる。画像補正器１３０は、画像６０Ａのうち、領域７Ｂの画像を、１／α倍して、セル７０ｂに表示させる。画像補正器１３０は、画像６０Ａのうち、領域７Ｃの画像を、１／α倍して、セル７０ｃに表示させる。
【００５６】
また、画像補正器１３０は、各ピンホールの中心位置と、各セルの中心位置とを合わせる。例えば、画像補正器１３０は、ピンホール１２０ａの中心と、セル７０ａの中心とを合わせる。画像補正器１３０は、ピンホール１２０ｂの中心と、セル７０ｂの中心とを合わせる。画像補正器１３０は、ピンホール１２０ｃの中心と、セル７０ｃの中心とを合わせる。このような処理を画像補正器１３０が実行することで、ユーザは、ピンホール越しに画像６０Ｂが見えることとなる。
【００５７】
ところで、表示器１１０とピンホール板１２０との位置が固定されていれば、多少視点がずれてもセル７０の境界が視界に入ることはない。図１５に示すように、視点がＨだけずれると、ピンホールの中心と、セルの中心とがずれる。例えば、ピンホール１２０ａの中心とセル７０ａの中心とがｈａずれ、ピンホール１２０ｂの中心とセル７０ｂの中心とがｈｂずれ、ピンホール１２０ｃの中心とセル７０ｃの中心とがｈｃずれる。しかしながら、ユーザは、ピンホール越しに画像６０Ｃが見えることになり、セル７０の境界が視界に入ることはない。
【００５８】
続いて、画像補正器１３０が行う輝度調整について説明する。外界光の明るさによって、瞳孔の大きさが調整されるため、画像補正器１３０は、小型カメラ等を用いて瞳孔の大きさを計測し、瞳孔の大きさに応じて、表示器１１０の画像の輝度を調整する。例えば、画像補正器１３０は、瞳孔の大きさと輝度とを定義した輝度テーブルを参照し、輝度を特定する。輝度テーブルの輝度の値は、瞳孔の大きさが小さいほど、大きな値となる。
【００５９】
なお、画像補正器１３０は、環境光の照度を測定し、照度に応じて表示器１１０の画像の輝度を調整してもよい。例えば、画像補正器１３０は、環境光の照度と輝度とを定義した輝度テーブルを参照し、輝度を特定する。輝度テーブルの輝度の値は、照度が大きいほど、大きな値となる。
【００６０】
次に、本実施例に係るＨＭＤ１００の構成の一例について説明する。図１６は、本実施例に係るＨＭＤの構成を示す機能ブロック図である。図１６に示すように、このＨＭＤ１００は、表示器１１０と、ピンホール板１２０と、画像補正器１３０とを有する。
【００６１】
図１６に示す表示器１１０、ピンホール板１２０、画像補正器１３０は、図３に示した表示器１１０、ピンホール板１２０、画像補正器１３０に対応する。
【００６２】
表示器１１０は、画像補正器１３０から出力される画像を表示する装置である。表示器１１０は、例えば、図５で説明したように、液晶ディスプレイと反射板とから構成される表示器で合ってもよいし、透明ディスプレイ（See-Through  OLED）であってもよい。
【００６３】
ピンホール板１２０は、複数のピンホールを有する板である。ピンホール板１２０は、図４で説明した光学フィルタであり、所定の波長の光を反射する。また、ピンホール板１２０には複数のピンホールが存在する。各ピンホールの径Ｄは、図７で説明したように、大きさＳの値が最小値となる場合のＤｍとなる。例えば、λの値を「５５０ｎｍ」とし、Ｍの値を「４５ｍｍ」とすると、式（４）に基づき、ピンホールの最適値Ｄｍは「０．２５ｍｍ」となる。
【００６４】
また、ピンホール板１２０の各ピンホールの間隔Ｗは、図１１で説明したように、死角を発生させないで、重なりを最小限に抑えるピンホールの間隔Ｗとなる。本実施例では、ピンホール板１２０に配置される各ピンホールの間隔を「２．４ｍｍ」とする。
【００６５】
画像補正器１３０は、記憶部１３０ａと、インタフェース部１３０ｂと、画像補正部１３０ｃを有する。
【００６６】
例えば、記憶部１３０ａは、画像情報１３５ａと、輝度テーブル１３５ｂと、パラメータ１３５ｃとを有する。なお、記憶部１３０ａは、画像情報１３５ａ、輝度テーブル１３５ｂ、パラメータ１３５ｃ以外の情報を有していてもよい。
【００６７】
画像情報１３５ａは、表示器１１０に表示させる画像の情報である。輝度テーブル１３５ｂは、表示器１１０に表示させる画像の輝度を特定する場合に用いられるテーブルである。例えば、輝度テーブルは、瞳孔の大きさと輝度とを対応付ける。パラメータ１３５ｃは、上述したピンホールの間隔Ｗの情報、画像の拡大率αの情報を含む。
【００６８】
インタフェース部１３０ｂは、外部の装置と無線通信を実行する処理部である。例えば、インタフェース部１３０ｂは、外部の端末装置、プレイスサーバ等とデータ通信を行って、画像情報１３５ａ、輝度テーブル１３５ｂ、パラメータ１３５ｃやその他の情報を取得する。インタフェース部１３０ｂは、取得した情報を、記憶部１３０ａに格納する。
【００６９】
画像補正部１３０ｃは、表示器１１０に表示させる画像を制御する処理部である。例えば、画像補正部１３０ｃは、ピンホール板１２０に存在するピンホールの間隔Ｗを基にして、表示器１１０の表示領域にセル７０を形成する。また、画像補正部１３０ｃは、表示器１１０とピンホール板１２０との配置関係から求められる画像の拡大率αを基にして、各セルに表示させる画像の表示サイズを１／α倍する補正を行い、補正した情報を各セル７０に表示させる。
【００７０】
また、画像補正部１３０ｃは、各セル７０に表示させる画像をどのように特定してもよいが、例えば、図１４で説明したように、仮想的に各セル７０ａ，７０ｂ，７０ｃの一部を重ね合わせ、重ね合わせた各セル７０ａ〜７０ｃと、画像とを比較して、各セル７０ａ〜７０ｃに表示させる画像を特定する。
【００７１】
また、画像補正部１３０ｃは、図示しない小型カメラからＨＭＤ１００を装着したユーザの瞳孔の画像を取得し、取得した瞳孔の大きさと、輝度テーブル１３５ｂとを比較して、表示器１１０の画像の輝度を特定し、特定した輝度により、画像を表示させる。なお、画像補正部１３０ｃは、瞳孔の大きさの代わりに、環境光の照度を測定し、測定した照度を基にして、画像の輝度を特定してもよい。
【００７２】
次に、本実施例に係るＨＭＤ１００の処理手順の一例について説明する。図１７は、本実施例に係るＨＭＤの処理手順の一例を示すフローチャートである。図１７に示すように、ＨＭＤ１００のインタフェース部１３０ｂは、画像情報を受信し、記憶部１３０ａに格納する（ステップＳ１０１）。ＨＭＤ１００の画像補正部１３０ｃは、ピンホールの間隔に応じて、表示器１１０の表示領域を複数のセル７０に分割する（ステップＳ１０２）。
【００７３】
画像補正部１３０ｃは、表示器１１０とピンホール板１２０との配置関係に基づく拡大率αにより画像を補正する（ステップＳ１０３）。画像補正部１３０ｃは、補正した画像を、表示器１１０の各セルに表示させる（ステップＳ１０４）。
【００７４】
次に、本実施例に係るＨＭＤ１００の効果について説明する。ＨＭＤ１００の画像補正器１３０が、表示器１１０とユーザとの間に配置されたピンホール板１２０に存在するピンホールの間隔Ｗに応じて、表示器１１０の表示領域を分割した複数のセル７０を生成する。また、画像補正器１３０は、表示器１１０とピンホール板１２０との配置関係を基にして、各セルに表示する画像の表示サイズを補正し、補正した画像を各セル７０に表示させる。上記の処理をＨＭＤ１００が実行することで、作業性を損なわずに、オブジェクトと表示器１１０に表示させるコンテンツとの焦点フリーを実現することができる。
【００７５】
ＨＭＤ１００は、所定の波長の光を反射する光学フィルタをピンホール板１２０として利用する。このため、ユーザの前にピンホール板１２０が配置された場合でも、ピンホール板１２０の先に存在するオブジェクトをユーザは見ることができる。
【００７６】
ＨＭＤ１００は、光学フィルタの代わりに、偏光フィルタを用いてもよい。例えば、表示器１１０に第１偏向フィルムを配置し、ピンホール板１２０に第２偏向フィルムを配置する。第２偏向フィルムは、第１偏向フィルムにより偏向された光を遮断するように、所定角度回転して、ピンホール板１２０に配置される。例えば、第２偏向フィルムは、表示器１１０の第１偏向フィルムに対して、９０度回転した状態で、ピンホール板１２０に配置される。このように、偏向フィルタを用いることで、ユーザの前にピンホール板１２０が配置された場合でも、ピンホール板１２０の先に存在するオブジェクトをユーザは見ることができる。
【００７７】
ＨＭＤ１００は、所定の波長の光を反射する反射板１１０ａと画像を表示する液晶ディスプレイ１１０ｂとを有し、表示器１１０は、液晶ディスプレイ１１０ｂが表示させる画像を、反射板１１０ａで反射させる。または、ＨＭＤ１００は、表示器１１０として、透明ディスプレイ（See-Through  OLED）を用いる。これにより、ユーザの前に表示器１１０が配置された場合でも、表示器１１０の先に存在するオブジェクトをユーザは見ることができる。
【００７８】
ＨＭＤ１００の画像補正器１３０は、ユーザの瞳孔のサイズまたは環境光の明るさを基にして、表示器１１０が表示させる画像の輝度を調整する。このため、環境光の明るさによらず、表示器１１０の画像をユーザに見やすい状態で表示させることができる。
【００７９】
次に、ＨＭＤ１００とプレイスサーバとを用いたサービスの一例について説明する。図１８は、ＨＭＤとプレイスサーバとを用いたサービスの一例を説明するための図である。例えば、図１８に示すシステムは、ＨＭＤ１００と、モバイル端末２００と、プレイスサーバ２５０と、アプリストア２６０とを有する。例えば、プレイスサーバ２５０およびアプリストア２６０は、クラウド上に存在するものとする。また、ユーザは、ＨＭＤ１００を装着し、モバイル端末２００を携帯しているものとする。
【００８０】
モバイル端末２００は、ユーザの位置情報を、センサ等を用いて検出し、検出した位置情報を、プレイスサーバ２５０に通知する（ステップＳ１０）。プレイスサーバ２５０は、位置情報に応じたアプリケーションソフトウェアを、アプリストア２６０から取得する（ステップＳ１１）。以下の説明では、アプリケーションソフトウェアをアプリと表記する。
【００８１】
プレイスサーバ２５０は、アプリをモバイル端末２００にプッシュする（ステップＳ１２）。モバイル端末２００は、プッシュされたアプリの情報を画面に表示し、ユーザは、画面に表示されたアプリのいずれかを選択する。モバイル端末２００は、いずれかのアプリが選択されると、選択されたアプリに対応する画像情報を、ＨＭＤ１００に通知する（ステップＳ１３）。ＨＭＤ１００の画像補正器１３０は、通知された画像情報を補正して、表示器１１０に表示させる。画像補正器１３０が、画像情報を補正して、表示器１１０に表示させる処理は、上記実施例で説明した内容と同様である。このようなサービスを提供することで、ユーザの位置に応じた情報を、ユーザに通知することができる。
【００８２】
次に、上記実施例に示したＨＭＤ１００と同様の機能を実現する表示プログラムを実行するコンピュータの一例について説明する。図１９は、表示プログラムを実行するコンピュータの一例を示す図である。
【００８３】
図１９に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、表示器３０３とを有する。表示器３０３は、図１６の表示器１１０に対応する。コンピュータ３００は、記憶媒体からプログラム等を読取る読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、記憶装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。なお、ピンホール板の図示を省略する。
【００８４】
記憶装置３０７は、画像補正プログラム３０７ａを有する。ＣＰＵ３０１は、画像補正プログラム３０７ａを読み出してＲＡＭ３０６に展開する。画像補正プログラム３０７ａは、画像補正プロセス３０６ａとして機能する。この画像補正プロセス３０６ａは、例えば、画像補正部１３０ｃに対応する。
【００８５】
なお、画像補正プログラム３０７ａについては、必ずしも最初から記憶装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が画像補正プログラム３０７ａを読み出して実行するようにしてもよい。
【００８６】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００８７】
（付記１）コンピュータが実行する表示方法であって、
表示器とユーザとの間に配置されたピンホール板に存在するピンホールの間隔に応じて、前記表示器の表示領域を分割した複数の分割領域を生成し、
前記表示器と前記ピンホール板との配置関係を基にして、オブジェクトに関連する情報の表示サイズを補正し、補正した情報を前記複数の分割領域に表示させる
処理を実行することを特徴とする表示方法。
【００８８】
（付記２）前記ピンホール板は、所定の波長の光を反射する光学フィルタであることを特徴とする付記１に記載の表示方法。
【００８９】
（付記３）前記表示器には、第１偏向フィルムが配置され、前記ピンホール板は第２偏向フィルムであり、前記ピンホール板は、前記ピンホールを通過する以外の光について、前記第１偏向フィルムにより偏向された光を遮断するように、所定角度回転して配置されていることを特徴とする付記１に記載の表示方法。
【００９０】
（付記４）前記表示器は、所定の波長の光を反射する反射板と画像を表示する表示装置とを有し、前記表示器は、前記表示装置が表示させる画像を、前記反射板で反射させることを特徴とする付記１に記載の表示方法。
【００９１】
（付記５）前記コンピュータは、前記ユーザの瞳孔のサイズまたは環境光の明るさを基にして、前記表示器が表示させる画像の輝度を調整する処理を更に実行することを特徴とする付記１に記載の表示方法。
【００９２】
（付記６）前記コンピュータは、ネットワークを介してユーザの位置に関連する画像情報を取得し、取得した前記画像情報を前記複数の分割領域に表示させる処理を更に実行することを特徴とする付記１に記載の表示方法。
【００９３】
（付記７）コンピュータに、
表示器とユーザとの間に配置されたピンホール板に存在するピンホールの間隔に応じて、前記表示器の表示領域を分割した複数の分割領域を生成し、
前記表示器と前記ピンホール板との配置関係を基にして、オブジェクトに関連する情報の表示サイズを補正し、補正した情報を前記複数の分割領域に表示させる
処理を実行することを特徴とする表示プログラム。
【００９４】
（付記８）前記ピンホール板は、所定の波長の光を反射する光学フィルタであることを特徴とする付記７に記載の表示プログラム。
【００９５】
（付記９）前記表示器には、第１偏向フィルムが配置され、前記ピンホール板は第２偏向フィルムであり、前記ピンホール板は、前記ピンホールを通過する以外の光について、前記第１偏向フィルムにより偏向された光を遮断するように、所定角度回転して配置されていることを特徴とする付記７に記載の表示プログラム。
【００９６】
（付記１０）前記表示器は、所定の波長の光を反射する反射板と画像を表示する表示装置とを有し、前記表示器は、前記表示装置が表示させる画像を、前記反射板で反射させることを特徴とする付記７に記載の表示プログラム。
【００９７】
（付記１１）前記コンピュータに、前記ユーザの瞳孔のサイズまたは環境光の明るさを基にして、前記表示器が表示させる画像の輝度を調整する処理を更に実行させることを特徴とする付記７に記載の表示プログラム。
【００９８】
（付記１２）前記コンピュータに、ネットワークを介してユーザの位置に関連する画像情報を取得した場合に、取得した前記画像情報を前記複数の分割領域に表示させる処理を更に実行させることを特徴とする付記７に記載の表示プログラム。
【００９９】
（付記１３）表示器とユーザとの間に配置されたピンホール板に存在するピンホールの間隔に応じて、前記表示器の表示領域を分割した複数の分割領域を生成し、前記表示器と前記ピンホール板との配置関係を基にして、オブジェクトに関連する情報の表示サイズを補正し、補正した情報を前記複数の分割領域に表示させる画像補正部
を有することを特徴とする表示装置。
【０１００】
（付記１４）前記ピンホール板は、所定の波長の光を反射する光学フィルタであることを特徴とする付記１３に記載の表示装置。
【０１０１】
（付記１５）前記表示器には、第１偏向フィルムが配置され、前記ピンホール板は第２偏向フィルムであり、前記ピンホール板は、前記ピンホールを通過する以外の光について、前記第１偏向フィルムにより偏向された光を遮断するように、所定角度回転して配置されていることを特徴とする付記１３に記載の表示装置。
【０１０２】
（付記１６）前記表示器は、所定の波長の光を反射する反射板と画像を表示する表示装置とを有し、前記表示器は、前記表示装置が表示させる画像を、前記反射板で反射させることを特徴とする付記１３に記載の表示装置。
【０１０３】
（付記１７）前記画像補正部は、前記ユーザの瞳孔のサイズまたは環境光の明るさを基にして、前記表示器が表示させる画像の輝度を調整する処理を更に実行することを特徴とする付記１３に記載の表示装置。
【０１０４】
（付記１８）前記画像補正部は、ネットワークを介してユーザの位置に関連する画像情報を取得した場合に、取得した前記画像情報を前記複数の分割領域に表示させる処理を更に実行することを特徴とする付記１３に記載の表示装置。
【符号の説明】
【０１０５】
１００  ＨＭＤ
１１０  表示器
１２０  ピンホール板
１３０  画像補正器
【図２】
2016122159.tif 000003
【図３】
2016122159.tif 000004
【図４】
2016122159.tif 000005
【図５】
2016122159.tif 000006
【図６】
2016122159.tif 000007
【図７】
2016122159.tif 000008
【図８】
2016122159.tif 000009
【図９】
2016122159.tif 000010
【図１０】
2016122159.tif 000011
【図１１】
2016122159.tif 000012
【図１２】
2016122159.tif 000013
【図１３】
2016122159.tif 000014
【図１４】
2016122159.tif 000015
【図１５】
2016122159.tif 000016
【図１６】
2016122159.tif 000017
【図１７】
2016122159.tif 000018
【図１８】
2016122159.tif 000019
【図１９】
2016122159.tif 000020
【図２０】
2016122159.tif 000021
【図１】
2016122159.tif 000022
【図２１】
2016122159.tif 000023