(57)【要約】【課題】虚像の結像位置を容易に変更させる。【解決手段】立体表示装置１０の表示制御部２４は、表示対象の画像の画素値を、レンズに対応する複数の発光素子に割り当てて、複数の発光素子を発光させる。また、表示制御部２４は、表示対象の画像の画素値を、レンズに対応する複数の前記発光素子に割り当てる。制御部２０は、レンズに対応する複数の発光素子に割り当てる際に、画像が表す虚像の表示位置に応じて、表示対象の画像の画素値を、レンズに対応する複数の発光素子に分散させるように割り当てる。【選択図】図１
2019004201.tif 000002
【特許請求の範囲】
【請求項１】
複数のレンズを含むレンズアレイと、
前記レンズの直径よりも小さい発光素子であって、かつ前記レンズの各々に対して前記レンズに対向する位置に配置された複数の前記発光素子を含む発光素子アレイと、
前記レンズの各々に対し、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に割り当てて、複数の前記発光素子を発光させる表示制御部であって、
前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に割り当てる際に、前記画像が表す虚像の表示位置に応じて、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に分散させるように割り当てる表示制御部と、
を含む立体表示装置。
【請求項２】
前記表示制御部は、記憶部に記憶された表示対象の画像と前記画像が表す虚像の表示位置とを読み出し、前記表示位置に応じて、前記レンズの各々に対する、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に分散させるように割り当てた前記画像の表示用パターンを生成し、前記表示用パターンに応じて、複数の前記発光素子を発光させる、
請求項１に記載の立体表示装置。
【請求項３】
前記表示制御部は、記憶部に記憶された表示対象の複数の画像と前記画像の各々を表示させる表示位置の各々とを読み出し、前記表示位置の各々に応じて前記画像の各々の表示用パターンを生成し、前記表示用パターンの各々に応じて、複数の前記発光素子を発光させる、
請求項２に記載の立体表示装置。
【請求項４】
前記表示制御部は、記憶部に記憶された表示対象の画像と前記画像を表示させる表示位置とを読み出し、前記表示対象の画像に基づいて、右目用の画像と左目用の画像とを生成し、前記表示位置に応じて、前記右目用の画像の表示用パターンと前記左目用の画像の表示用パターンとを生成し、前記表示用パターンの各々に応じて、複数の前記発光素子を発光させる、
請求項２又は請求項３に記載の立体表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、立体表示装置に関する。
【背景技術】
【０００２】
立体感の主な生理的要因である両眼視差、輻輳、眼のピントなどを満足し、動画に対応できる高速で電気的書き換え可能なヘッドマウントディスプレイ装置が知られている。このヘッドマウントディスプレイ装置は、人の左右の眼に対して可変焦点レンズ付２次元表示装置を各々装着し、かつ制御装置により２次元表示装置と可変焦点レンズとを同期運転させる。
【０００３】
また、自然に近い立体視を可能にする立体表示方法及び装置が知られている。この立体表示方法及び装置は、２次元表示装置の表示像を観察する際に、焦点可変手段により焦点位置を変化させて結像位置を変化させる。そして、３次元立体像を奥行き標本化した２次元像のうち結像位置に該当する２次元像を２次元表示装置に表示させ、人間の眼の残像時間以内に高速に繰り返すことにより３次元立体像を表示する。そして、２次元像をその結像位置に応じて別々の２次元表示装置に表示させる。そして、当該２次元像が観察者から見て最前面の２次元像でない場合は、観察者から見て当該２次元像より手前にある２次元像中の物体像で当該２次元像が隠される部分をマスクで覆って当該２次元像の該部分を表示させない。
【０００４】
また、複数の発光ダイオード（ＬＥＤ）を含む固体ＬＥＤアレイ（ＳＬＥＡ）、ＳＬＥＡからある分離距離に設けられたマイクロレンズアレイ（ＭＬＡ）、及びＳＬＥＡと通信可能なプロセッサを有するライトフィールドプロジェクタ（ＬＦＰ）が知られている。このＬＦＰのプロセッサは、ヒトの眼の網膜上でのレンダリングのための標的画素を特定し、画素を表示するため、複数のＬＥＤから少なくとも１つのＬＥＤを決定する。そして、ＬＦＰのプロセッサは、標的画素に対応して、かつ、ＭＬＡに対して最もよく一致する画素位置へ少なくとも１つのＬＥＤを移動させ、かつ、特定の期間に特定の強度の１次ビームをＬＥＤに放出させる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−２９７２８２号公報
【特許文献２】特開平１１−２７２２０２号公報
【特許文献３】特表２０１５−５２１２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
虚像の結像位置を制御する場合には、装置の構成及び制御が複雑になるという課題がある。例えば、焦点距離を変化させることによって虚像の結像位置を制御する場合には、可変焦点レンズが用いられる。また、発光素子から出力された光線の飛ぶ方向を制御することにより虚像の結像位置を制御する場合には、発光素子の位置を移動させる制御が行われる。
【０００７】
一つの側面では、開示の技術は、虚像の結像位置を容易に変更させることが目的である。
【課題を解決するための手段】
【０００８】
開示の技術は、一つの実施態様では、立体表示装置は、複数のレンズを含むレンズアレイを含む。また、立体表示装置は、前記レンズの直径よりも小さい発光素子であって、かつ前記レンズの各々に対して前記レンズに対向する位置に配置された複数の前記発光素子を含む発光素子アレイを含む。また、立体表示装置の表示制御部は、前記レンズの各々に対し、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に割り当てて、複数の前記発光素子を発光させる。また、表示制御部は、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に割り当てる。表示制御部は、前記レンズに対応する複数の前記発光素子に割り当てる際に、前記画像が表す虚像の表示位置に応じて、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に分散させるように割り当てる。
【発明の効果】
【０００９】
一つの側面として、虚像の結像位置を容易に変更させることができる、という効果を有する。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る立体表示装置の概略ブロック図である。
【図２】本実施形態に係る立体表示装置の具体的な概略構成図である。
【図３】本実施形態の概要を説明するための説明図である。
【図４】情報記憶部に格納される情報の一例を示す図である。
【図５】虚像の表示位置と眼球の水晶体と網膜との関係を説明するための説明図である。
【図６】発光素子アレイの各発光素子に割り当てられる画素値の一例を示す図である。
【図７】発光素子アレイの各発光素子に割り当てられる画素値の一例を示す図である。
【図８】虚像の表示位置が変更される例を説明するための説明図である。
【図９】虚像の表示位置の変更に応じて水晶体の厚さが調整される例を説明するための説明図である。
【図１０】虚像の表示位置が複数存在することを説明するための説明図である。
【図１１】本実施形態における画素値の分散方法を説明するための説明図である。
【図１２】本実施形態における画素値の分散方法を説明するための説明図である。
【図１３】第１の実施形態に係る立体表示装置の制御部として機能するコンピュータの概略構成を示すブロック図である。
【図１４】第１の実施形態における表示制御処理の一例を示すフローチャートである。
【図１５】本実施形態におけるパターン生成処理の一例を示すフローチャートである。
【図１６】第２の実施形態における表示制御処理の一例を示すフローチャートである。
【図１７】異なる表示位置に表示される虚像を説明するための説明図である。
【図１８】第３の実施形態に係る立体表示装置の概略ブロック図である。
【図１９】第３の実施形態に係る立体表示装置の制御部として機能するコンピュータの概略構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
【００１２】
＜第１の実施形態＞
図１に、立体表示装置１０の機能的な構成例を表す概略図を示す。図１に示されるように、本実施形態の立体表示装置１０は、制御部２０と、発光素子アレイ２８と、レンズアレイ３０とを有する。
【００１３】
図２に、立体表示装置１０の具体的な構成例を示す概略図を示す。図２に示されるように、立体表示装置１０は、制御部２０と、発光素子アレイ２８と、レンズアレイ３０とを有する。立体表示装置１０の制御部２０の制御により発光素子アレイ２８から出力される画像が、ユーザの眼球Ｅを介して認識される。
【００１４】
制御部２０は、発光素子アレイ２８の発光を制御する。
【００１５】
発光素子アレイ２８の発光素子Ｃは、制御部２０の制御に応じて発光する。発光素子アレイ２８の発光素子Ｃは、例えば、Liquid crystal display（ＬＣＤ）、有機Electro Luminescence（ＥＬ）等によって実現される。
【００１６】
レンズアレイ３０は、複数のレンズＬを含む。複数の発光素子Ｃから出力された光はレンズアレイ３０を通過し、表示対象の画像がユーザの眼球Ｅの網膜に結像される。図２に示されるように、１つのレンズＬは複数の発光素子Ｃを覆うことができる大きさであり、発光素子アレイ２８の各発光素子Ｃの大きさは、レンズＬの直径よりも小さい。また、各発光素子Ｃは、レンズＬの焦点距離の位置であって、かつレンズＬの各々に対してレンズＬに対向する位置に配置される。
【００１７】
ここで、眼球内の網膜に結像される結像画像と本実施形態の概要について簡単に説明する。
【００１８】
本実施形態では、図３に示されるように、表示対象の画像を表示する発光素子アレイ２８とユーザの眼球Ｅとの間にレンズアレイ３０が設置される。この場合、図３に示されるように、制御部２０の制御に応じて、表示対象の画像が発光素子アレイ２８の発光により出力されると、発光素子アレイ２８の各発光素子Ｃから出力された光はレンズアレイ３０を通過する。そして、レンズアレイ３０を通過した光が眼球Ｅの水晶体Ｓを通過し、眼球Ｅの網膜Ｒ上に画像が結像される。図３に示される例では、網膜Ｒ上に画像が結像されるため、虚像の表示位置はレンズアレイ３０の位置となる。
【００１９】
ヘッドマウントディスプレイ等の立体表示装置では、両眼視差及び運動視差により立体視が実現される。しかし、人の脳は両眼視差及び運動視差のほか、眼球の水晶体の厚みと両眼の輻輳角との情報も用いて立体視を実現している。そのため、両眼視差及び運動視差のみを用いて立体視が実現される場合には、人は固定されたＬＣＤ等を見ているに過ぎないため、水晶体の厚み及び輻輳角は常に一定となる。このため、人の脳は常に矛盾を感じながら立体視していることになり、これらの矛盾が立体表示の違和感を発生させたり、斜視の原因であるといわれている。
【００２０】
そこで、本実施形態では、虚像の表示位置に応じて水晶体の厚さを制御する。具体的には、本実施形態では、虚像を表示させる位置に応じて、発光素子アレイ２８に表示させる画像の画素の位置の順番を入れ替える。より詳細には、発光素子アレイ２８の各発光素子Ｃに画像の画素を割り当てた表示パターンを変更することによりライトフィールドを制御し、眼球内の結像位置を変化させる。結像位置が網膜上にない場合は、眼球は網膜上に結像されるように水晶体の厚さが変更される。これにより、虚像の表示位置に応じて水晶体の厚さを制御できるようになる。以下、具体的に説明する。
【００２１】
制御部２０は、図１に示されるように、情報記憶部２２と、表示制御部２４とを備える。情報記憶部２２は、開示の技術の記憶部の一例である。
【００２２】
情報記憶部２２には、表示対象の画像データと表示位置とが記憶される。画像データと表示位置とは、例えば、図４に示されるように、識別情報を表す情報ＩＤと画像データと表示位置とが対応付けられて、テーブルの形式で格納される。画像データは、１つの静止画像データを表す。なお、例えば、複数の画像データを各フレーム画像に対応させ、複数の画像データによって１つの動画像データが表現されていてもよい。なお、表示位置は、レンズアレイ３０の位置を基準とした深度方向の位置であって、虚像が表示される位置を表す。
【００２３】
表示制御部２４は、情報記憶部２２に格納された画像データと表示位置とを読み込む。そして、表示制御部２４は、読み込んだ表示対象の画像データの画素値を、レンズアレイ３０のレンズＬの各々に対応する複数の発光素子Ｃに割り当てて、複数の発光素子Ｃを発光させる。
【００２４】
具体的には、表示制御部２４は、表示対象の画像データの画素値を、レンズＬに対応する複数の発光素子Ｃに割り当てる際に、情報記憶部２２から読み込んだ表示位置に応じて、表示対象の画像の画素値を複数の発光素子Ｃに分散させるように割り当てる。
【００２５】
ここで、眼球内の網膜に結像される結像画像と虚像との関係について簡単に説明する。
【００２６】
例えば、図５に示されるように、発光素子アレイ２８とレンズアレイ３０とが設置される場合を例に説明する。なお、図５の例に示される、発光素子アレイ２８とレンズアレイ３０との関係を図６に示す。ここでは、図６に示されるように、レンズアレイ３０の各レンズＬに対向して３つの発光素子Ｃが配置され、画像の１画素と、１つのレンズとが対応している場合を例に説明する。また、虚像の表示位置が基準位置である場合に、１つのレンズＬに対向する３つの発光素子Ｃが発光する画素値は同一である場合を例に説明する。具体的には、上から１〜３番目までの発光素子には同一の画素値１が割り当てられ、上から４〜６番目までの発光素子には同一の画素値２が割り当てられる。また、上から７〜９番目までの発光素子には同一の画素値３が割り当てられ、上から１０〜１２番目までの発光素子には同一の画素値４が割り当てられ、上から１３〜１５番目までの発光素子には同一の画素値５が割り当てられる。
【００２７】
図５の例では、１つのレンズＬに対向する３つの発光素子Ｃから３本の光線が出力される場合が図示されている。図５に示されるように、レンズアレイ３０の各レンズＬに対向する３つの発光素子Ｃからは光線が３本出力され、眼球内の水晶体Ｓを通過して網膜上の位置Ｐｅに結像画像が生成される。例えば、レンズアレイ３０のうちの最上段のレンズからは実線で示す光線が３本出力され、眼球内の水晶体Ｓを通過して、網膜上の最下段ｅ１に像が結像される。他のレンズについても同様に光線が通過し、網膜上に像が結像される。なお、図５に示されるように、同じ線種が交わっている点の部分に像があると認識される。この場合、網膜上の位置Ｐｅに結像画像が生成されるため、虚像の位置がＰであると認識される。
【００２８】
一方、本実施形態では、例えば、図７に示されるように、レンズＬに対応する複数の発光素子Ｃに画素値を割り当てる際に、虚像の表示位置が基準位置より離れる場合には、表示対象の画像データの画素値を複数の発光素子Ｃに分散させるように割り当てる。図７に示される例では、図６に示される例とは異なり、画素値１〜５が分散されて各発光素子Ｃへ割り当てられる。
【００２９】
これにより、例えば、図８に示されるように、結像画像は網膜上の位置Ｐｅではなく、Ｐｅ’の位置に結像され、虚像の位置Ｐは、図６に示される位置とは異なって認識される。この場合、図９に示されるように、網膜上の位置Ｐｅに像が結像されるように眼球内の水晶体Ｓの厚みが調整される。
【００３０】
このように、本実施形態では、表示対象の画像の画素値を複数の発光素子Ｃに分散させるように割り当てることで、認識される虚像の位置Ｐを制御する。これにより、水晶体Ｓの厚みが調整され、立体表示における違和感の発生が低減される。
【００３１】
なお、虚像の位置Ｐは、レンズアレイ３０の焦点距離と、レンズアレイ３０の各レンズの大きさ及び発光素子の大きさに応じて決定される。例えば、図１０に示されるように、虚像を出現させることができる位置Ｐは、複数箇所存在する。図１０に示されるように、対応する光線の交点箇所に虚像を表示させることができる。
【００３２】
次に、表示対象の画像データの画素値を複数の発光素子に分散させて割り当てる具体的な処理について説明する。
【００３３】
図１１に、画素値を分散させるための具体的な説明図を示す。図１１に示されるように、レンズアレイ３０から表示させる虚像までの距離をｘ、レンズの焦点距離をｆ、発光素子の大きさをｄ、１つのレンズに対応する発光素子の数を（２ｎ＋１）、レンズの大きさを（２ｎ＋１）ｄとする。
【００３４】
レンズアレイ３０の各レンズと発光素子アレイ２８の各発光素子と虚像の位置Ｐとが図１１に示されるような関係である場合、以下の式（１）及び式（２）が成立する。
【００３５】
【数１】
2019004201.tif 000003
（１）
【００３６】
ｙｉ＝ｘ*ｔａｎθｉ
Δｉ＝ｆ*ｔａｎθｉ
（２）
【００３７】
上記式（１）及び上記式（２）において、ｉは画素を割り当てる発光素子を特定するためのインデックスである。また、上記式（２）のｙｉとΔｉとは、複数の発光素子に画素値を割り当てる際に用いる値である。また、ｎは正の整数であり、例えば１つのレンズに対して５つの発光素子が割り当てられている場合には、ｎ＝２となり、画素を割り当てる発光素子を特定するためのインデックスはｉ＝−２，−１，０，１，２となる。なお、Ｉは正の定数である。上記式（１）を解くと、以下の式（３）が得られる。
【００３８】
【数２】
2019004201.tif 000004
（３）
【００３９】
ここで、レンズアレイ３０の各レンズの直径をｒとするとｒ＝（２ｎ＋１）ｄとなる。このため、上記式（３）から、以下の式（４）が導かれる。
【００４０】
ｘ＝ｆ*ｒ*Ｉ／ｄ                                                （４）
【００４１】
上記式（４）から、ｆ*ｒ／ｄの整数倍の位置ｘに虚像を表示させることができることがわかる。したがって、情報記憶部２２に格納される表示位置の値は、ｆ*ｒ／ｄの正の整数倍の値となる。
【００４２】
次に、虚像として表示させる画像データから、実際に発光素子アレイ２８を発光させるための表示パターンへの変換方法について説明する。
【００４３】
図１１に示されるように、レンズアレイ３０からｘの距離に対応する位置Ｐに虚像が表示されていると認識させる場合を例に説明する。なお、図１１の例では、位置Ｐに表示させる虚像の注目点Ｐ０に対応する画素値を、複数の発光素子に割り当てる場合を示している。この場合、まず、虚像の注目点Ｐ０を通るレンズＬ０に対する法線を引き、その法線と交わる発光素子Ｃ０を特定する。Ｃ０は、ｉ＝０のインデックスに対応しかつレンズＬ０の中心を通る法線上に位置する。
【００４４】
虚像がレンズアレイ３０の位置（基準位置）に表示されていると認識させる場合には、レンズＬ０の位置に対向する複数の発光素子を、レンズＬ０の位置に対応する同一の画素値を割り当てる複数の発光素子Ｃｉ（ｉ＝−２，−１，０，１，２）とし、それらの画素値によって注目点Ｐ０に対応する虚像がレンズアレイ３０の位置に表示される。
【００４５】
一方、本実施形態では、虚像が位置Ｐに表示されていると認識させる場合、レンズＬ０の位置に対応する同一の画素値を割り当てる発光素子Ｃｉ（ｉ＝−２，−１，０，１，２）を分散させる。具体的には、図１１に示されるように、発光素子Ｃ−１として、画素値を、発光素子ｇ１へ割り当てる。また、発光素子Ｃ−２として、画素値を、発光素子ｇ２へ割り当てる。これにより、虚像が位置Ｐに表示されていると認識される。
【００４６】
具体的には、図１１に示されるように、発光素子Ｃ０，ｇ１，ｇ２を、注目点Ｐ０に対応する画素値として設定する。Ｃ０の位置と、Ｃ０と同一の画素値を割り当てる発光素子との間の距離は、以下の式（５）によって表される。
【００４７】
ｙｉ−Δｉ＝ｘ*ｔａｎθｉ−Δｉ
＝ｘ*ｉ*ｄ／ｆ−ｆ*ｉ*ｄ／ｆ（但し、ｉ＝−ｎ,…,0,…,ｎ）
＝（ｘ／ｆ−１）*ｉ*ｄ                                        （５）
【００４８】
上記式（５）において、ｄは発光素子の大きさである。そのため、以下の式（６）に示されるように、上記式（５）をｄで除算することにより、注目点Ｐ０に対応する画素値を割り当てる発光素子は、発光素子Ｃ０から何番目の発光素子であるかを特定することができる。
【００４９】
ｔ＝（ｙｉ−Δｉ）／ｄ
＝（ｘ／ｆ−１）*ｉ
（６）
【００５０】
上記式（６）のｔは、発光素子Ｃ０から何番目の発光素子であるかを示す値として算出される。すわなち、虚像の位置が基準位置より深度方向に離れるほど、同一画素を割り当てる発光素子の間隔を広くするように分散させる。
【００５１】
図１１に示される例では、注目点Ｐ０に対応する画素値が割り当てられる発光素子ｇ１は、レンズＬ０と隣接するレンズＬ１に対向している場合が例として示されているが、必ずしも隣接するレンズに対向する発光素子に割り当てられるものではない。例えば、図１２に示される例では、虚像の注目点Ｐ０に対応する画素値は、レンズＬ０の隣接するレンズとは異なるレンズに対向する発光素子に割り当てられる。なお、図１２のＨは発光素子アレイ２８の発光面を表す。
【００５２】
従って、表示制御部２４は、虚像の位置に基づいて、複数のレンズの各々について、上記式（６）に従って、発光素子Ｃ０に割り当てられる画素値と同一の画素値を割り当てる発光素子を特定する。
【００５３】
なお、複数のレンズの各々について、発光素子Ｃ０が以下のように予め求められている。具体的には、複数のレンズの各々について、レンズの中心と虚像が表示される表示面との交点を表す注目点Ｐ０を特定し、注目点Ｐ０を通る、発光素子アレイ２８の各レンズの配置面に対する法線を設定する。そして、複数のレンズの各々について、発光素子アレイ２８と法線との交点に対応する発光素子Ｃ０を求めておく。
【００５４】
表示制御部２４は、発光素子Ｃ０に割り当てられる画素値と同一の画素値を割り当てる発光素子の特定結果に応じて、画像データから、複数の発光素子を発光させるための表示用パターンを生成する。そして、表示制御部２４は、表示用パターンに応じて、複数の発光素子を発光させる。
【００５５】
立体表示装置１０の制御部２０は、例えば、図１３に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、表示装置としての発光素子アレイ２８、及び入出力装置等（図示省略）が接続される入出力interface（Ｉ／Ｆ）５４、並びに記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
【００５６】
記憶部５３は、Hard Disk Drive（ＨＤＤ）、solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を立体表示装置１０の制御部２０として機能させるための表示制御プログラム６０が記憶されている。表示制御プログラム６０は、表示制御プロセス６２を有する。また、記憶部５３は、情報記憶部２２を構成する情報が記憶される情報記憶領域６３を有する。
【００５７】
ＣＰＵ５１は、表示制御プログラム６０を記憶部５３から読み出してメモリ５２に展開し、表示制御プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、表示制御プロセス６２を実行することで、図１に示す表示制御部２４として動作する。また、ＣＰＵ５１は、情報記憶領域６３から情報を読み出して、情報記憶部２２をメモリ５２に展開する。これにより、表示制御プログラム６０を実行したコンピュータ５０が、立体表示装置１０の制御部２０として機能することになる。ソフトウェアである表示制御プログラム６０を実行するプロセッサはハードウェアである。
【００５８】
なお、表示制御プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。
【００５９】
次に、本実施形態に係る立体表示装置１０の作用について説明する。立体表示装置１０の制御部２０によって、図１４に示す表示制御処理が実行される。以下、各処理について詳述する。
【００６０】
＜表示制御処理＞
【００６１】
ステップＳ１００において、表示制御部２４は、情報記憶部２２に格納された画像データと表示位置とを読み込む。
【００６２】
ステップＳ１０２において、表示制御部２４は、読み込んだ表示対象の画像データの画素値を複数の発光素子Ｃに割り当てて、複数の発光素子Ｃを発光させるための表示用パターンを生成する。ステップＳ１０２の処理は、図１５に示すパターン生成処理によって実現される。
【００６３】
ステップＳ１０４において、表示制御部２４は、上記ステップＳ１０２で生成された表示用パターンを発光素子アレイ２８へ表示させるように制御して、表示制御処理を終了する。
【００６４】
＜パターン生成処理＞
【００６５】
ステップＳ２００において、表示制御部２４は、上記ステップＳ１００で読み込んだ表示位置に応じて、虚像を出現させる位置を決定する。
【００６６】
ステップＳ２０２において、レンズアレイ３０のうち１つのレンズを設定する。
【００６７】
ステップＳ２０４において、表示制御部２４は、上記ステップＳ２０２で設定されたレンズに対向する位置の発光素子Ｃ０を設定する。
【００６８】
ステップＳ２０６において、表示制御部２４は、発光素子を特定するためのインデックスｉをｉ＝−ｎとして設定する。
【００６９】
ステップＳ２０８において、表示制御部２４は、ステップＳ２００で決定された虚像の位置ｘとレンズの焦点距離ｆとステップＳ２０６で設定されたインデックスｉとから、発光素子Ｃ０に割り当てられる画素値と同一の画素値を割り当てる発光素子を特定する。具体的には、表示制御部２４は、上記式（６）に従って、発光素子Ｃ０に割り当てられる画素値と同一の画素値を割り当てる発光素子を特定する。具体的には、表示制御部２４は、上記式（６）に従って、ステップＳ２０４で設定された発光素子Ｃ０から何番目の発光素子であるかを表す順番ｔを算出することにより、発光素子Ｃ０に割り当てられる画素値と同一の画素値を割り当てる発光素子を特定する。
【００７０】
ステップＳ２１０において、表示制御部２４は、上記ステップＳ２０８における、発光素子Ｃ０に割り当てられる画素値と同一の画素値を割り当てる発光素子の特定結果に応じて、画像データから複数の発光素子を発光させるための表示用パターンを生成する。なお、表示用パターンは、複数のレンズの各々について、発光素子毎の特定結果が得られる毎に更新される。
【００７１】
ステップＳ２１２において、表示制御部２４は、上記ステップＳ２０６で設定されたインデックスｉ又は前回のステップＳ２１４で更新されたインデックスｉがｎ未満であるか否かを判定する。インデックスｉがｎ未満である場合には、ステップＳ２１４へ移行し、ｉを１インクリメントしてステップＳ２０８へ進む。一方、インデックスｉがｎ以上の場合には、ステップＳ２１６へ進む。
【００７２】
ステップＳ２１６において、表示制御部２４は、レンズアレイ３０の全てのレンズについて、上記ステップＳ２０２〜ステップＳ２１２の処理を終了したか否かを判定する。レンズアレイ３０の全てのレンズについて、上記ステップＳ２０２〜ステップＳ２１２の処理を終了した場合には、パターン生成処理を終了する。一方、上記ステップＳ２０２〜ステップＳ２１２の処理を実行していないレンズが存在する場合には、ステップＳ２０２へ戻る。
【００７３】
以上説明したように、本実施形態に係る立体表示装置は、表示対象の画像の画素値を複数の発光素子に割り当てる際に、画像が表す虚像の表示位置に応じて、表示対象の画像の画素値を複数の発光素子に分散させるように割り当てる。これにより、虚像の結像位置を容易に変更させることができる。
【００７４】
また、立体表示装置の発光素子アレイの発光素子の大きさをレンズアレイのレンズ径の数分の１以下に小さくし、点灯させる発光素子の位置を制御して光線の飛ぶ方向を制御することで、虚像の結像位置を制御することができる。これにより、虚像の結像位置に応じて水晶体の厚さを制御できるようになり、立体表示における違和感の発生が低減される。
【００７５】
＜計算例＞
ここで、本実施形態に関する具体的な計算例について説明する。例えば、立体表示装置の各要素の値が、以下に示す値である場合を例に説明する。
【００７６】
レンズの直径ｒ：５１７［μｍ］
レンズの焦点距離ｆ：１０［ｃｍ］
発光素子のサイズ（画素のサイズ）ｄ：４７［μｍ］
１レンズに対応する発光素子の数：１１（ｎ＝５）
【００７７】
なお、発光素子のサイズ（ｄ：４７［μｍ］）は、５４３pixel per inch（ppi）の液晶パネルの場合の発光素子のサイズに相当する。
【００７８】
上記各要素の寸法をメートルに変換すると、以下に示すようになる。
【００７９】
レンズの直径ｒ：５．１７Ｅ−４［ｍ］
レンズの焦点距離ｆ：０．１［ｍ］
発光素子のサイズｄ：４．７Ｅ−５［ｍ］
【００８０】
上記各要素の値を上記式（４）に当てはめると、レンズアレイから最も近い虚像の表示位置は、以下の式（Ａ）によって表される。
【００８１】
ｘ＝ｆ＊ｒ／ｄ
＝０．１＊５．１７Ｅ−４／４．７Ｅ−５
＝０．１１Ｅ１＝１．１                      （Ａ）
【００８２】
従って、１．１ｍの整数倍の位置に虚像を出現させることができる。上記（６）式に従って、発光素子の位置を求めると以下に示すようになる。
【００８３】
ｘ＝１．１の場合
ｔ＝（１．１／０．１−１）＊ｉ＝１０＊ｉ            （Ｂ）
【００８４】
上記式（Ｂ）の場合には、発光素子の位置を表すｔはｔ＝−５０，−４０，…，−１０，０，１０，…，５０となる。また、ｘ＝２．２の場合には、以下に示すようになる。
【００８５】
ｘ＝２．２の場合
（２．２／０．１−１）＊ｉ＝２１＊ｉ            （Ｃ）
【００８６】
上記式（Ｃ）の場合には、発光素子の位置を表すｔはｔ＝−１０５，…，−２１，０，２１，…，１０５となる。
【００８７】
＜第２の実施形態＞
次に、第２の実施形態について説明する。なお、第２の実施形態に係る立体表示装置の構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。
【００８８】
第２の実施形態では、複数の虚像を指定された位置に時分割で表示し、残像を利用して同時表示に見せかける点が第１の実施形態と異なる。
【００８９】
第２の実施形態の表示制御部２４は、情報記憶部２２に記憶された表示対象の複数の画像と画像の各々を表示させる表示位置の各々とを読み出す。そして、表示制御部２４は、表示位置の各々に応じて画像データの各々の表示用パターンを生成する。そして、表示制御部２４は、表示用パターンの各々に応じて、複数の発光素子を発光させる。
【００９０】
具体的には、表示制御部２４は、表示用パターンの各々を、時分割で発光素子アレイ２８に表示させる。表示制御部２４は、生成された各表示用パターンを順番にかつ高速に表示させることにより、眼球内に生成される残像を利用して、表示対象の複数の画像が同時に表示されているようにする。
【００９１】
次に、第２の実施形態に係る立体表示装置１０の作用について説明する。立体表示装置１０の制御部２０によって、図１６に示す表示制御処理が実行される。以下、各処理について詳述する。
【００９２】
＜表示制御処理＞
【００９３】
ステップＳ１００において、表示制御部２４は、情報記憶部２２に格納された画像データと表示位置とを読み込む。
【００９４】
ステップＳ１０２において、表示制御部２４は、読み込んだ表示対象の画像データの画素値を複数の発光素子Ｃに割り当てて、複数の発光素子Ｃを発光させるための表示用パターンを生成する。ステップＳ１０２の処理は、図１５に示すパターン生成処理によって実現され、上記ステップＳ１００で読み込まれた画像データ毎に実行される。
【００９５】
ステップＳ３０３において、表示制御部２４は、情報記憶部２２に格納された全ての画像について、上記ステップＳ１００〜上記ステップＳ１０２の処理が実行されたか否かを判定する。情報記憶部２２に格納された全ての画像データについて、上記ステップＳ１００〜上記ステップＳ１０２の処理が実行された場合には、ステップＳ３０４へ進む。一方、上記ステップＳ１００〜上記ステップＳ１０２の処理が実行されていない画像データが存在する場合には、ステップＳ１００へ戻る。
【００９６】
ステップＳ３０４において、表示制御部２４は、上記ステップＳ１０２で生成された画像データ毎の表示用パターンの各々を、時分割で発光素子アレイ２８に表示させるように制御して、表示制御処理を終了する。
【００９７】
なお、情報記憶部２２に格納された全ての画像を同時に表示する場合に限らず、情報記憶部２２に格納された画像から選択された複数の画像を対象としてもよい。
【００９８】
以上説明したように、第２の実施形態に係る立体表示装置は、表示対象の複数の画像データと画像の各々の虚像を表示させる表示位置の各々とを読み出し、表示位置の各々に応じて画像データの各々の表示用パターンを生成する。そして、表示用パターンの各々を時分割で複数の発光素子を発光させる。これにより、複数の画像データに対応する虚像の各々を、異なる表示位置に表示させることができる。
【００９９】
例えば、図１７に示されるように、虚像の表示位置の各々に応じて生成された表示用パターンの各々を、時分割で複数の発光素子を高速に発光させることにより、ユーザの眼球Ｅには、異なる虚像Ｋ１，Ｋ２，Ｋ３が異なる深度位置に出現するように認識される。
【０１００】
なお、ＬＥＤアレイを高速に移動させて虚像を表示させる場合には、異なる深度位置に同時に複数の虚像を表示させることはできない。一方、本実施形態では、時分割で複数の発光素子を高速に発光させることにより、ユーザの眼球Ｅには、異なる虚像Ｋ１，Ｋ２，Ｋ３が異なる深度位置に出現させることができる。
【０１０１】
＜第３の実施形態＞
次に、第３の実施形態について説明する。なお、第３の実施形態では、立体表示装置をヘッドマウントディスプレイへ搭載させる点が第１又は第２の実施形態と異なる。具体的には、第３の実施形態では、ヘッドマウントディスプレイを装着するユーザに対して、右目用画像に応じた表示用パターンと左目用画像に応じた表示用パターンとを生成し、表示用パターンの各々を、時分割で発光素子アレイ２８に表示させるように制御する。
【０１０２】
図１８に、第３の実施形態の立体表示装置３１０の構成例を示す。第３の実施形態の立体表示装置３１０は、図１８に示されるように、制御部３２０と、右目用発光素子アレイ３２８と、左目用発光素子アレイ３２９と、右目用レンズアレイ３３０と、左目用レンズアレイ３３１とを備える。立体表示装置３１０は、ヘッドマウントディスプレイに搭載され、ユーザの右目Ｅ１と左目Ｅ２とによって、右目用発光素子アレイ３２８及び左目用発光素子アレイ３２９によって出力される光が認識される。
【０１０３】
制御部３２０は、情報記憶部２２と、画像生成部３２３と、表示制御部３２４とを備える。
【０１０４】
画像生成部３２３は、情報記憶部２２に格納された画像データと表示位置とを読み出し、右目用画像と、左目用画像とを生成する。具体的には、画像生成部３２３は、読み出した表示位置に画像データの虚像が表示されるように、右目と左目との視差を利用して、右目用画像と左目用画像とを生成する。
【０１０５】
表示制御部３２４は、画像生成部３２３によって生成された、右目用画像及び左目用画像と、情報記憶部２２に格納された表示位置とに基づいて、右目用画像の表示用パターンと左目用画像の表示用パターンとを生成する。そして、表示制御部２４は、右目用画像の表示用パターンと左目用画像の表示用パターンの各々に応じて、複数の発光素子を発光させる。
【０１０６】
立体表示装置３１０の制御部３２０は、例えば、図１９に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、表示装置としての、右目用発光素子アレイ３２８、左目用発光素子アレイ３２９、及び入出力装置等（図示省略）が接続される入出力Ｉ／Ｆ５４、並びに記録媒体５９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
【０１０７】
記憶部５３は、ＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を立体表示装置３１０の制御部３２０として機能させるための表示制御プログラム３６０が記憶されている。表示制御プログラム３６０は、画像生成プロセス３６１と、表示制御プロセス３６２とを有する。また、記憶部５３は、情報記憶部２２を構成する情報が記憶される情報記憶領域６３を有する。
【０１０８】
ＣＰＵ５１は、表示制御プログラム３６０を記憶部５３から読み出してメモリ５２に展開し、表示制御プログラム３６０が有するプロセスを順次実行する。ＣＰＵ５１は、画像生成プロセス３６１を実行することで、図１８に示す画像生成部３２３として動作する。ＣＰＵ５１は、表示制御プロセス３６２を実行することで、図１８に示す表示制御部３２４として動作する。また、ＣＰＵ５１は、情報記憶領域６３から情報を読み出して、情報記憶部２２をメモリ５２に展開する。これにより、表示制御プログラム３６０を実行したコンピュータ５０が、立体表示装置３１０の制御部３２０として機能することになる。そのため、ソフトウェアである表示制御プログラム３６０を実行するプロセッサはハードウェアである。
【０１０９】
なお、表示制御プログラム３６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
【０１１０】
なお、第３の実施形態に係る立体表示装置３１０の作用については、右目用画像の表示用パターンと左目用画像の表示用パターンとが、第１又は第２の実施形態の表示制御処理と同様の処理によって生成及び表示されるため、説明を省略する。
【０１１１】
以上説明したように、第３の実施形態に係る立体表示装置は、表示対象の画像データに基づいて、右目用画像と左目用画像とを生成する。そして、画像データの虚像の表示位置に応じて、右目用画像の表示用パターンと左目用画像の表示用パターンとを生成し、表示用パターンの各々に応じて、複数の発光素子を発光させる。これにより、視差及び水晶体の厚みを考慮した立体表示が行われるため、立体表示が行われる際のユーザが感じる違和感の発生が低減される。
【０１１２】
なお、上記では、各プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。
【０１１３】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【０１１４】
次に、上記実施形態の変形例を説明する。
【０１１５】
本実施形態では、表示制御の際に各画素値に対応する発光素子を特定する場合について説明したが、虚像の表示位置毎に、同一の画素値を表示する発光素子の特定結果を予め用意しておいてもよい。この場合、実際に画像データの表示制御を行う際には、用意しておいた特定結果と画像データの画素値とを用いて表示用パターンを生成すればよい。
【０１１６】
以上の各実施形態に関し、更に以下の付記を開示する。
【０１１７】
（付記１）
複数のレンズを含むレンズアレイと、
前記レンズの直径よりも小さい発光素子であって、かつ前記レンズの各々に対して前記レンズに対向する位置に配置された複数の前記発光素子を含む発光素子アレイと、
前記レンズの各々に対し、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に割り当てて、複数の前記発光素子を発光させる表示制御部であって、
前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に割り当てる際に、前記画像が表す虚像の表示位置に応じて、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に分散させるように割り当てる表示制御部と、
を含む立体表示装置。
【０１１８】
（付記２）
前記表示制御部は、記憶部に記憶された表示対象の画像と前記画像が表す虚像の表示位置とを読み出し、前記表示位置に応じて、前記レンズの各々に対する、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に分散させるように割り当てた前記画像の表示用パターンを生成し、前記表示用パターンに応じて、複数の前記発光素子を発光させる、
請求項１に記載の立体表示装置。
【０１１９】
（付記３）
前記表示制御部は、記憶部に記憶された表示対象の複数の画像と前記画像の各々を表示させる表示位置の各々とを読み出し、前記表示位置の各々に応じて前記画像の各々の表示用パターンを生成し、前記表示用パターンの各々に応じて、複数の前記発光素子を発光させる、
請求項２に記載の立体表示装置。
【０１２０】
（付記４）
前記表示制御部は、記憶部に記憶された表示対象の画像と前記画像を表示させる表示位置とを読み出し、前記表示対象の画像に基づいて、右目用の画像と左目用の画像とを生成し、前記表示位置に応じて、前記右目用の画像の表示用パターンと前記左目用の画像の表示用パターンとを生成し、前記表示用パターンの各々に応じて、複数の前記発光素子を発光させる、
請求項３に記載の立体表示装置。
【０１２１】
（付記５）
複数のレンズを含むレンズアレイの前記レンズの各々に対し、前記レンズに対応する、表示対象の画像の画素値を、前記レンズの直径よりも小さい発光素子であって、かつ前記レンズの各々に対して前記レンズに対向する位置に配置された複数の前記発光素子を含む発光素子アレイのうちの前記レンズに対応する複数の前記発光素子に割り当てて、複数の前記発光素子を発光させ、
前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に割り当てる際に、前記画像が表す虚像の表示位置に応じて、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に分散させるように割り当てる、
処理をコンピュータに実行させるための立体表示プログラム。
【０１２２】
（付記６）
記憶部に記憶された表示対象の画像と前記画像が表す虚像の表示位置とを読み出し、前記表示位置に応じて、前記レンズの各々に対する、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に分散させるように割り当てた前記画像の表示用パターンを生成し、前記表示用パターンに応じて、複数の前記発光素子を発光させる、
付記５に記載の立体表示プログラム。
【０１２３】
（付記７）
記憶部に記憶された表示対象の複数の画像と前記画像の各々を表示させる表示位置の各々とを読み出し、前記表示位置の各々に応じて前記画像の各々の表示用パターンを生成し、前記表示用パターンの各々に応じて、複数の前記発光素子を発光させる、
付記６に記載の立体表示プログラム。
【０１２４】
（付記８）
記憶部に記憶された表示対象の画像と前記画像を表示させる表示位置とを読み出し、前記表示対象の画像に基づいて、右目用の画像と左目用の画像とを生成し、前記表示位置に応じて、前記右目用の画像の表示用パターンと前記左目用の画像の表示用パターンとを生成し、前記表示用パターンの各々に応じて、複数の前記発光素子を発光させる、
付記６又は付記７に記載の立体表示プログラム。
【０１２５】
（付記９）
複数のレンズを含むレンズアレイの前記レンズの各々に対し、前記レンズに対応する、表示対象の画像の画素値を、前記レンズの直径よりも小さい発光素子であって、かつ前記レンズの各々に対して前記レンズに対向する位置に配置された複数の前記発光素子を含む発光素子アレイのうちの前記レンズに対応する複数の前記発光素子に割り当てて、複数の前記発光素子を発光させ、
前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に割り当てる際に、前記画像が表す虚像の表示位置に応じて、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に分散させるように割り当てる、
処理をコンピュータに実行させるための立体表示方法。
【０１２６】
（付記１０）
記憶部に記憶された表示対象の画像と前記画像が表す虚像の表示位置とを読み出し、前記表示位置に応じて、前記レンズの各々に対する、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に分散させるように割り当てた前記画像の表示用パターンを生成し、前記表示用パターンに応じて、複数の前記発光素子を発光させる、
付記５に記載の立体表示方法。
【０１２７】
（付記１１）
記憶部に記憶された表示対象の複数の画像と前記画像の各々を表示させる表示位置の各々とを読み出し、前記表示位置の各々に応じて前記画像の各々の表示用パターンを生成し、前記表示用パターンの各々に応じて、複数の前記発光素子を発光させる、
付記６に記載の立体表示方法。
【０１２８】
（付記１２）
記憶部に記憶された表示対象の画像と前記画像を表示させる表示位置とを読み出し、前記表示対象の画像に基づいて、右目用の画像と左目用の画像とを生成し、前記表示位置に応じて、前記右目用の画像の表示用パターンと前記左目用の画像の表示用パターンとを生成し、前記表示用パターンの各々に応じて、複数の前記発光素子を発光させる、
付記６又は付記７に記載の立体表示方法。
【０１２９】
（付記１３）
複数のレンズを含むレンズアレイの前記レンズの各々に対し、前記レンズに対応する、表示対象の画像の画素値を、前記レンズの直径よりも小さい発光素子であって、かつ前記レンズの各々に対して前記レンズに対向する位置に配置された複数の前記発光素子を含む発光素子アレイのうちの前記レンズに対応する複数の前記発光素子に割り当てて、複数の前記発光素子を発光させ、
前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に割り当てる際に、前記画像が表す虚像の表示位置に応じて、前記レンズに対応する、表示対象の画像の画素値を、前記レンズに対応する複数の前記発光素子に分散させるように割り当てる、
処理をコンピュータに実行させるための立体表示プログラムを記憶した記憶媒体。
【符号の説明】
【０１３０】
１０   立体表示装置
２０，３２０  制御部
２２   情報記憶部
２４，３２４  表示制御部
２８   発光素子アレイ
３０   レンズアレイ
５０   コンピュータ
５１   ＣＰＵ
５３   記憶部
５９   記録媒体
６０，３６０  表示制御プログラム
３１０ 立体表示装置
３２３ 画像生成部
３２８ 右目用発光素子アレイ
３２９ 左目用発光素子アレイ
３３１ 左目用レンズアレイ
３３０ 右目用レンズアレイ
【図１】
2019004201.tif 000005
【図２】
2019004201.tif 000006
【図３】
2019004201.tif 000007
【図４】
2019004201.tif 000008
【図５】
2019004201.tif 000009
【図６】
2019004201.tif 000010
【図７】
2019004201.tif 000011
【図８】
2019004201.tif 000012
【図９】
2019004201.tif 000013
【図１０】
2019004201.tif 000014
【図１１】
2019004201.tif 000015
【図１２】
2019004201.tif 000016
【図１３】
2019004201.tif 000017
【図１４】
2019004201.tif 000018
【図１５】
2019004201.tif 000019
【図１６】
2019004201.tif 000020
【図１７】
2019004201.tif 000021
【図１８】
2019004201.tif 000022
【図１９】
2019004201.tif 000023