(57)【要約】好適な実施形態に係る表示装置は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像レンダラと、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像レンダラと、前記レンダリングされたコンテキスト画像の投影と前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための少なくとも１つの光コンバイナと、を備え、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、前記視覚的シーンは、その中に少なくとも２つの異なる光学距離が設けられるように作成される。【選択図】図５Ａ−５Ｆ
2020515090.tif 000002
【特許請求の範囲】
【請求項１】
・  コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像レンダラと、
・  フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像レンダラと、
・  前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための少なくとも１つの光コンバイナと、
を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記視覚的シーンは、その中に少なくとも２つの異なる光学距離が設けられるように作成される、
表示装置。
【請求項２】
前記レンダリングされたコンテキスト画像の光学距離を調整する少なくとも１つの第１制御可能レンズをさらに備える、請求項１に記載の表示装置。
【請求項３】
前記少なくとも１つの第１制御可能レンズの焦点距離は、前記少なくとも１つのコンテキスト画像レンダラのリフレッシュレートと実質的に同様のレートで調整される、請求項２に記載の表示装置。
【請求項４】
前記レンダリングされたフォーカス画像の光学距離を調整する少なくとも１つの第２制御可能レンズをさらに備える、請求項１から３のいずれかに記載の表示装置。
【請求項５】
前記少なくとも１つの第２制御可能レンズの焦点距離は、前記少なくとも１つのフォーカス画像レンダラのリフレッシュレートと実質的に同様のレートで調整される、請求項４に記載の表示装置。
【請求項６】
互いに近接して配置された２つのプリズムと、前記２つのプリズム間の距離を調整する少なくとも１つの駆動部とをさらに備え、
前記２つのプリズム間の距離は、前記少なくとも２つの異なる光学距離間を切り替えるように調整される、請求項１から５のいずれかに記載の表示装置。
【請求項７】
前記少なくとも１つのコンテキスト画像レンダラおよび／または前記少なくとも１つのフォーカス画像レンダラは、少なくとも第１画素セットと第２画素セットとを含む少なくとも１つのディスプレイとして実装され、
前記第１画素セットによって設けられる第１光学距離は、前記第２画素セットによって設けられる第２光学距離と異なる、請求項１から６のいずれかに記載の表示装置。
【請求項８】
前記少なくとも１つのフォーカス画像レンダラは、画素配列を含む少なくとも１つのディスプレイとして実装され、
前記表示装置は、前記少なくとも１つのディスプレイの前記画素配列の前に配置された少なくとも１つのマイクロレンズ配列をさらに含み、
前記少なくとも１つのマイクロレンズ配列は、前記フォーカス画像の少なくとも１つの領域に所望の光学距離が設けられるように、前記画素配列の対応する画素によってレンダリングされた前記フォーカス画像の前記少なくとも１つの領域を拡大するように配置される、請求項１から７のいずれかに記載の表示装置。
【請求項９】
・  視線方向を検出する手段と、
・  前記少なくとも１つの光コンバイナおよび前記視線方向を検出する手段と通信するように接続される処理部と、をさらに備え、前記処理部は、
（ａ）  入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）  第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
（ｉ）  前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
（ｉｉ）  前記第２解像度は、前記第１解像度よりも高く、
（ｃ）  前記コンテキスト画像を前記少なくとも１つのコンテキスト画像レンダラに、かつ前記フォーカス画像を前記少なくとも１つのフォーカス画像レンダラに、実質的に同時にレンダリングし、一方で、前記少なくとも１つの光コンバイナを制御して、前記レンダリングされたフォーカス画像の投影が、前記入力画像の前記高精度視領域に実質的に相当する前記レンダリングされたコンテキスト画像の領域の投影と実質的に重なるように、前記レンダリングされたコンテキスト画像の投影と前記レンダリングされたフォーカス画像の投影を組み合わせる、請求項１から８のいずれかに記載の表示装置。
【請求項１０】
少なくとも１つのコンテキスト画像レンダラと、少なくとも１つのフォーカス画像レンダラと、少なくとも１つの光コンバイナとを備える表示装置を介した表示方法であって、
（ｉ）  前記少なくとも１つのコンテキス画像レンダラにコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）  前記少なくとも１つのフォーカス画像レンダラにフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）  前記少なくとも１つの光コンバイナを用いて、前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成することと、を含み、
前記視覚的シーンは、その中に少なくとも２つの異なる光学距離が設けられるように作成される、方法。
【請求項１１】
前記レンダリングされたコンテキスト画像の光学距離を調整するために、前記表示装置の少なくとも１つの第１制御可能レンズを制御することをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記レンダリングされたフォーカス画像の光学距離を調整するために、前記表示装置の少なくとも１つの第２制御可能レンズを制御することをさらに含む、請求項１０または１１に記載の方法。
【請求項１３】
前記表示装置は、互いに近接して配置された２つのプリズムと、前記２つのプリズムに関連付けられた少なくとも１つの駆動部とをさらに備え、
前記方法は、前記少なくとも２つの異なる光学距離間を切り替えるために、前記２つのプリズム間の距離を調整するように前記少なくとも１つの駆動部を制御することをさらに含む、請求項１０から１２のいずれかに記載の方法。
【請求項１４】
前記少なくとも１つのコンテキスト画像レンダラおよび／または前記少なくとも１つのフォーカス画像レンダラは、少なくとも第１画素セットと第２画素セットとを含む少なくとも１つのディスプレイとして実装され、
前記方法は、前記第１画素セットによって第１光学距離を設け、前記第２画素セットによって第２光学距離を設けるように、前記少なくとも１つのディスプレイを制御することを含み、
前記第１光学距離は該第２光学距離と異なる、請求項１０から１３のいずれかに記載の方法。
【請求項１５】
前記少なくとも１つのフォーカス画像レンダラは、画素配列を含む少なくとも１つのディスプレイとして実装され、
前記表示装置は、前記少なくとも１つのディスプレイの前記画素配列の前に配置された少なくとも１つのマイクロレンズ配列をさらに含み、
前記方法は、前記フォーカス画像の少なくとも１つの領域に所望の光学距離が設けられるように、前記画素配列の対応する画素によってレンダリングされた前記フォーカス画像の前記少なくとも１つの領域を拡大するために、前記少なくとも１つのマイクロレンズ配列を用いることをさらに含む、請求項１０から１４のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は概して視覚情報の提示に関し、より具体的には、画像レンダラと光コンバイナとを備える表示装置に関する。また、本開示は前述の表示装置を介した表示方法にも関する。
【背景】
【０００２】
近年、ゲーム、教育、保健医療などの用途におけるバーチャルリアリティや拡張現実などの技術の利用が急増している。これにより、人々がそのような技術に触れる機会が増えている。一般的に、そのような技術は、「バーチャルリアリティ」としても知られる模擬環境をユーザに提示する。ユーザは概してバーチャルリアリティデバイスや拡張現実デバイスなどのデバイスや装置を使用してそのような模擬環境を体験する。通常、これらのデバイスは眼の付近に配置され、例えば、ニアアイディスプレイ（Near-Eye Display：ＮＥＤ）やヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）として知られている。一般的に、このようなデバイスは内部に１つか２つの小型のディスプレイ、レンズ、およびその他の光学素子を備えている。これらのディスプレイおよび光学素子は一般的にヘルメット、眼鏡、またはバイザーに埋め込まれ、ユーザはそのデバイスに提示される模擬環境を体験するためにそのデバイスを頭部に装着する。また、このようなデバイスは、立体視などの現代の技術を用いて模擬環境への没入感をユーザに提供する。
【０００３】
しかしながら、従来のデバイスには、例えばユーザの視聴の快適性などの特定の欠点がある。通常、模擬環境の視覚的シーンは固定光学距離でレンダリングされる。そのようなレンダリングにより、ユーザの脳は矛盾するフォーカスキューに不自然に適応する。矛盾するフォーカスキューとは、ユーザの眼からディスプレイまでの物理的距離に関連付けられたフォーカスキューと、模擬環境内の視覚的シーンの固定光学距離に関連付けられたフォーカスキューなどである。また、固定光学距離でレンダリングされたそのような視覚的シーンを視聴すると、ユーザの眼に輻輳調節矛盾が発生する一因となることがある。また、そのようなレンダリングによって模擬環境内のユーザの没入感が低くなり、ユーザの視覚疲労につながる場合がある。ユーザによっては、そのような視覚疲労により、デバイスの使用を停止してしばらく経ってから深刻な副作用が生じる可能性もある。
【０００４】
前述の説明を鑑みて、従来のバーチャルリアリティデバイスや拡張現実デバイスの模擬環境における視覚的シーンのレンダリングに関する前述の欠点を克服する必要がある。
【摘要】
【０００５】
本開示は、表示装置を提供することを目標とする。
【０００６】
また、本開示は表示装置を介した表示方法を提供することも目標とする。
【０００７】
本開示は、模擬環境内における固定光学距離での視覚的シーンのレンダリングに関する既存の問題に対する解決策を提供することを目標とする。本開示の目的は、従来技術に見られる問題を少なくとも部分的に克服し、固定光学距離での視覚的シーンのレンダリングに関する前述の欠点を克服する、堅牢で実装しやすい表示装置を提供する解決策を提供することである。
【０００８】
一態様では、本開示の一実施形態は表示装置を提供する。前記表示装置は、
・  コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像レンダラと、
・  フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像レンダラと、
・  前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための少なくとも１つの光コンバイナと、を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記視覚的シーンは、その中に少なくとも２つの異なる光学距離が設けられるように作成される。
【０００９】
別の態様では、本開示の一実施形態は、少なくとも１つのコンテキスト画像レンダラと、少なくとも１つのフォーカス画像レンダラと、少なくとも１つの光コンバイナとを備える表示装置を介した表示方法を提供する。前記方法は、
（ｉ）  前記少なくとも１つのコンテキス画像レンダラにコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）  前記少なくとも１つのフォーカス画像レンダラにフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）  前記少なくとも１つの光コンバイナを用いて、前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成することと、を含み、
前記視覚的シーンは、その中に少なくとも２つの異なる光学距離が設けられるように作成される。
【００１０】
本開示の実施形態は、従来技術における前述の問題を実質的に排除または少なくとも部分的に対処し、視覚的シーンの正確で効率的なレンダリングを可能にする。
【００１１】
本開示の別の態様、利点、特徴、および目的は、以下に添付する特許請求の範囲と併せて解釈される、例示的実施形態の図面および詳細説明から明らかにされるであろう。
【００１２】
本開示の特徴は、添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、様々に組合せ可能であることを理解されたい。
【図面の簡単な説明】
【００１３】
前記の摘要と、下記の例示的な実施形態の詳細説明は、添付の図面と共に読むことでよりよく理解される。本開示の説明の目的で、本開示の例示的な構成を図面に示している。しかしながら、本開示は、ここに開示する具体的な方法および手段に限定されるわけではない。また、図面は縮尺に従ったものではないことを、当業者は理解されるであろう。可能なかぎり、同様の要素は同番号で示している。
【００１４】
以下、本開示における実施形態を、単なる例示として、かつ添付の図面を参照して説明する。
【図１】図１は、本開示の異なる実施形態による表示装置のアーキテクチャのブロック図である。
【図２】図２は、本開示の異なる実施形態による表示装置のアーキテクチャのブロック図である。
【図３】図３Ａおよび図３Ｂは、本開示の一実施形態による表示装置の、ユーザの眼に対する例示的な動作を示す模式図である。
【図４】図４は、本開示の一実施形態による表示装置を介してレンダリングおよび投影されるコンテキスト画像およびフォーカス画像の例示的な図である。
【図５Ａ−５Ｆ】図５Ａから図５Ｆは、本開示の様々な実施形態による表示装置の例示的な実装を示す図である。
【図５Ｇ−５Ｊ】図５Ｇから図５Ｊは、本開示の様々な実施形態による表示装置の例示的な実装を示す図である。
【図５Ｋ】図５Ｋは、本開示の様々な実施形態による表示装置の例示的な実装を示す図である。
【図６】図６は、本開示の一実施形態による表示装置を介した表示方法のステップを示す図である。
【００１５】
添付図面において下線の引かれた番号は、その番号が位置するアイテムやその番号が隣接するアイテムを表すために使用される。下線が引かれていない番号は、その番号と線で結ばれて特定されるアイテムに関連している。番号に下線が引かれず矢印と共に記されている場合、その番号は矢印が指すアイテム全般を特定するために使用される。
【実施例の詳細説明】
【００１６】
以下の詳細説明は、本開示の実施形態およびそれらの実施形態を実装できる方法について説明している。本開示を実行する態様の一部を開示しているが、本開示を実行または実践する他の実施形態も可能であることを当業者は認識されるであろう。
【００１７】
一態様では、本開示の一実施形態は表示装置を提供する。前記表示装置は、
・  コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像レンダラと、
・  フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像レンダラと、
・  前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための少なくとも１つの光コンバイナと、を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記視覚的シーンは、その中に少なくとも２つの異なる光学距離が設けられるように作成される。
【００１８】
別の態様では、本開示の一実施形態は、少なくとも１つのコンテキスト画像レンダラと、少なくとも１つのフォーカス画像レンダラと、少なくとも１つの光コンバイナとを備える表示装置を介した表示方法を提供する。前記方法は、
（ｉ）  前記少なくとも１つのコンテキス画像レンダラにコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）  前記少なくとも１つのフォーカス画像レンダラにフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）  前記少なくとも１つの光コンバイナを用いて、前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成することと、を含み、
前記視覚的シーンは、その中に少なくとも２つの異なる光学距離が設けられるように作成される。
【００１９】
前記表示装置と、該表示装置を介した前記表示方法とにより、視覚的シーンを、その中に少なくとも２つの異なる光学距離が設けられるように作成することが可能になる。そのような視覚的シーンの作成により、該表示装置のユーザの模擬環境内における没入感を向上させることができ、ユーザの体験が向上される。また、そのような視覚的シーンの作成により、正確なフォーカスキューをユーザに提供することができる。そのようなフォーカスキューにより、ユーザの没入感がさらに向上し、輻輳調節矛盾に関連する問題などの、固定光学距離のレンダリングに関連する問題が実質的に軽減される。そのような輻輳調節矛盾の低減により、ユーザが経験する視覚疲労や不快な体験を低減できることを理解されたい。さらに、そのような視覚疲労や不快感の低減により、ユーザの体験を向上することができ、該表示装置を長時間使用することが可能になる。
【００２０】
本開示全体において、「表示装置」という用語は、ユーザが表示装置を（例えば、該表示装置を頭部に装着して）使用する際に、視覚的シーンをユーザに提示するように構成された特別な機器に関する。そのような場合、該表示装置は、視覚的シーンをユーザに提示するための（例えば、バーチャルリアリティヘッドセット、バーチャルリアリティ眼鏡、拡張現実ヘッドセット、拡張現実眼鏡などの）デバイスとして機能するように動作可能である。
【００２１】
視覚的シーンは、レンダリングされたコンテキスト画像の投影とレンダリングされたフォーカス画像の投影との光学的組合せによって作成される立体画像として描写（すなわち、表現）されることを理解されたい。一実施形態では、視覚的シーンは完全にバーチャルな模擬環境に関する。別の実施形態では、視覚的シーンは、実世界環境に重ね合わされた少なくとも１つの仮想オブジェクトに関する。
【００２２】
「コンテキスト画像」という用語は、該表示装置を介してレンダリングおよび投影される視覚的シーンの広角画像に関することを理解されたい。また、「フォーカス画像」という用語は、該表示装置を介してレンダリングおよび投影される視覚的シーンの一部（すなわち、部分）を描写する別の画像に関する。したがって、フォーカス画像の寸法はコンテキスト画像よりも小さいことを理解されたい。コンテキスト画像とフォーカス画像とを光学的に組み合わせることで、該コンテキスト画像と該フォーカス画像によって集合的に視覚的シーンが構成される。また、レンダリングされたフォーカス画像は通常、ユーザの眼の中心窩およびその周囲に投影され、レンダリングされたコンテキスト画像はユーザの眼の網膜に投影されることを理解されたい。眼の網膜において、中心窩はほんの小さな部分である。さらに、レンダリングされたコンテキスト画像とレンダリングされたフォーカス画像は集合的に、該表示装置のユーザに提示される視覚的シーンの立体画像を構成する。
【００２３】
いくつかの実装では、レンダリングされたコンテキスト画像の投影の角度幅は、例えば、４０、５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、２００、２１０、または２２０度であってもよく、レンダリングされたフォーカス画像の投影の角度幅は、例えば、５、１０、１５、２０、２５、３０、３５、４０、４５、５０、５５、または６０度であってもよい。別の実装では、レンダリングされたコンテキスト画像の投影の角度幅は２２０度より大きい。
【００２４】
前述のコンテキスト画像およびフォーカス画像の投影の角度幅は、ユーザの眼の動きに関連するサッカードおよびマイクロサッカードにそれぞれ対応する。
【００２５】
本開示全体において、「角度幅」という用語は、該表示装置を装着したユーザの眼から見た任意の投影の角度幅を指す。任意で、レンダリングされたコンテキスト画像の投影の角度幅は、レンダリングされたフォーカス画像の投影の角度幅より大きいことを理解されたい。これは、レンダリングされたフォーカス画像は通常はユーザの眼の中心窩およびその周囲に投影され、レンダリングされたコンテキスト画像はユーザの眼の網膜に投影されるためである。
【００２６】
本開示全体において、本明細書で用いる「コンテキスト画像レンダラ」という用語は、コンテキスト画像のレンダリングを促進するように構成された機器に関する。同様に、本明細書で用いる「フォーカス画像レンダラ」という用語は、フォーカス画像のレンダリングを促進するように構成された機器に関する。
【００２７】
任意で、該少なくとも１つのコンテキスト画像レンダラおよび／または該少なくとも１つのフォーカス画像レンダラは、少なくとも１つのプロジェクタおよびそれに関連付けられた投影スクリーンとして実装される。任意で、該少なくとも１つのコンテキスト画像レンダラおよび該少なくとも１つのフォーカス画像レンダラを実装するために用いられる個別のプロジェクタ間で１つの投影スクリーンを共有してもよい。任意で、該少なくとも１つのプロジェクタは、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）ベースプロジェクタ、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースプロジェクタ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースプロジェクタ、ＬＣｏＳ（Liquid Crystal on Silicon）ベースプロジェクタ、ＤＬＰ（Digital Light Processing）ベースプロジェクタ、およびレーザープロジェクタからなる群から選択される。
【００２８】
任意で、該少なくとも１つのコンテキスト画像レンダラおよび／または該少なくとも１つのフォーカス画像レンダラは、少なくとも１つのディスプレイとして実装される。この点において、任意で、該少なくとも１つのコンテキスト画像レンダラは、レンダリングされたコンテキスト画像の投影を放射するように構成された少なくとも１つのコンテキストディスプレイとして実装され、該少なくとも１つのフォーカス画像レンダラは、レンダリングされたフォーカス画像の投影を放射するように構成された少なくとも１つのフォーカスディスプレイとして実装される。そのような場合、本明細書で用いる「コンテキストディスプレイ」という用語は、コンテキスト画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）に関する。同様に、本明細書で用いる「フォーカスディスプレイ」という用語は、フォーカス画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）に関する。任意で、該少なくとも１つのコンテキストディスプレイおよび／または該少なくとも１つのフォーカスディスプレイは、ＬＣＤ、ＬＥＤベースディスプレイ、ＯＬＥＤベースディスプレイ、マイクロＯＬＥＤベースディスプレイ、およびＬＣｏＳベースディスプレイからなる群から選択される。
【００２９】
さらに任意で、該少なくとも１つのコンテキストディスプレイの寸法は、該少なくとも１つのフォーカスディスプレイの寸法より大きい。具体的には、該少なくとも１つのフォーカスディスプレイのサイズは、該少なくとも１つのコンテキストディスプレイよりかなり小さくてもよい。したがって、該少なくとも１つのフォーカスディスプレイは該少なくとも１つのコンテキストディスプレイより容易に移動できることを理解されたい。
【００３０】
任意で、レンダリングされたコンテキスト画像およびフォーカス画像それぞれを所望のように投影するために、該少なくとも１つのコンテキスト画像レンダラが固定して設けられ、該少なくとも１つのフォーカス画像レンダラが移動可能にされる。そのような場合、レンダリングされたフォーカス画像の投影の位置を調整するために、該少なくとも１つのフォーカス画像レンダラを移動してもよい。あるいは、任意で、該少なくとも１つのコンテキスト画像レンダラおよび該少なくとも１つのフォーカス画像レンダラの位置が入れ替えられる。そのような場合、該少なくとも１つのコンテキスト画像レンダラを移動可能にし、該少なくとも１つのフォーカス画像レンダラを固定配置する。あるいは、任意で、該少なくとも１つのコンテキスト画像レンダラと該少なくとも１つのフォーカス画像レンダラの両方を移動可能にする。
【００３１】
本開示全体において、本明細書で用いる「光コンバイナ」という用語は、レンダリングされたコンテキスト画像の投影と、レンダリングされたフォーカス画像の投影とを光学的に組み合わせて入力画像の投影を構成するための機器（例えば、光学素子など）に関する。該少なくとも１つの光コンバイナを、人間の視覚系の能動的な中心窩視をシミュレートするように構成すると有益である。
【００３２】
視覚的シーンは、その中に少なくとも２つの異なる光学距離が設けられるように作成される。本開示全体において、本明細書で用いる「光学距離」という用語は、視覚的シーンの立体画像内に表示される領域とユーザとの間の、ユーザが知覚する仮想距離を指す。任意の立体画像（すなわち、三次元画像）内では、異なるオブジェクトを描写する異なる領域は、異なる光学的深さを有しうることを理解されたい。そのような場合、任意のオブジェクトの光学距離は、その任意のオブジェクトとユーザとの間の、ユーザが知覚する仮想距離（または立体深度）に関する。一例において、視覚的シーンの立体画像は、建物の前に立っている人を描写してもよく、その人を描写している（画像の）領域の光学距離は、建物を描写している（画像の）領域の光学距離より短い。そのような例において、ユーザは自分とその人との間の仮想距離Ｖ１を、自分と建物との間の仮想距離Ｖ２よりも短いと知覚してもよい。
【００３３】
少なくとも２つの異なる光学距離が設けられた視覚的シーンにより、表示装置のユーザにとっての視覚的シーンへの没入感を向上させることができることを理解されたい。
【００３４】
任意で、該少なくとも１つの光コンバイナは、少なくとも２つの異なる光学距離にあるレンダリングされたコンテキスト画像の投影とレンダリングされたフォーカス画像の投影とを組み合わせることによって視覚的シーンを作成する。この点において、任意で、該少なくとも１つのコンテキスト画像レンダラと該少なくとも１つのフォーカス画像レンダラは、各レンダラにレンダリングされたコンテキスト画像の投影とレンダリングされたフォーカス画像の投影を組み合わせて、視覚的シーン内に少なくとも２つの異なる光学距離を設けるように配置される。一例として、該少なくとも１つのコンテキスト画像レンダラはコンテキストディスプレイとして、該少なくとも１つのフォーカス画像レンダラはフォーカスディスプレイとして実装されてもよい。そのような場合、該コンテキストディスプレイおよび該フォーカスディスプレイは、それらから放射された、レンダリングされたコンテキスト画像の投影およびレンダリングされたフォーカス画像の投影を（該少なくとも１つの光コンバイナによって）光学的に組み合わせて、その中に少なくとも２つの異なる光学距離を有する視覚的シーンを作成するように、ユーザの眼から異なる距離に配置されてもよい。
【００３５】
任意で、該少なくとも１つの光コンバイナは、レンダリングされたコンテキスト画像の投影および／またはレンダリングされたフォーカス画像の投影の異なる領域を光学的に組み合わせることによって、視覚的シーン内に少なくとも２つの異なる光学距離を設けるように構成される。一例において、フォーカス画像の第１領域およびフォーカス画像の第２領域をコンテキスト画像と光学的に組み合わせて、視覚的シーン内に３つの異なる光学距離を設けてもよい。
【００３６】
任意で、前記表示装置は、視線方向を検出する手段と、前記少なくとも１つの光コンバイナおよび前記視線方向を検出する手段と通信するように接続される処理部と、をさらに備える。前記処理部は、
（ａ）  入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）  第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
（ｉ）  前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
（ｉｉ）  前記第２解像度は、前記第１解像度よりも高く、
（ｃ）  前記コンテキスト画像を前記少なくとも１つのコンテキスト画像レンダラに、かつ前記フォーカス画像を前記少なくとも１つのフォーカス画像レンダラに、実質的に同時にレンダリングし、一方で、前記少なくとも１つの光コンバイナを制御して、前記レンダリングされたフォーカス画像の投影が、前記入力画像の高精度視領域に実質的に相当する前記レンダリングされたコンテキスト画像の領域の投影と実質的に重なるように、前記レンダリングされたコンテキスト画像の投影と前記レンダリングされたフォーカス画像の投影を組み合わせる。
【００３７】
本開示全体において、本明細書で用いる「視線方向を検出する手段」という用語は、ユーザの視線の方向（すなわち、視線方向）を検出する特別な機器に関する。該表示装置は、侵襲形または非侵襲形の技術によって前述の視線方向を決定するために、該視線方向を検出する手段を用いる。視線方向を正確に検出することで、該表示装置が視線随伴性を忠実に実現できるようにすると有益である。該視線方向を検出する手段の例として、モーションセンサ付コンタクトレンズ、眼の瞳の位置をモニタするカメラなどが挙げられる。そのような視線方向を検出する手段は、当業技術分野において周知である。
【００３８】
一例として、該視線方向を検出する手段は、レンダリングされたフォーカス画像をユーザの眼の中心窩およびその周囲に投影し、レンダリングされたコンテキスト画像をユーザの眼の網膜に投影する目的で、ユーザの眼の視線方向を検出するために用いてもよい。眼の網膜において、中心窩はほんの小さな部分である。したがって、視線方向が変わっても（すなわち、ユーザの眼が動いても）、該表示装置において能動的な中心窩視を実現するために、レンダリングされたフォーカス画像は中心窩およびその周囲に投影され、レンダリングされたコンテキスト画像は網膜に投影される。
【００３９】
該視線方向を検出する手段は、「アイトラッカーシステム」、「視線追跡システム」、「視線方向を追跡する手段」、または「視線追跡ユニット」とも呼ばれうることを理解されたい。
【００４０】
一実施形態では、該処理部は、該表示装置の動作の制御に適切なハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せとして実装される。該処理部は、視覚的シーンをユーザに提示するために該表示装置の動作を制御するように構成される。また任意で、該処理部は、ユーザの眼の動きによるユーザの視線方向の変更に応じて、ユーザに提示される視覚的シーンを調整するように構成される。
【００４１】
一実施形態によると、「入力画像」という用語は、該表示装置によって表示される完全にバーチャルな模擬環境（例えば、バーチャルリアリティ環境）の視覚的シーンの表現に関する。別の実施形態によると、「入力画像」という用語は、実世界環境に重ね合わされた少なくとも１つの仮想オブジェクトを描写する視覚的シーンの表現に関する。少なくとも１つの仮想オブジェクトの例として、仮想ナビゲーションツール、仮想ガジェット、仮想メッセージ、仮想エンティティ、仮想メディアなどが挙げられるが、これらに限定されない。そのような場合、少なくとも１つの仮想オブジェクトは（実世界環境の）実世界画像に重ね合わせることができ、結果として得られる模擬環境（例えば、拡張現実環境）の視覚的シーンを構成する。「実世界画像」という用語は、ユーザの実際の位置の周囲を描写する画像に関することに注意されたい。任意で、該表示装置は、実世界画像を撮像する撮像システムを備える。さらに任意で、該表示装置は、前述の重ね合せ動作を実行し、結果として得られる模擬環境をユーザの眼に投影するために、少なくとも１つの光学機器（例えば、ミラー、レンズ、プリズムなど）をさらに備える。
【００４２】
一実施形態によると、前述のステップ（ａ）において、該表示装置は、該表示装置と通信可能に接続された記憶部から入力画像を受信するように構成される。該記憶部は、ＭＰＥＧ（Moving Pictures Experts Group）、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）、ＢＭＰ（BitMaP file format）を含むがこれらに限らない、適切なフォーマットの入力画像を格納するように構成することができる。
【００４３】
別の実施形態によると、前述のステップ（ａ）において、該表示装置は、該表示装置の撮像システムから入力画像を受信するように構成される。そのような場合、該撮像システムの撮像センサは、入力画像を撮像するように構成される。任意で、該処理部は、該撮像システムからの入力画像に関連する追加の深度情報を受信するように構成される。該撮像システムの例として、ＲＧＢ−Ｄカメラ、ＬｉＤＡＲ（Light Detection and Ranging）カメラ、ＴｏＦ（Time-of-Flight）カメラ、ソナー（Sound Navigation and Ranging：ＳＯＮＡＲ）カメラ、レーザー距離計、ステレオカメラ、赤外線カメラ、および超音波撮像機器が挙げられるが、これらに限定されない。一例として、入力画像はユーザが位置するコーヒーショップを描写してもよい。
【００４４】
さらに別の実施形態によると、ステップ（ａ）において、入力画像はコンピュータ生成画像である。そのような場合、入力画像は、該表示装置の該処理部によって生成されてもよい。
【００４５】
また、本明細書で用いる「高精度視領域」という用語は、該表示装置のユーザが入力画像を見るときに、検出されたユーザの視線方向が向けられている（すなわち、フォーカスしている）入力画像の領域に関することを理解されたい。したがって、高精度視領域は入力画像内の凝視領域である。換言すると、高精度視領域は、入力画像内の関心領域（または凝視点）であり、ユーザの眼の中心窩に投影される。したがって、高精度視領域は、入力画像が人間の視覚系によって見られるときに、入力画像の他の領域よりもさらに詳細に解像される領域に関する。
【００４６】
さらに任意で、（フォーカス画像の）第２解像度は（コンテキスト画像の）第１解像度よりも高い。これは、レンダリングされたフォーカス画像は通常は該表示装置によってユーザの眼の中心窩およびその周囲に投影され、レンダリングされたコンテキスト画像は該表示装置によってユーザの眼の網膜に投影されるためである。フォーカス画像およびコンテキスト画像のそのような解像度により、該表示装置のユーザが入力画像を見る際に人間の視覚系の特徴をエミュレートすることが可能になる。
【００４７】
さらに任意で、第１解像度および第２解像度は、角分解能の観点から理解される。換言すると、第２解像度を示す角画素密度は、第１解像度を示す角画素密度よりも高い。一例として、ユーザの眼の中心窩は２度の視野に相当し、５７角画素密度で１１４画素に等しい角断面幅のフォーカス画像の投影を受ける。したがって、該フォーカス画像に相当する角画素サイズは、２／１１４すなわち０．０１７である。また、この例では、眼の網膜は１８０度の視野に相当し、１５角画素密度で２７００画素に等しい角断面幅のコンテキスト画像の投影を受ける。したがって、該コンテキスト画像に相当する角画素サイズは、１８０／２７００すなわち０．０６７である。計算のとおり、コンテキスト画像に相当する角画素サイズは、フォーカス画像に相当する角画素サイズよりかなり大きいことが明らかである。ただし、知覚される角分解能を総画素数で示したものが、フォーカス画像よりコンテキスト画像のほうが大きいのは、フォーカス画像が、当該画像の高精度視領域に相当するコンテキスト画像の一部分のみに相当するためである。
【００４８】
前述のステップ（ｃ）において、レンダリングされたコンテキスト画像の投影はレンダリングされたフォーカス画像の投影と組み合わされ、視覚的シーン内に少なくとも２つの異なる光学距離が設けられることを理解されたい。コンテキスト画像およびフォーカス画像を実質的に同時にレンダリングするのは、それらの投影の組合せにおける時間の遅延を防ぐためであることも理解されるであろう。
【００４９】
任意で、入力画像の高精度視領域に実質的に相当するレンダリングされたコンテキスト画像の領域がマスクされる。この点において、該処理部は任意で、レンダリングされたフォーカス画像の投影が、レンダリングされたコンテキスト画像のマスクされた領域の投影に実質的に重なるように、レンダリングされたコンテキスト画像の投影とレンダリングされたフォーカス画像の投影とを組み合わせるように構成される。フォーカス画像の投影がレンダリングされたコンテキスト画像の投影と組み合わされるとき、入力画像の高精度視領域の光学的歪みを防ぐために、該処理部は任意で、入力画像の高精度視領域に実質的に相当するコンテキスト画像の領域をマスクすることを理解されたい。そのようなマスキングが実行されることがあるのは、高解像度のレンダリングされたフォーカス画像は、低解像度のレンダリングされたコンテキスト画像より、入力画像の高精度視領域に関する情報をより多く含むためである。一例として、入力画像の高精度視領域に相当するコンテキスト画像の画素を暗く（すなわち、濃く）してマスクしてもよい。
【００５０】
さらに任意で、該処理部は、入力画像の高精度視領域と、入力画像の残りの領域との間の遷移領域の継ぎ目（すなわち縁部）が小さくなる（例えば最小化される）ように、入力画像の高精度視領域に相当するコンテキスト画像の領域をマスクするように構成される。そのような場合、重畳されたコンテキスト画像とフォーカス画像との間の遷移領域の継ぎ目を小さく（例えば最小化）して、表示された入力画像が連続的に表示されるように、マスクを徐々に段階的に変化するように実行することできる。例えば、該処理部は、入力画像の高精度視領域に相当するコンテキスト画像の画素を大幅に暗くし、入力画像の高精度視領域からの距離が増すにつれて、画素の暗さの程度を徐々に減じてもよい。さらに、マスクは、遷移領域において、コンテキスト画像とフォーカス画像との間で逆の値を有する線形の透明マスクブレンド、ユーザの眼に自然に感知されにくい形状を含むステルス（またはカムフラージュ）パターンなどを用いて実行することができる。
【００５１】
一例示的実装では、入力画像は、窓を介して見た公園を描写した、完全にバーチャルな模擬環境の視覚的シーンを表現してもよい。また、入力画像は（前述のような）コンテキスト画像およびフォーカス画像を生成するために処理される。第１のケースにおいて、該視線方向を検出する手段が、ユーザの視線が窓にフォーカスしていることを検出した場合、入力画像の高精度視領域は窓の一領域に相当する。そのような場合、フォーカス画像は窓を描写し、コンテキスト画像は窓と公園を描写する。したがって、そのような場合、該処理部は、視覚的シーンがユーザに提示されたときに、フォーカス画像の光学距離がコンテキスト画像の光学距離より短くなるように、該少なくとも１つの光コンバイナを制御するように構成される。第２のケースにおいて、該視線方向を検出する手段が、ユーザの視線が公園にフォーカスしていることを検出した場合、入力画像の高精度視領域は公園の一領域に相当する。そのような場合、フォーカス画像は公園を描写し、コンテキスト画像は窓と公園を描写する。したがって、そのような場合、該処理部は、視覚的シーンがユーザに提示されたときに、フォーカス画像の光学距離がコンテキスト画像の光学距離より長くなるように、該少なくとも１つの光コンバイナを制御するように構成される。前述の例において、レンダリングされたフォーカス画像の投影とレンダリングされたコンテキスト画像の投影を組み合わせることで、該表示装置に作成された視覚的シーン内に異なる光学距離を設けることができることを理解されたい。また、そのような視覚的シーンにより、ユーザは立体深度を知覚することができ、視覚的シーン内のユーザの没入感が向上する。
【００５２】
別の例示的実装において、入力画像は模擬拡張現実環境の仮想エンティティを描写する視覚的シーンを表現してもよい。この仮想エンティティは、例えば、実世界の草の上に足を伸ばして座っている少年である。そのような場合、当該ユーザの視線が少年の足にフォーカスしていることが検出されてもよい。したがって、フォーカス画像は実質的に少年の足に相当し、コンテキスト画像は実質的にシーン全体の低解像度表現に相当する。そのような場合、該処理部は、視覚的シーンがユーザに提示されたときに、フォーカス画像の少年のつま先を描写している第１領域の光学距離Ｘ１が、フォーカス画像のその少年のすね、ひざ、およびももを描写している第２領域の光学距離Ｘ２よりも短くなり、該光学距離Ｘ２がコンテキスト画像の光学距離Ｘ３よりも短くなるように、該少なくとも１つの光コンバイナを制御するように構成される。したがって、該表示装置は、立体視覚的シーン内で単一のオブジェクトに異なる光学的深さを与えることができるようにしていることを理解されたい。
【００５３】
任意で、該表示装置は、該レンダリングされたコンテキスト画像の光学距離を調整する少なくとも１つの第１制御可能レンズをさらに備える。この点において、任意で、該少なくとも１つの第１制御可能レンズはレンダリングされたコンテキスト画像の投影の光路上に配置される。本開示全体において、本明細書で用いる「制御可能レンズ」という用語は、焦点距離を調整可能なレンズを指す。また、本明細書で用いる「焦点距離」という用語は、任意の制御可能レンズ（または、その制御可能レンズの主軸）と、その制御可能レンズを通過する平行光線の収束点との間の距離を指す。この制御可能レンズの焦点距離が長いほど、このレンズを通過する任意の画像の任意の投影における視野が小さくなることを理解されたい。しかしながら、焦点距離が長いほど、その画像の拡大率も大きくなる。そのような場合、レンダリングされたコンテキスト画像の光学距離は、視覚的シーン内の異なる領域をフォーカスおよび／または拡大するように調整される。例えば、建物を含む視覚的シーンにおいて、該少なくとも１つの第１制御可能レンズの焦点距離は、ユーザとその建物との間の光学距離を長くする（または短くする）ように調整されてもよい。
【００５４】
任意で、該表示装置は、該少なくとも１つの第１制御可能レンズに接続された少なくとも１つの第１駆動部を備える。該処理部は、該少なくとも１つの第１駆動部に第１制御信号を適用することで、レンダリングされたコンテキスト画像の光学距離を調整するように構成される。そのような場合、該少なくとも１つの第１駆動部は、機械駆動部、電気駆動部、油圧駆動部などでありうる。したがって、第１制御信号は、機械力、電流、油圧などでありうる。一例として、該少なくとも１つの第１制御可能レンズは、少なくとも１つの第１機械駆動部に接続されてもよい。そのような場合、該処理部は、第１制御信号を適用して該少なくとも１つの第１機械駆動部を機械的に駆動することで、該少なくとも１つの第１制御可能レンズの焦点距離を調整してもよい。
【００５５】
一実施形態によると、該少なくとも１つの第１制御可能レンズの焦点距離は、該少なくとも１つのコンテキスト画像レンダラのリフレッシュレートと実質的に同様のレートで調整される。本開示全体において、本明細書で用いる「リフレッシュレート」という用語は、１秒間で任意の画像レンダラが任意の画像を更新する回数を指す。任意で、該少なくとも１つのコンテキスト画像レンダラのリフレッシュレートは、９０〜１８００Ｈｚの範囲である。
【００５６】
一例において、該少なくとも１つの第１制御可能レンズの焦点距離は、２１０Ｈｚのレートで調整されてもよい。別の例において、コンテキスト画像は、該少なくとも１つのコンテキスト画像レンダラを７０Ｈｚのレートでリフレッシュすることで、該少なくとも１つのコンテキスト画像レンダラを（立体深度の増加（または減少）に対応する）３つの異なる光学距離で用いることによってレンダリングされてもよい。したがって、そのような場合、該制御可能レンズの焦点距離は、該少なくとも１つのコンテキスト画像レンダラのリフレッシュレートに相当する７０Ｈｚのレートで調整されてもよい。
【００５７】
一実施形態において、該表示装置は、該レンダリングされたフォーカス画像の光学距離を調整する少なくとも１つの第２制御可能レンズをさらに備える。この点において、任意で、該少なくとも１つの第２制御可能レンズはレンダリングされたフォーカス画像の投影の光路上に配置される。
【００５８】
任意で、該表示装置は、該少なくとも１つの第２制御可能レンズに接続された少なくとも１つの第２駆動部を備える。該処理部は、該少なくとも１つの第２駆動部に第２制御信号を適用することで、レンダリングされたフォーカス画像の光学距離を調整するように構成される。そのような場合、該少なくとも１つの第２駆動部は、機械駆動部、電気駆動部、油圧駆動部などでありうる。したがって、第２制御信号は、機械力、電流、油圧などでありうる。
【００５９】
一例において、該表示装置のユーザは、レンダリングされたフォーカス画像内のオブジェクトにフォーカスするために、ユーザの視線方向を遠視野から近視野へとシフトする。そのような場合、該少なくとも１つの第２制御可能レンズの焦点距離は、ユーザが当該オブジェクトにフォーカスできるように調整される。
【００６０】
一実施形態によると、該少なくとも１つの第２制御可能レンズの焦点距離は、該少なくとも１つのフォーカス画像レンダラのリフレッシュレートと実質的に同様のレートで調整される。さらに任意で、該少なくとも１つのフォーカス画像レンダラのリフレッシュレートは、９０〜１８００Ｈｚの範囲である。
【００６１】
レンダリングされたコンテキスト画像とレンダリングされたフォーカス画像それぞれの光学距離を調整するための、該少なくとも１つの第１制御可能レンズおよび／または該少なくとも１つの第２制御可能レンズの前述の調整によって、ユーザが視覚的シーンを視聴する際にそのユーザに深度キューを提供できることを理解されたい。また、そのような深度キューによって、視覚的シーン内の立体深度をより良く知覚できるようになり、視覚的シーン内のユーザの没入感が向上する。さらに、そのような深度キューにより、一般的に従来の表示装置に関連する輻輳調節矛盾の発生を実質的に低減することができる。さらに、該コンテキスト画像レンダラおよび該フォーカス画像レンダラのリフレッシュレートに対して該少なくとも１つの第１制御可能レンズおよび／または該少なくとも１つの第２制御可能レンズを調整することで、視覚的シーン内の光学距離（すなわち、立体深度）を継ぎ目なく効率的に調整することができる。
【００６２】
一実施形態において、該表示装置は、互いに近接して配置された２つのプリズムと、該２つのプリズム間の距離を調整する少なくとも１つの駆動部とをさらに備える。該２つのプリズム間の距離は、該少なくとも２つの異なる光学距離間を切り替えるように調整される。そのような場合、該２つのプリズムは、レンダリングされたコンテキスト画像の投影の光路上および／またはレンダリングされたフォーカス画像の投影の光路上に配置される。一般的にプリズムはその中を通る光の光路を変えるように構成されるため、該２つのプリズムによりその中を通る投影の光路を変えることで、少なくとも２つの異なる光学距離を切り替えることができることを理解されたい。換言すると、該２つのプリズム間の距離を調整することにより、該プリズム内を通る投影は異なる距離を進み、これによって視覚的シーン内に少なくとも２つの光学距離が設けられる。また、該２つのプリズム間の距離を調整することで、例えば、３つ以上の光学距離が必要な場合に、より多くの光学距離を設けることができる。
【００６３】
任意で、該処理部は、該少なくとも１つの駆動部を制御して該２つのプリズム間の距離を調整するように構成される。
【００６４】
一例において、該２つのプリズムは、コンテキスト画像レンダラとユーザの眼との間の、レンダリングされたコンテキスト画像の投影の光路上に配置されてもよい。そのような例において、少なくとも２つの異なる光学距離は、コンテキスト画像の近視野および遠視野に相当してもよい。したがって、該２つのプリズム間の距離は、コンテキスト画像の近視野と遠視野を切り替えるために、レンダリングされたコンテキスト画像の投影の光路を変更するように調整されてもよい。
【００６５】
別の例において、該２つのプリズムは、フォーカス画像レンダラとユーザの眼との間の、レンダリングされたフォーカス画像の投影の光路上に配置されてもよい。そのような例において、少なくとも２つの異なる光学距離は、フォーカス画像の第１領域および第２領域に対応してもよく、ユーザの視線はフォーカス画像の第１領域に明確にフォーカスしてもよい。したがって、該２つのプリズム間の距離は、ユーザの視線に基づいて、フォーカス画像の第１領域および第２領域に選択的にフォーカス（またはデフォーカス）するように調整されてもよい。１つ目のケースにおいて、該２つのプリズム間の第１距離Ｄ１（例えば、５ミリメートルなど）は、第１領域の光学距離が第２領域の光学距離より短くなるような距離であってもよい。２つ目のケースにおいて、該２つのプリズム間の第２距離Ｄ２（例えば、１０ミリメートルなど）は、第１領域の光学距離が第２領域の光学距離より長くなるような距離であってもよい。１つ目のケースと２つ目のケースの両方において、該２つのプリズム間の距離は、第１領域がより明確にフォーカスされ、第２領域は比較的にデフォーカスされるように調整されてもよい。
【００６６】
一実施形態によると、該少なくとも１つのコンテキスト画像レンダラおよび／または該少なくとも１つのフォーカス画像レンダラは、少なくとも第１画素セットと第２画素セットとを含む少なくとも１つのディスプレイとして実装される。該第１画素セットによって設けられる第１光学距離は、該第２画素セットによって設けられる第２光学距離と異なる。この点において、任意で、該少なくとも１つのコンテキストディスプレイおよび／または該少なくとも１つのフォーカスディスプレイは、少なくとも第１画素セットと第２画素セットとを含む。ユーザの眼は、任意の画像内の異なる光学的深さを知覚できることを理解されたい。したがって、任意のディスプレイの第１画素セットおよび第２画素セットにより、コンテキスト画像および／またはフォーカス画像の異なる領域が、視覚的シーン内で異なる光学距離を有するようにすることができる。一例において、第１画素セットは、第２画素セットよりも互いに近接して集合した画素を含んでいる。そのような場合、フォーカス画像の第１領域をレンダリングするために第１画素セットが採用されてもよく、フォーカス画像の第２領域をレンダリングするために第２画素セットが採用されてもよい。そのような、第１画素セットと第２画素セットに関連付けられた画素密度の差により、視覚的シーン内に異なる光学距離（第１光学距離と第２光学距離など）を作成することができる。
【００６７】
別の例において、フォーカス画像レンダラおよびコンテキスト画像レンダラは、単一のディスプレイとして実装されてもよい。そのような場合、フォーカス画像をレンダリングするために第１画素セットが採用されてもよく、コンテキスト画像をレンダリングするために第２画素セットが採用されてもよい。換言すると、第２画素セットは視覚的シーンにおける焦点ぼけに相当してもよい。そのような焦点ぼけにより、ユーザによる立体深度の知覚を向上させることができ、視覚的シーン内の没入感がさらに向上することを理解されたい。また、焦点ぼけにより、輻輳調節矛盾の発生を有益に低減することができる。
【００６８】
一実施形態において、該少なくとも１つのディスプレイは第３画素セットを含む。第３画素セットによって設けられる第３光学距離は、第１光学距離および第２光学距離と異なる。例えば、第３光学距離は、第１光学距離と第２光学距離との間の中間光学距離に相当してもよい。
【００６９】
一実施形態において、該少なくとも１つのフォーカス画像レンダラは、画素配列を含む少なくとも１つのディスプレイとして実装される。該表示装置は、該少なくとも１つのディスプレイの該画素配列の前に配置された少なくとも１つのマイクロレンズ配列をさらに含む。該少なくとも１つのマイクロレンズ配列は、該フォーカス画像の少なくとも１つの領域に所望の光学距離が設けられるように、該画素配列の対応する画素によってレンダリングされた該フォーカス画像の該少なくとも１つの領域を拡大するように配置される。一例において、該少なくとも１つのディスプレイはマイクロディスプレイ配列を含む。そのような場合、該マイクロディスプレイは、オブジェクトの異なる視点（またはビュー）をフォーカス画像の異なる領域としてレンダリングするように動作可能である。例えば、オブジェクトの異なる視点は、視覚的シーンに関連付けられた光照射野に相当してもよい。また、各領域は画素配列を含む。一例において、フォーカス画像の異なる光学距離に対応する異なる領域は、マイクロレンズ配列によって拡大される。その後、拡大された領域の投影は該光コンバイナによって組み合わされる。また、そのような拡大された領域の組合せにより、少なくとも２つの異なる光学距離を有する視覚的シーンを作成することができる。
【００７０】
一実施形態によると、該少なくとも１つのコンテキスト画像レンダラは、画素配列を含む少なくとも１つのディスプレイとして実装される。該表示装置は、該少なくとも１つのディスプレイからの光路上に配置された少なくとも１つのマイクロレンズ配列をさらに含む。該少なくとも１つのマイクロレンズ配列は、コンテキスト画像の少なくとも１つの領域に所望の光学距離が設けられるように、該画素配列の対応する画素によってレンダリングされた該コンテキスト画像の該少なくとも１つの領域を拡大するように配置される。一例において、該少なくとも１つのディスプレイはマイクロディスプレイ配列を含む。例えば、視覚的シーンは、窓の鏡面反射をオブジェクトの表面に描写してもよい。そのような場合、窓に関連付けられた光照射野は、第１光学距離において、該少なくとも１つのコンテキスト画像レンダラに関連付けられた該少なくとも１つのディスプレイにレンダリングされる。また、オブジェクトに関連付けられた光照射野は、第２光学距離において、該少なくとも１つのフォーカス画像レンダラに関連付けられた該少なくとも１つのディスプレイにレンダリングされる。さらに、オブジェクトの表面における鏡面反射に関連付けられた光照射野は、第３光学距離において、該少なくとも１つのフォーカス画像レンダラに関連付けられた該少なくとも１つのディスプレイにレンダリングされる。そのような場合、窓、オブジェクト、および鏡面反射それぞれに関連付けられた画像の投影は、光コンバイナによって組み合わされる。このように、窓、オブジェクト、および鏡面反射それぞれに関連付けられた光照射野を異なる光学距離でレンダリングすることにより、ユーザは、窓、オブジェクト、またはオブジェクト表面上の鏡面反射に関連付けられた任意の所望の光学距離などの任意の所望の光学距離にフォーカスすることができる。
画像処理：
【００７１】
任意で、該処理部は、該少なくとも１つのコンテキスト画像レンダラおよび該少なくとも１つのフォーカス画像レンダラのうち、少なくとも１つに対して画像処理機能を実行するように構成される。そのような場合、該画像処理機能は、コンテキスト画像のレンダリングの前に該少なくとも１つのコンテキスト画像レンダラを介して、およびフォーカス画像のレンダリングの前に該少なくとも１つのフォーカス画像レンダラを介して、実行される。そのような画像処理機能を実行することで、レンダリングされたコンテキスト画像およびフォーカス画像の品質を最適化できるようにすると有益である。また、該画像処理機能は、該少なくとも１つのコンテキスト画像レンダラ、該少なくとも１つのフォーカス画像レンダラ、該表示装置を介して表示される入力画像のうち、少なくとも１つのものの性質を考慮して選択される。
【００７２】
任意で、該少なくとも１つのコンテキスト画像レンダラに対する画像処理機能は、知覚されるコンテキスト画像品質を最適化するための少なくとも１つの機能を含んでもよく、該少なくとも１つの機能は、低域フィルタリング、色処理、ガンマ補正、および、レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の組合せの境界上に知覚される歪みを最小化するためのエッジ処理からなる群から選択される。
【００７３】
さらに任意で、該少なくとも１つのフォーカス画像レンダラに対する画像処理機能は、知覚されるフォーカス画像品質を最適化するための少なくとも１つの機能を含んでもよく、該少なくとも１つの機能は、画像の切抜き、画像鮮鋭化、色処理、ガンマ補正、および、レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の組合せの境界上に知覚される歪みを低減、例えば最小化、するためのエッジ処理からなる群から選択される。
光コンバイナ：
【００７４】
任意で、該少なくとも１つの光コンバイナは、レンダリングされたコンテキスト画像の投影を実質的に通過させ、レンダリングされたフォーカス画像の投影を実質的に反射するか、または、レンダリングされたフォーカス画像の投影を実質的に通過させ、レンダリングされたコンテキスト画像の投影を実質的に反射するか、のいずれかのように配置された少なくとも１つの第１光学素子を含む。該少なくとも１つの第１光学素子は、レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の光路を結合するように配置される。該少なくとも１つの第１光学素子をそのように配置することにより、レンダリングされたフォーカス画像を眼の中心窩およびその周囲に投影し、レンダリングされたコンテキスト画像を眼の網膜に投影することが容易になると有益である。眼の網膜において、中心窩はほんの小さな部分である。
【００７５】
任意で、該少なくとも１つの光コンバイナの該少なくとも１つの第１光学素子は、ハーフミラー、半透明膜、プリズム、偏光子、および光導波路のうち少なくとも１つとして実装される。一例として、該少なくとも１つの光コンバイナの該少なくとも１つの第１光学素子は、光導波路として実装してもよい。そのような場合、該光導波路は、レンダリングされたフォーカス画像の投影を反射することで、ユーザの眼の視野へと導くように配置してもよい。また、該光導波路は、コンテキスト画像がそれを通して可視であるように、透明であってもよい。したがって、該光導波路は半透明であってもよい。あるいは、該光導波路は、レンダリングされたコンテキスト画像の投影を反射することで、ユーザの眼の視野へと導くように配置してもよい。また、該光導波路は、フォーカス画像がそれを通して可視であるように、透明であってもよい。任意で、該光導波路は光学素子（例えば、マイクロプリズム、ミラー、回折光学素子など）を内部にさらに備える。任意で、該光導波路は傾斜可能および／または移動可能である。さらに任意で、該光導波路は、視覚的シーン内の少なくとも２つの異なる光学距離に対応するために、電気光学的に旋回可能である。
【００７６】
任意で、該少なくとも１つの光コンバイナは、該少なくとも１つの光コンバイナの該少なくとも１つの第１光学素子に対して、該少なくとも１つのフォーカス画像レンダラを移動させるための少なくとも１つの第３駆動部を備え、該表示装置の該処理部は、該少なくとも１つの第３駆動部を制御して、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。そのような場合、該少なくとも１つの第３駆動部は、眼の視線方向がある方向から別の方向にシフトするときに、該少なくとも１つのフォーカス画像レンダラを移動させるために用いられる。眼の視線方向のそのようなシフトにおいて、該少なくとも１つの光コンバイナおよび該少なくとも１つのフォーカス画像レンダラの配置によっては、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に投影されなくなることがある。したがって、視線方向がシフトしても該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に投影されるように、該表示装置の該処理部は、該少なくとも１つの第３駆動部を制御して、該少なくとも１つの第１光学素子に対して該少なくとも１つのフォーカス画像レンダラを移動させて、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。任意で、該表示装置の該処理部は、駆動信号（例えば、電流、油圧など）を生成することによって該少なくとも１つの第３駆動部を制御するように構成される。
【００７７】
一例において、該少なくとも１つの第３駆動部は、該少なくとも１つのフォーカス画像レンダラを該少なくとも１つの第１光学素子に近づけたり遠ざけたりするように移動させてもよい。別の例において、該少なくとも１つの第３駆動部は、該少なくとも１つのフォーカス画像レンダラを該少なくとも１つの第１光学素子に対して横方向に移動させてもよい。さらに別の例として、該少なくとも１つの第３駆動部は、該少なくとも１つのフォーカス画像レンダラを該少なくとも１つの第１光学素子に対して傾斜および／または回転させてもよい。
【００７８】
さらに任意で、該少なくとも１つの光コンバイナは、該少なくとも１つの第１光学素子と該少なくとも１つのフォーカス画像レンダラとの間の光路上に位置する少なくとも１つの第２光学素子と、該少なくとも１つの第１光学素子に対して該少なくとも１つの第２光学素子を移動させるための少なくとも１つの第４駆動部とを備える。任意で、該少なくとも１つの第２光学素子は、レンズ、プリズム、ミラー、およびビームスプリッタからなる群から選択される。また、そのような場合、該表示装置の該処理部は、該少なくとも１つの第４駆動部を制御して、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。したがって、該第２光学素子を駆動することで該レンダリングされたフォーカス画像の投影の光路が変更され、それによって、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影される。任意で、該表示装置の該処理部は、駆動信号（例えば、電流、油圧など）を生成することによって該少なくとも１つの第４駆動部を制御するように構成される。
【００７９】
例えば、該少なくとも１つの第２光学素子は、ハーフミラー（すなわち、該少なくとも１つの第２光学素子）と該少なくとも１つのフォーカス画像レンダラとの間の光路上に配置された２つのプリズムとして実装されてもよい。そのような例において、該ハーフミラー上の該レンダリングされたフォーカス画像の投影の場所を調整するために、該レンダリングされたフォーカス画像の投影の光路が、該２つのプリズムを通過した後に変わるようにしてもよい。また、該２つのプリズムは、該少なくとも１つの第２駆動部により、横断的および／または横方向に移動、回転、傾斜などされてもよい。
【００８０】
任意で、該少なくとも１つの光コンバイナは、該少なくとも１つの第１光学素子を移動させるための少なくとも１つの第５駆動部を備え、該表示装置の該処理部は、該少なくとも１つの第５駆動部を制御して、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。そのような場合、視線方向がシフトしても、該レンダリングされたフォーカス画像を眼の中心窩およびその周囲に容易に投影するために、該少なくとも１つの第５駆動部を用いて該少なくとも１つの第１光学素子を移動させる。任意で、該表示装置の該処理部は、駆動信号（例えば、電流、油圧など）を生成することによって該少なくとも１つの第５駆動部を制御するように構成される。
【００８１】
一例において、該少なくとも１つの第５駆動部は、該少なくとも１つの第１光学素子を該少なくとも１つのフォーカス画像レンダラに近づけたり遠ざけたりするように移動させてもよい。別の例において、該少なくとも１つの第５駆動部は、該少なくとも１つの第１光学素子を該少なくとも１つのフォーカス画像レンダラに対して横方向に移動させてもよい。さらに別の例において、該少なくとも１つの第５駆動部は、該少なくとも１つの第１光学素子を傾斜および／または回転させてもよい。
焦点レンズ：
【００８２】
また任意で、該表示装置は、該少なくとも１つの第１光学素子と該少なくとも１つのフォーカス画像レンダラとの間の光路上に位置する少なくとも１つの焦点レンズと、該少なくとも１つのフォーカス画像レンダラに対して該少なくとも１つの焦点レンズを移動させるための少なくとも１つの第６駆動部とを備える。そのような場合、該表示装置の該処理部は、該少なくとも１つの第６駆動部を制御して、該レンダリングされたフォーカス画像の投影の焦点を調整するように構成される。さらに任意で、該少なくとも１つの焦点レンズは、その特定の性質を利用して、該レンダリングされたフォーカス画像の投影の光路を変更することで、その投影の焦点を調整する。視度調整、非点収差補正などに対応するために、該レンダリングされたフォーカス画像の投影の焦点を調整できると有益である。任意で、該表示装置の該処理部は、駆動信号（例えば、電流、油圧など）を生成することによって該少なくとも１つの第６駆動部を制御するように構成される。
【００８３】
任意で、該表示装置の該処理部は、該少なくとも１つの焦点レンズに制御信号を適用することで、該少なくとも１つの焦点レンズの少なくとも１つの有効な光学特性を制御するように構成される。該少なくとも１つの有効な光学特性の例として、焦点距離、光パワーなどが含まれるが、それらに限らない。また、該制御信号は電気信号、油圧などでありうる。
【００８４】
任意で、該少なくとも１つの焦点レンズは液晶（Liquid Crystal：ＬＣ）レンズである。任意で、該少なくとも１つの焦点レンズは、該少なくとも１つの第１光学素子と該少なくとも１つのコンテキスト画像レンダラとの間の光路上に配置される。
【００８５】
任意で、該少なくとも１つのコンテキスト画像レンダラおよび該少なくとも１つのフォーカス画像レンダラの物理サイズ（または寸法）は、本明細書に上述した該表示装置の動作を制限するものではない。任意で、該レンダリングされたコンテキスト画像および／またはフォーカス画像それぞれが所望のサイズ、所望の光路、および／または所望の光学的深さで投影されるように、該コンテキスト画像および該フォーカス画像それぞれの投影の光路のレンズ（例えば、拡大レンズ、コリメートレンズなど）と共に物理的にサイズの小さいコンテキスト画像レンダラおよびフォーカス画像レンダラを用いてもよい。一例として、該少なくとも１つのフォーカス画像レンダラと該少なくとも１つの第１光学素子との間の該レンダリングされたフォーカス画像の投影の光路上にレンズ（例えば、凸レンズ）を配置してもよい。別の例として、該レンダリングされたフォーカス画像の投影をコリメートできるように、該フォーカス画像レンダラと該少なくとも１つの第１光学素子との間の、該レンダリングされたフォーカス画像の投影の光路上にコリメートレンズを配置してもよい。
【００８６】
本開示は、前述の方法にも関する。前述の様々な実施形態およびその変形は、該方法にも同様に当てはまる。
【００８７】
任意で、該方法は、該レンダリングされたコンテキスト画像の光学距離を調整するために、該表示装置の該少なくとも１つの第１制御可能レンズを制御することをさらに含む。該方法は、該レンダリングされたフォーカス画像の光学距離を調整するために、該表示装置の該少なくとも１つの第２制御可能レンズを制御することをさらに含んでもよい。
【００８８】
任意で、該方法において、該表示装置は、互いに近接して配置された２つのプリズムと、該２つのプリズムに関連付けられた少なくとも１つの駆動部とをさらに備える。該方法は、該少なくとも２つの異なる光学距離間を切り替えるために、該２つのプリズム間の距離を調整するように該少なくとも１つの駆動部を制御することをさらに含む。さらに任意で、該方法において、該少なくとも１つのコンテキスト画像レンダラおよび／または該少なくとも１つのフォーカス画像レンダラは、少なくとも第１画素セットと第２画素セットとを含む少なくとも１つのディスプレイとして実装される。該方法は、該第１画素セットによって第１光学距離を設け、該第２画素セットによって第２光学距離を設けるように、該少なくとも１つのディスプレイを制御することを含む。該第１光学距離は該第２光学距離と異なる。
【００８９】
さらに任意で、該方法において、該少なくとも１つのフォーカス画像レンダラは、画素配列を含む少なくとも１つのディスプレイとして実装される。該表示装置は、該少なくとも１つのディスプレイの該画素配列の前に配置された少なくとも１つのマイクロレンズ配列をさらに含む。該方法は、該フォーカス画像の少なくとも１つの領域に所望の光学距離が設けられるように、該画素配列の対応する画素によってレンダリングされた該フォーカス画像の該少なくとも１つの領域を拡大するために、該少なくとも１つのマイクロレンズ配列を用いることを含む。
【図面の詳細説明】
【００９０】
図１を参照すると、本開示の一実施形態による表示装置１００のアーキテクチャのブロック図が示されている。表示装置１００は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像レンダラ（コンテキスト画像レンダラ１０２として図示）と、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像レンダラ（フォーカス画像レンダラ１０４として図示）と、レンダリングされたコンテキスト画像の投影と、レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための少なくとも１つの光コンバイナ（光コンバイナ１０６として図示）とを備え、視覚的シーン内に少なくとも２つの異なる光学距離が設けられる。
【００９１】
図２を参照すると、本開示の別の実施形態による表示装置２００のアーキテクチャのブロック図が示されている。図示のとおり、表示装置２００は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像レンダラ（コンテキスト画像レンダラ２０２として図示）と、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像レンダラ（フォーカス画像レンダラ２０４として図示）と、少なくとも１つの光コンバイナ（光コンバイナ２０６として図示）と、視線方向を検出する手段２０８と、処理部２１０とを備える。処理部２１０は、少なくとも１つの光コンバイナ２０６および視線方向を検出する手段２０８と通信するように接続される。また、図示のとおり、処理部２１０は少なくとも１つのコンテキスト画像レンダラ２０２および少なくとも１つのフォーカス画像レンダラ２０４にも接続される。
【００９２】
図３Ａおよび図３Ｂを参照すると、本開示の一実施形態による表示装置の、ユーザの眼３０２に対する例示的な動作が示されている。図示のとおり、眼３０２の視線方向は実質的にユーザの前側、例えばユーザの正面に向いている。また、視線３０４は眼３０２の視線方向を示している。
【００９３】
図３Ａおよび図３Ｂには、フォーカスディスプレイ３０６として図示される少なくとも１つのフォーカス画像レンダラと、コンテキストディスプレイ３０８として図示される少なくとも１つのコンテキスト画像レンダラも示されている。また、表示装置は、光コンバイナ３１０として図示される少なくとも１つの光コンバイナを備えて示されている。この点において、任意で、少なくとも１つの光コンバイナ３１０は少なくとも１つの第１光学素子３１０Ａと少なくとも１つの第３駆動部３１０Ｂとを備える。動作時は、少なくとも１つのコンテキスト画像レンダラ３０８はコンテキスト画像を眼３０２に投影し、少なくとも１つのフォーカス画像レンダラ３０６はフォーカス画像を少なくとも１つの第１光学素子３１０Ａに投影する。図示のとおり、少なくとも１つの光コンバイナ３１０は、レンダリングされたフォーカス画像の投影が、入力画像の高精度視領域に実質的に相当するコンテキスト画像の領域３１２の投影と実質的に重なるように、コンテキスト画像の投影をフォーカス画像の投影と光学的に組み合わせるように配置される。領域３１２は、フォーカス画像の投影とコンテキスト画像の投影との間の歪みを防ぐために、コンテキスト画像の眼３０２への投影中に任意でマスクされる。また、少なくとも１つの第３駆動部３１０Ｂは、少なくとも１つの第１光学素子３１０Ａ上のレンダリングされたフォーカス画像の投影の場所を調整するように動作可能である。表示装置の処理部（図示せず）は、少なくとも１つの光コンバイナ３１０の少なくとも１つの第１光学素子３１０Ａに対して、少なくとも１つのフォーカス画像レンダラ３０６を移動させるように、少なくとも１つの第３駆動部３１０Ｂを制御するように構成される。
【００９４】
次に、図３Ｂには、図３Ａと比較して横方向にシフトされた眼３０２の視線方向が示されている。図示のとおり、視線方向のシフトを相殺するために、少なくとも１つのフォーカス画像レンダラ３０６は少なくとも１つの第３駆動部３１０Ｂによって少なくとも１つの第１光学素子３１０Ａに対して横方向に移動され、眼３０２の中心窩へのフォーカス画像の投影を継続する。したがって、視線方向のシフトに対応するために、領域３１２も少なくとも１つのコンテキスト画像レンダラ３０８上を任意で移動される。
【００９５】
図４を参照すると、本開示の一実施形態による表示装置を介してレンダリングおよび投影されるコンテキスト画像４０２およびフォーカス画像４０４の例示的な図が示されている。コンテキスト画像４０２は少なくとも１つのコンテキスト画像レンダラによってレンダリングされ、フォーカス画像４０４は少なくとも１つのフォーカス画像レンダラによってレンダリングされる。図示のとおり、コンテキスト画像４０２の角度寸法（すなわち、角度幅）はフォーカス画像４０４の角度寸法よりも大きい。また、フォーカス画像４０４は、表示装置のユーザの視線方向がフォーカスされる高精度視領域４０６に実質的に相当する。
【００９６】
コンテキスト画像４０２および／またはフォーカス画像４０４は矩形に限定されず、例えば、略楕円形、略円形、角を丸めた矩形などの任意の形状とすることができることを理解されたい。
【００９７】
図５Ａから図５Ｋを参照すると、本開示の様々な実施形態による表示装置５００の例示的な実装が示されている。図５Ａから図５Ｋは、明確さのために表示装置５００の実装の配置を簡略化したものであり、本明細書の請求の範囲を不当に制限するものではないことを当業者は理解されるであろう。当業者は、本開示の実施形態の多様な変形、変更、修正を認識されるであろう。
【００９８】
図５Ａを参照すると、本開示の一実施形態による表示装置５００の例示的実装が示されている。表示装置５００は、コンテキストディスプレイ５０２として実装された少なくとも１つのコンテキスト画像レンダラと、フォーカスディスプレイ５０４として実装された少なくとも１つのフォーカス画像レンダラと、少なくとも１つの光コンバイナ５０６を備えて示されている。動作時は、表示装置５００の処理部（図示せず）は、（ｉ）コンテキスト画像を少なくとも１つのコンテキスト画像レンダラ５０２にレンダリングし、（ｉｉ）フォーカス画像を少なくとも１つのフォーカス画像レンダラ５０４にレンダリングするように構成されている。少なくとも１つの光コンバイナ５０６は、前述のとおりレンダリングされたコンテキスト画像の投影と、レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するように動作可能である。また、コンテキスト画像およびフォーカス画像それぞれの投影の光路上にレンズ５０８が配置されている。
【００９９】
図５Ａから５Ｋを参照すると、少なくとも１つの光コンバイナ５０６は任意で第１光学素子５０６Ａ（ハーフミラーとして図示）を備える。
【０１００】
図５Ｂを参照すると、表示装置５００は、レンダリングされたコンテキスト画像の光学距離を調整する少なくとも１つの第１制御可能レンズ（第１制御可能レンズ５１０として図示）を備える。図示のとおり、少なくとも１つの第１制御可能レンズ５１０はレンダリングされたコンテキスト画像の投影の光路上に配置される。また、表示装置５００は、レンダリングされたフォーカス画像の光学距離を調整する少なくとも１つの第２制御可能レンズ（第２制御可能レンズ５１２として図示）を備える。図示のとおり、少なくとも１つの第２制御可能レンズ５１２は、レンダリングされたフォーカス画像の投影の光路上、例えば、少なくとも１つのフォーカス画像レンダラ５０４と第１光学素子５０６Ａとの間に配置されている。
【０１０１】
図５Ｃを参照すると、表示装置５００は任意で、第１光学素子５０６Ａと少なくとも１つのフォーカス画像レンダラ５０４との間の光路上に配置される少なくとも１つの焦点レンズ（焦点レンズ５１４として図示）と、焦点レンズ５１４を少なくとも１つのフォーカス画像レンダラ５０４に対して移動させるための少なくとも１つの第６駆動部５１６とを備える。表示装置５００の処理部は、少なくとも１つの第６駆動部５１６を制御して、レンダリングされたフォーカス画像の投影の焦点を調整するように構成される。
【０１０２】
また任意で、少なくとも１つの第１制御可能レンズ５１０は、少なくとも１つのコンテキスト画像レンダラ５０２と第１光学素子５０６Ａとの間の光路上に配置されている。そのような実装では、焦点レンズ５１４と少なくとも１つの第１制御可能レンズ５１０とによって形成されたレンズサブシステムを用いて、レンダリングされたフォーカス画像および／またはコンテキスト画像の投影の光路、光学距離、および／または焦点を調整することができるため、レンダリングされたフォーカス画像の投影を調整するために少なくとも１つのフォーカス画像レンダラ５０４を移動させる必要はない。
【０１０３】
図５Ｄを参照すると、表示装置５００は、互いに近接して配置された２つのプリズム５１８および５２０と、２つのプリズム５１８と５２０との間の距離を調整するための駆動部５２２とをさらに備える。図示のとおり、２つのプリズム５１８および５２０は、少なくとも１つのフォーカス画像レンダラ５０４と第１光学素子５０６Ａとの間の光路上に配置されている。少なくとも１つの駆動部５２２は、第１光コンバイナ５０６に対して２つのプリズム５１８および５２０を移動させる。
【０１０４】
図５Ｅを参照すると、少なくとも１つのフォーカス画像レンダラ５０４は、少なくとも１つのディスプレイ５０４Ａとして実装されている。少なくとも１つのディスプレイ５０４Ａは、画素配列（図示せず）と、少なくとも１つのディスプレイ５０４Ａの画素配列の前に配置された少なくとも１つのマイクロレンズ配列５０４Ｂとを備える。
【０１０５】
図５Ｆを参照すると、少なくとも光コンバイナ５０６は、第１光学素子５０６Ａ上のレンダリングされたフォーカス画像の投影の場所を調整するために、少なくとも１つのフォーカス画像レンダラ５０４を第１光学素子５０６Ａに対して移動させるための少なくとも１つの第３駆動部５０６Ｂを任意で備える。
【０１０６】
図５Ｇを参照すると、光コンバイナ５０６は、少なくとも１つの第２光学素子（第２光学素子５０６Ｃとして図示）を任意で備え、少なくとも１つの第４駆動部（図示せず）は、少なくとも１つの第２光学素子５０６Ｃを第１光学素子５０６Ａに対して動かすように制御可能である。また、少なくとも１つの第２光学素子５０６Ｃはミラー５２４として実装されている。
【０１０７】
図５Ｈを参照すると、少なくとも１つの第５駆動部（図示せず）は、第１光学素子５０６Ａを動かすように制御可能である。一例として、少なくとも１つの第５駆動部は、少なくとも１つの軸回りに第１光学素子５０６Ａを回転させる。
【０１０８】
図５Ｉおよび図５Ｊを参照すると、少なくとも１つのフォーカス画像レンダラは任意で、少なくとも１つのプロジェクタ（プロジェクタ５２６として図示）および少なくとも１つの投影スクリーン（投影スクリーン５２８として図示）として実装されている。図５Ｉでは、任意で、プリズム５３０が少なくとも１つのプロジェクタ５２６と少なくとも１つの投影スクリーン５２８との間の光路に配置されている。図５Ｊでは、任意で、回転可能ミラー５３２がプロジェクタ５２６と投影スクリーン５２８との間の光路に配置されている。
【０１０９】
図５Ｉのプリズム５３０と図５Ｊの回転可能ミラー５３２により、少なくとも１つの投影スクリーン５２８上のフォーカス画像の投影の場所を調整できることを理解されたい。
【０１１０】
図５Ｋを参照すると、少なくとも１つの第１光学素子は光導波路５０６Ｄとして実装されている。また、図示のとおり、光導波路５０６Ｄは光学素子５３４（例えば、マイクロプリズム、ミラー、回折光学素子など）を備える。
【０１１１】
図６を参照すると、本開示の一実施形態による表示装置を介した表示方法６００のステップが示されている。ステップ６０２において、少なくとも１つのコンテキスト画像レンダラにコンテキスト画像をレンダリングする。ここで、レンダリングされたコンテキスト画像の投影の角度幅は４０度から２２０度までの範囲である。ステップ６０４において、少なくとも１つのフォーカス画像レンダラにフォーカス画像をレンダリングする。ここで、レンダリングされたフォーカス画像の投影の角度幅は５度から６０度までの範囲である。ステップ６０６において、少なくとも１つの光コンバイナを用いて、レンダリングされたコンテキスト画像の投影と、レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成する。ここで、視覚的シーンは、その中に少なくとも２つの異なる光学距離が設けられるように作成される。
【０１１２】
ステップ６０２から６０６は単なる例示であり、本明細書の請求の範囲から逸脱することなく、１つ以上のステップを追加したり、１つ以上のステップを省略したり、１つ以上のステップを異なる順序で提供したりすることにより、他のステップを提供することも可能である。
【０１１３】
添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、前述した本開示の実施形態への修正が可能である。本開示の記述と特許請求の範囲で用いられる「含む」、「備える」、「包含する」、「有する」、「存在する」などの表現は、明示的に記載されていないアイテムや部品、構成要素も含まれうる包括的構成であると解釈されることを意図している。単数による表記は、複数の場合も関連すると解釈される。
【図１】
2020515090.tif 000003
【図２】
2020515090.tif 000004
【図３】
2020515090.tif 000005
【図４】
2020515090.tif 000006
【図５Ａ−５Ｆ】
2020515090.tif 000007
【図５Ｇ−５Ｊ】
2020515090.tif 000008
【図５Ｋ】
2020515090.tif 000009
【図６】
2020515090.tif 000010
【手続補正書】
【提出日】平成30年9月26日(2018.9.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
・  コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像レンダラと、
・  フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像レンダラと、
・  前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための少なくとも１つの光コンバイナと、
を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記視覚的シーンは、その中に少なくとも２つの異なる光学距離が設けられるように作成される、
表示装置であって、
・  視線方向を検出する手段と、
・  前記少なくとも１つの光コンバイナおよび前記視線方向を検出する手段と通信するように接続される処理部と、
をさらに備え、前記処理部は、
（ａ）  入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）  第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
（ｉ）  前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
（ｉｉ）  前記第２解像度は、前記第１解像度よりも高く、
（ｃ）  前記コンテキスト画像を前記少なくとも１つのコンテキスト画像レンダラに、かつ前記フォーカス画像を前記少なくとも１つのフォーカス画像レンダラに、実質的に同時にレンダリングし、一方で、前記少なくとも１つの光コンバイナを制御して、前記レンダリングされたフォーカス画像の投影が、前記入力画像の前記高精度視領域に実質的に相当する前記レンダリングされたコンテキスト画像の領域の投影と実質的に重なるように、前記レンダリングされたコンテキスト画像の投影と前記レンダリングされたフォーカス画像の投影を組み合わせる、
表示装置。
【請求項２】
前記レンダリングされたコンテキスト画像の光学距離を調整する少なくとも１つの第１制御可能レンズをさらに備える、請求項１に記載の表示装置。
【請求項３】
前記少なくとも１つの第１制御可能レンズの焦点距離は、前記少なくとも１つのコンテキスト画像レンダラのリフレッシュレートと実質的に同様のレートで調整される、請求項２に記載の表示装置。
【請求項４】
前記レンダリングされたフォーカス画像の光学距離を調整する少なくとも１つの第２制御可能レンズをさらに備える、請求項１から３のいずれかに記載の表示装置。
【請求項５】
前記少なくとも１つの第２制御可能レンズの焦点距離は、前記少なくとも１つのフォーカス画像レンダラのリフレッシュレートと実質的に同様のレートで調整される、請求項４に記載の表示装置。
【請求項６】
互いに近接して配置された２つのプリズムと、前記２つのプリズム間の距離を調整する少なくとも１つの駆動部とをさらに備え、
前記２つのプリズム間の距離は、前記少なくとも２つの異なる光学距離間を切り替えるように調整される、請求項１から５のいずれかに記載の表示装置。
【請求項７】
前記少なくとも１つのコンテキスト画像レンダラおよび／または前記少なくとも１つのフォーカス画像レンダラは、少なくとも第１画素セットと第２画素セットとを含む少なくとも１つのディスプレイとして実装され、
前記第１画素セットによって設けられる第１光学距離は、前記第２画素セットによって設けられる第２光学距離と異なる、請求項１から６のいずれかに記載の表示装置。
【請求項８】
前記少なくとも１つのフォーカス画像レンダラは、画素配列を含む少なくとも１つのディスプレイとして実装され、
前記表示装置は、前記少なくとも１つのディスプレイの前記画素配列の前に配置された少なくとも１つのマイクロレンズ配列をさらに含み、
前記少なくとも１つのマイクロレンズ配列は、前記フォーカス画像の少なくとも１つの領域に所望の光学距離が設けられるように、前記画素配列の対応する画素によってレンダリングされた前記フォーカス画像の前記少なくとも１つの領域を拡大するように配置される、請求項１から７のいずれかに記載の表示装置。
【請求項９】
少なくとも１つのコンテキスト画像レンダラと、少なくとも１つのフォーカス画像レンダラと、少なくとも１つの光コンバイナとを備える表示装置を介した表示方法であって、
（ｉ）  前記少なくとも１つのコンテキス画像レンダラにコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）  前記少なくとも１つのフォーカス画像レンダラにフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）  前記少なくとも１つの光コンバイナを用いて、前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成することと、
を含み、前記視覚的シーンは、その中に少なくとも２つの異なる光学距離が設けられるように作成され、
前記方法は更に、視線方向を検出することを含み、
前記方法は更に、
（ａ）  入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）  第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
（ｉ）  前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
（ｉｉ）  前記第２解像度は、前記第１解像度よりも高く、
（ｃ）  前記コンテキスト画像を前記少なくとも１つのコンテキスト画像レンダラに、かつ前記フォーカス画像を前記少なくとも１つのフォーカス画像レンダラに、実質的に同時にレンダリングし、一方で、前記少なくとも１つの光コンバイナを制御して、前記レンダリングされたフォーカス画像の投影が、前記入力画像の前記高精度視領域に実質的に相当する前記レンダリングされたコンテキスト画像の領域の投影と実質的に重なるように、前記レンダリングされたコンテキスト画像の投影と前記レンダリングされたフォーカス画像の投影を組み合わせる、
ことを含む、方法。
【請求項１０】
前記レンダリングされたコンテキスト画像の光学距離を調整するために、前記表示装置の少なくとも１つの第１制御可能レンズを制御することをさらに含む、請求項９に記載の方法。
【請求項１１】
前記レンダリングされたフォーカス画像の光学距離を調整するために、前記表示装置の少なくとも１つの第２制御可能レンズを制御することをさらに含む、請求項９または１０に記載の方法。
【請求項１２】
前記表示装置は、互いに近接して配置された２つのプリズムと、前記２つのプリズムに関連付けられた少なくとも１つの駆動部とをさらに備え、
前記方法は、前記少なくとも２つの異なる光学距離間を切り替えるために、前記２つのプリズム間の距離を調整するように前記少なくとも１つの駆動部を制御することをさらに含む、請求項９から１１のいずれかに記載の方法。
【請求項１３】
前記少なくとも１つのコンテキスト画像レンダラおよび／または前記少なくとも１つのフォーカス画像レンダラは、少なくとも第１画素セットと第２画素セットとを含む少なくとも１つのディスプレイとして実装され、
前記方法は、前記第１画素セットによって第１光学距離を設け、前記第２画素セットによって第２光学距離を設けるように、前記少なくとも１つのディスプレイを制御することを含み、
前記第１光学距離は該第２光学距離と異なる、請求項９から１２のいずれかに記載の方法。
【請求項１４】
前記少なくとも１つのフォーカス画像レンダラは、画素配列を含む少なくとも１つのディスプレイとして実装され、
前記表示装置は、前記少なくとも１つのディスプレイの前記画素配列の前に配置された少なくとも１つのマイクロレンズ配列をさらに含み、
前記方法は、前記フォーカス画像の少なくとも１つの領域に所望の光学距離が設けられるように、前記画素配列の対応する画素によってレンダリングされた前記フォーカス画像の前記少なくとも１つの領域を拡大するために、前記少なくとも１つのマイクロレンズ配列を用いることをさらに含む、請求項９から１３のいずれかに記載の方法。
【国際調査報告】
2020515090.tif 000011
2020515090.tif 000012
2020515090.tif 000013
2020515090.tif 000014
2020515090.tif 000015