(57)【要約】      （修正有）【課題】表示装置と、前記表示装置を介した表示方法とを提供する。【解決手段】前記表示装置は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタと、少なくとも１つの投影面と、画像操作部と、視線方向を検出するための手段と、前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部とを備える。前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である。前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。【選択図】図５
2018109746.tif 000002
【特許請求の範囲】
【請求項１】
コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、
フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタと、
少なくとも１つの投影面と、
画像操作部と、
視線方向を検出するための手段と、
前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部と、を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記処理部は、
（ａ）入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
-  前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域はマスクされ、
-  前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
-  前記第２解像度は、前記第１解像度よりも高く、
（ｃ）前記少なくとも１つのコンテキスト画像プロジェクタを介して、前記コンテキスト画像を前記少なくとも１つのコンテキストディスプレイまたは前記少なくとも１つの投影面にレンダリングし、
（ｄ）前記少なくとも１つのフォーカス画像プロジェクタを介して、前記フォーカス画像を前記少なくとも１つの投影面にレンダリングし、
（ｅ）前記画像操作部を制御して、前記少なくとも１つの投影面上の、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整し、
ここで、前記処理部は（ｃ）、（ｄ）、および（ｅ）を同時的に実行するように構成され、前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる、表示装置。
【請求項２】
前記少なくとも１つのフォーカス画像プロジェクタは、少なくとも２つのフォーカス画像プロジェクタを備え、前記少なくとも２つのフォーカス画像プロジェクタのうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される、請求項１に記載の表示装置。
【請求項３】
前記少なくとも１つのコンテキスト画像プロジェクタは、少なくとも２つのコンテキスト画像プロジェクタを備え、前記少なくとも２つのコンテキスト画像プロジェクタのうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される、請求項１または２に記載の表示装置。
【請求項４】
前記少なくとも１つのコンテキスト画像プロジェクタは、ユーザの左眼と右眼で共有して用いるように配置される、請求項１または２に記載の表示装置。
【請求項５】
前記少なくとも１つの投影面は、少なくとも２つの投影面を含み、前記少なくとも２つの投影面のうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される、請求項１から４のいずれかに記載の表示装置。
【請求項６】
前記少なくとも１つの投影面は、前記少なくとも１つのコンテキストディスプレイの一部として実装される、請求項１、２、または５に記載の表示装置。
【請求項７】
前記少なくとも１つの投影面は、偏光子、位相子、光学フィルムのうち少なくとも１つを用いて実装される、請求項１から６のいずれかに記載の表示装置。
【請求項８】
前記画像操作部は、前記少なくとも１つの投影面に対して前記フォーカス画像プロジェクタを移動させるための少なくとも１つの第１駆動部を備え、前記処理部は、前記少なくとも１つの第１駆動部を制御して、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整するように構成される、請求項１から７のいずれかに記載の表示装置。
【請求項９】
前記画像操作部は、
前記少なくとも１つの投影面と前記少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する少なくとも１つの光学素子であって、レンズ、プリズム、ミラー、ビームスプリッタ、および光導波路からなる群から選択される光学素子と、
前記少なくとも１つのフォーカス画像プロジェクタに対して前記少なくとも１つの光学素子を移動させるための少なくとも１つの第２駆動部と、
を備え、前記処理部は、前記少なくとも１つの第２駆動部を制御して、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整するように構成される、請求項１から８のいずれかに記載の表示装置。
【請求項１０】
前記画像操作部は、前記少なくとも１つの投影面を移動させるための少なくとも１つの第３駆動部を備え、
前記処理部は、前記少なくとも１つの第３駆動部を制御して、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整するように構成される、請求項１から９のいずれかに記載の表示装置。
【請求項１１】
前記少なくとも１つの投影面と前記少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する少なくとも１つの焦点レンズと、
前記少なくとも１つのフォーカス画像プロジェクタに対して前記少なくとも１つの焦点レンズを移動させるための少なくとも１つの第４駆動部と、を備え
前記処理部は、前記少なくとも１つの第４駆動部を制御して、前記レンダリングされたフォーカス画像の投影の焦点を調整するように構成される、請求項１から１０のいずれかに記載の表示装置。
【請求項１２】
前記少なくとも１つの第１光学素子と前記少なくとも１つのフォーカスディスプレイとの間の光路上に位置する少なくとも１つの焦点レンズを備え、
前記処理部は、前記少なくとも１つの焦点レンズに制御信号を適用することで、前記少なくとも１つの焦点レンズの少なくとも１つの有効な光学特性を制御するように構成される、請求項２から１０のいずれかに記載の表示装置。
【請求項１３】
前記少なくとも１つのコンテキストディスプレイは、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースディスプレイ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースディスプレイ、マイクロＯＬＥＤベースディスプレイ、およびＬＣｏＳ（Liquid Crystal on Silicon）ベースディスプレイからなる群から選択される、請求項１から１２のいずれかに記載の表示装置。
【請求項１４】
前記コンテキスト画像プロジェクタおよび／または前記フォーカス画像プロジェクタはそれぞれ独立して、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）ベースプロジェクタ、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースプロジェクタ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースプロジェクタ、ＬＣｏＳ（Liquid Crystal on Silicon）ベースプロジェクタ、ＤＬＰ（Digital Light Processing）ベースプロジェクタ、およびレーザープロジェクタからなる群から選択される、請求項１から１３のいずれかに記載の表示装置。
【請求項１５】
少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカス画像プロジェクタと、少なくとも１つの投影面と、画像操作部と、視線方向を検出するための手段とを備える表示装置を介した表示方法であって、
（ｉ）前記少なくとも１つのコンテキスト画像プロジェクタまたは前記少なくとも１つのコンテキストディスプレイを介してコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）前記少なくとも１つのフォーカス画像プロジェクタを介してフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置をすることと、
（ｉｖ）視線方向を検出し、前記検出した視線方向を用いて入力画像の高精度視領域を決定することと、
（ｖ）第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理することであって、
-  前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域をマスクすることと、
-  前記入力画像の前記高精度視領域に実質的に相当する前記フォーカス画像を生成することと、を含む、処理することと、
（ｖｉ）前記画像操作部を制御して、前記少なくとも１つの投影面上の、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整することと、を含み、
ここで（ｉ）、（ｉｉ）、および（ｖｉ）は同時的に実行される、
方法。
【請求項１６】
前記レンダリングされたフォーカス画像の投影の場所は、前記画像操作部の少なくとも１つの第１駆動部を制御して、前記少なくとも１つの投影面に対して前記フォーカス画像プロジェクタを移動させることによって調整される、請求項１５に記載の方法。
【請求項１７】
前記レンダリングされたフォーカス画像の投影の場所は、前記画像操作部の少なくとも１つの第２駆動部を制御して、前記少なくとも１つのフォーカス画像プロジェクタに対して、前記画像操作部の少なくとも１つの光学素子を移動させることによって調整され、ここで前記少なくとも１つの光学素子は、前記少なくとも１つの投影面と前記少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置し、および／または、
前記レンダリングされたフォーカス画像の投影の場所は、前記画像操作部の少なくとも１つの第３駆動部を制御して、前記少なくとも１つの投影面を移動させることによって調整される、請求項１５または１６に記載の方法。
【請求項１８】
前記表示装置の少なくとも１つの第４駆動部を制御して、前記少なくとも１つのフォーカス画像プロジェクタに対して、前記表示装置の少なくとも１つの焦点レンズを移動させることによって、前記レンダリングされたフォーカス画像の投影の焦点を調整することを含み、ここで前記少なくとも１つの焦点レンズは、前記少なくとも１つの投影面と前記少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する、請求項１５から１７のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願で開示される事項は、概して視覚情報の提示に関し、より具体的には、コンテキスト画像プロジェクタまたはコンテキストディスプレイと、フォーカス画像プロジェクタとを備える表示装置に関する。また、本開示は前述の表示装置を介した表示方法にも関する。
【背景】
【０００２】
近年、ゲーム、教育、軍事訓練、保健医療の外科手術訓練などの用途における、仮想環境のシミュレーションのための技術が急速に進歩している。具体的には、バーチャルリアリティ、拡張現実などの技術は、装置のユーザに模擬環境（「バーチャルワールド」とも呼ばれる）を提示する。この模擬環境は、シミュレートされたものを構成する画像を、装置内のディスプレイ上にレンダリングすることによって提示される。このような装置として、ヘッドマウントバーチャルリアリティ装置、バーチャルリアリティ眼鏡、拡張現実ヘッドセットなどが挙げられる。このような装置は、立体視などの現代の技術を用いて模擬環境への没入感をユーザに提示するように構成される。多くの場合、そのような装置の視野は一般的に約１００度であり、これは一般的に約１８０度である人間の視野より大幅に狭い。
【０００３】
また、そのような既存の装置には一定の制限がある。例として、そのような装置に用いられる従来のディスプレイはサイズが小さい。具体的には、そのようなディスプレイによって提供される画素密度は約１５角画素密度であるが、人の眼の中心窩の画素密度は約６０角画素密度である。したがって、画素密度の低さにより、そのようなディスプレイは人の眼の視力を模倣することができない。また、画素密度の高いディスプレイは、そのような装置に収容するには寸法が大きすぎる。別の例として、そのような装置に用いられるフォーカスプラスコンテキストスクリーンなどの従来のディスプレイでは、高解像度のディスプレイが低解像度のディスプレイに埋め込まれている。しかしながら、そのようなフォーカスプラスコンテキストスクリーン内における高解像度のディスプレイの位置は、特定の位置に固定されていることが多い。また、そのようなフォーカスプラスコンテキストディスプレイ上にレンダリングされる画像は、高解像度ディスプレイと低解像度ディスプレイそれぞれの縁部で非連続的に見える。そのため、そのような既存の装置は十分に開発されておらず、人間の視覚系を模倣する能力は制限されている。
【０００４】
前述の説明を鑑みて、模擬環境を実現するための装置に用いられる従来のディスプレイに関する前述の欠点を克服する必要がある。
【摘要】
【０００５】
本開示は、表示装置を提供することを目標とする。本開示はまた、少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカス画像プロジェクタとを備える表示装置を介した表示方法を提供することを目標とする。本開示は、模擬環境を実現するための装置に用いられる従来のディスプレイにおける、画素密度と物理サイズのトレードオフと、画像の不連続性という既存の問題に対する解決策を提供することを目標とする。本開示の目的は、従来技術に見られる問題を少なくとも部分的に克服し、人間の視覚系を忠実に模倣する表示装置を提供する解決策を提供することである。
【０００６】
一態様では、本願に開示される実施例は表示装置を提供する。前記表示装置は、
コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、
フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタと、
少なくとも１つの投影面と、
画像操作部と、
視線方向を検出するための手段と、
前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部と、を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記処理部は、
（ａ）入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
-  前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域はマスクされ、
-  前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
-  前記第２解像度は、前記第１解像度よりも高く、
（ｃ）前記少なくとも１つのコンテキスト画像プロジェクタを介して、前記コンテキスト画像を前記少なくとも１つのコンテキストディスプレイまたは前記少なくとも１つの投影面にレンダリングし、
（ｄ）前記少なくとも１つのフォーカス画像プロジェクタを介して、前記フォーカス画像を前記少なくとも１つの投影面にレンダリングし、
（ｅ）前記画像操作部を制御して、前記少なくとも１つの投影面上の、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整し、
ここで、前記処理部は（ｃ）、（ｄ）、および（ｅ）を同時的に実行するように構成され、前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。
【０００７】
別の態様では、本願に開示される実施例は、少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカス画像プロジェクタと、少なくとも１つの投影面と、画像操作部と、視線方向を検出するための手段とを備える表示装置を介した表示方法を提供する。前記方法は、
（ｉ）前記少なくとも１つのコンテキスト画像プロジェクタまたは前記少なくとも１つのコンテキストディスプレイを介してコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）前記少なくとも１つのフォーカス画像プロジェクタを介してフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置をすることと、
（ｉｖ）視線方向を検出し、前記検出した視線方向を用いて入力画像の高精度視領域を決定することと、
（ｖ）第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理することであって、
-  前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域をマスクすることと、
-  前記入力画像の前記高精度視領域に実質的に相当する前記フォーカス画像を生成することと、を含む、処理することと、
（ｖｉ）前記画像操作部を制御して、前記少なくとも１つの投影面上の、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整することと、を含み、
ここで（ｉ）、（ｉｉ）、および（ｖｉ）は同時的に実行される。
【０００８】
本願に開示される実施例は、従来技術における前述の問題を実質的に排除または少なくとも部分的に対処し、人間の視覚系を模倣するために、模擬環境を実現するための装置に用いられる表示装置内で能動的な中心窩視を実行できるようにする。
【０００９】
本開示の別の態様、利点、特徴、および目的は、以下に添付する特許請求の範囲と併せて解釈される、例示的実施例の図面および詳細な説明から明らかにされるであろう。
【００１０】
本開示の特徴は、添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、様々に組合せ可能であることを理解されたい。
【図面の簡単な説明】
【００１１】
前記の摘要と、下記の例示的な実施例の詳細な説明は、添付の図面と共に読むことでよりよく理解される。本開示の説明の目的で、本開示の例示的な構成を図面に示している。しかしながら、本開示は、ここに開示する具体的な方法および手段に限定されるわけではない。また、図面は縮尺に従ったものではないことを、当業者は理解されるであろう。可能なかぎり、同様の要素は同番号で示している。
【００１２】
以下、本開示における実施例を、単なる例示として、かつ添付の図面を参照して説明する。
【００１３】
【図１】本開示の一実施例による表示装置の例示的アーキテクチャのブロック図である。
【図２】本開示の一実施例による表示装置の例示的アーキテクチャのブロック図である。
【００１４】
【図３】本開示の様々な実施例による表示装置の例示的な実装を示す図である。
【図４】本開示の様々な実施例による表示装置の例示的な実装を示す図である。
【図５】本開示の様々な実施例による表示装置の例示的な実装を示す図である。
【図６】本開示の様々な実施例による表示装置の例示的な実装を示す図である。
【図７】本開示の様々な実施例による表示装置の例示的な実装を示す図である。
【００１５】
【図８】本開示の一実施例による表示装置を介した表示方法のステップを示す図である。
【００１６】
添付図面において下線の引かれた番号は、その番号が位置するアイテムやその番号が隣接するアイテムを表すために使用される。下線が引かれていない番号は、その番号と線で結ばれて特定されるアイテムに関連している。番号に下線が引かれず矢印と共に記されている場合、その番号は矢印が指すアイテム全般を特定するために使用される。
【実施例の詳細説明】
【００１７】
以下の詳細説明は、本願に開示される実施例およびそれらの実施例を実装できる方法について説明している。本開示を実行する態様の一部を開示しているが、本開示を実行または実践する他の実施例も可能であることを当業者は認識されるであろう。
【００１８】
一態様では、本願に開示される実施例は表示装置を提供する。前記表示装置は、
コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、
フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタと、
少なくとも１つの投影面と、
画像操作部と、
視線方向を検出するための手段と、
前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部と、を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記処理部は、
（ａ）入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
-  前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域はマスクされ、
-  前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
-  前記第２解像度は、前記第１解像度よりも高く、
（ｃ）前記少なくとも１つのコンテキスト画像プロジェクタを介して、前記コンテキスト画像を前記少なくとも１つのコンテキストディスプレイまたは前記少なくとも１つの投影面にレンダリングし、
（ｄ）前記少なくとも１つのフォーカス画像プロジェクタを介して、前記フォーカス画像を前記少なくとも１つの投影面にレンダリングし、
（ｅ）前記画像操作部を制御して、前記少なくとも１つの投影面上の、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整し、
ここで、前記処理部は（ｃ）、（ｄ）、および（ｅ）を同時的に実行するように構成され、前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。
【００１９】
別の態様では、本願に開示される実施例は、少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカス画像プロジェクタと、少なくとも１つの投影面と、画像操作部と、視線方向を検出するための手段とを備える表示装置を介した表示方法を提供する。前記方法は、
（ｉ）前記少なくとも１つのコンテキスト画像プロジェクタまたは前記少なくとも１つのコンテキストディスプレイを介してコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）前記少なくとも１つのフォーカス画像プロジェクタを介してフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置をすることと、
（ｉｖ）視線方向を検出し、前記検出した視線方向を用いて入力画像の高精度視領域を決定することと、
（ｖ）第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理することであって、
-  前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域をマスクすることと、
-  前記入力画像の前記高精度視領域に実質的に相当する前記フォーカス画像を生成することと、を含む、処理することと、
（ｖｉ）前記画像操作部を制御して、前記少なくとも１つの投影面上の、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整することと、を含み、
ここで（ｉ）、（ｉｉ）、および（ｖｉ）は同時的に実行される。
【００２０】
本開示は、表示装置と、プロジェクタを用いる該表示装置を介した表示方法とを提供する。本明細書に記述する表示装置の動作は、コンテキスト画像および／またはフォーカス画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）のサイズによって制限されない。したがって、該表示装置は、バーチャルリアリティ装置などの小型の装置に容易に実装可能である。また、該表示装置は、装置のユーザの眼の視線方向を検出することによって、人間の視覚系の能動的な中心窩視をシミュレートする。さらに、前述の表示装置を用いて表示された画像は、フォーカス画像およびコンテキスト画像それぞれの投影の光路を適切に最適化することにより、連続的に表示される。具体的には、フォーカス画像およびコンテキスト画像それぞれの投影の光路は、２つ以上のプロジェクタを用いて個別に最適化してもよい。したがって、前述の表示装置は、人間の視覚系に類似する視線随伴性を忠実に模倣するように動作可能である。前述の表示装置を用いた表示方法は実行が容易であり、能動的な中心窩視を確実に実行できる。また、該表示装置は安価であり、製造も容易である。
【００２１】
該表示装置は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタとを備える。また、該レンダリングされたコンテキスト画像の投影の角度幅は４０度から２２０度までの範囲であり、該レンダリングされたフォーカス画像の投影の角度幅は５度から６０度までの範囲である。該レンダリングされたフォーカス画像の投影と、該レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。具体的には、該視覚的シーンは、ヘッドマウントバーチャルリアリティ装置、バーチャルリアリティ眼鏡、拡張現実ヘッドセットなどの装置のユーザに提示される模擬環境内のシーンに相当してもよい。さらに具体的には、該視覚的シーンはユーザの眼に投影されてもよい。その場合、該装置は該表示装置を備えてもよい。
【００２２】
任意で、該レンダリングされたコンテキスト画像の投影の角度幅は２２０度より大きくてもよい。その場合、該コンテキスト画像をレンダリングするための該コンテキストディスプレイの角度寸法は２２０度より大きくてもよい。一実施例によると、該レンダリングされたコンテキスト画像の投影の角度幅は、例えば４０、５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、または１７０度から、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、２００、２１０、または２２０度までであってもよい。別の実施例によると、該レンダリングされたフォーカス画像の投影の角度幅は、例えば５、１０、１５、２０、２５、３０、３５、４０、４５、または５０度から、１５、２０、２５、３０、３５、４０、４５、５０、５５、または６０度までであってもよい。
【００２３】
該少なくとも１つのコンテキスト画像プロジェクタまたは該少なくとも１つのコンテキストディスプレイと、該少なくとも１つのフォーカス画像プロジェクタとを配置することによって、該レンダリングされたフォーカス画像の投影と、該レンダリングされたコンテキスト画像の投影とを適切に組み合わせることが容易になる。前述の組合せが最適ではない場合、作成される視覚的シーンはゆがんで見えることがある。
【００２４】
一実施例では、該コンテキスト画像は、ユーザの眼の動きに関連するサッカードに対応するために、前述の角度幅内で該表示装置を介してレンダリングおよび投影される広角画像に関する。別の実施例では、該フォーカス画像は、ユーザの眼の動きに関連するマイクロサッカードに対応するために、前述の角度幅内で該表示装置を介してレンダリングおよび投影される画像に関する。具体的には、該フォーカス画像の寸法は該コンテキスト画像よりも小さい。また、該コンテキスト画像および該フォーカス画像それぞれの投影を組み合わせることで、該コンテキスト画像と該フォーカス画像によって集合的に視覚的シーンが構成される。
【００２５】
一実施例では、本明細書で用いる「コンテキストディスプレイ」という用語は、該コンテキスト画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）に関する。具体的には、該少なくとも１つのコンテキストディスプレイを、該コンテキスト画像が投影されるように構成してもよい。一実施例によると、該コンテキストディスプレイは、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースディスプレイ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースディスプレイ、マイクロＯＬＥＤベースディスプレイ、およびＬＣｏＳ（Liquid Crystal on Silicon）ベースディスプレイからなる群から選択してもよい。
【００２６】
別の実施例では、本明細書で用いる「コンテキスト画像プロジェクタ」という用語は、関連付けられたディスプレイ（またはスクリーン）に該コンテキスト画像をレンダリングするための光学装置に関する。一実施例によると、該コンテキスト画像プロジェクタは、ＬＣＤベースプロジェクタ、ＬＥＤベースプロジェクタ、ＯＬＥＤベースプロジェクタ、ＬＣｏＳベースプロジェクタ、ＤＬＰ（Digital Light Processing）ベースプロジェクタ、およびレーザープロジェクタからなる群から選択してもよい。
【００２７】
一実施例では、該少なくとも１つのコンテキスト画像プロジェクタを用いて、ユーザの左眼と右眼に個別のコンテキスト画像を投影してもよい。該個別のコンテキスト画像は集合的に該コンテキスト画像を構成すると理解されてもよい。一実施例によると、該少なくとも１つのコンテキスト画像プロジェクタは、少なくとも２つのコンテキスト画像プロジェクタを備えてもよい。該少なくとも２つのコンテキスト画像プロジェクタのうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される。具体的には、少なくとも１つのコンテキスト画像プロジェクタを、ユーザの片眼への該コンテキスト画像のレンダリング専用に（すなわち全面的に）用いるように、該少なくとも２つのコンテキスト画像プロジェクタを用いてもよい。該少なくとも２つのコンテキスト画像プロジェクタによって、該コンテキスト画像を構成する該個別のコンテキスト画像（例えば、ユーザの左眼用のコンテキスト画像とユーザの右眼用のコンテキスト画像）の光路を個別に最適化することができる。
【００２８】
別の実施例では、該少なくとも１つのコンテキスト画像プロジェクタを、ユーザの左眼と右眼で共有して用いるように配置してもよい。例えば、１つのコンテキスト画像プロジェクタを共有して用いて、それに関連付けられたディスプレイ（またはスクリーン）に該コンテキスト画像をレンダリングしてもよい。そのような例では、該１つのコンテキスト画像プロジェクタは、それに関連付けられるディスプレイ（またはスクリーン）上に、該コンテキスト画像を集合的に構成する個別（ユーザの左眼用と右眼用）のコンテキスト画像を投影してもよい。
【００２９】
任意の時点で、該少なくとも１つのコンテキストディスプレイと該少なくとも１つのコンテキスト画像プロジェクタのうち１つのみが、該コンテキスト画像のレンダリングに用いられることを理解されたい。具体的には、任意の時点で、該コンテキスト画像は、該コンテキストディスプレイか、該少なくとも１つのコンテキスト画像プロジェクタに関連付けられた該ディスプレイ（またはスクリーン）かのいずれかにレンダリングされてもよい。
【００３０】
一実施例によると、本明細書で用いる「フォーカス画像プロジェクタ」という用語は、関連付けられたディスプレイ（またはスクリーン）に該フォーカス画像を投影するための光学装置に関する。一実施例によると、該フォーカス画像プロジェクタは、ＬＣＤベースプロジェクタ、ＬＥＤベースプロジェクタ、ＯＬＥＤベースプロジェクタ、ＬＣｏＳベースプロジェクタ、ＤＬＰベースプロジェクタ、およびレーザープロジェクタからなる群から選択してもよい。
【００３１】
一実施例では、該少なくとも１つのコンテキスト画像プロジェクタに関連付けられた該ディスプレイ（またはスクリーン）と、該少なくとも１つのフォーカス画像プロジェクタに関連付けられた該ディスプレイ（またはスクリーン）は、同じ（すなわちプロジェクタ間で共有）であってもよい。具体的には、そのような実施例では、共通／共有ディスプレイ（またはスクリーン）に、該少なくとも１つのコンテキスト画像プロジェクタによって該コンテキスト画像を、該少なくとも１つのフォーカス画像プロジェクタによって該フォーカス画像を、レンダリングしてもよい。
【００３２】
本開示の一実施例では、該少なくとも１つのフォーカス画像プロジェクタは、少なくとも２つのフォーカス画像プロジェクタを備えてもよい。該少なくとも２つのフォーカス画像プロジェクタのうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される。具体的には、少なくとも１つのフォーカス画像プロジェクタを、ユーザの片眼への該フォーカス画像のレンダリング専用に（すなわち全面的に）用いるように、該少なくとも２つのフォーカス画像プロジェクタを用いてもよい。該少なくとも２つのフォーカス画像プロジェクタによって、該フォーカス画像を構成する個別のフォーカス画像（例えば、ユーザの左眼用のフォーカス画像とユーザの右眼用のフォーカス画像）の光路を個別に最適化することができる。
【００３３】
任意で、該少なくとも１つのフォーカス画像プロジェクタがレーザープロジェクタである場合、該少なくとも１つのフォーカス画像プロジェクタをユーザの両眼に用いるように配置してもよい。具体的には、ユーザの両眼用の個別のフォーカス画像が同時的に投影されるように、該レーザープロジェクタを操作してもよい。例えば、１つのレーザープロジェクタを該少なくとも１つのフォーカス画像プロジェクタとして用いて、（ユーザの左眼と右眼それぞれに対する）個別のフォーカス画像を同時的に投影してもよい。
【００３４】
該表示装置は、少なくとも１つの投影面と、画像操作部と、視線方向を検出するための手段と、該画像操作部および該視線方向を検出するための手段と通信するように接続される処理部とをさらに備える。
【００３５】
一実施例では、該処理部は、該表示装置の動作を制御するように構成されるハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せであってもよい。具体的には、該処理部は、該視覚的シーンを処理してユーザの眼に表示（または投影）する該表示装置の動作を制御してもよい。該表示装置を、ユーザに関連付けられた装置内で用いる場合、該処理部は該装置の外側にあってもそうでなくてもよい。
【００３６】
任意で、該処理部は記憶部と通信するように接続してもよい。一実施例では、該記憶部は、該処理部によって処理され表示される、視覚的シーンの画像および／または該コンテキスト画像と該フォーカス画像の格納に適切なハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せであってもよい。そのような実施例では、該記憶部は該装置内にあっても、遠隔に配置してもよい。
【００３７】
一実施例では、該視線方向を検出するための手段は、アイトラッカーなどの、ユーザの眼の視線方向および眼の動きを測定する特別な機器に関するものであってもよい。具体的には、視線方向を正確に検出することで、該表示装置が視線随伴性を忠実に実現できるようにしてもよい。また、該視線方向を検出するための手段は、眼と接触するように、または接触しないように配置してもよい。該視線方向を検出するための手段の例として、モーションセンサ付コンタクトレンズ、眼の瞳の位置をモニタするカメラなどが挙げられる。
【００３８】
該処理部は、入力画像を受信し、該検出された視線方向を用いて該入力画像の高精度視領域を決定するように構成される。一実施例では、本明細書で用いる「入力画像」という用語は、該表示装置を介して表示される該視覚的シーンの画像に関する。例えば、該入力画像はユーザの眼に表示されてもよい。一実施例では、該入力画像は、ユーザに関連付けられた該装置に接続された画像センサから受信してもよい。具体的には、該画像センサ（パススルーデジタルカメラの画像センサなど）は、眼に投影される該入力画像として、実世界の環境の画像を取得してもよい。別の実施例では、該入力画像は、該処理部と通信するように接続された該記憶部から受信してもよい。具体的には、該記憶部を、ＭＰＥＧ（Moving Picture Experts Group）、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）、ＢＭＰ（Bitmap file format）を含むがこれらに限らない、適切なフォーマットの該入力画像を格納するように構成してもよい。そのような実施例では、該入力画像は任意でコンピュータ生成画像であってもよい。
【００３９】
該入力画像の受信後、該処理部は該検出された視線方向を用いて該入力画像の高精度視領域を決定する。一実施例では、該高精度視領域は、該検出された眼の視線方向が焦点を結ぶことができる、該入力画像の領域に関する。具体的には、該高精度視領域は、該入力画像内の関心領域（または凝視点）であってもよく、眼の中心窩に投影されてもよい。また、該高精度視領域は、該入力画像内の焦点領域であってもよい。したがって、該高精度視領域は、該入力画像が人間の視覚系によって見られるときに、該入力画像の他の領域よりもさらに詳細に解像される領域に関することが明らかであろう。
【００４０】
また、該処理部は、該入力画像の該高精度視領域の決定後、第１解像度を有する該コンテキスト画像と、第２解像度を有する該フォーカス画像とを生成するために該入力画像を処理するように構成される。該第２解像度は該第１解像度より高い。該フォーカス画像は、該入力画像の該高精度視領域に実質的に相当する。また、該コンテキスト画像は、該入力画像を低解像度で表現したものに相当する。したがって、該コンテキスト画像は、該入力画像の該高精度視領域ならびに該入力画像の残りの領域を含む。具体的には、該コンテキスト画像のサイズは該フォーカス画像のサイズより大きい。該フォーカス画像は、該検出された眼の視線方向が焦点を結ぶことができる、該コンテキスト画像の一部分のみに相当するからである。
【００４１】
一実施例では、該第１解像度および該第２解像度は、角分解能の観点から理解されるであろう。具体的には、該第２解像度を示す角画素密度は、該第１解像度を示す角画素密度よりも高い。例として、ユーザの眼の中心窩は２度の視野に相当し、５７角画素密度で１１４画素に等しい角断面幅の該フォーカス画像の投影を受ける。したがって、該フォーカス画像に相当する角画素サイズは、２／１１４すなわち０．０１７である。また、この例では、眼の網膜は１８０度の視野に相当し、１５角画素密度で２７００画素に等しい角断面幅の該コンテキスト画像の投影を受ける。したがって、該コンテキスト画像に相当する角画素サイズは、１８０／２７００すなわち０．０６７である。計算のとおり、該コンテキスト画像に相当する角画素サイズは、該フォーカス画像に相当する角画素サイズよりかなり大きいことが明らかである。ただし、知覚される角分解能を総画素数で示したものが、該フォーカス画像より該コンテキスト画像のほうが大きいのは、該フォーカス画像が、該入力画像の該高精度視領域に相当する該コンテキスト画像の一部分のみに相当するためである。
【００４２】
該コンテキスト画像および該フォーカス画像の生成と共に、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域がマスクされる。具体的には、該マスクは、該処理部によって該入力画像の該高精度視領域に相当する該コンテキスト画像の領域を隠す（または隠蔽する）ことによって実行してもよい。例えば、該入力画像の該高精度視領域に相当する該コンテキスト画像の画素を暗く（または黒く）してマスクしてもよい。また、該フォーカス画像は該入力画像の該高精度視領域に実質的に相当し、該第２解像度は該第１解像度より高い。
【００４３】
該処理部は、該入力画像の処理後、該少なくとも１つのコンテキスト画像プロジェクタを介して、該コンテキスト画像を該少なくとも１つのコンテキストディスプレイまたは該少なくとも１つの投影面にレンダリングするように構成される。また、該処理部は、該少なくとも１つのフォーカス画像プロジェクタを介して、該フォーカス画像を該少なくとも１つの投影面にレンダリングするように構成される。任意の時点で、該少なくとも１つのコンテキストディスプレイか、該少なくとも１つの投影面および該少なくとも１つのコンテキスト画像プロジェクタかのいずれかを、該コンテキスト画像のレンダリングに用いてもよいことを理解されたい。
【００４４】
一実施例によると、本明細書で用いる「投影面」という用語は、該コンテキスト画像および該フォーカス画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）に関する。具体的には、該少なくとも１つの投影面は、該コンテキスト画像および該フォーカス画像の光学的なレンダリングに適切な透過率と反射率の仕様を有してもよい。例として、該少なくとも１つの投影面は非透過（すなわち不透明な）面であってもよい。別の例では、該少なくとも１つの投影面は半透明面であってもよい。任意で、該少なくとも１つの投影面は、偏光子、位相子、光学フィルムのうち少なくとも１つを用いて実装してもよい。
【００４５】
一実施例では、該少なくとも１つの投影面は、該レンダリングされたコンテキスト画像の投影を実質的に通過させ、該レンダリングされたフォーカス画像の投影を実質的に反射するように配置してもよい。そのような実施例では、該コンテキスト画像は、該少なくとも１つの投影面の裏側から該投影面に投影されてもよく、該フォーカス画像は該少なくとも１つの投影面の表側から該投影面に投影されてもよい。別の実施例では、該少なくとも１つの投影面は、該レンダリングされたフォーカス画像の投影を実質的に通過させ、該レンダリングされたコンテキスト画像の投影を実質的に反射するように配置してもよい。そのような実施例では、該フォーカス画像は、該少なくとも１つの投影面の裏側から該投影面に投影されてもよく、該コンテキスト画像は該少なくとも１つの投影面の表側から該投影面に投影されてもよい。
【００４６】
一実施例によると、該少なくとも１つの投影面は、該レンダリングされたコンテキスト画像とフォーカス画像両方の投影を実質的に通過させるように配置してもよい。そのような実施例では、該コンテキスト画像と該フォーカス画像の両方を、該少なくとも１つの投影面の裏側から該投影面に投影してもよい。別の実施例によると、該少なくとも１つの投影面は、該レンダリングされたコンテキスト画像とフォーカス画像両方の投影を実質的に反射するように配置してもよい。そのような実施例では、該コンテキスト画像と該フォーカス画像の両方を、該少なくとも１つの投影面の表側から該投影面に投影してもよい。
【００４７】
本開示の一実施例によると、該少なくとも１つの投影面は、少なくとも２つの投影面を含んでもよい。該少なくとも２つの投影面のうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される。具体的には、該少なくとも２つの投影面のうち少なくとも１つを、ユーザの左眼用のコンテキスト画像およびフォーカス画像のレンダリングに用いてもよい。同様に、該少なくとも２つの投影面のうち少なくとも１つを、ユーザの右眼用のコンテキスト画像およびフォーカス画像のレンダリングに用いてもよい。任意で、該コンテキスト画像および／または該フォーカス画像それぞれの投影を通過させるために、該少なくとも２つの投影面のうち少なくとも１つを半透明にしてもよい。
【００４８】
一実施例では、該少なくとも１つの投影面を、該少なくとも１つのコンテキストディスプレイの一部として実装する。そのような実施例では、該処理部によって、該少なくとも１つのコンテキスト画像プロジェクタを用いることなく、該コンテキスト画像を該少なくとも１つのコンテキストディスプレイにレンダリングしてもよい。また、そのような実施例では、該少なくとも１つのコンテキストディスプレイを、該フォーカス画像のレンダリングを促進するように構成してもよい。
【００４９】
該処理部は、該コンテキスト画像および該フォーカス画像のレンダリング後、該画像操作部を制御して、該少なくとも１つの投影面上の、該レンダリングされたコンテキスト画像の該マスクされた領域の投影に、該レンダリングされたフォーカス画像の投影が実質的に重なるように、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。さらに、該処理部は、該コンテキスト画像のレンダリングと、該フォーカス画像のレンダリングと、該画像操作部の制御を同時的に実行するように構成される。具体的には、該レンダリングされたコンテキスト画像とフォーカス画像それぞれの投影を組み合わせて、該入力画像の投影を構成してもよい。該コンテキスト画像および該フォーカス画像を同時的にレンダリングするのは、それらの投影の組合せにおける時間の遅延を防ぐためである。
【００５０】
該レンダリングされたコンテキスト画像の投影の角度幅は、該レンダリングされたフォーカス画像の投影の角度幅よりも大きい。これは、該レンダリングされたフォーカス画像は通常、眼の中心窩およびその周囲に投影され、該レンダリングされたコンテキスト画像は眼の網膜に投影されることに起因するであろう。眼の網膜において、中心窩はほんの小さな部分である。具体的には、該レンダリングされたコンテキスト画像とフォーカス画像とを組み合わせて該入力画像を構成し、それを眼に投影することで該入力画像を投影してもよい。
【００５１】
一実施例では、本明細書で用いる「画像操作部」という用語は、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影を制御するための機器（光学素子、機構部品など）に関する。具体的には、該画像操作部は少なくとも１つの素子／部品を含んでもよい。任意で、該画像操作部は、該少なくとも１つの投影面上の該レンダリングされた該コンテキスト画像の投影を制御するために動作可能であってもよい。
【００５２】
前述の実施例では、該画像操作部が、該レンダリングされたフォーカス画像の投影と、該レンダリングされたコンテキスト画像の該マスクされた領域の投影とを実質的に重ねることで、該入力画像の該高精度視領域のゆがみを防止する。具体的には、該入力画像の該高精度視領域が、低解像度の該レンダリングされたコンテキスト画像と、高解像度の該レンダリングされたフォーカス画像の両方の中で表現される。同じ領域の低解像度画像と高解像度画像それぞれの投影を重ねる（重畳する）と、該同じ領域の外観にゆがみが生じる。また、高解像度の該レンダリングされたフォーカス画像は、低解像度の該レンダリングされたコンテキスト画像より、該入力画像の該高精度視領域に関する情報をより多く含む場合がある。したがって、高解像度の該レンダリングされたフォーカス画像をゆがみなしで投影するために、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域がマスクされる。
【００５３】
一実施例において前述したように、該処理部を、該表示された入力画像の該高精度視領域と、該表示された入力画像の残りの領域との間の遷移領域の継ぎ目（すなわち縁部）が最小になるように、該入力画像の該高精度視領域に相当する該コンテキスト画像の領域をマスクするように構成してもよい。該表示された入力画像の該高精度視領域は該フォーカス画像の投影（および該コンテキスト画像の該マスクされた領域）に相当し、該表示された入力画像の残りの領域は該コンテキスト画像の投影に相当することを理解されたい。具体的には、該コンテキスト画像と該フォーカス画像を重畳する際に該遷移領域の継ぎ目を最小にして、該表示された入力画像が連続的に表示されるように、該マスクは徐々に段階的に変化するように実行するべきである。例えば、該処理部は、該入力画像の該高精度視領域に相当する該コンテキスト画像の画素を大幅に暗くし、該入力画像の該高精度視領域からの距離が増すにつれて、該画素の暗さの程度を徐々に減じてもよい。該レンダリングされたコンテキスト画像およびフォーカス画像の投影の重畳（または重なり）の位置合せおよび外観が不適切および／または不連続である場合、該表示された入力画像も同様に不適切になるであろう。
【００５４】
任意で、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域のマスクは、該遷移領域において、該コンテキスト画像と該フォーカス画像との間で逆の値を有する線形の透明マスクブレンド、ユーザの眼に自然に感知されにくい形状を含むステルス（またはカムフラージュ）パターンなどを用いて実行してもよい。
【００５５】
一実施例では、該画像操作部は、該少なくとも１つの投影面に対して該フォーカス画像プロジェクタを移動させるための少なくとも１つの第１駆動部を備えてもよく、該処理部は、該少なくとも１つの第１駆動部を制御して、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。具体的には、該少なくとも１つの第１駆動部は、眼の視線方向がある方向から別の方向にシフトするときに、該フォーカス画像プロジェクタを移動させてもよい。そのような場合、該フォーカス画像プロジェクタおよび該少なくとも１つの投影面の配置によっては、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に投影されなくなることがある。したがって、視線方向がシフトしても該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に投影されるように、該処理部は、該少なくとも１つの第１駆動部を制御して、該少なくとも１つの投影面に対して該フォーカス画像プロジェクタを移動させて、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整してもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第１駆動部を制御してもよい。
【００５６】
例として、該少なくとも１つの第１駆動部は、該フォーカス画像プロジェクタを該少なくとも１つの投影面に近づけたり遠ざけたりするように移動させてもよい。別の例として、該少なくとも１つの第１駆動部は、該フォーカス画像プロジェクタを該少なくとも１つの投影面に対して横方向に移動させてもよい。さらに別の例として、該少なくとも１つの第１駆動部は、該フォーカス画像プロジェクタを該少なくとも１つの投影面に対して傾斜および／または回転させてもよい。
【００５７】
一実施例によると、該画像操作部は、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する少なくとも１つの光学素子と、該少なくとも１つのフォーカス画像プロジェクタに対して該少なくとも１つの光学素子を移動させるための少なくとも１つの第２駆動部とを備えてもよい。該少なくとも１つの光学素子は、レンズ、プリズム、ミラー、ビームスプリッタ、および光導波路からなる群から選択される。そのような実施例では、該処理部は、該少なくとも１つの第２駆動部を制御して、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。具体的には、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影されるように、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の光路を該少なくとも１つの光学素子が変更してもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第２駆動部を制御してもよい。
【００５８】
例えば、投影面とフォーカス画像プロジェクタとの間の光路にプリズムを設けてもよい。具体的には、該投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するために、該レンダリングされたフォーカス画像の投影の光路が、該プリズムを通過した後に変わるようにしてもよい。また、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影されるように、第２駆動部によって該プリズムを縦方向および／または横方向に移動、回転、傾斜などさせてもよい。
【００５９】
例えば、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する該少なくとも１つの光学素子は、光導波路であってもよい。具体的には、該光導波路は、該フォーカス画像の投影を通過させ、該少なくとも１つの投影面上の該レンダリングされたフォーカス画象の投影の場所を調整するように配置してもよい。したがって、該光導波路は半透明であってもよい。一実施例では、該光導波路はマイクロプリズム、ミラー、回折光学素子などの光学素子を内部にさらに備えてもよい。
【００６０】
一実施例では、該画像操作部は、該少なくとも１つの投影面を移動させるための少なくとも１つの第３駆動部を備え、該処理部は、該少なくとも１つの第３駆動部を制御して、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成されてもよい。具体的には、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影されるように、該少なくとも１つの第３駆動部によって該少なくとも１つの投影面を移動させてもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第３駆動部を制御してもよい。
【００６１】
例として、該少なくとも１つの第３駆動部は、該少なくとも１つの投影面を該少なくとも１つのフォーカス画像プロジェクタに近づけたり遠ざけたりするように移動させてもよい。別の例として、該少なくとも１つの第３駆動部は、該少なくとも１つの投影面を該少なくとも１つのフォーカス画像プロジェクタに対して横方向に移動させてもよい。さらに別の例として、該少なくとも１つの第３駆動部は、該少なくとも１つの投影面を傾斜および／または回転させてもよい。
【００６２】
一実施例によると、該表示装置は、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する少なくとも１つの焦点レンズと、該少なくとも１つのフォーカス画像プロジェクタに対して該少なくとも１つの焦点レンズを移動させるための少なくとも１つの第４駆動部とを備えてもよい。また、そのような実施例では、該処理部は、該少なくとも１つの第４駆動部を制御して、該レンダリングされたフォーカス画像の投影の焦点を調整するように構成される。具体的には、該少なくとも１つの焦点レンズは、その特定の性質を利用して、該レンダリングされたフォーカス画像の投影の光路を変更することで、その投影の焦点を調整してもよい。より具体的には、視度調整、非点収差補正などに対応するために、該レンダリングされたフォーカス画像の投影の焦点を調整してもよい。また、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第４駆動部を制御してもよい。
【００６３】
別の実施例によると、該表示装置は、該少なくとも１つの第１光学素子と該少なくとも１つのフォーカスディスプレイとの間の光路上に位置する該少なくとも１つの焦点レンズを備えてもよく、該処理部は、該少なくとも１つの焦点レンズに制御信号を適用することで、該少なくとも１つの焦点レンズの少なくとも１つの有効な光学特性を制御するように構成される。具体的には、該少なくとも１つの焦点レンズの該有効な光学特性には、焦点距離、光パワーなどが含まれてもよいが、それらに限らない。また、そのような実施例では、該制御信号は電気信号、油圧などであってもよい。
【００６４】
一実施例では、該少なくとも１つの焦点レンズは液晶（Liquid Crystal：ＬＣ）レンズなどであってもよい。任意で、該少なくとも１つの焦点レンズは、該少なくとも１つの第１光学素子と該少なくとも１つのコンテキストディスプレイとの間の光路上に位置してもよい。
【００６５】
一実施例では、該処理部は、該少なくとも１つの投影面に対して画像処理機能を実行してもよい。具体的には、該画像処理機能は、該コンテキスト画像および該フォーカス画像を該少なくとも１つの投影面にレンダリングする前に実行してもよい。より具体的には、そのような画像処理機能を実行することで、該レンダリングされたコンテキスト画像およびフォーカス画像の品質を最適化してもよい。したがって、該少なくとも１つの投影面の性質と、該入力画像の性質とを考慮して、該画像処理機能を選択してもよい。
【００６６】
一実施例によると、該少なくとも１つの投影面に対する画像処理機能は、知覚されるコンテキスト画像および／またはフォーカス画像の品質を最適化するための少なくとも１つの機能を含んでもよく、該少なくとも１つの機能は、低域フィルタリング、色処理、およびガンマ補正からなる群から選択される。一実施例では、該少なくとも１つの投影面に対する該画像処理機能は、該レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の組合せの境界上に知覚されるゆがみを最小化するための、エッジ処理をさらに含んでもよい。
【００６７】
本説明は、前述の方法にも関する。前述の様々な実施例およびその変形は、該方法にも同様に当てはまる。より具体的には、該レンダリングされたフォーカス画像の投影の場所は、該画像操作部の少なくとも１つの第１駆動部を制御して、該少なくとも１つの投影面に対して該フォーカス画像プロジェクタを移動させることによって調整することができる。
【００６８】
別の実施例によると、該レンダリングされたフォーカス画像の投影の場所は、該画像操作部の少なくとも１つの第２駆動部を制御して、該少なくとも１つのフォーカス画像プロジェクタに対して、該画像操作部の少なくとも１つの光学素子を移動させることによって調整され、ここで該少なくとも１つの光学素子は、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置し、および／または、該レンダリングされたフォーカス画像の投影の場所は、該画像操作部の少なくとも１つの第３駆動部を制御して、該少なくとも１つの投影面を移動させることによって調整される。
【００６９】
該方法は、該表示装置の少なくとも１つの第４駆動部を制御して、該少なくとも１つのフォーカス画像プロジェクタに対して、該表示装置の少なくとも１つの焦点レンズを移動させることによって、該レンダリングされたフォーカス画像の投影の焦点を調整することを含んでもよく、ここで該少なくとも１つの焦点レンズは、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する。
【図面の詳細な説明】
【００７０】
図１を参照すると、本開示の一実施例による表示装置１００の例示的アーキテクチャのブロック図が示されている。表示装置１００は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイ１０２と、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタ１０４とを備える。レンダリングされたフォーカス画像の投影と、レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。
【００７１】
図２を参照すると、本開示の別の実施例による表示装置２００の例示的アーキテクチャのブロック図が示されている。表示装置２００は、少なくとも１つの投影面２０２と、少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイ２０４と、少なくとも１つのフォーカス画像プロジェクタ２０６と、画像操作部２０８と、視線方向を検出するための手段２１０と、処理部２１２とを備える。処理部２１２は、画像操作部２０８および視線方向を検出するための手段２１０と通信するように接続される。また、処理部２１２は、少なくとも１つの投影面２０２、少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイ２０４、および少なくとも１つのフォーカス画像プロジェクタ２０６と接続されてもよい。
【００７２】
図３を参照すると、本開示の一実施例による表示装置３００の例示的実装が示されている。図示のとおり、表示装置３００は、少なくとも１つの投影面（投影面３０２として図示）と、少なくとも１つのコンテキスト画像プロジェクタ（コンテキスト画像プロジェクタ３０４として図示）と、少なくとも１つのフォーカス画像プロジェクタ（フォーカス画像プロジェクタ３０６として図示）と、視線方向を検出するための手段（図示しない）と、処理部（図示しない）と、画像操作部とを備える。画像操作部は、少なくとも１つの第１駆動部（図示しない）と、少なくとも１つの光学素子（光学素子３０８として図示）と、少なくとも１つの第２駆動部（図示しない）とを備える。例えば、光学素子３０８は、レンズ、プリズム、ミラー、ビームスプリッタ、および光導波路からなる群から選択される。表示装置３００の処理部は、コンテキスト画像プロジェクタ３０４を介して投影面３０２にコンテキスト画像３１０をレンダリングし、フォーカス画像プロジェクタ３０６を介して投影面３０２にフォーカス画像３１２をレンダリングするように構成される。また、表示装置３００の処理部は、第２駆動部（図示しない）を制御して、投影面３０２上のレンダリングされたフォーカス画像３１２の投影の場所を調整するように構成される。図示のとおり、コンテキスト画像３１０とフォーカス画像３１２の両方は、投影面３０２の同じ側から投影される。
【００７３】
図４を参照すると、本開示の別の実施例による表示装置４００の例示的実装が示されている。図示のとおり、表示装置４００は、少なくとも１つの投影面（投影面４０２として図示）と、少なくとも１つのコンテキスト画像プロジェクタ（コンテキスト画像プロジェクタ４０４として図示）と、少なくとも１つのフォーカス画像プロジェクタ（フォーカス画像プロジェクタ４０６として図示）と、視線方向を検出するための手段（図示しない）と、処理部（図示しない）と、画像操作部（図示しない）とを備える。表示装置４００の処理部は、コンテキスト画像プロジェクタ４０４を介して投影面４０２にコンテキスト画像４０８をレンダリングし、フォーカス画像プロジェクタ４０６を介して投影面４０２にフォーカス画像４１０をレンダリングするように構成される。図示のとおり、コンテキスト画像４０８は投影面４２０の表側から投影され、フォーカス画像４１０は投影面４０２の裏側から投影される。
【００７４】
図５を参照すると、本開示の別の実施例による表示装置５００の例示的実装が示されている。図示のとおり、表示装置５００は、少なくとも２つの投影面（投影面５０２Ａおよび５０２Ｂとして図示）を含む少なくとも１つの投影面と、少なくとも１つのコンテキスト画像プロジェクタ（コンテキスト画像プロジェクタ５０４として図示）と、少なくとも２つのフォーカス画像プロジェクタ（２つのフォーカス画像プロジェクタ５０６Ａおよび５０６Ｂとして図示）を含む少なくとも１つのフォーカス画像プロジェクタと、視線方向を検出するための手段（図示しない）と、処理部（図示しない）と、画像操作部（図示しない）とを備える。また、少なくとも２つの投影面の投影面５０２Ａはユーザの左眼に用いるように配置され、少なくとも２つの投影面の投影面５０２Ｂはユーザの右眼に用いるように配置される。さらに、少なくとも２つのフォーカス画像プロジェクタのうち、フォーカス画像プロジェクタ５０６Ａはユーザの左眼に用いるように配置され、フォーカス画像プロジェクタ５０６Ｂはユーザの右眼に用いるように配置される。表示装置５００の処理部は、コンテキスト画像プロジェクタ５０４を介して、コンテキスト画像（２つのコンテキスト画像５０８Ａおよび５０８Ｂとして図示）を２つの投影面５０２Ａおよび５０２Ｂにそれぞれレンダリングするように構成される。その場合、コンテキスト画像５０８Ａはユーザの左眼に用いられ、コンテキスト画像５０８Ｂはユーザの右眼に用いられる。また、表示装置５００の処理部は、２つのフォーカス画像プロジェクタ５０６Ａおよび５０６Ｂを介して、フォーカス画像（２つのフォーカス画像５１０Ａおよび５１０Ｂとして図示）を２つの投影面５０２Ａおよび５０２Ｂにそれぞれレンダリングするように構成される。その場合、フォーカス画像５１０Ａはユーザの左眼に用いられ、フォーカス画像５１０Ｂはユーザの右眼に用いられる。図示のとおり、コンテキスト画像５０８Ａおよび５０８Ｂとフォーカス画像５１０Ａおよび５１０Ｂのすべては、少なくとも１つの投影面の同じ側から投影される。
【００７５】
図６を参照すると、本開示の別の実施例による表示装置６００の例示的実装が示されている。図示のとおり、表示装置６００は、少なくとも１つのコンテキストディスプレイ（コンテキストディスプレイ６０２として図示）の一部として実装される少なくとも１つの投影面と、少なくとも２つのフォーカス画像プロジェクタ（２つのフォーカス画像プロジェクタ６０４Ａおよび６０４Ｂとして図示）を含む少なくとも１つのフォーカス画像プロジェクタと、視線方向を検出するための手段（図示しない）と、処理部（図示しない）と、画像操作部（図示しない）とを備える。表示装置６００の処理部は、コンテキスト画像６０６をコンテキストディスプレイ６０２にレンダリングするように構成される。また、表示装置６００の処理部は、２つのフォーカス画像プロジェクタ６０４Ａおよび６０４Ｂを介して、フォーカス画像（２つのフォーカス画像６０８Ａおよび６０８Ｂとして図示）を、コンテキストディスプレイ６０２の一部として実装される少なくとも１つの投影面にそれぞれレンダリングするように構成される。その場合、フォーカス画像６０８Ａはユーザの左眼に用いられ、フォーカス画像６０８Ｂはユーザの右眼に用いられる。図示のとおり、フォーカス画像６０８Ａと６０８Ｂの両方は、コンテキストディスプレイ６０２の一部として実装された少なくとも１つの投影面の同じ側から投影される。
【００７６】
図７を参照すると、本開示の別の実施例による表示装置７００の例示的実装が示されている。図示のとおり、表示装置７００は、少なくとも１つのコンテキストディスプレイの一部として実装された少なくとも１つの投影面７０２と、少なくとも１つのフォーカス画像プロジェクタ７０４とを備える。また、表示装置７００は画像操作部を備える。この画像操作部は、少なくとも１つの投影面７０２と少なくとも１つのフォーカス画像プロジェクタ７０４との間の光路に位置する少なくとも１つの光学素子７０６を備える。図示のとおり、少なくとも１つの光学素子７０６は光導波路である。また、表示装置７００の処理部は、少なくとも１つの第２駆動部（図示しない）を制御して、少なくとも１つの投影面７０２上のレンダリングされたフォーカス画像の投影の場所を調整するように構成される。少なくとも１つの光導波路７０６（または図示された光導波路）は、マイクロプリズム、ミラー、回折光学素子などの光学素子７０８を内部にさらに備える。
【００７７】
図８を参照すると、本開示の一実施例による表示装置（図１の表示装置１００など）を介した表示方法８００のステップが示されている。ステップ８０２において、少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイを介してコンテキスト画像をレンダリングする。ここで、レンダリングされたコンテキスト画像の投影の角度幅は４０度から２２０度までの範囲である。ステップ８０４において、少なくとも１つのフォーカス画像プロジェクタを介してフォーカス画像をレンダリングする。ここで、レンダリングされたフォーカス画像の投影の角度幅は５度から６０度までの範囲である。ステップ８０６において、レンダリングされたフォーカス画像の投影と、レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。
【００７８】
ステップ８０２から８０６は単なる例示であり、本明細書の請求の範囲から逸脱することなく、１つ以上のステップを追加したり、１つ以上のステップを省略したり、１つ以上のステップを異なる順序で提供したりすることにより、他のステップを提供することも可能である。例として、方法８００において、レンダリングされたフォーカス画像の投影の場所は、画像操作部の少なくとも１つの第１駆動部を制御して、少なくとも１つの投影面に対してフォーカス画像プロジェクタを移動させることによって調整してもよい。別の例として、方法８００において、レンダリングされたフォーカス画像の投影の場所は、画像操作部の少なくとも１つの第２駆動部を制御して、少なくとも１つのフォーカス画像プロジェクタに対して、画像操作部の少なくとも１つの光学素子を移動させることによって調整してもよく、ここで少なくとも１つの光学素子は、少なくとも１つの投影面と少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する。さらに別の例として、方法８００において、レンダリングされたフォーカス画像の投影の場所は、画像操作部の少なくとも１つの第３駆動部を制御して、少なくとも１つの投影面を移動させることによって調整してもよい。任意で、方法８００は、表示装置の少なくとも１つの第４駆動部を制御して、少なくとも１つのフォーカス画像プロジェクタに対して、表示装置の少なくとも１つの焦点レンズを移動させることによって、レンダリングされたフォーカス画像の投影の焦点を調整することを含んでもよく、ここで少なくとも１つの焦点レンズは、少なくとも１つの投影面と少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する。
【００７９】
添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、前述した本願に開示される実施例への修正が可能である。
【図１】
2018109746.tif 000003
【図２】
2018109746.tif 000004
【図３】
2018109746.tif 000005
【図４】
2018109746.tif 000006
【図５】
2018109746.tif 000007
【図６】
2018109746.tif 000008
【図７】
2018109746.tif 000009
【図８】
2018109746.tif 000010
【外国語明細書】
2018109746000001.pdf