(57)【要約】拡張現実ヘッドアップディスプレイを提供するディスプレイ構成のための実施形態を開示する。一例では、再構成可能なディスプレイシステムは、ディスプレイ、可動光学系、ディスプレイと可動光学系との間に位置決めされる光学素子、可動光学系の物理的位置を制御するように構成されるレンズアクチュエータ、ならびにプロセッサ及びメモリを備えるディスプレイコントローラを含み、このメモリは、レンズアクチュエータが再構成可能なディスプレイシステムのユーザ入力及び／または動的条件に基づいて選択される位置及び／または配向に可動光学系を移動させるように制御する、プロセッサによって実行可能な命令を格納し、これらの命令は、ディスプレイからの画像光の出力が光学素子及び可動光学系を通過して透明面上に衝突し、可視画像を生成するように制御することをさらに実行可能である。【選択図】図３
2021523396.tif 000002
【特許請求の範囲】
【請求項１】
３次元拡張現実エクスペリエンスを提供するための再構成可能なディスプレイシステムであって、
ディスプレイ、
可動光学系、
前記ディスプレイと前記可動光学系との間に位置決めされる光学素子、
前記可動光学系の物理的位置を制御するように構成されるレンズアクチュエータ、及び
プロセッサ及びメモリを備えるディスプレイコントローラ、
を備え、
前記メモリは前記レンズアクチュエータが、前記再構成可能なディスプレイシステムのユーザ入力及び／または動的条件に基づいて選択される位置及び／または配向に前記可動光学系を移動させるように制御する、前記プロセッサによって実行可能な命令を格納し、前記命令は前記ディスプレイからの画像光の出力が前記光学素子及び前記可動光学系を通過して透明面上に衝突し、可視画像を生成するように制御することをさらに実行可能である、前記ディスプレイシステム。
【請求項２】
前記再構成可能なディスプレイシステムは、車両内に含まれ、前記透明面は、前記車両のウインドシールドを含む、請求項１に記載の再構成可能なディスプレイシステム。
【請求項３】
前記再構成可能なディスプレイシステムの前記動的条件は、前記車両のシャーシの構成を含む、請求項２に記載の再構成可能なディスプレイシステム。
【請求項４】
前記再構成可能なディスプレイシステムの前記動的条件は、前記ウインドシールド上の周囲光の量を含む、請求項２に記載の再構成可能なディスプレイシステム。
【請求項５】
前記動的条件は、前記ウインドシールド上のグレア位置をさらに含み、前記可動光学系の前記選択された位置及び／または配向は、前記グレア位置から離隔される前記ウインドシールドの位置に前記画像光を指向するように選択される、請求項４に記載の再構成可能なディスプレイシステム。
【請求項６】
前記再構成可能なディスプレイシステムの前記動的条件は、前記再構成可能なディスプレイシステムのユーザのパラメータを含む、請求項２に記載の再構成可能なディスプレイシステム。
【請求項７】
発光ダイオードのマトリックスを備える前記ディスプレイ用のバックライトをさらに備える、請求項１に記載の再構成可能なディスプレイシステム。
【請求項８】
前記命令は、前記再構成可能なディスプレイシステムの現在の、または所期の熱負荷が閾値を上回ると決定することに応答して、前記マトリックスの１つ以上の発光ダイオードを選択的にオフにすることをさらに実行可能である、請求項７に記載の再構成可能なディスプレイシステム。
【請求項９】
視線追跡センサからユーザ焦点の位置のインディケーションを受信するように構成される視線追跡モジュールをさらに備え、前記命令は前記ディスプレイからの前記画像光の出力が前記光学素子及び前記可動光学系を通過して前記透明面上に衝突し、前記ユーザ焦点に基づく連続面上に３次元画像として前記可視画像を生成するように制御することをさらに実行可能である、請求項１に記載の再構成可能なディスプレイシステム。
【請求項１０】
前記ディスプレイは第一ディスプレイであり、前記再構成可能なディスプレイシステムは第二ディスプレイをさらに備え、前記命令は、前記１つ以上の動的条件に基づいて前記第一ディスプレイ及び前記第二ディスプレイを選択的に有効にすることをさらに実行可能である、請求項１に記載の再構成可能なディスプレイシステム。
【請求項１１】
前記第一ディスプレイは有機発光ダイオード（ＯＬＥＤ）ディスプレイであり、前記第二ディスプレイは液晶ディスプレイ（ＬＣＤ）であり、前記命令は、周囲光が閾値を下回ることを検出することに応答して前記ＯＬＥＤディスプレイのみを係合すること、及び前記周囲光が前記閾値を上回ることを検出することに応答して前記ＬＣＤのみを係合することをさらに実行可能である、請求項１０に記載の再構成可能なディスプレイシステム。
【請求項１２】
再構成可能なディスプレイシステムを制御するための方法であって、
レンズアクチュエータが前記再構成可能なディスプレイシステムの可動光学系を、前記再構成可能なディスプレイシステムのユーザ入力及び／または動的条件に基づいて選択される位置及び／または配向に移動させるように制御すること、及び
ディスプレイからの画像光の出力が光学素子及び前記可動光学系を通過して透明面上に衝突し、可視画像を生成するように制御すること、
を備える、前記方法。
【請求項１３】
前記再構成可能なディスプレイシステムの前記動的条件は、前記再構成可能なディスプレイシステムを含む車両のシャーシの構成を含む、請求項１２に記載の方法。
【請求項１４】
前記再構成可能なディスプレイシステムの前記動的条件は、前記透明面上に周囲光の量を含む、請求項１２に記載の方法。
【請求項１５】
前記動的条件は、前記透明面上のグレア位置をさらに含み、前記可動光学系の前記選択された位置及び／または配向は、前記グレア位置から離隔される前記透明面の位置に前記画像光を指向するように選択される、請求項１４に記載の方法。
【請求項１６】
前記再構成可能なディスプレイシステムの前記動的条件は、前記再構成可能なディスプレイシステムのユーザのパラメータを含む、請求項１２に記載の方法。
【請求項１７】
前記１つ以上の動的条件に基づいて前記再構成可能なディスプレイシステムの第一ディスプレイまたは第二ディスプレイのうちの１つを選択的に有効にすることをさらに備え、前記第一ディスプレイは前記第二ディスプレイとは異なるタイプのディスプレイである、請求項１２に記載の方法。
【請求項１８】
車両内に３次元拡張現実エクスペリエンスを提供するための再構成可能なディスプレイシステムであって、
ディスプレイ、
可動光学系、
前記ディスプレイと前記可動光学系との間に位置決めされ、前記ディスプレイからの画像光を左目画像及び右目画像に分割するように構成される光学素子、
前記可動光学系の物理的位置を制御するように構成されるレンズアクチュエータ、及び
プロセッサ及びメモリを備えるディスプレイコントローラ、
を備え、
前記メモリは前記レンズアクチュエータが前記可動光学系を前記車両のユーザ入力及び／または動的条件に基づいて選択される位置及び／または配向に移動させるように制御する、前記プロセッサによって実行可能な命令を格納し、前記命令は前記ディスプレイからの前記画像光の出力が前記光学素子及び前記可動光学系を通過して前記車両のウインドシールド上に衝突し、３次元画像を生成するように制御することをさらに実行可能である、前記ディスプレイシステム。
【請求項１９】
前記動的条件は、前記車両内の前記ユーザの位置をさらに含み、前記可動光学系の前記位置及び／または配向は、前記車両内の前記ユーザの位置に対応する前記ウインドシールドの位置に前記３次元画像を位置決めするように選択される、請求項１８に記載の再構成可能なディスプレイシステム。
【請求項２０】
発光ダイオードのマトリックスを備える前記ディスプレイ用のバックライトをさらに備え、前記命令は前記ウインドシールド上に衝突する周囲光の量の関数としての前記マトリックスの１つ以上の発光ダイオードを選択的にオフにすることをさらに実行可能である、請求項１８に記載の再構成可能なディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、「ＭＩＲＲＯＲＬＥＳＳ  ＨＥＡＤＳ  ＵＰ  ＤＩＳＰＬＡＹ」と題され、２０１８年５月４日に出願された米国仮出願第６２／６６７，３５５号に優先権を主張する。上記で特定された本出願の全内容は、あらゆる目的のために参照により本明細書に援用される。
【０００２】
本開示は、ヘッドアップディスプレイを提供するための再構成可能な３次元ディスプレイデバイスを含むシースルーディスプレイ構成に関する。
【背景技術】
【０００３】
拡張現実システムを使用し、仮想（例えば、コンピュータ生成）オブジェクトをユーザの視野内に挿入し、実世界環境内に統合される仮想オブジェクトをユーザに出現させる。例えば、シースルーディスプレイデバイスは、仮想オブジェクトを表示すること、及び実世界環境からの光が視聴者に通過することを可能にすることの両方ができることにより、視聴者は、ディスプレイデバイスを通して実世界環境及び仮想オブジェクトを見る。
【発明の概要】
【課題を解決するための手段】
【０００４】
車両用ヘッドアップディスプレイを含む、シースルーディスプレイをさまざまな環境で使用することができる。これらのようなヘッドアップディスプレイは、最大２面（例えば、近接面及び遠隔面）を占める投影空間中に画像をオーバーレイする、２次元ディスプレイ及び／または拡張現実エクスペリエンスを提供することが多い。このエクスペリエンスを２面に制限することにより、拡張現実画像と実世界環境との間の関係は、特に車両の走行中に使用されるヘッドアップディスプレイを備える車両の環境などの移動環境では、制限される。本開示は、画像の画素ごとに左目及び右目の画像を分割した後に、視線追跡を使用して、左目及び右目の画像を合成してユーザの目の焦点が合う位置に返す光学素子を含む３次元拡張現実ディスプレイシステムを提供する。このように、本開示は、画像を互いに合成する位置の焦点を変更して、ユーザが焦点を合わせているどんな位置でも連続面を作成し、そこに立体画像を作成した後に、環境及び／またはユーザ焦点が移動するにつれて、その立体画像を移動させ続けるという動的な方式を提供する。このように、投影画像は、近接場及び遠隔場の位置に限定されなくなることができるが、ユーザの３次元視野内のどこにでも（例えば、水平、垂直、及び深度のいずれかの位置に）位置決めされ、環境及び／またはユーザ焦点が移動するにつれて、連続して再位置決めされることができる。例えば、他の拡張現実システムにおいて投影画像は、２つの深度（例えば、近接場及び遠隔場）のうちの１つにのみ位置決めされることができるが、開示されたシステムによって生成される投影画像は、範囲内の任意の深度に位置決めされることができる（例えば、非限定的な一例の範囲として、５メートルから７５メートル、ユーザから離れたいずれかの位置にあるように出現する）。
【０００５】
多くの環境では、空間及び消費電力などの問題は、シースルーディスプレイの既存の構造体との統合に対して課題を与える場合がある。例えば、車両環境では、ディスプレイシステムの構成要素は、インストルメントパネル、車体構造体（例えば、Ａピラー）、バックミラーハウジングなどのような過密な位置に統合される場合がある。さらに、いくつかの車両は、異なるシャーシ構成間で切り替えるときに、互いに関して構成要素の位置を変更する構成可能なシャーシを含むことができ、この構成可能なシャーシは、その中に統合されるディスプレイシステムを介する光の透過に影響する場合がある。本開示は、ディスプレイの機能セットを動的に変更する（例えば、ディスプレイシステムが使用される環境、及び／またはディスプレイシステムについてのユーザコンテキストに基づいて）ように再構成可能であるディスプレイシステムを提供するための機構を提供する。そのような再構成可能なディスプレイシステムは、同じディスプレイシステムが各車両タイプに提供された後に、所与の車両構成またはタイプについて動作するようにその場で調整されることができるので、複数のタイプの車両に展開するための製造の複雑さを軽減することもできる。
【０００６】
車両は燃料（例えば、ガソリン、電気、天然ガス、及び／またはそれらの組み合わせ）で動作するため、車載要素の消費電力を可能な限り低く保つことも有益である可能性がある。車両内のヘッドアップディスプレイなどのシースルーディスプレイに関する別の考察は、ワールドロックされた仮想画像（例えば、環境とともに移動する画像または画像の部分）、及び視聴者ロックされた（または車両ロックされた）仮想画像（例えば、視聴者／車両が環境を通じて移動する場合でさえ視聴者に対して同じ位置にとどまっているように出現する画像または画像の部分）のうちの一方または両方を提供するためのプロビジョニングを含む。本開示は、上記に考察される、省スペース、省電力、及び画像ロック機能のさまざまな組み合わせを提供するための機構を提供する。
【０００７】
一例として、本開示は、再構成可能なディスプレイシステムを提供し、この再構成可能なディスプレイシステムは、ディスプレイ、可動光学系、ディスプレイと可動光学系との間に位置決めされる光学素子、可動光学系の物理的位置を制御するように構成されるレンズアクチュエータ、ならびにプロセッサ及びメモリを備えるディスプレイコントローラを含み、このメモリは、レンズアクチュエータが再構成可能なディスプレイシステムのユーザ入力及び／または動的条件に基づいて選択される位置及び／または配向に可動光学系を移動させるように制御する、プロセッサによって実行可能な命令を格納し、これらの命令は、ディスプレイからの画像光の出力が光学素子及び可動光学系を通過して透明面上に衝突し、可視画像を生成するように制御することをさらに実行可能である。
【０００８】
また、本開示は、３次元、ミラーレス、嵩が低い、電力効率の高い、拡張現実ヘッドアップディスプレイを提供する。３次元ミラーレスディスプレイは、光学の回折格子を利用してミラーレス撮像及び／または投影を作成することができる。自動立体画像を生成するために、視差またはレンチキュラー素子（例えば、フィルム）をディスプレイ構成内に含むことができる。いくつかの例では、生成された画像は、視線追跡機能を利用することができる。視差またはレンチキュラー素子内の光学素子は、重複している場合があるため、元の画像生成に低解像度のソースの使用を可能にし、この低解像度のソースは、低コスト、高効率（高透過）、及び低消費電力のディスプレイ（重複する光学素子を利用しないディスプレイと比較して）を提供する。元の画像生成器は、透過型ディスプレイテクノロジー（例えば、液晶ディスプレイ、ＬＣＤ）及び／または微小素子ベースのテクノロジー（例えば、デジタル光処理微小電気機械システム、ＤＬＰ  ＭＥＭＳ）を利用することができる。透過型ディスプレイを利用する例は、バックライト素子を含むことができ、このバックライト素子は、他のバックライト構成と比較してディスプレイの電力効率を向上させる、発光ダイオード（ＬＥＤ）のマトリックスを含む。例えば、バックライトは、ローカライズされた減光テクノロジーを利用して、所望の画像を生成する際に使用されていないバックライトへの電力供給を回避することができる。バックライトは、ミニ発光ダイオード（ミニＬＥＤ）またはマイクロ発光ダイオード（マイクロＬＥＤ）のマトリックスを含むことができる。フリーフォームＬＥＤをシリカに埋め込み、バックライトについて嵩が低い、及び／または小型のパッケージ化を提供することができる。運転者または他のユーザの視線は、追跡され、視線と交差するように（または視線を介して提供される入力に反応するように）ディスプレイの部分を駆動するために使用されることができる。
【０００９】
上述されたディスプレイのいくつかの例では、ディスプレイ構成に含まれる視差またはレンチキュラーレンズ素子などの３次元素子は、３次元奥行き知覚を動的に変更するために可動であることができる。また、３次元素子の可動性により、ディスプレイ上の日射量を自動的に低減させるために、高い日射量環境が検出されるときに光学素子の位置及び／または配向を制御することが可能であることができる。例えば、赤外線（ＩＲ）検出は、コールドミラー（例えば、ディスプレイ構成内の）の背面のフォトダイオードを使用して、日射量を能動的に検出し、大きなミラー及び／またはレンチキュラー／視差素子を制御して移動させ、日射量への対策を提供するために実行されることができる。上述されたディスプレイ構成のうちの１つにおけるレンチキュラーレンズの追加または代替の機能は、可変処方機能を含む。例えば、レンチキュラーレンズの処方は、遠隔場の像面湾曲を補正する、及び／またはその他の方法により相殺するように調整される（例えば、レンチキュラーレンズの一部分の半径及び／または配向を変えることにより）ことができる。
【００１０】
別の例では、１つ以上のレンズ素子は、ユーザ入力を介して調整可能な位置及び／または配向を有することができる。例えば、ディスプレイ構成内の１つ以上のレンズは、ディスプレイ構成によって生成される画像を見やすくするために、ユーザ入力に基づいて空間内で調整されることができる。調整可能なズームレンズは、ディスプレイ構成に含まれることができ、物理空間内を移動して（例えば、ユーザ入力に応答して）、空間内に見られる画像の被写界深度を変更することができる。
【００１１】
また、本開示は、空間内で複数の重複する像面（例えば、複数の２次元の重複する像面）を提供するディスプレイ構成を提供する。一例のディスプレイでは、クロマチックフィルムを使用して、高密度スペクトル結合を提供し、複数の画像を作成することができる。例えば、クロマチックフィルムは、ある特定の光が通過することを可能にするが、他の光を反射させ、３次元空間内で結像を重複させることを可能にすることができる。別の例として、ディスプレイ構成は、重複する結像を提供するために複数のホログラフィックシートを作成するレーザを含むことができる。別の例では、ディスプレイ構成は、複数の像面を作成するために複数のＬＣＤディスプレイを含むことができる。例えば、２つのＬＣＤ透過型ディスプレイは、ブリュースター角での反射を可能にする、特定の角度での偏光を可能にするように位置決めされることができる。それらのような例では、追加の位相差フィルムをディスプレイ構成内で使用し、複数の像面を作成することができる。さらに別の例として、有機発光ダイオード（ＯＬＥＤ）または光学コーティング及び投影技術を使用して、複数の近接面及び遠隔面の投影を提供することができる。例えば、近接面は、ウインドシールドガラスとして、またはウインドシールドガラスに埋め込まれた感光性材料として透明ＯＬＥＤを介して提供されることができ、遠隔面は、ＬＣＤまたはＭＥＭＳベースの投影を使用して提供されることができる。上述された構成は、体積が大きい／嵩高い投影系を使用せずに、複数の像面を可能にすることができることにより、他の投影系よりも低い消費電力を有することができる。
【００１２】
本開示は、添付の図面を参照することにより、非限定的な実施形態の以下の説明を読むことからより良く理解され得る。
【図面の簡単な説明】
【００１３】
【図１】本開示の１つ以上の実施形態による、拡張現実環境の一例を示す。
【図２Ａ】本開示の１つ以上の実施形態による、ミラーレスディスプレイ構成の例示的なブロック図を示す。
【図２Ｂ】本開示の１つ以上の実施形態による、車室内のミラーレスディスプレイ構成の例示的な概略図を示す。
【図２Ｃ】本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。
【図２Ｄ】本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。
【図２Ｅ】本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。
【図２Ｆ】本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。
【図２Ｇ】本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。
【図３】本開示の１つ以上の実施形態による、調整可能な光学系を含むディスプレイ構成の一例を示す。
【図４】本開示の１つ以上の実施形態による、レンチキュラーレンズ構造体の例を示す。
【図５】本開示の１つ以上の実施形態による、多面ディスプレイ構成の一例を示す。
【図６】本開示の１つ以上の実施形態による、ディスプレイを調整する方法の例示的なフローチャートを示す。
【発明を実施するための形態】
【００１４】
本開示は、車両などの環境内でヘッドアップディスプレイを形成する際に生じる可能性がある上記の問題に対処するディスプレイ構成を提供する。例えば、本開示は、可動光学素子を提供することにより、他のディスプレイ構成と比較して、ユーザエクスペリエンスを向上させること（例えば、表示された画像の被写界深度を調整することによりユーザの快適さを向上させる）及びディスプレイフレキシビリティを向上させることを説明する。また、本開示は、他のディスプレイ構成と比較してパッケージサイズを縮小させることができるミラーレス３次元ディスプレイ構成を説明する。他のディスプレイ構成と比較して、表示された画像を背景環境とよりよく統合するために、近接面投影及び遠隔面投影を使用する例も説明する。湾曲場（例えば、湾曲したウインドシールド）を使用して画像を表示するときの画質を向上させるために、レンチキュラーレンズの処方への調整などの光学素子の構造構成への調整を説明する。説明された特徴を任意の組み合わせで使用して、所与の環境で発生する特定の複雑な問題に対処するディスプレイ構成を達成することができる。
【００１５】
図１は、例示的な拡張現実環境１００を示し、そこでは、車両１０３の車載ディスプレイシステム１０２の一例は、仮想画像をユーザ１０４の環境内に投影するように制御される。図示された例では、この環境は車両であるが、本開示の範囲から逸脱することなく、以下に説明される構成要素のうちの１つ以上が別の拡張現実環境に使用されるディスプレイ構成に含まれることができることを理解されたい。
【００１６】
ディスプレイシステム１０２は、表示部１０６を含む光源を備え、光源は、仮想画像を形成するために制御された方式で光を投影することができる。表示部１０６は、平面または非球面であることができる折り返しミラー１０８に向けて光を投影することができ、この折り返しミラーは、非球面であることができる回転可能なミラー１１０に向けて受光した光を反射する。この回転可能なミラーは、グレアトラップ１１２及びライトトラップ１１４に向けて光を指向することができ、光が、仮想位置１１８に出現するようにウインドシールド１１６を通して可視である位置に出現するように制御するために使用可能である。仮想位置１１８は、ユーザ１０４の頭部動作及びアイボックス１２２から始まり、ユーザ１０４の可視範囲の少なくとも一部分を表す光路１２０内にあるように制御されることができる。
【００１７】
図１に示されるように、ディスプレイ構成でのミラーの使用は、ディスプレイシステムに車両１０３内の大量のスペースを占有させる。図２Ａは、ミラー付きディスプレイ構成と比較してパッケージサイズを縮小させるために使用されることができる、ミラーレス３次元ディスプレイ構成２０２の一例を示す。図２Ａのディスプレイ構成２０２は、車両２０４の内側に含まれ、ウインドシールド２０６上に、及び／またはこれを通じて光を投影するように構成されることができる。ディスプレイ構成は、ディスプレイ２０８、１つ以上のマイクロレンズアレイ２１０ａ及び２１０ｂ、ならびにディスプレイ２０８とマイクロレンズアレイ２１０ａとの間に位置決めされる３次元素子２１２を含むことができる。３次元素子２１２は、ディスプレイ２０８の出力から自動立体画像を生成する視差またはレンチキュラー素子（例えば、フィルム）を含むことができる。ディスプレイ２０８は、透過型ディスプレイテクノロジー（例えば、液晶ディスプレイ、ＬＣＤ）及び／または微小素子ベースのディスプレイテクノロジー（例えば、デジタル光処理微小電気機械システム、ＤＬＰ  ＭＥＭＳ）を含むことができる。マイクロレンズアレイ（複数可）は、ウインドシールド２０６全体、またはウインドシールドの選択された一部分が表示面（例えば、３次元表示画像が投影される透明面）として機能するように、ウインドシールド２０６に対して位置決めされることができる。このようにして、ディスプレイシステムの視野は、他の構成（例えば、ミラー付き構成）よりも広い視野を有するディスプレイを提供することができる、マイクロレンズアレイの数及び配置に従ってサイズ設定されることができる。ディスプレイ２０８は、ディスプレイ２０８の背面沿いに分散する光源（例えば、発光ダイオード）のマトリックスを含む、バックライトアレイ２０９を介して照明されることができる。示されるように、ディスプレイ２０８、バックライト２０９、３Ｄ素子２１２、及びマイクロレンズアレイ（複数可）２１０ａ及び／または２１０ｂは、合わせて表示部２０７を形成することができる。別々に示されているが、いくつかの例では、ディスプレイコントローラ２１４も表示部２０７に含むことができる。
【００１８】
簡潔に図２Ｂを参照して、車両２０４の車室２０３の概略図を示し、図中、ユーザ２０５が着席している。画像光が、仮想位置２１１に出現するようにウインドシールド２０６を通して可視である位置に出現するように制御するために、複数の表示部２０７は、ウインドシールド２０６にわたり分散する（例えば、表示部２０７のアレイを形成するために）。仮想位置２１１は、ユーザ２０５の頭部動作及びアイボックス２１５から始まり、ユーザ２０５の可視範囲の少なくとも一部分を表す光路２１３内にあるように制御されることができる。図２Ａに関して上述されるように、各表示部２０７は、バックライト（例えば、バックライト２０９）のアレイを含むディスプレイ（例えば、ディスプレイ２０８）、１つ以上のマイクロレンズアレイ（例えば、マイクロレンズアレイ２１０ａ及び／または２１０ｂ）、及びディスプレイとマイクロレンズアレイ（複数可）との間に位置決めされる３Ｄ素子（例えば、３Ｄ素子２１２）を備えることができる。各表示部２０７は個々のディスプレイコントローラ（例えば、ディスプレイコントローラ２１４）によって制御されることができる、及び／または単一のディスプレイコントローラは各表示部２０７のディスプレイを制御することができる。
【００１９】
図２Ｃ〜２Ｇは、ウインドシールド２０６上に／これを通じて表示部２０７を介して画像を表示するためのさまざまな表示シナリオを概略的に示す。図２Ｃでは、車両２０４の車室２０３の内側についての図は、図２Ｂに概略的に示されるような車室２０３に対して異なる後方視点から概略的に示される。図２Ｃの例では、車室２０３は、２人の乗員、第一乗員２２４及び第二乗員２２６を含む。両方の乗員は、車両２０４の環境内の同じ物体を標的とするユーザ焦点２２７を有することができるが、車室内の乗員の異なる位置（及び乗員のそれぞれの視線の軌跡の起点として機能する、乗員の目の異なる位置）に起因して、第一乗員２２４は、第二乗員２２６の第二視線の軌跡２３０とは異なる第一視線の軌跡２２８を有することができる。その結果、表示部２０７は、第一乗員対第二乗員についてのユーザ焦点で可視である画像を提示することとは異なり、光をウインドシールド上に指向することができる。
【００２０】
図２Ｄは、立体画像２３６ａ及び２３６ｂを使用する標識２３４などの実世界の物体上に仮想画像２３２をオーバーレイするための例示的な投影を示す。立体画像２３６ａ及び２３６ｂは、第一乗員２２４の視点からのユーザ焦点２２７に仮想画像２３２を提示するように構成される。図示された例では、そのような位置決めは、左端の表示部２０７の連動された使用によって達成される。図２Ｅは、第二乗員２２６の視点からのユーザ焦点２２７に仮想画像２３２’を提示するように構成される立体画像２３８ａ及び２３８ｂを使用して、標識２３４上に仮想画像２３２’をオーバーレイするための例示的な投影を示す。仮想画像は、３次元であり、乗員のためにカスタマイズされることができるので、仮想画像２３２は、仮想画像２３２’とは異なることができる。例えば、第一乗員２２４はレストランまでの距離に最も関心がある場合があり（例えば、レストランに関心を示す、第一乗員から受信するような情報についての要求に基づいて、及び／または最後の食事からの時間のような第一乗員の最近の活動または挙動の調査に基づいて）、第二乗員２２６はホテルまでの距離に最も関心がある場合がある（例えば、ホテルに対する関心を示す、第二乗員から受信するような情報についての要求に基づいて、及び／または眠気レベルのような第二乗員の最近の活動または挙動の調査に基づいて）。その結果、仮想画像２３２は、レストランまでの距離に関する情報を含むことができ、仮想画像２３２’は、ホテルまでの距離に関する情報を含むことができる。そのような情報ターゲティングは、各乗客についての目的地がわかっており、それぞれの目的地についての関連情報が各乗客に提示されるタクシーまたはライドシェアシナリオでも有用である場合がある。
【００２１】
２人の乗員の位置における差異により、立体画像２３８ａ／ｂは、立体画像２３６ａ／ｂとは異なる位置に位置決めされる。図示された例では、立体画像２３８ａ／ｂを投影するために使用される表示部に対して、異なる表示部２０７（例えば、中央の表示部）が立体画像２３６ａ／ｂを投影するために使用される。他の例では、同じ表示部は、立体画像のいずれかのセットを投影するために使用されることができ、出力光及び／または他のパラメータ（例えば、選択された表示部についてのバックライトの選択的な減光）の指向性は、異なる位置に立体画像を表示するために調整されることができる。図２Ｄ及び２Ｅの各例では、それぞれの乗員についての立体画像は、それぞれの乗員の視点からの仮想画像のアライメントを確保するために、そのそれぞれの乗員の目の位置及び視線に基づいて位置決めされる。選択された乗員の目の位置及び視線に基づいて仮想画像を位置決めすることにより、投影された画像は、車両のいかなる乗員にも対応することができ、乗員が車両内のどこにでも着席することができるドライバーレス車両シナリオなどのシナリオでは有用であることができる。
【００２２】
いくつかの例では、仮想画像２３２’は、実世界の物体が環境内で移動するときに（または車両がこの環境を通じて実世界の物体に関して移動するときに）、実世界の物体の位置を追跡するように構成されることができる。図２Ｆは、標識の位置が車両２０４に関して移動する場合に仮想画像２３２’と標識２３４の位置とのアライメントを維持するために、立体画像２３８ａ／ｂの移動の一例を示す。その結果、図２Ｅ及び２Ｆにおける、立体画像２３８ａ／ｂ及び標識２３４の相対的な位置決めは、第二乗員の視点からみた場合の標識２３４とのアライメントを維持するために、実質的に縮尺どおりに、実世界における標識２３４の移動と、立体画像の結果として生じる移動（及び結果として生じる仮想画像）とを示すことができる。
【００２３】
図２Ｇは、例示的なシナリオを示し、このシナリオでは、複数の表示部を使用してウインドシールド２０６を介して複数の画像を投影することができ、ウインドシールド２０６の大部分（例えば、ウインドシールド全体）を表示面として使用することが可能である。例えば、図２Ｆに関して上述される立体画像２３８ａ／ｂに加えて、別の表示部は、現在速度表示装置２４０（例えば、ウインドシールドの左端上の表示部）を投影することができ、さらに他の表示部は、ナビゲーション命令２４２（例えば、ウインドシールドの右端上の表示部）を投影することができる。速度表示装置２４０及びナビゲーション命令２４２は、近接場（例えば、仮想画像２３２’に関して異なる場）に表示されることができ、仮想画像２３２’は、遠隔場に表示されることができる。図示されるように、所与の画像を表示するために使用される表示部の数は異なることができる。いくつかの例では、さまざまな仮想画像またはインジケータをウインドシールド上に／これを通して表示するために使用される表示部は、ウインドシールド上に／これを通して表示される仮想画像及び／またはインジケータの数よりも多くてもよい。他の例では、ウインドシールド上に／これを通して表示される仮想画像及び／またはインジケータのその数を表示するために、同じ数の、またはより少ない表示部を使用することができる。所与の１つの仮想画像、または仮想画像セットを表示するために使用される表示部の数は、サイズ、解像度、コンテンツ、色などのような仮想画像（複数可）のパラメータに依存することができる。
【００２４】
図示された例では、表示部２０７は、ウインドシールドを介してさまざまな画像を表示するために利用されるが、画像が本明細書に開示される他のディスプレイ配置を使用して提示されることができることを理解されたい。例えば、速度表示装置２４０及び／またはナビゲーション命令２４０は、ウインドシールド２０６によって形成されるシースルーディスプレイを介して表示されることができ、仮想画像２３２’は、ミラーレス表示部２０７を介して表示されることができる。他の例では、表示部２０７のうちの１つ以上は、いくつかの例ではミラーを含むことができる、本明細書に開示される他のディスプレイ構成を代替に含むことができる。
【００２５】
図２Ａに戻り、ディスプレイ２０８は、ディスプレイコントローラ２１４を介して制御されることができる。ディスプレイコントローラ２１４は、専用ディスプレイコントローラ（例えば、ディスプレイのみを制御する専用電子制御部）または複合型コントローラ（例えば、ディスプレイ及び１つ以上の他の車両システムを制御する共有電子制御部）であることができる。いくつかの例では、ディスプレイコントローラは、車両２０４のヘッドユニット（例えば、インフォテインメントユニット及び／または他の車載コンピューティングシステム）であってもよい。ディスプレイコントローラは、メモリ及びプロセッサを含むことができ、このプロセッサは、メモリに格納される命令を実行してディスプレイ２０８の出力を制御する。ディスプレイコントローラ２１４は、メモリに格納される命令に基づいて、及び／または他の入力に基づいて特定の画像を投影するようにディスプレイ２０８を制御することができる。また、ディスプレイコントローラ２１４は、ディスプレイの状態、及び／またはディスプレイの周囲条件に基づいて電力を節約する、及び／または熱を低下させるために、バックライトアレイ２０９からバックライトの部分を選択的にオフにする（例えば、減光する）ようにディスプレイ２０８を制御することができる。例えば、画像領域が黒色である場合、画像の黒色領域の位置に対応するバックライトアレイ２０９の部分をオフにすることができる。別の例として、熱負荷が閾値を上回ると予測された、または検出された場合、バックライトアレイ２０９の選択された光源をオフにして発熱を低減させることができる（例えば、このアレイ内の光源を交互にする、スイッチをオフにすることができるため、光源の半分だけが発熱しながら画像全体を表示することができる、または画像のサイズを縮小させて、画像の新たな黒色領域の位置に対応するアレイ内の光源をオフにすることができる）。ディスプレイ２０８の機構を制御するためのディスプレイコントローラ２１４への入力の例は、視線追跡モジュール２１６、日射量監視モジュール２１８、ユーザ入力インタフェース２２０、及び車両入力インタフェース２２２を含む。
【００２６】
視線追跡モジュール２１６は、ユーザ（例えば、運転者）の目の動きを追跡するために、１つ以上のイメージセンサを含む、及び／またはこれらと通信することができる。例えば、１つ以上のイメージセンサは、車両２０４の車室に取り付けられ、車両内のユーザの瞳孔または他の目の特徴の画像をキャプチャする（例えば、連続的に）ように位置決めされることができる。いくつかの例では、目を追跡するイメージセンサからの画像データは、視線方向及び／または他の視線追跡の詳細を決定するように処理するために、ディスプレイコントローラに送信されてもよい。他の例では、視線追跡モジュール２１６は、目のキャプチャされた画像を分析し、視線方向及び／または他の視線追跡の詳細を決定するように構成される、１つ以上の処理モジュール（例えば、車両のヘッドユニットの処理モジュールなどの車両内のローカルモジュール、及び／またはクラウドベースのサーバなどの車両外のリモートモジュール）を含むことができる、及び／またはそれらと通信することができる。それらのような例では、視線方向及び／または他の視線追跡情報を示す処理結果をディスプレイコントローラに送信することができる。視線追跡情報は、ディスプレイコントローラによって受信されたか、ディスプレイコントローラで決定されたかにかかわらず、１つ以上の表示特性を制御するためにディスプレイコントローラによって使用されることができる。表示特性は、表示データの位置（例えば、視線方向内にある）、ローカライズされた減光制御（例えば、視線方向の外側にある領域内のバックライトを減光する）、表示データのコンテンツ（例えば、視線方向を使用してグラフィカルユーザインタフェース上で選択を決定し、グラフィカルユーザインタフェース上で選択に対応するコンテンツをレンダリングする）、及び／または他の表示特性を含むことができる。いくつかの例では、他の視線追跡データを使用して、目を細めるユーザの検出に応答して表示されたデータの視認性（例えば、不透明度、サイズなど）を調整するなど、表示特性を調整することができる。
【００２７】
日射量監視モジュール２１８は、ウインドシールド及び／または表示素子上に衝突する太陽光（または他の光）の量を決定するために、赤外線センサなどの１つ以上の太陽光検出センサを含む、及び／またはこれらと通信することができる。イメージセンサ及び視線追跡データに関して上記で説明されるように、日射量監視データは、ローカルに（例えば、日射量監視モジュール２１８によって、ディスプレイコントローラ２１４によって、及び／または車両２０４のヘッドユニットの処理モジュールなどの別の車載処理モジュールによって）、リモートに（例えば、クラウドベースのサーバなどの車両外のリモートサービスによって）、及び／またはそれらのいくつかの組み合わせで処理されることができる。日射量監視データは、ディスプレイ構成に関連する車両の所与の領域（例えば、表示部、ディスプレイ２０８からのディスプレイ光が投影されることができるウインドシールド領域、ディスプレイ２０８から発せられる光の光路内の他の位置など）内の太陽光（または他の光）の量を含むことができる。この光量は、１つ以上の閾値と比較され、１つ以上の表示特性を調整するためにディスプレイコントローラ２１４によって使用されることができる。例えば、ウインドシールドの特定の領域での日射量が閾値を上回る場合、ディスプレイコントローラ及び／または別の適切なコントローラは、光学素子（例えば、３Ｄ素子２１２）の物理的位置及び／または配向を調整して、ディスプレイ構成の焦点距離を増加させ、ディスプレイ構成の光学系の倍率を低減させることによって表示素子（例えば、ＬＣＤディスプレイの薄膜トランジスタ、ＴＦＴ）上の日射量を減少させることができる。
【００２８】
ユーザ入力インタフェース２２０及び車両入力インタフェース２２２を使用して、それぞれユーザ入力及び車両データ／状態に基づいてディスプレイを制御するための命令をディスプレイコントローラ２１４に提供することができる。例えば、表示される情報のタイプを変更する（例えば、速度／ＲＰＭなどのような機器データと、回動方向などのナビゲーションデータとの間で選択する）ためのユーザ入力、グラフィカルユーザインタフェースが表示されたときにオプションを選択するためのユーザ入力、及び／またはその他の方法により、ユーザ選好を示すためのユーザ入力は、ディスプレイコントローラ２１４に提供され、ディスプレイ構成２０２を介して表示されるデータのコンテンツ及び／またはフォーマットを変更するために処理されることができる。ユーザ入力インタフェースは、タッチスクリーン、車載アクチュエータ（例えば、ボタン、スイッチ、ノブ、ダイヤルなど）、マイクロフォン（例えば、音声コマンド用）、外部デバイス（例えば、車両乗員のモバイルデバイス）、及び／または他のユーザ入力デバイスを含むが、これらに限定されない、任意の適切なユーザ入力デバイスからユーザ入力を受信することができる。車両入力インタフェース２２２は、車両状態及び／または他の車両データを示す車両センサ及び／またはシステムからデータを受信することができ、このデータをディスプレイコントローラ２１４に送信してディスプレイ構成２０２を介して表示されるデータのコンテンツ及び／またはフォーマットを調整することができる。例えば、現在の速度を車両入力インタフェースに提供し（例えば、車両のコントローラエリアネットワーク、ＣＡＮ、バスを介して）、ディスプレイコントローラに送信し、車両の現在の速度の表示を更新することができる。車両入力インタフェースは、車両のヘッドユニットのナビゲーションモジュール、及び／または車両内の他の情報源からの入力も受信することができる。
【００２９】
上記の例示的なディスプレイシステムのディスプレイ構成のフレキシビリティを高めるために、本開示は、再構成可能な（例えば、物理的に可動な）光学系を利用するディスプレイシステムを提供する。再構成可能な光学系を使用して、多面レンダリング、マルチディスプレイ投影、及び光学系の動的な動きによる構成可能なズームを提供することができる。
【００３０】
複数の面に画像を生成する際に、関連したディスプレイは、異なる面距離から利益を得る異なる画像を生成するように制御されることができる。例えば、近接面画像は、環境が移動するとしても、視聴者／車両に関して比較的に静止した位置にとどまることができる画像のような、向上した鮮鋭度及び安定性から利益を得る画像であるように制御されてもよい。詳細な例として、近接面画像は、車両速度、車両警報／警告（例えば、オイルレベル、温度、メンテナンスリマインダ、診断コード警告など）、エンジンＲＰＭ、タコメータ情報、残存燃料レベル／残存燃料で走行することができる推定距離、通知（例えば、着信などの接続されたモバイルデバイスからの）、現在時刻、ラジオ／オーディオ情報（例えば、現在のラジオ局、現在再生されている曲など）、グラフィカルユーザインタフェース制御、及び／または他の表示素子などの車両状態情報及び／またはインストルメントパネルタイプの表示データを含むことができる。遠隔面画像は、周囲環境とのインタラクションから利益を得る画像（例えば、ワールドロックされている画像、または周囲環境に関して同じ位置を維持して周囲環境を拡張する画像）であるように制御されることができる。例えば、遠隔面画像は、ナビゲーション方向（例えば、路面、道路標識、他の車両などの上にオーバーレイされ、その上に表示データが置かれている環境特徴との静止した関係を維持するために視聴者に対して移動することができる）、環境特徴についてステータス情報を識別する、または提供する情報ディスプレイ、及び／または他の表示されたデータを含むことができる。
【００３１】
図３は、表示されたデータの位置、配向、及び／または被写界深度を調整するために可動である可動光学系３０２を含む例示的なディスプレイ構成３００を示す。図３の構成は、図２Ａの構成に類似するが、可動光学系３０２が本明細書に開示されるその他の構成を含む、任意の適切なディスプレイ構成に組み込まれることができることを理解されたい。ディスプレイ構成３００は、ＬＣＤ、ＤＬＰＭＥＭＳ、または他のディスプレイテクノロジーであることができる、ディスプレイ３０４を含む。ディスプレイ３０４は、可動光学系３０２を通過する３次元画像を生成するために、レンチキュラーレンズまたは視差障壁などの３Ｄ素子３０６によって覆われることができる、及び／またはこの３Ｄ素子を通して光を指向することができる。可動光学系３０２は、ディスプレイ上（及び３Ｄ素子上）に位置決めされる調整可能なレンズまたはレンズのアレイ（例えば、ズーム光学系）を含むことができる。示されるように、可動光学系３０２が位置３０２ａにあるとき、ディスプレイ３０４からの画像光は、ウインドシールド３０８を透過して、３１０ａに示される第一被写界深度で画像を生成することができる。可動光学系を位置３０２ｂに移動させることに応答して、ディスプレイ３０４からの画像光は、ウインドシールド３０８を透過して、３１０ｂに示される第二被写界深度で画像を生成することができる。その結果、空間内で可動光学系を移動させることに応答して、ｄで示されるようにウインドシールド上に衝突する光の距離または角度の変化をもたらし、表示された画像の被写界深度は、ウインドシールド／視聴者からより近い、またはより遠い、ｄ’で示される被写界深度の距離の変化に調整されることができる。
【００３２】
可動光学系は、ユーザ入力デバイス３１４からのユーザ入力に応答して、及び／またはディスプレイコントローラ３１６からの命令に応答して、レンズアクチュエータ３１２を介して制御されることができる（ユーザ入力デバイス３１４からのユーザ入力によって少なくとも部分的に制御されることもできる）。ディスプレイコントローラ３１６は、ディスプレイ３０４の出力を制御することができる（例えば、図２Ａのディスプレイコントローラ２１４に関して上述されるように）。レンズアクチュエータ３１２は、可動光学系３０２を物理的に移動させてディスプレイ構成内の可動光学系の物理的位置を変更するために１つ以上の構成要素を含むことができる。図３は、図示された例では、横方向の移動（例えば、ディスプレイから同じ距離を維持し、ディスプレイに対する横方向の位置を変更する）を示すが、可動光学系３０２がディスプレイから発せられる光の方向沿いの移動（例えば、光学系とディスプレイとの間の距離の変更）、及びディスプレイに対する光学系の配向における変更を含む、いずれかの適切な方式で移動することができることを理解されたい。
【００３３】
可動光学系３０２は、車両及び／またはユーザの動的条件に基づいて移動するように制御されることができる。例えば、上述されるように、ディスプレイ構成３００は、複数の車両タイプで使用されることができ、可動光学系は、ディスプレイ構成が設置される所与の車両タイプに所望の光路を提供するために、製造時に調整されることができる。別の例として、ディスプレイ構成３００は、再構成可能なシャーシを有する車両（例えば、車両の運転シナリオに基づいて、大型貨物車、中型乗用車、小型／単一乗員用の乗用車などであることに変更されることができる）内に使用されることができ、ディスプレイ構成の構成要素間の距離を変更することに対応するために、シャーシが調整されるときに動的に調整されることができる。
【００３４】
可動光学系３０２は、車両及び／またはユーザコンテキストに基づいて、追加で、または代替に制御されることができる（例えば、自動的に、またはユーザ入力に基づいて）。例えば、環境条件（例えば、ウインドシールド３０８及び／またはユーザの目の上での太陽光または他の光の負荷または干渉、天候、夜／昼状態、周囲光など）、表示されるコンテンツ（例えば、ディスプレイ構成３００を介して表示される警告または他のコンテンツの緊急度）、ユーザコンテキスト（例えば、ユーザエクスペリエンス／選好、ユーザの年齢／能力、ユーザが経験する注意散漫レベルなど）、及び／または他のパラメータに反応して、可動光学系３０２は、表示されたコンテンツの特徴（例えば、サイズ／ズーム、位置、配向、コントラスト、歪み／アライメント、色など）を調整するために再位置決めされることができる。
【００３５】
追加的、または代替的に、ディスプレイ構成３００の他の要素への調整は、上記の条件に応答するように調整されることができる。例示的なシナリオとして、ディスプレイ構成３００のいくつかの特徴は、運転者の注意散漫を減らすために、または関連したディスプレイシステムのユーザがディスプレイシステムに不慣れである場合に、選択的に無効にされることができる（例えば、比較的簡単なディスプレイエクスペリエンスを提供する）。ディスプレイ構成への別の調整は、上述された条件のうちの１つ以上に基づいてディスプレイ間で切り替えることを含むことができる。例えば、ディスプレイ３０４は、２つ以上の異なるタイプのディスプレイを含むことができ、それらのそれぞれは、異なる環境により適している可能性がある。例えば、ディスプレイ３０４は、有機発光ダイオード（ＯＬＥＤ）ディスプレイ及び液晶ディスプレイ（ＬＣＤ）を含むことができる。ディスプレイの相対的な強度を利用するために、ＯＬＥＤディスプレイは、ＯＬＥＤディスプレイのより良いコントラスト機能が有益であることができる夜間に、主に使用されることができる（例えば、ＯＬＥＤディスプレイが有効にされている間、ＬＣＤディスプレイは無効にされてもよい）。例えばウインドシールド３０８上に衝突する光が閾値を上回る（例えば、５００ニトを上回るような、ＯＬＥＤが克服することができる光量閾値を上回る）、日中、ＬＣＤディスプレイは、ＬＣＤディスプレイのより良い輝度機能が有益であることができるときに、主に使用されることができる（例えば、ＬＣＤディスプレイが有効にされている間、ＯＬＥＤディスプレイは無効にされていることができる）。いくつかの例では、１つ以上のディスプレイ及び／または光学素子は、１つ以上の光源（例えば、太陽光、ヘッドライトなど）からのグレアを受けやすい画像空間領域を回避するために、表示された画像の位置を再配置するように移動することができる。それらのような例では、グレアが移動すると、ディスプレイは動的に移動することができる。
【００３６】
図２の３Ｄ素子２１２などのディスプレイ構成の３次元素子は、いくつかの環境（例えば、湾曲したウインドシールドを介して／通して画像が表示される車両環境）に存在する像面湾曲を補正するように構成されることができる。図４は、像面湾曲を相殺し、画像空間の遠隔場内で画像エッジを鮮鋭にするレンチキュラーレンズの処方への例示的な調整を示す。図４の構成（Ａ）は、レンズ構造の各構成要素（例えば、シリンドリカルレンズ）が実質的に同一であるレンチキュラーレンズ構成の例示的な断面図を示す。レンチキュラーレンズ４０２のシリンドリカルレンズ（例えば、シリンドリカルレンズ４０２ａを含む）のアレイが光を交互の画素カラム４０４から画定された表示ゾーンに指向し、各目（例えば、右目４０６及び左目４０８）が異なる画像を受光することを可能にすることで、立体視効果を生成する。
【００３７】
図４の構成（Ｂ）は、構成（Ａ）と同じ原理に従って動作し、右目４１４及び左目４１６に向けて光を指向するための画素カラム４１０及びレンチキュラーレンズ４１２を含む。ただし、構成（Ｂ）では、エッジシリンドリカルレンズ４１２ａ及び４１２ｂは、レンチキュラーレンズ４１２を形成するアレイ内のその他のシリンドリカルレンズとは異なって配向される。その結果、外側／エッジシリンドリカルレンズの半径は、内側シリンドリカルレンズの半径とは異なる。エッジレンズの調整された配向は、表示された像面を湾曲させて、遠視野内の湾曲を相殺することができる。
【００３８】
さらに、開示されたディスプレイシステムが３次元画像を提供するために追加の光学系を利用するので、最終画像は、入力画像に比べて半分の解像度を有する。解像度におけるこのダウンサイズに合わせるために、記述された例では、ディスプレイの解像度を２倍にすることができ、記述された例では、ディスプレイを照明するために使用されるバックライトの量を増加させることができ、ディスプレイの特性を構成要素の熱状態に基づいて調整することができる（例えば、ディスプレイの光学素子に向けて指向される太陽光などの環境条件に基づいて過熱を検出する、または予測する場合にバックライトを減少させる）。
【００３９】
また、本開示は、空間内の複数の２次元重複面などの複数の面投影を使用して情報を表示することを提供する。例えば、２つの異なる画像生成装置を車両または他の環境に組み込んで、異なる距離で画像情報をオーバーレイするヘッドアップディスプレイを提供することができる。図５は、第一ディスプレイ５０２を使用して第一近接場画像を提供することができ、第二ディスプレイ５０４を使用して第二遠隔場画像を提供することができる（またはその逆の場合もある）例示的なディスプレイ構成５００を示す。第一及び第二ディスプレイはそれぞれ、いくつかの例では、ＬＣＤ透過型ディスプレイを含むことができる。図示された例では、第一及び第二ディスプレイは、互いに対して約９０度で位置決めされる。第一及び第二ディスプレイは、ブリュースター角での反射を可能にする特定の角度で偏光を可能にするように位置決めされることができる。第一ディスプレイ５０２及び第二ディスプレイ５０４のそれぞれは、光をミラー５０６に向けて透過させることができ、このミラーは、第一表面（例えば、第一ディスプレイ側の表面５０８）に到達する光を透過させ、第二表面（例えば、第二ディスプレイ側の表面５１０）に到達する光を反射するように構成されることができる。このようにして、第一及び第二ディスプレイのそれぞれからの光は、光調整素子５１２に向けて指向されることができ、この光調整素子は、波長板（例えば、四分の一波長板）または位相差フィルム（例えば、サングラスによって提供される偏光を補償することによりサングラスを通して見ることを可能にする）を含むことができる。光調整素子５１２及び／または１つ以上の他の光学素子（例えば、レンズ系）を使用して、第一ディスプレイからの光が近接場に出現し、第二ディスプレイからの光が遠隔場（例えば、近接場よりも遠くにある場）に出現するように、第一及び第二ディスプレイからのそれぞれの光の面をシフトすることができる。
【００４０】
いくつかの追加の、または代替の例では、高密度スペクトル結合を実行するクロマチックフィルムを使用することで複数の面を作成し、ある特定の光を通過させて他の光を反射することを可能にすることによって３次元空間内で結像を重複することを可能にすることで複数の画像を作成することができる。別の例として、ディスプレイ構成は、複数の像面効果を生成するために複数のホログラフィックシートを作成するレーザを含むことができる。
【００４１】
別の例として、複数の近接面及び遠隔面の投影は、ウインドシールドガラス（例えば、図２のウインドシールド２０６）として透明有機発光ダイオード（ＯＬＥＤ）を使用して、またはウインドシールドガラス内に感光性材料を埋め込んで近接面画像を生成し、そしてＬＣＤまたはＭＥＭＳベースの投影を使用して（例えば、上述される投影例のいずれかを使用して）遠隔面画像を生成して、作成されることができる。上記の例示的な構造体は、体積が大きい、及び／または嵩高いプロジェクションシステムを使用することなく、複数の像面を生成することを可能にする。さらに、上記の例示的な構造体は、他の構造体に比べて消費電力を削減している。
【００４２】
図６は、視線追跡、日射量、ユーザ入力、及び／または車両入力に基づいてディスプレイを制御する例示的な方法６００のフローチャートである。方法６００は、図２の視線追跡モジュール２１６、日射量監視モジュール２１８、ユーザ入力インタフェース２２０、及び車両入力インタフェース２２２などの他のデバイスと相関している、図２のディスプレイコントローラ２１４などのディスプレイコントローラによって実行されることができる。６０２において、方法は、視線追跡データを受信したかどうかを決定することを含む。視線追跡データを受信した場合（例えば、６０２において「はい」）、方法は、６０４に示されるように、視線追跡データから視線方向を決定することを含む。任意選択で、方法は、６０６に示されるように、視線方向に基づいて表示されたデータの位置及び／または出現を調整することをさらに含む。例えば、表示されたデータの位置は、視線方向とアライメントを取るように調整されることができる。別の例として、視線方向が表示されたデータの位置とアライメントを取らないときに、表示されたコンテンツは減少する、及び／または軽減される（例えば、ディスプレイの出力を減少させる）ことができる（例えば、視聴者が表示されたデータから目をそらしているときに、表示されたデータは電力資源を節約するために減少することができる）。
【００４３】
６０８において、方法は、ユーザ選択可能な素子が表示されているかどうかを決定することを含む。ユーザ選択可能な素子が表示されている場合（例えば、６０８において「はい」）、この方法は、６１０に示されるように、視線方向に基づいてユーザ選択を決定することを含む。例えば、視線方向をユーザの視野内に表示された素子の位置と比較して、ユーザの視線が交差する選択可能なアイテム（もしあれば）を決定することができる。６１２において、この方法は、ユーザ選択に基づいてディスプレイのコンテンツを調整することを含む。例えば、異なる表示された情報は、異なるビューを選択するユーザ入力に応答して提示されてもよい。
【００４４】
コンテンツを調整すると、またはユーザ選択可能な素子が表示されない場合（例えば、６０８において「いいえ」）、または視線追跡データが受信されない場合（例えば、６０２において「いいえ」）、方法は、６１４に示されるように、日射量データが受信されたかどうかを決定することを含む。日射量データが受信された場合（例えば、６１４において「はい」）、方法は、６１６に示されるように、日射量データから、日射量が影響するディスプレイ領域を決定することを含む。６１８において、方法は、いずれかの領域が閾値を上回る日射量を有するかどうかを決定することを含む。ディスプレイの１つ以上の領域が閾値を上回る日射量を有する場合（例えば、６１８において「はい」）、方法は、６２０に示されるように、影響した領域（例えば、閾値を上回る日射量を有する１つ以上の領域）における日射量を減少させるために光学素子の位置を変更することを含む。６２２において、この方法は、日射量に基づいて表示された画像の視認性を向上させるためにバックライトを調整することを含む。例えば、閾値の日射量を上回る領域における結像の輝度またはコントラストを向上させて、ディスプレイのこれらの領域の視認性を向上させることができる。
【００４５】
日射量を相殺するようにディスプレイを調整すると、または領域が閾値を上回る日射量を有さない場合（例えば、６１８において「いいえ」）、または日射量データが受信されない場合（例えば、６１４において「いいえ」）、方法は、６２４に示されるように、ユーザまたは車両入力が受信されたかどうかを決定することを含む。ユーザまたは車両入力が受信されない場合（例えば、６２４において「いいえ」）、方法は、６２８に示されるように、表示コンテンツ及び／または出現を維持する（例えば、ディスプレイを変更しない）ことを含むことができる。ユーザまたは車両入力が受信された場合（例えば、６２４において「はい」）、方法は、６２６に示されるように、ユーザ及び／または車両入力に基づいて表示されたデータのコンテンツ及び／または出現を調整することを含む。例えば、表示されたデータを調整して、メニューオプションを選択するユーザ入力を登録する（例えば、６１２に上述されるように）、及び／またはユーザ選好（例えば、ユーザがディスプレイサイズの増加、もしくはディスプレイ出現の別の変更を指定することができる、またはユーザが別のディスプレイモード、ディスプレイのシャットダウンなどを指定することができる）を満たすことができる。別の例として、表示されたデータは、車両パラメータを示す車両からのデータに応答して、更新された車両パラメータ（例えば、車両速度、エンジンＲＰＭなど）を出力するように調整されることができる。ユーザ／車両入力は、表示されたデータのパラメータを変更するために使用されるユーザの作業負荷または環境条件を反映するユーザ／車両状態をも含むことができる。例えば、ユーザからのインディケーション（例えば、ストレス検出）及び／または車両からのインディケーション（例えば、障害物検出、交通量の増加、困難なナビゲーション操作、荒天条件など）に応答して、表示されたデータは、ユーザが運転タスクに集中するのを支援するように調整されることができる（例えば、表示されたデータはサイズ／輝度が低減すること、表示されたデータはウインドシールドの遠隔側などのあまり目立たない位置に移動すること、表示されたデータは一時的にオフにされることなどができる）。同様に、ヘッドアップディスプレイが気をそらさないことができるステート（例えば、交通量の減少、障害物の消失、困難なナビゲーション操作の通過、天気の晴れなど）に、運転条件及び／またはユーザステータスが戻ったと決定した後に、表示されたデータは、前の位置及び／または出現に戻されることができる、及び／またはオンに戻されることができる。図３に関して上述されるように、表示されたコンテンツの位置及び／または出現への調整は、ディスプレイ構成の再構成可能な光学系または他の再構成可能な表示素子の調整によって達成されることができる。
【００４６】
本開示は、３次元拡張現実エクスペリエンスを提供するための再構成可能なディスプレイシステムを提供し、このディスプレイシステムは、ディスプレイ、可動光学系、ディスプレイと可動光学系との間に位置決めされる光学素子、可動光学系の物理的位置を制御するように構成されるレンズアクチュエータ、ならびにプロセッサ及びメモリを備えるディスプレイコントローラを含み、このメモリは、レンズアクチュエータが再構成可能なディスプレイシステムのユーザ入力及び／または動的条件に基づいて選択される位置及び／または配向に可動光学系を移動させるように制御する、プロセッサによって実行可能な命令を格納し、これらの命令は、ディスプレイからの画像光の出力が光学素子及び可動光学系を通過して透明面上に衝突し、可視画像を生成するように制御することをさらに実行可能である。第一例では、再構成可能なディスプレイシステムは、車両内に追加で、または代替に含まれることができ、透明面は、車両のウインドシールドを追加で、または代替に含むことができる。第二例は、第一例を任意選択で含み、再構成可能なディスプレイシステムの動的条件が車両のシャーシの構成を含む、再構成可能なディスプレイシステムをさらに含む。第三例は、第一例及び第二例の一方または両方を任意選択で含み、再構成可能なディスプレイシステムの動的条件がウインドシールド上の周囲光の量を含む、再構成可能なディスプレイシステムをさらに含む。第四例は、第一例から第三例のうちの１つ以上を任意選択で含み、動的条件がウインドシールド上のグレア位置をさらに含み、可動光学系の選択された位置及び／または配向がグレア位置から離隔されるウインドシールドの位置に画像光を指向するように選択される、再構成可能なディスプレイシステムをさらに含む。第五例は、第一から第四例のうちの１つ以上を任意選択で含み、再構成可能なディスプレイシステムの動的条件が再構成可能なディスプレイシステムのユーザのパラメータを含む、再構成可能なディスプレイシステムをさらに含む。第六例は、第一から第五例のうちの１つ以上を任意選択で含み、発光ダイオードのマトリックスを備えるディスプレイ用のバックライトをさらに備える、再構成可能なディスプレイシステムをさらに含む。第七例は、第一から第六例のうちの１つ以上を任意選択で含み、再構成可能なディスプレイシステムの現在の、または所期の熱負荷が閾値を上回ると決定することに応答してマトリックスの１つ以上の発光ダイオードを選択的にオフにすることを命令がさらに実行可能である、再構成可能なディスプレイシステムをさらに含む。第八例は、第一から第七例のうちの１つ以上を任意選択で含み、視線追跡センサからユーザ焦点の位置のインディケーションを受信するように構成される視線追跡モジュールをさらに含む、再構成可能なディスプレイシステムをさらに含み、命令はディスプレイからの画像光の出力が光学素子及び可動光学系を通過して透明面上に衝突し、可視画像を３次元画像としてユーザ焦点に基づく連続面上に生成するように制御することをさらに実行可能である。第九例は、第一から第八例のうちの１つ以上を任意選択で含み、ディスプレイが第一ディスプレイであり、再構成可能なディスプレイシステムが第二ディスプレイをさらに含み、命令が１つ以上の動的条件に基づいて第一ディスプレイ及び第二ディスプレイを選択的に有効にすることをさらに実行可能である、再構成可能なディスプレイシステムをさらに含む。第十例は、第一から第九例のうちの１つ以上を任意選択で含み、第一ディスプレイは有機発光ダイオード（ＯＬＥＤ）ディスプレイであり、第二ディスプレイは液晶ディスプレイ（ＬＣＤ）であり、命令は周囲光が閾値を下回ることを検出することに応答してＯＬＥＤディスプレイのみを係合し、周囲光が閾値を上回ることを検出することに応答してＬＣＤのみを係合することをさらに実行可能である、再構成可能なディスプレイシステムをさらに含む。
【００４７】
また、本開示は、再構成可能なディスプレイシステムを制御するための方法を提供し、この方法は、レンズアクチュエータが再構成可能なディスプレイシステムのユーザ入力及び／または動的条件に基づいて選択される位置及び／または配向に再構成可能なディスプレイシステムの可動光学系を移動させるように制御すること、ならびにディスプレイからの画像光の出力が光学素子及び可動光学系を通過して透明面上に衝突し、可視画像を生成するように制御することを含む。第一例では、再構成可能なディスプレイシステムの動的条件は、再構成可能なディスプレイシステムを含む車両のシャーシの構成を追加で、または代替に含むことができる。第二例は、第一例を任意選択で含み、再構成可能なディスプレイシステムの動的条件が透明面上の周囲光の量を含む方法をさらに含む。第三例は、第一例及び第二例の一方または両方を任意選択で含み、動的条件が透明面上のグレア位置をさらに含み、可動光学系の選択された位置及び／または配向がグレア位置から離隔される透明面の位置に画像光を指向するように選択される、方法をさらに含む。第四例は、第一から第三例のうちの１つ以上を任意選択で含み、再構成可能なディスプレイシステムの動的条件が再構成可能なディスプレイシステムのユーザのパラメータを含む、方法をさらに含む。第五例は、第一から第四例のうちの１つ以上を任意選択で含み、１つ以上の動的条件に基づいて再構成可能なディスプレイシステムの第一ディスプレイまたは第二ディスプレイのうちの１つを選択的に有効にすることをさらに備える方法をさらに含み、第一ディスプレイが第二ディスプレイとは異なるタイプのディスプレイである。
【００４８】
また、本開示は、３次元拡張現実エクスペリエンスを車両内に提供するための再構成可能なディスプレイシステムを提供し、このディスプレイシステムは、ディスプレイ、可動光学系、ディスプレイと可動光学系との間に位置決めされ、ディスプレイからの画像光を左目画像及び右目画像に分割するように構成される光学素子、可動光学系の物理的位置を制御するように構成されるレンズアクチュエータ、ならびにプロセッサ及びメモリを備えるディスプレイコントローラを含み、このメモリは、レンズアクチュエータが車両のユーザ入力及び／または動的条件に基づいて選択される位置及び／または配向に可動光学系を移動させるように制御する、プロセッサによって実行可能な命令を格納し、これらの命令は、ディスプレイからの画像光の出力が光学素子及び可動光学系を通過して車両のウインドシールド上に衝突し、３次元画像を生成するように制御することをさらに実行可能である。第一例では、動的条件は、追加で、または代替に、車両内のユーザの位置をさらに含み、可動光学系の位置及び／または配向は、車両内のユーザの位置に対応するウインドシールドの位置に３次元画像を位置決めするように追加で、または代替に選択されることができる。第二例は、第一例を任意選択で含み、発光ダイオードのマトリックスを備えるディスプレイ用のバックライトをさらに備える、再構成可能なディスプレイシステムをさらに含み、命令はウインドシールド上に衝突する周囲光の量の関数としてのマトリックスの１つ以上の発光ダイオードを選択的にオフにすることをさらに実行可能である。
【００４９】
上述された例は、他のディスプレイ構成と比較して、パッケージサイズを縮小させる（例えば、ミラーレス３次元ディスプレイ構成を提供することによって）、消費電力を減少させる（例えば、バックライトを選択的に減光することによって）、熱負荷を低減させる（例えば、構成要素の間隔を制御し、バックライトを減少させることによって）、及び／またはユーザエクスペリエンスを向上させる（例えば、表示された画像の被写界深度を調整することでユーザの快適さを向上させる）という技術的効果を有する１つ以上の機能を含むディスプレイ構成を備える。いくつかの例では、出力画像は、環境とよりよく統合する（例えば、近接面及び遠隔面の表示または投影を使用して）ために、及び／または画質を向上させる（例えば、レンチキュラーレンズの部分の半径を調整して）ために、他のディスプレイ構成によって出力される画像と比較して変えられることができる。
【００５０】
実施形態の説明は、例示及び説明の目的で提示している。実施形態に対する好適な修正及び変形は、上記の説明に照らして実行され得、または方法を実践することから得られ得る。例えば、別に記載されない限り、記載される方法のうちの１つ以上は、図２Ａを参照して記載されるディスプレイコントローラ２１４など、適切なデバイス及び／またはデバイスの組み合わせによって実行されることができる。方法は、ストレージデバイス、メモリ、ハードウェアネットワークインタフェース／アンテナ、スイッチ、アクチュエータ、クロック回路などのような、１つ以上の追加のハードウェア素子と組み合わせて１つ以上の論理デバイス（例えば、プロセッサ）を用いて格納された命令を行うことによって実行されることができる。また、記述された方法及び関連した動作は、本出願に記載された順序に加えて、さまざまな順序で、並行して、及び／または同時に実行されることができる。記載したシステムは、本質的に例示的なものであり、追加の要素を含み得、及び／または要素を省略し得る。本開示の発明の主題は、さまざまなシステム及び構成のすべての新しくかつ非自明の組み合わせ及び組み合わせの構成要素、ならびに開示される他の機構、機能、及び／または特性を含む。
【００５１】
本出願で使用する場合、単数形で記載した、「ａ」または「ａｎ」という語が先行する要素またはステップは、排除の記載がない限り、複数の当該要素またはステップを排除しないものとして理解されたい。さらに、本開示の「一実施形態」または「一実施例」への言及は、列挙した特徴も組み込んだ追加の実施形態の存在を排除するものとして解釈されることを意図していない。「第一」、「第二」、及び「第三」などの用語は、単にラベルとして使用しており、数的要件または特定の位置的順序をそれらの物体に課すことを意図していない。以下の特許請求の範囲は、新しくかつ非自明と見なされる上記の開示からの主題を具体的に指し示す。
【図１】
2021523396.tif 000003
【図２Ａ】
2021523396.tif 000004
【図２Ｂ】
2021523396.tif 000005
【図２Ｃ】
2021523396.tif 000006
【図２Ｄ】
2021523396.tif 000007
【図２Ｅ】
2021523396.tif 000008
【図２Ｆ】
2021523396.tif 000009
【図２Ｇ】
2021523396.tif 000010
【図３】
2021523396.tif 000011
【図４】
2021523396.tif 000012
【図５】
2021523396.tif 000013
【図６】
2021523396.tif 000014
【国際調査報告】
2021523396.tif 000015
2021523396.tif 000016
2021523396.tif 000017
2021523396.tif 000018