(57)【要約】拡張現実ヘッドアップディスプレイを提供するディスプレイ構成のための実施形態を開示する。一例では、ディスプレイシステムを操作する方法は、ディスプレイからの画像光の出力がディスプレイと少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子を通過するように調整することを含み、光を透明面上に衝突させ、視線追跡モジュールによって決定されるユーザ焦点に基づく連続面上に３次元画像を生成することを含む。【選択図】図１
2021523595.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイシステムを操作する方法であって、
ディスプレイからの画像光の出力が前記ディスプレイと少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子を通過するように調整することを含み、光を透明面上に衝突させて、視線追跡モジュールによって決定される視線のユーザ焦点及び／または起点位置に基づく連続面上に３次元画像を生成することを含む、
前記方法。
【請求項２】
前記ユーザ焦点を有するユーザの環境が移動するときに、前記連続面上の前記関連した３次元画像の位置を動的に変更することをさらに備える、請求項１に記載の方法。
【請求項３】
前記ユーザ焦点が移動するときに基づいて、前記３次元画像及び／または前記連続面の前記位置を動的に変更することをさらに備える、請求項１に記載の方法。
【請求項４】
１つ以上の乗員監視センサから乗員監視データを受信し、前記乗員監視データに基づいて前記画像光の出力を制御することをさらに備える、請求項１に記載の方法。
【請求項５】
前記乗員監視データは、乗員識別子及び／または乗員位置を含み、前記乗員識別子が前記乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、請求項４に記載の方法。
【請求項６】
前記関連付けられた３次元画像は、前記乗員位置に基づく前記連続面上の位置、及び前記乗員識別子と関連付けられる前記乗員の前記乗員プロファイル及び／または前記パーソナライズされた乗員履歴に基づく出現及び／またはコンテンツを有する、請求項５に記載の方法。
【請求項７】
前記乗員の前記パーソナライズされた乗員履歴は、前記ディスプレイシステムと前記乗員の履歴インタラクションを含む、請求項５に記載の方法。
【請求項８】
３次元拡張現実エクスペリエンスを提供するためのディスプレイシステムであって、
ディスプレイ、
少なくとも１つのマイクロレンズアレイ、
前記ディスプレイと前記少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子、
ユーザ焦点を示す視線追跡センサから視線追跡データを受信するように構成される視線追跡モジュール、及び
プロセッサ及びメモリを備えるディスプレイコントローラ、
を備え、
前記メモリは前記ディスプレイからの画像光の出力が前記光学素子及び前記少なくとも１つのマイクロレンズアレイを通過して透明面上に衝突し、前記ユーザ焦点に基づく連続面上に３次元画像を生成するように制御する、前記プロセッサによって実行可能な命令を格納する、前記ディスプレイシステム。
【請求項９】
前記光学素子は、選択された画像の各画素を分割して、左目画像及び右目画像を作成するように構成され、前記左目画像及び前記右目画像が前記生成された３次元画像を形成する、請求項８に記載のディスプレイシステム。
【請求項１０】
１つ以上の乗員監視センサから乗員監視データを受信するように構成される乗員監視モジュールをさらに備える、請求項８に記載のディスプレイシステム。
【請求項１１】
前記命令は、前記乗員監視データに基づいて前記画像光の出力を制御するために、前記プロセッサによってさらに実行可能である、請求項１０に記載のディスプレイシステム。
【請求項１２】
前記乗員監視データは、乗員識別子及び／または乗員位置を含み、前記乗員識別子が前記乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、請求項１１に記載のディスプレイシステム。
【請求項１３】
前記生成された３次元画像は、前記乗員位置に基づく前記連続面上の位置、及び前記乗員識別子と関連付けられる前記乗員の前記乗員プロファイル及び／または前記パーソナライズされた乗員履歴に基づく出現及び／またはコンテンツを有する、請求項１２に記載のディスプレイシステム。
【請求項１４】
前記ディスプレイシステムは、車両内に含まれ、前記透明面は、前記車両のウインドシールドである、請求項８に記載のディスプレイシステム。
【請求項１５】
前記３次元画像は、前記車両が環境を通して移動するにつれて、前記連続面内の異なる深度に位置決めされるように前記ディスプレイコントローラによって制御される、請求項１４に記載のディスプレイシステム。
【請求項１６】
前記３次元画像は、前記ユーザ焦点が変化するにつれて、前記連続面内の異なる深度に位置決めされるように前記ディスプレイコントローラによって制御される、請求項１４に記載のディスプレイシステム。
【請求項１７】
前記光学素子は、レンチキュラーレンズまたは視差障壁であり、前記ディスプレイシステムは、発光ダイオードのマトリックスを備える前記ディスプレイ用のバックライトをさらに備える、請求項８に記載のディスプレイシステム。
【請求項１８】
車両用のディスプレイシステムであって、
ディスプレイ、
少なくとも１つのマイクロレンズアレイ、
前記ディスプレイと前記少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子、
ユーザ焦点を示す視線追跡センサから視線追跡データを受信するように構成される視線追跡モジュール、
１つ以上の乗員監視センサから乗員監視データを受信するように構成される乗員監視モジュール、及び
プロセッサ及びメモリを備えるディスプレイコントローラ、
を備え、
前記メモリは前記ディスプレイからの画像光の出力が前記光学素子及び前記少なくとも１つのマイクロレンズアレイを通過して前記車両のウインドシールド上に衝突し、前記車両についてヘッドアップディスプレイ画像を生成するように制御する、前記プロセッサによって実行可能な命令を格納し、前記ヘッドアップディスプレイ画像は前記ユーザ焦点に作成される連続面上の選択された深度に位置決めされる３次元画像を含み、前記選択された深度は前記視線追跡データ及び／または前記乗員監視データに基づいて選択される、前記ディスプレイシステム。
【請求項１９】
前記乗員監視データは、乗員識別子及び／または乗員位置を含み、前記乗員識別子は前記乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、請求項１８に記載のディスプレイシステム。
【請求項２０】
前記３次元画像が位置決めされる前記連続面上の前記選択された深度は、環境を通した前記車両の移動の関数として動的に変更される、請求項１８に記載のディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、「ＭＩＲＲＯＲＬＥＳＳ  ＨＥＡＤＳ  ＵＰ  ＤＩＳＰＬＡＹ」と題され、２０１８年５月４日に出願された米国仮出願第６２／６６７，３５５号に優先権を主張する。上記で特定された本出願の全内容は、あらゆる目的のために参照により本明細書に援用される。
【０００２】
本開示は、３次元ヘッドアップディスプレイを含むシースルーディスプレイ構成によって提供される拡張現実エクスペリエンスに関する。
【背景技術】
【０００３】
拡張現実システムを使用し、仮想（例えば、コンピュータ生成）オブジェクトをユーザの視野内に挿入し、実世界環境内に統合される仮想オブジェクトをユーザに出現させる。例えば、シースルーディスプレイデバイスは、仮想オブジェクトを表示すること、及び実世界環境からの光が視聴者に通過することを可能にすることの両方ができることにより、視聴者は、ディスプレイデバイスを通して実世界環境及び仮想オブジェクトを見る。
【発明の概要】
【課題を解決するための手段】
【０００４】
車両用ヘッドアップディスプレイを含む、シースルーディスプレイをさまざまな環境で使用することができる。これらのようなヘッドアップディスプレイは、最大２面（例えば、近接面及び遠隔面）を占める投影空間中に画像をオーバーレイする、２次元ディスプレイ及び／または拡張現実エクスペリエンスを提供することが多い。このエクスペリエンスを２面に制限することにより、拡張現実画像と実世界環境との間の関係は、特に車両の走行中に使用されるヘッドアップディスプレイを備える車両の環境などの移動環境では、制限される。本開示は、画像の画素ごとに左目及び右目の画像を分割した後に、視線追跡を使用して、左目及び右目の画像を合成してユーザの目の焦点が合う位置に返す光学素子を含む３次元拡張現実ディスプレイシステムを提供する。このように、本開示は、画像を互いに合成する位置の焦点を変更して、ユーザが焦点を合わせているどんな位置でも連続面を作成し、そこに立体画像を作成した後に、環境及び／またはユーザ焦点が移動するにつれて、その立体画像を移動させ続けるという動的な方式を提供する。このように、投影画像は、近接場及び遠隔場の位置に限定されなくなることができるが、ユーザの３次元視野内のどこにでも（例えば、水平、垂直、及び深度のいずれかの位置に）位置決めされ、環境及び／またはユーザ焦点が移動するにつれて、連続して再位置決めされることができる。例えば、他の拡張現実システムにおいて投影画像は、２つの深度（例えば、近接場及び遠隔場）のうちの１つにのみ位置決めされることができるが、開示されたシステムによって生成される投影画像は、範囲内の任意の深度に位置決めされることができる（例えば、非限定的な一例の範囲として、５メートルから７５メートル、ユーザから離れたいずれかの位置にあるように出現する）。
【０００５】
車両内のヘッドアップディスプレイなどのシースルーディスプレイに関する別の考察は、ワールドロックされた仮想画像（例えば、環境とともに移動する画像または画像の部分）、及び視聴者ロックされた（または車両ロックされた）仮想画像（例えば、視聴者／車両が環境を通じて移動する場合でさえ視聴者に対して同じ位置にとどまっているように出現する画像または画像の部分）のうちの一方または両方を提供するためのプロビジョニングを含む。本開示は、上記に考察される、画像ロック機能のさまざまな組み合わせを提供するためのメカニズムを提供する。
【０００６】
３次元拡張現実エクスペリエンスを提供するディスプレイシステムを操作する例示的な方法は、ディスプレイからの画像光の出力がディスプレイと少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子を通過するように調整することを含み、光を透明面上に衝突させ、視線追跡モジュールによって決定される視線のユーザ焦点及び／または起点位置に基づく連続面上に３次元画像を生成することを含む。
【０００７】
本開示は、上述される３次元拡張現実エクスペリエンスを提供するための例示的なディスプレイシステムを提供する。一例として、本開示は、３次元拡張現実ヘッドアップディスプレイを提供する。３次元ディスプレイは、光学の回折格子を利用してミラーレス撮像及び／または投影を作成することができる。自動立体画像を生成するために、視差またはレンチキュラー素子（例えば、フィルム）をディスプレイ構成内に含むことができる。考察されるように、生成された画像は、視線追跡機能を利用して、画像を連続面内に位置決めすることができる。視差またはレンチキュラー素子内の光学素子は、重複している場合があるため、元の画像生成に低解像度のソースの使用を可能にし、この低解像度のソースは、低コスト、高効率（高透過）、及び低消費電力のディスプレイ（重複する光学素子を利用しないディスプレイと比較して）を提供する。元の画像生成器は、透過型ディスプレイテクノロジー（例えば、液晶ディスプレイ、ＬＣＤ）及び／または微小素子ベースのテクノロジー（例えば、デジタル光処理微小電気機械システム、ＤＬＰ  ＭＥＭＳ）を利用することができる。透過型ディスプレイを利用する例は、バックライト素子を含むことができ、このバックライト素子は、他のバックライト構成と比較してディスプレイの電力効率を向上させる、発光ダイオード（ＬＥＤ）のマトリックスを含む。例えば、バックライトは、ローカライズされた減光テクノロジーを利用して、所望の画像を生成する際に使用されていないバックライトへの電力供給を回避することができる。バックライトは、ミニ発光ダイオード（ミニＬＥＤ）またはマイクロ発光ダイオード（マイクロＬＥＤ）のマトリックスを含むことができる。フリーフォームＬＥＤをシリカに埋め込み、バックライトについて嵩が低い、及び／または小型のパッケージ化を提供することができる。運転者または他のユーザの視線は、追跡され、視線と交差するように（または視線を介して提供される入力に反応するように）ディスプレイの部分を駆動するために使用されることができる。
【０００８】
上述されたディスプレイのいくつかの例では、ディスプレイ構成に含まれる視差またはレンチキュラーレンズ素子などの３次元素子は、３次元奥行き知覚を動的に変更するために可動であることができる。また、３次元素子の可動性により、ディスプレイ上の日射量を自動的に低減させるために、高い日射量環境が検出されるときに光学素子の位置を制御することが可能であることができる。例えば、赤外線（ＩＲ）検出は、コールドミラー（例えば、ディスプレイ構成内の）の背面のフォトダイオードを使用して、日射量を能動的に検出し、大きなミラー及び／またはレンチキュラー／視差素子を制御して移動させ、日射量への対策を提供するために実行されることができる。上述されたディスプレイ構成のうちの１つにおけるレンチキュラーレンズの追加または代替の機能は、可変処方機能を含む。例えば、レンチキュラーレンズの処方は、遠隔場の像面湾曲を補正する、及び／またはその他の方法により相殺するように調整される（例えば、レンチキュラーレンズの一部分の半径及び／または配向を変えることにより）ことができる。
【０００９】
別の例では、１つ以上のレンズ素子は、ユーザ入力を介して調整可能な位置を有することができる。例えば、ディスプレイ構成内の１つ以上のレンズは、ディスプレイ構成によって生成される画像を見やすくするために、ユーザ入力に基づいて空間内で調整されることができる。調整可能なズームレンズは、ディスプレイ構成に含まれることができ、物理空間内を移動して（例えば、ユーザ入力に応答して）、空間内に見られる画像の被写界深度を変更することができる。
【００１０】
また、本開示は、空間内で複数の重複する像面（例えば、複数の２次元の重複する像面）を提供するディスプレイ構成を提供する。一例のディスプレイでは、クロマチックフィルムを使用して、高密度スペクトル結合を提供し、複数の画像を作成することができる。例えば、クロマチックフィルムは、ある特定の光が通過することを可能にするが、他の光を反射させ、３次元空間内で結像を重複させることを可能にすることができる。別の例として、ディスプレイ構成は、重複する結像を提供するために複数のホログラフィックシートを作成するレーザを含むことができる。別の例では、ディスプレイ構成は、複数の像面を作成するために複数のＬＣＤディスプレイを含むことができる。例えば、２つのＬＣＤ透過型ディスプレイは、ブリュースター角での反射を可能にする、特定の角度での偏光を可能にするように位置決めされることができる。それらのような例では、追加の位相差フィルムをディスプレイ構成内で使用し、複数の像面を作成することができる。さらに別の例として、有機発光ダイオード（ＯＬＥＤ）または光学コーティング及び投影技術を使用して、複数の近接面及び遠隔面の投影を提供することができる。例えば、近接面は、ウインドシールドガラスとして、またはウインドシールドガラスに埋め込まれた感光性材料として透明ＯＬＥＤを介して提供されることができ、遠隔面は、ＬＣＤまたはＭＥＭＳベースの投影を使用して提供されることができる。上述された構成は、体積が大きい／嵩高い投影系を使用せずに、複数の像面を可能にすることができることにより、他の投影系よりも低い消費電力を有することができる。上記の機能のいずれかを組み合わせて使用して、ヘッドアップディスプレイ上で強化された拡張現実エクスペリエンスを提供することができることを理解されたい。
【００１１】
本開示は、添付の図面を参照することにより、非限定的な実施形態の以下の説明を読むことからより良く理解され得る。
【図面の簡単な説明】
【００１２】
【図１】本開示の１つ以上の実施形態による、拡張現実環境の一例を示す。
【図２Ａ】本開示の１つ以上の実施形態による、ミラーレスディスプレイ構成の例示的なブロック図を示す。
【図２Ｂ】本開示の１つ以上の実施形態による、車室内のミラーレスディスプレイ構成の例示的な概略図を示す。
【図２Ｃ】本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。
【図２Ｄ】本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。
【図２Ｅ】本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。
【図２Ｆ】本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。
【図２Ｇ】本開示の１つ以上の実施形態による、画像を投影するための車室内のミラーレスディスプレイ構成の例示的な概略図を示す。
【図３】本開示の１つ以上の実施形態による、ディスプレイを調整する方法の例示的なフローチャートを示す。
【図４】本開示の１つ以上の実施形態による、乗員監視に基づいてディスプレイを調整する方法の例示的なフローチャートを示す。
【図５】本開示の１つ以上の実施形態による、多面ディスプレイ構成の一例を示す。
【図６】本開示の１つ以上の実施形態による、調整可能な光学系を含むディスプレイ構成の一例を示す。
【発明を実施するための形態】
【００１３】
本開示は、車両などの環境内でヘッドアップディスプレイを形成する際に生じる可能性がある上記の問題に対処するディスプレイ構成を提供する。例えば、本開示は、他のディスプレイ構成と比較してパッケージサイズを縮小させることができるミラーレス３次元ディスプレイ構成を説明する。また、本開示は、ディスプレイ用の選択的に減光可能なバックライトを利用して、他のディスプレイ構成と比較して消費電力を低減させる構成例を説明する。また、本開示は、可動光学素子を提供することにより、他のディスプレイ構成と比較して、ユーザエクスペリエンスを向上させる（例えば、表示された画像の被写界深度を調整することによりユーザの快適さを向上させる）ことを説明する。他のディスプレイ構成と比較して、表示された画像を背景環境とよりよく統合するために、近接面投影及び遠隔面投影を使用する例も説明する。湾曲場（例えば、湾曲したウインドシールド）を使用して画像を表示するときの画質を向上させるために、レンチキュラーレンズの処方への調整などの光学素子の構造構成への調整を説明する。説明された特徴を任意の組み合わせで使用して、所与の環境で発生する特定の複雑な問題に対処するディスプレイ構成を達成することができる。
【００１４】
図１は、例示的な拡張現実環境１００を示し、そこでは、車両１０３の車載ディスプレイシステム１０２は、仮想画像をユーザ１０４の環境内に投影するように制御される。図示された例では、この環境は車両であるが、本開示の範囲から逸脱することなく、以下に説明される構成要素のうちの１つ以上が別の拡張現実環境に使用されるディスプレイ構成に含まれることができることを理解されたい。
【００１５】
ディスプレイシステム１０２は、表示部１０６を含む光源を備え、光源は、仮想画像を形成するために制御された方式で光を投影することができる。表示部１０６は、平面または非球面であることができる折り返しミラー１０８に向けて光を投影することができ、この折り返しミラーは、非球面であることができる回転可能なミラー１１０に向けて受光した光を反射する。この回転可能なミラーは、グレアトラップ１１２及びライトトラップ１１４に向けて光を指向することができ、光が、仮想位置１１８に出現するようにウインドシールド１１６を通して可視である位置に出現するように制御するために使用可能である。仮想位置１１８は、ユーザ１０４の頭部動作及びアイボックス１２２から始まり、ユーザ１０４の可視範囲の少なくとも一部分を表す光路１２０内にあるように制御されることができる。
【００１６】
図１に示されるように、ディスプレイ構成でのミラーの使用は、ディスプレイシステムに車両１０３内の大量のスペースを占有させる。図２Ａは、ミラー付きディスプレイ構成と比較してパッケージサイズを縮小させるために使用されることができる、ミラーレス３次元ディスプレイ構成２０２の一例を示す。図２Ａのディスプレイ構成２０２は、車両２０４の内側に含まれ、ウインドシールド２０６上に、及び／またはこれを通じて光を投影するように構成されることができる。ディスプレイ構成は、ディスプレイ２０８、１つ以上のマイクロレンズアレイ２１０ａ及び２１０ｂ、ならびにディスプレイ２０８とマイクロレンズアレイ２１０ａとの間に位置決めされる３次元素子２１２を含むことができる。３次元素子２１２は、ディスプレイ２０８の出力から自動立体画像を生成する視差またはレンチキュラー素子（例えば、フィルム）を含むことができる。ディスプレイ２０８は、透過型ディスプレイテクノロジー（例えば、液晶ディスプレイ、ＬＣＤ）及び／または微小素子ベースのディスプレイテクノロジー（例えば、デジタル光処理微小電気機械システム、ＤＬＰ  ＭＥＭＳ）を含むことができる。マイクロレンズアレイ（複数可）は、ウインドシールド２０６全体、またはウインドシールドの選択された一部分が表示面（例えば、３次元表示画像が投影される透明面）として機能するように、ウインドシールド２０６に対して位置決めされることができる。このようにして、ディスプレイシステムの視野は、他の構成（例えば、ミラー付き構成）よりも広い視野を有するディスプレイを提供することができる、マイクロレンズアレイの数及び配置に従ってサイズ設定されることができる。ディスプレイ２０８は、ディスプレイ２０８の背面沿いに分散する光源（例えば、発光ダイオード）のマトリックスを含む、バックライトアレイ２０９を介して照明されることができる。示されるように、ディスプレイ２０８、バックライト２０９、３Ｄ素子２１２、及びマイクロレンズアレイ（複数可）２１０ａ及び／または２１０ｂは、合わせて表示部２０７を形成することができる。別々に示されているが、いくつかの例では、ディスプレイコントローラ２１４も表示部２０７に含むことができる。
【００１７】
簡潔に図２Ｂを参照して、車両２０４の車室２０３の概略図を示し、図中、ユーザ２０５が着席している。画像光が、仮想位置２１１に出現するようにウインドシールド２０６を通して可視である位置に出現するように制御するために、複数の表示部２０７は、ウインドシールド２０６にわたり分散する（例えば、表示部２０７のアレイを形成するために）。仮想位置２１１は、ユーザ２０５の頭部動作及びアイボックス２１５から始まり、ユーザ２０５の可視範囲の少なくとも一部分を表す光路２１３内にあるように制御されることができる。図２Ａに関して上述されるように、各表示部２０７は、バックライト（例えば、バックライト２０９）のアレイを含むディスプレイ（例えば、ディスプレイ２０８）、１つ以上のマイクロレンズアレイ（例えば、マイクロレンズアレイ２１０ａ及び／または２１０ｂ）、及びディスプレイとマイクロレンズアレイ（複数可）との間に位置決めされる３Ｄ素子（例えば、３Ｄ素子２１２）を備えることができる。各表示部２０７は個々のディスプレイコントローラ（例えば、ディスプレイコントローラ２１４）によって制御されることができる、及び／または単一のディスプレイコントローラは各表示部２０７のディスプレイを制御することができる。
【００１８】
図２Ｃ〜２Ｇは、ウインドシールド２０６上に／これを通じて表示部２０７を介して画像を表示するためのさまざまな表示シナリオを概略的に示す。図２Ｃでは、車両２０４の車室２０３の内側についての図は、図２Ｂに概略的に示されるような車室２０３に対して異なる後方視点から概略的に示される。図２Ｃの例では、車室２０３は、２人の乗員、第一乗員２２４及び第二乗員２２６を含む。両方の乗員は、車両２０４の環境内の同じ物体を標的とするユーザ焦点２２７を有することができるが、車室内の乗員の異なる位置（及び乗員のそれぞれの視線の軌跡の起点として機能する、乗員の目の異なる位置）に起因して、第一乗員２２４は、第二乗員２２６の第二視線の軌跡２３０とは異なる第一視線の軌跡２２８を有することができる。その結果、表示部２０７は、第一乗員対第二乗員についてのユーザ焦点で可視である画像を提示することとは異なり、光をウインドシールド上に指向することができる。
【００１９】
図２Ｄは、立体画像２３６ａ及び２３６ｂを使用する標識２３４などの実世界の物体上に仮想画像２３２をオーバーレイするための例示的な投影を示す。立体画像２３６ａ及び２３６ｂは、第一乗員２２４の視点からのユーザ焦点２２７に仮想画像２３２を提示するように構成される。図示された例では、そのような位置決めは、左端の表示部２０７の連動された使用によって達成される。図２Ｅは、第二乗員２２６の視点からのユーザ焦点２２７に仮想画像２３２’を提示するように構成される立体画像２３８ａ及び２３８ｂを使用して、標識２３４上に仮想画像２３２’をオーバーレイするための例示的な投影を示す。仮想画像は、３次元であり、乗員のためにカスタマイズされることができるので、仮想画像２３２は、仮想画像２３２’とは異なることができる。例えば、第一乗員２２４はレストランまでの距離に最も関心がある場合があり（例えば、レストランに関心を示す、第一乗員から受信するような情報についての要求に基づいて、及び／または最後の食事からの時間のような第一乗員の最近の活動または挙動の調査に基づいて）、第二乗員２２６はホテルまでの距離に最も関心がある場合がある（例えば、ホテルに対する関心を示す、第二乗員から受信するような情報についての要求に基づいて、及び／または眠気レベルのような第二乗員の最近の活動または挙動の調査に基づいて）。その結果、仮想画像２３２は、レストランまでの距離に関する情報を含むことができ、仮想画像２３２’は、ホテルまでの距離に関する情報を含むことができる。そのような情報ターゲティングは、各乗客についての目的地がわかっており、それぞれの目的地についての関連情報が各乗客に提示されるタクシーまたはライドシェアシナリオでも有用である場合がある。
【００２０】
２人の乗員の位置における差異により、立体画像２３８ａ／ｂは、立体画像２３６ａ／ｂとは異なる位置に位置決めされる。図示された例では、立体画像２３８ａ／ｂを投影するために使用される表示部に対して、異なる表示部２０７（例えば、中央の表示部）が立体画像２３６ａ／ｂを投影するために使用される。他の例では、同じ表示部は、立体画像のいずれかのセットを投影するために使用されることができ、出力光及び／または他のパラメータ（例えば、選択された表示部についてのバックライトの選択的な減光）の指向性は、異なる位置に立体画像を表示するために調整されることができる。図２Ｄ及び２Ｅの各例では、それぞれの乗員についての立体画像は、それぞれの乗員の視点からの仮想画像のアライメントを確保するために、そのそれぞれの乗員の目の位置及び視線に基づいて位置決めされる。選択された乗員の目の位置及び視線に基づいて仮想画像を位置決めすることにより、投影された画像は、車両のいかなる乗員にも対応することができ、乗員が車両内のどこにでも着席することができるドライバーレス車両シナリオなどのシナリオでは有用であることができる。
【００２１】
いくつかの例では、仮想画像２３２’は、実世界の物体が環境内で移動するときに（または車両がこの環境を通じて実世界の物体に関して移動するときに）、実世界の物体の位置を追跡するように構成されることができる。図２Ｆは、標識の位置が車両２０４に関して移動する場合に仮想画像２３２’と標識２３４の位置とのアライメントを維持するために、立体画像２３８ａ／ｂの移動の一例を示す。その結果、図２Ｅ及び２Ｆにおける、立体画像２３８ａ／ｂ及び標識２３４の相対的な位置決めは、第二乗員の視点からみた場合の標識２３４とのアライメントを維持するために、実質的に縮尺どおりに、実世界における標識２３４の移動と、立体画像の結果として生じる移動（及び結果として生じる仮想画像）とを示すことができる。
【００２２】
図２Ｇは、例示的なシナリオを示し、このシナリオでは、複数の表示部を使用してウインドシールド２０６を介して複数の画像を投影することができ、ウインドシールド２０６の大部分（例えば、ウインドシールド全体）を表示面として使用することが可能である。例えば、図２Ｆに関して上述される立体画像２３８ａ／ｂに加えて、別の表示部は、現在速度表示装置２４０（例えば、ウインドシールドの左端上の表示部）を投影することができ、さらに他の表示部は、ナビゲーション命令２４２（例えば、ウインドシールドの右端上の表示部）を投影することができる。速度表示装置２４０及びナビゲーション命令２４２は、近接場（例えば、仮想画像２３２’に関して異なる場）に表示されることができ、仮想画像２３２’は、遠隔場に表示されることができる。図示されるように、所与の画像を表示するために使用される表示部の数は異なることができる。いくつかの例では、さまざまな仮想画像またはインジケータをウインドシールド上に／これを通して表示するために使用される表示部は、ウインドシールド上に／これを通して表示される仮想画像及び／またはインジケータの数よりも多くてもよい。他の例では、ウインドシールド上に／これを通して表示される仮想画像及び／またはインジケータのその数を表示するために、同じ数の、またはより少ない表示部を使用することができる。所与の１つの仮想画像、または仮想画像セットを表示するために使用される表示部の数は、サイズ、解像度、コンテンツ、色などのような仮想画像（複数可）のパラメータに依存することができる。
【００２３】
図示された例では、表示部２０７は、ウインドシールドを介してさまざまな画像を表示するために利用されるが、画像が本明細書に開示される他のディスプレイ配置を使用して提示されることができることを理解されたい。例えば、速度表示装置２４０及び／またはナビゲーション命令２４０は、ウインドシールド２０６によって形成されるシースルーディスプレイを介して表示されることができ、仮想画像２３２’は、ミラーレス表示部２０７を介して表示されることができる。他の例では、表示部２０７のうちの１つ以上は、いくつかの例ではミラーを含むことができる、本明細書に開示される他のディスプレイ構成を代替に含むことができる。
【００２４】
図２Ａに戻り、ディスプレイ２０８は、ディスプレイコントローラ２１４を介して制御されることができる。ディスプレイコントローラ２１４は、専用ディスプレイコントローラ（例えば、ディスプレイのみを制御する専用電子制御部）または複合型コントローラ（例えば、ディスプレイ及び１つ以上の他の車両システムを制御する共有電子制御部）であることができる。いくつかの例では、ディスプレイコントローラは、車両２０４のヘッドユニット（例えば、インフォテインメントユニット及び／または他の車載コンピューティングシステム）であってもよい。ディスプレイコントローラは、メモリ及びプロセッサを含むことができ、このプロセッサは、メモリに格納される命令を実行してディスプレイ２０８の出力を制御する。ディスプレイコントローラ２１４は、メモリに格納される命令に基づいて、及び／または他の入力に基づいて特定の画像を投影するようにディスプレイ２０８を制御することができる。また、ディスプレイコントローラ２１４は、ディスプレイの状態、及び／またはディスプレイの周囲条件に基づいて電力を節約する、及び／または熱を低下させるために、バックライトアレイ２０９からバックライトを当てる部分を選択的にオフにする（例えば、減光する）ようにディスプレイ２０８を制御することができる。例えば、画像領域が黒色である場合、画像の黒色領域の位置に対応するバックライトアレイ２０９の部分をオフにすることができる。別の例として、熱負荷が閾値を上回ると予測された、または検出された場合、バックライトアレイ２０９の選択された光源をオフにして発熱を低減させることができる（例えば、このアレイ内の光源を交互にする、スイッチをオフにすることができるため、光源の半分だけが発熱しながら画像全体を表示することができる、または画像のサイズを縮小させて、画像の新たな黒色領域の位置に対応するアレイ内の光源をオフにすることができる）。ディスプレイ２０８の機構を制御するためのディスプレイコントローラ２１４への入力の例は、視線追跡モジュール２１６、日射量監視モジュール２１８、ユーザ入力インタフェース２２０、及び車両入力インタフェース２２２を含む。
【００２５】
視線追跡モジュール２１６は、ユーザ（例えば、運転者）の目の動きを追跡するために、１つ以上のイメージセンサを含む、及び／またはこれらと通信することができる。例えば、１つ以上のイメージセンサは、車両２０４の車室に取り付けられ、車両内のユーザの瞳孔または他の目の特徴の画像をキャプチャする（例えば、連続的に）ように位置決めされることができる。いくつかの例では、目を追跡するイメージセンサからの画像データは、視線方向及び／または他の視線追跡の詳細を決定するように処理するために、ディスプレイコントローラに送信されてもよい。他の例では、視線追跡モジュール２１６は、目のキャプチャされた画像を分析し、視線方向及び／または他の視線追跡の詳細を決定するように構成される、１つ以上の処理モジュール（例えば、車両のヘッドユニットの処理モジュールなどの車両内のローカルモジュール、及び／またはクラウドベースのサーバなどの車両外のリモートモジュール）を含むことができる、及び／またはそれらと通信することができる。それらのような例では、視線方向及び／または他の視線追跡情報を示す処理結果をディスプレイコントローラに送信することができる。視線追跡情報は、ディスプレイコントローラによって受信されたか、ディスプレイコントローラで決定されたかにかかわらず、１つ以上の表示特性を制御するためにディスプレイコントローラによって使用されることができる。表示特性は、表示データの位置（例えば、視線方向内にある）、ローカライズされた減光制御（例えば、視線方向の外側にある領域内のバックライトを減光する）、表示データのコンテンツ（例えば、視線方向を使用してグラフィカルユーザインタフェース上で選択を決定し、グラフィカルユーザインタフェース上で選択に対応するコンテンツをレンダリングする）、及び／または他の表示特性を含むことができる。いくつかの例では、他の視線追跡データを使用して、目を細めるユーザの検出に応答して表示されたデータの視認性（例えば、不透明度、サイズなど）を調整するなど、表示特性を調整することができる。
【００２６】
日射量監視モジュール２１８は、ウインドシールド及び／または表示素子上に衝突する太陽光（または他の光）の量を決定するために、赤外線センサなどの１つ以上の太陽光検出センサを含む、及び／またはこれらと通信することができる。イメージセンサ及び視線追跡データに関して上記で説明されるように、日射量監視データは、ローカルに（例えば、日射量監視モジュール２１８によって、ディスプレイコントローラ２１４によって、及び／または車両２０４のヘッドユニットの処理モジュールなどの別の車載処理モジュールによって）、リモートに（例えば、クラウドベースのサーバなどの車両外のリモートサービスによって）、及び／またはそれらのいくつかの組み合わせで処理されることができる。日射量監視データは、ディスプレイ構成に関連する車両の所与の領域（例えば、表示部、ディスプレイ２０８からのディスプレイ光が投影されることができるウインドシールド領域、ディスプレイ２０８から発せられる光の光路内の他の位置など）内の太陽光（または他の光）の量を含むことができる。この光量は、１つ以上の閾値と比較され、１つ以上の表示特性を調整するためにディスプレイコントローラ２１４によって使用されることができる。例えば、ウインドシールドの特定の領域での日射量が閾値を上回る場合、ディスプレイコントローラ及び／または別の適切なコントローラは、光学素子（例えば、３Ｄ素子２１２）の物理的位置を調整して、ディスプレイ構成の焦点距離を増加させ、ディスプレイ構成の光学系の倍率を低減させることによって表示素子（例えば、ＬＣＤディスプレイの薄膜トランジスタ、ＴＦＴ）上の日射量を減少させることができる。
【００２７】
ユーザ入力インタフェース２２０及び車両入力インタフェース２２２を使用して、それぞれユーザ入力及び車両データ／状態に基づいてディスプレイを制御するための命令をディスプレイコントローラ２１４に提供することができる。例えば、表示される情報のタイプを変更する（例えば、速度／ＲＰＭなどのような機器データと、回動方向などのナビゲーションデータとの間で選択する）ためのユーザ入力、グラフィカルユーザインタフェースが表示されたときにオプションを選択するためのユーザ入力、及び／またはその他の方法により、ユーザ選好を示すためのユーザ入力は、ディスプレイコントローラ２１４に提供され、ディスプレイ構成２０２を介して表示されるデータのコンテンツ及び／またはフォーマットを変更するために処理されることができる。ユーザ入力インタフェースは、タッチスクリーン、車載アクチュエータ（例えば、ボタン、スイッチ、ノブ、ダイヤルなど）、マイクロフォン（例えば、音声コマンド用）、外部デバイス（例えば、車両乗員のモバイルデバイス）、及び／または他のユーザ入力デバイスを含むが、これらに限定されない、任意の適切なユーザ入力デバイスからユーザ入力を受信することができる。車両入力インタフェース２２２は、車両状態及び／または他の車両データを示す車両センサ及び／またはシステムからデータを受信することができ、このデータをディスプレイコントローラ２１４に送信してディスプレイ構成２０２を介して表示されるデータのコンテンツ及び／またはフォーマットを調整することができる。例えば、現在の速度を車両入力インタフェースに提供し（例えば、車両のコントローラエリアネットワーク、ＣＡＮ、バスを介して）、ディスプレイコントローラに送信し、車両の現在の速度の表示を更新することができる。車両入力インタフェースは、車両のヘッドユニットのナビゲーションモジュール、及び／または車両内の他の情報源からの入力も受信することができる。
【００２８】
図３は、視線追跡、日射量、ユーザ入力、及び／または車両入力に基づいてディスプレイを制御する例示的な方法３００のフローチャートである。方法３００は、図２Ａの視線追跡モジュール２１６、日射量監視モジュール２１８、ユーザ入力インタフェース２２０、及び車両入力インタフェース２２２などの他のデバイスと相関している、図２Ａのディスプレイコントローラ２１４などのディスプレイコントローラによって実行されることができる。３０２において、方法は、視線追跡データを受信したかどうかを決定することを含む。視線追跡データを受信した場合（例えば、３０２において「はい」）、方法は、３０４に示されるように、視線追跡データから視線方向を決定することを含む。任意選択で、方法は、３０６に示されるように、視線方向に基づいて表示されたデータの位置及び／または出現を調整することをさらに含む。例えば、表示されたデータの位置は、視線方向とアライメントを取るように（例えば、視線の検出とアライメントを取るように更新される新しい連続面上に位置決めされるように）調整されることができる。別の例として、表示されたコンテンツは、視線方向が表示されたデータの位置とアライメントを取らないときに、表示されたコンテンツは減少する、及び／または軽減される（例えば、ディスプレイの出力を減少させる）（例えば、視聴者が表示されたデータから目をそらしているときに、表示されたデータは電力資源を節約するために減少することができる）。
【００２９】
３０８において、方法は、ユーザ選択可能な素子が表示されているかどうかを決定することを含む。ユーザ選択可能な素子が表示されている場合（例えば、３０８において「はい」）、この方法は、３１０に示されるように、視線方向に基づいてユーザ選択を決定することを含む。例えば、視線方向をユーザの視野内に表示された素子の位置と比較して、ユーザの視線が交差する選択可能なアイテム（もしあれば）を決定することができる。３１２において、この方法は、ユーザ選択に基づいてディスプレイのコンテンツを調整することを含む。例えば、異なる表示された情報は、異なるビューを選択するユーザ入力に応答して提示されてもよい。
【００３０】
コンテンツを調整すると、またはユーザ選択可能な素子が表示されない場合（例えば、３０８において「いいえ」）、または視線追跡データが受信されない場合（例えば、３０２において「いいえ」）、方法は、３１４に示されるように、日射量データが受信されたかどうかを決定することを含む。日射量データが受信された場合（例えば、３１４において「はい」）、方法は、３１６に示されるように、日射量データから、日射量が影響するディスプレイ領域を決定することを含む。３１８において、方法は、いずれかの領域が閾値を上回る日射量を有するかどうかを決定することを含む。ディスプレイの１つ以上の領域が閾値を上回る日射量を有する場合（例えば、３１８において「はい」）、方法は、３２０に示されるように、影響した領域（例えば、閾値を上回る日射量を有する１つ以上の領域）における日射量を減少させるために光学素子の位置を変更することを含む。３２２において、この方法は、日射量に基づいて表示された画像の視認性を向上させるためにバックライトを調整することを含む。例えば、閾値の日射量を上回る領域における結像の輝度またはコントラストを向上させて、ディスプレイのこれらの領域の視認性を向上させることができる。
【００３１】
日射量を相殺するようにディスプレイを調整すると、または領域が閾値を上回る日射量を有さない場合（例えば、３１８において「いいえ」）、または日射量データが受信されない場合（例えば、３１４において「いいえ」）、方法は、３２４に示されるように、ユーザまたは車両入力が受信されたかどうかを決定することを含む。ユーザまたは車両入力が受信されない場合（例えば、３２４において「いいえ」）、方法は、３２８に示されるように、表示コンテンツ及び／または出現を維持する（例えば、ディスプレイを変更しない）ことを含むことができる。いくつかの例では、表示コンテンツ及び／または出現を維持することは、表示をまったく変更しないことを含むことができるが、他の例では、表示コンテンツ及び／または出現を維持することは、表示コンテンツの相対的な位置決め及び／または出現を維持することを含むことができる。例えば、表示されたコンテンツが実世界の物体上にオーバーレイされ、オブジェクトが環境を通して移動する、及び／またはユーザ／車両に対して移動するときに（例えば、ユーザ／車両がオブジェクトに対する環境を通して移動するときに）そのオブジェクトにロックされるように構成される場合、表示コンテンツ及び／または出現を維持することは、実世界の物体（車両のウインドシールドなどの表示媒体上に表示コンテンツの位置を移動させることを含むことができる）とアライメントを取るように表示コンテンツの位置決めを維持することを含むことができる。
【００３２】
ユーザまたは車両入力が受信された場合（例えば、３２４において「はい」）、方法は、３２６に示されるように、ユーザ及び／または車両入力に基づいて表示されたデータのコンテンツ及び／または出現を調整することを含む。例えば、表示されたデータを調整して、メニューオプションを選択するユーザ入力を登録する（例えば、３１２に上述されるように）、及び／またはユーザ選好（例えば、ユーザがディスプレイサイズの増加、もしくはディスプレイ出現の別の変更を指定することができる、またはユーザが別のディスプレイモード、ディスプレイのシャットダウンなどを指定することができる）を満たすことができる。ユーザ入力は、音声入力（例えば、車両に関連するマイクロフォンによって検出される）、タッチ入力（例えば、車両に関連するタッチセンサによって検出される）、作動入力（例えば、車両と関連する１つ以上のボタン／アクチュエータによって検出される）、視線入力（例えば、車両に関連する１つ以上の視線センサによって検出される）、及び／または任意の他のユーザ入力メカニズムとして受信されることができる。
【００３３】
別の例として、表示されたデータは、車両パラメータを示す車両からのデータに応答して、更新された車両パラメータ（例えば、車両速度、エンジンＲＰＭなど）を出力するように調整されることができる。ユーザ／車両入力は、表示されたデータのパラメータを変更するために使用されるユーザの作業負荷または環境条件を反映するユーザ／車両状態をも含むことができる。例えば、ユーザからのインディケーション（例えば、ストレス検出）及び／または車両からのインディケーション（例えば、障害物検出、交通量の増加、困難なナビゲーション操作、荒天条件など）に応答して、表示されたデータは、ユーザが運転タスクに集中するのを支援するように調整されることができる（例えば、表示されたデータはサイズ／輝度が低減すること、表示されたデータはウインドシールドの遠隔側などのあまり目立たない位置に移動すること、表示されたデータは一時的にオフにされることなどができる）。同様に、ヘッドアップディスプレイが気をそらさないことができるステート（例えば、交通量の減少、障害物の消失、困難なナビゲーション操作の通過、天気の晴れなど）に、運転条件及び／またはユーザステータスが戻ったと決定した後に、表示されたデータは、前の位置及び／または出現に戻されることができる、及び／またはオンに戻されることができる。
【００３４】
ユーザ／車両入力は、車両システムからの情報を使用して、乗員に基づいてディスプレイのパーソナライゼーションを制御することができるような、乗員監視を含むことができる。図４は、乗員監視に基づいてディスプレイを調整するための例示的な方法４００を示す。例えば、方法４００は、方法３００の３２６における調整を提供するために実行されることができる。方法４００は、図２のディスプレイコントローラ２１４などのディスプレイコントローラを含むことができる、車載コンピューティングシステムによって実行されることができる。
【００３５】
４０２において、この方法は、乗員を識別することを含む。乗員は、視覚に基づいて（例えば、車室内のカメラ／検出器、及び／または車両と通信しているモバイルデバイスのカメラ／検出器などの車両にアクセス可能なカメラ／検出器を使用する、顔検出、目のスキャン、指紋スキャン、及び／または他のバイオメトリックスキャンなどの特徴検出に基づいて）識別されることができる。乗員は、通信された認証情報（例えば、乗員によって搬送される、または乗員に埋め込まれる無線周波数チップからの信号、乗員のモバイルデバイスまたは他の認証されたデバイスからの信号など）を使用してさらに識別されることができる。
【００３６】
４０４において、この方法は、乗員についてのプロファイルまたはパーソナライズされた履歴（例えば、車載コンピューティングシステムに対してローカルにメモリに格納される、及び／または車載コンピューティングシステムからアクセス可能である）が利用可能であるかどうかを決定することを含む。乗員のプロファイル及び／またはパーソナライズされた履歴は、車載コンピューティングシステム及び／または他のコンピューティングシステムとの乗員の履歴インタラクションに関する情報と、乗員監視（例えば、乗員のディスプレイ使用パターンを識別する、及び／または異なるディスプレイ構成への乗員の反応を識別する）を介して学習される、及び／または乗員から直接入力されることができる、ディスプレイ設定に関する格納された選好（例えば、ディスプレイ出現選好、ユーザインタフェース選好、表示コンテンツ選好など）とを含むことができる。乗員のプロファイル及び／またはパーソナライズされた履歴は、メモリに格納され、乗員ＩＤに関連付けられることができる。乗員のプロファイル及び／またはパーソナライズされた履歴が利用可能ではない場合（例えば、４０４で「いいえ」）、この方法は、４０６に示されるように、識別された乗員についてプロファイルを任意選択で作成し始める、及び／または監視アクティビティを任意選択で開始し始める。例えば、車載コンピューティングシステムは、乗員の１つ以上の識別可能な特性（例えば、４０２で乗員を識別するために取得される情報）に関連付けられる、乗員について乗員ＩＤを登録し、車載コンピューティングシステム／ディスプレイの乗員使用に関するデータを収集し始め、収集されたデータを登録されたＩＤと関連付けることができる。
【００３７】
乗員のプロファイル及び／またはパーソナライズされた履歴が利用可能である場合（例えば、４０４で「はい」）、及び／またはプロファイル／履歴が乗員について開始されると、方法は、４０８に示されるように、乗員の位置を決定することを含む。例えば、車載コンピューティングシステムは、車両の１つ以上のセンサから（または車両と通信して）情報を受信し、乗員の位置を決定することができる（例えば、乗員の視線追跡、乗員の音声のオーディオ追跡などを使用して）。４１０において、この方法は、乗員ＩＤに基づいて（例えば、乗員のプロファイル／履歴に基づいて）、そして乗員の位置に基づいて表示素子の表示設定及び／または位置を調整することを含む。例えば、表示された情報の位置は、乗員の視線にある、及び／または乗員の位置と関連する位置にあることを目標にすることができる（例えば、乗員が右側助手席にいる場合、ディスプレイはウインドシールドの右側などの車室のその位置から最も良く見える位置に位置決めされることができる）。複数の乗員についての表示コンテンツが互いから異なる深度、水平位置、及び／または垂直位置を占めることができるように、表示されたコンテンツの位置は、ディスプレイシステムによって作成される連続面内の任意の位置を含むことができる。例えば、車両の後部内の乗員を対象とする表示データは、ユーザ同士の相対的な位置を表すために、車両の前部内の乗員を対象とする表示データよりも近い視野内に位置決めされることができる。さらに、各乗員について表示されたコンテンツは、それぞれの乗員の目の焦点とアライメントを取ることを目標にすることができる。また、４１０において調整される表示設定は、表示されたコンテンツの出現（例えば、サイズ、色、透明度、スタイル／フォント、配置など）、コンテンツの永続性（例えば、コンテンツが表示されながら維持される期間）、及び／または実際のコンテンツ（例えば、所与の入力及び／またはユーザ／車両状態に応答して表示されるコンテンツ）を含むことができる。
【００３８】
また、本開示は、空間内の複数の２次元重複面などの複数の面投影を使用して情報を表示することを提供する。例えば、２つの異なる画像生成装置を車両または他の環境に組み込んで、異なる距離で画像情報をオーバーレイするヘッドアップディスプレイを提供することができる。図５は、第一ディスプレイ５０２を使用して第一近接場画像を提供することができ、第二ディスプレイ５０４を使用して第二遠隔場画像を提供することができる（またはその逆の場合もある）例示的なディスプレイ構成５００を示す。第一及び第二ディスプレイはそれぞれ、いくつかの例では、ＬＣＤ透過型ディスプレイを含むことができる。図示された例では、第一及び第二ディスプレイは、互いに対して約９０度で位置決めされる。第一及び第二ディスプレイは、ブリュースター角での反射を可能にする特定の角度で偏光を可能にするように位置決めされることができる。第一ディスプレイ５０２及び第二ディスプレイ５０４のそれぞれは、光をミラー５０６に向けて透過させることができ、このミラーは、第一表面（例えば、第一ディスプレイ側の表面５０８）に到達する光を透過させ、第二表面（例えば、第二ディスプレイ側の表面５１０）に到達する光を反射するように構成されることができる。このようにして、第一及び第二ディスプレイのそれぞれからの光は、光調整素子５１２に向けて指向されることができ、この光調整素子は、波長板（例えば、四分の一波長板）または位相差フィルム（例えば、サングラスによって提供される偏光を補償することによりサングラスを通して見ることを可能にする）を含むことができる。光調整素子５１２及び／または１つ以上の他の光学素子（例えば、レンズ系）を使用して、第一ディスプレイからの光が近接場に出現し、第二ディスプレイからの光が遠隔場（例えば、近接場よりも遠くにある場）に出現するように、第一及び第二ディスプレイからのそれぞれの光の面をシフトすることができる。
【００３９】
いくつかの追加の、または代替の例では、高密度スペクトル結合を実行するクロマチックフィルムを使用することで複数の面を作成し、ある特定の光を通過させて他の光を反射することを可能にすることによって３次元空間内で結像を重複することを可能にすることで複数の画像を作成することができる。別の例として、ディスプレイ構成は、複数の像面効果を生成するために複数のホログラフィックシートを作成するレーザを含むことができる。
【００４０】
別の例として、複数の近接面及び遠隔面の投影は、ウインドシールドガラス（例えば、図２Ａのウインドシールド２０６）として透明有機発光ダイオード（ＯＬＥＤ）を使用して、またはウインドシールドガラス内に感光性材料を埋め込んで、近接面画像を生成して、そしてＬＣＤまたはＭＥＭＳベースの投影を使用して（例えば、上述される投影例のいずれかを使用して）遠隔面画像を生成して、作成されることができる。上記の例示的な構造体は、体積が大きい、及び／または嵩高いプロジェクションシステムを使用することなく、複数の像面を生成することを可能にする。さらに、上記の例示的な構造体は、他の構造体に比べて消費電力を削減している。
【００４１】
複数の面に画像を生成する上述された例では、関連するディスプレイは、異なる面距離から利益を得る異なる画像を生成するように制御されることができる。例えば、近接面画像は、環境が移動するとしても、視聴者／車両に関して比較的に静止した位置にとどまることができる画像のような、向上した鮮鋭度及び安定性から利益を得る画像であるように制御されてもよい。詳細な例として、近接面画像は、車両速度、車両警報／警告（例えば、オイルレベル、温度、メンテナンスリマインダ、診断コード警告など）、エンジンＲＰＭ、タコメータ情報、残存燃料レベル／残存燃料で走行することができる推定距離、通知（例えば、着信などの接続されたモバイルデバイスからの）、現在時刻、ラジオ／オーディオ情報（例えば、現在のラジオ局、現在再生されている曲など）、グラフィカルユーザインタフェース制御、及び／または他の表示素子などの車両状態情報及び／またはインストルメントパネルタイプの表示データを含むことができる。遠隔面画像は、周囲環境とのインタラクションから利益を得る画像（例えば、ワールドロックされている画像、または周囲環境に関して同じ位置を維持して周囲環境を拡張する画像）であるように制御されることができる。例えば、遠隔面画像は、ナビゲーション方向（例えば、路面、道路標識、他の車両などの上にオーバーレイされ、その上に表示データが置かれている環境特徴との静止した関係を維持するために視聴者に対して移動することができる）、環境特徴についてステータス情報を識別する、または提供する情報ディスプレイ、及び／または他の表示されたデータを含むことができる。上述された近接面画像及び遠隔面画像は、近接面内の画像がより近い第一深度範囲を占め、遠隔面内の画像がより遠い第二深度範囲を占めるように、異なる連続面に生成されることができる。非限定的な一例として、近接面内の画像は、５メートルから２５メートルのユーザから離れた範囲内にあるようにユーザに対して出現するように位置決めされることができ、遠隔面内の画像は、２６メートルから７５メートルのユーザから離れた範囲内にあるようにユーザに対して出現するように位置決めされることができる。
【００４２】
図６は、表示されたデータの位置または被写界深度を調整するために可動である可動光学系６０２を含む例示的なディスプレイ構成６００を示す。図６の構成は、図２Ａの構成に類似するが、可動光学系６０２が本明細書に開示されるその他の構成を含む、任意の適切なディスプレイ構成に組み込まれることができることを理解されたい。ディスプレイ構成６００は、ＬＣＤ、ＤＬＰ  ＭＥＭＳ、または他のディスプレイテクノロジーであることができる、ディスプレイ６０４を含む。ディスプレイ６０４は、可動光学系６０２を通過する３次元画像を生成するために、レンチキュラーレンズまたは視差障壁などの３Ｄ素子６０６によって覆われることができる、及び／またはこの３Ｄ素子を通して光を指向することができる。可動光学系６０２は、ディスプレイ上（及び３Ｄ素子上）に位置決めされる調整可能なレンズまたはレンズのアレイ（例えば、ズーム光学系）を含むことができる。示されるように、可動光学系６０２が位置６０２ａにあるとき、ディスプレイ６０４からの画像光は、ウインドシールド６０８を透過して、６１０ａに示される第一被写界深度で画像を生成することができる。可動光学系を位置６０２ｂに移動させることに応答して、ディスプレイ６０４からの画像光は、ウインドシールド６０８を透過して、６１０ｂに示される第二被写界深度で画像を生成することができる。その結果、空間内で可動光学系を移動させることに応答して、ｄで示されるようにウインドシールド上に衝突する光の距離または角度の変化をもたらし、表示された画像の被写界深度は、ウインドシールド／視聴者からより近い、またはより遠い、ｄ’で示される被写界深度の距離の変化に調整されることができる。
【００４３】
可動光学系は、ユーザ入力デバイス６１４からのユーザ入力に応答して、及び／またはディスプレイコントローラ６１６からの命令に応答して、レンズアクチュエータ６１２を介して制御されることができる（ユーザ入力デバイス６１４からのユーザ入力によって少なくとも部分的に制御されることもできる）。ディスプレイコントローラ６１６は、ディスプレイ６０４の出力を制御することができる（例えば、図２Ａのディスプレイコントローラ２１４に関して上述されるように）。レンズアクチュエータ６１２は、可動光学系６０２を物理的に移動させてディスプレイ構成内の可動光学系の物理的位置を変更するために１つ以上の構成要素を含むことができる。図６は、図示された例では、横方向の移動（例えば、ディスプレイから同じ距離を維持し、ディスプレイに対する横方向の位置を変更する）を示すが、可動光学系６０２がディスプレイから発せられる光の方向沿いの移動（例えば、光学系とディスプレイとの間の距離の変更）、及びディスプレイに対する光学系の配向における変更を含む、いずれかの適切な方式で移動することができることを理解されたい。
【００４４】
ディスプレイシステム／構成の上記の例のいずれかでは、複数のディスプレイを使用して、３次元画像を生成するための画像光を出力することができる。複数のディスプレイは、１つ以上のディスプレイの１つ以上のアレイを含むことができる。ディスプレイ及び／またはアレイは、いくつかの例では、異なる強度または特性を有するディスプレイを含むことができる。例えば、ディスプレイシステムは、ディスプレイの相対強度を利用するために、少なくとも１つの有機発光ダイオード（ＯＬＥＤ）ディスプレイ及び少なくとも１つの液晶ディスプレイ（ＬＣＤ）を含むことができる。ＯＬＥＤディスプレイ（複数可）は、低い環境光条件、及び／または高いコントラスト比が望まれる条件の間、主に有効にされる（例えば、ＬＣＤディスプレイの代替に）ことができる。ＬＣＤディスプレイ（複数可）は、高い環境光条件、及び／または高レベルの輝度が望まれる条件の間、主に有効にされる（例えば、ＯＬＥＤディスプレイの代替に）ことができる。詳細で、非限定的な例として、ディスプレイシステムが閾値量を上回る（例えば、５００ニトを上回る）環境光を検出するときに、ディスプレイシステム内のＬＣＤディスプレイのみを有効にすることができる、またはディスプレイシステム内の他のディスプレイよりも多いＬＣＤディスプレイを有効にすることができる。ディスプレイシステムが閾値量を下回る環境光を検出するときに、ディスプレイシステム内のＯＬＥＤディスプレイのみを有効にすることができる、またはディスプレイシステム内の他のディスプレイよりも多いＯＬＥＤディスプレイを有効にすることができる。いくつかの例では、異なるディスプレイは、ディスプレイに提供されるバックライトを制御することによって有効にされる、または無効にされることができる（例えば、選択されるディスプレイに対応するバックライト光源のマトリックスの部分をオフにすることによって無効にされる、及び／または選択されるディスプレイに対応するバックライト光源のマトリックスの部分をオンにすることによって有効にされる）。
【００４５】
上述された例は、他のディスプレイ構成と比較して、パッケージサイズを縮小させる（例えば、ミラーレス３次元ディスプレイ構成を提供することによって）、消費電力を減少させる（例えば、バックライトを選択的に減光することによって）、熱負荷を低減させる（例えば、構成要素の間隔を制御し、バックライトを減少させることによって）、及び／またはユーザエクスペリエンスを向上させる（例えば、表示された画像の被写界深度を調整することでユーザの快適さを向上させる）という技術的効果を有する１つ以上の機能を含むディスプレイ構成を含む。いくつかの例では、出力画像は、環境とよりよく統合する（例えば、連続面表示または投影を使用して）ために、及び／または画質を向上させる（例えば、レンチキュラーレンズの部分の半径を調整して）ために、他のディスプレイ構成によって出力される画像と比較して変えられることができる。さらに、ウインドシールドまたは他の大きな透明面を上述されるような表示面に変えるマイクロレンズアレイの使用は、画像の忠実度に影響することなく、結果として得られるディスプレイの視野を拡大することができる。
【００４６】
本開示は、ディスプレイシステムを操作する方法を提供し、この方法は、ディスプレイからの画像光の出力がディスプレイと少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子を通過するように調整することを含み、光を透明面上に衝突させて、視線追跡モジュールによって決定される視線のユーザ焦点及び／または起点位置に基づく連続面上に３次元画像を生成することを含む。第一例では、この方法は、追加で、または代替に、ユーザ焦点を有するユーザの環境が移動するときに、連続面上の関連した３次元画像の位置を動的に変更することをさらに備えることができる。第二例は、第一例を任意選択で含み、ユーザ焦点が移動するときに基づいて、３次元画像及び／または連続面の位置を動的に変更することをさらに備える方法をさらに含む。第三例は、第一例及び第二例の一方または両方を任意選択で含み、１つ以上の乗員監視センサから乗員監視データを受信すること、及び乗員監視データに基づいて画像光の出力を制御することをさらに備える方法をさらに含む。第四例は、第一から第三例のうちの１つ以上を任意選択で含み、乗員監視データが乗員識別子及び／または乗員位置を含み、乗員識別子が乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、方法をさらに含む。第五例は、第一から第四例のうちの１つ以上を任意選択で含み、関連した３次元画像が、乗員位置に基づく連続面上の位置、及び乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴に基づく出現及び／またはコンテンツを含む方法をさらに含む。第六例は、第一から第五例のうちの１つ以上を任意選択で含み、乗員のパーソナライズされた乗員履歴がディスプレイシステムと乗員の履歴インタラクションを含む、方法をさらに含む。
【００４７】
また、本開示は、３次元拡張現実エクスペリエンスを提供するためのディスプレイシステムを提供し、このディスプレイシステムは、ディスプレイ、少なくとも１つのマイクロレンズアレイ、ディスプレイと少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子、ユーザ焦点を示す視線追跡センサから視線追跡データを受信するように構成される視線追跡モジュール、ならびにプロセッサ及びメモリを含むディスプレイコントローラを備え、このメモリは、ディスプレイからの画像光の出力が光学素子及び少なくとも１つのマイクロレンズアレイを通過して透明面上に衝突し、ユーザ焦点に基づく連続面上に３次元画像を生成するように制御する、プロセッサによって実行可能な命令を格納する。第一例では、光学素子は、選択された画像の各画素を分割して左目画像及び右目画像を作成し、左目画像及び右目画像が生成された３次元画像を形成するように追加で、または代替に構成される。第二例は、第一例を任意選択で含み、１つ以上の乗員監視センサから乗員監視データを受信するように構成される乗員監視モジュールをさらに備える、ディスプレイシステムをさらに含む。第三例は、第一例及び第二例の一方または両方を任意選択で含み、命令が乗員監視データに基づいて画像光の出力を制御するためにプロセッサによってさらに実行可能である、ディスプレイシステムをさらに含む。第四例は、第一から第三例のうちの１つ以上を任意選択で含み、乗員監視データが乗員識別子及び／または乗員位置を含み、乗員識別子が乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる、ディスプレイシステムをさらに含む。第五例は、第一から第四例のうちの１つ以上を任意選択で含み、生成された３次元画像が、乗員位置に基づく連続面上の位置、及び乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴に基づく出現及び／またはコンテンツを有する、ディスプレイシステムをさらに含む。第六例は、第一から第五例のうちの１つ以上を任意選択で含み、ディスプレイシステムが車両内に含まれ、透明面が車両のウインドシールドである、ディスプレイシステムをさらに含む。第七例は、第一から第六例のうちの１つ以上を任意選択で含み、車両が環境を通して移動するにつれて、３次元画像は連続面内の異なる深度に位置決めされるようにディスプレイコントローラによって制御される、ディスプレイシステムをさらに含む。第八例は、第一から第七例のうちの１つ以上を任意選択で含み、３次元画像はユーザ焦点が変化するにつれて連続面内の異なる深度に位置決めされるようにディスプレイコントローラによって制御される、ディスプレイシステムをさらに含む。第九例は、第一から第八例のうちの１つ以上を任意選択で含み、光学素子がレンチキュラーレンズまたは視差障壁である、ディスプレイシステムをさらに含む。
【００４８】
また、本開示は、車両用のディスプレイシステムを提供し、このディスプレイシステムは、ディスプレイ、少なくとも１つのマイクロレンズアレイ、ディスプレイと少なくとも１つのマイクロレンズアレイとの間に位置決めされる光学素子、ユーザ焦点を示す視線追跡センサから視線追跡データを受信するように構成される視線追跡モジュール、１つ以上の乗員監視センサから乗員監視データを受信するように構成される乗員監視モジュール、ならびにプロセッサ及びメモリを備えるディスプレイコントローラを含み、このメモリは、ディスプレイからの画像光の出力が光学素子及び少なくとも１つのマイクロレンズアレイを通過して車両のウインドシールド上に衝突し、車両用のヘッドアップディスプレイ画像を生成するように制御する、プロセッサによって実行可能な命令を格納し、このヘッドアップディスプレイ画像は、ユーザ焦点に作成される連続面上の選択された深度に位置決めされる３次元画像を含み、選択された深度は、視線追跡データ及び／または乗員監視データに基づいて選択される。第一例では、乗員監視データは、乗員識別子及び／または乗員位置を追加で、または代替に含むことができ、乗員識別子は乗員識別子と関連付けられる乗員の乗員プロファイル及び／またはパーソナライズされた乗員履歴と関連付けられる。第二例は、第一例を任意選択で含み、３次元画像が位置決めされる連続面上の選択された深度は環境を通した車両の移動の関数として動的に変更される、ディスプレイシステムをさらに含む。
【００４９】
実施形態の説明は、例示及び説明の目的で提示している。実施形態に対する好適な修正及び変形は、上記の説明に照らして実行され得、または方法を実践することから得られ得る。例えば、別に記載されない限り、記載される方法のうちの１つ以上は、図２Ａを参照して記載されるディスプレイコントローラ２１４など、適切なデバイス及び／またはデバイスの組み合わせによって実行されることができる。方法は、ストレージデバイス、メモリ、ハードウェアネットワークインタフェース／アンテナ、スイッチ、アクチュエータ、クロック回路などのような、１つ以上の追加のハードウェア素子と組み合わせて１つ以上の論理デバイス（例えば、プロセッサ）を用いて格納された命令を行うことによって実行されることができる。また、記述された方法及び関連した動作は、本出願に記載された順序に加えて、さまざまな順序で、並行して、及び／または同時に実行されることができる。記載したシステムは、本質的に例示的なものであり、追加の要素を含み得、及び／または要素を省略し得る。本開示の発明の主題は、さまざまなシステム及び構成のすべての新しくかつ非自明の組み合わせ及び組み合わせの構成要素、ならびに開示される他の機構、機能、及び／または特性を含む。
【００５０】
本出願で使用する場合、単数形で記載した、「ａ」または「ａｎ」という語が先行する要素またはステップは、排除の記載がない限り、複数の当該要素またはステップを排除しないものとして理解されたい。さらに、本開示の「一実施形態」または「一実施例」への言及は、列挙した特徴も組み込んだ追加の実施形態の存在を排除するものとして解釈されることを意図していない。「第一」、「第二」、及び「第三」などの用語は、単にラベルとして使用しており、数的要件または特定の位置的順序をそれらの物体に課すことを意図していない。以下の特許請求の範囲は、新しくかつ非自明と見なされる上記の開示からの主題を具体的に指し示す。
【図１】
2021523595.tif 000003
【図２Ａ】
2021523595.tif 000004
【図２Ｂ】
2021523595.tif 000005
【図２Ｃ】
2021523595.tif 000006
【図２Ｄ】
2021523595.tif 000007
【図２Ｅ】
2021523595.tif 000008
【図２Ｆ】
2021523595.tif 000009
【図２Ｇ】
2021523595.tif 000010
【図３】
2021523595.tif 000011
【図４】
2021523595.tif 000012
【図５】
2021523595.tif 000013
【図６】
2021523595.tif 000014
【国際調査報告】
2021523595.tif 000015
2021523595.tif 000016
2021523595.tif 000017
2021523595.tif 000018