(57)【要約】  第１画素アレイと、前記第１画素アレイの少なくともいくつかの画素が欠落している前記第１画素アレイ内のギャップとを有するディスプレイと、カメラ、発光装置または受光装置などのデバイスと、第２の画素アレイとを備えるシステム。前記システムは、前記第２画素アレイが情報を表示するように動作していない間に、前記カメラまたは発光装置がそれぞれ画像をキャプチャまたは光を放出するように動作する第１動作モードと、前記第２画素アレイが前記第１画素アレイ内の前記ギャップ内に前記第２アレイ画素情報を表示するように動作している間に、前記カメラまたは発光装置がそれぞれ画像をキャプチャまたは光を放出するように動作しない第２動作モードとで動作可能である。システムはまた、前記第２画素アレイが情報を表示するように動作する間に、前記カメラまたは発光装置がそれぞれ画像をキャプチャまたは光を放出するように動作する第３動作モードで動作可能である。
2020536292.tif 000002
【特許請求の範囲】
【請求項１】
第１画素アレイと、前記第１画素アレイの少なくともいくつかの画素が欠落している前記第１画素アレイ内のギャップとを有するディスプレイと、
カメラと、
第２画素アレイと、を備えるシステムであって、
前記カメラが画像をキャプチャするように動作し、前記第２画素アレイが情報を表示するように動作しない第１動作モードと、前記カメラが画像をキャプチャするように動作せず、前記第２画素アレイが前記第１画素アレイ内の前記ギャップ内に前記第２アレイ画素情報を表示するように動作する第２動作モードとで動作可能である、システム。
【請求項２】
前記システムは、前記カメラが画像をキャプチャするように動作し、前記第２画素アレイが情報を表示するように動作する第３動作モードでさらに動作可能である、請求項１に記載のシステム。
【請求項３】
前記第２画素アレイは、第１画素アレイ情報を表示した状態で、第２画素アレイ情報を連続的に表示するように動作する、請求項１に記載のシステム。
【請求項４】
前記第２画素アレイが第２画素アレイ情報を表示するように動作するとき、前記表示された第２画素アレイ情報は、投影レンズを使用して、前記ギャップ内で欠落している表示情報を埋めるように投影される、前記投影レンズをさらに備える、請求項１に記載のシステム。
【請求項５】
前記カメラと前記第２画素アレイとの間の前記ギャップ内に入る光を分割することができる光学素子をさらに備える、請求項１に記載のシステム。
【請求項６】
前記光学素子はビームスプリッタである、請求項５に記載のシステム。
【請求項７】
前記光は、前記カメラと前記第２画素アレイとの間で均等に分割される、請求項５に記載のシステム。
【請求項８】
前記光は、光の大部分が前記カメラに転送されるように、前記カメラと前記第２画素アレイとの間で不均一に分割される、請求項５に記載のシステム。
【請求項９】
前記光の大部分は、前記光の８０％超を含む、請求項８に記載のシステム。
【請求項１０】
前記光の大部分は、前記光の９０％超を含む、請求項８に記載のシステム。
【請求項１１】
前記第２画素アレイは、第１位置から第２位置へ機械的に移動可能であり、前記第１位置において、前記表示された第２画素アレイ情報は、前記一次画素アレイ内のギャップ内に表示され、前記第２位置において、前記表示された第２画素アレイ情報は、前記第１画素アレイ内の前記ギャップ内に表示されない、請求項１に記載のシステム。
【請求項１２】
前記第２位置において、前記カメラは、画像をキャプチャするように動作する、請求項１１に記載のシステム。
【請求項１３】
第１画素アレイと、前記第１画素アレイの少なくともいくつかの画素が欠落している前記第１画素アレイ内のギャップとを有するディスプレイと、
カメラと、
第２画素アレイと、を備えるシステムであって、、
前記カメラは、画像をキャプチャするように動作し、前記第２画素アレイは、前記第１画素アレイ内の前記ギャップ内に情報を表示するように動作する、システム。
【請求項１４】
第１画素アレイと、前記第１画素アレイの少なくともいくつかの画素が欠落している前記第１画素アレイ内のギャップとを有するディスプレイと、
発光装置と、
第２画素アレイと、を備えるシステムであって、、
前記発光装置が光を放出するように動作し、前記第２画素アレイが情報を表示するように動作しない第１動作モードと、前記発光装置が光を放出するように動作せず、前記第２画素アレイが前記第１画素アレイ内の前記ギャップ内に前記第２アレイ画素情報を表示するように動作する第２動作モードとで動作可能である、システム。
【請求項１５】
前記システムは、前記発光装置が光を放出するように動作し、前記第２画素アレイが情報を表示するように動作する第３動作モードでさらに動作可能である、請求項１４に記載のシステム。
【請求項１６】
第１画素アレイと、前記第１画素アレイの少なくともいくつかの画素が欠落している前記第１画素アレイ内のギャップとを有するディスプレイと、
発光装置と、
第２画素アレイと、を備えるシステムであって、
前記発光装置は、光を放出するように動作し、前記第２画素アレイは、前記第１画素アレイ内の前記ギャップ内に情報を表示するように動作する、システム。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
〔関連出願の相互参照〕
本出願は、２０１８年８月４日に出願された米国仮特許出願第６２／７１４，６８５号からの優先権の利益を主張する。当該出願の全体が、参照によって本明細書に組み込まれる。
【０００２】
〔技術分野〕
本開示の主題は一般に、デジタルカメラおよびディスプレイの分野に関する。
【０００３】
〔背景技術〕
多くの最新の電子デバイス（例えば、携帯電話、ＴＶ、タブレット、ラップトップ等）では、カメラまたは発光装置のような他の電子デバイスは、デバイスディスプレイ内の非アクティブエリアまたはギャップの下に配置することができる。図１Ａおよび図１Ｂは、公知の表示情報システム１００をそれぞれ上面図および断面図で示す。システム１００は、ディスプレイ１０２（例えば、ＬＣＤ、ＬＥＤ等）及びカメラ１１０を備える。ディスプレイは撮像光路においてカメラの「上」に配置される。「上」というタームは、撮像されるシーン（図示せず）とカメラとの間にあるディスプレイの位置を指す。ディスプレイ１０２は、一次（第１）画素アレイ１０４を含む。一次画素アレイ１０４は、数百画素／インチ（ＰＰＩ）の画素濃度、例えば４００〜５００ＰＰＩ、を有することができる。一次画素アレイ１０４内のギャップ１０６により、図１Ｂの矢印１３２によって示されるように、光がカメラ１１０に入射することができる。したがって、カメラ１１０は、シーンをキャプチャすることができる。
【０００４】
ギャップ１０６はいくつかの形状、例えば、円形、長方形、または正方形、を有し得る。ギャップ１０６の典型的な寸法（円径または正方形の幅）は、おおよそ０．５〜５ｍｍであり得る。その結果、一次画素アレイ１０４は、ギャップ１０６の領域内の数百画素の情報が欠落している可能性がある。カメラ１１０は、レンズ１１２及びイメージセンサ１１４を有する。カメラ１１０は、１〜４ｍｍの典型的な入射瞳を有し得る。その結果、入射瞳は、ギャップ１０６の下に収容することができる。「下」というタームは、一次画素ディスプレイ面とカメラとの間にある入射瞳の位置を指す。図１Ａ、図１Ｂ、図２、図３、図４Ａおよび図４Ｂの模式図では、ギャップ１０６は、サイズがほんの数ピクセルであり、図は例示的なものにすぎず、縮尺通りではないと理解されるべきである。その結果、システム１００は、特にギャップ１０６の領域において、連続的な表示情報（連続表示情報）を有しない。
【０００５】
表示領域が最大化され、表示情報がカメラの上方の領域においてさえ提供されるように、すなわち連続的な表示情報を有するように、カメラをディスプレイの後ろに隠し、ユーザに見えないようにすることが望ましい。
〔発明の概要〕
本明細書に開示された実施形態は、ディスプレイ内の非アクティブ領域の下に配置されたカメラ、発光デバイス、または受光デバイスを有する一方で、連続的な表示情報を示すためのいくつかの方法を提供する。本明細書で使用される「連続である」とは、ディスプレイ画素及びカメラを含むディスプレイの区分において、情報が欠落していないことを意味する。
【０００６】
例示的な実施形態では、第１画素アレイと、前記第１画素アレイの少なくともいくつかの画素が欠落している前記第１画素アレイ内のギャップとを有するディスプレイと、カメラと、第２画素アレイと、を備えるシステムであって、前記カメラが画像をキャプチャするように動作し、前記第２画素アレイが情報を表示するように動作しない第１動作モードと、前記カメラが画像をキャプチャするように動作せず、前記第２画素アレイが前記第１画素アレイ内の前記ギャップ内に前記第２アレイ画素情報を表示するように動作する第２動作モードとで動作可能である、システムが提供される。
【０００７】
例示的な実施形態では、システムは、前記カメラが画像をキャプチャするように動作し、前記第２画素アレイが情報を表示するように動作する第３動作モードでさらに動作可能である。
【０００８】
例示的な実施形態では、前記第２画素アレイは、第１画素アレイ情報を表示した状態で、第２画素アレイ情報を連続的に表示するように動作する。
【０００９】
例示的な実施形態では、システムは、投影レンズをさらに備え、前記第２画素アレイが第２画素アレイ情報を表示するように動作するとき、前記表示された第２画素アレイ情報は、前記投影レンズを使用して、前記ギャップ内で欠落している表示情報を埋めるように投影される。
【００１０】
例示的な実施形態では、システムは、前記カメラと前記第２画素アレイとの間の前記ギャップ内に入る光を分割することができる光学素子をさらに備える。
【００１１】
例示的な実施形態では、前記光学素子はビームスプリッタであり、前記光は、前記カメラと第２画素アレイとの間で均等に分割される。
【００１２】
例示的な実施形態では、前記光学素子はビームスプリッタであり、前記光は、光の大部分が前記カメラに転送されるように、前記カメラと前記第２画素アレイとの間で不均一に分割される。一実施形態では、前記光の大部分は、前記光の８０％超を含む。一実施形態では、前記光の大部分は、前記光の９０％超を含む。
【００１３】
例示的な実施形態では、前記第２画素アレイは、第１位置から第２位置へ機械的に移動可能であり、前記第１位置において、前記表示された第２画素アレイ情報は、前記一次画素アレイ内のギャップ内に表示され、前記第２位置において、前記表示された第２画素アレイ情報は、前記第１画素アレイ内の前記ギャップ内に表示されない。一実施形態では、前記第２位置において、前記カメラは、画像をキャプチャするように動作する。
【００１４】
例示的な実施形態では、第１画素アレイと、前記第１画素アレイの少なくともいくつかの画素が欠落している前記第１画素アレイ内のギャップとを有するディスプレイと、カメラと、第２画素アレイと、を備え、前記カメラは、画像をキャプチャするように動作し、前記第２画素アレイは、前記第１画素アレイ内の前記ギャップ内に情報を表示するように動作する、システムが提供される。
【００１５】
例示的な実施形態では、第１画素アレイと、前記第１画素アレイの少なくともいくつかの画素が欠落している前記第１画素アレイ内のギャップとを有するディスプレイと、発光装置と、第２画素アレイと、を備え、前記発光装置が光を放出するように動作し、前記第２画素アレイが情報を表示するように動作しない第１動作モードと、前記発光装置が光を放出するように動作せず、前記第２画素アレイが前記第１画素アレイ内の前記ギャップ内に前記第２アレイ画素情報を表示するように動作する第２の動作モードとで動作可能である、システムが提供される。例示的な実施形態では、システムは、前記発光装置が光を放出するように動作し、前記第２画素アレイが情報を表示するように動作する第３動作モードでさらに動作可能である。
【００１６】
例示的な実施形態では、第１画素アレイと、前記第１画素アレイの少なくともいくつかの画素が欠落している前記第１画素アレイ内のギャップとを有するディスプレイと、発光装置と、第２画素アレイと、を備え、前記発光装置は、光を放出するように動作し、前記第２画素アレイは、前記第１画素アレイ内の前記ギャップ内に情報を表示するように動作する、システムが提供される。
〔図面の簡単な説明〕
本明細書に開示される実施形態の非限定的な例は、この段落の後に列挙される、本明細書に添付される図面を参照して、以下に記載される。図面および説明は、本明細書に開示された実施形態を明確にし、理解を容易にすることを意図しており、決して限定するものと考えるべきではない。異なる図面における同様の部材は、同様の符号によって示され得る。
【００１７】
図１Ａは、公知の表示情報システムを上面図で示す。
【００１８】
図１Ｂは、図１Ａの表示情報システムを断面図で示す。
【００１９】
図２は、本明細書に開示される一実施形態に係る表示情報システムを断面図で示す。
【００２０】
図３は、本明細書に開示される別の実施形態に係る表示情報システムを断面図で示す。
【００２１】
図４Ａは、第１動作モードにおける、本明細書に開示されるさらに別の実施形態に係る表示情報システムを断面図で示す。
【００２２】
図４Ｂは、第２動作モードにおける、図４Ａの実施形態の断面図を示す。
【００２３】
図５は、第２動作モードにおける、本明細書に開示されるさらに別の実施形態に係る表示情報システムを断面図で示す。
〔詳細な説明〕
図２は、本明細書に開示された実施形態番号２００に係る連続的な表示情報システムを断面図で示す。システム２００は、ディスプレイ２０２（例えば、ＬＣＤ、ＬＥＤなど）およびデバイス２１０（例えば、赤‐緑‐青（ＲＧＢ）カメラ、モノクロカメラ、赤外線（ＩＲ）カメラ、飛行時間（ＴＯＦ）カメラなどのカメラ）を備える。以下の実施形態では、デバイス２１０がカメラであることに関連して説明されるが、別の実施形態では、デバイス２１０が（限定されるものではないが）投光イルミネータ、垂直共振器面発光レーザ（ＶＣＳＥＬ）アレイ、パターンプロジェクタ、レーザポインタ、赤外線源などの発光装置であってもよい。さらに別の実施形態では、２１０がフォトダイオードまたはフォトダイオードアレイなどの受光装置であってもよい。簡単のために、以下の説明では、デバイス２１０を「カメラ」と呼び、デバイス２１０が発光デバイスまたは受光デバイスであってもよいことを理解されたい。ディスプレイ２０２は、一次（第１）画素アレイ２０４を含む。一次画素アレイ２０４内のギャップ２０６により、光はカメラ２１０に入射することができる。カメラ２１０は、レンズ２１２及びイメージセンサ２１４を有する。システム２００は、ビームスプリッタ２０８をさらに備える。ビームスプリッタ２０８は偏光されていてもよいし、標準的なビームスプリッタであってもよい。
【００２４】
カメラを含む動作モードおよび方法についての以下の説明は、受光素子にも適用される。したがって、本明細書で提示される分析および使用方法は、任意の発光または受光光学デバイスに適用されるべきである。
【００２５】
例示的な動作形態では、ビームスプリッタ２０８により、図２中の矢印２３４によって示されるように、ギャップ２０６に到達する光の一部（場合によっては５０％、場合によっては９０％まで）は、カメラ２１０に反射され得る。したがって、カメラ２１０は、シーン（図示せず）をキャプチャすることができる。システム２００は、二次（第２）画素アレイ２２０をさらに備える。図２中の矢印２３２によって示される動作方法では、二次画素アレイ２２０が一次画素アレイ２０２内の、すなわちギャップ２０６内の画素が欠落している領域を照射することによって情報を提供することができる。動作方法としては、図２中の矢印２３２によって示される二次素子アレイ２２０からの光は、ビームスプリッタ２０８を通過することができ、その結果、光は一次素子アレイ２０４の一部としてユーザに視認され、継ぎ目のない情報がディスプレイ上に提供される。二次画素アレイ２２０からの光の一部は、ギャップ２０６に到達しないことがあるので、画素アレイ２２０の照度は、ギャップ２０６における光強度が一次画素アレイ２０４の光強度と等しくなるように、一次画素アレイの照度よりも高くされ得る。
【００２６】
図３は、本明細書に開示される別の実施形態番号３００に係る連続的な表示情報システムを断面図で示す。システム３００は以下の相違点を除いて、システム２００と同様である：（１）システム３００において、二次画素アレイ３２０はビームスプリッタ２０８の側面に配置され、（２）システム３００は、二次画素アレイ３２０とビームスプリッタ２０８との間に配置される光学イメージングレンズ３０２と、ビームスプリッタ２０８の下に配置されたるミラー３０４とをさらに備える。
【００２７】
システム３００では、１つの動作モードにおいて、そして図３中の矢印３２２によって示されるように、二次画素アレイ３２０からの光は、イメージングレンズ３０２を通過し、ビームスプリッタ２０８によってミラー３０４に反射され、ミラー３０４によってビームスプリッタ２０８に反射され、そしてギャップ２０６に投影され得る。一実施形態では、ビームスプリッタ２０８は偏光ビームスプリッタとすることができ、２次画素アレイ３２０は２次画素アレイ３２０からのすべての光がビームスプリッタによってミラー３０４に反射されるように偏光することができる。別の実施形態では、ミラー３０４から到達する全ての光がギャップ２０６を通過するように、ミラー３０４は、（例えば、λ／４プレートに結合されることによって、）ビームスプリッタ２０８から到達する光の偏光を９０度回転させることができる。
【００２８】
別の動作モードでは、システム２００のケースと同様に、図３中の矢印２３４によって示されるように、光はギャップ２０６から入射し、ビームスプリッタ２０８によって反射され、カメラ２１０に入射し、シーン（シーンは図示せず）の画像を形成することができる。
【００２９】
さらに別の動作モードでは、二次画素アレイ３２０からの光は、イメージングレンズ３０２を通過し、ビームスプリッタ２０８によってミラー３０４に反射され、ミラー３０４によってビームスプリッタ２０８に反射され、そしてギャップ２０６に投影される。次いで、光はギャップ２０６を通って入射し、ビームスプリッタ２０８によって反射され、カメラ２１０に入射し、シーン（図示せず）の画像を形成することができる。
【００３０】
図４Ａおよび４Ｂは、本明細書に開示されるさらに別の実施形態番号４００に係る連続的な表示情報システムを断面図で示す。システム２００および３００と同様に、システム４００は、ディスプレイ２０２とカメラ２１０とを備える。ディスプレイ２０２は一次画素アレイ２０４を有し、カメラ２１０はレンズ２１２とイメージセンサ２１４とを含む。システム４００は、二次画素アレイ４２０をさらに備える。第１動作モード（図４Ａ）では、カメラ２１０が動作していないときに、連続的な表示情報が提供されるように、二次画素アレイ４２０はギャップ２０６の下に配置され得る。第２動作モード（図４Ｂ）では、光がギャップ２０６からカメラ２１０に到達してカメラ２１０で画像をキャプチャすることができるように、（例えば、電気モータ、アクチュエータなどを使用して、）二次画素アレイ４２０は、機械的に移動され得る。
【００３１】
図５は、本明細書に開示されるさらに別の実施形態５００に係る連続的な表示情報システムを断面図で示す。システム５００は、ビームスプリッタ３０２が光学素子５０２に置き換えられていることを除いて、システム３００と同様である。光学素子５０２は４つの部を備える。すなわち、光学素子５０２は、それぞれが１０％〜９０％の反射（または透過）係数を有する２つのビームスプリッタ５０２ａおよび５０２ｂと、１００％の反射係数を有する２つの完全反射ミラー５０２ｃおよび５０２ｄとを備える。
【００３２】
システム５００では、第１動作モードでは、図５中の矢印５２２によって示されるように、二次画素アレイ３２０からの光は、イメージングレンズ３０２を通過し、ミラー５０２ｃによって反射され、そしてギャップ２０６の左側部分に投影され得る。同じ（第１）動作モードにおいて、そして図５中の矢印５２４によって示されるように、二次画素アレイ３２０からの光は、イメージングレンズ３０２を通過し、ビームスプリッタ５０２ａを通過し、そしてビームスプリッタ５０２ｄによって反射され、そしてギャップ２０６の右側部分に投影され得る。第２動作モードでは、図５中の矢印５２６および５２８によって示されるように、光はギャップ２０６から入射し、ビームスプリッタ５０２ａまたはミラー５０２ｄのいずれかによって反射され、カメラ２１０に入射してシーン（図示せず）の画像を形成することができる。第３動作モードでは、二次画素アレイ３２０からの光は、イメージングレンズ３０２を通過し、ミラー５０２ｃによって反射され、ギャップ２０６の左側部分に投影される。第３動作モードでは、図５中の矢印５２４によって示されるように、二次画素アレイ３２０からの光は、イメージングレンズ３０２を通過し、ビームスプリッタ５０２ａを通過し、ビームスプリッタ５０２ｄによって反射され、そしてギャップ２０６の右側部分に投影され得る。次いで、光はギャップ２０６から入射し、ビームスプリッタ５０２ａまたはミラー５０２ｄのいずれかによって反射され、カメラ２１０に入射して、シーン（図示せず）の画像を形成することができる。
【００３３】
本開示は特定の実施形態および一般的に関連する方法に関して説明されてきたが、実施形態および方法の変更および置換は当業者には明らかであろう。本開示は、本明細書に記載された特定の実施形態によって限定されるものではなく、添付の特許請求の範囲によってのみ限定されるものと理解されるべきである。
【図面の簡単な説明】
【００３４】
【図１Ａ】公知の表示情報システムを上面図で示す。
【図１Ｂ】図１Ａの表示情報システムを断面図で示す。
【図２】本明細書に開示される一実施形態に係る表示情報システムを断面図で示す。
【図３】本明細書に開示される別の実施形態に係る表示情報システムを断面図で示す。
【図４Ａ】第１動作モードにおける、本明細書に開示されるさらに別の実施形態に係る表示情報システムを断面図で示す。
【図４Ｂ】第２動作モードにおける、図４Ａの実施形態の断面図を示す。
【図５】第２動作モードにおける、本明細書に開示されるさらに別の実施形態に係る表示情報システムを断面図で示す。
【図１Ａ】
2020536292.tif 000003
【図１Ｂ】
2020536292.tif 000004
【図２】
2020536292.tif 000005
【図３】
2020536292.tif 000006
【図４Ａ】
2020536292.tif 000007
【図４Ｂ】
2020536292.tif 000008
【図５】
2020536292.tif 000009
【国際調査報告】
2020536292.tif 000010