(57)【特許請求の範囲】
【請求項１】
圧電デバイスによって赤外線信号を検出するステップと、
前記検出された赤外線信号に基づいて赤外線信号の表現を取得するステップと、
前記圧電デバイスによって、組み合された超音波および赤外線信号を検出するステップと、
前記検出された組み合わされた超音波および赤外線信号に基づいて組み合わされた表現を取得するステップと、
前記赤外線信号の表現および前記組み合わされた表現に基づいて出力表現を生成するステップと、
前記検出された赤外線信号に応答して前記圧電デバイスによって超音波信号を送るステップとを含む方法。
【請求項２】
前記組み合わされた表現を前記赤外線信号の表現と比較するステップをさらに含み、
前記出力表現が、前記比較から生成される請求項1に記載の方法。
【請求項３】
前記組み合わされた表現、前記赤外線信号の表現、および前記出力表現のうちの1つまたは複数が、画像である請求項1に記載の方法。
【請求項４】
前記圧電デバイスは、超音波トランスミッタと、超音波レシーバおよび赤外線レシーバとして働き得るレシーバとを含む請求項1に記載の方法。
【請求項５】
超音波エネルギーまたは赤外線エネルギーをレンズによって前記圧電デバイスに集めるステップをさらに含む請求項1に記載の方法。
【請求項６】
前記圧電デバイスは、超音波レシーバおよび赤外線レシーバとして働き得るレシーバを含む請求項4に記載の方法。
【請求項７】
前記検出された赤外線信号に応答してディスプレイを制御するステップをさらに含む請求項4に記載の方法。
【請求項８】
前記圧電デバイスが、前記ディスプレイ内に配置される請求項7に記載の方法。
【請求項９】
前記検出された赤外線信号に応答して、前記圧電デバイスのフレームレートを調整するステップをさらに含む請求項8に記載の方法。
【請求項１０】
前記検出された赤外線信号に基づいて、前記圧電デバイスに対して相対的な物体の動きを判定するステップをさらに含む請求項7に記載の方法。
【請求項１１】
前記検出された赤外線信号が、物体からの熱を検出することに対応する請求項7に記載の方法。
【請求項１２】
前記物体からの検出された熱に応答して、前記圧電デバイスによって超音波信号を送るステップをさらに含む請求項11に記載の方法。
【請求項１３】
前記検出された赤外線信号に基づいて、前記圧電デバイスに対して相対的な前記物体の位置を判定するステップをさらに含む請求項11に記載の方法。
【請求項１４】
前記物体が前記圧電デバイスから離れて移動したと判定するステップと、
前記物体が前記圧電デバイスから離れて移動したという判定に応答してさらなる超音波信号を送らないと決定するステップとをさらに含む請求項12に記載の方法。
【請求項１５】
前記圧電デバイスの超音波トランスミッタによって超音波信号を送るステップと、
前記圧電デバイスの圧電レシーバによって、前記送られた超音波信号から生じる反射された超音波信号を検出するステップと、
前記検出された反射された超音波信号から前記組み合わされた表現を形成するステップと、
前記組み合わされた表現をメモリに記憶するステップとをさらに含む請求項1に記載の方法。
【請求項１６】
前記出力表現に応答してディスプレイを制御するステップをさらに含む請求項1に記載の方法。
【請求項１７】
前記出力表現から生体測定を行うステップをさらに含む請求項1に記載の方法。
【請求項１８】
圧電デバイスによって赤外線信号を検出し、
前記検出された赤外線信号に応答して、前記圧電デバイスによって超音波信号を送り、
前記検出された赤外線信号に基づいて赤外線信号の表現を取得し、
検出された超音波信号および前記検出された赤外線信号に基づいて組み合わされた表現を取得し、
前記赤外線信号の表現および前記組み合わされた表現からの出力表現を表示するように構成されたプロセッサと、
前記プロセッサと通信する前記圧電デバイスとを含み、
前記圧電デバイスが、赤外線信号を検出し、超音波信号を送り、反射された超音波信号を検出するように構成される、装置。
【請求項１９】
前記プロセッサが、前記赤外線信号の表現を前記組み合わされた表現と比較するように構成され、
前記出力表現が、前記比較から表示される請求項18に記載の装置。
【請求項２０】
前記プロセッサが、前記圧電デバイスによって検出された信号から前記赤外線信号の表現および前記組み合わされた表現を形成するように構成される請求項18に記載の装置。
【請求項２１】
超音波エネルギーまたは赤外線エネルギーを前記圧電デバイス上に集めるように構成されたレンズをさらに含む請求項18に記載の装置。
【請求項２２】
赤外線信号を検出するとともに、前記検出された赤外線信号に応答して超音波信号を送るための手段と、
プロセッサとを含み、前記プロセッサが、
前記検出された赤外線信号に基づいて赤外線信号の表現を取得し、
検出された超音波信号および前記検出された赤外線信号に基づいて組み合わされた表現を取得し、
前記赤外線信号の表現および前記組み合わされた表現から出力表現を生成し、
前記検出された赤外線信号に応答してディスプレイを制御するように構成され、
圧電デバイスが前記ディスプレイに配置される装置。
【請求項２３】
前記プロセッサが、前記組み合わされた表現を前記赤外線信号の表現と比較するように構成され、
前記出力表現が、前記比較から生成される請求項22に記載の装置。
【請求項２４】
前記プロセッサが、前記組み合わされた表現、前記赤外線信号の表現、または前記出力表現を記憶するように構成される請求項22に記載の装置。
【請求項２５】
前記検出された超音波信号が、前記送られた超音波信号から生じる反射された超音波信号であり、
前記プロセッサが前記組み合わされた表現を形成するように構成される請求項22に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、2013年12月20日に出願した米国非仮出願第14/137,439号、2013年6月3日に出願した米国仮出願第61/830,548号、2013年6月3日に出願した米国仮出願第61/830,601号、2013年6月3日に出願した米国仮出願第61/830,606号の優先権の利益を主張するものであり、これらの出願の開示は、参照により本明細書に組み込まれている。
【０００２】
本開示は、感知のデバイスおよび方法に関する。
【背景技術】
【０００３】
圧電気は、加えられた機械的な力に応じて(結晶、特定のセラミックス、ならびにキチン、骨、DNA、および様々なタンパク質などの生体物質などの)何らかの固体材料内に蓄積する電荷を示す。圧電気という用語は、圧力の結果として生じる電気を意味する。
【０００４】
圧電効果は、反転対称性(inversion symmetry)を持たない結晶および多結晶誘電材料の機械的状態と電気的状態との間の電気機械的インタラクションとして理解される。圧電効果は、正圧電効果(direct piezoelectric effect)(加えられた機械的な力の結果として生じる電荷の生成)を呈する材料が逆圧電効果(reverse piezoelectric effect)(加えられた電界の結果として生じる機械的な力の生成)も呈するという点で可逆過程である。たとえば、ポリフッ化ビニリデン(PVDF)ポリマー結晶は、それらの結晶の静的な構造が変形されるときに測定可能な圧電気を生成し得る。反対に、それらの同じポリマー結晶は、外部電界が加えられるときにそれらの結晶の静的な寸法を変える。
【０００５】
焦電気は、温度の変化に対する材料の電気的応答である。温度の変化は、材料の分極(polarization)が変化するように焦電材料の結晶構造内で原子の位置をわずかに修正する。この分極の変化が、材料の両端の電圧を上げる。温度が一定のままである場合、焦電電圧は、漏れ電流が原因で次第になくなる(漏れは、電子が材料を通じて移動すること、イオンが空気を通じて移動すること、電流が表面の汚れまたは材料に取り付けられた試験機器を通じて漏れることなどが原因である可能性がある)。(10-6℃程の)温度の非常に小さな変化が、材料の焦電特性によって測定可能な電位を生じ得る。
【０００６】
ポリマーおよび無機物内の焦電電荷は、非対称結晶の反対の面上に現れる。電荷の伝播が進む方向は、通常、焦電材料全体を通じて一定であるが、一部の材料においては、この方向が、近傍電界(nearby electric field)によって変えられ得る。これらの焦電材料は、強誘電性--電界の印加によって逆転され得る自発電気分極--を呈すると言われる。すべての焦電材料は、圧電性もある。しかし、一部の圧電材料は、焦電効果が現れることを許さない結晶の対称性を有する。
【０００７】
圧電材料は、超音波センサのために使用され得る。超音波センサは、たとえば、指紋を検出するためにバイオメトリクスにおいて使用され得る。しかし、これらの超音波センサは、概して、圧電材料の焦電性の特徴を利用しない。
【発明の概要】
【課題を解決するための手段】
【０００８】
本開示は、赤外線信号の表現を検出された超音波および赤外線信号の組み合わされた表現と比較するステップを含み得る方法を説明する。赤外線信号の表現は、検出された赤外線信号に基づく可能性がある。組み合わされた表現は、検出された組み合わされた超音波および赤外線信号に基づく可能性がある。出力表現が、赤外線信号の表現および組み合わされた表現から生成される可能性がある。一実施形態において、出力表現は、組み合わされた表現と赤外線信号の表現との間の比較から生成される可能性がある。比較は、組み合わされた表現と赤外線信号の表現との間の差に基づく可能性がある。赤外線信号および/または組み合わされた超音波および赤外線信号は、圧電デバイスによって検出され得る。赤外線信号の表現、組み合わされた表現、および/または出力表現は、画像を含む可能性がある。本開示の文脈で、「画像」という用語は、物体の画像を表す記憶されたデータおよび圧電デバイスから導出された記憶されたデータとして具現化されたデータを含む可能性がある。圧電デバイスは、超音波センサ、赤外線センサなどである可能性がある。
【０００９】
本開示は、圧電デバイスによる赤外線信号(たとえば、赤外線エネルギー)の検出も説明する。赤外線信号の表現が、検出された赤外線信号から形成され得る。赤外線信号の表現は、メモリ、たとえば、非一時的コンピュータ可読メモリに記憶され得る。
【００１０】
超音波信号(たとえば、超音波エネルギー)が、圧電デバイスによって送られ得る。送られた超音波信号は、物体が存在する可能性があるプラテンから反射される可能性があり、反射された信号が、圧電デバイスによって検出される可能性がある。組み合わされた超音波および赤外線の表現が、検出された超音波信号から形成され得る。赤外線信号の表現が、メモリから読まれる可能性がある。(a)赤外線画像と(b)組み合わされた超音波および赤外線画像との間の比較が、超音波画像を生成するために行われ得る。比較は、(a)赤外線画像と(b)組み合わされた超音波および赤外線画像との間の差である可能性がある。
【００１１】
本開示は、雑音を取り除く方法も説明する。その方法は、赤外線基準画像を取得することを含む。赤外線基準画像は、圧電デバイスの視野に物体がない状態で取得された画像である可能性がある。組み合わされた赤外線および超音波基準画像が、取得され得る。組み合わされた基準画像は、圧電デバイスの視野に物体がない状態で取得された画像である可能性がある。赤外線対象画像が、取得され得る。物体の赤外線対象画像が、取得され得る。組み合わされた赤外線および超音波対象画像が、取得され得る。組み合わされた対象画像は、赤外線対象画像と同じ物体のものである可能性がある。赤外線基準画像が、修正された赤外線画像を生成するために赤外線対象画像から差し引かれ得る。組み合わされた基準画像が、修正された組み合わされた画像を生成するために組み合わされた対象画像から差し引かれ得る。修正された赤外線画像が、超音波画像を生成するために修正された組み合わされた画像から差し引かれ得る。
【００１２】
本開示は、その他の方法も説明する。たとえば、赤外線信号が、ディスプレイに組み込まれた圧電デバイスによって検出され得る。超音波信号が、圧電デバイスによって送られ得る。組み合わされた超音波および赤外線信号が、圧電デバイスによって検出され得る。ディスプレイは、検出された赤外線信号、組み合わされた超音波および赤外線信号、または検出された赤外線信号と組み合わされた超音波および赤外線信号との両方に応答して制御され得る。
【００１３】
本開示は、センサアレイから情報を読み出す方法も説明する。センサアレイは、複数の圧電センサにより構成される可能性がある。圧電センサは、超音波トランスミッタおよびレシーバを含み得る。圧電センサの情報は、電気回路によって(たとえば、アナログデジタルコンバータを用いて)行ごとまたは列ごとに読み出される可能性があり、コンピュータが、センサの情報からデータを生成するために使用される可能性がある。そのデータは、物体の視覚的な画像を生成するために使用され得る。方法は、超音波トランスミッタがオフにされる一方で、センサアレイからセンサの情報を読むことを含み得る。センサアレイからのセンサの情報は、メモリに記憶される可能性がある。センサアレイからのセンサの情報が、超音波トランスミッタがオンの状態で読まれ得る。センサの情報は、後で使用するために記憶される可能性がある。たとえば、超音波トランスミッタがオフの状態でセンサアレイから収集された記憶されたセンサの情報が、超音波トランスミッタがオンの状態でセンサアレイから収集された記憶されたセンサの情報から差し引かれる可能性があり、結果として得られるデータセットが、メモリに記憶される可能性がある。前のステップは、行ごとにまたは列ごとに実行される可能性がある。
【００１４】
本開示のより完全な理解のために、添付の図面および以降の説明が参照されるべきである。
【図面の簡単な説明】
【００１５】
【図１Ａ】本開示による超音波システムを動作させるための方法の実施形態を示す図である。
【図１Ｂ】本開示による超音波システムを動作させるための方法の実施形態を示す図である。
【図２】本開示による方法の別の実施形態を示す図である。
【図３Ａ（ｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ａ（ｉｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｂ（ｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｂ（ｉｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｃ（ｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｃ（ｉｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｄ（ｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｄ（ｉｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｅ（ｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｅ（ｉｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｆ（ｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｆ（ｉｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｇ（ｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｇ（ｉｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｈ（ｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図３Ｈ（ｉｉ）】本開示に従って取得される例示的な指紋画像を示す図である。
【図４】例示的な2重相関サンプリング(double correlated sampling)回路を示す図である。
【図５】雑音を取り除く方法を示す図である。
【図６】図5に示された方法に従って雑音を取り除くために使用され得る式を示す図である。
【図７Ａ】本開示によるディスプレイを制御する方法を示す図である。
【図７Ｂ】本開示によるディスプレイを制御する方法を示す図である。
【図７Ｃ】本開示によるディスプレイを制御する方法を示す図である。
【図７Ｄ】本開示によるディスプレイを制御する方法を示す図である。
【図８】本開示による視覚的なディスプレイを動作させる方法を示す流れ図である。
【図９】視覚的なディスプレイを動作させる方法を示す別の流れ図である。
【図１０Ａ】本開示による圧電デバイスによって使用され得る光および/または音響レンズを示す図である。
【図１０Ｂ】本開示による圧電デバイスによって使用され得る光および/または音響レンズを示す図である。
【図１０Ｃ】本開示による圧電デバイスによって使用され得る光および/または音響レンズを示す図である。
【図１１Ａ】圧電センサと組み合わされたプラテンおよびレンズ構成を示す図である。
【図１１Ｂ】圧電センサと組み合わされたプラテンおよびレンズ構成を示す図である。
【図１１Ｃ】圧電センサと組み合わされたプラテンおよびレンズ構成を示す図である。
【図１１Ｄ】圧電センサと組み合わされたプラテンおよびレンズ構成を示す図である。
【図１２Ａ】圧電デバイスを動作させるために使用され得る回路を示す図である。
【図１２Ｂ】圧電デバイスを動作させるために使用され得る回路を示す図である。
【図１２Ｃ】圧電デバイスを動作させるために使用され得る回路を示す図である。
【図１２Ｄ】圧電デバイスを動作させるために使用され得る回路を示す図である。
【図１２Ｅ】圧電デバイスを動作させるために使用され得る回路を示す図である。
【図１２Ｆ】圧電デバイスを動作させるために使用され得る回路を示す図である。
【図１３Ａ】圧電デバイスと併せて使用され得るセンサを示す図である。
【図１３Ｂ】圧電デバイスと併せて使用され得るセンサを示す図である。
【図１３Ｃ】圧電デバイスと併せて使用され得るセンサを示す図である。
【図１３Ｄ】圧電デバイスと併せて使用され得るセンサを示す図である。
【図１４】本開示によるセンサアレイから情報を読み出す方法を示す。
【図１５】本開示の一実施形態による多機能ピクセルの分解斜視図である。
【図１６Ａ】多機能ピクセルのその他の実施形態の分解斜視図である。
【図１６Ｂ】多機能ピクセルのその他の実施形態の分解斜視図である。
【図１６Ｃ】多機能ピクセルのその他の実施形態の分解斜視図である。
【図１７】モバイルデバイスの例示的な実施形態のブロック図である。
【図１８】多機能ピクセルディスプレイアレイを含むディスプレイデバイスで使用され得る超音波センサアレイのブロック図である。
【図１９】多機能ピクセルまたはピクセルアレイを利用し得るデバイスを示す図である。
【図２０】一部が拡大された多機能ピクセルのアレイを含む視覚的なディスプレイを示す図である。
【図２１】ディスプレイピクセルと交互に並んだ多機能ピクセルのアレイを含む別の視覚的なディスプレイを示す図である。
【図２２】多機能ピクセルおよびディスプレイピクセルのアレイを含む別の視覚的なディスプレイを示す図である。
【図２３Ａ】多機能ピクセルの様々な構成を示す図である。
【図２３Ｂ】多機能ピクセルの様々な構成を示す図である。
【図２３Ｃ】多機能ピクセルの様々な構成を示す図である。
【図２３Ｄ】多機能ピクセルの様々な構成を示す図である。
【図２３Ｅ】多機能ピクセルの様々な構成を示す図である。
【図２３Ｆ】多機能ピクセルの様々な構成を示す図である。
【発明を実施するための形態】
【００１６】
本開示は、感知のデバイスおよび方法に関する。本明細書において説明される構成および方法は、視覚的なディスプレイ、たとえば、タッチスクリーンディスプレイに組み込まれ得る。モニタなどのタッチスクリーンディスプレイは、ディスプレイに接触するかまたはディスプレイの近くにある物体についての情報を取得するために使用され得る1つまたは複数の種類の感知デバイスを有する可能性がある。感知デバイスは、視覚的なディスプレイまたはディスプレイの構成要素に取り付けられる階層型アレイとして提供される可能性がある。感知デバイスは、ディスプレイピクセルおよび1つまたは複数の感知デバイスを含むインセル多機能ピクセルの一部である可能性がある。感知デバイスは、たとえば、感知デバイスの上もしくは近くに位置付けられた物体から出る、または感知デバイスの上に位置付けられたプラテンから反射された信号を検出し得る。感知デバイスは、超音波および/または焦電センサである可能性がある。デバイスおよび方法は、概して、視覚的なディスプレイ、たとえば、タッチスクリーンディスプレイに組み込まれるものとして説明されるが、センサの構成および方法は、視覚的なディスプレイなしに実装され得る。
【００１７】
本明細書において説明されるデバイスおよび方法は、生体測定を行うために使用され得る。また、本明細書において説明されるデバイスおよび方法は、視覚的なディスプレイの表面に対してタッチパッド操作を直接的に行うために使用され得る。たとえば、本開示の教示は、指紋、掌紋、耳紋、または(顔の側面などの)フェイスプリント(face print)を検出するためにタッチスクリーンの能力を視覚的なディスプレイに与えるために使用され得る。また、教示は、静脈、血管、または組織の検出を含め、人の肌の表面の下など、物体の表面の下または中にある特徴を検出するために使用され得る。また、教示は、たとえば、物体の動きを判定するために経時的に物体についての情報をキャプチャするために使用され得る。一例においては、連続的な物体の画像情報が、カーソルを制御するため、または視覚的なディスプレイを駆動しているコンピュータのその他の制御を実行するために使用され得る。
【００１８】
さらなる利点が、センサの種類の組合せを用いることによって実現され得る。たとえば、センサアレイが、圧電センサおよび焦電センサを有する可能性がある。圧電材料は焦電特性を呈する可能性もあることを認識されたい。結果として、同じデバイスを使用することによって、圧電材料を用いて超音波情報、焦電情報、またはこれら両方を集めることが可能である可能性がある。「圧電」という用語が本明細書において使用されるとき、材料またはデバイスは「焦電」特性も呈する可能性があり、したがって、赤外線センサを含め、焦電センサとして使用される可能性があることを理解されたい。本明細書において説明される焦電センサは、摂氏100万分の1度程の温度変化を感知することができる可能性がある。
【００１９】
図1Aは、本開示による方法の実施形態を示す。方法100は、(a)組み合わされた表現と(b)赤外線信号の表現との間の差を取得すること(110)を含む可能性がある。組み合わされた表現は、検出された組み合わされた超音波および赤外線信号に基づく可能性がある。赤外線信号の表現は、検出された赤外線信号に基づく可能性がある。出力表現は、取得された差から生成される可能性がある(120)。赤外線信号の表現および/または組み合わされた表現は、圧電デバイスによってキャプチャされる可能性がある。圧電デバイスは、超音波レシーバおよび赤外線レシーバとして働くことができるレシーバを含み得る。超音波レシーバが、赤外線(IR)モード、すなわち、レシーバが赤外線レシーバとして動作させられるモードにおいて使用されるべきである場合、レシーバは、赤外線信号を感知するが、超音波信号を感知しないように構成され得る。
【００２０】
図1Bは、本開示による別の実施形態を示す。方法150は、赤外線信号の表現および組み合わされた表現を取得すること(160)を含む可能性がある。赤外線信号の表現は、検出された赤外線信号に基づく可能性がある。組み合わされた表現は、検出された組み合わされた超音波および赤外線信号に基づく可能性がある。赤外線信号の表現と組み合わされた表現との間の差が、取得される可能性がある(170)。取得された差からの出力表現が、生成される可能性がある(180)。
【００２１】
図2は、本開示による別の実施形態を示す。方法200は、圧電デバイスによって赤外線信号を検出すること(210)を含む可能性がある。圧電デバイスは、超音波レシーバおよび赤外線レシーバとして働き得るレシーバ、ならびに超音波トランスミッタを含み得る。赤外線信号の表現が、検出された赤外線信号から形成され得る(220)。赤外線信号の表現が、メモリ、たとえば、非一時的コンピュータ可読メモリに記憶され得る(230)。超音波信号が、圧電デバイスによって送られ得る(240)。超音波信号は、検出された赤外線信号に少なくとも部分的に基づいて送られ得る。送られた超音波信号は、物体が存在する可能性があるプラテンから反射される可能性があり、レシーバに到達する反射された信号が、検出される可能性がある(250)。検出される反射された信号は、レシーバが超音波および赤外線信号を感知し得るので、組み合わされた超音波および赤外線信号である可能性がある。組み合わされた表現が、組み合わされた超音波および赤外線信号から形成され得る(260)。赤外線信号の表現が、メモリから読まれる可能性がある(270)。(a)組み合わされた表現と(b)赤外線信号の表現との間の差が、出力表現を生成するために取得され得る(280)。組み合わされた表現、赤外線信号の表現、および/または出力表現は、画像、または画像を形成するために使用され得る情報である可能性がある。
【００２２】
図3Aから図3Hは、本開示に従って取得された例示的な指紋画像(3A(i)、3A(ii)、3B(i)、3B(ii)、3C(i)、3C(ii)、3D(i)、3D(ii)、3E(i)、3E(ii)、3F(i)、3F(ii)、3G(i)、3G(ii)、3H(i)、3H(ii))を示す。画像のペアは、異なる温度においてキャプチャされた。画像の各ペア3A〜3Hにおいて、左の画像(3A(i)、3B(i)、3C(i)、3D(i)、3E(i)、3F(i)、3G(i)、3H(i))は、組み合わされた超音波および赤外線画像を示し、右の画像(3A(ii)、3B(ii)、3C(ii)、3D(ii)、3E(ii)、3F(ii)、3G(ii)、3H(ii))は、(a)赤外線画像と(b)組み合わされた超音波および赤外線画像との間の差を取得することによって生成された超音波画像を示す。表A(下)は、画像の各ペアが取得された温度を示す。本開示は表Aに挙げられたそれらの温度に限定されないことに留意されたい。たとえば、画像は、-40°Fから155°Fまでの温度の範囲で取得される可能性がある。しかし、画像はこの例示的な温度の範囲外で取得される可能性があることが想定される。
【００２３】
【表１】
0006362679.tif 000002
【００２４】
図3A〜図3Hから、温度が上がるにつれて、赤外線(たとえば、赤外線エネルギー)のレベルの上昇が圧電デバイスによって検出され得ることが分かる。組み合わされた超音波および赤外線画像(3A(i)、3B(i)、3C(i)、3D(i)、3E(i)、3F(i)、3G(i)、3H(i))の詳細さのレベルは、概して、検出される赤外線のレベルの上昇が原因で、温度が上がるにつれて下がることに留意されたい。たとえば、図3A(i)および図3B(i)は、それぞれ、140°Fおよび110°Fにおいて取得された画像を示す。しかし、図3A(i)および図3B(i)に示された画像は、超音波レシーバによって検出される赤外線エネルギーの比較的高いレベルが原因で、その他の組み合わされた超音波および赤外線画像よりも暗い。同様に、周囲の温度が下がるにつれて、検出される赤外線のレベルの下がる可能性がある。より少ない赤外線を検出することは、詳細さのより高いレベルが得られる結果となる可能性がある。しかし、温度が水の凍結する温度に近づくかまたはそれを下回るとき、物体(たとえば、指)を囲む凍った水蒸気の光輪(halo)が画像内に存在する可能性がある。結果として、図3Gから図3Hまでに示される0°Fおよび-4°Fの画像は、プラテン上の薄い霜の層を通して撮像することによって引き起こされた超音波信号の損失(たとえば、超音波エネルギーの損失)が原因で比較的薄い。したがって、薄い霜の層は、明瞭な画像を受け取ることを妨げる可能性がある。
【００２５】
概して、超音波画像(3A(ii)、3B(ii)、3C(ii)、3D(ii)、3E(ii)、3F(ii)、3G(ii)、3H(ii))は、組み合わされた超音波および赤外線画像(3A(i)、3B(i)、3C(i)、3D(i)、3E(i)、3F(i)、3G(i)、3H(i))と比較して詳細の改善を示す。示された例においては、赤外線のレベルが最も高い温度において、画像間の最も著しい改善が見られ得る(たとえば、3A(i)、3A(ii)および3B(i)、3B(ii))。
【００２６】
また、本開示は、圧電デバイスによって検出される信号からの雑音を削減するための技術を使用し得る。たとえば、2重相関サンプリングと呼ばれる技術が、圧電デバイスによって取得される画像から雑音を取り除くために使用され得る。詳細には、方法は、電圧または電流などの電気的な値を測定する可能性がある。測定された値が、望ましくないオフセットを取り除くために使用され得る。特に、この技術は、圧電デバイスの出力を測定するときに使用され得る。圧電デバイスの出力は、2度、つまり、既知の条件において1度および未知の条件において1度測定される可能性がある。既知の条件から測定される値が、測定されている物理量と既知の関係がある値を生成するために未知の条件から差し引かれる可能性がある。技術は、雑音を減らすために使用される可能性があり、個々の圧電レシーバの基準電圧(たとえば、その圧電レシーバがリセットされた後のピクセルの電圧)が、各サンプリング期間の終わりの個々の圧電レシーバの信号電圧(たとえば、サンプリングの終わりのピクセルの電圧)から取り除かれる。図4は、例示的な2重相関サンプリング回路を示す。列バス線からの基準電圧レベルが、関連するパストランジスタがオンにされるときに基準キャパシタCRに記憶され得る。同様に、列バス線からの信号電圧レベルが、関連するパストランジスタがオンにされるときに信号キャパシタCSに記憶され得る。選択電圧が高くされるとき、信号電圧および基準電圧が、2つの出力端子において提供され得る。基準出力電圧が、非ゼロの基準信号を打ち消すまたは補償するために信号出力電圧から差し引かれる可能性がある。代替的に、2重相関サンプリングは、プログラミング可能なプロセッサシステム上で実行されるソフトウェアによって実現される可能性がある。
【００２７】
図5は、本開示による雑音を取り除く方法300を示す。方法300は、赤外線基準画像を取得すること(310)を含む。赤外線基準画像は、圧電デバイスの視野に物体がない状態(たとえば、既知の条件)で取得された画像である可能性がある。組み合わされた赤外線および超音波基準画像が、取得され得る(320)。組み合わされた基準画像は、圧電デバイスの視野に物体がない状態(たとえば、既知の条件)で取得された画像である可能性がある。赤外線対象画像が、取得され得る(330)。赤外線対象画像が、圧電デバイスの視野に物体がある状態(たとえば、未知の条件)で取得され得る(330)。組み合わされた赤外線および超音波対象画像が、圧電デバイスの視野に物体がある状態(たとえば、未知の条件)で取得され得る(340)。組み合わされた対象画像は、赤外線対象画像と同じ物体のものである可能性がある。赤外線基準画像が、修正された赤外線画像を生成するために赤外線対象画像から差し引かれ得る(350)。組み合わされた基準画像が、修正された組み合わされた画像を生成するために組み合わされた対象画像から差し引かれ得る(360)。修正された赤外線画像が、超音波画像を生成するために修正された組み合わされた画像から差し引かれ得る(370)。
【００２８】
図6は、上述の方法300に従って雑音を取り除くために使用され得る式を示す。式において、「df」は、赤外線基準画像(ステップ310)を表し、「bf」は、組み合わされた赤外線および超音波基準画像(ステップ320)を表し、「TC」は、赤外線対象画像(ステップ330)を表し、「FP」は、組み合わされた赤外線および超音波対象画像(ステップ340)を表す。「GB」および「GD」は、式においてグレースケールの限界を表す。「con」は、薄い画像を見ることがより容易であるようにグレースケールを改善するために使用され得るコントラスト値を表す。
【００２９】
図7Aは、本開示によるディスプレイを制御する方法を示す。方法400は、ディスプレイに組み込まれた圧電デバイスによって赤外線信号を検出すること(410)を含む可能性がある。超音波信号が、圧電デバイスによって送られ得る(420)。組み合わされた超音波および赤外線信号が、圧電デバイスによって検出され得る(430)。組み合わされた超音波および赤外線信号は、プラテンから反射された超音波信号と圧電デバイスによって検出された赤外線エネルギーに対応する赤外線信号との組合せに対応する可能性がある。プラテンから反射された超音波信号は、圧電デバイスによって送られた(420)反射された超音波信号である可能性がある。ディスプレイは、検出された赤外線信号、検出された組み合わされた超音波および赤外線信号、または検出された赤外線信号と検出された組み合わされた超音波および赤外線信号との両方に応答して制御され得る(440)。
【００３０】
検出された赤外線信号は、物体からの検出された熱に対応する可能性がある。赤外線信号は、ディスプレイまたは圧電デバイスに対して相対的な物体の位置または移動を判定するために使用され得る。一実施形態において、超音波信号は、物体からの熱が圧電デバイスによって検出され、検出された熱の量が閾値を超えるまで送られない可能性がある。また、検出された赤外線信号の量が閾値未満である量まで下がったと判定することによって、物体がディスプレイまたは圧電デバイスから離れて移動したと判定され得る。その状況において、超音波信号は、物体がディスプレイまたは圧電デバイスから離れて移動したことを検出することに応答して送られない可能性がある。さらなる物体の存在を示し得る第2の検出された赤外線信号に応答して、さらなる超音波信号が圧電デバイスによって送られる可能性がある。
【００３１】
方法400は、圧電デバイス、および/または赤外線エネルギーを検出するように構成される組み込まれた圧電デバイスを有する視覚的なディスプレイの電力消費を制御するのに役立つ可能性がある。たとえば、圧電デバイスは、ディスプレイの近くに位置付けられた人の指、手、または耳からの熱を検出するように構成され得る。圧電デバイスは、ディスプレイに組み込まれ、ディスプレイ自体、またはディスプレイに組み込まれた圧電デバイスもしくはその他の圧電デバイスを含むディスプレイの別の構成要素にオンまたはオフになるように命令するように構成され得る。たとえば、圧電デバイスは、ディスプレイに近づいている人の手、指、または耳からの熱の検出に応答して超音波トランスミッタまたは超音波レシーバをオンにする可能性がある。このようにして、超音波トランスミッタまたは超音波レシーバは、必要とされるまでオフのまま保たれ得る。
【００３２】
方法400は、ディスプレイを制御するのに役立つ可能性がある。一例においては、ディスプレイ、またはディスプレイと通信するマイクロプロセッサが、物体が圧電デバイスに近づくときに方法400に従って比較的アクティブでない状態から比較的アクティブな状態にされる可能性がある。これは、電力消費を減らす目的で役立ち、ユーザがディスプレイまたはディスプレイに関連するデバイスを使用することを望むことを示すために使用され得る。一実施形態において、ディスプレイは、モバイルデバイスがユーザの命令を受け入れる準備ができていることを示すために視覚的なディスプレイを介してユーザに「ようこそメッセージ」またはその他のプロンプトを与え得る。このようにして、方法400は、イベントを検出し、視覚的なディスプレイを介したユーザへの応答を生成するために使用され得る。
【００３３】
図7Bは、本開示によるディスプレイデバイスを制御する方法を示す。概して、ディスプレイデバイスがスリープまたは低電力モードになることを可能にすることは、バッテリ寿命を節約し、ディスプレイデバイスのユーザビリティを広げる。電力が低いディスプレイデバイスをウェイクアップするユーザの望みを検出する方法も、バッテリ寿命を節約し得る。ディスプレイデバイスをウェイクアップするこの方法500においては、赤外線または超音波信号が、ディスプレイデバイスに関連するディスプレイの表面の近くまたは上に位置付けられた指または手などの物体から検出され得る(510)。信号は、たとえば、焦電または音響放射(acoustic emission)センサとして働き得るディスプレイに結合された圧電センサによって検出され得る。検出された信号が、ウェイクアップの閾値レベルと比較され得る(520)。検出された信号が閾値レベルを超えている場合、ディスプレイデバイスが、スリープモードから覚まされ得る(530)。ディスプレイの表面の近くまたは上の指または手からの赤外線エネルギーの検出は、ディスプレイに結合されたセンサアレイの単一のまたは部分的なスキャンのみを必要とする可能性がある。
【００３４】
図7Bは、本開示によるディスプレイデバイスを制御する方法を示す。概して、ディスプレイデバイスがスリープまたは低電力モードになることを可能にすることは、バッテリ寿命を節約し、ディスプレイデバイスのユーザビリティを広げる。電力が低いディスプレイデバイスをウェイクアップするユーザの望みを検出する方法も、バッテリ寿命を節約し得る。ディスプレイデバイスをウェイクアップするこの方法500においては、赤外線または超音波信号が、ディスプレイデバイスに関連するディスプレイの表面の近くまたは上に位置付けられた指または手などの物体から検出され得る(510)。信号は、たとえば、焦電または音響放射センサとして働き得るディスプレイに結合された圧電センサによって検出され得る。検出された信号は、ウェイクアップの閾値と比較され得る(520)。閾値は、あらかじめ決められた値であるか、または前に検出された信号に基づく可能性がある。検出された信号が閾値を超えている場合、ディスプレイデバイスは、スリープモードから覚まされ得る(530)。
【００３５】
本明細書において説明される圧電センサは音響放射を検出し得るので、ディスプレイの表面をユーザがタップすること、タッチすること、こすること、またはその他の方法で接触することによる音響放射が、センサアレイの1回のスキャンまたは部分的なスキャンのみによっても検出され得る。ディスプレイデバイスがウェイクアップされるかまたはその他の方法で覚まされると、ディスプレイデバイスの表面から超音波画像を生成する必要がある可能性がある。方法400と同様に、超音波信号が、ディスプレイに結合された超音波トランスミッタから送られる可能性があり、ディスプレイの表面から反射される超音波信号が、ディスプレイデバイスが覚まされるときに検出される可能性がある。ディスプレイデバイスの超音波センサおよび様々なプロセッサは、たとえば、センサからのデータを収集し、処理するために完全に作動させられるとき、大量の電力を消費する可能性があるので、これらの構成要素を必要とされないときにスリープモードまたは非アクティブ状態にすることは、エネルギー消費を減らし、バッテリ寿命を延ばす可能性がある。
【００３６】
ディスプレイの表面の近くのまたは上の指または手の検出は、ディスプレイに結合されたセンサアレイの部分的なスキャンのみを必要とする可能性がある。一部の実装においては、圧電材料の赤外線検出能力が、ディスプレイの表面上の指またはスタイラスなどのタッチする物体から最初のタッチイベントを検出するために使用される可能性があり、タッチする物体の詳細な位置を迅速に判定するためのタッチの近傍の様々なセンサの選択的なスキャンがその後に続く。図7Cは、本開示によるディスプレイデバイスを制御する方法を示す。方法600においては、ディスプレイデバイスの表面上の指またはスタイラスなどのタッチする物体が、超音波トランスミッタがオフである状態で検出され得る(610)。タッチする物体は、たとえば、物体がディスプレイデバイスの表面にタッチするときに物体から放出された熱もしくは温度エネルギーからまたは音響放射から検出され得る。超音波トランスミッタが、たとえば、送られ、ディスプレイの表面から反射される可能性がある超音波を生成するためにオンにされ得る(620)。検出されたタッチの近くの領域が、選択的にスキャンされ得る(630)。たとえば、タッチイベントの近傍の超音波センサが、ディスプレイの表面上の物体の画像情報を生成するために選択的にアドレス指定され、読み出される可能性がある。タッチする物体の詳細な位置が、たとえば、画像情報を処理することによって判定され得る(640)。
【００３７】
部分的なスキャンの別の実施形態が、図7Dに示される。この方法650によれば、センサアレイを有するディスプレイデバイスの表面上の指またはスタイラスなどのタッチする物体が、超音波トランスミッタがオフである状態で検出され得る(660)。タッチする物体は、たとえば、物体がディスプレイデバイスの表面にタッチするときに物体から放出された熱もしくは温度エネルギーからまたは音響放射から検出され得る。超音波トランスミッタが、たとえば、送られ、ディスプレイの表面から反射される可能性がある超音波を生成するためにオンにされ得る(670)。超音波スキャンが、行われ得る(680)。超音波スキャンは、ディスプレイデバイス上の超音波センサのすべてを使用する可能性がある。各超音波センサは、ピクセルに対応する可能性がある。ピクセルの領域からのセンサデータが、選択的に処理され得る(690)。一例において、ピクセルの領域は、メモリに記憶される可能性があるディスプレイ上の超音波センサのすべてからのセンサデータを読むことによって選択的に処理され得る。ピクセルデータの領域が、画像処理のために画像プロセッサに選択的に転送され得る。ピクセルデータの領域は、検出されたタッチの近くの領域に対応する可能性がある。別の例において、ピクセルの領域は、すべてのピクセルデータをプロセッサに転送することによって選択的に処理され得る。そして、プロセッサは、検出されたタッチの近くの領域に対応するピクセルの領域を選択的に処理し得る。
【００３８】
図8は、本開示による視覚的なディスプレイを動作させる方法を示す流れ図である。赤外線センサが、熱を検出し、センサによって感知される熱の量に比例する信号を送り得る。信号は、閾値と比較される可能性があり、閾値を超える場合、超音波トランスミッタ12が作動されるかまたはウェイクアップされる可能性がある。閾値を超えない場合、超音波トランスミッタは、非アクティブ状態のままであるかまたは非アクティブ状態にされる(たとえば、スリープもしくはオフ状態にされる)可能性がある。
【００３９】
図9は、視覚的なディスプレイを動作させる方法を示す別の流れ図である。赤外線センサが、熱を検出し、センサによって感知される熱の量に比例する信号を送り得る。信号は、閾値と比較される可能性があり、閾値を超える場合、超音波トランスミッタが作動される可能性がある。超音波トランスミッタを作動させることによって、超音波画像が、圧電センサによってキャプチャされ得る。閾値を超えない場合、超音波トランスミッタは、非アクティブ状態のままであるかまたは非アクティブ状態にされる可能性がある。
【００４０】
図10A〜図10Cは、本開示による圧電デバイスおよび/または組み込まれた圧電デバイスを有する視覚的なディスプレイで使用され得る屈折光および/または音響レンズを示す。本明細書において説明された圧電デバイスは、ディスプレイ上にあるかまたはディスプレイから離れている可能性がある特定位置からのエネルギーを1つまたは複数の圧電(焦電)センサ上に集めるように構成された1つまたは複数のレンズを含み得る。レンズは、赤外線もしくは可視エネルギーを集めるように構成された光学レンズ(optical lens)である可能性があり、または超音波エネルギーを集めるように構成された超音波レンズである可能性がある。光学レンズが設けられる場合、超音波エネルギーを送るまたは受け取る圧電デバイスの能力に影響を与えずに赤外線(たとえば、赤外線エネルギー)を集めることが可能である。しかし、圧電デバイスによって感知されている赤外線エネルギーを集めるための光学レンズを設けることは、視覚的なディスプレイによって生成されている画像を歪ませる可能性があることを認識されたい。
【００４１】
レンズの例が、図10A〜図10Cに示される。たとえば、レンズ50は、(図10Aに示される)フレネルレンズ50a、(図10Bに示される)平凸光学レンズ50b、または(図10Cに示される)マイクロレンズアレイ50cである可能性がある。レンズ50は、センサの焦点を近似的に無限遠に合わせるために使用され得る。一例においては、およそ長さ1/2インチ×幅1/2であり、厚さ1/50インチから1/16インチまでの間の厚さを有する光学レンズが、設けられる可能性がある。しかし、その他のサイズのレンズは、本開示の範囲内にある。レンズ50は、複数の光学的に位置合わせされたレンズ(図示せず)として具現化される可能性があることも想定される。そのような複数のレンズは、互いに対して固定的であるかまたは移動可能である可能性がある。
【００４２】
図11A〜図11Dは、圧電センサと組み合わされたプラテンおよびレンズ構成を示す。光学または音響レンズ50が、圧電デバイス36の1つまたは複数の層の内または上に組み込まれる可能性がある。たとえば、レンズ50は、センサ回路20とプラテン32との間に位置付けられる可能性がある。一部の実装においては、プラテン32が、レンズ50を含むかまたはレンズとして働く可能性がある。図11Aは、実質的に平坦なプラテン32を有する構成を示し、この構成においては、圧電デバイス36のセンサが、プラテン32の露出させられた表面上に位置付けられた物体から放出されたかまたは反射されたエネルギーを検出し得る。図11Bおよび図11Cは、プラテン32aの最も外側の表面がレンズとして働き得る曲面を有する実施形態を示す。たとえば、図11Bは、可視光または赤外線レンズとして働き得る凸プラテン32aを有する。図11Bは、指34を感知するための凸プラテン32aに押し付けられた指34を示す。たとえば、図11Bにおいて、指34の超音波画像が、撮影され得る。凸プラテン32aは、超音波信号を実質的に変更しない可能性があるので、図11Bに示される構成によって撮影された超音波画像は、図11Aに示される実施形態によって撮影された超音波画像と実質的に同様である可能性がある。しかし、凸プラテン32aの湾曲した外面に対応するために圧電デバイス36のレンジゲーティング(range gating)を調整することが必要である可能性がある。
【００４３】
図11Cは、凸プラテン32aから離間された指34を示す。凸プラテン32aは、指34が凸プラテン32aの外面から離れた、離間された位置にあるときに指34の焦点を合わされた画像を得るために超音波または赤外線(たとえば、超音波エネルギーまたは赤外線エネルギー)を圧電デバイス36上に集めることができる。このようにして、指34などの物体の画像が、圧電デバイス36にさらなる層を追加することなく、可視光または赤外線センサアレイによって撮影され得る。
【００４４】
レンズ50は、圧電デバイスとは別である可能性もある。たとえば、図11Dは、平坦なプラテン32の上に位置付けられるフレネルレンズ50aをともなう圧電デバイス36を示す。フレネルレンズ50aが示されるが、任意の好適なレンズが使用され得る。レンズ50aは、プラテン32から離れた位置の指34の焦点を合わされた画像を得るために赤外線センサの焦点を合わせることができる。代替的に、フレネルレンズ50aは、プラテンとモノリシックに形成される可能性がある。レンズ50aはプラテンに固定される可能性があるが、レンズ50aが圧電デバイス36に対して相対的にずらされ得ることもあり得る。たとえば、レンズ50aは、所定の位置にスライドするようにまたはディスプレイもしくは圧電センサから取り外され得るように設けられる可能性がある。
【００４５】
図11Bおよび図11Cに示される凸プラテン32aは、ボタンとして使用するのに有利である可能性がある。ボタンは、現金自動預け払い機、電話、タブレットコンピュータなどのコンピュータデバイスのための入力である可能性がある。ボタンは、ユーザからの入力を登録するために定位置に固定されるかまたはずらされ得る可能性がある。固定されたボタンの場合、ボタンは、圧力を感知するか、または圧電デバイスに関連するセンサによってユーザの入力を判定するように構成され得る。平坦なプラテン32が、上で説明された同じ方法でボタンとして使用され得る。一部の実装においては、凸プラテン32aの湾曲した形状が、その他のボタンを含むデバイスのその他の領域からボタンを区別するためにユーザに役立つ可能性がある。
【００４６】
光学レンズが設けられない場合、プラテンから離間されている物体の詳細な画像を取得することが難しい可能性がある。たとえば、プラテンから約6mmを超えて意味のある生体情報を提供するための必要な詳細を有する写真または赤外線画像を得ることは、難しい可能性がある。しかし、光学レンズなしに撮影された可視または赤外線画像は、プラテンの表面から離間される物体の存在または物体の移動を判定するのに十分な情報を提供する可能性がある。たとえば、物体の動きは、レンズなしに約0.01インチから約2.0インチまでの範囲内で感知され得る。その他の範囲は、圧電デバイスに設けられたセンサまたは感知されている物体に依存して取得される可能性がある。
【００４７】
図12Aおよび図12Bは、多機能ピクセルディスプレイアレイを動作させるために使用され得る多機能ピクセルシステムの回路を示す。図12Aは、LCDディスプレイ構成要素を有する多機能ピクセルディスプレイアレイ2001のための回路2000を示す。図12Bは、OLEDディスプレイ構成要素を有する多機能ピクセルディスプレイアレイ2002のための回路2000を示す。回路2000は、列ドライバ回路2030を有するピクセルディスプレイアレイドライバ2020に信号を与えるようにプログラミングされたマイクロプロセッサ2010を含み得る。加えて、マイクロプロセッサ2010は、センサアレイ読み出し回路2040を動作させるための信号を与えるようにプログラミングされ得る。タイミングバイアスおよびパルス生成制御回路2050が、たとえば、ディスプレイ回路2060および/またはセンサ回路2070のタイミングおよびバイアスを制御するために設けられる可能性がある。バイアスおよびパルス生成制御回路2050は、多機能ピクセルディスプレイアレイ2001、2002の行または列を選択するように構成され得る。圧電センサ、光電センサ、および焦電センサの3つ組みが図12Aおよび図12Bに示されているが、光電センサ、可視光センサ、赤外線光センサ、赤外線センサ、超音波センサ、音響もしくは音響放射センサ、圧電力もしくは圧力センサ、温度センサ、または静電容量センサを含む1つまたは複数のセンサの種類が、ディスプレイアレイの1つまたは複数の多機能ピクセルに構成される可能性がある。
【００４８】
多数の行選択線、列ドライバ線、およびセンサ読み出し線はディスプレイ要素を見ることを邪魔する可能性があるので、線の数を最小化する手法が有益である可能性がある。図12Cは、それぞれ赤、緑、および青のための3つのサブピクセル18a、18b、および18cを有するLCDまたはOLEDディスプレイピクセルと、それぞれ超音波センサ、光電センサ、および静電容量センサを表す3つのセンサ20a、20b、および20dとによって構成された多機能ピクセル1、2のディスプレイアレイ2001、2002に関する独立した行アドレス指定を示す。ディスプレイサブピクセルのためのビデオまたはディスプレイ入力線と、センサのためのセンサ出力信号線とが、分けられる。この構成は、センサの特定の行または列を無効化すること、考慮に入れないこと、切断すること、無視すること、有効化しないこと、アクセスしないこと、アドレス指定しないこと、またはその他の方法で度外視することによってディスプレイピクセルおよびセンサに関して独立したフレームレートを可能にし、さらに、異なるセンサ解像度を可能にする。一実施形態において、多機能ピクセルディスプレイアレイの光電センサ、第2のセンサ、またはその他のセンサのフレームレート、フレームサイズ、および解像度は、センサの行および列のサブセットを決定し、それにアクセスすることによって調整可能であるように構成され得る。異なる実施形態においては、行選択線の数が、図12Dに示されるように、共通の行選択線を用いてディスプレイ要素の行およびセンサ要素の行をアドレス指定することによって削減され得る。さらに別の実施形態には、センサに給電するかまたはセンサをリセットするためのさらなる線が含まれる可能性がある。
【００４９】
さらなる実施形態においては、図12Eに示されるように、ビデオ入力線およびセンサ出力線の数が、同じ列線を用いてディスプレイピクセルを駆動し、センサ出力信号を感知することによって削減され得る。この実施形態においては、共通の列線が、ディスプレイピクセルの行が選択されている間にビデオ入力のために使用され、センサの行が選択されるときにセンサ出力のために使用され得る。ディスプレイ列ドライバに関する高出力インピーダンスモードが、感知モードであるときに列線上のセンサ出力信号の正確な検出を可能にするために含まれる可能性がある。図12Fに示される別の実施形態は、共通のディスプレイ/センサ行選択線および共通のビデオ入力/センサ出力列線を有する可能性がある。
【００５０】
1つまたは複数のセンサがそれぞれの多機能ピクセルにおいてディスプレイサブピクセルをちりばめられる実施形態、またはディスプレイサブピクセルおよびセンサ要素が示された量および位置以外の量および位置にある実施形態を有することもあり得る。
【００５１】
多機能ピクセルディスプレイアレイのセンサ要素の解像度は、1つおきの行および1つおきの列にアクセスすること、行および列のサブセットをアドレス指定すること、または1つもしくは複数の行もしくは列のグループをスキップすることによるなどして動作中に調整可能であるように構成され得るので、センサからのデータ獲得のフレームレートも、調整可能であり得る。つまり、センサ要素に関するフレームレートは、ディスプレイ要素に関するフレームレートよりも高いか、同じか、または低い可能性がある。一例において、インセル静電容量センサアレイのフレームレートは、ディスプレイ更新レートよりもずっと速い可能性があり、したがって、タッチまたはスタイラス入力データは、スタイラスの追跡のためなど、必要なときに高速なレートで獲得され得る。別の例においては、インセル超音波指紋センサアレイのフレームレートが、指紋などの高解像度の生体情報の獲得を可能にするためにディスプレイ更新レートから下げられる可能性がある。センサデータの獲得に関するフレームレートは、異なるアプリケーションによるセンサデータの変化する必要性に基づき動的である可能性がある。フレームサイズは動的であり、たとえば、ディスプレイアレイの表面の上または近くのスタイラスまたはその他の物体の追跡を可能にするためにディスプレイアレイのより小さな部分からのセンサデータの高速なアクセスを可能にし得る。動的なフレームサイズおよび動的なフレームレートが、ディスプレイアレイの上または近くの物体のジェスチャを検出するために使用され、ジェスチャの高速な追跡を可能にし得る。一部のモードにおいては、センサ要素の一部またはすべてが、少なくとも一時的に逆方向にアクセスされる可能性がある。動作の1つのモードにおいては、多機能ピクセルディスプレイアレイからのセンサデータの獲得が、センサデータが要求されず、一方、ディスプレイアレイのディスプレイ要素に対する更新が続くとき、一時的に中断される可能性がある。動作の異なるモードにおいては、LCDに基づくディスプレイアレイのバックライトが、ディスプレイアレイの光電センサからのデータなどのセンサデータが取得されることを可能にするためにオフにされるかまたは暗くされる可能性がある。
【００５２】
ディスプレイ要素およびセンサ要素の独立したアクセスが提供される異なる実施形態においては、共通の行選択線または共通のビデオ入力およびセンサ出力線の使用が、ビデオまたはディスプレイ入力データを提供し、センサ出力データを獲得するタイミングおよび順序に制約を課す可能性があることもあり得る。たとえば、シーケンスは、第1にビデオデータを書き、第2にセンサ出力データを読み、それから繰り返すことである可能性がある。第2の例においては、ビデオまたはディスプレイデータが、複数の連続するフレームの間に書かれる可能性があり、1つまたは複数のセンサ獲得フレームが、必要とされるときに書込みフレームの間に挿入される。第3の例においては、ビデオまたはディスプレイデータが、ほぼ連続的に書かれる可能性があり、センサデータは、ディスプレイデータが一時的に止むかまたはセンサデータを獲得する必要性が生じるときに取得される。第4の例においては、ディスプレイアレイのセンサが、非常に低いフレームレートで(たとえば、1秒、1分、1時間、またはそれよりも長い時間に1回)アクセスされる可能性があり、一方、ディスプレイは、ディスプレイがオンにされるかまたは何らかのその他のイベントが起こるまでオフである。
【００５３】
図13Aは、図12Aおよび図12Bに示されたディスプレイ2001、2002において使用され得る超音波(圧電)センサ20aを示す。圧電センサは、たとえば、比較的高い周波数の超音波信号、中程度の周波数の音響信号、または低い周波数の加えられた圧力もしくは力の信号を測定するために使用され得る。圧電センサは、たとえば、指またはスタイラスがディスプレイアレイの表面をこするかまたは叩くときに放射される可能性がある音響放射を検出し得る。図13Bは、図12Aおよび図12Bに示された多機能ピクセルシステムにおいて使用され得る赤外線(焦電)センサ20cを示す。焦電センサは、たとえば、赤外線エネルギー、温度エネルギー、または熱を検出するために使用され得る。図13Cは、図12Aおよび図12Bに示された多機能ピクセルシステムにおいて使用され得る光電センサ20bを示す。光電センサは、たとえば、可視光または赤外線光を検出するために使用され得る。図13Dは、図12Aおよび図12Bに示されたディスプレイ2001、2002において使用され得る静電容量センサ20dを示す。静電容量センサ20dは、たとえば、図12Aおよび図12Bに示されたディスプレイ2001、2002の上または近くに置かれた指などの物体からの静電容量または静電容量の変化を検出するために使用され得る。
【００５４】
図14は、本開示によるセンサアレイから情報を読み出す方法700を示す。センサアレイは、複数の圧電センサにより構成される可能性がある。それぞれの圧電センサは、超音波トランスミッタおよび超音波レシーバを含み得る。超音波トランスミッタおよび超音波レシーバは、異なる要素である可能性があり、または単一の要素である可能性がある(たとえば、超音波トランスミッタは、超音波レシーバとしても働き得る)。レシーバによって取得された圧電センサの情報は、電子回路によって(たとえば、アナログデジタルコンバータを用いて)行ごとまたは列ごとに読み出される可能性があり、コンピュータが、その情報からデータを生成するために使用される可能性がある。そのデータは、物体の画像を生成するために使用され得る。一例として、方法700は、超音波トランスミッタがオフにされる一方で、センサアレイの1つまたは複数の行からセンサの情報を読むこと(710)を含み得る。読まれる行からの情報は、非一時的コンピュータ可読媒体などのメモリに記憶される可能性がある(720)。1つの特定の例においては、1つまたは2つの行からの情報が、一度に読まれ、記憶される。センサアレイの行からのセンサの情報が、超音波トランスミッタがオンの状態で読まれ得る(730)。メモリ内の記憶された情報が、超音波トランスミッタがオンの状態で読まれた行からの情報から差し引かれる可能性があり(740)、結果として得られるデータセットが、メモリに記憶される可能性がある(750)。センサアレイ内の電荷の減少が原因で、センサアレイがリフレッシュされなければならなくなる前に読まれる約4000個のセンサピクセルが存在する可能性がある。したがって、前のステップ710から750までが、所望の行からの情報が記憶されてしまうまで繰り返され得る(760)。代替的に、センサピクセルの1つまたは複数の行が、超音波トランスミッタがオンにされた後に読まれる可能性があり、超音波トランスミッタがオフの状態でのセンサピクセルの1つまたは複数の行のリセットと、センサピクセルの第2の読み取りとがそれに続く。方法700と同様の方法で、リセットされたセンサピクセルによる、超音波トランスミッタがオフの状態のセンサの情報が、超音波トランスミッタがオンの状態のセンサの情報から差し引かれる可能性がある。
【００５５】
図15および図16A〜図16Cは、視覚的なディスプレイの一部を形成するディスプレイ要素の間に感知要素が位置付けられるインセルディスプレイデバイスを示す。これらのデバイスは、本開示に従って装置内でまたは方法を実行するために使用され得る。本明細書において使用されるとき、語句「インセル」は、視覚的なディスプレイのための多機能ピクセルを集合的に構成するディスプレイ要素と一緒に物理的に配置される1つまたは複数のセンサを指す。そのような構成は、概して、色(たとえば、赤、緑、および青、または赤、緑、青、および黄色)を生成するための1つまたは複数のディスプレイサブピクセルと、圧電センサ(たとえば、超音波センサ)、焦電センサ(たとえば、赤外線センサ)、光電センサ(たとえば、開口センサもしくは赤外線光センサ)、または静電容量センサなどの1つまたは複数の感知要素とを有する多機能ピクセルをもたらし、それらのセンサのうちの1つまたは複数は、視覚的なディスプレイの近くのまたは視覚的なディスプレイに接触している物体を検出するために使用され得る。そのようなピクセルは、従来のディスプレイピクセルよりも多くの構成要素および機能を含むので、本明細書においては多機能ピクセルまたは「スーパーピクセル」と呼ばれる。
【００５６】
図15は、本開示の一実施形態による多機能ピクセル1の分解斜視図である。多機能ピクセル1は、タッチ対応、スタイラス対応、または指紋対応液晶ディスプレイ(LCD)を形成するために使用され得る。多機能ピクセル1は、2つの導電性電極の間に挟まれた圧電薄膜または層を有する圧電薄膜超音波トランスミッタ12に取り付けられたエッジライト式バックライトパネル10を含み得る。バックライトパネル10の超音波トランスミッタ12と反対側の表面上には、ガラスまたはプラスチック薄膜トランジスタ(TFT)基板16上のTFTアレイ14が取り付けられ得る。TFTアレイ14は、1つまたは複数の回路およびサブ回路によって構築される可能性がある。多機能ピクセル1は、1つまたは複数のLCDディスプレイサブピクセル18a〜cを有するLCDディスプレイピクセル18および複数のセンサ20を含み得る。ディスプレイサブピクセル18a〜cは、それぞれ、赤、緑、青色サブピクセルに対応する可能性がある。一部の実装において、センサ20aは、超音波センサである可能性があり、センサ20bは、光電センサである可能性があり、センサ20cは、赤外線センサである可能性がある。超音波センサ20aまたは赤外線センサ20cを含むセンサ20は、TFTアレイ14上のピクセル入力電極として働く導電パッドに接着されるかまたはその他の方法で置かれ、たとえば、関連するセンサ回路の電界効果トランジスタ(FET)に接着される圧電性高分子22の層に関連付けられる。超音波センサ20aは、圧電性高分子22とともに、赤外線または温度センサとしても働く可能性がある。たとえば、圧電性高分子22は、焦電特性を呈する場合、赤外線センサの一部として使用され得る。このようにして、超音波センサ20aは、超音波および赤外線信号を検出するために使用され得る。
【００５７】
センサ20は、超音波センサ回路、音響センサ回路、圧電センサ回路、圧電力センサ回路、圧電圧力センサ回路、光電回路、光センサ回路、赤外線光センサ回路、焦電センサ回路、温度センサ回路、または静電容量センサ回路などの1つまたは複数のセンサ回路およびサブ回路を含み得る。光電センサ20bなどのセンサ20は、PINダイオードを用いて可視または赤外線光を受光し、その可視または赤外線光を電荷に変換し得る。赤外線光を遮断する可視光フィルタ(図示せず)または可視光を遮断する赤外線フィルタ(図示せず)が、それぞれ、可視光または赤外線光を感知するためにPINダイオード上に位置付けられる可能性がある。一部の実施形態において、圧電性高分子22は、光を受光する光電センサ回路の能力に実質的に影響を与えずに光電センサ回路の上に位置付けられ得るだけ十分に光を透過し得る。その他の実施形態において、圧電性高分子22は、光電センサ回路を覆わないように置かれる可能性がある。たとえば、そのような構成においては、圧電性高分子22が、光電センサ回路とプラテン32との間に存在しない可能性がある。静電容量センサは、たとえば、静電容量の値の検出のための電荷増幅器、積分器(integrator)、またはその他の静電容量感知回路に電気的に接続されたセンサ入力電極を有する可能性がある。
【００５８】
別の実施形態において、圧電性高分子22は、静電容量センサを覆う可能性がある。圧電層は、静電容量センサへの入力のための誘電体層として働き得る。圧電層は、誘電破壊の可能性を最小化するために静電容量センサの誘電絶縁層として働く可能性もある。TCF電極層21および/または23は、静電容量センサの上で省略される可能性がある。代替的に、TCF電極層21、23は、電極を電気的に絶縁するように静電容量センサの周辺にパターニングされ、エッチングされる可能性がある。一実施形態において、圧電性高分子22などの圧電層が、超音波センサ、圧電センサ、焦電(赤外線もしくは温度)センサ、および/または静電容量センサの一部として含まれる可能性がある。他の実施形態において、圧電層は、ポリフッ化ビニリデン(PVDF)またはポリビニリデン-トリフルオロエチレン(PVDF-TrFE)共重合体の層などの一部の圧電層が可視および赤外線スペクトル領域で実質的に透過的であるので、光電光センサ(可視光または赤外線光)を覆い得る。さらに別の実施形態において、PVDFまたはPVDF-TrFE層は、LCDまたはOLEDディスプレイ要素の上に含まれる可能性がある。図15に示されるように、ディスプレイピクセル18およびセンサ20の実質的な部分が、共通の基板上に位置付けられるかまたはそれ以外の方法で置かれる可能性がある。ディスプレイピクセル18およびセンサ20の実質的な部分は、実質的に同じ平面内にある可能性がある。
【００５９】
図15は、ディスプレイピクセルおよびサブピクセルのための回路の上のTFTアレイ14上の液晶材料24の層を示す。一部の実装において、液晶材料24は、センサ回路の上に延びる可能性がある。液晶材料24に印加される電圧を制御することによって、バックライトパネル10からの光が、変化する量でディスプレイピクセルを通過することを可能にされ得る。圧電性高分子22は、液晶材料24の上および/または下で液晶材料によって境界を定められるかまたは部分的に境界を定められる可能性がある。たとえば、図15は、液晶材料24の層の一部を圧電性高分子22の上にあるものとして示し、液晶材料の別の一部を圧電性高分子22の横にあるように示す。図15は、液晶材料24の上に位置付けられた透明導電薄膜(TCF: transparent conducting film)電極26も示す。TCF電極26は、ITO(インジウム錫酸化物)、IZO(インジウム亜鉛酸化物)、FTO(フッ化錫酸化物(fluorinated tin oxide))、GZO(ガリウム亜鉛酸化物(gallium zinc oxide))、PEDOTもしくはポリ(3,4-エチレンジオキシチオフェン)、または実質的に透明であり、導電薄膜として使用され得るその他の導電材料などの材料から形成され得る。
【００６０】
TCF電極26は、センサ20およびディスプレイピクセル18のための共通電極として使用される可能性がある。図15に示される例において、TCF電極26は、カラーフィルタアレイ28に貼り付けられる可能性がある。カラーフィルタアレイ28は、たとえば、それぞれのディスプレイピクセルのための赤、緑、および青色フィルタに対応する3つの個々のカラーフィルタ要素28a、28b、および28cを含み得る。カラーフィルタ要素28a、28b、および28cは、ガラスまたはプラスチック層などのカラーフィルタ基板28d上に形成されるかまたはその他の方法で置かれ得る。カラーフィルタアレイ28の上にあるのは、偏光フィルタ30である可能性がある。プラテン32が、カバーグラスまたはカバーレンズとしても働き得る最も外側の保護層として設けられる可能性がある。プラテン32は、耐摩耗ガラスまたはプラスチックの層から作られる可能性がある。
【００６１】
そのようなディスプレイの視覚的な態様は、ほとんどのLCDディスプレイと同様にして動作し得る。TFTアレイ14とTCF電極26との間の電圧が、各ディスプレイサブピクセル18a、18b、および18cがオンまたはオフになることを可能にする。各ディスプレイピクセル18は、個々のディスプレイサブピクセル18a、18b、および18cの間の空間を通じて漏れる可能性があるバックライトパネル10からの望ましくない光を排除するために個々のサブピクセル18a、18b、および18cを囲むブラックマトリックス(図示せず)を有する可能性がある。
【００６２】
図16A〜図16Cは、多機能ピクセル2のその他の実施形態の分解斜視図である。これらの実施形態において、OLEDサブピクセルが、ディスプレイピクセル18を形成するために組み合わされる。多機能ピクセル2は、複数のセンサ20ならびに1つまたは複数のOLEDディスプレイサブピクセル18a、18b、および18cを有するディスプレイピクセル18を有する可能性がある。圧電薄膜超音波トランスミッタ12が、TFTアレイ14のTFT基板16の背面に取り付けられる可能性がある。TFTアレイ14は、1つまたは複数の発光ディスプレイピクセルまたはディスプレイサブピクセル18a、18b、および18cを有するディスプレイピクセル18を含み得る。図16Aに示されるように、第1のTCF電極21、圧電性高分子22の層、および第2のTCF電極23が、関連するセンサ回路の上に位置付けられるが、ただし、ディスプレイピクセル18a、18b、および18cの上には位置付けられない可能性がある。図16Bに示される別の実施形態においては、第1のTCF電極21aが、センサ回路の上ならびにディスプレイサブピクセル18a、18b、および18cの上に置かれる可能性がある。図16Cに示される第3の実施形態においては、第1のTCF電極21aおよび第2のTCF電極23aが、センサ回路の上ならびにディスプレイサブピクセル18a、18b、および18cの上に置かれる可能性がある。
【００６３】
図16A〜図16Cにおいては、光を透過する絶縁材料25が、3つのOLEDディスプレイサブピクセル18a〜cの上に示される。図16Aに示される実施形態において、絶縁材料25は、OLEDディスプレイサブピクセル18a〜cをTCF電極21および23から絶縁する可能性がある。図16B〜図16Cに示される実施形態において、絶縁材料25は、OLEDディスプレイサブピクセル18a〜cをTCF電極23から絶縁する可能性がある。
【００６４】
カラーフィルタアレイ28が、赤-緑-青の視覚的な表示色を可能にするために設けられ得る。プラテン32として働き得るカバーガラスが、物理的な摩耗および機械的な損傷からディスプレイデバイスを保護するために設けられ得る。各ディスプレイピクセル18は、個々のディスプレイサブピクセル18a、18b、および18cの間の任意の空間を通じて漏れる可能性がある隣接するOLEDサブピクセルからの望ましくない光を排除するために個々のサブピクセルを囲むブラックマトリックス(図示せず)を有する可能性がある。
【００６５】
センサ20は、超音波センサ回路、音響センサ回路、圧電センサ回路、圧電力センサ回路、圧電圧力センサ回路、光電センサ回路、可視光センサ回路、赤外線光センサ回路、焦電赤外線センサ回路、温度センサ回路、または静電容量センサ回路などの1つまたは複数のセンサ回路およびサブ回路を含み得る。たとえば、センサ20aは、超音波センサ回路を含む超音波センサである可能性があり、センサ20bは、光電センサ回路を含む光電センサである可能性があり、センサ20cは、赤外線センサ回路を含む赤外線センサである可能性がある。一部の実施形態において、圧電超音波センサ回路および焦電赤外線センサ回路は、ピーク検出器、バイアス回路、および圧電/焦電層の使用と多くの点で同様である可能性があるが、外部バイアスおよびタイミング回路は、超音波センサに関する反射された超音波信号を検出するためにタイミングウィンドウ(timing window)を用いる可能性があり、温度または赤外線エネルギーを検出するためにタイミングウィンドウ(および超音波トランスミッタの活動)を使用しない可能性がある。光電センサ20bの光電センサ回路は、超音波または赤外線センサの一部の実装において使用されるピーク検出ダイオードおよびキャパシタをPIN型フォトダイオードによって置き換えることによって形成され得る。PIN型フォトダイオードは、可視または赤外線光を電荷に直接変換することができる。電荷として利用可能になると、TFTアレイ回路が、TFTアレイに関連する行および列アドレス指定回路を介して信号を出力するために使用され得る。
【００６６】
当業者は、センサ回路およびセンサの一部を含む様々な層がディスプレイスタック内の異なる層上に据えられ、同じまたは同様の機能を引き続き実現し得ることを認識するであろう。したがって、本明細書において説明される特定の構成は、インセルテクノロジーが実装され得る唯一の構成であると見なされるべきでない。
【００６７】
上述の1つまたは複数の多機能ピクセル1、2は、医療デバイスなどのモバイルデバイスまたはモバイル電話などのコンシューマデバイスに含まれる可能性がある。図17は、全体的に1500で示されるモバイルデバイスの例示的な実施形態のブロック図を示す。デバイス1500は、メモリ1532に結合されたデジタル信号プロセッサ(DSP)またはマイクロコントローラなどのマイクロプロセッサ1510を含み得る。例示的な例において、マイクロプロセッサ1510は、キャプチャされた画像または画像情報の特徴を特定するように構成された画像処理論理を含む。マイクロプロセッサ1510は、モバイルデバイスに割り当てられた様々なタスクを実行するように動作可能である可能性がある。特定の実施形態において、メモリ1532は、命令1560を含む非一時的コンピュータ可読媒体である可能性がある。マイクロプロセッサ1510は、モバイルデバイスに割り当てられたタスクを実行するためにメモリ1532に記憶された命令1560を実行するように構成され得る。別の例示的な例において、メモリ1532は、カメラ1570によってキャプチャされた可視画像を記憶する可能性がある。
【００６８】
モバイルデバイス1500は、マイクロプロセッサ1510およびディスプレイデバイス1528に結合されたディスプレイコントローラ1526も含み得る。ディスプレイデバイス1528は、1つまたは複数の多機能ピクセル1、2を有する図15または図16A〜図16Cに示されたインセルディスプレイデバイスに対応する可能性がある。コーダ/デコーダ(コーデック)1534が、マイクロプロセッサ1510に結合される可能性がある。1つまたは複数のスピーカ1536およびマイクロフォン1538が、コーデック1534に結合される可能性がある。特定の実施形態において、マイクロフォン1538は、音声をキャプチャするように構成され得る。カメラ1570がビデオをキャプチャする間に、マイクロフォン1538が音声をキャプチャするように構成され得る。
【００６９】
ワイヤレスコントローラ1540が、マイクロプロセッサ1510およびアンテナ1542に結合され得る。特定の実施形態において、マイクロプロセッサ1510、ディスプレイコントローラ1526、メモリ1532、コーデック1534、およびワイヤレスコントローラ1540は、システムインパッケージまたはシステムオンチップ(SOC)デバイス1522に含まれる。特定の実施形態においては、入力デバイス1530および電源1544が、システムオンチップデバイス1522に結合される可能性がある。モバイルデバイス1500がタッチスクリーンを含む例示的な例において、ディスプレイデバイス1528および入力デバイス1530は、1つまたは複数の多機能ピクセル1、2を有するインセルシステムを用いて少なくとも部分的に統合され得る。特定の実施形態においては、図17に示されるように、ディスプレイデバイス1528、入力デバイス1530、スピーカ1536、マイクロフォン1538、アンテナ1542、電源1544、およびカメラ1570は、システムオンチップデバイス1522の外部にある。しかし、ディスプレイデバイス1528、入力デバイス1530、スピーカ1536、マイクロフォン1538、アンテナ1542、電源1544、およびカメラ1570の各々は、インターフェースまたは組み込まれたマイクロコントローラなどのシステムオンチップデバイス1522の構成要素に結合され得る。
【００７０】
超音波センサを備えるとき、1つまたは複数の多機能ピクセル1、2を含むディスプレイデバイス1528は、圧電薄膜超音波トランスミッタ12を含み得る。動作中、超音波トランスミッタ12は、プラテン32に向かい、プラテン32を通る、多機能ピクセル1、2の様々な層を抜けて進み得る超音波パルスを放出し得る。指34などのプラテン32上にある物体は、超音波エネルギーの一部を吸収する可能性があり、物体によって吸収されない超音波エネルギーの一部が、プラテン32を抜けて超音波センサ20aに戻るように反射される可能性がある。超音波センサ20aが受信する信号に注目することによって、物体についての情報が判定され得る。たとえば、物体が指34である場合、超音波センサから導出される情報は、指紋の視覚的表現の生成を可能にし得る。導電トレースが、超音波センサ20aの超音波センサ回路を、超音波センサ20aによって生成された信号を読み出すことを可能にする電子部品(electronics)と接続する可能性がある。
【００７１】
図18は、多機能ピクセルディスプレイアレイを含むディスプレイデバイスで使用され得る超音波センサシステムのブロック図を示す。図18は、超音波センサアレイ1601に関連する回路1600を示す。制御ユニット1610が、超音波トランスミッタ1620を介して超音波パルスを送るために超音波センサアレイ1601に信号を送信する可能性がある。たとえば、制御ユニット1610は、超音波トランスミッタ1620を駆動するためにトランスミッタドライバ1624にトランスミッタ励起信号1622を送信する可能性がある。制御ユニット1610は、超音波センサアレイ1601によって与えられた信号を読み出すための回路を作動させ得る。たとえば、制御ユニット1610は、超音波センサアレイ1601のバイアスを制御するためにレシーババイアスドライバ1628にレベル選択入力1626を送信し得る。反射された超音波エネルギーが超音波センサアレイ1601に到着すると予測される時間を知ることによって、制御ユニット1610は、指34(またはスタイラスなどのその他の物体)があるプラテン32から反射された超音波エネルギーに関連付けられるセンサ信号を読み出し得る。制御ユニット1610は、ゲートドライバ1627を介して超音波センサアレイ1601を構成する多機能ピクセル1、2の読み出しを制御し得る。センサ信号が読み出されると、データプロセッサ1630が、センサ信号に対応するデジタル化されたデータセットを形成するために使用される可能性があり、このデータセットが、デジタル出力1640として提供される可能性がある。アナログデジタルコンバータなどのデジタイザ1629が、アナログである可能性があるピクセル出力をデジタル形式に変換するために設けられ得る。データプロセッサ1630は、デジタル信号プロセッサまたはその他の同様のプロセッサである可能性がある。
【００７２】
(指34などの)物体がプラテン32上にある場合、物体に到達する超音波パルスまたは波はプラテン32から物体まで続き、そこでエネルギーが吸収される。たとえば、プラテン32に接触する指紋の隆線が、プラテン32を介して指34に送られた超音波エネルギーを実質的に吸収する。しかし、プラテン32に接触しない指紋の谷線があるところでは、超音波は、プラテン32を通って戻るように実質的に反射され、超音波センサアレイ1601によって検出される。その他の電子部品が、超音波センサアレイ1601から個々の行および列信号を読み出す可能性があり、データプロセッサ1630が、信号から導出されたデータを生成するために使用される可能性がある。そのデータは、物体の画像(たとえば、指紋の画像)を生成するために使用され得る。
【００７３】
図19は、多機能ピクセルまたはピクセルディスプレイアレイを利用し得るデバイスを示す。多機能ピクセル1、2のアレイを有するディスプレイデバイスは、ラップトップコンピュータ1700、携帯電話1710、タブレットコンピュータ1720(たとえば、iPad(登録商標))、ゲームコンソール1730、および医療デバイス1740を含む可能性がある。
【００７４】
図20は、一部が拡大された多機能ピクセルのアレイを含む視覚的なディスプレイを示す。視覚的なディスプレイ1800の拡大された部分1800aは、16個の多機能ピクセル1、2のディスプレイサブアレイ3を含む。この実装において、ディスプレイサブアレイ3の各ピクセルは、多機能ピクセル1、2である。動作の一部のモードにおいては、センサ20の1つまたは複数のセンサ回路が、オンにされる必要がない。このようにして、センサ解像度が、変更され得る。たとえば、多機能ピクセル1、2がディスプレイ1800のあらゆるその他の行およびあらゆるその他の列においてオンにされる場合、センサ解像度は、ディスプレイ1800の視覚解像度の4分の1になる。
【００７５】
図21は、ディスプレイピクセルと交互に並んだ多機能ピクセルのアレイを含む別の視覚的なディスプレイを示す。この実装において、多機能ピクセル1、2は、感知機能を持たないかまたは感知機能を無効化したディスプレイピクセル4とのチェッカー盤パターンを有する2×2ディスプレイサブアレイ3に構成され、センサ解像度は、ディスプレイ1800の視覚解像度の2分の1である。
【００７６】
図22は、多機能ピクセルおよびディスプレイピクセルのアレイを含む別の視覚的なディスプレイを示す。この実装においては、2つの多機能ピクセル1、2の2×2ディスプレイサブアレイ3が、感知機能を持たないかまたは感知機能を無効化するかもしくはそうでなければ考慮に入れない2つのディスプレイピクセル4の隣に置かれ、ディスプレイ解像度の半分であるセンサ解像度を有する。
【００７７】
図23A〜図23Fは、多機能ピクセルの様々な構成を示す。多機能ピクセルは、ディスプレイピクセル18を、1つまたは複数の超音波センサ20a、光電センサ20b、赤外線センサ20c、または静電容量センサ20dの組合せとともに含み得る。明確にするために、図23A〜図23Fには、多機能ピクセル1、2のすべての層が示されているわけではない。図23Aにおいては、赤、緑、および青ディスプレイサブピクセル18a、18b、および18cをそれぞれ有するディスプレイピクセル18、超音波センサ20a、ならびに赤外線センサ20cを有するインセル多機能ピクセル1、2が示されている。図23Bにおいては、赤、緑、および青ディスプレイサブピクセル18a〜cを有するディスプレイピクセル18、超音波センサ20a、ならびに光電センサ20bを有するインセル多機能ピクセル1、2が示されている。図23Cにおいては、赤、緑、および青ディスプレイサブピクセル18a〜c、第1の超音波センサ20a、ならびに第2の超音波センサ20aを有するインセル多機能ピクセル1、2が示されている。図23Dにおいては、赤、緑、および青ディスプレイサブピクセル18a〜c、超音波センサ20a、ならびに静電容量センサ20dを有するインセル多機能ピクセル1、2が示されている。図23Eにおいては、赤、緑、および青ディスプレイサブピクセル18a〜18cを有するディスプレイピクセル18、光電センサ20b、ならびに静電容量センサ20dを有する多機能ピクセル1、2が示されている。図23Fにおいては、赤、緑、および青サブピクセル18a〜cを有するディスプレイピクセル18、光電センサ20b、ならびに赤外線センサ20cを有する多機能ピクセル1、2が示されている。その他の実装(図示せず)は、ディスプレイピクセル、光電光センサ(可視光または赤外線光)、および静電容量センサ20dを有する多機能ピクセル1、2を含み得る。その他の実装は、ディスプレイピクセルと1つまたは複数のセンサとのその他の組合せを含み得る。
【００７８】
当業者は、本明細書において開示された実施形態に関連して説明された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムのステップが、電子的なハードウェア、コンピュータソフトウェア、またはそれら両方の組合せとして実装され得ることをさらに理解するであろう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップが、概してそれらの機能の観点で上で説明された。そのような機能がハードウェアとして実装されるかまたはソフトウェアとして実装されるかは、システム全体に課された特定の用途および設計の制約による。当業者は、説明された機能をそれぞれの特定の用途のために様々な方法で実装し得るが、そのような実装の判断は、本開示の範囲からの逸脱をもたらすものと解釈されるべきでない。
【００７９】
本開示が1つまたは複数の特定の実施形態に関連して説明されたが、本開示のその他の実施形態が本開示の精神および範囲から逸脱することなく作製され得ることは、理解されるであろう。したがって、本開示は、添付の特許請求の範囲およびその妥当な傾斜句によってのみ限定されると考えられる。
【符号の説明】
【００８０】
1  多機能ピクセル
2  多機能ピクセル
3  ディスプレイサブアレイ
4  ディスプレイピクセル
10  バックライトパネル
12  超音波トランスミッタ
14  TFTアレイ
16  TFT基板
18  ディスプレイピクセル
18a  ディスプレイサブピクセル
18b  ディスプレイサブピクセル
18c  ディスプレイサブピクセル
20  センサ回路
20a  センサ
20b  センサ
20c  センサ
20d  センサ
21  TCF電極層
21a  第1のTCF電極
22  圧電性高分子
23  TCF電極層
23a  第2のTCF電極
24  液晶材料
26  TCF電極
28  カラーフィルタアレイ
28a  カラーフィルタ要素
28b  カラーフィルタ要素
28c  カラーフィルタ要素
28d  カラーフィルタ基板
32  プラテン
32a  プラテン
34  指
36  圧電デバイス
50  レンズ
50a  フレネルレンズ
50b  平凸光学レンズ
50c  マイクロレンズアレイ
100  方法
150  方法
200  方法
CR  基準キャパシタ
CS  信号キャパシタ
300  方法
400  方法
500  方法
600  方法
700  方法
1500  デバイス
1510  マイクロプロセッサ
1522  システムオンチップデバイス
1526  ディスプレイコントローラ
1528  ディスプレイデバイス
1530  入力デバイス
1532  メモリ
1534  コーデック
1536  スピーカ
1538  マイクロフォン
1540  ワイヤレスコントローラ
1542  アンテナ
1544  電源
1560  命令
1570  カメラ
1600  回路
1601  超音波センサアレイ
1610  制御ユニット
1620  超音波トランスミッタ
1622  トランスミッタ励起信号
1624  トランスミッタドライバ
1626  レベル選択入力
1627  ゲートドライバ
1628  レシーババイアスドライバ
1629  デジタイザ
1630  データプロセッサ
1640  デジタル出力
1700  ラップトップコンピュータ
1710  携帯電話
1720  タブレットコンピュータ
1730  ゲームコンソール
1740  医療デバイス
1800  ディスプレイ
1800a  拡大された部分
2000  回路
2001  ディスプレイアレイ
2002  ディスプレイアレイ
2010  マイクロプロセッサ
2020  ピクセルディスプレイアレイドライバ
2030  列ドライバ回路
2040  センサアレイ読み出し回路
2050  タイミングバイアスおよびパルス生成制御回路
2060  ディスプレイ回路
2070  センサ回路
【図１Ａ】
0006362679.tif 000003
【図１Ｂ】
0006362679.tif 000004
【図２】
0006362679.tif 000005
【図３Ａ（ｉ）−３Ｈ（ｉｉ）】
0006362679.tif 000006
【図４】
0006362679.tif 000007
【図５】
0006362679.tif 000008
【図６】
0006362679.tif 000009
【図７Ａ】
0006362679.tif 000010
【図７Ｂ】
0006362679.tif 000011
【図７Ｃ】
0006362679.tif 000012
【図７Ｄ】
0006362679.tif 000013
【図８】
0006362679.tif 000014
【図９】
0006362679.tif 000015
【図１０Ａ】
0006362679.tif 000016
【図１０Ｂ】
0006362679.tif 000017
【図１０Ｃ】
0006362679.tif 000018
【図１１Ａ】
0006362679.tif 000019
【図１１Ｂ】
0006362679.tif 000020
【図１１Ｃ】
0006362679.tif 000021
【図１１Ｄ】
0006362679.tif 000022
【図１２Ａ】
0006362679.tif 000023
【図１２Ｂ】
0006362679.tif 000024
【図１２Ｃ】
0006362679.tif 000025
【図１２Ｄ】
0006362679.tif 000026
【図１２Ｅ】
0006362679.tif 000027
【図１２Ｆ】
0006362679.tif 000028
【図１３Ａ】
0006362679.tif 000029
【図１３Ｂ】
0006362679.tif 000030
【図１３Ｃ】
0006362679.tif 000031
【図１３Ｄ】
0006362679.tif 000032
【図１４】
0006362679.tif 000033
【図１５】
0006362679.tif 000034
【図１６Ａ】
0006362679.tif 000035
【図１６Ｂ】
0006362679.tif 000036
【図１６Ｃ】
0006362679.tif 000037
【図１７】
0006362679.tif 000038
【図１８】
0006362679.tif 000039
【図１９】
0006362679.tif 000040
【図２０】
0006362679.tif 000041
【図２１】
0006362679.tif 000042
【図２２】
0006362679.tif 000043
【図２３Ａ】
0006362679.tif 000044
【図２３Ｂ】
0006362679.tif 000045
【図２３Ｃ】
0006362679.tif 000046
【図２３Ｄ】
0006362679.tif 000047
【図２３Ｅ】
0006362679.tif 000048
【図２３Ｆ】
0006362679.tif 000049