(57)【要約】電子ディスプレイを動作させるための方法は、コントローラを用いて、電子ディスプレイの画素の少なくとも１つの行であって、画素の少なくとも１つの行の下の画素の第１のセットが第１の画像フレームの一部分をレンダーリングし、画素の少なくとも１つの行の上の画素の第２のセットが第２の画像フレームの一部分をレンダーリングする、画素の少なくとも１つの行の感知画素を照明することに少なくとも部分的に基づいて、電子ディスプレイの動作パラメータに関するセンサデータを受信することを含む。方法はまた、コントローラを用いて、センサデータに少なくとも部分的に基づいて、電子ディスプレイ上の画像表示を調整することを含む。
2019526835.tif 000002
【特許請求の範囲】
【請求項１】
電子ディスプレイを動作させる方法であって、
コントローラを用いて、前記電子ディスプレイの画素の少なくとも１つの行であって、画素の前記少なくとも１つの行の下の画素の第１のセットが第１の画像フレームの一部分をレンダーリングし、画素の前記少なくとも１つの行の上の画素の第２のセットが第２の画像フレームの一部分をレンダーリングする、画素の少なくとも１つの行の感知画素を照明することに少なくとも部分的に基づいて、前記電子ディスプレイの動作パラメータに関するセンサデータを受信することと、
前記コントローラを用いて、前記センサデータに少なくとも部分的に基づいて、前記電子ディスプレイ上の画像表示を調整することと、を含む、方法。
【請求項２】
前記コントローラを用いて、前記感知画素を照明するために使用される感知パターンを判定することを含む、請求項１に記載の方法。
【請求項３】
前記コントローラを用いて、前記感知パターンに少なくとも部分的に基づいて、感知データを前記感知画素に書き込むようにディスプレイドライバに命令することを含む、請求項２に記載の方法。
【請求項４】
前記コントローラを用いて、画素の前記少なくとも１つの行が前記感知画素を含むかどうかを判定することを含む、請求項１に記載の方法。
【請求項５】
前記センサデータが、前記感知画素が照明されると１つ以上のセンサによって提供される、請求項１に記載の方法。
【請求項６】
前記コントローラを用いて、前記センサデータを分析して、前記動作パラメータを判定することを含む、請求項１に記載の方法。
【請求項７】
前記コントローラを用いて、前記第１の画像フレームの画像データを画素の前記少なくとも１つの行内のそれぞれの画素に書き込むことにより、画素の前記少なくとも１つの行をリフレッシュするようにディスプレイドライバに命令する、請求項１に記載の方法。
【請求項８】
前記コントローラを用いて画像表示を調整することが、前記センサデータに少なくとも部分的に基づいて、後続の画像フレームの表示を調整することを含む、請求項１に記載の方法。
【請求項９】
電子デバイス内の１つ以上のプロセッサによって実行可能な命令を記憶する有形的非一時的コンピュータ可読媒体であって、前記命令が、
前記電子デバイスの電子ディスプレイの動作パラメータを、前記電子ディスプレイの画素の少なくとも１つの行であって、画素の前記少なくとも１つの行の下の画素の第１のセットが第１の画像フレームの一部分をレンダーリングし、画素の前記少なくとも１つの行の上の画素の第２のセットが第２の画像フレームの一部分をレンダーリングする、画素の少なくとも１つの行の感知画素を照明することに少なくとも部分的に基づいて、受信し、
前記動作パラメータに少なくとも部分的に基づいて、前記電子ディスプレイ上の第３の画像フレームの画像表示を調整する、命令を含む、コンピュータ可読媒体。
【請求項１０】
前記動作パラメータが、前記感知画素が照明されると１つ以上のセンサによって提供されるセンサデータに少なくとも部分的に基づく、請求項９に記載のコンピュータ可読媒体。
【請求項１１】
表示コンテンツ又は環境光状態を受信する命令を含む、請求項９に記載のコンピュータ可読媒体。
【請求項１２】
前記表示コンテンツ又は環境光状態に少なくとも部分的に基づいて、前記感知画素を照明するために使用される感知パターンを判定する命令を含む、請求項１１に記載のコンピュータ可読媒体。
【請求項１３】
前記電子ディスプレイのそれぞれの画素をリフレッシュすることを停止するようにディスプレイドライバに命令し、
前記電子ディスプレイのそれぞれの画素をリフレッシュすることを再開するように前記ディスプレイドライバに命令する、命令を含む、請求項９に記載のコンピュータ可読媒体。
【請求項１４】
画素の前記少なくとも１つの行の下に配置された前記電子ディスプレイのリフレッシュ画素グループ及び画素の前記少なくとも１つの行が前記感知画素を含む場合に、前記リフレッシュ画素グループ内のそれぞれの画素をリフレッシュすることを停止するようにディスプレイドライバに命令し、
画素の前記少なくとも１つの行の下に配置された前記リフレッシュ画素グループ内のそれぞれの画素をリフレッシュすることを再開するように前記ディスプレイドライバに命令する、命令を含む、請求項９に記載のコンピュータ可読媒体。
【請求項１５】
電子デバイスであって、
画像データソースから、表示されることになる第１の画像フレームに対応する画像データを受信するように構成されたディスプレイパイプラインと、
前記第１の画像フレームを表示するように構成された電子ディスプレイであって、
少なくとも１つの画素行を含むディスプレイパネルと、
前記ディスプレイパイプラインに通信可能に結合されたディスプレイドライバであって、前記第１の画像フレームに対応する画像データを前記少なくとも１つの画素行に書き込むことにより、前記少なくとも１つの画素行をリフレッシュするように構成されたディスプレイドライバと、を含む、電子ディスプレイと、
前記ディスプレイパイプライン及びセンサに通信可能に結合されたコントローラと、を備える電子デバイスであって、前記コントローラが、
画素の前記少なくとも１つの行であって、画素の前記少なくとも１つの行の下の画素の第１のセットが前記第１の画像フレームの一部分をレンダーリングし、画素の前記少なくとも１つの行の上の画素の第２のセットが第２の画像フレームの一部分をレンダーリングする、画素の前記少なくとも１つの行の感知画素を照明することに少なくとも部分的に基づいて、前記電子ディスプレイの動作パラメータに関する前記センサからのセンサデータを受信し、
前記センサデータに少なくとも部分的に基づいて、前記ディスプレイパネル上の画像表示を調整する、ように構成された、電子デバイス。
【請求項１６】
前記センサデータが、周囲温度、湿度、輝度、又はそれらの任意の組み合わせを含む、請求項１５に記載の電子デバイス。
【請求項１７】
前記センサデータが、前記電子ディスプレイの少なくとも１つの表示画素からの発光量、前記少なくとも１つの表示画素での電流量、又はそれらの任意の組み合わせを含む、請求項１５に記載の電子デバイス。
【請求項１８】
前記ディスプレイパネルが、前記感知画素を含まない第２の表示画素行を含む、請求項１５に記載の電子デバイス。
【請求項１９】
前記コントローラが、
前記ディスプレイパネルのそれぞれの画素をリフレッシュすることを停止するように前記ディスプレイドライバに命令し、
前記ディスプレイパネルのそれぞれの画素をリフレッシュすることを再開するように前記ディスプレイドライバに命令する、ように構成された、請求項１５に記載の電子デバイス。
【請求項２０】
前記コントローラが、
画素の前記少なくとも１つの行の下に配置された前記ディスプレイパネルのリフレッシュ画素グループ及び画素の前記少なくとも１つの行が前記感知画素を含む場合に、前記リフレッシュ画素グループ内のそれぞれの画素をリフレッシュすることを停止するように前記ディスプレイドライバに命令し、
画素の前記少なくとも１つの行の下に配置された前記リフレッシュ画素グループ内のそれぞれの画素をリフレッシュすることを再開するように前記ディスプレイドライバに命令する、ように構成された、請求項１５に記載の電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１６年９月１４日出願の「Ｓｙｓｔｅｍｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｉｎ−Ｆｒａｍｅ  Ｓｅｎｓｉｎｇ  ａｎｄ  Ａｄａｐｔｉｖｅ  Ｓｅｎｓｉｎｇ  Ｃｏｎｔｒｏｌ」と題された米国特許仮出願第６２／３９４，５９５号の優先権及び利益を主張するものであり、その出願の内容は、参照によりその全体が組み込まれる。
【０００２】
本開示は、概して電子ディスプレイに関し、より具体的には、電子ディスプレイを動作させている間に電子ディスプレイの環境動作パラメータ及び／又は表示関連動作パラメータを感知することに関する。
【背景技術】
【０００３】
この節では、後述し及び／又は請求される本技術の様々な態様に関連し得る様々な態様を閲覧者に紹介する。本論考は、本開示の様々な態様の、より良好な理解を容易にするための背景技術を閲覧者に提供する際に、助けとなるものと考えられる。したがって、これらの記述は、上述の観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを、理解するべきである。
【０００４】
電子デバイスは、多くの場合、１つ以上の画像フレームを表示することによりテキスト、静止画像、及び／又はビデオとして情報の視覚表現を提示する１つ以上の電子ディスプレイを使用する。例えば、そのような電子デバイスとしては、多くの他のものの中でもとりわけ、コンピュータ、携帯電話、ポータブルメディアデバイス、タブレット、テレビ、仮想現実ヘッドセット、車両用ダッシュボード、及びウェアラブルデバイスを挙げることができる。画像フレームを正確に表示するために、電子ディスプレイは、例えば、環境動作パラメータ（例えば、周囲温度、湿度、輝度など）及び／又は表示関連動作パラメータ（例えば、発光、発光に影響を及ぼし得る電流信号の大きさなど）に基づいて、その表示画素からの発光（例えば、実際のルミナンス）を制御することができる。しかし、特定の状況では（例えば、暗い環境では）、画像フレームを表示している間に感知することは、好ましくない発光をもたらすことがあり、これは、知覚可能な場合には知覚される画像品質に影響を及ぼすことがある。
【発明の概要】
【０００５】
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、これらの態様が、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
【０００６】
本開示は、概して、電子ディスプレイが画像フレームを表示するために動作している間に環境動作パラメータ及び／又は表示関連動作パラメータを感知することに関する。一般的に、電子ディスプレイは、画像フレームに対応する画像データを有する表示画素をリフレッシュする（例えば、更新する）ことにより画像フレームを表示することができる。したがって、表示画素をリフレッシュすると、表示画素は、非発光となることがある。表示画素のそれぞれをリフレッシュするために、電子ディスプレイは、表示画素を介して（例えば、下に）リフレッシュ画素グループを伝搬させることができる。例えば、リフレッシュ画素グループを、表示画素行の第１のグループに伝搬させ、それによって、表示画素行の第１のグループ内の表示画素に書き込まれた画像データをリフレッシュすることができる。その後、リフレッシュ画素グループを、表示画素行の第２のグループに伝搬させ、それによって、表示画素行の第２のグループ内の表示画素に書き込まれた画像データをリフレッシュすることができる。
【０００７】
いくつかの実施形態では、感知動作は、１つ以上の表示画素（例えば、感知画素）を照明することにより実行することができる。リフレッシュすると表示画素は非発光であることがあるため、リフレッシュ画素グループ内の１つ以上の感知画素を照明することにより感知動作を実行して、環境動作パラメータ及び／又は表示関連動作パラメータを感知する（例えば、判定する）ことを容易にすることができる。例えば、電子ディスプレイは、リフレッシュ画素グループが表示画素行の第２のグループに伝搬されるときに、表示画素行の第２のグループ内の１つ以上の感知画素を照明して、感知動作を実行することができる。この方法で、電子ディスプレイは、画像フレームを表示している間に（例えば、通常動作中に）感知動作を実行することができる。
【０００８】
いくつかの実施形態では、リフレッシュレートを増大するために、電子ディスプレイは、その表示画素を介して複数の（例えば、不連続な）リフレッシュ画素グループを同時に伝搬させることができる。例えば、第１のリフレッシュ画素グループは、表示画素行の第１のグループ、表示画素行の第２のグループなどを介して伝搬させることができる。同時に、第２のリフレッシュ画素グループは、表示画素行の第３のグループ、表示画素行の第４のグループなどを介して伝搬させることができる。いくつかの実施形態では、複数のリフレッシュ画素グループが使用されるとき、電子ディスプレイは、１つ以上の感知画素を照明して、１つのリフレッシュ画素グループが使用されるときと同様に感知動作を実行することができる。
【０００９】
タイミングの複雑さを低減するために、他の実施形態では、電子ディスプレイは、感知動作中にリフレッシュ画素グループの伝搬を休止することができる。例えば、電子ディスプレイは、感知動作中に第１のリフレッシュ画素グループ内の１つ以上の感知画素が照明されると、第１のリフレッシュ画素グループ及び第２のリフレッシュ画素グループの伝搬を休止することができる。しかし、リフレッシュ画素グループの伝搬を休止することは、発光持続時間の間の変動、したがって、異なる表示画素間の知覚されるルミナンスを引き起こすことがある。
【００１０】
ルミナンス変動の知覚可能性を低減するために、いくつかの実施形態では、電子ディスプレイは、感知動作中にリフレッシュ画素グループの伝搬を継続することができる。例えば、感知動作中に第１のリフレッシュ画素グループ内の１つ以上の感知画素が照明されるとき、電子ディスプレイは、第２のリフレッシュ画素グループを伝搬させ続けることができる。加えて、電子ディスプレイは、感知動作を実行するために使用されていない第１のリフレッシュ画素グループ内の表示画素をトグルし続けることができる。このようにして、電子ディスプレイは、複数のリフレッシュ画素グループを用いて、画像フレームを表示している間に（例えば、通常動作中に）感知動作を実行することができる。
【図面の簡単な説明】
【００１１】
以下の「発明を実施するための形態」を読了し、かつ以下の図面を参照することにより、本開示の様々な態様を、より良好に理解することができる。
【００１２】
【図１】本開示の実施形態に係る、画像フレームを表示するために使用される電子デバイスのブロック図である。
【００１３】
【図２】本開示の実施形態に係る、図１の電子デバイスの一実施例である。
【００１４】
【図３】本開示の実施形態に係る、図１の電子デバイスの別の実施例である。
【００１５】
【図４】本開示の実施形態に係る、図１の電子デバイスの別の実施例である。
【００１６】
【図５】本開示の実施形態に係る、図１の電子デバイスの別の実施例である。
【００１７】
【図６】一実施形態に係る、画像フレームを表示するために使用される図１の電子デバイスの一部分のブロック図である。
【００１８】
【図７】本開示の実施形態に係る、感知コントローラのブロック図である。
【００１９】
【図８】本開示の実施形態に係る、１つ以上の画像フレームの表示をリフレッシュするディスプレイパネルの図である。
【００２０】
【図９】本開示の実施形態に係る、照明された感知画素のパターンを判定するためのプロセスの流れ図である。
【００２１】
【図１０】本開示の実施形態に係る、感知画素の例示的なパターンの図である。
【００２２】
【図１１】本開示の実施形態に係る、画像フレームが表示されている間にリフレッシュ画素グループ内の感知画素を用いて動作パラメータを感知するためのプロセスの流れ図である。
【００２３】
【図１２】本開示の実施形態に係る、図１１のプロセスに基づく表示画素の動作を説明するタイミング図である。
【００２４】
【図１３】本開示の実施形態に係る、画像フレームが表示されている間にリフレッシュ画素内の感知画素を用いる動作パラメータのための別のプロセスの流れ図である。
【００２５】
【図１４】本開示の実施形態に係る、図１３のプロセスに基づく表示画素の動作を説明するタイミング図である。
【００２６】
【図１５】本開示の実施形態に係る、図１３のプロセスに基づく複数のリフレッシュ画素グループを用いる表示画素の動作を説明するタイミング図である。
【００２７】
【図１６】本開示の実施形態に係る、画像フレームが表示されている間にリフレッシュ画素内の感知画素を用いて動作パラメータを感知するための別のプロセスの流れ図である。
【００２８】
【図１７】本開示の実施形態に係る、図１６のプロセスに基づく表示画素の動作を説明するタイミング図である。
【００２９】
【図１８】本開示の実施形態に係る、図１６のプロセスに基づく複数のリフレッシュ画素グループを用いる表示画素の動作を説明するタイミング図である。
【００３０】
【図１９】本開示の実施形態に係る、複数のフレーム内休止感知期間を含む画像フレームのグラフである。
【発明を実施するための形態】
【００３１】
本開示の１つ以上のある特定の実施形態を以下に述べる。これらの述べる実施形態は、本明細書で開示されている技術の実施例に過ぎない。更に、これらの実施形態の簡潔な説明を提供するために、本明細書に実際の実施態様の全ての特徴が示されるとは限らない。いずれの工学プロジェクト又は設計プロジェクトの場合とも同様に、いずれのそのような実際的な実装の開発に際しても、実装ごとに異なり得る、システム関連及びビジネス関連の制約の準拠などの、開発者の具体的な目的を達成するために、実装に固有の多数の決定を行わなければならないことを理解するべきである。更に、開発努力は複雑で時間がかかる可能性があるが、それでも、本開示の利益を有する当業者には、設計、製作、及び製造の通常業務であり得ることを理解されたい。
【００３２】
本開示の様々な実施形態の要素を紹介するときに、冠詞「ａ」、「ａｎ」、及び「ｔｈｅ」は、１つ以上の要素があることを意味する。用語「を含む（including）」、及び「を有する（having）」は、包括的であることを意図し、列挙した要素以外の付加的な要素がある可能性があることを意味する。更に、本開示の「一実施形態（one embodiment）」、「実施形態（an embodiment）」、「実施形態（embodiments）」、及び「いくつかの実施形態（some embodiments）」の参照は、列挙した特徴を組み込む追加の実施形態の存在を除外するように解釈されることを意図したものではないことを理解されたい。
【００３３】
画像フレームを正確に表示するために、電子ディスプレイは、例えば、環境動作パラメータ（例えば、周囲温度、湿度、輝度など）及び／又は表示関連動作パラメータ（例えば、発光、発光に影響を及ぼし得る電流信号の大きさなど）に基づいて、その表示画素からの発光（例えば、実際のルミナンス）を制御することができる。図示目的で、電子ディスプレイ１２を含む電子デバイス１０を、図１に示す。以下により詳細に説明するように、電子デバイス１０は、コンピュータ、携帯電話、ポータブルメディアデバイス、タブレット、テレビ、仮想現実ヘッドセット、車両用ダッシュボードなどの、任意の好適な電子デバイスとすることができる。よって、図１は特定の実装形態の一実施例に過ぎず、電子デバイス１０内に存在し得るコンポーネントの種類を示すものであることに留意されたい。
【００３４】
図示の実施形態では、電子デバイス１０は、電子ディスプレイ１２と、１つ以上の入力デバイス１４と、１つ以上の入出力（Ｉ／Ｏ）ポート１６と、１つ以上のプロセッサ（単数又は複数）又はプロセッサコアを有するプロセッサコア複合体１８と、ローカルメモリ２０と、メインメモリ記憶装置２２と、ネットワークインタフェース２４と、電源２６と、画像処理回路２７と、を備える。図１に記載される様々な構成要素は、ハードウェア要素（例えば、回路）、ソフトウェア要素（例えば、命令を記憶する有形的非一時的コンピュータ可読媒体）、又はハードウェア要素とソフトウェア要素両方の組み合わせを含んでもよい。様々な図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、あるいは追加の構成要素に分けられてもよいことを留意されたい。例えば、ローカルメモリ２０及びメインメモリ記憶装置２２は、単一の構成要素に含めることができる。加えて、画像処理回路２７（例えば、グラフィック処理ユニット）が、プロセッサコア複合体１８に含まれてもよい。
【００３５】
図示したように、プロセッサコア複合体１８は、ローカルメモリ２０及びメインメモリ記憶装置２２に動作可能に接続される。したがって、プロセッサコア複合体１８は、ローカルメモリ２０及び／又はメインメモリ記憶装置２２に記憶された命令を実行して、画像データを生成する及び／又は送信することなどの動作を実行することができる。このように、プロセッサコア複合体１８は、１つ以上の汎用マイクロプロセッサ、１つ以上の特定用途向けプロセッサ（application specific processors）（ＡＳＩＣ）、１つ以上のフィールドプログラマブルロジックアレイ（field programmable logic arrays）（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。
【００３６】
実行可能命令に加えて、ローカルメモリ２０及び／又はメインメモリ記憶装置２２は、プロセッサコア複合体１８によって処理されることになるデータを記憶することができる。したがって、いくつかの実施形態では、ローカルメモリ２０及び／又はメイン記憶装置２２は、１つ以上の有形的非一時的コンピュータ可読媒体を含むことができる。例えば、ローカルメモリ２０は、ランダムアクセスメモリ（random access memory）（ＲＡＭ）を含んでもよく、メインメモリ記憶装置２２は、読み出し専用メモリ（read only memory）（ＲＯＭ）、フラッシュメモリ、ハードドライブ、光学ディスクなどの書き換え可能不揮発性メモリを含んでもよい。
【００３７】
図示したように、プロセッサコア複合体１８はまた、ネットワークインタフェース２４に動作可能に接続される。いくつかの実施形態では、ネットワークインタフェース２４は、別の電子デバイス及び／又はネットワークとデータを通信することを容易にすることができる。例えば、ネットワークインタフェース２４（例えば、無線周波数システム）は、電子デバイス１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（personal area network）（ＰＡＮ）、８０２．１１ｘ  Ｗｉ−Ｆｉネットワークなどのローカルエリアネットワーク（local area network）（ＬＡＮ）、及び／又は４Ｇ若しくはＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（wide area network）（ＷＡＮ）に通信可能に結合することを可能にすることができる。
【００３８】
加えて、図示したように、プロセッサコア複合体１８は、電源２６に動作可能に接続される。いくつかの実施形態では、電源２６は、プロセッサコア複合体１８及び／又は電子ディスプレイ１２などの電子デバイス１０内の１つ以上の構成要素に電力を供給することができる。したがって、電源２６は、充電式リチウムポリマー（lithium polymer）（Ｌｉ−ｐｏｌｙ）バッテリ及び／又は交流（ＡＣ）電力変換器などの任意の好適なエネルギ源を含んでもよい。
【００３９】
更に、図示したように、プロセッサコア複合体１８は、Ｉ／Ｏポート１６に動作可能に結合される。いくつかの実施形態では、Ｉ／Ｏポート１６は、電子デバイス１０が他の電子デバイスとインタフェースすることを可能にすることができる。例えば、ポータブル記憶装置をＩ／Ｏポート１６に接続し、それによって、プロセッサコア複合体１８がポータブル記憶装置とデータを通信することを可能にすることができる。
【００４０】
図示したように、電子デバイス１０はまた、入力デバイス１４に動作可能に結合される。いくつかの実施形態では、入力デバイス１４は、例えば、ユーザ入力を受け取ることにより、電子デバイス１０とのユーザ対話を容易にすることができる。したがって、入力デバイス１４は、ボタン、キーボード、マウス、トラックパッドなどを含んでもよい。加えて、いくつかの実施形態では、入力デバイス１４は、電子ディスプレイ１２内のタッチ感知構成要素を含むことができる。そのような実施形態では、タッチ感知構成要素は、電子ディスプレイ１２の表面にタッチする物体の存在及び／又は位置を検出することにより、ユーザ入力を受け取ることができる。
【００４１】
ユーザ入力を可能にすることに加えて、電子ディスプレイ１２は、１つ以上の表示画素を有するディスプレイパネルを含むことができる。上述したように、電子ディスプレイ１２は、表示画素からの発光を制御して、対応する画像データに少なくとも部分的に基づいて画像フレームを表示することにより、オペレーティングシステムのグラフィカルユーザインタフェース（graphical user interface）（ＧＵＩ）、アプリケーションインタフェース、静止画像、又はビデオコンテンツなどの、情報の視覚表現を提示することができる。いくつかの実施形態では、電子ディスプレイ１２は、発光ダイオード（light-emitting diodes）（ＬＥＤディスプレイ）、有機発光ダイオード（organic light-emitting diode）（ＯＬＥＤ）ディスプレイなどの自己発光ディスプレイなどを用いた、ディスプレイとすることができる。加えて、いくつかの実施形態では、電子ディスプレイ１２は、例えば、６０Ｈｚ（１秒当たり６０フレームをリフレッシュすることに対応する）、１２０Ｈｚ（１秒当たり１２０フレームをリフレッシュすることに対応する）、及び／又は２４０Ｈｚ（１秒当たり２４０フレームをリフレッシュすることに対応する）で、画像及び／又は画像フレームの表示をリフレッシュすることができる。
【００４２】
図示するように、電子ディスプレイ１２は、プロセッサコア複合体１８及び画像処理回路２７に動作可能に結合される。このように、電子ディスプレイ１２は、プロセッサコア複合体１８及び／又は画像処理回路２７によって生成される画像データに少なくとも部分的に基づいて、画像フレームを表示することができる。加えて又は代わりに、電子ディスプレイ１２は、ネットワークインタフェース２４及び／又はＩ／Ｏポート１６を介して受信される画像データに少なくとも部分的に基づいて、画像フレームを表示することができる。
【００４３】
上述したように、電子デバイス１０は、任意の好適な電子デバイスであってもよい。図示目的で、好適な電子デバイス１０の一実施例、具体的にはハンドヘルドデバイス１０Ａを図２に示す。いくつかの実施形態では、ハンドヘルドデバイス１０Ａは、ポータブル電話機、メディアプレーヤ、パーソナルデータオーガナイザ、ハンドヘルドゲームプラットフォーム及び／又は同様なものとすることができる。例えば、ハンドヘルドデバイス１０Ａは、Ａｐｐｌｅ  Ｉｎｃ．から入手可能な任意のｉＰｈｏｎｅ（登録商標）モデルなどのスマートフォンとすることができる。
【００４４】
図示したように、ハンドヘルドデバイス１０Ａは、エンクロージャ２８（例えば、筐体）を含む。いくつかの実施形態では、エンクロージャ２８は、内部構成要素を物理的破損から保護する及び／又は電磁干渉から遮蔽することができる。加えて、図示したように、エンクロージャ２８は、電子ディスプレイ１２を囲む。図示した実施形態では、電子ディスプレイ１２は、アイコン３２のアレイを有するグラフィカルユーザインタフェース（ＧＵＩ）３０を表示している。例として、アイコン３２が電子ディスプレイ１２の入力デバイス１４又はタッチ感知構成要素のいずれかによって選択されると、アプリケーションプログラムを起動することができる。
【００４５】
更に、図示するように、入力デバイス１４は、エンクロージャ２８を貫通して延びる。上述したように、入力デバイス１４は、ユーザがハンドヘルドデバイス１０Ａと対話することを可能にすることができる。例えば、入力デバイス１４は、ユーザに、ハンドヘルドデバイス１０Ａをアクティブ若しくは非アクティブにすること、ユーザインタフェースをホーム画面にナビゲーションすること、ユーザインタフェースをユーザが構成変更可能なアプリケーション画面にナビゲーションすること、音声認識機能、音量調節を提供すること、及び／又は振動モードと鳴動モードとの間でトグルすることを可能にすることができる。図示するように、Ｉ／Ｏポート１６もまた、エンクロージャ２８を通して開いている。いくつかの実施形態では、Ｉ／Ｏポート１６は、例えば、外部デバイスに接続するためのオーディオジャックを含んでもよい。
【００４６】
更に例示するために、好適な電子デバイス１０の実施例、具体的にはタブレットデバイス１０Ｂを図３に示す。例示のために、タブレットデバイス１０Ｂは、Ａｐｐｌｅ  Ｉｎｃ．から入手可能な任意のｉＰａｄ（登録商標）モデルであってもよい。好適な電子デバイス１０の更なる実施例、具体的にはコンピュータ１０Ｃを図４に示す。例示のために、コンピュータ１０Ｃは、Ａｐｐｌｅ  Ｉｎｃ．から入手可能な任意のＭａｃｂｏｏｋ（登録商標）又はｉＭａｃ（登録商標）モデルであってもよい。好適な電子デバイス１０の別の実施例、具体的には携帯時計１０Ｄを図５に示す。例示するために、携帯時計１０Ｄは、Ａｐｐｌｅ  Ｉｎｃ．から入手可能な任意のＡｐｐｌｅ  Ｗａｔｃｈ（登録商標）モデルであってもよい。図示したように、タブレットデバイス１０Ｂ、コンピュータ１０Ｃ、及び携帯時計１０Ｄもそれぞれ、電子ディスプレイ１２、入力デバイス１４、及びエンクロージャ２８を含む。
【００４７】
上述したように、電子ディスプレイ１２は、例えば、プロセッサコア複合体１８及び／又は画像処理回路２７から受信される画像データに少なくとも部分的に基づいて、画像フレームを表示してもよい。加えて、画像データに基づいて、電子ディスプレイ１２は、アナログ電気信号を表示画素に供給することにより、画像フレームを書き込み、表示画素からの発光を制御することができる。知覚される画像品質を向上することを容易にするために、いくつかの実施形態では、ディスプレイパイプラインは、画像フレームを表示するために使用される前に、画像データを処理することができる。
【００４８】
図示目的で、ディスプレイパイプライン３６を含む電子デバイス１０の一部分３４を、図６に示す。いくつかの実施形態では、ディスプレイパイプライン３６は、電子デバイス１０内の回路、電子ディスプレイ１２内の回路、又はそれらの組み合わせによって実装することができる。例えば、ディスプレイパイプライン３６は、プロセッサコア複合体１８、画像処理回路２７、電子ディスプレイ１２内のタイミングコントローラ（timing controller）（ＴＣＯＮ）、又はそれらの任意の組み合わせに含めることができる。
【００４９】
図示したように、電子デバイス１０の一部分３４はまた、電源２６、画像データソース３８、ディスプレイドライバ４０、コントローラ４２、及びディスプレイパネル４４を含む。いくつかの実施形態では、コントローラ４２は、ディスプレイパイプライン３６、画像データソース３８、及び／又はディスプレイドライバ４０の動作を制御することができる。動作を制御するために、コントローラ４２は、コントローラプロセッサ４６及びコントローラメモリ４８を含むことができる。いくつかの実施形態では、コントローラプロセッサ４６は、コントローラメモリ４８に記憶された命令を実行することができる。したがって、いくつかの実施形態では、コントローラプロセッサ４６は、プロセッサコア複合体１８、画像処理回路２７、電子ディスプレイ１２内のタイミングコントローラ、別個の処理モジュール、又はそれらの任意の組み合わせに含めることができる。更に、いくつかの実施形態では、コントローラメモリ４８は、ローカルメモリ２０、メインメモリ記憶装置２２、別個の有形的非一時的コンピュータ可読媒体、又はこれらの任意の組み合わせに含めることができる。
【００５０】
図示した実施形態では、ディスプレイパイプライン３６は、画像データソース３８に通信可能に接続される。このようにして、ディスプレイパイプライン３６は、画像データソース３８から画像データを受信することができる。上述したように、いくつかの実施形態では、画像データソース３８は、プロセッサコア複合体１８、画像処理回路２７、又はそれらの組み合わせに含めることができる。換言すれば、画像データソース３８は、ディスプレイパネル４４によって表示されることになる画像データを提供することができる。
【００５１】
加えて、図示した実施形態では、ディスプレイパイプライン３６は、例えば、画像データソース３８から受信される画像データを記憶する、画像データバッファ５０を含む。いくつかの実施形態では、画像データバッファ５０は、ディスプレイパイプライン３６によって処理されることになる及び／又は既に処理された、画像データを記憶することができる。例えば、画像データバッファ５０は、複数の画像フレーム（例えば、前の画像フレーム、現在の画像フレーム、及び／又は後続の画像フレーム）に対応する画像データを記憶することができる。加えて、画像データバッファは、画像フレームの複数の部分（例えば、前の行、現在の行、及び／又は後続の行）に対応する画像データを記憶することができる。
【００５２】
画像データを処理するために、ディスプレイパイプライン３６は、１つ以上の画像データ処理ブロック５２を含むことができる。例えば、図示した実施形態では、画像データ処理ブロック５２は、コンテンツ分析ブロック５４を含む。加えて、いくつかの実施形態では、画像データ処理ブロック５２は、環境適応画素（ambient adaptive pixel）（ＡＡＰ）ブロック、動的画素バックライト（dynamic pixel backlight）（ＤＰＢ）ブロック、白色点補正（white point correction）（ＷＰＣ）ブロック、副画素レイアウト補償（sub-pixel layout compensation）（ＳＰＬＣ）ブロック、焼き付き補償（burn-in compensation）（ＢＩＣ）ブロック、パネル応答補正（panel response correction）（ＰＲＣ）ブロック、ディザリングブロック、副画素均一性補償（sub-pixel uniformity compensation）（ＳＰＵＣ）ブロック、コンテンツフレーム依存持続時間（content frame dependent duration）（ＣＤＦＤ）ブロック、環境光感知（ambient light sensing）（ＡＬＳ）ブロック、又はそれらの任意の組み合わせを含むことができる。
【００５３】
画像フレームを表示するために、コンテンツ分析ブロック５４は、対応する画像データを処理して、画像フレームのコンテンツを判定することができる。例えば、コンテンツ分析ブロック５４は、画像データを処理して、画像フレームを表示するための表示画素５６の目標ルミナンス（例えば、グレースケールレベル）を判定することができる。加えて、コンテンツ分析ブロック５４は、ディスプレイパネル４４へのアナログ電気信号を生成して供給するようにディスプレイドライバ４０に命令する制御信号を判定することができる。アナログ電気信号を生成するために、ディスプレイドライバ４０は、例えば、１つ以上の電力供給レールを介して、電源２６から電力を受信することができる。特に、ディスプレイドライバ４０は、１つ以上の電力供給レールからディスプレイパネル４４内の表示画素５６への電力の供給を制御することができる。
【００５４】
いくつかの実施形態では、コンテンツ分析ブロック５４は、電子ディスプレイ１２のディスプレイパネル４４内の表示画素５６に供給されることになる目標画素電流をそれぞれ示す画素制御信号を判定することができる。画素制御信号に少なくとも部分的に基づいて、ディスプレイドライバ４０は、アナログ電気信号（例えば、電圧又は電流）を生成して供給することにより、表示画素５６を照明し、表示画素５６からの発光を制御することができる。いくつかの実施形態では、コンテンツ分析ブロック５４は、対応する表示画素５６の目標ルミナンスに少なくとも部分的に基づいて、画素制御信号を判定することができる。
【００５５】
加えて、いくつかの実施形態では、１つ以上のセンサ５８を使用して、表示関連動作パラメータ及び／又は環境動作パラメータなどの、電子デバイス１０及び／又は電子ディスプレイ１２の表示特性に関する情報を感知する（例えば、判定する）ことができる。例えば、表示関連動作パラメータは、表示画素５６からの実際の発光及び／又は表示画素５６を介して流れる電流を含むことができる。加えて、環境動作パラメータは、周囲温度、湿度、及び／又は環境光を含むことができる。
【００５６】
いくつかの実施形態では、コントローラ４２は、センサ５８から受信されるセンサデータに少なくとも部分的に基づいて、動作パラメータを判定することができる。したがって、図示したように、センサ５８は、コントローラ４２に通信可能に結合される。いくつかの実施形態では、コントローラ４２は、感知動作の特性を制御する及び／又は感知動作の結果（例えば、動作パラメータ及び／又は環境パラメータ）を判定する、感知コントローラを含むことができる。
【００５７】
図示目的で、コントローラ４２に含めることができる感知コントローラ５９の一実施形態を、図７に示す。いくつかの実施形態では、感知コントローラ５９は、１つ以上のセンサ５８からのセンサデータ、及び／又は、例えば、コントローラ４２からの、電子ディスプレイ１２の動作パラメータデータを受信することができる。図示した実施形態では、感知コントローラ５９は、環境光、リフレッシュレート、表示輝度、表示コンテンツ、システム状態、及び／又は信号対雑音比（signal to noise ratio）（ＳＮＲ）を示すデータを受信する。
【００５８】
加えて、いくつかの実施形態では、感知コントローラ５９は、受信したデータを処理して、制御アクションを実行するようにディスプレイパイプライン３６に命令する制御コマンドを判定する、及び／又は制御アクションを実行するように電子ディスプレイに命令する制御コマンドを判定することができる。図示した実施形態では、感知コントローラ５９は、感知輝度、感知時間（例えば、持続時間）、感知画素密度、感知位置、感知カラー、及び感知間隔を示す制御コマンドを出力する。説明した入力データ及び出力制御コマンドは、単に例示することを意図するものであり、限定するものではないことを理解されたい。
【００５９】
上述したように、電子デバイス１２は、６０Ｈｚ、１２０Ｈｚ、及び／又は２４０Ｈｚなどのリフレッシュレートで画像又は画像フレームをリフレッシュすることができる。画像フレームをリフレッシュするために、ディスプレイドライバ４０は、ディスプレイパネル４４上の表示画素５６に書き込まれた画像データをリフレッシュする（例えば、更新する）ことができる。例えば、表示画素５６をリフレッシュするために、電子ディスプレイ１２は、発光モードから非発光モードに表示画素５６をトグルし、発光モードにトグルして戻ったときに画像データに基づいて表示画素５６が光を放出するように、表示画素５６に画像データを書き込むことができる。加えて、いくつかの実施形態では、１つ以上の連続したリフレッシュ画素グループ内の画像フレームに対応する画像データで、表示画素５６をリフレッシュすることができる。
【００６０】
図示目的で、画像フレームを表示するために異なるリフレッシュレートを用いるディスプレイパネル４４のタイミング図を、図８に示す。特に、第１のタイミング図６０は、６０Ｈｚのリフレッシュレートを用いて動作するディスプレイパネル４４を説明し、第２のタイミング図６８は、１２０Ｈｚのリフレッシュレートを用いて動作するディスプレイパネル４４を説明し、第３のタイミング図７０は、２４０Ｈｚのパルス幅変調（pulse-width modulated）（ＰＷＭ）リフレッシュレートを用いて動作するディスプレイパネル４４を説明している。一般的に、ディスプレイパネル４４は、複数の表示画素行を含む。表示画素５６をリフレッシュするために、１つ以上のリフレッシュ画素グループ６４を、ディスプレイパネル４４を下に伝搬させることができる。いくつかの実施形態では、リフレッシュ画素グループ６４内の表示画素５６は、非発光モードにトグルすることができる。したがって、図示した実施形態に関して、リフレッシュ画素グループ６４は、密な黒いストライプとして示されている。
【００６１】
第１のタイミング図６０に関して、新しい画像フレームは、６０Ｈｚのリフレッシュレートを用いる場合、およそ１６．６ミリ秒当たり１回、ディスプレイパネル４４によって表示される。特に、０ｍｓで、リフレッシュ画素グループ６４は、ディスプレイパネル４４の上部に配置され、リフレッシュ画素グループ６４の下の表示画素５６は、前の画像フレーム６２に対応する画像データに基づいて照明する。約８．３ｍｓで、リフレッシュ画素グループ６４は、ディスプレイパネル４４の上部と下部との間のおよそ中間に下がっている。したがって、リフレッシュ画素グループ６４の下の表示画素５６が前の画像フレーム６２に対応する画像データに基づいて照明している間に、リフレッシュ画素グループ６４の上の表示画素５６は、次の画像フレーム６６に対応する画像データに基づいて照明することができる。約１６．６ｍｓで、リフレッシュ画素グループ６４は、ディスプレイパネル４４の下部に下がっており、したがって、リフレッシュ画素グループ６４の上の表示画素５６のそれぞれは、次の画像フレーム６６に対応する画像データに基づいて照明することができる。
【００６２】
第２のタイミング図６８に関して、新しいフレームは、１２０Ｈｚのリフレッシュレートを用いる場合、およそ８．３ミリ秒当たり１回、ディスプレイパネル４４によって表示される。特に、０ｍｓで、リフレッシュ画素グループ６４は、ディスプレイパネル４４の上部に配置され、リフレッシュ画素グループ６４の下の表示画素５６は、前の画像フレーム６２に対応する画像データに基づいて照明する。約４．１７ｍｓで、リフレッシュ画素グループ６４は、ディスプレイパネル４４の上部と下部との間のおよそ中間に下がっている。したがって、リフレッシュ画素グループ６４の下の表示画素５６が前の画像フレーム６２に対応する画像データに基づいて照明している間に、リフレッシュ画素グループ６４の上の表示画素５６は、次の画像フレーム６６に対応する画像データに基づいて照明することができる。約８．３ｍｓで、リフレッシュ画素グループ６４は、ディスプレイパネル４４の下部に下がっており、したがって、リフレッシュ画素グループ６４の上の表示画素５６のそれぞれは、次の画像フレーム６６に対応する画像データに基づいて照明することができる。
【００６３】
第３のタイミング図７０に関して、新しいフレームは、複数の不連続なリフレッシュ画素グループ、すなわち、第１のリフレッシュ画素グループ６４Ａ及び第２のリフレッシュ画素グループ６４Ｂを用いることにより、２４０ＨｚのＰＷＭリフレッシュレートを用いる場合、およそ４．１７ミリ秒当たり１回、ディスプレイパネル４４によって表示される。特に、０ｍｓで、第１のリフレッシュ画素グループ６４Ａは、ディスプレイパネル４４の上部に配置され、第２のリフレッシュ画素グループ６４Ｂは、ディスプレイパネル４４の上部と下部との間のおよそ中間に配置される。したがって、第１のリフレッシュ画素グループ６４Ａと第２のリフレッシュ画素グループ６４Ｂとの間の表示画素５６は、前の画像フレーム６２に対応する画像データに基づいて照明することができ、第１のリフレッシュ画素グループ６４Ａと第２のリフレッシュ画素グループ６４Ｂとの間の表示画素５６は、前の画像フレーム６２に対応する画像データに基づいて照明することができる。
【００６４】
約２．０８ｍｓで、第１のリフレッシュ画素グループ６４Ａは、ディスプレイパネル４４の上部と下部との間の進路の約四分の一に下がっており、第２のリフレッシュ画素グループ６４Ｂは、ディスプレイパネル４４の上部と下部との間の進路の約四分の三に下がっている。したがって、第１のリフレッシュ画素グループ６４の上の表示画素５６は、次の画像フレーム６６に対応する画像データに基づいて照明し、０ｍｓでの第２のリフレッシュ画素グループ６４Ｂと第２のリフレッシュ画素グループ６４Ｂとの間の表示画素５６は、次の画像フレーム６６に対応する画像データに基づいて照明する。約４．１７ｍｓで、第１のリフレッシュ画素グループ６４Ａは、ディスプレイパネル４４の上部と下部との間のおよそ中間に下がっており、第２のリフレッシュ画素グループ６４Ｂは、ディスプレイパネル４４の下部に下がっている。したがって、第１のリフレッシュ画素グループ６４Ａの上の表示画素５６、及び第１のリフレッシュ画素グループ６４Ａと第２のリフレッシュ画素グループ６４Ｂとの間の表示画素は、次の画像フレーム６６に対応する画像データに基づいて照明することができる。
【００６５】
上述したように、リフレッシュ画素グループ６４（６４Ａ及び６４Ｂを含む）を使用して、環境動作パラメータ及び／又は表示関連動作パラメータなどの、ディスプレイパネル４４の表示特性に関する情報を感知することができる。すなわち、感知コントローラ５９は、リフレッシュ画素グループ６４内の１つ以上の表示画素５６（例えば、感知画素）を照明するようにディスプレイパネル４４に命令して、関連情報を感知することを容易にすることができる。いくつかの実施形態では、感知動作は、画像フレームなどの間で、画像フレーム当たり１回、２画像フレーム当たり１回、５画像フレーム当たり１回、１０画像フレーム当たり１回などの、任意の好適な頻度で実行することができる。加えて、いくつかの実施形態では、感知動作は、２０μｓと５００μｓの間（例えば、５０μｓ、７５μｓ、１００μｓ、１２５μｓ、１５０μｓなど）などの、任意の好適な持続時間の間、実行することができる。
【００６６】
上述したように、感知動作は、１つ以上のセンサ５８を用いることにより実行して、動作パラメータを示すセンサデータを判定することができる。加えて、コントローラ４２は、センサデータを処理して、動作パラメータを判定することができる。動作パラメータに少なくとも部分的に基づいて、コントローラ４２は、表示画素５６に書き込まれる画像データを調整し、例えば、動作パラメータが知覚されるルミナンスに対して与え得る予測される影響を補償するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。
【００６７】
加えて、上述したように、感知画素は、感知動作中に照明することができる。したがって、知覚される場合、照明された感知画素は、好ましくないスクリーン前（front of screen）（ＦＯＳ）アーチファクトをもたらすことがある。スクリーン前アーチファクトを生成する可能性を低減するために、画像フレームのコンテンツ及び／又は環境光状態などの知覚可能性に影響を及ぼすことが予測される様々な要因に基づいて、感知画素の特性を調整することができる。
【００６８】
図示目的で、感知画素の特性、すなわち、パターンを調整するためのプロセス７４の一実施形態を、図９に示す。一般的に、プロセス７４は、表示コンテンツ及び／又は環境光状態を受信すること（プロセスブロック７６）と、表示コンテンツ及び／又は環境光状態に基づいて感知画素を照明するために使用される感知パターンを判定すること（プロセスブロック７８）と、を含む。いくつかの実施形態では、プロセス７４は、コントローラプロセッサ４６などのプロセッサを用いて、コントローラメモリ４８などの有形的非一時的コンピュータ可読媒体に記憶された命令を実行することにより実施することができる。
【００６９】
したがって、いくつかの実施形態では、コントローラ４２は、表示コンテンツ及び／又は環境光状態を受信することができる（プロセスブロック７６）。例えば、コントローラ４２は、コンテンツ分析ブロック５４から画像フレームのコンテンツを受信することができる。いくつかの実施形態では、表示コンテンツは、カラー、様々なパターン、コントラスト量、前のフレームに対応する画像データと比較した画像フレームに対応する画像データの変化などに関する情報を含むことができる。加えて、コントローラ４２は、１つ以上のセンサ５８（例えば、環境光センサ）から環境光状態を受信することができる。いくつかの実施形態では、環境光状態は、環境光の輝度／暗さに関する情報を含むことができる。
【００７０】
表示コンテンツ及び／又は環境光状態に少なくとも部分的に基づいて、コントローラ４２は、感知画素を照明するために使用される感知パターンを判定することができる（プロセスブロック７８）。このようにして、コントローラ４２は、感知パターンを判定し、感知画素を照明して知覚される視覚アーチファクトを引き起こす可能性を低減することができる。例えば、表示されることになるコンテンツが密な比較的暗いブロック、変化の少ないカラー又はパターンなどを含む場合、コントローラ４２は、感知画素のより明るい、より密なパターンを使用すべきでないと判定することができる。一方、表示されているコンテンツがフレーム毎に頻繁に変化する多様な異なるパターン及びカラーを含む場合、コントローラ４２は、感知画素のより明るい、より密なパターンを使用することができると判定することができる。同様に、環境光がほとんど存在しない場合、コントローラ４２は、感知画素のより明るい、より密なパターンを使用すべきでないと判定することができる。一方、より強い環境光が存在する場合、コントローラ４２は、感知画素のより明るい、より密なパターンを使用することができると判定することができる。
【００７１】
図示目的で、ディスプレイパネル４４の表示特性に関する情報を感知するために使用することができる感知パターンの実施例を、図１０に示す。特に、図１０は、リフレッシュ画素グループ６４内の感知画素８２を用いて表示される第１の感知パターン８０、第２の感知パターン８４、第３の感知パターン８６、及び第４の感知パターン８８を説明している。図示したように、感知パターンは、密度、カラー、位置、構成、及び／又は寸法などの異なる特性を有する。
【００７２】
例えば、第１の感知パターン８０に関して、リフレッシュ画素グループ６４内の１つ以上の連続した感知画素行が照明される。同様に、第３の感知パターン８６では、リフレッシュ画素グループ６４内の１つ以上の連続した感知画素行が照明される。しかし、第１の感知パターン８０と比較して、第３の感知パターン８６の感知画素８２は、異なるカラー、ディスプレイパネル４４上の位置とする、及び／又はより少ない行を含むことができる。
【００７３】
知覚可能性を低減するために、第２の感知パターン８４に示すように、不連続な感知画素８２を照明することができる。同様に、第４の感知パターン８８では、不連続な感知画素８２が照明される。しかし、第２の感知パターン８４と比較して、第４の感知パターン８８の感知画素８２は、異なるカラー、ディスプレイパネル４４上の位置とする、及び／又はより少ない行を含むことができる。このようにして、画像フレームのコンテンツ及び／又は環境光に少なくとも部分的に基づいて、感知パターンの特性（例えば、密度、カラー、位置、構成、及び／又は寸法）を動的に調整して、照明された感知画素８２の知覚可能性を低減することができる。説明した感知パターンは、単に例示することを意図しているに過ぎず、限定するものではないことを理解されたい。換言すれば、他の実施形態では、例えば、感知されることになる動作パラメータに基づいて、異なる特性を有する他の感知パターンを実施することができる。
【００７４】
リフレッシュ画素グループ６４内の感知画素８２を用いた動作パラメータを感知するためのプロセス９０の一実施形態を、図１１に記載する。一般的に、プロセス９０は、感知動作中に感知画素８２を照明するために使用される感知パターンを判定すること（プロセスブロック９２）と、照明されることになる感知画素８２及び／又は感知画素８２に書き込まれることになる感知データを判定して感知動作を実行するようにディスプレイドライバ４０に命令すること（プロセスブロック９４）と、ディスプレイパネル４４のそれぞれの表示画素行がリフレッシュされることになるときを判定すること（プロセスブロック９６）と、行が感知画素８２を含むかどうかを判定すること（判定ブロック９８）と、行が感知画素８２を含む場合に、感知パターンに少なくとも部分的に基づいて、感知画素８２に感知データを書き込むようにディスプレイドライバ４０に命令すること（プロセスブロック１００）と、感知動作を実行すること（プロセスブロック１０２）と、行が感知画素８２を含まない場合及び／又は感知動作が実行された後に、表示されることになる画像フレームに対応する画像データを行内の表示画素５６のそれぞれに書き込むようにディスプレイドライバ４０に命令すること（プロセスブロック１０４）と、行がディスプレイパネル４４上の最後の画素行であるかどうかを判定すること（判定ブロック１０６）と、感知動作（例えば、判定された動作パラメータ）に少なくとも部分的に基づいて、表示画素５６に書き込まれる後続の画像フレームに対応する画像データを調整するようにディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令すること（プロセスブロック１０８）と、を含む。プロセス９０は、特定の順序のステップを用いて説明されているが、本開示は、説明したステップは、図示した順序とは異なる順序で実行することができ、特定の説明したステップは、スキップする又は全く実行しないことができることを意図していることを理解されたい。いくつかの実施形態では、プロセス９０は、コントローラプロセッサ４６などのプロセッサを用いて、コントローラメモリ４８などの有形的非一時的コンピュータ可読媒体に記憶された命令を実行することにより実施することができる。
【００７５】
したがって、いくつかの実施形態では、コントローラ４２は、感知動作中に感知画素８２を照明するために使用される感知パターンを判定することができる（プロセスブロック９２）。上述したように、コントローラ４２は、表示されることになる画像フレームのコンテンツ及び／又は環境光状態に少なくとも部分的に基づいて、感知パターンを判定し、感知動作が知覚可能な視覚アーチファクトを引き起こす可能性を低減することを容易にすることができる。加えて、いくつかの実施形態では、異なる特性を有する感知パターンは、例えば、コントローラメモリ４８に予め決定して記憶することができる。したがって、そのような実施形態では、コントローラ４２は、感知パターンを選択して取得することにより、感知パターンを判定することができる。他の実施形態では、コントローラ４２は、既定の感知パターンを動的に調整することにより、感知パターンを判定することができる。
【００７６】
感知パターンに少なくとも部分的に基づいて、コントローラ４２は、照明されることになる感知画素８２及び／又は感知画素８２に書き込まれることになる感知データを判定して、感知動作を実行するように、ディスプレイドライバ４０に命令することができる（プロセスブロック９４）。いくつかの実施形態では、感知パターンは、感知動作中に照明されることになる感知画素８２の特性を示すことができる。そのように、コントローラ４２は、感知パターンを分析して、照明されることになる感知画素８２の密度、カラー、位置、構成、及び／又は寸法などの特性を判定することができる。
【００７７】
加えて、コントローラ４２は、ディスプレイパネル４４のそれぞれの表示画素行がリフレッシュされることになるときを判定することができる（プロセスブロック９６）。上述したように、表示画素５６は、リフレッシュ画素グループ６４を伝搬させることにより、画像フレームに対応する画像データでリフレッシュする（例えば、更新する）ことができる。したがって、行がリフレッシュされることになるとき、コントローラ４２は、行が感知画素８２を含むかどうかを判定することができる（判定ブロック９８）。
【００７８】
行が感知画素８２を含む場合、コントローラ４２は、感知パターンに少なくとも部分的に基づいて、感知データを感知画素８２に書き込むようにディスプレイドライバ４０に命令することができる。（プロセスブロック１００）。次に、コントローラ４２は、感知動作を実行することができる（プロセスブロック１０２）。いくつかの実施形態では、感知動作を実行するために、コントローラ４２は、感知画素８２に感知画像データを書き込むようにディスプレイドライバ４０に命令することができる。加えて、コントローラ４２は、感知画像データに基づいて感知画素８２を照明し、それによって１つ以上のセンサ５８が感知画素８２の照明から結果として生じるセンサデータを判定する（例えば、測定する）ことを可能にするように、ディスプレイパネル４４に命令することができる。
【００７９】
このようにして、コントローラ４２は、環境動作パラメータ及び／又は表示関連動作パラメータを示す１つ以上のセンサ５８から受信されるセンサデータを受信して分析することができる。上述したように、いくつかの実施形態では、環境動作パラメータは、周囲温度、湿度、輝度などを含むことができる。加えて、いくつかの実施形態では、表示関連動作パラメータは、ディスプレイパネル４４の少なくとも１つの表示画素５６からの発光量、少なくとも１つの表示画素５６での電流量などを含むことができる。
【００８０】
行が感知画素８２を含まない場合及び／又は感知動作が実行された後に、コントローラ４２は、表示されることになる画像フレームに対応する画像データを行内の表示画素５６のそれぞれに書き込むように、ディスプレイドライバ４０に命令することができる（プロセスブロック１０４）。このようにして、表示画素５６は、発光モードにトグルして戻ったときに、画像フレームを表示することができる。
【００８１】
加えて、コントローラ４２は、行がディスプレイパネル４４上の最後の表示画素行であるかどうかを判定することができる（判定ブロック１０６）。最後の行でない場合、コントローラ４２は、ディスプレイパネル４４の行を介して連続的にリフレッシュ画素グループ６４を伝搬させ続けることができる（プロセスブロック９６）。このようにして、表示画素５６をリフレッシュ（例えば、更新）して、画像フレームを表示することができる。
【００８２】
一方、最後の行に到達した場合、コントローラ４２は、感知動作（例えば、判定された動作パラメータ）に少なくとも部分的に基づいて、表示画素５６に書き込まれる後続の画像フレームに対応する画像データを調整するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる（プロセスブロック１０８）。いくつかの実施形態では、コントローラ４２は、画像データを調整して動作パラメータの判定された変化を補償するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。例えば、ディスプレイパイプライン３６は、表示画素の知覚されるルミナンスに影響を及ぼすことがある判定された温度に基づいて、表示画素５６に書き込まれる画像データを調整することができる。このようにして、感知動作を実行して、表示された画像フレームの知覚される画像品質を向上することを容易にすることができる。
【００８３】
図示目的で、図１２に示すタイミング図１１０は、プロセス９０を実行するときのディスプレイパネル４４上の表示画素行の動作を説明している。特に、タイミング図１１０は、ｘ軸１１２上の時間及びｙ軸１１４上の表示画素行を表している。説明を簡単にするために、タイミング図１１０は、５つの表示画素行、すなわち、画素行１、画素行２、画素行３、画素行４、及び画素行５に関して説明している。しかし、ディスプレイパネル４４は、任意の数の表示画素行を含むことができることを理解されたい。例えば、いくつかの実施形態では、ディスプレイパネル４４は、１０４８個の表示画素行を含むことができる。
【００８４】
図示した実施形態に関して、時間ｔ０で、画素行１は、リフレッシュ画素グループ６４に含まれており、したがって、非発光モードにある。一方、画素行２〜５は、前の画像フレームに対応する画像データ１１６に基づいて照明される。例示のために、コントローラ４２は、画素行３内の感知画素８２を含む感知パターンを判定することができる。加えて、コントローラ４２は、画素行３がｔ１でリフレッシュされることになることを判定することができる。
【００８５】
したがって、画素行３がｔ１でリフレッシュされることになるとき、コントローラ４２は、画素行３が感知画素８２を含むことを判定することができる。そのように、コントローラ４２は、感知画像データを画素行３内の感知画素８２に書き込み、感知画素８２の照明に少なくとも部分的に基づいて感知動作を実行して、動作パラメータを判定することを容易にするように、ディスプレイドライバ４０に命令することができる。感知動作が完了した後で（例えば、時間ｔ２で）、コントローラ４２は、次の画像フレームに対応する画像データ１１６を画素行３内の表示画素５６に書き込むようにディスプレイドライバ４０に命令することができる。
【００８６】
加えて、コントローラ４２は、画素行３がディスプレイパネル４４内の最後の行であるかどうかを判定することができる。追加の画素行が残っているため、コントローラ４２は、次の画像フレームに対応する画像データを残りの画素行に連続的に書き込むようにディスプレイドライバ４０に命令することができる。最後の画素行（例えば、画素行５）に到達すると、コントローラ４２は、判定された動作パラメータに少なくとも部分的に基づいて、後続の画像フレームを表示するために表示画素５６に書き込まれる画像データを調整するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。例えば、判定された動作パラメータが感知画素８２からの電流出力が予測されたより小さいことを示す場合、コントローラ４２は、後続の画像フレームを表示するために表示画素５６に供給される電流を増大するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。一方、判定された動作パラメータが感知画素からの電流出力が予測されたより大きいことを示す場合、コントローラ４２は、後続の画像フレームを表示するために表示画素５６に供給される電流を減少するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。
【００８７】
図１１のプロセス９０は、６０Ｈｚのリフレッシュレート、１２０Ｈｚのリフレッシュレート、及び／又は２４０ＨｚのＰＷＭリフレッシュレートなどの、任意の好適なリフレッシュレートを実施する電子ディスプレイ１２とともに使用することができることに留意されたい。上述したように、リフレッシュレートを増大するために、電子ディスプレイ１２は、複数のリフレッシュ画素グループを用いることができる。しかし、複数のリフレッシュ画素グループは、感知動作のタイミングの複雑さを増加させ、それによって、サイズ、電力消費、構成要素の数、及び／又は他の実装関連コストに影響を及ぼすことがある。したがって、実装関連コストを低減するために、複数の不連続なリフレッシュ画素グループ６４とともに使用する場合に、感知技術を適合することができる。
【００８８】
図示目的で、複数の不連続なリフレッシュ画素グループ６４を用いる場合の動作パラメータを感知する（例えば、判定する）ためのプロセス１２０を、図１３に示す。一般的に、プロセス１２０は、感知動作中に感知画素８２を照明するために使用される感知パターンを判定すること（プロセスブロック１２２）と、照明されることになる感知画素８２及び／又は感知画素８２に書き込まれることになる感知データを判定して感知動作を実行するようにディスプレイドライバ４０に命令すること（プロセスブロック１２４）と、ディスプレイパネル４４のそれぞれの表示画素行がリフレッシュされることになるときを判定すること（プロセスブロック１２６）と、行が感知画素８２を含むかどうかを判定すること（判定ブロック１２８）と、行が感知画素８２を含む場合に、それぞれの表示画素５６をリフレッシュすることを停止するようにディスプレイドライバ４０に命令すること（プロセスブロック１３０）と、行が感知画素８２を含む場合に、感知パターンに少なくとも部分的に基づいて、感知画素８２に感知データを書き込むようにディスプレイドライバ４０に命令すること（プロセスブロック１３２）と、感知動作を実行すること（プロセスブロック１３４）と、それぞれの表示画素５６をリフレッシュすることを再開するようにディスプレイドライバ４０に命令すること（プロセスブロック１３６）と、行が感知画素８２を含まない場合及び／又は感知動作が実行された後に、表示されることになる画像フレームに対応する画像データを行内の表示画素５６のそれぞれに書き込むようにディスプレイドライバ４０に命令すること（プロセスブロック１３８）と、行がディスプレイパネル４４上の最後の表示画素行であるかどうかを判定すること（判定ブロック１４０）と、感知動作（例えば、判定された動作パラメータ）に少なくとも部分的に基づいて、表示画素５６に書き込まれる後続の画像フレームに対応する画像データを調整するようにディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令すること（プロセスブロック１０８）と、を含む。プロセス１２０は、特定の順序のステップを用いて説明されているが、本開示は、説明したステップは、図示した順序とは異なる順序で実行することができ、特定の説明したステップは、スキップする又は全く実行しないことができることを意図していることを理解されたい。いくつかの実施形態では、プロセス１２０は、コントローラプロセッサ４６などのプロセッサを用いて、コントローラメモリ４８などの有形的非一時的コンピュータ可読媒体に記憶された命令を実行することにより実施することができる。
【００８９】
したがって、いくつかの実施形態では、プロセス９０のプロセスブロック９２で説明したように、コントローラ４２は、感知動作中に感知画素８２を照明するために使用される感知パターンを判定することができる（プロセスブロック１２２）。プロセス９０のプロセスブロック９４で説明したように、感知パターンに少なくとも部分的に基づいて、コントローラ４２は、照明されることになる感知画素８２及び／又は感知画素８２に書き込まれることになる感知データを判定して、感知動作を実行するように、ディスプレイドライバ４０に命令することができる（プロセスブロック１２４）。加えて、プロセス９０のプロセスブロック９６で説明したように、コントローラ４２は、ディスプレイパネル４４のそれぞれの表示画素行がリフレッシュされることになるときを判定することができる（プロセスブロック１２６）。プロセス９０の判定ブロック９８で説明したように、行がリフレッシュされることになるとき、コントローラ４２は、行が感知画素８２を含むかどうかを判定することができる（判定ブロック１２８）。
【００９０】
行が感知画素８２を含む場合、コントローラ４２は、表示画素５６がリフレッシュすることを再開するように命令されるまで表示画素５６がリフレッシュされないように、それぞれの表示画素５６をリフレッシュすることを停止するように、ディスプレイドライバ４０に命令することができる（プロセスブロック１３０）。すなわち、ディスプレイパネル４４の表示画素５６が光を放出している、又はより具体的には画像データ１１６を表示している場合、コントローラ４２は、光を放出し続け、画像データ１１６を表示し続けるように、表示画素５６に命令する。表示画素５６が光を放出していない（例えば、リフレッシュ画素６４である）場合、コントローラ４２は、光を放出しないことを続けるように表示画素５６に命令する。いくつかの実施形態では、コントローラ４２は、命令されるまでリフレッシュすることを停止するように表示画素５６に命令するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。
【００９１】
次に、プロセス９０のプロセスブロック１００で説明したように、コントローラ４２は、感知パターンに少なくとも部分的に基づいて、感知データを感知画素８２に書き込むように、ディスプレイドライバ４０に命令することができる（プロセスブロック１３２）。プロセス９０のプロセスブロック１０２で説明したように、コントローラ４２は、感知動作を実行することができる（プロセスブロック１３４）。
【００９２】
次に、コントローラ４２は、それぞれの表示画素５６をリフレッシュすることを再開するように、ディスプレイドライバ４０に命令することができる（プロセスブロック１３６）。次に、表示画素５６は、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０からの次の命令に従うことができる。
【００９３】
プロセス９０のプロセスブロック１０４で説明したように、行が感知画素８２を含まない場合及び／又は感知動作が実行された後に、コントローラ４２は、表示されることになる画像フレームに対応する画像データを行内の表示画素５６のそれぞれに書き込むように、ディスプレイドライバ４０に命令することができる（プロセスブロック１３８）。加えて、プロセス９０の判定ブロック１０６で説明したように、コントローラ４２は、行がディスプレイパネル４４上の最後の表示画素行であるかどうかを判定することができる（判定ブロック１４０）。最後の行でない場合、コントローラ４２は、ディスプレイパネル４４の行を介して連続的にリフレッシュ画素グループ６４を伝搬させ続けることができる（プロセスブロック１２６）。このようにして、表示画素５６をリフレッシュ（例えば、更新）して、画像フレームを表示することができる。
【００９４】
一方、プロセス９０のプロセスブロック１０８で説明したように、最後の行に到達した場合、コントローラ４２は、感知動作（例えば、判定された動作パラメータ）に少なくとも部分的に基づいて、表示画素５６に書き込まれる後続の画像フレームに対応する画像データを調整するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる（プロセスブロック１４２）。
【００９５】
図示目的で、図１４に示すタイミング図１５０は、プロセス１２０を実行するときのディスプレイパネル４４上の表示画素行の動作を説明している。特に、タイミング図１５０は、ｘ軸１１２上の時間及びｙ軸１１４上の表示画素行を表している。説明を簡単にするために、タイミング図１１０は、９つの表示画素行、すなわち、画素行１、画素行２、画素行３、画素行４、画素行５、画素行６、画素行７、画素行８、及び画素行９に関して説明している。しかし、ディスプレイパネル４４は、任意の数の表示画素行を含むことができることを理解されたい。例えば、いくつかの実施形態では、ディスプレイパネル４４は、１０４８個の表示画素行を含むことができる。
【００９６】
図示した実施形態に関して、時間ｔ０で、画素行１は、リフレッシュ画素グループ６４に含まれており、したがって、非発光モードにある。一方、画素行２〜９は、前の画像フレームに対応する画像データ１１６に基づいて照明される。例示のために、コントローラ４２は、画素行６内の感知画素８２を含む感知パターンを判定することができる。加えて、コントローラ４２は、画素行６がｔ１でリフレッシュされることになることを判定することができる。
【００９７】
したがって、画素行６がｔ１でリフレッシュされることになるとき、コントローラ４２は、画素行６が感知画素８２を含むことを判定することができる。そのように、コントローラ４２は、表示画素５６がリフレッシュすることを再開するように命令されるまで表示画素５６がリフレッシュされないように、ディスプレイパネル４４のそれぞれの表示画素５６をリフレッシュすることを停止するように、ディスプレイドライバ４０に命令することができる。すなわち、ディスプレイパネル４４の表示画素５６が光を放出している、又はより具体的には画像データ１１６を表示している場合、コントローラ４２は、光を放出し続け、画像データ１１６を表示し続けるように、表示画素５６に命令する。表示画素５６が光を放出していない（例えば、リフレッシュ画素６４である）場合、コントローラ４２は、光を放出しないことを続けるように表示画素５６に命令する。
【００９８】
加えて、コントローラ４２は、感知画像データを画素行６内の感知画素８２に書き込み、感知画素８２の照明に少なくとも部分的に基づいて感知動作を実行して、動作パラメータを判定することを容易にするように、ディスプレイドライバ４０に命令することができる。感知動作が完了した後で（例えば、時間ｔ２で）、コントローラ４２は、それぞれの表示画素５６をリフレッシュすることを再開するようにディスプレイドライバ４０に命令することができる。次に、表示画素５６は、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０からの次の命令に従うことができる。次に、コントローラ４２は、次の画像フレームに対応する画像データ１１６を画素行６内の表示画素５６に書き込むようにディスプレイドライバ４０に命令することができる。
【００９９】
次に、コントローラ４２は、画素行６がディスプレイパネル４４内の最後の行であるかどうかを判定することができる。追加の画素行が残っているため、コントローラ４２は、次の画像フレームに対応する画像データを残りの画素行に連続的に書き込むようにディスプレイドライバ４０に命令することができる。最後の画素行（例えば、画素行９）に到達すると、コントローラ４２は、判定された動作パラメータに少なくとも部分的に基づいて、後続の画像フレームを表示するために表示画素５６に書き込まれる画像データを調整するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。例えば、判定された動作パラメータが感知画素８２からの電流出力が予測されたより小さいことを示す場合、コントローラ４２は、後続の画像フレームを表示するために表示画素５６に供給される電流を増大するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。一方、判定された動作パラメータが感知画素からの電流出力が予測されたより大きいことを示す場合、コントローラ４２は、後続の画像フレームを表示するために表示画素５６に供給される電流を減少するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。
【０１００】
図１３のプロセス１２０は、６０Ｈｚのリフレッシュレート、１２０Ｈｚのリフレッシュレート、及び／又は２４０ＨｚのＰＷＭリフレッシュレートなどの、任意の好適なリフレッシュレートを実施する電子ディスプレイ１２とともに使用することができることに留意されたい。上述したように、リフレッシュレートを増大するために、電子ディスプレイ１２は、複数のリフレッシュ画素グループを用いることができる。しかし、複数のリフレッシュ画素グループは、感知動作のタイミングの複雑さを増加させ、それによって、サイズ、電力消費、構成要素の数、及び／又は他の実装関連コストに影響を及ぼすことがある。したがって、実装関連コストを低減するために、複数の不連続なリフレッシュ画素グループ６４とともに使用する場合に、感知技術を適合することができる。
【０１０１】
図示目的で、図１５は、本開示の実施形態に係る、図１３のプロセス１２０に基づく複数のリフレッシュ画素グループを用いる表示画素５６の動作中のタイミングを示す３つのグラフ１５２、１５４、１５６を含む。第１のグラフ１５２は、感知動作なしに複数のリフレッシュ画素グループを用いた表示画素５６の動作を示し、第２のグラフ１５４は、より多くの数の感知画素行を有する感知動作中の複数のリフレッシュ画素グループを用いた表示画素５６の動作を示し、第３のグラフ１５６は、より少ない数の感知画素行を有する感知動作中の複数のリフレッシュ画素グループを用いた表示画素５６の動作を示す。図示したように、それぞれの表示画素５６は、対応する表示画素行が感知画素８２を含む場合にリフレッシュすることを停止する（１５８によって示すように）ように命令される。感知動作が完了した後で、それぞれの表示画素５６は、リフレッシュすることを再開するように命令される。
【０１０２】
プロセス１２０は、コントローラ４２がディスプレイパネル４４によって表示されたリフレッシュ画素グループ６４内の感知画素８２を用いて環境動作パラメータ及び／又は表示関連動作パラメータを感知することを可能にする。感知時間は、リフレッシュ動作の持続時間が変更されないように、感知画素８２を含まないリフレッシュ動作の持続時間内に収まらないため、方法１２０を実行するために使用される回路は、より簡単にする、より少ない構成要素を用いる、及びディスプレイパネル４４内のスペースを節約することが優先である用途のためにより適切にすることができる。しかし、ディスプレイパネル４４の表示画素５６の大部分は、光を放出していないのではなく光を放出している（例えば、画像データ１１６を表示している）ため、方法１２０を実行することは、感知中の平均ルミナンスを増大することができることに留意されたい。特に、感知時間中にディスプレイパネル４４の表示画素５６をリフレッシュすることを停止することは、光を放出している表示画素５６の大部分をフリーズさせることがあり、これは、感知の知覚可能性を増大させることがある。そのように、ディスプレイパネル４４の平均ルミナンスの変化による知覚可能性は、光を放出している及び／又は画像データ１１６を表示している表示画素５６の数により異なることがある。
【０１０３】
図１６は、本開示の実施形態に係る、ディスプレイパネル４４によって表示されたフレームのリフレッシュ画素グループ６４内の感知画素８２を用いて環境及び／又は動作情報を感知するための方法１６０の流れ図である。一般的に、プロセス１６０は、感知動作中に感知画素８２を照明するために使用される感知パターンを判定すること（プロセスブロック１６２）と、照明されることになる感知画素８２及び／又は感知画素８２に書き込まれることになる感知データを判定して感知動作を実行するようにディスプレイドライバ４０に命令すること（プロセスブロック１６４）と、ディスプレイパネル４４のそれぞれの表示画素行がリフレッシュされることになるときを判定すること（プロセスブロック１６６）と、対応する表示画素行が感知画素８２を含むかどうかを判定すること（判定ブロック１６８）と、行が感知画素８２を含む場合に、感知画素８２を含む対応する表示画素行の下に配置されたリフレッシュ画素グループ６４内のそれぞれの表示画素５６をリフレッシュすることを停止するようにディスプレイドライバ４０に命令すること（プロセスブロック１７０）と、行が感知画素８２を含む場合に、感知パターンに少なくとも部分的に基づいて、感知画素８２に感知データを書き込むようにディスプレイドライバ４０に命令すること（プロセスブロック１７２）と、感知動作を実行すること（プロセスブロック１７４）と、リフレッシュ画素グループ内のそれぞれの表示画素５６をリフレッシュすることを再開するようにディスプレイドライバ４０に命令すること（プロセスブロック１７６）と、行が感知画素８２を含まない場合及び／又は感知動作が実行された後に、表示されることになる画像フレームに対応する画像データを行内の表示画素５６のそれぞれに書き込むようにディスプレイドライバ４０に命令すること（プロセスブロック１７８）と、行がディスプレイパネル４４上の最後の表示画素行であるかどうかを判定すること（判定ブロック１８０）と、感知動作（例えば、判定された動作パラメータ）に少なくとも部分的に基づいて、表示画素５６に書き込まれる後続の画像フレームに対応する画像データを調整するようにディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令すること（プロセスブロック１８２）と、を含む。プロセス１６０は、特定の順序のステップを用いて説明されているが、本開示は、説明したステップは、図示した順序とは異なる順序で実行することができ、特定の説明したステップは、スキップする又は全く実行しないことができることを意図していることを理解されたい。いくつかの実施形態では、プロセス１６０は、コントローラプロセッサ４６などのプロセッサを用いて、コントローラメモリ４８などの有形的非一時的コンピュータ可読媒体に記憶された命令を実行することにより実施することができる。
【０１０４】
したがって、いくつかの実施形態では、プロセス９０のプロセスブロック９２で説明したように、コントローラ４２は、感知動作中に感知画素８２を照明するために使用される感知パターンを判定することができる（プロセスブロック１６２）。プロセス９０のプロセスブロック９４で説明したように、感知パターンに少なくとも部分的に基づいて、コントローラ４２は、照明されることになる感知画素８２及び／又は感知画素８２に書き込まれることになる感知データを判定して、感知動作を実行するように、ディスプレイドライバ４０に命令することができる（プロセスブロック１６４）。加えて、プロセス９０のプロセスブロック９６で説明したように、コントローラ４２は、ディスプレイパネル４４のそれぞれの表示画素行がリフレッシュされることになるときを判定することができる（プロセスブロック１６６）。プロセス９０の判定ブロック９８で説明したように、行がリフレッシュされることになるとき、コントローラ４２は、行が感知画素８２を含むかどうかを判定することができる（判定ブロック１６８）。
【０１０５】
行が感知画素８２を含む場合、コントローラ４２は、リフレッシュすることを再開するように表示画素５６が命令されるまで、行の下に配置されたリフレッシュ画素グループ６４内の表示画素５６がリフレッシュされないように、感知画素８２を含む行の下に配置されたリフレッシュ画素グループ６４内のそれぞれの表示画素５６をリフレッシュすることを停止するように、ディスプレイドライバ４０に命令することができる（プロセスブロック１７０）。すなわち、行の下に配置されたリフレッシュ画素グループ６４内のディスプレイパネル４４の表示画素５６が光を放出している、又はより具体的には画像データ１１６を表示している場合、コントローラ４２は、光を放出し続け、画像データ１１６を表示し続けるように、表示画素５６に命令する。行の下に配置されたリフレッシュ画素グループ６４内の表示画素５６が光を放出していない（例えば、リフレッシュ画素６４である）場合、コントローラ４２は、光を放出しないことを続けるように表示画素５６に命令する。いくつかの実施形態では、コントローラ４２は、命令されるまでリフレッシュすることを停止するように表示画素５６に命令するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。
【０１０６】
次に、プロセス９０のプロセスブロック１００で説明したように、コントローラ４２は、感知パターンに少なくとも部分的に基づいて、感知データを感知画素８２に書き込むように、ディスプレイドライバ４０に命令することができる（プロセスブロック１７２）。プロセス９０のプロセスブロック１０２で説明したように、コントローラ４２は、感知動作を実行することができる（プロセスブロック１７４）。
【０１０７】
次に、コントローラ４２は、リフレッシュ画素グループ内の感知画素８２を含む行の下に配置されたリフレッシュ画素グループ６４内のそれぞれの表示画素５６をリフレッシュすることを再開するように、ディスプレイドライバ４０に命令することができる（プロセスブロック１７６）。次に、行の下に配置されたリフレッシュ画素グループ６４内の表示画素５６は、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０からの次の命令に従うことができる。
【０１０８】
プロセス９０のプロセスブロック１０４で説明したように、行が感知画素８２を含まない場合及び／又は感知動作が実行された後に、コントローラ４２は、表示されることになる画像フレームに対応する画像データを行内の表示画素５６のそれぞれに書き込むように、ディスプレイドライバ４０に命令することができる（プロセスブロック１７８）。加えて、プロセス９０の判定ブロック１０６で説明したように、コントローラ４２は、行がディスプレイパネル４４上の最後の表示画素行であるかどうかを判定することができる（判定ブロック１８０）。最後の行でない場合、コントローラ４２は、ディスプレイパネル４４の行を介して連続的にリフレッシュ画素グループ６４を伝搬させ続けることができる（プロセスブロック１６６）。このようにして、表示画素５６をリフレッシュ（例えば、更新）して、画像フレームを表示することができる。
【０１０９】
一方、プロセス９０のプロセスブロック１０８で説明したように、最後の行に到達した場合、コントローラ４２は、感知動作（例えば、判定された動作パラメータ）に少なくとも部分的に基づいて、表示画素５６に書き込まれる後続の画像フレームに対応する画像データを調整するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる（プロセスブロック１８２）。
【０１１０】
図示目的で、図１７に示すタイミング図１９０は、プロセス１６０を実行するときのディスプレイパネル４４上の表示画素行の動作を説明している。特に、タイミング図１９０は、ｘ軸１１２上の時間及びｙ軸１１４上の表示画素行を表している。説明を簡単にするために、タイミング図１１０は、１０個の表示画素行、すなわち、画素行１、画素行２、画素行３、画素行４、画素行５、画素行６、画素行７、画素行８、画素行９、及び画素行１０に関して説明している。しかし、ディスプレイパネル４４は、任意の数の表示画素行を含むことができることを理解されたい。例えば、いくつかの実施形態では、ディスプレイパネル４４は、１０４８個の表示画素行を含むことができる。
【０１１１】
図示した実施形態に関して、時間ｔ０で、画素行１は、リフレッシュ画素グループ６４に含まれており、したがって、非発光モードにある。一方、画素行２〜１０は、前の画像フレームに対応する画像データ１１６に基づいて照明される。例示のために、コントローラ４２は、画素行５内の感知画素８２を含む感知パターンを判定することができる。加えて、コントローラ４２は、画素行５がｔ１でリフレッシュされることになることを判定することができる。
【０１１２】
したがって、画素行５がｔ１でリフレッシュされることになるとき、コントローラ４２は、画素行５が感知画素８２を含むことを判定することができる。そのように、コントローラ４２は、リフレッシュすることを再開するように表示画素５６が命令されるまで、画素行５の下に配置されたリフレッシュ画素グループ６４内の表示画素５６がリフレッシュされないように、画素行５の下に配置されたリフレッシュ画素グループ６４内のそれぞれの表示画素５６をリフレッシュすることを停止するように、ディスプレイドライバ４０に命令することができる。すなわち、画素行５の下に配置されたリフレッシュ画素グループ６４内の表示画素５６が光を放出している、又はより具体的には画像データ１１６を表示している場合、コントローラ４２は、光を放出し続け、画像データ１１６を表示し続けるように、表示画素５６に命令する。画素行５の下に配置されたリフレッシュ画素グループ６４内の表示画素５６が光を放出していない（例えば、リフレッシュ画素６４である）場合、コントローラ４２は、光を放出しないことを続けるように表示画素５６に命令する。
【０１１３】
加えて、コントローラ４２は、感知画像データを画素行５内の感知画素８２に書き込み、感知画素８２の照明に少なくとも部分的に基づいて感知動作を実行して、動作パラメータを判定することを容易にするように、ディスプレイドライバ４０に命令することができる。感知動作が完了した後で（例えば、時間ｔ２で）、コントローラ４２は、画素行５の下に配置されたリフレッシュ画素グループ６４内のそれぞれの表示画素５６をリフレッシュすることを再開するようにディスプレイドライバ４０に命令することができる。次に、画素行５の下に配置されたリフレッシュ画素グループ６４内の表示画素５６は、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０からの次の命令に従うことができる。次に、コントローラ４２は、次の画像フレームに対応する画像データ１１６を画素行５内の表示画素５６に書き込むようにディスプレイドライバ４０に命令することができる。
【０１１４】
次に、コントローラ４２は、画素行５がディスプレイパネル４４内の最後の行であるかどうかを判定することができる。追加の画素行が残っているため、コントローラ４２は、次の画像フレームに対応する画像データを残りの画素行に連続的に書き込むようにディスプレイドライバ４０に命令することができる。最後の画素行（例えば、画素行１０）に到達すると、コントローラ４２は、判定された動作パラメータに少なくとも部分的に基づいて、後続の画像フレームを表示するために表示画素５６に書き込まれる画像データを調整するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。例えば、判定された動作パラメータが感知画素８２からの電流出力が予測されたより小さいことを示す場合、コントローラ４２は、後続の画像フレームを表示するために表示画素５６に供給される電流を増大するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。一方、判定された動作パラメータが感知画素からの電流出力が予測されたより大きいことを示す場合、コントローラ４２は、後続の画像フレームを表示するために表示画素５６に供給される電流を減少するように、ディスプレイパイプライン３６及び／又はディスプレイドライバ４０に命令することができる。
【０１１５】
図１６のプロセス１６０は、６０Ｈｚのリフレッシュレート、１２０Ｈｚのリフレッシュレート、及び／又は２４０ＨｚのＰＷＭリフレッシュレートなどの、任意の好適なリフレッシュレートを実施する電子ディスプレイ１２とともに使用することができることに留意されたい。上述したように、リフレッシュレートを増大するために、電子ディスプレイ１２は、複数のリフレッシュ画素グループを用いることができる。しかし、複数のリフレッシュ画素グループは、感知動作のタイミングの複雑さを増加させ、それによって、サイズ、電力消費、構成要素の数、及び／又は他の実装関連コストに影響を及ぼすことがある。したがって、実装関連コストを低減するために、複数の不連続なリフレッシュ画素グループ６４とともに使用する場合に、感知技術を適合することができる。
【０１１６】
図示目的で、図１８は、本開示の実施形態に係る、図１６のプロセス１６０に基づく複数のリフレッシュ画素グループを用いる表示画素５６の動作中のタイミングを示すグラフ２００である。図示したように、画像フレーム２０１の対応する表示画素行が感知画素８２を含む場合、対応する表示画素行の下に配置された対応するリフレッシュ画素グループ６４内のそれぞれの表示画素５６は、リフレッシュすることを停止する（例えば、フレーム内休止感知期間２０２中に）ように命令される。感知動作が完了した後で、リフレッシュ画素グループ内の対応する表示画素行の下に配置された対応するリフレッシュ画素グループ６４内のそれぞれの表示画素５６は、リフレッシュすることを再開するように命令される。感知動作の知覚可能性を回避するために複数の連続したリフレッシュ画素グループ６４を回避することが望ましいことがあるため、後続のリフレッシュ画素グループは、時間を前に（例えば、感知期間の半分だけ）位相偏移することができる。このようにして、リフレッシュ画素グループは、後続のリフレッシュ画素グループに当接することを回避することができる。
【０１１７】
図１８のグラフ１９０は、画像フレーム２０１に対する単一のフレーム内休止感知期間２０２を示す。いくつかの実施形態では、画像フレーム２０１は、複数のフレーム内休止感知期間を含むことができる。図示目的で、図１９は、本開示の実施形態に係る、複数のフレーム内休止感知期間２１２、２１３を含む画像フレーム２１１のグラフ２１０である。図示したように、画像フレーム２１１の対応する表示画素行が感知画素８２の第１のセットを含む場合、対応する表示画素行の下に配置された対応するリフレッシュ画素グループ６４内のそれぞれの表示画素５６は、リフレッシュすることを停止する（例えば、第１のフレーム内休止感知期間２１２中に）ように命令される。感知動作が完了した後で、リフレッシュ画素グループ内の対応する表示画素行の下に配置された対応するリフレッシュ画素グループ６４内のそれぞれの表示画素５６は、リフレッシュすることを再開するように命令される。更に、画像フレーム２１１の後続の対応する表示画素行が感知画素８２の第２のセットを含む場合、後続の対応する表示画素行の下に配置された対応するリフレッシュ画素グループ６４内のそれぞれの表示画素５６は、リフレッシュすることを停止する（例えば、第２のフレーム内休止感知期間２１３中に）ように命令される。再度、感知動作の知覚可能性を回避するために複数の連続したリフレッシュ画素グループ６４を回避することが望ましいことがあるため、後続のリフレッシュ画素グループは、時間を前に（例えば、感知期間の半分だけ）位相偏移することができる。このようにして、リフレッシュ画素グループは、後続のリフレッシュ画素グループに当接することを回避することができる。加えて、単一の画像フレーム２１１内の複数のフレーム内休止感知期間（例えば、第１と第２のフレーム内休止感知期間２１２、２１３）の間の間隔は、固定又は可変とすることができる。更に、単一の画像フレーム内のそれぞれのフレーム内休止感知期間（例えば、２１２、２１３）は、同じ又は異なる持続時間を有することができる。２つのフレーム内休止感知期間（例えば、２１２、２１３）が図１９のグラフ２１０の画像フレーム（例えば、２１１、２１４）内に示されているが、画像フレーム内の任意の好適な数のフレーム内休止感知期間が意図されていることを理解されたい。更に、フレーム内休止感知期間の数、フレーム内休止感知期間の間の間隔、及びフレーム内休止感知期間の持続時間は、画像フレーム（例えば、２１１）から画像フレーム（例えば、２１４）まで、固定又は可変とすることができる。
【０１１８】
プロセス１６０は、コントローラ４２がディスプレイパネル４４によって表示されたリフレッシュ画素グループ６４内の感知画素８２を用いて環境動作パラメータ及び／又は表示関連動作パラメータを感知することを可能にする。感知時間は、リフレッシュ動作の持続時間が変更されないように、感知画素８２を含まないリフレッシュ動作の持続時間内に収まらないため、方法１６０を実行するために使用される回路は、より簡単にする、より少ない構成要素を用いる、及びスペースを節約することが優先である実施形態のためにより適切にすることができる。加えて、１つ以上の感知画素８２を含む対応する表示画素行の上に配置された表示画素５６が通常に動作し続けている間に、１つ以上の感知画素８２を含む対応する表示画素行の下に配置されたリフレッシュ画素グループ６４内の表示画素５６のみが休止されるため、ディスプレイパネル４４の全ての表示画素５６は、「休止」されず、そのように、方法１６０を実行することにより、感知中の平均ルミナンスを維持することができる。
【０１１９】
結果として、感知中に、ディスプレイパネル４４の瞬間的ルミナンスは、１つ以上の感知画素８２を含む対応する表示画素行の下に配置されたリフレッシュ画素グループ６４内の表示画素５６がリフレッシュしないことにより、変化することができる。そのように、ディスプレイパネル４４の瞬間的ルミナンスの変化による知覚可能性は、光を放出している及び／又は画像データ１１６を表示している、１つ以上の感知画素８２を含む画素行の下に配置されたリフレッシュ画素グループ６４内の表示画素５６の数により、異なることができる。
【０１２０】
したがって、本開示の技術的効果は、電子ディスプレイによって表示されたフレームのリフレッシュ画素グループ内の環境及び／又は動作情報を感知することを含む。この方法で、感知の知覚可能性を低減することができる。いくつかの実施形態では、第１の表示画素行がリフレッシュ画素の連続したブロックを含む合計時間は、第２の表示画素行がリフレッシュ画素及び感知画素の連続したブロックを照明するために使用される合計時間と同じである。いくつかの実施形態では、感知中に、ディスプレイパネルのそれぞれの画素は、リフレッシュすることを停止するように命令される。そのように、第１の表示画素行がリフレッシュ画素を含む時に第１の表示画素行がリフレッシュすることを停止するように命令されない、第１の表示画素行がリフレッシュ画素の連続したブロックを含む合計時間は、第２の表示画素行がリフレッシュ画素及び感知画素の連続したブロックを含む合計時間未満である。加えて、いくつかの実施形態では、感知中に、感知画素を含む対応する表示画素行の下に配置されたリフレッシュ画素グループ内のディスプレイパネルのそれぞれの画素は、リフレッシュすることを停止するように命令される。そのように、第１の表示画素行がリフレッシュ画素の連続したブロックを含む合計時間は、第２の表示画素行がリフレッシュ画素及び感知画素の連続したブロックを照明するために使用される合計時間と同じである。
【０１２１】
上述の具体的な実施形態は、例として示されたものであり、これらの実施形態は、様々な修正形態及び代替形態の影響を受けやすいものであり得ることを理解するべきである。更に、特許請求の範囲が、開示された特定の形態に限定されず、むしろ本開示の趣旨及び範囲内にある全ての修正物、均等物、及び代替物を対象として含むことを意図していることを理解されたい。
【０１２２】
本明細書で提示され特許請求された技術は、本技術分野を明らかに向上する実用的な性質の有形物及び具体例を参照して適用され、そのように、抽象的な、実体のない、又は単なる理論上のものではない。更に、本明細書の最後に添付された特許請求の範囲のいずれかが、「〜［機能］を［実行］する手段」又は「〜［機能］を［実行］するステップ」として示された１つ以上の要素を含む場合、そのような要素が、米国特許法第１１２条（ｆ）に従って解釈されることになることを意図している。しかし、任意の他の方法で示された要素を含む特許請求の範囲のいずれかに関して、そのような要素は、米国特許法第１１２条（ｆ）に従って解釈されることにならないことを意図している。
【図１】
2019526835.tif 000003
【図２】
2019526835.tif 000004
【図３】
2019526835.tif 000005
【図４】
2019526835.tif 000006
【図５】
2019526835.tif 000007
【図６】
2019526835.tif 000008
【図７】
2019526835.tif 000009
【図８】
2019526835.tif 000010
【図９】
2019526835.tif 000011
【図１０】
2019526835.tif 000012
【図１１】
2019526835.tif 000013
【図１２】
2019526835.tif 000014
【図１３】
2019526835.tif 000015
【図１４】
2019526835.tif 000016
【図１５】
2019526835.tif 000017
【図１６】
2019526835.tif 000018
【図１７】
2019526835.tif 000019
【図１８】
2019526835.tif 000020
【図１９】
2019526835.tif 000021
【国際調査報告】
2019526835.tif 000022
2019526835.tif 000023
2019526835.tif 000024