(57)【要約】      （修正有）【課題】アプリケーション内の操作状況を維持するのに役立つ、煩わしさが少ない仮想コントロールを有する電子デバイスを提供する。【解決手段】ディスプレイを備える電子デバイス（ポータブル多機能デバイス１００）は、ユーザインタフェースをディスプレイ上に表示する。電子デバイスは、ディスプレイの対応する領域５０４に対応する第１のコンテンツの１つ以上のコンテンツ表示特性に対するコンテンツ表示値の第１のセットを決定する。デバイスは、コンテンツ表示値の第１のセットに基づき、１つ以上のコントロール外観パラメータに対するコントロール外観値の第１のセットを決定する。デバイスは、コントロールをディスプレイの対応する領域内に表示し、コントロールの外観は、第１のコンテンツ及びコントロール外観値の第１のセットに基づき決定される。【選択図】図５Ｆ
2019135657.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイを備える電子デバイスにおいて、
前記ディスプレイ上にユーザインタフェースを表示することと、
前記ディスプレイの対応する領域に対応する第１のコンテンツの１つ以上のコンテンツ表示特性に対するコンテンツ表示値の第１のセットを決定することと、
前記コンテンツ表示値の第１のセットに基づき、１つ以上のコントロール外観パラメータに対するコントロール外観値の第１のセットを決定することと、
前記ディスプレイの前記対応する領域内にコントロールを表示することと、を含み、前記コントロールの外観は、
前記第１のコンテンツと、
前記コントロール外観値の第１のセットと、
に基づき決定されることを特徴とする、方法。
【請求項２】
前記対応する領域内のコンテンツに対する対応するコンテンツ表示値は、前記対応する領域に対する対応する視覚特性の統計的測定値に対応することを特徴とする、請求項１に記載の方法。
【請求項３】
前記コンテンツ表示特性は、色、色相、彩度、輝度、及びコントラストのうちの１つ以上を含むことを特徴とする、請求項１から２のいずれか一項に記載の方法。
【請求項４】
対応するコントロール外観値の変化は、前記コントロールの外観を生成するために前記コントロールの下にあるコンテンツに適用される、対応する変換の大きさの変化に対応することを特徴とする、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記コントロール外観パラメータは、ぼかし半径、彩度調整、白オーバレイの不透明度、黒オーバレイの不透明度、前記コントロールの１つ以上の選択可能部分の不透明度、及び前記コントロール内のテキストの色のうちの１つ以上を含むことを特徴とする、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記コントロール外観値の第１のセットを決定することは、
コントロール外観値の対応する既定のセットに対応する、コンテンツ表示値の複数の対応する既定のセットを記憶することと、
前記コンテンツ表示値の第１のセットに近い、コンテンツ表示値の１つ以上の既定のセットを、コンテンツ表示値の近似セットとして識別することと、
前記コンテンツ表示値の１つ以上の近似セットに対応する、コントロール外観値の１つ以上の既定のセットに基づき、前記コントロール外観値の第１のセットを決定することと、を含むことを特徴とする、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記コンテンツ表示値の第１のセットを決定することは、コントロール外観値を出力として生成するアルゴリズムへの入力として、前記コンテンツ表示値の第１のセットを用いることを含むことを特徴とする、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記コントロールは半透明部分を含み、
前記コントロールを表示することは、前記コントロールの前記半透明部分内に、前記コントロールの前記半透明部分に対応する前記第１のコンテンツの部分の表現を表示することを含み、前記第１のコンテンツの前記表現は、前記コントロール外観値の第１のセットに従って変換されることを特徴とする、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記コントロールを前記ディスプレイの前記対応する領域内に表示する間に、
前記ディスプレイの前記対応する領域に対応するコンテンツにおいて、前記第１のコンテンツから、前記第１のコンテンツと異なる第２のコンテンツへの変化を検出することと、
前記コンテンツ表示値の第１のセットと異なる、コンテンツ表示値の第２のセットを、前記第２のコンテンツの前記１つ以上のコンテンツ表示特性に対して決定することと、
１つ以上のコントロール外観パラメータに対するコントロール外観値の第２のセットを、前記コンテンツ表示値の第２のセットに基づき決定することであって、前記コントロール外観値の第２のセットは前記コントロール外観値の第１のセットと異なる、決定することと、
コンテンツ内の前記変化を検出することに応じて、
前記第２のコンテンツと、
前記コントロール外観値の第２のセットと、
に従って前記コントロールの前記外観を変更することと、を含むことを特徴とする、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記コントロールの前記外観を変更することは、前記コントロール内のテキストの色を変更することを含むことを特徴とする、請求項９に記載の方法。
【請求項１１】
前記コントロールは半透明部分を含み、
前記コントロール外観値の第２のセットに従って前記コントロールの前記外観を変更することは、前記コントロールの前記半透明部分内に、前記コントロールの前記半透明部分に対応する前記第２のコンテンツの部分の表現を表示することを含み、前記第２のコンテンツの前記表現は、前記コントロール外観値の第２のセットに従って変換されることを特徴とする、請求項９から１０のいずれか一項に記載の方法。
【請求項１２】
前記コントロール外観値の第１のセットは、コントロール外観パラメータの第１のセットに対する値であり、
前記コントロール外観値の第２のセットは、前記コントロール外観パラメータの第１のセットに対する値であることを特徴とする、請求項９から１１のいずれか一項に記載の方法。
【請求項１３】
前記コントロール外観値の第１のセットは、コントロール外観パラメータの第１のセットに対する値であり、
前記コントロール外観値の第２のセットは、前記コントロール外観パラメータの第１のセットと異なる、コントロール外観パラメータの第２のセットに対する値であることを特徴とする、請求項９から１１のいずれか一項に記載の方法。
【請求項１４】
前記ディスプレイの前記対応する領域に対応するコンテンツにおいて、前記第１のコンテンツから前記第２のコンテンツへの前記変化を検出することの後であり、かつ前記コントロール表示値の第２のセットに従って前記コントロールの前記外観を変更することの前に、
前記コントロール外観値の第１のセットと異なる、コントロール外観値の対応するセットを、前記コントロール外観パラメータの第１のセットに対して、前記コンテンツ表示値の第２のセットに基づき決定することであって、前記コントロール外観値の対応するセットは、前記コントロール外観値の第１のセット及び前記コントロール外観値の第２のセットと異なる、決定することと、
前記第２のコンテンツと、
前記コントロール外観値の対応するセットと、
に従って、前記コントロールの前記外観を変更することと、を含むことを特徴とする、請求項１３に記載の方法。
【請求項１５】
前記コントロールは半透明部分を含み、
コンテンツの対応する部分は、前記コントロールの前記半透明部分の場所に対応し、
コントロール調整値の対応するセットに従って前記コントロールを表示することは、前記コントロールの前記半透明部分内に、前記コンテンツの対応する部分の表現を表示することを含み、前記コンテンツの対応する部分の前記表現は、前記コントロール外観値の対応するセットに従って変換されることを特徴とする、請求項１から１４のいずれか一項に記載の方法。
【請求項１６】
コンテンツにおいて前記第１のコンテンツから前記第２のコンテンツへの前記変化を検出することの後であり、かつ前記コントロール外観値の第２のセットに従って前記コントロールの前記外観を変更することの前に、
前記第２のコンテンツと、
前記コントロール外観値の第１のセットと、
に従って、前記コントロールの前記外観を変更することを含むことを特徴とする、請求項１から１５のいずれか一項に記載の方法。
【請求項１７】
前記コンテンツ表示値の第１のセットは、前記ディスプレイの前記対応する領域に対応する前記第１のコンテンツに対するコンテンツ色値を含み、
前記コントロール外観値の第１のセットは、前記第１のコンテンツに対する前記コンテンツ色値に基づき選択されたコントロール色値を含み、
前記コントロールを表示することは、
第１のぼかされたコンテンツを生成するために、ぼかし処理を前記第１のコンテンツに適用することと、
半透明着色層を前記第１のぼかされたコンテンツの上に重ね合わせることと、を含み、
前記半透明着色層は、前記コントロール色値によって指定された色を有し、
前記第１のぼかされたコンテンツは前記半透明着色層を通して可視であり、
前記半透明着色層を通した前記第１のぼかされたコンテンツの外観は、前記半透明着色層の前記色に依存することを特徴とする、請求項１から１６のいずれか一項に記載の方法。
【請求項１８】
前記コンテンツ表示値の第１のセットは、前記ディスプレイの前記対応する領域に対応する前記第１のコンテンツに対するコンテンツ彩度値を含み、
前記コントロール外観値の第１のセットは、前記第１のコンテンツに対する前記コンテンツ彩度値に基づき選択されたコントロール彩度値を含み、
前記コントロールを表示することは、
第１のぼかされたコンテンツを生成するために、ぼかし処理を前記第１のコンテンツに適用することと、
半透明着色層を前記第１のぼかされたコンテンツの上に重ね合わせることと、を含み、
前記半透明着色層は、前記コントロール彩度値によって指定された彩度を有し、
前記第１のぼかされたコンテンツは前記半透明着色層を通して可視であり、
前記半透明着色層を通した前記第１のぼかされたコンテンツの外観は、前記半透明着色層の前記彩度に依存することを特徴とする、請求項１から１７のいずれか一項に記載の方法。
【請求項１９】
前記コンテンツ表示値の第１のセットは、前記ディスプレイの前記対応する領域に対応する前記第１のコンテンツに対するコンテンツ輝度値を含み、
前記コントロール外観値の第１のセットは、前記第１のコンテンツに対する前記コンテンツ輝度値に基づき選択されたコントロール不透明度値を含み、
前記コントロールを表示することは、
第１のぼかされたコンテンツを生成するために、ぼかし処理を前記第１のコンテンツに適用することと、
半透明層を前記第１のぼかされたコンテンツの上に重ね合わせることと、を含み、
前記半透明層は、前記コントロール不透明度値によって指定された不透明度を有し、
前記第１のぼかされたコンテンツは前記半透明層を通して可視であり、
前記半透明層を通した前記第１のぼかされたコンテンツの外観は、前記半透明層の前記不透明度に依存することを特徴とする、請求項１から１８のいずれか一項に記載の方法。
【請求項２０】
前記コンテンツ表示値の第１のセットは、前記ディスプレイの前記対応する領域に対応する前記第１のコンテンツに対するコンテンツ彩度値を含み、
前記コントロール外観値の第１のセットは、前記第１のコンテンツに対する前記コンテンツ彩度値に基づき選択されたコントロール不透明度値を含み、
前記コントロールを表示することは、
第１のぼかされたコンテンツを生成するために、ぼかし処理を前記第１のコンテンツに適用することと、
半透明層を前記第１のぼかされたコンテンツの上に重ね合わせることと、を含み、
前記半透明層は、前記コントロール色値によって指定された不透明度を有し、
前記第１のぼかされたコンテンツは前記半透明層を通して可視であり、
前記半透明層を通した前記第１のぼかされたコンテンツの外観は、前記半透明層の前記不透明度に依存することを特徴とする、請求項１から１９のいずれか一項に記載の方法。
【請求項２１】
ディスプレイと、
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備え、前記１つ以上のプログラムは、前記メモリ内に記憶され、前記１つ以上のプロセッサによって実行されるように構成され、前記１つ以上のプログラムは、
前記ディスプレイ上にユーザインタフェースを表示し、
前記ディスプレイの対応する領域に対応する第１のコンテンツの１つ以上のコンテンツ表示特性に対するコンテンツ表示値の第１のセットを決定し、
前記コンテンツ表示値の第１のセットに基づき、１つ以上のコントロール外観パラメータに対するコントロール外観値の第１のセットを決定し、
前記ディスプレイの前記対応する領域内にコントロールを表示する、ための命令を含み、前記コントロールの外観は、
前記第１のコンテンツと、
前記コントロール外観値の第１のセットと、
に基づき決定されることを特徴とする、電子デバイス。
【請求項２２】
１つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは命令を含み、前記命令は、ディスプレイを備えた電子デバイスによって実行されると、前記デバイスに、
前記ディスプレイ上にユーザインタフェースを表示させ、
前記ディスプレイの対応する領域に対応する第１のコンテンツの１つ以上のコンテンツ表示特性に対するコンテンツ表示値の第１のセットを決定させ、
前記コンテンツ表示値の第１のセットに基づき、１つ以上のコントロール外観パラメータに対するコントロール外観値の第１のセットを決定させ、
前記ディスプレイの前記対応する領域内にコントロールを表示させ、前記コントロールの外観は、
前記第１のコンテンツと、
前記コントロール外観値の第１のセットと、
に基づき決定されることを特徴とする、１つ以上のプログラムを記憶するコンピュータ可読記憶媒体。
【請求項２３】
ディスプレイと、メモリと、前記メモリに記憶されている１つ以上のプログラムを実行する１つ以上のプロセッサと、を備えた電子デバイス上のグラフィカルユーザインタフェースであって、
前記ディスプレイ上に表示されたユーザインタフェースを含み、
コンテンツ表示値の第１のセットが、前記ディスプレイの対応する領域に対応する第１のコンテンツの１つ以上のコンテンツ表示特性に対して決定され、
コントロール外観値の第１のセットが、１つ以上のコントロール外観パラメータに対して、前記コンテンツ表示値の第１のセットに基づき決定され、
前記ディスプレイの前記対応する領域内にコントロールが表示され、前記コントロールの外観は、
前記第１のコンテンツと、
前記コントロール外観値の第１のセットと、
に基づき決定されることを特徴とする、電子デバイス上のグラフィカルユーザインタフェース。
【請求項２４】
ディスプレイと、
前記ディスプレイ上にユーザインタフェースを表示するための手段と、
前記ディスプレイの対応する領域に対応する第１のコンテンツの１つ以上のコンテンツ表示特性に対するコンテンツ表示値の第１のセットを決定するための手段と、
前記コンテンツ表示値の第１のセットに基づき、１つ以上のコントロール外観パラメータに対するコントロール外観値の第１のセットを決定するための手段と、
前記ディスプレイの前記対応する領域内にコントロールを表示するための手段と、を備え、前記コントロールの外観は、
前記第１のコンテンツと、
前記コントロール外観値の第１のセットと、
に基づき決定されることを特徴とする、電子デバイス。
【請求項２５】
ディスプレイを備えた電子デバイスにおいて使用される情報処理装置であって、
前記ディスプレイ上にユーザインタフェースを表示するための手段と、
前記ディスプレイの対応する領域に対応する第１のコンテンツの１つ以上のコンテンツ表示特性に対するコンテンツ表示値の第１のセットを決定するための手段と、
前記コンテンツ表示値の第１のセットに基づき、１つ以上のコントロール外観パラメータに対するコントロール外観値の第１のセットを決定するための手段と、
前記ディスプレイの前記対応する領域内にコントロールを表示するための手段と、を備え、前記コントロールの外観は、
前記第１のコンテンツと、
前記コントロール外観値の第１のセットと、
に基づき決定されることを特徴とする、ディスプレイを備えた電子デバイスにおいて使用される情報処理装置。
【請求項２６】
ディスプレイと、
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備え、前記１つ以上のプログラムは前記メモリに記憶され、前記１つ以上のプロセッサによって実行されるように構成され、前記１つ以上のプログラムは、請求項１から１６に記載の方法のいずれか１つを実行するための命令を含むことを特徴とする、電子デバイス。
【請求項２７】
１つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムは命令を含み、前記命令はディスプレイを備えた電子デバイスによって実行されると、請求項１から１６に記載の方法のいずれか１つを前記デバイスに実行させることを特徴とする、１つ以上のプログラムを記憶するコンピュータ可読記憶媒体。
【請求項２８】
ディスプレイと、メモリと、前記メモリに記憶されている１つ以上のプログラムを実行する１つ以上のプロセッサと、を備える電子デバイス上のグラフィカルユーザインタフェースであって、請求項１から１６に記載の方法のいずれか１つに従って表示されるユーザインタフェースを含むことを特徴とする、電子デバイス上のグラフィカルユーザインタフェース。
【請求項２９】
ディスプレイと、
請求項１から１６に記載の方法のいずれか１つを実行するための手段と、を備えることを特徴とする、電子デバイス。
【請求項３０】
ディスプレイを備えた電子デバイスにおいて使用される情報処理装置であって、
請求項１から１６に記載の方法のいずれか１つを実行するための手段を備えることを特徴とする、ディスプレイを備えた電子デバイスにおいて使用される情報処理装置。
【請求項３１】
ユーザインタフェースを表示するように構成されたディスプレイユニットと、
前記ディスプレイユニットに結合された処理ユニットと、を備え、前記処理ユニットは、
前記ディスプレイユニットの対応する領域に対応する第１のコンテンツの１つ以上のコンテンツ表示特性に対するコンテンツ表示値の第１のセットを決定し、
前記コンテンツ表示値の第１のセットに基づき、１つ以上のコントロール外観パラメータに対するコントロール外観値の第１のセットを決定し、
前記ディスプレイユニットの前記対応する領域内へのコントロールの表示を可能にするように構成され、前記コントロールの外観は、
前記第１のコンテンツと、
前記コントロール外観値の第１のセットと、
に基づき決定されることを特徴とする、電子デバイス。
【請求項３２】
前記対応する領域内のコンテンツに対する対応するコンテンツ表示値は、前記対応する領域に対する対応する視覚特性の統計的測定値に対応することを特徴とする、請求項３１に記載の電子デバイス。
【請求項３３】
前記コンテンツ表示特性は、色、色相、彩度、輝度、及びコントラストのうちの１つ以上を含むことを特徴とする、請求項３１から３２のいずれか一項に記載の電子デバイス。
【請求項３４】
対応するコントロール外観値の変化は、前記コントロールの外観を生成するために前記コントロールの下にあるコンテンツに適用される、対応する変換の大きさの変化に対応することを特徴とする、請求項３１から３３のいずれか一項に記載の電子デバイス。
【請求項３５】
前記コントロール外観パラメータは、ぼかし半径、彩度調整、白オーバレイの不透明度、黒オーバレイの不透明度、前記コントロールの１つ以上の選択可能部分の不透明度、及び前記コントロール内のテキストの色のうちの１つ以上を含むことを特徴とする、請求項３１から３４のいずれか一項に記載の電子デバイス。
【請求項３６】
前記コントロール外観値の第１のセットを決定することは、
コントロール外観値の対応する既定のセットに対応する、コンテンツ表示値の複数の対応する既定のセットを記憶することと、
前記コンテンツ表示値の第１のセットに近い、コンテンツ表示値の１つ以上の既定のセットを、コンテンツ表示値の近似セットとして識別することと、
前記コンテンツ表示値の１つ以上の近似セットに対応する、コントロール外観値の１つ以上の既定のセットに基づき、前記コントロール外観値の第１のセットを決定することと、を含むことを特徴とする、請求項３１から３５のいずれか一項に記載の電子デバイス。
【請求項３７】
前記コンテンツ表示値の第１のセットを決定することは、コントロール外観値を出力として生成するアルゴリズムへの入力として、前記コンテンツ表示値の第１のセットを用いることを含むことを特徴とする、請求項３１から３６のいずれか一項に記載の電子デバイス。
【請求項３８】
前記コントロールは半透明部分を含み、
前記コントロールの表示を可能にすることは、前記コントロールの前記半透明部分内への、前記コントロールの前記半透明部分に対応する前記第１のコンテンツの部分の表現の表示を可能にすることを含み、前記第１のコンテンツの前記表現は、前記コントロール外観値の第１のセットに従って変換されることを特徴とする、請求項３１から３７のいずれか一項に記載の電子デバイス。
【請求項３９】
前記処理ユニットが、前記ディスプレイユニットの前記対応する領域内への前記コントロールの表示を可能にする間に、
前記ディスプレイユニットの前記対応する領域に対応するコンテンツにおいて、前記第１のコンテンツから、前記第１のコンテンツと異なる第２のコンテンツへの変化を検出し、
前記コンテンツ表示値の第１のセットと異なる、コンテンツ表示値の第２のセットを、前記第２のコンテンツの前記１つ以上のコンテンツ表示特性に対して決定し、
１つ以上のコントロール外観パラメータに対するコントロール外観値の第２のセットを、前記コンテンツ表示値の第２のセットに基づき決定し、前記コントロール外観値の第２のセットは前記コントロール外観値の第１のセットと異なり、
コンテンツ内の前記変化を検出することに応じて、
前記第２のコンテンツと、
前記コントロール外観値の第２のセットと、
に従って前記コントロールの前記外観を変更するように更に構成されることを特徴とする、請求項３１から３８のいずれか一項に記載の電子デバイス。
【請求項４０】
前記コントロールの前記外観を変更することは、前記コントロール内のテキストの色を変更することを含むことを特徴とする、請求項３９に記載の電子デバイス。
【請求項４１】
前記コントロールは半透明部分を含み、
前記コントロール外観値の第２のセットに従って前記コントロールの前記外観を変更することは、前記コントロールの前記半透明部分内に、前記コントロールの前記半透明部分に対応する前記第２のコンテンツの部分の表現を表示することを含み、前記第２のコンテンツの前記表現は、前記コントロール外観値の第２のセットに従って変換されることを特徴とする、請求項３９から４０のいずれか一項に記載の電子デバイス。
【請求項４２】
前記コントロール外観値の第１のセットは、コントロール外観パラメータの第１のセットに対する値であり、
前記コントロール外観値の第２のセットは、前記コントロール外観パラメータの第１のセットに対する値であることを特徴とする、請求項３９から４１のいずれか一項に記載の電子デバイス。
【請求項４３】
前記コントロール外観値の第１のセットは、コントロール外観パラメータの第１のセットに対する値であり、
前記コントロール外観値の第２のセットは、前記コントロール外観パラメータの第１のセットと異なる、コントロール外観パラメータの第２のセットに対する値であることを特徴とする、請求項３９から４２のいずれか一項に記載の電子デバイス。
【請求項４４】
前記処理ユニットは、前記ディスプレイユニットの前記対応する領域に対応するコンテンツにおいて、前記第１のコンテンツから前記第２のコンテンツへの前記変化を検出することの後であり、かつ前記コントロール表示値の第２のセットに従って前記コントロールの前記外観を変更することの前に、
前記コントロール外観値の第１のセットと異なる、コントロール外観値の対応するセットを、前記コントロール外観パラメータの第１のセットに対して、前記コンテンツ表示値の第２のセットに基づき決定し、前記コントロール外観値の対応するセットは、前記コントロール外観値の第１のセット及び前記コントロール外観値の第２のセットと異なり、
前記第２のコンテンツと、
前記コントロール外観値の対応するセットと、
に従って、前記コントロールの前記外観を変更するように更に構成されることを特徴とする、請求項４３に記載の電子デバイス。
【請求項４５】
前記コントロールは半透明部分を含み、
コンテンツの対応する部分は、前記コントロールの前記半透明部分の場所に対応し、
コントロール調整値の対応するセットに従って前記コントロールの表示を可能にすることは、前記コントロールの前記半透明部分内への、前記コンテンツの対応する部分の表現の表示を可能にすることを含み、前記コンテンツの対応する部分の前記表現は、前記コントロール外観値の対応するセットに従って変換されることを特徴とする、請求項３１から４４のいずれか一項に記載の電子デバイス。
【請求項４６】
前記処理ユニットは、コンテンツにおける前記第１のコンテンツから前記第２のコンテンツへの前記変化を検出することの後であり、かつ前記コントロール外観値の第２のセットに従って前記コントロールの前記外観を変更することの前に、
前記第２のコンテンツと、
前記コントロール外観値の第１のセットと、
に従って前記コントロールの前記外観を変更するように更に構成されることを特徴とする、請求項３１から４５のいずれか一項に記載の電子デバイス。
【請求項４７】
前記コンテンツ表示値の第１のセットは、前記ディスプレイの前記対応する領域に対応する前記第１のコンテンツに対するコンテンツ色値を含み、
前記コントロール外観値の第１のセットは、前記第１のコンテンツに対する前記コンテンツ色値に基づき選択されたコントロール色値を含み、
前記コントロールを表示することは、
第１のぼかされたコンテンツを生成するために、ぼかし処理を前記第１のコンテンツに適用することと、
半透明着色層を前記第１のぼかされたコンテンツの上に重ね合わせることと、を含み、
前記半透明着色層は、前記コントロール色値によって指定された色を有し、
前記第１のぼかされたコンテンツは前記半透明着色層を通して可視であり、
前記半透明着色層を通した前記第１のぼかされたコンテンツの外観は、前記半透明着色層の前記色に依存することを特徴とする、請求項３１から４６のいずれか一項に記載の電子デバイス。
【請求項４８】
前記コンテンツ表示値の第１のセットは、前記ディスプレイの前記対応する領域に対応する前記第１のコンテンツに対するコンテンツ彩度値を含み、
前記コントロール外観値の第１のセットは、前記第１のコンテンツに対する前記コンテンツ彩度値に基づき選択されたコントロール彩度値を含み、
前記コントロールを表示することは、
第１のぼかされたコンテンツを生成するために、ぼかし処理を前記第１のコンテンツに適用することと、
半透明着色層を前記第１のぼかされたコンテンツの上に重ね合わせることと、を含み、
前記半透明着色層は、前記コントロール彩度値によって指定された彩度を有し、
前記第１のぼかされたコンテンツは前記半透明着色層を通して可視であり、
前記半透明着色層を通した前記第１のぼかされたコンテンツの外観は、前記半透明着色層の前記彩度に依存することを特徴とする、請求項３１から４７のいずれか一項に記載の電子デバイス。
【請求項４９】
前記コンテンツ表示値の第１のセットは、前記ディスプレイの前記対応する領域に対応する前記第１のコンテンツに対するコンテンツ輝度値を含み、
前記コントロール外観値の第１のセットは、前記第１のコンテンツに対する前記コンテンツ輝度値に基づき選択されたコントロール不透明度値を含み、
前記コントロールを表示することは、
第１のぼかされたコンテンツを生成するために、ぼかし処理を前記第１のコンテンツに適用することと、
半透明層を前記第１のぼかされたコンテンツの上に重ね合わせることと、を含み、
前記半透明層は、前記コントロール不透明度値によって指定された不透明度を有し、
前記第１のぼかされたコンテンツは前記半透明層を通して可視であり、
前記半透明層を通した前記第１のぼかされたコンテンツの外観は、前記半透明層の前記不透明度に依存することを特徴とする、請求項３１から４８のいずれか一項に記載の電子デバイス。
【請求項５０】
前記コンテンツ表示値の第１のセットは、前記ディスプレイの前記対応する領域に対応する前記第１のコンテンツに対するコンテンツ彩度値を含み、
前記コントロール外観値の第１のセットは、前記第１のコンテンツに対する前記コンテンツ彩度値に基づき選択されたコントロール不透明度値を含み、
前記コントロールを表示することは、
第１のぼかされたコンテンツを生成するために、ぼかし処理を前記第１のコンテンツに適用することと、
半透明層を前記第１のぼかされたコンテンツの上に重ね合わせることと、を含み、
前記半透明層は、前記コントロール色値によって指定された不透明度を有し、
前記第１のぼかされたコンテンツは前記半透明層を通して可視であり、
前記半透明層を通した前記第１のぼかされたコンテンツの外観は、前記半透明層の前記不透明度に依存することを特徴とする、請求項３１から４９のいずれか一項に記載の電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、全般的に、ディスプレイ上にソフトキーボード及び他の仮想コントロールを表示する電子デバイスを含むがこれに限定されない、ディスプレイを備える電子デバイスに関する。
【背景技術】
【０００２】
電子コンピューティングデバイスは、そのディスプレイ上に仮想コントロールを表示することが多い。例えば、ポータブル電子デバイス（例えば、スマートフォン、タブレット又はノートブックコンピュータ）上でのアプリケーションの使用中に、キーボード、メニュー、ダイアログボックス、アラート及び他のコントロールが表示され、かつ非表示にされ得る。
【０００３】
仮想コントロールの初期表示はユーザにとって煩わしいことがあり、その場合、ユーザは一瞬、アプリケーション内の自分の位置がわからなくなる。更に、アプリケーションユーザインタフェース内の他の要素の上に表示される仮想コントロールによって、それらの要素は不明瞭になるか、又は隠されるため、ユーザがアプリケーション内の操作状況を維持することも、より難しくなる。これは特に、仮想コントロール（例えば、キーボード）がディスプレイの大部分を占有し得る、小型ディスプレイを備えるポータブルデバイスに当てはまる。
【発明の開示】
【０００４】
したがって、アプリケーション内の操作状況を維持するのに役立つ、煩わしさが少ない仮想コントロールを有する電子デバイスが必要とされる。これには、仮想コントロールの外観を調整するための新しい方法及びインタフェースが必要となる。このようなデバイス、方法及びインタフェースは、ユーザの認識負荷を軽減し、より効率的なヒューマン−マシンインタフェースを作り出す。
【０００５】
ディスプレイを備える電子デバイスのユーザインタフェースに関連付けられた上記の欠点及び他の問題は、開示されるデバイスによって低減又は解消される。いくつかの実施形態では、このデバイスは、デスクトップコンピュータである。いくつかの実施形態では、このデバイスは、ポータブル（例えば、ノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイス）である。いくつかの実施形態では、このデバイスは、タッチパッドを有する。いくつかの実施形態では、このデバイスは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる）を有する。いくつかの実施形態では、このデバイスは、グラフィカルユーザインタフェース（ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためにメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは主にタッチ感知面上での指の接触及びジェスチャを介してＧＵＩと対話する。いくつかの実施形態では、機能は、画像編集、描画、プレゼンティング、ワードプロセッシング、ウェブサイト作成、ディスクオーサリング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、及び／又はデジタルビデオの再生を、任意選択的に、含む。これらの機能を実行するための実行可能命令は、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に、任意選択的に、含まれる。
【０００６】
いくつかの実施形態によれば、ディスプレイを備えた電子デバイスにおいて、ある方法が実行される。方法は、ユーザインタフェースをディスプレイ上に表示することと、ディスプレイの対応する領域に対応する第１のコンテンツの１つ以上のコンテンツ表示特性に対するコンテンツ表示値の第１のセットを決定することと、コンテンツ表示値の第１のセットに基づき１つ以上のコントロール外観パラメータに対するコントロール外観値の第１のセットを決定することと、ディスプレイの対応する領域内にコントロールを表示することと、を含み、コントロールの外観は、第１のコンテンツ及びコントロール外観値の第１のセットに基づき決定される。
【０００７】
いくつかの実施形態によれば、電子デバイスは、ユーザインタフェースを表示するように構成されたディスプレイユニットと、ディスプレイユニットに結合された処理ユニットと、を含む。処理ユニットは、ディスプレイユニットの対応する領域に対応する第１のコンテンツの１つ以上のコンテンツ表示特性に対するコンテンツ表示値の第１のセットを決定し、コンテンツ表示値の第１のセットに基づき、１つ以上のコントロール外観パラメータに対するコントロール外観値の第１のセットを決定し、ディスプレイユニットの対応する領域内へのコントロールの表示を可能にするように構成され、コントロールの外観は、第１のコンテンツ及びコントロール外観値の第１のセットに基づき決定される。
【０００８】
いくつかの実施形態によれば、電子デバイスは、ディスプレイ、任意選択のタッチ感知面、タッチ感知面との接触の強度を検出するための任意選択の１つ以上のセンサ、１つ以上のプロセッサ、メモリ、及び１つ以上のプログラムを含み、この１つ以上のプログラムは、メモリ内に記憶されて、１つ以上のプロセッサによって実行されるように構成され、１つ以上のプログラムは、上述の方法の動作を実行するための命令を含む。いくつかの実施形態によれば、ディスプレイ、任意選択のタッチ感知面、タッチ感知面との接触の強度を検出するための任意選択の１つ以上のセンサ、メモリ、及びメモリ内に記憶された１つ以上のプログラムを実行するための１つ以上のプロセッサを有する電子デバイス上のグラフィカルユーザインタフェースは、上述の方法において表示される要素のうちの１つ以上を含み、それらの要素は、上述の方法において説明されるように、入力に応じて更新される。いくつかの実施形態によれば、コンピュータ可読記憶媒体は、その内部に命令を記憶しており、その命令は、ディスプレイ、任意選択のタッチ感知面、及びタッチ感知面との接触の強度を検出するための任意選択の１つ以上のセンサを備える電子デバイスによって実行されると、上述の方法の動作を、そのデバイスに実行させる。いくつかの実施形態によれば、電子デバイスは、ディスプレイ、任意選択のタッチ感知面、及びタッチ感知面との接触の強度を検出するための任意選択の１つ以上のセンサ、及び上述の方法の動作を実行するための手段を含む。いくつかの実施形態によれば、ディスプレイ、任意選択のタッチ感知面、及びタッチ感知面との接触の強度を検出するための任意選択の１つ以上のセンサを備える電子デバイス内で使用するための情報処理装置が、上述の方法の動作を実行するための手段を含む。
【０００９】
したがって、ディスプレイを備える電子デバイスには、煩わしさがより少なく、かつユーザにとって見やすく対話しやすい仮想コントロールが提供され、それにより、このようなデバイスの有効性、効率及びユーザ満足度が向上する。
【図面の簡単な説明】
【００１０】
説明される様々な実施形態のより良好な理解のために、以下の図面と併せて、以下の「実施形態の説明」を参照されたく、類似の参照番号は、それらの図の全体を通じて対応する部分を指す。
【００１１】
【図１Ａ】いくつかの実施形態に係る、タッチ感知ディスプレイを備えるポータブル多機能デバイスを示すブロック図である。
【図１Ｂ】いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
【図２】いくつかの実施形態に係る、タッチスクリーンを備えるポータブル多機能デバイスを示す図である。
【図３】いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。
【図４Ａ】いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューのための例示的なユーザインタフェースを示す図である。
【図４Ｂ】いくつかの実施形態に係る、ディスプレイとは別個のタッチ感知面を備える多機能デバイスのための例示的なユーザインタフェースを示す図である。
【図５Ａ】いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。
【図５Ｂ】いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。
【図５Ｃ】いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。
【図５Ｄ】いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。
【図５Ｅ】いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。
【図５Ｆ】いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。
【図５Ｇ】いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。
【図５Ｈ】いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。
【図５Ｉ】いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。
【図５Ｊ】いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。
【図５Ｋ】いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。
【図６】いくつかの実施形態に係る、コントロールが表示される領域内のコンテンツに対して決定されるコンテンツ表示特性の値の例示的な予想セットの概要を示す図である。
【図７】いくつかの実施形態に係る、補間を介してコントロール外観値を決定するために用いられ得るコントロール外観値の対応する既定のセットに割り当てられた、コンテンツ表示値の既定の予想セットの概要を示す図である。
【図８】いくつかの実施形態に係る、コントロールに対するコントロール外観パラメータの値の例示的な予想セットの概要を示す図である。
【図９Ａ】いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。
【図９Ｂ】いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。
【図９Ｃ】いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。
【図９Ｄ】いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。
【図９Ｅ】いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。
【図９Ｆ】いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。
【図９Ｇ】いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。
【図１０】いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
【発明を実施するための形態】
【００１２】
電子デバイスは、デバイス上でのアプリケーションの使用中に表示され、かつ非表示になる、仮想コントロールを表示することが多い。
【００１３】
上述のように、仮想コントロールの初期表示はユーザにとって煩わしいことがあり、その場合、ユーザは一瞬、アプリケーション内の自分の位置がわからなくなる。更に、アプリケーションユーザインタフェース内の他の要素の上に表示される仮想コントロールによって、それらの要素は不明瞭になるか、又は隠されるため、ユーザがアプリケーション内の操作状況を維持することも、より難しくなる。これは特に、仮想コントロール（例えば、キーボード）がディスプレイの大部分を占有し得る、小型ディスプレイを備えるポータブルデバイスに当てはまる。
【００１４】
本明細書では、コントロールの煩わしさがより少なく、かつユーザにとって見やすく、対話しやすくなるように、外観が自動的に調整される半透明（半透過）仮想コントロールを備えた電子デバイスが開示される。
【００１５】
所与の半透明コントロールは、ディスプレイの特定の領域内のコンテンツの上に表示される。デバイスは、特定の領域内の様々なコンテンツ表示特性に対する値（例えば、コントロールの下にあるコンテンツの色相、彩度、輝度及び／又はコントラストに対する値）を決定する。更に、デバイスは、コンテンツ表示特性に対して決定された値に基づき、様々なコントロール外観パラメータに対する値（例えば、ぼかし半径、彩度調整、白オーバレイの不透明度、黒オーバレイの不透明度、コントロール内のユーザインタフェース要素の不透明度及び／又はコントロール内のテキストの色に対する値）のセットを決定する。次いで、半透明コントロールの外観は、コントロールの下にあるコンテンツ及びコントロール外観パラメータの決定された値に基づく。コンテンツ表示特性の値、コントロール外観パラメータの値、及びこれに従うコントロールの外観は、コントロールの下にあるコンテンツが変化したときに、自動的かつ動的に更新される。
【００１６】
このような調整によって、不透明コントロール、又は下にあるコンテンツを固定された様式で単純にぼかす半透明コントロールよりも、外観の煩わしさが少ない半透明コントロールが生成される。同時に、このような調整によって、見やすく対話しやすい半透明コントロールが生成される。概して、このような調整によって、ユーザの認識負荷を軽減し、より効率的なヒューマン−マシンインタフェースを作り出す半透明コントロールが提供される。
【００１７】
本明細書に記載されている、半透明コントロールに対する調整は、他の種類の半透明ユーザインタフェース要素（例えば、ドック、トレイ及びステータスバー）にも適用することができる。
【００１８】
以下の図１Ａ〜図１Ｂ、図２、及び図３は、例示的なデバイスの説明を提供する。図４Ａ〜図４Ｂ及び図５Ａ〜図５Ｋは、コントロールの外観を調整するための例示的なユーザインタフェースを示す。図９Ａ〜図９Ｇは、コントロールの外観を調整する方法を示す流れ図である。図５Ａ〜図５Ｋのユーザインタフェースは、図９Ａ〜図９Ｇのプロセスを説明するために用いられる。
例示的なデバイス
【００１９】
ここで、添付図面に実施例が示される実施形態を、詳細に参照する。以下の詳細な説明では、説明される様々な実施形態の完全な理解を提供するために、数多くの具体的な詳細が記載されている。しかしながら、説明される様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例においては、周知の方法、手続き、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭なものとしないよう、詳細には説明されていない。
【００２０】
本明細書では、第１、第２などの用語は、一部の実例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第１の接触は、第２の接触と称することができ、同様に、第２の接触は、第１の接触と称し得る。第１の接触及び第２の接触は両方接触であるが、それらは同じ接触ではない。
【００２１】
本明細書で説明される様々な実施形態の説明で使用される用語法は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用されるとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用されるときに、用語「及び／又は」が、関連する列挙された項目のうちの１つ以上の任意の全ての可能な組み合わせを指し、かつこれを含むことをもまた理解されたい。更に、用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（備える）」は、本明細書で使用される場合、記述される特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらの群の存在若しくは追加を、排除するものではないことが理解されるであろう。
【００２２】
本明細書で使用されるとき、用語「ｉｆ（〜の場合には）」は、任意選択的に、文脈に応じて「ｗｈｅｎ（〜のとき）」、「ｕｐｏｎ（〜すると）」、「ｉｎ  ｒｅｓｐｏｎｓｅ  ｔｏ  ｄｅｔｅｒｍｉｎｉｎｇ（〜という判定に応答して）」、又は「ｉｎ  ｒｅｓｐｏｎｓｅ  ｔｏ  ｄｅｔｅｃｔｉｎｇ（〜の検出に応じて）」を意味するものと解釈される。同様に、句「ｉｆ  ｉｔ  ｉｓ  ｄｅｔｅｒｍｉｎｅｄ（〜と判定される場合に）」又は「ｉｆ（ａ  ｓｔａｔｅｄ  ｃｏｎｄｉｔｉｏｎ  ｏｒ  ｅｖｅｎｔ）ｉｓ  ｄｅｔｅｃｔｅｄ（（述べられる条件又はイベント）が検出される場合に）」は、文脈に応じて「ｕｐｏｎ  ｄｅｔｅｒｍｉｎｉｎｇ（〜と判定されると）」、「ｉｎ  ｒｅｓｐｏｎｓｅ  ｔｏ  ｄｅｔｅｒｍｉｎｉｎｇ（〜という判定に応じて）」、「ｕｐｏｎ  ｄｅｔｅｃｔｉｎｇ（ｔｈｅ  ｓｔａｔｅｄ  ｃｏｎｄｉｔｉｏｎ  ｏｒ  ｅｖｅｎｔ）（（述べられる条件又はイベント）の検出時に）」、又は「ｉｎ  ｒｅｓｐｏｎｓｅ  ｔｏ  ｄｅｔｅｃｔｉｎｇ（ｔｈｅ  ｓｔａｔｅｄ  ｃｏｎｄｉｔｉｏｎ  ｏｒ  ｅｖｅｎｔ）（（述べられる条件又はイベント）の検出に応じて）」を意味すると、任意選択的に解釈される。
【００２３】
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用するための関連プロセスの実施形態を説明する。いくつかの実施形態では、このデバイスは、ＰＤＡ機能及び／又は音楽再生機能などの、他の機能をも含むモバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、限定を伴わずに、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ  Ｉｎｃ．のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ  Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスを含む。タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えるラップトップコンピュータ又はタブレットコンピュータなどの、他のポータブル電子デバイスが、任意選択的に使用される。また、いくつかの実施形態では、このデバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えるデスクトップコンピュータであることを理解されたい。
【００２４】
以下の考察では、ディスプレイ及びタッチ感知面を含む電子デバイスを説明する。しかしながら、この電子デバイスは、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの、１つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
【００２５】
このデバイスは、典型的には、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽再生アプリケーション、及び／又はデジタルビデオ再生アプリケーションのうちの１つ以上などの、様々なアプリケーションをサポートする。
【００２６】
このデバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーション毎に、及び／若しくは対応するアプリケーション内で、任意選択的に、調節並びに／又は変更される。この方式で、そのデバイスの共通の（タッチ感知面などの）物理アーキテクチャは、ユーザにとって直観的かつ透過的なユーザインタフェースを有する様々なアプリケーションを、任意選択的にサポートする。
【００２７】
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイ１１２を備えるポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、タッチ感知ディスプレイシステムとして既知であるか、又はそのように呼ばれる場合もある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力又は制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、デバイス１００（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出するための、１つ以上の強度センサ１６５を、任意選択的に含む。デバイス１００は、デバイス１００上に触知出力を生成する（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などの、タッチ感知面上に触知出力を生成する）ための、１つ以上の触知出力生成器１６７を、任意選択的に含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号線１０３を介して通信する。
【００２８】
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指接触）の力又は圧力（単位面積当りの力）、あるいはタッチ感知面上の接触の力又は圧力の代替物（代用物）を指す。接触の強度は、少なくとも４つの異なる数値を含み、より典型的には、数百個の異なる数値（例えば、少なくとも２５６）を含む、数値の範囲を有する。接触の強度は、様々な方法及び様々なセンサ、又はセンサの組み合わせを使用して、任意選択的に、判定（又は、測定）される。例えば、タッチ感知面の下に又は隣接して配置された１つ以上のセンサは、タッチ感知面上の様々な点における力を測定するために、任意選択的に、用いられる。いくつかの実装において、複数の力センサの力測定値は、推定される接触の力を判定するために組み合わされる（例えば、加重平均される）。同様に、タッチ感知面上のスタイラスの圧力を判定するために、スタイラスの圧力感知チップが、任意選択的に、用いられる。別の方法としては、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、タッチ感知面上の接触の力又は圧力の代用物として、任意選択的に、用いられる。いくつかの実装では、接触の力又は圧力の代替的測定値は、強度閾値を超えているかを判定するために直接に用いられる（例えば、強度閾値は、代替的測定値に対応する単位で記述される）。いくつかの実装では、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、この推定される力又は圧力を用いて、強度閾値を超えているか判定される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。
【００２９】
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、デバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス、又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、指、手のひら、又はユーザの手の他の部分）と接触している状況では、物理的変位によって生成される触知出力は、そのデバイス、又はデバイスの構成要素の物理的特性の、知覚される変化に対応する触感覚として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に、解釈される。いくつかの場合、ユーザの移動により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がないときでさえ、タッチ感知面の「粗さ」としてユーザによって、任意選択的に、解釈又は感じられる。このようなユーザによるタッチの解釈は、ユーザの個別の感覚認知によるが、大多数のユーザに共通したタッチの感覚認知が数多くある。それゆえ、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するとして説明される場合、特に明記しない限り、生成される触知出力は、その説明される感覚認知を典型的な（又は平均的な）ユーザに対して生じさせる、デバイス又はその構成要素の物理的変位に対応する。
【００３０】
デバイス１００は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス１００は、示されるものよりも多いか又は少ない構成要素を任意選択的に有するか、２つ以上の構成要素を任意選択的に組み合わせるか、又は構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図１Ａに示される様々な構成要素は、１つ以上の信号処理、及び／又はアプリケーション固有の集積回路を含む、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方の組み合わせで実現される。
【００３１】
メモリ１０２は、任意選択的に高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体メモリデバイスなどの、不揮発性メモリも含む。ＣＰＵ  １２０及び周辺機器インタフェース１１８などの、デバイス１００の他の構成要素によるメモリ１０２へのアクセスは、メモリコントローラ１２２により、任意選択的に、制御される。
【００３２】
周辺機器インタフェース１１８を使用して、このデバイスの入力及び出力周辺機器を、ＣＰＵ  １２０及びメモリ１０２に結合することができる。１つ以上のプロセッサ１２０は、メモリ１０２内に記憶された様々なソフトウェアプログラム及び／又は命令のセットを起動又は実行することにより、デバイス１００に関する様々な機能を実行し、かつデータを処理する。
【００３３】
いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ  １２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一チップ上に実装される。いくつかの他の実施形態では、これらは、個別のチップ上に、任意選択的に、実装される。
【００３４】
ＲＦ（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を受信したり送信したりする。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどを含むがこれらに限定されない、上記の機能を実行するための周知の回路を、任意選択的に、含む。ＲＦ回路１０８は、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも称されるインターネットなどのネットワーク、セルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの、イントラネット及び／又は無線ネットワーク、並びに他のデバイスと、無線通信によって、任意選択的に通信する。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを、任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high−speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high−speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ−Ｏｎｌｙ（ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（Dual−Cell HSPA、ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（登録商標）（例えば、ＩＥＥＥ  ８０２．１１ａ、ＩＥＥＥ  ８０２．１１ｂ、ＩＥＥＥ  ８０２．１１ｇ、及び／又はＩＥＥＥ  ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、及び／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、あるいは本文書の出願日現在までに未だ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコルが挙げられるが��これらに限定されない。
【００３５】
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、そのオーディオデータを電気信号に変換し、その電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。オーディオ回路１１０はまた、マイクロフォン１１３によって音波から変換された電気信号も受信する。オーディオ回路１１０は、その電気信号をオーディオデータに変換し、そのオーディオデータを、処理のために周辺機器インタフェース１１８に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に送信される。いくつかの実施形態では、オーディオ回路１１０は更にヘッドセットジャック（例えば、図２の２１２）を含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば、片耳又は両耳用のヘッドホン）及び入力（例えば、マイクロフォン）の両方を持つヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
【００３６】
Ｉ／Ｏサブシステム１０６は、周辺機器インタフェース１１８に、タッチスクリーン１１２及び他の入力制御デバイス１１６などのデバイス１００の入出力周辺機器を結合する。Ｉ／Ｏサブシステム１０６は、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力又は制御デバイス用の１つ以上の入力コントローラ１６０を、任意選択的に、含む。１つ以上の入力コントローラ１６０は、他の入力又は制御デバイス１１６から／へ電気信号を受信／送信する。他の入力制御デバイス１１６は、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイアル、スライダスイッチ、ジョイスティック、クリックホイールなどを、任意選択的に、含む。いくつかの代替的実施形態では、入力コントローラ１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又は、いずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、スピーカ１１１及び／又はマイクロフォン１１３の音量調節のためのアップ／ダウンボタンを、任意選択的に、含む。１つ以上のボタンは、プッシュボタン（例えば、図２の２０６）を、任意選択的に、含む。
【００３７】
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２から／へ電気信号を受信及び／又は送信する。タッチスクリーン１１２は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組み合わせ（総称して「グラフィック」と称する）を、任意選択的に、含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザインタフェースオブジェクトに対応する。
【００３８】
タッチスクリーン１１２は、触覚及び／又は触知の接触に基づいて、ユーザからの入力を受け入れる、タッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン１１２及びディスプレイコントローラ１５６（メモリ１０２内の任意の関連モジュール及び／又は命令セットと共に）は、タッチスクリーン１１２上で接触（及び任意の動作又は接触の中断）を検出し、検出された接触をタッチスクリーン１１２上に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。ある例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触は、ユーザの指に対応する。
【００３９】
タッチスクリーン１１２は、任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びに、タッチスクリーン１１２との１つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在公知の若しくは後日に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及び任意の移動又はその中断を、任意選択的に、検出する。ある例示的な実施形態では、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ  Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ  Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）などにおいて見られるような、投影された相互キャパシタンス検知技術が使用されている。
【００４０】
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは約１６０ｄｐｉのビデオ解像度を有する。ユーザは、スタイラス、指などの、任意の好適な物体又は付属物を使用して、タッチスクリーン１１２と任意選択的に接触する。いくつかの実施形態では、ユーザインタフェースは、主として指ベースの接触とジェスチャで機能するように設計され、タッチスクリーン上の指の接触面積が広いためスタイラスベースの入力よりも精度が低いことがある。いくつかの実施形態では、デバイスは、粗い指ベースの入力を正確なポインタ／カーソル位置又はユーザの望むアクションを実行するためのコマンドへ変換する。
【００４１】
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、特定の機能をアクティブ化又は非アクティブ化させるためのタッチパッド（図示せず）を、任意選択的に含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知領域である。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面、又はタッチスクリーンによって形成されたタッチ感知面の延長である。
【００４２】
デバイス１００はまた、様々な構成要素に電力を供給するための、電力システム１６２も含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態標識（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
【００４３】
デバイス１００は、１つ以上の光センサ１６４も、任意選択的に、含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを、任意選択的に、含む。光センサ１６４は、１つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表すデータに変換する。撮像モジュール１４３（カメラモジュールとも称する）と併用して、光センサ１６４は、静止画像又はビデオを、任意選択的に、キャプチャする。いくつかの実施形態では、タッチスクリーンディスプレイを静止画像及び／又はビデオ画像の取得のためのビューファインダとして使用することができるように、光センサは、デバイスの前面のタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。いくつかの実施形態では、ユーザがタッチスクリーンディスプレイ上で他のビデオ会議参加者を見ている間に、ユーザの画像を、ビデオ会議のために、任意選択的に、得るように、別の光センサがデバイスの前面に配置される。
【００４４】
デバイス１００はまた、１つ以上の接触強度センサ１６５も任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された、接触強度センサを示す。接触強度センサ１６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用するセンサ）を、任意選択的に、含む。接触強度センサ１６５は、環境からの接触強度情報（例えば、圧力情報、又は圧力情報の代用物）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に併置されているか、又は近接している。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
【００４５】
デバイス１００は、１つ以上の近接センサ１６６も、任意選択的に、含む。図１Ａは、周辺機器インタフェース１１８に結合された、近接センサ１６６を示す。あるいは、近接センサ１６６は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置されている場合（例えば、ユーザが電話通話を行っている場合）、近接センサはオフになり、タッチスクリーン１１２は無効になる。
【００４６】
デバイス１００はまた、１つ以上の触知出力生成器１６７も任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された、触知出力生成器を示す。触知出力生成器１６７は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又は、モーター、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、電気信号を、デバイス上の触知出力に変換する構成要素）などの、エネルギーを線形運動に変換する電気機械デバイスを含む。接触強度センサ１６５は、触覚フィードバックモジュール１３３からの触知フィードバック生成命令を受信して、デバイス１００のユーザによって感知することが可能な、デバイス１００上の触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）と共に、又は近接して配置され、任意選択的に、タッチ感知面を垂直方向に（例えば、デバイス１００の面内／面外に）又は横方向に（例えば、デバイス１００の表面と同じ平面内で前後に）移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力発生器センサは、デバイス１００の前面上に配置されるタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面上に配置される。
【００４７】
デバイス１００はまた、１つ以上の加速度計１６８も任意選択的に含む。図１Ａは、周辺機器インタフェース１１８に結合された、加速度計１６８を示す。あるいは、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。いくつかの実施形態では、情報は、１つ以上の加速度計から受信されたデータの分析に基づいて、縦表示又は横表示で、タッチスクリーンディスプレイ上に表示される。デバイス１００は、任意選択的に、加速度計１６８に加えて、磁力計（図示せず）、並びにデバイス１００のロケーション及び向き（例えば、縦表示又は横表示）に関する情報を取得するためのＧＰＳ（又は、ＧＬＯＮＡＳＳ若しくは他のグローバルナビゲーションシステム）受信機（図示せず）を含む。
【００４８】
いくつかの実施形態では、メモリ１０２に記憶されたソフトウェアコンポーネントは、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（命令セット）１３６を含む。更に、いくつかの実施形態では、図１Ａ及び図３に示すように、メモリ１０２はデバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、存在する場合には、いずれのアプリケーションが現在アクティブであるかを示す、アクティブアプリケーション状態、いずれのアプリケーション、ビュー、又は他の情報が、タッチスクリーンディスプレイ１１２の様々な領域を占有するかを示す、ディスプレイ状態、デバイスの様々なセンサ及び入力制御デバイス１１６から取得した情報を含む、センサ状態、並びにデバイスのロケーション及び／又は姿勢に関するロケーション情報のうちの、１つ以上を含む。
【００４９】
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ（商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（商標）、ＯＳ  Ｘ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理するための、様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
【００５０】
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素を含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮなど）を介して間接的に他のデバイスに結合するように適合される。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（Ａｐｐｌｅ  Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同一の、又はこれに類似した及び／若しくは互換性のあるマルチピン（例えば、３０ピン）コネクタである。
【００５１】
接触／動きモジュール１３０は、任意選択的に、（ディスプレイコントローラ１５６と共に）タッチスクリーン１１２との接触、及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール１３０は、接触が発生したかどうかの判定（例えば、フィンガダウンイベントの検出）、接触の強度（例えば、接触の力若しくは圧力、又は、接触の力若しくは圧力の代用語）の判定、接触の移動及びタッチ感知面にわたる動きの追跡（例えば、１つ以上のフィンガドラッグイベントの検出）があるかどうかの判定、及び接触が中止したかどうか（例えば、フィンガアップイベント又は接触の中断の検出）の判定などの、接触の検出に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触の移動を判定することは、任意選択的に、接触の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１つの指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
【００５２】
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたか否かを判定するための（例えば、ユーザがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、少なくとも強度閾値のサブセットが、ソフトウェアパラメータに従って決定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されるのではなく、デバイス１００の物理ハードウェアを変更することなく調節することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく広範囲の既定の閾値のうちのいずれかに設定し得る。更には、いくつかの実装では、デバイスのユーザには、（例えば、個別の強度閾値を調節することによって、かつ／又は、システムレベルのクリック「強度」パラメータを使用して、一度に複数の強度閾値を調節することによって）強度閾値のセットのうちの１つ以上を調節するための、ソフトウェア設定が提供される。
【００５３】
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン（例えば、異なる動き、タイミング、及び／又は検出された接触の強度）を有する。したがって、ジェスチャは、特定の接触パターンを検出することによって、任意選択的に、検出される。例えば、指のタップジェスチャを検出することは、指を下ろすイベントを検出し、続いて（例えば、アイコンの位置での）その指を下ろすイベントと同じ位置（又は、実質的に同じ位置）で指を上げる（リフトオフする）イベントを検出することを含む。他の実施例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて１つ以上の指をドラッグするイベントを検出し、その後、続いて指を上げる（リフトオフする）イベントを検出することを含む。
【００５４】
グラフィックモジュール１３２は、表示されるグラフィックの視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含めた、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書で使用されるとき、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、それらのオブジェクトとしては、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどが挙げられるが、これらに限定されない。
【００５５】
いくつかの実施形態では、グラフィックモジュール１３２は、使用されるグラフィックを表すデータを記憶する。それぞれのグラフィックには、対応するコードが、任意選択的に、割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて座標データ及び他のグラフィック特性データと共に、表示されるグラフィックを指定する１つ以上のコードを受信して、次いで、ディスプレイコントローラ１５６に出力するためのスクリーン画像データを生成する。
【００５６】
触覚フィードバックモジュール１３３は、デバイス１００とのユーザ対話に応じて、デバイス１００上の１つ以上の場所で触知出力を生成するために、触知出力生成器１６７によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
【００５７】
テキスト入力モジュール１３４は、任意選択的にグラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ  １４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するための、ソフトキーボードを提供する。
【００５８】
ＧＰＳモジュール１３５は、デバイスのロケーションを判定し、この情報を様々なアプリケーションで使用するために提供する（例えば、ロケーションベースダイアル発呼で使用するための電話１３８へ、写真／ビデオのメタデータとしてカメラ１４３へ、並びに気象ウィジェット、地方のイエローページウィジェット、及び地図／ナビゲーションウィジェットなどのロケーションベースのサービスを提供するアプリケーションへ）。
【００５９】
アプリケーション１３６は、任意選択的に、以下のモジュール（又は、命令のセット）、又はそれらの部分集合若しくは上位集合を含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストとも称される）、
●電話モジュール１３８、
●ビデオ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●気象ウィジェット１４９−１、株式ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、辞書ウィジェット１４９−５、及びユーザが取得した他のウィジェット、並びにユーザ作成ウィジェット１４９−６のうちの１つ以上を任意選択的に含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９−６を作成するためのウィジェット作成モジュール１５０、
●検索モジュール１５１、
●任意選択的にビデオ再生モジュール及び音楽再生モジュールから構成される、ビデオ及び音楽再生モジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、及び／又は
●オンラインビデオモジュール１５５。
【００６０】
任意選択的にメモリ１０２内に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
【００６１】
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と共に、連絡先モジュール１３７は、任意選択的に、（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２内に記憶される）アドレス帳又は連絡先リストを管理するために使用され、この管理には、アドレス帳に名前を追加すること、アドレス帳から名前を削除すること、電話番号、電子メールアドレス、実際の住所、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類して並び替えること、電話１３８、ビデオ会議１３９、電子メール１４０、又はＩＭ  １４１などによる通信を開始及び／又は促進するために、電話番号又は電子メールアドレスを提供することなどが含まれる。
【００６２】
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と共に、電話モジュール１３８は、電話番号に対応する一連の文字を入力し、アドレス帳１３７内の１つ以上の電話番号にアクセスし、入力されている電話番号を修正し、対応の電話番号をダイアルし、会話を遂行し、会話が完了した際に接続を切るか又は電話を切るために、任意選択的に使用される。上述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちのいずれかを、任意選択的に、使用する。
【００６３】
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先リスト１３７、及び電話モジュール１３８と関連して、ビデオ会議モジュール１３９は、ユーザの指示に従って、ユーザと１人以上の他の参加者との間のビデオ会議を開始し、行い、終了するための実行可能命令を含む。
【００６４】
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と関連して、電子メールクライアントモジュール１４０は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理するための実行可能命令を含む。画像管理モジュール１４４と共に、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを、非常に容易にする。
【００６５】
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と関連して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する文字列を入力したり、入力済みの文字を修正したり、対応するインスタントメッセージを送信したり（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用して）、インスタントメッセージを受信して、受信したインスタントメッセージを表示したりするための実行可能命令を含む。いくつかの実施形態では、送信及び／又は受信されたインスタントメッセージは、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるように、グラフィック、写真、オーディオファイル、ビデオファイル、及び／又は他の添付を、任意選択的に、含む。本明細書では、「インスタントメッセージング」とは、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されたメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されたメッセージ）の両方を意味する。
【００６６】
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、及び音楽再生ジュール１４６と関連して、トレーニングサポートモジュール１４２は、トレーニングを作成したり（例えば、時間、距離、及び／又はカロリー消費目標に関して）、トレーニングセンサ（スポーツデバイス）と通信したり、トレーニングセンサデータを受信したり、トレーニングを監視するために用いられるセンサを較正したり、トレーニングのための音楽を選択して再生したり、トレーニングデータを表示、記憶、送信したりするための実行可能命令を含む。
【００６７】
タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ（１つ又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と関連して、カメラモジュール１４３は、静止画像又はビデオ（ビデオストリームを含む）をキャプチャしてメモリ１０２にそれらを記憶したり、静止画像又はビデオの特徴を変更したり、又はメモリ１０２から静止画像若しくは動画を削除したりするための実行可能命令を含む。
【００６８】
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と関連して、画像管理モジュール１４４は、静止画像及び／又はビデオを配置し、修正し（例えば、編集し）、また別の方法で操作し、ラベルを付け、削除し、提示し（例えば、デジタルスライドショー又はアルバム内で）、並びに記憶したりするための実行可能命令を含む。
【００６９】
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と関連して、ブラウザモジュール１４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付け、受信し、表示することを含むユーザの指示に従い、インターネットをブラウズするための実行可能命令を含む。
【００７０】
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と関連して、カレンダモジュール１４８は、ユーザの指示に従い、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダ項目、Ｔｏ  Ｄｏリストなど）を作成し、表示し、変更し、記憶するための実行可能命令を含む。
【００７１】
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と共に、ウィジェットモジュール１４９は、ユーザによって任意選択的にダウンロードされ、使用されるミニアプリケーション（例えば、気象ウィジェット１４９−１、株式ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、及び辞書ウィジェット１４９−５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９−６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Extensible Markup Language、拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔ（登録商標）ファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
【００７２】
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と共に、ウィジェット作成モジュール１５０は、ウィジェットを作成する（例えば、ウェブページのユーザ指定箇所をウィジェットに変える）ために、ユーザによって任意選択的に使用される。
【００７３】
タッチスクリーン１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と関連して、検索モジュール１５１は、ユーザの指示に従い、１つ以上の検索判断基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ１０２内のテキスト、音楽、音、画像、ビデオ、及び／又は他のファイルを検索するための実行可能命令を含む。
【００７４】
タッチスクリーン１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と関連して、ビデオ及び音楽再生モジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽又は他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能命令、並びにビデオを表示、提示、又は別の方法で再生する（タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）ための実行可能命令を含む。いくつかの実施形態では、デバイス１００は、ｉＰｏｄ（Ａｐｐｌｅ  Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能性を、任意選択的に含む。
【００７５】
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と共に、メモモジュール１５３は、ユーザの指示に従って、メモ、Ｔｏ  Ｄｏリストなどを作成及び管理するための、実行可能命令を含む。
【００７６】
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と共に、地図モジュール１５４は、ユーザの指示に従って、地図、及び地図に関連付けられたデータ（例えば、運転方向、特定の場所若しくはその付近の店舗及び関心対象の他の地点についてのデータ、並びに場所に基づく他のデータ）を受信し、表示し、修正し、記憶するために、任意選択的に使用される。
【００７７】
タッチスクリーン１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と関連して、オンラインビデオモジュール１５５は、ユーザがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、ブラウズし、受信し（例えば、ストリーミング及び／又はダウンロードにより）、再生し（例えば、タッチスクリーン上で又は外部ポート１２４を介して接続された外部のディスプレイ上で）、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理できるようにする命令を含む。いくつかの実施形態では、電子メールクライアントモジュール１４０ではなく、インスタントメッセージモジュール１４１が、特定のオンラインビデオへのリンクを送信するために用いられる。
【００７８】
上記で識別されたモジュール及びアプリケーションのそれぞれは、１つ又はそれ以上の上記の機能を実行するための実行可能命令セット及び本出願に記載の方法（例えば、コンピュータにより実行される方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（すなわち、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において、任意選択的に、組み合わせ、又は再配置される。いくつかの実施形態では、メモリ１０２は、上記で特定されたモジュール及びデータ構造のサブセットを、任意選択的に記憶する。更に、メモリ１０２は、上述されていない追加のモジュール及びデータ構造を、任意選択的に、記憶する。
【００７９】
いくつかの実施形態では、デバイス１００は、デバイス上の機能の既定のセットの動作が排他的にタッチスクリーン及び／又はタッチパッドを介して実行されるデバイスである。デバイス１００の動作に関する主要な入力制御デバイスとして、タッチスクリーン及び／又はタッチパッドを使用することによって、デバイス１００上の物理入力制御デバイス（プッシュボタン、ダイアルなど）の数が、任意選択的に低減される。
【００８０】
排他的にタッチスクリーン及び／又はタッチパッドを介して実行される、既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされると、デバイス１００上に表示されている任意のユーザインタフェースから、メイン、ホーム、又はルートメニューへと、デバイス１００をナビゲートする。そのような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又は他の物理入力制御デバイスである。
【００８１】
図１Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ内）又は３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）及び対応するアプリケーション１３６−１（例えば、上述のアプリケーション１３７〜１３、１５５、及び３８０〜３９０のいずれか）を含む。
【００８２】
イベントソータ１７０は、イベント情報を受信し、そのイベント情報の配信先となる、アプリケーション１３６−１、及びアプリケーション１３６−１のアプリケーションビュー１９１を決定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６−１は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイ１１２上に表示される現在のアプリケーションビュー（１つ又は複数）を示す、アプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、いずれのアプリケーションが現在アクティブであるかを判定するために、イベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報の配信先となるアプリケーションビュー１９１を決定するために、イベントソータ１７０によって使用される。
【００８３】
いくつかの実施形態では、アプリケーション内部状態１９２は、追加情報として、例えば、アプリケーション１３６−１が実行を再開する際に用いられる再開情報、アプリケーション１３６−１により表示されている又は表示の準備ができている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション１３６−１の以前の状態又はビューに戻ることを可能にするための状態の待ち行列、及びユーザが以前にとったアクションのやり直し／アンドゥーの待ち行列のうちの１つ以上を含む。
【００８４】
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ１１２上のユーザタッチ）の情報を含む。周辺機器インタフェース１１８は、入出力サブシステム１０６又は（オーディオ回路１１０を介して）近接センサ１６６、加速度計（１つ又は複数）１６８、及び／若しくはマイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
【００８５】
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。これに応じて、周辺機器インタフェース１１８は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を超える、及び／又は所定時間以上の入力を受け取ること）がある場合にのみイベント情報を送信する。
【００８６】
いくつかの実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３も含む。
【００８７】
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が１つ以上のビューを表示した際に、１つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手続きを提供する。ビューは、ユーザがディスプレイ上で見ることが可能な、コントロール及び他の要素で構成される。
【００８８】
アプリケーションに関連付けられるユーザインタフェースの別の態様は、本明細書では、アプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合がある、ビューのセットであり、それらの中で、情報が表示され、タッチに基づくジェスチャが実施される。タッチが検出される（対応するアプリケーションの）アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに、任意選択的に、対応する。例えば、タッチが検出される最低レベルのビューは、任意選択的に、ヒットビューと呼ばれ、適切な入力として認識されるイベントのセットは、少なくとも部分的に、タッチベースのジェスチャを開始する最初のタッチのヒットビューに基づいて、任意選択的に、判定される。
【００８９】
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが、階層として編成された複数のビューを有する場合、ヒットビュー判定モジュール１７２は、サブイベントを処理するべき階層内の最下位のビューとして、ヒットビューを特定する。殆どの状況では、ヒットビューは、開始サブイベント（すなわち、イベント又は潜在的なイベントを形成するサブイベントのシーケンス内の、最初のサブイベント）が発生する、最下位レベルのビューである。ヒットビューが、ヒットビュー判定モジュールによって特定されると、そのヒットビューは、典型的には、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連する、全てのサブイベントを受信する。
【００９０】
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（１つ又は複数）がサブイベントの特定のシーケンスを受け取るべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信するべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理的なロケーションを含む全てのビューはアクティブに関わっているビューであると判定し、したがって、全てのアクティブに関わっているビューは、サブイベントの特定のシーケンスを受信するべきであると判定する。他の実施形態では、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューはアクティブに関わっているビューのままであるであろう。
【００９１】
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えば、イベント認識部１８０）に送信する。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、対応するイベント受信部モジュール１８２により取得されるイベント情報をイベント待ち行列内に記憶する。
【００９２】
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６−１が、イベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、スタンドアロンモジュール、又は接触／動きモジュール１３０などのメモリ１０２に記憶された他のモジュールの一部である。
【００９３】
いくつかの実施形態では、アプリケーション１３６−１は、そのアプリケーションのユーザインタフェースの各ビュー内で発生するタッチイベントを処理するための命令をそれぞれが含む、複数のイベントハンドラ１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６−１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、各アプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット（図示せず）又はアプリケーション１３６−１が方法及び他の性質を継承する上位レベルのオブジェクトなど、別個のモジュールの一部である。いくつかの実施形態では、対応するイベントハンドラ１９０は、データアップデータ１７６、オブジェクトアップデータ１７７、ＧＵＩアップデータ１７８、及び／又はイベントソータ１７０から受信したイベントデータ１７９のうちの１つ以上を含む。イベントハンドラ１９０は、アプリケーション内部状態１９２を更新するために、任意選択的に、データアップデータ１７６、オブジェクトアップデータ１７７、又はＧＵＩアップデータ１７８を利用するか、若しくは呼び出す。あるいは、アプリケーションビュー１９１のうちの１つ以上は、１つ以上の対応するイベントハンドラ１９０を含む。また、いくつかの実施形態では、データアップデータ１７６、オブジェクトアップデータ１７７、及びＧＵＩアップデータ１７８のうちの１つ以上が、対応するアプリケーションビュー１９１内に含まれる。
【００９４】
各イベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信して、そのイベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及び（サブイベント配信命令を任意選択的に含む）イベント配信命令１８８の、少なくともサブセットも含む。
【００９５】
イベント受信部１８２は、イベントソータ１７０よりイベント情報を受信する。イベント情報は、例えば、タッチ又はタッチの移動などのサブイベントの情報を含む。サブイベントによっては、イベント情報は、サブイベントの場所などの追加情報をもまた含む。サブイベントが、タッチの動きに関係する場合、イベント情報はまた、そのサブイベントの速度及び方向も任意選択的に含む。いくつかの実施形態では、イベントは、ある方向から別の方向へ（例えば、縦長の向きから横長の向きへ、又はその逆）のデバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ばれる）についての対応する情報を含む。
【００９６】
イベント比較部１８４は、イベント情報を既定のイベント又はサブイベントの定義と比較し、その比較により、イベント若しくはサブイベントを判定、又はイベント若しくはサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えば、イベント１（１８７−１）、イベント２（１８７−２）などの、イベントの定義（例えば、サブイベントの既定のシーケンス）を含む。いくつかの実施形態では、イベント１８７内のサブイベントは、例えば、タッチ開始、タッチ終了、タッチの移動、タッチの中止、及び複数のタッチを含む。一実施例では、イベント１（１８７−１）に関する定義は、表示オブジェクト上でのダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の所定の段階についての第１のタッチ（タッチ開始）、所定の段階についての第１のリフトオフ（タッチ終了）、表示されたオブジェクト上の所定の段階についての第２のタッチ（タッチ開始）、及び所定の段階についての第２のリフトオフ（タッチ終了）を含む。別の実施形態では、イベント２（１８７−２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、表示されたオブジェクト上の所定の段階についてのタッチ（又は接触）、タッチ感知ディスプレイ１１２にわたるタッチの移動、及びタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントは、１つ以上の関連するイベントハンドラ１９０についての情報も含む。
【００９７】
いくつかの実施形態では、イベント定義１８７は、対応するユーザインタフェースオブジェクト用のイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、サブイベントに関連付けられたユーザインタフェースオブジェクトを判定するヒットテストを実行する。例えば、３つのユーザインタフェースオブジェクトがタッチ感知ディスプレイ１１２に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定するためのヒットテストを行う。表示されたそれぞれのオブジェクトが、対応するイベントハンドラ１９０に関連付けられている場合、イベント比較部はヒットテストの結果を用いて、アクティブにする必要のあるイベントハンドラ１９０を判定する。例えば、イベント比較部１８４は、サブイベント及びヒットテストのトリガーとなるオブジェクトに関連付けられたイベントハンドラを選択する。
【００９８】
いくつかの実施形態では、各イベント１８７に関する定義はまた、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の配信を遅延させる、遅延作用も含む。
【００９９】
対応するイベント認識部１８０が、一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判定した場合、対応するイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチベースのジェスチャの後続のサブイベントを無視する。この状況では、もしあれば、ヒットビューについてアクティブのままである他のイベント認識部は、進行中のタッチベースのジェスチャのサブイベントの追跡及び処理を続行する。
【０１００】
いくつかの実施形態では、対応するイベント認識部１８０は、構成可能なプロパティ、フラグ、及び／又はイベント配信システムがアクティブに関わっているイベント認識部にどのようにサブイベント配信を実行するかについて示すリストを持つメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように相互作用するか、又は相互作用することが可能になるかを示す、構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、構成可能なプロパティ、フラグ、及び／又はサブイベントがビュー階層又はプログラム階層内の様々なレベルに配信されるかどうかを示すリストを含む。
【０１０１】
いくつかの実施形態では、対応するイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されたときに、イベントに関連付けられたイベントハンドラ１９０をアクティブにする。いくつかの実施形態では、対応するイベント認識部１８０は、イベントハンドラ１９０に、イベントに関連付けられたイベント情報を配信する。イベントハンドラ１９０をアクティブ化することと、対応するヒットビューにサブイベントを送信（及び送信を延期する）することとは、区別される。いくつかの実施形態では、イベント識別部１８０は、認識されたイベントに関連付けられたフラグをスローし、フラグに関連付けられたイベントハンドラ１９０はフラグをキャッチし、既定の処理を実行する。
【０１０２】
いくつかの実施形態では、イベント配信命令１８８は、イベントハンドラをアクティブ化せずにサブイベントに関するイベント情報を配信するサブイベント配信命令を含む。その代わりに、サブイベント配信命令は、一連のサブイベントに関連したイベントハンドラ又はアクティブに関わっているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関わっているビューに関連付けられているイベントハンドラは、イベント情報を受信し、所定の処理を実行する。
【０１０３】
いくつかの実施形態では、データアップデータ１７６は、アプリケーション１３６−１で使用されるデータを作成及び更新する。例えば、データアップデータ１７６は、連絡先モジュール１３７で使用される電話番号を更新したり、ビデオ再生モジュール１４５で使用されるビデオファイルを記憶したりする。いくつかの実施形態では、オブジェクトアップデータ１７７は、アプリケーション１３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデータ１７６は、新たなユーザインタフェースオブジェクトを作成したり、ユーザインタフェースオブジェクトの位置を更新したりする。ＧＵＩアップデータ１７８は、ＧＵＩを更新する。例えば、ＧＵＩアップデータ１７８は、表示情報を準備し、その表示情報を、タッチ感知ディスプレイ上に表示するために、グラフィックモジュール１３２に送信する。
【０１０４】
いくつかの実施形態では、イベントハンドラ１９０は、データアップデータ１７６、オブジェクトアップデータ１７７、及びＧＵＩアップデータ１７８を含むか、若しくはそれらに対するアクセスを有する。いくつかの実施形態では、データアップデータ１７６、オブジェクトアップデータ１７７、及びＧＵＩアップデータ１７８は、対応するアプリケーション１３６−１又はアプリケーションビュー１９１の１つのモジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
【０１０５】
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の論考はまた、入力デバイスを使用して多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことが理解されよう。例えば、単一又は複数のキーボードの押圧若しくは保持に任意選択的に対応する、マウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭指示、検出される眼球移動、バイオメトリック入力、並びに／あるいは、これらの任意の組み合わせが、認識するべきイベントを定義する、サブイベントに対応する入力として、任意選択的に利用される。
【０１０６】
図２は、いくつかの実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す図である。このタッチスクリーンは、ユーザインタフェース（ＵＩ）２００内に、１つ以上のグラフィックを任意選択的に表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には正確な縮尺では描かれていない）又は１つ以上のスタイラス２０３（図には正確な縮尺では描かれていない）を使用して、グラフィック上でジェスチャを実施することによって、グラフィックのうちの１つ以上を選択することが可能となる。いくつかの実施形態では、ユーザが１つ以上のグラフィックとの接触を断った際に、１つ以上のグラフィックの選択が生じる。いくつかの実施形態では、ジェスチャは、１回以上のタップ、１回以上の（左から右、右から左、上方向、及び／又は下方向への）スワイプ、及び／又は、デバイス１００と接触した（右から左、左から右、上方向、及び／又は下方向への）指のローリングを、任意選択的に含む。いくつかの実装又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスワイプするスワイプジェスチャは、対応するアプリケーションを、任意選択的に、選択しない。
【０１０７】
デバイス１００はまた、「ホーム」又はメニューボタン２０４などの、１つ以上の物理ボタンも任意選択的に含む。前述のように、メニューボタン２０４は、デバイス１００上で任意選択的に実行されるアプリケーションのセット内の任意のアプリケーション１３６にナビゲートするために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン１１２に表示されたＧＵＩにおけるソフトキーとして実装されている。
【０１０８】
一実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をオン／オフし、デバイスをロックするためのプッシュボタン２０６、音量調節ボタン２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電外部ポート１２４を含む。プッシュボタン２０６は、ボタンを押し下げて、既定の時間間隔にわたってボタンを押し下げられた状態で保持することによって、デバイス上の電源をオン／オフし、ボタンを押し下げて、既定の時間間隔が経過する前にボタンを解放することによって、デバイスをロックし、かつ／又は、デバイスをロック解除するか、若しくはロック解除プロセスを開始するために、任意選択的に使用される。代替的実施形態では、デバイス１００はまた、マイクロフォン１１３を介して、一部の機能のアクティブ化又は停止に関する口頭入力も受け入れる。デバイス１００はまた、タッチスクリーン１１２上の接触の強度を検出するための、１つ以上の接触強度センサ１６５、及び／又は、デバイス１００のユーザに対する触知出力を生成するための、１つ以上の触知出力生成器１６７も、任意選択的に含む。
【０１０９】
図３は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブルでなくてもよい。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は産業用コントローラ）である。デバイス３００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク又は他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続するための１つ以上の通信バス３２０を含む。通信バス３２０は、システム構成要素間の通信を相互接続及び制御する回路（チップセットと称することがある）を、任意選択的に含む。デバイス３００は、典型的にはタッチスクリーンディスプレイである、ディスプレイ３４０を備える、入出力（Ｉ／Ｏ）インタフェース３３０を含む。Ｉ／Ｏインタフェース３３０はまた、キーボード及び／又はマウス（又は他のポインティングデバイス）３５０並びにタッチパッド３５５、デバイス３００上に触知出力を生成するための（例えば、図１Ａを参照して上述された触知出力生成器１６７と同様の）触知出力生成器３５７、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図１Ａを参照して上述された接触強度センサ１６５と同様の接触強度センサ）も、任意選択的に含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ  ＲＡＭ、又は他のランダムアクセス半導体メモリデバイスなどの、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体記憶デバイスなどの、不揮発性メモリを含む。メモリ３７０は、ＣＰＵ（１つ又は複数）３１０からは離れて位置する１つ以上の記憶デバイスを、任意選択的に、含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、及びデータ構造に類似する、プログラム、モジュール、及びデータ構造、又はそれらのサブセットを記憶する。更には、メモリ３７０は、ポータブル多機能デバイス１００のメモリ１０２内には存在しない、追加的なプログラム、モジュール、及びデータ構造を、任意選択的に記憶する。例えば、デバイス３００のメモリ３７０は、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を任意選択的に記憶するが、その一方で、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、これらのモジュールを任意選択的に記憶しない。
【０１１０】
上記で特定された図３の要素のそれぞれは、任意選択的に、前述のメモリデバイスのうちの１つ以上に記憶される。上記で識別されたモジュールのうちのそれぞれは、上述した機能を実行するための命令セットに対応する。上述の識別されたモジュール又はプログラム（すなわち、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされるか、又は別の方法で再配置される。いくつかの実施形態において、メモリ３７０は、上述の識別されたモジュール及びデータ構造のサブセットを、任意選択的に記憶する。更に、メモリ３７０は、上述されていない追加のモジュール及びデータ構造を、任意選択的に記憶する。
【０１１１】
ここで、ポータブル多機能デバイス１００上に任意選択的に実装される、ユーザインタフェース（「ＵＩ」）の実施形態に注意を向ける。
【０１１２】
図４Ａは、いくつかの実施形態に係る、ポータブル多機能デバイス１００におけるアプリケーションのメニューのための例示的なユーザインタフェースを示す。同様のユーザインタフェースが、任意選択的に、デバイス３００上に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●以下のものなどを含むステータスバー４０１。
○セルラー及びＷｉ−Ｆｉ信号などの無線通信（１つ又は複数）のための信号強度インジケータ（１つ又は複数）４０２、
○時刻４０４、
○Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ４０５、
○バッテリ状態インジケータ４０６、
●下記などの、頻繁に使用されるアプリケーション用のアイコンを含むトレイ４０８、
○不在着信又は音声メールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされる、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされる、ブラウザモジュール１４７用のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（Ａｐｐｌｅ  Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽再生モジュール１５２用のアイコン４２２、並びに
●下記などの、その他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされる、ＩＭモジュール１４１用のアイコン４２４、
○「カレンダ」とラベル付けされる、カレンダモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされる、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされる、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール１５５用のアイコン４３２、
○「株式」とラベル付けされる、株式ウィジェット１４９−２用のアイコン４３４、
○「地図」とラベル付けされる、地図モジュール１５４用のアイコン４３６、
○「気象」とラベル付けされる、気象ウィジェット１４９−１用のアイコン４３８、
○「時計」とラベル付けされる、アラーム時計ウィジェット１４９−４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされる、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、設定アプリケーション若しくはモジュール用のアイコン４４６。
【０１１３】
図４Ａに示すアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽再生モジュール１５２用のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、対応するアプリケーションアイコンに関するラベルは、対応するアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンに関するラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
【０１１４】
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を備えるデバイス（例えば、図３のデバイス３００）上の、例示的なユーザインタフェースを示す。デバイス３００はまた、タッチ感知面４５１上の接触の強度を検出するための、１つ以上の接触強度センサ（例えば、センサ３５７のうちの１つ以上）、及び／又はデバイス３００のユーザに対する触知出力を生成するための、１つ以上の触知出力生成器３５９を含む。
【０１１５】
以下の実施例のうちのいくつかは、タッチスクリーンディスプレイ１１２上の入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して説明されるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイとは別個のタッチ感知面上で入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂの４５３）に対応する主軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上の対応する場所に対応する場所（例えば、図４Ｂにおいて、４６０は４６８と対応し、４６２は４７０と対応する）でのタッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このように、タッチ感知面がディスプレイとは別個のものであるとき、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されたユーザ入力（例えば、接触４６０及び４６２、並びにそれらの移動）は、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに、任意選択的に使用されることを理解されたい。
【０１１６】
更には、以下の説明は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ）を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスベースの入力又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、（例えば、接触の代わりに）マウスクリックで置き換えられ、その後、（例えば、接触の移動の代わりに）スワイプの経路に沿ってカーソルの移動が行われる。別の実施例として、タップジェスチャは、（例えば、接触の検出に続いて接触の検出を停止する代わりに）カーソルがタップジェスチャの場所に配置される間、任意選択的に、マウスクリックで置き換えられる。同様に、複数のユーザ入力が同時に検出される場合、複数のコンピュータマウスが任意選択的に同時に使用されるか、又は、マウスと指の接触とが任意選択的に同時に使用されることを理解されたい。
ユーザインタフェース及び関連プロセス
【０１１７】
デバイス３００又はポータブル多機能デバイス１００などの、ディスプレイ及びタッチ感知面を有する電子デバイスに実装することができるユーザインタフェース（「ＵＩ」）及び関連処理の実施形態に注目を向ける。
【０１１８】
図５Ａ〜図５Ｇは、いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。これらの図のユーザインタフェースは、図９Ａ〜９Ｇのプロセスを含めた、以下で説明されるプロセスを例示するために使用される。
【０１１９】
図５Ａは、タッチスクリーンディスプレイ１１２上に表示された例示的なユーザインタフェース５０２を示す。ユーザインタフェース５０２は、コンテンツ（例えば、デジタル画像及び／又は他のグラフィック）を含む。半透明キーボード５１８は、ディスプレイの既定の領域５０４内に表示される。
【０１２０】
図５Ｂは、既定の領域５０４に対応する第１のコンテンツ５０６を示す。デバイスは、第１のコンテンツ５０６のコンテンツ表示特性を決定する。
【０１２１】
図６は、いくつかの実施形態に係る、コントロールが表示される領域内のコンテンツに対して決定されるコンテンツ表示特性の値の例示的な予想セットの概要を示す図である。例えば、デバイスは、領域５０４に対応する第１のコンテンツ５０６に対する色相、彩度、輝度、及びコントラストの値を決定する。
【０１２２】
デバイスは、第１のコンテンツ５０６のコンテンツ表示特性に対して決定された値に基づき、キーボード５１８のコントロール外観パラメータに対する値を決定する。明確化のために言えば、本明細書及び特許請求の範囲で用いられている「に基づき（based on）」は、「少なくとも部分的に基づき（based at least in part on）」を意味する。例えば、デバイスは、コントロールがその上に表示されるディスプレイ領域内のコンテンツのコンテンツ表示特性に対して決定された値に少なくとも部分的に基づき、コントロールのコントロール外観パラメータに対する値を決定する。コントロールのコントロール外観パラメータに対して決定された値は、任意選択的に、コントロールがその上に表示されるディスプレイ領域内のコンテンツのコンテンツ表示特性に対して決定された値だけでなく、追加の要因に基づく。
【０１２３】
図７は、いくつかの実施形態に係る、補間を介してコントロール外観値を決定するために用いられ得る、コントロール外観値の対応する既定のセットに割り当てられた、コンテンツ表示値の既定の予想セットの概要を示す図である。
【０１２４】
図８は、いくつかの実施形態に係る、コントロールに対するコントロール外観パラメータの値の例示的な予想セットの概要を示す図である。
【０１２５】
いくつかの実施形態では、デバイスは、ぼかし半径、彩度調整、白オーバレイの不透明度、黒オーバレイの不透明度、キーボード５１８内のユーザインタフェース要素の不透明度、及び／又はキーボード５１８内のテキストの色に対する値（例えば、図８）を決定するために、コンテンツ表示値（例えば、図７）のコントロール外観値への事前マッピングを用いる。
【０１２６】
図５Ａにおけるキーボード５１８の外観は、第１のコンテンツ５０６と、ぼかし半径、彩度調整、白オーバレイの不透明度、黒オーバレイの不透明度、キーボード５１８内のユーザインタフェース要素の不透明度、及び／又はキーボード５１８内のテキストの色に対して決定されたコントロール外観値の第１のセットと、に基づく。例えば、図５Ａにおいて、領域５０４内の第１のコンテンツ５０６は、（図５Ａ及び図５Ｂを比較するとわかるように）ぼかし半径に対する値に従ってぼかされており、テキストの色は白である。いくつかの実施形態では、領域５０４内の第１のコンテンツ５０６をぼかすことは、その全体が参照により本明細書に組み込まれる、２０１２年２月３日出願の「Ｒｅｅｎｔｒａｎｔ  Ｗｉｎｄｏｗ  Ｍａｎａｇｅｒ」と題された米国仮出願第１３／３６６，１８１号で説明されているように、再入可能（reentrant）ウィンドウマネージャを用いて実施される。
【０１２７】
図５Ａは、２つの異なるジェスチャ５１０及び５１２も示し、これらのうちのそれぞれが、図５Ａ内のデジタル画像の並進移動を生じさせ、その結果、デジタル画像の新しい部分がユーザインタフェース５０２内に表示される。スワイプジェスチャ５１０は、図５Ｃに示されたデジタル画像の部分へ、デジタル画像を並進移動させる。スワイプジェスチャ５１２は、図５Ｄ〜図５Ｆに示されたデジタル画像の部分へ、デジタル画像を並進移動させる。
【０１２８】
図５Ｃでは、領域５０４（キーボード５１８が配置されている場所）に対応するコンテンツが、第１のコンテンツ５０６から第２のコンテンツ５０８−１へと変化している。デバイスは、コンテンツ内のこの変化を検出し、第２のコンテンツ５０８−１に対するコンテンツ表示値の第２のセットを決定する。更に、デバイスは、コントロール外観値の第２のセットを決定し、第２のコンテンツ５０８−１及びコントロール外観値の第２のセットに従って、キーボード５１８の外観を変更する。この実施例では、キーボード５１８はキー上に依然として白いテキストを表示するが、ぼかし半径の値はより小さいため、第２のコンテンツ５０８−１のぼやけ具合は（第１のコンテンツ５０６に比べて）弱くなる。
【０１２９】
図５Ｄは、コンテンツが任意選択的に、コントロール外観値の変化よりも速く移動することを示す。図５Ｄでは、領域５０４（キーボード５１８が配置されている場所）に対応するコンテンツは、第１のコンテンツ５０６から第２のコンテンツ５０８−２へと変化している。領域５０４に対応するコンテンツが、第１のコンテンツ５０６から第２のコンテンツ５０８−２へと変化したため、キーボード５１８の外観は変化している。ただし、この実施例では、デバイスがまだコントロール外観値の第２のセットを決定又は適用していないため、代わりにコントロール外観値の第１のセットが適用される。
【０１３０】
図５Ａ、図５Ｅ及び図５Ｆは、白いキーを有するキーボード５１８（図５Ａ）から黒いキーを有するキーボード５１８（図５Ｆ）への変化が、任意選択的に、白いキーを有する中間キーボード５１８、及びコンテンツ５０８−２（図５Ｅ）のコンテンツ表示値に基づく、コントロール外観値の更新されたセットを経由して発生することを示す。図５Ｅでは、領域５０４（キーボード５１８が配置されている場所）に対応するコンテンツは、第１のコンテンツ５０６から第２のコンテンツ５０８−２へと変化している。デバイスは、コンテンツ内のこの変化を検出し、第２のコンテンツ５０８−２に対するコンテンツ表示値の第２のセットを決定する。更に、デバイスは、コントロール外観値の対応する更新されたセットを決定し、第２のコンテンツ５０８−１及びコントロール外観値の更新されたセットに従って、キーボード５１８の外観を変更する。この実施例では、キーボード５１８は依然として、（図５Ｆにおけるキーへの黒いテキストの表示に切り替える前に）図５Ｅにおいてキー上に白いテキストを表示するが、図５Ｅのキーボードの外観は、図５Ｄのキーボード５１８の外観と異なる。図５Ｅのキーボードは、コンテンツ５０８−２（図５Ｅ）に対するコンテンツ表示値に基づく、コントロール外観値の更新されたセットを用いるのに対し、図５Ｄのキーボードは、コントロール外観値の第１のセットを用いる。コントロール外観値の更新されたセットを用いることによって、図５Ｅのキーボード５１８は図５Ｄのキーボードよりも見やすくなる。
【０１３１】
図５Ｆでは、領域５０４（キーボード５１８が配置されている場所）に対応するコンテンツは、第１のコンテンツ５０６から第２のコンテンツ５０８−２へと変化している。デバイスは、コンテンツ内のこの変化を検出し、第２のコンテンツ５０８−２に対するコンテンツ表示値の第２のセットを決定する。更に、デバイスは、コントロール外観値の第２のセットを決定し、第２のコンテンツ５０８−２及びコントロール外観値の第２のセットに従って、キーボード５１８の外観を変更する。この実施例では、キーボード５１８はキー上に黒いテキストを表示し（例えば、５０８−２のコンテンツがより明るいため）、他のコントロール外観値も、図５Ａのキーボードに対するものから変化している。
【０１３２】
黒いキーを有するキーボードを表示する前に、コントロール外観値の対応する更新されたセットに基づき、白いキーを有する中間キーボードが表示される（例えば、図５Ｆのキーボードの前に図５Ｅのキーボードが表示されるとき）実施形態では、（図５Ｆの黒いテキストを有するキーボードに対する）コントロール外観値の第２のセットは、典型的には、（図５Ｅの白いテキストを有するキーボードに対する）コントロール外観値の更新されたセットと異なるコントロール外観値を含み、この差異は、文字色の値が白から黒へと変更されるだけにとどまらない。即ち、コンテンツ表示値の同じセットについては、黒いテキストを有するキーボードに対するコントロール外観値は、典型的には、白いテキストを有するキーボードに対するコントロール外観値と異なる。これは、黒いテキストを有するキーボードを見やすく、かつ使いやすくするために必要なぼかし、彩度調整、不透明度などの量が、典型的には、白いテキストを有するキーボードを見やすく、かつ使いやすくするために必要なぼかし、彩度調整、不透明度などの量と異なるためである。いくつかの実施形態では、黒いテキストを有するキーボードに対して調整されたコントロール外観パラメータのセットは、白いテキストを有するキーボードに対して調整されたコントロール外観パラメータのセットと異なる。
【０１３３】
いくつかの実施形態では、暗いコントロールに対して調整されたコントロール外観パラメータのセットは、明るいコントロールに対して調整されたコントロール外観パラメータのセットと異なる。
【０１３４】
いくつかの実施形態では、暗いコントロールが、コントロール要素オーバレイ及び黒オーバレイを含むいくつかの層を、第１のコンテンツの上に積み重ねる（合成する）ことによって作成される。黒オーバレイは、第１のコンテンツを不明瞭にし、かつ高い不透明度（例えば、ＲＧＢＡ＝１０〜４０、１０〜４０、１０〜４０、６０〜８０）を有する。第１のコンテンツはぼかされ（例えば、ぼかし半径＝１０〜３０ｐｔｓ）、かつその彩度は増加する（例えば、２０〜４０％増）。いくつかの実施形態では、暗いコントロールに対するコントロール外観値は、第１のコンテンツに対するコンテンツ表示値に依存しない。
【０１３５】
いくつかの実施形態では、明るいコントロールが、コントロール要素オーバレイ、白オーバレイ及び色オーバレイを含むいくつかの層を、第１のコンテンツの上に積み重ねる（合成する）ことによって作成される。白オーバレイは任意選択的に、高い白レベル（例えば、９０〜１００％）及び低い不透明度（例えば、２０〜４０％）を有する。色オーバレイは任意選択的に、第１のコンテンツに対するコンテンツ表示値に基づく色を有する。例えば、色オーバレイの色相は、以下で動作９２３Ａを参照してより一般的に説明されるように、第１のコンテンツの平均色相であり、色オーバレイの彩度は、以下で動作９２３Ｂを参照してより一般的に説明されるように、コンテンツの平均彩度の百分率（例えば、７０〜９０％）であり、かつ輝度は低い（例えば、２０〜４０％）。色オーバレイは、非常に低い不透明度（例えば、５〜１５％）を有する。第１のコンテンツはぼかされ（例えば、ぼかし半径＝２０〜４０ｐｔｓ）、かつその彩度は大幅に増加する（例えば、５０〜９０％増）。
【０１３６】
いくつかの実施形態では、更に明るいコントロールが、コントロール要素オーバレイ及び白オーバレイを含み、かつ色オーバレイを含まないいくつかの層を、第１のコンテンツの上に積み重ねる（合成する）ことによって作成される。白オーバレイは任意選択的に、高い白レベル（例えば、９０〜１００％）、及び第１のコンテンツに対するコンテンツ表示値に依存する不透明度を有する。例えば、不透明度はデフォルト値（例えば、７０〜９０％）を有するが、不透明度値は、以下のときに最大値まで増加する（例えば、９０〜１００％）。（１）以下で動作９２３Ｃを参照してより一般的に説明されるように、第１のコンテンツの平均輝度が閾値を上回って増加したとき（例えば、第１のコンテンツの平均輝度が８６％を上回る各百分率に対して１〜２％を加算する）、（２）以下で動作９２３Ｃを参照してより一般的に説明されるように、第１のコンテンツの平均輝度が閾値を下回って減少したとき（例えば、第１のコンテンツの平均輝度が２０％を下回る各百分率に対して１〜２％を加算する）、又は（３）以下で動作９２３Ｄを参照してより一般的に説明されるように、第１のコンテンツの平均彩度が閾値を上回って増加したとき（例えば、第１のコンテンツの平均彩度が７０％を上回る各百分率に対して１〜２％を加算する）。第１のコンテンツはぼかされ（例えば、ぼかし半径＝１０〜４０ｐｔｓ）、かつその彩度は増加する（例えば、５０〜９０％増）。
【０１３７】
いくつかの実施形態では、色付きコントロールが、コントロール要素オーバレイ、白オーバレイ及び色オーバレイを含むいくつかの層を、第１のコンテンツの上に積み重ねることによって作成される。色オーバレイは、任意の色であってもよく、かつ非常に高い不透明度（例えば、７０〜９０％）を有する。白オーバレイは、高い白レベル（例えば、９０〜１００％）、及び第１のコンテンツに対するコンテンツ表示値に依存する不透明度を有する。例えば、１〜２％の不透明度が、（１）以下で動作９２３Ｃを参照してより一般的に説明されるように、第１のコンテンツの平均輝度が閾値（例えば、４０〜６０％）を下回る各百分率に対して、及び（２）以下で動作９２３Ｄを参照してより一般的に説明されるように、第１のコンテンツの平均彩度が閾値（例えば、６０〜８０％）を上回る各百分率に対して、加算される。第１のコンテンツはぼかされ（例えば、ぼかし半径＝１０〜３０ｐｔｓ）、かつその彩度は大幅に増加する（例えば、５０〜１００％増）。
【０１３８】
図５Ｆは、デバイスに図５Ｆのデジタル画像をズームアウト（縮小）させ、その結果、図５Ｇに示されるように、デジタル画像の新しい部分がユーザインタフェース５０２内に表示される、ピンチジェスチャ５１４も示す。
【０１３９】
図５Ｇでは、領域５０４（キーボード５１８が配置されている場所）に対応するコンテンツは、第１のコンテンツ５０８−２から第２のコンテンツ５１６へと変化している。デバイスは、コンテンツ内のこの変化を検出し、コンテンツ５１６に対するコンテンツ表示値の新しいセットを決定する。更に、デバイスは、コントロール外観値の新しいセットを決定し、コンテンツ５１６及びコントロール外観値の新しいセットに従って、キーボード５１８の外観を変更する。この実施例では、キーボード５１８が黒いテキストの表示から白いテキストの表示へと（例えば、５１６のコンテンツがより暗いため）変化し、かつ他のコントロール外観値も変化する。
【０１４０】
いくつかの実施形態では、半透明コントロール及び他の種類の半透明ユーザインタフェース要素は、互いの上に積み重ねられる。例えば、図５Ｈでは、ボタン２０８が押されたときに、半透明着信音量調整インジケータ５２０が半透明キーボード５１８の上に表示される。いくつかの実施形態では、下部の半透明要素内のコントロール要素は上部の半透明要素の下に表示されず、これにより、視覚的な乱れが緩和され、上部の半透明要素が見やすくなる。例えば、図５Ｈでは、キーボード５１８の、半透明着信音量調整インジケータ５２０の下にある部分のキーが表示されない。代わりに、半透明着信音量調整インジケータ５２０の下にある、ぼかされたコンテンツ（半透明着信音量調整インジケータ５２０に対する第１のコンテンツに対応する）が表示される。
【０１４１】
いくつかの実施形態では、コントロールは、背景及び１つ以上の高コントラスト要素（例えば、テキスト、スライダ、ボタン又は他のコントロール要素）を含む「下部の」半透明要素の上に表示され、下部の半透明要素内にある高コントラスト要素は、コントロールの下に表示されない（例えば、コントロールの外観は、その下にある第１のコンテンツ、及び任意選択的に、コントロール要素の背景に基づき、下部の半透明要素内にある高コントラスト要素は無視される）。いくつかの実施形態では、コントロールが表示される間、「上部の」半透明要素はコントロールの上に表示され、かつコントロール内の高コントラスト要素は上部の半透明要素の下に表示されない。いくつかの実施形態では、コントロールをディスプレイの対応する領域内に表示することは、ディスプレイの対応する領域が、コントロールがその上に表示される対応する半透明コントロールを含むかどうかを判定することと、ディスプレイの対応する領域が、コントロールがその上に表示される対応する半透明要素を含むという判定に従って、コントロールを通した、対応する半透明要素の高コントラスト要素の視認性を低減するために、コントロール外観値の第１のセットのうちの１つ以上を調整することと、ディスプレイの対応する領域が、コントロールがその上に表示される対応する半透明要素を含まないという判定に従って、コントロール外観の第１のセットのうちの１つ以上を調整することを省略することと、を含む。
【０１４２】
いくつかの実施形態では、ぼかすアニメーションが、コントロール又は他の半透明ユーザインタフェース要素が初期表示されるときに表示される。例えば、パーソナルデジタルアシスタントを（例えば、図５Ｉではボタン２０４を押すことによって）アクティブ化することに応じて、図５Ｊに示されるように、パーソナルデジタルアシスタントに対するユーザインタフェース要素（例えば、図５Ｊの「ご用件は何でしょう？」テキスト、音波形及び「？」アイコン）が表示されたときに、図５Ｊのコンテンツをディスプレイ１１２内に後退（又は縮小）するように見せ、かつぼやけさせるアニメーションが表示される。いくつかの実施形態では、この効果は、図５Ｊのコンテンツがレンズの焦点面から離れるように後ろ向きに移動するのに類似する（例えば、コンテンツがディスプレイ内に後退し、かつ後退するにしたがって徐々に焦点がぼやける）。いくつかの実施形態では、コンテンツの大きさが、そのコンテンツが後退しているように見せるために、コンテンツ内でズームアウトするのに十分でない場合、コンテンツの端部とディスプレイの端部との間にギャップが生じないように、コンテンツは端部において、コンテンツの端部からディスプレイの端部に向かって所定の数の画素（例えば、５、１０、１５又は２０個の画素）を反映することによって拡大される。例示的なパーソナルデジタルアシスタントは、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ  Ｉｎｃ．のＳｉｒｉ（登録商標）である。
【０１４３】
いくつかの実施形態では、コントロール内の第１のコンテンツのいくつかの部分を、ぼかしなしで表示することができる。いくつかの実施形態では、コントロールは既定のコントロール領域及び１つ以上の要素を含み、かつコントロールをディスプレイの対応する領域内に表示することは、コントロール外観値の第１のセットに従って、１つ以上の変換（例えば、ぼかし、彩度変更、色遷移）のセットをコントロール領域内の第１のコンテンツに適用することによって、既定のコントロール領域の範囲を示すことと、対応するアクティブ化可能な要素の場所（及び形状内）において１つ以上の変換のセットの対応する変換の適用を省略することによって、コントロール内の対応する要素の場所を示すことと、を含む。例えば、図５Ｋでは、デバイスはスライダコントロール５２２を、ぼかされ、かつ彩度が減じられた既定の領域内に表示し、スライダコントロール内には、ぼかされず、彩度が減じられず、又は他の方法で変換されることもない、切り出しサブ領域５２４が存在する。図５Ｋでは、切り出しサブ領域は、つまみアイコン５２６がそれに沿って（例えば、つまみアイコン５２６上で開始されたタップ及びドラッグジェスチャなどのユーザ入力に応じて）移動するように構成された、既定の経路に対応する。したがって、コンテンツの変換されたバージョンを対応する半透明コントロールの下に表示する、対応する半透明コントロール（又は他の半透明要素）の場合、対応する半透明コントロールの対応する領域（例えば、ボタン、スライダ、テキスト入力フィールドなどを含む領域）を、対応する半透明コントロールの他の領域と区別するための１つの方法は、対応する領域がコントロールを通して抜き落とされて見えるように、対応する半透明コントロールの対応する領域を（例えば、コントロールの下に表示される、コンテンツの変換されたバージョンを生成するために、コントロールの他の領域において適用される変換を適用しないことによって）透明にすることである。半透明コントロールを透明な領域と共に表示することは、ユーザがコンテンツ（例えば、写真、ビデオ、テキスト）を閲覧しているときに特に役立つ。その理由は、コントロールの透明及び半透明部分は、ユーザが引き続きコントロールの下のコンテンツを見ることを可能にし、これにより、ユーザがデバイスをより迅速かつ効率的に操作することが可能になるためである。
【０１４４】
図９Ａ〜図９Ｇは、いくつかの実施形態に係る、コントロールの外観を調整する方法９００を示す流れ図である。方法９００は、ディスプレイと、任意選択のタッチ感知面とを備える電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。いくつかの実施形態では、ディスプレイは、タッチスクリーンディスプレイであり、タッチ感知面は、ディスプレイ上にある。いくつかの実施形態では、ディスプレイはタッチ感知面から分離している。方法９００におけるいくつかの動作は、任意選択的に、組み合わされ、及び／又は一部の動作の順序は、任意選択的に、変更される。
【０１４５】
以下で説明されるように、方法９００は、不透明コントロール、又は下にあるコンテンツを固定された様式で単純にぼかす半透明コントロールよりも、外観の煩わしさが少ない半透明コントロールを提供する。同時に、方法９００は、見やすく対話しやすい半透明コントロールを提供する。概して、方法９００は、ユーザの認識負荷を軽減し、より効率的なヒューマン−マシンインタフェースを作り出す半透明コントロールを提供する。
【０１４６】
デバイスは、ディスプレイ上にユーザインタフェース（例えば、図５Ａのユーザインタフェース５０２）を表示する（９０２）。
【０１４７】
デバイスは、ディスプレイの対応する領域に対応する第１のコンテンツの１つ以上のコンテンツ表示特性（例えば、色相、彩度、輝度、コントラスト）に対するコンテンツ表示値の第１のセットを（例えば、取得又は計算することによって）決定する（９０４）。いくつかの実施形態では、第１のコンテンツは、その上にキーボード又は他のコントロールが表示されるウェブページ又は画像の一部（例えば、ディスプレイの所定又は既定の領域内）である。例えば、デバイスは、図５Ｂに示されるような、ディスプレイ１１２の領域５０４に対応する第１のコンテンツ５０６の色相、彩度、輝度、及びコントラスト（例えば、図６）に対するコンテンツ表示値の第１のセットを決定する。
【０１４８】
いくつかの実施形態では、対応する領域内のコンテンツに対する対応するコンテンツ表示値が、対応する領域に対する対応する視覚特性の統計的測定値（例えば、平均又は標準偏差）に対応する（９０６）。例えば、デバイスは、領域５０４内の第１のコンテンツ５０６に対する色相、彩度、輝度、及び／又はコントラストの平均値を決定する。いくつかの実施形態では、オーバーヘッドを低減し、かつ計算効率を向上させるために、統計的測定は、対応する領域内の画素のサブセットのみをサンプリングすることと、サンプリングされた画素の統計的測定値を決定することと、を含む。例えば、デバイスは、コンテンツ５０６内の画素をサンプリングしてもよい。いくつかの実施形態では、デバイスはコンテンツ５０６を２回処理し、第１の処理では４３番目毎の画素をサンプリングし、第２の処理では５１番目毎の画素をサンプリングする。
【０１４９】
いくつかの実施形態では、コンテンツ表示特性は、色、色相、彩度、輝度、及びコントラストのうちの１つ以上を含む（９０８）。いくつかの実施形態では、コントラストは、複数のサンプリングされた画素の輝度の標準偏差の測定値に基づく。
【０１５０】
デバイスは、図６〜図８に概略的に示すように、１つ以上のコントロール外観パラメータに対するコントロール外観値の第１のセットを、コンテンツ表示値の第１のセットに基づき（例えば、選択又は計算することによって）決定する（９１０）。
【０１５１】
いくつかの実施形態では、対応するコントロール外観値の変化は、コントロールの外観を生成するためにコントロールの下のコンテンツに適用される、対応する変換の大きさの変化に対応する（９１２）。例えば、ぼかし半径値の変化は、キーボード５１８（図５Ａ）の外観を生成するためにコンテンツ５０６（図５Ｂ）に適用される、ぼかし変換の大きさの変化に対応する。
【０１５２】
いくつかの実施形態では、コントロール外観パラメータは、ぼかし半径（例えば、対応する領域内のコンテンツに適用されるぼかし処理の半径）、彩度調整（例えば、対応する領域内のコンテンツの彩度変更）、白オーバレイの不透明度（例えば、対応する領域内のコンテンツと、キーのキーキャップなどのコントロールの選択可能部分との間にある白い層の不透明度）、黒オーバレイの不透明度（例えば、対応する領域内のコンテンツと、キーのキーキャップなどのコントロールの選択可能部分との間にある黒い層の不透明度）、コントロールの１つ以上の選択可能部分の不透明度（例えば、仮想キーボードのキーキャップ又は通知内のボタンの不透明度）、及びコントロール内のテキストの色（例えば、黒若しくは白など、キーボード上の文字又はドロップダウンメニュー内の単語の色）のうちの１つ以上を含む（９１４）。
【０１５３】
いくつかの実施形態では、コントロール外観値の第１のセットを決定することは、コントロール外観値の対応する既定のセットに対応する、コンテンツ表示値の複数の対応する既定のセットを記憶することと、コンテンツ表示値の第１のセットに近い、コンテンツ表示値の１つ以上の既定のセットを、コンテンツ表示値の近似セットとして識別すること（例えば、コンテンツ表示値の各セットによって表されるコンテンツ表示特性の数がＭである場合に、Ｍ次元空間における既定のコントロール外観値の最も近いＮ個のセットを識別すること）と、コンテンツ表示値の１つ以上の近似セットに対応する、コントロール外観値の１つ以上の既定のセットに基づき、コントロール外観値の第１のセットを決定することと、を含む（９１６）。いくつかの実施形態では、コントロール外観値の第１のセットは、コントロール外観値の既定のセットのうちのいずれかである。いくつかの実施形態では、コントロール外観値の第１のセットは、コントロール外観値の２つ以上の既定のセット間の補間である。いくつかの実施形態では、コントロール外観値の既定のセットは、対応するコンテンツ上に表示されるコントロールの識別可能性を維持しながら半透明性を最大化するために、人間の設計者／アーティストによって、対応する既定のコンテンツ表示値のセットを有するサンプルコンテンツに基づき決定／選択された値である。
【０１５４】
いくつかの実施形態では、コンテンツ表示値の第１のセットを決定することは、コントロール外観値を出力として生成するアルゴリズムへの入力として、コンテンツ表示値の第１のセットを用いることを含む（９１８）。
【０１５５】
デバイスは、コントロールをディスプレイの対応する領域内に表示し（例えば、ユーザインタフェース内のオブジェクトのｚ順序（前面から背面の順序）では、コントロールが第１のコンテンツの上位にあるため、半透明若しくは半透過キーボード、ツールバー、アラートメッセージ、又は設定メニュー若しくはファイルメニューなどのメニューを第１のコンテンツの前に表示する）、コントロールの外観は、第１のコンテンツ及びコントロール外観値の第１のセットに基づき決定される（９２０）。例えば、図５Ａでは、デバイスはディスプレイ１１２の領域５０４内にキーボード５１８を表示する。図５Ａにおけるキーボード５１８の外観は、第１のコンテンツ５０６及びコントロール外観値の第１のセット（例えば、図８）に基づき決定される。
【０１５６】
いくつかの実施形態では、コントロールは半透明部分を含み、かつコントロールを表示することは、コントロールの半透明部分に対応する第１のコンテンツの部分の表現を、コントロールの半透明部分内に表示することを含み、第１のコンテンツの表現は、コントロール外観値の第１のセットに従って（例えば、第１のコンテンツの不明瞭化されていないレンダリングから、コントロールの半透明部分によって不明瞭化された第１のコンテンツのレンダリングへと）変換される（９２２）。例えば、図５Ａでは、キーボード５１８は半透明部分を含み、かつキーボード５１８を表示することは、キーボード５１８の半透明部分内に、キーボード５１８の半透明部分に対応する第１のコンテンツ５０６の部分の表現を表示することを含む。第１のコンテンツ５０６の表現は、コントロール外観値の第１のセットに従って、第１のコンテンツの不明瞭化されていないレンダリング（図５Ｂ）から、コントロールの半透明部分によって不明瞭化された第１のコンテンツ５０６のレンダリング（図５Ａ）へと変換される。
【０１５７】
いくつかの実施形態では、コントロールの色は、下にあるコンテンツの色に基づき調整される。いくつかの実施形態では、コンテンツ表示値の第１のセットは、ディスプレイの対応する領域に対応する第１のコンテンツに対するコンテンツ色値（例えば、対応する領域内の第１のコンテンツの平均色）を含み、コントロール外観値の第１のセットは、第１のコンテンツに対するコンテンツ色（色相）値に基づき選択されたコントロール色値を含み、コントロールを表示することは、第１のぼかされたコンテンツを生成するために、ぼかし処理を第１のコンテンツに適用することと、半透明着色層を第１のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明着色層はコントロール色値によって指定された色（例えば、色相値、ＲＧＢ値のセット、ＣＭＹＫ値のセット又は別の定義された色）を有し、第１のぼかされたコンテンツは半透明着色層を通して可視であり、半透明着色層を通した第１のぼかされたコンテンツの外観は、半透明着色層の色によって決まる（９２３Ａ）。いくつかの実施形態では、ディスプレイの対応する領域に対応するコンテンツが変化し、その結果、対応する領域内のコンテンツに対する平均コンテンツ色値が、更新された平均コンテンツ色値に変化したとき、デバイスは、更新された平均コンテンツ色値に基づき、異なるコントロール色値を半透明着色層に対して選択する。
【０１５８】
いくつかの実施形態では、コントロールの彩度は、下にあるコンテンツの彩度に基づき調整される。いくつかの実施形態では、コンテンツ表示値の第１のセットは、ディスプレイの対応する領域に対応する第１のコンテンツのコンテンツ彩度値（例えば、対応する領域内の第１のコンテンツの平均彩度）を含み、コントロール外観値の第１のセットは、第１のコンテンツに対するコンテンツ彩度値に基づき選択されたコントロール彩度値を含み、コントロールを表示することは、第１のぼかされたコンテンツを生成するために、ぼかし処理を第１のコンテンツに適用することと、半透明着色層を第１のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明着色層はコントロール彩度値によって指定された彩度（例えば、彩度レベル又は彩度の大きさ）を有し、第１のぼかされたコンテンツは半透明着色層を通して可視であり、半透明着色層を通した第１のぼかされたコンテンツの外観は、半透明着色層の彩度に依存する（９２３Ｂ）。いくつかの実施形態では、ディスプレイの対応する領域に対応するコンテンツが変化し、その結果、対応する領域内のコンテンツに対する平均コンテンツ彩度値が、更新された平均コンテンツ彩度値に変化したとき、デバイスは、更新された平均コンテンツ彩度値に基づき、異なるコントロール彩度値を半透明着色層に対して選択する。
【０１５９】
いくつかの実施形態では、コントロールの不透明度は、下にあるコンテンツの輝度に基づき調整される。いくつかの実施形態では、コンテンツ表示値の第１のセットは、ディスプレイの対応する領域に対応する第１のコンテンツに対するコンテンツ輝度値（例えば、対応する領域内の第１のコンテンツの平均輝度）を含み、コントロール外観値の第１のセットは、第１のコンテンツに対するコンテンツ輝度値に基づき選択されたコントロール不透明度値を含み、コントロールを表示することは、第１のぼかされたコンテンツを生成するために、ぼかし処理を第１のコンテンツに適用することと、半透明層を第１のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明層はコントロール不透明度値によって指定された不透明度（例えば、不透明度レベル又は不透明度の大きさ）を有し、第１のぼかされたコンテンツは半透明層を通して可視であり、半透明層を通した第１のぼかされたコンテンツの外観は、半透明層の不透明度に依存する（９２３Ｃ）。いくつかの実施形態では、ディスプレイの対応する領域に対応するコンテンツが変化し、その結果、対応する領域内のコンテンツに対する平均コンテンツ輝度値が、更新された平均コンテンツ輝度値に変化したとき、デバイスは、更新された平均コンテンツ輝度値に基づき、異なるコントロール不透明度値を半透明層に対して選択する。
【０１６０】
いくつかの実施形態では、コントロールの不透明度は、下にあるコンテンツの彩度に基づき調整される。いくつかの実施形態では、コンテンツ表示値の第１のセットは、ディスプレイの対応する領域に対応する第１のコンテンツに対するコンテンツ彩度値（例えば、対応する領域内の第１のコンテンツの平均彩度）を含み、コントロール外観値の第１のセットは、第１のコンテンツに対するコンテンツ彩度値に基づき選択されたコントロール不透明度値を含み、コントロールを表示することは、第１のぼかされたコンテンツを生成するために、ぼかし処理を第１のコンテンツに適用することと、半透明層を第１のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明層はコントロール色値によって指定された不透明度（例えば、不透明度レベル又は不透明度の大きさ）を有し、第１のぼかされたコンテンツは半透明層を通して可視であり、半透明層を通した第１のぼかされたコンテンツの外観は、半透明層の不透明度に依存する（９２３Ｄ）。いくつかの実施形態では、ディスプレイの対応する領域に対応するコンテンツが変化し、その結果、対応する領域内のコンテンツに対する平均コンテンツ彩度値が、更新された平均コンテンツ彩度値に変化したとき、デバイスは、更新された平均コンテンツ彩度値に基づき、異なるコントロール不透明度値を半透明層に対して選択する。
【０１６１】
いくつかの実施形態では、コントロールをディスプレイの対応する領域内に表示する間、デバイスは、ディスプレイの対応する領域に対応するコンテンツにおいて、第１のコンテンツから、第１のコンテンツと異なる第２のコンテンツへの変化（例えば、ジェスチャに応じてウェブページ又は写真をスクロールすること、又はコントロールの背後にある、ディスプレイの対応する領域内のコンテンツが変化するように新しいコンテンツを読み込むこと）を検出し、コンテンツ表示値の第１のセットと異なるコンテンツ表示値の第２のセットを、第２のコンテンツの１つ以上のコンテンツ表示特性（例えば、色相、彩度、輝度、及び／又はコントラスト）に対して決定し、コントロール外観値の第２のセットを、１つ以上のコントロール外観パラメータに対して、コンテンツ表示値の第２のセットに基づき決定し、コントロール外観値の第２のセットは、コントロール外観値の第１のセットと異なり、かつコンテンツ内の変化を検出することに応じて、第２のコンテンツ及びコントロール外観値の第２のセットに従ってコントロールの外観を変更する（９２４）。いくつかの実施形態では、デバイスは、半透明コントロールの背後にあるコンテンツ内の変化を既定の間隔で（例えば、１秒間に４回）確認する。いくつかの実施形態では、デバイスは、コンテンツの調整に対応するジェスチャ（例えば、コンテンツの並進移動若しくはスクロールに関連するスワイプジェスチャ、コンテンツのサイズ変更に関連するピンチ若しくは非ピンチジェスチャ、又はコンテンツの読み込みに関連するタップジェスチャ）を検出することに応じて、コンテンツ内の変化を確認する。いくつかの実施形態では、デバイスは、新しいコンテンツが読み込まれているという報告をアプリケーションから受け取ることに応じて（例えば、キーボードの下にあるフレーム内に新しい画像が読み込まれたという報告をウェブブラウザから受け取ることに応じて）、コンテンツ内の変化を確認する。
【０１６２】
いくつかの実施形態では、コントロールの外観を変更することは、コントロール内のテキストの色を変更する（例えば、図５Ｆの黒い文字を図５Ｇの白い文字に変更する）ことを含む（９２６）。
【０１６３】
いくつかの実施形態では、コントロールは半透明部分を含み、かつコントロール外観値の第２のセットに従ってコントロールの外観を変更することは、コントロールの半透明部分に対応する第２のコンテンツの部分の表現をコントロールの半透明部分内に表示することを含み、第２のコンテンツの表現は、コントロール外観値の第２のセットに従って（例えば、第２のコンテンツの不明瞭化されていないレンダリングから、コントロールの半透明部分によって不明瞭化された第２のコンテンツのレンダリングへと）変換される（９２８）。例えば、図５Ｆでは、キーボード５１８は半透明部分を含み、かつキーボード５１８を表示することは、キーボード５１８の半透明部分内に、キーボード５１８の半透明部分に対応する第２のコンテンツ５０８−２の部分の表現を表示することを含む。第２のコンテンツ５０８−２の表現は、コントロール外観値の第２のセットに従って、第２のコンテンツ５０８−２の不明瞭化されていないレンダリング（図示しないが、図５Ｂの第１のコンテンツ５０６に対する不明瞭化されていないレンダリングに類似する）から、コントロールの半透明部分によって不明瞭化された第２のコンテンツ５０８−２のレンダリング（図５Ｆ）へと変換される。
【０１６４】
いくつかの実施形態では、コントロール外観値の第１のセットは、コントロール外観パラメータの第１のセット（例えば、白いキーボードのコントロール外観パラメータ）に対する値であり、かつコントロール外観値の第２のセットは、コントロール外観パラメータの第１のセット（例えば、白いキーボードのコントロール外観パラメータ）に対する値である（９３０）。例えば、図５Ａのキーボードに対するコントロール外観値の第１のセットは、コントロール外観パラメータの第１のセット（例えば、図８）に対するものであり、かつ図５Ｃのキーボードに対するコントロール外観値の第２のセットは、コントロール外観パラメータの同じ第１のセット（例えば、図８）に対するものである。
【０１６５】
いくつかの実施形態では、コントロール外観値の第１のセットは、コントロール外観パラメータの第１のセット（例えば、白いキーボードのコントロール外観パラメータ）に対する値であり、かつコントロール外観値の第２のセットは、コントロール外観パラメータの第１のセットと異なるコントロール外観パラメータの第２のセット（例えば、黒いキーボードのコントロール外観パラメータ）に対する値である（９３２）。例えば、より明るいコントロール（例えば、半透明の白いキーボード）は、任意選択的に、より暗いコントロール（例えば、半透明の黒いキーボード）と異なるコントロール外観パラメータのセットを有する。
【０１６６】
いくつかの実施形態では、ディスプレイの対応する領域に対応するコンテンツにおいて、第１のコンテンツから第２のコンテンツへの変化を検出することの後であり、かつコントロール表示値の第２のセットに従ってコントロールの外観を変更することの前に（例えば、図５Ｆの第２のコンテンツ５０８−２の場合は、暗いキーボードを表示する前に）、デバイスは、コントロール外観値の第１のセットと異なるコントロール外観値の対応するセットを、コントロール外観パラメータの第１のセットに対して、コンテンツ表示値の第２のセットに基づき決定し、コントロール外観値の対応するセットは、コントロール外観値の第１のセット及びコントロール外観値の第２のセットと異なり、かつ第２のコンテンツ及びコントロール外観値の対応するセットに従って、コントロールの外観を変更する（９３４）。例えば、上述のように、図５Ａ、図５Ｅ及び図５Ｆは、白いキーを有するキーボード５１８（図５Ａ）から黒いキーを有するキーボード５１８（図５Ｆ）への変化が、任意選択的に、白いキーを有する中間キーボード５１８、及びコンテンツ５０８−２（図５Ｅ）に対するコンテンツ表示値に基づく、コントロール外観値の更新されたセットを経由して発生することを示す。いくつかの実施形態では、デバイスは、図５Ｅの白いキーを有するキーボード５１８と、図５Ｆの黒いキーを有するキーボード５１８との間の既定のアニメーション移行を表示する。
【０１６７】
いくつかの実施形態では、コントロールは半透明部分を含み、コンテンツの対応する部分（例えば、コントロールの背後にある対応する領域内のコンテンツ）はコントロールの半透明部分の場所に対応し、コントロール調整値の対応するセットに従ってコントロールを表示することは、コントロールの半透明部分内に、コンテンツの対応する部分の表現を表示することを含み、コンテンツの対応する部分の表現は、コントロール外観値の対応するセットに従って（例えば、コンテンツの対応する部分の不明瞭化されていないレンダリングから、コントロールの半透明部分によって不明瞭化されたコンテンツの対応する部分のレンダリングへと）変換される（９３６）。例えば、図５Ａでは、キーボード５１８は半透明部分を含み、かつキーボード５１８を表示することは、キーボード５１８の半透明部分内に、キーボード５１８の半透明部分に対応する第１のコンテンツ５０６の部分の表現を表示することを含む。第１のコンテンツ５０６の表現は、コントロール外観値の第１のセットに従って、第１のコンテンツの不明瞭化されていないレンダリング（図５Ｂ）から、コントロールの半透明部分によって不明瞭化された第１のコンテンツ５０６のレンダリング（図５Ａ）へと変換される。
【０１６８】
いくつかの実施形態では、コンテンツにおいて第１のコンテンツから第２のコンテンツへの変化を検出することの後であり、かつコントロール外観値の第２のセットに従ってコントロールの外観を変更することの前（例えば、コントロール外観値の第２のセットを決定することの前又はコントロール外観値の第２のセットを適用することの前）に、デバイスは、第２のコンテンツ及びコントロール外観値の第１のセットに従ってコントロールの外観を変更する（９３８）。例えば、図５Ｄに関連して上述されたように、コンテンツは任意選択的に、コントロール外観値の変化よりも速く移動する。いくつかの実施形態では、コントロールの下で移動するコンテンツは、高フレームレート（例えば、６０ｆｐｓ）でアニメーション化され、かつコントロール外観値は低フレームレート（例えば、４ｆｐｓ）で更新される。コントロールの下で移動するコンテンツを高フレームレートで更新すると、デバイスの応答が速くなったように感じられ、コントロール外観値を低フレームレートで更新すると、応答性を著しく低下させることなく、計算要件が低減される。
【０１６９】
図９Ａ〜９Ｇにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の再順序付けをする様々な方法を認識するであろう。
【０１７０】
いくつかの実施形態によれば、図１０は、説明される様々な実施形態の原理に従って構成された、電子デバイス１０００の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。図１０で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。
【０１７１】
図１０に示されるように、電子デバイス１０００は、ユーザインタフェースを表示するように構成されたディスプレイユニット１００２と、ディスプレイユニット１００２に結合された処理ユニット１００６と、を含む。いくつかの実施形態では、処理ユニット１００６は決定ユニット１００８と、表示可能化ユニット１０１０と、検出ユニット１０１２と、変更ユニット１０１４と、を含む。
【０１７２】
処理ユニット１００６は、ディスプレイユニット１００２の対応する領域に対応する第１のコンテンツの１つ以上のコンテンツ表示特性に対するコンテンツ表示値の第１のセットを（例えば、決定ユニット１００８を用いて）決定し、コンテンツ表示値の第１のセットに基づき、１つ以上のコントロール外観パラメータに対するコントロール外観値の第１のセットを（例えば、決定ユニット１００８を用いて）決定し、ディスプレイユニット１００２の対応する領域内へのコントロールの表示を（例えば、表示可能化ユニット１０１０を用いて）可能にするように構成され、コントロールの外観は、第１のコンテンツ及びコントロール外観値の第１のセットに基づき決定される。
【０１７３】
いくつかの実施形態では、対応する領域内のコンテンツに対する対応するコンテンツ表示値は、対応する領域に対する対応する視覚特性の統計的測定値に対応する。
【０１７４】
いくつかの実施形態では、コンテンツ表示特性は、色、色相、彩度、輝度、及びコントラストのうちの１つ以上を含む。
【０１７５】
いくつかの実施形態では、対応するコントロール外観値の変化は、コントロールの外観を生成するためにコントロールの下のコンテンツに適用される、対応する変換の大きさの変化に対応する。
【０１７６】
いくつかの実施形態では、コントロール外観パラメータは、ぼかし半径、彩度調整、白オーバレイの不透明度、黒オーバレイの不透明度、コントロールの１つ以上の選択可能部分の不透明度、及びコントロール内のテキストの色のうちの１つ以上を含む。
【０１７７】
いくつかの実施形態では、コントロール外観値の第１のセットを決定することは、コントロール外観値の対応する既定のセットに対応する、コンテンツ表示値の複数の対応する既定のセットを記憶することと、コンテンツ表示値の第１のセットに近い、コンテンツ表示値の１つ以上の既定のセットを、コンテンツ表示値の近似セットとして識別することと、コンテンツ表示値の１つ以上の近似セットに対応する、コントロール外観値の１つ以上の既定のセットに基づき、コントロール外観値の第１のセットを決定することと、を含む。
【０１７８】
いくつかの実施形態では、コンテンツ表示値の第１のセットを決定することは、コントロール外観値を出力として生成するアルゴリズムへの入力として、コンテンツ表示値の第１のセットを用いることを含む。
【０１７９】
いくつかの実施形態では、コントロールは半透明部分を含み、かつコントロールの表示を可能にすることは、コントロールの半透明部分内への、コントロールの半透明部分に対応する第１のコンテンツの部分の表現の表示を可能にすることを含み、第１のコンテンツの表現は、コントロール外観値の第１のセットに従って変換される。
【０１８０】
いくつかの実施形態では、処理ユニット１００６は、ディスプレイユニット１００２の対応する領域内へのコントロールの表示を可能にすることの間、ディスプレイユニットの対応する領域に対応するコンテンツにおいて、第１のコンテンツから、第１のコンテンツと異なる第２のコンテンツへの変化を（例えば、検出ユニット１０１２を用いて）検出し、コンテンツ表示値の第１のセットと異なるコンテンツ表示値の第２のセットを、第２のコンテンツの１つ以上のコンテンツ表示特性に対して（例えば、決定ユニット１００８を用いて）決定し、コントロール外観値の第２のセットを、１つ以上のコントロール外観パラメータに対して、コンテンツ表示値の第２のセットに基づき（例えば、決定ユニット１００８を用いて）決定し、コントロール外観値の第２のセットは、コントロール外観値の第１のセットと異なり、コンテンツ内の変化を検出することに応じて、第２のコンテンツ及びコントロール外観値の第２のセットに従ってコントロールの外観を（例えば、変更ユニット１０１４を用いて）変更するように更に構成される。
【０１８１】
いくつかの実施形態では、コントロールの外観を変更することが、コントロール内のテキストの色を変更することを含む。
【０１８２】
いくつかの実施形態では、コントロールは半透明部分を含み、かつコントロール外観値の第２のセットに従ってコントロールの外観を変更することは、コントロールの半透明部分内に、コントロールの半透明部分に対応する第２のコンテンツの部分の表現を表示することを含み、第２のコンテンツの表現は、コントロール外観値の第２のセットに従って変換される。
【０１８３】
いくつかの実施形態では、コントロール外観値の第１のセットは、コントロール外観パラメータの第１のセットに対する値であり、かつコントロール外観値の第２のセットは、コントロール外観パラメータの第１のセットに対する値である。
【０１８４】
いくつかの実施形態では、コントロール外観値の第１のセットは、コントロール外観パラメータの第１のセットに対する値であり、かつコントロール外観値の第２のセットは、コントロール外観パラメータの第１のセットと異なる、コントロール外観パラメータの第２のセットに対する値である。
【０１８５】
いくつかの実施形態では、処理ユニット１００６は、ディスプレイユニット１００２の対応する領域に対応するコンテンツにおいて、第１のコンテンツから第２のコンテンツへの変化を検出することの後であり、かつコントロール表示値の第２のセットに従ってコントロールの外観を変更することの前に、コントロール外観値の第１のセットと異なるコントロール外観値の対応するセットを、コントロール外観パラメータの第１のセットに対して、コンテンツ表示値の第２のセットに基づき（例えば、決定ユニット１００８を用いて）決定し、コントロール外観値の対応するセットは、コントロール外観値の第１のセット及びコントロール外観値の第２のセットと異なり、かつ第２のコンテンツ及びコントロール外観値の対応するセットに従って、コントロールの外観を（例えば、変更ユニット１０１４を用いて）変更するように更に構成される。
【０１８６】
いくつかの実施形態では、コントロールは半透明部分を含み、コンテンツの対応する部分はコントロールの半透明部分の場所に対応し、コントロール調整値の対応するセットに従ってコントロールの表示を可能にすることは、コントロールの半透明部分内へのコンテンツの対応する部分の表現の表示を可能にすることを含み、コンテンツの対応する部分の表現は、コントロール外観値の対応するセットに従って変換される。
【０１８７】
いくつかの実施形態では、処理ユニット１００６は、コンテンツにおいて第１のコンテンツから第２のコンテンツへの変化を検出することの後であり、かつコントロール外観値の第２のセットに従ってコントロールの外観を変更することの前に、第２のコンテンツ及びコントロール外観値の第１のセットに従ってコントロールの外観を（例えば、変更ユニット１０１４を用いて）変更するように更に構成される。
【０１８８】
いくつかの実施形態では、コンテンツ表示値の第１のセットは、ディスプレイの対応する領域に対応する第１のコンテンツに対するコンテンツ色値を含み、コントロール外観値の第１のセットは、第１のコンテンツに対するコンテンツ色値に基づき選択されたコントロール色値を含み、コントロールを表示することは、第１のぼかされたコンテンツを生成するために、ぼかし処理を第１のコンテンツに適用することと、半透明着色層を第１のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明着色層はコントロール色値によって指定された色を有し、第１のぼかされたコンテンツは半透明着色層を通して可視であり、半透明着色層を通した第１のぼかされたコンテンツの外観は、半透明着色層の色に依存する。
【０１８９】
いくつかの実施形態では、コンテンツ表示値の第１のセットは、ディスプレイの対応する領域に対応する第１のコンテンツに対するコンテンツ彩度値を含み、コントロール外観値の第１のセットは、第１のコンテンツに対するコンテンツ彩度値に基づき選択されたコントロール彩度値を含み、コントロールを表示することは、第１のぼかされたコンテンツを生成するために、ぼかし処理を第１のコンテンツに適用することと、半透明着色層を第１のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明着色層はコントロール彩度値によって指定された彩度を有し、第１のぼかされたコンテンツは半透明着色層を通して可視であり、半透明着色層を通した第１のぼかされたコンテンツの外観は、半透明着色層の彩度に依存する。
【０１９０】
いくつかの実施形態では、コンテンツ表示値の第１のセットは、ディスプレイの対応する領域に対応する第１のコンテンツに対するコンテンツ輝度値を含み、コントロール外観値の第１のセットは、第１のコンテンツに対するコンテンツ輝度値に基づき選択されたコントロール不透明度値を含み、コントロールを表示することは、第１のぼかされたコンテンツを生成するために、ぼかし処理を第１のコンテンツに適用することと、半透明層を第１のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明層はコントロール不透明度値によって指定された不透明度を有し、第１のぼかされたコンテンツは半透明層を通して可視であり、半透明層を通した第１のぼかされたコンテンツの外観は、半透明層の不透明度に依存する。
【０１９１】
いくつかの実施形態では、コンテンツ表示値の第１のセットは、ディスプレイの対応する領域に対応する第１のコンテンツに対するコンテンツ彩度値を含み、コントロール外観値の第１のセットは、第１のコンテンツに対するコンテンツ彩度値に基づき選択されたコントロール不透明度値を含み、コントロールを表示することは、第１のぼかされたコンテンツを生成するために、ぼかし処理を第１のコンテンツに適用することと、半透明層を第１のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明層はコントロール色値によって指定された不透明度を有し、第１のぼかされたコンテンツは半透明層を通して可視であり、半透明層を通した第１のぼかされたコンテンツの外観は、半透明層の不透明度に依存する。
【０１９２】
上述の情報処理方法での動作は、汎用プロセッサ（例えば、図１Ａ及び図３に関連して上述されたようなもの）又は特定用途向けチップなどの、情報処理装置内の１つ以上の機能モジュールを稼働することによって、任意選択的に実施される。
【０１９３】
図９Ａ〜図９Ｇを参照して上述された動作は、図１Ａ、図１Ｂ、又は図１０に示される構成要素によって、任意選択的に実施される。例えば、検出動作９２４は、任意選択的に、イベントソータ１７０、イベント認識部１８０、及びイベントハンドラ１９０によって実施される。イベントソータ１７０のイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６−１に配信する。アプリケーション１３６−１の対応のイベント認識部１８０は、そのイベント情報を対応のイベント定義１８６と照会し、タッチ感知面上の第１の場所での第１の接触（又は、デバイスの回転）が、ユーザインタフェース上のオブジェクトの選択、又は１つの向きから別の向きへのデバイスの回転などの、既定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、イベント又はサブイベントの検出に関連するイベントハンドラ１９０をアクティブ化する。イベントハンドラ１９０は、アプリケーション内部状態１９２を更新するために、データアップデータ１７６若しくはオブジェクトアップデータ１７７を、任意選択的に用いるか又は呼び出す。いくつかの実施形態では、イベントハンドラ１９０は、アプリケーションによって表示されるものを更新するために、対応するＧＵＩアップデータ１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ〜図１Ｂに示される構成要素に基づいてどのように実施されるかは明らかであるだろう。
【０１９４】
前述の説明は、説明の目的上、特定の実施形態を参照して説明されている。しかし、上述の例示的説明は、網羅的であること、又は本発明を、開示されている寸分違わない形態に限定することを意図されてはいない。上述の教示を考慮すれば、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、及び想到される特定の用途に好適な様々な改良で本発明及び様々な実施形態を最良な形で使用することを可能とするために、これらの実施形態を選択し説明した。
【図１Ａ】
2019135657.tif 000003
【図１Ｂ】
2019135657.tif 000004
【図２】
2019135657.tif 000005
【図３】
2019135657.tif 000006
【図４Ａ】
2019135657.tif 000007
【図４Ｂ】
2019135657.tif 000008
【図５Ａ】
2019135657.tif 000009
【図５Ｂ】
2019135657.tif 000010
【図５Ｃ】
2019135657.tif 000011
【図５Ｄ】
2019135657.tif 000012
【図５Ｅ】
2019135657.tif 000013
【図５Ｆ】
2019135657.tif 000014
【図５Ｇ】
2019135657.tif 000015
【図５Ｈ】
2019135657.tif 000016
【図５Ｉ】
2019135657.tif 000017
【図５Ｊ】
2019135657.tif 000018
【図５Ｋ】
2019135657.tif 000019
【図６】
2019135657.tif 000020
【図７】
2019135657.tif 000021
【図８】
2019135657.tif 000022
【図９Ａ】
2019135657.tif 000023
【図９Ｂ】
2019135657.tif 000024
【図９Ｃ】
2019135657.tif 000025
【図９Ｄ】
2019135657.tif 000026
【図９Ｅ】
2019135657.tif 000027
【図９Ｆ】
2019135657.tif 000028
【図９Ｇ】
2019135657.tif 000029
【図１０】
2019135657.tif 000030
【手続補正書】
【提出日】平成31年4月10日(2019.4.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
電子デバイスであって、
ディスプレイと、
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備え、前記１つ以上のプログラムは、前記メモリ内に記憶され、前記１つ以上のプロセッサによって実行されるように構成され、前記１つ以上のプログラムは、
前記ディスプレイ上にユーザインタフェースを表示することと、
前記ディスプレイのそれぞれの領域に対応する第１のコンテンツの１つ以上のコンテンツ表示特性に対するコンテンツ表示値の第１のセットを決定することであって、前記コンテンツ表示値の第１のセットは、前記ディスプレイの前記それぞれの領域に対応する前記第１のコンテンツに対する、コンテンツ色値、コンテンツ彩度値又はコンテンツ輝度値を含む、決定することと、
前記コンテンツ表示値の第１のセットに基づき、１つ以上のコントロール外観パラメータに対するコントロール外観値の第１のセットを決定することであって、前記コントロール外観値の第１のセットは、前記第１のコンテンツに対する前記コンテンツ色値に基づき選択されたコントロール色値、前記第１のコンテンツに対する前記コンテンツ彩度値に基づき選択されたコントロール彩度値、前記第１のコンテンツに対する前記コンテンツ輝度値に基づき選択されたコントロール不透明度値、又は前記第１のコンテンツに対する前記コンテンツ彩度値に基づき選択されたコントロール不透明度値、を含む、決定することと、
前記ディスプレイの前記それぞれの領域内にコントロールを表示することであって、前記コントロールの外観は、前記第１のコンテンツと、前記コントロール外観値の第１のセットとに基づき決定され、前記コントロールを表示することは、
第１のぼかされたコンテンツを生成するために、ぼかし処理を前記第１のコンテンツに適用することと、
半透明着色層を前記第１のぼかされたコンテンツの上に重ね合わせることと、を含み、
前記半透明着色層は、前記コントロール色値によって指定された色、前記コントロール彩度値によって指定された彩度、又は前記コントロール不透明度値によって指定された不透明度を有し、
前記第１のぼかされたコンテンツは前記半透明着色層を通して可視であり、
前記半透明着色層を通した前記第１のぼかされたコンテンツの外観は、前記半透明着色層の前記色、前記彩度、又は前記不透明度に依存する、表示することと、のための命令を含む、電子デバイス。
【手続補正書】
【提出日】平成31年4月22日(2019.4.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
命令を含むプログラムであって、該命令はディスプレイを有する電子デバイスによって実行されると、前記電子デバイスに、
コンテンツ上にユーザインタフェース要素を表示することであって、前記コンテンツは、前記ユーザインタフェース要素に対応するそれぞれの場所における第１のコンテンツを含み、前記ユーザインタフェース要素は、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記第１のコンテンツの１つ以上の視覚特性に、１つ以上の変換の第１セットを適用することによって生成された外観を有する、表示することと、
前記ディスプレイ上に前記ユーザインタフェース要素を表示し続ける間に、前記第１のコンテンツから前記第１のコンテンツとは異なる第２のコンテンツへの、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの変化を検出することと、
前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化を検出したことに応じて、前記ユーザインタフェース要素の外観を変更することであって、
前記それぞれの場所における前記第２のコンテンツが視覚特性の第１セットのうちの視覚特性を有するとの判定に従って、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記第２のコンテンツの前記１つ以上の視覚特性に１つ以上の変換の前記第１セットを適用することを含む、前記ユーザインタフェース要素の前記外観を変更することと、
前記それぞれの場所における前記第２のコンテンツが視覚特性の前記第１セットとは異なる視覚特性の第２セットのうちの視覚特性を有するとの判定に従って、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記第２のコンテンツの前記１つ以上の視覚特性に１つ以上の変換の第２セットを適用することを含む、前記ユーザインタフェース要素の前記外観を変更することであって、１つ以上の変換の前記第２セットは１つ以上の変換の前記第１セットとは異なる、変更することと、をさせる、プログラム。
【請求項２】
請求項１に記載のプログラムであって、ディスプレイを有する電子デバイスによって実行されると、前記電子デバイスに、前記コンテンツを前記第１のコンテンツから前記第２のコンテンツに変更する間に、前記ディスプレイ上の静止した場所に前記ユーザインタフェース要素を維持させる、命令を含むプログラム。
【請求項３】
請求項１に記載のプログラムであって、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化は、時間にわたって変化する前記コンテンツによるものである、プログラム。
【請求項４】
請求項１に記載のプログラムであって、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化は、前記コンテンツをスクロールすることによるものである、プログラム。
【請求項５】
請求項１に記載のプログラムであって、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化は、表示されたユーザインタフェースの要素に対応する入力によるものである、プログラム。
【請求項６】
請求項１に記載のプログラムであって、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化は、リサイズする入力によるものである、プログラム。
【請求項７】
請求項１から６のいずれか１項に記載のプログラムであって、前記１つ以上の視覚特性は輝度を含む、プログラム。
【請求項８】
請求項１から６のいずれか１項に記載のプログラムであって、前記１つ以上の変換が彩度の程度を変更することを含む、プログラム。
【請求項９】
請求項１から６のいずれか１項に記載のプログラムであって、前記１つ以上の視覚特性はぼかしの程度を変更することを含む、プログラム。
【請求項１０】
請求項１から６のいずれか１項に記載のプログラムであって、前記１つ以上の変換が不透明度の程度を変更することを含む、プログラム。
【請求項１１】
方法であって、
ディスプレイを有する電子デバイスにおいて、
コンテンツ上にユーザインタフェース要素を表示することであって、前記コンテンツは、前記ユーザインタフェース要素に対応するそれぞれの場所における第１のコンテンツを含み、前記ユーザインタフェース要素は、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記第１のコンテンツの１つ以上の視覚特性に、１つ以上の変換の第１セットを適用することによって生成された外観を有する、表示することと、
前記ディスプレイ上に前記ユーザインタフェース要素を表示し続ける間に、前記第１のコンテンツから前記第１のコンテンツとは異なる第２のコンテンツへの、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの変化を検出することと、
前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化を検出したことに応じて、前記ユーザインタフェース要素の外観を変更することであって、
前記それぞれの場所における前記第２のコンテンツが視覚特性の第１セットのうちの視覚特性を有するとの判定に従って、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記第２のコンテンツの前記１つ以上の視覚特性に１つ以上の変換の前記第１セットを適用することを含む、前記ユーザインタフェース要素の前記外観を変更することと、
前記それぞれの場所における前記第２のコンテンツが視覚特性の前記第１セットとは異なる視覚特性の第２セットのうちの視覚特性を有するとの判定に従って、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記第２のコンテンツの前記１つ以上の視覚特性に１つ以上の変換の第２セットを適用することを含む、前記ユーザインタフェース要素の前記外観を変更することであって、１つ以上の変換の前記第２セットは１つ以上の変換の前記第１セットとは異なる、変更することと、を含む、方法。
【請求項１２】
請求項１１に記載の方法であって、当該方法は、ディスプレイを有する前記電子デバイスに、前記コンテンツを前記第１のコンテンツから前記第２のコンテンツに変更する間に、前記ディスプレイ上の静止した場所に前記ユーザインタフェース要素を維持させる、方法。
【請求項１３】
請求項１１に記載の方法であって、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化は、時間にわたって変化する前記コンテンツによるものである、方法。
【請求項１４】
請求項１１に記載の方法であって、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化は、前記コンテンツをスクロールすることによるものである、方法。
【請求項１５】
請求項１１に記載の方法であって、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化は、表示されたユーザインタフェースの要素に対応する入力によるものである、方法。
【請求項１６】
請求項１１に記載の方法であって、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化は、リサイズする入力によるものである、方法。
【請求項１７】
請求項１１から１６のいずれか１項に記載の方法であって、前記１つ以上の視覚特性は輝度を含む、方法。
【請求項１８】
請求項１１から１６のいずれか１項に記載の方法であって、前記１つ以上の変換が彩度の程度を変更することを含む、方法。
【請求項１９】
請求項１１から１６のいずれか１項に記載の方法であって、前記１つ以上の視覚特性はぼかしの程度を変更することを含む、方法。
【請求項２０】
請求項１１から１６のいずれか１項に記載の方法であって、前記１つ以上の変換が不透明度の程度を変更することを含む、方法。
【請求項２１】
電子デバイスであって、
ディスプレイと、１つ以上のプロセッサと、メモリと、１つ以上のプログラムと、を含み、前記１つ以上のプログラムは、前記メモリに記憶され、かつ前記１つ以上のプロセッサによって実行されるように構成され、前記１つ以上のプログラムは、
コンテンツ上にユーザインタフェース要素を表示することであって、前記コンテンツは、前記ユーザインタフェース要素に対応するそれぞれの場所における第１のコンテンツを含み、前記ユーザインタフェース要素は、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記第１のコンテンツの１つ以上の視覚特性に、１つ以上の変換の第１セットを適用することによって生成された外観を有する、表示することと、
前記ディスプレイ上に前記ユーザインタフェース要素を表示し続ける間に、前記第１のコンテンツから前記第１のコンテンツとは異なる第２のコンテンツへの、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの変化を検出することと、
前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化を検出したことに応じて、前記ユーザインタフェース要素の外観を変更することであって、
前記それぞれの場所における前記第２のコンテンツが視覚特性の第１セットのうちの視覚特性を有するとの判定に従って、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記第２のコンテンツの前記１つ以上の視覚特性に１つ以上の変換の前記第１セットを適用することを含む、前記ユーザインタフェース要素の前記外観を変更することと、
前記それぞれの場所における前記第２のコンテンツが視覚特性の前記第１セットとは異なる視覚特性の第２セットのうちの視覚特性を有するとの判定に従って、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記第２のコンテンツの前記１つ以上の視覚特性に１つ以上の変換の第２セットを適用することを含む、前記ユーザインタフェース要素の前記外観を変更することであって、１つ以上の変換の前記第２セットは１つ以上の変換の前記第１セットとは異なる、変更することと、をさせるための命令を含む、電子デバイス。
【請求項２２】
請求項２１に記載の電子デバイスであって、前記１つ以上のプログラムは、前記１つ以上のプロセッサによって実行されると、前記電子デバイスに、前記コンテンツを前記第１のコンテンツから前記第２のコンテンツに変更する間に、前記ディスプレイ上の静止した場所に前記ユーザインタフェース要素を維持させる、命令を含む、電子デバイス。
【請求項２３】
請求項２１に記載の電子デバイスであって、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化は、時間にわたって変化する前記コンテンツによるものである、電子デバイス。
【請求項２４】
請求項２１に記載の電子デバイスであって、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化は、前記コンテンツをスクロールすることによるものである、電子デバイス。
【請求項２５】
請求項２１に記載の電子デバイスであって、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化は、表示されたユーザインタフェースの要素に対応する入力によるものである、電子デバイス。
【請求項２６】
請求項２１に記載の電子デバイスであって、前記ユーザインタフェース要素に対応する前記それぞれの場所における前記コンテンツの前記変化は、リサイズする入力によるものである、電子デバイス。
【請求項２７】
請求項２１から２６のいずれか１項に記載の電子デバイスであって、前記１つ以上の視覚特性は輝度を含む、電子デバイス。
【請求項２８】
請求項２１から２６のいずれか１項に記載の電子デバイスであって、前記１つ以上の変換が彩度の程度を変更することを含む、電子デバイス。
【請求項２９】
請求項２１から２６のいずれか１項に記載の電子デバイスであって、前記１つ以上の視覚特性はぼかしの程度を変更することを含む、電子デバイス。
【請求項３０】
請求項２１から２６のいずれか１項に記載の電子デバイスであって、前記１つ以上の変換が不透明度の程度を変更することを含む、電子デバイス。
【外国語明細書】
2019135657000001.pdf